CN114897988A - 一种铰链式车辆中的多相机定位方法、装置及设备 - Google Patents

一种铰链式车辆中的多相机定位方法、装置及设备 Download PDF

Info

Publication number
CN114897988A
CN114897988A CN202210823211.XA CN202210823211A CN114897988A CN 114897988 A CN114897988 A CN 114897988A CN 202210823211 A CN202210823211 A CN 202210823211A CN 114897988 A CN114897988 A CN 114897988A
Authority
CN
China
Prior art keywords
camera
feature points
feature point
moment
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210823211.XA
Other languages
English (en)
Other versions
CN114897988B (zh
Inventor
彭欣
徐晴雯
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Moshi Intelligent Technology Co ltd
Original Assignee
Suzhou Moshi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Moshi Intelligent Technology Co ltd filed Critical Suzhou Moshi Intelligent Technology Co ltd
Priority to CN202210823211.XA priority Critical patent/CN114897988B/zh
Publication of CN114897988A publication Critical patent/CN114897988A/zh
Application granted granted Critical
Publication of CN114897988B publication Critical patent/CN114897988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请是关于一种铰接式车辆中的多相机定位方法、装置及设备，涉及计算机视觉技术领域。所述方法包括：根据第一特征点对以及第二特征点对，计算第一相对运动参数与第二相对运动参数；根据第一相对运动参数对第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化；将三维特征点投影至第一相机的相机平面，并与第一更新特征点匹配，获得第一相机对应的第一位姿；将三维特征点投影至第二相机的相机平面，并与第二更新特征点匹配，获得第二相机对应的第二位姿。上述方案通过两个位于不同刚体上的相机，根据不同时刻采集到的特征点对，构建一个SLAM系统以估计车辆两个部分的完整位姿，提高了铰接式车辆的SLAM的计算准确性。

Description

一种铰链式车辆中的多相机定位方法、装置及设备
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种铰链式车辆中的多相机定位方法、装置及设备。
背景技术
无人驾驶技术(也称自动驾驶技术)是指车辆（或其他运载工具）在不需要人为操作的情况下，通过自身配备的传感器感知行驶环境，自主决策行驶路径，并控制车辆按照期望的路径到达期望目的地的技术。
与传统驾驶相同，对车辆运行环境实时感知与定位（SLAM）是无人驾驶系统实施决策和控制的基础，相关的感知技术和车辆位姿估计方法也受到学术界和工业界的重点关注。为满足实时性与可靠性要求，无人驾驶车辆通常配备有视觉相机、惯性测量单元（IMU）、激光雷达和轮速计等多种传感器。其中，相机能够感知的外界信息最为丰富，如车辆周边景物的色彩、结构、纹理以及一些语义信息（如：道路、行人、交通标识等），因此视觉相机是无人驾驶车辆通常的基本配置。由于单个相机的视场角有限，因此无人驾驶系统越来越多的采用多个相机组成全景成像系统。
而由于铰接式车辆通常车体较长，相机安装位置之间会有较大间隔且相机朝向不同，各相机之间没有(或只有很小的)视野重叠区，因此采用基于现有传统的车辆位姿估计算法来处理铰接式车辆的SLAM问题时，计算结果的准确度较差。
发明内容
本申请提供了一种铰接式车辆中的多相机定位方法、装置及设备，提高了铰接式车辆的SLAM的准确性，该技术方案如下。
一方面，提供了一种铰接式车辆中的多相机定位方法，所述方法包括：
根据第一相机分别在第一时刻与第二时刻采集到的第一特征点对、以及第二相机分别在第一时刻与第二时刻采集到的第二特征点对，计算所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数；所述第一相机与所述第二相机分别位于目标铰链式车辆的不同刚体上；
根据第一相对运动参数对所述第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化，以获得三维特征点集合；
获取第一相机在第三时刻采集到的第一更新特征点，以及第二相机在第三时刻采集到的第二更新特征点；
将所述三维特征点投影至所述第一相机的相机平面，并与所述第一更新特征点匹配，获得所述第一相机对应的第一位姿；
将所述三维特征点投影至所述第二相机的相机平面，并与所述第二更新特征点匹配，获得所述第二相机对应的第二位姿。
又一方面，提供了一种铰接式车辆中的多相机定位装置，所述装置包括：
运动参数计算模块，用于根据第一相机分别在第一时刻与第二时刻采集到的第一特征点对、以及第二相机分别在第一时刻与第二时刻采集到的第二特征点对，计算所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数；所述第一相机与所述第二相机分别位于目标铰链式车辆的不同刚体上；
三维特征点获取模块，用于根据第一相对运动参数对所述第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化，以获得三维特征点集合；
更新特征点模块，用于获取第一相机在第三时刻采集到的第一更新特征点，以及第二相机在第三时刻采集到的第二更新特征点；
位姿获取模块，用于将所述三维特征点投影至所述第一相机的相机平面，并与所述第一更新特征点匹配，获得所述第一相机对应的第一位姿；
所述位姿获取模块，还用于将所述三维特征点投影至所述第二相机的相机平面，并与所述第二更新特征点匹配，获得所述第二相机对应的第二位姿。
在一种可能的实现方式中，所述第一特征点对包括相匹配的第一特征点以及第二特征点；所述第二特征点对包括相匹配的第三特征点以及第四特征点；
所述运动参数计算模块，还用于，
获取第一相机在第一时刻采集到的第一特征点，以及在第二时刻采集到的第二特征点；
获取第二相机在第一时刻采集到的第三特征点，以及在第二时刻采集到的第四特征点；
基于所述第一特征点与所述第二特征点之间的匹配关系、以及所述第三特征点与所述第四特征点之间的匹配关系，以铰接式多视角摄像机的对几何约束为限定条件，确定所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数。
在一种可能的实现方式中，所述三维特征点获取模块，还用于，
根据所述第一相对运动参数，对相匹配的第一特征点以及第二特征点进行三角化处理，获得第一特征点对所对应的三维坐标，以获得第一特征点对所对应的三维特征点；
根据所述第二相对运动参数，对相匹配的第三特征点以及第四特征点进行三角化处理，获得第二特征点对所对应的三维坐标，以获得第二特征点对所对应的三维特征点。
在一种可能的实现方式中，所述三维特征点获取模块，还用于根据所述第一位姿，以及相匹配的三维特征点与第一更新特征点，获得第一更新特征点对应的三维特征点；
所述三维特征点获取模块，还用于根据所述第二位姿，以及相匹配的三维特征点与第二更新特征点，获得第二更新特征点对应的三维特征点；
所述装置还包括三维特征点更新模块，用于基于所述第一更新特征点对应的三维特征点、以及所述第二更新特征点对应的三维特征点，更新所述三维特征点集。
在一种可能的实现方式中，所述位姿获取模块，还用于，
根据所述第一相机运动参数，以及所述第二时刻与第三时刻之间的时间差，获取所述第一相机对应的第一候选位姿；
基于所述第一候选位姿，将所述三维特征点投影至所述第一相机的相机平面，获得第一候选特征点；
将所述第一候选特征点与所述第一更新特征点匹配，对所述第一候选位姿进行更新以获得所述第一位姿。
在一种可能的实现方式中，所述位姿获取模块，还用于，
根据所述第二相机运动参数，以及所述第二时刻与第三时刻之间的时间差，获取所述第二相机对应的第二候选位姿；
基于所述第二候选位姿，将所述三维特征点投影至所述第二相机的相机平面，获得第二候选特征点；
将所述第二候选特征点与所述第二更新特征点匹配，对所述第二候选位姿进行更新以获得所述第二位姿。
在一种可能的实现方式中，所述装置还包括回环检测模块，用于，
获取待检测特征点；所述待检测特征点包括第一相机在第四时刻采集到的第一待检测特征点，以及所述第二相机在第四时刻采集到的第二待检测特征点中的至少一者；
将所述三维特征点集中包含的各个时刻的特征点，与所述待检测特征点进行匹配；
当所述三维特征点集中的目标特征点，与所述目标待检测特征点满足匹配关系时，根据所述目标特征点对应的位姿，更新采集到所述待检测特征点的相机在第四时刻的位姿。
再一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述的铰接式车辆中的多相机定位方法。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述的铰接式车辆中的多相机定位方法。
再一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质中读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述铰接式车辆中的多相机定位方法。
本申请提供的技术方案可以包括以下有益效果：
在基于铰接式车辆上的多相机，实现铰接式车辆的SLAM时，计算机设备可以获取到第一相机在第一时刻与第二时刻采集到的特征点，并根据第一特征点对之间的匹配关系确定第一相机在第一时刻与第二时刻之间的第一相对运动参数；计算机设备还可以获取到第二相机在第一时刻与第二时刻采集到的特征点，并根据第二特征点对之间的匹配关系确定第二相机在第一时刻与第二时刻之间的第二相对运动参数；计算机设备再根据第一相对运动参数对第一特征点对进行三角化处理后，可以将第一特征点对中的各个特征点转换为三维特征点，同理计算机设备再根据第二相对运动参数对第二特征点进行三角化处理后，可以将第二特征点对中的各个特征点转换为三维特征点，从而完成初始化过程，根据环境中存在的各个特征点构建出初始地图；计算机设备还可以根据第一相机与第二相机，在后续的第三时刻采集到的更新特征点，与三维特征点之间的匹配关系，从而更新第一相机与第二相机在第三时刻的位姿。上述方案针对于由两个刚体构成的铰接式车辆，提出了通过两个位于不同刚体上的相机，根据不同时刻采集到的特征点对，构建一个SLAM系统，同时估计车辆两个部分的完整位姿，提高了铰接式车辆的SLAM的计算准确性。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种车辆多相机定位系统的结构示意图。
图2是根据一示例性实施例示出的一种铰接式车辆中的多相机定位方法的流程图。
图3是根据一示例性实施例示出的一种铰接式车辆中的多相机定位方法的流程图。
图4示出了本申请实施例涉及的一种铰接式车辆上的多角度相机示意图。
图5示出了本申请实施例涉及的一种回环检测示意图。
图6是根据一示例性实施例示出的一种铰接式车辆中的多相机定位装置的结构方框图。
图7示出了本申请一示例性实施例示出的计算机设备的结构框图。
具体实施方式
下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。
在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。
本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。
在对本申请所示的各个实施例进行说明之前，首先对本申请涉及到的几个概念进行介绍。
1）AI（Artificial Intelligence，人工智能）
人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但能像人那样思考、也可能超过人的智能。
用来研究人工智能的主要物质基础以及能够实现人工智能技术平台的机器就是计算机。除了计算机科学以外，人工智能还涉及信息论、控制论、自动化、仿生学、生物学、心理学、数理逻辑、语言学、医学和哲学等多门学科。人工智能学科研究的主要内容包括：知识表示、自动推理和搜索方法、机器学习和知识获取、知识处理系统、自然语言理解、计算机视觉、智能机器人、自动程序设计等方面。
2）SLAM（Simultaneous Localization and Mapping，同步定位与建图）
SLAM也称为CML (Concurrent Mapping and Localization)，即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边移动一边逐步描绘出此环境完全的地图，所谓完全的地图（aconsistent map）是指不受障碍行进到房间可进入的每个角落。SLAM问题可以描述为: 机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。
图1是根据一示例性实施例示出的一种车辆多相机定位系统的结构示意图。可选的，该车辆多相机定位系统中包含计算机设备110以及铰接式车辆120。其中，铰接式车辆120与计算机设备110之间通过通信网络进行数据通信，该通信网络可以是有线网络也可以是无线网络。
可选的，该计算机设备110可以是铰接式车辆上的车载智能设备。
可选的，该计算机设备110还可以是位于云端的服务器，该服务器可以通过通信网络与铰接式车辆上的车载智能设备实现通信连接，以便对车载智能设备发送的数据进行处理。
可选的，如图1所示，该铰接式车辆上存在有至少两个刚体（如刚体1与刚体2），该刚体1上设置有第一相机，该刚体2上设置有第二相机，在该铰接式车辆的运行过程中，该第一相机与该第二相机可以按照指定周期，对周围环境进行图像采集，并将采集到的图像发送至计算机设备110中，以便计算机设备110通过该第一相机与该第二相机分别采集到的图像实现铰接式车辆的SLAM。
可选的，上述服务器可以是由多个物理服务器构成的服务器集群或者是分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等技术运计算服务的云服务器。
可选的，该系统还可以包括管理设备，该管理设备用于对该系统进行管理（如管理铰接式车辆与计算机设备之间的通信连接状态等），该管理设备与服务器之间通过通信网络相连。可选的，该通信网络是有线网络或无线网络。
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，但也可以是其他任何网络，包括但不限于局域网、城域网、广域网、移动、有限或无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言、可扩展标记语言等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层、传输层安全、虚拟专用网络、网际协议安全等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
图2是根据一示例性实施例示出的一种铰接式车辆中的多相机定位方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的计算机设备110。如图2所示，该铰接式车辆中的多相机定位方法可以包括如下步骤：
步骤201，根据第一相机分别在第一时刻与第二时刻采集到的第一特征点对、以及第二相机分别在第一时刻与第二时刻采集到的第二特征点对，计算该第一相机的第一相对运动参数，以及第二相机的第二相对运动参数。
其中，该第一相机与该第二相机分别位于目标铰链式车辆的不同刚体上。
相比于人类驾驶员在同一时刻只能观测某一方向的交通状况，无人驾驶技术更期望实现对车辆周边环境的360度全方位无死角实时感知。由于单个相机的视场角有限，因此无人驾驶系统越来越多的采用多个相机组成全景成像系统。
为便于对多相机成像系统采集的图像信息的进行分析与运算，需要将多相机的图像信息转换到同一个坐标系下进行描述。在保证相机环视无死角的前提下，为降低系统成本，通常会将有限数量的相机以环绕的方式安装在车身上，并且由于铰接式车辆通常车体较长，相机安装位置之间会有较大间隔且相机朝向不同，各相机之间没有(或只有很小的)视野重叠区。
因此在铰接式车辆的运行过程中，第一刚体上的第一相机可以分别在第一时刻以及第二时刻采集到特征点，而第一相机在第一时刻以及第二时刻分别采集到的特征点中，可能存在部分视野重叠区，也就存在相匹配的特征点对，因此根据第一相机在第一时刻以及第二时刻所采集的特征点组成的特征点对，即可以计算第一相机在第一时刻与第二时刻之间的第一相对运动参数，也就是第一相机在第一时刻与第二时刻之间的平移矩阵以及旋转矩阵。
而由于第一相机是设置在第一刚体上的，因此该第一相对运动参数也可以表征目标铰接式车辆的第一刚体在第一时刻与第二时刻之间的平移矩阵以及旋转矩阵。
同理，第二刚体上的第一相机可以分别在第一时刻以及第二时刻采集到特征点，而第二相机在第一时刻以及第二时刻分别采集到的特征点中，同样可能存在部分视野重叠区，也就存在相匹配的特征点对，因此根据第二相机在第一时刻以及第二时刻所采集到的特征点组成的特征点对，即可以计算第二相机在第一时刻与第二时刻之间的第二相对运动参数，也就是第二相机在第一时刻与第二时刻之间的平移矩阵以及旋转矩阵。
而由于第二相机是设置在第二刚体上的，因此该第二相对运动参数也可以表征目标铰接式车辆的第二刚体在第一时刻与第二时刻之间的平移矩阵以及旋转矩阵。
进一步的，在将匹配的特征点对，通过第一相对运动参数或第二相对运动参数对齐的过程中，可以通过各个图像之间的对极几何约束条件加以约束，从而使得特征点对的对齐过程大大缩短。
步骤202，根据第一相对运动参数对该第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化，以获得三维特征点集合。
在单目SLAM中，仅通过单张图像无法获得像素的深度信息，需要通过三角测量（Triangulation）（或三角化）的方法来估计地图点的深度。三角测量是指，通过在两处观察同一个点的夹角，从而确定该点的距离。
因此对于第一特征点对中匹配的特征点，为第一相机分别在第一时刻以及第二时刻对同一物体（如第一物体）进行采集所得到的特征点。因此通过第一相机在第一时刻以及第二时刻之间的第一相对运动参数（也就是第一相机在第一时刻以及第二时刻之间的相对姿态），可以通过三角化的方式，对匹配的特征点进行深度的计算，从而计算出相匹配的特征点所对应的三维坐标，并保存在三维特征点集合中。
同理，对于第二特征点对中匹配的特征点，为第二相机分别在第一时刻以及第二时刻对同一个物体（如第二物体）进行采集所得到的特征点。因此通过第二相机在第一时刻以及第二时刻之间的第二相对运动参数（也就是第二相机在第一时刻以及第二时刻之间的相对姿态），可以通过三角化的方式，对匹配的特征点进行深度的计算，从而计算出相匹配的特征点所对应的三维坐标，并保存在三维特征点集合中。
此时三维特征点集合中的各个特征点的三维坐标，即可以表征出目标铰接式车辆所处的环境信息，也就可以作为目标铰接式车辆在运行过程中的地图信息。
步骤203，获取第一相机在第三时刻采集到的第一更新特征点，以及第二相机在第三时刻采集到的第二更新特征点。
当通过步骤201以及步骤202得到目标铰接式车辆在运行过程中的地图信息后，对于目标铰接式车辆运行的第三时刻（例如第三时刻可以是与第二时刻相邻一帧），此时第一相机与第二相机可以分别采集到第一更新特征点以及第二更新特征点。
步骤204，将该三维特征点投影至该第一相机的相机平面，并与该第一更新特征点匹配，获得该第一相机对应的第一位姿。
可选的，由于第二时刻与第三时刻之间的时间间隔较短，因此第一相机与第二相机在第三时刻采集到的特征点，与环境信息中具有较高的重合度，因此计算机设备只需要将三维特征点投影至第一相机的相机平面，并将三维特征点与第一更新特征点进行匹配，即可以获取到第一相机在第三时刻的第一位姿。
步骤205，将该三维特征点投影至该第二相机的相机平面，并与该第二更新特征点匹配，获得该第二相机对应的第二位姿。
同理因此计算机设备只需要将三维特征点投影至第二相机的相机平面，并将三维特征点与第二更新特征点进行匹配，即可以获取到第二相机在第三时刻的第一位姿。
因此上述方案通过步骤201以及步骤202，对目标铰接式车辆的SLAM系统进行初始化处理，并在初始化完成后，分别通过第一相机以及第二相机，在后续时刻采集到的更新特征点（如第一更新特征点以及第二更新特征点），与三维特征点进行配准，从而得到第一相机对应的第一位姿以及第二相机对应的第二位姿。
而由于第一相机是安装在第一刚体上的，因此第一位姿即指示的是第一刚体的运动状态，同理由于第二相机是安装在第二刚体上的，因此第二位姿即指示的是第二刚体的运动状态，因此通过上述方案，即可以通过两个安装在不同刚体上的相机，在不同时刻采集到的特征点完成SLAM系统的初始化以及地图信息的获取，并通过不同刚体上的相机在后续时刻分别对铰接式车辆的刚体位姿进行计算。
综上所述，在基于铰接式车辆上的多相机，实现铰接式车辆的SLAM时，计算机设备可以获取到第一相机在第一时刻与第二时刻采集到的特征点，并根据第一特征点对之间的匹配关系确定第一相机在第一时刻与第二时刻之间的第一相对运动参数；计算机设备还可以获取到第二相机在第一时刻与第二时刻采集到的特征点，并根据第二特征点对之间的匹配关系确定第二相机在第一时刻与第二时刻之间的第二相对运动参数；计算机设备再根据第一相对运动参数对第一特征点对进行三角化处理后，可以将第一特征点对中的各个特征点转换为三维特征点，同理计算机设备再根据第二相对运动参数对第二特征点进行三角化处理后，可以将第二特征点对中的各个特征点转换为三维特征点，从而完成初始化过程，根据环境中存在的各个特征点构建出初始地图；计算机设备还可以根据第一相机与第二相机，在后续的第三时刻采集到的更新特征点，与三维特征点之间的匹配关系，从而更新第一相机与第二相机在第三时刻的位姿。上述方案针对于由两个刚体构成的铰接式车辆，提出了通过两个位于不同刚体上的相机，根据不同时刻采集到的特征点对，构建一个SLAM系统，同时估计车辆两个部分的完整位姿，提高了铰接式车辆的SLAM的计算准确性。
图3是根据一示例性实施例示出的一种铰接式车辆中的多相机定位方法的流程图。该方法由计算机设备执行，该计算机设备可以是如图1中所示的计算机设备110。如图3所示，该铰接式车辆中的多相机定位方法可以包括如下步骤：
步骤301，获取第一相机在第一时刻采集到的第一特征点，以及在第二时刻采集到的第二特征点。
步骤302，获取第二相机在第一时刻采集到的第三特征点，以及在第二时刻采集到的第四特征点。
步骤303，基于该第一特征点与该第二特征点之间的匹配关系、以及该第三特征点与该第四特征点之间的匹配关系，以铰接式多视角摄像机的对几何约束为限定条件，确定该第一相机的第一相对运动参数，以及第二相机的第二相对运动参数。
请参考图4，其示出了本申请实施例涉及的一种铰接式车辆上的多角度相机示意 图。如图4所示，两个刚体A和B（即第一刚体与第二刚体）通过一个关节连接，进行相对位移。 位移前后的关节构型由三维旋转矩阵
Figure 67028DEST_PATH_IMAGE001
和
Figure 515327DEST_PATH_IMAGE002
描述。测量是由安装在车身两部分的摄像机 （即第一相机与第二相机）进行的。刚体A两个时刻之间的相对运动为(
Figure 826223DEST_PATH_IMAGE003
，
Figure 487011DEST_PATH_IMAGE004
)，(
Figure 832542DEST_PATH_IMAGE005
，
Figure 186163DEST_PATH_IMAGE006
)为刚体B前后两个时刻之间的相对运动，
Figure 249934DEST_PATH_IMAGE007
为A刚体上的相机坐标系到定义 的A刚体坐标系的位移，
Figure 982922DEST_PATH_IMAGE008
为B刚体上的相机坐标系到定义的B刚体坐标系的位移；
Figure 182959DEST_PATH_IMAGE009
和
Figure 707482DEST_PATH_IMAGE010
分别为相对运动前两个刚体上的特征点射线，
Figure 258549DEST_PATH_IMAGE011
和
Figure 526719DEST_PATH_IMAGE012
分别为相对运动后两个刚体 上的特征点射线。
如图4所示，只考虑两个视图中的刚体A，那么它也可以很好地描述一个普通的多 视角相机。设CA为安装在机身主体A上的相机，不失一般性，令相机到机身框架的3D旋转等 于恒等式。此时使用
Figure 315683DEST_PATH_IMAGE013
表示的三维点（也就是第一相机在第二时刻采集到的第二特征点） 可由
Figure 276686DEST_PATH_IMAGE014
变换为A（也就是第一相机在第一时刻采集到的第一特征 点）。此时刚体A广义本质矩阵约束在这种情况下为：
Figure 49470DEST_PATH_IMAGE015
一个欧几里得变换有6个自由度，因此为了求解相对位姿，两个视图之间必须有6个对应关系。
而在本申请实施例中铰接式车辆上的多角度相机与标准的多视角摄像机阵列的 区别在于，它通过一个连接点将主体A与主体B相连。假设有一个摄像头CB安装在B上，从CB 到B的旋转不失一般性，再次假设为恒等式，这个摄像头在B内的位置由
Figure 855752DEST_PATH_IMAGE008
给出。由
Figure 764802DEST_PATH_IMAGE016
和
Figure 631127DEST_PATH_IMAGE017
对B的相对变换可知，广义本质矩阵的约束同样适用与B，此时可以得到刚体B的广 义本质矩阵约束：
Figure 891207DEST_PATH_IMAGE018
再次注意，这个约束同样适用于安装在B上的任何相机，但是单独找到每个身体部 分的相对变换并不能完全解决位姿估计问题，因此它仍然可能使每个视图中的内部关节角 度配置不可测。现在我们用
Figure 501180DEST_PATH_IMAGE019
和
Figure 264737DEST_PATH_IMAGE020
标识第一和第二视图中的关节构型，通过旋转的约束即 可以推导出对关节构型的附加约束：
Figure 567542DEST_PATH_IMAGE021
Figure 49339DEST_PATH_IMAGE022
不失一般性，限制A与B初始时与关节中心一致，则推出相对位移的额外限制：
Figure 463003DEST_PATH_IMAGE023
（4）
Figure 81066DEST_PATH_IMAGE024
（5）
铰接式车辆上的多角度相机具有12个自由度，通过相对于A的位姿即(
Figure 557702DEST_PATH_IMAGE025
，
Figure 526795DEST_PATH_IMAGE026
)，以及关节角的位移前后（即
Figure 744150DEST_PATH_IMAGE019
和
Figure 747878DEST_PATH_IMAGE020
），完全约束了相对位姿和内部配置的参数。首 先，将安装在A上的摄像机（即第一相机）测量到的6个对应点带入刚体A的广义本质矩阵约 束，从而得到铰接式车辆上的多角度相机的对极几何约束：
Figure 454803DEST_PATH_IMAGE027
利用上述铰接式车辆上的多角度相机的对极几何约束，和平面运动假设，可以利 用解多项式来估计刚体A两个时刻之间的相对运动(
Figure 911192DEST_PATH_IMAGE028
，
Figure 666658DEST_PATH_IMAGE029
)即第一相对运动参数，和 当前时刻的刚体A和B坐标系之间的旋转矩阵
Figure 993735DEST_PATH_IMAGE019
和
Figure 809244DEST_PATH_IMAGE020
，又由刚体A两个时刻之间的相对运动 和当前时刻的刚体A和B坐标系之间的旋转矩阵
Figure 752929DEST_PATH_IMAGE019
和
Figure 312086DEST_PATH_IMAGE020
，可以得到刚体B在两个时刻之间的 相对运动(
Figure 759248DEST_PATH_IMAGE030
，
Figure 11238DEST_PATH_IMAGE031
)即第二相对运动参数。
步骤404，根据该第一相对运动参数，对相匹配的第一特征点以及第二特征点进行三角化处理，获得第一特征点对所对应的三维坐标，以获得第一特征点对所对应的三维特征点。
步骤405，根据该第二相对运动参数，对相匹配的第三特征点以及第四特征点进行三角化处理，获得第二特征点对所对应的三维坐标，以获得第二特征点对所对应的三维特征点。
若估计的相对运动满足初始化条件，则整个系统初始化完成；否则，等待下一时刻再次计算相对运动，直到系统初始化完成。如果初始化成功，则利用估计的相对运动（也就是第一相对运动参数以及第二相对运动参数）对两个刚体上的相机图片提取的特征点（即第一特征点、第二特征点、第三特征点以及第四特征点）对进行三角化，从而获得地图中的3D点，从而构建初始地图。此外，我们还采用RANSAC（Random Sample Consensus，随机抽样一致）和集束优化来提高估计值的精度。
可选的，当构建好初始地图后，则可以通过步骤406至步骤408中的步骤实现对铰接式车辆的两个刚体进行跟踪。
步骤406，获取第一相机在第三时刻采集到的第一更新特征点，以及第二相机在第三时刻采集到的第二更新特征点。
可选的，在本申请实施例中，第三时刻与第二时刻之间的时间差小于阈值，例如该第三时刻可以是与第二时刻的相邻时间帧，或者该第三时刻可以是与第二时刻之间的时间差小于阈值的任一时间帧。
步骤407，将该三维特征点投影至该第一相机的相机平面，并与该第一更新特征点匹配，获得该第一相机对应的第一位姿。
可选的，该第一相机的相机平面即为第一相机在第三时刻下的相机平面。
在一种可能的实现方式中，根据该第一相机运动参数，以及该第二时刻与第三时刻之间的时间差，获取该第一相机对应的第一候选位姿；基于该第一候选位姿，将该三维特征点投影至该第一相机的相机平面，获得第一候选特征点；将该第一候选特征点与该第一更新特征点匹配，对该第一候选位姿进行更新以获得该第一位姿。
步骤408，将该三维特征点投影至该第二相机的相机平面，并与该第二更新特征点匹配，获得该第二相机对应的第二位姿。
可选的，该第二相机的相机平面即为第二相机在第三时刻下的相机平面。
在一种可能的实现方式中，根据该第二相机运动参数，以及该第二时刻与第三时刻之间的时间差，获取该第二相机对应的第二候选位姿；基于该第二候选位姿，将该三维特征点投影至该第二相机的相机平面，获得第二候选特征点；将该第二候选特征点与该第二更新特征点匹配，对该第二候选位姿进行更新以获得该第二位姿。
即系统初始化后，对于与第二时刻相邻的第三时刻而言，计算机设备可以获取到第一相机在第三时刻采集到的第一更新特征点、以及第二相机在第三时刻采集到的第二更新特征点。
假设目标铰接式车辆在短时间内可以被看作是匀速运动，此时计算机设备可以根据上一时刻的姿态以及运动状态（即速度、方向等）得到当前时刻的姿态（也就是第一候选姿态与第二候选姿态），并根据第一候选姿态与第二候选姿态，将上一帧的局部特征点投影至当前帧的各个相机平面，快速得到3D-2D匹配点对，并根据匹配点之间的误差对位姿进行优化从而得到第一位姿与第二位姿。
可选的，本系统涉及的局部优化和全局优化主要采用重投影误差，同时根据铰接式车辆的特征，我们增添了一些约束项，目标函数如下：
Figure 66105DEST_PATH_IMAGE032
Figure 163374DEST_PATH_IMAGE033
Figure 730622DEST_PATH_IMAGE034
Figure 622355DEST_PATH_IMAGE035
Figure 540632DEST_PATH_IMAGE036
与
Figure 441592DEST_PATH_IMAGE037
分别为第
Figure 863346DEST_PATH_IMAGE038
时刻刚体A与刚体B的旋转矩阵，
Figure 69855DEST_PATH_IMAGE039
与
Figure 6587DEST_PATH_IMAGE040
分别为第
Figure 976817DEST_PATH_IMAGE038
时刻刚体A与刚体B的平移矩阵，
Figure 784236DEST_PATH_IMAGE041
与
Figure 283351DEST_PATH_IMAGE042
分别为刚体A上的相机在第
Figure 910641DEST_PATH_IMAGE038
时刻采集到的 相机平面上的特征点集，与刚体B上的相机在第
Figure 418983DEST_PATH_IMAGE038
时刻采集到的相机平面上的特征点集，
Figure 549750DEST_PATH_IMAGE043
为
Figure 219766DEST_PATH_IMAGE044
中的特征点，
Figure 334352DEST_PATH_IMAGE045
为
Figure 118156DEST_PATH_IMAGE043
在相机坐标系中的坐标，
Figure 634588DEST_PATH_IMAGE046
为
Figure 475505DEST_PATH_IMAGE043
在世界坐标系 中的坐标，
Figure 811808DEST_PATH_IMAGE047
为
Figure 396374DEST_PATH_IMAGE048
在相机坐标系中的坐标，
Figure 767312DEST_PATH_IMAGE049
为
Figure 779130DEST_PATH_IMAGE048
在世界坐标系中的坐标，
Figure 602730DEST_PATH_IMAGE050
为
Figure 990986DEST_PATH_IMAGE051
中的特征点，此时
Figure 950852DEST_PATH_IMAGE052
和
Figure 133571DEST_PATH_IMAGE053
分别表示刚体A和B坐标系下的重投影误差，
Figure 710046DEST_PATH_IMAGE054
为针对于铰接式车辆的约束项，由于两个刚体是由一个可活动的节点连接，则两个 车体的位移之间只有一个旋转关系。
进一步的，当跟踪成功后，计算机设备可以将第三时刻得到的特征点进行三角化处理，并插入三维特征点集中，从而对地图进行更新。
在一种可能的实现方式中，计算机设备将该三维特征点投影至该第一相机在第三时刻的相机平面，并与该第一更新特征点匹配，获得该第一相机在第三时刻的相机位姿（也就是第一位姿）之后，还可以根据该第一位姿，以及相匹配的三维特征点与第一更新特征点，获得第一更新特征点对应的三维特征点。
即计算机设备在获取到第一相机在世界坐标系下的第三时刻的相机位姿之后，则可以通过三角化的方式（例如再通过与第三时刻的相机位姿相同的获取方式，获取到第四时刻的相机位姿，再根据第三时刻的相机位姿、第四时刻的相机位姿，以及第三时刻与第四时刻分别采集到的相匹配的更新特征点的坐标进行三角化，与步骤404以及步骤405类似，此处不再赘述），将第一相机在第三时刻采集到的第一更新特征点，转换至世界坐标系下，变换为第一更新特征点所对应的三维特征点。
同理，计算机设备将该三维特征点投影至该第二相机在第三时刻的相机平面，并与该第二更新特征点匹配，获得该第二相机在第三时刻的相机位姿（也就是第一位姿）之后，根据该第二位置，以及相匹配的三维特征点与第二更新特征点，获得第二更新特征点对应的三维特征点；
基于该第一更新特征点对应的三维特征点、以及该第二更新特征点对应的三维特征点，更新该三维特征点集。
即计算机设备在获取到第二相机在世界坐标系下的第三时刻的相机位姿之后，则可以通过三角化的方式，将第二相机在第三时刻采集到的第一更新特征点，转换至世界坐标系下，变换为第二更新特征点所对应的三维特征点。
当分别获取到第一更新特征点对应的三维特征点以及第二更新特征点对应的三维特征点后，计算机设备则可以根据上述三维特征点与三维特征点集进行融合，从而实现对三维特征点集的更新，也就是实现了对目标铰接式车辆周围环境的地图进行更新。
也就是说，计算机设备可以根据第三时刻的各个相机在世界坐标系下的位姿，将获取到的更新特征点进行三角化处理，并将其插入至三维特征点集中从而实现对地图的更新。
可选的，当计算机实现对新一帧的特征点的三角化后，还可以将冗余的3D点（即三维特征点）以及关键帧删除。
进一步的，本申请实施例中还可以通过回环检测对某一时刻的位姿进行校正，例如在一种可能的实现方式中，获取待检测特征点；该待检测特征点包括第一相机在第四时刻采集到的第一待检测特征点，以及该第二相机在第四时刻采集到的第二待检测特征点中的至少一者；将该三维特征点集中包含的各个时刻的特征点，与该待检测特征点进行匹配；当该三维特征点集中的目标特征点，与该目标待检测特征点满足匹配关系时，根据该目标特征点对应的位姿，更新采集到该待检测特征点的相机在第四时刻的位姿。
如图5所示，其示出了本申请实施例涉及的一种回环检测示意图。如图5所示，对于任一刚体，当其在当前帧所采集到的特征点与之前某一帧采集到的特征点较为相似时，可以基于该帧的姿态对当前帧的姿态信息进行优化，从而减小累积误差。
由于是两个刚体A和B连接的铰接式车辆，我们不仅检测刚体A上多相机系统采集的图片是否与历史轨迹构成回环，也检测刚体B上多相机系统采集的图片，如图5所示。二者满足其一则认为检测到回环，并进行姿态优化。
综上所述，在基于铰接式车辆上的多相机，实现铰接式车辆的SLAM时，计算机设备可以获取到第一相机在第一时刻与第二时刻采集到的特征点，并根据第一特征点对之间的匹配关系确定第一相机在第一时刻与第二时刻之间的第一相对运动参数；计算机设备还可以获取到第二相机在第一时刻与第二时刻采集到的特征点，并根据第二特征点对之间的匹配关系确定第二相机在第一时刻与第二时刻之间的第二相对运动参数；计算机设备再根据第一相对运动参数对第一特征点对进行三角化处理后，可以将第一特征点对中的各个特征点转换为三维特征点，同理计算机设备再根据第二相对运动参数对第二特征点进行三角化处理后，可以将第二特征点对中的各个特征点转换为三维特征点，从而完成初始化过程，根据环境中存在的各个特征点构建出初始地图；计算机设备还可以根据第一相机与第二相机，在后续的第三时刻采集到的更新特征点，与三维特征点之间的匹配关系，从而更新第一相机与第二相机在第三时刻的位姿。上述方案针对于由两个刚体构成的铰接式车辆，提出了通过两个位于不同刚体上的相机，根据不同时刻采集到的特征点对，构建一个SLAM系统，同时估计车辆两个部分的完整位姿，提高了铰接式车辆的SLAM的计算准确性。
并且本申请实施例中提出的SLAM系统，不同于传统的只有一个刚体的SLAM系统，针对于由两个刚体构成的铰接式车辆，利用铰接式多相机通用对极几何约束和地面运动假设，提出一个SLAM系统估计其车辆两个部分的完整姿态。相比于采用传统单相机的车辆位姿估计算法来解决铰接式车辆的SLAM问题，本发明提出的解决方案具有在当前使用场景下具有更高的准确度和稳定性。
图6是根据一示例性实施例示出的一种铰接式车辆中的多相机定位装置的结构方框图。所述装置包括：
运动参数计算模块601，用于根据第一相机分别在第一时刻与第二时刻采集到的第一特征点对、以及第二相机分别在第一时刻与第二时刻采集到的第二特征点对，计算所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数；所述第一相机与所述第二相机分别位于目标铰链式车辆的不同刚体上；
三维特征点获取模块602，用于根据第一相对运动参数对所述第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化，以获得三维特征点集合；
更新特征点模块603，用于获取第一相机在第三时刻采集到的第一更新特征点，以及第二相机在第三时刻采集到的第二更新特征点；
位姿获取模块604，用于将所述三维特征点投影至所述第一相机的相机平面，并与所述第一更新特征点匹配，获得所述第一相机对应的第一位姿；
所述位姿获取模块604，还用于将所述三维特征点投影至所述第二相机的相机平面，并与所述第二更新特征点匹配，获得所述第二相机对应的第二位姿。
在一种可能的实现方式中，所述第一特征点对包括相匹配的第一特征点以及第二特征点；所述第二特征点对包括相匹配的第三特征点以及第四特征点；
所述运动参数计算模块，还用于，
获取第一相机在第一时刻采集到的第一特征点，以及在第二时刻采集到的第二特征点；
获取第二相机在第一时刻采集到的第三特征点，以及在第二时刻采集到的第四特征点；
基于所述第一特征点与所述第二特征点之间的匹配关系、以及所述第三特征点与所述第四特征点之间的匹配关系，以铰接式多视角摄像机的对几何约束为限定条件，确定所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数。
在一种可能的实现方式中，所述三维特征点获取模块，还用于，
根据所述第一相对运动参数，对相匹配的第一特征点以及第二特征点进行三角化处理，获得第一特征点对所对应的三维坐标，以获得第一特征点对所对应的三维特征点；
根据所述第二相对运动参数，对相匹配的第三特征点以及第四特征点进行三角化处理，获得第二特征点对所对应的三维坐标，以获得第二特征点对所对应的三维特征点。
在一种可能的实现方式中，所述三维特征点获取模块，还用于根据所述第一位姿，以及相匹配的三维特征点与第一更新特征点，获得第一更新特征点对应的三维特征点；
所述三维特征点获取模块，还用于根据所述第二位姿，以及相匹配的三维特征点与第二更新特征点，获得第二更新特征点对应的三维特征点；
所述装置还包括三维特征点更新模块，用于基于所述第一更新特征点对应的三维特征点、以及所述第二更新特征点对应的三维特征点，更新所述三维特征点集。
在一种可能的实现方式中，所述位姿获取模块，还用于，
根据所述第一相机运动参数，以及所述第二时刻与第三时刻之间的时间差，获取所述第一相机对应的第一候选位姿；
基于所述第一候选位姿，将所述三维特征点投影至所述第一相机的相机平面，获得第一候选特征点；
将所述第一候选特征点与所述第一更新特征点匹配，对所述第一候选位姿进行更新以获得所述第一位姿。
在一种可能的实现方式中，所述位姿获取模块，还用于，
根据所述第二相机运动参数，以及所述第二时刻与第三时刻之间的时间差，获取所述第二相机对应的第二候选位姿；
基于所述第二候选位姿，将所述三维特征点投影至所述第二相机的相机平面，获得第二候选特征点；
将所述第二候选特征点与所述第二更新特征点匹配，对所述第二候选位姿进行更新以获得所述第二位姿。
在一种可能的实现方式中，所述装置还包括回环检测模块，用于，
获取待检测特征点；所述待检测特征点包括第一相机在第四时刻采集到的第一待检测特征点，以及所述第二相机在第四时刻采集到的第二待检测特征点中的至少一者；
将所述三维特征点集中包含的各个时刻的特征点，与所述待检测特征点进行匹配；
当所述三维特征点集中的目标特征点，与所述目标待检测特征点满足匹配关系时，根据所述目标特征点对应的位姿，更新采集到所述待检测特征点的相机在第四时刻的位姿。
综上所述，在基于铰接式车辆上的多相机，实现铰接式车辆的SLAM时，计算机设备可以获取到第一相机在第一时刻与第二时刻采集到的特征点，并根据第一特征点对之间的匹配关系确定第一相机在第一时刻与第二时刻之间的第一相对运动参数；计算机设备还可以获取到第二相机在第一时刻与第二时刻采集到的特征点，并根据第二特征点对之间的匹配关系确定第二相机在第一时刻与第二时刻之间的第二相对运动参数；计算机设备再根据第一相对运动参数对第一特征点对进行三角化处理后，可以将第一特征点对中的各个特征点转换为三维特征点，同理计算机设备再根据第二相对运动参数对第二特征点进行三角化处理后，可以将第二特征点对中的各个特征点转换为三维特征点，从而完成初始化过程，根据环境中存在的各个特征点构建出初始地图；计算机设备还可以根据第一相机与第二相机，在后续的第三时刻采集到的更新特征点，与三维特征点之间的匹配关系，从而更新第一相机与第二相机在第三时刻的位姿。上述方案针对于由两个刚体构成的铰接式车辆，提出了通过两个位于不同刚体上的相机，根据不同时刻采集到的特征点对，构建一个SLAM系统，同时估计车辆两个部分的完整位姿，提高了铰接式车辆的SLAM的计算准确性。
图7示出了本申请一示例性实施例示出的计算机设备700的结构框图。该计算机设备可以实现为本申请上述方案中的服务器。所述计算机设备700包括中央处理单元（Central Processing Unit，CPU）701、包括随机存取存储器（Random Access Memory，RAM）702和只读存储器（Read-Only Memory，ROM）703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。所述计算机设备700还包括用于存储操作系统709、应用程序710和其他程序模块711的大容量存储设备706。
所述大容量存储设备706通过连接到系统总线705的大容量存储控制器（未示出）连接到中央处理单元701。所述大容量存储设备706及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说，所述大容量存储设备706可以包括诸如硬盘或者只读光盘（Compact Disc Read-Only Memory，CD-ROM）驱动器之类的计算机可读介质（未示出）。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器（Erasable Programmable Read Only Memory，EPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-OnlyMemory，EEPROM）闪存或其他固态存储其技术，CD-ROM、数字多功能光盘（DigitalVersatile Disc，DVD）或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备706可以统称为存储器。
根据本公开的各种实施例，所述计算机设备700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备700可以通过连接在所述系统总线705上的网络接口单元707连接到网络708，或者说，也可以使用网络接口单元707来连接到其他类型的网络或远程计算机系统（未示出）。
所述存储器还包括至少一条计算机程序，所述至少一条计算机程序存储于存储器中，中央处理单元701通过执行该至少一条计算机程序来实现上述各个实施例所示的方法中的全部或部分步骤。
在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。
在一示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图2或图3任一实施例所示方法的全部或部分步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种铰接式车辆中的多相机定位方法，其特征在于，所述方法包括：
根据第一相机分别在第一时刻与第二时刻采集到的第一特征点对、以及第二相机分别在第一时刻与第二时刻采集到的第二特征点对，计算所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数；所述第一相机与所述第二相机分别位于目标铰链式车辆的不同刚体上；
根据第一相对运动参数对所述第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化，以获得三维特征点集合；
获取第一相机在第三时刻采集到的第一更新特征点，以及第二相机在第三时刻采集到的第二更新特征点；
将所述三维特征点投影至所述第一相机的相机平面，并与所述第一更新特征点匹配，获得所述第一相机对应的第一位姿；
将所述三维特征点投影至所述第二相机的相机平面，并与所述第二更新特征点匹配，获得所述第二相机对应的第二位姿。
2.根据权利要求1所述的方法，其特征在于，所述第一特征点对包括相匹配的第一特征点以及第二特征点；所述第二特征点对包括相匹配的第三特征点以及第四特征点；
所述根据第一相机分别在第一时刻与第二时刻采集到的第一特征点对、以及第二相机分别在第一时刻与第二时刻采集到的第二特征点对，计算所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数，包括：
获取第一相机在第一时刻采集到的第一特征点，以及在第二时刻采集到的第二特征点；
获取第二相机在第一时刻采集到的第三特征点，以及在第二时刻采集到的第四特征点；
基于所述第一特征点与所述第二特征点之间的匹配关系、以及所述第三特征点与所述第四特征点之间的匹配关系，以铰接式多视角摄像机的对几何约束为限定条件，确定所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数。
3.根据权利要求2所述的方法，其特征在于，所述根据第一相对运动参数对所述第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化，以获得三维特征点集合，包括：
根据所述第一相对运动参数，对相匹配的第一特征点以及第二特征点进行三角化处理，获得第一特征点对所对应的三维坐标，以获得第一特征点对所对应的三维特征点；
根据所述第二相对运动参数，对相匹配的第三特征点以及第四特征点进行三角化处理，获得第二特征点对所对应的三维坐标，以获得第二特征点对所对应的三维特征点。
4.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
根据所述第一位姿，以及相匹配的三维特征点与第一更新特征点，获得第一更新特征点对应的三维特征点；
根据所述第二位姿，以及相匹配的三维特征点与第二更新特征点，获得第二更新特征点对应的三维特征点；
基于所述第一更新特征点对应的三维特征点、以及所述第二更新特征点对应的三维特征点，更新所述三维特征点集。
5.根据权利要求1至3任一所述的方法，其特征在于，所述将所述三维特征点投影至所述第一相机的相机平面，并与所述第一更新特征点匹配，获得所述第一相机对应的第一位姿，包括：
根据所述第一相机运动参数，以及所述第二时刻与第三时刻之间的时间差，获取所述第一相机对应的第一候选位姿；
基于所述第一候选位姿，将所述三维特征点投影至所述第一相机的相机平面，获得第一候选特征点；
将所述第一候选特征点与所述第一更新特征点匹配，对所述第一候选位姿进行更新以获得所述第一位姿。
6.根据权利要求1至3任一所述的方法，其特征在于，所述将所述三维特征点投影至所述第二相机的相机平面，并与所述第二更新特征点匹配，获得所述第二相机对应的第二位姿，包括：
根据所述第二相机运动参数，以及所述第二时刻与第三时刻之间的时间差，获取所述第二相机对应的第二候选位姿；
基于所述第二候选位姿，将所述三维特征点投影至所述第二相机的相机平面，获得第二候选特征点；
将所述第二候选特征点与所述第二更新特征点匹配，对所述第二候选位姿进行更新以获得所述第二位姿。
7.根据权利要求1至3任一所述的方法，其特征在于，所述方法还包括：
获取待检测特征点；所述待检测特征点包括第一相机在第四时刻采集到的第一待检测特征点，以及所述第二相机在第四时刻采集到的第二待检测特征点中的至少一者；
将所述三维特征点集中包含的各个时刻的特征点，与所述待检测特征点进行匹配；
当所述三维特征点集中的目标特征点，与所述目标待检测特征点满足匹配关系时，根据所述目标特征点对应的位姿，更新采集到所述待检测特征点的相机在第四时刻的位姿。
8.一种铰接式车辆中的多相机定位装置，其特征在于，所述装置包括：
运动参数计算模块，用于根据第一相机分别在第一时刻与第二时刻采集到的第一特征点对、以及第二相机分别在第一时刻与第二时刻采集到的第二特征点对，计算所述第一相机的第一相对运动参数，以及第二相机的第二相对运动参数；所述第一相机与所述第二相机分别位于目标铰链式车辆的不同刚体上；
三维特征点获取模块，用于根据第一相对运动参数对所述第一特征点对进行三角化处理，并根据第二相对运动参数对第二特征点对进行三角化，以获得三维特征点集合；
更新特征点模块，用于获取第一相机在第三时刻采集到的第一更新特征点，以及第二相机在第三时刻采集到的第二更新特征点；
位姿获取模块，用于将所述三维特征点投影至所述第一相机的相机平面，并与所述第一更新特征点匹配，获得所述第一相机对应的第一位姿；
所述位姿获取模块，还用于将所述三维特征点投影至所述第二相机的相机平面，并与所述第二更新特征点匹配，获得所述第二相机对应的第二位姿。
9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至7任一所述的铰接式车辆中的多相机定位方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至7任一所述的铰接式车辆中的多相机定位方法。
CN202210823211.XA 2022-07-14 2022-07-14 一种铰链式车辆中的多相机定位方法、装置及设备 Active CN114897988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210823211.XA CN114897988B (zh) 2022-07-14 2022-07-14 一种铰链式车辆中的多相机定位方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210823211.XA CN114897988B (zh) 2022-07-14 2022-07-14 一种铰链式车辆中的多相机定位方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114897988A true CN114897988A (zh) 2022-08-12
CN114897988B CN114897988B (zh) 2023-05-12

Family

ID=82730043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210823211.XA Active CN114897988B (zh) 2022-07-14 2022-07-14 一种铰链式车辆中的多相机定位方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114897988B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823954A (zh) * 2023-08-29 2023-09-29 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质
WO2024087917A1 (zh) * 2022-10-28 2024-05-02 Oppo广东移动通信有限公司 位姿确定方法及装置、计算机可读存储介质和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796730A (zh) * 2014-08-13 2017-05-31 奔德士商用车系统有限责任公司 学习铰接车辆的摄像头之间的距离
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN113033280A (zh) * 2019-12-09 2021-06-25 智加科技公司 拖车姿态估计的系统和方法
CN113900130A (zh) * 2021-10-15 2022-01-07 北京超星未来科技有限公司 车辆位姿测量方法及车辆

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106796730A (zh) * 2014-08-13 2017-05-31 奔德士商用车系统有限责任公司 学习铰接车辆的摄像头之间的距离
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN113033280A (zh) * 2019-12-09 2021-06-25 智加科技公司 拖车姿态估计的系统和方法
CN113900130A (zh) * 2021-10-15 2022-01-07 北京超星未来科技有限公司 车辆位姿测量方法及车辆

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIN PENG等: "Articulated Multi-Perspective Cameras and Their Application to Truck Motion Estimation", 《IEEE》 *
吴荻: "基于立体视觉里程计的地下铲运车机定位技术研究", 《博士电子期刊》 *
肖春晟: "基于多传感器技术的工程车辆驾驶辅助系统研究", 《硕士电子期刊》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024087917A1 (zh) * 2022-10-28 2024-05-02 Oppo广东移动通信有限公司 位姿确定方法及装置、计算机可读存储介质和电子设备
CN116823954A (zh) * 2023-08-29 2023-09-29 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质
CN116823954B (zh) * 2023-08-29 2023-12-08 深圳魔视智能科技有限公司 铰接式车辆的位姿估计方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
CN114897988B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Shin et al. Roarnet: A robust 3d object detection based on region approximation refinement
Heng et al. Self-calibration and visual slam with a multi-camera system on a micro aerial vehicle
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
Wendel et al. Natural landmark-based monocular localization for MAVs
Saurer et al. Homography based egomotion estimation with a common direction
CN114897988B (zh) 一种铰链式车辆中的多相机定位方法、装置及设备
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
Schleicher et al. Real-time hierarchical stereo Visual SLAM in large-scale environments
Holz et al. Mapping with micro aerial vehicles by registration of sparse 3D laser scans
CN114549738A (zh) 无人车室内实时稠密点云重建方法、系统、设备及介质
Bazin et al. UAV attitude estimation by vanishing points in catadioptric images
CN116222543A (zh) 用于机器人环境感知的多传感器融合地图构建方法及系统
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
Peng et al. Vehicle odometry with camera-lidar-IMU information fusion and factor-graph optimization
Chebrolu et al. Collaborative visual slam framework for a multi-robot system
Christie et al. Semantics for UGV Registration in GPS-denied Environments
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统
CN116429112A (zh) 多机器人协同定位方法和装置、设备及存储介质
Roggeman et al. Embedded vision-based localization and model predictive control for autonomous exploration
Yang et al. Visual SLAM using multiple RGB-D cameras
KR102467858B1 (ko) 영상 기반의 협력적 동시 측위 및 지도 작성 시스템 및 방법
JP3200062B2 (ja) 移動路データに対する評価方法
CN114972829A (zh) 车辆定位方法、装置、设备及存储介质
Wang et al. Slam-based cooperative calibration for optical sensors array with gps/imu aided

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant