CN115272494A - 相机与惯性测量单元的标定方法、装置和计算机设备 - Google Patents

相机与惯性测量单元的标定方法、装置和计算机设备 Download PDF

Info

Publication number
CN115272494A
CN115272494A CN202211194949.0A CN202211194949A CN115272494A CN 115272494 A CN115272494 A CN 115272494A CN 202211194949 A CN202211194949 A CN 202211194949A CN 115272494 A CN115272494 A CN 115272494A
Authority
CN
China
Prior art keywords
camera
points
matching
pose
measurement unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211194949.0A
Other languages
English (en)
Other versions
CN115272494B (zh
Inventor
王海川
焦吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211194949.0A priority Critical patent/CN115272494B/zh
Publication of CN115272494A publication Critical patent/CN115272494A/zh
Application granted granted Critical
Publication of CN115272494B publication Critical patent/CN115272494B/zh
Priority to PCT/CN2023/114477 priority patent/WO2024066816A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Manufacturing & Machinery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种相机与惯性测量单元的标定方法、装置、计算机设备、存储介质和计算机程序产品。所述方法可应用于自动驾驶、电子地图和传感器的在线标定等应用场景，该方法包括：获取各相机采集的图像序列；对各图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；基于各相机的关系矩阵对匹配特征点进行过滤，得到目标特征点；将目标特征点转换为三维点，并基于三维点和图像序列中目标图像的且与目标特征点对应的像素点确定各相机的位姿；根据各相机的位姿和惯性测量单元的位姿，对惯性测量单元与各相机之间的参数进行优化。采用本方法能够有效提高标定参数的精度。

Description

相机与惯性测量单元的标定方法、装置和计算机设备
技术领域
本申请涉及在线标定技术领域，特别是涉及一种相机与惯性测量单元的标定方法、装置和计算机设备。
背景技术
相机和惯性测量单元之间的相对位置和姿态数据是视觉和惯性组合导航系统不可或缺的重要信息，由于相机和惯性测量单元分别安装在载体平台的不同位置，仅凭载体平台的结构设计数据很难精确地反映出彼此之间的相对位置和姿态的变换关系，因此需要对相机和惯性测量单元进行标定。传统的标定方案中，通常是对单个的相机和惯性测量单元进行在线标定，如对前视相机和惯性测量单元进行在线标定，发明人在实验过程中发现，采用上述标定方案标定的参数精度差。
发明内容
基于此，有必要针对上述技术问题，提供一种相机与惯性测量单元的标定方法、装置和计算机设备，能够有效提高标定参数的精度。
第一方面，本申请提供了一种相机与惯性测量单元的标定方法。所述方法包括：
获取各相机采集的图像序列；
对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点；所述关系矩阵是基于各所述相机的外参和惯性测量单元预积分的位姿确定的；
将所述目标特征点转换为三维点，并基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿；
根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的参数进行优化。
第二方面，本申请还提供了一种相机与惯性测量单元的标定装置。所述装置包括：
获取模块，用于获取各相机采集的图像序列；
匹配模块，用于对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
过滤模块，用于基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点；所述关系矩阵是基于各所述相机的外参和惯性测量单元预积分的位姿确定的；
处理模块，用于将所述目标特征点转换为三维点，并基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿；
优化模块，用于根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的旋转参数和尺度变化因子进行优化。
在其中的一个实施例中，所述匹配模块，还用于从各所述图像序列内的图像中提取特征点；对各所述图像序列中不同图像的特征点进行帧内匹配，得到第一匹配点；对各所述图像序列中不同图像的特征点进行帧间匹配，得到第二匹配点；其中，所述第一匹配点和第二匹配点属于所述匹配特征点。
在其中的一个实施例中，所述匹配模块，还用于在各所述图像序列中确定属于相同时刻采集的图像；对相同时刻采集的所述图像对应的特征点进行特征匹配，得到第一匹配点。
在其中的一个实施例中，所述匹配模块，还用于将滑动窗口置于对齐的各所述图像序列上；对所述滑动窗口中属于目标时刻采集的图像所对应的特征点与所述滑动窗口中其它时刻采集的图像所对应的特征点进行匹配，并在完成匹配后移动所述滑动窗口继续进行帧间匹配，直至完成各所述图像序列中不同图像的特征点之间的帧间匹配，得到所述第二匹配点。
在其中的一个实施例中，各所述相机安装在车辆的不同方位上，所述惯性测量单元安装于所述车辆上；或者，各所述相机安装在虚拟现实设备或扩展现实设备的不同方位上，所述惯性测量单元安装于所述虚拟现实设备或所述扩展现实设备上。
在其中的一个实施例中，所述装置还包括：
检测模块，用于当各所述相机安装在车辆的不同方位上时，对各所述图像序列内的图像进行目标检测，得到道路路面和动态障碍物；
遮盖模块，用于在各所述图像序列内的图像中，对所述道路路面和所述动态障碍物各自所在区域进行遮盖；
所述匹配模块，还用于对各所述图像序列中不同图像的且为非遮盖区域内的特征点进行匹配处理。
在其中的一个实施例中，所述过滤模块，还用于在各所述图像中确定各所述相机的关系矩阵对应的极线；确定各所述匹配特征点到所述极线的距离值；将所述距离值大于距离阈值所对应的所述匹配特征点过滤掉，得到目标特征点。
在其中的一个实施例中，所述装置还包括：
所述获取模块，还用于获取所述惯性测量单元检测所得的IMU数据；
预积分模块，用于基于所述IMU数据进行预积分，得到第一预积分量和第二预积分量；
第一确定模块，用于根据所述第一预积分量和所述惯性测量单元的初始姿态信息确定姿态信息；根据所述第二预积分量和所述惯性测量单元的初始位置信息确定位置信息；将所述位置信息和所述姿态信息，作为所述惯性测量单元预积分的位姿。
在其中的一个实施例中，所述装置还包括：
第二确定模块，用于在所述三维点中选取预设数量的点作为内点，并基于所述内点和所述内点对应的像素点确定各所述相机的预测位姿；当各所述相机的初始位姿与所述预测位姿之间的误差不满足误差条件时，重新选取所述预设数量的点作为内点以确定各所述相机的预测位姿，直至所述初始位姿与所述预测位姿之间的误差满足所述误差条件，将满足所述误差条件时所选取的内点作为目标三维点；
所述处理模块，还用于基于所述目标三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿。
在其中的一个实施例中，各所述相机的位姿包括位于滑动窗口内的位姿；所述参数包括旋转外参和尺度因子；
所述优化模块，还用于将所述滑动窗口内的位姿和所述惯性测量单元的位姿对齐；基于对齐的各所述位姿，对所述惯性测量单元与各所述相机之间的旋转参数和尺度变化因子进行优化。
在其中的一个实施例中，所述装置还包括：
所述优化模块，还用于基于所述三维点和各所述相机的位姿进行重投影，得到重投影点；基于所述目标特征点与所述重投影点获得误差函数；对所述误差函数进行求解处理，并基于所述误差函数的求解结果对所述惯性测量单元与各所述相机之间的平移参数进行优化。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取各相机采集的图像序列；
对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点；所述关系矩阵是基于各所述相机的外参和惯性测量单元预积分的位姿确定的；
将所述目标特征点转换为三维点，并基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿；
根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的参数进行优化。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取各相机采集的图像序列；
对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点；所述关系矩阵是基于各所述相机的外参和惯性测量单元预积分的位姿确定的；
将所述目标特征点转换为三维点，并基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿；
根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的参数进行优化。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取各相机采集的图像序列；
对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点；所述关系矩阵是基于各所述相机的外参和惯性测量单元预积分的位姿确定的；
将所述目标特征点转换为三维点，并基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿；
根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的参数进行优化。
上述相机与惯性测量单元的标定方法、装置、计算机设备、存储介质和计算机程序产品，在获得各相机采集的图像序列后，对对各图像序列中不同图像的特征点进行匹配处理，从而可以有效避免在三角化匹配特征点中的目标特征点得到三维点时出现较大位置偏差，有利于提高三维点的位置精度和鲁棒性；此外，还会基于各相机的关系矩阵对匹配特征点进行过滤，从而降低或避免噪声点的干扰，通过将过滤后的目标特征点换为三维点，并基于该三维点、对应的像素点和各相机之间的外参约束条件可以准确地计算出各相机的位姿，最后根据各相机的位姿和惯性测量单元的位姿对惯性测量单元与各相机之间的参数进行优化，从而有效地提高了参数标定的精准度。
附图说明
图1为一个实施例中相机与惯性测量单元的标定方法的应用环境图；
图2为一个实施例中相机与惯性测量单元的标定方法的流程示意图；
图3a为一个实施例中安装多相机的虚拟现实设备或扩展现实设备的示意图；
图3b为一个实施例中安装多相机和惯性测量单元的车辆的示意图；
图4为另一个实施例中安装多相机和惯性测量单元的车辆的示意图；
图5为一个实施例中车辆上各相机的安装方位的示意图；
图6为一个实施例中在图像中检测出的特征点的示意图；
图7为一个实施例中在帧间匹配和帧内匹配的示意图；
图8为一个实施例中进行帧内匹配的示意图；
图9为一个实施例中进行帧间匹配的示意图；
图10为一个实施例中对不同图像进行在帧间匹配和帧内匹配的流程示意图；
图11为另一个实施例中进行帧内匹配的示意图；
图12a为另一个实施例中进行帧间匹配的示意图；
图12b为另一个实施例中进行帧间匹配的示意图；
图13为一个实施例中对匹配特征点进行过滤的示意图；
图14为另一个实施例中对匹配特征点进行过滤的示意图；
图15为一个实施例中预积分常量的示意图；
图16为一个实施例中在地图中显示三维点的示意图；
图17为另一个实施例中在地图中显示三维点的示意图；
图18为一个实施例中在地图中显示过滤后的三维点的示意图；
图19为另一个实施例中在地图中显示过滤后的三维点的示意图；
图20为一个实施例中普吕克坐标系的示意图；
图21为一个实施例中多相机模型的示意图；
图22为一个实施例中相机与惯性测量单元的标定装置的结构框图；
图23为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在对本申请的实施例进行描述之前，先对所涉及的技术进行说明，具体如下：
智能交通系统（Intelligent Traffic System，ITS）又称智能运输系统（Intelligent Transportation System），是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。或者；
智能车路协同系统（Intelligent Vehicle Infrastructure CooperativeSystems，IVICS），简称车路协同系统，是智能交通系统（ITS）的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。
本申请实施例提供的相机与惯性测量单元的标定方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102获取各相机采集的图像序列；对各图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；基于各相机的关系矩阵对匹配特征点进行过滤，得到目标特征点；关系矩阵是基于各相机的外参和惯性测量单元预积分的位姿确定的；将目标特征点转换为三维点，并基于三维点和图像序列中目标图像的且与目标特征点对应的像素点确定各相机的位姿；根据各相机的位姿和惯性测量单元的位姿，对惯性测量单元与各相机之间的参数进行优化。或者，终端102在获取到车辆上各相机采集的图像序列之后，将这些图像序列发送至服务器104，由服务器104执行上述标定过程。
其中，终端102可以是用户驾驶的车辆或该车辆上的智能车载设备，又或者是该用户使用的智能手机、平板电脑、笔记本电脑、台式计算机、智能手表、物联网设备和便携式可穿戴设备；该便携式可穿戴设备可为智能手表、智能手环、头戴设备等。此外，终端102还可以是虚拟现实设备或扩展现实设备，或者是虚拟现实设备或扩展现实设备上的控制器。
服务器104可以是独立的物理服务器，也可以是区块链系统中的服务节点，该区块链系统中的各服务节点之间形成点对点（Peer To Peer，P2P）网络，P2P协议是一个运行在传输控制协议（Transmission Control Protocol，TCP）协议之上的应用层协议。
此外，服务器104还可以是多个物理服务器构成的服务器集群，可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
终端102与服务器104之间可以通过蓝牙、USB(Universal Serial Bus，通用串行总线）或者网络等通讯连接方式进行连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种相机与惯性测量单元的标定方法，该方法可应用于图1中的服务器或终端，接下来以该方法应用于图1中的终端为例进行说明，包括以下步骤：
S202，获取各相机采集的图像序列。
其中，上述的各相机（也即摄像头）可以安装在车辆不同方位上，这些相机可以通过刚性连接（也称刚体连接）的方式进行连接；或者，上述的各相机还可以安装在虚拟现实设备或扩展现实设备的不同方位上，如在虚拟现实设备或扩展现实设备的左上、左下、右上以及右下位置安装相机，如图3a所示。由于相机可以安装于车辆、虚拟现实设备或扩展现实设备上，因此本申请的标定方法可应用于对车辆上的相机与惯性测量单元进行标定的场景，以及应用于对虚拟现实设备或扩展现实设备上的相机与惯性测量单元进行标定的场景。需要指出的是，各相机之间可以通过刚体连接，彼此之间可以存在部分共视区域，这些相机结合在一起可组成的多相机模型（Generalized Camera Model），如图3b所示。
扩展现实设备可以是集成了虚拟现实（Virtual Reality，VR）、增强现实（Augmented，Reality AR）和混合现实（Mixed Reality，MR）这三种技术的电子设备。
图像序列是由多个不同时刻采集的图像组成的有序图像集合，如车辆上的每个相机采集的图像可组成一个图像序列，又如虚拟现实设备或扩展现实设备上个相机采集的图像也可组成一个图像序列。每个相机具有对应的图像序列，不同相机的图像序列之间存在相同时刻和不同时刻采集的图像。
在一个实施例中，终端获取由车辆上各相机采集的图像序列，或者获取由虚拟现实设备或扩展现实设备上个相机采集的图像序列。
其中，车辆可以指用户驾驶的机动车，如用户手动驾驶的机动车或利用自动驾驶系统进行自动驾驶的机动车。车辆上可以安装多个相机，可以在车辆的前方、左侧、右侧以及后方各安装至少一个相机，如图3b所示，在车辆前方的车标位置安装一个相机，车辆左视镜和右视镜各安装一个相机，车辆后方的车标位置也可以按照一个相机。需要指出的是，前方的相机可以采集车辆前方的图像，左侧的相机可以采集车辆左前方的图像，右侧的相机可以采集车辆右前方的图像，后方的相机可以采集车辆后方的图像。
此外，相机也可以安装在车辆的其它地方，如图4所示，在车辆的车顶上外置一套车载相机。其中，该套车载相机可以由五个相机组成，每个相机的夹角约为72度，且向上有一个20度左右的仰角，各相机间通过刚体连接。每个相机的布置方位如图5所示，每个箭头分别代表各相机的朝向，车辆前方的相机和车辆的行驶方向平行，相机1至相机5分别代表前视相机、左前相机、左后相机、右后相机和右前相机。
在一个实施例中，各相机在实时采集到图像之后，将实时采集的图像传输至终端，终端将各相机实时采集的图像按序进行排列，得到各相机的图像序列，为了实现实时性的需求，终端可以在接收图像的过程中，执行S204；或者，各相机在采集到目标时段内的图像得到图像序列之后，然后将各相机采集的图像序列传输至终端，然后执行S204。
例如，如图4所示，车辆在行驶过程中，车辆的前视相机、左前相机、左后相机、右后相机和右前相机实时采集图像，然后将实时采集的图像发送至终端，终端将每个相机采集的图像组合在一起，得到目标时段内的图像序列。或者，车辆的前视相机、左前相机、左后相机、右后相机和右前相机在采集到目标时段内的图像序列之后，将这些图像序列传输至终端。
S204，对各图像序列中不同图像的特征点进行匹配处理，得到匹配特征点。
其中，特征点可以指目标物的关键点，可参考6。该特征点的表现形式可以是向量，因此也可称为特征向量。当本申请的标定方法应用于对车辆上的相机与惯性测量单元进行标定的场景时，该目标物可以是具有代表性的物体，如该目标物可以包括车辆所行驶的道路两边的建筑物、树木、交通信号杆、交通指示牌以及其它物体；此外，还可以包括道路和道路上的行人和车辆等。当本申请的标定方法应用于对虚拟现实设备或扩展现实设备上的相机与惯性测量单元进行标定的场景时，该目标物可以是静态物体，如室内的电视、沙发和其它静态的标志物。
匹配特征点可以指不同图像中相互匹配的特征点，如图像1中的特征点a(1)~a(n)与图像2中的特征点b(1)~b(n)相互匹配，则特征点a(1)~a(n)和特征点b(1)~b(n)是匹配特征点。
在一个实施例中，在进行匹配时，终端可以采用superglue特征点匹配算法、其它基于深度学习的匹配算法或SIFT算法，对各图像序列中不同图像的特征点进行匹配处理。
在另一个实施例中，终端可以各图像序列中不同图像的特征点进行帧内匹配和帧间匹配，分别得到第一匹配点和第二匹配点；该第一匹配点和第二匹配点为匹配特征点。在进行帧间匹配时，终端可以采用滑动窗口算法对各图像序列中不同图像的特征点进行帧间匹配。
其中，帧内匹配（Intra-frame matching）可以指对刚性连接的不同相机在相同时刻采集的图像中的特征点进行匹配，如对各图像序列中相同时刻采集的图像中的特征点进行匹配处理。举例来说，如图7所示，对左前相机和前视相机在t0时刻采集的图像中的特征点进行匹配处理，该匹配过程属于帧内匹配，从而得到第一匹配点。该第一匹配点可以参考图8，图8的（a）图为前视相机在t0时刻采集的图像，图8的（b）图为左前相机在t0时刻采集的图像，而图8的（a）和（b）图中各线条两端的点为第一匹配点。
帧间匹配（Inter-frame matching）可以指对刚性连接的各相机在不同时刻采集的图像中的特征点进行特征匹配，如采用滑动窗口算法（Sliding-Window algorithm）对各图像序列中不同时刻采集的图像中的特征点进行匹配处理。举例来说，如图7所示，对前视相机在t0和t1时刻采集的图像中的特征点进行匹配处理，该匹配过程属于帧间匹配，从而得到第二匹配点。该第二匹配点可以参考图9，图9的（a）图为前视相机在t0时刻采集的图像，图9的（b）图为前视相机在t1时刻采集的图像，而图9的（a）和（b）图中各线条两端的点为第二匹配点。
滑动窗口算法可以是在一个特定数量的图像上进行操作，而不在整个图像序列上操作，这样就降低了计算的复杂度，从而也达到降低了循环的嵌套深度。
在一个实施例中，S204之前，当各相机是安装在车辆的不同方位上时，终端对各图像序列内的图像进行目标检测，得到目标物；在各图像序列内的图像中，对目标物所在区域进行遮盖，被遮盖的区域内的特征点不参与匹配，从而可以提高匹配的精准度。其中，该目标物可以是道路路面和道路上的动态障碍物，该动态障碍物可以是辆和行人。
由于道路中存在较多重复纹理和动态障碍物，影响了特征点匹配的精准度，进而影响标定的准确性，为了提高匹配的精准度和标定的准确性，可以对道路路面和动态障碍物进行检测和分割，在排除路面和动态障碍物的影响之后，再进行特征点的匹配处理，具体的操作过程如下：当各相机是安装在车辆的不同方位上时，终端对各图像序列内的图像进行目标检测，得到道路路面和动态障碍物；在各图像序列内的图像中，对道路路面和动态障碍物各自所在区域进行遮盖；然后，对各图像序列中不同图像的且为非遮盖区域内的特征点进行匹配处理。
其中，进行检测和分割的模型可以是集成了物体检测和实例分割的网络模型，该网络模型在检测出目标物之后，将目标物进行遮盖（Mask），而被Mask的区域内的特征点不参与匹配。该网络模型可以是Mask RCNN（Mask Region based Convolutional NeuralNetwork，掩体区域卷积神经网络）或其它基于深度学习的分割模型。
S206，基于各相机的关系矩阵对匹配特征点进行过滤，得到目标特征点。
其中，各相机的关系矩阵可以是多相机模型的G矩阵，是一种特殊的本质（Essential）矩阵，而多相机模型是通过刚体连接的各相机所组成的模型。此外，该关系矩阵可以是基于各相机的外参和惯性测量单元（Inertial Measurement Unit，IMU）预积分的位姿确定的，可以反映空间三维点P的像点在不同视角相机下的相机坐标系中的变换关系，其表达式如下：
Figure 867328DEST_PATH_IMAGE002
上述的惯性测量单元可以安装于车辆上，安装的位置可以参考图3b所示的位置，此外也可以安装在其它位置，该惯性测量单元与车辆上的各相机是非刚性连接的。除了安装在车辆上之外，该惯性测量单元也可以安装于虚拟现实设备或扩展现实设备上，该惯性测量单元与虚拟现实设备或扩展现实设备上的各相机也可以是非刚性连接的。其中，预积分可以指：在已知上一时刻的IMU状态量（姿态信息和速度、位置信息）情况下，利用IMU测量得到的速度和角速度，做积分运算得到当前时刻的状态量，如位置信息和姿态信息。
在一个实施例中，由于各相机采集的图像携带了噪声，因此匹配特征点包含了噪声点（也称外点），此时终端基于相机的关系矩阵对匹配特征点进行外点过滤，以降低匹配特征点中的外点，从而得到目标特征点。
S208，将目标特征点转换为三维点，并基于三维点和图像序列中目标图像的且与目标特征点对应的像素点确定各相机的位姿。
其中，相机的位姿可以包括相机的位置信息和姿态信息。该姿态信息可以包括围绕X轴旋转的俯仰角（pitch）、围绕Y轴旋转的偏航角（yaw）和围绕Z轴旋转的翻滚角（roll）；此外，该姿态信息也可以用旋转四元组来进行表示。
在一个实施例中，终端利用相机的内参和/或各相机之间的外参对目标特征点进行三角化，得到目标特征点对应的三维点。其中，每个三维点与图像序列中至少两个目标图像的像素点对应。
在获得三维点之后，通过变换矩阵将图像序列中第i帧图像的坐标转换为第i+1帧图像的坐标估计值，然后将第二帧图像的坐标估计值通过内参转换为像素坐标，利用误差函数对该像素坐标和第二帧图像中与目标特征点对应的像素点的坐标进行作差，通过优化误差函数可以逐步计算出最优的变换矩阵，该变换矩阵即为相机的位姿。其中，i为大于或等于1的正整数。
S210，根据各相机的位姿和惯性测量单元的位姿，对惯性测量单元与各相机之间的参数进行优化。
其中，相机的位姿可以是相机坐标系中的位置信息和姿态信息。惯性测量单元的位姿可以是IMU坐标系中的位置信息和姿态信息。惯性测量单元与各相机之间的参数可以包括旋转外参和尺度因子。
在一个实施例中，在进行优化的过程中，终端先将各相机在滑动窗口内的位姿和惯性测量单元的位姿进行对齐，然后利用对齐的位姿对惯性测量单元与各相机之间的参数进行优化。其中，对齐可以指在时间上将各相机的位置和姿态与惯性测量单元的位置和姿态进行对齐。
由于参数可以包括旋转外参和尺度因子，相机的位姿包括位于滑动窗口内的位姿，因此S210具体可以包括：终端将滑动窗口内的位姿和惯性测量单元的位姿对齐；基于对齐的各位姿，对惯性测量单元与各相机之间的旋转参数和尺度变化因子进行优化。
具体地，终端在将各相机的位姿与惯性测量单元的位姿对齐之后，对各相机的位姿与惯性测量单元的位姿进行分析，得到各相机与惯性测量单元之间的位姿关系，通过该位姿关系可以对惯性测量单元与各相机之间的旋转参数和尺度变化因子进行优化。其中，该位姿关系的表达式如下所示：
y=min|| \lambda(R×P1+ t) - P2||
其中，\lambda表示各相机与惯性测量单元之间的尺度因子，R表示旋转外参（即旋转矩阵），P1表示各相机的位姿，t表示各相机和IMU之间的平移参数，P2可以是惯性测量单元的位姿。需要指出的是，该平移参数来自于出厂值。
根据上述表达式可知，终端通过优化尺度因子和旋转外参可以最小化该位姿关系，从而得到最终的尺度因子和旋转外参。
除了可以对惯性测量单元与各相机之间的参数进行优化，终端还可以对惯性测量单元与各相机之间的平移参数进行优化，具体优化过程如下：终端基于三维点和各相机的位姿进行重投影，得到重投影点；通过误差函数确定目标特征点与重投影点之间的误差值；基于目标特征点与重投影点获得误差函数；对误差函数进行求解处理，并基于误差函数的求解结果对惯性测量单元与各相机之间的平移参数进行优化。
例如，由于观测点的噪声，使得重投影点与目标特征点之间存在误差，为了确定最优的平移参数，预先构造了最小二乘函数，将重投影点与目标特征点的坐标代入该最小二乘函数，将代入参数的最小二乘函数作为误差函数，该误差函数如下所示：
Figure 878009DEST_PATH_IMAGE004
其中，ui可以指目标特征点的坐标，
Figure 751025DEST_PATH_IMAGE006
可以指重投影点的坐标。
对该误差函数进行求解，然后利用求解结果对惯性测量单元与各相机之间的平移参数进行优化。其中，在对该误差函数进行求解时，可以采用高斯牛顿法或列文伯格-马夸尔特方法进行求解。
上述实施例中，在获得各相机采集的图像序列后，对对各图像序列中不同图像的特征点进行匹配处理，从而可以有效避免在三角化匹配特征点中的目标特征点得到三维点时出现较大位置偏差，有利于提高三维点的位置精度和鲁棒性；此外，还会基于各相机的关系矩阵对匹配特征点进行过滤，从而降低或避免噪声点的干扰，通过将过滤后的目标特征点换为三维点，并基于该三维点、对应的像素点和各相机之间的外参约束条件可以准确地计算出各相机的位姿，最后根据各相机的位姿和惯性测量单元的位姿对惯性测量单元与各相机之间的参数进行优化，从而有效地提高了参数标定的精准度。
在一个实施例中，如图10所示，S204具体可以包括：
S1002，从各图像序列内的图像中提取特征点。
对于特征点的提取步骤，具体可以包括：终端可以采用尺度不变特征变换（Scale-invariant feature transform，SIFT）方式、基于深度学习的特征点检测模型或SuperPoint算法，提取各图像序列内的图像中的特征点，提取的特征点可参考图6。
其中，SIFT是一种用来检测与描述图像中的局部性特征，可在空间尺度中寻找极值点，并提取出其位置、尺度和旋转不变量；此外，SIFT还可以用于对特征点匹配。SuperPoint算法是一种基于深度学习的自监督特征点检测算法。
S1004，对各图像序列中不同图像的特征点进行帧内匹配，得到第一匹配点。
其中，帧内匹配可以指对刚性连接的不同相机在相同时刻采集的图像中的特征点进行匹配。例如，如图6所示，对左前相机和前视相机在t0时刻采集的图像中的特征点进行匹配的过程属于帧内匹配；此外，前视相机和右前相机在t0时刻采集的图像中的特征点进行匹配的过程也属于帧内匹配。
对于帧内匹配的步骤，具体可以包括：终端在各图像序列中确定属于相同时刻采集的图像；对相同时刻采集的图像对应的特征点进行特征匹配，得到第一匹配点。
例如，假设前视相机、左前相机、左后相机、右后相机和右前相机各自采集的图像序列中各有10个图像，如图11所示，每个相机的图像序列中均包含第1至10张图像，这些图像分别是各相机在t0至t9时刻采集的图像。终端从各图像序列中确定前视相机、左前相机、左后相机、右后相机和右前相机分别在t0至t9时刻采集的图像，从而得到各相机在相同时刻采集的图像。然后，将各相机在t0采集的图像中的特征点进行特征匹配，即将前视相机、左前相机、左后相机、右后相机和右前相机采集的第1张图像中的特征点进行特征匹配；然后将各相机在t1时刻采集的图像中的特征点进行特征匹配，依此类推，直至将各相机在t9时刻采集的图像中的特征点进行特征匹配，从而得到帧内匹配的第一匹配点。
S1006，对各图像序列中不同图像的特征点进行帧间匹配，得到第二匹配点。
其中，上述的第一匹配点和第二匹配点属于匹配特征点。
帧间匹配可以指对刚性连接的各相机在不同时刻采集的图像中的特征点进行匹配。例如，如图6所示，对前视相机在t0和t1时刻采集的图像中的特征点进行匹配的过程属于帧间匹配；此外，前视相机和右前相机分别在t0和t1时刻采集的图像中的特征点进行匹配的过程也属于帧间匹配。
在一个实施例中，对于帧间匹配的步骤，具体可以包括：终端先对各图像序列进行对齐，然后将滑动窗口置于对齐的各图像序列上；对滑动窗口中属于目标时刻采集的图像所对应的特征点与滑动窗口中其它时刻采集的图像所对应的特征点进行匹配，并在完成匹配后移动滑动窗口继续进行帧间匹配，直至完成各图像序列中不同图像的特征点之间的帧间匹配，得到第二匹配点。
其中，滑动窗口的长度可以是固定的，当处于滑动窗口内的图像中的特征点完成匹配之后，按照预设步长移动滑动窗口，然后继续对移动后的滑动窗口内的图像中的特征点进行匹配处理，
例如，假设前视相机、左前相机、左后相机、右后相机和右前相机各自采集的图像序列中各有10个图像，如图12a所示，每个相机的图像序列中均包含第1至10张图像，这些图像分别是各相机在t0至t9时刻采集的图像。终端将窗口长度为5的滑动窗口置于各图像序列上，然后将滑动窗口内各相机的第5张图像与滑动窗口内各其它图像进行特征点匹配，并在匹配完成后移动滑动窗口，如图12b所示，然后将滑动窗口内各相机的第6张图像与滑动窗口内各其它图像进行特征点匹配，直至完成各图像序列中不同图像的特征点之间的帧间匹配，得到第二匹配点。
通过对不同相机采集的各图像序列中不同图像的特征点进行匹配处理，可以在三角化计算三维点时提高三维点的精度，例如，传统方案中通常是对单目相机（如前视相机）采集的图像中的特征进行匹配得到匹配特征点，在进行三角化计算时，由于大部分特征点为较小的锐角，根据如下表达式可知，极小的扰动可时计算出的位置出现较大偏差，从而计算出来的三维点精度较差；而采用本申请上述提供的匹配方式，可以大大地提高三维点的精度。
Figure 378315DEST_PATH_IMAGE008
当角度A接近0度时，正弦值较小，极小的扰动可使计算的位置出现较大的偏差，因此传统方式计算出的三维点精度较差。而通过本申请中对各相机采集的图像进行特征点匹配的方案，可以在三角化计算三维点时提高三维点的精度，有利于提高标定精准度。
在一个实施例中，S206具体可以包括：终端在各图像中确定各相机的关系矩阵对应的极线；确定各匹配特征点到极线的距离值；将距离值大于距离阈值所对应的匹配特征点过滤掉，得到目标特征点。
终端在确定极线时，可以通过惯性测量单元预积分的位姿算出关系矩阵对应的极线，然后在各图像中绘制出该极线。在各图像中，计算该图像中的匹配特征点到极线之间的距离值，然后根据距离值进行过滤即可得到目标特征点。
举例来说，可以结合图8、图9、图13以及图14进行说明，其中：
在图8和图9中，匹配特征点内存在小部分的噪声点，终端利用上述过滤方式对图8和图9中的匹配特征点进行过滤，从而可以有效降低噪声点的数量，分别得到图13和图14所示的目标特征点；其中，图13的（a）图可以是左前相机在t0时刻采集的图像，图13的（b）图可以是左后相机在t0时刻采集的图像，而图13的（a）和（b）图中各线条相连的点为过滤之后所得的目标特征点，从图13可知噪声点显然减少。图14的（a）图和（b）图可以是前视相机分别在t0和t1时刻采集的图像，而图14的（a）和（b）图中各线条相连的点为过滤之后所得的目标特征点，从图14可知噪声点显然减少。
上述实施例中，利用各匹配特征点到极线的距离值对匹配特征点过滤，可以有效地减低噪声点的影响，进一步提高标定的精准度。
在一个实施例中，终端获取惯性测量单元检测所得的IMU数据；基于IMU数据进行预积分，得到第一预积分量和第二预积分量；根据第一预积分量和惯性测量单元的初始姿态信息确定姿态信息；根据第二预积分量、惯性测量单元的初始位置信息和初始速度，确定位置信息；将位置信息和姿态信息，作为惯性测量单元预积分的位姿。
其中，初始位置信息和初始速度可以指车辆上一时刻的位置信息和速度。
该IMU数据包括惯性测量单元检测的移动速度（如车辆的运动速度或虚拟现实设备的移动速度）和陀螺仪检测的角速度。移动速度积分可以得到位置信息，角速度积分可以得到角度，惯性测量单元预积分的表达式如下：
Figure 496444DEST_PATH_IMAGE010
其中，
Figure 158369DEST_PATH_IMAGE012
和
Figure 703751DEST_PATH_IMAGE014
分别代表t和t+1时刻的位置信息，
Figure 552759DEST_PATH_IMAGE016
和
Figure 474578DEST_PATH_IMAGE018
分别代表t和t+1时刻的移动速度，
Figure 991010DEST_PATH_IMAGE020
和
Figure 300769DEST_PATH_IMAGE022
分别表示t和t+1时刻的旋转四元组，该旋转四元组属于姿态信息的一种表示形式。
Figure 10974DEST_PATH_IMAGE024
可以表示第二预积分量，也可称为位置积分量；
Figure 595539DEST_PATH_IMAGE026
可以表示第一预积分量，也可称为姿态积分量。此外，对于预积分的常用量及说明，可以参考图15。
上述实施例中，通过对IMU数据进行预积分，最终可以得到两帧图像间的相对位姿，从而无需全部重新进行积分，减轻了计算压力。
在一个实施例中，终端在三维点中选取预设数量的点作为内点，并基于内点和内点对应的像素点确定各相机的预测位姿；当各相机的初始位姿与预测位姿之间的误差不满足误差条件时，重新选取预设数量的点作为内点以确定各相机的预测位姿，直至初始位姿与预测位姿之间的误差满足误差条件，将满足误差条件时所选取的内点作为目标三维点。因此，S208具体可以包括：基于目标三维点和图像序列中目标图像的且与目标特征点对应的像素点确定各相机的位姿。
其中，在选取内点时，可以采用随机的方式进行选取。选取的内点可以假设为真实的三维点，当计算出来的预测位姿与初始位姿（属于初始外参）之间的误差满足预设的误差条件时，选取出来的内点确实是真实的三维点；当误差不满足预设的误差条件时，则选取出来的内点不是真实的三维点，需要重新选取内点，直至将所有真实的三维点选取出来，将这些真实的三维点作为目标三维点，从而实现了对特征点的再次过滤，进一步过滤掉外点。需要指出的是，上述外点过滤方式采用的是多相机模型PnP和Ransac过滤方式。
在对车辆上的相机与惯性测量单元进行标定的场景中，上述的三维点是各匹配特征点进行三角化所得的空间点，将图像序列的前两帧图像对应的三维点加入到地图中，可以得到图16所示的三维点地图数据；其中，图16中的矩形框表示各相机的位置，黑色方块为前两帧对应的三维点的坐标。然后对第三帧图像采用上述过滤方式进行外点过滤方式，然后将经过过滤后的三维点与前两帧对应的三维点加入地图中，可以得到图17所示的三维点地图数据；其中，图17中的矩形框表示各相机的位置，黑色方块为前两帧对应的三维点的坐标，灰色方块为第三帧对应的三维点的坐标。
此外，图18和图19为前20帧图像对应的三维点进行过滤后的点云效果，其中图18为俯视图，图19为侧视图，可以看出这些三维点分布在车辆的两侧，且离车辆的越远，三维点的分布越稀疏。其中，图18和图19中五个相连在一起的圆点表示车辆上的五个相机。
上述实施例中，通过对三维点进行过滤，可以有效地降低误匹配对参数标定的影响，从而可以有效地提高参数标定的精准度。
作为一个示例，以对车辆上的各相机与惯性测量单元之间的外参进行标定的场景为例进行描述，具体如下：
（1）对车辆上各相机采集的图像进行特征点检测。
本申请可采用superpoint提取方式提取特征点，此外也可采用其它基于深度学习的特征点检测模型或传统的特征点检测算法进行特征点检测，从而得到图像中的特征点。
（2）特征点的匹配。
特征点的匹配分为帧内匹配和帧间匹配，帧内匹配可以指对同一时刻不同相机采集的图像进行特征点匹配，帧间匹配可以是对不同时刻相同或不同相机采集的图像进行特征点匹配。由于道路中存在较多重复纹理（如地面）和动态障碍物（如车辆和行人），故需要对道路的地面、行人和车辆进行检测和分割，可以使用Mask RCNN进行分割，也可以采用其它基于深度学习的分割模型。需要指出的是，分割出来的地面、行人和车辆所在区域被Mask掉，而被Mask掉的区域不参与匹配。
其中，本申请实施例的帧内匹配采取的策略为：相机1和相机2之间的图像进行特征点匹配；相机2和相机3之间的图像进行特征点匹配；相机3和相机4之间的图像进行特征点匹配，相机4和相机5之间的图像进行特征点匹配；相机5和相机1之间的图像进行特征点匹配。相机1可以指前视相机，相机2可以指左前相机，相机3可以指左后相机，相机4可以指右后相机，相机5可以指右前相机。
本申请实施例的帧间匹配采取的策略为：将滑动窗口内各相机在某一时刻采集的图像与该滑动窗口内所有图像进行特征点匹配，并不断移动滑动窗口。刚开始，将t5时刻所有相机采集的图像和滑动窗口内其它时刻相机采集的图像做特征点匹配。
（3）预积分。
通过IMU的陀螺仪和轮速预积分，可以得到IMU预积分的相对位姿。其中，速度积分得到位移，角速度积分得到角度，对应的公式如下所示：
Figure 841844DEST_PATH_IMAGE027
其中，
Figure 853662DEST_PATH_IMAGE012
和
Figure 411682DEST_PATH_IMAGE028
分别代表t和t+1时刻的位置信息，
Figure 409725DEST_PATH_IMAGE029
和
Figure 900749DEST_PATH_IMAGE030
分别代表t和t+1时刻的移动速度，
Figure 958835DEST_PATH_IMAGE020
和
Figure 738572DEST_PATH_IMAGE022
分别表示t和t+1时刻的旋转四元组。
（4）多相机模型的G矩阵。
多相机模型的G矩阵的公式推导，具体如下：
如图20所示，P表示三维点，相机在世界坐标系的位置，q代表相机的光线的方向向量，可以根据图像坐标系的像素点和相机的内参计算出来，故相机光线上的三维点在相机光线方向有一个尺度因子a。
普吕克坐标系是表示三维直线的一种常用表达，如图20所示， q代表直线的方向向量，P代表直线上的一个三维点，则
Figure 664940DEST_PATH_IMAGE032
为原点和直线构成平面的法向量，故
Figure 384372DEST_PATH_IMAGE034
，则直线上的三维点的表达式可以写成：
Figure 737993DEST_PATH_IMAGE036
对于普吕克坐标系下的相机C1光线L可以表示为：
Figure 411551DEST_PATH_IMAGE038
则对于同一时刻刚体的相机C2的光线
Figure 141610DEST_PATH_IMAGE040
可以表示为：
Figure 810488DEST_PATH_IMAGE042
如果光线
Figure 210377DEST_PATH_IMAGE044
和光线
Figure 902389DEST_PATH_IMAGE046
相交于一点，则：
Figure 904980DEST_PATH_IMAGE048
结合上述两个公式可得：
Figure 959524DEST_PATH_IMAGE050
化简可得：
Figure 28849DEST_PATH_IMAGE052
写成矩阵的形式为：
Figure 801633DEST_PATH_IMAGE054
其中
Figure 748860DEST_PATH_IMAGE056
G矩阵也可以指通用相机模型的E矩阵，其中R，t分别代表不同相机或不同时间的同一相机间的旋转参数和平移参数。本申请利用预积分提供的相对位姿和初始外参求解G矩阵，并根据G矩阵做外点过滤选出满足条件的特征点。
（5）多相机模型初始化。
用相机间的外参对匹配特征点三角化可得到三维点，并把三维点加入到地图里面。选取两帧图像的内点匹配数量足够多的，且通过G矩阵后依旧能保留外点的图像作为第1帧的图像。将前两帧的图像通过三角化得到三维点，这些三维点比较分散，且存在一些外点，需要进一步过滤。
（6）多相机模型PnP求解位姿。
PnP的求解包括下面几个步骤：
1、把光线以普吕克坐标系表示，其中三维点的位置来自相机间的平移，相机的方向
Figure 657911DEST_PATH_IMAGE058
，其中K为相机的内参，p代表像素的齐次坐标；
2、恢复深度信息；
3、计算绝对的朝向和平移。
关于多相机模型的公式推导：
如图21所示，图21为多相机模型示意图，
Figure 665181DEST_PATH_IMAGE060
分别代表三个不同的相机，
Figure 128523DEST_PATH_IMAGE062
分别代表世界坐标系的三维点，
Figure 4075DEST_PATH_IMAGE064
分别代表相机
Figure 642998DEST_PATH_IMAGE066
的投影光线。
根据
Figure 945804DEST_PATH_IMAGE068
可得，空间中三维点的距离可以表示为：
Figure 801502DEST_PATH_IMAGE070
化简可得：
Figure 684007DEST_PATH_IMAGE072
对于三相机模型，上述三个公式均为二阶方程，有三个未知数，可以求出多个解；同理，对于五相机模型，也可以得到同样的五个方程并求解出多个解。
本申请使用多相机模型PnP和Ransac过滤掉外点，并求解出相机的初始位姿。然后，根据计算出来的内点做一个BA优化，通过最小化重投影误差来优化相机的位姿，并得到各相机的一系列位姿。
（7）优化相机和IMU的旋转和尺度
相机的轨迹和预积分的轨迹进行对齐，通过滑动窗口内（如前20帧图像的位姿）和IMU预积分的位姿对齐来优化出相机和IMU之间的旋转参数及尺度因子。
（8）优化相机和IMU的平移
完成相机旋转参数和尺度优化后，可以通过最小化重投影误差对平移进行一定程度的修正。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的相机与惯性测量单元的标定方法的相机与惯性测量单元的标定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个相机与惯性测量单元的标定装置实施例中的具体限定可以参见上文中对于相机与惯性测量单元的标定方法的限定，在此不再赘述。
在一个实施例中，如图22所示，提供了一种相机与惯性测量单元的标定装置，包括：获取模块2202、匹配模块2204、过滤模块2206、处理模块2208和优化模块2210，其中：
获取模块2202，用于获取各相机采集的图像序列；
匹配模块2204，用于对各图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
过滤模块2206，用于基于各相机的关系矩阵对匹配特征点进行过滤，得到目标特征点；关系矩阵是基于各相机的外参和惯性测量单元预积分的位姿确定的；
处理模块2208，用于将目标特征点转换为三维点，并基于三维点和图像序列中目标图像的且与目标特征点对应的像素点确定各相机的位姿；
优化模块2210，用于根据各相机的位姿和惯性测量单元的位姿，对惯性测量单元与各相机之间的旋转参数和尺度变化因子进行优化。
在其中的一个实施例中，各相机的位姿包括位于滑动窗口内的位姿；参数包括旋转外参和尺度因子；
优化模块，还用于将滑动窗口内的位姿和惯性测量单元的位姿对齐；基于对齐的各位姿，对惯性测量单元与各相机之间的旋转参数和尺度变化因子进行优化。
在其中的一个实施例中，装置还包括：
优化模块，还用于基于三维点和各相机的位姿进行重投影，得到重投影点；基于目标特征点与重投影点获得误差函数；对误差函数进行求解处理，并基于误差函数的求解结果对惯性测量单元与各相机之间的平移参数进行优化。
上述实施例中，在获得各相机采集的图像序列后，对对各图像序列中不同图像的特征点进行匹配处理，从而可以有效避免在三角化匹配特征点中的目标特征点得到三维点时出现较大位置偏差，有利于提高三维点的位置精度和鲁棒性；此外，还会基于各相机的关系矩阵对匹配特征点进行过滤，从而降低或避免噪声点的干扰，通过将过滤后的目标特征点换为三维点，并基于该三维点、对应的像素点和各相机之间的外参约束条件可以准确地计算出各相机的位姿，最后根据各相机的位姿和惯性测量单元的位姿对惯性测量单元与各相机之间的参数进行优化，从而有效地提高了参数标定的精准度。
在其中的一个实施例中，匹配模块，还用于从各图像序列内的图像中提取特征点；对各图像序列中不同图像的特征点进行帧内匹配，得到第一匹配点；对各图像序列中不同图像的特征点进行帧间匹配，得到第二匹配点；其中，第一匹配点和第二匹配点属于匹配特征点。
在其中的一个实施例中，匹配模块，还用于在各图像序列中确定属于相同时刻采集的图像；对相同时刻采集的图像对应的特征点进行特征匹配，得到第一匹配点。
在其中的一个实施例中，匹配模块，还用于将滑动窗口置于对齐的各图像序列上；对滑动窗口中属于目标时刻采集的图像所对应的特征点与滑动窗口中其它时刻采集的图像所对应的特征点进行匹配，并在完成匹配后移动滑动窗口继续进行帧间匹配，直至完成各图像序列中不同图像的特征点之间的帧间匹配，得到第二匹配点。
上述实施例中，通过本申请中对各相机采集的图像进行特征点匹配的方案，可以在三角化计算三维点时提高三维点的精度，有利于提高标定精准度。
在其中的一个实施例中，各相机安装在车辆的不同方位上，惯性测量单元安装于车辆上；或者，各相机安装在虚拟现实设备或扩展现实设备的不同方位上，惯性测量单元安装于虚拟现实设备或扩展现实设备上。
在其中的一个实施例中，装置还包括：
检测模块，用于当各相机安装在车辆的不同方位上时，对各图像序列内的图像进行目标检测，得到道路路面和动态障碍物；
遮盖模块，用于在各图像序列内的图像中，对道路路面和动态障碍物各自所在区域进行遮盖；
匹配模块，还用于对各图像序列中不同图像的且为非遮盖区域内的特征点进行匹配处理。
在其中的一个实施例中，过滤模块，还用于在各图像中确定各相机的关系矩阵对应的极线；确定各匹配特征点到极线的距离值；将距离值大于距离阈值所对应的匹配特征点过滤掉，得到目标特征点。
上述实施例中，利用各匹配特征点到极线的距离值对匹配特征点过滤，可以有效地减低噪声点的影响，进一步提高标定的精准度。
在其中的一个实施例中，装置还包括：
获取模块，还用于获取惯性测量单元检测所得的IMU数据；
预积分模块，用于基于IMU数据进行预积分，得到第一预积分量和第二预积分量；
第一确定模块，用于根据第一预积分量和惯性测量单元的初始姿态信息确定姿态信息；根据第二预积分量和惯性测量单元的初始位置信息确定位置信息；将位置信息和姿态信息，作为惯性测量单元预积分的位姿。
上述实施例中，通过对IMU数据进行预积分，最终可以得到两帧图像间的相对位姿，从而无需全部重新进行积分，减轻了计算压力。
在其中的一个实施例中，装置还包括：
第二确定模块，用于在三维点中选取预设数量的点作为内点，并基于内点和内点对应的像素点确定各相机的预测位姿；当各相机的初始位姿与预测位姿之间的误差不满足误差条件时，重新选取预设数量的点作为内点以确定各相机的预测位姿，直至初始位姿与预测位姿之间的误差满足误差条件，将满足误差条件时所选取的内点作为目标三维点；
处理模块，还用于基于目标三维点和图像序列中目标图像的且与目标特征点对应的像素点确定各相机的位姿。
上述实施例中，通过对三维点进行过滤，可以有效地降低误匹配对参数标定的影响，从而可以有效地提高参数标定的精准度。
上述相机与惯性测量单元的标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或终端，以终端为例进行说明，其内部结构图可以如图23所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种相机与惯性测量单元的标定方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图23中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述相机与惯性测量单元的标定方法步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述相机与惯性测量单元的标定方法步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述相机与惯性测量单元的标定方法步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种相机与惯性测量单元的标定方法，其特征在于，所述方法包括：
获取各相机采集的图像序列；
对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点；所述关系矩阵是基于各所述相机的外参和惯性测量单元预积分的位姿确定的；
将所述目标特征点转换为三维点，并基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿；
根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的参数进行优化。
2.根据权利要求1所述的方法，其特征在于，所述对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点包括：
从各所述图像序列内的图像中提取特征点；
对各所述图像序列中不同图像的特征点进行帧内匹配，得到第一匹配点；
对各所述图像序列中不同图像的特征点进行帧间匹配，得到第二匹配点；
其中，所述第一匹配点和第二匹配点属于所述匹配特征点。
3.根据权利要求2所述的方法，其特征在于，所述对各所述图像序列中不同图像的特征点进行帧内匹配，得到第一匹配点包括：
在各所述图像序列中确定属于相同时刻采集的图像；
对相同时刻采集的所述图像对应的特征点进行特征匹配，得到第一匹配点。
4.根据权利要求2所述的方法，其特征在于，所述对各所述图像序列中不同图像的特征点进行帧间匹配，得到第二匹配点包括：
将滑动窗口置于对齐的各所述图像序列上；
对所述滑动窗口中属于目标时刻采集的图像所对应的特征点与所述滑动窗口中其它时刻采集的图像所对应的特征点进行匹配，并在完成匹配后移动所述滑动窗口继续进行帧间匹配，直至完成各所述图像序列中不同图像的特征点之间的帧间匹配，得到所述第二匹配点。
5.根据权利要求1所述的方法，其特征在于，各所述相机安装在车辆的不同方位上，所述惯性测量单元安装于所述车辆上；或者，
各所述相机安装在虚拟现实设备或扩展现实设备的不同方位上，所述惯性测量单元安装于所述虚拟现实设备或所述扩展现实设备上。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当各所述相机安装在车辆的不同方位上时，对各所述图像序列内的图像进行目标检测，得到道路路面和动态障碍物；
在各所述图像序列内的图像中，对所述道路路面和所述动态障碍物各自所在区域进行遮盖；
所述对各所述图像序列中不同图像的特征点进行匹配处理包括：
对各所述图像序列中不同图像的且为非遮盖区域内的特征点进行匹配处理。
7.根据权利要求1所述的方法，其特征在于，所述基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点包括：
在各所述图像中确定各所述相机的关系矩阵对应的极线；
确定各所述匹配特征点到所述极线的距离值；
将所述距离值大于距离阈值所对应的所述匹配特征点过滤掉，得到目标特征点。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述惯性测量单元检测所得的IMU数据；
基于所述IMU数据进行预积分，得到第一预积分量和第二预积分量；
根据所述第一预积分量和所述惯性测量单元的初始姿态信息确定姿态信息；
根据所述第二预积分量和所述惯性测量单元的初始位置信息确定位置信息；
将所述位置信息和所述姿态信息，作为所述惯性测量单元预积分的位姿。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述三维点中选取预设数量的点作为内点，并基于所述内点和所述内点对应的像素点确定各所述相机的预测位姿；
当各所述相机的初始位姿与所述预测位姿之间的误差不满足误差条件时，重新选取所述预设数量的点作为内点以确定各所述相机的预测位姿，直至所述初始位姿与所述预测位姿之间的误差满足所述误差条件，将满足所述误差条件时所选取的内点作为目标三维点；
所述基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿包括：
基于所述目标三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿。
10.根据权利要求1所述的方法，其特征在于，各所述相机的位姿包括位于滑动窗口内的位姿；所述参数包括旋转外参和尺度因子；
所述根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的参数进行优化包括：
将所述滑动窗口内的位姿和所述惯性测量单元的位姿对齐；
基于对齐的各所述位姿，对所述惯性测量单元与各所述相机之间的旋转参数和尺度变化因子进行优化。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述三维点和各所述相机的位姿进行重投影，得到重投影点；
基于所述目标特征点与所述重投影点获得误差函数；
对所述误差函数进行求解处理，并基于所述误差函数的求解结果对所述惯性测量单元与各所述相机之间的平移参数进行优化。
12.一种相机与惯性测量单元的标定装置，其特征在于，所述装置包括：
获取模块，用于获取各相机采集的图像序列；
匹配模块，用于对各所述图像序列中不同图像的特征点进行匹配处理，得到匹配特征点；
过滤模块，用于基于各所述相机的关系矩阵对所述匹配特征点进行过滤，得到目标特征点；所述关系矩阵是基于各所述相机的外参和惯性测量单元预积分的位姿确定的；
处理模块，用于将所述目标特征点转换为三维点，并基于所述三维点和所述图像序列中目标图像的且与所述目标特征点对应的像素点确定各所述相机的位姿；
优化模块，用于根据各所述相机的位姿和所述惯性测量单元的位姿，对所述惯性测量单元与各所述相机之间的旋转参数和尺度变化因子进行优化。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202211194949.0A 2022-09-29 2022-09-29 相机与惯性测量单元的标定方法、装置和计算机设备 Active CN115272494B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211194949.0A CN115272494B (zh) 2022-09-29 2022-09-29 相机与惯性测量单元的标定方法、装置和计算机设备
PCT/CN2023/114477 WO2024066816A1 (zh) 2022-09-29 2023-08-23 相机与惯性测量单元的标定方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211194949.0A CN115272494B (zh) 2022-09-29 2022-09-29 相机与惯性测量单元的标定方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN115272494A true CN115272494A (zh) 2022-11-01
CN115272494B CN115272494B (zh) 2022-12-30

Family

ID=83756729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211194949.0A Active CN115272494B (zh) 2022-09-29 2022-09-29 相机与惯性测量单元的标定方法、装置和计算机设备

Country Status (2)

Country Link
CN (1) CN115272494B (zh)
WO (1) WO2024066816A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116380132A (zh) * 2023-06-06 2023-07-04 上海云骥跃动智能科技发展有限公司 传感器时间偏移的处理方法、装置、设备、车辆和介质
CN116448105A (zh) * 2023-04-12 2023-07-18 北京百度网讯科技有限公司 位姿更新方法、装置、电子设备和存储介质
WO2024066816A1 (zh) * 2022-09-29 2024-04-04 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680133A (zh) * 2017-09-15 2018-02-09 重庆邮电大学 一种基于改进闭环检测算法的移动机器人视觉slam方法
CN109141396A (zh) * 2018-07-16 2019-01-04 南京航空航天大学 辅助信息与随机抽样一致算法融合的无人机位姿估计方法
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110125928A (zh) * 2019-03-27 2019-08-16 浙江工业大学 一种基于前后帧进行特征匹配的双目惯导slam系统
CN110319772A (zh) * 2019-07-12 2019-10-11 上海电力大学 基于无人机的视觉大跨度测距方法
CN110720113A (zh) * 2018-08-01 2020-01-21 深圳市大疆创新科技有限公司 一种参数处理方法、装置及摄像设备、飞行器
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112304307A (zh) * 2020-09-15 2021-02-02 浙江大华技术股份有限公司 一种基于多传感器融合的定位方法、装置和存储介质
CN112484725A (zh) * 2020-11-23 2021-03-12 吉林大学 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法
CN113516692A (zh) * 2021-05-18 2021-10-19 上海汽车集团股份有限公司 一种多传感器融合的slam方法和装置
CN113959435A (zh) * 2021-09-24 2022-01-21 杭州大数云智科技有限公司 一种基于多相机模型的车载环视在线slam系统及方法
CN114910069A (zh) * 2022-06-01 2022-08-16 深圳市边界智控科技有限公司 一种无人机的融合定位初始化系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698875B2 (en) * 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
CN107747941B (zh) * 2017-09-29 2020-05-15 歌尔股份有限公司 一种双目视觉定位方法、装置及系统
WO2021081774A1 (zh) * 2019-10-29 2021-05-06 深圳市大疆创新科技有限公司 一种参数优化方法、装置及控制设备、飞行器
CN112639883B (zh) * 2020-03-17 2021-11-19 华为技术有限公司 一种相对位姿标定方法及相关装置
CN115272494B (zh) * 2022-09-29 2022-12-30 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680133A (zh) * 2017-09-15 2018-02-09 重庆邮电大学 一种基于改进闭环检测算法的移动机器人视觉slam方法
CN109141396A (zh) * 2018-07-16 2019-01-04 南京航空航天大学 辅助信息与随机抽样一致算法融合的无人机位姿估计方法
CN110720113A (zh) * 2018-08-01 2020-01-21 深圳市大疆创新科技有限公司 一种参数处理方法、装置及摄像设备、飞行器
CN110125928A (zh) * 2019-03-27 2019-08-16 浙江工业大学 一种基于前后帧进行特征匹配的双目惯导slam系统
CN110044354A (zh) * 2019-03-28 2019-07-23 东南大学 一种双目视觉室内定位与建图方法及装置
CN110319772A (zh) * 2019-07-12 2019-10-11 上海电力大学 基于无人机的视觉大跨度测距方法
CN112304307A (zh) * 2020-09-15 2021-02-02 浙江大华技术股份有限公司 一种基于多传感器融合的定位方法、装置和存储介质
CN112233177A (zh) * 2020-10-10 2021-01-15 中国安全生产科学研究院 一种无人机位姿估计方法及系统
CN112484725A (zh) * 2020-11-23 2021-03-12 吉林大学 一种基于多传感器融合的智能汽车高精度定位与时空态势安全方法
CN113516692A (zh) * 2021-05-18 2021-10-19 上海汽车集团股份有限公司 一种多传感器融合的slam方法和装置
CN113959435A (zh) * 2021-09-24 2022-01-21 杭州大数云智科技有限公司 一种基于多相机模型的车载环视在线slam系统及方法
CN114910069A (zh) * 2022-06-01 2022-08-16 深圳市边界智控科技有限公司 一种无人机的融合定位初始化系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHANGDI LI ET AL.: "Large-Scale, Real-Time 3D Scene Reconstruction Using Visual and IMU Sensors", 《IEEE SENSORS JOURNAL》 *
IGOR CVISIC ET AL.: "Stereo odometry based on careful feature selection and tracking", 《2015 EUROPEAN CONFERENCE ON MOBILE ROBOTS (ECMR)》 *
杨志芳等: "视觉与惯性传感器融合的室内导航算法研究", 《自动化与仪表》 *
苏泫: "基于IMU预积分的视觉惯性里程计系统", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024066816A1 (zh) * 2022-09-29 2024-04-04 腾讯科技（深圳）有限公司 相机与惯性测量单元的标定方法、装置和计算机设备
CN116448105A (zh) * 2023-04-12 2023-07-18 北京百度网讯科技有限公司 位姿更新方法、装置、电子设备和存储介质
CN116448105B (zh) * 2023-04-12 2024-04-30 北京百度网讯科技有限公司 位姿更新方法、装置、电子设备和存储介质
CN116380132A (zh) * 2023-06-06 2023-07-04 上海云骥跃动智能科技发展有限公司 传感器时间偏移的处理方法、装置、设备、车辆和介质
CN116380132B (zh) * 2023-06-06 2023-08-22 上海云骥跃动智能科技发展有限公司 传感器时间偏移的处理方法、装置、设备、车辆和介质

Also Published As

Publication number Publication date
CN115272494B (zh) 2022-12-30
WO2024066816A1 (zh) 2024-04-04

Similar Documents

Publication Publication Date Title
CN115272494B (zh) 相机与惯性测量单元的标定方法、装置和计算机设备
CN108648270B (zh) 实时同步定位与地图构建的无人机实时三维场景重建方法
Yahyanejad et al. A fast and mobile system for registration of low-altitude visual and thermal aerial images using multiple small-scale UAVs
US11521311B1 (en) Collaborative disparity decomposition
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
CN110245199B (zh) 一种大倾角视频与2d地图的融合方法
CN107843251A (zh) 移动机器人的位姿估计方法
CN114896679B (zh) 一种建筑物的三维模型优化方法、智能终端及存储介质
CN112365549B (zh) 车载相机的姿态校正方法、装置和存储介质及电子装置
Kuschk Large scale urban reconstruction from remote sensing imagery
CN115371699B (zh) 视觉惯性里程计方法、装置及电子设备
CN111295667A (zh) 图像立体匹配的方法和辅助驾驶装置
CN114170290A (zh) 图像的处理方法及相关设备
Corral-Soto et al. 3D town: the automatic urban awareness project
CN116823966A (zh) 相机的内参标定方法、装置、计算机设备和存储介质
CN115880555B (zh) 目标检测方法、模型训练方法、装置、设备及介质
CN112002007A (zh) 基于空地影像的模型获取方法及装置、设备、存储介质
Jing et al. 3d reconstruction of underground tunnel using kinect camera
CN115222815A (zh) 障碍物距离检测方法、装置、计算机设备和存储介质
CN115544189A (zh) 语义地图更新方法、装置和计算机存储介质
CN112215048B (zh) 一种3d目标检测方法、装置和计算机可读存储介质
Aliakbarpour et al. Geometric exploration of virtual planes in a fusion-based 3D data registration framework
Salah et al. Summarizing large scale 3D mesh for urban navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40075655

Country of ref document: HK