CN117036511A - 多类型传感器的标定方法、装置、计算机设备和存储介质 - Google Patents
多类型传感器的标定方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117036511A CN117036511A CN202311288072.6A CN202311288072A CN117036511A CN 117036511 A CN117036511 A CN 117036511A CN 202311288072 A CN202311288072 A CN 202311288072A CN 117036511 A CN117036511 A CN 117036511A
- Authority
- CN
- China
- Prior art keywords
- data
- main
- point cloud
- camera
- cloud map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000005457 optimization Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 20
- 230000001360 synchronised effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000005284 excitation Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 229920001651 Cyanoacrylate Polymers 0.000 description 1
- 239000004830 Super Glue Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Manufacturing & Machinery (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Navigation (AREA)
Abstract
本申请涉及一种多类型传感器的标定方法、装置、计算机设备和存储介质。所述方法包括：首先获取目标场地的点云地图，再根据点云地图得到包括激光雷达、相机和组合导航的多类型传感器之间的外参，对多类型传感器进行标定。采用本申请的方法进行多类型传感器标定，由于无需特定的标定板，也不需要特定的标定场景，不要求传感器之间有共视区域，因此降低了多类型传感器标定的操作复杂度和提升了标定的准确性。
Description
技术领域
本申请涉及自动驾驶技术领域，特别是涉及一种多类型传感器的标定方法、装置、计算机设备和存储介质。
背景技术
传感器的标定是自动驾驶系统中的必要环节，是后续传感器数据融合的必要步骤和先决条件，其目的是将多个传感器数据转换到统一的空间坐标系中。目前自动驾驶中主要包含相机，激光雷达和组合导航三类传感器，由于传感器的种类不同，标定的方法以及难度都不一样。
其中，激光雷达与组合导航或者相机与组合导航之间标定，由于组合导航输出的是车辆的位姿信息，而相机与激光雷达输出的是环境的信息，因此相机或者激光雷达与组合导航之间的标定通常采用连续帧的方式，利用手眼标定算法进行标定，但是由于无人车只在平面运动，航向角和平面坐标的激励比较丰富，但是俯仰角，翻滚角以及高程方向上的激励比较少，因此很难得到十分准确的标定参数。
因此，现有的传感器标定方法存在操作复杂和准确性低的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低标定的操作复杂度和提升标定的准确性的多类型传感器标定方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种多类型传感器的标定方法。其中的传感器类型包括：激光雷达、相机以及组合导航设备；所述方法包括：
获取目标场地的点云地图；
获取所有所述激光雷达基于所述目标场地采集的点云数据，并根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参；
获取所有所述相机基于所述目标场地采集的图像数据，并根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参；
获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，并根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参；
获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，并根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参；
根据所述各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于所述组合导航设备的外参以及主激光雷达相对于所述主相机的外参，对多类型传感器进行标定。
在其中一个实施例中，所述获取目标场地的点云地图，包括：
获取所述目标场地中预设靶标在世界坐标系下的位置；
获取所述主激光雷达基于所述目标场地采集的主雷达数据，并根据所述主雷达数据确定局部坐标系下的初始点云地图；
根据所述初始点云地图，确定所述预设靶标在初始点云地图中的位置；
根据所述预设靶标在世界坐标系下的位置，以及所述预设靶标在初始点云地图中的位置，将所述初始点云地图转换至世界坐标系，得到最终点云地图。
在其中一个实施例中，所述根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参，包括：
根据所有所述点云数据以及点云地图，确定各所述激光雷达相对于点云地图的位姿；
根据各所述激光雷达相对于点云地图的位姿，确定各所述激光雷达相对于主激光雷达的外参。
在其中一个实施例中，所述根据所有所述点云数据以及点云地图，确定各所述激光雷达相对于点云地图的位姿，包括：
通过扫描上下文算法对所述点云地图进行处理，得到匹配基准数据；
通过扫描上下文算法对所有所述点云数据进行处理，得到待匹配点云数据；
根据所述匹配基准数据和所述待匹配点云数据，确定所有所述激光雷达在点云地图中的初始位姿；
通过迭代最近点算法对所述初始位姿进行精匹配处理，得到各所述激光雷达相对于点云地图的最终位姿。
在其中一个实施例中，所述根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参，包括：
确定所述主相机的内参；
根据所述主相机的内参构建虚拟相机模型，将所述点云地图投影到所述虚拟相机模型中生成虚拟图像；
对所述虚拟图像和所有所述图像数据进行特征点提取；
将所述虚拟图像的特征点与所有所述图像数据的特征点进行匹配关联，确定关联配对的结果；
根据所述关联配对的结果，确定所述点云地图中的三维点与所述图像数据中的二维点的映射关系；
根据所述映射关系，确定所述各相机在所述点云地图中的位姿；
根据所述各相机在所述点云地图中的位姿，确定所述各相机相对于主相机的外参。
在其中一个实施例中，所述获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，包括：
获取主激光雷达的点云数据，根据所述主激光雷达的点云数据以及点云地图，确定主激光雷达相对于点云地图的位姿，将所述主激光雷达相对于点云地图的位姿作为主雷达数据；
根据所述主雷达数据的采集时间，确定所述主雷达数据对应的组合导航位姿数据，并对所述组合导航位姿数据进行插值处理，得到所述主雷达数据对应的组合导航数据；
根据所述主雷达数据和所述主雷达数据对应的组合导航数据，确定至少一组同步采集的主雷达数据以及组合导航数据。
在其中一个实施例中，所述根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参，包括：
根据一组同步采集的主雷达数据以及组合导航数据在所述点云地图中的位姿，确定主激光雷达相对于组合导航的第一初始外参；
根据第一预设优化函数对所述第一初始外参进行优化求解，得到主激光雷达相对于所述组合导航设备的第一最终外参。
在其中一个实施例中，所述根据第一预设优化函数对所述第一初始外参进行优化求解，得到主激光雷达相对于所述组合导航设备的第一最终外参，包括：
根据所述第一初始外参将主激光雷达的点云数据转换至组合导航坐标系，并根据主激光雷达对应的组合导航数据将所述组合导航坐标系下的点云数据转换至点云地图坐标系；
对所述点云地图进行搜索，确定所述点云地图坐标系中的各点最近邻的地图点；
计算所述各点和各所述地图点的欧氏距离，并对所述欧氏距离求和，得到至少一组同步采集的主雷达数据以及组合导航数据的第一误差值；
对所述至少一组第一误差值进行加权求和，得到第一最终误差值；
根据第一预设优化函数对所述第一初始外参进行迭代优化，直至所述第一最终误差值的变化率小于预设变化率阈值，并将变化率小于预设变化率阈值的第一最终误差值对应的第一初始外参作为所述第一最终外参。
在其中一个实施例中，所述获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，包括：
基于所述目标场地，获取待同步的主雷达数据和主相机数据；
根据所述待同步的主雷达数据和主相机数据的采集时间，对所述待同步的主雷达数据和主相机数据进行时间同步，使得所述待同步的主雷达数据和主相机数据的采集时间差小于预设阈值；
根据所述时间同步的结果，确定基于所述目标场地同步采集的主雷达数据以及主相机数据。
在其中一个实施例中，所述根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参，包括：
根据所述主雷达数据、主相机数据以及点云地图，确定同步采集的主雷达数据以及主相机数据在所述点云地图中的位姿；
根据所述同步采集的主雷达数据以及主相机数据在所述点云地图中的位姿，确定主激光雷达相对于主相机的第二初始外参；
根据第二预设优化函数对所述第二初始外参进行优化求解，得到主激光雷达相对于所述主相机的第二最终外参。
第二方面，本申请还提供了一种多类型传感器的标定装置。所述装置包括：
地图获取模块，用于获取目标场地的点云地图；
激光雷达配准模块，用于获取所有所述激光雷达基于所述目标场地采集的点云数据，并根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参；
相机配准模块，用于获取所有所述相机基于所述目标场地采集的图像数据，并根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参；
激光雷达-组合导航同步模块，用于获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，并根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参；
激光雷达-相机同步模块，用于获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，并根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参；
传感器标定模块，用于根据所述各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于所述组合导航设备的外参以及主激光雷达相对于所述主相机的外参，对多类型传感器进行标定。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取目标场地的点云地图；
获取所有所述激光雷达基于所述目标场地采集的点云数据，并根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参；
获取所有所述相机基于所述目标场地采集的图像数据，并根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参；
获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，并根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参；
获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，并根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参；
根据所述各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于所述组合导航设备的外参以及主激光雷达相对于所述主相机的外参，对多类型传感器进行标定。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取目标场地的点云地图；
获取所有所述激光雷达基于所述目标场地采集的点云数据，并根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参；
获取所有所述相机基于所述目标场地采集的图像数据，并根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参；
获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，并根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参；
获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，并根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参；
根据所述各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于所述组合导航设备的外参以及主激光雷达相对于所述主相机的外参，对多类型传感器进行标定。
上述多类型传感器标定方法、装置、计算机设备和存储介质，首先获取目标场地的点云地图；然后根据获取的点云地图、激光雷达基于目标场地采集的点云数据、相机基于目标场地采集的图像数据以及组合导航基于目标场地采集的组合导航数据，确定激光雷达、相机以及组合导航之间的外参，对多类型传感器进行标定。采用本申请的方法进行多类型传感器标定，降低了多类型传感器标定的操作复杂度和提升了标定的准确性。
附图说明
图1为一个实施例中多类型传感器的标定方法的应用环境图；
图2为一个实施例中多类型传感器标定方法的流程示意图；
图3为一个实施例中获取目标场地的点云地图的流程示意图；
图4为一个实施例中确定各激光雷达相对于主激光雷达的外参的流程示意图；
图5为一个实施例中确定各相机相对于主相机的外参的流程示意图；
图6 为一个实施例中确定主激光雷达相对于组合导航设备的外参的流程示意图；
图7为一个实施例中确定主激光雷达相对于主相机的外参的流程示意图；
图8为一个实施例中多类型传感器的标定装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的多类型传感器的标定方法，可以应用于如图1所示的应用环境中。其中，如本文使用的术语“系统”指的是机械和电气硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，其可以单独或组合提供所描述的功能性。可以包括但不限于专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用或组）、包含软件或固件指令的存储器、组合逻辑电路和/或其它部件。
本申请实施例提供的多类型传感器的标定方法，可以应用于如图1所示的应用环境中。其中，车载终端102通过网络与采集设备104进行通信。采集设备104包括不同类型的传感器，传感器包括相机、激光雷达、组合导航等。传感器可以通过对外部环境的感知采集到丰富的感知数据，包括图像数据、点云数据以及组合导航数据等，通过处理这些数据可以获得目标场地的环境信息和车辆的位姿信息，进而实现多类型传感器的标定。采集设备104可以集成在车载终端102上，这里对采集设备104的安装位置不做限定。数据存储系统可以存储车载终端102需要处理的数据。数据存储系统可以集成在车载终端102上，也可以放在云端上或其他网络服务器上。
在一个实施例中，如图2所示，提供了一种多类型传感器的标定方法，以该方法应用于图1中的车载终端102为例进行说明，包括以下步骤：
步骤202，获取目标场地的点云地图。
其中，目标场地为室外场地，其中包括车道线或者道路标志等具有特征点的标志物。点云地图为通过点云数据构建的稠密点云地图。
具体地，在室外场地采集点云数据，构建稠密的点云地图，并将点云地图坐标系统一到世界坐标系。
步骤204，获取所有激光雷达基于目标场地采集的点云数据，并根据所有点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参。
其中，各激光雷达相对于主激光雷达的外参，表示各激光雷达测量坐标系相对于主激光雷达测量坐标系的相对变换关系，该相对变换关系包括旋转和平移。
具体地，车辆在目标场地范围内进行运动时，获取所有激光雷达基于目标场地采集的点云数据。并根据所有点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参。
步骤206，获取所有相机基于目标场地采集的图像数据，并根据所有图像数据以及点云地图，确定各相机相对于主相机的外参。
其中，各相机相对于主相机的外参，表示各相机测量坐标系相对于主相机测量坐标系的相对变换关系，该相对变换关系包括旋转和平移。
具体地，车辆在目标场地范围内进行运动时，获取各相机基于目标场地采集的图像数据。并根据所有图像数据以及点云地图，确定各相机相对于主相机的外参。
步骤208，获取主激光雷达和组合导航设备基于目标场地同步采集的主雷达数据以及组合导航数据，并根据主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于组合导航设备的外参。
其中，主激光雷达相对于组合导航设备的外参，表示主激光雷达测量坐标系相对于组合导航设备测量坐标系的相对变换关系，该相对变换关系包括旋转和平移。
具体地，车辆在目标场地范围内进行运动时，获取主激光雷达基于目标场地采集的点云数据，以及获取组合导航设备基于目标场地同步采集的组合导航数据。并根据所有点云数据、组合导航数据以及点云地图，确定主激光雷达相对于组合导航的外参。
步骤210，获取主激光雷达数据和主相机基于目标场地同步采集的主雷达数据以及主相机数据，并根据主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于主相机的外参。
其中，主激光雷达相对于主相机的外参，表示主激光雷达测量坐标系相对于主相机测量坐标系的相对变换关系，该相对变换关系包括旋转和平移。
具体地，车辆在目标场地范围内进行运动时，获取主激光雷达基于目标场地采集的点云数据，以及获取主相机基于目标场地同步采集的主相机数据。并根据所有点云数据、组合导航数据以及点云地图，确定主激光雷达相对于主相机的外参。
步骤212，根据各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于组合导航设备的外参以及主激光雷达相对于主相机的外参，对多类型传感器进行标定。
其中，多类型传感器包括相机、激光雷达和组合导航。
具体地，根据各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于组合导航设备的外参以及主激光雷达相对于主相机的外参，确定各激光雷达相对于组合导航的外参，以及确定各相机相对于组合导航的外参。
上述多类型传感器标定方法中，预先获取点云地图，并将点云地图用于激光雷达之间、相机之间、激光雷达与组合导航之间、激光雷达与相机之间各类外参的确定，根据得到的结果对多类型传感器进行标定。采用实施例的方法对多类型传感器进行标定，由于无需特定的标定板，也不需要特定的标定场景，不要求传感器之间有共视区域，因此降低了多类型传感器标定的操作复杂度和提升了标定的准确性。
在一个实施例中，如图3所示，获取目标场地的点云地图包括：
步骤302，获取目标场地中预设靶标在世界坐标系下的位置。
其中，预设靶标为预先在目标场地中设定的靶标，用于确定目标场地中标定的控制点的位置。
具体地，获取原始数据，原始数据为GPS测量仪与组合导航采集的地理坐标系下的目标场地的环境数据和位姿数据。通过坐标参数转换，将原始数据转换至投影坐标系，即世界坐标系。根据世界坐标系中下的原始数据，确定出预设靶标在世界坐标系中的位置。
示例性地，地理坐标系为EPSG（The European Petroleum Survey Group，欧洲石油调查组织）编号为4326的WGS84坐标系，投影坐标系为EPSG编号为32650的UTM坐标系。
步骤304，获取主激光雷达基于目标场地采集的主雷达数据，并根据主雷达数据确定局部坐标系下的初始点云地图。
具体地，主激光雷达采用开源SLAM算法-LegoLoam（Lightweight and Groud-Optimized Lidar Odometry and Mapping on Variable Terrain，轻量型和地面优化的激光雷达在可变地形上的测距和测绘），采集目标场地的连续帧点云数据，构建稠密的局部坐标系下的点云地图数据，即初始点云地图。
其中，局部坐标系可以是预先设定的点云地图坐标系，也可以是根据SLAM算法采集的目标场地的第一帧点云数据确定的坐标系。
步骤306，根据初始点云地图，确定预设靶标在初始点云地图中的位置。
其中，预设靶标在初始点云地图中的位置，通过预设靶标在点云地图的局部坐标系下的坐标位置表示。
步骤308，根据预设靶标在世界坐标系下的位置，以及预设靶标在初始点云地图中的位置，将初始点云地图转换至世界坐标系，得到最终点云地图。
具体地，根据预设靶标在世界坐标系下的位置，以及预设靶标在初始点云地图中的位置，通过平差算法对初始点云地图进行处理，得到最终点云地图。
本实施例中，通过确定预设靶标在不同坐标系中的位置，可以方便地将根据主雷达数据得到的初始点云地图统一至世界坐标系，以用于后续的多类型传感器标定。
在一个实施例中，如图4所示，根据所有点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参，包括：
步骤402，根据所有点云数据以及点云地图，确定各激光雷达相对于点云地图的位姿。
具体地，通过ScanContext（扫描上下文）算法对点云地图进行处理，得到匹配基准数据；通过ScanContext算法对所有点云数据进行处理，得到待匹配点云数据；根据匹配基准数据和待匹配点云数据，确定所有激光雷达在点云地图中的初始位姿；通过ICP（迭代最近点）算法对初始位姿进行精匹配处理，得到各激光雷达相对于点云地图的最终位姿。
其中，通过ScanContext算法对点云地图进行处理，包括获取构建点云地图的连续帧点云数据，将连续帧点云数据按距离2米为阈值，采集关键帧点云数据，对关键帧点云数据按照ScanContext 算法进行处理，作为匹配基准数据。
步骤404，根据各激光雷达相对于点云地图的位姿，确定各激光雷达相对于主激光雷达的外参。
采用本实施例的方法，通过各激光雷达相对于点云地图的位姿，确定各激光雷达相对于主激光雷达的外参，标定方法简单，无需复杂的人工操作。
在一个实施例中，如图5所示，根据所有图像数据以及点云地图，确定各相机相对于主相机的外参，包括：
步骤502，确定主相机的内参，根据主相机的内参构建虚拟相机模型，将点云地图投影到虚拟相机模型中生成虚拟图像。
其中，主相机的内参包括但不限于主相机的焦距、主点坐标以及畸变参数。
具体地，确定主相机的内参，根据主相机的内参构建虚拟相机模型，将点云地图的所有点云数据投影到虚拟相机模型中，根据点云地图的强度信息生成虚拟的图像。
步骤504，对虚拟图像和所有图像数据进行特征点提取。
具体地，通过SuperPoint（超级点）算法分别从虚拟图像中和所有图像数据中提取出特征点。
步骤506，将虚拟图像的特征点与所有图像数据的特征点进行匹配关联，确定关联配对的结果。
具体地，对于虚拟图像的特征点与所有图像数据的特征点，通过SuperGlue（强力胶）算法进行匹配关联，获取特征点对。
步骤508，根据关联配对的结果，确定点云地图中的三维点与图像数据中的二维点的映射关系。
可以理解的是，进行配对的特征点中，包含图像数据中的二维特征点以及虚拟图像中的二维特征点，根据虚拟图像的投影过程，即可获取虚拟图像特征点对应的点云地图中的坐标，即点云地图中的三维点坐标。
步骤510，根据映射关系，确定各相机在点云地图中的位姿。
步骤512，根据各相机在点云地图中的位姿，确定各相机相对于主相机的外参。
具体地，对于各相机数据与点云地图的虚拟图像的特征点对，根据点云地图三维点与图像数据中的二维点的映射关系，获取特征点对中点云地图三维点的三维坐标，采用PnP算法，根据特征点在点云地图中的三维坐标以及在图像数据中的二维像素坐标，即可解算出各相机在点云地图中的位姿。根据各相机在点云地图中的位姿，计算各相机相对于主相机的外参。
本实施例中，通过构建虚拟相机模型，将虚拟图像的特征点与所有图像数据的特征点进行匹配关联，根据匹配结果确定特征点对的映射关系，从而确定各相机在点云地图中的位姿，得到各相机相对于主相机的外参。采用本实施例的方法对各相机相对于主相机的外参进行标定，不需要各相机与主相机之间存在共视区域，因此降低了相机标定的操作复杂度。
在一个实施例中，如图6所示，获取主激光雷达和组合导航设备基于目标场地同步采集的主雷达数据以及组合导航数据，并根据主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于组合导航设备的外参，包括：
步骤602，获取主激光雷达的点云数据，根据主激光雷达的点云数据以及点云地图，确定主激光雷达相对于点云地图的位姿，将主激光雷达相对于点云地图的位姿作为主雷达数据。
具体地，通过ScanContext算法和ICP算法，对主激光雷达的点云数据和点云地图进行匹配处理，得到主激光雷达相对于点云地图的位姿，即主雷达数据。
步骤604，根据主雷达数据的采集时间，确定主雷达数据对应的组合导航位姿数据，并对组合导航位姿数据进行插值处理，得到主雷达数据对应的组合导航数据。
其中，组合导航数据表示组合导航坐标系在世界坐标系下的位姿，即组合导航在点云地图的位姿。
具体地，根据主激光雷达的采集时间，从所有组合导航数据中选取采集时间最近的两帧组合导航数据，根据采集时间对两帧组合导航数据进行插值，其中位置采用线性插值的方式，姿态采用球面插值。
步骤606，根据主雷达数据和主雷达数据对应的组合导航数据，确定至少一组同步采集的主雷达数据以及组合导航数据。
步骤608，根据一组同步采集的主雷达数据以及组合导航数据在点云地图中的位姿，确定主激光雷达相对于组合导航的第一初始外参。
具体地，根据主激光雷达在点云地图中的位姿以及时间同步后的组合导航在点云地图的位姿，计算主激光雷达相对于组合导航的第一初始外参。
步骤610，根据第一预设优化函数对第一初始外参进行优化求解，得到主激光雷达相对于组合导航设备的第一最终外参。
其中，第一预设优化函数通过如下公式（1）表示：
上述公式中，n表示n组主激光雷达数据以及时间同步的组合导航数据，为第i组时间同步的组合导航数据，/>为主激光雷达到组合导航的外参，即优化量，初始值为第一初始外参，/>为第i组主激光雷达的点云数据，/>为误差函数。
具体地，根据第一初始外参将主激光雷达的点云数据转换至组合导航坐标系，并根据主激光雷达对应的组合导航数据将组合导航坐标系下的点云数据转换至点云地图坐标系；对点云地图进行搜索，确定点云地图坐标系中的各点最近邻的地图点；计算各点和各地图点的欧氏距离，并对欧氏距离求和，得到至少一组同步采集的主雷达数据以及组合导航数据的第一误差值；对至少一组第一误差值进行加权求和，得到第一最终误差值；根据第一预设优化函数对第一初始外参进行迭代优化，直至第一最终误差值的变化率小于预设变化率阈值，并将变化率小于预设变化率阈值的第一最终误差值对应的第一初始外参作为第一最终外参。
其中，对第一初始外参进行迭代优化包括采用NLopt非线性优化库对第一初始外参进行迭代优化。
本实施例中，通过预设优化函数对主激光雷达相对于组合导航的外参进行优化求解，相比于采用连续帧的方式，利用手眼标定算法进行标定，不受俯仰角、翻滚角以及高程方向上的激励较少的影响，因而能够得到更加准确的标定参数。
在一个实施例中，如图7所示，获取主激光雷达数据和主相机基于目标场地同步采集的主雷达数据以及主相机数据，并根据主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于主相机的外参，包括：
步骤702，基于目标场地，获取待同步的主雷达数据和主相机数据。
步骤704，根据待同步的主雷达数据和主相机数据的采集时间，对待同步的主雷达数据和主相机数据进行时间同步，使得待同步的主雷达数据和主相机数据的采集时间差小于预设阈值。
示例性地，所述预设阈值为10毫秒。
步骤706，根据时间同步的结果，确定基于目标场地同步采集的主雷达数据以及主相机数据。
步骤708，根据主雷达数据、主相机数据以及点云地图，确定同步采集的主雷达数据以及主相机数据在点云地图中的位姿。
具体地，通过ScanContext算法和ICP算法，对主雷达数据和点云地图进行匹配处理，得到主雷达数据相对于点云地图的位姿。确定主相机的内参；根据主相机的内参构建虚拟相机模型，将点云地图投影到虚拟相机模型中生成虚拟图像；对虚拟图像和主相机数据进行特征点提取；将虚拟图像的特征点与主相机数据的特征点进行匹配关联，确定关联配对的结果；根据关联配对的结果，确定点云地图中的三维点与主相机数据中的二维点的映射关系；根据映射关系，确定主相机数据在点云地图中的位姿。
步骤710，根据同步采集的主雷达数据以及主相机数据在点云地图中的位姿，确定主激光雷达相对于主相机的第二初始外参。
步骤712，根据第二预设优化函数对第二初始外参进行优化求解，得到主激光雷达相对于主相机的第二最终外参。
其中，第二预设优化函数通过如下公式（2）表示：
上述公式中，其中m为m组数据集，为主激光雷达相对于主相机的外参，/>的初始值为第二初始外参，/>为第i组同步采集的主雷达数据以及主相机数据中主激光雷达相对于点云地图的位姿，/>为第i组同步采集的主雷达数据以及主相机数据中主相机数据对应的地图三维特征点，/>为误差函数。/>
具体地，分别对每组同步采集的主雷达数据以及主相机数据进行处理，将主相机数据中图像数据对应的点云地图中的三维特征点根据对应的主激光雷达在点云地图中的位姿转换到主激光坐标系中，然后根据主激光雷达相对于主相机的初始外参，将特征点转换到相机坐标系中，然后根据主相机内参进行投影，投影到主相机的图像坐标系中，计算所有特征点在主相机图像坐标系中的反投影误差之和，当作本组同步采集的主雷达数据以及主相机数据的误差值，对多组数据按照特征点数的倒数进行误差的加权求和，得到第二最终误差值；根据第二预设优化函数对第二初始外参进行迭代优化，直至第二最终误差值的变化率小于预设变化率阈值，并将变化率小于预设变化率阈值的第二最终误差值对应的第二初始外参作为第二最终外参。
采用本实施例的方法，无需利用特殊的标定板，以及寻求激光和相机数据之间的共视特征，即可实现主激光雷达相对于主相机的外参标定，因此降低了激光雷达与相机之间的标定的操作复杂度。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的多类型传感器标定方法的多类型传感器标定装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多类型传感器标定装置实施例中的具体限定可以参见上文中对于多类型传感器标定方法的限定，在此不再赘述。
在一个实施例中，如图8所示，提供了一种多类型传感器的标定装置800，包括：地图获取模块801、激光雷达配准模块802、相机配准模块803、激光雷达-组合导航同步模块804、激光雷达-相机同步模块805和传感器标定模块806，其中：
地图获取模块801，用于获取目标场地的点云地图；
激光雷达配准模块802，用于获取所有激光雷达基于目标场地采集的点云数据，并根据所有点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参；
相机配准模块803，用于获取所有相机基于目标场地采集的图像数据，并根据所有图像数据以及点云地图，确定各相机相对于主相机的外参；
激光雷达-组合导航同步模块804，用于获取主激光雷达和组合导航设备基于目标场地同步采集的主雷达数据以及组合导航数据，并根据主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于组合导航设备的外参；
激光雷达-相机同步模块805，用于获取主激光雷达数据和主相机基于目标场地同步采集的主雷达数据以及主相机数据，并根据主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于主相机的外参；
传感器标定模块806，用于根据各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于组合导航设备的外参以及主激光雷达相对于主相机的外参，对多类型传感器进行标定。
在其中一个实施例中，地图获取模块801还用于获取目标场地中预设靶标在世界坐标系下的位置；获取主激光雷达基于目标场地采集的主雷达数据，并根据主雷达数据确定局部坐标系下的初始点云地图；根据初始点云地图，确定预设靶标在初始点云地图中的位置；根据预设靶标在世界坐标系下的位置，以及预设靶标在初始点云地图中的位置，将初始点云地图转换至世界坐标系，得到最终点云地图。
在其中一个实施例中，激光雷达配准模块802，还用于根据所有点云数据以及点云地图，确定各激光雷达相对于点云地图的位姿；根据各激光雷达相对于点云地图的位姿，确定各激光雷达相对于主激光雷达的外参。
在其中一个实施例中，激光雷达配准模块802，还用于通过扫描上下文算法对点云地图进行处理，得到匹配基准数据；通过扫描上下文算法对所有点云数据进行处理，得到待匹配点云数据；根据匹配基准数据和待匹配点云数据，确定所有激光雷达在点云地图中的初始位姿；通过迭代最近点算法对初始位姿进行精匹配处理，得到各激光雷达相对于点云地图的最终位姿。
在其中一个实施例中，相机配准模块803，还用于确定主相机的内参；根据主相机的内参构建虚拟相机模型，将点云地图投影到虚拟相机模型中生成虚拟图像；对虚拟图像和所有图像数据进行特征点提取；将虚拟图像的特征点与所有图像数据的特征点进行匹配关联，确定关联配对的结果；根据关联配对的结果，确定点云地图中的三维点与图像数据中的二维点的映射关系；根据映射关系，确定各相机在点云地图中的位姿；根据各相机在点云地图中的位姿，确定各相机相对于主相机的外参。
在其中一个实施例中，激光雷达-组合导航同步模块804，还用于获取主激光雷达的点云数据，根据主激光雷达的点云数据以及点云地图，确定主激光雷达相对于点云地图的位姿，将主激光雷达相对于点云地图的位姿作为主雷达数据；根据主雷达数据的采集时间，确定主雷达数据对应的组合导航位姿数据，并对组合导航位姿数据进行插值处理，得到主雷达数据对应的组合导航数据；根据主雷达数据和主雷达数据对应的组合导航数据，确定至少一组同步采集的主雷达数据以及组合导航数据。
在其中一个实施例中，激光雷达-组合导航同步模块804，还用于根据一组同步采集的主雷达数据以及组合导航数据在点云地图中的位姿，确定主激光雷达相对于组合导航的第一初始外参；根据第一预设优化函数对第一初始外参进行优化求解，得到主激光雷达相对于组合导航设备的第一最终外参。
在其中一个实施例中，激光雷达-组合导航同步模块804，还用于根据第一初始外参将主激光雷达的点云数据转换至组合导航坐标系，并根据主激光雷达对应的组合导航数据将组合导航坐标系下的点云数据转换至点云地图坐标系；对点云地图进行搜索，确定点云地图坐标系中的各点最近邻的地图点；计算各点和各地图点的欧氏距离，并对欧氏距离求和，得到至少一组同步采集的主雷达数据以及组合导航数据的第一误差值；对至少一组第一误差值进行加权求和，得到第一最终误差值；根据第一预设优化函数对第一初始外参进行迭代优化，直至第一最终误差值的变化率小于预设变化率阈值，并将变化率小于预设变化率阈值的第一最终误差值对应的第一初始外参作为第一最终外参。
在其中一个实施例中，激光雷达-相机同步模块805，还用于基于目标场地，获取待同步的主雷达数据和主相机数据；根据待同步的主雷达数据和主相机数据的采集时间，对待同步的主雷达数据和主相机数据进行时间同步，使得待同步的主雷达数据和主相机数据的采集时间差小于预设阈值；根据时间同步的结果，确定基于目标场地同步采集的主雷达数据以及主相机数据。
在其中一个实施例中，激光雷达-相机同步模块805，还用于根据主雷达数据、主相机数据以及点云地图，确定同步采集的主雷达数据以及主相机数据在点云地图中的位姿；根据同步采集的主雷达数据以及主相机数据在点云地图中的位姿，确定主激光雷达相对于主相机的第二初始外参；根据第二预设优化函数对第二初始外参进行优化求解，得到主激光雷达相对于主相机的第二最终外参。
上述多类型传感器标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种多类型传感器标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种多类型传感器的标定方法，其特征在于，传感器类型包括：激光雷达、相机以及组合导航设备；所述方法包括：
获取目标场地的点云地图；
获取所有所述激光雷达基于所述目标场地采集的点云数据，并根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参；
获取所有所述相机基于所述目标场地采集的图像数据，并根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参；
获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，并根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参；
获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，并根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参；
根据所述各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于所述组合导航设备的外参以及主激光雷达相对于所述主相机的外参，对多类型传感器进行标定。
2.根据权利要求1所述的方法，其特征在于，所述获取目标场地的点云地图，包括：
获取所述目标场地中预设靶标在世界坐标系下的位置；
获取所述主激光雷达基于所述目标场地采集的主雷达数据，并根据所述主雷达数据确定局部坐标系下的初始点云地图；
根据所述初始点云地图，确定所述预设靶标在初始点云地图中的位置；
根据所述预设靶标在世界坐标系下的位置，以及所述预设靶标在初始点云地图中的位置，将所述初始点云地图转换至世界坐标系，得到最终点云地图。
3.根据权利要求1所述的方法，其特征在于，所述根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参，包括：
根据所有所述点云数据以及点云地图，确定各所述激光雷达相对于点云地图的位姿；
根据各所述激光雷达相对于点云地图的位姿，确定各所述激光雷达相对于主激光雷达的外参。
4.根据权利要求3所述的方法，其特征在于，所述根据所有所述点云数据以及点云地图，确定各所述激光雷达相对于点云地图的位姿，包括：
通过扫描上下文算法对所述点云地图进行处理，得到匹配基准数据；
通过扫描上下文算法对所有所述点云数据进行处理，得到待匹配点云数据；
根据所述匹配基准数据和所述待匹配点云数据，确定所有所述激光雷达在点云地图中的初始位姿；
通过迭代最近点算法对所述初始位姿进行精匹配处理，得到各所述激光雷达相对于点云地图的最终位姿。
5.根据权利要求1所述的方法，其特征在于，所述根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参，包括：
确定所述主相机的内参；
根据所述主相机的内参构建虚拟相机模型，将所述点云地图投影到所述虚拟相机模型中生成虚拟图像；
对所述虚拟图像和所有所述图像数据进行特征点提取；
将所述虚拟图像的特征点与所有所述图像数据的特征点进行匹配关联，确定关联配对的结果；
根据所述关联配对的结果，确定所述点云地图中的三维点与所述图像数据中的二维点的映射关系；
根据所述映射关系，确定所述各相机在所述点云地图中的位姿；
根据所述各相机在所述点云地图中的位姿，确定所述各相机相对于主相机的外参。
6.根据权利要求1所述的方法，其特征在于，所述获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，包括：
获取主激光雷达的点云数据，根据所述主激光雷达的点云数据以及点云地图，确定主激光雷达相对于点云地图的位姿，将所述主激光雷达相对于点云地图的位姿作为主雷达数据；
根据所述主雷达数据的采集时间，确定所述主雷达数据对应的组合导航位姿数据，并对所述组合导航位姿数据进行插值处理，得到所述主雷达数据对应的组合导航数据；
根据所述主雷达数据和所述主雷达数据对应的组合导航数据，确定至少一组同步采集的主雷达数据以及组合导航数据。
7.根据权利要求6所述的方法，其特征在于，所述根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参，包括：
根据一组同步采集的主雷达数据以及组合导航数据在所述点云地图中的位姿，确定主激光雷达相对于组合导航的第一初始外参；
根据第一预设优化函数对所述第一初始外参进行优化求解，得到主激光雷达相对于所述组合导航设备的第一最终外参。
8.根据权利要求7所述的方法，其特征在于，所述根据第一预设优化函数对所述第一初始外参进行优化求解，得到主激光雷达相对于所述组合导航设备的第一最终外参，包括：
根据所述第一初始外参将主激光雷达的点云数据转换至组合导航坐标系，并根据主激光雷达对应的组合导航数据将所述组合导航坐标系下的点云数据转换至点云地图坐标系；
对所述点云地图进行搜索，确定所述点云地图坐标系中的各点最近邻的地图点；
计算所述各点和各所述地图点的欧氏距离，并对所述欧氏距离求和，得到至少一组同步采集的主雷达数据以及组合导航数据的第一误差值；
对所述至少一组第一误差值进行加权求和，得到第一最终误差值；
根据第一预设优化函数对所述第一初始外参进行迭代优化，直至所述第一最终误差值的变化率小于预设变化率阈值，并将变化率小于预设变化率阈值的第一最终误差值对应的第一初始外参作为所述第一最终外参。
9.根据权利要求1所述的方法，其特征在于，所述获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，包括：
基于所述目标场地，获取待同步的主雷达数据和主相机数据；
根据所述待同步的主雷达数据和主相机数据的采集时间，对所述待同步的主雷达数据和主相机数据进行时间同步，使得所述待同步的主雷达数据和主相机数据的采集时间差小于预设阈值；
根据所述时间同步的结果，确定基于所述目标场地同步采集的主雷达数据以及主相机数据。
10.根据权利要求9所述的方法，其特征在于，所述根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参，包括：
根据所述主雷达数据、主相机数据以及点云地图，确定同步采集的主雷达数据以及主相机数据在所述点云地图中的位姿；
根据所述同步采集的主雷达数据以及主相机数据在所述点云地图中的位姿，确定主激光雷达相对于主相机的第二初始外参；
根据第二预设优化函数对所述第二初始外参进行优化求解，得到主激光雷达相对于所述主相机的第二最终外参。
11.一种多类型传感器的标定装置，其特征在于，所述装置包括：
地图获取模块，用于获取目标场地的点云地图；
激光雷达配准模块，用于获取所有所述激光雷达基于所述目标场地采集的点云数据，并根据所有所述点云数据以及点云地图，确定各激光雷达相对于主激光雷达的外参；
相机配准模块，用于获取所有所述相机基于所述目标场地采集的图像数据，并根据所有所述图像数据以及点云地图，确定各相机相对于主相机的外参；
激光雷达-组合导航同步模块，用于获取主激光雷达和组合导航设备基于所述目标场地同步采集的主雷达数据以及组合导航数据，并根据所述主雷达数据、组合导航数据以及点云地图，确定主激光雷达相对于所述组合导航设备的外参；
激光雷达-相机同步模块，用于获取主激光雷达数据和主相机基于所述目标场地同步采集的主雷达数据以及主相机数据，并根据所述主雷达数据、主相机数据以及点云地图，确定主激光雷达相对于所述主相机的外参；
传感器标定模块，用于根据所述各激光雷达相对于主激光雷达的外参、各相机相对于主相机的外参、主激光雷达相对于所述组合导航设备的外参以及主激光雷达相对于所述主相机的外参，对多类型传感器进行标定。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求10中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311288072.6A CN117036511B (zh) | 2023-10-08 | 2023-10-08 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311288072.6A CN117036511B (zh) | 2023-10-08 | 2023-10-08 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036511A true CN117036511A (zh) | 2023-11-10 |
| CN117036511B CN117036511B (zh) | 2024-03-26 |
Family
ID=88645169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311288072.6A Active CN117036511B (zh) | 2023-10-08 | 2023-10-08 | 多类型传感器的标定方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036511B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598757A (zh) * | 2021-03-03 | 2021-04-02 | 之江实验室 | 一种多传感器时间空间标定方法及装置 |
| CN113870343A (zh) * | 2020-06-30 | 2021-12-31 | 长沙智能驾驶研究院有限公司 | 相对位姿标定方法、装置、计算机设备和存储介质 |
| CN114076937A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
| CN114578329A (zh) * | 2022-03-01 | 2022-06-03 | 亿咖通(湖北)技术有限公司 | 多传感器联合标定方法、设备、存储介质及程序产品 |
| CN115236644A (zh) * | 2022-07-26 | 2022-10-25 | 广州文远知行科技有限公司 | 一种激光雷达外参标定方法、装置、设备和存储介质 |
| CN115457152A (zh) * | 2022-10-21 | 2022-12-09 | 中国第一汽车股份有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN115902843A (zh) * | 2022-11-22 | 2023-04-04 | 中汽创智科技有限公司 | 一种多激光雷达标定方法、装置及电子设备 |
| CN116400349A (zh) * | 2022-12-07 | 2023-07-07 | 浙江工业大学 | 一种低分辨率毫米波雷达与光学相机的标定方法 |
| WO2023131123A1 (zh) * | 2022-01-05 | 2023-07-13 | 上海三一重机股份有限公司 | 组合导航设备与激光雷达的外参标定方法及装置 |
| CN116429162A (zh) * | 2023-03-07 | 2023-07-14 | 之江实验室 | 一种多传感器的标定方法、装置和计算机设备 |
-
2023
- 2023-10-08 CN CN202311288072.6A patent/CN117036511B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113870343A (zh) * | 2020-06-30 | 2021-12-31 | 长沙智能驾驶研究院有限公司 | 相对位姿标定方法、装置、计算机设备和存储介质 |
| CN114076937A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 激光雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
| CN112598757A (zh) * | 2021-03-03 | 2021-04-02 | 之江实验室 | 一种多传感器时间空间标定方法及装置 |
| WO2023131123A1 (zh) * | 2022-01-05 | 2023-07-13 | 上海三一重机股份有限公司 | 组合导航设备与激光雷达的外参标定方法及装置 |
| CN114578329A (zh) * | 2022-03-01 | 2022-06-03 | 亿咖通(湖北)技术有限公司 | 多传感器联合标定方法、设备、存储介质及程序产品 |
| CN115236644A (zh) * | 2022-07-26 | 2022-10-25 | 广州文远知行科技有限公司 | 一种激光雷达外参标定方法、装置、设备和存储介质 |
| CN115457152A (zh) * | 2022-10-21 | 2022-12-09 | 中国第一汽车股份有限公司 | 外参标定方法、装置、电子设备及存储介质 |
| CN115902843A (zh) * | 2022-11-22 | 2023-04-04 | 中汽创智科技有限公司 | 一种多激光雷达标定方法、装置及电子设备 |
| CN116400349A (zh) * | 2022-12-07 | 2023-07-07 | 浙江工业大学 | 一种低分辨率毫米波雷达与光学相机的标定方法 |
| CN116429162A (zh) * | 2023-03-07 | 2023-07-14 | 之江实验室 | 一种多传感器的标定方法、装置和计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| CHUNLEI YI ETAL.: "A multi-sensor fusion and object tracking algorithm for self-driving vehicles", 《J AUTOMOBILE ENGINEERING》, vol. 233, no. 9 * |
| 缪显涵: "多源信息融合多目标跟踪技术研究与设计", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036511B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570466B (zh) | 三维实景点云模型的生成方法和装置 | |
| CN110570449B (zh) | 一种基于毫米波雷达与视觉slam的定位与建图方法 | |
| CN111121754A (zh) | 移动机器人定位导航方法、装置、移动机器人及存储介质 | |
| CN111199564A (zh) | 智能移动终端的室内定位方法、装置与电子设备 | |
| CN111080682B (zh) | 点云数据的配准方法及装置 | |
| RU2652535C2 (ru) | Способ и система измерения расстояния до удаленных объектов | |
| CN112750203A (zh) | 模型重建方法、装置、设备及存储介质 | |
| CN113920263A (zh) | 地图构建方法、装置、设备及存储介质 | |
| Stein et al. | Handling uncertainties in image mining for remote sensing studies | |
| Fremont et al. | Circular targets for 3d alignment of video and lidar sensors | |
| Song et al. | Small UAV based multi-viewpoint image registration for monitoring cultivated land changes in mountainous terrain | |
| CN108776338B (zh) | 信号源空间传感方法、装置及主动式传感系统 | |
| CN110322553B (zh) | 激光雷达点云混合现实场景实施放样的方法和系统 | |
| CN117036511B (zh) | 多类型传感器的标定方法、装置、计算机设备和存储介质 | |
| CN114882115B (zh) | 车辆位姿的预测方法和装置、电子设备和存储介质 | |
| CN115830073A (zh) | 地图要素重建方法、装置、计算机设备和存储介质 | |
| CN115797438A (zh) | 目标定位方法、装置、计算机设备、存储介质和程序产品 | |
| Li et al. | Multi-sensor based high-precision direct georeferencing of medium-altitude unmanned aerial vehicle images | |
| CN115222815A (zh) | 障碍物距离检测方法、装置、计算机设备和存储介质 | |
| CN113932793A (zh) | 三维坐标定位方法、装置、电子设备和存储介质 | |
| Tong et al. | Geometric integration of aerial and QuickBird imagery for high accuracy geopositioning and mapping application: A case study in Shanghai | |
| CN116758517B (zh) | 基于多目图像的三维目标检测方法、装置和计算机设备 | |
| Yang | Indoor Positioning System for Smart Devices | |
| CN116266362A (zh) | 外参标定方法、装置、计算机设备和存储介质 | |
| Rodarmel et al. | Integrating lidar into the Community Sensor Model construct |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |