CN114578329A - 多传感器联合标定方法、设备、存储介质及程序产品 - Google Patents

多传感器联合标定方法、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN114578329A
CN114578329A CN202210198074.5A CN202210198074A CN114578329A CN 114578329 A CN114578329 A CN 114578329A CN 202210198074 A CN202210198074 A CN 202210198074A CN 114578329 A CN114578329 A CN 114578329A
Authority
CN
China
Prior art keywords
calibration
coordinate system
sensor
camera
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210198074.5A
Other languages
English (en)
Inventor
黄毅
方浩
贾晨晨
金砺耀
林宝尉
李正宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecarx Hubei Tech Co Ltd
Original Assignee
Ecarx Hubei Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecarx Hubei Tech Co Ltd filed Critical Ecarx Hubei Tech Co Ltd
Priority to CN202210198074.5A priority Critical patent/CN114578329A/zh
Publication of CN114578329A publication Critical patent/CN114578329A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例提供一种多传感器联合标定方法、设备、存储介质及程序产品，该方法包括针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系，根据多个所述第二位姿转换关系确定标定结果。本申请实施例通过标定场内的标定物对各个传感器分别进行标定，获得各传感器的传感器坐标与标定场的世界坐标系之间转换关系，在此基础上可以快速获得多个传感器两两之间的转换关系，完成整车标定，使得能够大大减少整车标定的标定周期，提高标定效率。

Description

多传感器联合标定方法、设备、存储介质及程序产品
技术领域
本申请实施例涉及自动驾驶技术领域，尤其涉及一种多传感器联合标定方法、设备、存储介质及程序产品。
背景技术
自动驾驶技术是一种依赖多种传感器融合的技术。自动驾驶车辆通过搭载不同角度的相机和激光雷达，为车辆提供更丰富的环境感知信息，通过传感器间的信息融合可以输出更鲁棒的感知和定位结果。多传感器联合标定的准确性是进行传感器间信息融合的重要前提。
现有技术中，通常采用传感器两两标定的方式，可以基于两个传感器对共视区内的标定物同时进行信息采集，进而根据采集的信息进行外参解算，获得两个传感器分别所在坐标系之间的转换关系，实现两个传感器之间的标定。
然而，实现本申请过程中，发明人发现现有技术中至少存在如下问题：在车辆存在多个传感器的情况下，两两标定的方式，使得整车标定周期过长，标定效率较低。
发明内容
本申请实施例提供一种多传感器联合标定方法、设备、存储介质及程序产品，以提高标定效率。
第一方面，本申请实施例提供一种多传感器联合标定方法，应用于具有多个传感器的车辆，多个传感器之间刚性固连，包括：
针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系；
根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系；
根据多个所述第二位姿转换关系确定标定结果。
在一种可能的设计中，所述根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
根据标定场内的二维标定板，确定相机的标定原始数据；
根据所述相机的标定原始数据对所述相机进行标定，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
在一种可能的设计中，所述根据标定场内的二维标定板，确定所述传感器的标定原始数据，包括：
通过所述相机对多个二维标定板进行拍摄，获得目标图像；
获取多个第一特征点在世界坐标系下的世界坐标和多个第一同名点在像素坐标系下的像素坐标；多个所述第一特征点为多个二维标定板上的特征点；多个所述第一同名点为多个所述第一特征点在所述目标图像中分别对应的同名点；
将多个所述第一特征点的世界坐标和对应的第一同名点的像素坐标，确定为所述相机的标定原始数据。
在一种可能的设计中，所述根据所述相机的标定原始数据对所述相机进行标定，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
确定所述相机的内参矩阵的初值；
根据所述内参矩阵的初值和所述相机的原始标定数据，对所述内参矩阵进行优化，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
在一种可能的设计中，所述确定所述相机的内参矩阵的初值，包括：
将车辆旋转至不同角度；
针对每个角度，通过所述相机采集待处理图像；所述待处理图像中包括至少一个二维标定板；
获取多个第二特征点在标定板的标定板坐标系下的世界坐标和多个第二同名点在所述待处理图像的像素坐标系下的像素坐标；多个所述特征点为所述至少一个二维标定板上的特征点；多个所述第二同名点为多个所述第二特征点在所述待处理图像中分别对应的同名点；
根据多个所述第二特征点的世界坐标和多个所述第二同名点的像素坐标，基于张正友标定法，确定所述相机的内参矩阵的初值。
在一种可能的设计中，所述根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
根据标定场内的立体标定物，确定激光雷达的标定原始数据；
根据所述激光雷达的标定原始数据对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
在一种可能的设计中，所述根据标定场内的立体标定物，确定激光雷达的标定原始数据，包括：
获取所述立体标定物在世界坐标系下的第一点云；
通过所述激光雷达获得立体标定物在激光雷达坐标系下的第二点云；
获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标；多个所述第三同名点为所述立体标定物的目标平面中多个第三特征点在所述第一点云中对应的同名点；多个所述第四同名点为多个所述第三特征点在所述第二点云中对应的同名点；
将多个所述第三同名点的世界坐标和多个所述第四同名点的激光雷达坐标，确定为激光雷达的标定原始数据。
在一种可能的设计中，所述获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标，包括：
根据所述立体标定物的多个顶点，从所述第一点云中筛选获得所述立体标定物对应的第一目标点云，并从所述第二点云中筛选获得所述立体标定物对应的第二目标点云；
基于所述第一目标点云和所述第二目标点云，确定所述立体标定位的目标平面中多个所述第三特征点分别对应的第三同名点和第四同名点；
获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标。
在一种可能的设计中，所述根据所述激光雷达的标定原始数据对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
获取所述立体标定物的目标平面的法向量；
基于所述法向量和所述激光雷达的标定原始数据，对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
在一种可能的设计中，所述方法，还包括：
在所述车辆停放在所述标定场后，确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标。
在一种可能的设计中，所述确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标，包括：
在所述车辆停放在所述标定场后，获取标识物的激光点云，所述标识物设置在所述车辆的车轮上；
将所述标识物的激光点云与所述标定场的点云进行配准，获得所述标识物在标定场的世界坐标系下的世界坐标；
根据所述标识物在标定场的世界坐标系下的世界坐标，以及所述标识物与所述车辆的车体后轴中心的位置关系，确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标。
在一种可能的设计中，所述根据多个所述第二位姿转换关系确定标定结果，包括：
根据多个传感器对应的所述第二位姿转换关系，计算外参传导闭环的外参闭环差；所述外参传导闭环是由多个传感器构成的；
判断所述外参闭环差是否小于或等于预设阈值；
若是，则根据多个所述第二位姿转换关系确定标定结果。
在一种可能的设计中，所述根据多个传感器对应的所述第二位姿转换关系，计算外参传导闭环的外参闭环差，包括：
获取所述外参传导闭环中的各传感器的相邻位置关系；
获取所述外参传导闭环中相邻传感器之间的第二位姿转换关系；
根据所述相邻位置关系，将多个所述第二位姿转换关系依次相乘，并将获得的乘积确定为所述外参闭环差。
在一种可能的设计中，所述判断所述外参闭环差是否小于等于预设阈值之后，还包括：
若否，则对多个传感器对应的第二位姿转换关系进行联合优化，并根据多个联合优化后的第二位姿转换关系确定标定结果。
在一种可能的设计中，所述对多个传感器对应的第二位姿转换关系进行联合优化，包括：
获取多个传感器的标定原始数据；每个传感器的标定原始数据为确定所述传感器的第一位姿转换关系时采集的原始数据；
针对每个传感器，基于对应的标定原始数据对所述传感器的第一位姿转换关系进行迭代优化，以使所述外参闭环差小于或等于所述预设阈值。
第二方面，本申请实施例提供一种多传感器联合标定设备，包括：
标定模块，用于针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系；
计算模块，用于根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系；
确定模块，用于根据多个所述第二位姿转换关系确定标定结果。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的方法。
本实施例提供的多传感器联合标定方法、设备、存储介质及程序产品，该方法包括针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系，根据多个所述第二位姿转换关系确定标定结果。本申请实施例提供的多传感器联合标定方法，通过标定场内的标定物对各个传感器分别进行标定，获得各传感器的传感器坐标与标定场的世界坐标系之间转换关系，在此基础上可以快速获得多个传感器两两之间的转换关系，完成整车标定，使得能够大大减少整车标定的标定周期，提高标定效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的应用场景图；
图2为本申请实施例提供的多传感器联合标定方法的流程示意图；
图3为本申请实施例提供的相机标定中各坐标系之间的对应关系示意图；
图4为本申请实施例提供的车体中心轴标定的场景示意图；
图5为本申请实施例提供的多传感器联合标定设备的结构示意图；
图6为本申请实施例提供的电子设备的硬件结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
自动驾驶技术是一种依赖多相机、多激光雷达以及惯性导航等的多种传感器融合的技术。相机可以提供具有语义的平面场景信息，激光雷达可以生成传感器周围的三维结构，惯性测量元件可以记录载体的瞬时速度等信息。目前多种传感器的冗余已成为自动驾驶的主流方案，自动驾驶车辆往往搭载不同角度相机和激光雷达，为车辆提供更丰富的环境感知信息，传感器间的信息融合可以输出更鲁棒的感知和定位结果。以上的技术前提都依赖传感器间的精准内部参数和传感器间外参数，因此多传感器的标定是采用自动驾驶技术的重要前提。
相关技术中，可以采用传感器两两之间静态离线标定的方式，例如，对激光雷达与相机之间的参数进行标定时，可以在激光雷达与相机的共视区同时采集激光点云和相机图像，从激光点云和相机图像中分别提取标定物并进行外参解算，相机内参可以依照张正友棋盘格方法，多视角进行内参求解；对两个激光雷达之间的外参进行标定时，可以提取两个激光雷达的共视区内的特征，然后基于提取的特征进行外参解算。然而，上述传感器两两之间进行标定的方式不仅需要大量的人力辅助，而且对于设置有多个传感器的自动驾驶车辆来说，完成所有传感器标定的周期过长。
为解决上述技术问题，本申请发明人经过研究发现可以设置专门的标定场，通过标定场内的标定物对各个传感器分别进行标定，获得各传感器的传感器坐标与标定场的世界坐标系之间转换关系，在此基础上可以快速获得多个传感器两两之间的转换关系，完成整车标定，使得能够大大减少整车标定的标定周期，提高标定效率。基于此，本申请实施例提供一种多传感器联合标定的方法，能够提高多个传感器联合标定的标定效率。
图1为本申请实施例提供的应用场景图。如图1所示，车辆101放置在标定场102内。标定场102内设置有多个二维标定板103，且设置有多个立体标定物104，根据传感器的分布，可以将二维标定板103和立体标定物104进行合理布局，使得各传感器在进行确定自身的传感坐标系与标定场102的世界坐标系之间的转换关系时，能够获取到相关的原始数据即可。
在具体实现过程中，车辆101停放到标定场102内，车辆101的各传感器(例如相机、激光雷达)分别获取各自相关的原始数据，基于该原始数据确定自身传感器的传感坐标系与标定场102的世界坐标系之间的第一位姿转换关系，进而根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系，从而根据多个所述第二位姿转换关系确定标定结果，快速完成整车标定。
本申请实施例提供的多传感器联合标定方法，通过标定场102内的标定物对各个传感器分别进行标定，获得各传感器的传感器坐标与标定场102的世界坐标系之间转换关系，在此基础上可以快速获得多个传感器两两之间的转换关系，完成整车标定，使得能够大大减少整车标定的标定周期，提高标定效率。
需要说明的是，图1所示的场景示意图仅仅是一个示例，本申请实施例描述的多传感器联合标定方法以及场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请实施例提供的多传感器联合标定方法的流程示意图。如图2所示，该方法应用于具有多个传感器的车辆，多个传感器之间刚性固连，包括：
201、针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
本实施例的执行主体可以为计算机、平板电脑、车机设备等数据处理设备。
具体的，在车辆停放进标定场之后，令设置在车辆上的各个传感器分别基于对应的标定物进行自身传感器坐标系与标定场的世界坐标系之间的第一位姿转换关系，从而获得各个传感器分别对应的第一位姿转换关系。
本实施例中，为了提高标定效率，可以预先确定标定场内的各标定物的特征点在标定场的世界坐标系下的世界坐标。例如，可以预先确定二维标定板的各角点在标定场的世界坐标系下的世界坐标，可以预先确定立体标定板的各面的法向量在标定场的世界坐标系下的世界坐标。
本实施例中设置在车辆上的传感器可以为相机、激光雷达等需要进行静态标定的传感器。
示例性的，假设车辆上设置有6个相机和1个激光雷达，则该6个相机和1个激光雷达同时进行标定，获取各自对应的第一位姿转换关系。
以下对相机、激光雷达的第一位姿转换关系的确定过程进行示例介绍。
针对相机的第一位姿转换关系的确定：
为清楚介绍相机标定的内容，结合图3对相机的内参标定内容和外参标定内容进行示例说明。图3为本申请实施例提供的相机标定中各坐标系之间的对应关系示意图。如图3所示，相机标定过程中，通过相机采集标定场内的二维标定板103的图像，该过程涉及采集的图像的像素坐标系、相机的相机坐标系以及标定场的世界坐标系。相机的内参标定，即是对图像的像素坐标系与相机的相机坐标系之间的转换关系的标定，相机的外参标定，即是对相机的相机坐标系与标定场的世界坐标系之间的转换关系的标定。
在一些实施例中，所述根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，可以包括：根据标定场内的二维标定板，确定相机的标定原始数据；根据所述相机的标定原始数据对所述相机进行标定，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
本实施例中，为了同时对多个相机进行标定，所以二维标定板可以设置多个以使各相机的视野范围内均设置有多个二维标定板，为了进行区分，可以将二维标定板设置有编码，例如，可以设置ApirlGrid码。
二维标定板的尺寸可以相同，也可以在不同二维标定板中设置不同的缩放比，以便进行相机内参的标定。
可选地，所述根据标定场内的二维标定板，确定所述传感器的标定原始数据，可以包括：通过所述相机对多个二维标定板进行拍摄，获得目标图像；获取多个第一特征点在世界坐标系下的世界坐标和多个第一同名点在像素坐标系下的像素坐标；多个所述第一特征点为多个二维标定板上的特征点；多个所述第一同名点为多个所述第一特征点在所述目标图像中分别对应的同名点；将多个所述第一特征点的世界坐标和对应的第一同名点的像素坐标，确定为所述相机的标定原始数据。
本实施例中，在对所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系进行标定时，即在对相机相对于标定场的外参进行标定时，可以同时基于内参矩阵的初值，对内参矩阵进行优化，也可以将内参矩阵的初值直接确定为内参矩阵的最终值，即在迭代优化中，仅对相机的外参进行迭代优化，而将内参矩阵固定设置。上述方式具体可以根据实际情况进行选用，本实施例对此不做限定。
示例性的，可以基于以下代价函数进行迭代优化，解算相机的外参(或者相机的内参和外参)
Figure BDA0003526637300000101
其中，Rw2c和tw2c分别为标定板的世界坐标系和相机的相机坐标系之间的旋转矩阵和平移矩阵，也即相机对应的第一位姿转换关系，也即相机的外参，
Figure BDA0003526637300000102
为二维标定板的特征点在标定板的世界坐标系下的世界坐标，
Figure BDA0003526637300000103
为二维标定板的特征点在目标图像中对应同名点的像素坐标，m为目标图像中特征点的数量。
基于上述代价函数，可以通过最小二乘法进行优化求解。例如，可以采用LM(Levenberg-Marquardt)梯度下降算法、3D-2D PnP算法等。
可选地，所述根据所述相机的标定原始数据对所述相机进行标定，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，可以包括：确定所述相机的内参矩阵的初值；根据所述内参矩阵的初值和所述相机的原始标定数据，对所述内参矩阵进行优化，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
具体的，可以首先获取用于确定相机内参矩阵的原始数据，再基于该原始数据通过预设算法确定相机的内参矩阵的初值。可选地，预设算法可以采用张正友标定算法。
其中，用于确定相机内参矩阵的原始数据的获取方式可以有多种。
在一种可实现方式中，可以设置机械臂，由机械臂将二维标定板在相机的视野范围内，展现多个位姿，例如30个姿态，相机对于每一位姿进行图像采集，从而获得二维标定板的多个角度的图像。
在另一种可实现方式中，所述确定所述相机的内参矩阵的初值，可以包括：将车辆旋转至不同角度；针对每个角度，通过所述相机采集待处理图像；所述待处理图像中包括至少一个二维标定板；获取多个第二特征点在标定板的标定板坐标系下的世界坐标和多个第二同名点在所述待处理图像的像素坐标系下的像素坐标；多个所述特征点为所述至少一个二维标定板上的特征点；多个所述第二同名点为多个所述第二特征点在所述待处理图像中分别对应的同名点；根据多个所述第二特征点的世界坐标和多个所述第二同名点的像素坐标，基于张正友标定法，确定所述相机的内参矩阵的初值。
具体的，可以在标定场内设置旋转台，将车辆停放在旋转台上，通过驱动旋转台转动，带动车辆旋转至多个角度。针对不同的角度，相机获取二维标定板的图像，从而获得设置在标定场内不同方位的二维标定板的图像。进而获取二维标定板中各角点的标定板坐标系下的坐标，以及对应图像中同名点的像素坐标，作为确定相机内参矩阵的原始数据。
针对激光雷达的第一位姿转换关系的确定：
在一些实施例中，所述根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，可以包括：根据标定场内的立体标定物，确定激光雷达的标定原始数据；根据所述激光雷达的标定原始数据对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
可选地，所述根据标定场内的立体标定物，确定激光雷达的标定原始数据，可以包括：获取所述立体标定物在世界坐标系下的第一点云；通过所述激光雷达获得立体标定物在激光雷达坐标系下的第二点云；获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标；多个所述第三同名点为所述立体标定物的目标平面中多个第三特征点在所述第一点云中对应的同名点；多个所述第四同名点为多个所述第三特征点在所述第二点云中对应的同名点；将多个所述第三同名点的世界坐标和多个所述第四同名点的激光雷达坐标，确定为激光雷达的标定原始数据。
本实施例中，获取所述立体标定物在世界坐标系下的第一点云的方式有多种，在一种可实现方式中，可以通过第三方测绘机构采用专业的测绘设备确定第一点云，以使第一点云的精度满足要求。
另外，获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标的方式可以有多种，在一种可实现方式中，可以直接从第一点云中获取第三同名点的世界坐标系，直接从第二点云中获取第四同名点的激光雷达坐标系。在另一中可实现方式中，为了提高准确率，可以根据所述立体标定物的多个顶点，从所述第一点云中筛选获得所述立体标定物对应的第一目标点云，并从所述第二点云中筛选获得所述立体标定物对应的第二目标点云；基于所述第一目标点云和所述第二目标点云，确定所述立体标定位的目标平面中多个所述第三特征点分别对应的第三同名点和第四同名点；获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标。即，首先将多余的点云删除后，获得立体标定物对应的更加精简的点云后，再进行各同名点的坐标的获取，能够提高准确率。
可选地，所述根据所述激光雷达的标定原始数据对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，可以包括：获取所述立体标定物的目标平面的法向量；基于所述法向量和所述激光雷达的标定原始数据，对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
示例性的，可以采用以下代价函数进行激光雷达的第一位姿转换关系的标定。
Figure BDA0003526637300000121
其中，Rl2w和tl2w分别为标定板的世界坐标系和激光雷达的激光雷达坐标系之间的旋转矩阵和平移矩阵，也即激光雷达对应的第一位姿转换关系，也即激光雷达的外参，Pi为立体标定物的目标平面内的特征点在激光雷达的激光雷达坐标系下的激光雷达坐标，nT为目标平面的法向量，d为目标平面方程的常数项，m为目标平面中特征点的数量。
基于上述代价函数，可以通过最小二乘法进行优化求解。例如，可以采用LM(Levenberg-Marquardt)梯度下降算法、3D-2D PnP算法等。
202、根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系。
具体的，在获得各传感器分别对应的第一位姿转换关系后，可以计算得到任意两个传感器之间的第二位姿转换关系。举例来说，在获得相机1与标定场之间的第一位姿转换关系
Figure BDA0003526637300000122
相机2与标定场之间的第一位姿转换关系
Figure BDA0003526637300000123
激光雷达与标定场之间的第一位姿转换关系
Figure BDA0003526637300000124
之后，可以获得相机1、相机2和激光雷达中任意两个传感器之间的第二位姿转换关系。例如，可以基于
Figure BDA0003526637300000131
和
Figure BDA0003526637300000132
确定相机1与相机2之间的第二位姿转换关系
Figure BDA0003526637300000133
还可以基于
Figure BDA0003526637300000134
和
Figure BDA0003526637300000135
确定相机2与激光雷达之间的第二位姿转换关系
Figure BDA0003526637300000136
等。
203、根据多个所述第二位姿转换关系确定标定结果。
本实施例中，在获得传感器两两之间的第二位姿转换关系之后，可以有多种方式确定标定结果。
在一种可实现方式中，可以将多个第二位姿转换关系直接确定为标定结果进行输出。
在另一种可实现方式中，可以对多个所述第二位姿转换关系进行验证后，验证通过再将验证通过的第二位姿转换关系确定为标定结果。
具体的，所述根据多个所述第二位姿转换关系确定标定结果，可以包括：根据多个传感器对应的所述第二位姿转换关系，计算外参传导闭环的外参闭环差；所述外参传导闭环是由多个传感器构成的；判断所述外参闭环差是否小于或等于预设阈值；若是，则根据多个所述第二位姿转换关系确定标定结果。若否，则对多个传感器对应的第二位姿转换关系进行联合优化，并根据多个联合优化后的第二位姿转换关系确定标定结果。
可选地，所述根据多个传感器对应的所述第二位姿转换关系，计算外参传导闭环的外参闭环差，可以包括：获取所述外参传导闭环中的各传感器的相邻位置关系；获取所述外参传导闭环中相邻传感器之间的第二位姿转换关系；根据所述相邻位置关系，将多个所述第二位姿转换关系依次相乘，并将获得的乘积确定为所述外参闭环差。
示例性的，传感器在车体上刚性固连，外参通过不同传感器的传导，最终回到自身，理论是一个单位阵，以多个传感器包括相机1、相机2与激光雷达为例，各传感器的外参传递关系以及外参闭环差可以通过以下表达式表示。
Figure BDA0003526637300000137
其中，
Figure BDA0003526637300000138
为激光雷达到相机2的第二位姿转换关系，
Figure BDA0003526637300000139
为相机1到相机2的第二位姿转换关系，
Figure BDA00035266373000001310
为激光雷达到相机1的第二位姿转换关系，ΔH为相机1、相机2和激光雷达的外参闭环差。
以主激光坐标系为参考，通过表达是(3)计算激光到相机1的外参(第二位姿转换关系)
Figure BDA00035266373000001311
乘以相机1到相机2的外参
Figure BDA00035266373000001312
再乘以相机2到激光
Figure BDA00035266373000001313
的外参得到外参闭环差ΔH。
外参闭环差ΔH可以包括旋转误差ΔR和/或平移误差ΔT。示例性的，可以将旋转误差对应的阈值设置为0.5度，将平移误差对应的误差设置为2cm，当然，具体可以根据实际需要进行设置，本实施例对外参闭环差的构成，以及对应阈值的大小设置不进行具体限定。
在一些实施例中，所述对多个传感器对应的第二位姿转换关系进行联合优化，可以包括：获取多个传感器的标定原始数据；每个传感器的标定原始数据为确定所述传感器的第一位姿转换关系时采集的原始数据；针对每个传感器，基于对应的标定原始数据对所述传感器的第一位姿转换关系进行迭代优化，以使所述外参闭环差小于或等于所述预设阈值。
示例性的，继续假设多个传感器包括相机1、相机2与激光雷达，若ΔH大于预设阈值，则可以对相机1的第一位姿转换关系、相机2的第一位姿转换关系与激光雷达的第一位姿转换关系进行联合优化，具体的，可以获取相机1的原始数据(可参见步骤201的说明，此处不再赘述)、相机2的原始数据，以及激光雷达的原始数据，基于上述原始数据，联立相机1和相机2的代价函数F1(参见表达式(1))和激光雷达的代价函数F2(参见表达式(2))，基于预设算法对联立的代价函数进行迭代优化，以使ΔH降低，可以同时令误差均摊到相机1、相机2和激光雷达上。在联合优化中，可以记录各传感器所对应的标定数据在优化过程中的梯度大小，每次迭代后，删除较大的残差项以及对应的标定数据，最终标定系统收敛到相机1、相机2和激光雷达的整体误差最小的标定结果，即得到ΔH最小的标定结果。
在一些实施例中，针对外参闭环差大于预设阈值或者在联合优化后外参闭环差仍然大于预设阈值的情况，可以重新依据步骤201和步骤202对各传感器进行重新标定。
本实施例提供的多传感器联合标定方法，通过标定场内的标定物对各个传感器分别进行标定，获得各传感器的传感器坐标与标定场的世界坐标系之间转换关系，在此基础上可以快速获得多个传感器两两之间的转换关系，完成整车标定，使得能够大大减少整车标定的标定周期，提高标定效率
在自动驾驶技术的各算法中，通常需要将车辆由一个坐标点来代替，通常这个坐标点会选在车体后轴中心。因此，在一些实施例中，还可以包括：在所述车辆停放在所述标定场后，确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标。
具体的，如图4所示，可以设置限位贴401，将车辆停放在限位贴的位置，进而确定车辆的车体后轴中心402在标定场的世界坐标系下的坐标。
本实施例中，车体后轴中心的确定方式有多种。
在一种可实现方式中，在标定场中，在车辆停放位置的周围，例如可以在车辆停放位的左边拉一条钢尺，前边拉一条钢尺，钢尺有刻度，预先确定钢尺刻度在标定场的世界坐标系下的世界坐标。在车辆停放到指定位置(例如限位贴位置)后，可以基于上述两条钢尺的刻度，读取车体后轴中心的落地点在标定场的世界坐标系下的世界坐标。
在另一种可实现方式中，为了提高效率和准确度，所述确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标，可以包括：在所述车辆停放在所述标定场后，获取标识物的激光点云，所述标识物设置在所述车辆的车轮上；将所述标识物的激光点云与所述标定场的点云进行配准，获得所述标识物在标定场的世界坐标系下的世界坐标；根据所述标识物在标定场的世界坐标系下的世界坐标，以及所述标识物与所述车辆的车体后轴中心的位置关系，确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标。
本实施例中，标识物的反光率可以设置为大于预设值，形状可以采用圆形、方形等多种形状，设置方式可以为磁吸方式或者卡接方式，本实施例对此不做限定。
示例性的，如图1所示，可以在车辆四周的四个柱子上设置稠密激光雷达，稠密激光雷达可以设置多个，例如四个，并且将稠密激光雷达对准车辆以便获取车辆的激光点云。在车辆停放好后，将标识物设置在车轮上，四个车轮分别设置一个标识物，通过稠密激光雷达获取激光点云，将激光点云与标定场的第一点云进行配准，然后从激光点云中获取标识物对应的目标点云，并确定四个标识物的目标点云在标定场的世界坐标系下的世界坐标。进而基于标识物的世界坐标可以确定车体后轴中心在标定场的世界坐标系下的世界坐标。
图5为本申请实施例提供的多传感器联合标定设备的结构示意图。如图5所示，该多传感器联合标定设备50包括：标定模块501、计算模块502以及确定模块503。
标定模块501，用于针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系；
计算模块502，用于根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系；
确定模块503，用于根据多个所述第二位姿转换关系确定标定结果。
本申请实施例提供的多传感器联合标定设备，通过标定场内的标定物对各个传感器分别进行标定，获得各传感器的传感器坐标与标定场的世界坐标系之间转换关系，在此基础上可以快速获得多个传感器两两之间的转换关系，完成整车标定，使得能够大大减少整车标定的标定周期，提高标定效率
本申请实施例提供的多传感器联合标定设备，可用于执行上述的方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
图6为本申请实施例提供的电子设备的硬件结构框图，该设备可以是计算机，消息收发设备，平板设备，医疗设备，车机设备等。
装置60可以包括以下一个或多个组件：处理组件601，存储器602，电源组件603，多媒体组件604，音频组件605，输入/输出(I/O)接口606，传感器组件607，以及通信组件608。
处理组件601通常控制装置60的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件601可以包括一个或多个处理器609来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件601可以包括一个或多个模块，便于处理组件601和其他组件之间的交互。例如，处理组件601可以包括多媒体模块，以方便多媒体组件604和处理组件601之间的交互。
存储器602被配置为存储各种类型的数据以支持在装置60的操作。这些数据的示例包括用于在装置60上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件603为装置60的各种组件提供电力。电源组件603可以包括电源管理系统，一个或多个电源，及其他与为装置60生成、管理和分配电力相关联的组件。
多媒体组件604包括在所述装置60和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件604包括一个前置摄像头和/或后置摄像头。当装置60处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件605被配置为输出和/或输入音频信号。例如，音频组件605包括一个麦克风(MIC)，当装置60处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或经由通信组件608发送。在一些实施例中，音频组件605还包括一个扬声器，用于输出音频信号。
I/O接口606为处理组件601和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件607包括一个或多个传感器，用于为装置60提供各个方面的状态评估。例如，传感器组件607可以检测到装置60的打开/关闭状态，组件的相对定位，例如所述组件为装置60的显示器和小键盘，传感器组件607还可以检测装置60或装置60一个组件的位置改变，用户与装置60接触的存在或不存在，装置60方位或加速/减速和装置60的温度变化。传感器组件607可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件607还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件607还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件608被配置为便于装置60和其他设备之间有线或无线方式的通信。装置60可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件608经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件608还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置60可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器602，上述指令可由装置60的处理器609执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上多传感器联合标定设备执行的多传感器联合标定方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (19)

1.一种多传感器联合标定方法，其特征在于，应用于具有多个传感器的车辆，多个传感器之间刚性固连，该方法包括：
针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系；
根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系；
根据多个所述第二位姿转换关系确定标定结果。
2.根据权利要求1所述的方法，其特征在于，所述根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
根据标定场内的二维标定板，确定相机的标定原始数据；
根据所述相机的标定原始数据对所述相机进行标定，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
3.根据权利要求2所述的方法，其特征在于，所述根据标定场内的二维标定板，确定所述传感器的标定原始数据，包括：
通过所述相机对多个二维标定板进行拍摄，获得目标图像；
获取多个第一特征点在世界坐标系下的世界坐标和多个第一同名点在像素坐标系下的像素坐标；多个所述第一特征点为多个二维标定板上的特征点；多个所述第一同名点为多个所述第一特征点在所述目标图像中分别对应的同名点；
将多个所述第一特征点的世界坐标和对应的第一同名点的像素坐标，确定为所述相机的标定原始数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述相机的标定原始数据对所述相机进行标定，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
确定所述相机的内参矩阵的初值；
根据所述内参矩阵的初值和所述相机的原始标定数据，对所述内参矩阵进行优化，获得所述相机的相机坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
5.根据权利要求4所述的方法，其特征在于，所述确定所述相机的内参矩阵的初值，包括：
将车辆旋转至不同角度；
针对每个角度，通过所述相机采集待处理图像；所述待处理图像中包括至少一个二维标定板；
获取多个第二特征点在标定板的标定板坐标系下的世界坐标和多个第二同名点在所述待处理图像的像素坐标系下的像素坐标；多个所述特征点为所述至少一个二维标定板上的特征点；多个所述第二同名点为多个所述第二特征点在所述待处理图像中分别对应的同名点；
根据多个所述第二特征点的世界坐标和多个所述第二同名点的像素坐标，基于张正友标定法，确定所述相机的内参矩阵的初值。
6.根据权利要求1所述的方法，其特征在于，所述根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
根据标定场内的立体标定物，确定激光雷达的标定原始数据；
根据所述激光雷达的标定原始数据对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
7.根据权利要求6所述的方法，其特征在于，所述根据标定场内的立体标定物，确定激光雷达的标定原始数据，包括：
获取所述立体标定物在世界坐标系下的第一点云；
通过所述激光雷达获得立体标定物在激光雷达坐标系下的第二点云；
获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标；多个所述第三同名点为所述立体标定物的目标平面中多个第三特征点在所述第一点云中对应的同名点；多个所述第四同名点为多个所述第三特征点在所述第二点云中对应的同名点；
将多个所述第三同名点的世界坐标和多个所述第四同名点的激光雷达坐标，确定为激光雷达的标定原始数据。
8.根据权利要求7所述的方法，其特征在于，所述获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标，包括：
根据所述立体标定物的多个顶点，从所述第一点云中筛选获得所述立体标定物对应的第一目标点云，并从所述第二点云中筛选获得所述立体标定物对应的第二目标点云；
基于所述第一目标点云和所述第二目标点云，确定所述立体标定位的目标平面中多个所述第三特征点分别对应的第三同名点和第四同名点；
获取多个第三同名点的世界坐标系和多个第四同名点的激光雷达坐标。
9.根据权利要求7所述的方法，其特征在于，所述根据所述激光雷达的标定原始数据对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系，包括：
获取所述立体标定物的目标平面的法向量；
基于所述法向量和所述激光雷达的标定原始数据，对所述激光雷达进行标定，获得所述激光雷达的激光雷达坐标系与所述标定场的世界坐标系之间的第一位姿转换关系。
10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法，还包括：
在所述车辆停放在所述标定场后，确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标。
11.根据权利要求10所述的方法，其特征在于，所述确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标，包括：
在所述车辆停放在所述标定场后，获取标识物的激光点云，所述标识物设置在所述车辆的车轮上；
将所述标识物的激光点云与所述标定场的点云进行配准，获得所述标识物在标定场的世界坐标系下的世界坐标；
根据所述标识物在标定场的世界坐标系下的世界坐标，以及所述标识物与所述车辆的车体后轴中心的位置关系，确定所述车辆的车体后轴中心在所述标定场的世界坐标系下的坐标。
12.根据权利要求1-9任一项所述的方法，其特征在于，所述根据多个所述第二位姿转换关系确定标定结果，包括：
根据多个传感器对应的所述第二位姿转换关系，计算外参传导闭环的外参闭环差；所述外参传导闭环是由多个传感器构成的；
判断所述外参闭环差是否小于或等于预设阈值；
若是，则根据多个所述第二位姿转换关系确定标定结果。
13.根据权利要求12所述的方法，其特征在于，所述根据多个传感器对应的所述第二位姿转换关系，计算外参传导闭环的外参闭环差，包括：
获取所述外参传导闭环中的各传感器的相邻位置关系；
获取所述外参传导闭环中相邻传感器之间的第二位姿转换关系；
根据所述相邻位置关系，将多个所述第二位姿转换关系依次相乘，并将获得的乘积确定为所述外参闭环差。
14.根据权利要求12所述的方法，其特征在于，所述判断所述外参闭环差是否小于等于预设阈值之后，还包括：
若否，则对多个传感器对应的第二位姿转换关系进行联合优化，并根据多个联合优化后的第二位姿转换关系确定标定结果。
15.根据权利要求14所述的方法，其特征在于，所述对多个传感器对应的第二位姿转换关系进行联合优化，包括：
获取多个传感器的标定原始数据；每个传感器的标定原始数据为确定所述传感器的第一位姿转换关系时采集的原始数据；
针对每个传感器，基于对应的标定原始数据对所述传感器的第一位姿转换关系进行迭代优化，以使所述外参闭环差小于或等于所述预设阈值。
16.一种多传感器联合标定设备，其特征在于，包括：
标定模块，用于针对每个传感器，根据标定场内的标定物对所述传感器进行标定，获得所述传感器的传感坐标系与所述标定场的世界坐标系之间的第一位姿转换关系；
计算模块，用于根据各传感器分别对应的第一位姿转换关系，计算各传感器的传感坐标系两两之间的第二位姿转换关系；
确定模块，用于根据多个所述第二位姿转换关系确定标定结果。
17.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至15任一项所述的多传感器联合标定方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至15任一项所述的多传感器联合标定方法。
19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至15任一项所述的多传感器联合标定方法。
CN202210198074.5A 2022-03-01 2022-03-01 多传感器联合标定方法、设备、存储介质及程序产品 Pending CN114578329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210198074.5A CN114578329A (zh) 2022-03-01 2022-03-01 多传感器联合标定方法、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210198074.5A CN114578329A (zh) 2022-03-01 2022-03-01 多传感器联合标定方法、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN114578329A true CN114578329A (zh) 2022-06-03

Family

ID=81776089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210198074.5A Pending CN114578329A (zh) 2022-03-01 2022-03-01 多传感器联合标定方法、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN114578329A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN114842094A (zh) * 2022-07-04 2022-08-02 季华实验室 全色面阵相机和高光谱线阵相机联合标定方法、系统
CN116359891A (zh) * 2023-06-01 2023-06-30 季华实验室 一种多传感器快速标定方法及系统
CN117036511A (zh) * 2023-10-08 2023-11-10 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质
CN117249764A (zh) * 2023-11-17 2023-12-19 菲特（天津）检测技术有限公司 车身定位方法、装置和电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782556A (zh) * 2022-06-20 2022-07-22 季华实验室 相机与激光雷达的配准方法、系统及存储介质
CN114842094A (zh) * 2022-07-04 2022-08-02 季华实验室 全色面阵相机和高光谱线阵相机联合标定方法、系统
CN114842094B (zh) * 2022-07-04 2022-09-27 季华实验室 全色面阵相机和高光谱线阵相机联合标定方法、系统
CN116359891A (zh) * 2023-06-01 2023-06-30 季华实验室 一种多传感器快速标定方法及系统
CN116359891B (zh) * 2023-06-01 2023-09-12 季华实验室 一种多传感器快速标定方法及系统
CN117036511A (zh) * 2023-10-08 2023-11-10 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质
CN117036511B (zh) * 2023-10-08 2024-03-26 之江实验室 多类型传感器的标定方法、装置、计算机设备和存储介质
CN117249764A (zh) * 2023-11-17 2023-12-19 菲特（天津）检测技术有限公司 车身定位方法、装置和电子设备
CN117249764B (zh) * 2023-11-17 2024-02-13 菲特（天津）检测技术有限公司 车身定位方法、装置和电子设备

Similar Documents

Publication Publication Date Title
CN114578329A (zh) 多传感器联合标定方法、设备、存储介质及程序产品
US9565364B2 (en) Image capture device having tilt and/or perspective correction
KR20200125667A (ko) 차재 카메라 자기 교정 방법과 장치 및 차량 운전 방법과 장치
EP3038345B1 (en) Auto-focusing method and auto-focusing device
US20210158560A1 (en) Method and device for obtaining localization information and storage medium
EP2458405A1 (en) Graphics-aided remote position measurement with handheld geodesic device
CN109855568B (zh) 自动驾驶传感器的检测方法、装置、电子设备及存储介质
CN112270718B (zh) 摄像头标定方法、装置、系统及存储介质
US11199614B1 (en) Lidar and image calibration for autonomous vehicles
CN110930463B (zh) 一种监控摄像头内参标定方法、装置和电子设备
CN112414400B (zh) 一种信息处理方法、装置、电子设备和存储介质
CN113052919A (zh) 一种视觉传感器的标定方法及装置、电子设备和存储介质
CN114170324A (zh) 标定方法及装置、电子设备和存储介质
CN112146576A (zh) 尺寸测量方法及其装置
CN110865405A (zh) 融合定位方法及装置、移动设备控制方法及电子设备
CN110930351A (zh) 一种光斑检测方法、装置及电子设备
CN112365406B (zh) 图像处理方法、装置以及可读存储介质
CN115861741B (zh) 目标标定方法、装置、电子设备、存储介质及车辆
CN115407355B (zh) 库位地图的验证方法、装置及终端设备
CN114290338A (zh) 二维手眼标定方法、设备、存储介质及程序产品
CN114608591A (zh) 车辆定位方法、装置、存储介质、电子设备、车辆及芯片
CN113240754A (zh) 确定ptz摄像装置的内参的方法、装置、设备及存储介质
CN113066134A (zh) 一种视觉传感器的标定方法及装置、电子设备和存储介质
CN108550170B (zh) 虚拟角色驱动方法及装置
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination