CN115631246A - 相机内参和相机相对激光雷达外参的联合标定方法及装置 - Google Patents

Abstract

本发明公开了一种相机内参和相机相对激光雷达外参的联合标定方法及装置，包括：基于标定数据中的激光雷达点云数据，确定标定数据对应的标定板在激光雷达坐标系中的圆孔中心点坐标；基于标定数据中的相机图像和对应的标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参；基于标定杆和激光测距仪获取激光雷达相对车身坐标系的外参；基于激光雷达相对车身坐标系的外参、相机内参、相机畸变系数以及相机相对激光雷达的外参，将相机坐标和激光雷达坐标统一到车身坐标系中。本发明提高了相机内参和相机相对激光雷达的外参的整体精度，可以在没有标定室的平面上对激光雷达相对车身坐标系的外参进行标定。

Description

相机内参和相机相对激光雷达外参的联合标定方法及装置

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种相机内参和相机相对激光雷达外参的联合标定方法、装置及计算机存储介质。

背景技术

在自动驾驶领域，各种传感器是自动驾驶感知模块非常重要的组成部分，根据对传感器的输入数据进行分析，可以完成目标检测、分割等任务，并将最终结果输出，供决策和规划使用。常用的传感器有相机、激光雷达等，不同的传感器有着不同的优点和不足，因此将相机和激光雷达等传感器进行融合可以很好地提升模型检测和分割的性能。但是由于每个传感器获得的数据都是在自身坐标系中的，为了联合使用多传感器的数据，需要将不同传感器通过内外参标定的方式统一到同一个坐标系中，即传感器的标定。通过传感器的标定，可以得到如相机的内参、相机与激光雷达之间的外参等参数。

现有相机内参和相机相对激光雷达外参的标定都是单独进行的，相机内参使用棋盘格标定，然后再对激光雷达和相机之间的外参进行标定，这就导致当相机内参存在标定误差的时候，相机相对激光雷达外参很难精确标定。得到相机内参和相机相对激光雷达外参后，需要将所有坐标统一到车身坐标系中，这就需要对激光雷达相对车身坐标系进行外参标定。传统的激光雷达相对车身坐标系外参标定依赖于标定室，大大限制了标定的场所。

因此，现有技术还有待改进和发展。

发明内容

本发明的目的在于提供一种相机内参和相机相对激光雷达外参的联合标定方法及装置，可以同时优化相机内参和相机相对激光雷达的外参，提高相机内参和相机相对激光雷达的外参的整体精度，可以在没有标定室的平面上对激光雷达相对车身坐标系的外参进行标定。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种相机内参和相机相对激光雷达外参的联合标定方法，所述方法包括：

基于标定板获取多组标定数据，每组标定数据包括激光雷达点云数据和相机图像；

基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标；

基于每组标定数据中的相机图像和所述每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参；

基于标定杆和激光测距仪获取激光雷达相对车身坐标系的外参；

基于所述激光雷达相对车身坐标系的外参、所述相机内参、所述相机畸变系数以及所述相机相对激光雷达的外参，将相机坐标和激光雷达坐标统一到车身坐标系中。

作为其中一种实施方式，所述标定板包括用于相机标定的棋盘格以及用于激光雷达标定的圆孔。

作为其中一种实施方式，所述基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，包括：

基于直通滤波器对所述激光雷达点云数据进行滤波，获得标定板附近的激光雷达点云数据；

基于所述标定板附近的激光雷达点云数据，对所述标定板进行平面分割。

作为其中一种实施方式，所述根据所述标定板附近的激光雷达点云数据，对所述标定板进行平面分割之后，包括：

利用网格搜索算法确定所述标定板在激光雷达坐标系中的圆孔中心点坐标。

作为其中一种实施方式，所述基于每组标定数据中的相机图像和所述每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参，包括：

基于所述标定板中棋盘格和圆孔的尺寸，获取以所述棋盘格左上角为原点的世界坐标系中的棋盘格角点的坐标以及圆孔中心点坐标。

作为其中一种实施方式，所述根据所述标定板中棋盘格和圆孔的尺寸，获取以所述棋盘格左上角为原点的世界坐标系中的棋盘格角点的坐标以及圆孔中心点坐标之后，包括：

获取所述相机图像中棋盘格角点的像素坐标；

利用相机标定函数，最小化所述棋盘格角点的坐标与所述相机图像中棋盘格角点的像素坐标的差值，确定所述相机内参、所述相机畸变系数以及相机相对以所述棋盘格左上角为原点的世界坐标系的外参。

作为其中一种实施方式，所述利用相机标定函数，最小化所述棋盘格角点的坐标与所述相机图像中棋盘格角点的像素坐标的误差，确定所述相机内参、所述相机畸变系数以及相机相对以所述棋盘格左上角为原点的世界坐标系的外参之后，包括：

初始化所述相机相对激光雷达的外参；

基于所述相机相对激光雷达的外参、所述相机内参以及所述相机畸变系数，获取所述激光雷达坐标系中的圆孔中心点以及棋盘格重投影到对应相机图像中的坐标。

作为其中一种实施方式，所述基于所述相机相对激光雷达的外参、所述相机内参以及所述相机畸变系数，获取所述激光雷达坐标系中的圆孔中心点以及棋盘格重投影到对应相机图像中的坐标之后，包括：

利用相机标定函数，最小化所述以所述棋盘格左上角为原点的世界坐标系中的圆孔中心点坐标投影到对应相机图像中的坐标与所述激光雷达坐标系中的圆孔中心点坐标投影到对应相机图像中的坐标的差值，建立所述相机相对激光雷达的外参的非线性关系；

基于所述非线性关系，确定所述相机内参、所述相机畸变系数以及所述相机相对激光雷达的外参。

第二方面，本发明实施例提供了一种相机内参和相机相对激光雷达外参的联合标定装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述相机内参和相机相对激光雷达外参的联合标定方法的步骤。

第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述相机内参和相机相对激光雷达外参的联合标定方法的步骤。

本发明实施例提供的一种相机内参和相机相对激光雷达外参的联合标定方法及装置，所述方法包括：基于标定板获取多组标定数据，每组标定数据包括激光雷达点云数据和相机图像；基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标；基于每组标定数据中的相机图像和所述每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参；基于标定杆和激光测距仪获取激光雷达相对车身坐标系的外参；基于所述激光雷达相对车身坐标系的外参、所述相机内参、所述相机畸变系数以及所述相机相对激光雷达的外参，将相机坐标和激光雷达坐标统一到车身坐标系中。如此，基于标定板获取多组标定数据后，基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的标定板在激光雷达坐标系中的圆孔中心点坐标，然后基于每组标定数据中的相机图像和每组标定数据对应的标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参，再基于标定杆和激光测距仪获取激光雷达相对车身坐标系的外参，最后基于激光雷达相对车身坐标系的外参、相机内参、相机畸变系数以及相机相对激光雷达的外参，将相机坐标和激光雷达坐标统一到车身坐标系中，可以同时优化相机内参和相机相对激光雷达的外参，提高了相机内参和相机相对激光雷达的外参的整体精度，可以在没有标定室的平面上对激光雷达相对车身坐标系的外参进行标定。

附图说明

图1为本发明实施例提供的一种相机内参和相机相对激光雷达外参的联合标定方法的流程示意图；

图2为本发明实施例提供的一种相机内参和相机相对激光雷达外参的联合标定方法的标定板示例图；

图3为本发明实施例提供的一种相机内参和相机相对激光雷达外参的联合标定方法的激光雷达相对车身坐标系的外参的测量方法示意图；

图4为本发明实施例提供的一种相机内参和相机相对激光雷达外参的联合标定装置的结构示意图。

具体实施方式

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本发明不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。

应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

应该理解的是，虽然本发明实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，在本文中，采用了诸如S101、S102等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S102后执行S101等，但这些均应在本发明的保护范围之内。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，为本发明实施例提供的一种相机内参和相机相对激光雷达外参的联合标定方法，该相机内参和相机相对激光雷达外参的联合标定方法可以由本发明实施例提供的一种相机内参和相机相对激光雷达外参的联合标定装置来执行，该相机内参和相机相对激光雷达外参的联合标定装置可以采用软件和/或硬件的方式来实现，所述相机内参和相机相对激光雷达外参的联合标定方法包括以下步骤：

步骤S101：基于标定板获取多组标定数据，每组标定数据包括激光雷达点云数据和相机图像；

具体地，标定板包括用于相机标定的棋盘格以及用于激光雷达标定的圆孔。标定板的制作要满足以下几个要求：

1、板身：标定板板身足够平整，保证板身的平面度；

2、圆孔：保证圆孔圆心位置度，圆孔边缘切割要光滑，避免毛刺，保证圆度；

3、棋盘格：保证每个棋盘格的横向水平度和纵向垂直度。

在具体实施中，标定板的形状与尺寸可以如图2所示。制作好标定板之后，可以进行标定数据的采集。联合标定要采集的标定数据为标定板在激光雷达和相机中的图像。标定数据采集的过程如下：

1、将标定板在激光雷达和相机同时可以探测到的位置垂直于车身放置，启动激光雷达和相机，采集至少20帧数据；

2、将标定板水平或者垂直平移至不同的位置，每次移位后重复步骤1，将数据保存下来；

3、将标定板在同一位置的20帧激光雷达点云数据保存至一个文件夹，供后续提取该位置下标定板在激光雷达坐标系中的圆孔中心坐标，并将该位置下的相机图片保存一张至相机图片文件夹中，供后续联合标定使用。

步骤S102：基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标；

具体地，通过步骤S101中标定数据的采集，可以得到标定板在不同位置的激光雷达点云数据。获取标定数据中的激光雷达点云数据之后，需要确定每个位置中标定板圆孔中心在激光雷达坐标系中的三维坐标值。

在一实施方式中，所述基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，包括：

基于直通滤波器对所述激光雷达点云数据进行滤波，获得标定板附近的激光雷达点云数据；

基于所述标定板附近的激光雷达点云数据，对所述标定板进行平面分割。

在一实施方式中，所述根据所述标定板附近的激光雷达点云数据，对所述标定板进行平面分割之后，包括：

利用网格搜索算法确定所述标定板在激光雷达坐标系中的圆孔中心点坐标。

在具体实施中，获取标定板在激光雷达坐标系中的圆孔中心点坐标的方法如下：

输入数据：经过标定数据采集得到的标定板在同一位置的20帧激光雷达点云数据；

输出数据：该位置下标定板在激光雷达坐标系中四个圆孔中心点的坐标。

程序执行流程如下：

1、读取同一位置的20帧激光雷达点云数据，并将该20帧点云合并到同一个PCD文件(一种点云文件格式)中；

2、使用直通滤波器对该PCD文件进行滤波，得到标定板附近的点云数据，便于后续对标定板进行分割；

3、使用pcl点云库(一种处理点云数据的开源库)中的平面分割功能，对标定板进行平面分割，并提取分割后的点云平面；

4、运用网格搜索算法精确拟合圆孔四个点的位置，并将四个点的三维坐标值写入一个csv文件中；

5、将所有位置的激光点云文件逐个作为输入，将每次输出的该位置下的四个圆孔中心的三维坐标值均储存至csv文件中，最终得到的csv文件有若干行数据，每一行数据为标定板在某个位置下的四个圆孔中心在激光雷达坐标系中的坐标值。

步骤S103：基于每组标定数据中的相机图像和所述每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参；

在一实施方式中，所述基于每组标定数据中的相机图像和所述每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参，包括：

基于所述标定板中棋盘格和圆孔的尺寸，获取以所述棋盘格左上角为原点的世界坐标系中的棋盘格角点的坐标以及圆孔中心点坐标。

在一实施方式中，所述根据所述标定板中棋盘格和圆孔的尺寸，获取以所述棋盘格左上角为原点的世界坐标系中的棋盘格角点的坐标以及圆孔中心点坐标之后，包括：

获取所述相机图像中棋盘格角点的像素坐标；

利用相机标定函数，最小化所述棋盘格角点的坐标与所述相机图像中棋盘格角点的像素坐标的差值，确定所述相机内参、所述相机畸变系数以及相机相对以所述棋盘格左上角为原点的世界坐标系的外参。

在一实施方式中，所述利用相机标定函数，最小化所述棋盘格角点的坐标与所述相机图像中棋盘格角点的像素坐标的误差，确定所述相机内参、所述相机畸变系数以及相机相对以所述棋盘格左上角为原点的世界坐标系的外参之后，包括：

初始化所述相机相对激光雷达的外参；

基于所述相机相对激光雷达的外参、所述相机内参以及所述相机畸变系数，获取所述激光雷达坐标系中的圆孔中心点以及棋盘格重投影到对应相机图像中的坐标。

在一实施方式中，所述基于所述相机相对激光雷达的外参、所述相机内参以及所述相机畸变系数，获取所述激光雷达坐标系中的圆孔中心点以及棋盘格重投影到对应相机图像中的坐标之后，包括：

利用相机标定函数，最小化所述以所述棋盘格左上角为原点的世界坐标系中的圆孔中心点坐标投影到对应相机图像中的坐标与所述激光雷达坐标系中的圆孔中心点坐标投影到对应相机图像中的坐标的差值，建立所述相机相对激光雷达的外参的非线性关系；

基于所述非线性关系，确定所述相机内参、所述相机畸变系数以及所述相机相对激光雷达的外参。

在具体实施中，确定相机内参、相机畸变系数以及相机相对激光雷达的外参的方法如下：

输入数据：标定板在所有位置的相机图片的文件夹、标定板在所有位置的四个圆孔中心点在激光雷达中的坐标值的csv文件；

输出数据：相机的内参矩阵、畸变系数，相机相对激光雷达的外参矩阵。

程序执行流程如下：

1、读取文件夹中的相机图片路径和数据，读取cvs文件中的坐标值数据；

2、使用opencv(一个专门针二位图像的开源库)的角点检测方法逐个检测图片中的棋盘格角点，为了更加精确的检测出图片中棋盘格角点的像素坐标，可以在角点检测之后进行亚像素检测；

3、根据标定板中棋盘格和圆心位置的真实尺寸(如图2所示)，得到以棋盘格左上角为原点的世界坐标系中棋盘格角点的坐标值，以及标定板四个圆孔中心的坐标值；

4、使用opencv中的相机标定函数，最小化3中得到的棋盘格真实坐标重投影后的坐标值与检测到的棋盘格角点坐标值的误差来初步得到相机的内参和畸变系数、每张相机图片中相机相对于该棋盘格左上角为原点的世界坐标系的外参；

5、初始化相机相对激光雷达的外参，利用相机相对激光雷达的外参以及4中得到的相机内参和畸变系数，计算csv文件中存储的每个位置的四个圆孔中心点以及棋盘格重投影到对应相机图片中的坐标，通过最小化以棋盘格左上角角点为原点的世界坐标系中四个圆孔中心坐标投影到相机图片上的坐标值与csv文件中四个圆孔投影到相机图片上的坐标值之差，来构建非线性优化函数，最终得到优化后的相机内参、相机畸变系数以及相机相对激光雷达的外参。

步骤S104：基于标定杆和激光测距仪获取激光雷达相对车身坐标系的外参；

在具体实施中，测量激光雷达相对车身坐标系的外参(外参包括平移和旋转，其中旋转包括俯仰角、翻滚角和旋转角，此处由于激光雷达是安装在水平台面上的，故俯仰角和翻滚角为0，仅需测量旋转角即可)的方法如下：

如图3所示为俯视图，车身坐标系如图中坐标所示，其原点为车辆后轴中心点，激光雷达位于x轴方向。包含的元素为待测车辆、标定杆；需要测量的数据为a、b、c的长度；已知的数据为激光雷达安装位置相对于车身坐标系原点的距离；使用的工具为激光测距仪。

1、将待测车辆放置在水平地面上；

2、将标定杆放置在待测车辆正前方；

3、将激光测距仪放置在待测车辆两个后轮与地面的切点处；

4、平移标定杆，使得激光测距仪测得的标定杆与左右两个激光测距仪的距离a、b相等；

5、测量c的距离。

通过测得的a、b、c，利用勾股定理可以得到标定杆与车身坐标原点的距离l，因此可以得到标定杆在车身坐标系中的x、y坐标分别为(l，0)。在本实施例中假设激光雷达仅有旋转角，因此在激光雷达坐标系中，标定杆的y轴一定不等于0，通过得到激光雷达坐标系中标定杆的y值，结合标定杆与车身坐标系原点的距离l，利用反正切函数即可得到激光雷达相对于车身坐标系的旋转角，由于激光雷达相对于车身坐标系原点的距离是已知参数，可以得到激光雷达相对车身坐标系的外参。

步骤S105：基于所述激光雷达相对车身坐标系的外参、所述相机内参、所述相机畸变系数以及所述相机相对激光雷达的外参，将相机坐标和激光雷达坐标统一到车身坐标系中。

具体地，基于步骤S104中得到的激光雷达相对车身坐标系的外参，结合步骤S103中得到的相机内参、相机畸变系数以及相机相对激光雷达的外参，即可将相机坐标和激光雷达坐标统一到车身坐标系中。

综上，上述实施例提供的相机内参和相机相对激光雷达外参的联合标定方法中，基于标定板获取多组标定数据后，基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的标定板在激光雷达坐标系中的圆孔中心点坐标，然后基于每组标定数据中的相机图像和每组标定数据对应的标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参，再基于标定杆和激光测距仪获取激光雷达相对车身坐标系的外参，最后基于激光雷达相对车身坐标系的外参、相机内参、相机畸变系数以及相机相对激光雷达的外参，将相机坐标和激光雷达坐标统一到车身坐标系中，可以同时优化相机内参和相机相对激光雷达的外参，提高了相机内参和相机相对激光雷达的外参的整体精度，可以在没有标定室的平面上对激光雷达相对车身坐标系的外参进行标定。

基于前述实施例相同的发明构思，本发明实施例提供了一种相机内参和相机相对激光雷达外参的联合标定装置，如图4所示，该相机内参和相机相对激光雷达外参的联合标定装置包括：处理器110和用于存储能够在处理器110上运行的计算机程序的存储器111；其中，图4中示意的处理器110并非用于指代处理器110的个数为一个，而是仅用于指代处理器110相对其他器件的位置关系，在实际应用中，处理器110的个数可以为一个或多个；同样，图4中示意的存储器111也是同样的含义，即仅用于指代存储器111相对其他器件的位置关系，在实际应用中，存储器111的个数可以为一个或多个。所述处理器110用于运行所述计算机程序时，实现所述相机内参和相机相对激光雷达外参的联合标定方法。

该相机内参和相机相对激光雷达外参的联合标定装置还可包括：至少一个网络接口112。该相机内参和相机相对激光雷达外参的联合标定装置中的各个组件通过总线系统113耦合在一起。可理解，总线系统113用于实现这些组件之间的连接通信。总线系统113除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统113。

其中，存储器111可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器111旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器111用于存储各种类型的数据以支持该相机内参和相机相对激光雷达外参的联合标定装置的操作。这些数据的示例包括：用于在该相机内参和相机相对激光雷达外参的联合标定装置上操作的任何计算机程序，如操作系统和应用程序；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，例如媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。

基于前述实施例相同的发明构思，本实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic random access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机存储介质中存储的计算机程序被处理器运行时，实现上述所述的相机内参和相机相对激光雷达外参的联合标定方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图1所示实施例的描述，在此不再赘述。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述方法包括：

基于标定板获取多组标定数据，每组标定数据包括激光雷达点云数据和相机图像；

基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标；

基于每组标定数据中的相机图像和所述每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参；

基于标定杆和激光测距仪获取激光雷达相对车身坐标系的外参；

基于所述激光雷达相对车身坐标系的外参、所述相机内参、所述相机畸变系数以及所述相机相对激光雷达的外参，将相机坐标和激光雷达坐标统一到车身坐标系中。

2.根据权利要求1所述的相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述标定板包括用于相机标定的棋盘格以及用于激光雷达标定的圆孔。

3.根据权利要求1所述的相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述基于每组标定数据中的激光雷达点云数据，确定每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，包括：

基于直通滤波器对所述激光雷达点云数据进行滤波，获得标定板附近的激光雷达点云数据；

基于所述标定板附近的激光雷达点云数据，对所述标定板进行平面分割。

4.根据权利要求3所述的相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述根据所述标定板附近的激光雷达点云数据，对所述标定板进行平面分割之后，包括：

利用网格搜索算法确定所述标定板在激光雷达坐标系中的圆孔中心点坐标。

5.根据权利要求1所述的相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述基于每组标定数据中的相机图像和所述每组标定数据对应的所述标定板在激光雷达坐标系中的圆孔中心点坐标，确定相机内参、相机畸变系数以及相机相对激光雷达的外参，包括：

基于所述标定板中棋盘格和圆孔的尺寸，获取以所述棋盘格左上角为原点的世界坐标系中的棋盘格角点的坐标以及圆孔中心点坐标。

6.根据权利要求5所述的相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述根据所述标定板中棋盘格和圆孔的尺寸，获取以所述棋盘格左上角为原点的世界坐标系中的棋盘格角点的坐标以及圆孔中心点坐标之后，包括：

获取所述相机图像中棋盘格角点的像素坐标；

利用相机标定函数，最小化所述棋盘格角点的坐标与所述相机图像中棋盘格角点的像素坐标的差值，确定所述相机内参、所述相机畸变系数以及相机相对以所述棋盘格左上角为原点的世界坐标系的外参。

7.根据权利要求6所述的相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述利用相机标定函数，最小化所述棋盘格角点的坐标与所述相机图像中棋盘格角点的像素坐标的误差，确定所述相机内参、所述相机畸变系数以及相机相对以所述棋盘格左上角为原点的世界坐标系的外参之后，包括：

初始化所述相机相对激光雷达的外参；

基于所述相机相对激光雷达的外参、所述相机内参以及所述相机畸变系数，获取所述激光雷达坐标系中的圆孔中心点以及棋盘格重投影到对应相机图像中的坐标。

8.根据权利要求7所述的相机内参和相机相对激光雷达外参的联合标定方法，其特征在于，所述基于所述相机相对激光雷达的外参、所述相机内参以及所述相机畸变系数，获取所述激光雷达坐标系中的圆孔中心点以及棋盘格重投影到对应相机图像中的坐标之后，包括：

利用相机标定函数，最小化所述以所述棋盘格左上角为原点的世界坐标系中的圆孔中心点坐标投影到对应相机图像中的坐标与所述激光雷达坐标系中的圆孔中心点坐标投影到对应相机图像中的坐标的差值，建立所述相机相对激光雷达的外参的非线性关系；

基于所述非线性关系，确定所述相机内参、所述相机畸变系数以及所述相机相对激光雷达的外参。

9.一种相机内参和相机相对激光雷达外参的联合标定装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述相机内参和相机相对激光雷达外参的联合标定方法的步骤。

10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述相机内参和相机相对激光雷达外参的联合标定方法的步骤。

Images