CN115546314A

CN115546314A - 传感器外参校准方法和装置、设备及存储介质

Info

Publication number: CN115546314A
Application number: CN202211240332.8A
Authority: CN
Inventors: 纪大胜; 刘世林; 杜霖
Original assignee: Individual
Current assignee: Individual
Priority date: 2022-10-11
Filing date: 2022-10-11
Publication date: 2022-12-30

Abstract

本申请涉及一种传感器外参校准方法和装置，其中方法包括：获取所选取的预设个数的特征点，并提取得到各特征点在图像数据中的像素坐标和在点云数据中的点云坐标；将各特征点的点云坐标进行转换，得到各特征点在图像数据中的投影坐标；基于各特征点的像素坐标和投影坐标，计算得到外参矩阵结果。由此在进行传感器外参校准时，不需要借助其他道具，并且也不需要配置有摄像头和雷达传感器的采集设备进行现场采集，直接利用摄像头传感器和雷达传感器所采集到同一帧数据即可实现，这就使得传感器外参校准不再受限于第三方工具和采集设备的限制，可以随时随地进行校准，最终大大提高了传感器外参校准的适用性和灵活性。

Description

传感器外参校准方法和装置、设备及存储介质

技术领域

本申请涉及图像采集及处理技术领域，尤其涉及一种传感器外参校准方法和装置、设备及存储介质。

背景技术

在机器人领域，摄像头和激光雷达都是被广泛采用的传感器。摄像头输出的是图像数据，激光雷达输出的是3D点云数据。为了更好地感知世界，需要对多传感器的数据进行融合。但是，由于不同的传感器被部署在不同的位置，并且不同的传感器的朝向也尽不相同，因此在进行多传感器的数据融合时，需要知道不同传感器之间的相对位置和朝向关系。通常采用外参来表示如何将某个传感器从一个位置和朝向变换到另一个位置和朝向。在相关技术中，可以通过测量传感器的位置和角度来估计外参，但是精确的外参还需要通过校准来获得。

通常情况下，在进行外参校准时，通常需要借黑白网格棋盘，将黑白网格棋盘放置在特定区域后，由装载有摄像头和激光雷达的采集设备进行黑白网络棋盘的图像采集，进而再根据采集到的数据进行外参校准。但是，这种采用这种校准方式只能在特定场景下才能实现校准，并且还需要借助黑白网格棋盘才能实现，因此这就使得在进行传感器外参校准的局限性比较大。

发明内容

有鉴于此，本申请提出了一种传感器外参校准方法，可以不受限于黑白网格棋盘即可实现外参校准，有效解决了传统的外参校准局限性的问题。

根据本申请的一方面，提供了一种传感器外参校准方法，包括：

获取所选取的预设个数的特征点，并提取得到各所述特征点在图像数据中的像素坐标和在点云数据中的点云坐标；

将各所述特征点的点云坐标进行转换，得到各所述特征点在所述图像数据中的投影坐标；

基于各所述特征点的所述像素坐标和所述投影坐标，计算得到外参矩阵结果。

在一种可能的实现方式中，获取所选取的预设个数的特征点通过由所述图像数据中进行选取实现。

在一种可能的实现方式中，将各所述特征点的点云坐标进行转换，得到在所述图像数据中的投影坐标时，通过先外参转换后内参投影的方式进行。

在一种可能的实现方式中，基于各所述特征点的所述像素坐标和所述投影坐标，计算得到外参矩阵结果时，依据所述像素坐标与所述投影坐标之间的误差最小的条件进行计算。

在一种可能的实现方式中，所述像素坐标与所述投影坐标之间的误差由所述特征点对应的损失来表征。

在一种可能的实现方式中，基于各所述特征点的所述像素坐标和所述投影坐标，计算得到外参矩阵结果时，包括引入外参约束损失函数，结合所述外参约束损失函数进行计算。

在一种可能的实现方式中，所述外参约束损失函数为：

L_reg＝sum(absolute(R^TR-I))；

其中，

为待校准传感器相对于另一传感器的旋转方向；

为单位矩阵；absolute函数为对对矩阵中的每个元素求绝对值，sum函数为将矩阵中的每个元素相加求和。

根据本申请的另一方面，还提供了一种传感器外参校准装置，包括坐标提取模块、坐标转换模块和外参计算模块；

所述坐标提取模块，被配置为获取所选取的预设个数的特征点，并提取得到各所述特征点在图像数据中的像素坐标和在点云数据中的点云坐标；

所述坐标转换模块，被配置为将各所述特征点的点云坐标进行转换，得到各所述特征点在所述图像数据中的投影坐标；

所述外参计算模块，被配置为基于各所述特征点的所述像素坐标和所述投影坐标，计算得到外参矩阵结果。

根据本申请的另一方面，还提供了一种传感器外参校准设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。

由此，本申请实施例的传感器外参校准方法，通过在进行传感器外参校准时，不需要借助黑白网格棋盘等其他道具，并且也不需要配置有摄像头和雷达传感器的采集设备进行现场采集，直接利用摄像头传感器和雷达传感器所采集到同一帧数据即可实现，这就使得传感器外参校准不再受限于第三方工具和采集设备的限制，可以随时随地进行校准，最终大大提高了传感器外参校准的适用性和灵活性。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出本申请一实施例的传感器外参校准方法的流程图；

图2示出本申请一实施例的传感器外参校准方法中由图像数据中选取特征点的示意图；

图3示出本申请一实施例的传感器外参校准方法中所选取的特征点在点云数据中的示意图；

图4示出本申请一实施例的传感器外参校准方法中基于雷达传感器建立的坐标系示意图；

图5示出本申请一实施例的传感器外参校准方法中基于摄像头传感器建立的坐标系示意图；

图6示出本申请一实施例的传感器外参校准方法中由摄像头坐标系向二维坐标系转换时所基于的二维坐标系示意图；

图7示出本申请一实施例的传感器外参校准装置的结构框图；

图8示出本申请一实施例的传感器外参校准设备的结构框图。

具体实施方式

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

图1示出根据本申请一实施例的传感器外参校准方法的流程图。如图1所示，该方法包括：步骤S100，获取所选取的预设个数的特征点，并提取得到各特征点在图像数据中的像素坐标和在点云数据中的点云坐标。此处，需要解释说明的是，图像数据是由摄像头传感器采集得到的，点云数据则是通过雷达传感器采集得到的。特征点在图像数据中的像素坐标对应的是特征点在图像数据中的位置信息，特征点在点云数据中的点云坐标则对应的是特征点在点云数据中的位置信息。

同时，还需要解释说明的是，在进行特征点的选取时可以直接由摄像头传感器采集到的图像数据中进行选取。并且，在进行特征点的选取时直接由人工进行选择即可，不需要设置特定的算法进行特征点的检测识别。

其中，所选取的特征点指的是图像数据中具有明显特征容易识别的像素点。参见图2和图3，在一种可能的实现方式中，可以先利用图像标注工具在图像数据中标注出预设个数的容易识别的像素点作为特征点，并提取出所选取的像素点的坐标作为特征点的像素坐标。进而再利用点云标注工具在点云数据中选取对应的像素点：[(u₁，v₁)，(u₂，v₂)，(u₃，v₃)，...]，并提取出所选取到的像素点的坐标作为特征点的点云坐标：[(x₁，y₁，z₁)，(x₂，y₂，z₂)，(x₃，y₃，z₃)，...]。

另外，在本申请实施例的方法中，特征点的个数可以根据实际情况进行灵活设置。一般来说，预设个数的取值优选为大于或等于3。即，所选取的特征点的个数应当在3个以上。并且，所选取的特征点在图像数据中分别位于不同的区域。

在选取出预设个数的特征点并提取出各特征点在图像数据中的像素坐标和在点云数据中的点云坐标之后，即可执行步骤S200，将各特征点的点云坐标进行转换，得到各特征点在图像数据中的投影坐标。此处，需要解释说明的是，所得到的各特征点在图像数据中的投影坐标本质上对应为各特征点在图像数据中的像素坐标。但是其与直接由图像数据中选取出特征点并直接由图像数据中提取出的像素坐标不同的是，此处的投影坐标是基于所提取出的特征点的点云坐标进行相应的坐标转换后所得到的。

进而再通过步骤S300，基于各特征点的像素坐标和投影坐标，计算得到外参矩阵结果。此处，本领域技术人员可以理解的是，所得到的外参矩阵结果指的是用来采集图像数据的摄像头传感器相对于用来采集点云数据的雷达传感器的位置和朝向。

由此，本申请实施例的传感器外参校准方法，在进行传感器外参校准时，不需要借助黑白网格棋盘等其他道具，并且也不需要配置有摄像头和雷达传感器的采集设备进行现场采集，直接利用摄像头传感器和雷达传感器所采集到同一帧数据即可实现，这就使得传感器外参校准不再受限于第三方工具和采集设备的限制，可以随时随地进行校准，最终大大提高了传感器外参校准的适用性和灵活性。

其中，根据前面所述，由于本申请实施例的传感器外参校准方法在进行外参校准时，是直接由摄像头传感器所采集到的图像数据中选取一定数量的特征点进行的。因此，在进行特征点的选取时，对于特征点的数量和选取标准具有一定的要求。特征点的选取数量前面已经进行了说明。选取标准则对应为所选取的特征点为图像数据中容易识别的像素点，并且所选取的像素点应当分别位于图像数据的不同区域处。

此处，需要指出的是，图像数据中容易识别的像素点具体指的是在图像数据中容易确定准确坐标的像素点。即，所选取的特征点应当同时满足在图像数据中容易定位并且在点云数据中也容易定位到的像素点。

举例来说，对于图像数据中的马路边缘，如果是平滑的变化，只能准确地定位到一条线上，但是线上的具体位置是不容易确定的。因此，在进行该区域的特征点的选取时，应当选取马路边缘上的拐角，将边缘的拐角设定为特征点。

也就是说，在进行特征点的选取时，可以选取图像数据中各不同区域的边缘、轮廓的拐点，如：墙角、车轮廓的突出点等。

进一步地，在提取到各特征点在图像数据中的像素坐标以及在点云数据中的点云坐标后，即可对所提取到的各特征点的点云坐标进行转换，得到在点云数据中的特征点投影到图像数据中时的坐标信息(即，投影坐标)。

在一种可能的实现方式中，将各特征点的点云坐标进行转换得到在图像数据中的投影坐标可以采用先外参转换后内参投影的方式进行。具体的，首先采用构建的外参矩阵将特征点的点云坐标转换到摄像头坐标，然后再利用内参矩阵将特征点的摄像头坐标转换为像素坐标(即，投影坐标)。

其中，所构建的外参矩阵为

此处，本领域技术人员可以理解的是，所构建的外参矩阵中的各元素均为未知数，本申请实施例的方法即为计算得出该外参矩阵中的各元素的取值，从而实现传感器外参校准。

对应的，内参矩阵则可以根据摄像头传感器的内参进行构建。不同类型的摄像头内参不同。即，本领域技术人员可以理解的是，摄像头的内参与摄像头的类型有关。

一般来说，普通相机可以使用针孔相机模型对其建模，对应的参数为：(f_u，f_v，c_u，c_v)。对于鱼眼相机来说，则可以使用与之对应的更复杂的相机模型建模，其也具有对应的相机参数。在本申请实施例的方法中，以普通相机使用针孔相机模型建模为例进行说明。对应的，所构建的内参矩阵为：

由此，基于上述所构建的外参矩阵T，将特征点的点云坐标转换为摄像头坐标时，通过公式：P′_i＝TP_i进行转换。其中，p_i为特征点的点云坐标，p_i'为特征点的摄像头坐标。

具体的，将该公式展开为：

然后，再利用所建立的内参矩阵K将特征点的摄像头坐标转换为二维的投影坐标。转换公式如下所示：

通过上述所示方式将特征点的点云坐标转换为二维的投影坐标之后，即可基于转换得到的投影坐标与直接由图像数据中提取出来的像素坐标进行外参矩阵结果的计算。

为了更清楚地说明采用先外参转换后内参投影的方式将特征点的点云坐标转换为投影坐标，以下对其原理进行更加详细地阐述。

首先，需要说明的是，不同传感器的数据具有不同的坐标系。如：图像数据使用的是平面像素坐标，点云数据使用的是空间三维坐标。为了融合数据，需要将他们转到统一坐标系下。

因此，为了能够图像数据与点云数据的融合，需要建立以下坐标系：

坐标系1：参见图4，点云/雷达坐标系。在该坐标系中，点云中的点具有3D坐标：(x,y,z)，这是基于雷达传感器建立的坐标系。其中，原点为激光雷达设备的中心点，x轴为激光雷达的正前方，y轴为激光雷达的左方，z轴为激光雷达的上方。

坐标系2：参见图5，摄像头坐标系。在该坐标系中，以摄像头为原点建立。在这个坐标系下，也是一个3D的坐标系。其中，原点为摄像头的中心点，x轴为摄像头的右方，y轴为摄像头的下方，z轴为摄像头的前方。需要说明的是，该坐标系为一个过渡的坐标系，坐标轴的单位是米，而不是像素。

坐标系3：参见图6，图片/像素坐标系。以图片的左上角为原点建立一个2D坐标系。其中，u/x轴为从左到右，v/y轴为从上到下。

基于以上所建立的三个坐标系，在进行特征点的点云坐标向投影坐标的转换时，即为坐标系的变换过程，具体的，从坐标系1变换为坐标系2，再由坐标系2变换为坐标系3。

更加具体的，坐标系1变换为坐标系2时，是将特征点从雷达坐标系变换到摄像头坐标系，该变换为刚性变换，只涉及到旋转和平移。这个过程利用外参矩阵T来实现。

其中，外参矩阵为：

即一个3*4矩阵，形式如下：

其中，点云数据中的特征点的点云坐标为：p＝(x，y，z)，转换到摄像头坐标系后的点为：p′＝(x′，y′，z′)。其转换过程可以表示为(矩阵乘法)：

此处，需要说明的是，所构建的外参矩阵中，

为待校准传感器相对于另一传感器的旋转方位矩阵，

为待校准传感器相对于另一传感器的平移矩阵，将旋转方位矩阵和平移矩阵进行合并即可外参矩阵。

在将特征点的点云坐标通过上述方式转换到摄像头坐标之后，即可进行摄像头坐标到投影坐标的转换，即，坐标系2到坐标系3的转换。也就是说，将摄像头坐标系上的点p′＝(x′，y′，z′)转换为像素坐标系上的点p″＝(u，v)，该过程是一个透视投影变换，涉及到降维，具体的，通过内参矩阵K来实现。

更加具体的，内参矩阵可以采用一个3*3矩阵来构建，即，

具体形式如下：

基于上述构建的内参矩阵，由坐标系2转换到坐标系3的转换过程可以表示为：

更进一步地，基于转换得到的特征点的投影坐标和直接由图像数据中提取出来的特征点的像素坐标进行外参矩阵结果的计算时，可以通过预设的约束条件进行计算。在一种可能的实现方式中，可以依据像素坐标与投影坐标之间的误差最小的条件进行计算。

这是由于投影坐标是通过将点云坐标经过先外参转换后内参投影的方式得到的在图像数据上的对应像素点的位置信息，如果内参、外参和对特征点的标注均是准确的，则投影坐标应当会与像素坐标重合。但是由于各种误差，实际操作中投影坐标与像素坐标并不是重合的，因而在基于投影坐标和像素坐标进行外参矩阵的计算时就需要保证二者之间的误差最小。同时，由于实际执行过程中所存在的各种误差，像素坐标与投影坐标并不是重合的，因此需要采用优化方法进行外参矩阵结果的求解。

在一种可能的实现方式中，依据像素坐标与投影坐标之间的误差最小的条件进行外参矩阵结果的计算时可以采用梯度下降法。

具体的，采用梯度下降法进行计算时，像素坐标与投影坐标之间的误差可以采用特征点对应的损失来表征。其中，特征点对应的损失函数可以为：

此处，需要解释说明的是，N为所采集到的特征点的数目。

此外，在一种可能的实现方式中，基于各特征点的像素坐标和投影坐标计算得到外参矩阵结果时，还可以通过引入外参约束损失函数，结合外参约束损失函数进行计算。

具体的，外参约束损失函数为：L_reg＝sum(absolute(R^TR-I))。其中，外参矩阵中的旋转矩阵为一个单位正交矩阵，即，

absolute函数为对对矩阵中的每个元素求绝对值，sum函数为将矩阵中的每个元素相加求和。

更加具体的，在结合外参约束损失函数，基于像素坐标和投影坐标进行外参矩阵结果的计算时，对于像素坐标与投影坐标之间的误差可以为：L＝L_points+λL_reg。此处，需要说明的是，λ为一个浮点数，用于调整两个损失函数(即，L_points和L_reg)的权重，其取值可以根据实际情况进行设置。在一种可能的实现方式中，λ的取值为正数，如：其取值范围可以为10—10000，优选为1000。

由此，通过利用深度学习框架(如：PyTorch)来实现上述外参矩阵的求解过程。其中，在利用深度学习框架来构建上述外参矩阵求解模型进行外参矩阵结果的求解时，对于总损失L应当为最小。

综上所述，本申请实施例的传感器外参校准方法，通过直接由图像数据中选取预设个数的特征点，进而再通过所选取的特征点的像素坐标和点云坐标进行外参矩阵结果的计算，实现了传感器外参校准不需要再借助于黑白网格棋盘即可实现。并且，在进行特征点的选取时，也是通过设定好的选取标准后由人工进行特征点标注来进行选取，这就使得本申请实施例的传感器外参校准方法实现了半自动校准。即，将人工与自动相结合，有效保证了最终校准结果的准确度。

需要说明的是，尽管以图1至图6作为示例介绍了如上所述的传感器外参校准方法，但本领域技术人员能够理解，本申请应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤的具体实现方式，只要能够实现直接由传感器采集到的数据进行校准，不需要借助黑白网格棋盘即可。

相应的，基于前面任一所述的传感器外参校准方法，本申请还提供了一种传感器外参校准装置。由于本申请提供的传感器外参校准装置的工作原理与本申请的传感器外参校准方法的原理相同或相似，因此重复之处不再赘述。

参见图7，本申请提供的传感器外参校准装置100，包括：坐标提取模块110、坐标转换模块120和外参计算模块130。其中，坐标提取模块110，被配置为获取所选取的预设个数的特征点，并提取得到各特征点在图像数据中的像素坐标和在点云数据中的点云坐标。坐标转换模块120，被配置为将各特征点的点云坐标进行转换，得到各特征点在图像数据中的投影坐标。外参计算模块130，被配置为基于各特征点的像素坐标和投影坐标，计算得到外参矩阵结果。

更进一步地，根据本申请的另一方面，还提供了一种传感器外参校准设备200。参阅图8，本申请实施例的传感器外参校准设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的传感器外参校准方法。

此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的传感器外参校准设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的传感器外参校准方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行传感器外参校准设备200的各种功能应用及数据处理。

输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的传感器外参校准方法。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims

1.一种传感器外参校准方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取所选取的预设个数的特征点通过由所述图像数据中进行选取实现。

3.根据权利要求1所述的方法，其特征在于，将各所述特征点的点云坐标进行转换，得到在所述图像数据中的投影坐标时，通过先外参转换后内参投影的方式进行。

4.根据权利要求1至3任一项所述的方法，其特征在于，基于各所述特征点的所述像素坐标和所述投影坐标，计算得到外参矩阵结果时，依据所述像素坐标与所述投影坐标之间的误差最小的条件进行计算。

5.根据权利要求4所述的方法，其特征在于，所述像素坐标与所述投影坐标之间的误差由所述特征点对应的损失来表征。

6.根据权利要求1至3任一项所述的方法，其特征在于，基于各所述特征点的所述像素坐标和所述投影坐标，计算得到外参矩阵结果时，包括引入外参约束损失函数，结合所述外参约束损失函数进行计算。

7.根据权利要求6所述的方法，其特征在于，所述外参约束损失函数为：

L_reg＝sum(absolute(R^TR-I))；

其中，

为待校准传感器相对于另一传感器的旋转方向；

为单位矩阵；absolute函数为对矩阵中的每个元素求绝对值，sum函数为将矩阵中的每个元素相加求和。

8.一种传感器外参校准装置，其特征在于，包括坐标提取模块、坐标转换模块和外参计算模块；

9.一种传感器外参校准设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至7中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。