CN111754578B - 用于激光雷达和相机的联合标定方法及其系统和电子设备 - Google Patents

Abstract

一种用于激光雷达和相机的联合标定方法及其系统和电子设备。该联合标定方法包括步骤：在标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集标定场景数据，获取点云数据和图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；提取所述点云数据中与该标板上的每该标板角点对应的点云角点，以获得每该标板角点的三维坐标；提取所述图像数据中与该标板上的每该标板角点对应的图像角点，以获得每该标板角点的二维坐标；以及基于通过每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参。

Description

用于激光雷达和相机的联合标定方法及其系统和电子设备

技术领域

本发明涉及多传感器融合技术领域，更具体地涉及一种用于激光雷达和相机的联合标定方法及其系统和电子设备。

背景技术

近年来，随着AI(即人工智能)技术的飞速发展和传感器技术水平的进步，诸如自动驾驶、环境感知等方向的技术已经成为众多学者和公司的研究热点，而这些技术实现的前提则是需要充分地感知周围环境。以自动驾驶为例，移动平台集成了激光雷达、相机、毫米波雷达、超声波雷达、IMU和GPS等多种传感器，使得多传感器的融合成为其核心技术之一。例如，激光雷达虽然能探测并输出周围环境的三维点云信息，探测范围大，且抗干扰能力强，但其获得的点云稀疏；相机虽然能够感知丰富的环境信息，信息密集，但其容易受到光照等因素的干扰，且没有深度信息。换句话说，激光雷达和相机各有所长，这使得两者的融合将对增强移动平台对周围环境的感知能力具有重要意义。然而，激光雷达和相机之间的相对位置关系的准确程度又直接影响着两者信息融合的效果，因此对激光雷达和相机之间的外参进行准确标定，是正确感知周围环境的基础。

目前，激光雷达和相机的联合标定方法存在很多，大概可以分为基于标定物对应角点的PnP(Pespective-n-Point)方法和自适应迭代方法。但现有的标定方法主要侧重于提高标定精度，而很少关注标定过程的效率和速度。虽然在测试验证和算法开发过程中，标定精度的重要性可能会高于标定效率，但是在规模化量产中，在保证标定精度的前提下，在合理的标定场景中实现较高的标定效率就显得极为重要。

发明内容

本发明的一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其能够提高对激光雷达和相机的联合标定的效率，有助于满足规模化量产的需求。

本发明的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统电子设备，其能够在较高的标定精度的前提下，具备较高的标定效率，有助于缩短标定时间、降低标定成本。

本发明的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本发明的一实施例中，所述联合标定方法不仅能够准确提取激光雷达的点云数据中点云角点，而且能够将提取的点云角点和标板的标板角点一一对应，有助于提高标定效率。

本发明的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本发明的一实施例中，所述联合标定方法系统在无需人工参与的情况下，自动化提取激光雷达的点云数据中的点云角点，进而提高标定效率。

本发明的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本发明的一实施例中，所述联合标定方法能够采用模板匹配法来提取图像中标板的标板角点，鲁棒性高，无错误或冗余角点。

本发明的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本发明的一实施例中，所述联合标定系统能够自动化地提取图像中的图像角点，并将提取的图像角点和标板的标板角点一一对应，有助于提高标板角点提取的可靠性和计算效率。

本发明的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本发明的一实施例中，所述联合标定方法在标定过程中无需转换视角或者改变标板位置，有利于提高数据采集效率，进而提高标定效率。

本发明的另一目的在于提供一种用于激光雷达和相机的联合标定方法及其系统和电子设备，其中，在本发明的一实施例中，所述联合标定方法将多个标板有纵深无遮挡地分布在标定场景中，有利于保证标定结果的有效性和可靠性。

为了实现上述至少一发明目的或其他目的和优点，本发明提供了一种用于激光雷达和相机的联合标定方法，包括步骤：

在至少一标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集一标定场景数据，获取一点云数据和一图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；

提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标；

提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标；以及

基于通过该至少一标板上每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参。

在本发明的一些实施例中，所述提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标的步骤，包括步骤：

通过一平面提取算法，从所述点云数据中提取与该至少一标板对应的标板点云数据；

筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据；

通过一直线提取算法，从所述边缘点云数据中提取与该至少一标板上的每该直线边缘对应的直线点云数据，以拟合出相应的直线数据；

对所有的所述直线数据进行排序，以使所述直线数据与该至少一标板上的该直线边缘一一对应；以及

求解出与每该标板上任意相邻的两个该直线边缘对应的所述直线数据之间的交点，以获得与每该标板角点对应的所述点云角点，从而得到每该标板角点的所述三维坐标。

在本发明的一些实施例中，所述筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据的步骤，包括步骤：

基于该激光雷达发射的激光线束的线束编码，对所述标板点云数据中的点数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一个线束编码；

求取每组所述线束点云数据中任一点数据与相邻的两个点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及

分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值之间的大小，如果所述较大距离大于所述分隔阈值、且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据。

在本发明的一些实施例中，所述分隔阈值根据该激光雷达的参数和该至少一标板的摆放位置进行确定。

在本发明的一些实施例中，所述提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的三维坐标的步骤，包括步骤：

基于一模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；

基于一最大值抑制法，分析所述相似度图像的匹配度和对应位置，以获得与匹配度最大的相似度图像对应的图像角点；以及

根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与该至少一标板上的该标板角点一一对应，从而得到每该标板角点的所述二维坐标。

在本发明的一些实施例中，该标板为多边形标板，并且该标板上每个该直线边缘能够被通过该激光雷达发射的至少二激光线束扫描到。

在本发明的一些实施例中，该至少一标板包括多个该多边形标板，并且多个该多边形标板被无遮挡地且有纵深地分布于该激光雷达和该相机的该公共视场内。

根据本发明的另一方面，本发明还提供了一种用于激光雷达和相机的联合标定系统，包括：

一数据获取模块，用于在至少一标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集一标定场景数据，获取一点云数据和一图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；

一点云角点提取模块，用于提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标；

一图像角点提取模块，用于提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标；以及

一求解模块，用于基于通过该至少一标板上每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参。

在本发明的一些实施例中，所述点云角点提取模块依次可通信地连接的一平面提取模块、一点云筛选模块、一直线提取模块、一直线排序模块以及一交点求解模块，其中所述平面提取模块用于通过一平面提取算法，从所述点云数据中提取与该至少一标板对应的标板点云数据；其中所述点云筛选模块用于筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据；其中所述直线提取模块用于通过一直线提取算法，从所述边缘点云数据中提取与该至少一标板上的每该直线边缘对应的直线点云数据，以拟合出相应的直线数据；其中所述直线排序模块用于对所有的所述直线数据进行排序，以使所述直线数据与该至少一标板上的该直线边缘一一对应；其中所述交点求解模块用于求解出与每该标板上任意相邻的两个该直线边缘对应的所述直线数据之间的交点，以获得与每该标板角点对应的所述点云角点，从而得到每该标板角点的所述三维坐标。

在本发明的一些实施例中，所述点云筛选模块还用于基于该激光雷达发射的激光线束的线束编码，对所述标板点云数据中的点数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一个线束编码；求取每组所述线束点云数据中任一点数据与相邻的两个点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值之间的大小，如果所述较大距离大于所述分隔阈值、且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据。

在本发明的一些实施例中，所述图像角点提取模块包括依次可通信地连接的一模板匹配模块、一最大值抑制模块以及一角点排序模块，其中所述模板匹配模块用于基于一模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；其中所述最大值抑制模块用于基于一最大值抑制法，分析所述相似度图像的匹配度和对应位置，以获得与匹配度最大的相似度图像对应的图像角点；其中所述角点排序模块用于根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与该至少一标板上的该标板角点一一对应，从而得到每该标板角点的所述二维坐标。

在本发明的一些实施例中，该至少一标板包括多个该多边形标板，并且多个该多边形标板被无遮挡地且有纵深地分布于该激光雷达和该相机的该公共视场内。

根据本发明的另一方面，本发明还提供了一种电子设备，包括：

一处理器；以及

一存储器，在所述存储器中存储有计算程序指令，所述计算程序指令在被所述处理器运行时使得所述处理器执行上述任一所述的联合标定方法。

根据本发明的另一方面，本发明还提供了一种计算可读存储介质，所述计算可读存储介质上存储有计算程序指令，当所述计算程序指令被计算装置执行时，可操作来执行上述任一所述的联合标定方法。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一实施例的一种用于激光雷达和相机的联合标定方法的流程示意图。

图2示出了根据本发明的上述实施例的所述联合标定方法中提取点云数据步骤的一个示例。

图3示出了根据本发明的上述实施例的所述联合标定方法中所述提取点云数据步骤的筛选步骤的一个示例。

图4示出了根据本发明的上述实施例的所述联合标定方法中提取图像数据步骤的一个示例。

图5示出了根据本发明的上述实施例的所述联合标定方法的标定场景的示意图。

图6A至图6D分别示出了根据本发明的上述实施例的所述联合标定方法中所采用的匹配模块的示意图。

图7示出了根据本发明的一实施例的一种用于激光雷达和相机的联合标定方法的过程示意图。

图8是根据本发明的一实施例的一种用于激光雷达和相机的联合标定系统的框图示意图。

图9示出了根据本发明的一实施例的一电子设备的框图示意。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。

在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连结。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

随着传感器技术水平的进步和人工智能技术的发展需求，多传感器的融合技术已经成为当下研究的热点。例如，激光雷达和相机因各有所长而常被融合使用，以便增强对周围环境的感知能力。而由于激光雷达和相机之间的相对位置关系的准确程度直接影响着两者信息融合的效果，因此对激光雷达和相机之间外参的准确标定，是正确感知周围环境的基础。

然而，激光雷达和相机的联合标定方法虽然存在很多，但其主要侧重于提高标定精度，反而很少关注标定效率，这导致现有的联合标定方法的标定效率较差。虽然在测试验证和算法开发过程中，现有的联合标定方法因标定效率较差而造成的负面影响显得无关轻重，但在规模化量产中，在合理的标定场景中实现较高的标定效率就显得极为重要。因此本发明从提高激光雷达和相机之间外参的标定效率的角度出发，提出了一种用于激光雷达和相机的联合标定方法及其系统，在保证标定精度的情况下，显著地提高了标定效率，有助于满足规模化量产的需求。

示意性方法

参考附图1至图5所示，根据本发明的一实施例的一种用于激光雷达和相机的联合标定方法被阐明。具体地，如图1所示，所述激光雷达和相机的联合标定方法包括步骤：

S100：在至少一标板位于激光雷达和相机的公共视场内时，通过激光雷达和相机分别采集标定场景数据，获取点云数据和图像数据，其中每所述标板具有至少三直线边缘和至少三标板角点，其中任意相邻的两所述直线边缘相交于相应的所述标板角点；

S200：提取所述点云数据中与所述至少一标板上的每所述标板角点对应的点云角点，以获得所述标板角点的三维坐标；

S300：提取所述图像数据中与所述至少一标板上的每所述标板角点对应的图像角点，以获得所述标板角点的二维坐标；以及

S400：基于通过所述标板角点的所述三维坐标与所述二维坐标组成的点对数据，通过PnP方法求解，以获得所述激光雷达和所述相机之间的外参。

值得注意的是，尽管附图1和上述描述将所述步骤S200放在了所述步骤S300之前，但其仅为举例，不限制于先提取点云角点，再提取图像角点。在本发明的其他示例中，所述步骤S300也可以放在所述步骤S200之前，当然所述步骤S300也可以与所述步骤S200同步执行。

此外，正是由于每所述标板上任意相邻的两所述直线边缘相交于相应的所述标板角点，因此只需筛选出通过所述激光雷达获得所述点云数据中在所述标板的所述直线边缘处的边缘点云数据，就可以通过对所述边缘点云数据进行直线拟合，进而得到直线交点(即与所述标板角点对应的点云角点)，以获得所述标板的所述标板角点的三维坐标。

特别地，在本发明中，所述标板可以但不限于被实施为一正方形标板，以使所述标板具有四条所述直线边缘和四个所述标板角点。当然，本发明的其他示例中，所述标板也可以被实施为诸如三角形标板、星形标板等等任意类型的多边形标板，本发明对此不再赘述。可以理解的是，所述标板可以但不限于由诸如PVC、塑料等等能够发生漫反射的材料制成，以确保所述激光雷达和所述相机能够同时采集标板数据。

而为了拟合出与所述标板的所述直线边缘相对应的直线，以得到直线角点，那么与所述标板的每所述直线边缘相应的边缘点云的数量必须在两个或两个以上。因此，在本发明的所述联合标定方法中，所述标板的每所述直线边缘能够被通过所述激光雷达发射的至少二激光线束扫描到，以确保所述点云数据中与每所述直线边缘相对应的点的数量不少于两个。

可以理解的是，本发明的所述激光雷达可以但不限于被实施为诸如机械旋转式激光雷达和固态激光雷达等等之类的多线激光雷达。具体来说，以机械旋转式激光雷达为例，由于所述激光雷达在采集数据时会绕着一旋转轴线旋转，相应地所述激光雷达所发射的激光线束也将绕着所述旋转轴线旋转，因此所述标板的每所述直线边缘不能垂直于所述旋转轴线，并且所述激光雷达所发射的激光光束尽可能平行于标板的法线，以便确保每所述直线边缘能够被通过所述激光雷达发射的至少二激光线束扫描到。当然，对于固态激光雷达而言，则需要保证所述固态激光雷达的线束方向与所述标板的平面法线方向尽可能平行，并且所述标板的每个直线边缘与所述固态激光雷达的视场边缘方向的夹角尽可能大，以便确保每所述直线边缘能够被通过所述固态激光雷达发射的至少二激光线束扫描到。

示例性地，如图5所示，当所述激光雷达1的旋转轴线垂直于水平面时，所述标板3被放置于所述激光雷达1和所述相机2的公共视场内，其中所述标板3的每条直线边缘均不能垂直于所述旋转轴线，并且所述标板3的平面法线尽可能平行于所述激光雷达1的线束方向，即所述标板3的每条直线边缘均不能平行于水平面，且所述标板3的平面尽可能垂直于水平面。例如，以正方形标板为例，所述正方形标板可以呈菱形放置，以使所述正方形标板的四条直角边缘与水平面均呈45°夹角。

此外，特别地，当所述标板的数量超过一个时，多个所述标板被无遮挡地布置于所述激光雷达和所述相机的公共视场内，以保证所述激光雷达和所述相机能够同时检测到所有的所述标板上直线边缘，便于提取所有的标板角点。

优选地，如图5所示，多个所述标板被无遮挡地且有纵深地分布于所述激光雷达和所述相机的公共视场内，以便通过一次数据采集就能够获得所需的全部数据，也就是说，在整个标定过程中，无需转换所述相机的视角或者改变标板的位置，有助于提高数据的采集效率，也便于实现全自动化的标定过程。此外，所述标板被无遮挡地且有纵深地分布于公共视场内，还有利于保证标定结果的有效性和可靠性。

根据本发明的上述实施例，所述联合标定方法在完成获得所述点云数据和所述图像数据之后，将分别提取所述点云数据和所述图像数据中与所述标板角点相应的点云角点和图像角点。

具体地，如图2所示，所述联合标定方法的所述步骤S200包括步骤：

S210：通过平面提取算法，从所述点云数据中提取与所述至少一标板对应的标板点云数据；

S220：筛选所述标板点云数据，以获得与所述至少一标板上所有的所述直线边缘对应的边缘点云数据；

S230：通过直线提取算法，从所述边缘点云数据中提取与所述至少一标板上的每所述直线边缘对应的直线点云数据，以拟合出相应的直线数据；

S240：对所有的所述直线数据进行排序，以使所述直线数据与所述至少一标板上的所述直线边缘一一对应；以及

S250：求解出与每所述标板上任意相邻的两所述直线边缘对应的所述直线数据之间的交点，以获得与每所述标板角点对应的所述点云角点，从而得到每所述标板角点的三维坐标。

值得注意的是，由于通过所述激光雷达采集标定场景数据而获得的所述点云数据中通常会存在噪声，因此在通过所述平面提取算法提取所述标板点云数据之前，需要先对所述点云数据进行降噪处理。换句话说，在所述步骤S210之前，所述联合标定方法的所述步骤S200还可以包括步骤：

通过滤波器，所述点云数据进行滤波处理，以减少所述点云数据中无用信息的影响。这是因为所述激光雷达的视场角较大，会进行空间扫描，而算法感兴趣的区域只是标板对应的点云，所以通过滤波算法将与标板无关的场景的点云滤除掉，获得主要包含标板平面的点云。

可以理解的是，本发明所采用的所述滤波器可以采用任何现有的滤波器，只要能够实现去除所述点云数据中噪声的目的即可，本发明对此不再赘述。相应地，所述平面提取算法也可以被实施为任意现有的平面提取算法，只要能够从所述点云数据中提取出所述标板点云数据即可。

在本发明的这个实施例中，通过所述平面提取算法提取出的所述标板点云数据包括所有的所述标板上的点云数据，而与所述标板的所述标板角点对应的角点点云是通过所述标板上相邻的所述直线边缘之间的交点来获得，因此需要确定出与每所述直线边缘对应的边缘点云，以获得与每所述直线边缘对应的边缘点云数据。

示例性地，如图3所示，本发明的所述联合标定方法的所述步骤S220，包括步骤：

S221：基于所述激光雷达发射的激光线束的线束编码，对所述标板点云数据中的点数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一线束编码；

S222：求取每组所述线束点云数据中任一点数据与相邻的两个点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及

S223：分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值之间的大小，如果所述较大距离大于所述分隔阈值，且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据。

值得一提的是，本发明的所述分隔阈值根据所述激光雷达的参数和所述标板的摆放位置进行确定。假设多个标板的空间分布差异主要存在于深度和水平方向，则针对机械旋转式激光雷达而言，所述分隔阈值可以但不限于根据一阈值计算模型进行计算而得到，其中所述阈值计算模型为：

Threshold＝k*d*tan(2π/num)

其中：Threshold为所述分割阈值；k为比例系数，一般可取2～3；num为所述激光雷达的每一激光线束扫描一周的点数；d为所述激光雷达到所述标板的平均距离。

而对于固态激光雷达而言，所述分隔阈值可以但不限于根据一阈值计算模型进行计算而得到，其中所述阈值计算模型为：

Threshold＝k*d*tan(θ/num)

其中：Threshold为所述分割阈值；k为比例系数，一般可取2～3；θ为固态激光雷达的水平扫描角；num为所述激光雷达的每一激光线束水平扫描的点数；d为所述激光雷达到所述标板的平均距离。

值得注意的是，正是由于所述分隔阈值大于在同一个所述标板上任意相邻的两点之间的距离，且所述分隔阈值小于在不同的所述标板上任意的两点之间的距离，因此根据“分隔阈值大于较大距离，且小于较小距离”的筛选原则就可以将与所述标板的内部对应的点云数据去除，而仅保留与所述标板的边缘对应的点云数据，从而筛选出与所述至少一标板的所述直线边缘对应的所述边缘点云数据。可以理解的是，在本发明的其他示例中，所述分隔阈值还可以通过其他计算方式来获得，只需能够实现本发明的筛选目的即可。

在本发明的上述实施例中，当筛选出所述边缘点云数据之后，就需要通过直线提取算法，从所述边缘点云数据中提取与每所述直线边缘对应的一组直线点云数据，以拟合出多个直线数据。可以理解的是，本发明所使用的所述直线提取算法可以被实施为任意现有的用于提取直线的算法，本发明对此不再赘述。

此外，由于通过所述直线提取算法将提取出与所述至少一标板的所述直线边缘的数量相同的所述直线数据，且多个所述直线数据之间没有次序，导致无法确定所述直线数据与所述标板的所述直线边缘之间的对应关系，相应地也无法确定哪两个所述直线数据是相邻的，从而造成无法通过对相邻的两所述直线数据求交点的方法来获得的每所述标板角点的三维坐标。因此，为了后续的标定过程顺利进行，本发明的所述联合标定方法需要先对所有的所述直线数据进行排序，以使每所述直线数据与所述至少一标板的每所述直线边缘一一对应；再对与每所述标板上任意相邻的两所述直线边缘对应的所述直线数据求交点，以获得所述至少一标板上每所述标板角点的三维坐标。

示例性地，在本发明的上述实施例的所述联合标定方法的所述步骤S240中：根据每组所述直线点云数据的质心坐标，对所有的所述直线数据进行排序，以使每所述直线数据与所述至少一标板的每所述直线边缘一一对应。当然，在本发明其他示例中，也可以先根据每组所述直线点云数据的质心坐标中的横向坐标对所述至少一标板进行排序，再根据每组所述直线点云数据的质心坐标中的纵向坐标对每所述标板中所有的所述直线边缘进行排序，以使每所述直线数据与所述至少一标板的每所述直线边缘一一对应，从而可以通过计算相邻的两所述直线数据之间的交点，来获得每所述标板角点的三维坐标。

根据本发明的上述实施例，本发明的所述联合标定方法可以采用模板匹配法来提取所述图像数据中分别与所述至少一标板上的所述标板角点对应的图像角点。而由于存在多于一个标板，使得一个标板的标板角点附近的相似度图像的匹配度大于另一个标板的标板角点处的相似度图像的匹配度，这就导致无法仅根据所有的相似度图像的匹配度由大到小来排序的方式获得所有的图像角点，因此本发明的所述联合标定方法还需要结合最大值抑制方法来排除所述标板角点附近的具有较大匹配度的相似度图像的干扰。

具体地，如图4所示，所述联合标定方法的所述步骤S300，包括步骤：

S310：基于模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；

S320：基于最大值抑制法，分析所述相似度图像的匹配度和对应位置，以获得与匹配度最大的相似度图像对应的图像角点；以及

S330：根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与所述标板角点一一对应，从而获得每所述标板角点的二维坐标。

值得注意的是，在所述步骤S310中，所述模板匹配法所使用的匹配模板根据所述标板的形状、颜色以及姿态来确定。示例性地，当所述标板被实施为白色的正方形标板，且所述标板呈菱形放置时，所述模板匹配法所使用的匹配模板如图6A、图6B、图6C以及图6D所示，通过每个匹配模块可以获得与每所述标板的某一标板角点对应的图像角点。可以理解的是，当所述标板的颜色、形状、以及姿态中任一因素发生改变时，所述模板匹配法所使用的匹配模板也需随之发生改变，本发明对此不再赘述。

此外，本发明的所述模板匹配法可以但不限于被实施为诸如平方差匹配法、归一化平方差匹配法、相关匹配法、归一化相关匹配法、相关系数匹配法以及归一化相关系数匹配法等等之类的匹配法，本发明对此不做进一步限制。

根据本发明的上述实施例，在通过所述模板匹配法获得多个相似度图像之后，还需要结合最大值抑制法，才能获得匹配度最大的图像角点位置。示例性地，首先，分析通过某一匹配模块(例如，如图6A所示匹配模块)进行模板匹配获得的所有相似度图像的匹配度，从所有的相似度图像中挑选出匹配度最大的相似度图像，并将与该匹配度最大的相似度图像对应的点作为图像角点；接着，根据最大值抑制原理，将该图像角点附近的点所对应的相似度图像去除之后，再从剩余的相似度图像中挑选出另一匹配度最大的相似度图像，也将与该另一匹配度最大的相似度图像对应的点作为另一图像角点；如此循环操作，直至获得所有的图像角点。

值得一提的是，在本发明的所述联合标定方法的所述步骤S330中：可以根据所有的所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使每所述图像角点与所述至少一标板的每所述标板角点一一对应，从而获得每所述标板角点的二维坐标。当然，在本发明其他示例中，也可以先根据每所述图像角点的二维坐标中的横向坐标对所述至少一标板进行排序，再根据每所述图像角点的二维坐标中的纵向坐标对每所述标板中所有的所述标板角点进行排序，以使每所述图像角点与所述至少一标板的每所述标板角点一一对应，从而获得每所述标板角点的二维坐标。

值得注意的是，在完成本发明的所述联合标定方法的所述步骤S100、所述步骤S200以及所述步骤S300之后，得到每所述标板的每所述标板角点的三维坐标和二维坐标，这样通过每所述标板角点的三维坐标和二维坐标之间的组合就能够获得一组点对数据。接下来，就可以通过PnP方法求解，以获得所述激光雷达和所述相机之间的变换关系(即外参)。可以理解的是，本发明所使用的PnP方法可以被实施为诸如P3P等等之类的现有算法，本发明在此不再赘述。

综上所述，本发明的所述联合标定方法基于PnP方法，主要对激光雷达的点云数据中标板角点和相机的图像数据中标板角点的提取过程进行自动化优化，实现了较高的标定效率，具有较高的标定精度，结果亦可以作为自适应迭代方法的初值。

示例性地，如图7所示，根据本发明的一实施例的一种用于激光雷达和相机的联合标定方法的流程图被阐明，其主要流程为：首先布置标板并采集数据；接着提取标板的平面点云数据；之后提取标板的边缘点云数据；再提取直线数据；在点筛选滤除后，判断直线数是否小于4n；如果是，则返回执行提取直线的步骤，如果否，则进行直线点云排序；进而计算直线交点，获得点云角点；接下来进行角点模板和图像卷积；然后通过极大值抑制，获得图像角点；判断图像角点数是否小于4n；如果是，则返回执行角点模块和图像卷积的步骤，如果否，则进行图像角点排序；接着就能够获得激光雷达和相机之间对应的点对；最后通过PnP计算出激光雷达和相机之间变换关系。可以理解的是，在本发明的这个实施例中，所述联合标定方法所采用的标板的数量为n，每所述标板均被实施为四边形标板。

示意性系统

根据本发明的另一方面，本发明进一步提供了一种用于激光雷达和相机的联合标定系统。具体地，如图8所示，所述联合标定系统10包括相互可通信地连接的一数据获取模块11、一点云角点提取模块12、一图像角点提取模块13以及一求解模块14。所述数据获取模块11用于在至少一标板位于激光雷达和相机的公共视场内时，通过激光雷达和相机分别采集标定场景数据，获取点云数据和图像数据，其中每所述标板具有至少三直线边缘和至少三标板角点，其中任意相邻的两所述直线边缘相交于相应的所述标板角点。所述点云角点提取模块12用于提取所述点云数据中分别与所述至少一标板上的每所述标板角点对应的点云角点，以获得所述标板角点的三维坐标。所述图像角点提取模块13用于提取所述图像数据中分别与所述至少一标板上的每所述标板角点对应的图像角点，以获得所述标板角点的二维坐标。所述求解模块14用于基于所述标板角点的所述三维坐标与所述标板角点的所述二维坐标所组成的点对数据，通过PnP方法的求解，以获得所述激光雷达和所述相机之间的外参。

值得注意的是，在本发明的一示例中，所述标板被无遮挡地且有纵深地分布于所述激光雷达和所述相机的公共视场内。

值得一提的是，在本发明的上述实施例中，如图8所示，所述点云角点提取模块12可以包括依次可通信地连接的一平面提取模块121、一点云筛选模块122、一直线提取模块123、一直线排序模块124以及一交点求解模块125，其中所述平面提取模块121用于通过平面提取算法，从所述点云数据中提取与所述至少一标板对应的标板点云数据；所述点云筛选模块122用于筛选所述标板点云数据，以获得与所述至少一标板的所述直线边缘对应的边缘点云数据；所述直线提取模块123用于通过直线提取算法，从所述边缘点云数据中提取与每所述直线边缘对应的直线点云数据，以拟合出直线数据；所述直线排序模块124用于对所有的所述直线数据进行排序，以使每所述直线数据与所述至少一标板的每所述直线边缘一一对应；以及所述交点求解模块125用于对与每所述标板上任意相邻的两所述直线边缘对应的所述直线数据求交点，以求出与每所述标板角点对应的所述点云角点，从而获得每所述标板角点的三维坐标。

进一步地，所述点云筛选模块122还用于：基于所述激光雷达发射的激光线束的线束编码，对所述标板点云数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一线束编码；求取每组所述线束点云数据中任一点数据与相邻的点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值的大小，如果所述较大距离大于所述分隔阈值，且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据，从而筛选出与所述至少一标板的所述直线边缘对应的所述边缘点云数据。

此外，在本发明的上述实施例中，如图8所示，所述图像角点提取模块13可以包括依次可通信地连接的一模板匹配模块131、一最大值抑制模块132以及一角点排序模块133，其中所述模板匹配模块131用于基于模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；所述最大值抑制模块132用于基于最大值抑制法，分析所述相似度图像的匹配度和对应位置，获得与匹配度最大的相似度图像对应的图像角点；以及所述角点排序模块133用于根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与所述标板角点一一对应，从而获得每所述标板角点的二维坐标。

在本发明的一个示例中，该至少一标板包括多个该多边形标板，并且多个该多边形标板被无遮挡地且有纵深地分布于该激光雷达和该相机的该公共视场内。

示意性电子设备

下面，参考图9来描述根据本发明实施例的电子设备(图9示出了根据本发明实施例的电子设备的框图)。如图9所示，电子设备20包括一个或多个处理器21和存储器22。

所述处理器21可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备20中的其他组件以执行期望的功能。

所述存储器22可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器21可以运行所述程序指令，以实现上文所述的本发明的上述实施例的方法以及/或者其他期望的功能。

在一个示例中，如图9所示，电子设备20还可以包括：输入装置23和输出装置24，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，该输入装置23可以是例如用于采集图像数据或视频数据的摄像模组等等。

该输出装置24可以向外部输出各种信息，包括分类结果等。该输出设备24可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备20中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备20还可以包括任何其他适当的组件。

示意性计算程序产品

除了上述方法和设备以外，本发明的实施例还可以是计算程序产品，其包括计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述“示意性方法”部分中描述的根据本发明的上述实施例的方法中的步骤。

所述计算程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明的实施例还可以是计算可读存储介质，其上存储有计算程序指令，所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述方法中的步骤。

所述计算可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (12)

1.用于激光雷达和相机的联合标定方法，其特征在于，包括步骤：

在至少一标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集一标定场景数据，获取一点云数据和一图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；

提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标；

提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标；以及

基于通过该至少一标板上每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参；

其中，所述提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标的步骤，包括步骤：

基于一模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；

基于一最大值抑制法，分析所述相似度图像的匹配度和对应位置，以获得与匹配度最大的相似度图像对应的图像角点；以及

根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与该至少一标板上的该标板角点一一对应，从而得到每该标板角点的所述二维坐标。

2.如权利要求1所述的联合标定方法，其中，所述提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标的步骤，包括步骤：

通过一平面提取算法，从所述点云数据中提取与该至少一标板对应的标板点云数据；

筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据；

通过一直线提取算法，从所述边缘点云数据中提取与该至少一标板上的每该直线边缘对应的直线点云数据，以拟合出相应的直线数据；

对所有的所述直线数据进行排序，以使所述直线数据与该至少一标板上的该直线边缘一一对应；以及

求解出与每该标板上任意相邻的两个该直线边缘对应的所述直线数据之间的交点，以获得与每该标板角点对应的所述点云角点，从而得到每该标板角点的所述三维坐标。

3.如权利要求2所述的联合标定方法，其中，所述筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据的步骤，包括步骤：

基于该激光雷达发射的激光线束的线束编码，对所述标板点云数据中的点数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一个线束编码；

求取每组所述线束点云数据中任一点数据与相邻的两个点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及

分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值之间的大小，如果所述较大距离大于所述分隔阈值、且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据。

4.如权利要求3所述的联合标定方法，其中，所述分隔阈值根据该激光雷达的参数和该至少一标板的摆放位置进行确定。

5.如权利要求1至4中任一所述的联合标定方法，其中，该标板为多边形标板，并且该标板上每个该直线边缘能够被通过该激光雷达发射的至少二激光线束扫描到。

6.如权利要求5所述的联合标定方法，其中，该至少一标板包括多个该多边形标板，并且多个该多边形标板被无遮挡地且有纵深地分布于该激光雷达和该相机的该公共视场内。

7.用于激光雷达和相机的联合标定系统，其特征在于，包括：

一数据获取模块，用于在至少一标板位于该激光雷达和该相机的公共视场内时，通过该激光雷达和该相机分别采集一标定场景数据，获取一点云数据和一图像数据，其中每该标板具有至少三直线边缘和至少三标板角点，并且任意相邻的两该直线边缘相交于相应的该标板角点；

一点云角点提取模块，用于提取所述点云数据中与该至少一标板上的每该标板角点对应的点云角点，以获得该至少一标板上的每该标板角点的三维坐标；

一图像角点提取模块，用于提取所述图像数据中与该至少一标板上的每该标板角点对应的图像角点，以获得该至少一标板上的每该标板角点的二维坐标；以及

一求解模块，用于基于通过该至少一标板上每该标板角点的所述三维坐标和所述二维坐标组成的点对数据，通过PnP方法求解，以获得该激光雷达和该相机之间的外参；

其中，所述图像角点提取模块包括依次可通信地连接的一模板匹配模块、一最大值抑制模块以及一角点排序模块，其中所述模板匹配模块用于基于一模板匹配法，对所述图像数据进行模板匹配，以获得多个相似度图像；其中所述最大值抑制模块用于基于一最大值抑制法，分析所述相似度图像的匹配度和对应位置，以获得与匹配度最大的相似度图像对应的图像角点；其中所述角点排序模块用于根据每所述图像角点的二维坐标，对所有的所述图像角点进行排序，以使所述图像角点与该至少一标板上的该标板角点一一对应，从而得到每该标板角点的所述二维坐标。

8.如权利要求7所述的联合标定系统，其中，所述点云角点提取模块依次可通信地连接的一平面提取模块、一点云筛选模块、一直线提取模块、一直线排序模块以及一交点求解模块，其中所述平面提取模块用于通过一平面提取算法，从所述点云数据中提取与该至少一标板对应的标板点云数据；其中所述点云筛选模块用于筛选所述标板点云数据，以获得与该至少一标板上所有的该直线边缘对应的边缘点云数据；其中所述直线提取模块用于通过一直线提取算法，从所述边缘点云数据中提取与该至少一标板上的每该直线边缘对应的直线点云数据，以拟合出相应的直线数据；其中所述直线排序模块用于对所有的所述直线数据进行排序，以使所述直线数据与该至少一标板上的该直线边缘一一对应；其中所述交点求解模块用于求解出与每该标板上任意相邻的两个该直线边缘对应的所述直线数据之间的交点，以获得与每该标板角点对应的所述点云角点，从而得到每该标板角点的所述三维坐标。

9.如权利要求8所述的联合标定系统，其中，所述点云筛选模块还用于基于该激光雷达发射的激光线束的线束编码，对所述标板点云数据中的点数据进行分类，以获得多组线束点云数据，其中每组所述线束点云数据中所有的点数据均对应于同一个线束编码；求取每组所述线束点云数据中任一点数据与相邻的两个点数据之间的距离，以获得每所述点数据的一较大距离和一较小距离；以及分别判断每所述点数据的所述较大距离和所述较小距离与一分隔阈值之间的大小，如果所述较大距离大于所述分隔阈值、且所述较小距离小于所述分隔阈值，则保留相应的所述点数据以添加至所述边缘点云数据。

10.如权利要求7至9中任一所述的联合标定系统，其中，该至少一标板包括多个多边形标板，并且多个该多边形标板被无遮挡地且有纵深地分布于该激光雷达和该相机的该公共视场内。

11.电子设备，其特征在于，包括：

一处理器；以及

一存储器，在所述存储器中存储有计算程序指令，所述计算程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至6中任一项所述的联合标定方法。

12.计算可读存储介质，其特征在于，所述计算可读存储介质上存储有计算程序指令，当所述计算程序指令被计算装置执行时，可操作来执行如权利要求1至6中任一项所述的联合标定方法。