CN116385561A - 一种摄像头与激光雷达标定方法 - Google Patents

Abstract

本申请公开了一种摄像头与激光雷达标定方法，一方面，从摄像头对环境中预置的标定板所拍摄的图像中提取标定板顶点的2D像素坐标，并借助于建立2D世界坐标系和3D世界坐标系，得到标定板顶点的2D世界坐标和3D世界坐标，从而基于标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及摄像头的内部参数，计算得到标定板顶点的3D摄像头坐标，另一方面，从激光雷达对环境中预置的标定板采集的点云中提取标定板顶点的3D点云坐标；进而基于标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到摄像头和激光雷达间的标定参数，该标定参数包括旋转参数和平移参数，由于没有损失深度信息，因此，该方法的标定精度较高。

Description

一种摄像头与激光雷达标定方法

技术领域

本申请涉及摄像头与激光雷达之间的融合技术领域，尤其涉及一种摄像头与激光雷达标定方法。

背景技术

摄像头与激光雷达之间的标定旨在获得两个传感器坐标的变换，即可以转换来自激光雷达和摄像头的点数据进入同一坐标系，然后融合来自两个传感器的数据以改善其感知，比如物体检测、分类、跟踪等等。

根据标定流程是否需要人工干预，摄像头与激光雷达传感器之间的外部参数标定可分为两类：手动方法和自动方法。其中，手动方法要求工程师根据一个或多个标定物手动指定激光雷达点云和摄像头图像之间的对应关系，从而在点云中的相应3D点和图像中的像素之间施加几何约束，估计出摄像头与激光雷达传感器之间的外部参数；自动方法旨在摆脱人工干预，并自动从两个传感器观察到的校准目标中提取和匹配特征，传感器标定环境搭建完成后，系统可以自动标定摄像头与激光雷达传感器之间的外部参数。

现有摄像头与激光雷达间的自动标定方法，通常是将激光雷达获取的点云中的3D点映射到图像中，基于映射后的图像和摄像头获取的图像，求解摄像头与激光雷达之间的标定参数，但是，由于将激光雷达获取的点云中的3D点映射到图像中，是3D向2D的转换，会损失深度信息，因此，这种方法误差较大。

发明内容

为解决上述技术问题，本申请实施例提供了一种摄像头与激光雷达标定方法，以基于标定板顶点的3D摄像头坐标和3D点云坐标，求解摄像头和激光雷达间的标定参数，提高标定精度。

为实现上述目的，本申请实施例提供了如下技术方案：

一种摄像头与激光雷达标定方法，包括：

获取由摄像头对环境中预置的标定板所拍摄的图像，从所述图像中提取所述标定板顶点的2D像素坐标；

基于所述标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到所述标定板顶点的2D世界坐标和3D世界坐标；

基于所述标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及所述摄像头的内部参数，计算所述标定板顶点的3D摄像头坐标，得到所述标定板顶点的3D摄像头坐标集合，其中，所述摄像头的内部参数为3D摄像头坐标系映射到2D像素坐标系的标定参数；

获取由激光雷达对环境中预置的标定板所采集的点云数据，从所述点云数据中提取所述标定板顶点的3D点云坐标，得到所述标定板顶点的3D点云坐标集合；

基于所述标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到所述摄像头和所述激光雷达间的标定参数，所述摄像头和所述激光雷达间的标定参数包括旋转参数和平移参数。

可选的，从所述图像中提取所述标定板顶点的2D像素坐标之前，该方法还包括：

对所述图像进行畸变矫正，得到矫正后图像。

可选的，从所述图像中提取所述标定板顶点的2D像素坐标包括：

基于所述图像中每个像素的灰度值，计算所述图像中每个像素的内角点响应值，一个像素的内角点响应值越大，则该像素越可能为所述标定板的内角点，所述标定板的内角点为所述标定板内部的黑白格顶点，不包括所述标定板的顶点和所述标定板边缘上的黑白格顶点；

判断所述图像中各个像素的内角点响应值是否大于周围其他像素的内角点响应值，如果是，则该像素为内角点候选点；

对各所述内角点候选点进行线性拟合，将任意相互垂直的拟合线的交点确定为所述图像中标定板的内角点；

基于确定的所述图像中标定板的各个内角点，得到所述图像中标定板顶点的2D像素坐标。

可选的，基于所述标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到所述标定板顶点的2D世界坐标和3D世界坐标包括：

以所述标定板的一个顶点为原点，所述标定板相互垂直的两个边为坐标轴，建立2D世界坐标系；

在所述2D世界坐标系中增加一个维度，并将该维度上的数值全部赋值为0，建立3D世界坐标系；

基于所述标定板的物理参数，以及建立的所述2D世界坐标系和所述3D世界坐标系，得到所述标定板顶点的2D世界坐标和3D世界坐标。

可选的，基于所述标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及所述摄像头的内部参数，计算所述标定板顶点的3D摄像头坐标，得到所述标定板顶点的3D摄像头坐标集合包括：

基于所述标定板顶点的2D像素坐标和2D世界坐标，得到所述标定板顶点的2D像素坐标和2D世界坐标之间的对应关系；

基于所述标定板顶点的2D世界坐标和3D世界坐标，得到3D世界坐标系映射到2D世界坐标系的标定参数；

基于所述标定板顶点的2D像素坐标和2D世界坐标之间的对应关系、所述3D世界坐标系映射到2D世界坐标系的标定参数，以及所述摄像头的内部参数，得到3D世界坐标系和3D摄像头坐标系之间的标定参数；

按照3D世界坐标系和3D摄像头坐标系之间的标定参数，将所述标定板顶点的3D世界坐标，转换为所述标定板顶点的3D摄像头坐标，得到所述标定板顶点的3D摄像头坐标集合。

可选的，从所述点云数据中提取所述标定板顶点的3D点云坐标，得到所述标定板顶点的3D点云坐标集合之前，该方法还包括：

对所述点云数据进行格式转换，得到转换后点云数据。

可选的，从所述点云数据中提取所述标定板顶点的3D点云坐标，得到所述标定板顶点的3D点云坐标集合包括：

在所述点云数据中确定所述标定板所在区域；

在所述标定板所在区域确定所述标定板的平面；

从确定的所述标定板的平面中提取所述标定板顶点的3D点云坐标。

可选的，基于所述标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到所述摄像头和所述激光雷达间的标定参数包括：

按照预定义的标定参数，将所述标定板顶点的3D摄像头坐标映射到3D点云坐标系中，得到所述标定板顶点映射后的3D点云坐标；

计算所述标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离；

判断所述标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离是否小于第一阈值，如果否，则调整所述摄像头和所述激光雷达间的标定参数，直至所述标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离小于所述第一阈值；

基于所述标定板各个顶点映射后的3D点云坐标，计算映射后所述标定板的边缘方向和表面法线方向，并基于所述标定板顶点的3D点云坐标集合，计算点云中所述标定板的边缘方向和表面法线方向；

判断映射后所述标定板的边缘方向和点云中所述标点板的边缘方向是否平行，以及映射后所述标定板的表面法线方向和点云中所述标定板的表面法线方向是否平行，只要其中之一不平行，则调整所述摄像头与所述激光雷达间的标定参数，直至映射后所述标定板的边缘方向和点云中所述标点板的边缘方向平行，且映射后所述标定板的表面法线方向和点云中所述标定板的表面法线方向平行。

可选的，该方法还包括：

按照所述摄像头和所述激光雷达间的标定参数，将所述点云数据中各3D点映射到图像中，并将各3D点的距离信息，作为其在图像中映射像素点的距离信息；

将图像中各映射像素点按照其距离信息赋予对应的颜色，得到融合后图像，其中，不同距离信息对应的颜色不同；

输出所述融合后图像，以便用户基于所述融合后图像的显示效果判断所述摄像头和所述激光雷达间的标定参数是否合格。

可选的，该方法还包括：

按照所述摄像头和所述激光雷达间的标定参数，将所述标定板顶点的3D点云坐标映射到2D像素坐标系中，得到所述标定板顶点映射后的2D像素坐标；

计算所述标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标之间的欧式距离；

判断所述标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标之间的欧式距离是否小于第二阈值，如果是，则所述标定参数合格。

与现有技术相比，上述技术方案具有以下优点：

本申请实施例所提供的摄像头与激光雷达标定方法，第一方面，获取由摄像头对环境中预置的标定板所拍摄的图像，从图像中提取标定板顶点的2D像素坐标，由于缺少深度信息，摄像头的内部参数只能实现3D摄像头坐标系到2D像素坐标系的转换，无法直接将2D像素坐标系转换为3D摄像头坐标系，因此，基于标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到标定板顶点的2D世界坐标和3D世界坐标，进而基于标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及摄像头的内部参数，计算标定板顶点的3D摄像头坐标，得到标定板顶点的3D摄像头坐标集合；第二方面，获取由激光雷达对环境中预置的标定板所采集的点云数据，从点云数据中提取标定板顶点的3D点云坐标，得到标定板顶点的3D点云坐标集合；进而基于标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到摄像头和激光雷达间的标定参数，该标定参数包括旋转参数和平移参数，由于没有损失深度信息，因此，该方法的标定精度较高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种摄像头与激光雷达标定方法的流程示意图；

图2为由摄像头对环境中预置的标定板所拍摄的矫正前的图像；

图3为对图2所示图像进行畸变矫正后的图像；

图4为一种棋盘格标定的示意图；

图5为从图像中提取的标定板的顶点的特征的示意图；

图6为从点云中提取的标定板的顶点的特征的示意图；

图7为本申请实施例所提供的另一种摄像头与激光雷达标定方法的流程示意图；

图8为本申请实施例所提供的又一种摄像头与激光雷达标定方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种摄像头与激光雷达标定方法，如图1所示，该方法包括：

S100：获取由摄像头对环境中预置的标定板所拍摄的图像，从该图像中提取标定板顶点的2D像素坐标。

需要说明的是，标定板可以为矩形，那么，标定板的顶点即为其矩形的四个顶点。标定板表面包括网格排列的黑白方块，即标定板为棋盘格标定板。

还需要说明的是，摄像头对环境中预置的标定板所拍摄的图像处于2D像素坐标系，因此，从该图像中提取的标定板的顶点的坐标为2D像素坐标。

在本申请实施例中，采用标定板的四个顶点作为明确的点特征，具有很强的意义和先验知识，也能够带来很强的约束，有利于后续实现准确的特征匹配，并且，对标定板置于环境中的位置并不做限定，即标定板放置在环境中任意位置处，均可以从其图像中提取到标定板顶点的准确特征，从而使得该方法的鲁棒性也更好。

具体的，在机器人操作系统ROS(Robot Operating System)中，可使用rosbag来录制数据文件，摄像头对环境中预置的标定板进行拍摄，可被录制为带有摄像头话题的bag包，然后使用图像提取模块提取所需的图像数据。

S200：基于标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到标定板顶点的2D世界坐标和3D世界坐标。

S300：基于标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及摄像头的内部参数，计算标定板顶点的3D摄像头坐标，得到标定板顶点的3D摄像头坐标集合，其中，摄像头的内部参数为3D摄像头坐标系映射到2D像素坐标系的标定参数。

需要说明的是，3D摄像头坐标系固定在摄像头实体上，是以摄像头光心为原点，图像传感器的两个轴作为Xc和Yc轴、光轴作为Zc轴而建立的坐标系，环境中预置的标定板的顶点在3D摄像头坐标系中的坐标即为标定板顶点的3D摄像头坐标。

摄像头的内部参数为3D摄像头坐标系映射到2D像素坐标系的标定参数，也即3D摄像头坐标系映射到2D像素坐标系的变换关系，但由于缺少深度信息，因此，摄像头的内部参数只能进行3D摄像头坐标系映射到2D像素坐标系的映射，而无法将2D像素坐标系映射到3D摄像头坐标系，即无法将提取到的标定板顶点的2D像素坐标直接转换为3D摄像头坐标。

为此，在本申请实施例中，在步骤S200中，基于标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到标定板顶点的2D世界坐标和3D世界坐标，其中，标定板顶点在2D世界坐标系中的坐标为其2D世界坐标，标定板顶点在3D世界坐标系中的坐标为其3D世界坐标，

可以理解的是，标定板的物理参数包括标定板的长度和宽度以及标定板中黑白格的长度和宽度等参数，根据这些物理参数，只要设定原点和坐标轴，就可以建立2D世界坐标系和3D世界坐标系，从而得到标定板顶点的2D世界坐标和3D世界坐标。

此时，标定板顶点的2D像素坐标和2D世界坐标之间具有一一对应关系，且标定板顶点的3D世界坐标和2D世界坐标之间也具有一一对应关系，同时，已知3D摄像头坐标系映射到2D像素坐标系的标定参数，即为摄像头内部参数，从而，可以基于标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及摄像头的内部参数，计算标定板顶点的3D摄像头坐标，得到标定板顶点的3D摄像头坐标集合。

S400：获取由激光雷达对环境中预置的标定板所采集的点云数据，从点云数据中提取标定板顶点的3D点云坐标，得到标定板顶点的3D点云坐标集合。

点云为在激光雷达坐标系(即3D点云坐标系)中3D点的集合，获取由激光雷达对环境中预置的标定板所采集的点云数据后，从点云数据中提取的标定板顶点的3D点云坐标，即为标定板顶点在激光雷达坐标系(即3D点云坐标系)下的坐标，从而得到标定板顶点的3D点云坐标集合。

具体的，在机器人操作系统ROS(Robot Operating System)中，可使用rosbag来录制数据文件，激光雷达对环境中预置的标定板进行扫描，可被录制为带有激光雷达话题的bag包，然后使用点云提取模块提取所需的点云数据。

S500：基于标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到摄像头和激光雷达间的标定参数，摄像头和激光雷达间的标定参数包括旋转参数和平移参数。

需要说明的是，摄像头和激光雷达间的标定参数，即摄像头和激光雷达这两个传感器之间的转换关系，包括旋转参数和平移参数，其中，平移参数通常用平移向量来表示，至于旋转参数有多种表示方法，如欧拉角、旋转矩阵或四元数。具体的，欧拉角是欧拉引入用来描述刚体姿态的三个角，也是平常最容易理解、最容易具象表述清楚的一种方式。旋转矩阵反映一个坐标系中的坐标在另一个坐标系中表示的转换关系。四元数是由1个实数加上3个复数组合而成，消除了欧拉角可能产生点万向锁的问题。本申请对旋转参数的表示方法并不做限定，具体可根据需求而对标定参数中的旋转参数进行不同格式的转换。

由此可见，相比于现有摄像头与激光雷达的自动标定方法中，需将激光雷达获取的点云中的3D点映射到图像中，从而损失深度信息，导致标定误差较大，本申请实施例所提供的摄像头与激光雷达标定方法，基于从图像中提取的标定板顶点的2D像素坐标，并借助于建立2D世界坐标系和3D世界坐标系，得到标定板顶点的2D世界坐标和3D世界坐标，从而基于标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及摄像头的内部参数，计算标定板顶点的3D摄像头坐标，得到标定板顶点的3D摄像头坐标集合，进而基于标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到摄像头和激光雷达间的标定参数，由于没有损失深度信息，因此，该方法的标定精度较高。

并且，本申请实施例所提供的摄像头与激光雷达标定方法，采用标定板的四个顶点作为明确的点特征，具有很强的意义和先验知识，也能够带来很强的约束，有利于实现准确的特征匹配，并且，对标定板置于环境中的位置并不做限定，即标定板可放置在环境中任意位置处，从而使得该方法的鲁棒性也更好。

在实际应用中，在获取由摄像头对环境中预置的标定板所拍摄的图像后，由于生成的图像一般带有畸变，包括径向畸变和切向畸变，不利于后续从图像中提取特征，因此，可选的，在本申请的一个实施例中，在步骤S100中，从图像中提取标定板顶点的2D像素坐标之前，该方法还包括：

对图像进行畸变矫正，得到矫正后图像。

即步骤S100具体包括：

S110：获取由摄像头对环境中预置的标定板所拍摄的图像；

S120：对图像进行畸变矫正，得到矫正后图像；

S130：从矫正后图像中提取标定板顶点的2D像素坐标。

具体的，在步骤S120中，可利用摄像头的内部参数对图像的畸变进行矫正，得到矫正后图像。图2示出了由摄像头对环境中预置的标定板10所拍摄的矫正前的图像，图3示出了对该图像进行畸变矫正后的图像。

可选的，在本申请的一个实施例中，从图像中提取标定板顶点的2D像素坐标包括：

S131：基于图像中每个像素的灰度值，计算图像中每个像素的内角点响应值，一个像素的内角点响应值越大，则该像素越可能为标定板的内角点，标定板的内角点为标定板内部的黑白格顶点，不包括标定板的顶点和标定板边缘上的黑白格顶点。

图4示出了一个棋盘格标定板的示意图，如图4所示，标定板表面包括网格排列的黑白方块，可以理解的是，标定板的内角点，即标定板内部的黑白格顶点，不包括标定板的顶点和标点板边缘上的黑白格顶点，为两个黑色格和两个白色格的交点，其像素灰度值的变换(二阶导数)较大。

由此，在步骤S131中，基于图像中每个像素的灰度值，具体可基于图像中每个像素的灰度值的二阶导数，计算图像中每个像素的内角点响应值，具体可采用角点检测算法计算图像中每个像素的内角点响应值，其中，一个像素的内角点响应值表征该像素为图像中标定板的内角点的概率，一个像素的内角点响应值越大，则该像素越可能为标定板的内角点。

S132：判断图像中各个像素的内角点响应值是否大于周围其他像素的内角点响应值，如果是，则该像素为内角点候选点。

可以理解的是，如果图像中一个像素的内角点响应值大于其周围其他像素的内角点响应值，则说明该像素的灰度值的变换(二阶导数)大于其周围其他像素的灰度值的变换(二阶导数)，即该像素为一个内角点候选点。

S133：对各内角点候选点进行线性拟合，将任意相互垂直的拟合线的交点确定为图像中标定板的内角点。

需要说明的是，在步骤S132中得到的各内角点候选点为离散点，为了提高定位精度，使得确定的内角点的位置更加准确，因此，在步骤S133中，对各内角点候选点进行线性拟合，具体可采用亚像素精度的线性最小二乘估计算法对各内角点候选点进行线性拟合，从而将任意相互垂直的拟合线的交点确定为图像中标定板的内角点。

S134：基于确定的图像中标定板的各个内角点，得到图像中标定板顶点的2D像素坐标。

参考图4所示，可以理解的是，在确定图像中标定板的各个内角点后，即图像中标定板内部的所有黑白格均以确定，由于标定板中各个黑白格长度和宽度均相等，因此，可以得到图像中标定板顶点的2D像素坐标，图5示出了从图像中提取的标定板的顶点的特征示意图。

可选的，在本申请的一个实施例中，步骤S200，基于标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到标定板顶点的2D世界坐标和3D世界坐标包括：

S210：以标定板的一个顶点为原点，标定板相互垂直的两个边为坐标轴，建立2D世界坐标系。

本申请对以标定板的哪个顶点为原点并不做限定，具体可根据实际情况而定。具体例如，如图4所示，以标定板的左上角的顶点为原点O，标定板相互垂直的两个边为坐标轴X轴和Y轴，即可建立2D世界坐标系。

S220：在2D世界坐标系中增加一个维度，并将该维度上的数值全部赋值为0，建立3D世界坐标系。

需要说明的是，上述维度为垂直于标定板表面的维度。具体例如，如图4所示，在2D世界坐标系中增加一个维度，该维度垂直于标定板表面，并将标定板在该维度上的坐标全部赋值为0，即可建立3D世界坐标系。

S230：基于标定板的物理参数，以及建立的2D世界坐标系和3D世界坐标系，得到标定板顶点的2D世界坐标和3D世界坐标。

标定板的物理参数包括标定板的长度和宽度以及标定板中黑白格的长度和宽度等参数，根据这些物理参数，从而可以在建立的2D世界坐标系和3D世界坐标系中，得到标定板顶点的2D世界坐标和3D世界坐标。

可选的，在本申请的一个实施例中，步骤S300，基于标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及摄像头的内部参数，计算标定板顶点的3D摄像头坐标，得到标定板顶点的3D摄像头坐标集合包括：

S310：基于标定板顶点的2D像素坐标和2D世界坐标，得到标定板顶点的2D像素坐标和2D世界坐标之间的对应关系。

可以理解的是，在步骤S100中得到了标定板顶点的2D像素坐标，并且，在步骤S200中得到了标定板顶点的2D世界坐标，从而可以得到标定板顶点的2D像素坐标和2D世界坐标之间的一一对应关系。

S320：基于标定板顶点的2D世界坐标和3D世界坐标，得到3D世界坐标系映射到2D世界坐标系的标定参数。

类似于3D摄像头坐标系映射到2D像素坐标系的标定参数(即摄像头的内部参数)，3D世界坐标系映射到2D世界坐标系的标定参数，为3D世界坐标系映射到2D世界坐标系的转换关系。

由于前面已经得到了标定板顶点的2D世界坐标和3D世界坐标，从而可以得到标定板顶点的2D世界坐标和3D世界坐标之间的一一对应关系，进而可以得到3D世界坐标系映射到2D世界坐标系的标定参数。

S330：基于标定板顶点的2D像素坐标和2D世界坐标之间的对应关系、3D世界坐标系映射到2D世界坐标系的标定参数，以及摄像头的内部参数，得到3D世界坐标系和3D摄像头坐标系之间的标定参数。

在步骤S330中，基于标定板顶点的2D像素坐标和2D世界坐标之间的对应关系、3D世界坐标系映射到2D世界坐标系的标定参数以及摄像头的内部参数(即3D摄像头坐标系映射到2D像素坐标系的标定参数)，计算得到3D世界坐标系和3D摄像头坐标系之间的标定参数。

具体的，假设摄像头的内部参数(即3D摄像头坐标系映射到2D像素坐标系的标定参数)为K，那么，标定板一个顶点(记为A顶点)在3D摄像头坐标系中的坐标(X_c)映射到2D像素坐标系中的坐标为K*(X_c)。

同理，假设3D世界坐标系映射到2D世界坐标系的标定参数为H，那么，标定板A顶点在3D世界坐标系中的坐标(X_w)映射到2D世界坐标系中的坐标为H*(X_w)。

并且，由于标定板顶点的2D像素坐标和2D世界坐标之间具有一一对应关系，因此，标定板A顶点在2D像素坐标系中的坐标K*(X_c)与该顶点在2D世界坐标系中的坐标H*(X_w)具有一一对应关系，可以表示为：

K*(X_c)＝H*(X_w) (1)

可以理解的是，3D世界坐标系和3D摄像头坐标系之间的标定参数包括旋转参数和平移参数，其中，旋转参数可以用旋转矩阵R来表示，平移参数可以用平移向量t来表示，也就是说，标定板A顶点在3D世界坐标系中的坐标(X_w)通过旋转矩阵R和平移向量t转换到3D摄像头坐标系中的坐标(X_c)，那么，标定板A顶点在3D摄像头坐标系中的坐标(X_c)和该顶点在3D世界坐标系中的坐标(X_w)之间的关系可以表示为：

(X_c)＝R*(X_w)+t (2)

由于已知标定板A顶点在2D像素坐标系中的坐标K*(X_c)与该顶点在2D世界坐标系中的坐标H*(X_w)之间的对应关系、3D世界坐标系映射到2D世界坐标系的标定参数H以及摄像头的内部参数K，从而可以将公式(1)变换为：

(X_c)＝(K^^-1*H)*(X_w) (3)

其中，K^^-1是K的倒数。

对比公式(2)和公式(3)，进一步地，可以将(K^^-1*H)分解为旋转矩阵R和平移向量t，具体例如：

R＝(K^-1*H)[1:3,1:3] (4)

t＝(K^-1*H)[1:3,4] (5)

其中，[1:3,1:3]表示3*3矩阵，[1:3,4]表示所有行(1行到3行)中的第4列。

通过上述过程，可以得到3D世界坐标系和3D摄像头坐标系之间的标定参数，包括旋转矩阵R和平移向量t。

需要说明的是，3D世界坐标系和3D摄像头坐标系之间的标定参数为3D点到3D点的转换关系，因此，它可以实现3D世界坐标系映射到3D摄像头坐标系，也可以实现3D摄像头坐标系映射到3D世界坐标系。

S340：按照3D世界坐标系和3D摄像头坐标系之间的标定参数，将标定板顶点的3D世界坐标，转换为标定板顶点的3D摄像头坐标，得到标定板顶点的3D摄像头坐标集合。

由前述已知，3D世界坐标系和3D摄像头坐标系之间的标定参数可以实现3D世界坐标系映射到3D摄像头坐标系，而在已知标定板顶点的3D世界坐标的情况下，就可以按照3D世界坐标系和3D摄像头坐标系之间的标定参数，将标定板顶点的3D世界坐标转换为3D摄像头坐标，得到标定板顶点的3D摄像头坐标集合。

可选的，在本申请的一个实施例中，在步骤S400中，从点云数据中提取标定板顶点的3D点云坐标，得到标定板顶点的3D点云坐标集合之前，根据后续对点云格式的需求，该方法还包括：

对点云数据进行格式转换，得到转换后点云数据。

即步骤S400包括：

S410：获取由激光雷达对环境中预置的标定板所采集的点云数据；

S420：对点云数据进行格式转换，得到转换后点云数据；

S430：从转换后点云数据中提取标定板顶点的3D点云坐标，得到标定板顶点的3D点云坐标集合。

可选的，在本申请的一个实施例中，从点云数据中提取标定板顶点的3D点云坐标，得到标定板顶点的3D点云坐标集合包括：

S431：在点云数据中确定标定板所在区域；

S432：在标定板所在区域确定标定板的平面；

S433：从确定的标定板的平面中提取标定板顶点的3D点云坐标。

具体的，在步骤S431中，根据点云图形中的3D点范围确定标定板在点云中可能的空间位置。然后，在步骤S432中，在对应位置点云中可使用RANSAC(Random SampleConsensus)方法估计代表标定板的平面。其次，在步骤S433中，从确定的标定板的平面中提取标定板顶点的3D点云坐标。

RANSAC(Random Sample Consensus)是一种迭代的算法，用于在数据集中找到模型的最优参数，它适用于含有噪声或离群点的数据，并且可以有效地拟合各种类型的模型，利用RANSAC算法计算点云中的平面是一个典型的应用场景，具体为：

首先，选择一个模型类型，例如平面；其次，从点云中随机选择一组点，并使用这些点来拟合模型；然后，计算点云中剩余的点到拟合的模型的距离，并将距离小于一定阈值的点作为内点；之后，使用内点重新拟合模型，重复上述过程，直到找到最优模型。图6示出了从点云中提取的标定板的四个顶点的特征示意图。

可选的，在本申请的一个实施例中，在步骤S500中，基于标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到摄像头和激光雷达间的标定参数包括：

S510：按照预定义的标定参数，将标定板顶点的3D摄像头坐标映射到3D点云坐标系中，得到标定板顶点映射后的3D点云坐标。

其中，预定义的标定参数可以为单位矩阵。

S520：计算标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离。

S530：判断标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离是否小于第一阈值，如果否，则调整摄像头和激光雷达间的标定参数，直至标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离小于第一阈值。

可以理解的是，标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标应该对齐，即两者之间的欧式距离小于第一阈值，如果标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离不小于第一阈值，则说明标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标不对齐，需要调整摄像头和激光雷达间的标定参数，直至标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离小于第一阈值。

具体的，可使用迭代最近点(ICP)算法，以对齐标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标，使标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离小于第一阈值。

S540：基于标定板各个顶点映射后的3D点云坐标，计算映射后标定板的边缘方向和表面法线方向，并基于标定板顶点的3D点云坐标集合，得到点云中标定板的边缘方向和表面法线方向；

S550：判断映射后标定板的边缘方向和点云中标点板的边缘方向是否平行，以及映射后标定板的表面法线方向和点云中标定板的表面法线方向是否平行，只要其中之一不平行，则调整摄像头与激光雷达间的标定参数，直至映射后标定板的边缘方向和点云中标点板的边缘方向平行，且映射后标定板的表面法线方向和点云中标定板的表面法线方向平行。

可以理解的是，在3D点云坐标系中，映射后标定板的边缘方向和点云中标定板的边缘方向应该平行，且映射后标定板的表面法线方向和点云中标定板的表面法线方向应该平行，如果映射后标定板的边缘方向和点云中标点板的边缘方向不平行，和/或，映射后标定板的表面法线方向和点云中标定板的表面法线方向不平行，则说明摄像头和激光雷达之间的标定参数还不合格，需要调整，直至映射后标定板的边缘方向和点云中标点板的边缘方向平行，且映射后标定板的表面法线方向和点云中标定板的表面法线方向平行。

具体的，可使用Levenberg-Marquardt算法，使得映射后标定板的边缘方向和点云中标定板的边缘方向平行，且映射后标定板的表面法线方向和点云中标定板的表面法线方向平行。

最后，得到摄像头和激光雷达间精确的标定参数(即变换矩阵)。

为了验证上述得到的摄像头和激光雷达间的标定参数是否合格，还需要对摄像头和激光雷达间的标定参数进行验证。

可选的，在本申请的一个实施例中，如图7所示，该方法还包括：

S610：按照摄像头和激光雷达间的标定参数，将点云数据中各3D点映射到图像中，并将各3D点的距离信息，作为其在图像中映射像素点的距离信息；

S620：将图像中各映射像素点按照其距离信息赋予对应的颜色，得到融合后图像，其中，不同距离信息对应的颜色不同。

S630：输出融合后图像，以便用户基于融合后图像的显示效果判断摄像头和激光雷达间的标定参数是否合格。

可以理解的是，在融合后图像中，距离相同的映射像素点的颜色应该相同，如果距离相同的映射像素点全部或者在可接受的概率范围内颜色相同，则说明像头和激光雷达间的标定参数合格。

可选的，在本申请的另一个实施例中，如图8所示，该方法还包括：

S710：按照摄像头和激光雷达间的标定参数，将标定板顶点的3D点云坐标映射到2D像素坐标系中，得到标定板顶点映射后的2D像素坐标；

S720：计算标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标之间的欧式距离；

S730：判断标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标之间的欧式距离是否小于第二阈值，如果是，则摄像头和激光雷达间的标定参数合格。

可以理解的是，标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标应该对齐，即两者之间的欧式距离小于第二阈值，如果标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标之间的欧式距离小于第二阈值，则说明标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标对齐，摄像头和激光雷达间的标定参数合格。

本说明书中各个部分采用并列和递进相结合的方式描述，每个部分重点说明的都是与其他部分的不同之处，各个部分之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，本说明书中各实施例中记载的特征可以相互替换或组合，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种摄像头与激光雷达标定方法，其特征在于，包括：

获取由摄像头对环境中预置的标定板所拍摄的图像，从所述图像中提取所述标定板顶点的2D像素坐标；

基于所述标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到所述标定板顶点的2D世界坐标和3D世界坐标；

基于所述标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及所述摄像头的内部参数，计算所述标定板顶点的3D摄像头坐标，得到所述标定板顶点的3D摄像头坐标集合，其中，所述摄像头的内部参数为3D摄像头坐标系映射到2D像素坐标系的标定参数；

获取由激光雷达对环境中预置的标定板所采集的点云数据，从所述点云数据中提取所述标定板顶点的3D点云坐标，得到所述标定板顶点的3D点云坐标集合；

基于所述标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到所述摄像头和所述激光雷达间的标定参数，所述摄像头和所述激光雷达间的标定参数包括旋转参数和平移参数。

2.根据权利要求1所述的摄像头与激光雷达标定方法，其特征在于，从所述图像中提取所述标定板顶点的2D像素坐标之前，该方法还包括：

对所述图像进行畸变矫正，得到矫正后图像。

3.根据权利要求1所述的摄像头与激光雷达标定方法，其特征在于，从所述图像中提取所述标定板顶点的2D像素坐标包括：

基于所述图像中每个像素的灰度值，计算所述图像中每个像素的内角点响应值，一个像素的内角点响应值越大，则该像素越可能为所述标定板的内角点，所述标定板的内角点为所述标定板内部的黑白格顶点，不包括所述标定板的顶点和所述标定板边缘上的黑白格顶点；

判断所述图像中各个像素的内角点响应值是否大于周围其他像素的内角点响应值，如果是，则该像素为内角点候选点；

对各所述内角点候选点进行线性拟合，将任意相互垂直的拟合线的交点确定为所述图像中标定板的内角点；

基于确定的所述图像中标定板的各个内角点，得到所述图像中标定板顶点的2D像素坐标。

4.根据权利要求1所述的摄像头与激光雷达标定方法，其特征在于，基于所述标定板的物理参数，建立2D世界坐标系和3D世界坐标系，得到所述标定板顶点的2D世界坐标和3D世界坐标包括：

以所述标定板的一个顶点为原点，所述标定板相互垂直的两个边为坐标轴，建立2D世界坐标系；

在所述2D世界坐标系中增加一个维度，并将该维度上的数值全部赋值为0，建立3D世界坐标系；

基于所述标定板的物理参数，以及建立的所述2D世界坐标系和所述3D世界坐标系，得到所述标定板顶点的2D世界坐标和3D世界坐标。

5.根据权利要求1所述的摄像头与激光雷达标定方法，其特征在于，基于所述标定板顶点的2D像素坐标、2D世界坐标和3D世界坐标，以及所述摄像头的内部参数，计算所述标定板顶点的3D摄像头坐标，得到所述标定板顶点的3D摄像头坐标集合包括：

基于所述标定板顶点的2D像素坐标和2D世界坐标，得到所述标定板顶点的2D像素坐标和2D世界坐标之间的对应关系；

基于所述标定板顶点的2D世界坐标和3D世界坐标，得到3D世界坐标系映射到2D世界坐标系的标定参数；

基于所述标定板顶点的2D像素坐标和2D世界坐标之间的对应关系、所述3D世界坐标系映射到2D世界坐标系的标定参数，以及所述摄像头的内部参数，得到3D世界坐标系和3D摄像头坐标系之间的标定参数；

按照3D世界坐标系和3D摄像头坐标系之间的标定参数，将所述标定板顶点的3D世界坐标，转换为所述标定板顶点的3D摄像头坐标，得到所述标定板顶点的3D摄像头坐标集合。

6.根据权利要求1所述的摄像头与激光雷达标定方法，其特征在于，从所述点云数据中提取所述标定板顶点的3D点云坐标，得到所述标定板顶点的3D点云坐标集合之前，该方法还包括：

对所述点云数据进行格式转换，得到转换后点云数据。

7.根据权利要求1所述的摄像头与激光雷达标定方法，其特征在于，从所述点云数据中提取所述标定板顶点的3D点云坐标，得到所述标定板顶点的3D点云坐标集合包括：

在所述点云数据中确定所述标定板所在区域；

在所述标定板所在区域确定所述标定板的平面；

从确定的所述标定板的平面中提取所述标定板顶点的3D点云坐标。

8.根据权利要求1所述的摄像头与激光雷达标定方法，其特征在于，基于所述标定板顶点的3D摄像头坐标集合和3D点云坐标集合，求解得到所述摄像头和所述激光雷达间的标定参数包括：

按照预定义的标定参数，将所述标定板顶点的3D摄像头坐标映射到3D点云坐标系中，得到所述标定板顶点映射后的3D点云坐标；

计算所述标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离；

判断所述标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离是否小于第一阈值，如果否，则调整所述摄像头和所述激光雷达间的标定参数，直至所述标定板顶点映射后的3D点云坐标和在3D点云坐标系中实际的3D点云坐标之间的欧式距离小于所述第一阈值；

基于所述标定板各个顶点映射后的3D点云坐标，计算映射后所述标定板的边缘方向和表面法线方向，并基于所述标定板顶点的3D点云坐标集合，计算点云中所述标定板的边缘方向和表面法线方向；

判断映射后所述标定板的边缘方向和点云中所述标点板的边缘方向是否平行，以及映射后所述标定板的表面法线方向和点云中所述标定板的表面法线方向是否平行，只要其中之一不平行，则调整所述摄像头与所述激光雷达间的标定参数，直至映射后所述标定板的边缘方向和点云中所述标点板的边缘方向平行，且映射后所述标定板的表面法线方向和点云中所述标定板的表面法线方向平行。

9.根据权利要求1-8任一项所述的摄像头与激光雷达标定方法，其特征在于，该方法还包括：

按照所述摄像头和所述激光雷达间的标定参数，将所述点云数据中各3D点映射到图像中，并将各3D点的距离信息，作为其在图像中映射像素点的距离信息；

将图像中各映射像素点按照其距离信息赋予对应的颜色，得到融合后图像，其中，不同距离信息对应的颜色不同；

输出所述融合后图像，以便用户基于所述融合后图像的显示效果判断所述摄像头和所述激光雷达间的标定参数是否合格。

10.根据权利要求1-8任一项所述的摄像头与激光雷达标定方法，其特征在于，该方法还包括：

按照所述摄像头和所述激光雷达间的标定参数，将所述标定板顶点的3D点云坐标映射到2D像素坐标系中，得到所述标定板顶点映射后的2D像素坐标；

计算所述标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标之间的欧式距离；

判断所述标定板顶点映射后的2D像素坐标和在2D像素坐标系中实际的2D像素坐标之间的欧式距离是否小于第二阈值，如果是，则所述标定参数合格。

Images