CN112230204A - 激光雷达和相机的联合标定方法及装置 - Google Patents

Abstract

本发明提供一种激光雷达和相机的联合标定方法及装置，所述方法包括：设置相机的成像分辨率；将标定板置于相机的前方，并控制标定板在多方向上进行平移、旋转；以标定板上的左上角角点为原点建立世界坐标系和以图像上左上角为原点建立像素坐标系，并根据两个坐标系关系进行相机内参的标定；在图像上选取预设个点，并在点云数据选择对应的预设个点云；采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，根据R和t行外参标定。该方法进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的内参，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

Description

激光雷达和相机的联合标定方法及装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种基激光雷达和相机的联合标定方法、一种激光雷达和相机的联合标定装置、一种计算机设备和一种非临时性计算机可读存储介质。

背景技术

目前，用深度学习处理点云成为热点，在标注点云时，由于点云的稀疏性，单靠点云，很难判断目标和类别，如果有时间同步的图像，就可以判断出来，但是为了精确标注，还需要将点云投影到图像，观察是否重合，这里就需要做激光雷达和相机的联合标定，包括相机内参标定和激光雷达和相机的外参标定。

相关技术中，在进行相机内参标定时，一般是用特定的标定板在相机前面人工随机摆放若干位置，人工随机摆位置难于确保在各方向及角度采集的数据能够充分采集，导致标定结果不好。

外参标定时，一般基于3D-3D的匹配，其中，相机3D数据是通过ArUco尺寸和相机内参反推目标点的3D位置，即利用ArUco标签计算出的位姿矩阵，计算出标定板的4个角点在相机体坐标系下的三维坐标。通过此法推出的3D点受ArUco码尺寸的影响，只能放在近处，远处难于检测到ArUco码的角点，会导致采集的数据非常受限，进而造成标定结果不准。即该方法受限于ArUco码检测效果的影响。

发明内容

本发明为解决上述技术问题，提供了一种激光雷达和相机的联合标定方法，该方法进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的参数，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

本发明还提出一种激光雷达和相机的联合标定装置。

本发明还提出一种计算机设备。

本发明还提出一种非临时性计算机可读存储介质。

本发明采用的技术方案如下：

本发明第一方面实施例提出了一种激光雷达和相机的联合标定方法，包括以下步骤：设置所述相机的成像分辨率；将标定板置于所述相机的前方，并控制所述标定板在前、后、左、右方向上进行平移，并在所述上、下、左、右方向上进行旋转，以通过所述相机获取所述标定板上的所有角点；以所述标定板上的左上角角点为原点建立世界坐标系，以相机获取的图像的左上角为原点建立像素坐标系；根据所述世界坐标系与所述像素坐标系之间的关系，进行相机内参的标定；获取所述相机采集的图像和激光雷达采集的点云数据，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云；采用EPnP(一种3d-2d位姿估计算法)方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据所述旋转矩阵R和所述平移向量t进行外参标定。

根据本发明的一个实施例，所述标定板为6x9列的棋盘格，每个格子的大小为0.0249×0.0249m。

根据本发明的一个实施例，所述世界坐标系与所述像素坐标系之间的关系为：

其中，所述P为所述世界坐标系的点的坐标，

为P的像素坐标，dx、dy为像元尺寸，r为相机的切变系数，f为相机的镜头焦距，u₀、v₀为像素坐标系与成像平面之前原点的平移，R_3×3为相机坐标系与激光雷达坐标系的旋转矩阵，t_3×1为相机坐标系与激光雷达坐标系的平移向量。

根据本发明的一个实施例，所述预设个为9个，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云，包括：将所述标定板竖直置于所述相机和所述激光雷达的前方，且所述相机能够采集到所述标定板的图像和所述激光雷达的激光点云可打到所述标定板上；逐渐放倒所述标定板，直到所述标定板最上面一条激光点云消失的时，逐渐抬起标定板，直至所述激光点云出现时，固定所述标定板；在所述图像上的标定板左边界或者右边界上选取预设个点，在所述点云数据上对应选取预设个点云。

根据本发明的一个实施例，以所述标定板上的左上角角点为原点建立世界坐标系，包括：当所述标定板在相机正前方，角点数多的边水平向右放置时，向右为x轴，向下为y轴，向里侧为z轴；以相机获取的图像上左上角为原点建立像素坐标系，包括：所述像素坐标系的u轴向右与所述x轴平行，所述像素坐标系的v轴向下与y轴平行。

本发明第二方面实施例提出了一种激光雷达和相机的联合标定装置，包括：设置模块，所述设置模块用于设置所述相机的成像分辨率；标定模块，所述标定模块用于控制所述标定板在前、后、左、右方向上进行平移，并在所述上、下、左、右方向上进行旋转，以通过所述相机获取所述标定板上的所有角点；建立模块，所述建立模块用于以所述标定板上的左上角角点为原点建立世界坐标系，以相机获取的图像的左上角为原点建立像素坐标系；第一标定模块，所述第一标定模块根据所述世界坐标系与所述像素坐标系之间的关系，进行相机内参的标定；选取模块，所述选取模块用于获取所述相机采集的图像和激光雷达采集的点云数据，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云；第二标定模块，所述第二标定模块用于采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据所述旋转矩阵R和所述平移向量t进行外参标定。

根据本发明的一个实施例，所述标定板为6x9列的棋盘格，每个格子的大小为0.0249×0.0249m。

根据本发明的一个实施例，所述世界坐标系与所述像素坐标系之间的关系为：

其中，所述P为所述世界坐标系的点的坐标，

为P的像素坐标，dx、dy为像元尺寸，r为相机的切变系数，f为相机的镜头焦距，u₀、v₀为像素坐标系与成像平面之前原点的平移，R_3×3为相机坐标系与激光雷达坐标系的旋转矩阵，t_3×1为相机坐标系与激光雷达坐标系的平移向量。

根据本发明的一个实施例，所述预设个为9个，在所述图像上选取预设个点，包括：所述预设个为9个，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云，所述选取模块具体用于：将所述标定板竖直置于所述相机和所述激光雷达的前方，且所述相机能够采集到所述标定板的图像和所述激光雷达的激光点云可打到所述标定板上；逐渐放倒所述标定板，直到所述标定板最上面一条激光点云消失的时，逐渐抬起标定板，直至所述激光点云出现时，固定所述标定板；在所述图像上的标定板左边界或者右边界上选取预设个点，在所述点云数据上对应选取预设个点云。

根据本发明的一个实施例，所述建立模块以所述标定板上的左上角角点为原点建立世界坐标系时，当所述标定板在相机正前方，角点数多的边水平向右放置时，向右为x轴，向下为y轴，向里侧为z轴；所述建立模块以相机获取的图像上左上角为原点建立像素坐标系时，所述像素坐标系的u轴向右与所述x轴平行，所述像素坐标系的v轴向下与y轴平行。

本发明的第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明第一方面实施例所述的激光雷达和相机的联合标定方法。

本发明的第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的激光雷达和相机的联合标定方法。

本发明的有益效果：

本发明在进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的内参，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

附图说明

图1是根据本发明一个实施例的激光雷达和相机的联合标定方法的流程图；

图2是根据本发明一个实施例的坐标系的示意图；

图3是根据本发明一个实施例的坐标系之间的转换原理图；

图4是根据本发明一个实施例的棋盘格的示意图；

图5是根据本发明一个实施例的激光雷达和相机的联合标定装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明一个实施例的激光雷达和相机的联合标定方法的流程图。如图1所示，该方法包括以下步骤：

S1，设置相机的成像分辨率。

具体的，由于不同成像分辨率对应不同的内参，因此需要先设置相机的成像分辨率。

S2，将标定板置于相机的前方，并控制标定板在前、后、左、右方向上进行平移，并在上、下、左、右方向上进行旋转，以通过相机获取标定板上的所有角点。

S3，以标定板上的左上角角点为原点建立世界坐标系，以相机获取的图像的左上角为原点建立像素坐标系。

其中，以标定板上的左上角角点为原点建立世界坐标系，包括：当标定板在相机正前方，角点数多的边水平向右放置时，向右为x轴，向下为y轴，向里侧为z轴，以相机获取的图像的左上角为原点建立像素坐标系包括：像素坐标系的u轴向右与x轴平行，像素坐标系的v轴向下与y轴平行。

S4，根据世界坐标系与像素坐标系之间的关系，进行相机内参的标定。

其中，世界坐标系与像素坐标系之间的关系之间的关系为：

其中，P为世界坐标系的点的坐标，

为P的像素坐标，dx、dy为像元尺寸，r为相机的切变系数，f为相机的镜头焦距，u₀、v₀为像素坐标系与成像平面之前原点的平移，R_3×3为相机坐标系与激光雷达坐标系的旋转矩阵，t_3×1为相机坐标系与激光雷达坐标系的平移向量。

S5，获取相机采集的图像和激光雷达采集的点云数据，在图像上选取预设个点，并在点云数据选择对应的预设个点云。

S6，采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据旋转矩阵R和平移向量t进行激光雷达和相机外参标定。

具体的，在获取相机图像之前，先设置相机的成像分辨率。然后，将标定板放在相机前方，此时标定板需要在相机视野内，且在相机前方慢慢的往前、往后移动标定板，往前一直到标定板中心在相机正前方且标定板边缘即将离开相机视野为止，往后一直移动到算法不能准确找到标定板所有角点为止，因为距离较远，角点在图像上尺寸较小，所以往远处找角点的难处是增加的。接着往左慢慢的平移一直平移到相机视野的边界，然后往右平移到相机视野的边界，然后向上、向下、往左、往右的旋转标定板，旋转的最大角度是标定板有角点离开相机视野。通过以上四个方向平移及旋转移动，将会采集到相机前方某一空间范围内尽可能多的样本。

如图2所示，找到标定板的所有角点，找到所有角点后，以左上角角点为原点建立一个直角坐标系，向右为x轴，向下为y轴，向里侧为z轴，这样每个角点在此世界坐标系下就会有一个三维坐标，以建立一个从图像坐标系到三维空间世界坐标系的对应关系，世界坐标系的坐标为(Xw，Yw，Zw)。其中坐标变换过程及相机相关坐标系如下图。相机坐标系(camera coordinate)，也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。

像素坐标系是一个二维直角坐标系，反映了相机CCD(Charge-coupled Device，电荷耦合元件)/CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)芯片中像素的排列情况。原点位于图像的左上角，u轴、v轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素(整数)。

像素坐标系通常的定义方式是：原点O位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。像素坐标系与平面之间，相差了一个缩放和一个原点的平移。设像素坐标在u轴上缩放了

倍，在v轴上缩放了

倍。同时，原点平移了[c_x,c_y]^T。如图3所示，世界坐标系、相机坐标系、图像坐标系和像素坐标系的关系如图3所示，世界坐标系(Xw，Yw，Zw)经刚体变换得到相机坐标系(Xc，Yc，Zc)，相机坐标系(Xc，Yc，Zc)经透视投影得到图像坐标系(Cx，Cy)，图像坐标系(Cx，Cy)经二次变换得到像素坐标系(u，v)。

P的坐标与像素坐标[u,v]^T的关系为：

其中，P为世界坐标系的点的坐标，

为P的像素坐标，dx、dy为像元尺寸，r为相机的切变系数(一般为0)，f为相机的镜头焦距，u₀、v₀为像素坐标系与成像平面之前原点的平移，R_3×3为相机坐标系与激光雷达坐标系的旋转矩阵，t_3×1为相机坐标系与激光雷达坐标系的平移向量。

将左侧的两个矩阵相乘，即可会有fx、fy、u₀、v₀四个内参数，其中

fx、fy、u₀、v₀即为相机的内参。

标定完相机的内参后，进行相机外参的标定，先在相机采集的图像上选择预设个点，然后在点云数据上选择对应的点云点，然后采用EPnP来求解激光雷达与相机之间的旋转矩阵R和平移向量t，EPnP为现有技术，本发明中不再进行赘述，R和t即为激光雷达和相机外参。由此，完成激光雷达和相机外参的标定。

由此，该方法进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的内参，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

根据本发明的一个实施例，如图4所示，标定板可以为6x9列的棋盘格，每个格子的大小为0.0249×0.0249m。

具体的，可以采用A4纸张，打印6x9列、0.0249×0.0249m的棋盘格作为标定板，无需采用特制的标定板，简单实用。且发明人将相关实验发现，采用6x9列、0.0249×0.0249m的棋盘格的标定板时，标定的结果最为准确。

根据本发明的一个实施例，预设个可以为9个，在图像上选取预设个点，并在点云数据选择对应的预设个点云，包括：将标定板竖直置于相机和激光雷达的前方，且相机能够采集到标定板的图像和激光雷达的激光点云可打到标定板上；逐渐放倒标定板，直到标定板最上面一条激光点云消失的时，逐渐抬起标定板，直至激光点云出现时，固定标定板；在图像上的标定板左边界或者右边界上选取预设个点，在点云数据上对应选取预设个点云。

具体的，在进行外参标定时，发明人经相关实验发现，在选取9对点标定结果最为准确。在选取点时，点尽量分布在激光雷达的前后左右各方位。选取点的时，先将标定板(任意刚性平板都可以，长宽大于1米)放在激光雷达和相机前方，且激光雷达和相机都能看到的地方。8mm的短焦镜头一般放在3-10米远的地方。然后在不同距离，不同方位采集一次，尽可能多的覆盖激光雷达和相机前方的空间。

采集点的时候开始将标定板立起来，确保相机能看到标定板且激光雷达能够打到标定板上，然后在慢慢的放倒标定板，直到标定板最上面一条激光点云消失的时候，然后再微微抬起标定板，此时最上一条激光点云刚好出现，然后固定标定板。在图像上的选取标定板左边界或者右边界，在激光点云上选取标定板的左边界或者右边界，至于选左边界还是选取右边界得看刚好出现或者消失的激光点云在标定板的左边界还是右边界。

综上所述，根据本发明实施例的激光雷达和相机的联合标定方法，设置相机的成像分辨率；将标定板置于相机的前方，并控制标定板在前、后、左、右方向上进行平移，并在上、下、左、右方向上进行旋转，以通过相机获取标定板上的所有角点，以标定板上的左上角角点为原点建立世界坐标系，以图像的左上角为原点建立像素坐标系，根据世界坐标系与像素坐标系之间的关系，进行相机内参的标定，获取相机采集的图像和激光雷达采集的点云数据，在图像上选取预设个点，并在点云数据选择对应的预设个点云，采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据旋转矩阵R和平移向量t进行激光雷达和相机外参标定。该方法进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的内参，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

与上述的激光雷达和相机的联合标定方法相对应，本发明还提出一种激光雷达和相机的联合标定装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明中不再进行赘述。

图5是根据本发明一个实施例的激光雷达和相机的联合标定装置的方框示意图。如图5所示，该装置包括：设置模块1、标定模块2、建立模块3、第一标定模块4、选取模块5、第二标定模块6。

其中，设置模块1用于设置相机的成像分辨率；标定模块2用于控制标定板在前、后、左、右方向上进行平移，并在上、下、左、右方向上进行旋转，以通过相机获取标定板上的所有角点；建立模块3用于以标定板上的左上角角点为原点建立世界坐标系，当标定板在相机正前方，角点数多的边水平向右放置时，向右为x轴，向下为y轴，向里侧为z轴，以相机获取的图像的左上角为原点建立像素坐标系，像素坐标系的u轴向右与x轴平行，像素坐标系的v轴向下与y轴平行；第一标定模块4用于根据世界坐标系与像素坐标系之间的关系，进行相机内参的标定；选取模块5用于获取相机采集的图像和激光雷达采集的点云数据，在图像上选取预设个点，并在点云数据选择对应的预设个点云；第二标定模块6用于采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据旋转矩阵R和平移向量t进行激光雷达和相机外参标定。

根据本发明的一个实施例，标定板为6x9列的棋盘格，每个格子的大小为0.0249×0.0249m。

根据本发明的一个实施例，建立模块3以标定板上的左上角角点为原点建立世界坐标系时，当标定板在相机正前方，角点数多的边水平向右放置时，向右为x轴，向下为y轴，向里侧为z轴；建立模块3以相机获取的图像上左上角为原点建立像素坐标系时，像素坐标系的u轴向右与x轴平行，像素坐标系的v轴向下与y轴平行。

根据本发明的一个实施例，世界坐标系与像素坐标系之间的关系之间的关系为：

其中，P为世界坐标系的点的坐标，

为P的像素坐标，dx、dy为像元尺寸，r为相机的切变系数，f为相机的镜头焦距，u₀、v₀为像素坐标系与成像平面之前原点的平移，R_3×3为相机坐标系与激光雷达坐标系的旋转矩阵，t_3×1为相机坐标系与激光雷达坐标系的平移向量。

根据本发明的一个实施例，预设个为9个，在图像上选取预设个点，包括：预设个为9个，在图像上选取预设个点，并在点云数据选择对应的预设个点云，选取模块具体用于：将标定板竖直置于相机和激光雷达的前方，且相机能够采集到标定板的图像和激光雷达的激光点云可打到标定板上；逐渐放倒标定板，直到标定板最上面一条激光点云消失的时，逐渐抬起标定板，直至激光点云出现时，固定标定板；在图像上的标定板左边界或者右边界上选取预设个点，在点云数据上对应选取预设个点云。

根据本发明实施例的激光雷达和相机的联合标定装置，通过设置模块设置相机的成像分辨率，标定模块控制标定板在前、后、左、右方向上进行平移，并在上、下、左、右方向上进行旋转，以通过相机获取标定板上的所有角点，建立模块以标定板上的左上角角点为原点建立世界坐标系，以图像的左上角为原点建立像素坐标系，第一标定模块根据世界坐标系与像素坐标系之间的关系，进行相机内参的标定，选取模块获取相机采集的图像和激光雷达采集的点云数据，在图像上选取预设个点，并在点云数据选择对应的预设个点云，第二标定模块采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据旋转矩阵R和平移向量t进行激光雷达和相机外参标定。由此，该装置进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的内参，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

此外，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明上述的激光雷达和相机的联合标定方法。

根据本发明实施例的计算机设备，存储在存储器上的计算机程序被处理器执行时，设置相机的成像分辨率，将标定板置于相机的前方，并控制标定板在前、后、左、右方向上进行平移，并在上、下、左、右方向上进行旋转，以通过相机获取标定板上的所有角点，以标定板上的左上角角点为原点建立世界坐标系，以图像的左上角为原点建立像素坐标系，根据世界坐标系与像素坐标系之间的关系，进行相机内参的标定，获取相机采集的图像和激光雷达采集的点云数据，在图像上选取预设个点，并在点云数据选择对应的预设个点云，采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据旋转矩阵R和平移向量t进行激光雷达和相机外参标定。由此，进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的内参，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明上述的激光雷达和相机的联合标定方法。

根据本发明实施例的非临时性计算机可读存储介质，存储在其上的计算机程序被处理器执行时，设置相机的成像分辨率，将标定板置于相机的前方，并控制标定板在前、后、左、右方向上进行平移，并在上、下、左、右方向上进行旋转，以通过相机获取标定板上的所有角点，以标定板上的左上角角点为原点建立世界坐标系，以图像的左上角为原点建立像素坐标系，根据世界坐标系与像素坐标系之间的关系，进行相机内参的标定，获取相机采集的图像和激光雷达采集的点云数据，在图像上选取预设个点，并在点云数据选择对应的预设个点云，采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据旋转矩阵R和平移向量t进行激光雷达和相机外参标定。由此，进行相机内参的标定时，控制标定板在多方向上进行平移、旋转，使采集的数据更加均匀，确保一次就标定出准确的内参，因为内参准确，外参也可以一次完成标定，而不需要重复多次尝试标定，且结果准确。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种激光雷达和相机的联合标定方法，其特征在于，包括以下步骤：

设置所述相机的成像分辨率；

将标定板置于所述相机的前方，并控制所述标定板在前、后、左、右方向上进行平移，并在所述上、下、左、右方向上进行旋转，以通过所述相机获取所述标定板上的所有角点；

以所述标定板上的左上角角点为原点建立世界坐标系，以相机获取的图像上左上角为原点建立像素坐标系；

根据所述世界坐标系与所述像素坐标系之间的关系，进行相机内参的标定；

获取所述相机采集的图像和激光雷达采集的点云数据，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云；

采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据所述旋转矩阵R和所述平移向量t进行激光雷达和相机外参标定。

2.根据权利要求1所述的激光雷达和相机的联合标定方法，其特征在于，所述标定板为6x9列的棋盘格，每个格子的大小为0.0249×0.0249m。

3.根据权利要求1所述的激光雷达和相机的联合标定方法，其特征在于，所述世界坐标系与所述像素坐标系之间的关系为：

其中，所述P为所述世界坐标系的点的坐标，

为P的像素坐标，dx、dy为像元尺寸，r为相机的切变系数，f为相机的镜头焦距，u₀、v₀为像素坐标系与成像平面之前原点的平移，R_3×3为相机坐标系与激光雷达坐标系的旋转矩阵，t_3×1为相机坐标系与激光雷达坐标系的平移向量。

4.根据权利要求1所述的激光雷达和相机的联合标定方法，其特征在于，所述预设个为9个，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云，包括：

将所述标定板竖直置于所述相机和所述激光雷达的前方，且所述相机能够采集到所述标定板的图像和所述激光雷达的激光点云可打到所述标定板上；

逐渐放倒所述标定板，直到所述标定板最上面一条激光点云消失的时，逐渐抬起标定板，直至所述激光点云出现时，固定所述标定板；

在所述图像上的标定板左边界或者右边界上选取预设个点，

在所述点云数据上对应选取预设个点云。

5.根据权利要求1所述的激光雷达和相机的联合标定方法，其特征在于，

以所述标定板上的左上角角点为原点建立世界坐标系，包括：当所述标定板在相机正前方，角点数多的边水平向右放置时，向右为x轴，向下为y轴，向里侧为z轴；

以相机获取的图像上左上角为原点建立像素坐标系，包括：所述像素坐标系的u轴向右与所述x轴平行，所述像素坐标系的v轴向下与y轴平行。

6.一种激光雷达和相机的联合标定装置，其特征在于，包括：

设置模块，所述设置模块用于设置所述相机的成像分辨率；

标定模块，所述标定模块用于控制所述标定板在前、后、左、右方向上进行平移，并在所述上、下、左、右方向上进行旋转，以通过所述相机获取所述标定板上的所有角点；

建立模块，所述建立模块用于以所述标定板上的左上角角点为原点建立世界坐标系，以相机获取的图像的左上角为原点建立像素坐标系；

第一标定模块，所述第一标定模块用于根据所述世界坐标系与所述像素坐标系之间的关系，进行相机内参的标定；

选取模块，所述选取模块用于获取所述相机采集的图像和激光雷达采集的点云数据，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云；

第二标定模块，所述第二标定模块用于采用EPnP方法求解激光雷达与相机之间的旋转矩阵R和平移向量t，并根据所述旋转矩阵R和所述平移向量t进行激光雷达和相机外参标定。

7.根据权利要求6所述的激光雷达和相机的联合标定装置，其特征在于，所述标定板为6x9列的棋盘格，每个格子的大小为0.0249×0.0249m。

8.根据权利要求6所述的激光雷达和相机的联合标定装置，其特征在于，

所述世界坐标系与所述像素坐标系之间的关系为：

其中，所述P为所述世界坐标系的点的坐标，

为P的像素坐标，dx、dy为像元尺寸，r为相机的切变系数，f为相机的镜头焦距，u₀、v₀为像素坐标系与成像平面之前原点的平移，R_3×3为相机坐标系与激光雷达坐标系的旋转矩阵，t_3×1为相机坐标系与激光雷达坐标系的平移向量。

9.根据权利要求6所述的激光雷达和相机的联合标定装置，其特征在于，所述预设个为9个，在所述图像上选取预设个点，包括：

所述预设个为9个，在所述图像上选取预设个点，并在所述点云数据选择对应的预设个点云，所述选取模块具体用于：

将所述标定板竖直置于所述相机和所述激光雷达的前方，且所述相机能够采集到所述标定板的图像和所述激光雷达的激光点云可打到所述标定板上；

逐渐放倒所述标定板，直到所述标定板最上面一条激光点云消失的时，逐渐抬起标定板，直至所述激光点云出现时，固定所述标定板；

在所述图像上的标定板左边界或者右边界上选取预设个点，

在所述点云数据上对应选取预设个点云。

10.根据权利要求6所述的激光雷达和相机的联合标定装置，其特征在于，所述建立模块以所述标定板上的左上角角点为原点建立世界坐标系时，当所述标定板在相机正前方，角点数多的边水平向右放置时，向右为x轴，向下为y轴，向里侧为z轴；

所述建立模块以相机获取的图像上左上角为原点建立像素坐标系时，所述像素坐标系的u轴向右与所述x轴平行，所述像素坐标系的v轴向下与y轴平行。

Images