CN112669388A - 激光雷达与摄像装置的标定方法及装置、可读存储介质 - Google Patents

Abstract

一种激光雷达与摄像装置的标定方法及装置、可读存储介质，所述标定方法包括：在激光雷达点云图中，确定第一平面与第二平面的交线；所述交线为表征目标物体的第一特征线；在所述摄像装置采集的二维图像中，选取所述目标物体的第二特征线；将所述第一特征线投影在所述二维图像中，获取所述第一特征线在所述二维图像中的投影线的初始位置；对所述投影线的位置进行调整，确定所述投影线的最终位置，所述最终位置为所述投影线与所述第二特征线重合度最高的位置；根据所述投影线的初始位置以及所述最终位置，获取目标旋转矩阵以及目标平移矩阵。上述方案能够实现点云图与二维图像的精准标定。

Description

激光雷达与摄像装置的标定方法及装置、可读存储介质

技术领域

本发明涉及激光雷达技术领域，尤其涉及一种激光雷达与摄像装置的标定方法及装置、可读存储介质。

背景技术

随着车辆智能化的发展，在家用汽车上安装摄像头等摄像装置以及激光雷达越来越普遍。摄像装置能够获取物体的图像信息，但是受天气光照等因素的影响，在不同的环境下摄像装置采集到的图像信息的质量参差不齐。激光雷达能够获取物体的三维信息，但无法获取物体的纹理颜色等图像信息。

将激光雷达采集的点云图与摄像装置采集的二维图像进行融合，可以同时获取物体的图像信息和三维信息。现有技术中，在对点云图和二维图像进行融合时，通常分别在点云图中和二维图像中选取特征点，根据点云图中的特征点与二维图像中的特征点之间的对应关系，确定旋转矩阵和平移矩阵，以对点云图和二维图像进行标定，以对点云图和二维图像进行融合。

然而，在实际应用的过程中，很难精确地在点云图和二维图像中选取存在对应关系的特征点，难以实现对点云图和二维图像进行精确的标定。

发明内容

本发明实施例解决的技术问题是点云图和二维图像的标定精确度较低。

为解决上述技术问题，本发明实施例提供一种激光雷达与摄像装置的标定方法，包括：在激光雷达点云图中，确定第一平面与第二平面的交线；所述交线为表征目标物体的第一特征线；在所述摄像装置采集的二维图像中，选取所述目标物体的第二特征线；将所述第一特征线投影在所述二维图像中，获取所述第一特征线在所述二维图像中的投影线的初始位置；对所述投影线的位置进行调整，确定所述投影线的最终位置，所述最终位置为所述投影线与所述第二特征线重合度最高的位置；根据所述投影线的初始位置以及所述最终位置，获取目标旋转矩阵以及目标平移矩阵。

可选的，所述投影线存在N个候选位置；所述确定所述投影线的最终位置，包括：当所述投影线在第i个候选位置上时，从所述投影线上选取M个投影点，分别计算每一个投影点与所述第二特征线之间的距离；1≤i≤N，N为整数且N≥2，M为整数且M≥2；计算所述M个投影点与所述第二特征线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置；在每一个候选位置上，从所述投影线上所选取的M个投影点为：所述第一特征线上固定的M个点对应的投影。

可选的，所述投影线存在N个候选位置；所述确定所述投影线的最终位置，包括：从所述第二特征线上选取K个点，分别计算所述K个点中的每一个点与第i个候选位置上的投影线之间的距离；1≤i≤N，N为整数且N≥2，K为整数且K≥2；计算所述K个点与所述第i个候选位置上的投影线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置。

可选的，所述对所述投影线的位置进行调整，包括：根据所述第一特征线以及所述第二特征线，确定初始旋转矩阵以及初始平移矩阵；对所述投影线对应的初始旋转矩阵以及初始平移矩阵进行调整，以对所述投影线的位置进行调整。

可选的，所述对所述投影线对应的旋转矩阵以及平移矩阵进行调整，包括：对所述投影线对应的初始旋转矩阵进行角度转换，对角度转换后的初始旋转矩阵进行调整。

可选的，所述对所述投影线对应的平移矩阵进行调整，包括：对所述投影线对应的初始平移矩阵进行位置转换，对位置转换后的初始平移矩阵进行调整。

可选的，在获取到目标旋转矩阵以及目标平移矩阵之后，还包括：根据所述目标旋转矩阵以及所述目标平移矩阵，将所述激光雷达点云图与所述二维图像进行融合。

本发明实施例还提供了一种激光雷达与摄像装置的标定装置，包括：交线确定单元，用于在激光雷达点云图中，确定第一平面与第二平面的交线；所述交线为表征目标物体的第一特征线；选取单元，用于在所述摄像装置采集的二维图像中，选取所述目标物体的第二特征线；投影单元，用于将所述第一特征线投影在所述二维图像中，获取所述第一特征线在所述二维图像中的投影线的初始位置；位置确定单元，用于对所述投影线的位置进行调整，确定所述投影线的最终位置，所述最终位置为所述投影线与所述第二特征线之间的夹角最小时的位置；矩阵获取单元，用于根据所述投影线的初始位置以及所述最终位置，获取目标旋转矩阵以及目标平移矩阵。

可选的，所述投影线存在N个候选位置；所述位置确定单元，用于当所述投影线在第i个候选位置上时，从所述投影线上选取M个投影点，分别计算每一个投影点与所述第二特征线之间的距离；1≤i≤N，N为整数且N≥2，M为整数且M≥2；计算所述M个投影点与所述第二特征线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置；在每一个候选位置上，从所述投影线上所选取的M个投影点为：所述第一特征线上固定的M个点对应的投影。

可选的，所述投影线存在N个候选位置；所述位置确定单元，用于从所述第二特征线上选取K个点，分别计算所述K个点中的每一个点与第i个候选位置上的投影线之间的距离；1≤i≤N，N为整数且N≥2，K为整数且K≥2；计算所述K个点与所述第i个候选位置上的投影线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置。

可选的，所述位置确定单元，用于根据所述第一特征线以及所述第二特征线，确定初始旋转矩阵以及初始平移矩阵；对所述投影线对应的初始旋转矩阵以及初始平移矩阵进行调整，以对所述投影线的位置进行调整。

可选的，所述位置确定单元，用于对所述投影线对应的初始旋转矩阵进行角度转换，对角度转换后的初始旋转矩阵进行调整。

可选的，所述位置确定单元，用于对所述投影线对应的初始平移矩阵进行位置转换，对位置转换后的初始平移矩阵进行调整。

可选的，所述激光雷达与摄像装置的标定装置还包括：融合单元，用于在所述矩阵获取单元获取到所述目标旋转矩阵以及所述目标平移矩阵之后，根据所述目标旋转矩阵以及所述目标平移矩阵，将所述激光雷达点云图与所述二维图像进行融合。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一种所述的激光雷达与摄像装置的标定方法的步骤。

本发明实施例还提供了一种激光雷达与摄像装置的标定装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一种所述的激光雷达与摄像装置的标定方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在激光雷达点云图中，确定第一平面与第二平面的交线，作为表征目标物体的第一特征线。在二维图像中，选取表征目标物体的第二特征线。根据第一特征线在二维图像中的投影线与第二特征线之间的位置关系，确定投影线的最终位置，进而确定目标旋转矩阵以及目标平移矩阵。在确定目标旋转矩阵以及目标平移矩阵的过程中，无需寻找激光雷达点云图中的点与二维图像中的点之间的对应关系，从而可以能够准确地实现点云图和二维图像的精确标定，实现激光雷达点云图与二维图像的精准融合。

进一步，在对投影线对应的初始旋转矩阵进行调整时，对投影线对应的初始旋转矩阵进行角度转换，对角度变换后的初始旋转矩阵进行调整。将投影线对应的初始旋转矩阵进行角度转换，可以降低对初始旋转矩阵进行调整的计算复杂度。

附图说明

图1是本发明实施例中的一种激光雷达与摄像装置的标定方法的流程图；

图2是本发明实施例中的一种第一特征线、投影线、第二特征线之间的相对关系示意图；

图3是本发明实施例中的一种激光雷达与摄像装置的标定装置结构示意图；

图4是本发明实施例中的一种激光雷达与摄像装置彼此相对位置关系的示意图。

具体实施方式

参照图4，给出了本发明实施例中的一种激光雷达与摄像装置彼此相对位置关系的示意图，要将激光雷达41和如相机类的摄像装置42的图像信息进行有效融合，需要先对其相对位置进行标定，获取之间的旋转矩阵(R)和平移矩阵(t)，图4中，激光雷达41采集到的点云图根据旋转矩阵R和平移矩阵t，即可实现与摄像装置42采集到的二维图像的标定对应。

在将激光雷达采集到的点云图与摄像装置采集到的二维图像进行标定时，很难精确地在点云图和二维图像中选取存在对应关系的特征点，难以实现对点云图和二维图像进行精确的标定。

在本发明实施例中，在确定目标旋转矩阵以及目标平移矩阵的过程中，无需寻找激光雷达点云图中的点与二维图像中的点之间的对应关系，仅需要从激光雷达点云图中选取第一特征线以及从二维图像中选取第二特征线，进而计算出目标旋转矩阵以及目标平移矩阵，从而能够实现点云图和二维图像的精确标定，进而实现激光雷达点云图与二维图像的精准融合。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本发明实施例提供了一种激光雷达与摄像装置的标定方法，参照图1，以下通过具体步骤进行详细说明。

本发明实施例中提供的激光雷达与摄像装置的标定方法可以采用程序来执行，该程序可以运行在处理器等具有程序处理能力的硬件上。

步骤S101，在激光雷达点云图中，确定第一平面与第二平面的交线。

在具体实施中，激光雷达点云图为激光雷达所采集到的点云图。具体的激光雷达采集点云图的过程及原理可以参照现有技术，点云图的采集过程及原理并不对本发明的保护范围造成限制。

在具体实施中，可以在激光雷达点云图中，确定非平行的第一平面以及第二平面，进而在激光雷达点云图中确定第一平面与第二平面的交线。

在具体实施中，在确定第一平面以及第二平面时，可以从点云图中选择多个特征点，来确定第一平面以及第二平面。在实际应用中可知，不在一条直线上的三个点可以确定一个平面，因此，可以在激光雷达点云图中，选取至少三个不在同一条直线上的特征点，分别确定第一平面以及第二平面。

例如，点a、点b、点c三点不在同一条直线上，则可以选取点a、点b、点c，从而确定第一平面。相应地，第二平面也可以采用同样的方式确定。

可以理解的是，还可以通过其他的方法，来确定第一平面与第二平面。具体而言，只要能够在激光雷达点云图中确定第一平面以及第二平面，且所确定的第一平面以及第二平面的交线为表征目标物体的第一特征线的平面确定方法，均可应用于本发明。

在本发明实施例中，第一平面以及第二平面的交线为表征目标物体的第一特征线。目标物体可以是汽车前脸，也可以是墙壁的棱边，还可以是其他物体。

在具体实施中，可以按照一定的规则，自动从激光雷达点云图中选择几个特征点，以确定第一平面以及第二平面，进而确定第一平面与第二平面的交线。

例如，应用程序按照两个平面不平行的规则，从激光雷达点云图中选取4个特征点，从而确定相交的第一平面以及第二平面。

又如，应用程序按照两个平面的交线为突出棱边的规则，从激光雷达点云图中确定相交的第一平面以及第二平面。

可以理解的是，在实际应用中，还可以设定其他的规则，以自动从激光雷达点云图中确定第一平面与第二平面，进而确定第一平面与第二平面的交线。

在具体实施中，也可以由操作人员在激光雷达点云图中，选取几个特征点，以确定第一平面以及第二平面，进而确定第一平面与第二平面的交线。

例如，操作人员可以在激光雷达点云图中，选取点a、点b、点c、点d，确定第一平面以及第二平面。

在具体实施中，在确定了第一平面与第二平面之后，即可确定得到第一平面对应的第一平面方程以及第二平面方程，进而可以计算得到交线对应的方程。具体的平面方程的计算以及交线方程的计算过程可以参照现有技术中的计算过程，本发明实施例不做赘述。

步骤S102，在所述摄像装置采集的二维图像中，选取所述目标物体的第二特征线。

在具体实施中，可以由摄像装置预先采集二维图像。摄像装置可以为摄像头等能够实现图像采集功能的电子设备。在获取到摄像装置预先采集的二维图像之后，可以从二维图像中选取与第一特征线对应的第二特征线。

在本发明实施例中，目标物体对应的第一特征线是针对激光雷达点云图而言，目标物体对应的第二特征线是针对二维图像而言，实质上，第一特征线与第二特征线所表征的位置相同。

例如，目标物体上的两个点依次为a点与b点。在激光雷达点云图中，a点对应点a’，点b对应点b’，且点a’与点b’均位于第一特征线上；在二维图像中，点a对应点a”，点b对应点b”，点a”与点b”均位于第二特征线上。

在具体实施中，步骤S101与步骤S102之间并无实质的逻辑上的先后顺序。在具体执行时，可以先执行步骤S101，后执行步骤S102；也可以先执行步骤S102，后执行步骤S101；还可以同时执行步骤S101与步骤S102。

在执行步骤S101与步骤S102之前，可以先确定目标物体。例如，选取的目标物体为墙壁的棱边。在确定目标物体后，即可分别从激光雷达点云图中以及二维图像中分别获取目标物体的第一特征线以及第二特征线。

步骤S103，将所述第一特征线投影在所述二维图像中，获取所述第一特征线在所述二维图像中的投影线的初始位置。

在具体实施中，在确定了第一特征线之后，可以将第一特征线投影在二维图像中，获取第一特征线在二维图像中的投影线的初始位置。

在本发明实施例中，可以从第一特征线上选取两个点，分别为e’点和g’点，e’点的坐标为

g’点的坐标为

计算e’点在二维图像中的投影e”，以及g’点在二维图像中的投影g”。根据投影e”以及投影g”，可以计算得到第一特征线对应的投影线的方程为：Ax+By+C＝0。上述投影线的方程可以表征投影线的初始位置。

在本发明实施例中，可以采用如下公式计算e’点在二维图像中的投影e”的坐标：

采用如下公式计算g’点在二维图像中的投影g”的坐标：

其中，f为投影过程中的映射，涵盖激光雷达坐标系到摄像转置坐标系的变换；f＝f(R,t)，R为初始旋转矩阵，t为初始平移矩阵，R和t可以根据第一特征线以及第二特征线进行确定。

参照图2，给出了本发明实施例中的一种第一特征线、投影线、第二特征线之间的相对关系示意图。图2中，投影线11”处于第一特征线11投影在二维图像2上的初始位置。从图2中可见，投影线11”与二维图像2上的第二特征线11’之间存在较大的偏离，因此，可以对投影线11”的位置进行调整，也即可以执行步骤S104。

步骤S104，对所述投影线的位置进行调整，确定投影线的最终位置。

在具体实施中，由于投影线是在二维图像上，因此，在得到投影线的初始位置之后，即可对投影线的位置进行调整，确定投影线的最终位置。在本发明实施例中，投影线的最终位置可以为：投影线与第二特征线的重合度最高的位置。投影线与第二特征线的重合度最高，意味着投影线与第二特征线之间的偏差最小。因此，投影线的最终位置实质上是：投影线与第二特征线之间的偏差最小的位置。

在具体实施中，可以依次遍历投影线在二维图像上的所有候选位置，进而选取与第二特征线的重合度最高的候选位置，作为投影线的最终位置。

在具体实施中，投影线在二维图像上的候选位置的个数可以为N个，也即投影线存在N个候选位置。投影线的初始位置可以为投影线的候选位置中的一个。

在实际应用中，当N的取值较大时，投影线的最终位置与第二特征线的重合度较高，但是计算量可能较大；当N的取值较小时，投影线的最终位置与第二特征线的重合度较低，但是计算量较小。因此，可以综合重合度和计算量进行考虑，来确定投影线的候选位置的个数。

在确定投影线的最终位置的过程中，当投影线在第i个候选位置上时，从投影线上选取M个点，并计算M个点中的每一个点与第二特征线之间的距离，从而可以得到M个距离。计算M个点与第二特征线之间的距离总和，得到投影线在第i个候选位置对应的距离总和。由于投影线的候选位置有N个，因此可以得到N个距离总和。从N个距离总和中，选取出最小值，该最小值对应的投影线的候选位置，即可作为投影线的最终位置。M与N均为整数，且N≥2，M≥2，1≤i≤N。

也就是说，在本发明实施例中，投影线与第二特征线重合度最高的位置，即为M个点与第二特征线之间的距离总和最小的候选位置。

在每一个候选位置上，从投影线上所选取的M个投影点为：第一特征线上固定的M个点对应的投影。

例如，N＝4，M＝2。第一特征线上固定的两个点分别为a点和b点。当投影线在第i个候选位置上时，a点在投影线上对应a_i点，b点在投影线上对应b_i点。

计算投影线在第1个候选位置上，a₁点与第二特征线之间的距离、b₁点与第二特征线之间的距离，将a₁点与第二特征线之间的距离、b₁点与第二特征线之间的距离求和，得到的和值即为投影线在第1个候选位置对应的距离总和d₁。

继续参照图2，假设投影线11”的第1个候选位置为投影线11”的初始位置。从第一特征线上选取a点和b点，a点在投影线11”对应的a₁点，b点在投影线上对应b₁点。

计算a₁点与第二特征线11’的距离、b₁点与第二特征线11’的距离，将求得的两个距离求和，得到的和值即为投影线11”在第1个候选位置对应的距离总和。

以此类推，分别计算投影线在第2个候选位置上对应的距离总和d₂、在第3个候选位置上对应的距离总和d₃以及第4个候选位置上对应的距离总和d₄。四个距离总和的大小关系为：d₁＜d₃＜d₂＜d₄，因此，确定投影线的最终位置为投影线对应的第1个候选位置。

在具体实施中，也可以从第二特征线上选取K个点，分别计算K个点中的每一个点与第i个候选位置上的投影线之间的距离，K为整数且K≥2。计算K个点与第i个候选位置上的投影线之间的距离总和，可以得到第i个候选位置对应的距离总和。由于投影线存在N个候选位置，因此可以得到N个距离总和。从N个距离总和中，选择最小值对应的候选位置，作为投影线的最终位置。

例如，N＝4，K＝2，从第二特征线上选取a’点、b’点。当投影线在第1个候选位置时上时，分别计算a’点与第1个候选位置上的投影线的距离、b’点与第1个候选位置上的投影线的距，将两个距离相加，即可得到第1个候选位置对应的距离总和d₁’。当投影在第2个候选位置上时，分别计算a’点与第2个候选位置上的投影线的距离、b’点与第2个候选位置上的投影线的距离，将两个距离相加，即可得到第2个候选位置对应的距离总和d₂’。以此类推，可以计算得到第3个候选位置对应的距离总和d₃’、第4个候选位置对应的距离总和d₄’。

例如，设定投影线当前处于第1个候选位置，且投影线对应的直线方程为Ax+By+C＝0。假设第二特征线上的点a’的坐标为

则点a’与投影线11”之间的距离为：

同理，可以采用上述点a’与投影线11”之间的距离，求取第b’与投影线11”之间的距离。

将4个距离总和进行比较，获知d₁’＜d₃’＜d₂’＜d₄’，因此，确定投影线的最终位置为投影线对应的第1个候选位置。

步骤S105，根据所述投影线的初始位置以及最终位置，获取目标旋转矩阵以及目标平移矩阵。

在具体实施中，在确定了投影线的最终位置之后，可以结合投影线的初始位置，确定出投影线在二维图像上对应的目标旋转矩阵以及目标平移矩阵。具体的，目标旋转矩阵以及目标平移矩阵可以根据投影线的初始位置对应的方程以及最终位置对应的方程求解。

在具体实施中，在对投影线的位置进行调整时，可以是对投影线的初始旋转矩阵以及初始平移矩阵进行调整。通过对投影线对应的初始旋转矩阵以及初始平移矩阵进行调整，即可实现对投影线的位置进行调整。

例如，对投影线的初始旋转矩阵和初始平移矩阵分别进行第1次调整，将投影线的位置调整至第1个候选位置；对投影线的初始旋转矩阵和初始平移矩阵分别进行第2次调整，将投影线的位置调整至第2个候选位置。以此类推，对投影线的初始旋转矩阵和初始平移矩阵进行N次调整，将投影线的位置调整至第N个候选位置，从而实现投影线在N个候选位置的遍历。

由于投影线对应的初始旋转矩阵的行数和列数均大于2，因此，若直接对投影线对应的初始旋转矩阵进行运算时，所需的计算量较大。为降低对投影线的位置进行调整所需的计算量，在本发明实施例中，可以对投影线对应的初始旋转矩阵进行角度变换，对角度变换后的初始旋转矩阵进行调整。

在实际应用中，投影线对应的初始旋转矩阵通常为3×3的矩阵，也即初始旋转矩阵为3行3列的矩阵。若直接对初始旋转矩阵进行运算，则需要的计算量较大。对投影线对应的初始旋转矩阵进行角度变换时，角度变换后的初始旋转矩阵为1×3的行向量。对角度变换后的初始旋转矩阵进行运算时，所需的计算量要远小于直接对初始旋转矩阵进行运算的计算量。

在具体实施中，可以通过roll、pitch、yaw角度转换方法(姿态角角度转换方法)，对初始旋转矩阵进行角度转换。

可以理解的是，还可以采用其他的角度转换方法，对初始旋转矩阵进行角度转换，从而实现对初始旋转矩阵的降维处理。

在具体实施中，在对投影线对应的初始平移矩阵进行调整时，可以对投影线对应的初始平移矩阵进行位置转换，并对位置转换后的初始平移矩阵进行调整。

在具体实施中，在对投影线的位置进行调整时，也可以是对上一次调整后的旋转矩阵以及平移矩阵进行调整。

例如，对投影线的初始旋转矩阵和初始平移矩阵分别进行第1次调整，将投影线的位置调整至第1个候选位置；对第1个候选位置对应的旋转矩阵以及平移矩阵进行调整，将投影线的位置调整至第2个候选位置。以此类推，对第N-1个候选位置对应的旋转矩阵以及平移矩阵进行调整，将投影线的位置调整至第N个候选位置，从而实现投影线在N个候选位置的遍历。

在对上一次调整后的旋转矩阵以及平移矩阵进行调整时，其本质上也是对投影线的初始旋转矩阵和初始平移矩阵进行调整。无论是对上一次调整后的旋转矩阵以及平移矩阵进行调整，还是只对投影线的初始旋转矩阵以及初始平移矩阵进行调整，二者得到的调整结果是相同的，并不会对最终的目标旋转矩阵以及目标平移矩阵的获取造成影响。

在获取到目标旋转矩阵以及目标平移矩阵之后，即刻根据目标旋转矩阵以及目标平移矩阵，对激光雷达点云图与二维图像进行融合，从而获取既包括激光雷达点云图又包括二维图像的图像。

综上可见，在本发明实施例中，在确定目标旋转矩阵以及目标平移矩阵的过程中，无需寻找激光雷达点云图中的点与二维图像中的点之间的对应关系，从而可以能够准确地实现点云图和二维图像的精确标定，实现激光雷达点云图与二维图像的精准融合。

参照图3，本发明实施例还提供了一种激光雷达与摄像装置的标定装置30，包括：交线确定单元301、选取单元302、投影单元303、位置确定单元304以及矩阵获取单元305，其中：

交线确定单元301，用于在激光雷达点云图中，确定第一平面与第二平面的交线；所述交线为表征目标物体的第一特征线；

选取单元302，用于在所述摄像装置采集的二维图像中，选取所述目标物体的第二特征线；

投影单元303，用于将所述第一特征线投影在所述二维图像中，获取所述第一特征线在所述二维图像中的投影线的初始位置；

位置确定单元304，用于对所述投影线的位置进行调整，确定所述投影线的最终位置，所述最终位置为所述投影线与所述第二特征线之间的夹角最小时的位置；

矩阵获取单元305，用于根据所述投影线的初始位置以及所述最终位置，获取目标旋转矩阵以及目标平移矩阵。

在具体实施中，所述投影线可以存在N个候选位置；所述位置确定单元304，可以用于当所述投影线在第i个候选位置上时，从所述投影线上选取M个投影点，分别计算每一个投影点与所述第二特征线之间的距离；1≤i≤N，N为整数且N≥2，M为整数且M≥2；计算所述M个投影点与所述第二特征线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置；在每一个候选位置上，从所述投影线上所选取的M个投影点为：所述第一特征线上固定的M个点对应的投影。

在具体实施中，所述投影线可以存在N个候选位置；所述位置确定单元304，可以用于从所述第二特征线上选取K个点，分别计算所述K个点中的每一个点与第i个候选位置上的投影线之间的距离；1≤i≤N，N为整数且N≥2，K为整数且K≥2；计算所述K个点与所述第i个候选位置上的投影线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置。

在具体实施中，所述位置确定单元304，可以用于对所述投影线对应的旋转矩阵以及平移矩阵进行调整，以对所述投影线的位置进行调整。

在具体实施中，所述位置确定单元304，可以用于对所述投影线对应的旋转矩阵进行角度转换，对角度转换后的旋转矩阵进行调整。

在具体实施中，所述位置确定单元304，可以用于对所述投影线对应的平移矩阵进行位置转换，对位置转换后的平移矩阵进行调整。

在具体实施中，所述激光雷达与摄像装置的标定装置30还可以包括：融合单元306，用于在所述矩阵获取单元获取到所述目标旋转矩阵以及所述目标平移矩阵之后，根据所述目标旋转矩阵以及所述目标平移矩阵，将所述激光雷达点云图与所述二维图像进行融合。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，所述计算机执行运行时执行本发明上述实施例中提供的激光雷达与摄像装置的标定方法的步骤。

本发明实施例提供了另一种激光雷达与摄像装置的标定装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行本发明上述实施例中提供的激光雷达与摄像装置的标定方法的步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指示相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (16)

1.一种激光雷达与摄像装置的标定方法，其特征在于，包括：

在激光雷达点云图中，确定第一平面与第二平面的交线；所述交线为表征目标物体的第一特征线；

在所述摄像装置采集的二维图像中，选取所述目标物体的第二特征线；

将所述第一特征线投影在所述二维图像中，获取所述第一特征线在所述二维图像中的投影线的初始位置；

对所述投影线的位置进行调整，确定所述投影线的最终位置，所述最终位置为所述投影线与所述第二特征线重合度最高的位置；

根据所述投影线的初始位置以及所述最终位置，获取目标旋转矩阵以及目标平移矩阵。

2.如权利要求1所述的激光雷达与摄像装置的标定方法，其特征在于，所述投影线存在N个候选位置；所述确定所述投影线的最终位置，包括：

当所述投影线在第i个候选位置上时，从所述投影线上选取M个投影点，分别计算每一个投影点与所述第二特征线之间的距离；1≤i≤N，N为整数且N≥2，M为整数且M≥2；

计算所述M个投影点与所述第二特征线之间的距离总和，得到第i个候选位置对应的距离总和；

从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置；在每一个候选位置上，从所述投影线上所选取的M个投影点为：所述第一特征线上固定的M个点对应的投影。

3.如权利要求1所述的激光雷达与摄像装置的标定方法，其特征在于，所述投影线存在N个候选位置；所述确定所述投影线的最终位置，包括：

从所述第二特征线上选取K个点，分别计算所述K个点中的每一个点与第i个候选位置上的投影线之间的距离；1≤i≤N，N为整数且N≥2，K为整数且K≥2；

计算所述K个点与所述第i个候选位置上的投影线之间的距离总和，得到第i个候选位置对应的距离总和；

从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置。

4.如权利要求1所述的激光雷达与摄像装置的标定方法，其特征在于，所述对所述投影线的位置进行调整，包括：

根据所述第一特征线以及所述第二特征线，确定初始旋转矩阵以及初始平移矩阵；

对所述投影线对应的初始旋转矩阵以及初始平移矩阵进行调整，以对所述投影线的位置进行调整。

5.如权利要求4所述的激光雷达与摄像装置的标定方法，其特征在于，所述对所述投影线对应的初始旋转矩阵以及初始平移矩阵进行调整，包括：

对所述投影线对应的初始旋转矩阵进行角度转换，对角度转换后的初始旋转矩阵进行调整。

6.如权利要求4所述的激光雷达与摄像装置的标定方法，其特征在于，所述对所述投影线对应的初始平移矩阵进行调整，包括：

对所述投影线对应的初始平移矩阵进行位置转换，对位置转换后的初始平移矩阵进行调整。

7.如权利要求1～6任一项所述的激光雷达与摄像装置的标定方法，其特征在于，在获取到目标旋转矩阵以及目标平移矩阵之后，还包括：

根据所述目标旋转矩阵以及所述目标平移矩阵，将所述激光雷达点云图与所述二维图像进行融合。

8.一种激光雷达与摄像装置的标定装置，其特征在于，包括：

交线确定单元，用于在激光雷达点云图中，确定第一平面与第二平面的交线；所述交线为表征目标物体的第一特征线；

选取单元，用于在所述摄像装置采集的二维图像中，选取所述目标物体的第二特征线；

投影单元，用于将所述第一特征线投影在所述二维图像中，获取所述第一特征线在所述二维图像中的投影线的初始位置；

位置确定单元，用于对所述投影线的位置进行调整，确定所述投影线的最终位置，所述最终位置为所述投影线与所述第二特征线之间的夹角最小时的位置；

矩阵获取单元，用于根据所述投影线的初始位置以及所述最终位置，获取目标旋转矩阵以及目标平移矩阵。

9.如权利要求8所述的激光雷达与摄像装置的标定装置，其特征在于，所述投影线存在N个候选位置；所述位置确定单元，用于当所述投影线在第i个候选位置上时，从所述投影线上选取M个投影点，分别计算每一个投影点与所述第二特征线之间的距离；1≤i≤N，N为整数且N≥2，M为整数且M≥2；计算所述M个投影点与所述第二特征线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置；在每一个候选位置上，从所述投影线上所选取的M个投影点为：所述第一特征线上固定的M个点对应的投影。

10.如权利要求8所述的激光雷达与摄像装置的标定装置，其特征在于，所述投影线存在N个候选位置；所述位置确定单元，用于从所述第二特征线上选取K个点，分别计算所述K个点中的每一个点与第i个候选位置上的投影线之间的距离；1≤i≤N，N为整数且N≥2，K为整数且K≥2；计算所述K个点与所述第i个候选位置上的投影线之间的距离总和，得到第i个候选位置对应的距离总和；从N个距离总和中，选择最小值对应的候选位置，作为所述投影线的最终位置。

11.如权利要求8所述的激光雷达与摄像装置的标定装置，其特征在于，所述位置确定单元，用于根据所述第一特征线以及所述第二特征线，确定初始旋转矩阵以及初始平移矩阵；对所述投影线对应的初始旋转矩阵以及初始平移矩阵进行调整，以对所述投影线的位置进行调整。

12.如权利要求11所述的激光雷达与摄像装置的标定装置，其特征在于，所述位置确定单元，用于对所述投影线对应的初始旋转矩阵进行角度转换，对角度转换后的初始旋转矩阵进行调整。

13.如权利要求12所述的激光雷达与摄像装置的标定装置，其特征在于，所述位置确定单元，用于对所述投影线对应的初始平移矩阵进行位置转换，对位置转换后的初始平移矩阵进行调整。

14.如权利要求8～13任一项所述的激光雷达与摄像装置的标定装置，其特征在于，还包括：融合单元，用于在所述矩阵获取单元获取到所述目标旋转矩阵以及所述目标平移矩阵之后，根据所述目标旋转矩阵以及所述目标平移矩阵，将所述激光雷达点云图与所述二维图像进行融合。

15.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1～7任一项所述的激光雷达与摄像装置的标定方法的步骤。

16.一种激光雷达与摄像装置的标定装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1～7任一项所述的激光雷达与摄像装置的标定方法的步骤。

Images