CN115457140A - 一种标定车载相机外参的处理方法和装置 - Google Patents

Abstract

本发明实施例涉及一种标定车载相机外参的处理方法和装置，所述方法包括：确认第一相机、第一雷达和第一标定板；调用第一相机进行图像拍摄得到第一图像；调用第一雷达进行扫描得到第一点云；对第一图像中标定板四个圆形区域中心点进行识别；对第一点云中标定板四个圆形区域中心点进行识别；生成四个匹配点对；根据四个匹配点对进行相机外参预估；对第一图像进行二值图转换生成第一校准二值图；将第一点云中处于标定板四个圆形区域作为第一校准点云；根据第一校准点云和第一校准二值图对第一外参矩阵进行外参矩阵微调；并将微调结果作为相机外参标定输出。通过本发明不用使用任何复杂标定器材就能完成标定，也无需将车辆送到固定场所。

Description

一种标定车载相机外参的处理方法和装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种标定车载相机外参的处理方法和装置。

背景技术

自动驾驶车辆需要定期对车载相机进行外参标定。目前常用的相机外参标定方案是基于手眼标定方式的技术方案，这种标定方式需要特殊的标定器材予以配合，这些标定器材都不属于便携设备，所以每次进行相机外参标定时还需将车辆送至指定场所才能完成标定。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种标定车载相机外参的处理方法、装置、电子设备及计算机可读存储介质；以一个简单的标定板为参考获得像素坐标系与激光雷达坐标系下的四对匹配点；基于四对匹配点对相机外参进行预估；再基于一个校准点云对预估的相机外参进行微调。通过本发明方法，不使用任何复杂标定器材就能完成外参标定；将标定板放在车上工作人员就能在任何位置进行自主标定，无需将车辆送到固定的标定场所。

在对相机和激光雷达的数据进行融合时就可避免发生图像数据与点云数据错位的问题。

为实现上述目的，本发明实施例第一方面提供了一种标定车载相机外参的处理方法，所述方法包括：

选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在所述第一相机的拍摄范围与所述第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；所述第一标定板的形状为矩形，所述第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，所述第一标定板上除所述四个圆形图像区域之外的区域记为第一底板区域；所述四个圆形图像区域被浅色高反材料薄膜均匀覆盖，所述第一底板区域无高反材料薄膜覆盖且所述第一底板区域的颜色为黑色；

调用所述第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用所述第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云；

对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；

将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对；

根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对所述第一图像进行二值图转换生成对应的第一校准二值图；并将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将所述第二外参矩阵作为当次车载相机外参标定的标定结果输出。

优选的，所述对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标，具体包括：

对所述第一图像进行二值图转换得到对应的第一二值图；所述第一二值图的大小与所述第一图像保持一致；所述第一二值图上所述第一底板区域的颜色为白色，所述第一底板区域之外其余区域的颜色为黑色；

在所述第一二值图上对所述第一底板区域的四个顶点进行顺次连接得到一个对应的四边形区域记为第一四边形区域；所述第一四边形区域上包括所述第一、第二、第三和第四圆形区域对应的四个黑色圆形区域；

对所述第一四边形区域内四个黑色圆形区域的边沿点进行提取生成对应的第一、第二、第三和第四边沿点集合；

对所述第一、第二、第三和第四边沿点集合分别进行霍夫变换圆形检测处理得到对应的四个圆形中心点记为第一、第二、第三和第四圆形中心点；并将所述第一、第二、第三和第四圆形中心点的像素坐标作为对应的所述第一、第二、第三和第四中心点像素坐标。

优选的，所述第一点云中各点均对应一个第一点云数据；所述第一点云数据包括第一激光雷达坐标和第一雷达反射强度；所述第一激光雷达坐标包括一个第一深度坐标分量。

优选的，所述对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标，具体包括：

将所述第一点云中所述第一雷达反射强度高于预设的高反射强度阈值的点记为对应的第一高返点；并从所述第一点云中提取所有所述第一高返点组成对应的第二点云；

对所述第二点云进行点云聚类得到四个聚类子点云；并按与所述第一标定板上左上、右上、右下和左下四个圆形图像区域的对应关系，将所述四个聚类子点云分别标记为对应的第一、第二、第三和第四子点云；并分别对所述第一、第二、第三和第四子点云进行边沿点云识别得到对应的第一、第二、第三和第四边沿点云；

通过对所述第一、第二、第三和第四边沿点云分别进行球面拟合得到对应的四个球面中心点记为第一、第二、第三和第四球面中心点；并将所述第一、第二、第三和第四球面中心点的激光雷达坐标作为对应的所述第一、第二、第三和第四中心点雷达坐标。

优选的，所述根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵，具体包括：

确定像素-激光雷达坐标转换方程为

其中，(x,y,z)为激光雷达坐标坐标系的三维坐标，(u,v)为像素坐标系的二维坐标，A为已知的相机内参矩阵，

为待标定的相机外参矩阵，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃、t₁、t₂和t₃为相机外参矩阵的矩阵参数；

将所述第一匹配点对的所述第一中心点像素坐标和所述第一中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第一方程式；并将所述第二匹配点对的所述第二中心点像素坐标和所述第二中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第二方程式；并将所述第三匹配点对的所述第三中心点像素坐标和所述第三中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第三方程式；并将所述第四匹配点对的所述第四中心点像素坐标和所述第四中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第四方程式；

基于PnP算法对所述第一、第二、第三和第四方程式进行求解得到相机外参矩阵十二个矩阵参数r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃、t₁、t₂和t₃的参数值，并将十二个矩阵参数的参数值代入所述相机外参矩阵得到对应的所述第一外参矩阵。

优选的，所述第一校准二值图的大小与所述第一图像保持一致；所述第一校准二值图上所述第一底板区域的颜色为白色，所述第一底板区域之外其余区域的颜色为黑色。

优选的，所述将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云，具体包括：

由所述第一点云的所述第一、第二、第三和第四子点云组成对应的所述第一校准点云。

优选的，所述根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵，具体包括：

步骤81，确定相机坐标系中三轴欧拉角θ_x、θ_y、θ_z与相机外参矩阵中的旋转矩阵

的第一关系式和第二关系；

所述第一关系式为：

θ_x＝atan2(r₃₂,r₃₃)

θ_z＝atan2(r₂₁,r₁₁)

所述第二关系式为：

步骤82，将所述第一外参矩阵的矩阵参数r₁₁、r₂₁、r₃₁、r₃₂、r₃₃带入所述第一关系式进行计算，并将得到的三个欧拉角θ_x、θ_y、θ_z的值作为对应的第一欧拉角

第二欧拉角

和第三欧拉角

步骤83，根据预设的第一、第二和第三微调阈值a₁、a₂、a₃和所述第一、第二、第三欧拉角

设置对应的第一、第二和第三参数微调范围；并根据预设的第四、第五和第六微调阈值a₄、a₅、a₆和所述第一外参矩阵的矩阵参数t₁、t₂、t₃，设置对应的第四、第五和第六参数微调范围；并根据预设的滑动次数N和所述第一、第二、第三、第四、第五和第六微调阈值a₁、a₂、a₃、a₄、a₅、a₆，设置对应的第一、第二、第三、第四、第五和第六滑动步长△a₁、△a₂、△a₃、△a₄、△a₅、△a₆；

其中，

所述第一参数微调范围为

所述第二参数微调范围为

所述第三参数微调范围为

所述第四参数微调范围为[t₁-a₄,t₁+a₄]，

所述第五参数微调范围为[t₂-a₅,t₂+a₅]，

所述第六参数微调范围为[t₃-a₆,t₃+a₆]，

△a₁＝2*a₁/N，△a₂＝2*a₂/N，△a₃＝2*a₃/N，

△a₄＝2*a₄/N，△a₅＝2*a₅/N，△a₆＝2*a₆/N；

步骤84，对第一索引i、第一变量θ_x,i、第二变量θ_y,i、第三变量θ_z,i、第四变量t_1,i、第五变量t_2,i和第六变量t_3,i进行初始化：

i＝0，

t_1,i＝t₁-a₄，

t_2,i＝t₂-a₅，

t_3,i＝t₃-a₆；

步骤85，将所述第一、第二、第三变量θ_x,i、θ_y,i、θ_z,i代入所述第二关系式得到一组最新的矩阵参数r_11,i、r_12,i、r_13,i、r_21,i、r_22,i、r_23,i、r_31,i、r_32,i、r_33,I；并使用所述最新的矩阵参数r_11,i、r_12,i、r_13,i、r_21,i、r_22,i、r_23,i、r_31,i、r_32,i、r_33,I与所述第四、第五、第六变量t_1,i、t_2,i、t_3,i对所述第一外参矩阵的矩阵参数进行替换得到对应的第一微调外参矩阵

步骤86，基于所述第一微调外参矩阵对所述第一校准点云中各点的激光雷达坐标做从激光雷达坐标系到像素坐标系的坐标转换生成对应的第一像素坐标；并将所述第一校准二值图上与各个所述第一像素坐标匹配的像素点记为对应的第一像素点；并对所有所述第一像素点的像素值进行总和计算生成对应的第一像素总和S_i；

步骤87，对所述第一索引i加1；并根据所述第一、第二、第三、第四、第五和第六滑动步长△a₁、△a₂、△a₃、△a₄、△a₅、△a₆和新的所述第一索引i，对所述第一变量θ_x,i、所述第二变量θ_y,i、所述第三变量θ_z,i、所述第四变量t_1,i、所述第五变量t_2,i和所述第六变量t_3,i进行重置；

t_1,i＝(t₁-a₄)+△a₄*i，

t_2,i＝(t₂-a₅)+△a₅*i，

t_3,i＝(t₃-a₆)+△a₆*i；

步骤88，判断所述第一索引i是否大于所述滑动次数N；若是则转至步骤89；若否则转至步骤85；

步骤89，从得到的N+1个所述第一像素总和S_i中选出最小值作为对应的最小像素总和S_min；并将所述最小像素总和S_min对应的所述第一微调外参矩阵作为对应的所述第二外参矩阵。

本发明实施例第二方面提供了一种用于实现上述第一方面所述的标定车载相机外参的处理方法的装置，所述装置包括：准备模块、匹配点对处理模块和外参矩阵处理模块；

所述准备模块用于选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在所述第一相机的拍摄范围与所述第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；所述第一标定板的形状为矩形，所述第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，所述第一标定板上除所述四个圆形图像区域之外的区域记为第一底板区域；所述四个圆形图像区域被浅色高反材料薄膜均匀覆盖，所述第一底板区域无高反材料薄膜覆盖且所述第一底板区域的颜色为黑色；

所述准备模块还用于调用所述第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用所述第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云；

所述匹配点对处理模块用于对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；并将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对；

所述外参矩阵处理模块用于根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对所述第一图像进行二值图转换生成对应的第一校准二值图；并将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将所述第二外参矩阵作为当次车载相机外参标定的标定结果输出。

本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；

所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；

所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。

本发明实施例提供了一种标定车载相机外参的处理方法、装置、电子设备及计算机可读存储介质；以一个简单的标定板为参考获得像素坐标系与激光雷达坐标系下的四对匹配点；基于四对匹配点对相机外参进行预估；再基于一个校准点云对预估的相机外参进行微调。通过本发明方法，不使用任何复杂标定器材就能完成外参标定；将标定板放在车上工作人员就能在任何位置进行自主标定，无需将车辆送到固定的标定场所。

附图说明

图1为本发明实施例一提供的一种标定车载相机外参的处理方法示意图；

图2a为本发明实施例一提供的第一标定板示意图；

图2b为本发明实施例一提供的第一二值图示意图；

图3为本发明实施例二提供的一种标定车载相机外参的处理装置的模块结构图；

图4为本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例一提供一种标定车载相机外参的处理方法，如图1为本发明实施例一提供的一种标定车载相机外参的处理方法示意图所示，本方法主要包括如下步骤：

步骤1，选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在第一相机的拍摄范围与第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；

其中，第一标定板的形状为矩形，第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，第一标定板上除四个圆形图像区域之外的区域记为第一底板区域；四个圆形图像区域被浅色高反材料薄膜均匀覆盖，第一底板区域无高反材料薄膜覆盖且第一底板区域的颜色为黑色。

这里，在通过后续步骤进行相机外参标定之前先选择一对相机和激光雷达作为对应的第一相机、第一雷达，并安置一个标定板即第一标定板；第一相机和第一雷达的拍摄与扫描范围存在重叠区域，第一标定板就在安置在重叠区域中。安置第一标定板时尽量使之垂直于地面，第一标定板距离车身的距离可以根据第一相机拍摄图像中第一标定板的图像占比来设置，诸如，在成像清晰度良好的情况下以成像占比1/4到3/4的范围来做距离范围参考。第一标定板如图2a为本发明实施例一提供的第一标定板示意图所示；第一标定板自身的材质没有特定要求，用硬纸板、硬塑料板或陶瓷板等都可以；第一标定板上的浅色高反材料薄膜可以是粘贴的材料薄膜、诸如常见的铝箔或铝膜，也可以是使用涂料粉刷、喷涂后形成的薄膜。

步骤2，调用第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云；

其中，第一点云中各点均对应一个第一点云数据；第一点云数据包括第一激光雷达坐标和第一雷达反射强度；第一激光雷达坐标包括一个第一深度坐标分量。

这里，由公知的点云特征我们可知，第一点云中每个点的特征数据即第一点云数据都包括一个三维的点云坐标和一个反射强度即第一雷达反射强度，该点云坐标的坐标系默认为激光雷达坐标系所以本发明实施例将其作为第一激光雷达坐标，若激光雷达坐标系为x轴向前、y轴向左、z轴向上的右手坐标系，那么第一激光雷达坐标(x,y,z)三个坐标分量中的x轴分量即为第一深度坐标分量；同理，第一图像中每个像素点也对应一个二维的像素坐标系的像素坐标(u,v)和一个单通道或多通道的像素特征。

步骤3，对第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；

具体包括：步骤31，对第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；

具体包括：步骤311，对第一图像进行二值图转换得到对应的第一二值图；

其中，第一二值图的大小与第一图像保持一致；第一二值图上第一底板区域的颜色为白色，第一底板区域之外其余区域的颜色为黑色；

这里，本发明实施例在进行二值图转换时，先对第一图像进行灰度图转换，再基于灰度图进行二值图转换，再基于已知的标定板几何形状对转换得到的二值图进行噪点消除，得到的第一二值图如图2b为本发明实施例一提供的第一二值图示意图所示；对第一图像进行二值图转换的目的就是为了尽可能的将第一图像上处于第一标定板之外的其他像素点设为背景像素点(背景像素点的颜色预设为黑色)、将第一标定板的第一底板区域上的像素点设为前景像素点(前景像素点的颜色预设为白色)，因为第一标定板上四个圆形图像区域使用的是浅色薄膜覆盖所以四个圆形图像区域上的像素点的颜色也应与背景像素点的颜色相同为黑色；

步骤312，在第一二值图上对第一底板区域的四个顶点进行顺次连接得到一个对应的矩形区域记为第一四边形区域；

其中，第一四边形区域上包括第一、第二、第三和第四圆形区域对应的四个黑色圆形区域；

这里，本发明实施例先对第一二值图上第一底板区域的四个顶点进行确认，然后对四个顶点按顺时针或逆时针方向顺次连接就能得到第一四边形区域；

需要说明的是，本发明实施例在确定第一底板区域的四个顶点时支持多种实现方式，其中一种为：对第一二值图上各个白色像素点进行遍历；遍历时，将当前遍历的白色像素点作为当前像素点，并对当前像素点的四邻域或八邻域中是否同时存在黑色和白色像素点进行判断，若是则将当前像素点标记为边沿像素点；遍历结束时，将所有边沿像素点按顺时针或逆时针方向排序生成对应的边沿像素点序列，该边沿像素点序列的最后一个边沿像素点与第一个边沿像素点重合；并对边沿像素点序列中各个边沿像素点到前后两个相邻边沿像素点的向量夹角余弦进行计算得到对应的第一余弦值；并将第一余弦值的绝对值最小的四个边沿像素点作为第一四边形区域的四个顶点；

步骤313，对第一四边形区域内四个黑色圆形区域的边沿点进行提取生成对应的第一、第二、第三和第四边沿点集合；

这里，在得到第一四边形区域之后以第一四边形区域的中心做第一四边形区域的四边平行线就能将第一四边形区域等分为四个子区域，按与第一标定板的左上、右上、右下和左下四个圆形图像区域的对应关系将四个子区域对应的记为第一、第二、第三和第四子区域，每个子区域的背景像素点的颜色为白色、前景像素点的颜色为黑色；在第一、第二、第三或第四子区域中对各个黑色像素点进行遍历，并在遍历时将当前遍历的白色像素点作为当前像素点，并对当前像素点的四邻域或八邻域中是否同时存在黑色和白色像素点进行判断，若是则将当前像素点标记为边沿点，并在遍历结束时将当前子区域中得到的所有边沿点组成对应的第一、第二、第三或第四边沿点集合；

步骤314，对第一、第二、第三和第四边沿点集合分别进行霍夫变换圆形检测处理得到对应的四个圆形中心点记为第一、第二、第三和第四圆形中心点；并将第一、第二、第三和第四圆形中心点的像素坐标作为对应的第一、第二、第三和第四中心点像素坐标；

这里，霍夫变换的圆形检测原理可由公开的技术文献获知，在此不做一一赘述；简单来说，本发明实施例在对第一、第二、第三和第四边沿点集合分别进行霍夫变换圆形检测处理之前，像素坐标系到霍夫圆空间(a,b,r)的转换关系以及霍夫圆空间(a,b,r)到像素坐标系的转换关系都是已知的，在进行霍夫变换圆形检测处理时先根据像素坐标系到霍夫圆空间的转换关系将第一、第二、第三或第四边沿点集合中的所有边沿点都投影到霍夫圆空间上得到多个三维锥面，并将所有三维锥面在r高度上的交点坐标(a₀,b₀,r₀)提取出来作为与当前边沿点集合对应的圆形特征数据，再根据霍夫圆空间到像素坐标系的转换关系对当前圆形特征数据(a₀,b₀,r₀)进行坐标系转换就能得到在像素坐标系下与当前边沿点集合对应圆形的中心点即第一、第二、第三或第四圆形中心点，而第一、第二、第三和第四圆形中心点在像素坐标系下的点坐标就是第一、第二、第三和第四中心点像素坐标；

步骤32，对第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；

具体包括：步骤321，将第一点云中第一雷达反射强度高于预设的高反射强度阈值的点记为对应的第一高返点；并从第一点云中提取所有第一高返点组成对应的第二点云；

这里，由前文可知第一标定板上四个圆形区域都由浅色高反材料薄膜均匀覆盖，因此在第一点云中与这四个圆形区域对应的各点的第一雷达反射强度会远大于这四个圆形区域之外各点的第一雷达反射强度，本发明实施例基于一个预先设置的高反射度经验阈值即高反射强度阈值对第一点云各点进行滤波，得到的第二点云则主要由这四个圆形区域的子点云构成；

步骤322，对第二点云进行点云聚类得到四个聚类子点云；并按与第一标定板上左上、右上、右下和左下四个圆形图像区域的对应关系，将四个聚类子点云分别标记为对应的第一、第二、第三和第四子点云；并分别对第一、第二、第三和第四子点云进行边沿点云识别得到对应的第一、第二、第三和第四边沿点云；

步骤323，通过对第一、第二、第三和第四边沿点云分别进行球面拟合得到对应的四个球面中心点记为第一、第二、第三和第四球面中心点；并将第一、第二、第三和第四球面中心点的激光雷达坐标作为对应的第一、第二、第三和第四中心点雷达坐标。

这里，基于最小二乘法对第一左上圆形边沿点云集合、第一右上圆形边沿点云集合、第一右下圆形边沿点云集合和第一左下圆形边沿点云集合分别进行点云球面拟合从而得到四个拟合球面的球心点也就是第一、第二、第三和第四球面中心点，而第一、第二、第三和第四球面中心点在激光雷达坐标系下的点坐标就是第一、第二、第三和第四中心点雷达坐标。

步骤4，将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对。

这里，第一标定板上的四个圆形区域分别对应一组匹配点对；第一圆形区域对应第一匹配点对，第二圆形区域对应第二匹配点对，第三圆形区域对应第三匹配点对，第四圆形区域对应第四匹配点对。

步骤5，根据第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对第一图像进行二值图转换生成对应的第一校准二值图；并将第一点云中处于第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据第一校准点云和第一校准二值图对第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将第二外参矩阵作为当次车载相机外参标定的标定结果输出；

具体包括：步骤51，根据第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；

这里，本发明实施例先基于四对匹配点对相机外参进行预估；

具体包括：步骤511，确定像素-激光雷达坐标转换方程为：

其中，(x,y,z)为激光雷达坐标坐标系的三维坐标，(u,v)为像素坐标系的二维坐标，A为已知的相机内参矩阵，

为待标定的相机外参矩阵，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃、t₁、t₂和t₃为相机外参矩阵的矩阵参数；

这里，像素-激光雷达坐标转换方程是一个公知的坐标转换方程，推导过程可由公开的技术文献获取，在此不做一一赘述；

步骤512，将第一匹配点对的第一中心点像素坐标和第一中心点雷达坐标代入图像-激光雷达坐标转换方程得到对应的第一方程式；并将第二匹配点对的第二中心点像素坐标和第二中心点雷达坐标代入图像-激光雷达坐标转换方程得到对应的第二方程式；并将第三匹配点对的第三中心点像素坐标和第三中心点雷达坐标代入图像-激光雷达坐标转换方程得到对应的第三方程式；并将第四匹配点对的第四中心点像素坐标和第四中心点雷达坐标代入图像-激光雷达坐标转换方程得到对应的第四方程式；

步骤513，基于PnP算法对第一、第二、第三和第四方程式进行求解得到相机外参矩阵十二个矩阵参数r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃、t₁、t₂和t₃的参数值，并将十二个矩阵参数的参数值代入相机外参矩阵得到对应的第一外参矩阵；

这里，PnP(Perspective-n-Point)算法是一种对三维到二维投影转换矩阵进行求解的算法，PnP算法基于已知的n对三维-二维匹配点对可以估计出对应的投影转换矩阵，其中n≥3；也就是说在像素-激光雷达坐标转换方程中已知4对第一中心点像素坐标(u,v)+第一中心点雷达坐标(x,y,z)和已知相机内参矩阵A的情况下，通过PnP算法就能对相机外参矩阵进行估算得到对应的第一外参矩阵；

步骤52，对第一图像进行二值图转换生成对应的第一校准二值图；

其中，第一校准二值图的大小与第一图像保持一致；第一校准二值图上第一底板区域的颜色为白色，第一底板区域之外其余区域的颜色为黑色；

这里，当前步骤与前述步骤311类似，在此就不做重复性赘述；

步骤53，将第一点云中处于第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；

具体包括：由第一点云的第一、第二、第三和第四子点云组成对应的第一校准点云；

这里，第一校准点云实际就是由前述步骤322得到的第一、第二、第三和第四子点云组成的点云；

步骤54，根据第一校准点云和第一校准二值图对第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；

具体包括：步骤541，确定相机坐标系中三轴欧拉角θ_x、θ_y、θ_z与相机外参矩阵中的旋转矩阵

的第一关系式和第二关系；

第一关系式为：

θ_x＝atan2(r₃₂,r₃₃)

θ_z＝atan2(r₂₁,r₁₁)

第二关系式为：

这里，相机坐标系中三轴欧拉角θ_x、θ_y、θ_z与相机外参矩阵中旋转矩阵的第一、第二关系是公知的转换关系式，其推导过程可查询相关的公开技术文献，在此就不做一一赘述；

步骤542，将第一外参矩阵的矩阵参数r₁₁、r₂₁、r₃₁、r₃₂、r₃₃带入第一关系式进行计算，并将得到的三个欧拉角θ_x、θ_y、θ_z的值作为对应的第一欧拉角

第二欧拉角

和第三欧拉角

步骤543，根据预设的第一、第二和第三微调阈值a₁、a₂、a₃和第一、第二、第三欧拉角

设置对应的第一、第二和第三参数微调范围；并根据预设的第四、第五和第六微调阈值a₄、a₅、a₆和第一外参矩阵的矩阵参数t₁、t₂、t₃，设置对应的第四、第五和第六参数微调范围；并根据预设的滑动次数N和第一、第二、第三、第四、第五和第六微调阈值a₁、a₂、a₃、a₄、a₅、a₆，设置对应的第一、第二、第三、第四、第五和第六滑动步长△a₁、△a₂、△a₃、△a₄、△a₅、△a₆；

其中，

第一参数微调范围为

第二参数微调范围为

第三参数微调范围为

第四参数微调范围为[t₁-a₄,t₁+a₄]，

第五参数微调范围为[t₂-a₅,t₂+a₅]，

第六参数微调范围为[t₃-a₆,t₃+a₆]，

△a₁＝2*a₁/N，△a₂＝2*a₂/N，△a₃＝2*a₃/N，

△a₄＝2*a₄/N，△a₅＝2*a₅/N，△a₆＝2*a₆/N；

步骤544，对第一索引i、第一变量θ_x,i、第二变量θ_y,i、第三变量θ_z,i、第四变量t_1,i、第五变量t_2,i和第六变量t_3,i进行初始化：

i＝0，

t_1,i＝t₁-a₄，

t_2,i＝t₂-a₅，

t_3,i＝t₃-a₆；

步骤545，将第一、第二、第三变量θ_x,i、θ_y,i、θ_z,i代入第二关系式得到一组最新的矩阵参数r_11,i、r_12,i、r_13,i、r_21,i、r_22,i、r_23,i、r_31,i、r_32,i、r_33,I；并使用最新的矩阵参数r_11,i、r_12,i、r_13,i、r_21,i、r_22,i、r_23,i、r_31,i、r_32,i、r_33,I与第四、第五、第六变量t_1,i、t_2,i、t_3,i对第一外参矩阵的矩阵参数进行替换得到对应的第一微调外参矩阵

步骤546，基于第一微调外参矩阵对第一校准点云中各点的激光雷达坐标做从激光雷达坐标系到像素坐标系的坐标转换生成对应的第一像素坐标；并将第一校准二值图上与各个第一像素坐标匹配的像素点记为对应的第一像素点；并对所有第一像素点的像素值进行总和计算生成对应的第一像素总和S_i；

步骤547，对第一索引i加1；并根据第一、第二、第三、第四、第五和第六滑动步长△a₁、△a₂、△a₃、△a₄、△a₅、△a₆和新的第一索引i，对第一变量θ_x,i、第二变量θ_y,i、第三变量θ_z,i、第四变量t_1,i、第五变量t_2,i和第六变量t_3,i进行重置；

t_1,i＝(t₁-a₄)+△a₄*i，

t_2,i＝(t₂-a₅)+△a₅*i，

t_3,i＝(t₃-a₆)+△a₆*i；

步骤548，判断第一索引i是否大于滑动次数N；若是则转至步骤549；若否则转至步骤545；

步骤549，从得到的N+1个第一像素总和S_i中选出最小值作为对应的最小像素总和S_min；并将最小像素总和S_min对应的第一微调外参矩阵作为对应的第二外参矩阵；

步骤55，将第二外参矩阵作为当次车载相机外参标定的标定结果输出。

这里，当前步骤5实际就是以第一参数微调范围

第二参数微调范围

第三参数微调范围

第四参数微调范围[t₁-a₄,t₁+a₄]、第五参数微调范围[t₂-a₅,t₂+a₅]、第六参数微调范围[t₃-a₆,t₃+a₆]为参数滑动范围，以第一、第二、第三、第四、第五和第六滑动步长△a₁、△a₂、△a₃、△a₄、△a₅、△a₆为单步滑动步长，从第一、第二、第三、第四、第五和第六参数微调范围的起始位置到结束位置做N+1次滑动，得到N+1组微调变量(第一变量θ_x,i、第二变量θ_y,i、第三变量θ_z,i、第四变量t_1,i、第五变量t_2,i和第六变量t_3,i)；并在每得到一组微调变量时，就基于当次的微调变量对第一外参矩阵的矩阵参数进行微调得到对应的第一微调外参矩阵，并基于第一微调外参矩阵对第一校准点云的各点进行像素坐标转换得到对应的第一像素坐标，并对第一校准二值图上所有第一像素坐标对应的像素值进行总和得到对应的第一像素总和S_i；最后从N+1组微调变量对应的N+1个第一像素总和S_i中选出最小值作为最小像素总和S_min，并将最小像素总和S_min对应的那组微调变量对应的第一微调外参矩阵作为最终的相机外参标定的输出结果。

图3为本发明实施例二提供的一种标定车载相机外参的处理装置的模块结构图，该装置为实现前述方法实施例的终端设备或者服务器，也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置，例如该装置可以是前述终端设备或者服务器的装置或芯片系统。如图3所示，该装置包括：准备模块201、匹配点对处理模块202和外参矩阵处理模块203。

准备模块201用于选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在第一相机的拍摄范围与第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；第一标定板的形状为矩形，第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，第一标定板上除四个圆形图像区域之外的区域记为第一底板区域；四个圆形图像区域被浅色高反材料薄膜均匀覆盖，第一底板区域无高反材料薄膜覆盖且第一底板区域的颜色为黑色。

准备模块201还用于调用第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云。

匹配点对处理模块202用于对第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；并将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对。

外参矩阵处理模块203用于根据第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对第一图像进行二值图转换生成对应的第一校准二值图；并将第一点云中处于第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据第一校准点云和第一校准二值图对第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将第二外参矩阵作为当次车载相机外参标定的标定结果输出。

本发明实施例提供的一种标定车载相机外参的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，准备模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

图4为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图4所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。

在图4中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。

本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。

本发明实施例提供了一种标定车载相机外参的处理方法、装置、电子设备及计算机可读存储介质；以一个简单的标定板为参考获得像素坐标系与激光雷达坐标系下的四对匹配点；基于四对匹配点对相机外参进行预估；再基于一个校准点云对预估的相机外参进行微调。通过本发明方法，不使用任何复杂标定器材就能完成外参标定；将标定板放在车上工作人员就能在任何位置进行自主标定，无需将车辆送到固定的标定场所。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种标定车载相机外参的处理方法，其特征在于，所述方法包括：

选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在所述第一相机的拍摄范围与所述第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；所述第一标定板的形状为矩形，所述第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，所述第一标定板上除所述四个圆形图像区域之外的区域记为第一底板区域；所述四个圆形图像区域被浅色高反材料薄膜均匀覆盖，所述第一底板区域无高反材料薄膜覆盖且所述第一底板区域的颜色为黑色；

调用所述第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用所述第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云；

对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；

将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对；

根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对所述第一图像进行二值图转换生成对应的第一校准二值图；并将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将所述第二外参矩阵作为当次车载相机外参标定的标定结果输出。

2.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，所述对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标，具体包括：

对所述第一图像进行二值图转换得到对应的第一二值图；所述第一二值图的大小与所述第一图像保持一致；所述第一二值图上所述第一底板区域的颜色为白色，所述第一底板区域之外其余区域的颜色为黑色；

在所述第一二值图上对所述第一底板区域的四个顶点进行顺次连接得到一个对应的四边形区域记为第一四边形区域；所述第一四边形区域上包括所述第一、第二、第三和第四圆形区域对应的四个黑色圆形区域；

对所述第一四边形区域内四个黑色圆形区域的边沿点进行提取生成对应的第一、第二、第三和第四边沿点集合；

对所述第一、第二、第三和第四边沿点集合分别进行霍夫变换圆形检测处理得到对应的四个圆形中心点记为第一、第二、第三和第四圆形中心点；并将所述第一、第二、第三和第四圆形中心点的像素坐标作为对应的所述第一、第二、第三和第四中心点像素坐标。

3.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，

所述第一点云中各点均对应一个第一点云数据；所述第一点云数据包括第一激光雷达坐标和第一雷达反射强度；所述第一激光雷达坐标包括一个第一深度坐标分量。

4.根据权利要求3所述的标定车载相机外参的处理方法，其特征在于，所述对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标，具体包括：

将所述第一点云中所述第一雷达反射强度高于预设的高反射强度阈值的点记为对应的第一高返点；并从所述第一点云中提取所有所述第一高返点组成对应的第二点云；

对所述第二点云进行点云聚类得到四个聚类子点云；并按与所述第一标定板上左上、右上、右下和左下四个圆形图像区域的对应关系，将所述四个聚类子点云分别标记为对应的第一、第二、第三和第四子点云；并分别对所述第一、第二、第三和第四子点云进行边沿点云识别得到对应的第一、第二、第三和第四边沿点云；

通过对所述第一、第二、第三和第四边沿点云分别进行球面拟合得到对应的四个球面中心点记为第一、第二、第三和第四球面中心点；并将所述第一、第二、第三和第四球面中心点的激光雷达坐标作为对应的所述第一、第二、第三和第四中心点雷达坐标。

5.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，所述根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵，具体包括：

确定像素-激光雷达坐标转换方程为

其中，(x,y,z)为激光雷达坐标坐标系的三维坐标，(u,v)为像素坐标系的二维坐标，A为已知的相机内参矩阵，

为待标定的相机外参矩阵，r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃、t₁、t₂和t₃为相机外参矩阵的矩阵参数；

将所述第一匹配点对的所述第一中心点像素坐标和所述第一中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第一方程式；并将所述第二匹配点对的所述第二中心点像素坐标和所述第二中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第二方程式；并将所述第三匹配点对的所述第三中心点像素坐标和所述第三中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第三方程式；并将所述第四匹配点对的所述第四中心点像素坐标和所述第四中心点雷达坐标代入所述图像-激光雷达坐标转换方程得到对应的第四方程式；

基于PnP算法对所述第一、第二、第三和第四方程式进行求解得到相机外参矩阵十二个矩阵参数r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃、t₁、t₂和t₃的参数值，并将十二个矩阵参数的参数值代入所述相机外参矩阵得到对应的所述第一外参矩阵。

6.根据权利要求1所述的标定车载相机外参的处理方法，其特征在于，

所述第一校准二值图的大小与所述第一图像保持一致；所述第一校准二值图上所述第一底板区域的颜色为白色，所述第一底板区域之外其余区域的颜色为黑色。

7.根据权利要求4所述的标定车载相机外参的处理方法，其特征在于，所述将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云，具体包括：

由所述第一点云的所述第一、第二、第三和第四子点云组成对应的所述第一校准点云。

8.根据权利要求6所述的标定车载相机外参的处理方法，其特征在于，所述根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵，具体包括：

步骤81，确定相机坐标系中三轴欧拉角θ_x、θ_y、θ_z与相机外参矩阵中的旋转矩阵

的第一关系式和第二关系；

所述第一关系式为：

所述第二关系式为：

步骤82，将所述第一外参矩阵的矩阵参数r₁₁、r₂₁、r₃₁、r₃₂、r₃₃带入所述第一关系式进行计算，并将得到的三个欧拉角θ_x、θ_y、θ_z的值作为对应的第一欧拉角

第二欧拉角

和第三欧拉角

步骤83，根据预设的第一、第二和第三微调阈值a₁、a₂、a₃和所述第一、第二、第三欧拉角

设置对应的第一、第二和第三参数微调范围；并根据预设的第四、第五和第六微调阈值a₄、a₅、a₆和所述第一外参矩阵的矩阵参数t₁、t₂、t₃，设置对应的第四、第五和第六参数微调范围；并根据预设的滑动次数N和所述第一、第二、第三、第四、第五和第六微调阈值a₁、a₂、a₃、a₄、a₅、a₆，设置对应的第一、第二、第三、第四、第五和第六滑动步长△a₁、△a₂、△a₃、△a₄、△a₅、△a₆；

其中，

所述第一参数微调范围为

所述第二参数微调范围为

所述第三参数微调范围为

所述第四参数微调范围为[t₁-a₄,t₁+a₄]，

所述第五参数微调范围为[t₂-a₅,t₂+a₅]，

所述第六参数微调范围为[t₃-a₆,t₃+a₆]，

△a₁＝2*a₁/N，△a₂＝2*a₂/N，△a₃＝2*a₃/N，

△a₄＝2*a₄/N，△a₅＝2*a₅/N，△a₆＝2*a₆/N；

步骤84，对第一索引i、第一变量θ_x,i、第二变量θ_y,i、第三变量θ_z,i、第四变量t_1,i、第五变量t_2,i和第六变量t_3,i进行初始化：

i＝0，

t_1,i＝t₁-a₄，

t_2,i＝t₂-a₅，

t_3,i＝t₃-a₆；

步骤85，将所述第一、第二、第三变量θ_x,i、θ_y,i、θ_z,i代入所述第二关系式得到一组最新的矩阵参数r_11,i、r_12,i、r_13,i、r_21,i、r_22,i、r_23,i、r_31,i、r_32,i、r_33,I；并使用所述最新的矩阵参数r_11,i、r_12,i、r_13,i、r_21,i、r_22,i、r_23,i、r_31,i、r_32,i、r_33,I与所述第四、第五、第六变量t_1,i、t_2,i、t_3,i对所述第一外参矩阵的矩阵参数进行替换得到对应的第一微调外参矩阵

步骤86，基于所述第一微调外参矩阵对所述第一校准点云中各点的激光雷达坐标做从激光雷达坐标系到像素坐标系的坐标转换生成对应的第一像素坐标；并将所述第一校准二值图上与各个所述第一像素坐标匹配的像素点记为对应的第一像素点；并对所有所述第一像素点的像素值进行总和计算生成对应的第一像素总和S_i；

步骤87，对所述第一索引i加1；并根据所述第一、第二、第三、第四、第五和第六滑动步长△a₁、△a₂、△a₃、△a₄、△a₅、△a₆和新的所述第一索引i，对所述第一变量θ_x,i、所述第二变量θ_y,i、所述第三变量θ_z,i、所述第四变量t_1,i、所述第五变量t_2,i和所述第六变量t_3,i进行重置；

t_1,i＝(t₁-a₄)+△a₄*i，

t_2,i＝(t₂-a₅)+△a₅*i，

t_3,i＝(t₃-a₆)+△a₆*i；

步骤88，判断所述第一索引i是否大于所述滑动次数N；若是则转至步骤89；若否则转至步骤85；

步骤89，从得到的N+1个所述第一像素总和S_i中选出最小值作为对应的最小像素总和S_min；并将所述最小像素总和S_min对应的所述第一微调外参矩阵作为对应的所述第二外参矩阵。

9.一种用于执行权利要求1-8任一项所述的标定车载相机外参的处理方法的装置，其特征在于，所述装置包括：准备模块、匹配点对处理模块和外参矩阵处理模块；

所述准备模块用于选择车辆的一个车载相机作为对应的第一相机，并选择车辆的一个车载激光雷达作为对应的第一雷达；并将在所述第一相机的拍摄范围与所述第一雷达的扫描范围的重叠区域按垂直地面方式设置的标定板作为对应的第一标定板；所述第一标定板的形状为矩形，所述第一标定板上包括左上、右上、右下和左下四个圆形图像区域记为对应的第一、第二、第三和第四圆形区域，所述第一标定板上除所述四个圆形图像区域之外的区域记为第一底板区域；所述四个圆形图像区域被浅色高反材料薄膜均匀覆盖，所述第一底板区域无高反材料薄膜覆盖且所述第一底板区域的颜色为黑色；

所述准备模块还用于调用所述第一相机进行图像拍摄并将拍摄得到的图像作为对应的第一图像；并调用所述第一雷达进行扫描并将扫描得到的激光雷达点云作为对应的第一点云；

所述匹配点对处理模块用于对所述第一图像中标定板的四个圆形区域中心点的像素坐标进行识别生成对应的第一、第二、第三和第四中心点像素坐标；并对所述第一点云中标定板的四个圆形区域中心点的激光雷达坐标进行识别生成对应的第一、第二、第三和第四中心点雷达坐标；并将得到的第一中心点像素坐标和第一中心点雷达坐标组成对应的第一匹配点对；并将得到的第二中心点像素坐标和第二中心点雷达坐标组成对应的第二匹配点对；并将得到的第三中心点像素坐标和第三中心点雷达坐标组成对应的第三匹配点对；并将得到的第四中心点像素坐标和第四中心点雷达坐标组成对应的第四匹配点对；

所述外参矩阵处理模块用于根据所述第一、第二、第三和第四匹配点对进行相机外参预估生成对应的第一外参矩阵；并对所述第一图像进行二值图转换生成对应的第一校准二值图；并将所述第一点云中处于所述第一、第二、第三和第四圆形区域的点云提取出来作为对应的第一校准点云；并根据所述第一校准点云和所述第一校准二值图对所述第一外参矩阵进行外参矩阵微调生成对应的第二外参矩阵；并将所述第二外参矩阵作为当次车载相机外参标定的标定结果输出。

10.一种电子设备，其特征在于，包括：存储器、处理器和收发器；

所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-8任一项所述的方法步骤；

所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-8任一项所述的方法的指令。

Images