CN107656259B - 外场环境标定的联合标定系统与方法 - Google Patents

Abstract

一种应用于外场环境标定的联合标定系统，包括激光雷达、摄像机及标定装置，其中激光雷达与摄像机设置在同一个机台上，在外场环境根据激光雷达与摄像机联合标定的标定装置进行标定，其特征在于，标定装置包括:底面板，板内存在方向垂直的十字丝，其十字丝的中心与底面板中心重合，底面板的中心区域存在圆形标识图案，圆形标识图案按照十字丝的两个方向具有黑白分区；空心梯形椎体，由四面平板组成，其中空心梯形椎体的下底面四角具有连接件接口，连接装置嵌入于连接件接口；以及支撑杆的上端与空心梯形椎体的下底面四角的连接装置连接，支撑杆的下端与底面板垂直相连。

Description

外场环境标定的联合标定系统与方法

技术领域

本发明涉及装置标定方法，尤其涉及一种可移动的外场环境标定的联合标定系统与方法。

背景技术

由激光雷达(light detection and ranging,LiDAR)与摄像机集成的组合观测系统能够在获取可见光与近红外影像的同时，捕捉场景内高精度、高密度的三维激光点云，获得丰富的观测目标三维信息。三维激光点云与影像的融合能够进一步提高场景特征的提取和目标识别的准确度和完整度。

然而，由于激光雷达系统与摄像机系统分别装载于平台的不同位置，对于不同系统的投影中心存在空间位置偏移以及系统主光轴之间存在角度的偏差，因此激光三维点云与摄像机影像数据在各自的空间基准并不一致，这导致同一目标的不同系统测量数据在空间位置上存在偏差，无法进行融合分析与处理。为了保证不同系统数据对目标量测和表达的一致性，需要对激光雷达和摄像机系统坐标系之间的空间变换关系进行联合标定，将联合标定的结果带入到数据解算过程中，能够将不同系统数据纳入相同的空间坐标系下，实现同名特征和目标量测的统一。

在传统的激光雷达系统与摄像机系统联合标定的技术现状如下：(1)基于实验室环境的检校，并特制室内靶板并透过靶标对集成装置进行联合标定，能够对激光雷达和摄像机系统的相对空间关系进行准确标定。(2)外场作业环境下的自我标定，这类方法是直接从系统获取数据并进行激光雷达系统与摄像机系统空间关系的解算，通常以场景内特征点在两套系统内的投影差为依据。

基于上述传统的激光雷达系统与摄像机系统联合标定的技术同时存在许多的问题，其中对于实验室环境的检校方法脱离了室外作业的实际环境，在温度、湿度等因素方面往往有所区别，这影响了实验室标定结果对最终仪器数据解算进行修正的效果，此外实验室靶标通常为大型固定装置，难以在野外进行架设与观测；另外外场作业环境下的自我标定技术与观测目标在系统内的表现以及特征提取的精度有关，当被测场景内缺乏有效的点特征，或由于光照等因素导致点特征匹配误差较大时，难以得到有效的联合标定输入值。

发明内容

为了解决上述问题，本发明设计了外场环境下激光雷达与摄像机联合标定的标定装置，标定装置支持有效视场内的任意位置摆放，并能够有效开展进行联合标定，解决了传统实验室检校结果无法针对外场作业环境下数据进行修正问题，以及标定装置具备利于进行激光点云特征提取和摄像机影像点目标定位的特殊部件，部件之间存在严格的空间对应关系，解决了外场环境下数据若缺乏纹理与特征信息，或光照环境差别较大时，无法获取有效的联合标定观测值的问题，因此本发明提供了如下的技术方案:

本发明首先提供一种应用于外场环境标定的联合标定系统，包括激光雷达、摄像机及标定装置，其中激光雷达与摄像机设置在同一个机台上，在外场环境根据激光雷达与摄像机联合标定的标定装置进行标定，其特征在于，标定装置包括:底面板内存在方向垂直的十字丝，十字丝的中心与底面板中心重合，底面板的中心区域存在圆形标识图案，圆形标识图案按照十字丝的两个方向具有黑白分区；空心梯形椎体由四面平板组成，其中空心梯形椎体的下底面四角具有连接件接口，连接装置嵌入于连接件接口；以及支撑杆，其支撑杆的上端与空心梯形椎体的下底面四角的连接装置连接，支撑杆的下端与底面板垂直相连。

空心梯形椎体的四个面板分别为等腰梯形，且四个面板的等腰梯形，其等腰梯形的两个底角均为60°，两个顶角均为120°，以及梯形的上底长度为下底长度的1/2；另外空心梯形椎体包括为金属板，且在金属板表面镀能响应红外工作波长反射率的漫反射材料，其漫反射材料包括硫酸钡、聚四氟乙烯或水基乙烷。

一种外场联合标定方法，其特征在于，外场联合标定方法包括:将标定装置放置在激光雷达与摄像机的有效视场内的不同位置，其中激光雷达与摄像机设置在同一个机台上；以标定装置的底面板内的十字丝之中心为原点，空心梯形椎体的中心线为主轴，将标定装置朝向于摄像机与激光雷达的有效视场的主轴方向，使得标定装置与摄像机与激光雷达呈一定角度；利用激光雷达获取标定装置的空心梯形椎体的平板之三维数据点，以得到空心梯形椎体的公共顶点；由摄像机摄像机获取标定装置的底面板内的底部标识图案中心的像点坐标，以得到地面标识图案中心的像平面坐标值；根据激光雷达与摄像机之间在激光雷达坐标系下的原点偏移量和装置角偏移量，并藉由公共顶点和像平面坐标值，得到标定参数误差方程；以及根据标定参数误差方程以获取摄像机坐标系到激光雷达系统之坐标系下的转换关系，以得到标定装置的实际坐标位置的误差，而对标定装置进行标定。

标定装置与摄像机与激光雷达呈一定角度，此角度是由空心梯形椎体的四个平面中，且存在至少三个以上平面，落入激光雷达的有效视场与空心梯形椎体未与对摄像机形成遮挡，由底部标识图案于摄像机影像中可见的角度；以及底部标识图案包括由长度与底面板宽度相同且方向垂直由直线组成的十字丝，以及处于底面板中心位置其直径为底面板宽度

的圆形图案组成；另外有效视场内的不同位置是将标定装置放置于激光雷达与摄像机的视场方位角内以不超过角度为20°做为间隔内的位置，且每一个不同位置设置3-6个标定装置，且在相同位置的每一标定装置的视线深度方向及仰角各不相同。

综上所述，本发明所提供的标定装置，是经过优化设计，透过激光雷达与摄像机联合标定的标定装置之功能，从而达到测量过程的高度统一之效果。本发明的优点在于

1.标定装置的内部结构本身具有严密空间对应关系，能够通过较少的观测值在两套系统的测量基准之间迅速建立有效联系。

2.标定装置的布设与激光雷达与摄像机的观测能够与应用环境相结合，打破了传统的静态标定与数据作业流程分离的现状，实现系统标定与测量过程的高度统一。

3.标定装置基本构件重量轻，体积小，易于组装携带，省略了进行固定靶标环境搭建和基准测量所耗费的诸多人力、物力和时间成本。

附图说明

图1系为本发明之标定装置俯视图。

图2系为本发明之标定装置透视图。

图3系为本发明之激光雷达与摄像机联合标定的标定装置示意图。

图4系为本发明之激光雷达与摄像机联合标定的标定装置操作流程图。

具体实施方式

本发明之优点及特征以及达到其方法将参照例示性实施例及附图进行更详细的描述而更容易理解。然而，本发明可以不同形式来实现且不应被理解仅限于此处所陈述的实施例。相反地，对所属技术领域具有通常知识者而言，所提供的此些实施例将使本揭露更加透彻与全面且完整地传达本发明的范畴。

为了使本发明所提供之激光雷达与摄像机联合标定的标定装置能被所属之技术领域者能充分了解其技术内容，于此提供相关之实施列与其实施方式来加以说明。

请参考图1与图2，分别为本发明之标定装置的俯视图与透视图。如图1所示，本发明的标定装置1包括底面板2、空心梯形椎体3、连接装置4与装置支撑杆5组成；底面板2具有底部标识图案，其中底部标识图案包括长度与底面板2宽度相同的X方向与Y方向并由直线组成的十字丝7，且十字丝7的中心与低面板2中心位置重合，以及处于低面板2的中心位置，其直径为底面板2的宽度

的圆形标识图案6。在一较佳实施例中，圆形标识图案6可以采用黑白分区的圆形图案，按照坐标系的四个象限区域对圆盘进行划分，例如:按照十字丝7的第一象限与第三象限位置或第二象限与第四象限位置以对角区域喷涂为相同颜色，而对角区域分别为黑色与白色。在本发明中不限于只用黑白两色，只要能够将圆形标识图案6清楚的区分出来即可。

空心梯形椎体3是由四面平板所组成，其中，单面平板为等腰梯形，且其等腰梯形的上底长度与下底长度存在一定比例，此一定比例为梯形的上底长度为下底长度的1/2。在此，单面平板的上底长度与下底长度存在一定比例的目的在于用以保证装置的最佳观测效率。而单面平板为硬质金属板，其表面镀有能够较好响应红外工作波长反射率的漫反射材料，在一较佳实施例中，所采用的漫反射材料应保证标定装置1的反射特性接近理想朗伯体，要说明的是，朗伯体是指辐射面源射向各个方向的辐射亮度是不同的，具有方向性，若是辐亮度不随方向x(x为辐亮度方向与平面法线之间的交角)变化，这类辐射体就称为伯朗体。因此，在本发明中所使用的漫反射材料可以让标定装置1表面反射率不会随着观察方向的变化而产生变化。因此，在本发明中使用目前常见的漫反射材料或是复合式漫反射涂层材料包括

等，其主要成分包括硫酸钡、聚四氟乙烯、水基乙烷以及其他合成化学成分等。在空心梯形椎体3的拼接方面，通过在硬质金属平板边缘处进行斜角切割，采用高强度粘合剂进行粘连，另外空心梯形椎体3的下底面四角预留有连接件接口，并将连接装置4嵌入于连接件接口；装置支撑杆5的上端与空心梯形椎体3的下底面四角的连接装置4连接，而下端与底面板垂直相连。

在一较佳实施例中，如图2所示，空心梯形椎体3的单面平板为等腰梯形，其等腰梯形的两个底角均为60°，两个顶角均为120°，梯形的上底长度为下底长度的1/2，基于上述设计，空心梯形椎体3的单面平板之平面与底面板之底面形成二面角为反正切1/2度，另外空心梯形棱台的四条棱边之延长线8交于空间一点，为四个梯形平面的公共顶点，这样保证在空心梯形椎体3拼接后形成的公共顶点与底面板中心点的空间位置重合，但此空心梯形椎体3不应被理解仅限于此处所陈述的实施例。

请参考图3，为本发明之激光雷达与摄像机联合标定的标定装置示意图。图3是根据图1的标定装置俯视图进一步介绍激光雷达9与摄像机10联合标定的标定装置1之布设。在进行激光雷达9与摄像机10联合标定的标定装置1时，标定装置1均匀覆盖激光雷达9与摄像机10的有效视场，且在有效视场的视场方位角内以不超过20°做为间隔内的位置，其中每一个不同位置设置的标定装置1数量在3-6个或者更多，且在相同位置的每一个标定装置1的视线深度方向和仰角各不相同，但此激光雷达9与摄像机10联合标定标定装置1的布设与标定装置1的数量不应被理解仅限于此处所陈述的实施例。

在一较佳实施例中，如图3所示，显示了单个标定装置1对应于激光雷达9与摄像机10布设的方向，若以标定装置1之底面板内的十字丝7标识的中心为原点以直线L1朝向于摄像机10，空心梯形椎体3以十字丝7标识的中心原点以垂直地面方向的中心线为主轴以直线L2朝向于激光雷达9，因此单个标定装置1的朝向应与激光雷达9与摄像机10之间其视场的主轴方向呈一定角度，在本发明的实施中，所呈角度应满足如下条件:(1)标定装置1的空心梯形椎体3之四个平面中，应存在至少三个以上平面落入激光雷达9有效视场，以及落入其范围的空心梯形椎体3之平面经由激光雷达9有效激光扫描而获取的数据点在4个以上，(2)标定装置1的空心梯形椎体3并未对摄像机10形成遮挡，保证底部标识图案于摄像机10影像中完整可见。

在一较佳实施例中，标定装置1的低面板2内的十字丝7其宽度的设计需要在摄像机10撷取底部标识图案的影像中占有1个以上像素，因此按照标定距离为d，摄像机10焦距为f，摄像机10焦平面数组的单元大小为η，则底面板内的十字丝7宽度应不小于1.5倍η*d/f，另外由于空心梯形椎体3的公共顶点的计算是需要通过激光雷达9有效激光扫描空心空心梯形椎体3之不同平面的数据点进行平面拟合，并实现空间交会，因而底部标识图案必须在图像清晰可见并可进行中心点提取，因此需要合理设计标定装置1的尺寸，所以在一较佳实施例中，标定装置1的底面边长为500mm。

请参考图4，为本发明之激光雷达与摄像机联合标定的标定装置操作步骤流程图。图4是根据图1与图3的标定装置俯视图与激光雷达与摄像机联合标定的标定装置示意图进一步介绍激光雷达9与摄像机10联合标定的标定装置1之操作。如图4所示，首先步骤S01与S02，依据上述激光雷达9与摄像机10联合标定的标定装置1之布设以及标定装置1角度调整之后，接着步骤S03，依据激光雷达9以发射激光束探测标定装置1，当激光束打到标定装置1的空心梯形椎体3的平板之后引起散射和反射，一部分光波会经由反向散射回到激光雷达9，而激光雷达9将光信号转变为电信号从而获取标定装置1的空心梯形椎体3之单个平面的数据点，并通过人工目视提取激光雷达9所获得的空心梯形椎体3之平面得数据点，并将数据点透过基本计算软件计算空心梯形椎体3之平面的参数，假设单个平面的4个数据点分别为A(X₁,Y₁,Z₁)，B(X₂,Y₂,Z₂)，C(X₃,Y₃,Z₃)，D(X₄,Y₄,Z₄)，分别带入标准平面方程:

ax+by+cz+d＝0

并依据平面的4个数据点而组成的表达式并联立得此方程组：

并利用最小二乘方法解算方程组，获得空心梯形椎体3之平面的参数(a_i,b_i,c_i,d_i)，并继续利用不同的单个平面所获取的数据点计算空心梯形椎体3之平面的参数，而完成至少3个以上参数的计算，其中若单个平面内的数据点数多于4个以上，则将所有数据点坐标值带入方程组中参与计算。

其中透过基本软件获得空心梯形椎体3之平面的参数，且将所获得3个以上空心梯形椎体3之平面的参数并继续透过基本软件计算空心梯形椎体3之公共顶点坐标值，假设空心梯形椎体3之平面的参数为:

{(a₁,b₁,c₁,d₁),(a₂,b₂,c₂,d₂),(a₃,b₃,c₃,d₃)}

因而公共顶点处于三个平面的交点位置，因此将空心梯形椎体3之平面的参数分别带入标准平面方程所组成的表达式:

并联立此方程组而得到空心梯形椎体3之公共顶点坐标值(X_C,Y_C,Z_C)。

接着步骤S04，藉由摄像机10获取标定装置1的底面板的底部标识图案之图像，通过图像以及经由基本软件计算地面标识图案中心的像平面坐标值，首先针对底部标识图案之图像的饼图案，利用微分算子分别在x方向和y方向求差分，图像中x方向上和y方向的一阶微分可以分别定义为：

可以采用包括Laplace算子或Sobel算子，得到两个方向上的边缘点信息，其中f(x,y)表示底部标识图案之图像在像点坐标(x,y)处的边缘点信息，接者将x方向的边缘点与图像中x方向的十字丝点结合，利用最小二乘方法计算x方向的直线方程y＝k_xx+b_x，其中k_x为像平面坐标下的直线斜率，b_x为截距，假设像平面坐标系下x方向上的边缘点和十字丝点的集合为{(x₁,y₁),(x₂,y₂),...,(x_n,y_n)}，n为点个数，以及k_x和b_x分别透过方程式

因此取得最小值的最佳值，而此方程式可以分别定义为：

与

最后利用最小二乘方法计算x方向的直线方程y＝k_xx+b_x。

同样按照上述计算方法，收集y方向上的边缘点和十字丝点，求得y方向上的直线方程y＝k_yx+b_y，最后x方向与y方向上的直线交点，即为地面标识图案中心的像平面坐标值(x_C,y_C)。

接着步骤S05，利用空心梯形椎体3的公共顶点三维坐标和底面板之底部标识图案的中心像坐标并透过基本计算软件得到标定参数误差方程，但激光雷达9与摄像机10之间在激光雷达9坐标系下的原点偏移量为(dX,dY,dZ)和装置角偏移量为(α,β,γ)，因此透过装置角形成的激光雷达9坐标到摄像机10影像辅助空间坐标系之间的旋转矩阵所组成的表达式:

因此根据空心梯形椎体3的公共顶点与底面板之底部标识图案中心在空间位置上重合，透过空心梯形椎体3的公共顶点三维坐标(X_C,Y_C,Z_C)和底部标识图案的中心像坐标(x_C,y_C)以及激光雷达9坐标到摄像机10影像辅助空间坐标系之间的旋转矩阵所组成的表达式满足共线方程关系：

将共线方程关系进行泰勒公式展开，并忽略其中的二次项，得到标定参数误差方程为：

V＝C₁ΔdX+C₂ΔdY+C₃ΔdZ+C₄Δα+C₅Δβ+C₆Δγ+L

其中{C₁,C₂,C₃,C₄,C₅,C₆}是对标定参数求导之后的未知数系数，V为残差向量，L为观测值常数项。

于步骤S06，在设定初始值的基础上，解法方程未知数，并迭代更新未知数向量，最终获取未知数，即标定参数的最佳值，由此获取摄像机10坐标系到激光雷达9系统坐标系下的转换关系，以得到标定装置1的实际坐标位置的误差，从而对标定装置1进行标定。

以上所述仅为本发明较佳的实施方式，并非用以限定本发明权利的范围；同时以上的描述，对于相关技术领域中具有通常知识者应可明了并据以实施。

Claims (14)

1.一种应用于外场环境标定的联合标定系统，包括激光雷达、摄像机及标定装置，其中所述激光雷达与所述摄像机设置在同一个机台上，在外场环境根据所述激光雷达与所述摄像机联合标定所述标定装置进行标定，其特征在于，所述标定装置由特征标识底面板、空心梯形锥体、连接梯形锥体与底面板的支撑杆等部分组成，内部结构有严密的空间对应关系，支持有效视场内的任意安置，标定装置的结构特点和有效特征可以使其布设方式与待标定平台观测特性及应用环境相结合，能够通过较少的观测值在激光雷达和摄像机两套系统的测量基准之间迅速建立有效联系，实现系统标定与测量过程的统一；所述标定装置包括：

底面板，所述底面板内存在方向垂直的十字丝，所述十字丝的中心与所述底面板中心重合，所述底面板的中心区域存在圆形标识图案，所述圆形标识图案按照所述十字丝的两个方向具有黑白分区；

空心梯形椎体，所述空心梯形椎体由四个等腰梯形金属平面平板组成，金属平面板表面为朗伯体，镀有响应红外工作波长的漫反射材料，表面反射率不会随着观察方向的变化而产生变化；其中所述空心梯形椎体的下底面四角具有连接件接口，连接装置嵌入于所述连接件接口；以及

支撑杆，所述支撑杆的上端与所述空心梯形椎体的下底面四角的所述连接装置连接，所述支撑杆的下端与所述底面板垂直相连；空心锥体的四条棱边之延长线交于空间一点，为四个梯形平面的公共顶点，且该点与底面板中心点的空间位置重合。

2.如权利要求1所述的联合标定系统，其特征在于，所述空心梯形椎体由四个平面板组成，其中，单面平板为等腰梯形，且等腰梯形的上底与下底长度存在一定比例，以保证装置的最佳观测效率。

3.如权利要求2所述的联合标定系统，其特征在于，所述空心梯形椎体的单面平板等腰梯形其两个底角均为60°，两个顶角均为120°，以及其上底长度为下底长度的1/2。

4.如权利要求1所述的联合标定系统，其特征在于，所述空心梯形椎体的单面平板为金属板，且在所述金属板表面镀有可响应激光红外工作波长反射率的漫反射材料；镀有漫反射材料的空心梯形锥体各反射表面的反射特性接近理想朗伯体，表面反射率不会随着观察方向的变化而产生变化。

5.如权利要求4所述的联合标定系统，其特征在于，所述漫反射材料的主要化学成分包括硫酸钡、聚四氟乙烯或水基乙烷。

6.一种外场联合标定方法，其特征在于，所述外场联合标定方法包括：

将权利要求1所述标定装置放置在待标定激光雷达与摄像机的有效视场内的不同位置，其中所述激光雷达与所述摄像机设置在同一个机台上；

以所述标定装置的底面板内的十字丝之中心为原点，空心梯形椎体的中心线为主轴，将所述标定装置朝向于所述摄像机与所述激光雷达的有效视场的主轴方向，使得所述标定装置与摄像机与所述激光雷达呈一定角度；

利用所述激光雷达获取所述标定装置的所述空心梯形椎体上每个平面上的三维数据点，将单个平面上的点集带入标准平面方程联立，其中若单个平面内的数据点数多于4个以上，则将所有数据点坐标值带入方程组中参与计算，并利用最小二乘方法解算方程组，获得单个平面的平面参数；获得梯形锥体每个平面的平面参数后，将4个平面方程联合求解，以得到所述空心梯形椎体的公共顶点；

由所述摄像机获取所述标定装置的所述底面板内的底部标识图案中心的像点坐标，以得到所述底面板标识图案中心的像平面坐标值；

根据所述激光雷达与所述摄像机之间在所述激光雷达坐标系下的原点偏移量和装置角偏移量，并由所述公共顶点和所述像平面坐标值，得到标定参数误差方程；以及

根据所述标定参数误差方程以获取摄像机坐标系到激光雷达系统之坐标系下的转换关系，以得到所述标定装置的实际坐标位置的误差，而对所述标定装置进行标定。

7.如权利要求6所述的联合标定方法，其特征在于，实施联合标定时标定装置的所述安置角度需满足：所述空心梯形椎体的四个所述平面中，存在至少三个以上所述平面，落入所述激光雷达的有效视场，每个梯形锥体平面板经由激光雷达有效激光扫描而获取的数据点在4个以上，所述空心梯形椎体未对所述摄像机形成遮挡，保证所述底部标识图案于所述待标定摄像机影像中可见。

8.如权利要求6所述的联合标定方法，其特征在于，所述底部标识图案包括由长度与所述底面板宽度相同且方向垂直由直线组成的所述十字丝，以及处于所述底面板中心位置其直径为所述底面板宽度

的圆形图案组成。

9.如权利要求6所述的联合标定方法，其特征在于，所述有效视场内的不同位置是将所述标定装置放置于所述激光雷达与所述摄像机的视场方位角内以不超过角度为20°作为间隔内的位置。

10.如权利要求9所述的联合标定方法，其特征在于，于所述有效视场内的每一个不同位置设置3-6个所述标定装置，且在相同位置的每一所述标定装置的视线深度方向及仰角各不相同。

11.如权利要求6所述的联合标定方法，其特征在于，组成所述空心梯形椎体的四个单面平板为等腰梯形。

12.如权利要求11所述的联合标定方法，其特征在于，所述空心梯形椎体的等腰梯形其两个底角均为60°，两个顶角均为120°，以及其上底长度为下底长度的1/2。

13.如权利要求6所述的联合标定方法，其特征在于，所述空心梯形椎体的单面平板为金属板，所述金属板表面镀具有可响应激光红外工作波长反射率的漫反射材料。

14.如权利要求13所述的联合标定方法，其特征在于，所述漫反射涂层材料的主要化学成分包括硫酸钡、聚四氟乙烯或水基乙烷。

Images