CN114415155A - 单点激光测距仪与可见光相机的位置标定方法 - Google Patents

Abstract

本发明公开了单点激光测距仪与可见光相机的位置标定方法，涉及激光测距技术领域，使用的带有先验光斑大小孔径的标定板，当光斑照射入孔径中心时，距离值相比于没有照射在孔径中心时的距离值会发生突变，并且返回的信号强度相比于没有照射在光斑处的强度高，当再次将标定板孔径覆盖，则可以获得光斑处返回的距离值。从而给标定工作提供完整的数据信息；本发明提供的单点激光测距仪与可见光相机的位置标定方法，利用标定板孔径代替不可见激光光斑，获知单点激光测距仪与可见光相机之间的相对位置和方向，提升了单点激光测距仪与可见光相机的标定精度。

Description

单点激光测距仪与可见光相机的位置标定方法

技术领域

本发明涉及激光测距技术领域，特别涉及单点激光测距仪与可见光相机的位置标定方法。

背景技术

单点激光测距仪和摄像头的融合通常用于现代生活中，比如无人机载或车载的联合测量系统，用于场景重建与自动驾驶等多个领域。而可见光相机与单点激光测距仪的融合应用，主要使用的是2D或者3D的单点激光测距仪，对于单点激光测距仪与可见光相机相组合的研究很少。但在实际生活中，组合单点激光测距仪与可见光相机的技术手段应用最广泛。

随着工业应用的发展，两者的应用也更加要求更加准确的刚性连接信息，以便于对影像与测距的信息更加有效的应用。现有技术中用于标定单点激光测距仪与可见光相机的方法是使用可见光相机与红外相机的标定的前提下，依靠红外相机寻找到光斑位置，归算至光学相机的像点坐标，再与单点激光测距仪返回的距离值来进行标定。该方法理论上固然是鲁棒的，但是在实际实验过程中，仅从纯视觉双目恢复相机的运动的方法存在较大的误差，且由于可见光相机与红外相机的内参与畸变参数不同，这也会增加两相机的标定误差。而使用EPnP方式，从空间已知三维点来确定相机位姿过程的方法是相对稳定的，但这种方法对于可见光相机无法找到测距仪的光斑。

针对此问题，本发明提出单点激光测距仪与可见光相机的位置标定方法，利用标定板孔径代替不可见激光光斑，获知单点激光测距仪与可见光相机之间的相对位置和方向，提升了单点激光测距仪与可见光相机的标定精度。

发明内容

本发明的目的在于提供单点激光测距仪与可见光相机的位置标定方法，利用标定板孔径代替不可见激光光斑，获知单点激光测距仪与可见光相机之间的相对位置和方向，提升了单点激光测距仪与可见光相机的标定精度。

本发明提供了单点激光测距仪与可见光相机的位置标定方法，包括以下步骤：

单点激光测距仪固定在可见光相机的表面，且所述单点激光测距仪的激光发射方向与所述可见光相机的拍摄方向一致；

将设有孔径的标定板放置在所述单点激光测距仪激光发射的范围内；

所述单点激光测距仪保持与所述标定板之间的垂直距离进行移动，获取单点激光测距仪与标定板之间距离值和信号强度值，并记录距离值和信号强度值变化时单点激光测距仪的位置；

单点激光测距仪保持在距离值和信号强度值发生变化的位置处，遮盖标定板的孔径，采集此刻单点激光测距仪到孔径之间的距离值；

可见光相机采集标定板的可见光影像，并使用畸变参数获取去畸变影像；

根据去畸变影像中的光斑位置与单点激光测距仪到孔径之间的距离值进行标定计算，获得标定结果。

进一步地，还包括：

对可见光相机进行内参标定和恢复外参，所述内参标定为将可见光相机O外方位元素设置为T_O＝[R_Ot_O]，内参矩阵设置为K。

进一步地，所述可见光相机在该位置处采集标定板的可见光影像，并使用畸变参数获取去畸变影像的步骤，包括：

由Matlab相机标定工具获取可见光相机内参和畸变参数；

获取可见光影像；

根据可见光相机内参与畸变参数对可见光影像进行畸变，获取去畸变影像。

进一步地，所述根据去畸变影像中的光斑位置与单点激光测距仪到孔径之间的距离值进行标定计算，获得标定结果的步骤，包括：

获取单点激光测距仪的指向角相对于可见光相机的主光轴指向角的偏移量；

根据偏移量和三角向量关系，获得单点激光测距仪与光斑之间的距离向量值；

根据单点激光测距仪与光斑之间的距离向量值，确定可见光相机坐标系下光斑的三维坐标值；

根据光斑的三维坐标值，利用平方加质心定位方法计算质心坐标；

调整激光光斑大小与孔径大小一致，获取光斑位置。

进一步地，所述获取单点激光测距仪的指向角相对于可见光相机的主光轴指向角的偏移量，包括：

设单点激光测距仪中心为C，其测距中心相对于可见光相机中心的位移向量表示为t_C，测距仪的指向角相对于可见光相机的主光轴指向角的偏移量为

并求取

求取公式为：

进一步地，所述根据偏移量和三角向量关系，获得单点激光测距仪与光斑之间的距离向量值的步骤，包括：

假设可见光相机中心C的光线与测距仪光线O交于点S；

根据单点激光测距仪和可见光相机之间的相对位置确定向量OC的值；

获取可见光相机中心C和交点S的距离向量值CS，获取公式为：

其中，L为测距仪返回的距离值；

根据三角向量关系得测距仪与光斑之间的距离向量值：

其中：

为激光光斑所对应像素的深度值。

进一步地，所述根据单点激光测距仪与光斑之间的距离向量值，确定可见光相机坐标系下光斑的三维坐标值的方式，包括：

根据单点激光测距仪与光斑之间的距离向量值计算三维坐标值，计算公式如下：

使用最小二乘法解算

得出标定参数。

进一步地，所述根据光斑的三维坐标值，利用平方加质心定位方法计算质心坐标的步骤，包括：

获取光斑的三维坐标值；

假设在定标系统捕获到的光斑内，影像上孔径所在位置的像素坐标为(x_i,y_i)＝(i＝1,2,...,n)，采用平方加权质心算法计算质心坐标(x₀,y₀)，即：

其中，ω_i为当前影像显示孔径的像点个数。

进一步地，所述调整激光光斑大小与孔径大小一致，获取标定结果的步骤，包括：

设单点激光测距仪光线向量为μ_C，标定板法向量为μ_B，目视根据μ_C方向确定μ_B的位置

执行标定程序，确定

根据

确定

的方向，执行标定程序，确定

比较

与

的数值，判定两者差距是否小于阈值，若小于，则停止迭代，以

为标定板方向的标定结果；若不小于，则迭代执行标定程序，确定

与

迭代进行

与

的数值比较。

进一步地，还包括：

获取激光测距仪与标定板之间距离值和信号强度未变化的位置坐标和距离值；

使用变化位置坐标处获取的像点坐标；

根据可见光相机参数，将可见光相机光斑归算到像素坐标系，进行精度验证。

与现有技术相比，本发明具有如下显著优点：

本发明提出的单点激光测距仪与可见光相机的位置标定方法，使用的带有先验光斑大小孔径的标定板，当光斑照射入孔径中心时，距离值相比于没有照射在孔径中心时的距离值会发生突变，并且返回的信号强度相比于没有照射在光斑处的强度高，当再次将标定板孔径覆盖，则可以获得光斑处返回的距离值。从而给标定工作提供完整的数据信息，在枪支瞄准领域，单点激光测距仪可以辅助枪支瞄准镜的瞄准，帮助士兵获取更加准确的距离信息，本发明方法的成本更加低廉；本发明提供的单点激光测距仪与可见光相机的位置标定方法，利用标定板孔径代替不可见激光光斑，获知单点激光测距仪与可见光相机之间的相对位置和方向，提升了单点激光测距仪与可见光相机的标定精度。

附图说明

图1为本发明实施例提供的单点激光测距仪与可见光相机的标定流程图；

图2为本发明实施例提供的单点激光测距仪与可见光相机的安装示意图；

图3为本发明实施例提供的光测距仪光线与可见光相机光线交会示意图；

图4为本发明实施例提供的

位置示意图；

图5为本发明实施例提供的

位置示意图；

图6为本发明实施例提供的

位置示意图；

图7为本发明实施例提供的标定板单点激光测距仪与可见光相机的位置示意图；

图8为本发明实施例提供的激光光线完整的通过孔径图；

图9为本发明实施例提供的激光光线照射在标定板图；

图10为本发明实施例提供的部分激光光线通过孔径图；

图11为本发明实施例提供的激光光斑与测距距离的关系图。

具体实施方式

下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例1

由于单点激光测距仪使用约900nm的红外光线，导致单点激光测距仪照射到物体上的光斑不可见，因此本申请利用标定板孔径代替不可见激光光斑的方法，改善了两者的标定精度，单点激光测距仪与可见光相机的标定，具有很大的实用场景。在摄影测量领域，像素的激光距离值可以融合光束法平差，从而提高空中三角测量结果的精度；在机器人领域，单点激光测距仪与可见光相机的融合，相比于2D或3D激光测距仪与可见光相机的融合，成本更加低廉，在完成一些任务时，单点激光测距仪同样也能胜任2D或3D激光测距仪的任务，从而达到控制成本的目的；在枪支瞄准领域，单点激光测距仪可以辅助枪支瞄准镜的瞄准，帮助士兵获取更加准确的距离信息。

参照图1和图11，本发明提供了单点激光测距仪与可见光相机的位置标定方法，标定流程如图1所示，包括以下步骤：

步骤S1：单点激光测距仪固定在可见光相机的表面，且所述单点激光测距仪的激光发射方向与所述可见光相机的拍摄方向一致，如图2所示。

步骤S2：将设有孔径的标定板放置在所述单点激光测距仪激光发射的范围内，当光斑照射入孔径中心时，距离值相比于没有照射在孔径中心时的距离值会发生突变，并且返回的信号强度相比于没有照射在光斑处的强度高。

步骤S3：所述单点激光测距仪保持与所述标定板之间的垂直距离进行移动，获取单点激光测距仪与标定板之间距离值和信号强度值，并记录距离值和信号强度值变化时单点激光测距仪的位置。

步骤S4：单点激光测距仪保持在距离值和信号强度值发生变化的位置处，遮盖标定板的孔径，采集此刻单点激光测距仪到孔径之间的距离值。

步骤S5：对可见光相机进行内参标定和恢复外参，所述内参标定为将可见光相机O外方位元素设置为T_O＝[R_Ot_O]，内参矩阵设置为K。

步骤S6：可见光相机在该位置处采集标定板的可见光影像，影像数目不少于3，并使用畸变参数获取去畸变影像。步骤包括：

步骤S601：由Matlab相机标定工具获取可见光相机内参和畸变参数；

步骤S602：获取可见光影像；

步骤S603：根据可见光相机内参与畸变参数对可见光影像进行畸变，获取去畸变影像。

步骤S7：根据去畸变影像中的光斑位置与单点激光测距仪到孔径之间的距离值进行标定计算，获得标定结果，步骤包括：

步骤S701：获取单点激光测距仪的指向角相对于可见光相机的主光轴指向角的偏移量，设单点激光测距仪中心为C，其测距中心相对于可见光相机中心的位移向量表示为t_C，测距仪的指向角相对于可见光相机的主光轴指向角的偏移量为

并求取

求取公式为：

测距仪与可见光相机的标定关系，需要5个自由度来确定，使用最小二乘法即可结解算出标定参数，自由度表示为：

步骤S702：根据偏移量和三角向量关系，获得单点激光测距仪与光斑之间的距离向量值，包括：

假设可见光相机中心C的光线与测距仪光线O交于点S，如图3至图6所示；

根据单点激光测距仪和可见光相机之间的相对位置确定向量OC的值；

获取可见光相机中心C和交点S的距离向量值CS，获取公式为：

其中，L为测距仪返回的距离值；

根据三角向量关系得测距仪与光斑之间的距离向量值：

其中：

为激光光斑所对应像素的深度值。

步骤S703：根据单点激光测距仪与光斑之间的距离向量值，确定可见光相机坐标系下光斑的三维坐标值，根据测距仪与光斑之间的距离向量值计算三维坐标值，计算公式如下：

使用最小二乘法解算

得出标定参数。

步骤S704：当不可见的激光光斑完全照射到孔径时，其距离值会发生突变，并且返回得到的信号相比于不完全照射入孔径所造成的距离值突变，完光线全照射到孔径时，其回波强度也会达到峰值。为此，当达到此条件时，便可认为孔径位置为激光光斑位置，根据光斑的三维坐标值，利用平方加质心定位方法计算质心坐标，假设在定标系统捕获到的光斑内，影像上孔径所在位置的像素坐标为(x_i,y_i)＝(i＝1,2,...,n)，采用平方加权质心算法计算质心坐标(x₀,y₀)，即：

其中，ω_i为当前影像显示孔径的像点个数，即当前影像的权值。

步骤S705：参照图7至图10，当激光光线完整的通过孔径，距离值发生突变且返回信号强度较高；当激光光线照射在标定板上，距离值未发生突变，返回信号强度较高；当部分激光光线通过孔径，距离值发生突变但返回的信号强度较低；调整激光光斑大小与孔径大小一致，获取光斑位置的步骤，包括：

设单点激光测距仪光线向量为μ_C，标定板法向量为μ_B，当且仅当μ_C||μ_B，确定激光光斑大小与孔径大小一致时，可以保证激光光斑形状、位置、大小可以在可见光相机影像上呈现，目视根据μ_C方向确定μ_B的位置

执行标定程序，确定

根据

确定

的方向，执行标定程序，确定

比较

与

的数值，判定两者差距是否小于阈值，若小于，则停止迭代，以

为标定板方向的标定结果；若不小于，则迭代执行标定程序，确定

与

迭代进行

与

的数值比较。

步骤S8：获取激光测距仪与标定板之间距离值和信号强度未变化的位置坐标和距离值，参照图11，保证标定板法向量与测距仪光线相平行，由公式A＝(0.0006*L[mm])+20mm和B＝(0.0028*L[mm])+10mm确定激光光斑形状，在标定软件内，输入可见光相机内外参数与无去畸变影像后，便可以点选光斑位置，赋予光斑的三维独立坐标系的位置与该处单点激光测距仪测定的距离值，点位可以作为检核点与计算点，当计算点达到3个以上时，进行数据完整性检查，若数据完整，则可以开始进行标定计算，其中最小二乘法使用Ceres进行结算，最终与检查点归算到像平面坐标系，以此来计算出检查点的像点总体误差，最终将信息输出到UI界面中，也可以选择保存为文件，UI使用Qt进行设计，让标定工作更加易于操作，使用模拟数据表明，该标定方法，使得标定误差小于1个像素；

步骤S9：使用变化位置坐标处获取的可见光影像的像点坐标；

步骤S10：根据可见光相机参数，将可见光相机光斑归算到像素坐标系，进行精度验证，验证公式为：

其中：s为比例因子。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.单点激光测距仪与可见光相机的位置标定方法，其特征在于，包括以下步骤：

单点激光测距仪固定在可见光相机的表面，且所述单点激光测距仪的激光发射方向与所述可见光相机的拍摄方向一致；

将设有孔径的标定板放置在所述单点激光测距仪激光发射的范围内；

所述单点激光测距仪保持与所述标定板之间的垂直距离进行移动，获取单点激光测距仪与标定板之间距离值和信号强度值，并记录距离值和信号强度值变化时单点激光测距仪的位置；

单点激光测距仪保持在距离值和信号强度值发生变化的位置处，遮盖标定板的孔径，采集此刻单点激光测距仪到孔径之间的距离值；

可见光相机采集标定板的可见光影像，并使用畸变参数获取去畸变影像；

根据去畸变影像中的光斑位置与单点激光测距仪到孔径之间的距离值进行标定计算，获得标定结果。

2.如权利要求1所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，还包括：

对可见光相机进行内参标定和恢复外参，所述内参标定为将可见光相机O外方位元素设置为T_O＝[R_Ot_O]，内参矩阵设置为K。

3.如权利要求2所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，所述可见光相机在该位置处采集标定板的可见光影像，并使用畸变参数获取去畸变影像的步骤，包括：

由Matlab相机标定工具获取可见光相机内参和畸变参数；

获取可见光影像；

根据可见光相机内参与畸变参数对可见光影像进行畸变，获取去畸变影像。

4.如权利要求1所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，所述根据去畸变影像中的光斑位置与单点激光测距仪到孔径之间的距离值进行标定计算，获得标定结果的步骤，包括：

获取单点激光测距仪的指向角相对于可见光相机的主光轴指向角的偏移量；

根据偏移量和三角向量关系，获得单点激光测距仪与光斑之间的距离向量值；

根据单点激光测距仪与光斑之间的距离向量值，确定可见光相机坐标系下光斑的三维坐标值；

根据光斑的三维坐标值，利用平方加质心定位方法计算质心坐标；

调整激光光斑大小与孔径大小一致，获取光斑位置。

5.如权利要求4所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，所述获取单点激光测距仪的指向角相对于可见光相机的主光轴指向角的偏移量，包括：

设单点激光测距仪中心为C，其测距中心相对于可见光相机中心的位移向量表示为t_C，测距仪的指向角相对于可见光相机的主光轴指向角的偏移量为

并求取

求取公式为：

6.如权利要求5所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，所述根据偏移量和三角向量关系，获得单点激光测距仪与光斑之间的距离向量值的步骤，包括：

假设可见光相机中心C的光线与测距仪光线O交于点S；

根据单点激光测距仪和可见光相机之间的相对位置确定向量OC的值；

获取可见光相机中心C和交点S的距离向量值CS，获取公式为：

其中，L为测距仪返回的距离值；

根据三角向量关系得测距仪与光斑之间的距离向量值：

其中：

为激光光斑所对应像素的深度值。

7.如权利要求6所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，所述根据单点激光测距仪与光斑之间的距离向量值，确定可见光相机坐标系下光斑的三维坐标值的方式，包括：

根据单点激光测距仪与光斑之间的距离向量值计算三维坐标值，计算公式如下：

使用最小二乘法解算

得出标定参数。

8.如权利要求7所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，所述根据光斑的三维坐标值，利用平方加质心定位方法计算质心坐标的步骤，包括：

获取光斑的三维坐标值；

假设在定标系统捕获到的光斑内，影像上孔径所在位置的像素坐标为(x_i,y_i)＝(i＝1,2,...,n)，采用平方加权质心算法计算质心坐标(x₀,y₀)，即：

其中，ω_i为当前影像显示孔径的像点个数。

9.如权利要求8所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，所述调整激光光斑大小与孔径大小一致，获取标定结果的步骤，包括：

设单点激光测距仪光线向量为μ_C，标定板法向量为μ_B，目视根据μ_C方向确定μ_B的位置

执行标定程序，确定

根据

确定

的方向，执行标定程序，确定

比较

与

的数值，判定两者差距是否小于阈值，若小于，则停止迭代，以

为标定板方向的标定结果；若不小于，则迭代执行标定程序，确定

与

迭代进行

与

的数值比较。

10.如权利要求1所述的单点激光测距仪与可见光相机的位置标定方法，其特征在于，还包括：

获取激光测距仪与标定板之间距离值和信号强度未变化的位置坐标和距离值；

使用变化位置坐标处获取的像点坐标；

根据可见光相机参数，将可见光相机光斑归算到像素坐标系，进行精度验证。

Images