CN105737849A - 隧道车用激光扫描仪与相机相对位置的检校方法 - Google Patents

Abstract

本发明属于涉及到隧道车用激光扫描仪与相机相对位置的检校方法。包括以下步骤：在每个相机前放置一个棋盘格，使该棋盘格对应的相机能至少拍摄棋盘格平面的一部分，激光测距仪扫描所述棋盘格，在棋盘格上得到一条相应的扫描线；建立激光数据和影像的对应关系；利用数值优化来解算激光坐标系和相机坐标系的相对位置和姿态。本发明可以快速获取相机内参和相机与激光扫描仪的外参；在激光点不可见的条件下，通过激光点在棋盘格平面上的约束关系来建立相机和激光扫描仪之间的相对位置关系，并且利用数值优化的方法来解算参数。本发明方法简单，操作方便、准确性高。

Description

隧道车用激光扫描仪与相机相对位置的检校方法

技术领域

本发明属于测绘科学技术与仪器科学的交叉领域，涉及CCD成像技术、图像处理技术、激光扫描技术，尤其涉及到隧道车用激光扫描仪与相机相对位置的检校方法。

背景技术

隧道车是搭载相机和激光扫描仪等多种传感器进行隧道检测的移动平台。由于隧道特有的拱形结构和相机视场范围的限制，本发明采用多相机阵列的方式同时进行全隧道影像数据的采集。同时，不同地区隧道的建造高度不一样，导致相机所拍摄的隧道数据的分辨率不同，需要采用低成本的不可见激光器进行测距，为后续的影像的拼接提供精确物距，保证隧道中不同高度的影像数据具备一致的分辨率。

相机和激光扫描仪检校的背景。借助一定的机械装置，相机和激光扫描仪刚性固定在一个移动平台上，两者之间的相对位置关系相对固定。为了实现多相机阵列影像的无缝高效拼接，以及激光测距信息和影像纹理数据的精确匹配和三维建模，需要知道相机与激光扫描仪之间的相对位置关系。一般而言，相机和激光扫描仪之间的相对位置关系(如图1所示)指的是相机坐标系和激光坐标系的旋转角和位移量。因此可以使用3个旋转角(或一个3*3的旋转矩阵)和一个3*1的平移向量来表示两者之间的相对位置关系。传统的相机和激光扫描仪之间的检校方法中，因激光扫描仪扫描的是目标物体表面的点的三维坐标和强度信息，很容易找到激光点云和目标物体的图像像素之间的对应关系，实现检校。

然而，为了降低成本，往往使用低成本的二维激光测距仪替代三维激光测距仪。但是，由于二维激光测距仪只能得到其到目标的距离，且没有强度信息，换句话说点云是不可见的，而无从得知点云的具体位置，这给检校带来了困难。

此外，传统的检校方法利用三维激光扫描仪进行三维重建，在激光数据可见的情况下来寻找对应的相机和激光数据，根据激光数据和对应影像之间的匹配来建立相机和激光扫描仪之前的位置关系。这种方法耗时长，成本大，且存在激光数据冗余。而在激光点不可见的情况下，这种方法则失效。

发明内容

本发明所要解决的技术问题是克服上述不足，提出一种隧道车用激光扫描仪与相机相对位置的检校方法。

为解决上述技术问题，本发明提出一种隧道车用激光扫描仪与相机相对位置的检校方法。包括以下主要步骤：

在每个相机前放置一个棋盘格，使该棋盘格对应的相机能至少拍摄棋盘格平面的一部分，激光测距仪扫描所述棋盘格，在棋盘格上得到一条相应的扫描线；

建立激光数据和影像的对应关系；

利用数值优化来解算激光坐标系和相机坐标系的相对位置和姿态。

进一步的，所述解算激光坐标系和相机坐标系的相对位置和姿态，具体包括：

建立相机坐标系和激光坐标系之间的几何关系，找出两个坐标系之间的旋转和平移向量；

所述棋盘格作为校正平面，因为棋盘格对相机和激光扫描仪都是可见的；假设校正平面在世界坐标系的Z坐标等于0，在相机坐标系中，校正平面由一个平行于校正平面的法线的3×1的向量N进行表示，向量N的模‖N‖等于相机到校正平面的距离，从而可以得到

N＝-R₃(R₃ ^T·t)(3)

其中R₃是旋转矩阵R中的第三列，t是在世界坐标系中相机的中心的坐标。

若给定在激光坐标系中的某一激光点坐标P^f，就能够确定在它在相机参考坐标系下的坐标P(P＝Φ^-1(P^f-Δ))，因为P点在由向量N所定义的校正平面上，所以满足N·P＝‖N‖²，则可以得到下式

N·Φ^-1(P^f-Δ)＝‖N‖²(4)

假定相机检校完毕，得到相机相对于棋盘格平面的外参(R,t)，从而检校平面参数N可以由(3)式得到；因为在激光坐标系中，所有的激光点位于Y＝0的平面上，所以一个激光点的坐标P^f可以表示为[X,Z,1]，从而可以重写方程(4)，得到公式(5)

的变换矩阵；一旦H矩阵确定，就可以估计相机的相对姿态Φ和位置Δ,如公式(6)所示

Φ＝[H₁,-H₁×H₂,H₂]^T

Δ＝-[H₁,-H₁×H₂,H₂]^TH₃(6)。

更优选的，所述的隧道车用激光扫描仪与相机相对位置的检校方法，还包括相机内参校验，具体包括：

一个相机可以用针孔模型进行描述，从世界坐标系P＝[X,Y,Z]到图像坐标系p＝[u,v]的投影可以用公式(1)进行表示

p～K(RP+t)(1)

其中K是相机内参，R为旋转矩阵，代表相机的姿态，t为平移向量，代表着相机的方位。

本发明基于棋盘激光数据和棋盘影像的相机激光扫描仪的检校方法利用激光扫描仪、CCD相机、车载平台等多传感器集成及数据融合原理与方法，在车载平台触发相机和激光扫描仪，在同一时刻获取由CCD相机得到的棋盘格图像和由激光扫描仪获取的测距和角度数据，所有的数据和同步数据传输到计算机中进行软件处理，从而得到CCD相机的内参和CCD相机与激光扫描仪的相对位置关系。

有益效果：本发明在激光点不可见的情况下，利用激光数据距离的不同和激光点在不同平面的特点，正确显示所有激光点，建立一种平面约束关系来建立相机和激光扫描仪之间的相对位置关系。

传统的方法进行相机检校时，需要考虑到棋盘格和激光数据同时位于相机的视野中。该方法在实际操作中耗时长，操作困难。本发明需要建立激光数据和棋盘格影像的平面约束关系，只需激光扫描线位于棋盘格的平面上即可，相机可拍摄棋盘格平面的一部分，方法简单，操作方便。

传统的检校方法需要激光数据的强度信息来建立激光数据和影像的之间的对应关系。本发明在激光数据强度信息不可用的情况下，提出了一种通过平面约束关系来建立激光数据和影像之间的位置关系，并且利用数值优化的方法提高了数据的准确性。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为本发明的校验坐标系原理图。

图2为本发明的校验方法流程图。

具体实施方式

基于隧道车用激光扫描仪与多相机阵列的相对位置关系检校方法所涉及的硬件包括：

(1)、载体平台；由底盘车与方舱改装构成，为CCD相机和激光扫描仪等传感器和电源提供机械搭载平台。

(2)、CCD面阵相机；安装在传感器支架上，采集隧道衬砌灰度图像；

(3)、LED照明光源；安装在传感器支架上，为面阵相机提供照明光源。

(4)、激光扫描仪；安装在传感器支架上，采集隧道衬砌断面形变数据。

(5)、供电系统；安装在方舱内部，为系统提供各个设备所需的各种电源。

(6)、采集服务器；安装在方舱内部，采集各个传感器数据并进行存储。

(7)、显控装置；安装在方舱内部，用于采集界面的参数设置，数据界面显示，检测的状态以及结果的显示等人机交互。检验步骤如下：

在每个相机前放置一个棋盘格，使该棋盘格对应的相机能至少拍摄棋盘格平面的一部分，激光测距仪扫描所述棋盘格，在棋盘格上得到一条相应的扫描线；

建立激光数据和影像的对应关系；由于激光数据的不可见和强度信息的缺失，则需要寻找一种其他的约束关系来建立激光数据和影像的对应关系。在这种情况下，利用激光点在棋盘格的平面上，建立一种平面约束关系；

利用数值优化来解算激光坐标系和相机坐标系的相对位置和姿态。

如图2所示，本发明的技术方案主要由两部分组成，第一部分是进行CCD内参的检校；第二部分是相机与激光扫描仪的旋转矩阵Φ和平移向量Δ的解算，从而建立相机和激光扫描仪之间的相对位置关系。

下面通过对各个子系统的功能进行原理描述，进一部阐述本发明的原理与方案。

(1)相机内参检校原理

一个相机可以用针孔模型进行描述，从世界坐标系P＝[X,Y,Z]到图像坐标系p＝[u,v]的投影可以用公式(1)进行表示

p～K(RP+t)(1)

其中K是相机内参，R为旋转矩阵，代表相机的姿态，t为平移向量，代表着相机的方位。

(2)相机和激光扫描仪相对位置检校原理

建立相机坐标系和激光坐标系之间的几何关系，就是要找的两个坐标系之间的旋转和平移向量。激光数据代表着激光中心到一个平面上某一点的距离，激光坐标系的原点位于激光扫面仪的中心，在这个坐标系中，假设激光扫描平面的Y坐标等于0。假设在相机坐标系中的一点P，在激光坐标系中对应着某一激光点P^f，则两个坐标系的变换可以用下式进行表示

P^f＝ΦP+Δ(2)

其中Φ为一个3×3的正交旋转矩阵，代表着相机相对于激光扫描仪的姿态，Δ代表着其相对方位。

A.几何约束

本发明所提出的方法是在每个相机前放置一个棋盘格，也就是校正平面，这个棋盘格对相机和激光扫描仪都是可见的。如图2所示。为了不失一般性，假设校正平面在世界坐标系的Z坐标等于0。在相机坐标系中，校正平面可以由一个平行于校正平面的法线的3×1的向量N进行表示，向量N的模‖N‖等于相机到校正平面的距离，从而可以得到

N＝-R₃(R₃ ^T·t)(3)

其中R₃是旋转矩阵R中的第三列，t是在世界坐标系中相机的中心的坐标。

从(2)式可以推出，若给定在激光坐标系中的某一激光点坐标P^f，就可以确定在它在相机参考坐标系下的坐标P(P＝Φ^-1(P^f-Δ))，因为P点在由向量N所定义的校正平面上，所以满足N·P＝‖N‖²，则可以得到下式

N·Φ^-1(P^f-Δ)＝‖N‖²(4)

B.线性解

首先，假定相机检校完毕，得到相机相对于棋盘格平面的外参(R,t)，从而检校平面参数N可以由(3)式得到。因为在激光坐标系中，所有的激光点位于Y＝0的平面上，所以一个激光点的坐标P^f可以表示为[X,Z,1]，从而可以重写方程(4)，得到公式(5)

的变换矩阵。一旦H矩阵确定，就可以估计相机的相对姿态Φ和位置Δ,如公式(6)所示

Φ＝[H₁,-H₁×H₂,H₂]^T

Δ＝-[H₁,-H₁×H₂,H₂]^TH₃(6)

本发明获取相机数据与激光点云数据的速度快，提高了作业效率；

综合了相机内参检校与相机与激光扫描仪外参检校的优势，解决了单一检测方式遇到的技术瓶颈，提高了检校的效率和准确性。

本发明利用不可见激光数据来进行相机和激光扫描仪相对位置关系检校，成本低廉，操作过程简单，方便易用。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种隧道车用激光扫描仪与相机相对位置的检校方法，其特征在于，包括以下步骤：

在每个相机前放置一个棋盘格，使该棋盘格对应的相机能至少拍摄棋盘格平面的一部分，激光测距仪扫描所述棋盘格，在棋盘格上得到一条相应的扫描线；

建立激光数据和影像的对应关系；

利用数值优化来解算激光坐标系和相机坐标系的相对位置和姿态。

2.根据权利要求1所述的隧道车用激光扫描仪与相机相对位置的检校方法，其特征在于，所述解算激光坐标系和相机坐标系的相对位置和姿态，具体包括：

建立相机坐标系和激光坐标系之间的几何关系，找出两个坐标系之间的旋转和平移向量；

所述棋盘格作为校正平面，因为棋盘格对相机和激光扫描仪都是可见的；假设校正平面在世界坐标系的Z坐标等于0，在相机坐标系中，校正平面由一个平行于校正平面的法线的3×1的向量N进行表示，向量N的模‖N‖等于相机到校正平面的距离，从而可以得到

N＝-R₃(R₃ ^T·t)(3)

其中R₃是旋转矩阵R中的第三列，t是在世界坐标系中相机的中心的坐标；

若给定在激光坐标系中的某一激光点坐标P^f，就能够确定在它在相机参考坐标系下的坐标P(P＝Φ^-1(P^f-Δ))，因为P点在由向量N所定义的校正平面上，所以满足N·P＝‖N‖²，则可以得到下式

N·Φ^-1(P^f-Δ)＝‖N‖²(4)

假定相机检校完毕，得到相机相对于棋盘格平面的外参(R,t)，从而检校平面参数N可以由(3)式得到；因为在激光坐标系中，所有的激光点位于Y＝0的平面上，所以一个激光点的坐标P^f可以表示为[X,Z,1]，从而可以重写方程(4)，得到公式(5)

的变换矩阵；一旦H矩阵确定，就可以估计相机的相对姿态Φ和位置Δ,如公式(6)所示

Φ＝[H₁,-H₁×H₂,H₂]^T

Δ＝-[H₁,-H₁×H₂,H₂]^TH₃(6)。

3.根据权利要求2所述的隧道车用激光扫描仪与相机相对位置的检校方法，其特征在于还包括相机内参校验，具体包括：

一个相机可以用针孔模型进行描述，从世界坐标系P＝[X,Y,Z]到图像坐标系p＝[u,v]的投影可以用公式(1)进行表示

p～K(RP+t)(1)

其中K是相机内参，R为旋转矩阵，代表相机的姿态，t为平移向量，代表着相机的方位。