CN103337066A - 3d获取系统的校准方法 - Google Patents

Abstract

本发明公开了一种用于3D获取系统的校准方法，涉及系统校准领域，所述方法包括：A、沿不同路径对校准物进行多次采集，记录每次采集的深度信息、图像信息以及位置信息和姿态信息；B、通过校准校准物在本地坐标系下的三维坐标，得到校准后的深度传感器和位置姿态传感器之间的外参数，以及校准物的准确三维坐标；C、通过校准校准物的准确三维坐标在图像信息中的二维坐标和图像信息中的校准物的平面坐标，得到校准后的图像传感器和位置姿态传感器的外参数。本发明通过一次校准过程同时校准深度传感器和位置姿态传感器之间的外参数以及图像传感器和位置姿态传感器之间的外参数，达到校准所述3D获取系统的目的。

Description

3D获取系统的校准方法

技术领域

本发明涉及系统校准领域，尤其涉及一种用于3D获取系统的校准方法。

背景技术

3D获取系统能够方便、快捷、高精度的测量周围环境的三维点云信息和图像信息。通过采集得到的三维点云信息和图像信息，能够建立周围环境的3D彩色模型。得到的3D彩色模型具有广泛的应用范围，如制作普通地图、3D地图、测量测绘和城市管理等。其中大部分的应用都要求相当的精度，而所述3D获取系统主要由深度传感器、图像传感器和位置姿态传感器组成，因此也就要求所述的由深度传感器，图像传感器和位置姿态传感器组成的系统要有相当的精度。由深度传感器，图像传感器和位置姿态传感器组成的系统的精度不仅与各个传感器自身的精度有关，也与各个传感器之间的外参数的精度有关。各个传感器的精度由制造厂商控制，用户无法改变，只能选择不同规格的传感器，但是深度传感器，图像传感器和位置姿态传感器之间的外参数精度能够通过校准提高，从而提高测量的精度。

如果把深度传感器和位置姿态传感器，以及图像传感器和位置姿态传感器分开校准，不仅速度慢、效率低、不方便，而且图像传感器采集的图像信息并不能和深度传感器采集的深度信息恢复出来的点云信息很好的匹配上，因此在一次校准过程中同时校准深度传感器、图像传感器和位置姿态传感器之间的外参数是很有优势的。

在同时校准深度传感器、图像传感器和位置姿态传感器之间的外参数的过程中，由于深度传感器的分辨率有限，每次深度传感器采集恢复出的校准物的点云信息基本都不可能含有相同的点，如果直接用这些不同的点去校准，则校准精度无法保证；同时，由于深度传感器的分辨率有限，深度传感器采集恢复出的校准物的点云信息也不能很好的和图像传感器采集到的校准物的图像信息准确对应起来，因此，本发明提供了一种用于校准深度传感器、图像传感器和位置姿态传感器之间的外参数的方法，用来克服以上难题，达到快速、方便、准确的校准深度传感器、图像传感器和位置姿态传感器之间的外参数的目的。

发明内容

（一）要解决的技术问题

本发明的目的是提供一种快速、方便、准确的3D获取系统的校准方法，提高由深度传感器获取的深度信息与由图像传感器获取的图像信息之间的匹配度，同时提高3D获取系统的测量精度。

（二）技术方案

为解决上述技术问题，本发明提供了一种3D获取系统的校准方法，该方法包括以下步骤：

A、沿不同路径对校准物进行多次采集，记录每次采集的深度信息、图像信息以及位置信息和姿态信息；

B、通过校准校准物的三维坐标，得到校准后的深度传感器和位置姿态传感器之间的外参数，以及校准物的准确三维坐标(xl,yl,zl)；

C、通过校准校准物的准确三维坐标(xl,yl,zl)在图像信息中的二维坐标(rl_j,cl_j)和图像信息中的校准物的平面坐标(rc_j,cc_j)，得到校准后的图像传感器和位置姿态传感器的外参数；

所述深度传感器和位置姿态传感器之间的外参数是指深度传感器和位置姿态传感器之间的相对位置和姿态；

所述图像传感器和位置姿态传感器之间的外参数是指图像传感器和位置姿态传感器之间的相对位置和姿态。

所述采集过程中每次采集记录一组深度传感器获取的校准物的深度信息，记录一张或者多张所述图像传感器获取的校准物的图像信息，记录一组所述位置姿态传感器输出的位置信息和姿态信息；共进行N次采集，其中N大于等于2，N次采集一共记录N组所述深度信息，M张图像信息，其中M大于等于3，以及N组位置信息和姿态信息。

所述校准后的深度传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的：

B1、设定一个深度传感器和位置姿态传感器的外参数；

B2、根据上述设定的深度传感器和位置姿态传感器之间的外参数，融合第i次采集中深度传感器采集得到的深度信息以及位置姿态传感器采集到的位置信息和姿态信息，通过三维坐标变换得到三维点云信息，从三维点云信息中找出校准物的三维坐标(xl_i,yl_i,zl_i)，其中1≤i≤N；

B3、重复步骤B2直到把上述N次采集的数据都处理完，得到N组校准物的三维坐标点；

B4、计算多次采集得到的几组校准物的三维坐标点是否落在一个最优范围内，如果是落在一个最优范围内则执行步骤B5；否则跳至B1，并修改上述设定的深度传感器和位置姿态传感器之间的外参数；

B5、使多次采集得到的几组校准物的三维坐标点都落在一个最优范围内的深度传感器和位置姿态传感器的外参数就是校准后的深度传感器和位置姿态传感器的外参数；

B6、通过平均值法计算校准物的准确三维坐标（xl，yl，zl）；

所述位置姿态传感器输出的位置信息和姿态信息分别是被检测物的经度、维度和高度，以及俯仰角、横滚角和方向角。

上述步骤B4和B5所述最优范围是一个足够小的球体范围，使上述得到的多组三维坐标点都落在这个球体范围内；或者通过上述得到的多组三维坐标点的均方差，或者方差，或者其他类似的统计指标在搜索范围内为最小值来确定。

所述校准后的图像传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的：

C1、设定一个图像传感器和位置姿态传感器的外参数；

C2、从图像传感器采集到的第j张图像信息中找到校准物的平面坐标(rc_j,cc_j)，其中1≤j≤M；

C3、从图像传感器坐标系xyzO中取出原点O，从x坐标轴、y坐标轴、z坐标轴中选取任意两个坐标轴，分别在上述选取的两个坐标轴上任意选取一个点；

根据所述设定的图形传感器与位置姿态传感器之间的外参数，通过三维坐标旋转变换和三维坐标平移变换，能够得到点O和上述选取的两个点在位置姿态传感器坐标系下的三维坐标；

找出图像传感器采集到该张图像信息时刻的位置姿态传感器采集的位置信息和姿态信息，并通过大地坐标变换，得到点O和上述选取的两个点在本地坐标下的三维坐标，通过所述点O和上述选取的两个点，在本地坐标系下恢复出图像传感器x坐标轴，y坐标轴和z坐标轴，以及图像传感器坐标系的原点O；

利用该图像传感器的小孔成像模型把步骤B得到的校准物的准确三维坐标通过投影变换变换到该图像传感器平面，即得到该校准物的准确三维坐标（xl，yl，zl）在该图像信息中的二维坐标(rl_j,cl_j)；

最后求差值 ${\stackrel{\→}{d}}_j=({\mathrm{rc}}_j,{\mathrm{cc}}_j)-({\mathrm{rl}}_j,{\mathrm{cl}}_j);$

C4：重复步骤C2-C3，直到把M张图像信息都处理，并得到M组差值，分别为

C5：计算所有采集得到的M组差值

是否落在一个最优范围内：如果落在一个最优范围内，则执行C6；如果

未落在一个最优范围内，则跳至C1重新设定图像传感器和位置姿态传感器的外参数；

C6：使M组差值落在一个最优范围内的图像传感器和位置姿态传感器的外参数就是校准后的图像传感器和位置姿态传感器的外参数。

上述步骤C5和C6所述最优范围是一个足够小的圆形范围，能够使上述步骤得到的M组差值都落在这一圆形范围内；或者通过上述步骤得到的M组差值的均方差在搜索范围内为最小值来确定。

上述校准物由三个平板组成，至少两个上述平板的外表面有能够被图像传感器识别的特征直线；上述三个平板的外表面构成校准物的三个特征平面，所述三个特征平面两两不共面，并且所述特征直线的交点和所述特征平面的交点在空间上重合；

所述平板的外表面是指所述平板的能够被图像传感器扫描到的一面。

所述步骤B2具体包括：

B2.1、深度传感器扫描到的某一物体的三维坐标在深度传感器坐标系下为(x^o2l,y^o2l,z^o2l)，利用所述设定的深度传感器与位置姿态传感器之间的外参数，将这一坐标映射到位置姿态传感器坐标系下，得到(x^o2G,y^o2G,z^o2G)；

将(x^o2G,y^o2G,z^o2G)与深度传感器扫描上述这一物体同一时刻的位置姿态传感器采集的位置信息和姿态信息结合，通过大地坐标变换得到这一物体在本地坐标系下的三维坐标(x,y,z)；

深度坐标器采集到的全部物体在本地坐标系下的全部三维坐标，构成三维点云信息；

B2.2、从三维点云信息中找出校准物的三个特征平面，并分别用平面方程拟合所述三个特征平面的平面方程；

B2.3、求所述三个特征平面的平面方程的交点，把该交点作为校准物的三维坐标点(xl_i,yl_i,zl_i)。

优选地，所述平面方程拟合的方法是最小二乘法。

所述步骤C2提取图像信息中校准物的平面坐标的方法具体包括：

C2.1：在所述图像信息中，找到所述校准物的两条特征直线；

C2.2：用直线方程拟合所述两条特征直线，得到特征直线的直线方程；

C2.3：求出所述两条特征直线的交点，作为校准物的平面坐标。

优选地，所述直线方程拟合的方法是最小二乘法。

优选地，所述深度传感器是二维激光雷达；所述图像传感器是单色或者彩色或者红外的CMOS或者CCD图像传感器；所述位置姿态传感器是全球定位系统（Global Positioning System，GPS）、差分全球定位系统（Differential Global Positioning System，DGPS）、北斗卫星导航系统、格洛纳斯系统(GLONASS)、伽利略定位系统（Galileo）中的一种或者多种的组合与惯性测量单元（Inertial Measurement Unit，IMU）组成的组合导航系统。

（三）有益效果

本发明提出了一种3D获取系统的校准方法，通过一次校准过程同时校准深度传感器、图像传感器和位置姿态传感器之间的外参数，提高3D获取系统的精度，方法快速、方便、准确；同时能够提高图像传感器采集的图像信息和深度传感器采集的深度信息的匹配度；同时，通过一种校准物的设计和与之对应的校准方法，能够避免因为深度传感器的分辨率不够导致的校准精度不高的问题。

结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1是根据本发明的校准方法的示意流程图；

图2是图1所示方法中的步骤B的一种实施方式的示意流程图；

图3是图1所示方法中的步骤C的一种实施方式的示意流程图；

图4是本发明的实施例所述的校准物的两种结构示意图。

图5是图2中步骤B2的具体方法流程图；

图6是图3中步骤C2的具体方法流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在实施例1中，深度传感器是二维激光雷达；图像传感器是彩色CMOS图像传感器或者彩色CCD图像传感器；位置姿态传感器是GPS与IMU组成的组合导航系统。

步骤A：用3D获取系统沿不同路径对校准物进行N（N≥2）次采集，即用放置在移动平台上的深度传感器，图像传感器和位置姿态传感器沿不同路径对校准物进行N（N≥2）次采集；每次采集记录一组所述深度传感器获取校准物的深度信息，记录一张或者多张所述图像传感器获取校准物的图像信息，记录一组所述位置姿态传感器输出的位置信息和姿态信息；N次采集一共记录N组所述深度信息，M（M≥N）张图像信息，以及N组位置信息和姿态信息；

步骤B：分别融合N次采集得到的深度信息、位置信息和姿态信息，通过校准校准物的三维坐标(xl_i,yl_i,zl_i)(1≤i≤N)来校准深度传感器和位置姿态传感器的外参数，并得到校准物的准确三维坐标(xl,yl,zl)。

所述的深度传感器和位置姿态传感器之间的外参数是指深度传感器和位置姿态传感器之间的相对位置和姿态，即深度传感器和位置姿态传感器的坐标原点之间的距离和对应坐标轴之间的夹角，用三个平移量 $T_k^{l2G}=(x_k^{l2G},y_k^{l2G},z_k^{l2G})$ 和三个角度值 $R_k^{l2G}=({\mathrm{\α}}_k^{l2G},{\mathrm{\β}}_k^{l2G},{\mathrm{\γ}}_k^{l2G})$ 表示；其中

示深度传感器的坐标原点和位置姿态传感器的坐标系的x方向的偏移量，

表示深度传感器的坐标原点和位置姿态传感器的坐标系的y方向的偏移量，

表示深度传感器的坐标原点和位置姿态传感器的坐标系的z方向的偏移量，表示深度传感器的坐标轴在位置姿态传感器的坐标系下的俯仰角，表示深度传感器的坐标轴在位置姿态传感器的坐标系下的横滚角，

表示深度传感器的坐标轴在位置姿态传感器的坐标系下的方向角。

步骤C：把校准物的准确三维坐标(xl,yl,zl)，分别与N次采集得到的M张图像信息以及位置信息和姿态信息融合，并通过校准校准物的准确三维坐标在图像信息中的二维坐标(rl_j,cl_j)和图像信息中的校准物的平面坐标(rc_j,cc_j)来校准图像传感器和位置姿态传感器的外参数。

所述的图像传感器和位置姿态传感器之间的外参数是指图像传感器和位置姿态传感器之间的相对位置和姿态，即图像传感器和位置姿态传感器的坐标原点之间的距离和对应坐标轴之间的夹角，用三个平移量 $T_k^{g2c}=(x_k^{g2c},y_k^{g2c},z_k^{g2c})$ 和三个角度值 $R_k^{g2c}=({\mathrm{\α}}_k^{g2c},{\mathrm{\β}}_k^{g2c},{\mathrm{\γ}}_k^{g2c})$ 表示；其中

表示位置姿态传感器的坐标原点和图像姿态传感器的坐标系的x方向的偏移量，

表示位置姿态传感器的坐标原点和图像传感器的坐标系的y方向的偏移量，

表示位置姿态传感器的坐标原点和图像传感器的坐标系的z方向的偏移量，表示位置姿态传感器的坐标轴在图像传感器的坐标系下的俯仰角，

表示位置姿态传感器的坐标轴在图像传感器的坐标系下的横滚角，表示位置姿态传感器的坐标轴在图像传感器的坐标系下的方向角。

至此，得到的所述的校准后的深度传感器和位置姿态传感器之间的外参数，和所述的校准后的图像传感器和位置姿态传感器之间的外参数既是所需的深度传感器，图像传感器和位置姿态传感器之间的外参数，即完成了3D获取系统的校准。

其中所述步骤B具体包括：

步骤B1：首先设定一个深度传感器和位置姿态传感器的外参数。

步骤B2：取出N次采集中的第i次（1≤i≤N）采集得到的深度信息。

所述深度信息是指深度传感器沿自身的XoZ平面扫描，返回的空间中一物体距离深度传感器的距离d^o2l和对应的角度d^o2l，因此在深度传感器坐标系下空间中某一物体的直角坐标为(x^o2l,y^o2l,z^o2l)＝(d^o2lcos(θ^o2l),0,d^o2lsin(θ^o2l))，通过所述设定的深度传感器和位置姿态传感器之间的外参数，并通过三维旋转变换和三维平移变换，能够得到所述空间中一物体在位置姿态传感器坐标系下的三维坐标(x^o2G,y^o2G,z^o2G)，再通过找出深度传感器采集到所述空间中一物体时刻的位置姿态传感器的位置信息和姿态信息，通过大地坐标变换，能够得到所述空间中一物体在本地坐标系下的三维坐标(x,y,z)。按照此步骤能够恢复出该次采集，深度传感器采集到的全部外界物体在本地坐标系下的三维坐标，所述所有的本地坐标系下的三维坐标也称为三维点云信息。从三维点云信息中找出校准物的三维坐标(xl_i,yl_i,zl_i)。

所述位置姿态传感器的位置信息和姿态信息分别是位置姿态传感器采集到的经度、维度和高度，以及俯仰角、横滚角和方向角。

子步骤B3：重复步骤B2，直到把N次采集都处理，并得到N组校准物的三维坐标点，分别为(xl_i,yl_i,zl_i)(1≤i≤N)。

步骤B4：计算N次采集得到的N组校准物的三维坐标点(xl_i,yl_i,zl_i)(1≤i≤N)是否落在一个最优范围内，如果是落在一个最优范围内，则执行子步骤B5，如果不是落在一个最优范围内，则跳至B1并通过一定的方法，如退火算法，或者遍历法，重新设定深度传感器和位置姿态传感器的外参数。

所述最优范围是N组校准物的三维坐标点(xl_i,yl_i,zl_i)(1≤i≤N)都落在一个足够小的球体范围内；或者N组校准物的三维坐标点(xl_i,yl_i,zl_i)(1≤i≤N)的均方差，或者方差，或者其他类似的统计指标在搜索范围内为最小值。

步骤B5：使N次采集得到的N组校准物的三维坐标点(xl_i,yl_i,zl_i)(1≤i≤N)落在一个最优范围内的深度传感器和位置姿态传感器的外参数就是校准后的深度传感器和位置姿态传感器的外参数；

步骤B6：使用该N组校准物的三维坐标点(xl_i,yl_i,zl_i)(1≤i≤N)通过平均值法，计算得到校准物的准确三维坐标(xl,yl,zl)；其中 $\mathrm{xl}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{\mathrm{xl}}_i,$ $\mathrm{yl}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{\mathrm{yl}}_i,$ $\mathrm{zl}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{\mathrm{zl}}_i.$

其中所述步骤B2具体包括：

B2.1：取出N次采集中的第i(1≤i≤N)次采集得到的深度信息。

所述深度信息是指深度传感器沿自身的XoZ平面扫描，返回的空间中一物体距离深度传感器的距离d^o2l和对应的角度θ^o2l，因此在深度传感器坐标系下空间中某一物体的直角坐标为(x^o2l,y^o2l,z^o2l)＝(d^o2lcos(θ^o2l),0,d^o2lsin(θ^o2l))，通过所述设定的深度传感器和位置姿态传感器之间的外参数，并通过三维旋转变换和三维平移变换，能够得到所述空间中一物体在位置姿态传感器坐标系下的三维坐标(x^o2G,y^o2G,z^o2G)，再通过找出深度传感器采集到所述空间中一物体时刻的位置姿态传感器的位置信息和姿态信息，通过大地坐标变换，能够得到所述空间中一物体在本地坐标系下的三维坐标(x,y,z)。按照此步骤能够恢复出该次采集，深度传感器采集到的全部外界物体在本地坐标系下的三维坐标，所述所有的本地坐标系下的三维坐标也称为三维点云信息。

所述位置姿态传感器的位置信息和姿态信息分别是位置姿态传感器采集到的经度、维度和高度，以及俯仰角、横滚角和方向角。

B2.2：所述校准物的示意图如图4中的（a）或者（b）所示，图中（a）和（b）均由三个平板1、2、3构成，图（a）的三个平板在空间中两两不相交，图（b）的三个平板在空间中相交，所述三个平板的外表面构成校准物的三个特征平面4、5、6，且其中两个特征平面5、6的对角线为能够被图像传感器分辨出来的特征直线7和8，且特征直线7和8（或其延长线）的交点与三个特征平面4、5、6（或其扩展平面）的交点在空间上重合（图（a）中虚线所示）。

所述构成校准物的三个平板可以是木板，塑料板，金属板或者纸板等外表面平整的薄板，所述特征直线是油墨线，或者喷涂的直线，或者用笔画的直线，或者拉直附着在平板外表面的毛线、丝线、胶带等能够被图像传感器识别的直线。

从三维点云信息中找出校准物的三个特征平面的点云信息，并分别用平面方程拟合所述三个特征平面的平面方程；拟合的方法包括最小二乘法。

B2.3：求出所述的三个特征平面的平面方程的交点，把该交点作为校准物的三维坐标点(xl_i,yl_i,zl_i)。

其中所述步骤C具体包括：

步骤C1：首先设定一个图像传感器和位置姿态传感器的外参数。

步骤C2：从图像传感器采集到的M张图像信息中的第j张（1≤j≤M）图像信息中找到校准物的平面坐标(rc_j,cc_j)。

步骤C3：从图像传感器坐标系xyzO中取出原点O，其三维坐标为

从图像传感器坐标系的x坐标轴、y坐标轴、z坐标轴中选取任意两个坐标轴，假设选取图像传感器坐标系的x坐标轴和y坐标轴，从图像传感器坐标系的x坐标轴上取一点X，其三维坐标为从图像传感器坐标系的y坐标轴上取一点Y，其三维坐标为

通过所述设定的图形传感器和位置姿态传感器之间的外参数，通过三维坐标旋转变换和三维坐标平移变换，可以得到原点

点

和点

在位置姿态传感器坐标下的三维坐标，原点O变换为

点X变换为

点Y变换为

再找出图像传感器采集到该张图像信息时刻的位置姿态传感器的位置信息和姿态信息，并通过大地坐标变换，得到点

点

和点

在本地坐标下的三维坐标，原点O变换为(x_o,y_o,z_o)，点X变换为(x_x,y_x,z_x)，点Y变换为(x_y,y_y,z_y)；在本地坐标系下恢复出图像传感器坐标系的x坐标轴，y坐标轴和z坐标轴，和图像传感器坐标系的原点O，其中图像传感器坐标系的原点O在本地坐标系下的坐标为(x_o,y_o,z_o)，图像传感器坐标系的x坐标轴在本地坐标系下可表示为向量 $\stackrel{\→}{\mathrm{OX}}=(x_x-x_o,y_x-y_o,z_x-z_o)/\left|\right|(x_x-x_o,y_x-y_o,z_x-z_o)\left|\right|,$ 图像传感器坐标系的y坐标轴在本地坐标系下可表示为向量 $\stackrel{\→}{\mathrm{OY}}=(x_y-x_o,y_y-y_o,z_y-z_o)/\left|\right|(x_y-x_o,y_y-y_o,z_y-z_o)\left|\right|,$ 其中符号

图像传感器坐标系的z坐标轴在本地坐标系下可表示为向量

能够用左手坐标系法则从

求出，在此例中，

其中符号×表示向量间的叉乘；通过所述在本地坐标系下恢复出图像传感器坐标系的x坐标轴，y坐标轴和z坐标轴，以及图像传感器坐标系的原点O，并该图像传感器的小孔成像模型把校准物的准确三维坐标(xl,yl,zl)通过投影变换变换到该图像传感器平面，即得到该校准物的准确三维坐标（(xl,yl,zl)在该图像信息中的二维坐标(rl_j,cl_j)，最后求差值 ${\stackrel{\→}{d}}_j=({\mathrm{rc}}_j,{\mathrm{cc}}_j)-({\mathrm{rl}}_j,{\mathrm{cl}}_j);$

步骤C4：重复步骤C2-C3，直到把M张图像信息都处理，并得到M组差值，分别为

步骤C5：计算所有采集得到的M组差值

是否落在一个最优范围内，如果是落在一个最优范围内，则执行C6，如果不是落在一个最优范围内，则跳至C1并通过一定的方法，如退火算法，或者遍历法，重新设定图像传感器和位置姿态传感器的外参数。

所述最优范围是M组差值都落在一个足够小的圆形的范围内；或者通过M组差值

的均方差，或者方差，或者其他类似的统计指标在搜索范围内为最小值来确定。

步骤C6：使M组差值落在一个最优范围内的图像传感器和位置姿态传感器的外参数就是校准后的图像传感器和位置姿态传感器的外参数。

其中所述步骤C2具体包括：

C2.1：所述校准物的示意图如图4中的（a）或者（b）所示，图中（a）和（b）均由三个平板1、2、3构成，图（a）的三个平板在空间中两两不相交，图（b）的三个平板在空间中相交，所述三个平板的外表面构成校准物的三个特征平面4、5、6，且其中两个特征平面5、6的对角线为能够被图像传感器分辨出来的特征直线7和8，且特征直线7和8（或其延长线）的交点与三个特征平面4、5、6（或其扩展平面）的交点在空间上重合（图（a）中虚线所示）。

所述构成校准物的三个平板可以是木板，塑料板，金属板或者纸板等外表面平整的薄板，所述特征直线是油墨线或者拉直附着在平板外表面的毛线、丝线、胶带等能够被图像传感器识别的直线。

从图像传感器采集到的M张图像信息中的第j张(1≤j≤M)图像信息中找到所述两条特征直线。

C2.2：用直线方程拟合所述两条特征直线，得到特征直线的直线方程；所述直线方程拟合的方法包括最小二乘法。

C2.3：求出所述两条特征直线的直线方程的交点，作为校准物的平面坐标(rc_j,cc_j)。

在实施例2中，图像传感器是单色的CMOS图像传感器或者单色的CCD图像传感器。所述特征直线为单色的CMOS图像传感器或者单色的CCD图像传感器能够根据亮度信息从背景中区分出来的特征直线。

在实施例3中，图像传感器是红外的CMOS图像传感器或者红外的CCD图像传感器。所述特征直线为红外的CMOS图像传感器或者红外的CCD图像传感器能够根据红外亮度信息从背景中区分出来的特征直线。

在实施例4中，位置姿态传感器是全球定位系统（GlobalPositioning System，GPS）、差分全球定位系统（Differential GlobalPositioning System，DGPS）、北斗卫星导航系统、格洛纳斯系统(GLONASS)、伽利略定位系统（Galileo）中的一种或者多种的组合与惯性测量单元（Inertial Measurement Unit，IMU）组成的组合导航系统。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还能够做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (12)

1.一种3D获取系统的校准方法，其特征在于，该方法包括以下步骤：

A、沿不同路径对校准物进行多次采集，记录每次采集的深度信息、图像信息以及位置信息和姿态信息；

B、通过校准校准物的三维坐标，得到校准后的深度传感器和位置姿态传感器之间的外参数，以及校准物的准确三维坐标(xl,yl,zl)；

C、通过校准校准物的准确三维坐标(xl,yl,zl)在图像信息中的二维坐标(rl_j,cl_j)和图像信息中的校准物的平面坐标(rc_j,cc_j)，得到校准后的图像传感器和位置姿态传感器的外参数；

所述深度传感器和位置姿态传感器之间的外参数是指深度传感器和位置姿态传感器之间的相对位置和姿态；

所述图像传感器和位置姿态传感器之间的外参数是指图像传感器和位置姿态传感器之间的相对位置和姿态。

2.如权利要求1所述的方法，其特征在于，所述采集过程中每次采集记录一组深度传感器获取的校准物的深度信息，记录一张或者多张所述图像传感器获取的校准物的图像信息，记录一组所述位置姿态传感器输出的位置信息和姿态信息；共进行N次采集，其中N大于等于2，N次采集一共记录N组所述深度信息，M张图像信息，其中M大于等于3，以及N组位置信息和姿态信息。

3.如权利要求2所述的方法，其特征在于，所述校准后的深度传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的：

B1、设定一个深度传感器和位置姿态传感器的外参数；

B2、根据上述设定的深度传感器和位置姿态传感器之间的外参数，融合第i次采集中深度传感器采集得到的深度信息以及位置姿态传感器采集到的位置信息和姿态信息，通过三维坐标变换得到三维点云信息，从三维点云信息中找出校准物的三维坐标(xl_i,yl_i,zl_i)，其中1≤i≤N；

B3、重复步骤B2直到把上述N次采集的数据都处理完，得到N组校准物的三维坐标点；

B4、计算多次采集得到的几组校准物的三维坐标点是否落在一个最优范围内，如果是落在一个最优范围内则执行步骤B5；否则跳至B1，并修改上述设定的深度传感器和位置姿态传感器之间的外参数；

B5、使多次采集得到的几组校准物的三维坐标点都落在一个最优范围内的深度传感器和位置姿态传感器的外参数就是校准后的深度传感器和位置姿态传感器的外参数；

B6、通过平均值法计算校准物的准确三维坐标（xl，yl，zl）；

所述位置姿态传感器输出的位置信息和姿态信息分别是被检测物的经度、维度和高度，以及俯仰角、横滚角和方向角。

4.如权利要求3所述的方法，其特征在于，所述最优范围是一个足够小的球体范围，使上述得到的多组三维坐标点都落在这个球体范围内；或者通过上述得到的多组三维坐标点的均方差，或者方差，或者其他类似统计指标在搜索范围内为最小值来确定。

5.如权利要求2所述的方法，其特征在于，所述校准后的图像传感器和位置姿态传感器之间的外参数是通过执行以下步骤得到的：

C1、设定一个图像传感器和位置姿态传感器的外参数；

C2、从图像传感器采集到的第j张图像信息中找到校准物的平面坐标(rc_j,cc_j)，其中1≤j≤M；

C3、从图像传感器坐标系xyzO中取出原点O，从图像传感器坐标系的x坐标轴、y坐标轴、z坐标轴中选取任意两个坐标轴，分别在上述选取的两个坐标轴上任意选取一个点；

根据所述设定的图形传感器与位置姿态传感器之间的外参数，通过三维坐标旋转变换和三维坐标平移变换，能够得到原点O和上述选取的两个点在位置姿态传感器坐标系下的三维坐标；

找出图像传感器采集到该张图像信息时刻的位置姿态传感器采集的位置信息和姿态信息，并通过大地坐标变换，得到原点O和上述选取的两个点在本地坐标下的三维坐标，通过所述原点O和上述选取的两个点，在本地坐标系下恢复出图像传感器坐标系的x坐标轴，y坐标轴和z坐标轴，以及图像传感器坐标系的原点O；

根据所述在本地坐标系下恢复出图像传感器坐标系的x坐标轴，y坐标轴和z坐标轴，以及图像传感器坐标系的原点O，并利用该图像传感器的小孔成像模型把步骤B得到的校准物的准确三维坐标通过投影变换变换到该图像传感器平面，即得到该校准物的准确三维坐标（xl，yl，zl）在该图像信息中的二维坐标(rl_j,cl_j)；

最后求差值 ${\stackrel{\→}{d}}_j=({\mathrm{rc}}_j,{\mathrm{cc}}_j)-({\mathrm{rl}}_j,{\mathrm{cl}}_j);$

C4：重复步骤C2-C3，直到把M张图像信息都处理，并得到M组差值，分别为

C5：计算所有采集得到的M组差值是否落在一个最优范围内：如果

落在一个最优范围内，则执行C6；如果

未落在一个最优范围内，则跳至C1重新设定图像传感器和位置姿态传感器的外参数；

C6：使M组差值落在一个最优范围内的图像传感器和位置姿态传感器的外参数就是校准后的图像传感器和位置姿态传感器的外参数。

6.如权利要求5所述的方法，其特征在于，所述最优范围是一个足够小的圆形范围，能够使上述步骤得到的M组差值都落在这一圆形范围内；或者通过上述步骤得到的M组差值的均方差，或者方差，或者其他类似统计指标在搜索范围内为最小值来确定。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述校准物由三个平板组成，至少两个上述平板的外表面有能够被图像传感器识别的特征直线；上述三个平板的外表面构成校准物的三个特征平面，所述三个特征平面两两不共面，并且所述特征直线的交点和所述特征平面的交点在空间上重合；

所述平板的外表面是指所述平板的能够被图像传感器扫描到的一面。

8.如权利要求7所述的方法，其特征在于，所述步骤B2具体包括：

B2.1、深度传感器扫描到的某一物体的三维坐标在深度传感器坐标系下为(x^o2l,y^o2l,z^o2l)，利用所述设定的深度传感器与位置姿态传感器之间的外参数，将这一坐标映射到位置姿态传感器坐标系下，得到(x^o2G,y^o2G,z^o2G)；

将(x^o2G,y^o2G,z^o2G)与深度传感器扫描上述这一物体同一时刻的位置姿态传感器采集的位置信息和姿态信息结合，通过大地坐标变换得到这一物体在本地坐标系下的三维坐标(x,y,z)；

深度坐标器采集到的全部物体在本地坐标系下的全部三维坐标，构成三维点云信息；

B2.2、从三维点云信息中找出校准物的三个特征平面，并分别用平面方程拟合所述三个特征平面的平面方程；

B2.3、求所述三个特征平面的平面方程的交点，把该交点作为校准物的三维坐标点(xl_i,yl_i,zl_i)。

9.如权利要求8所述的方法，其特征在于，所述平面方程拟合的方法是最小二乘法。

10.如权利要求7所述的方法，其特征在于，所述步骤C2提取图像信息中校准物的平面坐标的方法具体包括：

C2.1：在所述图像信息中，找到所述校准物的两条特征直线；

C2.2：用直线方程拟合所述两条特征直线，得到特征直线的直线方程；

C2.3：求出所述两条特征直线的交点，作为校准物的平面坐标。

11.如权利要求10所述的方法，其特征在于，所述直线方程拟合的方法是最小二乘法。

12.如权利要求1所述的方法，其特征在于，所述深度传感器是二维激光雷达；

所述图像传感器是单色或者彩色或者红外的CMOS或者CCD图像传感器；

所述位置姿态传感器是全球定位系统、差分全球定位系统、北斗卫星导航系统、格洛纳斯系统、伽利略定位系统中的一种或者多种的组合与惯性测量单元组成的组合导航系统。

Images