CN108269286A - 基于组合立体标志的多相机位姿关联方法 - Google Patents

Abstract

本发明涉及摄影测量及计算机视觉技术领域，具体公开了一种基于组合立体标志的多相机位姿关联方法。该方法包括：1、进行全站仪建站，并对所使用的相机进行内参数标定；2、制作组合立体标志；3、标定出组合立体标志中棱镜坐标系和图像合作标志坐标系之间的转换关系；4、获得全站仪坐标系到各个相机坐标系的转换关系，即各个相机的位姿。本发明所述的一种基于组合立体标志的多相机位姿关联方法，可以将大范围远距离不同相机之间的位姿统一到同一坐标系下；同时，非接触测量不同相机之间的相对位姿，可用于测量与不同相机固连的刚体之间的位姿关系；该方法通用性强，对测量环境没有要求。

Description

基于组合立体标志的多相机位姿关联方法

技术领域

本发明属于摄影测量及计算机视觉技术领域，具体涉及一种基于组合立体标志的多相机位姿关联方法。

背景技术

随着科学技术的发展，各个领域对利用相机进行位置和姿态的测量需求越来越迫切，比如刚体运动测量、结构变形测量等。近些年来，近景摄影测量技术已经逐渐走向成熟，原因在于近距离易于达到测量的精度要求。而针对大范围远距离情况，一般分被测量目标与相机距离远和多相机之间距离远两种情况。前者造成精度低的主要原因是成像空间分辨率低，可以采用加长相机焦距的方法提高。后者是目前在大范围多相机测量中经常遇到的情况，比如200米自由飞弹道靶双目视觉测量系统，该系统主要功能是能够间断接力式的获得自由飞模型的位姿信息，主要部件包括沿靶室一侧布置的30站双目测量站，每一站包含两个相机，最远的两个相机之间的距离超过150米，且不同站之间无公共视场，为了使得每一站获得的模型飞行位姿统一到一个坐标系下，需要将这60个相机的位姿参数关联统一到全局坐标系下。制约这种情况测量精度的主要因素是无法高精度获得的远距离多相机之间的位姿关系。因此，提出大范围远距离多相机高精度位姿关联标定方法具有重要的理论意义和应用价值。

目前，随着摄影测量和计算机视觉技术的位姿测量的发展，进行大范围远距离多相机位姿关联标定的主要方法是结合全站仪的大范围三维坐标测量进行。该方法依次在不同相机视场里布置不少于3个标志点，并用全站仪直接测量每个标志点在全局坐标系下的坐标，从而可以直接使用相机位姿估计获得每一个相机在全局坐标系下的位姿，完成全局关联。影响该方法精度的主要因素是全站仪的非棱镜点测量精度。如莱卡TM30全站仪的性能参数是：对非棱镜点，精度为2mm+2ppm，测程为1km；对棱镜点，精度为0.6mm+1ppm，测程为3.5km。显然，测量棱镜点比非棱镜点的精度更高，范围更大。但是全站仪专用棱镜却无法像图像合作标志点被高精度识别定位，因此不用直接用来进行全局关联。

同时，激光跟踪仪是能够更高精度测量其靶球三维坐标的仪器，如FARO LaserTracker Vantage，其标称精度为0.016mm+0.8ppm，测程为80m，不能对非靶球点进行测量。显然，激光跟踪仪对靶球的测量精度要高于全站仪对棱镜的测量精度，但同样，靶球图像也不能被高精度识别定位，因此也不能直接进行全局关联。

发明内容

本发明的目的在于提供一种基于组合立体标志的多相机位姿关联方法，将多相机位姿关联统一到一个坐标系，解决利用全站仪进行大范围远距离多相机位姿关联问题。

本发明的技术方案如下：一种基于组合立体标志的多相机位姿关联方法，该方法包括如下步骤：

步骤1、进行全站仪建站，并对所使用的相机进行内参数标定；

步骤1.1、进行全站仪建站，使全站仪可直接测量棱镜点在全站仪坐标系下的坐标值，且全站仪可以通视所有相机测量视场；

步骤1.2、对所有相机进行内参数标定；

步骤2、制作组合立体标志；

步骤2.1、固定连接至少3个棱镜和至少4个图像合作标志点，建立组合立体标志，且满足所有棱镜点或图像合作标志点不共线；

步骤2.2、利用全站仪测量各个棱镜点之间的位置关系，建立棱镜坐标系；

步骤2.3、若图像合作标志点采用已知靶标，则直接采用靶标坐标系作为合作标志坐标系，否则，利用离散三维重建方法测出图像合作标志点相互位置关系，再采用类似建立棱镜坐标系的方法建立图像合作标志坐标系；

步骤3、标定出组合立体标志中棱镜坐标系和图像合作标志坐标系之间的转换关系；

步骤4、获得全站仪坐标系到各个相机坐标系的转换关系，即各个相机的位姿。

所述的步骤3中标定出组合立体标志中棱镜坐标系和图像合作标志坐标系之间的转换关系的具体步骤为：

设全站仪坐标系到棱镜坐标系的转换关系为棱镜坐标系到图像合作标志坐标系的转换关系为图像合作标志坐标系到相机坐标系的转换关系为具体表达为：

其中R对应于旋转矩阵，T对应于平移向量。

步骤3.1、在某一相机视场内，将组合立体标志布置N(N≥3)个位置，要求各个位置之间的变换关系不能是绕同一个轴，然后对每一个位置用全站仪测量棱镜点的坐标，并拍摄合作标志点图像；

步骤3.2、由于棱镜点在棱镜坐标系下的坐标已知，而棱镜点在全站仪坐标系下的坐标通过全站仪打点测量获得，因此，利用绝对定向方法可求解出各个位置全站仪坐标系到棱镜坐标系的转换关系

步骤3.3、通过图像合作标志点提取和相机位姿估计求解出各个位置图像合作标志坐标系到相机坐标系的转换关系

步骤3.4、利用类似于机器人手眼标定原理，求解棱镜坐标系到图像合作标志坐标系的转换关系；

具体的，对于通过组合立体标志的一次移动可以得到约束：

其中 下标“1”表示移动前状态，下标“2”表示移动后状态。对于N个位置，两两之间都可以认为是一次移动，因此，共有N(N-1)/2个形式为上述公式的约束，即可求解获得

所述的步骤4具体为：

步骤4.1、将组合立体标志依次置于每个相机的视场中1次，利用全站仪测量棱镜点坐标，并用相机拍摄合作标志点图像；

步骤4.2、分别求解全站仪坐标系到棱镜坐标系的转换关系和图像合作标志坐标系到相机坐标系的转换关系

步骤4.3、利用坐标系传递，计算全站仪坐标系到各个相机坐标系的转换关系即相机的位姿。

所述的步骤1中使用激光跟踪仪代替全站仪，同时使用激光跟踪仪靶球代替全站仪棱镜；

所述的步骤4.3中坐标系传递时，将组合立体标志置于每一个相机视场内多次，增加约束，通过优化可以获取更高精度的位姿关系。

所述的2中制作组合立体标志具体为：

建立“L”型组合立体标志，由4个棱镜点和6个“十”字型图像合作标志点固连组成；

利用全站仪获得4个棱镜点之间的位置关系，建立棱镜坐标系，利用相机对图像合作标志点进行多次成像，经过特征点提取、离散三维重建方法可以获得6个“十”字型标志的位置关系，建立图像合作标志坐标系；

将该立体标志依次置于某一相机视场内3个不同位置，针对每一个位置，用全站仪获得4个棱镜点坐标系，得到全站仪坐标系与棱镜坐标系之间的转换关系，用相机对6个“十”字型标志进行成像并进行位姿估计获得图像合作标志坐标系与相机坐标系之间的转换关系，再利用手眼标定计算原理获得棱镜坐标系和图像合作标志坐标系之间的转换关系；

最后依次将该立体组合标志置于每一个相机视场内1次，依次获得全站仪坐标系与棱镜点坐标系之间的转换关系和图像合作标志坐标系与相机坐标系之间的转换关系，从而利用坐标系传递即可获得每一个相机坐标系和全站仪坐标系之间的转换关系。

本发明的显著效果在于：本发明所述的一种基于组合立体标志的多相机位姿关联方法，可以将大范围远距离不同相机之间的位姿统一到同一坐标系下；同时，非接触测量不同相机之间的相对位姿，可用于测量与不同相机固连的刚体之间的位姿关系；该方法通用性强，对测量环境没有要求。

附图说明

图1为本发明所述的一种基于组合立体标志的多相机位姿关联方法中相机与全站仪关联示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1所示，一种基于组合立体标志的多相机位姿关联方法，该方法具体包括如下步骤：

步骤1、进行全站仪建站，并对所使用的相机进行内参数标定；

步骤1.1、进行全站仪建站，使全站仪可直接测量棱镜点在全站仪坐标系下的坐标值，且全站仪可以通视所有相机测量视场；

步骤1.2、对所有相机进行内参数标定，例如，可采用基于平面靶板的相机内参数标定方法；

步骤2、制作组合立体标志；

步骤2.1、固定连接至少3个棱镜和至少4个图像合作标志点，建立组合立体标志，且满足所有棱镜点或图像合作标志点不共线。如图1所示，需满足图像合作标志点被相机成像时，棱镜能够被全站仪直接测量；

步骤2.2、利用全站仪测量各个棱镜点之间的位置关系，建立棱镜坐标系。以3个棱镜为例，设第一个点为坐标原点，第二个点定义X轴，3个棱镜确定的平面法向确定Z轴，Y轴根据右手法则确定；

步骤2.3、若图像合作标志点采用已知靶标，则直接采用靶标坐标系作为合作标志坐标系，否则，利用离散三维重建方法测出图像合作标志点相互位置关系，再采用类似建立棱镜坐标系的方法建立图像合作标志坐标系；

步骤3、标定出组合立体标志中棱镜坐标系和图像合作标志坐标系之间的转换关系；

设全站仪坐标系到棱镜坐标系的转换关系为棱镜坐标系到图像合作标志坐标系的转换关系为图像合作标志坐标系到相机坐标系的转换关系为具体表达为：

其中R对应于旋转矩阵，T对应于平移向量。

步骤3.1、在某一相机视场内，将组合立体标志布置N(N≥3)个位置，要求各个位置之间的变换关系不能是绕同一个轴，然后对每一个位置用全站仪测量棱镜点的坐标，并拍摄合作标志点图像；

步骤3.2、由于棱镜点在棱镜坐标系下的坐标已知，而棱镜点在全站仪坐标系下的坐标通过全站仪打点测量获得，因此，利用绝对定向方法可求解出各个位置全站仪坐标系到棱镜坐标系的转换关系

步骤3.3、通过图像合作标志点提取和相机位姿估计求解出各个位置图像合作标志坐标系到相机坐标系的转换关系

步骤3.4、利用类似于机器人手眼标定原理，求解棱镜坐标系到图像合作标志坐标系的转换关系；

具体的，对于通过组合立体标志的一次移动可以得到约束：

其中下标“1”表示移动前状态，下标“2”表示移动后状态。对于N个位置，两两之间都可以认为是一次移动，因此，共有N(N-1)/2个形式为公式(2)的约束，即可求解获得

步骤4、获得全站仪坐标系到各个相机坐标系(设共M个)的转换关系即各个相机的位姿；

步骤4.1、将组合立体标志依次置于每个相机的视场中1次，利用全站仪测量棱镜点坐标，并用相机拍摄合作标志点图像；

步骤4.3、利用坐标系传递，采用公式(3)计算全站仪坐标系到各个相机坐标系的转换关系即相机的位姿。

实施例1：

建立“L”型组合立体标志，如图1所示，由4个棱镜点和6个“十”字型图像合作标志点固连组成。

先利用全站仪获得4个棱镜点之间的位置关系，建立棱镜坐标系。利用相机对图像合作标志点进行多次成像，经过特征点提取、离散三维重建方法可以获得6个“十”字型标志的位置关系，建立图像合作标志坐标系。

再将该立体标志依次置于某一相机视场内3个不同位置，针对每一个位置，用全站仪获得4个棱镜点坐标系，得到全站仪坐标系与棱镜坐标系之间的转换关系，用相机对6个“十”字型标志进行成像并进行位姿估计获得图像合作标志坐标系与相机坐标系之间的转换关系，再利用手眼标定计算原理获得棱镜坐标系和图像合作标志坐标系之间的转换关系。

最后依次将该立体组合标志置于每一个相机视场内1次，依次获得全站仪坐标系与棱镜点坐标系之间的转换关系和图像合作标志坐标系与相机坐标系之间的转换关系，从而利用坐标系传递即可获得每一个相机坐标系和全站仪坐标系之间的转换关系。

实施例2：

与实施例1不同处在于使用激光跟踪仪代替全站仪，同时使用激光跟踪仪靶球代替全站仪棱镜。

实施例3：

与实施例1不同处在于直接使用合作靶标代替6个“十”字型标志，如通用平面靶板，立体靶标等。

实施例4：

与实施例1不同处在于，最后一步进行坐标传递时，可以将组合立体标志置于每一个相机视场内多次，增加约束，通过优化可以获取更高精度的位姿关系。

Claims (6)

1.一种基于组合立体标志的多相机位姿关联方法，其特征在于：该方法包括如下步骤：

步骤1、进行全站仪建站，并对所使用的相机进行内参数标定；

步骤1.1、进行全站仪建站，使全站仪可直接测量棱镜点在全站仪坐标系下的坐标值，且全站仪可以通视所有相机测量视场；

步骤1.2、对所有相机进行内参数标定；

步骤2、制作组合立体标志；

步骤2.1、固定连接至少3个棱镜和至少4个图像合作标志点，建立组合立体标志，且满足所有棱镜点或图像合作标志点不共线；

步骤2.2、利用全站仪测量各个棱镜点之间的位置关系，建立棱镜坐标系；

步骤2.3、若图像合作标志点采用已知靶标，则直接采用靶标坐标系作为合作标志坐标系，否则，利用离散三维重建方法测出图像合作标志点相互位置关系，再采用类似建立棱镜坐标系的方法建立图像合作标志坐标系；

步骤3、标定出组合立体标志中棱镜坐标系和图像合作标志坐标系之间的转换关系；

步骤4、获得全站仪坐标系到各个相机坐标系的转换关系，即各个相机的位姿。

2.根据权利要求1所述的一种基于组合立体标志的多相机位姿关联方法，其特征在于：所述的步骤3中标定出组合立体标志中棱镜坐标系和图像合作标志坐标系之间的转换关系的具体步骤为：

设全站仪坐标系到棱镜坐标系的转换关系为棱镜坐标系到图像合作标志坐标系的转换关系为图像合作标志坐标系到相机坐标系的转换关系为 具体表达为：

其中R对应于旋转矩阵，T对应于平移向量。

步骤3.1、在某一相机视场内，将组合立体标志布置N(N≥3)个位置，要求各个位置之间的变换关系不能是绕同一个轴，然后对每一个位置用全站仪测量棱镜点的坐标，并拍摄合作标志点图像；

步骤3.2、由于棱镜点在棱镜坐标系下的坐标已知，而棱镜点在全站仪坐标 系下的坐标通过全站仪打点测量获得，因此，利用绝对定向方法可求解出各个位置全站仪坐标系到棱镜坐标系的转换关系

步骤3.3、通过图像合作标志点提取和相机位姿估计求解出各个位置图像合作标志坐标系到相机坐标系的转换关系

步骤3.4、利用类似于机器人手眼标定原理，求解棱镜坐标系到图像合作标志坐标系的转换关系；

具体的，对于通过组合立体标志的一次移动可以得到约束：

其中下标“1”表示移动前状态，下标“2”表示移动后状态。对于N个位置，两两之间都可以认为是一次移动，因此，共有N(N-1)/2个形式为上述公式的约束，即可求解获得

3.根据权利要求1所述的一种基于组合立体标志的多相机位姿关联方法，其特征在于：所述的步骤4具体为：

步骤4.1、将组合立体标志依次置于每个相机的视场中1次，利用全站仪测量棱镜点坐标，并用相机拍摄合作标志点图像；

步骤4.2、分别求解全站仪坐标系到棱镜坐标系的转换关系和图像合作标志坐标系到相机坐标系的转换关系

步骤4.3、利用坐标系传递，计算全站仪坐标系到各个相机坐标系的转换关系即相机的位姿。

4.根据权利要求1所述的一种基于组合立体标志的多相机位姿关联方法，其特征在于：所述的步骤1中使用激光跟踪仪代替全站仪，同时使用激光跟踪仪靶球代替全站仪棱镜。

5.根据权利要求3所述的一种基于组合立体标志的多相机位姿关联方法，其特征在于：所述的步骤4.3中坐标系传递时，将组合立体标志置于每一个相机视场内多次，增加约束，通过优化可以获取更高精度的位姿关系。

6.根据权利要求1所述的一种基于组合立体标志的多相机位姿关联方法，其特征在于：所述的2中制作组合立体标志具体为：

建立“L”型组合立体标志，由4个棱镜点和6个“十”字型图像合作标志点固连组成；

利用全站仪获得4个棱镜点之间的位置关系，建立棱镜坐标系，利用相机 对图像合作标志点进行多次成像，经过特征点提取、离散三维重建方法可以获得6个“十”字型标志的位置关系，建立图像合作标志坐标系；

将该立体标志依次置于某一相机视场内3个不同位置，针对每一个位置，用全站仪获得4个棱镜点坐标系，得到全站仪坐标系与棱镜坐标系之间的转换关系，用相机对6个“十”字型标志进行成像并进行位姿估计获得图像合作标志坐标系与相机坐标系之间的转换关系，再利用手眼标定计算原理获得棱镜坐标系和图像合作标志坐标系之间的转换关系；

最后依次将该立体组合标志置于每一个相机视场内1次，依次获得全站仪坐标系与棱镜点坐标系之间的转换关系和图像合作标志坐标系与相机坐标系之间的转换关系，从而利用坐标系传递即可获得每一个相机坐标系和全站仪坐标系之间的转换关系。