CN103679693B

CN103679693B - 一种多相机单视图标定装置及其标定方法

Info

Publication number: CN103679693B
Application number: CN201310033164.XA
Authority: CN
Inventors: 王文斌; 赵晓波
Original assignee: HANGZHOU SHINING 3D TECHNOLOGY Co Ltd
Current assignee: Shining 3D Technology Co Ltd
Priority date: 2013-01-25
Filing date: 2013-01-25
Publication date: 2017-06-16
Anticipated expiration: 2033-01-25
Also published as: CN103679693A

Abstract

本发明公开了一种多相机单视图标定装置及其标定方法。该多相机单视图标定装置包括：世界坐标系定位模块，其用于将世界坐标原点定位在随机选取的第一个相机上，第一个相机的位置参数为（I，0）；定位参数获取模块，其用于对其他相机和第一个相机对空间相同的n≥5个标志点进行图像采集，并获取到相应相机在世界坐标系下的位置参数；以及桥接模块，其用于以采用桥接的方式将与第一个相机没有足够匹配点估计位置参数的相机通过桥接的方式进行转换得到，从而间接实现全局初始定标。本发明的优点在于：在确保高精度的情况下，降低硬件结构设计的复杂性和高成本，同时减少操作的复杂性，提高标定速度。本发明还涉及该多相机单视图标定装置的标定方法。

Description

一种多相机单视图标定装置及其标定方法

技术领域

本发明涉及标定技术，尤其涉及一种多相机单视图标定装置及其标定方法。

背景技术

多相机系统的高精度标定是计算机视觉领域比较复杂的工作，往往需要设计高精度、高稳定性的硬件来保证整个测量系统长时间工作的稳定性，对于复杂的多相机系统，此硬件的设计成本将非常昂贵。

以往多相机的标定主要采用两种方式：（1）用很大的标定板在空间中放置不同的位置，利用Zhang氏方法进行全局定位；（2）相机之间先两两进行标定，最后转换到同一坐标系下，实现全局标定。以上方式，操作极其繁琐，每次重新定位一次系统，都要将上述标定过程重复一遍，耗时耗力。

发明内容

有鉴于此，本发明的主要目的就是寻求一种多相机单视图标定装置及其标定方法，在确保高精度的情况下，降低硬件结构设计的复杂性和高成本，同时减少操作的复杂性，提高标定速度。

本发明是这样实现的，一种多相机单视图标定装置，其应用于一个多相机单视图标定系统中，该多相机单视图标定系统包括多个相机以及载物台，该多个相机均匀布局于该载物台的领空，且该多个相机的取景框均朝向该载物台，定义该载物台以及该载物台的相对两侧为测量区域，该测量区域内设有随意布置的若干标志点，该若干标志点一旦确定后保持不动，该多相机单视图标定装置包括：

世界坐标系定位模块，其用于将世界坐标原点定位在随机选取的相机上，该随机选取的相机定义为第一个相机，第一个相机的位置参数为（I，0）；

定位参数获取模块，其用于对其他相机和第一个相机对空间相同的n个标志点进行图像采集，n≥5，根据基于本质矩阵的5点算法，获取到相应相机在世界坐标系下的位置参数（R₂,T₂），……，（R_N-1,T_N-1），其中，（R₂,T₂）为第二个相机的位置参数，（R_N-1,T_N-1）为第N-1个相机的位置参数；以及

桥接模块，其用于以采用桥接的方式将与第一个相机没有足够匹配标志点估计位置参数的相机通过桥接的方式进行转换得到，从而间接实现全局初始定标。

作为上述方案的进一步改进，该桥接模块包括：局部世界坐标系建立模块，其用于将局部世界坐标系建立在N-1号相机上，利用本质矩阵分解方式获取N号相机在N-1号相机坐标系下的位置参数（R_NN1,T_NN1）；以及计算模块，其用于根据以下公式计算，获取到N号相机在第一个相机坐标系下的位置参数（R_N,T_N），（R_N,T_N）=（R_NN1*R_N-1,R_NN1*T_N-1+T_NN1）。

作为上述方案的进一步改进，该多相机单视图标定装置还包括全局求精模块，该全局求精模块用于采用根据以下公式进行全局求精，使得标定结果更精确，其中，Q(a_j，b_i)是第i个标志点在第j个视图上的像点计算值，a_j表示一个相机参数向量，b_i表示一个三维点向量，x_ij是第i个标志点在第j个视图上的测量值，d(x，y)表示x，y之间的欧式距离。

作为上述方案的进一步改进，该若干标志点为虚拟点，取自被测物上的随意部位，该被测物置于该载物台上。

作为上述方案的进一步改进，当多个相机中的一者发生移动时，该多相机单视图标定装置重新标定。

本发明还提供一种多相机单视图标定方法，其应用于一个多相机单视图标定系统中，该多相机单视图标定系统包括多个相机以及载物台，该多个相机均匀布局于该载物台的领空，且该多个相机的取景框均朝向该载物台。定义该载物台以及该载物台的相对两侧为测量区域，该测量区域内设有随意布置的若干标志点，该若干标志点一旦确定后保持不动。该多相机单视图标定方法包括以下步骤：

将世界坐标原点定位在随机选取的相机上，该随机选取的相机定义为第一个相机，第一个相机的位置参数为（I，0）；

对其他相机和第一个相机对空间相同的n个标志点进行图像采集，n≥5，根据基于本质矩阵的5点算法，获取到相应相机在世界坐标系下的位置参数（R₂,T₂），……，（R_N-1,T_N-1），其中，（R₂,T₂）为第二个相机的位置参数，（R_N-1,T_N-1）为第N-1个相机的位置参数；以及

以采用桥接的方式将与第一个相机没有足够匹配标志点估计位置参数的相机通过桥接的方式进行转换得到，从而间接实现全局初始定标。

作为上述方案的进一步改进，该桥接步骤包括以下步骤：

将局部世界坐标系建立在N-1号相机上，利用本质矩阵分解方式获取N号相机在N-1号相机坐标系下的位置参数（R_NN1,T_NN1）；以及

根据以下公式计算，获取到N号相机在第一个相机坐标系下的位置参数（R_N,T_N），（R_N,T_N）=（R_NN1*R_N-1,R_NN1*T_N-1+T_NN1）。

作为上述方案的进一步改进，该多相机单视图标定方法还包括全局求精步骤：采用根据以下公式进行全局求精，使得标定结果更精确，其中，Q(a_j，b_i)是第i个标志点在第j个视图上的像点计算值，a_j表示一个相机参数向量，b_i表示一个三维点向量，x_ij是第i个标志点在第j个视图上的测量值，d(x，y)表示x，y之间的欧式距离。

作为上述方案的进一步改进，当多个相机中的一者发生移动时，该多相机单视图标定方法重新标定。

本发明的相机布置结构采用一般的多相机系统结构均可，不要求系统结构有很高的稳定性；本发明最突出的设计是：在整个测量区域内，适当布置标志点来完成多相机单视图全局高精度定标及三维重建；标志点可以是任意系统可以轻松识别的标志特征，也可以是被测物自身的某些部位，在平台上放置后保持不动，这样就不需要每次测量都重复放置点的过程，大大简化操作流程；而当多个相机中的一者发生移动时，该多相机单视图标定方法重新标定，这样，整个系统的抗干扰能力得到提高。

附图说明

图1为本发明较佳实施方式提供的多相机单视图标定装置的应用平台布局示意图。

图2为本发明较佳实施方式提供的多相机单视图标定装置在使用时的相机之间相对初始位置估计示意图。

图3为本发明较佳实施方式提供的多相机单视图标定装置实现全局初始定标示意图。

主要符号说明：相机1、载物台2、标志点3、标定板4。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的主要目的就是寻求一种多相机单视图标定装置及其标定方法，在确保高精度的情况下，降低硬件结构设计的复杂性和高成本，同时减少操作的复杂性，提高标定速度。本发明的多相机单视图标定装置应用于多相机单视图标定系统中，其作为多相机单视图标定系统的软件部分。多相机单视图标定系统的硬件部分如图1所示，多相机单视图标定系统包括多个相机1以及载物台2。该多个相机1均匀布局于该载物台2的领空，且该多个相机1的取景框均朝向该载物台2，定义该载物台2以及该载物台2的相对两侧为测量区域，该测量区域内设有随意布置的若干标志点3，该若干标志点3一旦放置在该载物台2上后保持不动。

标志点3可以是任意随意的点摆放，标志点3不需要是特定的标定板之类的，可以是散乱的点也可以是标定板或者具有标志点3的载体（如被测量物体上的特征点）。在本实施方式中，采用标定板4，部分标志点3位于标定板4上，部分标志点3位于载物台2上。该标定板4的数量为两个时，两个标定板4相互平行且位于该载物台2的相对两侧上。

相机1可通过悬挂方式均匀布局于该载物台2的领空，当然也可以通过安装在一般的多相机系统结构上而均匀布局于该载物台2的领空。

以上是多相机单视图标定系统的硬件部分介绍，在使用过程中还需注入特定开发的软件。随着科技产品的蓬勃发展，现今的电子产品大都离开软件无法顺利进行。现对软件部分单视图标定方式进行详细介绍。

1、相机之间相对初始位置估计。

2、原理：将世界坐标原点定位在第一台相机（任取一台，一旦确定不能更改）上，对两个相机对空间相同的n个标志点3（n≥5）进行图像采集，根据基于本质矩阵的5点算法，可以获取到第二个相机在世界坐标系下的位置参数（R,T）。

3、由于在一个较大的空间中，有些点不可能在所有的相机中同时可见，可以采用桥接的方式将与第一个相机没有足够匹配点（就是标志点）估计位置参数的相机通过桥接的方式进行转换得到，从而间接实现全局初始定标。

具体实现流程。

首先，将世界坐标系定位在第一个相机上，第一个相机的位置参数为（I，0）。

其次，所有和第一个相机存在足够对应标志点3（≥5）的相机首先进行定位参数获取，如图2所示，（R₂,T₂）……（R_N-1,T_N-1）。

再次，对与第一个相机没有足够对应标志点的相机进行桥接，实现参数获取。

其中，一、桥接方式：以图2为例，相机N和相机1不存在足够对应标志点，但是和相机N-1存在足够对应标志点，此时，先将局部世界坐标系建立在N-1号相机上（在局部坐标系下N-1号相机的位置参数为（I,0）），利用本质矩阵分解方式获取N号相机在N-1号相机坐标系下的位置参数（R_NN1,T_NN1），然后进行如下计算，可以获取到N号相机在第一个相机坐标系下的位置参数（R_N,T_N），如图3所示。

（R_N,T_N）=（R_NN1*R_N-1,R_NN1*T_N-1+T_NN1）

通过以上方式获取到所有相机的全局定位参数，实现初始全局定位。

二、全局高精度定位

由于存在相机之间的转换误差等误差，得到的初始全局定位参数不是很准确，采用光束法平差技术进行全局求精，使得标定结果更精确。

其中，Q(a_j，b_i)是第i个标志点在第j个视图上的像点计算值，a_j表示一个相机参数向量，b_i表示一个三维点向量。x_ij是第i个标志点在第j个视图上的测量值。d(x，y)表示x，y之间的欧式距离。

用以上方式即可自动实现全局多相机系统的高精度标定。从而实现高精度三维重建。

在利用本发明的多相机单视图标定装置测量时，其测量流程如下：

（1）相机1的内部参数离线标定好之后固定、锁死不动；

（2）将相机1按照需求布置在载物台2的上方或者周围，使相机1的取景框均朝向该载物台2；

（3）将被测物置于载物台2上，位于测量区域内；

（4）用所有的相机1对被测物和测量区域进行单视图采集；

（5）用测量区域上的标志点3进行相机1相对位置的初始估计，实现初始全局标定；

（6）利用全部相机1和标志点3进行全局外参数和测量区域的光束法平差优化（内部参数不参与优化），得到最后相机1的全局定标外部参数；

（7）利用所有相机1的内、外部参数，计算空间被测物的三维坐标。

下一次测量时只需要将被测物置于载物台2上，位于测量区域内，系统将对全体相机1的外部参数进行实时的更新计算，并得到高精度的物体三维坐标。

其中（5）（6）保证了系统可以通过单视图实现系统标定，且不要求系统的稳定性很高就可实现高精度测量。从而降低了硬件设计要求和硬件成本。整个过程的标定不需要人为的干预即可完成，大大简化了操作流程，系统内部只要同步采集当前帧的视图，就可同时完成定标和重建。

如果系统的稳定性不是特别差，（5）可以只进行一次，后续检测可以直接将其简化忽略，将上次标定的全局外参数直接作为本次测量相机之间位置的初始值来实现同样精度的定标及重建。否则，系统的稳定性变差时，如当多个相机中的一者发生移动或该被测物发生改变时，该多相机单视图标定方法需要重新标定。因此本发明的多相机单视图标定方法是一个实时的标定过程，具有很强的适应性、自动调整能力。

现在的标定方法尤其是二维标定，如果不移动标定板或者相机，得到的图片就是相同的一张，单视图的平板标定一般是行不通的，就是可以勉强标定也难以实现高精度。所以现在的设备就是一般：相机用电机控制旋转移动拍摄不动的标定板，或者相机不动，移动标定板摆放不同角度和位置进行标定。也就是说两个模式：（1）相机动，标定板不动；（2）相机不动，标定板动。而本发明相机与标定板都不动，采集标定图像是不一样的，现有的一个相机采集标定板的单个视角的图像，本发明相当于一个相机只采集一张，从同一角度。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多相机单视图标定装置，其应用于一个多相机单视图标定系统中，该多相机单视图标定系统包括多个相机以及载物台，该多个相机均匀布局于该载物台的领空，且该多个相机的取景框均朝向该载物台，定义该载物台以及该载物台的相对两侧为测量区域，该测量区域内设有若干标志点，其特征在于，该多相机单视图标定装置包括：

世界坐标系定位模块，其用于将世界坐标原点定位在随机选取的相机上，该随机选取的相机定义为第一个相机，第一个相机的位置参数为(I，0)；

定位参数获取模块，其用于对其他相机和第一个相机对空间相同的n个标志点进行图像采集，n≥5，根据基于本质矩阵的5点算法，获取到相应相机在世界坐标系下的位置参数(R₂,T₂)，……，(R_N-1,T_N-1)，其中，(R₂,T₂)为第二个相机的位置参数，(R_N-1,T_N-1)为第N-1个相机的位置参数；以及

桥接模块，其用于以采用桥接的方式将与第一个相机没有匹配的n个标志点估计位置参数的相机通过桥接的方式进行转换得到，从而间接实现全局初始定标，该桥接模块包括：

局部世界坐标系建立模块，其用于将局部世界坐标系建立在N-1号相机上，利用本质矩阵分解方式获取N号相机在N-1号相机坐标系下的位置参数(R_NN1,T_NN1)，其中N-1号相机与N号相机有空间相同的n个标志点；以及

计算模块，其用于根据以下公式计算，获取到N号相机在第一个相机坐标系下的位置参数(R_N,T_N)，(R_N,T_N)＝(R_NN1*R_N-1,R_NN1*T_N-1+T_NN1)。

2.如权利要求1所述的多相机单视图标定装置，其特征在于：该多相机单视图标定装置还包括全局求精模块，该全局求精模块用于采用根据以下公式进行全局求精，使得标定结果更精确，其中，Q(a_j，b_i)是第i个标志点在第j个视图上的像点计算值，a_j表示一个相机参数向量，b_i表示一个三维点向量，x_ij是第i个标志点在第j个视图上的测量值，d(x，y)表示x，y之间的欧式距离。

3.如权利要求1所述的多相机单视图标定装置，其特征在于：该若干标志点为虚拟点，取自被测物上的随意部位，该被测物置于该载物台上。

4.如权利要求1或3所述的多相机单视图标定装置，其特征在于：当多个相机中的一者发生移动时，该多相机单视图标定装置重新标定。

5.一种多相机单视图标定方法，其应用于一个多相机单视图标定系统中，该多相机单视图标定系统包括多个相机以及载物台，该多个相机均匀布局于该载物台的领空，且该多个相机的取景框均朝向该载物台，定义该载物台以及该载物台的相对两侧为测量区域，该测量区域内设有若干标志点，该若干标志点一旦确定后保持不动，其特征在于，该多相机单视图标定方法包括以下步骤：

将世界坐标原点定位在随机选取的相机上，该随机选取的相机定义为第一个相机，第一个相机的位置参数为(I，0)；

对其他相机和第一个相机对空间相同的n个标志点进行图像采集，n≥5，根据基于本质矩阵的5点算法，获取到相应相机在世界坐标系下的位置参数(R₂,T₂)，……，(R_N-1,T_N-1)，其中，(R₂,T₂)为第二个相机的位置参数，(R_N-1,T_N-1)为第N-1个相机的位置参数；以及

以采用桥接的方式将与第一个相机没有匹配的n个标志点估计位置参数的相机通过桥接的方式进行转换得到，从而间接实现全局初始定标，其中，该桥接步骤包括以下步骤：

将局部世界坐标系建立在N-1号相机上，利用本质矩阵分解方式获取N号相机在N-1号相机坐标系下的位置参数(R_NN1,T_NN1)，其中N-1号相机与N号相机有空间相同的n个标志点；以及

根据以下公式计算，获取到N号相机在第一个相机坐标系下的位置参数(R_N,T_N)，(R_N,T_N)＝(R_NN1*R_N-1,R_NN1*T_N-1+T_NN1)。

6.如权利要求5所述的多相机单视图标定方法，其特征在于：该多相机单视图标定方法还包括全局求精步骤：采用根据以下公式进行全局求精，使得标定结果更精确，其中，Q(a_j，b_i)是第i个标志点在第j个视图上的像点计算值，a_j表示一个相机参数向量，b_i表示一个三维点向量，x_ij是第i个标志点在第j个视图上的测量值，d(x，y)表示x，y之间的欧式距离。

7.如权利要求5所述的多相机单视图标定方法，其特征在于：该若干标志点为虚拟点，取自被测物上的随意部位，该被测物置于该载物台上。

8.如权利要求5或7所述的多相机单视图标定方法，其特征在于：当多个相机中的一者发生移动时，该多相机单视图标定方法重新标定。