CN106228534B - 一种基于约束全局优化的转轴和相机间关系标定方法 - Google Patents

Abstract

一种基于约束全局优化的转轴和相机间关系标定方法，包括以下步骤：1)标定大场景相机和待标定的相机的内部参数；2)旋转平台转轴旋转360度过程中，大场景相机拍摄转台标定板的系列图片；3)通过步骤2)得到的标定板的图片得到的标定板到大场景相机的相机坐标系的旋转矩阵和平移矩阵，标定板到相机的相机坐标系的旋转矩阵、平移矩阵；4)通过步骤2)得到大场景相机拍摄的转台标定板的图片，得到旋转在某一位置处转台标定板到大场景相机的相机坐标系的旋转矩阵和平移矩阵；提取系列图片中转台标定板的至少两个角点的三维坐标；计算旋转过程中每个角点轨迹的圆心坐标；拟合所有圆心所在的直线，根据转轴方向矢量和相机光轴方向矢量可以得到转轴和相机光轴的夹角。

Description

一种基于约束全局优化的转轴和相机间关系标定方法

技术领域

本发明涉及机器视觉、图像处理及深度测量领域，具体为基于约束全局优化的转轴和相机之间关系的标定方法。

背景技术

随着信息时代的到来，利用彩色数字相机和深度相机同时采集场景的颜色和深度信息在各个行业得到越来越广泛的应用。但此类相机只能采集到一个方向的数据信息。为了得到更大范围或360度场景的信息，需要移动或转动相机采集系列的二维或深度数据。特别是在室内，常通过相机绕着旋转台转动已知角度得到较大视场范围的数据。通过将不同视角得到的数据转换到同一个坐标系中并加以合成，最终得到较大视场或360度场景的信息。室内深度测量装置无法保证深度相机位于旋转轴位置，导致摄像头在旋转过程中产生了角度偏离，最终合成的深度数据不精确。因此精确、简易标定转轴和深度相机之间的关系有着重要的作用，直接影响最后合成结果的好坏。在申请人检索的范围内，转轴标定的相关文献信息如下：

1. P.Chen,M.Dai,K.Chen,Z.S.Zhang在“基于约束全局优化方法的转台旋转轴标定”(Rotation axis calibration of a turntable using constrainedglobaloptimization,Optik,2014,125:4831-4836)文章中，提出了利用相机和棋盘格标定转轴的轴心和方向矢量的方法。该方法将棋盘格标定板固定在转台上，并在转台旋转360°过程中利用相机拍照得到棋盘格角点的坐标。通过对角点坐标进行最小二乘法拟合得到圆心坐标即转轴中心位置，然后对角点坐标进行平面拟合得到的法向量即转轴的方向矢量。但这种方法适用于相机与旋转轴分离的情况，即相机可直接拍摄到旋转轴上的标定板。同时此方法仅标定了转轴中心和方向矢量。

2. J.F.Li,M.Chen,X.B.Jin,Y.Chen等在“基于机器人的多轴深度激光扫描系统的标定”(Calibration of a multiple axes 3-D laserscanning system consisting ofrobot,portable scannerandturntable,Optik,2011,122:324–329)文章中，提出了通过安装一个标准球体与已知直径的转盘，完成对转动轴的校准。通过计算标准球体在几个不同角度和高度的中心位置，以及每个轨迹圆的中心来确定旋转轴的方向。这种方法同样仅适用于相机和转轴分离的情况。同时，标定依赖于高精度设备，装置复杂、测量时间长、适应范围较小。

3.李怀泽，沈会良，程岳在“基于旋转多视角深度配准的深度重建方法”(计算机应用,2012,32(12):3365-3368)文章中，提出使用棋盘格标定板进行转台标定的方法。将棋盘格标定板固定在转台上，在转台旋转过程中利用相机拍照得到棋盘格角点的深度坐标。通过对角点坐标进行最小二乘法拟合得到圆心坐标即为转轴中心位置；通过对角点坐标进行平面拟合得到的法向量即转轴的方向矢量。但该方法没有考虑到当双目相机的有效视场较小时，标定板的旋转角度有限导致拟合的空间平面误差增大的问题，并且仅标定了转轴中心和方向矢量。同样，该方法是针对相机直接看到转轴的情况。

4.李鹏飞，张文涛，熊显名在“基于线结构光的深度测量系统转轴快速标定方法”(微型机与应用,2015,34(4):73-75)中，提出了一种基于圆锥体参照物的快速标定方法，完成旋转台转轴的标定。该方法将一个圆锥体的参照物固定放置在旋转平台上，控制旋转台每隔一定角度旋转一次并采集每个位置的图像。对图像预处理后，提取圆锥体的亚像素边缘。通过拟合圆锥体边缘直线，计算得到两条边缘直线的空间直线方程，并利用Levenberg-Marquardt迭代法计算出空间中距离两条边缘直线最近的点作为圆锥体的顶点。然后根据得到的所有顶点拟合出所在的空间平面及空间圆的圆心。通过平面的法向量和圆心点建立起旋转轴的直线方程，完成旋转台的转轴标定。该标定方法依赖电机旋转精度和圆锥体边缘的精确提取，精度难以保证，并且仅得到了转轴中心和方向矢量。同样，该方法不能标定相机固定在转轴上的情况。

通过以上文献可以看出：已有的转轴标定方法都是针对相机和转轴分离的情况，即相机可直接看到转轴。但当相机固定在转轴上时，相机无法从不同角度直接采集固定在转轴上的标定板图像。因此，在保证标定精度的情况下，如何灵活、快速、准确地标定相机和转轴之间的关系，降低标定成本是一个急需解决的技术难题。

发明内容

针对已有技术无法标定转轴上相机和转轴间关系的不足，本发明拟解决的技术问题是，提供一种简易、精确直接标定二者之间关系的方法。借助另外一个大场景相机和两块高精度的棋盘格标定平板，快速、精确地标定出相机所位于的旋转轴、以及相机光轴和与其相连转轴之间的夹角。其中一个标定板固定在待标定相机上，另一个标定板位于两个相机的前面用于确定二者之间的相对位置。该标定方法具有精度高、成本低、使用方便、推广容易等一系列优点。

本发明解决所述技术问题的技术方案是提供一种基于约束全局优化的转轴和相机间关系标定方法，执行所述方法的标定系统包括大场景相机5、待标定的相机2、转台标定板3、标定板1和旋转平台4，转台标定板3和相机2固定在旋转平台4上，大场景相机5保持不动，旋转平台旋转前，标定板1能够同时被大场景相机5和相机2拍摄，在旋转平台旋转过程中，固定在旋转平台上的转台标定板3和相机2均在大场景相机5的视野范围内；所述的方法包括以下步骤：

1)利用转台标定板3标定大场景相机5和待标定的相机2的内部参数；

2)旋转平台位于旋转起始位置时，由大场景相机和相机分别拍摄标定板1的一幅图片，从旋转起始位置开始，旋转平台转轴旋转360度过程中，大场景相机拍摄转台标定板3的系列图片；

5)通过步骤2)得到的标定板1的图片得到的标定板1到大场景相机5坐标系的旋转矩阵R_sc1、平移矩阵T_sc1，标定板1到相机2坐标系的旋转矩阵R_xc1、平移矩阵T_xc1，通过步骤2)得到大场景相机拍摄的转台标定板3的图片，得到旋转在某一位置处转台标定板3到大场景相机5坐标系的旋转矩阵R_sc2和平移矩阵T_sc2；

6)利用步骤3)得到的旋转矩阵和平移矩阵提取系列图片中转台标定板3的至少两个角点的三维坐标；旋转过程中每个角点的轨迹均为圆轨迹，利用约束全局最小二乘法计算所述圆轨迹的圆心坐标；利用主向量分析PCA(Principal Component Analysis)拟合所有圆心所在的直线，即为旋转平台的转轴轴线位置；根据转轴方向矢量和相机光轴方向矢量可以得到转轴和相机光轴的夹角；

所述步骤4)的具体公式推导如下：

设标定板1的世界坐标系的原点坐标为P₁，转台标定板3的世界坐标系的原点坐标为P₂，大场景相机的相机坐标系原点坐标为P_sv,待标定的相机2的相机坐标系原点坐标为P_x。通过标定可以得到标定板1的世界坐标系到大场景相机的相机坐标转换关系如公式(1)，标定板1的世界坐标系到相机2的相机坐标转换关系如公式(2)，

R_sc1P₁+T_sc1＝P_sv (1)

R_xc1P₁+T_xc1＝P_x (2)

通过标定可以得到转台标定板3的世界坐标系到大场景相机的相机坐标系的转换关系如公式(3):

R_sc2P₂+T_sc2＝P_sv (3)

由公式(1)-(3)可得相机2的相机坐标系到转台标定板3的世界坐标系坐标转换关系

由公式(3)-(5)可得每个旋转角度下相机2的相机坐标系到大场景相机的相机坐标系的坐标转换关系

R_sc2RP_x+R_sc2T+T_sc2＝P_sv (6)

假设转台标定板上的角点(x_{2_i},y_{2_i},z_{2_i})在圆轨迹平面的投影点坐标(x_i,y_i,z_i)如公式(7)所示，即

构成的圆轨迹的半径为R，圆心坐标为(A,B,C)，利用约束全局最小二乘法求解圆心坐标(A,B,C)，如公式(8)所示，即

式(7)～(8)中，a,b,c,d为圆轨迹所在平面的方程系数。

当转台标定板与旋转平台的转轴轴线不垂直时，转台标定板上每个角点在旋转过程中构成的圆轨迹的圆心位于转轴轴线上，利用PCA拟合圆心所在的直线，其方向矢量即为转轴轴线方向矢量。设待标定的相机2的光轴向量为相机光轴与转轴轴线的夹角即向量和间的夹角为：

与现有技术相比，本发明标定相机光轴与转轴之间关系的方法，其系列优点如下：

1.调节简单，使用方便：本发明对标定系统没有严格的制造要求及装配要求，大大减少了标定前的调节工作量、节省了调节时间，提高了标定效率；

2.结构简单，成本较低，便于推广：本发明仅用一个大场景相机和两个标定板，即可对室内采集系统的转轴和相机光轴之间关系进行标定，结构简单，成本节省，推广容易。

附图说明

图1为一种标定相机与旋转台角度系统的结构示意图；

图2为88个圆心到拟合直线的误差折线图；

图3为相机光轴与旋转平台的转轴的夹角误差折线。

具体实施方式

下面结合实施例及其附图进一步叙述本发明，但本申请权利要求的保护范围不受具体实施例的限制。

执行本发明提供的一种基于约束全局优化的转轴和相机间关系标定方法的标定系统(简称系统，参见图1)包括：大场景相机5、待标定的相机2、转台标定板3、标定板1、步进电机控制的旋转平台4。在旋转平台旋转360°的过程中，转台标定板3和相机2均在大场景相机5的视野范围内。所述大场景相机5、相机2、标定板1、转台标定板3和步进电机均为市购产品，标定板和转台标定板均为棋盘格标定板。

实施例

本实施例中的一种基于约束全局优化的转轴和相机间关系标定方法(以下简称标定方法)包括以下步骤

1)利用转台标定板3标定大场景相机5和待标定的相机2的内部参数；

2)旋转平台位于旋转起始位置时，由大场景相机和相机分别拍摄标定板1的一幅图片，

从旋转起始位置开始，旋转平台的转轴旋转360度过程中，大场景相机在旋转平台旋转至0°、45°、90°、135°、180°、225°、270°、315°时依次拍摄标定板3的图片，得到8幅系列图片，

3)通过步骤2)得到的标定板1的图片得到的标定板1到大场景相机5坐标系的旋转矩阵R_sc1、平移矩阵T_sc1，标定板1到相机2坐标系的旋转矩阵R_xc1、平移矩阵T_xc1，通过步骤2)得到的8幅系列图片得到标定板3到大场景相机5坐标系的8个旋转矩阵R和平移矩阵T，由于计算公式一样，只选其一进行表述，即R_sc2、T_sc2分别为某一位置处标定板3到大场景相机5的坐标系的旋转矩阵和平移矩阵；

4)利用步骤3)得到的旋转矩阵R和平移矩阵T提取系列图片中转台标定板3的88个角点的三维坐标；旋转过程中角点的轨迹为圆轨迹，利用约束全局最小二乘法计算每个角点形成的圆轨迹的圆心坐标(共88个圆心)；利用主向量分析PCA(Principal ComponentAnalysis)拟合圆心所在的直线，即为旋转平台的转轴轴线位置；根据转轴方向矢量和相机光轴方向矢量即公式(9)可以得到转轴和相机光轴的夹角。

本实施例中，88个圆心到拟合直线的误差如图2所示

标定方法有效性验证，在实施例中的标定系统上，将旋转平台转动到如下表所示的系列已知角度位置上，

首先，利用实施例中方法计算得到的旋转平台的转轴方向矢量。然后，根据表中16个角度位置下的标定板3图像，利用公式(9)，计算16个角度位置相机光轴与旋转平台的转轴的夹角。最后，比较计算得到的16个夹角与待标定夹角的实际角度的差别，其均方根误差为0.0268°，平均角度误差为0.0574°，如图3所示。说明本方法可以精确、有效地标定出旋转轴和相机之间的关系。

Claims (2)

1.一种基于约束全局优化的转轴和相机间关系标定方法，其特征在于执行所述标定方法的标定系统包括大场景相机、待标定的相机、转台标定板、标定板和旋转平台，转台标定板和相机固定在旋转平台上，大场景相机保持不动，旋转平台旋转前，标定板能够同时被大场景相机和相机拍摄，在旋转平台旋转过程中，固定在旋转平台上的转台标定板和相机均在大场景相机的视野范围内；所述的标定方法包括以下步骤：

1)利用转台标定板标定大场景相机和待标定的相机的内部参数；

2)旋转平台位于旋转起始位置时，由大场景相机和相机分别拍摄标定板的一幅图片，从旋转起始位置开始，旋转平台转轴旋转360度过程中，大场景相机拍摄转台标定板的系列图片；

3)通过步骤2)得到的标定板的图片得到的标定板到大场景相机的相机坐标系的旋转矩阵R_sc1和平移矩阵T_sc1，标定板到相机的相机坐标系的旋转矩阵R_xc1、平移矩阵T_xc1；通过步骤2)得到大场景相机拍摄的转台标定板的图片，得到旋转在某一位置处转台标定板到大场景相机的相机坐标系的旋转矩阵R_sc2和平移矩阵T_sc2；

4)利用步骤3)得到的旋转矩阵和平移矩阵提取系列图片中转台标定板的至少两个角点的三维坐标；旋转过程中每个角点的轨迹均为圆轨迹，利用约束全局最小二乘法计算所述圆轨迹的圆心坐标；利用主向量分析PCA拟合所有圆心所在的直线，即为旋转平台的转轴轴线位置；根据转轴方向矢量和相机光轴方向矢量可以得到转轴和相机光轴的夹角。

2.如权利要求1所述的一种基于约束全局优化的转轴和相机间关系标定方法，其特征在于所述步骤4)的具体公式推导如下：

设标定板的世界坐标系的原点坐标为P₁，转台标定板的世界坐标系的原点坐标为P₂，大场景相机的相机坐标系原点坐标为P_sv,待标定的相机的相机坐标系原点坐标为P_x，通过标定可以得到标定板的世界坐标系到大场景相机的相机坐标转换关系如公式(1)

R_sc1P₁+T_sc1＝P_sv (1)，

标定板的世界坐标系到相机的相机坐标转换关系如公式(2)

R_xc1P₁+T_xc1＝P_x (2)

通过标定可以得到转台标定板的世界坐标系到大场景相机的相机坐标系的转换关系如公式(3)

R_sc2P₂+T_sc2＝P_sv (3)，

由公式(1)-(3)可得相机的相机坐标系到转台标定板的世界坐标系的坐标转换关系如公式(4)-(5)所示，

由公式(3)-(5)可得每个旋转角度下相机的相机坐标系到大场景相机的相机坐标系的坐标转换关系如公式(6)R_sc2RP_x+R_sc2T+T_sc2＝P_sv (6)

假设转台标定板上的角点(x_{2_i},y_{2_i},z_{2_i})在圆轨迹平面的投影点坐标(x_i,y_i,z_i)如公式(7)所示，即

构成的圆轨迹的半径为R，圆心坐标为(A,B,C)，利用约束全局最小二乘法求解圆心坐标(A,B,C)，如公式(8)所示，即

式(7)～(8)中，a,b,c,d为圆轨迹所在平面的方程系数；

当转台标定板与旋转平台的转轴轴线不垂直时，转台标定板上每个角点在旋转过程中构成的圆轨迹的圆心位于转轴轴线上，利用PCA拟合圆心所在的直线，其方向矢量即为转轴轴线方向矢量，设待标定的相机的光轴向量为相机光轴与转轴轴线的夹角即向量和间的夹角为：