CN109242915A - 基于多面立体靶标的多相机系统标定方法 - Google Patents

Abstract

本发明公开了一种基于多面立体靶标的多相机系统标定方法，制作多面立体靶标，同一时刻不同相机至少拍摄到多面立体靶标的三个靶标平面，且任意两部相机拍摄到的靶标平面至少有两个重合；利用靶标平面与拍摄的图像平面间的单应性关系求解相机内参数；求解每个相机坐标系与重合靶标平面所对应的世界坐标系间的转换关系，各个相机的相机坐标系间的转换关系，确定多相机系统的外参数。本发明标定过程快速、简单，标定结果精度高；只需要拍摄一幅图像，不存在传递误差；靶标加工过程较为简单；特征圆轮廓和矩形识别图案易检测。

Description

基于多面立体靶标的多相机系统标定方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于多面立体靶标的多相机系统标定方法。

背景技术

视觉测量方法以其非接触、实时性和可视化测量等优势，近年来在几何量测量以及机械制造领域发挥着越来越重要的作用，标定作为视觉测量基础和关键的一个环节，相机标定的精度是保证测量精度的重要前提。

摄像机标定方法可分为基于标定物的传统标定方法、主动视觉标定方法和自标定方法三类。传统标定方法使用结构已知的标定靶标，通过建立标定靶标上坐标已知的点与其图像点之间的对应关系来求解相机的内外参数。如经典的两步标定方法、平面棋盘格标定靶标的高精度标定方法。主动视觉中的标定方法需要摄像机按照某种特别的轨迹运动，利用运动轨迹的几何特性与图像点坐标的关系求解摄像机参数，主动视觉标定方法需要精确控制摄像机的运动轨迹，实现难度比较大。相机自标定法是利用多幅图像上特征点之间的对应关系进行标定，标定过程只利用了相机内参数间的约束，与场景和摄像机的运动方式无关，自标定方法标定灵活，但鲁棒性较差，测量精度不高。

针对多相机系统内外参数的标定，要求标定物必须在所有相机的公共视场内，采用三维标定物或二维平面标定板对多相机系统标定时，标定物须在多相机公共视场中不同位置摆放，且标定物存在自身遮挡，多相机系统无法一次性观测到标定物，因而无法一次性实现标定，多相机系统存在累积误差。一维标定物不存在自身遮挡问题，多个相机可以同时观测到一维标定物，但要求一维标定物在测量空间内多次摆动，拍摄不同位姿的图像以实现多摄像机的标定，得到多摄像机的内外参数，在实际应用中，使用一维标定物过程较为繁琐、耗时，且精度不高。

发明内容

针对现有多相机系统标定方法的不足，本发明提供一种基于多面立体靶标的多相机系统标定方法，旨在解决目前多相机系统标定使用一维标定物过程较为繁琐，使用三维或二维标定物时存在累积误差的问题。

为实现上述发明目的，本发明的技术方案是：一种基于多面立体靶标的多相机系统标定方法，具体步骤包括：

步骤一，制作多面立体靶标，所述多面立体靶标至少具有三个靶标平面；

步骤二，将所述多面立体靶标放置在多部相机的公共视野中，使得同一时刻不同相机至少拍摄到所述多面立体靶标的三个靶标平面，且任意两部相机拍摄到的靶标平面至少有两个重合，每部相机仅须拍摄一副图像；

步骤三，利用所述多面立体靶标至少三个靶标平面与拍摄的图像平面间的单应性关系求解相机内参数；

步骤四，根据所述多面立体靶标至少三个靶标平面与拍摄的图像平面间的单应性关系，求解每个相机坐标系与重合靶标平面所对应的世界坐标系间的转换关系，确定多相机系统中各个相机的相机坐标系间的转换关系，最终确定多相机系统的外参数。

进一步，所述多面立体靶标为具有至少三个侧面的正棱锥形状，正棱锥的至少三个侧面均为靶标平面。

进一步，所述多面立体靶标为正四棱锥形状，正四棱锥的四个侧面均为靶标平面。

进一步，所述靶标平面均附着标定特征图案，不同靶标平面连接处附着平面识别图案。

进一步，所述标定特征图案为圆形图案，圆形图案的大小、数量、排列根据靶标平面大小而定；所述平面识别图案为沿靶标平面连接线的矩形图案。

作为本发明的一种优选，所述步骤三包括如下：

设单个相机图像中靶标平面上某特征点的像素坐标用P_ij表示，其中P_ij＝[x_p,y_p,1]^T；多面立体靶标上的该特征点的世界坐标用Q_ij表示，其中Q_ij＝[x_q,y_q,z_q,1]^T，Q_ij代表多面立体靶标的第i个靶标平面上的第j个特征点，P_ij是Q_ij在图像平面中对应的像素点；

靶标平面与图像平面间的单应性关系用单应性矩阵B_ij表示，即

求解单应性矩阵B_ij，得到相机焦距、主点位置、相机畸变参数，即为该相机内参数。

作为本发明的一种优选，所述步骤四中

每个相机坐标系与重合靶标平面所对应的世界坐标系间的转换关系，通过如下方法确定：

设Pk_i为第i个靶标平面在第k个相机坐标系下的点，Pm_i为第i个靶标平面在第m个相机坐标系下的点，Qi为第i个靶标平面世界坐标系下对应的点，则：

Pk_i＝R_k*Qi+T_k

Pm_i＝R_m*Qi+T_m

其中，R_k、T_k为所述第k个相机坐标系与第i个靶标平面世界坐标系间转换关系，R_m、T_m为所述第m个相机坐标系与第i个靶标平面世界坐标系间转换关系；

多相机系统中的各个相机的相机坐标系的转换关系，通过下式确定：

R_km＝R_m*R_k ^T

T_km＝T_m–R*T_k

R_km、T_km是第k个相机坐标系与第m个相机坐标系间转换的旋转矩阵和平移向量，所述多相机系统任意两个相机坐标系间位姿关系都可以通过上式转换公式得出；

取所述多相机系统中一个相机为参照，将该相机坐标系作为基准坐标系，则其外参数旋转矩阵为单位矩阵，平移向量为零向量，可得到其余相机相对于该相机坐标系的旋转矩阵以及平移向量，所有相机的旋转矩阵及平移向量即为所述多相机系统的外部参数。

与现有技术相比，本发明的有益效果是：

(1)本发明只需要拍摄一幅所述多面立体靶标图像即可得到多相机系统的内参数，具有标定过程快速、简单，标定结果精度高等特点。

(2)本发明只需要拍摄一幅所述多面立体靶标图像即可得到多相机系统的外参数，多相机系统相机间外参数不存在传递误差，可以准确的反映出多相机系统不同相机间的位姿关系。

(3所述多面立体靶标是由平板组成的棱锥结构，只需要保证多面立体靶标平板的平面度，靶标加工过程较为简单。

(4)每个平板上都附着有相同的特征圆图案，多面立体靶标不同面的连接处附着识别图案。特征圆轮廓和矩形识别图案的轮廓比较容易检测，且利用矩形识别图案可以快速识别多面立体靶标不同面上的圆形特征图案。

附图说明

图1为本发明基于多面立体靶标的多相机系统标定方法的流程图；

图2为本发明实施例中多面立体靶标结构示意图；

图3为本发明实施例中靶标平面上标定特征图案、平面识别图案示意图；

图4为本发明中多相机系统与多面立体靶标布置示意图。

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

具体实施方式

下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述，但不作为本申请的限定。

应理解的是，可以对此处公开的实施例做出各种适应性修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员能够根据实际需要在本公开的范围和设计思路内的做相应修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

实施例如下：

如图1所示，一种基于多面立体靶标的多相机系统标定方法，具体步骤包括：

步骤一，制作多面立体靶标，所述多面立体靶标至少具有三个靶标平面；

所述多面立体靶标为具有至少三个侧面的正棱锥形状，正棱锥的至少三个侧面均为靶标平面。本实施例中采用的多面立体靶标为正四棱锥形状，正四棱锥的四个侧面均为靶标平面。

所述靶标平面均附着标定特征图案，不同靶标平面连接处附着平面识别图案。

所述标定特征图案1为圆形图案，圆形图案的大小、数量、排列根据靶标平面大小而定；所述平面识别图案为沿靶标平面连接线的矩形图案。

如图2、3所示，多面立体靶标OABCD为正四棱锥结构，向量e₀指向靶标平面，θ为四棱锥OABCD的二面角，即两个相对面正方向的夹角，多面立体靶标OABCD的四个靶标平面，即ΔOAB、ΔOBC、ΔOCD和ΔODA。

四个靶标平面上分别设有圆形的标定特征图案1，标定特征图案1中圆形的大小、数量、排序根据多面立体靶标的大小而定，本实施例中采用的金字塔形的排列方式。不同靶标平面的连接线，即OA、OB、OC和OD，附着沿连接线的矩形的平面识别图案2，四个平面识别图案2的面积和形状不同，通过平面识别图案2可以进行区分上述四个靶标平面，便于后续步骤中对各靶标平面的区分。

步骤二，如图4所示，将所述多面立体靶标放置在多部相机的公共视野中，使得同一时刻不同相机至少拍摄到所述多面立体靶标的三个靶标平面，且任意两部相机拍摄到的靶标平面至少有两个重合，每部相机仅须拍摄一副图像；多部相机均连接至计算机，计算机控制相机开关，并由计算机完成图像显示，及具体计算工作。

步骤三，利用所述多面立体靶标至少三个靶标平面与拍摄的图像平面间的单应性关系求解相机内参数。

(1)记图像上特征圆圆心的像素坐标表示为P_ij，其中P_ij＝[x_p,y_p,1]^T。多面立体靶标上的特征圆圆心的世界坐标用Q_ij表示，其中Q_ij＝[x_q,y_q,z_q,1]^T。多面立体靶标四个面上有相同的特征圆阵列，同一平面内的特征点在z轴方向的坐标值相同，为了简化计算过程可以把Q_ij改写为Q_ij＝[x_q,y_q,1]^T，其中i∈(1,2,3,4)，j是正整数(Q_1j∈ΔOAB,Q_2j∈ΔOBC,Q_3j∈ΔOCD,Q_4j∈ΔODA)。Q_ij代表多面立体靶标的第i个平面上的第j个特征点，P_ij是Q_ij在图像中对应的像素点。

(2)在所述多面立体靶标的三个靶标平面上分别建立了世界坐标系，同一靶标平面的特征点的坐标关系是已知的，靶标平面世界坐标系和图像像素坐标系之间的关系可以表示为：

上式中，α是比例因子，I是内参矩阵，r₁、r₂和r₃代表旋转向量，t是平移向量，X_q、Y_q、Z_q为世界坐标系下三维空间点；

(3)靶标平面与图像平面间的单应性关系用单应性矩阵B_ij表示，根据旋转向量相互正交的关系，可以列出下式：

B_ij＝[b₁，b₂，b₃]＝γI[r₁，r₂，r₃]

上式中，将单应性矩阵B_ij转写为列向量形式，b₁，b₂，b₃分别表示3*1向量，γ为比例因子；

Q_1j、Q_2j、Q_3j代表所述多面立体靶标三个不同靶标平面上特征点的世界坐标，P_1j、P_2j、P_3jj是对应的像素坐标。根据上述已知条件可以列出三组没有线性关系的单应性矩阵方程组：

(4)根据三组没有线性关系的方程组计算出单个相机内参数的初始值，包括初始内参矩阵A，旋转矩阵R，平移向量t，再利用极大似然估计对相机参数进行全局优化，得到优化后的相机焦距、主点位置、相机畸变参数，即为该相机内参数。

步骤四，根据所述多面立体靶标至少三个靶标平面与拍摄的图像平面间的单应性关系，求解每个相机坐标系与重合靶标平面所对应的世界坐标系间的转换关系，确定多相机系统中各个相机的相机坐标系间的转换关系，最终确定多相机系统的外参数。

(1)每个相机坐标系与重合靶标平面所对应的世界坐标系间的转换关系，通过如下方法确定：

设Pk_i为第i个靶标平面在第k个相机坐标系下的点，Pm_i为第i个靶标平面在第m个相机坐标系下的点，Qi为第i个靶标平面世界坐标系下对应的点，则：

Pk_i＝R_k*Qi+T_k

Pm_i＝R_m*Qi+T_m

其中，R_k、T_k为所述第k个相机坐标系与第i个靶标平面世界坐标系间转换关系，R_m、T_m为所述第m个相机坐标系与第i个靶标平面世界坐标系间转换关系；

多相机系统中的各个相机的相机坐标系的转换关系，通过下式确定：

R_km＝R_m*R_k ^T

T_km＝T_m–R*T_k

R_km、T_km是第k个相机坐标系与第m个相机坐标系间转换的旋转矩阵和平移向量，所述多相机系统任意两个相机坐标系间位姿关系都可以通过上式转换公式得出；

取所述多相机系统中一个相机为参照，将该相机坐标系作为基准坐标系，则其外参数旋转矩阵为单位矩阵，平移向量为零向量，可得到其余相机相对于该相机坐标系的旋转矩阵以及平移向量，通过所有相机的旋转矩阵R_km及平移向量T_km即可确定多相机系统的外部参数。

所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (7)

1.一种基于多面立体靶标的多相机系统标定方法，其特征在于，具体步骤包括：

步骤一，制作多面立体靶标，所述多面立体靶标至少具有三个靶标平面；

步骤二，将所述多面立体靶标放置在多部相机的公共视野中，使得同一时刻不同相机至少拍摄到所述多面立体靶标的三个靶标平面，且任意两部相机拍摄到的靶标平面至少有两个重合，每部相机仅须拍摄一副图像；

步骤三，利用所述多面立体靶标至少三个靶标平面与拍摄的图像平面间的单应性关系求解相机内参数；

步骤四，根据所述多面立体靶标至少三个靶标平面与拍摄的图像平面间的单应性关系，求解每个相机坐标系与重合靶标平面所对应的世界坐标系间的转换关系，确定多相机系统中各个相机的相机坐标系间的转换关系，最终确定多相机系统的外参数。

2.根据权利要求1所述的基于多面立体靶标的多相机系统标定方法，其特征在于，所述多面立体靶标为具有至少三个侧面的正棱锥形状，正棱锥的至少三个侧面均为靶标平面。

3.根据权利要求2所述的基于多面立体靶标的多相机系统标定方法，其特征在于，所述多面立体靶标为正四棱锥形状，正四棱锥的四个侧面均为靶标平面。

4.根据权利要求2或3所述的基于多面立体靶标的多相机系统标定方法，其特征在于，所述靶标平面均附着标定特征图案，不同靶标平面连接处附着平面识别图案。

5.根据权利要求4所述的基于多面立体靶标的多相机系统标定方法，其特征在于，所述标定特征图案为圆形图案，圆形图案的大小、数量、排列根据靶标平面大小而定；所述平面识别图案为沿靶标平面连接线的矩形图案。

6.根据权利要求1所述的基于多面立体靶标的多相机系统标定方法，其特征在于，所述步骤三包括如下：

设单个相机图像中靶标平面上某特征点的像素坐标用P_ij表示，其中P_ij＝[x_p,y_p,1]^T；多面立体靶标上的该特征点的世界坐标用Q_ij表示，其中Q_ij＝[x_q,y_q,z_q,1]^T，Q_ij代表多面立体靶标的第i个靶标平面上的第j个特征点，P_ij是Q_ij在图像平面中对应的像素点；

靶标平面与图像平面间的单应性关系用单应性矩阵B_ij表示，即

求解单应性矩阵B_ij，得到相机焦距、主点位置、相机畸变参数，即为该相机内参数。

7.根据权利要求1所述的基于多面立体靶标的多相机系统标定方法，其特征在于，所述步骤四中

每个相机坐标系与重合靶标平面所对应的世界坐标系间的转换关系，通过如下方法确定：

设Pk_i为第i个靶标平面在第k个相机坐标系下的点，Pm_i为第i个靶标平面在第m个相机坐标系下的点，Qi为第i个靶标平面世界坐标系下对应的点，则：

Pk_i＝R_k*Qi+T_k

Pm_i＝R_m*Qi+T_m

其中，R_k、T_k为所述第k个相机坐标系与第i个靶标平面世界坐标系间转换关系，R_m、T_m为所述第m个相机坐标系与第i个靶标平面世界坐标系间转换关系；

多相机系统中的各个相机的相机坐标系的转换关系，通过下式确定：

R_km＝R_m*R_k ^T

T_km＝T_m–R*T_k

R_km、T_km是第k个相机坐标系与第m个相机坐标系间转换的旋转矩阵和平移向量，所述多相机系统任意两个相机坐标系间位姿关系都可以通过上式转换公式得出；

取所述多相机系统中一个相机为参照，将该相机坐标系作为基准坐标系，则其外参数旋转矩阵为单位矩阵，平移向量为零向量，可得到其余相机相对于该相机坐标系的旋转矩阵以及平移向量，所有相机的旋转矩阵及平移向量即为所述多相机系统的外部参数。