CN108171758A - 基于最小光程原理和透明玻璃标定板的多相机标定方法 - Google Patents

Abstract

本发明请求保护一种基于最小光程原理和透明玻璃标定板的多相机标定方法，用于视觉检测与图像测量领域。本方法利用透明玻璃板完成多相机的标定，整个多相机标定过程包括：第一阶段，仔细调整相机的视野，以满足两个相机之间存在相同的覆盖区域要求；第二阶段，利用张正友标定方法获得相机的内部参数；第三阶段，分别使用小孔成像模型和折射投影模型获取标定板前后方相机的外部参数；第四阶段，将每台相机的外部参数统一到同一坐标系下。与现有技术相比，本发明采用基于最小光程和透明玻璃标定板的多相机标定方法可以同时对系统中多台相机完成标定，提高了精确性和可靠性。

Description

基于最小光程原理和透明玻璃标定板的多相机标定方法

技术领域

本发明属于视觉检测与图像测量领域，具体涉及到一种用于多相机测量系统中的多相机标定方法。

背景技术

通常情况下，尺寸、形状和变形的测量是一个动态过程。由于利用多相机同时从不同视角拍摄物体表面(一次图像采集)并动态重建整个物体形状的方法在视觉检测与图像测量领域中具有众多的应用场景，因而该方法得到了广泛的研究。而在精确测量中，多相机系统的标定一直是多相机应用的关键步骤。研究人员提出了许多不同的方法，并将它们应用到不同的领域。Xu等[1]利用平面图案和平面镜，提出了一种新的多相机网络内外参数的标定方法。通过增加平面镜和调整相机位置和角度来获取两台相机之间的转换关系。该方法增加了操作的复杂度并且会影响标定结果的准确性。Shin等[2]提出了基于直接线性变换(DLT)从三维标定框架来标定相机参数的方法，在该方法中图像噪声和光照条件会使椭圆拟合产生误差，从而影响标定结果。Li等[3]提出了一种基于数字图像相关(DIC)的用于测量厚度方向的全局应变的多相机系统。该系统使用特殊标定板同时对4台相机进行标定，结合前后面形变，计算厚度方向的应变。该特殊标定板需要精密制造，然而存在两侧标定图案不能精确对准的问题导致制造精度不易控制，这会影响标定结果的准确性。

参考文献：

[1]Xu Z,Wang Y,Yang C.Multi-camera global calibration for large-scalemeasurement based on plane mirror[J].Optik-International Journal for Lightand Electron Optics,2015,126(23):4149-4154.

[2]Shin K Y,Mun J H.A multi-camera calibration method using a 3-axisframe and wand[J].International Journal ofPrecision Engineering&Manufacturing,2012,13(2):283-289.

[3]Li J,Xie X,Yang G,et al.Whole-field thickness strain measurementusing multiple camera digital image correlation system[J].Optics&Lasers inEngineering,2017,90:19-25.

发明内容

本发明旨在解决以上现有技术的问题。提出了一种提高精确度和可靠度的基于最小光程原理和透明玻璃标定板的多相机标定方法。本发明的技术方案如下：一种基于最小光程原理和透明玻璃标定板的多相机标定方法，多相机标定系统中，包括1块只在一面印有标定图案的透明玻璃标定板，N台具有相同参数的相机，若干台相机分布于标定板前方，另外的相机置于标定板后方，其包括以下步骤：

1)、调整所述N台相机的视野，使得两个相机之间存在相同的覆盖区域；

2)、每台相机从不同角度对标定板拍摄多张图像，利用张正友标定方法获取每台相机的内部参数；

3)、获取相机外部参数，其中，对印有标定图案一侧的相机直接用小孔成像投影模型的方法来优化每台相机的外部参数；对标定板没有印标定图案一侧的相机，即存在折射现象侧，采用由最小光程原理推理所得的折射投影模型来优化每台相机的外部参数；

4)、将每台相机的外部参数统一到同一坐标系下，完成标定。

进一步的，所述步骤1)所述的调整相机的视野，是将具有N台相机的多相机系统对物体进行全局三维测量时，每台相机的位置和方向进行按需分配，对于目标物体上的每个点必须至少有两台相机存在重叠区域才能对目标物体进行全局三维重建。

进一步的，所述步骤2)所述利用张正友标定方法获得相机的内部参数，具体包括：

1)、从不同角度拍摄若干张印有棋盘格标定图案的平面；

2)、检测出图像中的特征点；

3)、利用检测的特征点位置信息获得相机内部参数初值；

4)、求解相机的畸变系数；

5)、利用最大似然估计进行优化。

进一步的，所述步骤3)对标定板前后方相机的外部参数进行标定包括步骤：

1)、在初始化时直接用线性的方法来获取4台相机的外部参数；

2)、当获取每台相机外部参数的初始化值之后，通过光束法平差的方法来优化相机的外部参数。

进一步的，所述当获取每台相机外部参数的初始化值之后，通过光束法平差的方法来优化相机的外部参数，其目标函数可表示为：

其中，h(k＝1,2,...h)表示系统中相机的个数，l(i＝1,2,...l)表示从不同的角度对标定板拍摄图像数，n(j＝1,2,...n)表示利用程序对每张图像提取特征点个数。x_kij和m_kij分别表示第k台相机关于第i个位置的标定板图片上的第j个被测量的图像二维点和预测的图像二维点。R_1i和T_1i分别表示其他相机相对于参考坐标系(第一台相机坐标系)的旋转矩阵和平移向量。

进一步的，所述步骤3)对于印有标定图案一侧的相机，由于不存在折射现象，因此直接采用小孔成像投影模型获取预测的图像二维点，小孔成像投影模型可以表示为：

假设空间中的一点M的坐标为(X_w,Y_w,Z_w)，其与在图像平面上的投影点m(u,v)之间的关系可以表示为：

其中，λ表示比例因子，R和T分别表示由世界坐标系转换到相机坐标系的旋转矩阵和平移向量，它们构成相机的外部参数，即空间中一点M在世界坐标系下投影到像素坐标系下的点m之间的关系可以用如下公式表示：

m＝f(K,R,T,ζ,M) (4)

其中，K指的是相机的内部参数，ζ表示每台相机由径向畸变模型与切向畸变模型中的畸变系数组成的畸变向量。

进一步的，所述对标定板另一侧的相机，即存在折射现象侧，采用由最小光程原理推理所得的折射投影模型获取预测图像二维点，即空间中一点M在世界坐标系下投影到像素坐标系下的点m之间的关系可以用如下公式表示：

m＝f′(K,R,T,ζ,M,μ₁) (7)

其中，μ₁表示玻璃标定板的折射率。

进一步的，所述步骤4)将每台相机的外部参数统一到同一坐标系下，玻璃标定板两侧的相机在标定的过程中设置两个辅助的世界坐标系，将两个坐标系转换到同一参考坐标系下，以便为后续利用标定参数进行三维重建过程中，将前后相机所获得的三维信息结合起来。

本发明的优点及有益效果如下：

(1)本发明在对外形复杂测量物体进行测量时，建立了多相机分布准则，合理的调整相机分布，为外形复杂测量物体的多相机分布建立统一的分布方法，提高测量精度，解决复杂物体的自身遮挡问题而且节约了成本。

(2)本发明在对多相机的外部参数进行标定时，提出了一种基于透明玻璃标定板的方法来对多相机系统中相机一次性完成标定。该方法不仅精确而且可靠的，解决分布于标定板两侧的多相机不能一次性完成标定的问题。

(3)本发明在推导存在折射现象的优化算法中，建立了折射投影模型，提出了一种基于最小光程原理的优化算法。该方法简化了算法优化参数过程，提高了算法的精度。

附图说明

图1是本发明提供优选实施例以4台相机为例的多相机标定示意图；

图2是相机之间存在覆盖区域的示意图；

图3是具有两层折射界面的折射投影模型；

图4是多相机系统中的几何关系示意图；

图5是本发明优选实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示是基于透明玻璃标定板的多相机标定示意图，不失一般性，本专利采用4相机系统验证本发明所提出的一种基于最小光程原理和透明玻璃标定板的多相机标定方法。如图1所示，该多相机标定系统包括：1块只在一面印有标定图案的透明玻璃标定板；4台具有相同参数的相机，两台相机分布于标定板前方，另外两台置于标定板后方。本发明所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，包括如下步骤:

1)、仔细调整相机的视野，以满足两个相机之间存在相同的覆盖区域要求。如图2所示为调整相机的位置，使相机之间存在覆盖区域，从而可以对目标物体进行全局测量。

2)、多相机标定系统中每台相机从不同角度对标定板拍摄多张图像，利用张正友标定方法获取每台相机的内部参数。内部参数是相机的固有属性，不会随着外在环境的变化而发生变化，其可表示为：

其中，f_u和f_v分别表示在u轴和v轴上的焦距，(u₀,v₀)表示光学中心O_c的坐标值。

3)、对标定板前后方相机的外部参数进行标定，尽管本文采用透明玻璃标定板会产生折射现象，但是该标定板的比较薄，在初始化时可以直接用小孔成像投影模型的方法来获取4台相机的外部参数。小孔成像投影模型可以表示为：

假设空间中的一点M的坐标为(X_w,Y_w,Z_w)，其与在图像平面上的投影点m(u,v)之间的关系可以表示为：

其中，λ表示比例因子。R和T分别表示由世界坐标系转换到相机坐标系的旋转矩阵和平移向量，它们构成相机的外部参数。当获取4台相机外部参数的初始化值之后，可以通过光束法平差的方法来优化相机的外部参数。目标函数可表示为：

其中，其中，h(k＝1,2,...h)表示系统中相机的个数，l(i＝1,2,...l)表示从不同的角度对标定板拍摄图像数，n(j＝1,2,...n)表示利用程序对每张图像提取特征点个数。x_kij和m_kij分别表示第k台相机关于第i个位置的标定板图片上的第j个被测量的图像二维点和预测的图像二维点。R_1i和T_1i分别表示其他相机相对于参考坐标系(第一台相机坐标系)的旋转矩阵和平移向量。

如图1所示，相机1与相机2分布于玻璃标定板前方，即印有标定图案一侧，因而可以直接用线性的方法进行优化参数。其预测的图像二维点可用如下公式表示：

m＝f(K,R,T,ζ,M) (4)

但是，对于分布于玻璃标定板后方的相机3和相机4而言，当光束通过玻璃将标定板上的三维点投影到相机中，由于折射现象会导致标定误差。为了减少误差，本文提出了折射投影模型，现以一台相机为例简要说明此问题，如图3所示。μ₀和μ₁分别表示空气折射率和玻璃折射率。通常情况下，设空气的折射率为1(μ₀＝1)，而玻璃板的折射率则是本文需要优化的参数之一。和分别表示入射光线与折射光线。q₀表示入射光线与折射平面之间的交点，q₁则表示印有标定图案平面上的三维点，其坐标已知。玻璃板的厚度为d。光学中心O_c与点q₀之间的距离用L₀表示，L₁指的是点q₀与q₁之间的距离。从点O_c到点q₀间的光程可以表示为：

L＝μ₀L₀+μ₁L₁ (5)

由最小光程原理可知，在任何介质中，当光从一点传输到另一点时，光程总是最短。因此，点q₀可以通过下面的公式求得。

利用所得的q₀，结合小孔成像投影模型，便可得到q₁投影到图像上的二维点，其可用如下公式表示：

m＝f′(K,R,T,ζ,M,μ₁) (7)

4)、当获得每天相机的外部参数之后，需要将每台相机的外部参数统一到同一坐标系下，这是由于玻璃标定板两侧的相机在标定的过程中设置两个辅助的世界坐标系，如图4所示。O_w1X_w1Y_w1Z_w1表示相机C1与相机C2用于标定的辅助世界坐标系，而O_w2X_w2Y_w2Z_w2则表示相机3与相机4用于标定的辅助世界坐标系。因此相机C1和C2的相机坐标系与世界坐标系O_w1X_w1Y_w1Z_w1之间的关系可以用如下公式表示。

式中,R₁,T₁和R₂,T₂分别表示相机C1和C2相对于坐标系O_w1X_w1Y_w1Z_w1的旋转矩阵和平移向量。M_w1是标定图案上的一点M在世界坐标系O_w1X_w1Y_w1Z_w1下的坐标。M₁和M₂分别表示M_w1在相机C1和相机C2的相机坐标系下的坐标。同理可知，对于后子系统，由相机C3和相机C4的相机坐标系转换到世界坐标系O_w2X_w2Y_w2Z_w2的转换关系可以表示为：

式中,R₃,T₃和R₄,T₄分别表示相机C3和C4相对于坐标系O_w2X_w2Y_w2Z_w2的旋转矩阵和平移向量。M_w2是标定图案上的一点M在世界坐标系O_w2X_w2Y_w2Z_w2下的坐标。M₃和M₄分别表示M_w2在相机C3和相机C4的相机坐标系下的坐标。

将两个坐标系转换到同一参考坐标系下，以便为后续利用标定参数进行三维重建过程中，将前后相机所获得的三维信息结合起来。两个坐标系之间的关系可以表示为：

M_w2＝R_{w1_w2}M_w1+T_{w1_w2} (10)

式中，R_{w1_w2}和T_{w1_w2}分别表示两个坐标系之间的旋转矩阵和平移向量。由于标定板的信息已知，因而R_{w1_w2}和T_{w1_w2}便可获得。

将相机C1的相机坐标系作为参考坐标系，利用式(8)(9)(10)可以获得另外三台相机C2、C3和C4相对于参考坐标系的旋转矩阵和平移向量。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (8)

1.一种基于最小光程原理和透明玻璃标定板的多相机标定方法，多相机标定系统中，包括1块只在一面印有标定图案的透明玻璃标定板，N台具有相同参数的相机，若干台相机分布于标定板前方，另外的相机置于标定板后方，其特征在于，包括以下步骤：

1)、调整所述N台相机的视野，使得两个相机之间存在相同的覆盖区域；

2)、每台相机从不同角度对标定板拍摄多张图像，利用张正友标定方法获取每台相机的内部参数；

3)、获取相机外部参数，其中，对印有标定图案一侧的相机直接用小孔成像投影模型的方法来优化每台相机的外部参数；对标定板没有印标定图案一侧的相机，即存在折射现象侧，采用由最小光程原理推理所得的折射投影模型来优化每台相机的外部参数；

4)、将每台相机的外部参数统一到同一坐标系下，完成标定。

2.根据权利要求1所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，其特征在于，所述步骤1)所述的调整相机的视野，是将具有N台相机的多相机系统对物体进行全局三维测量时，每台相机的位置和方向进行按需分配，对于目标物体上的每个点必须至少有两台相机存在重叠区域才能对目标物体进行全局三维重建。

3.根据权利要求1所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，其特征在于，所述步骤2)所述利用张正友标定方法获得相机的内部参数，具体包括：

1)、从不同角度拍摄若干张印有棋盘格标定图案的平面；

2)、检测出图像中的特征点；

3)、利用检测的特征点位置信息获得相机内部参数初值；

4)、求解相机的畸变系数；

5)、利用最大似然估计进行优化。

4.根据权利要求1所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，其特征在于，所述步骤3)对标定板前后方相机的外部参数进行标定包括步骤：

1)、在初始化时直接用线性的方法来获取4台相机的外部参数；

2)、当获取每台相机外部参数的初始化值之后，通过光束法平差的方法来优化相机的外部参数。

5.根据权利要求4所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，其特征在于，所述当获取每台相机外部参数的初始化值之后，通过光束法平差的方法来优化相机的外部参数，其目标函数可表示为：

其中，h(k＝1,2,...h)表示系统中相机的个数，l(i＝1,2,...l)表示从不同的角度对标定板拍摄图像数，n(j＝1,2,...n)表示利用程序对每张图像提取特征点个数，x_kij和m_kij分别表示第k台相机关于第i个位置的标定板图片上的第j个被测量的图像二维点和预测的图像二维点，R_1i和T_1i分别表示其他相机相对于参考坐标系即第一台相机坐标系的旋转矩阵和平移向量。

6.根据权利要求5所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，其特征在于，所述步骤3)对于印有标定图案一侧的相机，由于不存在折射现象，因此直接采用小孔成像投影模型获取预测的图像二维点，小孔成像投影模型可以表示为：

假设空间中的一点M的坐标为(X_w,Y_w,Z_w)，其与在图像平面上的投影点m(u,v)之间的关系可以表示为：

其中，λ表示比例因子，R和T分别表示由世界坐标系转换到相机坐标系的旋转矩阵和平移向量，它们构成相机的外部参数，即空间中一点M在世界坐标系下投影到像素坐标系下的点m之间的关系可以用如下公式表示：

m＝f(K,R,T,ζ,M) (4)

其中，K指的是相机的内部参数，ζ表示每台相机由径向畸变模型与切向畸变模型中的畸变系数组成的畸变向量。

7.根据权利要求6所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，其特征在于，所述对标定板另一侧的相机，即存在折射现象侧，采用由最小光程原理推理所得的折射投影模型获取预测图像二维点，即空间中一点M在世界坐标系下投影到像素坐标系下的点m之间的关系可以用如下公式表示：

m＝f′(K,R,T,ζ,M,μ₁) (7)

其中，μ₁表示玻璃标定板的折射率。

8.根据权利要求6所述的基于最小光程原理和透明玻璃标定板的多相机标定方法，其特征在于，所述步骤4)将每台相机的外部参数统一到同一坐标系下，玻璃标定板两侧的相机在标定的过程中设置两个辅助的世界坐标系，将两个坐标系转换到同一参考坐标系下，以便为后续利用标定参数进行三维重建过程中，将前后相机所获得的三维信息结合起来。