CN101285676A - 一种基于一维靶标的多视觉传感器全局校准方法 - Google Patents

Abstract

本发明公开一种基于一维靶标的多视觉传感器全局校准方法，包括：分别对多视觉传感器中每个视觉传感器的摄像机进行标定，以其中一个视觉传感器坐标系为基础，建立全局坐标系，将该视觉传感器称为基准视觉传感器；将一维靶标在基准视觉传感器与需校准视觉传感器前合适位置摆放多次，根据一维靶标的刚体不变性，求解每个摆放位置处所有一维靶标特征点在各视觉传感器坐标系下的三维坐标；根据对应一维靶标特征点在不同视觉传感器坐标系下三维坐标，计算出各视觉传感器坐标系之间的转换矩阵。由于一维靶标易于加工、精度较高，且不受自身遮挡，所以大大简化了多视觉传感器全局校准过程、减小了劳动强度、提高了多视觉传感器全局校准精度。

Description

一种基于一维靶标的多视觉传感器全局校准方法

技术领域

本发明涉及传感器校准技术，具体涉及一种基于一维靶标的多视觉传感器全局校准方法。

背景技术

视觉传感器由于具有大量程、非接触、速度快、系统柔性好及测量精度高等优点而得到广泛应用，但是，单个视觉传感器测量范围有限，所以，当测量范围较大时，可以将多个视觉传感器结合起来构成多视觉传感器，以得到较大的测量范围。一般情况下，构成多视觉传感器的各个视觉传感器之间距离比较远且没有共同视场，因此，采用多视觉传感器进行测量时，需要进行全局校准，即确定各个视觉传感器间的位置关系，并将它们统一到同一个坐标系下。

目前，常用的多视觉传感器全局校准方法主要有同名坐标统一法、中介坐标统一法和世界坐标唯一法。其中，同名坐标统一法，利用一组同名坐标计算出各视觉传感器坐标系到全局坐标系的旋转矩阵和平移向量；中介坐标统一法，通过多次中间坐标系转换来完成视觉传感器坐标系到全局坐标系的统一；世界坐标唯一法，直接利用全局坐标系下的特征点对处于测量状态的系统各视觉传感器进行局部标定，从而将局部标定和全局标定统一到一起。

但是，以上所述三种方法都需要高精密外部设备，如经纬仪、激光跟踪仪、双目视觉传感器等来完成全局校准。并且，采用同名坐标统一法或中介坐标统一法进行全局校准时，需要多次坐标转换，会不可避免地造成精度损失且增加劳动强度，所以，现有的视觉传感器全局校准方法存在校准成本高、劳动强度大、校准精度低等缺点。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于一维靶标的多视觉传感器全局校准方法，能够降低校准成本、减小劳动强度、提高校准精度。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于一维靶标的多视觉传感器全局校准方法，该方法包括：

a、分别对多视觉传感器中每个视觉传感器的摄像机进行标定，确定基准视觉传感器，并建立全局坐标系；

b、在基准视觉传感器与一个需校准视觉传感器前至少摆放一维靶标两次，并分别通过所述两个视觉传感器的摄像机拍摄靶标图像，之后分别求解每个摆放位置下，所有一维靶标特征点在所述两个视觉传感器对应的视觉传感器坐标系下的三维坐标；

c、求解步骤b所述两个视觉传感器对应的视觉传感器坐标系之间的旋转矩阵和平移向量的线性解；

d、重复执行步骤b～步骤c，直到多视觉传感器中每个需校准的视觉传感器都被校准。

步骤c中所述求解之后进一步包括：求解步骤c所述旋转矩阵和平移向量的最优解。

步骤a所述确定基准视觉传感器为：以多视觉传感器中任意一个视觉传感器作为基准视觉传感器；所述建立全局坐标系为：以基准视觉传感器的视觉传感器坐标系作为全局坐标系。

步骤b所述靶标图像至少包含三个靶标特征点。

步骤b所述求解所有一维靶标特征点在视觉传感器坐标系下的三维坐标包括：

b1、提取靶标图像中所有靶标特征点的图像坐标，通过图像畸变校正方法，得到靶标图像中所有靶标特征点的无畸变图像坐标；

b2、利用靶标图像上至少三个靶标特征点的无畸变图像坐标，求出一维靶标所在直线的消影点坐标；

b3、求取靶标图像中可视一维靶标两端点在视觉传感器坐标系下的三维坐标；

b4、根据刚体不变性求取所有一维靶标特征点在视觉传感器坐标系下的三维坐标。

一维靶标在每个摆放位置下，靶标特征点所在的各个直线不重合。

步骤c所述求解旋转矩阵和平移向量的线性解为：通过任意三个或三个以上靶标特征点在每个摆放位置下，分别在所述两个视觉传感器对应的视觉传感器坐标系下的三维坐标求解。

所述求解最优解为：采用Levenberg-Marquardt非线性优化方法求解旋转矩阵和平移向量在最大似然准则下的最优解。

本发明提出的基于一维靶标的多视觉传感器全局校准方法，根据多视觉传感器中的一个视觉传感器的传感器坐标系建立全局坐标系，通过一个一维靶标分别求得每个需校准视觉传感器对应的视觉传感器坐标系与所述全局坐标系之间的旋转矩阵和平移向量，即实现全局标定。由于采用易于加工、精度较高的一维靶标，且一维靶标不需要大到覆盖所有视觉传感器的视场区域，所以本发明一维靶标的多视觉传感器全局校准方法能够降低校准成本、减小劳动强度、提高校准精度。

附图说明

图1为本发明基于一维靶标的多视觉传感器全局校准方法流程图；

图2为实施例中多视觉传感器的示意图；

图3为α和β示意图；

图4为一维靶标结构示意图；

图5为左视觉传感器的摄像机拍摄的靶标图像；

图6位右视觉传感器的摄像机拍摄的靶标图像。

具体实施方式

本发明的基本思想是：根据多视觉传感器中的一个视觉传感器的传感器坐标系建立全局坐标系，通过一个一维靶标分别求得每个需校准视觉传感器对应的视觉传感器坐标系与所述全局坐标系之间的旋转矩阵和平移向量，即实现全局标定。

下面结合具体实施例及由四个视觉传感器组成的多视觉传感器为例，对本发明作进一步详细说明。

图1为本发明基于一维靶标的多视觉传感器全局校准方法流程图，如图1所示，本发明基于一维靶标的多视觉传感器全局校准方法主要包括以下步骤：

步骤11：分别对多视觉传感器中每个视觉传感器的摄像机进行标定。

多视觉传感器可以由任意多个视觉传感器组成，图2为实施例中多视觉传感器的示意图，如图2所示，本实施例中，多视觉传感器由视觉传感器1～视觉传感器4组成。根据各个视觉传感器的摆放位置建立视觉传感器1～视觉传感器4的视觉传感器坐标系分别为O_c1x_c1y_c1z_c1、O_c2x_c2y_c2z_c2、O_c3x_c3y_c3z_c3、O_c4x_c4y_c4z_c4。

这里，对视觉传感器的摄像机进行标定即求解摄像机的内部参数和外部参数，具体求解方法在张正友的文章“A flexible new technique for cameracalibration[R].Microsoft Corporation，NSR-TR-98-71，1998”中有详细描述。

步骤12：以多视觉传感器中任意一个视觉传感器作为基准视觉传感器，并建立全局坐标系。

这里，可以确定视觉传感器1为基准视觉传感器，则视觉传感器坐标系O_c1x_c1y_c1z_c1为全局坐标系。

步骤13：在基准视觉传感器和任意一个需校准视觉传感器前合适位置处放置一维靶标，并分别通过所述两个视觉传感器的摄像机拍摄靶标图像。

这里，可以选择在视觉传感器1和视觉传感器2前合适位置处放置一维靶标并分别拍摄靶标图像，两个视觉传感器的摄像机所拍摄靶标图像上的特征点可以对应一维靶标上不同的特征点，但是，两个视觉传感器的摄像机拍摄的靶标图像都需要包含至少三个特征点。

步骤14：根据步骤13所述的靶标图像分别求解所有一维靶标特征点在所述两个视觉传感器对应视觉传感器坐标系下的坐标。

以视觉传感器1拍摄的靶标图像为例，求解所有一维靶标特征点在视觉传感器坐标系O_c1x_c1y_c1z_c1下的坐标，具体包括以下步骤：

步骤141：提取靶标图像中所有靶标特征点的图像坐标，通过图像畸变校正方法，得到靶标图像中所有靶标特征点的无畸变图像坐标。

具体校正方法在张广军编著的“张广军.机器视觉：科学出版社”中有详细描述。以下所述靶标特征点的图像坐标均为经过畸变校正后的无畸变图像坐标。

步骤142：利用靶标图像上至少三个靶标特征点的图像坐标，求出一维靶标所在直线的消影点坐标v＝[u_v，v_v，1]^T。

具体求取方法可采用R.Harley所著的“R.Harley，A.Zisserman，A MultipleView Geometry in Computer Vision.Cambridge：Cambridge University Press，2000”中所提供的方法。

步骤143：求取靶标图像中可视一维靶标两端点在视觉传感器坐标系下的三维坐标。

这里，设p_c1＝[u₁，v₁，1]^T为靶标图像中第一个可视靶标特征点P₁ ¹在图像平面坐标系下的图像齐次坐标，p_c2＝[u₂，v₂，1]^T为靶标图像中最后一个可视靶标特征点P₂ ¹在图像平面坐标系下的图像齐次坐标，L为可视一维靶标的总长度，则根据步骤142所述消影点的坐标v＝[u_v，v_v，1]^T、和p_c1＝[u₁，v₁，1]^T、p_c2＝[u₂，v₂，1]^T、以及可视一维靶标的总长度L，通过求解方程组(1)便能得到P₁ ¹、P₂ ¹点在视觉传感器坐标系下的坐标P_c1＝[x₁，y₁，z₁]^T、P_c2＝[x₂，y₂，z₂]^T：

$\left\{\begin{array}{c}{s}_1{p}_{c1}={\mathrm{AP}}_{c1}\\ s_2{p}_{c2}={\mathrm{AP}}_{c2}\\ \left|\right|P_{c2}-P_{c1}\left|\right|=L\\ (P_{c2}-P_{c1})\×A^{-1}v=0\end{array}\right.---\left(1\right)$

在方程组(1)中，A为摄像机内部参数，已于步骤11获取，s₁、s₂均为不等于零的常数。

步骤144：求取所有一维靶标特征点在视觉传感器坐标系下的三维坐标。

根据一维靶标的刚体不变性，所有一维靶标特征点在视觉传感器坐标系下坐标一般都可以通过方程组(2)表示：

$\left\{\begin{array}{c}{x}_k=L_k\cos \left(\mathrm{\β}\right)\sin \left(\mathrm{\α}\right)+x_j\\ y_k=L_k\cos \left(\mathrm{\β}\right)\cos \left(\mathrm{\α}\right)+y_j\\ z_k=L_k\sin \left(\mathrm{\β}\right)+z_j\end{array}\right.---\left(2\right)$

其中，P_tk＝[x_k，y_k，z_k]^T为一维靶标第k个靶标特征点在视觉传感器坐标系下的三维坐标；P_tj＝[x_j，y_j，z_j]^T为一维靶标第j个靶标特征点在视觉传感器坐标系下的三维坐标；L_k为第k个靶标特征点到第j个靶标特征点的距离，这里，由于一维靶标各个特征点之间的距离为已知量，所以，可以求出任意两个靶标特征点之间的距离，α为一维靶标在视觉传感器坐标系O_c1x_c1y_c1z_c1的O_c1x_c1y_c1平面上的投影与y_c1轴的夹角，β为一维靶标所在直线与O_c1x_c1y_c1平面的夹角。α和β的具体含义如图3所示，α_f为一维靶标f在视觉传感器坐标系O_c1x_c1y_c1z_c1的O_c1x_c1y_c1平面上的投影与y_c1轴的夹角，β_f为一维靶标f所在直线与O_c1x_c1y_c1平面的夹角。

如果靶标图像中第一个可视靶标特征点P₁ ¹和最后一个可视靶标特征点P₂ ¹在视觉传感器坐标系下坐标为P_c1＝[x₁，y₁，z₁]^T，P_c2＝[x₂，y₂，z₂]^T，则有方程组(3)成立：

$\left\{\begin{array}{c}\mathrm{\α}=\arctan \left(\frac{(z_2-z_1)}{\mathrm{Dist}}\right)\\ \mathrm{\β}=\arcsin \left(\frac{(x_2-x_1)}{\mathrm{Dist}}\right)\end{array}\right.---\left(3\right)$

其中，Dist＝sqrt((x₂-x₁)²+(y₂-y₁)²)，通过求解方程组(3)便可求得α和β的值。

在方程组(2)中，α、β可以通过方程组(3)求得，L_k也可以根据靶标特征点间的距离求得，再以步骤143求得的P_c1＝[x₁，y₁，z₁]^T和P_c2＝[x₂，y₂，z₂]^T中任一个靶标特征点代替P_tj＝[x_j，y_j，z_j]^T，便可以求出所有一维靶标特征点在视觉传感器坐标系O_c1x_c1y_c1z_c1下的三维坐标。

同理，可求得所有一维靶标特征点在视觉传感器坐标系O_c2x_c2y_c2z_c2下的三维坐标。

步骤15：在步骤13所述两个视觉传感器前合适位置处，重新摆放一维靶标至少一次，并拍摄靶标图像，根据步骤14所述的方法分别求解每个摆放位置下，一维靶标所有靶标特征点在所述两个视觉传感器对应视觉传感器坐标系下的三维坐标。

这里，重新摆放一维靶标时，一维靶标特征点所在的直线不能与之前摆放位置下，一维靶标特征点所在的直线重合。

步骤16：根据步骤14～步骤15获取的所有靶标特征点的三维坐标，求解所述两视觉传感器坐标系之间的旋转矩阵和平移向量的线性解。

如果P_j为一维靶标上第j个靶标特征点，X_j为P_j在视觉传感器2对应视觉传感器坐标系O_c2x_c2y_c2z_c2下的齐次坐标，

为P_j在视觉传感器1对应视觉传感器坐标系O_c1x_c1y_c1z_c1下的齐次坐标，则有如下变换关系成立：

$\widetilde{X_j}=R_2{X}_j+T_2---\left(4\right)$

其中，R₂，T₂为视觉传感器2对应视觉传感器坐标系到视觉传感器1对应视觉传感器坐标系的旋转矩阵及平移向量。

根据步骤14～步骤15所获取的靶标特征点坐标，任意选取三个或三个以上靶标特征点在视觉传感器坐标系O_c1x_c1y_c1z_c1和O_c2x_c2y_c2z_c2下的三维坐标，便可以通过公式(4)求解出R₂，T₂。这里，选取的靶标特征点越多，计算得到R₂，T₂的精度越高。

步骤17：求解步骤13所述两视觉传感器对应视觉传感器坐标系之间的旋转矩阵和平移向量的最优解。

设P_j ¹为视觉传感器1可视的第j个一维靶标特征点，P_1j＝[x_1j，y_1j，1]^T为P_j ¹在视觉传感器1图像坐标下的齐次坐标，P_1j′＝[x_1j′，y_1j′，1]^T为P_j ¹在视觉传感器1图像坐标系下的重投影齐次坐标，设P_j ²为摄像机2可视的第j个一维靶标特征点，P_2j＝[x_2j，y_2j，1]^T为P_j ²在视觉传感器2图像坐标系下的齐次坐标，P_2j′＝x_2j′，y_2j′，1]^T为P_j ²在视觉传感器2图像坐标系下的重投影齐次坐标，则有如下方程组成立：

$\left\{\begin{array}{c}{X}_j^2=R_2^{-1}\widetilde{X_j^2}-R_2^{-1}{T}_2\\ {\mathrm{\ρP}}_{2j}^{\′}=A_2\left[\begin{array}{cc}I& 0\end{array}\right]X_j^2\end{array}\right.---\left(5\right)$

其中，A₂为视觉传感器2中摄像机的内参矩阵，ρ为一个非零常数。

假设图像噪声为高斯分布，为了得到R₂，T₂最大似然准则下的最优解，可以建立如下目标函数：

$F\left(a\right)=\min (\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=f_1}{\overset{e_1}{\mathrm{\Σ}}}{\left[d(p_{1\mathrm{ij}}^{\′}-p_{1\mathrm{ij}})\right]}^2+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=f_2}{\overset{e_2}{\mathrm{\Σ}}}{\left[d(p_{2\mathrm{ij}}^{\′}-p_{2\mathrm{ij}})\right]}^2)---\left(6\right)$

其中a＝[R₂，T₂，x₁₁，y₁₁，z₁₁，α₁，β₁，…x_1m，y_1m，z_1m，α_m，β_m]；[x_1i，y_1i，z_1i]为一维靶标第i个摆放位置处，一维靶标中第一个特征点在全局坐标系下的坐标；α_i，β_i分别为一维靶标第i个摆放位置处如图3所示的α，β；f₁，f₂分别为视觉传感器1和视觉传感器2所拍摄靶标图像中，第一个可视靶标特征点在整个一维靶标中的序号；e₁，e₂分别为视觉传感器1和视觉传感器2所拍摄靶标图像中，最后一个可视靶标特征点在整个一维靶标中的序号；m为一维靶标摆放位置的次数。一维靶标摆放次数越多，全局标定的精度越高。

以步骤16求得的R₂，T₂值为初值，对目标函数(6)进行非线性优化即可得到a在最大似然准则下的最优解。这里，可以采用Levenberg-Marquardt非线性优化方法。

步骤18：重复执行步骤13～步骤17，直到多视觉传感器中的每个视觉传感器都被校准。

这里，再分别求得视觉传感器3与视觉传感器1之间的旋转矩阵和平移向量R₃，T₃、视觉传感器4与视觉传感器1之间的旋转矩阵和平移向量R₄，T₄即可。

最后，以由左视觉传感器和右视觉传感器组成的多视觉传感器为例，说明按照本发明的方法进行全局标定的具体过程。

如果两个视觉传感器分别采用分辨率为1392×1024、选用35mm焦距kawa镜头的大恒1410FM数码相机。视觉传感器视场为200mm×180mm，测量距离为860mm。选用的一维靶标结构如图4所示，一维靶标有42个靶标特征点，相邻靶标特征点的间距为8.8mm。

首先，根据步骤11所述的方法得到标定结果如表1所示：

左摄像机内部参数	右摄像机内部参数
		ax＝5764.96     ay＝5763.79u0＝668.76      v0＝531.34k1＝0.169637    γ＝-4.126551	ax＝5802.96     ay＝5802.20u0＝682.11      v0＝479.86k1＝0.2641      γ＝-0.5835

表1

根据步骤12～步骤13所述的方法，分别用左视觉传感器的摄像机和右视觉传感器的摄像机拍摄的两幅靶标图像分别如图5和图6所示。

根据步骤14～步骤16所述的方法，将一维靶标在两摄像机前摆放30个位置，计算每个位置下所有靶标特征点在两个摄像机坐标系下的三维坐标，再通过对应点的三维坐标计算出两摄像机坐标系的变换关系为：

$R^{\′}=\left[\begin{array}{ccc}0.912141& 0.034550& 0.408415\\ -0.046421& 0.998737& 0.019186\\ -0.407237& -0.036460& 0.912594\end{array}\right],$ $T^{\′}=\left[\begin{array}{c}-522.1638\\ 6.5014\\ 137.4657\end{array}\right]$

最后，根据步骤17所述的方法求得变换关系R，T在最大似然准则下的最优解为：

$R=\left[\begin{array}{ccc}0.915156& 0.038173& 0.401287\\ -0.054099& 0.998130& 0.028426\\ -0.399452& -0.047723& 0.915510\end{array}\right],$ $T=\left[\begin{array}{c}-502.8508\\ 4.2776\\ 129.5435\end{array}\right]$

为了验证统一校准结果，使一维靶标上的19～20点在两摄像机上均成像。根据统一校准结果，三维重建19～20点，计算两点的绝对距离，与实际长度进行比较。进行任意三个位置的测量，具体测量数据如表2所示：

表2

由表2可以看出，本发明提出的全局校准方法测量均方根误差为0.0487mm，测量精度较高。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (8)

1、一种基于一维靶标的多视觉传感器全局校准方法，其特征在于，该方法包括：

a、分别对多视觉传感器中每个视觉传感器的摄像机进行标定，确定基准视觉传感器，并建立全局坐标系；

b、在基准视觉传感器与一个需校准视觉传感器前至少摆放一维靶标两次，并分别通过所述两个视觉传感器的摄像机拍摄靶标图像，之后分别求解每个摆放位置下，所有一维靶标特征点在所述两个视觉传感器对应的视觉传感器坐标系下的三维坐标；

c、求解步骤b所述两个视觉传感器对应的视觉传感器坐标系之间的旋转矩阵和平移向量的线性解；

d、重复执行步骤b～步骤c，直到多视觉传感器中每个需校准的视觉传感器都被校准。

2、根据权利要求1所述的方法，其特征在于，步骤c中所述求解之后进一步包括：求解步骤c所述旋转矩阵和平移向量的最优解。

3、根据权利要求1所述的方法，其特征在于，步骤a所述确定基准视觉传感器为：以多视觉传感器中任意一个视觉传感器作为基准视觉传感器；所述建立全局坐标系为：以基准视觉传感器的视觉传感器坐标系作为全局坐标系。

4、根据权利要求1所述的方法，其特征在于，步骤b所述靶标图像至少包含三个靶标特征点。

5、根据权利要求4所述的方法，其特征在于，步骤b所述求解所有一维靶标特征点在视觉传感器坐标系下的三维坐标包括：

b1、提取靶标图像中所有靶标特征点的图像坐标，通过图像畸变校正方法，得到靶标图像中所有靶标特征点的无畸变图像坐标；

b2、利用靶标图像上至少三个靶标特征点的无畸变图像坐标，求出一维靶标所在直线的消影点坐标；

b3、求取靶标图像中可视一维靶标两端点在视觉传感器坐标系下的三维坐标；

b4、根据刚体不变性求取所有一维靶标特征点在视觉传感器坐标系下的三维坐标。

6、根据权利要求1所述的方法，其特征在于，一维靶标在每个摆放位置下，靶标特征点所在的各个直线不重合。

7、根据权利要求1所述的方法，其特征在于，步骤c所述求解旋转矩阵和平移向量的线性解为：通过任意三个或三个以上靶标特征点在每个摆放位置下，分别在所述两个视觉传感器对应的视觉传感器坐标系下的三维坐标求解。

8、根据权利要求2所述的方法，其特征在于，所述求解最优解为：采用Levenberg-Marquardt非线性优化方法求解旋转矩阵和平移向量在最大似然准则下的最优解。

Images