CN105469389A - 一种用于视觉传感器标定的网格球靶标及相应标定方法 - Google Patents

Abstract

本发明公开一种用于视觉传感器标定的网格球靶标及相应标定方法，网格球靶标就是有网格线的球靶标，它既有二维靶标的标定精度，同时也具有球靶标适合不同视点摄像机同步标定的优点；通过网格球靶标可以实现摄像机内部参数标定，双目视觉传感器标定和多摄像机测量系统全局标定。

Description

一种用于视觉传感器标定的网格球靶标及相应标定方法

技术领域

本发明涉及机器视觉领域的视觉传感器标定，尤其涉及一种利用新的靶标形式-网格球靶标及相应的标定方法。

背景技术

视觉传感器标定一直以来都是计算机视觉领域的一个重点内容。视觉传感器标定主要包括摄像机内部参数标定、双目视觉传感器标定、多摄像机测量系统全局标定。

目前视觉传感器标定多采用靶标，具体包括三维立体靶标、二维平面靶标、一维靶标和球靶标。三维立体靶标具有2个平面，该方法可以获得较高的精度，但加工困难，容易发生自身遮挡、不适合多个不同视角摄像机的同步标定。以张正友提出的基于棋盘平面靶标的摄像机内部参数标定方法为代表的采用平面靶标的视觉传感器标定方法是目前最流行的靶标形式及标定方法。另外，还有研究人员在平面靶标上使用不同特征的标定方法，例如使用同心圆环、平面双圆环等。采用二维平面靶标的标定方法灵活、方便，标定精度高，但不适合同步完成不同位置多个视觉传感器标定。球靶标的优点是在任何角度下可以获得完整的球靶标外轮廓，非常适合不同位置多个视觉传感器同步标定，但标定精度很难满足高精度测量需求。另一类是不需要靶标的视觉传感器自标定，适用于视觉导航、场景重建等领域，但该类方法标定精度不高。

发明内容

有鉴于此，本发明的主要目的在于提供一种新的靶标形式-网格球靶标和使用这种靶标对视觉传感器进行标定，来解决现有靶标中二维靶标灵活但不能同步完成不同视点摄像机同步标定的问题和球靶标可以完成不同视点摄像机同步标定但标定精度不高等问题。

本发明提供了一种新的靶标形式-网格球靶标。网格球靶标就是可以有网格线的球靶标，表面画好了平行的纬线圆和等角度经线圆。

本发明还提供了三种网格球靶标在视觉传感器标定中的应用，既摄像机内外部参数标定，双目视觉传感器标定和多摄像机测量系统全局标定。

其中，所述网格球靶标实现摄像机内外部参数标定分为三个阶段：提取网格球靶标的椭圆曲线图像；利用椭圆曲线图像求解摄像机内外参数；对求得的初解带入线性优化中得到最后的优化解；

其中，所述网格球靶标实现双目视觉传感器标定为：首先采用网格球靶标标定双目立体视觉传感器的两个摄像机内外部参数，再以网格球靶标为中介实现两个摄像机之间的旋转矩阵和平移矢量R₁₂,t₁₂的求解，完成对双目视觉传感器的标定；

其中，所述网格球靶标实现多摄像机测量系统全局标定为：首先采用网格球靶标标定方法获得多个摄像机的内部参数和外部参数A_i,R_i,t_i(其中i为第i个视觉传感器)。再计算第i个摄像机到第j个摄像机的转换矩阵T_ij(i,j＝1,2,3,n)，T_ij下标中的i，j分别表示摄像机的序号。最后通过两两标定方式完成多摄像机测量系统全局标定。

本发明提出的网格球靶标是带有高精度网格线的球靶标，经纬线交点坐标也已知，且具有较高精度。不同视角的摄像机在标定时都可以拍摄到清晰的网格球靶标上高精度的网格线和经纬线交点。本发明公开的所有标定算法都不需要拍摄到网格球靶标上全部的高精度网格线，只需要部分线条和部分经纬线交点就可以。因此本发明与现有技术相比的优点在于：本发明解决了现有靶标中二维靶标的不能同步完成不同视点摄像机同步标定的问题和球靶标的标定精度不高等问题。

附图说明

图1为本发明实施例中网格球靶标的内外参数求解示意图；

图2为本发明实施例中使用网格球靶标对多摄像机测量系统全局标定的示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

本发明所提供的一种新的靶标形式-网格球靶标和使用这种靶标在视觉测量系统标定中的应用。

如图1所示，本发明实例新的靶标形式-网格球靶标。

该靶标为刻有高精度网格像的球靶标，网格线由多个已知距离的平行纬线圆和多个已知角度间隔的同心经线圆。球体本身可以使用各种材料，例如金属、陶瓷和玻璃等，网格线可以采用机械加工方式刻在球体上，也可以采用印刷等方式将与球体颜色有明显区别的线印在球体上。网格球靶标上各网格线位置已知，且精度较高。经纬网格线的交点在网格球靶标坐标系下的坐标也已知，且具有较高精度。

本发明分别介绍了采用网格球靶标完成摄像机、双目立体视觉传感器和多摄像机测量系统全局标定的三种标定方法。

A.摄像机内外部参数标定方法

步骤1，提取网格球靶标的椭圆曲线图像，具体为，将网格球靶标靶标在摄像机前自由移动十次以上，采用Steger在1998年2月发表的论文“Anunbiaseddetectorofcurvilinearstructures，IEEETransactiononPatternAnalysisMachineIntelligence.”提到的光条图像中心提取方法提取光栅光条图像中心点。首先计算图像各点Hessian(海森)矩阵，根据光条图像灰度曲面特征，通过各图像点的Hessian矩阵中特征值和特征向量判断光条中心候选点，再通过链接方式将光条中心候选点链接在一起形成光条图像数据。通过椭圆拟合得到对应的椭圆曲线方程。计算所有椭圆曲线的长轴、短轴长度、椭圆中心、长轴与图像纵轴的夹角。根据以上参数，将所有椭圆曲线分为两类，第一类是所有椭圆曲线的θ角、长轴、椭圆中心基本相同，相对偏差小于阈值，该类为经线圆的椭圆曲线图像；除了第一类以外的所有椭圆曲线为第二类，该类为纬线圆的椭圆曲线图像；

步骤2，利用椭圆曲线图像求解摄像机内部参数和外部参数，首先识别椭圆方程对应的纬线圆，并求出摄像机的内部参数。然后，根据求解出的摄像机内部参数求出摄像机的外部参数。

识别椭圆方程对应的纬线圆，并求出摄像机的内部参数。任意两个平行的纬线圆投影曲线e_li(j)和e_li(j+1)的交点为一对圆环点m_I和m_J，m_I和m_J是共轭虚数。通过求解出的m_I和m_J，可确定所有平行纬线圆的消隐线l_li：

l_li＝λm_I×m_J(1)

设c_li(j)＝[x_li(j),y_li(j),z_li(j),1]^T为纬线圆C_li(j)的中心点。o_li(j)＝[u_li(j),v_li(j),1]^T为c_li(j)点在图像中的无畸变图像坐标。c_la(i)＝[x_la(i),y_la(i),z_la(i),1]^T为经线圆C_la(i)的中心点，o_la(i)＝[u_la(i),v_la(i),1]^T为c_la(i)点在图像中的投影坐标。消隐线l_li与o_li(j)相对于e_li(j)存在配极关系，因此根据式(2)可以求解出o_li(j)：

$o_{1i\left(j\right)}={\mathrm{\λe}}_{li\left(j\right)}^{-1}{l}_{1i}---\left(2\right)$

式中λ为非零常数。

将所有o_li(j)进行直线拟合获得l_ax，该直线为网格球靶标轴线在图像中的投影直线。a、b是网格球靶标轴线的两个端点，它也是网格球靶标轴线与球靶标两个交点A和B的投影点。基于交比不变性原理，通过a、b和o_li(j)可以识别出所有确定的纬线椭圆曲线图像的序号。因此，确定最大纬线圆中心在图像中的图像点该点也为网格球靶标球心在图像中的图像点，也是所有经线圆中心点在图像中的图像点o_la(i)，既o_la(i)与经线圆所在平面的消隐线l_la(i)相对于e_la(i)存在配极关系，即：

l_la(i)＝λe_la(i)o_la(i)(3)

式中λ为非零常数。

求解出l_la(i)与e_la(i)相交的两个共轭圆环点。因此只需要在一个位置拍摄到三个经线圆或两个纬线圆配合经线圆就可以求解出ω(ω＝K^-TK为绝对二次曲线的像，其中内部参数矩阵K)，ω有6个自由度，再通过cholesky分解就可以求解摄像机的内部参数矩阵K)。或者将靶标移动三次以上也可以用纬线圆的像解出ω，再通过cholesky分解就可以求解摄像机的内部参数矩阵K。

然后，根据第一步中的内部参数矩阵K求出摄像机的外部参数。设O_tx_ty_t平面的法向相矢量，也是所有靶标中纬线圆所在平面的法相矢量，在图像中的消隐点坐标为v₁；O_tx_tz_t平面的法向相矢量，也就是靶标中选定的某一个经线圆所在平面的法相矢量在图像中的消隐点坐标为v₂。v₁和v₂可以通过式4求解：

$\left\{\begin{array}{c}{l}_{1i}={\mathrm{\λ}}_1{\mathrm{\ωv}}_1\\ l_{1a\left(i\right)}={\mathrm{\λ}}_2{\mathrm{\ωv}}_2\end{array}\right.---\left(4\right)$

式中λ₁和λ₂为非零常数；l_li为在该靶标摆放位置处，最大纬线圆所在O_tx_tz_t平面在图像中的消隐线，已由式(1)获得；l_la(i)为在该靶标摆放位置处，定义的经线圆所在O_tx_tz_t平面在图像中的消隐线，已由式(3)获得。这个定义的经线圆可以根据拍摄图像中经线圆的椭圆曲线图像任意选定，并不会影响相机外部参数解算。

设O_tx_ty_tz_t的x轴和y轴在O_tx_ty_tz_t下矢量方向分别为和v₁与和v₂与的关系如下式5：

$\{\begin{array}{c}{v}_1={\mathrm{\λ}}_{1}KR{\stackrel{\→}{d}}_1\\ v_2={\mathrm{\λ}}_{2}KR{\stackrel{\→}{d}}_2\end{array}\⇒\left\{\begin{array}{c}{K}^{-1}{v}_1={\mathrm{\λ}}_{1}R{\stackrel{\→}{d}}_1\\ K^{-1}{v}_2={\mathrm{\λ}}_{2}R{\stackrel{\→}{d}}_2\end{array}\right.---\left(5\right)$

式中式中λ₁和λ₂为非零常数；R＝[r₁,r₂,r₃]^T为定义的经线圆坐标系O_tx_ty_tz_t到摄像机坐标系O_cx_cy_cz_c的旋转矩阵。

根据式(5)，并结合和可知：

$\left\{\begin{array}{c}{r}_3=\left(K^{-1}{v}_1\right)/\left|\right|K^{-1}{v}_1\left|\right|\\ r_2=\left(K^{-1}{v}_2\right)/\left|\right|K^{-1}{v}_2\left|\right|\end{array}\right.---\left(6\right)$

由r₁,r₂,r₃为单位正交向量可知：

r₁＝r₂×r₃(7)

因此通过以上公式，可以求解出O_tx_ty_tz_t到O_cx_cy_cz_c的旋转矩阵。

设第j个纬线圆在第j个纬线圆坐标系O_li(j)x_li(j)y_li(j)z_li(j)下的表达式为 $C_{1i\left(j\right)}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -d_j^2\end{array}\right],$ 其中d_j为第j个纬线圆的半径。

第j个纬线圆C_l'_i(j)所在坐标系O_li(j)x_li(j)y_li(j)z_li(j)与靶标坐标系O_tx_ty_tz_t平行，只是在z方向上相差固定值D_i，该值是靶标的固有尺寸，为已知量。因此O_li(j)x_li(j)y_li(j)z_li(j)到O_cx_cy_cz_c的旋转矩阵R与O_tx_ty_tz_t到O_cx_cy_cz_c的转换矩阵相同，但平移矢量t与不同，其中 ${\tilde{t}}_x=t_x;{\tilde{t}}_y=t_y,{\tilde{t}}_z=t_z-D_i.$

第j个纬线圆C′_li(j)与第j个纬线圆的像e_li(j)之间的关系如下：

C′_li(j)＝λH^Te_li(j)H(8)

式中λ为非零常数；H为第j个纬线圆所在平面到摄像机图像平面的单应矩阵。

将式(8)打开分解可得：

$-d_j^2={\tilde{t}}^T\left(K^T{e}_{1i\left(j\right)}K\right)\tilde{t}/\left({r_1}^T\right(K^T{e}_{1i\left(j\right)}K\left)r_1\right)---\left(9\right)$

任意一个纬线圆都可以得到一个如式(9)的方程。根据在靶标任意三个纬线圆的投影曲线，罗列不少于三个类似式(9)的方程组，通过最小二乘法求解O_li(j)x_li(j)y_li(j)z_li(j)到O_cx_cy_cz_c的t。完成对摄像机外部参数R和t的求解；

步骤3，所述对求得的初解带入非线性优化中得到最后的优化解。首先，根据经纬线曲线特征求解出摄像机内外参数的优化解，建立纬线圆投影曲线与在图像中提取并经过图像畸变校正后拟合的图像曲线之间，某一条经线上的空间点和经过图像畸变校正后提取的图像点差异为最小的优化目标函数，如(10)：

$f\left(a\right)=min\left(\underset{l=1}{\overset{L}{\Σ}}\right(\underset{j=1}{\overset{N}{\Σ}}\left|\right|{\tilde{e}}_{1i\left(jl\right)}-H_{1i\left(jl\right)}{C}_{1i\left(j\right)}\left|\right|\left)\right)---\left(10\right)$

式中，a＝[K,k₁,k₂,R_j,t_j]；k₁,k₂为镜头畸变系数；l＝1，2，3…L.L为靶标摆放次数；N为靶标每个摆放位置提取出来的纬线圆椭圆曲线图像总数；为靶标第l次摆放位置第j个纬线圆在图像中对应的椭圆曲线，该椭圆曲线是经过图像畸变校正后拟合获得的；H_li(il)为第j个纬线圆所在平面到摄像机图像平面的单应矩阵；C_li(j)为第j个纬线圆在其所在平面坐标系下的表述形式。

然后，以第一阶段非线性优化解为初解，建立靶标上经纬线交点的投影图像点与采用图像处理方法得到的经过图像畸变校正的图像点之间距离为最小的优化目标函数，同时考虑靶标的加工误差将经纬线交点三维坐标也作为优化参数进行优化，如式(11)：

$f\left(a\right)=min\left(\underset{l=1}{\overset{L}{\Σ}}\underset{i=1}{\overset{M}{\Σ}}d\right({\hat{p}}_t,p_t\left)\right)---\left(11\right)$

式中，a＝[K,k₁,k₂,R_j,t_j,q_t]；为经纬线交点经过摄像机模型投影到图像中的投影点；p_t为经纬线交点的无畸变图像坐标；M为经纬线交点的个数；d(A,B)代表点A和B的距离。

采用LM方法得到摄像机内外参数的最终的非线性优化解，完成对摄像机内外参数的标定。

B、双目视觉传感器标定方法

步骤1，使用双目视觉传感系统拍摄共同视场中的网格球靶标，用本发明中的方法完成对两个摄像机内外参数的标定。

步骤2，在步骤1的基础上，获得双目视觉传感器的内部参数和外部参数A₁,R₁,t₁,A₂,R₂,t₂。根据R₁,t₁,R₂,t₂，通过下式求解出两个摄像机之间的旋转矩阵和平移矢量R₁₂,t₁₂，完成对双目视觉传感器的标定。为了提高标定精度可将网格球靶标移动多次，根据多次移动的数据求解两个摄像机之间的旋转矩阵和平移矢量R₁₂,t₁₂，再通过非线性优化方法求解旋转矩阵和平移矢量R₁₂,t₁₂的最优解。

$\left[\begin{array}{cc}{R}_{12}& t_{12}\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}{R}_2& t_2\\ 0& 1\end{array}\right]{\left[\begin{array}{cc}{R}_1& t_1\\ 0& 1\end{array}\right]}^{-T}---\left(12\right)$

C、多摄像机测量系统全局标定

具体过程如下：

步骤1，两个网格球靶标通过刚性杆链接固定，将刚性杆链接的两个网格球靶标移动三次以上，多摄像机系统中的两个摄像机分别拍摄一个网格球靶标图像。

步骤2，根据摄像机拍摄的图像，采用本发明方法获得了两个摄像机的内部参数和外部参数A_i,R_i,t_i(其中i为第i个视觉传感器)。

步骤3，根据文献中方法计算第i个摄像机到第j个摄像机的转换矩阵T_ij(i,j＝1,2,3,n)，T_ij下标中的i，j分别表示摄像机的序号。

步骤4，通过两两标定方式，求解出多摄像机测量系统中全部摄像机坐标系之间的转换矩阵，完成多摄像机测量系统的全局标定。

综上所述，本发明设计了一种新的靶标-网格球靶标，并将它应用于视觉传感器标定中，可实现摄像机内外部参数标定，双目视觉传感器标定和多摄像机测量系统全局标定。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (4)

1.一种用于视觉传感器标定的网格球靶标，其特征在于：所述网格球靶标是有网格线的球靶标，球靶标表面画有平行的纬线圆和等角度经线圆。

2.一种利用权利要求1所述的网格球靶标进行摄像机内外部参数标定方法，其特征在于实现步骤为：提取网格球靶标的椭圆曲线图像；利用椭圆曲线图像求解摄像机内外参数；对求得的初解带入线性优化中得到最后的优化解。

3.一种利用权利要求1所述的网格球靶标进行双目视觉传感器标定方法，其特征在于实现步骤为：首先采用网格球靶标标定双目立体视觉传感器的两个摄像机内外部参数，再以网格球靶标为中介实现两个摄像机之间的旋转矩阵和平移矢量R₁₂,t₁₂的求解，完成对双目视觉传感器的标定。

4.一种利用权利要求1所述的网格球靶标进行多摄像机测量系统全局标定方法，其特征在于实现步骤为：首先采用网格球靶标标定方法获得多个摄像机的内部参数和外部参数A_i,R_i,t_i，其中i为第i个视觉传感器；然后计算第i个摄像机到第j个摄像机的转换矩阵T_ij，i，j分别表示摄像机的序号；最后通过两两标定方式完成多摄像机测量系统全局标定。