CN103714535A

CN103714535A - 双目视觉测量系统中摄像机参数在线调整方法

Info

Publication number: CN103714535A
Application number: CN201310691111.7A
Authority: CN
Inventors: 贾振元; 刘巍; 杨景豪; 刘阳; 李明星; 张驰
Original assignee: Dalian University of Technology
Current assignee: Dalian University of Technology
Priority date: 2013-12-13
Filing date: 2013-12-13
Publication date: 2014-04-09
Anticipated expiration: 2033-12-13
Also published as: CN103714535B

Abstract

本发明双目视觉测量系统中摄像机参数在线调整方法属于计算机视觉检测以及图像检测领域，特别涉及用于在锻造现场获取大型锻件尺寸参数的双目视觉测量系统中摄像机参数在线调整方法。该方法利用4个摄像机参数调整模板，通过左、右两个摄像机分别拍摄摄像机参数调整模板的图像，再识别摄像机参数调整模板图像中正交平行线，求得正交消隐点，然后分别标定两个摄像机的内参数，最后，同时标定双目视觉测量系统的外参数。本发明实现了双目视觉测量系统中摄像机参数的在线调整，提高像机参数的标定精度，进而提高测量系统在测量过程中的测量精度，具有标定过程耗时少，精度高的特点，能够在复杂工况下进行摄像机参数调整。

Description

双目视觉测量系统中摄像机参数在线调整方法

技术领域

本发明属于计算机视觉检测以及图像检测领域，特别涉及用于在锻造现场获取大型锻件尺寸参数的双目视觉测量系统中摄像机参数在线调整方法。

背景技术

在锻造生产过程中需要对锻件尺寸进行实时测量，为合理控制锻造的整个工艺提供依据。锻造现场条件极为恶劣，具有锻造温度高，环境复杂，震动大等特点，使精确实时测量大型锻件的尺寸成为一个难点。测量要求视场大，准确度高，在线实时测量。双目视觉测量作为一种实时性强、测量精度高的非接触测量方法，被广泛应用于工业检测、目标识别等诸多领域，尤其在实时测量大型锻件锻压过程中热态几何尺寸方面具有无法比拟的优势。摄像机参数的精确标定是多目立体视觉测量的基础，标定结果与测量精度息息相关。

许多学者就如何高精度的标定摄像机参数开展了大量的研究，但是这些研究工作主要集中于摄像机参数的离线标定，往往忽略了摄像机参数在测量过程中因现场温度和震动等因素而引起的变化，因而测量结果的精度难以保证，置信度低。在实际测量过程中，由于锻造过程时间较短，要想实现摄像机参数的在线调整，调整方法就要满足高精度、快速的要求。而传统的离线标定方法存在标定过程复杂，标定耗时长等缺点，所以有必要建立一种高精度快速的摄像机参数在线调整方法。

传统的基于标定板或者标定块的标定方法，如张正友提出的基于平面模板的标定方法，虽然能获得较高的精度，但是这种方法需要标定板来辅助标定，而标定板价格昂贵，并且张氏标定法算法复杂，标定耗时长，不适合摄像机参数在线调整。

胡占义等在《基于主动视觉摄像机标定方法》中提出的基于主动视觉系统的摄像机标定方法，可以线性的标定摄像机内参数以及摄像机坐标系与平台坐标系之间的旋转矩阵。但是这种方法需要高精度的运动平台，而锻造现场环境复杂，容易对高精度运动平台的正交性造成影响，并且这种方法同样存在标定时间长，设备昂贵的问题。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，针对在锻造现场缺少有效的摄像机参数调整方法，发明一种双目视觉测量系统中摄像机参数在线调整方法。利用摄像机参数调整模板中的正交直线求得的正交消隐点来标定摄像机的内参数，包括光轴通过像平面的主点坐标以及等效焦距。再利用空间中三正交消隐点求得两摄像机间的旋转矩阵，最后利用已知间距的空间平行线求得两摄像机间的平移矩阵。

本发明采用的技术方案是一种双目视觉测量系统中摄像机参数在线调整方法，其特征是，该方法利用4个摄像机参数调整模板，通过左、右两个摄像机分别拍摄摄像机参数调整模板的图像，再识别摄像机参数调整模板图像中正交平行线，求得正交消隐点，然后分别标定两个摄像机的内参数，最后，同时标定双目视觉测量系统的外参数，具体步骤如下：

步骤1：制作4个摄像机参数调整模板

制作4个摄像机参数调整模板，每个摄像机参数调整模板中平行线间的距离为一个定值，在薄板5上互成角度的粘贴四个左上、右上、左下、右下摄像机参数调整模板1、2、3、4，构成不同角度的正交直线；

步骤2：拍摄4个摄像机参数调整模板的图像，识别摄像机参数调整模板图像中的正交平行线；

利用左、右摄像机分别拍摄4个摄像机参数调整模板的图像，根据离线标定时求得的畸变系数对4个摄像机参数调整模板图像进行畸变处理，再利用Hough变换分别识别4个摄像机参数调整模板图像中的直线，去除误识别直线，即可得到4个摄像机参数调整模板图像中的四组正交平行线；

步骤3：求正交消隐点并求取摄像机内参数；

根据步骤2获得的正交平行线组，求得正交消隐点并求取摄像机内参数；具体过程如下：

（a）根据步骤1识别出的4个摄像机参数调整模板图像中的正交平行线组，分别求出4个摄像机参数调整模板图像中的正交消隐点对，然后根据已求得的消隐点分别求得第三个正交方向在摄像机坐标系下的单位方向向量；

（b）设摄像机模型为线性模型，由步骤2（a）求得的正交消隐点对M_i(u_Mi,v_Mi)，N_i(u_Ni,v_Ni)（i=1,2,3,4），分别代入线性方程:

(u_Mi+u_Ni-u_Mj-u_Nj)·x+(u_Mju_Nj-u_Miu_Ni)·z+(v_Mi+v_Ni-v_Mj-v_Nj)·y=(v_Miv_Ni-v_Mjv_Nj)(i≠j) (1)

其中，i,j表示不同的摄像机参数调整模板图像，u_Mi,v_Mi、u_Ni,v_Ni，u_Mj,v_Mj、u_Nj,v_Nj分别为第i,j幅摄像机参数调整模板图像求得的消隐点对的坐标，联立方程即能求解出未知数x，y，z，再由：

u_{o} = x / z, v_{o} = y, f_{x} = \sqrt{(u_{M} - x / z) (x / z - u_{N}) + \frac{f_{x}^{2}}{f_{y}^{2}} (v_{M} - y) (y - v_{N})}, f_{y} = \sqrt{z} \cdot f_{x} - - - (2)

即可求出摄像机内参数，即f_x,f_y,u₀,v₀；其中，f_x，f_y为摄像机等效焦距，u₀、v₀为光轴通过像平面的主点坐标，由此可求得左摄像机内参数矩阵K_左：

同理，可得到右摄像机的内参数矩阵K_右；

步骤4：求双目视觉测量系统的外参数

根据摄像机拍摄的摄像机参数调整模板图像，由步骤2中求得的消隐点以及已知的平行线间距离即可求得外参数；具体如下：

（a）由左、右摄像机的左上摄像机参数调整模板1的图像中求得的正交消隐点，即可求得三正交消隐方向在摄像机坐标系下的单位方向向量；由这两组对应的单位向量由式(4)即可得到两摄像机间的旋转矩阵R；

R＝V'V^T (4)

其中，

V = (I_{1}^{T}, N_{1}^{T}, M_{1}^{T}), V^{'} = (I_{1}^{' T}, N_{1}^{' T}, M_{1}^{' T})

分别在左右摄像机坐标系下三正交消隐点的单位方向向量组成的矩阵，

为左右摄像机坐标系下三正交消隐点的单位方向向量；

（b）利用空间中已知的平行线间距离即可求得平行线端点在摄像机坐标系下的坐标P与P'，由步骤（a）中求得的旋转矩阵R，计算式(5)即可获得平移矩阵T；

T＝P-R^TP' (5)

本发明的有益效果是实现了双目视觉测量系统中摄像机参数的在线调整，提高像机参数的标定精度，进而提高测量系统在测量过程中的测量精度，具有标定过程耗时少，精度高，适于在线调整的特点。

附图说明

图1为双目视觉测量系统中摄像机参数在线调整方法示意图。其中：1-左上摄像机参数调整模板，2-右上摄像机参数调整模板，3-左下摄像机参数调整模板，4-右下摄像机参数调整模板，5-薄板；6-右摄像机，7-左摄像机

图2为摄像机参数调整模板

图3为利用Hough变换识别正交平行线的结果。其中：1-计算机识别摄像机参数调整模板的结果；2-摄像机参数调整模板

图4摄像机参数调整模板投影在像平面的示意图。其中：1-摄像机参数调整模板；2-摄像机参数调整模板在像平面的投影；3-摄像机像平面

图5光心位于以正交消隐点为直径的球上的示意图。其中：O为摄像机光心，M、N为正交消隐点；1-摄像机像平面；2-摄像机参数调整模板在像平面的投影；3-以正交消隐点为直径的球体

图6为获取空间点在摄像机坐标系下坐标方法的示意图

具体实施方式

下面结合附图和技术方案进一步详细说明本发明的具体实施方式。

摄像机标定实际上是要求出内参数矩阵K，两摄像机间的旋转和平移矩阵R和T。通用的摄像机模型可表示为：

其中，(X_w,Y_w,Z_w,1)^T为在世界坐标系下空间点的其次坐标，(x,y,1)^T为空间点在图像坐标系下的对应像点，f_x，f_y为摄像机等效焦距，u₀、v₀为光轴通过像平面的主点坐标，z为比例因子。

步骤1：制作4个摄像机参数调整模板

制作4个摄像机参数调整模板，摄像机参数调整模板如图2所示，模板中平行线间的距离取为100mm，在薄板5上互成角度的粘贴四个左上、右上、左下、右下摄像机参数调整模板1、2、3、4，构成不同角度的正交直线。

步骤2：拍摄5个摄像机参数调整模板的图像，识别摄像机参数调整模板图像中的正交平行线。

左右摄像机分别拍摄4个摄像机参数调整模板的图像，根据离线标定时求得的畸变系数k对4个摄像机参数调整模板图像进行畸变处理，再利用Hough变换识别靶标中的直线，如图2，即可得到4个摄像机参数调整模板图像中的4组正交平行线。

步骤3：求正交消隐点并求取摄像机内参数。

本发明选用的成像设备为普林斯顿MegaPlus II ES4020型黑白CCD摄像机，其分辨率为2048*2048，像素尺寸为δ＝7.4μm；有效像面尺寸为36mm×24mm，对角线长度为。两台摄像机均配有TamronDi-II LD变焦镜头，其焦距f的调节范围为[f₁,f₂]＝[18,250]，单位为mm。该镜头的光圈值F选用3.5。

由步骤2获得的正交平行线组，求得正交消隐点并求取摄像机内参数。具体过程如下：

（a）由于图像噪声的影响，像平面上本应相交的多条直线事实上并不能相交于唯一的一点。因此，根据步骤1识别出的图像中的正交平行线组，五条平行线中每两条直线求交点，得到一组交点后，利用交点的均值为优化初值，以消隐点到各直线距离和最小为优化目标，使用Levenberg-Marquardt方法对交点进行优化，即可得到该组平行线的消隐点。分别求出四对正交消隐点M_i(u_Mi,v_Mi)，N_i(u_Ni,v_Ni)（i=1,2,3,4），其中，u_Mi,v_Mi、u_Ni,v_Ni为第i幅摄像机参数调整模板图像求得的消隐点对的坐标。

（b）设摄像机模型为线性模型，则内参数矩阵为

K = [\begin{matrix} f_{x} & 0 & u_{0} \\ 0 & f_{y} & v_{0} \\ 0 & 0 & 1 \end{matrix}],

其中，f_x，f_y为摄像机等效焦距，u₀、v₀为光轴通过像平面的主点坐标。

由消隐点性质可知，空间平行线的消隐点与摄像机光心的连线，必平行于空间平行线。因此，光心O与正交消隐点对M,N组成的三角形为直角三角形，即光心O位于以MN为直径的球上，如图4所示。设正交消隐点对在图像坐标系下的坐标为：M(u_M,v_M)，N(u_N,v_N)，见附图5；在摄像机坐标下的坐标为：

M((u_M-u_o)·d_x,(v_M-v_o)·d_y,f)，M((u_N-u_o)·d_x,(v_N-v_o)·d_y,f)

则以MN为直径的球体方程为：

{[x - \frac{1}{2} - (u_{M} + u_{N}) d_{x} - u_{o} d_{x}]}^{2} + {[y - \frac{1}{2} (v_{M} + v_{N}) d_{x} - v_{o} d_{x}]}^{2} + {(z - f)}^{2} = {(\frac{u_{M} - u_{N}}{2} d_{x})}^{2} + {(\frac{v_{M} - v_{N}}{2} d_{x})}^{2} - - - (6)

光心O(0,0,0)^T位于以MN为直径的球上，代入方程整理可得：

\frac{1}{f_{x}^{2}} (u_{o} - u_{M}) (u_{o} - u_{N}) + \frac{1}{f_{y}^{2}} (v_{o} - v_{M}) (v_{o} - v_{N}) + 1 = 0 - - - (7)

若有两对不同方向的正交消隐点M_i,N_i,M_j,N_j，即可得到两个方程，相减可得：

\frac{1}{f_{x}^{2}} [(u_{Mi} + u_{Ni} - u_{Mj} - u_{Nj}) \cdot u_{o} + (u_{Mj} u_{Nj} - u_{Mi} u_{Ni})] + \frac{1}{f_{y}^{2}} [(v_{Mi} + v_{Ni} - v_{Mj} - v_{Nj}) \cdot v_{o} + (v_{Mj} v_{Nj} - v_{Mi} v_{Ni})] = 0 - - - (8)

令：y＝v_o,

则可得到关于x,y,z,的线性方程：

(u_Mi+u_Ni-u_Mj-u_Nj)·x+(u_Mju_Nj-u_Miu_Ni)·z+(v_Mi+v_Ni-v_Mj-v_Nj)·y=(v_Miv_Ni-v_Mjv_Nj) (9)

由（6）求得的四对正交消隐点建立线性方程，即可线性求解摄像机内参数，其中

u_{o} = x / z, v_{o} = y, f_{x} = \sqrt{(u_{M} - x / z) (x / z - u_{N}) + \frac{f_{x}^{2}}{f_{y}^{2}} (v_{M} - y) (y - v_{N})}, f_{y} = \sqrt{z} \cdot f_{x} - - - (10)

则左摄像机内参数矩阵为

同理按上述相同方法和公式，可得到右摄像机内参数

步骤4：求双目视觉测量系统的外参数。

根据步骤3中求得的三正交消隐点以及已知的平行线间距离即可求得摄像机外参数。具体如下

（a）由左右摄像机的左上摄像机参数调整模板1图像中求得的正交消隐点，可得到左右摄像机坐标系下消隐点对应的单位向量I₁,N₁以及I′₁,N′₁。然后根据已求得的消隐点对的单位向量，通过叉积即可得到第三个正交方向的消隐点的单位向量M₁以及M′₁。

设

V = (I_{1}^{T}, N_{1}^{T}, M_{1}^{T}), V^{'} = (I_{1}^{' T}, N_{1}^{' T}, M_{1}^{' T}),

由线性代数中的定理可知，左右摄像机间的旋转矩阵R与V,V'之间的关系为：V'＝RV，因此可得两摄像机间的旋转矩阵

R＝V'V^T (11)

得到双目视觉测量系统的旋转矩阵

R = \begin{matrix} 0.7288 & - 0.3236 & - 0.6034 \\ - 0.3436 & 0.9351 & 0.0864 \\ - 0.5922 & 0.1444 & 0.7927 \end{matrix}

（b）从步骤2中关于消隐点的性质可知，空间平行线的消隐点与摄像机光心的连线与空间平行线方向相同，因此若已知空间直线的距离，即可通过相似三角形求得直线端点在左右摄像机坐标系下的坐标。具体如下：

如图5所示，空间直线AB在图像上的投影为A'B',显然，可以求得光心与A',B'连线的单位方向向量n₁,n₂，以及空间平行线方向的单位向量，即光心与消隐点连线的单位方向向量n₃。因此我们可以获得一个关于α,β的线性方程：

αn₁+n₃＝βn₂ (12)

若空间直线长度已知，则由相似定理即可获得直线端点坐标。

设P为空间一点p在左摄像机坐标系下的坐标，P'为空间点p在右摄像机坐标系下的坐标。则P与P'间关系如下式：

P'＝R(P-T) (13)

因此，如果已知两摄像机间的旋转矩阵以及P与P'的坐标，则平移矩阵可由下式获得：

T＝P-R^TP' (14)

左上摄像机参数调整模板1中的平行线间距离为100mm，可以计算出其中一条平行线端点p1在左右摄像机坐标系下的坐标P和P`，两摄像机间的旋转矩阵R由步骤4（a）可得，则摄像机间的平移矩阵T可由式（14）求得T＝(-1166.1077 -142.6174 154.8009)。

本发明实现了双目视觉测量系统中摄像机参数的在线调整，具有标定过程耗时少，精度高，适于在线调整的特点，能够在复杂工况下进行摄像机参数调整。

Claims

1.一种双目视觉测量系统中摄像机参数在线调整方法，其特征是，该方法利用4个摄像机参数调整模板，通过左、右两个摄像机分别拍摄摄像机参数调整模板的图像，再识别摄像机参数调整模板图像中正交平行线，求得正交消隐点，然后分别标定两个摄像机的内参数，最后，同时标定双目视觉测量系统的外参数，具体步骤如下：

步骤1：制作4个摄像机参数调整模板

制作4个摄像机参数调整模板，每个摄像机参数调整模板中平行线间的距离为一个定值，在薄板（5）上互成角度的粘贴四个左上、右上、左下、右下摄像机参数调整模板（1、2、3、4），构成不同角度的正交直线；

利用左、右摄像机分别拍摄4个摄像机参数调整模板的图像，根据离线标定时求得的畸变系数对4个摄像机参数调整模板图像进行畸变处理，再利用Hough变换分别识别4个摄像机参数调整模板图像中的直线，去除误识别直线，即可得到4个摄像机参数调整模板图像中的4组正交平行线；

步骤3：求正交消隐点并求取摄像机内参数；

（b）设摄像机模型为线性模型，由步骤2（a）求得的正交消隐点对（M_i(u_Mi,v_Mi)，N_i(u_Ni,v_Ni)）（i=1,2,3,4），分别代入线性方程:

(u_Mi+u_Ni-u_Mj-u_Nj)·x+(u_Mju_Nj-u_Miu_Ni)·z+(v_Mi+v_Ni-v_Mj-v_Nj)·y＝(v_Miv_Ni-v_Mjv_Nj)(i≠j) (1)

同理，可得到右摄像机的内参数矩阵K_右；

步骤4：求双目视觉测量系统的外参数

（a）由左、右摄像机的左上摄像机参数调整模板（1）的图像中求得的正交消隐点，即可求得三正交消隐方向在摄像机坐标系下的单位方向向量；由这两组对应的单位向量由式(4)即可得到两摄像机间的旋转矩阵R；

R＝V'V^T (4)

其中，

为左右摄像机坐标系下三正交消隐点的单位方向向量；

T＝P-R^TP' (5) 。