CN101093160A - 基于双目立体视觉技术的空间圆几何参数的测量方法 - Google Patents

Abstract

本发明涉及一种基于双目立体视觉技术的空间圆几何参数的测量方法，首先分别确定出左右摄像机的内参数和一阶径向畸变参数，计算出表征左右摄像机相对位置关系的旋转矩阵和平移向量；然后利用左右摄像机拍摄得到两幅包含空间圆的椭圆影像的图像并对其进行畸变校正；通过拟合经畸变校正后的图像平面的椭圆影像，直接线性地计算出空间圆的所有几何参数，包括空间圆的半径、空间圆圆心的空间坐标和空间圆所在平面的空间方位。本发明可以一次性地精确测量出空间圆的所有几何参数，并可以实现全自动检测，减少人工介入引起的测量误差，尤其适用于非接触式工业检测和基于视觉的自主导航系统。

Description

基于双目立体视觉技术的空间圆几何参数的测量方法

技术领域

本发明涉及一种基于双目立体视觉技术的空间圆几何参数的测量方法，能够准确测量出空间任意圆的全部几何参数，包括空间圆的半径、圆心的空间坐标和圆所在平面的空间方位。本发明属于先进测量技术领域，尤其适用于非接触式工业检测和基于视觉的自主导航系统。

背景技术

圆是物体几何形状的常见组成元素，对空间圆的几何参数进行精确测量在工业检测中具有重要的意义。此外，通过对空间物体表面的特定圆的定位，可以间接地定位空间物体，从而实现视觉导航。

空间圆形物体几何参数测量的传统方法是利用三坐标机进行的，但是这种专业设备成本高昂，不便于携带和安装，而且对大型圆形工件也无能为力。基于视觉的检测方法综合利用了光学、图像处理和计算机视觉等技术，具有测量精度高、速度快、安装方便和非接触等优点。这种技术已经在工业检测中展现出了巨大的发展潜力。

在利用双目立体视觉技术测量空间圆形物体的几何参数方面，人们已经作了许多的工作，并取得了一些成果，但都没有很好地解决这个问题。张健新提出了在图像平面上拟合椭圆来求取椭圆中心，进而重建出空间圆的圆心坐标的方法(张健新，双目立体视觉技术在工业检测中的应用研究，天津大学博士学位论文，1996)，但这种方法没有考虑椭圆影像的中心与空间圆心投影点之间的差异，因此只有在很狭窄的范围内可以保证测量精度。而且，该方法只能给出圆心的空间坐标，不能给出空间圆的其它几何参数。胡春华等细致分析了椭圆影像的中心与空间圆圆心投影点之间的差异(胡春华、刘士清、朱纪洪，视觉检测中圆中心成像畸变误差模型研究，2004中国控制与决策学术年会论文集，2004)，但他们没有指出如何对误差进行补偿来提高测量精度。周富强等给出了一种利用对极线确定两幅图像上的对应点，再利用数个点对重建出空间点，最后用空间点拟合出空间圆的方法(周富强、张广军，一种空间圆几何参数的视觉测量方法，专利号：ZL 03142659.X)，但这种方法需要人工确定对极线的位置和数量，最后的测量精度会受到人为因数影响。因此，一种无需人工介入而且能够精确测量出空间任意圆的全部几何参数(包括空间圆半径、空间圆圆心的空间坐标和空间圆所在平面的空间方位)的方法具有较大的应用价值。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于双目立体视觉技术的空间圆几何参数的测量方法，能够测量空间任意圆的全部几何参数，且可以实现全自动检测，提高测量精度。

本发明的上述目的是通过下述技术方案实现的：利用单摄像机标定方法，分别确定出左右摄像机的内参数和一阶径向畸变参数，利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵和平移向量；利用左右摄像机同时拍摄空间圆，从而得到左右两幅包含空间圆的椭圆影像的图像，对这两幅图像进行畸变校正，使其不含有畸变信息；在经过畸变校正的左右图像上分别检测出空间圆椭圆影像的边界，利用边界像素点拟合出椭圆方程，得到左右图像上椭圆影像的数学表示矩阵，再分别求出对应的对偶矩阵，最后利用相应的约束关系计算出空间圆的所有几何参数，包括空间圆的半径、空间圆圆心的空间坐标和空间圆所在平面的空间方位。

本发明所涉及的测量方法包括以下具体步骤：

1.对左右摄像机分别利用单摄像机标定方法，确定出左边摄像机的内参数矩阵A_l、左边摄像机的一阶径向畸变参数S_l、右边摄像机的内参数矩阵A_r、右边摄像机的一阶径向畸变参数S_r；利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵R₀和平移向量t₀。

2.将左右摄像机放置在待检测的空间圆附近，确保该空间圆处在左右摄像机的公共视场范围内。利用左右摄像机同时拍摄空间圆，从而在左摄像机得到一幅包含空间圆的椭圆影像的图像，同时，在右摄像机也得到一幅包含空间圆的椭圆影像的图像。利用畸变参数S_l对左边图像进行畸变校正，得到不含有畸变信息的左边图像，记为π_l。同时，利用畸变参数S_r对右边图像进行畸变校正，得到不含有畸变信息右边图像，记为π_r。

3.利用canny算子，分别检测出π_l和π_r，两幅图像平面上空间圆的椭圆影像的边界，从而在左右两边的图像上分别得到一组由椭圆影像边界像素点的坐标构成的点对。分别利用这两组点对，拟合出表示左边椭圆影像的矩阵C_l和表示右边椭圆影像的矩阵C_r。

4.分别计算出C_l的对偶矩阵C_l ^*，C_r的对偶矩阵C_r ^*。以空间圆的圆心作为世界坐标系的坐标原点，空间圆所在的平面作为X-Y面，朝向摄像机方向为Z轴正方向，建立世界坐标系。并设该世界坐标系与左摄像机坐标系之间的旋转矩阵为R，平移向量为t。记R＝[r₁r₂r₃]，其中三维列向量r_i表示矩阵R的第i列，i＝1，2，3。在这种坐标系配置下，向量t就表示空间圆圆心在左摄像机坐标系下的位置，向量r₃就表示空间圆所在的平面在左摄像机坐标系下的方位。

利用下式：

$K_l{A}_l^{-1}{C}_l^{*}{A}_l^{-T}\text{-}{k}_r{R}_0^{-1}{A}_r^{-1}{C}_r^{*}{A}_r^{-T}{R}_0^{-T}={\mathrm{tt}}_0^T{R}_0^{-T}+R_0^{-1}{t}_{0}t+R_0^{-1}{t}_0{t}_0^T{R}_0^{-T},$ 其中k_l、k_r是尺度因子，是未知数，向量t是未知数，三阶实对称矩阵A_l ^-1C_l ^*A_l ^-T和R₀ ^-1A_r ^-1C_r ^*A_r ^-TR₀ ^-T是已知的，三维列向量R₀ ^-1t₀也是已知的。

根据最小二乘法可以解出k_l、k_r和空间圆圆心在左摄像机坐标系下的坐标t。到此为止，空间圆的圆心位置这个几何参数就测量完毕。

5.利用下式：

$k_l{A}_l^{-1}{C}_l^{*}{A}_l^{-T}+{\mathrm{tt}}^T=r^2(I-r_3{r}_3^T),$ 其中r为空间圆的半径，为未知数，向量r₃为未知数，三阶实对称矩阵k_lA_l ^-1C_l ^*A_l ^-T+tt^T为己知矩阵，I为3阶单位矩阵。

可以计算出空间圆的半径r和向量r₃。从而，空间圆半径r和表示空间圆所在平面方位的向量r₃也测量完毕。

到此为止，空间圆的所有几何参数(包括空间圆的半径、空间圆圆心在左摄像机坐标系下的空间坐标、空间圆所在平面在左摄像机坐标系下的方位)全部测量完毕。

与现存的方法相比，本发明可以一次性地精确测量出空间圆的所有几何参数，并可以实现全自动检测，减少了人工介入引起的测量误差，比如无需进行特征匹配这样的操作。同时，本方法具有非接触式的优点，在用传统方法无法测量的场合具有很高的应用价值。本发明尤其适用于非接触式工业检测和基于视觉的自主导航系统。

附图说明

图1为基于双目立体视觉技术的空间圆几何参数测量方法的示意图。

具体实施方式

为了更好地理解本发明，下面结合附图和实施例对本发明的技术方案作详细的描述。

图1所示为一任意配置的双目立体视觉系统。O_lX_lY_lZ_l和O_rX_rY_rZ_r分别为左右摄像机坐标系，o_lu_lv_l和o_ru_rv_r分别为以像素为单位的左右图像坐标系。O_wX_wY_wZ_w为世界坐标系，其中O_w处于空间圆的圆心处，X_w-Y_w平面为空间圆所在的平面。设世界坐标系与左摄像机坐标系之间的旋转矩阵和平移向量分别为R和t，记R＝[r₁r₂r₃]，其中三维列向量r_i表示矩阵R的第i列，i＝1，2，3。又设左右摄像机坐标系之间的旋转矩阵和平移向量分别为R₀和t₀，即 $X_r=\left[\begin{array}{cc}{R}_0& t_0\\ 0^T& 1\end{array}\right]X_l,$ 其中X_l和X_r，分别为某一空间点在左右摄像机下的坐标，R₀和t₀通过立体摄像机标定确定。

在上述坐标系配置下，向量t就表示空间圆圆心在左摄像机坐标系下的位置，向量r₃就表示空间圆所在的平面在左摄像机坐标系下的方位。

空间中任意一个圆C，设其半径为r，则其在世界坐标系下的方程为 ${\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]}^T\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& -r^2\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=0,z=0,$ 其在左右图像平面的投影分别为C_l和C_r。因为空间圆在图像平面的投影一般是椭圆，则C_l的基本形式为 $\left[\begin{array}{ccc}{a}_i& b_i& c_i\\ b_i& d_i& e_i\\ c_i& e_i& f_i\end{array}\right],$ 其中i代表l或者r。

下面详细描述本发明方法的实施步骤：

1.对左右摄像机，分别利用单摄像机标定方法(Z.Zhang，Flexible cameracalibration by viewing a plane from unknown orientations，proceedingsof the Fifth International Conference on Computer Vision，1999，pp.666-673)，确定出左边摄像机的内参数矩阵A_l、左边摄像机的一阶径向畸变参数S_l、右边摄像机的内参数矩阵A_r、右边摄像机的一阶径向畸变参数S_r；利用立体摄像机标定方法(Jean-Yves Bouguet，Camera Calibration Toolbox forMatlab，MRL-Intel Incorp.)，计算出表征左右摄像机相对位置关系的旋转矩阵R₀和平移向量t₀。其中，内参数矩阵的形式为

$A_l=\left[\begin{array}{ccc}{\mathrm{\α}}_l& {\mathrm{\γ}}_l& u_{0l}\\ 0& {\mathrm{\β}}_l& v_{0l}\\ 0& 0& 1\end{array}\right],$ $A_r=\left[\begin{array}{ccc}{\mathrm{\α}}_r& {\mathrm{\γ}}_r& u_{0r}\\ 0& {\mathrm{\β}}_r& v_{0r}\\ 0& 0& 1\end{array}\right].$

2.将左右摄像机放置在待检测的空间圆附近，确保该空间圆处在左右摄像机的公共视场范围内，同时使背景尽量简单。利用左右摄像机同时拍摄空间圆，从而在左摄像机得到一幅包含空间圆的椭圆影像的图像，同时，在右摄像机也得到一幅包含空间圆的椭圆影像的图像。利用左边摄像机的一阶径向畸变参数S_l对左边图像进行畸变校正，得到不含有畸变信息的左边图像，记为π_l。同时，利用右边摄像机的一阶径向畸变参数S_r对右边图像进行畸变校正，得到不含有畸变信息的右边图像，记为π_r。

具体的校正过程是：对左边的图像，设某包含畸变信息的图像点在以像素为单位的图像坐标系下的坐标为 其归一化的图像坐标为

它们对应的不含畸变信息的图像点分别记为(u，v)和(x，y)。根据文献(D.C.Brown，Close-range camera calibration，Photogram-metric Engineering，37(8)：855-866，1971)，有

$\hat{x}=x+x\left[S_l(x^2+y^2)\right]$

$\hat{y}=y+y\left[S_l(x^2+y^2)\right]$

利用坐标变换公式

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A_l\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_l& {\mathrm{\γ}}_l& u_{0l}\\ 0& {\mathrm{\β}}_l& v_{0l}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right],$

$\left[\begin{array}{c}\hat{u}\\ \hat{v}\\ 1\end{array}\right]=A_l\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_l& {\mathrm{\γ}}_l& u_{0l}\\ 0& {\mathrm{\β}}_l& v_{0l}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ 1\end{array}\right],$ 其中S_l为左边摄像机一阶径向畸变参数，A_l为左摄像机的内参数矩阵，且都已经通过标定确定。

可以得到

$\hat{u}=u+(u-u_{0l})\left[S_l(x^2+y^2)\right]$

$\hat{v}=v+(v-v_{0l})\left[S_l(x^2+y^2)\right]$

由于上面的方程是非线性方程组，为了简化求解过程，上述方程组可近似为(Janne Heikkila，Geometric Camera Calibration Using Circular ControlPoints，IEEE.On Pattern Analysis and Machine Intelligence，vol.22，no.10，1066-1077)

$u=\hat{u}-(\hat{u}-u_{0l})\left[S_l({\hat{x}}^2+{\hat{y}}^2)\right]$

$v=\hat{v}-(\hat{v}-v_{0l})\left[S_l({\hat{x}}^2+{\hat{y}}^2)\right]$

利用上面两式可以对左边图像上的每一个图像点进行畸变校正，从而得到不含有畸变信息的图像π_l。对于右边的图像，校正方法与左边图像的校正方法完全相同。

3.利用canny算子，分别检测出π_l和π_r，两幅图像平面上空间圆的椭圆影像的边界，从而在左右两边的图像上分别得到一组由椭圆影像边界像素点的坐标构成的点对。分别利用这两组点对，拟合出表示左边椭圆影像的矩阵C_l和表示右边椭圆影像的矩阵C_r。具体的方法参见(A.W.Fitzgibbon，M.Pilu，andR.B.Fisher，“Direct Least-Squares Fitting of Ellipses”，IEEE Trans.Pattern Analysis and Machine Intelligence，vol.14，no.2，pp.239-256)。

4.分别计算出C_l的对偶矩阵C_l ^*，C_r的对偶矩阵C_r ^*。以空间圆的圆心作为世界坐标系的坐标原点，空间圆所在的平面作为X-Y面，朝向摄像机方向为Z轴正方向，建立世界坐标系。并设该世界坐标系与左摄像机坐标系之间的旋转矩阵为R，该世界坐标系与左摄像机坐标系之间的平移向量为t。记R＝[r₁r₂r₃]，其中三维列向量r_i表示矩阵R的第i列，i＝1，2，3。在这种坐标系配置下，向量t就表示空间圆圆心在左摄像机坐标系下的位置，向量r₃就表示空间圆所在的平面在左摄像机坐标系下的方位。

利用下式：

$K_l{A}_l^{-1}{C}_l^{*}{A}_l^{-T}\text{-}{k}_r{R}_0^{-1}{A}_r^{-1}{C}_r^{*}{A}_r^{-T}{R}_0^{-T}={\mathrm{tt}}_0^T{R}_0^{-T}+R_0^{-1}{t}_{0}t+R_0^{-1}{t}_0{t}_0^T{R}_0^{-T},$ 其中k_l、k_r是尺度因子，是未知数，向量t是未知数，三阶实对称矩阵A_l ^-1C_l ^*A_l ^-T和R₀ ^-1A_r ^-1C_r ^*A_r ^-TR₀ ^-T是已知的，三维列向量R₀ ^-1t₀也是已知的。

根据最小二乘法可以解出k_l、k_r和空间圆圆心在左摄像机坐标系下的坐标t。

具体方法是：分别记

$A_l^{-1}{C}_l^{*}{A}_l^{-T}=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{12}& a_{22}& a_{23}\\ a_{13}& a_{23}& a_{33}\end{array}\right],$

$R_0^{-1}{A}_r^{-1}{C}_r^{*}{A}_r^{-T}{R}_0^{-T}=\left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b_{12}& b_{22}& b_{23}\\ b_{13}& b_{23}& b_{33}\end{array}\right],$

$R_0^{-1}{t}_0={\left[m_1{m}_2{m}_3\right]}^T,$ 均为已知矩阵或向量。

t＝[t₁ t₂ t₃]^T，为未知向量。

则上式可以改写为：

$\left[\begin{array}{ccc}{k}_1{a}_{11}+k_2{b}_{11}& k_1{a}_{12}+k_2{b}_{12}& k_1{a}_{13}+k_2{b}_{13}\\ k_1{a}_{12}+k_2{b}_{12}& k_1{a}_{22}+k_2{b}_{22}& k_1{a}_{23}+k_2{b}_{23}\\ k_1{a}_{13}+k_2{b}_{13}& k_1{a}_{23}+k_2{b}_{23}& k_1{a}_{33}+k_2{b}_{33}\end{array}\right]=$

$\left[\begin{array}{ccc}2t_1{m}_1+m_1^2& t_1{m}_2+t_2{m}_1+m_1{m}_2& t_1{m}_3+t_3{m}_1+m_1{m}_3\\ t_1{m}_2+t_2{m}_1+m_1{m}_2& 2t_2{m}_2+m_2^2& t_2{m}_3+t_3{m}_2+m_2{m}_3\\ t_1{m}_3+t_3{m}_1+m_1{m}_3& t_2{m}_3+t_3{m}_2+m_2{m}_3& 2t_3{m}_3+m_3^2\end{array}\right]$

记 $T=\left[\begin{array}{ccccc}{a}_{11}& b_{11}& -2m_1& 0& 0\\ a_{12}& b_{12}& -m_2& -m_1& 0\\ a_{13}& b_{13}& -m_3& 0& -m_1\\ a_{22}& b_{22}& 0& -2m_2& 0\\ a_{23}& b_{23}& 0& -m_3& -m_2\\ a_{33}& b_{33}& 0& 0& -2m_3\end{array}\right],n=\left[\begin{array}{c}{m}_1^2\\ m_1{m}_2\\ m_1{m}_3\\ m_2^2\\ m_2{m}_3\\ m_3^2\end{array}\right]$

按照最小二乘法则，有

[k₁k₂t₁t₂t₃]^T＝(T^TT)^-1T^Tn

到此为止，空间圆的圆心位置t＝[t₁t₂t₃]^T这个几何参数就测量完毕。

5.利用下式：

$k_l{A}_l^{-1}{C}_l^{*}{A}_l^{-T}+{\mathrm{tt}}^T=r^2(I-r_3{r}_3^T),$ 其中r为空间圆的半径，为未知数，三维列向量r₃为未知数，三阶实对称矩阵k_lA_l ^-1C_l ^*A_l ^-T+tt^T为已知矩阵，I为3阶单位矩阵。

可以计算出空间圆的半径厂和向量r₃。从而，空间圆半径r和表示空间圆所在平面方位的向量r₃也测量完毕。

具体方法是：

记已知矩阵 $K_l{A}_l^{-1}{C}_l^{*}{A}_l^{-T}+{\mathrm{tt}}^T=\left[\begin{array}{ccc}{d}_{11}& d_{12}& d_{13}\\ d_{12}& d_{22}& d_{23}\\ d_{13}& d_{23}& d_{33}\end{array}\right]=D$

因为矩阵I-r₃r₃ ^T的特征值为1，1，0，则空间圆半径的平方r²恰好等于已知矩阵D的二重非零特征值。求解出D的特征值，记为λ_i，其中i＝1，2，3。显然有λ₁＝λ₂＞0，λ₃＝O，则空间圆的半径 $r=\sqrt{{\mathrm{\λ}}_1}=\sqrt{{\mathrm{\λ}}_2}.$

求出空间圆半径r后，计算矩阵 $I-\frac{1}{r^2}D$ 的非零特征值对应的特征向量β，那么 $r_3=\frac{\mathrm{\β}}{\left|\right|\mathrm{\β}\left|\right|}.$

到此为止，空间圆的所有几何参数(包括空间圆的半径、空间圆圆心在左摄像机坐标系下的空间坐标、空间圆所在平面在左摄像机坐标系下的方位)全部测量完毕。

Claims (1)

1、一种基于双目立体视觉技术的空间圆几何参数的测量方法，其特征在于包含如下步骤：

(1)对左右摄像机分别利用单摄像机标定方法，确定出左摄像机的内参数矩阵A_l、左摄像机的一阶径向畸变参数S_l、右摄像机的内参数矩阵A_r、右摄像机的一阶径向畸变参数S_r；利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵R₀和平移向量t₀；

(2)将左右摄像机放置在待检测的空间圆附近，确保该空间圆处在左右摄像机的公共视场范围内；利用左右摄像机同时拍摄空间圆，得到左右两幅包含空间圆的椭圆影像的图像；利用左摄像机的一阶径向畸变参数S_l对左图像进行畸变校正，得到不含畸变信息的左图像，利用右摄像机的一阶径向畸变参数S_r对右图像进行畸变校正，得到不含畸变信息的右图像；

(3)利用canny算子，分别检测出不含畸变信息的左右两幅图像平面上空间圆的椭圆影像的边界，从而在左右图像上分别得到一组由椭圆影像边界像素点的坐标构成的点对；分别利用这两组点对，拟合出表示左边椭圆影像的矩阵C_l和表示右边椭圆影像的矩阵C_r；

(4)计算出C_l的对偶矩阵C_l ^*，C_r的对偶矩阵C_r ^*；以空间圆的圆心作为世界坐标系的坐标原点，空间圆所在的平面作为X-Y面，朝向摄像机方向为Z轴正方向，建立世界坐标系；设世界坐标系与左摄像机坐标系之间的旋转矩阵为R；三维列向量r₃为矩阵R的第3列，它表示空间圆所在的平面在左摄像机坐标系下的方向；设世界坐标系与左摄像机坐标系之间的平移向量为t，它表示空间圆圆心在左摄像机坐标系下的位置；

根据最小二乘法，利用下式

$k_l{A}_l^{-1}{C}_l^{*}{A}_l^{-T}-k_r{R}_0^{-1}{A}_r^{-1}{C}_r^{*}{A}_r^{-T}{R}_0^{-T}={\mathrm{tt}}_0^T{R}_0^{-T}+R_0^{-1}{t}_{0}t+R_0^{-1}{t}_0{t}_0^T{R}_0^{-T},$

解出尺度因子k_l、k_r和空间圆圆心在左摄像机坐标系下的坐标t；式中，三阶实对称矩阵A_l ^-1C_l ^*A_l ^-T和R₀ ^-1A_r ^-1C_r ^*A_r ^-TR₀ ^-T，三维列向量R₀ ^-1t₀均为已知；

(5)利用下式：

$k_l{A}_l^{-1}{C}_l^{*}{A}_l^{-T}+{\mathrm{tt}}^T=r^2(I-r_3{r}_3^T),$

计算出空间圆的半径r和空间圆所在平面方位的三维列向量r₃；式中，三阶实对称矩阵k_lA_l ^-1C_l ^*A_l ^-T+tt^T为已知矩阵，I为三阶单位矩阵；

至此，完成空间圆的几何参数的测量。

Images