CN101093160A

CN101093160A - 基于双目立体视觉技术的空间圆几何参数的测量方法

Info

Publication number: CN101093160A
Application number: CNA2007100437422A
Authority: CN
Inventors: 郑银强; 刘允才
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2007-07-12
Filing date: 2007-07-12
Publication date: 2007-12-26
Anticipated expiration: 2027-07-12
Also published as: CN100476345C

Abstract

本发明涉及一种基于双目立体视觉技术的空间圆几何参数的测量方法，首先分别确定出左右摄像机的内参数和一阶径向畸变参数，计算出表征左右摄像机相对位置关系的旋转矩阵和平移向量；然后利用左右摄像机拍摄得到两幅包含空间圆的椭圆影像的图像并对其进行畸变校正；通过拟合经畸变校正后的图像平面的椭圆影像，直接线性地计算出空间圆的所有几何参数，包括空间圆的半径、空间圆圆心的空间坐标和空间圆所在平面的空间方位。本发明可以一次性地精确测量出空间圆的所有几何参数，并可以实现全自动检测，减少人工介入引起的测量误差，尤其适用于非接触式工业检测和基于视觉的自主导航系统。

Description

基于双目立体视觉技术的空间圆几何参数的测量方法

技术领域

本发明涉及一种基于双目立体视觉技术的空间圆几何参数的测量方法，能够准确测量出空间任意圆的全部几何参数，包括空间圆的半径、圆心的空间坐标和圆所在平面的空间方位。本发明属于先进测量技术领域，尤其适用于非接触式工业检测和基于视觉的自主导航系统。

背景技术

圆是物体几何形状的常见组成元素，对空间圆的几何参数进行精确测量在工业检测中具有重要的意义。此外，通过对空间物体表面的特定圆的定位，可以间接地定位空间物体，从而实现视觉导航。

空间圆形物体几何参数测量的传统方法是利用三坐标机进行的，但是这种专业设备成本高昂，不便于携带和安装，而且对大型圆形工件也无能为力。基于视觉的检测方法综合利用了光学、图像处理和计算机视觉等技术，具有测量精度高、速度快、安装方便和非接触等优点。这种技术已经在工业检测中展现出了巨大的发展潜力。

在利用双目立体视觉技术测量空间圆形物体的几何参数方面，人们已经作了许多的工作，并取得了一些成果，但都没有很好地解决这个问题。张健新提出了在图像平面上拟合椭圆来求取椭圆中心，进而重建出空间圆的圆心坐标的方法(张健新，双目立体视觉技术在工业检测中的应用研究，天津大学博士学位论文，1996)，但这种方法没有考虑椭圆影像的中心与空间圆心投影点之间的差异，因此只有在很狭窄的范围内可以保证测量精度。而且，该方法只能给出圆心的空间坐标，不能给出空间圆的其它几何参数。胡春华等细致分析了椭圆影像的中心与空间圆圆心投影点之间的差异(胡春华、刘士清、朱纪洪，视觉检测中圆中心成像畸变误差模型研究，2004中国控制与决策学术年会论文集，2004)，但他们没有指出如何对误差进行补偿来提高测量精度。周富强等给出了一种利用对极线确定两幅图像上的对应点，再利用数个点对重建出空间点，最后用空间点拟合出空间圆的方法(周富强、张广军，一种空间圆几何参数的视觉测量方法，专利号：ZL 03142659.X)，但这种方法需要人工确定对极线的位置和数量，最后的测量精度会受到人为因数影响。因此，一种无需人工介入而且能够精确测量出空间任意圆的全部几何参数(包括空间圆半径、空间圆圆心的空间坐标和空间圆所在平面的空间方位)的方法具有较大的应用价值。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于双目立体视觉技术的空间圆几何参数的测量方法，能够测量空间任意圆的全部几何参数，且可以实现全自动检测，提高测量精度。

本发明的上述目的是通过下述技术方案实现的：利用单摄像机标定方法，分别确定出左右摄像机的内参数和一阶径向畸变参数，利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵和平移向量；利用左右摄像机同时拍摄空间圆，从而得到左右两幅包含空间圆的椭圆影像的图像，对这两幅图像进行畸变校正，使其不含有畸变信息；在经过畸变校正的左右图像上分别检测出空间圆椭圆影像的边界，利用边界像素点拟合出椭圆方程，得到左右图像上椭圆影像的数学表示矩阵，再分别求出对应的对偶矩阵，最后利用相应的约束关系计算出空间圆的所有几何参数，包括空间圆的半径、空间圆圆心的空间坐标和空间圆所在平面的空间方位。

本发明所涉及的测量方法包括以下具体步骤：1.对左右摄像机分别利用单摄像机标定方法，确定出左边摄像机的内参数矩阵Al、左边摄像机的一阶径向畸变参数Sl、右边摄像机的内参数矩阵Ar、右边摄像机的一阶径向畸变参数Sr；利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵R0和平移向量t0。

2.将左右摄像机放置在待检测的空间圆附近，确保该空间圆处在左右摄像机的公共视场范围内。利用左右摄像机同时拍摄空间圆，从而在左摄像机得到一幅包含空间圆的椭圆影像的图像，同时，在右摄像机也得到一幅包含空间圆的椭圆影像的图像。利用畸变参数Sl对左边图像进行畸变校正，得到不含有畸变信息的左边图像，记为πl。同时，利用畸变参数Sr对右边图像进行畸变校正，得到不含有畸变信息右边图像，记为πr。

3.利用canny算子，分别检测出πl和πr，两幅图像平面上空间圆的椭圆影像的边界，从而在左右两边的图像上分别得到一组由椭圆影像边界像素点的坐标构成的点对。分别利用这两组点对，拟合出表示左边椭圆影像的矩阵Cl和表示右边椭圆影像的矩阵Cr。

4.分别计算出Cl的对偶矩阵Cl*，Cr的对偶矩阵Cr*。以空间圆的圆心作为世界坐标系的坐标原点，空间圆所在的平面作为X-Y面，朝向摄像机方向为Z轴正方向，建立世界坐标系。并设该世界坐标系与左摄像机坐标系之间的旋转矩阵为R，平移向量为t。记R＝[r1r2r3]，其中三维列向量ri表示矩阵R的第i列，i＝1，2，3。在这种坐标系配置下，向量t就表示空间圆圆心在左摄像机坐标系下的位置，向量r3就表示空间圆所在的平面在左摄像机坐标系下的方位。

利用下式：KlAl-1Cl*Al-T-krR0-1Ar-1Cr*Ar-TR0-T=tt0TR0-T+R0-1t0t+R0-1t0t0TR0-T,]]>其中kl、kr是尺度因子，是未知数，向量t是未知数，三阶实对称矩阵Al-1Cl*Al-T和R0-1Ar-1Cr*Ar-TR0-T是已知的，三维列向量R0-1t0也是已知的。

根据最小二乘法可以解出kl、kr和空间圆圆心在左摄像机坐标系下的坐标t。到此为止，空间圆的圆心位置这个几何参数就测量完毕。

5.利用下式：klAl-1Cl*Al-T+ttT=r2(I-r3r3T),]]>其中r为空间圆的半径，为未知数，向量r3为未知数，三阶实对称矩阵klAl-1Cl*Al-T+ttT为己知矩阵，I为3阶单位矩阵。

可以计算出空间圆的半径r和向量r3。从而，空间圆半径r和表示空间圆所在平面方位的向量r3也测量完毕。

到此为止，空间圆的所有几何参数(包括空间圆的半径、空间圆圆心在左摄像机坐标系下的空间坐标、空间圆所在平面在左摄像机坐标系下的方位)全部测量完毕。

与现存的方法相比，本发明可以一次性地精确测量出空间圆的所有几何参数，并可以实现全自动检测，减少了人工介入引起的测量误差，比如无需进行特征匹配这样的操作。同时，本方法具有非接触式的优点，在用传统方法无法测量的场合具有很高的应用价值。本发明尤其适用于非接触式工业检测和基于视觉的自主导航系统。

附图说明

图1为基于双目立体视觉技术的空间圆几何参数测量方法的示意图。

具体实施方式

为了更好地理解本发明，下面结合附图和实施例对本发明的技术方案作详细的描述。

图1所示为一任意配置的双目立体视觉系统。OlXlYlZl和OrXrYrZr分别为左右摄像机坐标系，olulvl和orurvr分别为以像素为单位的左右图像坐标系。OwXwYwZw为世界坐标系，其中Ow处于空间圆的圆心处，Xw-Yw平面为空间圆所在的平面。设世界坐标系与左摄像机坐标系之间的旋转矩阵和平移向量分别为R和t，记R＝[r1r2r3]，其中三维列向量ri表示矩阵R的第i列，i＝1，2，3。又设左右摄像机坐标系之间的旋转矩阵和平移向量分别为R0和t0，即Xr=R0t00T1Xl,]]>其中Xl和Xr，分别为某一空间点在左右摄像机下的坐标，R0和t0通过立体摄像机标定确定。

在上述坐标系配置下，向量t就表示空间圆圆心在左摄像机坐标系下的位置，向量r3就表示空间圆所在的平面在左摄像机坐标系下的方位。

空间中任意一个圆C，设其半径为r，则其在世界坐标系下的方程为xy1T10001000-r2xy1=0,z=0,]]>其在左右图像平面的投影分别为Cl和Cr。因为空间圆在图像平面的投影一般是椭圆，则Cl的基本形式为aibicibidieicieifi,]]>其中i代表l或者r。

下面详细描述本发明方法的实施步骤：1.对左右摄像机，分别利用单摄像机标定方法(Z.Zhang，Flexible cameracalibration by viewing a plane from unknown orientations，proceedingsof the Fifth International Conference on Computer Vision，1999，pp.666-673)，确定出左边摄像机的内参数矩阵Al、左边摄像机的一阶径向畸变参数Sl、右边摄像机的内参数矩阵Ar、右边摄像机的一阶径向畸变参数Sr；利用立体摄像机标定方法(Jean-Yves Bouguet，Camera Calibration Toolbox forMatlab，MRL-Intel Incorp.)，计算出表征左右摄像机相对位置关系的旋转矩阵R0和平移向量t0。其中，内参数矩阵的形式为Al=αlγlu0l0βlv0l001,]]>Ar=αrγru0r0βrv0r001.]]>2.将左右摄像机放置在待检测的空间圆附近，确保该空间圆处在左右摄像机的公共视场范围内，同时使背景尽量简单。利用左右摄像机同时拍摄空间圆，从而在左摄像机得到一幅包含空间圆的椭圆影像的图像，同时，在右摄像机也得到一幅包含空间圆的椭圆影像的图像。利用左边摄像机的一阶径向畸变参数Sl对左边图像进行畸变校正，得到不含有畸变信息的左边图像，记为πl。同时，利用右边摄像机的一阶径向畸变参数Sr对右边图像进行畸变校正，得到不含有畸变信息的右边图像，记为πr。

具体的校正过程是：对左边的图像，设某包含畸变信息的图像点在以像素为单位的图像坐标系下的坐标为其归一化的图像坐标为它们对应的不含畸变信息的图像点分别记为(u，v)和(x，y)。根据文献(D.C.Brown，Close-range camera calibration，Photogram-metric Engineering，37(8)：855-866，1971)，有x^=x+x[Sl(x2+y2)]]]>y^=y+y[Sl(x2+y2)]]]>利用坐标变换公式uv1=Alxy1=αlγlu0l0βlv0l001xy1,]]>u^v^1=Alx^y^1=αlγlu0l0βlv0l001x^y^1,]]>其中Sl为左边摄像机一阶径向畸变参数，Al为左摄像机的内参数矩阵，且都已经通过标定确定。

可以得到u^=u+(u-u0l)[Sl(x2+y2)]]]>v^=v+(v-v0l)[Sl(x2+y2)]]]>由于上面的方程是非线性方程组，为了简化求解过程，上述方程组可近似为(Janne Heikkila，Geometric Camera Calibration Using Circular ControlPoints，IEEE.On Pattern Analysis and Machine Intelligence，vol.22，no.10，1066-1077)u=u^-(u^-u0l)[Sl(x^2+y^2)]]]>v=v^-(v^-v0l)[Sl(x^2+y^2)]]]>利用上面两式可以对左边图像上的每一个图像点进行畸变校正，从而得到不含有畸变信息的图像πl。对于右边的图像，校正方法与左边图像的校正方法完全相同。

3.利用canny算子，分别检测出πl和πr，两幅图像平面上空间圆的椭圆影像的边界，从而在左右两边的图像上分别得到一组由椭圆影像边界像素点的坐标构成的点对。分别利用这两组点对，拟合出表示左边椭圆影像的矩阵Cl和表示右边椭圆影像的矩阵Cr。具体的方法参见(A.W.Fitzgibbon，M.Pilu，andR.B.Fisher，“Direct Least-Squares Fitting of Ellipses”，IEEE Trans.Pattern Analysis and Machine Intelligence，vol.14，no.2，pp.239-256)。

4.分别计算出Cl的对偶矩阵Cl*，Cr的对偶矩阵Cr*。以空间圆的圆心作为世界坐标系的坐标原点，空间圆所在的平面作为X-Y面，朝向摄像机方向为Z轴正方向，建立世界坐标系。并设该世界坐标系与左摄像机坐标系之间的旋转矩阵为R，该世界坐标系与左摄像机坐标系之间的平移向量为t。记R＝[r1r2r3]，其中三维列向量ri表示矩阵R的第i列，i＝1，2，3。在这种坐标系配置下，向量t就表示空间圆圆心在左摄像机坐标系下的位置，向量r3就表示空间圆所在的平面在左摄像机坐标系下的方位。

根据最小二乘法可以解出kl、kr和空间圆圆心在左摄像机坐标系下的坐标t。

具体方法是：分别记Al-1Cl*Al-T=a11a12a13a12a22a23a13a23a33,]]>R0-1Ar-1Cr*Ar-TR0-T=b11b12b13b12b22b23b13b23b33,]]>R0-1t0=[m1m2m3]T,]]>均为已知矩阵或向量。

t＝[t1t2t3]T，为未知向量。

则上式可以改写为：k1a11+k2b11k1a12+k2b12k1a13+k2b13k1a12+k2b12k1a22+k2b22k1a23+k2b23k1a13+k2b13k1a23+k2b23k1a33+k2b33=]]>2t1m1+m12t1m2+t2m1+m1m2t1m3+t3m1+m1m3t1m2+t2m1+m1m22t2m2+m22t2m3+t3m2+m2m3t1m3+t3m1+m1m3t2m3+t3m2+m2m32t3m3+m32]]>记T=a11b11-2m100a12b12-m2-m10a13b13-m30-m1a22b220-2m20a23b230-m3-m2a33b3300-2m3,n=m12m1m2m1m3m22m2m3m32]]>按照最小二乘法则，有

[k1k2t1t2t3]T＝(TTT)-1TTn到此为止，空间圆的圆心位置t＝[t1t2t3]T这个几何参数就测量完毕。

5.利用下式：klAl-1Cl*Al-T+ttT=r2(I-r3r3T),]]>其中r为空间圆的半径，为未知数，三维列向量r3为未知数，三阶实对称矩阵klAl-1Cl*Al-T+ttT为已知矩阵，I为3阶单位矩阵。

可以计算出空间圆的半径厂和向量r3。从而，空间圆半径r和表示空间圆所在平面方位的向量r3也测量完毕。

具体方法是：记已知矩阵KlAl-1Cl*Al-T+ttT=d11d12d13d12d22d23d13d23d33=D]]>因为矩阵I-r3r3T的特征值为1，1，0，则空间圆半径的平方r2恰好等于已知矩阵D的二重非零特征值。求解出D的特征值，记为λi，其中i＝1，2，3。显然有λ1＝λ2＞0，λ3＝O，则空间圆的半径r=λ1=λ2.]]>求出空间圆半径r后，计算矩阵I-1r2D]]>的非零特征值对应的特征向量β，那么r3=β||β||.]]>到此为止，空间圆的所有几何参数(包括空间圆的半径、空间圆圆心在左摄像机坐标系下的空间坐标、空间圆所在平面在左摄像机坐标系下的方位)全部测量完毕。

Claims

1.一种基于双目立体视觉技术的空间圆几何参数的测量方法，其特征在于包含如下步骤：(1)对左右摄像机分别利用单摄像机标定方法，确定出左摄像机的内参数矩阵Al、左摄像机的一阶径向畸变参数Sl、右摄像机的内参数矩阵Ar、右摄像机的一阶径向畸变参数Sr；利用立体摄像机标定方法，计算出表征左右摄像机相对位置关系的旋转矩阵R0和平移向量t0；(2)将左右摄像机放置在待检测的空间圆附近，确保该空间圆处在左右摄像机的公共视场范围内；利用左右摄像机同时拍摄空间圆，得到左右两幅包含空间圆的椭圆影像的图像；利用左摄像机的一阶径向畸变参数Sl对左图像进行畸变校正，得到不含畸变信息的左图像，利用右摄像机的一阶径向畸变参数Sr对右图像进行畸变校正，得到不含畸变信息的右图像；(3)利用canny算子，分别检测出不含畸变信息的左右两幅图像平面上空间圆的椭圆影像的边界，从而在左右图像上分别得到一组由椭圆影像边界像素点的坐标构成的点对；分别利用这两组点对，拟合出表示左边椭圆影像的矩阵Cl和表示右边椭圆影像的矩阵Cr；(4)计算出Cl的对偶矩阵Cl*，Cr的对偶矩阵Cr*；以空间圆的圆心作为世界坐标系的坐标原点，空间圆所在的平面作为X-Y面，朝向摄像机方向为Z轴正方向，建立世界坐标系；设世界坐标系与左摄像机坐标系之间的旋转矩阵为R；三维列向量r3为矩阵R的第3列，它表示空间圆所在的平面在左摄像机坐标系下的方向；设世界坐标系与左摄像机坐标系之间的平移向量为t，它表示空间圆圆心在左摄像机坐标系下的位置；根据最小二乘法，利用下式klAl-1Cl*Al-T-krR0-1Ar-1Cr*Ar-TR0-T=tt0TR0-T+R0-1t0t+R0-1t0t0TR0-T,]]>解出尺度因子kl、kr和空间圆圆心在左摄像机坐标系下的坐标t；式中，三阶实对称矩阵Al-1Cl*Al-T和R0-1Ar-1Cr*Ar-TR0-T，三维列向量R0-1t0均为已知；(5)利用下式：klAl-1Cl*Al-T+ttT=r2(I-r3r3T),]]>计算出空间圆的半径r和空间圆所在平面方位的三维列向量r3；式中，三阶实对称矩阵klAl-1Cl*Al-T+ttT为已知矩阵，I为三阶单位矩阵；至此，完成空间圆的几何参数的测量。