CN1896679A - 一种三维视觉现场测量量值传递方法及装置 - Google Patents

Abstract

本发明属于三维视觉检测技术，涉及对三维视觉现场测量量值传递方法的改进。对于摄像机或双目系统，随机移动靶标平面，对于每一个位置的靶标平面，先测量其中任意三个不共线的特征点的空间坐标，求出靶标平面坐标系与经纬仪坐标系之间的转换关系，从而得到一系列标定点的空间三维坐标。本发明相对于立体靶标，所用的平面靶标难度小，成本低；相对于移动平面靶标法，本发明的标定精度高；相对于设置特征点法，本发明的操作过程简单，工作量小，更适于现场应用。

Description

一种三维视觉现场测量量值传递方法及装置

技术领域

本发明属于三维视觉检测技术，涉及对三维视觉现场测量量值传递方法的改进。

背景技术

在诸多检测方法中，三维视觉检测被广泛应用于工件的完整性、表面平整度的测量，微电子器件(IC芯片、PC板、BGA等)的自动检测，软质、易碎零部件的检测，各种模具三维形状的检测，以及机器人的视觉导引等。由于三维视觉检测技术具有大量程、大视场、非接触、测量速度快及测量精度高等特点，因此在工业环境中得到了愈来愈广泛的应用。

在实际使用三维视觉检测系统之前，需要根据系统的数学模型确定传感器的量值传递方法，并加工相应的装置，以确定实际观测值与最后测量结果之间的传递关系，这方面已有的方法主要有：

(1)立体靶标法。

立体靶标法分为两种，一种是直接加工一个立体靶(见图2)，靶标上有一系列的特征点(如角点)在靶标坐标系下的三维空间坐标已知。对于摄像机或者双目系统，可以直接利用这些特征点标定传感器的结构参数；对于结构光传感器，则先要将光平面投射到立体靶标表面，再根据交比不变求出靶标表面上某些光条中心点的三维空间坐标，最后根据这些光条中心点对结构光光平面的参数进行拟合。另一种立体靶标法是平面靶标加移动台，该方法与前一种方法的唯一区别就是获得标定点的方式不同，即通过移动台移动平面靶标获得一系列标定点的空间三维坐标。立体靶标法的主要缺点是：①直接加工高精度的立体靶标难度大，成本高，且适用空间受限；②平面靶标加移动台的方法需要移动台，一方面会增加系统成本，另一方面很难保证靶标平面与移动方向严格垂直，会给标定结果带来误差。

(2)移动平面靶标法。

该方法根据张正友的移动平面靶标原理，在空间任意移动靶标平面，利用同射变换约束标定摄像机的内外参数。对于结构光传感器，可根据张广军、周富强等人提出的自由移动平面靶标法，利用同射变换约束和交比不变原理，来标定结构光光平面的结构参数。移动平面靶标法的优点是标定过程简单，适用空间大，但缺点是标定精度不高。

(3)设置特征点法。

该方法利用靶标等装置提供特征点，然后用双经纬仪等空间三坐标测量系统测出特征点的空间三维坐标，再确定系统的传递关系。如对于结构光传感器，可以利用拉丝法在空间拉起一组细丝，将结构光光平面投射到细丝上，再利用双经纬仪系统测量细丝上光条中心点的空间三维坐标，然后拟合光平面方程。设置特征点法的缺点是标定过程繁琐，受人为因素影响较大，标定精度不高。

发明内容

本发明的目的是：针对现有量值传递方法及装置存在的不足，提出一种精度高、操作过程简单，更适合现场测量的三维视觉检测系统量值传递方法。

本发明的技术方案是：一种三维视觉现场测量量值传递方法，其特征在于，使用由一个平面靶标和双电子经纬仪构成的测量装置，平面靶标提供标定用特征点，双电子经纬仪用来测量平面靶标上特征点的三维空间坐标，以确定靶标平面坐标系与经纬仪坐标系之间的转换关系，具体方法是：

1、对于摄像机或双目系统，主要是利用一系列靶标标定点的三维空间坐标及其二维图像坐标标定摄像机的针孔成像模型，即：

$\mathrm{\ρ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

其中，A为摄像机内部参数矩阵，R为旋转矩阵，T为平移向量；

在标定空间内随机移动靶标平面，对于每一个位置的靶标平面，靶标坐标系X_b与经纬仪坐标系X_j之间的转换关系表示为：

         X_j＝R_bX_b+T_b                     (1)

利用经纬仪测量靶标上任意三个不共线的特征点的空间坐标，可以求得

        [R_bT_b]＝BH^T(HH^T)^-1                  (2)

其中，

$H=\left[\begin{array}{ccc}{X}_{1b}& X_{2b}& X_{3b}\\ 1& 1& 1\end{array}\right]---\left(3\right)$

B＝X_1j X_2j X_3j          (4)

X_ib为点i(i＝1，2，3)在靶标坐标系下的三维坐标，X_ij为点i(i＝1，2，3)在经纬仪坐标系下的三维坐标，则根据式1可以求出靶标上其它特征点在经纬仪坐标系下的三维坐标。根据这些标定点的三维空间坐标及其二维图像坐标，利用Tsai的非共面算法就可以标定出摄像机或双目系统的结构参数；具体算法见R.Y.Tsai的论文：A Versatile CameraCalibration Technique for High-Accuracy 3D Machine VisionMetrology Using Off-the-Shelf TV Cameras and Lenses，IEEE Journalof Robotics and Automation，Vol.RA-3，No.4，1987，pp.323-344；

2、对于结构光传感器，除了标定摄像机的结构参数以外，还需要利用交比不变标定结构光光平面方程，即：

       a·x_w+b·y_w+c·z_w+d＝0               (5)

交比不变的原理为：平面π₁上有三条非重合直线A_iB_iC_i(i＝1，2，3)，直线D₁D₂D₃与这三条直线分别交于点D₁、D₂、D₃。通过透视投影中心O，它们在平面π₂上的像分别为A_i′B_i′C_i′和D₁′D₂′D₃′。共线四点的交比定义为：

$r(A,B,C,D)=\frac{\mathrm{AC}}{\mathrm{CB}}/\frac{\mathrm{AD}}{\mathrm{DB}}---\left(6\right)$

根据透视投影变换下交比不变原理，有下式成立：

      r(A_i，B_i，C_i，D_i)＝r′(A_i′，B_i′，C_i′，D_i′)       (7)

则根据点A_i、B_i、C_i及点A_i′、B_i′、C_i′、D_i′的坐标，利用式7即可求得D_i的坐标；

在标定空间内随机移动靶标平面，对于每一个位置的靶标平面，先根据式2，利用靶标上任意三个不共线标定点的空间坐标求出靶标坐标系与经纬仪坐标系之间的空间转换关系，然后利用交比不变，求出靶标平面上光条中心点在靶标坐标系下的坐标，并根据式1，求出这些点在经纬仪坐标系下的空间坐标，最后利用最小二乘法对结构光光平面进行拟合。

一种使用上述方法的三维视觉现场测量量值传递装置，其特征在于，它由一个平面靶标和双电子经纬仪构成。

本发明的优点是：

(1)相对于立体靶标，加工高精度的平面靶标难度小，成本低；

(2)相对于移动平面靶标法，该方法的标定精度高；

(3)相对于设置特征点法，该方法的操作过程简单，对于每个位置的靶标平面，只需要利用经纬仪测量其中三个标定点的空间坐标，工作量小，更适于现场应用。

附图说明

图1是交比不变的原理图。

图2是现有的一种立体靶标结构示意图。

图3是本发明量值传递标定方法所使用的装置示意图。

图4是现有的一种平面靶标结构示意图。

图5是为双目系统标定而设计的平面靶标示意图。

图6是为结构光传感器标定而设计的平面靶标示意图。

具体实施方式

下面对本发明做进一步详细说明。本发明的量值传递方法基于平面靶标和双经纬仪，相应的装置如图3所示，主要由一个平面靶标和双电子经纬仪构成。其中，平面靶标主要是用来提供标定用特征点，如角点，参见图4。双电子经纬仪主要用来测量平面靶标上某些特征点的三维空间坐标，测量3个特征点即可，以确定靶标平面坐标系与经纬仪坐标系之间的转换关系。

本发明的具体方法是：

1、对于摄像机或双目系统，主要是利用一系列靶标标定点的三维空间坐标及其二维图像坐标标定摄像机的针孔成像模型，即

$\mathrm{\ρ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

其中，A为摄像机内部参数矩阵，R为旋转矩阵，T为平移向量。

在标定空间内随机移动靶标平面，对于每一个位置的靶标平面，靶标坐标系X_b与经纬仪坐标系X_j之间的转换关系表示为：

      X_j＝R_bX_b+T_b                (1)

利用经纬仪测量靶标上任意三个不共线的特征点的空间坐标，可以求得

      [R_bT_b]＝BH^T(HH^T)^-1           (2)

其中，

$H=\left[\begin{array}{ccc}{X}_{1b}& X_{2b}& X_{3b}\\ 1& 1& 1\end{array}\right]---\left(3\right)$

B＝X_1jX_2jX_3j        (4)

X_ib为点i(i＝1，2，3)在靶标坐标系下的三维坐标，X_ij为点i(i＝1，2，3)在经纬仪坐标系下的三维坐标，则根据式1可以求出靶标上其它特征点在经纬仪坐标系下的三维坐标。根据这些标定点的三维空间坐标及其二维图像坐标，利用Tsai的非共面算法就可以标定出摄像机或双目系统的结构参数。(具体算法见R.Y.Tsai的论文：A Versatile CameraCalibration Technique for High-Accuracy 3D Machine VisionMetrology Using Off-the-Shelf TV Cameras and Lenses，IEEE Journalof Robotics and Automation，Vol.RA-3，No.4，1987，pp.323-344)

2、对于结构光传感器，除了标定摄像机的结构参数以外，还需要利用交比不变标定结构光光平面方程，即

     a·x_w+b·y_w+c·z_w+d＝0         (5)

交比不变的原理如图1所示。平面πi上有三条非重合直线A_iB_iC_i(i＝1，2，3)，直线D₁D₂D₃与这三条直线分别交于点D₁、D₂、D₃。通过透视投影中心O，它们在平面π₂上的像分别为A_i′B_i′C_i′和D₁′D₂′D₃′。共线四点的交比定义为：

$r(A,B,C,D)=\frac{\mathrm{AC}}{\mathrm{CB}}/\frac{\mathrm{AD}}{\mathrm{DB}}---\left(6\right)$

根据透视投影变换下交比不变原理，有下式成立：

      r(A_i，B_i，C_i，D_i)＝r′(A_i′，B_i′，C_i′，D_i′)          (7)

则根据点A_i、B_i、C_i及点A_i′、B_i′、C_i′、D_i′的坐标，利用式7即可求得D_i的坐标。

在标定空间内随机移动靶标平面，对于每一个位置的靶标平面，先根据式2，利用靶标上任意三个不共线标定点的空间坐标求出靶标坐标系与经纬仪坐标系之间的空间转换关系，然后利用交比不变，求出靶标平面上光条中心点在靶标坐标系下的坐标，并根据式1，求出这些点在经纬仪坐标系下的空间坐标，最后利用最小二乘法对结构光光平面进行拟合。

实施例

1、双目系统标定实施例

对于双目系统，主要标定的是摄像机的内外参数。图5是为双目系统标定设计的平面靶标图像，该靶标表面共有35×19个X型标定点，纵横方向上每相邻两点的间距为1.5mm。具体的标定步骤如下：

(1)在标定空间内任意放置靶标平面，打开每一目摄像机电源进行拍摄，并将图象存储在计算机中；

(2)利用双经纬仪系统，测量靶标表面上任意三个不共线标定点的空间坐标，结合其在靶标坐标系下的坐标，求出靶标坐标系到经纬仪坐标系的空间转换关系；

(3)对每一目摄像机，提取所拍图像中标定点的图像坐标，并根据空间转换关系，求出这些标定点在经纬仪坐标系下的空间坐标；

(4)移动靶标平面，重复步骤1-3；

(5)根据标定点的二维图像坐标及其在经纬仪坐标系下的三维空间坐标，利用Tsai的非共面算法分别求出每一目摄像机的内外参数；(具体算法见R.Y.Tsai的论文：A Versatile Camera Calibration Techniquefor High-Accuracy 3D Machine Vision Metrology Using Off-the-ShelfTV Cameras and Lenses，IEEE Journal of Robotics and Automation，Vol.RA-3，No.4，1987，pp.323-344)

标定结果：

摄像机1：

内部参数矩阵：

$A=\left[\begin{array}{ccc}5045.188& 0& 256.021\\ 0& 5054.801& 127.387\\ 0& 0& 1\end{array}\right]$

外部参数：

$R=\left[\begin{array}{ccc}0.823& -0.119& 0.556\\ -0.152& 0.896& 0.418\\ -0.548& -0.429& 0.719\end{array}\right],$ $T=\left[\begin{array}{c}-25.434\\ 1.660\\ 544.004\end{array}\right]$

结果精度：

mean＝0.242 pixel，max＝1.092 pixel

摄像机2：

内部参数矩阵：

$A=\left[\begin{array}{ccc}4468.238& 0& 254.197\\ 0& 4447.008& 145.249\\ 0& 0& 1\end{array}\right]$

外部参数：

$R=\left[\begin{array}{ccc}0.807& 0.064& 0.587\\ 0.176& 0.923& -0.343\\ -0.564& 0.380& 0.733\end{array}\right],$ $T=\left[\begin{array}{c}-25.046\\ -10.404\\ 496.429\end{array}\right]$

结果精度：

mean＝0.223 pixel，max＝0.606 pixel

2、双结构光传感器标定实施例

对于结构光传感器，主要标定的是摄像机的内外参数和结构光光平面方程。图6是为双结构光传感器系统标定设计的平面靶标图像，该靶标表面共有23×11个栅格型标定点，纵横方向上每相邻两点的间距为2.5mm。具体的标定步骤如下：

(1)在标定空间内任意放置靶标平面，打开摄像机电源进行拍摄，并将图象存储在计算机中；

(2)利用双经纬仪系统，测量靶标表面上任意三个不共线标定点的空间坐标，结合其在靶标坐标系下的坐标，求出靶标坐标系到经纬仪坐标系的空间转换关系；

(3)打开激光器电源，光条投射到靶标表面，拍摄图像，存在计算机中；

(4)提取所拍图像中的标定点的图像坐标，并根据空间转换关系，求出这些标定点在经纬仪坐标系下的空间坐标；

(5)提取图像中光条与栅格线的交点，并根据交比不变，求出这些点在靶标平面上的坐标，再根据空间转换关系，求出这些点在经纬仪坐标系下的空间坐标；

(6)移动靶标平面，重复步骤1-5；

(7)根据标定点的二维图像坐标及其在经纬仪坐标系下的三维空间坐标，利用Tsai的非共面算法求出摄像机的内外参数；(具体算法见R.Y.Tsai的论文：A Versatile Camera Calibration Technique forHigh-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TVCameras and Lenses，IEEE Journal of Robotics and Automation.Vol.RA-3，No.4，1987，pp.323-344)

(8)根据光条中心点的空间坐标，利用最小二乘法对结构光平面进行拟合。

标定结果：

传感器1：

摄像机：

内部参数矩阵：

$A=\left[\begin{array}{ccc}4641.960& 0& 255.749\\ 0& 4621.262& 128.712\\ 0& 0& 1\end{array}\right]$

外部参数：

$R=\left[\begin{array}{ccc}0.829& -0.368& 0.422\\ 0.297& 0.928& 0.225\\ -0.474& -0.061& 0.878\end{array}\right],$ $T=\left[\begin{array}{c}8.634\\ -10.779\\ 474.519\end{array}\right]$

结构光光平面方程系数：

     [a  b  c  d]＝[-0.187  0.121  -0.128  0.967]

结果精度：

mean＝0.068mm，max＝0.132mm

传感器2：

摄像机：

内部参数矩阵：

$A=\left[\begin{array}{ccc}4329.159& 0& 256.086\\ 0& 4320.650& 121.710\\ 0& 0& 1\end{array}\right]$

外部参数：

$R=\left[\begin{array}{ccc}0.870& 0.221& -0.441\\ -0.132& 0.966& 0.223\\ 0.475& -0.136& 0.869\end{array}\right],$ $T=\left[\begin{array}{c}-25.670\\ -6.417\\ 441.111\end{array}\right]$

结构光光平面方程系数：

        [a  b  c  d]＝[-0.066  -0.054  0.041  0.996]

结果精度：

mean＝0.043mm，max＝0.057mm。

Claims (2)

1、一种三维视觉现场测量量值传递方法，其特征在于，使用由一个平面靶标和双电子经纬仪构成的测量装置，平面靶标提供标定用特征点，双电子经纬仪用来测量平面靶标上特征点的三维空间坐标，以确定靶标平面坐标系与经纬仪坐标系之间的转换关系，具体方法是：

1.1、对于摄像机或双目系统，主要是利用一系列靶标标定点的三维空间坐标及其二维图像坐标标定摄像机的针孔成像模型，即：

$\mathrm{\ρ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=A\left[\begin{array}{cc}R& T\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$

其中，A为摄像机内部参数矩阵，R为旋转矩阵，T为平移向量；

在标定空间内随机移动靶标平面，对于每一个位置的靶标平面，靶标坐标系X_b与经纬仪坐标系X_j之间的转换关系表示为：

            X_j＝R_bX_b+T_b                             (1)

利用经纬仪测量靶标上任意三个不共线的特征点的空间坐标，可以求得

            [R_b T_b]＝BH^T(HH^T)^-1                     (2)

其中，

$H=\left[\begin{array}{ccc}{X}_{1b}& X_{2b}& X_{3b}\\ 1& 1& 1\end{array}\right]---\left(3\right)$

            B＝X_1j X_2j X_3j                      (4)

X_ib为点i(i＝1，2，3)在靶标坐标系下的三维坐标，X_ij为点i(i＝1，2，3)在经纬仪坐标系下的三维坐标，则根据式1可以求出靶标上其它特征点在经纬仪坐标系下的三维坐标；根据这些标定点的三维空间坐标及其二维图像坐标，利用Tsai的非共面算法就可以标定出摄像机或双目系统的结构参数；

1.2、对于结构光传感器，除了标定摄像机的结构参数以外，还需要利用交比不变标定结构光光平面方程，即：

                    a·x_w+b·y_w+c·z_w+d＝0          (5)

交比不变的原理为：平面π1上有三条非重合直线A_iB_iC_i(i＝1，2，3)，直线D₁D₂D₃与这三条直线分别交于点D₁、D₂、D₃，通过透视投影中心O，它们在平面π2上的像分别为A_i′B_i′C_i′和D₁′D₂′D₃′，共线四点的交比定义为：

$r(A,B,C,D)=\frac{\mathrm{AC}}{\mathrm{CB}}/\frac{\mathrm{AD}}{\mathrm{DB}}---\left(6\right)$

根据透视投影变换下交比不变原理，有下式成立：

        r(A_i，B_i，C_i，D_i)＝r′(A_i′，B_i′，C_i′，D_i′)    (7)则根据点A_i、B_i、C_i及点A_i′、B_i′、C_i′、D_i′的坐标，利用式7即可求得D_i的坐标；

在标定空间内随机移动靶标平面，对于每一个位置的靶标平面，先根据式2，利用靶标上任意三个不共线标定点的空间坐标求出靶标坐标系与经纬仪坐标系之间的空间转换关系，然后利用交比不变，求出靶标平面上光条中心点在靶标坐标系下的坐标，并根据式1，求出这些点在经纬仪坐标系下的空间坐标，最后利用最小二乘法对结构光光平面进行拟合。

2、使用如权利要求1所述方法的三维视觉现场测量量值传递装置，其特征在于，它由一个平面靶标和双电子经纬仪构成。

Images