CN1912532A - 一种三维视觉测量量值传递方法和平面靶标 - Google Patents

Abstract

本发明属于三维视觉测量技术，涉及对三维视觉现场全局测量量值传递方法的改进。本发明方法的操作步骤如下：将视觉传感器先移动到某一位置k，进行三维测量；放置平面靶标，拍摄靶标图像，提取至少4个非共线图像特征点；计算出从靶标坐标系O_bX_bY_bZ_b到摄像机坐标系O_cX_cY_cZ_c的量值传递变换矩阵；将视觉传感器移到位置k+1处，用经纬仪瞄准靶标上至少4个且非共线特征点，计算出从靶标坐标系O_bX_bY_bZ_b到经纬仪坐标系O_tX_tY_tZ_t的量值传递变换矩阵；计算视觉传感器在第k个位置处时从O_cX_cY_cZ_c到O_tX_tY_tZ_t的量值传递变换矩阵；重复操作步骤，将视觉传感器在位置k(k＝1，...，N)处测得的任意一点p^c _ki=(x_c，y_c，z_c)^T统一到O_tX_tY_tZ_t下。本发明方法只需一台经纬仪就实现了三维视觉现场全局测量量值传递，减少了工作量和处理环节，降低了成本。

Description

一种三维视觉测量量值传递方法和平面靶标

技术领域

本发明属于三维视觉测量技术，涉及对三维视觉现场全局测量量值传递方法的改进。

背景技术

三维视觉测量技术广泛应用在汽车、飞机、船舶、航天器的外形测量，大型模具测量，无缝钢管等超大构件测量，大型天线安装及变形监测等。单个视觉传感器无法通过一次测量就完成整个大型物体的测量，实际测量中往往采用由多个视觉传感器构成的柔性多视觉检测系统，或者通过单个视觉传感器在大型物体周围的流动测量实现。因而，三维视觉测量的现场全局测量量值传递是关键所在，它决定了系统的最终测量精度。

目前，三维视觉测量的现场全局量值传递一般依赖于外部三坐标测量设备，如电子经纬仪对系统，三坐标测量机或者数码相机等。

电子经纬仪对由两台测角精度很高的电子经纬仪构成，可以实现大范围(几米甚至几十米)的三坐标测量，三坐标测量机的测量范围一般在几米。实际测量中先利用外部三坐标测量系统建立好总体测量坐标系，之后把带有一定特征点的三维立体靶放置在测量系统测量空间的不同位置，外部三坐标测量系统和视觉传感器同时测量三维立体靶上的特征点，通过这些特征点实现整个系统的全局量值传递。(K.Feng，M.Luo，Calibration of structured-light sensor for multi-visualinspection system.SPIE Vol.2350，1994；卢荣胜，视觉准直在线测量技术研究.天津大学博士后研究工作报告，2000；J.West，Noncontactmachine vision metrology within a CAD coordinate system.Proceedings of Autofact’2002 Conference，2002)这种方式的成本较高，高精度的三维立体靶加工较困难。

有的时候，在物体表面粘贴具有一定特征的标记点。这种方式除了可用电子经纬仪对和三坐标测量机外，还可以利用数码相机。数码相机单次可视范围较大，通过有限几次移动，就可以测出所有标记点的三维坐标，用于系统中视觉传感器的全局量值传递计算。如德国GOM公司研制的ATOS激光三维扫描测量系统。这种贴标的方式显然容易出现变形且标有一定的厚度而难以保证精度。另外，利用数码相机的方式数码相机本身的流动统一也损失了精度。

还有一种方式是只利用三维立体块或者粘贴的标记。这种方式适应于单传感器的流动式三维视觉测量。传感器每移动的两个相邻的位置至少有三个公共点，这样，后续测量位置的传感器坐标系通过公共点进行量值传递，都统一到起始位置的传感器坐标系，从而实现全局测量的量值传递。这种方式存在累积误差，靠后的测量位置的误差较大。如德国GOM公司研制的ATOS激光三维扫描测量系统。

另外一种方式是单个视觉传感器移动到被测物周围，逐次完成被测物的局部测量，然后通过高精度的运动平台获得传感器移动的空间方位变换关系，完成量值传递。这种方式的成本较高，且受运动平台移动范围的限制，现场使用的灵活性较差。

发明内容

本发明的目的是：针对现有方法存在的不足，提出一种操作简便、测量范围大、不存在累积误差、成本相对较低的三维视觉现场全局测量量值传递方法与装置，以提高三维视觉测量的量值传递效率和精度。同时，提供一种用于三维视觉现场全局测量量值传递方法的平面靶标。

本发明的技术方案是：一种三维视觉现场全局测量量值传递方法，其特征在于，使用一台经纬仪和一个平面靶标实现三维视觉现场全局测量的量值传递，摄像机模型采用针孔模型，经纬仪的光学系统视为理想的透视投影模型，设O_tX_tY_tZ_t为经纬仪坐标系，O_t为经纬仪的光学中心，X_tO_tZ_t平面与水平面度盘平行，X_t轴方向由用户定义，Y_t轴为通过原点的竖轴，方向竖直向下，Z_t轴方向根据右手法则确定，设在Z＝f处有一成像平面，并设f＝1，则经纬仪坐标系与像平面坐标系之间有如下关系：

$\left\{\begin{array}{c}u=x_t/z_t\\ v=y_t/z_t\end{array}\right.---\left(1\right)$

其中(u，v)为像平面上点的坐标，(x_t，y_t，z_t)为空间点在经纬仪坐标系下的坐标。将式(1)用齐次坐标表示：

$\mathrm{\ρ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right]---\left(2\right)$

由于经纬仪瞄准目标时其测量数据是目标的水平角α和垂直角β，下式将角度转化为像平面的坐标值：

$\left\{\begin{array}{c}u=1/\tan \mathrm{\α}\\ v=\tan \mathrm{\β}/\sin \mathrm{\α}\end{array}\right.---\left(3\right)$

设全局坐标系与经纬仪坐标系重合，即O_tX_tY_tZ_t，在整个测量过程中经纬仪不移动，视觉传感器坐标系建立在摄像机坐标系下，即O_cX_cY_cZ_c，靶标坐标系O_bX_bY_bZ_b的X_bO_bY_b平面与靶标平面重合，Z_b轴方向符合右手法则，量值传递操作步骤如下：

1、求得摄像机内部参数，固定被测物，安装经纬仪，使经纬仪能看到被测物全貌；

2、将视觉传感器连接到计算机，打开传感器电源，启动计算机，运行测量系统软件；

3、视觉传感器先移动到某一位置k，对被测物局部区域进行三维测量；

4、在被测区域附件放置平面靶标，拍摄靶标图像，保存在计算机中，采用Harris角点探测方法提取至少4个非共线图像特征点；

5、根据透视几何，利用靶标上特征点坐标及对应的像点坐标，计算出从靶标平面到摄像机像平面的3×3单射矩阵H，由于摄像机内部参数已知，则内部参数矩阵A已知，由H和A可以计算出从靶标坐标系O_bX_bY_bZ_b到摄像机坐标系O_cX_cY_cZ_c的量值传递变换矩阵：

$T_k^{\mathrm{cb}}=\left[\begin{array}{cc}{R}_k^{\mathrm{cb}}& t_k^{\mathrm{cb}}\\ 0& 1\end{array}\right]---\left(4\right)$

其中，R_k ^cb和t_k ^cb分别为传感器和靶标在第k个位置处从O_bX_bY_bZ_b到O_cX_cY_cZ_c旋转矩阵和平移矢量；

6、将视觉传感器移到位置k+1处，靶标不动，用经纬仪瞄准靶标上至少4个且非共线特征点，记下水平角α和垂直角β，根据式(3)计算出靶标特征点对应的经纬仪像点坐标，用与5同样的方法，计算出从靶标坐标系O_bX_bY_bZ_b到经纬仪坐标系O_tX_tY_tZ_t的量值传递变换矩阵：

$T_k^{\mathrm{tb}}=\left[\begin{array}{cc}{R}_k^{\mathrm{tb}}& t_k^{\mathrm{tb}}\\ 0& 1\end{array}\right]---\left(5\right)$

其中，R_k ^tb和t_k ^tb分别为靶标在第k个位置处从O_bX_bY_bZ_b到O_tX_tY_tZ_t旋转矩阵和平移矢量；

7、计算视觉传感器在第k个位置处时从O_cX_cY_cZ_c到O_tX_tY_tZ_t的量值传递变换矩阵为

$T_k^{\mathrm{tc}}=T_k^{\mathrm{tb}}{T}_k^{\mathrm{bc}}---\left(6\right)$

其中

$T_k^{\mathrm{bc}}=\left[\begin{array}{ccc}{\left(R_k^{\mathrm{cb}}\right)}^{-1}& -{\left(R_k^{\mathrm{cb}}\right)}^{-1}& t_k^{\mathrm{cb}}\\ 0^T& 1& \end{array}\right]$

8、重复步骤3到7，视觉传感器在位置k(k＝1，...，N)处测得的任意一点 $P_{\mathrm{ki}}^c={(x_c,y_c,z_c)}^T$ 由式(6)统一到O_tX_tY_tZ_t下，即：

$P_{\mathrm{ki}}^t=T_i^{\mathrm{tc}}{P}_{\mathrm{ki}}^c.---\left(7\right)$

一种用于三维视觉现场全局测量量值传递方法的平面靶标，其特征在于，在靶标的一个平面上有正方形的黑白相间的方格，每个方格的边长为8～10mm，精度为0.003～0.006mm，方格的行数为8～10，方格的列数为8～10。

本发明的优点是：

1、与传统方法采用两台电子经纬仪实现现场全局三维测量量值传递的方法相比，该方法只需一台经纬仪就实现了三维视觉现场全局测量量值传递，减少了工作量和处理环节，降低了成本；

2、与依靠公共区域特征点逐步进行量值传递方法相比，该方法消除了累积误差；

3、不需运动平台，测量范围大，传感器移动自由、方便，特别适合大型物体的三维视觉测量的现场全局量值传递。

附图说明

图1是本发明平面靶标结构示意图。

图2是经纬仪模型的示意图。

图3是本发明的量值传递示意图。

图4是实施例中传感器在位置1和位置2处的测量结果显示示意图。坐标系为传感器坐标系。

图5是实施例中量值传递结果显示示意图。坐标系为经纬仪坐标系。

具体实施方式

下面对本发明做进一步详细说明。本发明首次利用一台经纬仪和一个平面靶标，实现了三维视觉现场全局测量的量值传递。本发明设计如图1所示的平面靶标。黑白方格角点为特征点，黑白方块是边长为9mm的正方形，加工精度为0.005mm。每行均有黑白方块共11个，周围靠近靶标边缘的角点在实际测量中并不使用，这样，可以使用中间100个角点作为特征点来优化求解量值传递矩阵。

本发明三维视觉现场全局测量量值传递方法，其特征在于，使用一台经纬仪和一个平面靶标实现三维视觉现场全局测量的量值传递，摄像机模型采用针孔模型，参见马颂德，张正友。计算机视觉计算理论与算法基础，科学出版社。经纬仪的光学系统视为理想的透视投影模型，如图2所示，设O_tX_tY_tZ_t为经纬仪坐标系，O_t为经纬仪的光学中心，X_tO_tZ_t平面与水平面度盘平行，X_t轴方向由用户定义，Y_t轴为通过原点的竖轴，方向竖直向下，Z_t轴方向根据右手法则确定，设在Z＝f处有一成像平面，并设f＝1，则经纬仪坐标系与像平面坐标系之间有如下关系：

$\left\{\begin{array}{c}u=x_t/z_t\\ v=y_t/z_t\end{array}\right.---\left(1\right)$

其中(u，v)为像平面上点的坐标，(x_t，y_t，z_t)为空间点在经纬仪坐标系下的坐标。将式(1)用齐次坐标表示：

$\mathrm{\ρ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right]---\left(2\right)$

由于经纬仪瞄准目标时其测量数据是目标的水平角α和垂直角β，下式将角度转化为像平面的坐标值：

$\left\{\begin{array}{c}u=1/\tan \mathrm{\α}\\ v=\tan \mathrm{\β}/\sin \mathrm{\α}\end{array}\right.---\left(3\right)$

可以看出，经纬仪模型与摄像机模型完全一致，内部参数矩阵为一单位阵。单个经纬仪实际上只是一个二维测量设备。

参见图3，这是基于单台经纬仪和平面靶标的量值传递过程示意图。设全局坐标系与经纬仪坐标系重合，即O_tX_tY_tZ_t，在整个测量过程中经纬仪不移动，视觉传感器坐标系建立在摄像机坐标系下，即O_cX_cY_cZ_c，靶标坐标系O_bX_bY_bZ_b的X_bO_bY_b平面与靶标平面重合，Z_b轴方向符合右手法则，量值传递操作步骤如下：

1、求得摄像机内部参数，固定被测物，安装经纬仪，使经纬仪能看到被测物全貌；

2、将视觉传感器连接到计算机，打开传感器电源，启动计算机，运行测量系统软件；

3、视觉传感器先移动到某一位置k，对被测物局部区域进行三维测量；

4、在被测区域附件放置平面靶标，拍摄靶标图像，保存在计算机中，采用Harris角点探测方法(参见C.Harris，M.Stephens.A combined andedge detector.In Proceedings Alvey Conference，PP189-192，1988)提取至少4个非共线图像特征点；

5、根据透视几何，利用靶标上特征点坐标(在靶标坐标系下)及对应的像点坐标(在图像坐标系下)，计算出从靶标平面到摄像机像平面的3×3单射矩阵H，由于摄像机内部参数已知，则内部参数矩阵A已知，由H和A可以计算出从靶标坐标系O_bX_bY_bZ_b到摄像机坐标系O_cX_cY_cZ_c的量值传递变换矩阵(参见Z.Zhang，A Flexible New Technique for CameraCalibration，Technical Report，MSR-TR-98-71 Microsoft Research，December 1998)：

$T_k^{\mathrm{cb}}=\left[\begin{array}{cc}{R}_k^{\mathrm{cb}}& t_k^{\mathrm{cb}}\\ 0& 1\end{array}\right]---\left(4\right)$

其中，R_k ^cb和t_k ^cb分别为传感器和靶标在第k个位置处从O_bX_bY_bZ_b到O_cX_cY_cZ_c旋转矩阵和平移矢量；

6、将视觉传感器移到位置k+1处，靶标不动，用经纬仪瞄准靶标上至少4个且非共线特征点，记下水平角α和垂直角β，根据式(3)计算出靶标特征点对应的经纬仪像点坐标，用与5同样的方法，计算出从靶标坐标系O_bX_bY_bZ_b到经纬仪坐标系O_tX_tY_tZ_t的量值传递变换矩阵：

$T_k^{\mathrm{tb}}=\left[\begin{array}{cc}{R}_k^{\mathrm{tb}}& t_k^{\mathrm{tb}}\\ 0& 1\end{array}\right]---\left(5\right)$

其中，R_k ^tb和t_k ^tb分别为靶标在第k个位置处从O_bX_bY_bZ_b到O_tX_tY_tZ_t旋转矩阵和平移矢量；

7、计算视觉传感器在第k个位置处时从O_cX_cY_cZ_c到O_tX_tY_tZ_t的量值传递变换矩阵为

$T_k^{\mathrm{tc}}=T_k^{\mathrm{tb}}{T}_k^{\mathrm{bc}}---\left(6\right)$

其中

$T_k^{\mathrm{bc}}=\left[\begin{array}{ccc}{\left(R_k^{\mathrm{cb}}\right)}^{-1}& -{\left(R_k^{\mathrm{cb}}\right)}^{-1}& t_k^{\mathrm{cb}}\\ 0^T& 1& \end{array}\right]$

8、重复步骤3到7，视觉传感器在位置k(k＝1，...，N)处测得的任意一点 $P_{\mathrm{ki}}^c={(x_c,y_c,z_c)}^T$ 可由式(6)统一到O_tX_tY_tZ_t下，即：

$P_{\mathrm{ki}}^t=T_i^{\mathrm{tc}}{P}_{\mathrm{ki}}^c.---\left(7\right)$

实施例

用本发明对一平面物体在两个位置进行了测量。求得摄像机内部参数为

归一化焦距：  fx＝2008.169767

              fy＝2005.994692

偏斜因子：    Sx＝-0.162852

主点坐标：    u0＝400.782364

              v0＝289.420154

径向畸变系数：k1＝0.178490

              k2＝8.055620

传感器在位置1处靶标到摄像机的坐标变换矩阵为

$T_1^{\mathrm{cb}}=\left(\begin{array}{cccc}0.995864& 0.031416& 0.085250& -41.057332\\ 0.030206& -0.999424& 0.015440& 54.502571\\ 0.085686& -0.012801& -0.996240& 853.989508\\ 0& 0& 0& 1\end{array}\right)$

靶标到经纬仪的坐标变换矩阵为

$T_1^{\mathrm{tb}}=\left(\begin{array}{cccc}0.938666& 0.001070& -0.344826& 751.781315\\ -0.002423& -0.999950& -0.009698& 738.726713\\ -0.344819& 0.009939& -0.938617& 2508.647791\\ 0& 0& 0& 0\end{array}\right)$

则可计算出传感器在位置1处从摄像机到经纬仪的坐标变换矩阵为

$T_1^{\mathrm{tc}}=\left(\begin{array}{cccc}0.905421& 0.021960& 0.423946& 425.713\\ -0.034654& 0.999152& 0.022254& 663.843\\ -0.423098& -0.034841& 0.905414& 1719.961\\ 0& 0& 0& 1\end{array}\right)$

传感器在位置2处靶标到摄像机的坐标变换矩阵为

$T_2^{\mathrm{cb}}=\left(\begin{array}{cccc}0.997210& 0.035046& -0.065915& -36.494251\\ 0.036102& -0.999237& 0.014906& 49.625981\\ -0.065342& -0.017244& -0.997714& 900.792345\\ 0& 0& 0& 1\end{array}\right)$

靶标到经纬仪的坐标变换矩阵为

$T_2^{\mathrm{bt}}=\left(\begin{array}{cccc}0.940824& 0.001238& -0.338894& 923.744877\\ -0.002367& -0.999945& -0.010224& 739.294873\\ -0.338888& 0.010421& -0.940769& 2431.180591\\ 0& 0& 0& 1\end{array}\right)$

同样也可计算出传感器在位置2时从摄像机到经纬仪的坐标变换矩阵为

$T_2^{\mathrm{tc}}=\left(\begin{array}{cccc}0.960580& 0.027678& 0.276622& 708.248\\ -0.036730& 0.998944& 0.027598& 663.520\\ -0.275567& -0.036671& 0.960582& 1557.659\\ 0& 0& 0& 1\end{array}\right)$

传感器在位置1和位置2处的测量结果显示在传感器坐标系下，如图4所示，量值传递结果显示在经纬仪坐标系下，如图5所示，图中圆点表示传感器在位置1处的测量结果，十字表示在位置2处的测量结果。从图5可以看出，传感器在两个位置的测量结果经过量值传递，实现了三维视觉测量的全局测量。

Claims (2)

1、一种三维视觉现场全局测量量值传递方法，其特征在于，使用一台经纬仪和一个平面靶标实现三维视觉现场全局测量的量值传递，摄像机模型采用针孔模型，经纬仪的光学系统视为理想的透视投影模型，设O_tX_tY_tZ_t为经纬仪坐标系，O_t为经纬仪的光学中心，X_tO_tZ_t平面与水平面度盘平行，X_t轴方向由用户定义，Y_t轴为通过原点的竖轴，方向竖直向下，Z_t轴方向根据右手法则确定，设在Z＝f处有一成像平面，并设f＝1，则经纬仪坐标系与像平面坐标系之间有如下关系：

$\left\{\begin{array}{c}u=x_t/z_t\\ v=y_t/z_t\end{array}\right.---\left(1\right)$

其中(u，v)为像平面上点的坐标，(x_t，y_t，z_t)为空间点在经纬仪坐标系下的坐标。将式(1)用齐次坐标表示：

$\mathrm{\ρ}\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_t\\ y_t\\ z_t\end{array}\right]---\left(2\right)$

由于经纬仪瞄准目标时其测量数据是目标的水平角α和垂直角β，下式将角度转化为像平面的坐标值：

$\left\{\begin{array}{c}u=1/\tan \mathrm{\α}\\ v=\tan \mathrm{\β}/\sin \mathrm{\α}\end{array}---\left(3\right)\right.$

设全局坐标系与经纬仪坐标系重合，即O_tX_tY_tZ_t，在整个测量过程中经纬仪不移动，视觉传感器坐标系建立在摄像机坐标系下，即O_cX_cY_cZ_c，靶标坐标系O_bX_bY_bZ_b的X_bO_bY_b平面与靶标平面重合，Z_b轴方向符合右手法则，量值传递操作步骤如下：

1.1、求得摄像机内部参数，固定被测物，安装经纬仪，使经纬仪能看到被测物全貌；

1.2、将视觉传感器连接到计算机，打开传感器电源，启动计算机，运行测量系统软件；

1.3、视觉传感器先移动到某一位置k，对被测物局部区域进行三维测量；

1.4、在被测区域附件放置平面靶标，拍摄靶标图像，保存在计算机中，采用Harris角点探测方法提取至少4个非共线图像特征点；

1.5、根据透视几何，利用靶标上特征点坐标及对应的像点坐标，计算出从靶标平面到摄像机像平面的3×3单射矩阵H，由于摄像机内部参数已知，则内部参数矩阵A已知，由H和A可以计算出从靶标坐标系O_bX_bY_bZ_b到摄像机坐标系O_cX_cY_cZ_c的量值传递变换矩阵：

$T_k^{\mathrm{cb}}=\left[\begin{array}{cc}{R}_k^{\mathrm{cb}}& t_k^{\mathrm{cb}}\\ 0& 1\end{array}\right]---\left(4\right)$

其中，R_k ^cb和t_k ^cb分别为传感器和靶标在第k个位置处从O_bX_bY_bZ_b到O_cX_cY_cZ_c旋转矩阵和平移矢量；

1.6、将视觉传感器移到位置k+1处，靶标不动，用经纬仪瞄准靶标上至少4个且非共线特征点，记下水平角α和垂直角β，根据式(3)计算出靶标特征点对应的经纬仪像点坐标，用与1.5同样的方法，计算出从靶标坐标系O_bX_bY_bZ_b到经纬仪坐标系O_tX_tY_tZ_t的量值传递变换矩阵：

$T_k^{\mathrm{tb}}=\left[\begin{array}{cc}{R}_k^{\mathrm{tb}}& t_k^{\mathrm{tb}}\\ 0& 1\end{array}\right]---\left(5\right)$

其中，R_k ^tb和t_k ^tb分别为靶标在第k个位置处从O_bX_bY_bZ_b到O_tX_tY_tZ_t旋转矩阵和平移矢量；

1.7、计算视觉传感器在第k个位置处时从O_cX_cY_cZ_c到O_tX_tY_tZ_t的量值传递变换矩阵为

$T_k^{\mathrm{tc}}=T_k^{\mathrm{tb}}{T}_k^{\mathrm{bc}}---\left(6\right)$

其中

$T_k^{\mathrm{bc}}=\left[\begin{array}{cc}{\left(R_k^{\mathrm{cb}}\right)}^{-1}& -{\left(R_k^{\mathrm{cb}}\right)}^{-1}{t}_k^{\mathrm{cb}}\\ 0^T& 1\end{array}\right]$

1.8、重复步骤1.3到1.7，视觉传感器在位置k(k＝1，…，N)处测得的任意一点 $P_{\mathrm{ki}}^c={(x_c,y_c,z_c)}^T$ 由式(6)统一到O_tX_tY_tZ_t下，即：

$P_{\mathrm{ki}}^t=T_i^{\mathrm{tc}}{P}_{\mathrm{ki}}^c.---\left(7\right)$

2、一种用于三维视觉现场全局测量量值传递方法的平面靶标，其特征在于，在靶标的一个平面上有正方形的黑白相间的方格，每个方格的边长为8～10mm，精度为0.003～0.006mm，方格的行数为8～10，方格的列数为8～10。

Images