CN102107374A - 轴盘类零件直径尺寸在线检测方法 - Google Patents

Abstract

本发明涉及一种轴盘类零件直径尺寸在线检测方法，属于图像测量技术领域。本发明能实时检测轴盘类零件加工时直径尺寸变化，保证较高的检测效率和较好的测量精度。首先，对CCD摄像机的内部参数标定，基于CCD摄像机平面标定方法，修正镜头畸变对图像造成的失真变形；然后，对CCD摄像机的外部参数标定，用CCD摄像机采集一个已知直径的轴盘类零件的图像，通过亚像素边缘检测算法提取图像中零件的两条边缘，利用亚像素边缘坐标和得到的摄像机内参数，标定得到零件相对于CCD摄像机的外部参数；最后，进行测量，利用CCD摄像机采集被测轴盘类零件图像，提取其亚像素边缘，通过标定得到的内外部参数，即可求解得被测零件的直径尺寸。

Description

轴盘类零件直径尺寸在线检测方法

技术领域

本发明属于图像测量技术领域。

背景技术

轴是组成机器的一种重要零件，它支承着其它转动件回转并传递转矩，同时又通过轴承和机架联接。所有轴上零件都围绕轴心线作回转运动，形成了一个以轴为基准的组合体——轴系部件。轴类零件是各种机械装置中应用最多的一种零件，随着技术的进步，要求机械装置的精度、速度越来越高，在机械加工过程中时常要对轴类零件进行高精度地加工。

目前，对轴类零件的精度控制是通过数控机床自身精度来保证的，而数控机床是利用计算机控制工作台的运动来保证加工尺寸精度的。然而机床使用一定时间后，系统的摩擦和磨损将对机床的运动精度与定位精度产生影响，降低加工零件的尺寸精度。此外，加工过程中刀具不可避免的径向磨损也将降低零件的尺寸精度。这两种情况对加工零件尺寸精度的影响，机床的控制系统是无法控制与补偿的。因此，从保证加工零件尺寸精度的角度看，目前的数控机床仍然是开环控制系统。

近年来随着电子、光学和计算机等技术的发展，推动测量技术朝着在线测量、高精度、非接触、智能化方向发展。计算机视觉测量技术就是近些年发展起来的一种现代检测技术。在加工过程中实现在线视觉测量尺寸，可以实时地将零件的尺寸信息反馈到机床的控制系统，调整工作台或刀具的运动，保证加工零件的尺寸达到精度要求。计算机视觉检测技术利用物体的图像作为检测的载体，具有非接触、全视场测量和自动化程度高的特点。

目前视觉测量的对象大多是二维尺寸，测量的尺寸或形状所在的物体表面就是成像平面，且被测基准尺寸都在几毫米以下。相比之下，在机械工业中，被测物多是三维实体，如轴、齿轮或具有复杂形状的零件，被测基准尺寸往往在几十到上百毫米，而且零件多处在加工运动状态下，此时，对于二维尺寸的测量方法就不再适用。

以往利用计算机视觉对轴类零件的直径测量的方法主要分为两种类型：1.使用单个摄像机，利用轴在接收幕上的投影进行拍摄测量，实际上是将轴的测量的三维问题转化为二维平面问题，对轴径完成间接的测量。由于轴的投影精度直接影响最终的测量结果，因此需要精度较高的投影照明设备，而且在轴的加工中，投影幕的摆放也是一个难题。2.使用两个(或多个)摄像机对轴进行测量，多幅图像的数据融合，以及摄像机的固定精度，都会为最终的测量结果带来影响。而且以上两种方法都没有考虑镜头畸变对最终测量精度的影响，对摄像机和被测零件的相对位置关系也有很严格的要求，这些都限制了其在机械工业中的应用前景。

目前根据二维图像信息获得被测目标的二维平面信息是比较成熟的技术，可以获得较高的测量精度。然而通过二维图像信息得到被测目标的空间几何信息仍然是目前研究的难点问题，以往工作解决的途径是通过增加摄像机的数量，进行多角度拍摄，利用同一目标的不同角度图像获得目标的空间几何信息。但是由于需要多幅图像的信息融合，以及多个摄像机的空间位置标定，不但增加了测量工作的难度，还会带来很高的成本。

一种更有效的轴盘类零件直径尺寸在线检测方法是采用机器视觉方法，考虑零件的成像几何关系，并综合应用摄像机标定，亚像素边缘检测等方法实现测量。这种方法仅用一台CCD摄像机，因此成本较低。利用摄像机标定来修正镜头畸变造成的图像变形，可有效地提高测量精度，通过零件的成像模型，建立摄像机外部参数标定模型，可以有效地消除由于零件与摄像机摆放不垂直造成的透视变形的影响，从而放松对摄像机摆放位置的要求，更利于实际应用。

发明内容

本发明的目的在于提供一种轴盘类零件直径尺寸在线检测方法，以克服上述现有的机器视觉检测存在的不足，实现在线检测，同时保证较低的成本、较高的检测效率和较好的测量精度。

本发明通过建立零件直径尺寸与CCD摄像机成像平面之间的空间几何关系，结合摄像机标定技术、亚像素边缘检测技术等实现被测零件的直径在线测量，其包括以下步骤：

1.标定CCD摄像机的内部参数；

2.标定CCD摄像机的外部参数；

3.测量被测零件的直径。

上述步骤1中所述的标定CCD摄像机的内部参数，是基于张正友提出的摄像机平面标定算法，利用高精度标定板的不同姿态的图像，标定出摄像机内部参数，以修正镜头畸变对图像造成的失真变形，提高尺寸测量精度，具体过程包括下列步骤：

1)利用CCD摄像机采集标定板不同姿态的图像9幅；

2)利用Bouguet工具箱检测出图像中角点的亚像素坐标；

3)在每幅图像中心取250×250像素的方框，考虑到图像中心附近镜头畸变小，因此用方框内的角点求解摄像机内参矩阵的初值；

4)利用内参矩阵初值求解径向和切向畸变系数初值，以及标定板外参初值；

5)利用所有不同姿态的标定板图像中的所有提取的角点的亚像素坐标，对摄像机内部参数矩阵、径向和切向畸变系数、标定板外参进行优化求解，此为多元最优化问题，可采用修正牛顿法求解。

上述步骤2中所述的标定CCD摄像机的外部参数，具体过程包括以下步骤：

1)将一已知直径尺寸的零件安装好，将此作为标定轴，安装位置要与被测零件一致。用CCD摄像机采集标定轴的图像；

2)将采集到的图像送到计算机系统里进行处理，首先，用鼠标在图像中的上下边缘处分别选取计算区域，用一维灰度矩边缘检测方法检测两侧边缘的亚像素坐标，通过空间几何关系和CCD摄相机内部参数，得到CCD摄像机的外部参数，即零件轴线相对于摄像机成像平面的空间位置；

上述步骤3中所述的测量被测零件的直径，具体过程包括以下步骤：

1)将被测零件安装好，安装位置要与标定轴一致，用CCD摄像机采集被测轴的图像，CCD摄像机位置和姿态与步骤2中一致；

2)将采集到的图像送到计算机系统里进行处理，首先，用鼠标在图像中的上下边缘处分别选取计算区域，用一维灰度矩边缘检测方法检测两侧边缘的亚像素坐标，通过CCD摄相机内部参数和外部参数，求解被测轴的直径。

本发明的积极效果在于：通过标定CCD摄像机的内部参数，有效地修正镜头畸变对图像造成的失真变形；通过标定CCD摄像机的外部参数，求解出零件的直径尺寸与CCD摄像机成像面之间的空间几何关系，有效地消除由于零件与摄像机摆放不垂直造成的透视变形的影响，从而放松对摄像机摆放位置的要求，更利于实际应用。本发明克服了现有的图像视觉检测中存在的不足，仅使用一台CCD摄像机实现在线检测，同时保证较高的检测效率和较好的测量精度，对直径小于等于100mm的轴件测量，测量精度小于等于±0.018mm。

附图说明

图1是轴盘类零件直径尺寸在线检测方法的标定硬件图。

图2是轴盘类零件直径尺寸在线检测方法的在线检测硬件图。

图3是摄像机标定时所用的标定板图像示意图。

图4是摄像机成像坐标变换原理示意图。

其中(a)是摄像机坐标系A，图像像素坐标系B，图像物理坐标系；

    (b)是世界坐标系D。

图5是轴盘类零件的成像模型示意图。

图6是轴盘类零件直径测量建立坐标系示意图。

图7是被测零件偏心情况示意图。

图中：1.背景光源，2.标定板，3.轴件，4.镜头，5.CCD摄像机，6.数据线，7.计算机

      A.摄像机坐标系，B.图像像素坐标系，C.图像物理坐标系，D.世界坐标系。

具体实施方式

本发明通过建立零件直径尺寸与CCD摄像机成像平面之间的空间几何关系，结合摄像机标定技术、亚像素边缘检测技术等实现被测零件的直径在线测量，其包括以下步骤：

1.标定CCD摄像机的内部参数。基于张正友提出的摄像机平面标定算法，利用高精度标定板的不同姿态的图像，标定出摄像机内部参数，以修正镜头畸变对图像造成的失真变形，提高尺寸测量精度，具体过程包括下列步骤：

1)利用CCD摄像机采集标定板不同姿态的图像9幅。如图1所示，将标定板置于背景光源与CCD摄像机之间，采集标定板不同姿态的图像，得到的9幅图像如图3所示。

2)利用Bouguet提取角点工具箱检测出图像中角点的亚像素坐标；

3)在每幅图像中心取250×250像素的方框，考虑到图像中心附近镜头畸变小，因此用方框内的角点求解摄像机内参矩阵的初值；

4)利用内参矩阵初值求解径向和切向畸变系数初值，以及标定板外参初值；

5)利用所有不同姿态的标定板图像中的所有提取的角点的亚像素坐标，对摄像机内部参数矩阵、径向和切向畸变系数、标定板外参进行优化求解，此为多元最优化问题，可采用修正牛顿法求解。

在摄像机成像和标定过程中涉及到世界坐标系(O_w，X_w，Y_w，Z_w)、摄像机坐标系(O_c，X_c，Y_c，Z_c)、图像物理坐标系(O₁，x，y)和图像像素坐标系(O_t，u，v)，成像的过程即是空间物点在这四个坐标系中的一系列变换过程，如图4所示，本发明采用的标定模型如下：

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\end{array}\right]+T---\left(1\right)$

$\left[\begin{array}{c}{x}_u\\ y_u\end{array}\right]=\frac{1}{Z_c}\left[\begin{array}{c}{X}_c\\ Y_c\end{array}\right]---\left(2\right)$

$\left[\begin{array}{c}{x}_u\\ y_u\end{array}\right]=(1+k_1{r}^2+k_2{r}^4)\left[\begin{array}{c}{x}_d\\ Y_d\end{array}\right]+\left[\begin{array}{c}2p_1{x}_d{y}_d+p_2(r^2+2{x_d}^2)\\ p_1(r^2+2{y_d}^2)+2p_2{x}_d{y}_d\end{array}\right],$ 其中， $r=\sqrt{{x_d}^2+{y_d}^2}---\left(3\right)$

$\left[\begin{array}{c}{x}_p\\ y_p\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{\α}& 0& u_0\\ 0& \mathrm{\β}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_d\\ y_d\\ 1\end{array}\right]---\left(4\right)$

其中，(X_w，Y_w，Z_w)为世界坐标，(X_c，Y_c，Z_c)为摄像机坐标，(x_u，y_u)和(x_d，y_d)分别为理想图像坐标和实际图像坐标，(x_p，y_p)为像素坐标，(x_p，y_p)为镜头畸变系数，R和T为旋转矩阵和平移向量，摄像机内参矩阵为

2.标定CCD摄像机的外部参数。具体过程包括以下步骤：

1)将一已知直径尺寸的零件安装好，将此作为标定轴，安装位置要与被测零件一致。用CCD摄像机采集标定轴的图像，如图2所示，将零件置于背景光源与CCD摄像机之间，采集零件图像；

2)将采集到的图像送到计算机系统里进行处理，首先，用鼠标在图像中的上下边缘处分别选取计算区域，用一维灰度矩边缘检测方法检测两侧边缘的亚像素坐标，通过空间几何关系和CCD摄相机内部参数，得到CCD摄像机的外部参数，即零件轴线相对于摄像机成像平面的空间位置。

其中，标定轴线外部参数的数学建模过程如下：

空间几何关系的建立是基于轴的成像模型，如图5所示。由于轴盘类零件的表面是曲面，根据成像原理，零件的外轮廓投影到摄像机的感光面上形成两条边缘L_u1和L_u2，边缘与摄像机光心O_c形成两个投影平面L_u1O_c和L_u2O_c，两个平面的交线L与零件的回转轴线平行。由于轴的对称性，两个投影平面的角分面L_uO_c通过轴的回转轴线。图像中边缘的两侧分别是背景和零件表面。

为测量轴径，首先需要建立坐标系。以标定轴轴心O_w为原点，建立世界坐标系W(O_wX_wY_wZ_w)，如图6所示。设空间点的坐标由W中转换到摄像机坐标系中的旋转矩阵为

平移向量为t(T_x，T_y，T_z)，则光心O_c点在W中的世界坐标为-R^-1t，由于O_c点在W的Z_w轴上，设其在W中的坐标为(0，0，d)，则有(0，0，d)^T＝-R^-1t，即：

t＝-R(0，0，d)^T    (5)

则确定轴线只需四个独立参数，即：

由内参标定模型，将边缘点的像素坐标由摄像机标定模型投影到摄像机坐标系下，设其坐标为(x_c，y_c，z_c)，其在W下的坐标为(x_w，y_w，z_w)，则：

$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+t---\left(6\right)$

由于边缘点在摄像机的感光面上，且感光面距光心O_c点的距离为镜头的有效焦距f，因此，z_c＝f＝1。

将感光面上的边缘点投影到O_wX_wY_w面上，设投影点在W下的坐标为(x，y，0)，则有：

$\left[\begin{array}{c}x\\ y\end{array}\right]=\frac{d}{d-z_w}\left[\begin{array}{c}{x}_w\\ y_w\end{array}\right]---\left(7\right)$

由几何关系，由任一投影点(x_i，y_i，0)均可求解轴径D_1i，即：

$D_{1i}=\frac{2d}{\sqrt{{y_i}^2+d^2}}\left|y_i\right|---\left(8\right)$

理想情况下，对于标定轴，求解出的D_1i应为准确轴径D₁。因此，将

作为优化变量，建立如下优化模型，可由LM算法进行求解得到优化变量的最优解：

$\min \mathrm{imize}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{\left|\right|D_{1i}-D_1\left|\right|}^2---\left(9\right)$

对于优化变量

初值的求解过程如下：

对于标定轴，由摄像机坐标系下的边缘点，可拟合得到两条边缘方程为：

$\left\{\begin{array}{c}{L}_{u1}:y=k_{1}x+b_1,z=1\\ L_{u2}:y=k_{2}x+b_2,z=1\end{array}\right.---\left(10\right)$

设两切面L_u1O_c，L_u2O_c及其交线L的法向量分别为(m₁，n₁，1)，(m₂，n₂，1)和(m_x，n_x，1)，则：

$m_1=\frac{k_1}{b_1},n_1=-\frac{1}{b_1},m_2=\frac{k_2}{b_2},n_2=-\frac{1}{b_2}---\left(11\right)$

由于交线L与轴线，即W的X_w轴平行，则X_w轴在摄像机坐标系下的方向向量为(m_x，n_x，1)。设Z_w轴在摄像机坐标系下的方向向量为(m_z，n_z，1)，其中，m_z，n_z由下式求解：

$\left\{\begin{array}{c}{(m_z,n_z,1)}^T(m_x,n_x,1)=0\\ \frac{|m_z{m}_1+n_z{n}_1+1|}{\sqrt{{m_z}^2+{n_z}^2+1}\sqrt{{m_1}^2+{n_1}^2+1}}=\frac{|m_z{m}_2+n_z{n}_2+1|}{\sqrt{{m_z}^2+{n_z}^2+1}\sqrt{{m_2}^2+{n_2}^2+1}}=\sin \frac{\mathrm{\α}}{2}\end{array}\right.---\left(12\right)$

其中，α为两切面夹角，即：

$\cos \mathrm{\α}=\frac{|m_1{m}_2+n_1{n}_2+1|}{\sqrt{{m_1}^2+{n_1}^2+1}\sqrt{{m_2}^2+{n_2}^2+1}}---\left(13\right)$

因标定轴轴线与X_w轴重合，由几何关系，O_c点到轴线的距离d为：

$d=\frac{D_1/2}{\sin (\mathrm{\α}/2)}---\left(14\right)$

由W的X_w轴和Z_w轴在摄像机坐标系和W中的方向向量分别为(m_x，n_x，1)和(1，0，0)，(m_z，n_z，1)和(0，0，1)，则可求解

3.测量被测零件的直径。具体过程包括以下步骤：

1)将被测零件安装好，安装位置要与标定轴一致。用CCD摄像机采集被测轴的图像，CCD摄像机位置和姿态与步骤2中一致；

2)将采集到的图像送到计算机系统里进行处理，首先，用鼠标在图像中的上下边缘处分别选取计算区域，用一维灰度矩边缘检测方法检测两侧边缘的亚像素坐标，通过CCD摄相机内部参数和外部参数，求解被测轴的直径。

其中，求解直径的数学建模过程如下：

由标定过程，得到外参

如果标定轴和被测轴为两次装卡，则需要尽量降低二次装夹造成的同轴度不一致的影响。被测轴轴心设为O点，刀具加工后被测轴和标定轴的实体轴线平行但不重合，如图7所示。这里仅考虑二次装夹造成在Y_w轴方向上的同轴度差异，因为单CCD摄像机图像测量会损失深度方向信息，Z_w轴方向上的同轴度差异无法获得。设被测轴轴心O点的世界坐标为(0，ΔTy，0)，并设(7)式求出的上下边缘点为(x_1i，y_1i，0)，(x_2i，y_2i，0)，i＝1，2，...，c，取：

$b_1=\frac{1}{c}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{y}_{1i},b_2=\frac{1}{c}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{y}_{2i}---\left(15\right)$

则由几何关系，得：

$\frac{b_1-\mathrm{\ΔTy}}{\mathrm{\ΔTy}-b_2}=\frac{\sqrt{{b_1}^2+d^2}}{\sqrt{{b_2}^2+d^2}}---\left(16\right)$

整理得：

$\mathrm{\ΔTy}=\frac{b_2\sqrt{{b_1}^2+d^2}+b_1\sqrt{{b_2}^2+d^2}}{\sqrt{{b_1}^2+d^2}+\sqrt{{b_2}^2+d^2}}---\left(17\right)$

由几何关系，由任一投影点(x_i，y_i，0)均可求解轴径D_2i(y_i＝y_1i，y_2i)，即：

$\left\{\begin{array}{c}{D}_{2i}=2\sqrt{\mathrm{\Δ}{\mathrm{Ty}}^2+d^2}\sin ({\mathrm{\α}}_i/2)\\ \cos ({\mathrm{\α}}_i/2)=\frac{(\mathrm{\Δ}{\mathrm{Ty}}^2+d^2)+({y_i}^2+d^2)-{(y_i-\mathrm{\ΔTy})}^2}{2\sqrt{\mathrm{\Δ}{\mathrm{Ty}}^2+d^2}\sqrt{{y_i}^2+d^2}}\end{array}\right.---\left(18\right)$

整理得：

$D_{2i}=\frac{2d}{\sqrt{{y_i}^2+d^2}}|y_i-\mathrm{\ΔTy}|---\left(19\right)$

则被测轴的图像测量轴径为：

$D_2=\frac{1}{c}\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{D}_{2i}---\left(20\right)$

Claims (4)

1.一种轴盘类零件直径尺寸在线检测方法，其特征在于，通过建立零件直径尺寸与CCD摄像机成像平面之间的空间几何关系，结合摄像机标定、亚像素边缘检测实现被测零件的直径在线测量，其包括以下步骤：

1)标定CCD摄像机的内部参数；

2)标定CCD摄像机的外部参数；

3)测量被测零件的直径。

2.根据权利要求1所述的轴盘类零件直径尺寸在线检测方法，其特征在于，所述步骤1)中所述的标定CCD摄像机的内部参数，是基于张正友提出的摄像机平面标定算法，利用高精度标定板的不同姿态的图像，标定出摄像机内部参数，以修正镜头畸变对图像造成的失真变形，提高尺寸测量精度，具体操作包括下列步骤：

1)利用CCD摄像机采集标定板不同姿态的图像9幅；

2)利用Bouguet工具箱检测出图像中角点的亚像素坐标；

3)在每幅图像中心取250×250像素的方框，考虑到图像中心附近镜头畸变小，用方框内的角点求解摄像机内参矩阵的初值；

4)利用内参矩阵初值求解径向和切向畸变系数初值，以及标定板外参初值；

5)利用所有不同姿态的标定板图像中的所有提取的角点的亚像素坐标，对摄像机内部参数矩阵、径向和切向畸变系数、标定板外参进行优化求解，此求解采用修正牛顿法进行多元最优化处理。

3.根据权利要求1所述的轴盘类零件直径尺寸在线检测方法，其特征在于，所述步骤2)中所述的标定CCD摄像机的外部参数，具体操作包括以下步骤：

1)将一已知直径尺寸的零件安装好，以此作为标定轴，安装位置要与被测零件一致。用CCD摄像机采集标定轴的图像；

2)将采集到的图像送到计算机系统里进行处理，首先，用鼠标在图像中的上下边缘处分别选取计算区域，用一维灰度矩边缘检测方法检测两侧边缘的亚像素坐标，通过空间几何关系和CCD摄相机内部参数，得到CCD摄像机的外部参数，即零件轴线相对于摄像机成像平面的空间位置；

4.根据权利要求1所述的轴盘类零件直径尺寸在线检测方法，其特征在于，所述步骤3)中所述的测量被测零件的直径，具体操作包括以下步骤：

1)将被测零件安装好，安装位置要与标定轴一致，用CCD摄像机采集被测轴的图像，CCD摄像机位置和姿态与步骤2)中一致；

2)将采集到的图像送到计算机系统里进行处理，首先，用鼠标在图像中的上下边缘处分别选取计算区域，用一维灰度矩边缘检测方法检测两侧边缘的亚像素坐标，通过CCD摄相机内部参数和外部参数，求解被测轴的直径。

Images