CN108447070B - 一种基于像素向量不变关系特征的工业零件缺损检测算法 - Google Patents

Abstract

本发明涉及一种基于像素向量不变关系特征的工业零件缺损检测算法。包括以下步骤：步骤1：对待检测轮廓或局部纹理进行轮廓提取，得到待检测边缘像素；步骤2：定义检测窗口宽度大小，并根据定义的像素线性关系判定函数对检测窗口宽度进行优化调节，实现窗口内像素间方向向量的提取；以预设步长沿待检测边缘滑动该检测窗口，完成所有待检测边缘像素向量的提取；步骤3：计算待检测边缘像素向量的不变关系特征，与标准零件边缘像素间的不变关系特征进行比较，确定零件缺陷与否。本发明能利用轮廓像素在局部位置关系上的差异构建边缘像素向量，并利用向量方向或者向量模值之间的不变信息进行差异匹配，实现缺损检测。

Description

一种基于像素向量不变关系特征的工业零件缺损检测算法

技术领域

本发明属于模式识别与自动化技术领域，具体涉及一种基于像素向量不变关系特征的工业零件缺损检测算法。

背景技术

随着科学技术的发展，生产过程自动化和机械加工的广泛应用，对生产加工的零件精度、质量、加工效率的要求不断提高。同时，零件的缺损检测问题也越来越引起人们的重视。零件缺陷检测是保证零件使用安全的重要手段。传统的零件破损检测方法主要依靠人工鉴别，存在速度慢、数据纪录麻烦、容易造成检测者的视觉疲劳等缺点，而且检测结果具有主观性，难以保证检测的精度和零件的质量定标。但是用机器视觉检测方法可在提高生产效率和生产的自动化程度的同时实现缺陷检测的客观性和标准化。

目前，基于图像的缺损检测技术(defect detection/inspection)大体上可以分为两类：一类是检测工件的纹理缺损(texture defect detection/inspection)。另一类是检测工件的结构缺损(pattern defect detection/inspection)。纹理缺损主要指纹理表面的破损。纹理图像在灰度和结构上具有规律性变化，针对图像的局部纹理区域常使用区域的尺寸，可分辨灰度元素的数目以及这些灰度元素的相互关系来描述。常用检测方法有变换方法、数学形态学法等。结构缺损包括表面裂纹、划痕、凹坑等。作为结构缺损的一种，零件边缘缺损检测主要是通过被测零件与标准零件边缘之间的差异测量的，通过被测零件与标准零件之间进行差异匹配，如果该差异超出一定范围，即为边缘缺损。但是当缺损大小存在不同尺度或者被测零件在视场中的位置与模板之间具有随机的角度偏移时，如何定义这种测量差异将是一个很难解决的问题。针对零件缺损的特征描述往往需要根据缺损种类和状态具体分析，有时候结构缺损在零件表面或视场中的表现形式更类似于一种局部纹理结构的缺损，对它的检测需要参考纹理特征设计的思想来设计描述特征。因此，对设计一种能够克服零件角度偏移，适应零件缺损尺度变化，实现对零件边缘及局部纹理缺损进行描述的特征提出了需求。

发明内容

针对现有技术中的不足，实现存在明显边缘轮廓或局部纹理差异的零件缺损特征描述及缺损检测，设计并提出一种基于像素向量不变关系特征的工业零件缺损检测算法：但凡被测零件缺损部位边缘轮廓或局部纹理存在能够被人眼识别的明显缺损差异，其轮廓像素必将存在局部位置关系上的差异，利用这些差异信息构建边缘像素向量，并利用向量方向或者向量模值之间的不变信息进行差异匹配，实现缺损检测。

本发明为实现上述目的所采用的技术方案是：一种基于像素向量不变关系特征的工业零件缺损检测算法，包括以下步骤：

步骤1：对待检测轮廓或局部纹理进行轮廓提取，得到待检测边缘像素；

步骤2：定义检测窗口宽度大小，并根据定义的像素线性关系判定函数对检测窗口宽度进行优化调节，实现窗口内像素间方向向量的提取；以预设步长沿待检测边缘滑动该检测窗口，完成所有待检测边缘像素向量的提取；

步骤3：计算待检测边缘像素向量的不变关系特征，与标准零件边缘像素间的不变关系特征进行比较，确定零件缺陷与否。

所述步骤1包括：

步骤1.1：选取梯度阈值并运用Canny边缘检测算法，实现对待检测图像中的缺损感兴趣区域的边缘检测，得到边缘连通域轮廓二值图像；

步骤1.2：对提取到的边缘连通域轮廓二值图像根据轮廓位置进行筛选，提取待检测的连通域轮廓像素；

步骤1.3：对待检测的连通域轮廓像素进一步提取存在缺损差异的局部像素连通域，得到待检测边缘像素。

所述步骤2包括：

步骤2.1：定义初始检测窗口宽度w₀；

步骤2.2：从步骤1中得到的待检测边缘像素，选取检测窗口内待检测边缘像素的坐标作为二维像素坐标系的坐标点(x_i,y_i),i＝1,2……m_j；其中，i＝1,2……m_j，m_j为检测窗口内像素点的总个数，j为当前缩小检测窗口的次数；

步骤2.3：计算窗口内像素向量提取的初始判定函数R_ldc；

步骤2.4：若初始判定函数R_ldc＝0，则缩小检测窗口宽度到w_j重新返回步骤2.2；

w_j＝w₀-j*ΔL， (3)

其中，△L为缩小检测窗口的预设步长，j为到当前缩小检测窗口的次数；

步骤2.5：若初始判定函数R_ldc＝1，则采用最小二乘法拟合当前检测窗口内的所有像素点得到拟合直线

求解两个待定参数

和

其中，

代表斜率，

代表截距；变量x代表像素的列坐标，y代表像素的行坐标；

步骤2.6：计算窗口内像素向量提取的第二个判定函数R_rc；

步骤2.7：若判定函数R_rc＝0，则进一步缩小检测窗口宽度到w_j重新返回步骤2.2；

w_j＝w₀-j*ΔL， (3)

其中，△L为缩小检测窗口的预设步长，j为到目前为止缩小检测窗口的次数；

步骤2.8：若判定函数R_rc＝1，此时步骤2.5中计算得到的拟合直线方向就是待求方向向量的方向，即参数

而待求方向向量的模值|v|由检测窗口的宽度和拟合直线的斜率，根据勾股定理得到：

步骤2.9：当当前检测窗口内方向向量求取结束后，返回步骤2.1以当前检测窗口的宽度为预设步长沿待检测边缘滑动检测窗口，保证前后窗口的无缝连接，完成所有待检测边缘像素向量的提取。

所述步骤2.3中计算窗口内像素向量提取的初始判定函数R_ldc，包括：

定义窗口内像素向量提取的初始判定函数R_ldc如下：

上式中，r代表线性相关系数，T_r表示线性相关的判定阈值；线性相关系数r表示两组数据线性相关的程度，即同时增大或减小的程度；当检测窗口内像素坐标点的线性相关系数大于期望判定阈值T_r时，表明窗口内待检测像素坐标点具有线性相关性，此时判定函数值R_ldc置1，否则表明该像素坐标点之间无明显线性相关特性，判定函数值R_ldc置0；

线性相关系数r定义如下：

其中，

m_j表示窗口内待拟合像素坐标点的个数，r表示两变量之间的函数关系与线性的符合程度，r∈[-1,1]；当|r|→1，表示x_i、y_i间线性关系好；当|r|→0，表示x_i、y_i间无线性关系；(x_i,y_i)为检测窗口内像素点的坐标，i＝1,2……m_j，m_j为检测窗口内像素点的总个数，j为当前缩小检测窗口的次数。

所述步骤2.5中的两个待定参数

和

的求解过程为：

计算残差平方和Q值最小：

上式分别对a、b求偏导得：

整理后得到方程组：

解上述方程组(7)便可求得直线参数a和b的最佳估计值：

其中，m_j为检测窗口内像素坐标点的个数，j为当前缩小检测窗口的次数。

所述步骤2.6中的计算窗口内像素向量提取的第二个判定函数R_rc包括：

将上式

代入(4)式求得残差平方和的最小值Q_min，并得到窗口内像素向量提取的第二个判定函数R_rc；

其中，残差平方和的最小值Q_min，表示窗口内像素坐标点与线性最优估计之间的线性离散程度，T_s为线性离散程度的阈值；当Q_min小于线性离散程度阈值T_s时，表明像素坐标点集中分布在最优估计周围，此时置判定系数R_rc为1；当Q_min大于线性离散程度阈值T_s时，表明像素坐标点在最优估计周围的分布并不是很集中，此时置判定函数R_rc为0。

所述步骤3中的，包括：

步骤3.1：定义标准完整零件的不变特征：指标准完整零件的相邻方向向量之间存在如下夹角关系：

T_LI≤θ_IJ≤T_HI (12)

其中，θ_IJ表示第I个方向向量与相邻的第J个方向向量之间的夹角大小，其中J＝I+1；T_LI为θ_IJ的低阈值，T_HI为θ_IJ的高阈值；

步骤3.2：计算步骤2.5中待检测零件的任意相邻两个边缘像素方向向量的夹角，若不在公式(12)定义的范围内，则为缺损零件。

本发明具有以下有益效果及优点：

1.充分利用了零件边缘图像或局部纹理像素间的位置关系构建像素向量及其关系特征，能够实现零件缺损的特征配准，实现零件缺损检测。

2.所设计的像素向量关系不变特征，能够克服被测零件在视场中的位置与模板之间具有随机的角度偏移时，缺损差异测量不固定的缺点，使在一定角度偏移发生时仍能够实现缺损检测，具有一定程度上的偏移不变性。

3.所设计的像素向量关系不变特征，能够根据缺损尺寸的大小及要求，调节向量提取窗口大小，能够保证所提取向量充分接近实际像素间的位置变化关系，具有多尺度适应性和缩放不变性。

4.所设计的像素向量关系不变特征，不仅能够实现对零件轮廓边缘缺损的特征描述及检测，还能够适应零件表面局部纹理或边缘的特征描述及缺损检测。

5.所设计的像素向量关系不变特征，作为一种底层特征，能够在不需要大量训练数据到的情况下实现对零件的缺损检测，并能够达到很高的检测率。

6.所设计的像素向量关系不变特征，采用最小二乘法拟合直线来提取像素向量，充分利用了图像边缘像素坐标的二维几何关系，并能够实现检测窗口的变宽度来提取像素向量，使提取得到的像素向量更接近真实的像素几何变化，并能够标定缺损的具体位置及缺损范围大小。

7.所设计的像素向量关系不变特征是通过两相邻方向向量之间的夹角关系定义的，因为此夹角关系不随零件的尺度、是否平移而变化，也不随提取的轮廓像素在图片上的角度旋转而变化，因此具有尺度缩放、平移、旋转不变性。

8.所设计的像素向量关系不变特征需要根据实际应用的不同零件种类去定义，不同种类的零件具有不同的方向向量夹角关系。根据不同实际应用去定义像素向量间的不变关系也证明了本算法的普遍适用性。

附图说明

图1为算法流程示意图；

图2为待检测边缘像素提取示意图；

图3为标准零件像素向量提取示意图；

图4为小缺陷零件像素向量提取示意图；

图5为大缺陷零件像素向量提取示意图；

图6为标准零件方向向量斜率变化折线图；

图7为小缺损零件方向向量斜率变化折线图；

图8为大缺损零件方向向量斜率变化折线图。

具体实施方式

下面结合附图及实施案例对本发明做进一步的详细说明。

一种基于像素向量不变关系特征的零件缺损检测算法实现主要包括3个步骤：1.待检测边缘像素提取。2.像素向量提取。3.像素向量不变特征定义与匹配。其具体算法流程实现如图1所示。

1.待检测边缘像素提取

如图2所示，首先，选取合适的梯度阈值，运用Canny边缘检测算法，实现对缺损感兴趣区域(如图2(a))的边缘检测，得到感兴趣区域内所有的边缘像素连通域的二值图像，如图2(b)。然后对提取到的边缘连通域轮廓根据轮廓位置进行筛选，提取待检测的轮廓像素,如图2(c)。最后，对筛选得到的连通域像素，进行扫描和截断进一步提取存在明显缺损差异的局部像素连通域，如图2(d)。

2.像素向量提取

首先定义一种对检测窗口内像素坐标点进行线性相关性判定的判定函数R_ldc作为窗口内像素向量提取的初始判定条件。该判别函数定义如下：

上式中，r代表线性相关系数，T_r表示线性相关的判定阈值。线性相关系数r表示两组数据线性相关的程度(同时增大或减小的程度)。当检测窗口内像素坐标点的线性相关系数大于期望判定阈值T_r时，表明窗口内待检测像素坐标点具有一定线性相关性，此时判定函数值R_ldc置1，否则表明该像素坐标点之间无明显线性相关特性，判定函数值R_ldc置0。线性相关系数r定义如下：

其中，

m_j表示窗口内待拟合像素坐标点的个数，r表示两变量之间的函数关系与线性的符合程度，r∈[-1,1]。|r|→1，x_i、y_i间线性关系好，|r|→0，x_i、y_i间无线性关系。(x_i,yi),i＝1,2……m_j为检测窗口内像素点的坐标，m_j为检测窗口内像素点的总个数，j为当前缩小检测窗口的次数。

根据缺损尺度容忍度定义初始检测窗口宽度w₀，从步骤1中得到的待检测边缘像素(图2(d))起点开始，选取定义宽度为w₀的检测窗口内轮廓像素的像素坐标作为二维像素坐标系的坐标点(x_i,y_i),i＝1,2……m_j，此时j＝0。

然后计算窗口内像素向量提取的初始判定函数R_ldc，并根据初始判定函数R_ldc的大小，调节检测窗口宽度大小，即初始判定函数R_ldc等于0则按照一定步长△L缩小检测窗口宽度。重新选取二维像素坐标系的坐标点(x_i,y_i),i＝1,2……m_j，并计算相关系数直到达到某一合理范围。检测窗口宽度为w_j，j代表缩小窗口的次数。

w_j＝w₀-j*ΔL (3)

当检测窗口内二维像素坐标系的坐标点的像素向量提取的初始判定函数R_ldc等于1时，则采用最小二乘法拟合这些坐标点得到拟合直线

式中

和

为两个待定参数，

代表斜率，

代表截距。变量x代表像素的列坐标，y代表像素的行坐标。对于待拟合的二维像素坐标系的坐标点(x_i,y_i),i＝1,2……m_j，我们认为x_i值是准确的，所有的误差只联系着y_i。

因此用最小二乘法估计参数时，要求观测值y_i的偏差的加权平方和为最小。对于等精度观测值的直线拟合来说，使残差平方和Q值最小即可：

上式分别对a、b求偏导得：

整理后得到方程组：

解上述方程组便可求得直线参数a和b的最佳估计值：

将上式

代入(5)式求得残差平方和Q的最小值Q_min，并得到窗口内像素向量提取的第二个判定函数R_rc。

残差平方和的最小值Q_min，表示了窗口内像素坐标点与线性最优估计之间的线性离散程度。T_s为线性离散程度的阈值,当Q_min小于线性离散程度阈值T_s时，表明像素坐标点集中分布在最优估计周围，此时置判定系数R_rc为1。此时计算得到的拟合直线方向就是方向向量方向，即参数

为方向向量斜率。而向量的模值|v|可以由检测窗口的宽度和拟合直线的斜率，根据勾股定理得到：

当Q_min大于线性离散程度阈值T_s时，表明像素坐标点在最优估计周围的分布并不是很集中，此时置判定函数R_rc为0。需要进一步缩小检测窗口，直到判定函数R_rc为1。设置判定函数R_rc的目的是为了解决当数据点存在明显线性关系，但分布相对分散时像素向量的提取问题，如图5零件缺损处所示。

不断以前一次检测窗口宽度为步长，向轮廓像素终点方向滑动检测窗口，确保前后窗口的无缝连接。重复上述检测步骤求得所有方向向量。当轮廓尾端待拟合像素个数少于4个的时候，取消对终点附近像素向量的求取，如图3所示。

如图2到图5分别是所要检测的零件叶片完整与叶片缺损的轮廓像素方向向量提取过程示意。

3.像素向量不变特征定义与匹配

在提取的待检测边缘像素的所有方向向量都求取完毕之后，我们需要根据所求像素向量间的不变特征与标准完整零件的不变特征进行匹配比较来确定所求零件缺损与否。

1)像素向量不变特征定义

在进行匹配比较之前我们首先需要定义标准完整零件的不变特征。这里提到的不变特征主要指所求的相邻方向向量之间的方向变化关系，即两相邻方向向量之间的夹角关系。因为此夹角关系不随零件的尺度、是否平移而变化，也不随提取的轮廓像素在图片上的角度旋转而变化，因此具有尺度缩放、平移、旋转不变性。并且这种不变特征需要根据所应用的不同种类零件去定义，不同的零件具有不同的方向向量夹角关系。因此也说明了本算法的普遍适用性。具体的特征定义如下：

T_LI≤θ_IJ≤T_HI (12)

其中，θ_IJ表示第I个方向向量与相邻的第J个方向向量之间的夹角大小，其中J＝I+1。T_LI为θ_IJ的低阈值，T_HI为θ_IJ的高阈值。

2)像素向量不变特征匹配

在定义好了标准完整零件的不变特征之后，就可以根据待检测零件提取到的边缘像素方向向量的夹角关系进行匹配了。匹配的方法是分别计算待检测零件的θ_ij，然后判断待检测零件的θ_ij是否在公式(12)所定义的范围内。如图4的θ₁₂和图5的θ₁₂、θ₂₃、θ₅₆都存在明显的与图3所定义的向量夹角关系的巨大差异，因此，图4和图5都为缺损零件。图6到图8是对3种零件状态下感兴趣边缘像素向量斜率变化的统计折线图，从图中能够明显观察到两种缺损状态(大面积缺损与小面积缺损)相对于标准零件的巨大差异性，并且能够从中能够明显得到缺损的标号位置和缺损范围大小。

Claims (5)

1.一种基于像素向量不变关系特征的工业零件缺损检测算法，其特征在于，包括以下步骤：

步骤1：对待检测轮廓或局部纹理进行轮廓提取，得到待检测边缘像素；

步骤2：定义检测窗口宽度大小，并根据定义的像素线性关系判定函数对检测窗口宽度进行优化调节，实现窗口内像素间方向向量的提取；以预设步长沿待检测边缘滑动该检测窗口，完成所有待检测边缘像素向量的提取；所述步骤2包括：

步骤2.1：定义初始检测窗口宽度w₀；

步骤2.2：从步骤1中得到的待检测边缘像素，选取检测窗口内待检测边缘像素的坐标作为二维像素坐标系的坐标点(x_i,y_i),i＝1,2……m_j；其中，i＝1,2……m_j，m_j为检测窗口内像素点的总个数，j为当前缩小检测窗口的次数；

步骤2.3：计算窗口内像素向量提取的初始判定函数R_ldc；

步骤2.4：若初始判定函数R_ldc＝0，则缩小检测窗口宽度到w_j重新返回步骤2.2；

w_j＝w₀-j*ΔL， (3)

其中，△L为缩小检测窗口的预设步长，j为到当前缩小检测窗口的次数；

步骤2.5：若初始判定函数R_ldc＝1，则采用最小二乘法拟合当前检测窗口内的所有像素点得到拟合直线

求解两个待定参数

和

其中，

代表斜率，

代表截距；变量x代表像素的列坐标，y代表像素的行坐标；

步骤2.6：计算窗口内像素向量提取的第二个判定函数R_rc；

步骤2.7：若判定函数R_rc＝0，则进一步缩小检测窗口宽度到w_j重新返回步骤2.2；

w_j＝w₀-j*ΔL， (3)

其中，△L为缩小检测窗口的预设步长，j为到目前为止缩小检测窗口的次数；

步骤2.8：若判定函数R_rc＝1，此时步骤2.5中计算得到的拟合直线方向就是待求方向向量的方向，即参数

而待求方向向量的模值|v|由检测窗口的宽度和拟合直线的斜率，根据勾股定理得到：

步骤2.9：当当前检测窗口内方向向量求取结束后，返回步骤2.1以当前检测窗口的宽度为预设步长沿待检测边缘滑动检测窗口，保证前后窗口的无缝连接，完成所有待检测边缘像素向量的提取；

步骤3：计算待检测边缘像素向量的不变关系特征，与标准零件边缘像素间的不变关系特征进行比较，确定零件缺陷与否，包括：

步骤3.1：定义标准完整零件的不变特征：指标准完整零件的相邻方向向量之间存在如下夹角关系：

T_LI≤θ_IJ≤T_HI (12)

其中，θ_IJ表示第I个方向向量与相邻的第J个方向向量之间的夹角大小，其中J＝I+1；T_LI为θ_IJ的低阈值，T_HI为θ_IJ的高阈值；

步骤3.2：计算步骤2.5中待检测零件的任意相邻两个边缘像素方向向量的夹角，若不在公式(12)定义的范围内，则为缺损零件。

2.按照权利要求1的一种基于像素向量不变关系特征的工业零件缺损检测算法，其特征在于，所述步骤1包括：

步骤1.1：选取梯度阈值并运用Canny边缘检测算法，实现对待检测图像中的缺损感兴趣区域的边缘检测，得到边缘连通域轮廓二值图像；

步骤1.2：对提取到的边缘连通域轮廓二值图像根据轮廓位置进行筛选，提取待检测的连通域轮廓像素；

步骤1.3：对待检测的连通域轮廓像素进一步提取存在缺损差异的局部像素连通域，得到待检测边缘像素。

3.按照权利要求1所述的一种基于像素向量不变关系特征的工业零件缺损检测算法，其特征在于，所述步骤2.3中计算窗口内像素向量提取的初始判定函数R_ldc，包括：

定义窗口内像素向量提取的初始判定函数R_ldc如下：

上式中，r代表线性相关系数，T_r表示线性相关的判定阈值；线性相关系数r表示两组数据线性相关的程度，即同时增大或减小的程度；当检测窗口内像素坐标点的线性相关系数大于期望判定阈值T_r时，表明窗口内待检测像素坐标点具有线性相关性，此时判定函数值R_ldc置1，否则表明该像素坐标点之间无明显线性相关特性，判定函数值R_ldc置0；

线性相关系数r定义如下：

其中，

m_j表示窗口内待拟合像素坐标点的个数，r表示两变量之间的函数关系与线性的符合程度，r∈[-1,1]；当|r|→1，表示x_i、y_i间线性关系好；当|r|→0，表示x_i、y_i间无线性关系；(x_i,y_i)为检测窗口内像素点的坐标，i＝1,2……m_j，m_j为检测窗口内像素点的总个数，j为当前缩小检测窗口的次数。

4.按照权利要求1所述的一种基于像素向量不变关系特征的工业零件缺损检测算法，其特征在于，所述步骤2.5中的两个待定参数

和

的求解过程为：

计算残差平方和Q值最小：

上式分别对a、b求偏导得：

整理后得到方程组：

解上述方程组(7)便可求得直线参数a和b的最佳估计值：

其中，m_j为检测窗口内像素坐标点的个数，j为当前缩小检测窗口的次数。

5.按照权利要求4所述的一种基于像素向量不变关系特征的工业零件缺损检测算法，其特征在于，所述步骤2.6中的计算窗口内像素向量提取的第二个判定函数R_rc包括：

将上式

代入(4)式求得残差平方和的最小值Q_min，并得到窗口内像素向量提取的第二个判定函数R_rc；

其中，残差平方和的最小值Q_min，表示窗口内像素坐标点与线性最优估计之间的线性离散程度，T_s为线性离散程度的阈值；当Q_min小于线性离散程度阈值T_s时，表明像素坐标点集中分布在最优估计周围，此时置判定系数R_rc为1；当Q_min大于线性离散程度阈值T_s时，表明像素坐标点在最优估计周围的分布并不是很集中，此时置判定函数R_rc为0。

Images