CN112669265A - 基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法 - Google Patents

Abstract

本发明属于图像处理相关技术领域，其公开了一种基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，包括以下步骤：(1)将采集到的工件表面图像转为灰度图；(2)求图像的梯度方向特征图，并将梯度方向进行压缩；(3)生成梯度方向矩形和垂直梯度方向矩形；(4)分别计算得到所述梯度方向矩形及所述垂直梯度方向矩形的灰度特征，并分别写入新的图像中以得到对应的梯度方向特征图及垂直梯度方向特征图；(5)将梯度方向特征图及垂直梯度方向特征图相乘，并做灰度拉伸变换；(6)对图像做阈值提取以得到疑似缺陷区域，并对所述疑似缺陷区域进行对比度筛选以得到目标区域，继而完成表面缺陷检测。本发明提高了准确性和实时性。

Description

基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法

技术领域

本发明属于图像处理相关技术领域，更具体地，涉及一种基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法。

背景技术

工件在加工过程中通常因车削而留下周期性纹理，而受刀具磨损、磨具内异物影响，会在工件外表面留下形状各异的缺陷区域。在不稳定光学元件和不同工件表面形态共同作用下，导致工件表面缺陷对比度差异较大。因此，如何在具有周期性纹理工件表面，高效的检测出不同对比度的缺陷区域成为工业产线中亟待解决的问题。

基于机器视觉的缺陷检测方法中，阈值提取缺陷区域为最常用的方法之一，具有代表性的如最大类间方差法(OTSU算法)，通过最大化前景与背景之间的方差实现异常区域的提取，该方法以一副图像的直方图为计算基础，当背景与前景面积相差不大时，灰度差异明显时，可以取得很好的分割效果，且运行速度较快。近年来，采用机器学习实现工件表面缺陷的检测方兴未艾。这其中，以深度卷积神经网络为例，其通过多层卷积实现图像特征的提取和缺陷区域的检测，具有较强的适应性和较高的检测准确度。

阈值提取算法实现缺陷区域的检测时，如何有效的确定阈值范围，是保证阈值提取算法准确性的重点、难点，对于对比度相差较小的缺陷检测，则难以通过直接阈值的方式实现缺陷区域的提取。在基于机器学习的方法中，为保证算法的鲁棒性和准确性，通常需采用深且复杂的网络结构，这将对模型的部署和实时性检测带来挑战。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，所述方法为去除工件表面周期性纹理特征和满足不同对比度缺陷的准确、实时检查的需求，通过傅里叶变换生成频域图像，在频域中去除图像的纹理特征，对于去除纹理后的图像，缺陷区域灰度与其周围区域的灰度差异是非常微弱的，图像的梯度特征是图像中灰度变化最大的表征，梯度方向亦是灰度变化最大的方向，利用这一特性生成梯度方向矩形和垂直梯度方向矩形，放大缺陷区域与非缺陷区域灰度差异，增强缺陷区域特征，实现不同对比度缺陷区域的检测。

为实现上述目的，按照本发明的一个方面，提供了一种基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，所述方法主要包括以下步骤：

(1)将采集到的工件表面图像转为灰度图，并对所述灰度图进行去纹理及滤波处理；

(2)求取经步骤(1)滤波后图像的梯度方向特征图，并将梯度方向特征图的梯度方向进行压缩；

(3)以像素点为中心来生成该像素点梯度方向矩形和垂直梯度方向矩形；

(4)分别计算得到所述梯度方向矩形及所述垂直梯度方向矩形的灰度特征，并分别写入新的图像中以得到对应的梯度方向特征图及垂直梯度方向特征图，接着对得到的梯度方向特征图及垂直梯度方向特征图进行滤波处理；

(5)将步骤(4)得到的梯度方向特征图及垂直梯度方向特征图相乘以增强缺陷特征和抑制非缺陷特征，并做灰度拉伸变换；

(6)对步骤(5)得到的图像做阈值提取以得到疑似缺陷区域，并对所述疑似缺陷区域进行对比度筛选以得到目标区域，继而完成表面缺陷检测。

进一步地，步骤(1)中，采用傅里叶变换来去除图像中的纹理。

进一步地，步骤(2)中，采用sobel算子计算梯度方向，计算时采用的卷积核计算公式为：

式中，θ范围为[1，180]。

进一步地，步骤(2)中采用的梯度方向压缩公式为：

其中，梯度方向压缩后的特征图记为g′(x，y)。

进一步地，步骤(3)中，梯度方向矩形和垂直梯度方向矩形的宽w和高h是根据缺陷大小自行调整的。

进一步地，步骤(4)中滤波后的图像记为f_(x，y)，f_⊥(x，y)；步骤(5)中将步骤(4)得到的梯度方向特征图及垂直梯度方向特征图相乘时所采用的乘法运算公式为：

R＝εf_(x，y)f_⊥(x，y)

式中，R为两特征图乘积结果图像；ε为调整因子。

进一步地，乘积结果图R图的拉伸通过如下公式实现：

Rmax：乘积结果图中的最大灰度值；

Rmin：乘积结果图中的最小灰度值；

Rscale：乘积结果图拉伸结果。

进一步地，步骤(6)中，阈值T的确定公式为：

其中，

n代表目标阈值；

hist为Rscale的灰度直方图；

m指直方图中灰度索引大于n的；

c值为筛选阈值常数，通常根据缺陷大小得出。

进一步地，对于阈值分割得到的疑似缺陷区域通过对比度筛选得到目标区域，对比度计算公式为：

式中，con是指计算得到的对比度值；abs为取绝对值运算，以保证所得对比度值均为正值；G_n代表正常区域灰度均值；G_d代表疑似缺陷区域灰度均值。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法主要具有以下有益效果：

1.将采集到的工件表面图像转为灰度图，并对所述灰度图进行去纹理及滤波处理，如此实现在去除纹理的同时保持缺陷区域边缘清晰。

2.以点为单位的梯度方向矩形特征计算方法实现了对于不同对比度缺陷的准确快速检测。

3.通过傅里叶变换生成频域图像，在频域中去除图像的纹理特征，对于去除纹理后的图像，缺陷区域灰度与其周围区域的灰度差异是非常微弱的，由于图像的梯度特征是图像中灰度变化最大的表征，梯度方向亦是灰度变化最大的方向，利用这一特性生成梯度方向矩形和垂直梯度方向矩形，放大缺陷区域与非缺陷区域灰度差异，增强缺陷区域特征，实现不同对比度缺陷区域的检测。

4.所述方法的步骤简单，易于实施，有利于推广应用。

附图说明

图1是本发明提供的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法的流程示意图；

图2是本发明提供的工件表面图像对应的灰度图；

图3是梯度方向特征图压缩的效果图；

图4是梯度方向、垂直梯度方向、梯度方向矩形、垂直梯度方向矩形的示意图；

图5是处理得到的特征图；

图6是本发明确定区域是否为缺陷的局部对比度处理区域的示意图；

图7中的a～x分别是对不同种类缺陷的检测效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1及图2，本发明提供的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，所述方法主要包括以下步骤：

步骤1，将采集到的工件表面图像转为灰度图，对该灰度图执行去纹理操作并做滤波处理，以去除图像中的噪声。具体地，采用傅里叶变换去除图像中的纹理，纹理的去除通过屏蔽频率图像中恒定范围频率实现。

步骤2，求取得到的图像的梯度方向特征图，并将梯度方向特征图的梯度方向每x°压缩为1°。具体地，采用sobel算子计算梯度方向，计算时采用的卷积核计算公式为：

式中，θ范围为[1，180]。

所采用的梯度方向压缩公式为：

梯度方向压缩后的特征图记为g′(x，y)。

步骤3，以像素点为中心来生成该点梯度方向矩形和垂直梯度方向矩形，梯度的方向由步骤2压缩的梯度方向确定。

具体地，对于图像中任一点(x_i，y_i)，可通过查找步骤2中压缩后梯度方向特征图g′(x，y)得到该点的梯度方向

生成梯度方向矩形和垂直梯度方向矩形，梯度方向矩形和垂直梯度方向矩形的宽w和高h可根据缺陷大小自行调整。

步骤4，分别计算步骤3中梯度方向矩形和垂直梯度方向矩形的灰度特征，并写入新的图像中以得到两幅对应的特征图，进而做滤波处理。

具体地，梯度方向矩形和垂直梯度方向矩形可用灰度特征包括但不限于：

能量：W₂＝∑_i∑_jI²(i，j)

熵：W₁＝-∑_i∑_jI(i，j)log I(i，j)

方差：

将计算得到的梯度方向特征和垂直梯度方向特征分别写入梯度方向矩形特征图和垂直梯度方向矩形特征图，并做滤波处理，滤波后图像记为f_(x，y)，f_⊥(x，y)。

步骤5，将得到的梯度方向矩形特征图和垂直梯度方向矩形特征图相乘以增强缺陷特征和抑制非缺陷特征，并做灰度拉伸变换，以将灰度范围拉伸至0～255。

具体地，将滤波后的两个图像做乘法运算以实现对柱面图像中纹理和噪声的抑制同时增强图像缺陷区域特征。乘法运算公式为：

R＝εf_(x，y)f_⊥(x，y)

式中，R为两特征图乘积结果图像；ε为调整因子，根据经验值调整。

乘积结果图R图的拉伸通过如下公式实现：

Rmax：乘积结果图中的最大灰度值；

Rmin：乘积结果图中的最小灰度值；

Rscale：乘积结果图拉伸结果。

步骤6，对得到的拉伸图像做阈值提取以得到疑似缺陷区域，公式表达式为：

阈值T的确定根据：

其中，

n代表目标阈值；

hist为Rscale的灰度直方图；

m指直方图中灰度索引大于n的；

c值为筛选阈值常数，通常根据缺陷大小得出。

对于阈值分割得到的疑似缺陷区域通过对比度筛选得到目标区域，对比度计算公式为：

式中，con是指计算得到的对比度值；abs为取绝对值运算，以保证所得对比度值均为正值，G_n代表正常区域灰度均值，G_d代表疑似缺陷区域灰度均值。图6展示了对比度的计算区域，G_d值为内部深色区域灰度均值，G_n值为外围浅色区域灰度均值，空白区域为正常区域与异常区域之间的过渡区域，不参与计算，引入过渡区域，避免了弱对比度缺陷检测时边缘过渡区域对于缺陷检测的影响；灰色区域为背景。

缺陷区域I_d(x，y)的确定通过如下公式计算得到：

C_r为对比度阈值；

C为正常区域对比度；

G_L为缺陷周围正常区域亮区域灰度均值；

G_D为缺陷周围正常区域暗区域灰度均值；

k为对比度调节系数，需根据经验值设定，范围可设定为[0，1]之间；

C值的计算区域与G_n值计算区域相同，G_L计算区域与G_D计算区域的获得是通过最大类间方差法(OTSU)获得。

以下以一个具体实施例来对本发明进行进一步地详细说明。

实施例

以换向器柱面缺陷检测为例对本发明进行详细描述，但本发明的应用对象并不限于此，换向器是电机中的重要零件，其在生产过程中外表面由于外圆车削而留下周期性纹理特征，同时表面缺陷等特征因加工刀具、模具的变化而留下不同缺陷特征，呈现出不同的对比度特征，本发明将在以上情况下有效检查出换向器中的柱面缺陷。具体包括以下步骤：

步骤1，采集换向器外表面图像并转为灰度图I，如图2所示，对此灰度图执行去纹理操作并做滤波处理，以去除图像中的噪声。在换向器加工过程中，车外圆操作会在圆柱体外表面留下周期性纹理特征，该特征会对缺陷的检测造成影响。因此将图像从空间域转为频率域，在频率域中利用巴特沃斯带阻滤波器进行滤波后，逆傅里叶变换得到无纹理图像。对于变换后的图像采用双边滤波和中值滤波相结合，进一步去除图像中的噪声。

步骤2，求取步骤1中得到的滤波后图像的梯度方向特征图并将梯度方向每x°压缩为1°。

经步骤1处理后消除了图像表面纹理和噪声的影响，可直接求取图像梯度方向特征，为进一步降低求解梯度方向特征中噪声的影响，采用sobel水平模板g_x和竖直模板g_y分别求取图像梯度的水平方向分量值和竖直方向分量值，根据水平方向分量值和竖直方向分量值，利用反正切公式求得图像的梯度方向特征，公式如下：

为使图像中相邻点的方向具有一致性，将图像方向压缩，每x°压缩为1°，相应的公式为：

式中，g代表压缩前梯度方向图；g′代表压缩后梯度方向图，见图3。

步骤3，以任一像素点为中心，生成该点梯度方向矩形和垂直梯度方向矩形，该点的梯度方向通过压缩后梯度方向图g′上的对应点得到。梯度方向矩形和垂直梯度方向矩形的宽和高的设定将直接影响参与计算特征的点的数量，在应用过程中应根据目标缺陷的大小进行设定，通常大目标可将高度设置较大，小目标适当减小高度，但不建议将宽度设置的较大。其中，图4给出了一点的梯度方向、垂直梯度方向、梯度方向矩形和垂直梯度方向矩形示意图。

步骤4，分别计算步骤3中梯度方向矩形和垂直梯度方向矩形的灰度特征，并分别写入新的图像中，得到两幅对应的特征图f_(x，y)，f_⊥(x，y)，并作滤波处理。

可采用的灰度特征较多，常用的灰度特征如能量、熵、方差等，相应的计算公式如下：

能量：W₂＝∑_i∑_jI²(i，j)；

熵：W₁＝-∑_i∑_jI(i，j)log I(i，j)；

方差：

对于两幅特征图f_(x，y)和f_⊥(x，y)，可利用高斯滤波或中值滤波去除图像中的噪声，增强图像的连续性。

步骤5，对步骤4中滤波后的图像相乘以增强缺陷特征和抑制非缺陷特征，并做灰度拉伸变换，将灰度范围拉伸至0～255。

其中，步骤4中得到的两幅特征图像分别反应了原图在梯度方向和垂直梯度方向特征，两者相乘在增强图像缺陷的同时可抑制非缺陷区域。图像拉伸则进一步增强图像缺陷特征及抑制非缺陷特征。

乘法运算公式为：

R＝εf_(x，y)f_⊥(x，y)

R为两特征图乘积结果图像；ε为调整因子，可根据需要调整。

进一步地，步骤5中，乘积结果图R图的拉伸通过如下公式实现：

Rmax：乘积结果图中的最大灰度值；

Rmin：乘积结果图中的最小灰度值；

Rscale：乘积结果图拉伸结果，见图5。

步骤6，对步骤5中得到的拉伸图像提取阈值，进而得到缺陷区域，执行灰度特征筛选，以得到目标缺陷区域。

其中，步骤6中对拉伸结果图做阈值提取，以得到疑似缺陷区域，公式表达为：

阈值T的确定是根据：

其中，n代表目标阈值，hist为Rscale的灰度直方图；m指直方图中灰度索引大于n的；c值为筛选阈值常数，通常根据缺陷大小得出，在换向器柱面缺陷检测算法中设定为0.2。

进一步地，对于阈值分割得到的疑似缺陷区域通过对比度筛选得到目标区域，对比度计算公式为：

式中，con是指计算得到的对比度值。abs为取绝对值运算，以保证所得对比度值均为正值，G_n代表正常区域灰度均值，G_d代表疑似缺陷区域灰度均值。图6展示了对比度的计算区域，G_d值为内部深色区域灰度均值，G_n值为外围浅色区域灰度均值，空白区域为正常区域与异常区域之间的过度区域，不参与计算，灰色区域为背景。

进一步地，缺陷区域I_d(x，y)的确定通过如下公式计算得到：

C_r为对比度阈值；

C为正常区域对比度；

G_L为缺陷周围正常区域亮区域灰度均值；

G_D为缺陷周围正常区域暗区域灰度均值；

k为对比度调节系数，需根据经验值设定，范围可设定为[0，1]之间。

C值的计算区域与G_n值计算区域相同，G_L计算区域与G_D计算区域的获得是通过最大类间方差法(OTSU)获得。图7展示了不同对比度缺陷的检测效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于，该方法包括以下步骤：

(1)将采集到的工件表面图像转为灰度图，并对所述灰度图进行去纹理及滤波处理；

(2)求取经步骤(1)滤波后图像的梯度方向特征图，并将梯度方向特征图的梯度方向进行压缩；

(3)以像素点为中心来生成该像素点梯度方向矩形和垂直梯度方向矩形；

(4)分别计算得到所述梯度方向矩形及所述垂直梯度方向矩形的灰度特征，并分别写入新的图像中以得到对应的梯度方向特征图及垂直梯度方向特征图，接着对得到的梯度方向特征图及垂直梯度方向特征图进行滤波处理；

(5)将步骤(4)得到的梯度方向特征图及垂直梯度方向特征图相乘以增强缺陷特征和抑制非缺陷特征，并做灰度拉伸变换；

(6)对步骤(5)得到的图像做阈值提取以得到疑似缺陷区域，并对所述疑似缺陷区域进行对比度筛选以得到目标区域，继而完成表面缺陷检测。

2.如权利要求1所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：步骤(1)中，采用傅里叶变换来去除图像中的纹理。

3.如权利要求1所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：步骤(2)中，采用sobel算子计算梯度方向，计算时采用的卷积核计算公式为：

式中，θ范围为[1,180]。

4.如权利要求3所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：步骤(2)中采用的梯度方向压缩公式为：

其中，梯度方向压缩后的特征图记为g′(x,y)。

5.如权利要求1所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：步骤(3)中，梯度方向矩形和垂直梯度方向矩形的宽w和高h是根据缺陷大小自行调整的。

6.如权利要求1所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：步骤(4)中滤波后的图像记为f_(x,y),f_⊥(x,y)；步骤(5)中将步骤(4)得到的梯度方向特征图及垂直梯度方向特征图相乘时所采用的乘法运算公式为：

R＝εf_(x,y)f_⊥(x，y)

式中，R为两特征图乘积结果图像；ε为调整因子。

7.如权利要求6所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：乘积结果图R图的拉伸通过如下公式实现：

Rmax:乘积结果图中的最大灰度值；

Rmin:乘积结果图中的最小灰度值；

Rscale:乘积结果图拉伸结果。

8.如权利要求1-7任一项所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：步骤(6)中，阈值T的确定公式为：

其中，

n代表目标阈值；

hist为Rscale的灰度直方图；

m指直方图中灰度索引大于n的；

c值为筛选阈值常数，通常根据缺陷大小得出。

9.如权利要求8所述的基于傅里叶变换和图像梯度特征实现表面缺陷检测的方法，其特征在于：对于阈值分割得到的疑似缺陷区域通过对比度筛选得到目标区域，对比度计算公式为：

式中，con是指计算得到的对比度值；abs为取绝对值运算，以保证所得对比度值均为正值；G_n代表正常区域灰度均值；G_d代表疑似缺陷区域灰度均值。

Images