CN108318491A - 一种基于频谱曲率分析的织物缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于频谱曲率分析的织物缺陷检测方法，包含如下步骤：消除纹理背景频率分量：通过对织物图像的频谱曲率特征进行掩模屏蔽，从而消除属于周期性纹理背景部分的频率分量，得到仅包含缺陷信息的残余频谱；多通道滤波：采用多通道滤波器组对前述残余频谱进行频域滤波，从而分离和增强位于各不同频段的缺陷特征；阈值分割与融合：对前述滤波输出图像进行阈值分割，通过按位“或”操作融合分割结果，得到最终单一的检测结果图。本发明不要求关于织物纹理和缺陷的先验知识，具有良好的自适应性和抗干扰能力，可有效地用于对织物缺陷的自动在线检测。

Description

一种基于频谱曲率分析的织物缺陷检测方法

技术领域

本发明涉及工业产品表面缺陷视觉检测技术领域，特别涉及一种基于频谱曲率分析的织物缺陷检测方法。

背景技术

在纺织品生产过程中，织物表面的疵病检测是影响此类产品质量的关键因素。长期以来，这类产品表面的缺陷检测大量依赖有经验的技术工人通过人工目视的方式进行，其低效、低精度、低复现性，以及工作乏味枯燥的缺点，成为制约生成企业改善产品质量、提升市场竞争力的关键瓶颈。例如，实践表明人类视觉系统只能检测出织物表面疵病的50-70％，精度不超过80％，而表面缺陷的存在将使相关产品的市场价值降低45％-65％。机器视觉技术由于其无损、高效、自动化及智能化等突出优势，在光学薄膜、PCB板、ITO面板、印品、玻璃等产品的表面质量检测领域得到了日益广泛的应用。然而，对于诸如织物、皮革、TFT-LCD面板等类具有复杂纹理背景的表面微小缺陷检测，由于纹理分析的复杂性，一直是视觉检测领域的应用难点及研究热点。

目前学术界和工业界提出的织物表面缺陷视觉检测方法主要为有监督、半-监督检测方法。其中，有监督方法需要大量的缺陷样本用作系统参数训练和学习。但在实际应用中，由于现代生产线性能的提高以及缺陷出现的随机性，获取足够多的、典型的缺陷样本非常困难，造成这类方法难以应用。其次，基于有监督方法的检测系统泛化能力差，遇到系统训练样本库中没有包含的缺陷经常无能为力，适应性差。另一方面，基于半-监督方法的系统虽然不需要事先采集缺陷样本，但仍需若干无缺陷样本用作系统标定的“标准”模板图像。检测时，半-监督方法将待测图像与“标准”模板图像进行对比，从而判断出缺陷的存在性并对其定位。然而，实际的生产环境中，光照变化、地基振动、导辊张紧力的波动、织物材料固有的弹性形变，以及其他随机性干扰，系统状态容易出现漂移，由于累计效应，最终待测图像与“标准”模板图像之间易出现较大的偏差，如二者的相对偏转角度、位置偏移、伸缩变形量、分辨率、图像灰度及对比度等方面的差异等。这些偏差将造成系统检测精度严重下降或者失效，生产线因此不得不经常停机以重新进行冗长繁琐的系统调整和标定。

发明内容

为克服现有技术的缺点和不足，本发明给出了基于频谱曲率分析的织物缺陷检测方法，该方法基于频谱曲率分析，检测前不需要收集任何缺陷样本，也无需标准图像用作参考模板，且对待测表面纹理模式无特殊要求,可有效地用于对织物缺陷的自动在线检测。

为实现以上目的，本发明采取如下技术方案：

一种基于频谱曲率分析的织物缺陷检测方法，包含如下步骤：

步骤(1)：消除纹理背景频率分量：通过对织物图像的频谱曲率特征进行掩模屏蔽，从而消除属于周期性纹理背景部分的频率分量，得到仅包含缺陷信息的残余频谱；

步骤(2)：多通道滤波：采用多通道滤波器组对步骤(1)的所述残余频谱进行频域滤波，从而分离和增强位于各不同频段的缺陷特征；

步骤(3)：阈值分割与融合：对步骤(2)中滤波输出图像进行阈值分割，通过按位“或”操作融合分割结果，得到最终单一的检测结果图。

作为优选的技术方案，步骤(1)中，所述的消除纹理背景频率分量，具体过程如下：

对输入的待测图像f(x,y)进行二维快速傅里叶变换，得到复数形式的变换结果其中，x,y分别为水平、垂直方向像素坐标；u,v为相互正交的空间频率坐标；的值域为复数，相应的频谱图计算为：

将频谱图A(u,v)中的每个频谱系数取对数以压缩谱系数的动态范围，得到对数频谱图L(u,v)，采用如下公式：

L(u,v)＝log[A(u,v)+1]

遍历对数频谱图中的每一个像素点，计算各像素点处的高斯曲率，所用高斯曲率计算公式为：

其中，具体求解时采用差分运算代替微分运算，分别计算如下：

L_u＝L(u+1,v)-L(u,v),

L_v＝L(u,v+1)-L(u,v),

L_uu＝L(u+1,v)+L(u-1,v)-2L(u,v),

L_vv＝L(u,v+1)+L(u,v-1)-2L(u,v),

使用ReLU分段线性函数将高斯曲率值进行截断操作，去除负曲率值，得到非负高斯曲率值构成频谱曲率分布图C(u,v)：

对高斯曲率分布图C(u,v)采用3-Sigma原理进行阈值化处理，生成二值化频谱掩模图M(u,v)：

其中，σ_c是高斯曲率分布图C(u,v)的标准偏差；

用频谱掩模图M(u,v)与傅里叶变换进行对应元素相乘以实现按位屏蔽操作，得到消除纹理频率成分的残余傅里叶变换频谱

其中，符号⊙表示两矩阵元素对应乘积运算，即Hadamard乘积。

作为优选的技术方案，步骤(2)中，所述的多通道滤波使用不同中心频率与带宽的环形Gabor滤波器组与残余傅里叶变换分别相乘；滤波操作直接在频域进行；

对乘得的结果进行逆傅里叶变换后，得到图像空间中的滤波输出图像{d_i(x,y)|i＝1,2,3,4}，具体为：

在频域中，所述环形Gabor滤波器组由4个滤波器构成，具体为：

其中，F₀是环形Gabor滤波器组中滤波器的中心频率，为i表示环形Gabor滤波器组中各滤波器的编号，i＝1,2,3,4，其中心频率分别为F₀＝{1/8,1/16,1/32,1/64}；α是尺度参数，决定环形Gabor滤波器组中各滤波器的频带宽度，各滤波器尺度参数定义为使带宽与中心频率成正比。

作为优选的技术方案，步骤(3)中，所述的阈值分割与融合，具体包括：

对滤波输出图像{d_i(x,y)|i＝1,2,3,4}分别进行阈值分割，得到相应的二值化图像{b_i(x,y)|i＝1,2,3,4}：

其中，和分别是d_i(x,y)的灰度均值与标准差,而t_d是分割阈值，可由大津法即OTSU法计算得到；

将二值化图像{b_i(x,y)|i＝1,2,3,4}按位“或”操作，得到最终的单一检测结果b(x,y)：

b(x,y)＝b₁(x,y)|b₂(x,y)|b₃(x,y)|b₄(x,y)

所述位“或”操作使得对于任何像素点位置(x,y)，当且4个滤波器在该点输出的值均为0，结果图像b(x,y)在该点的值才为0，表明该像素点属于背景；否则为1，表示该像素点属于缺陷,等价于：

本发明与现有技术相比的优点和效果：

1、本发明提供的方法检测前不需要收集任何缺陷样本，也无需标准图像用作参考模板，对待测表面纹理模式无特殊要求，没有复杂的参数标定过程，从而消除了传统检测方法缺陷样本收集困难、易受系统状态漂移影响的弊端，具有检测速度快、精度高，检测结果稳定，适应性好的优点。

2、本发明通过高斯曲率分析，可以稳定判定属于周期性背景纹理的频谱分量，屏蔽这些分量即可消除纹理模式，之后通过环形Gabor滤波器组直接在频域滤波，可以快速检测出位于不同频带的缺陷信号。

3、本发明考虑图像噪声及缺陷类型多样性的特点，定义了位于不同中心频率、带宽不同的环形Gabor滤波器组对残余频谱进行滤波，有效抑制噪声，增强潜在的缺陷信号。

附图说明

图1为本发明的处理流程图。

图2(a1)-图2(b2)为实施例中的织物图像样本及其对数频谱图。其中，图2(a1)、图2(a2)分别为无缺陷和有缺陷的样本；图2(b1)、图2(b2)分别为它们的对数频谱图。

图3(a1)-图3(b2)为本发明的高斯曲率分布图及掩模图。其中，图3(a1)、图3(a2)分别为无缺陷样本和有缺陷样本的高斯曲率分布图；图3(b1)、图3(b2)则分别为无缺陷样本和有缺陷样本的二值化频谱掩模图。

图4(a1)-图4(c2)为本发明的屏蔽纹理频率成分后得到残余频谱图及分离出的纹理背景、缺陷图。其中，图4(a1)、图4(a2)分别为无缺陷样本和有缺陷样本的残余频谱图；图4(b1)、图4(b2)分别为两个样本分离出的纹理背景图；图4(c1)、图4(c2)分别为由残余频谱恢复得到的缺陷图。

图5(a)-图5(d)为本发明所用的环形Gabor滤波器组。其中，图5(a)、图5(b)、图5(c)、图5(d)为环形Gabor滤波器组中不同中心频率的滤波器。

图6(a1)-图6(e2)为本发明的多通道滤波器输出及最终检测结果。其中，图6(a1)、图6(b1)、图6(c1)、图6(d1)为无缺陷样本对应的各通道滤波结果；图6(e1)为无缺陷样本的检测结果；图6(a2)、图6(b2)、图6(c2)、图6(d2)为有缺陷样本对应的各通道滤波结果；图6(e2)为有无缺陷样本的检测结果。

图7(a1)-图7(f4)为本发明的典型样本测试图。其中，图7(a1)、图7(b1)、图7(c1)、图7(d1)、图7(e1)、图7(f1)为无缺陷样本各测试图，其余为有缺陷样本各测试图。图7(a1)、图7(a2)、图7(a3)、图7(a4)分别为各样本的原始样本图；图7(b1)、图7(b2)、图7(b3)、图7(b4)分别为各样本的高斯曲率图；图7(c1)、图7(c2)、图7(c3)、图7(c4)分别为各样本经过掩模屏蔽的残余频谱图；图7(d1)、图7(d2)、图7(d3)、图7(d4)分别为各样本从残余频谱恢复的缺陷图；图7(e1)、图7(e2)、图7(e3)、图7(e4)分别为各样本恢复的纹理背景图；图7(f1)、图7(f2)、图7(f3)、图7(f4)分别为各样本检测结果。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例

如图1所示为本发明的处理流程图，步骤1、消除织物表面的周期性纹理信号：如图2(a1)、图2(a2)所示的分别为无缺陷和有缺陷的织物图像样本，对输入的待测图像样本f(x,y)进行二维快速傅里叶变换(2D FFT)，得到变换结果其中，x,y分别为水平、垂直方向像素坐标，u,v为相互正交的空间频率坐标。的值域为复数，相应的频谱图计算为：

由频谱图A(u,v)生成对数频谱图L(u,v)，如图2(b1)、图2(b2)所示的分别为无缺陷和有缺陷样本的对数频谱图：

L(u,v)＝log[A(u,v)+1]

遍历对数频谱图中的每一个像素点，计算各像素点处的高斯曲率。所用高斯曲率计算公式为：

其中，实现时，采用差分运算代替微分运算，分别计算如下：

L_u＝L(u+1,v)-L(u,v),

L_v＝L(u,v+1)-L(u,v),

L_uu＝L(u+1,v)+L(u-1,v)-2L(u,v),

L_vv＝L(u,v+1)+L(u,v-1)-2L(u,v),

采用ReLU分段线性函数对高斯曲率计算结果进行截断操作，得到如图3(a1)、图3(a2)所示的分别为无缺陷样本和有缺陷样本的高斯曲率分布图C(u,v)，即

对高斯曲率分布图C(u,v)采用3-Sigma原理进行阈值化处理，生成如图3(b1)、图3(b2)所示的分别为无缺陷样本和有缺陷样本的二值化频谱掩模图M(u,v),即：

其中，σ_c是高斯曲率分布图C(u,v)的标准偏差。

用频谱掩模图M(u,v)对傅里叶变换进行按位屏蔽操作，得到如图4(a1)、图4(a2)所示的分别为无缺陷样本和有缺陷样本消除了纹理频率成分的残余频谱

其中，⊙表示两矩阵元素对应相乘，即Hadamard乘积。

如图4(b1)、图4(b2)分别为无缺陷样本和有缺陷样本分离出的纹理背景图，图4(c1)、图4(c2)分别为无缺陷样本和有缺陷样本由残余频谱恢复得到的缺陷图。

步骤2、多通道滤波：在残余频谱图中，背景纹理信息已经被极大地抑制和消除，从其中检测缺陷因此得到简化。考虑图像噪声及缺陷类型多样性的特点，本发明定义了位于不同中心频率、带宽不同的环形Gabor滤波器组对残余频谱进行滤波，目的是抑制噪声、增强潜在的缺陷信号。为了加快计算速度，滤波操作直接在频域进行。

在频域中，所述环形Gabor滤波器组由4个滤波器构成，定义为：

其中，F₀是滤波器的中心频率；α是尺度参数，决定滤波器频带宽度。取F₀＝{1/8,1/16,1/32,1/64}，则该组滤波器频带基本上覆盖了整个频率空间，且中心频率高的滤波器，其带宽也越宽，因此可实现较好的时-频分辨率，使得无论是低频还是高频缺陷信息均可被有效检测。环形Gabor滤波器组如图5(a)-图5(d)所示，其中，图5(a)、图5(b)、图5(c)、图5(d)表示不同中心频率的滤波器，滤波器中心频率F₀依次递减，分别为1/8,1/16,1/32和1/64。

根据卷积定理，空域卷积运算相当于频域乘法运算，乘积经逆傅里叶变换(IDFT)后可得到空域滤波结果图像{d_i(x,y)|i＝1,2,3,4}：

如图6(a1)-图6(e2)所示为多通道滤波器输出及最终检测结果。其中，图6(a1)、图6(b1)、图6(c1)、图6(d1)为无缺陷样本对应的各通道滤波结果；图6(a2)、图6(b2)、图6(c2)、图6(d2)为有缺陷样本对应的各通道滤波结果。

步骤3、阈值分割：对于滤波结果图像{d_i(x,y)|i＝1,2,3,4}，分别进行阈值分割，得到一组二值化分割结果图像{b_i(x,y)|i＝1,2,3,4}：

其中，和分别是d_i(x,y)的灰度均值与标准差,而t_d是分割阈值，可由OTSU法计算得到。

将全部通道滤波结果{b_i(x,y)|i＝1,2,3,4}按位“或”操作，生成如图6(e1),图6(e2)所示的分别为无缺陷样本和有缺陷样本的检测结果b(x,y)：

b(x,y)＝b₁(x,y)|b₂(x,y)|b₃(x,y)|b₄(x,y)

所述的按位“或”操作等价于：

它使得对于任何像素位置(x,y)，当且仅当所有滤波器在该点输出的值均为0，结果图像b(x,y)中该点的值才为0，表明其属于背景；否则为1，表示属于缺陷。如图7(a1)-图7(f4)所示为典型样本的检测图,其中，图7(a1)、图7(b1)、图7(c1)、图7(d1)、图7(e1)、图7(f1)为无缺陷样本各测试图，其余为有缺陷样本各测试图。图7(a1)、图7(a2)、图7(a3)、图7(a4)分别为各样本的原始样本图；图7(b1)、图7(b2)、图7(b3)、图7(b4)分别为各样本的高斯曲率图；图7(c1)、图7(c2)、图7(c3)、图7(c4)分别为各样本经过掩模屏蔽的残余频谱图；图7(d1)、图7(d2)、图7(d3)、图7(d4)分别为各样本从残余频谱恢复的缺陷图；图7(e1)、图7(e2)、图7(e3)、图7(e4)分别为各样本恢复的纹理背景图；图7(f1)、图7(f2)、图7(f3)、图7(f4)分别为各样本检测结果。可以看出，本发明给出的方法对于不同尺寸、不同类型的缺陷有良好的适应能力。

最后应说明的是：以上所述仅为本发明的优选实施例，并不用于限制本发明。尽管参照前述实施例对本发明进行了详细说明，但对于本领域的技术人员而言，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则内所作的任何修改、等同替换及改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于频谱曲率分析的织物缺陷检测方法，其特征在于，包含如下步骤：

步骤(1)：消除纹理背景频率分量：通过对织物图像的频谱曲率特征进行掩模屏蔽，从而消除属于周期性纹理背景部分的频率分量，得到仅包含缺陷信息的残余频谱；

步骤(2)：多通道滤波：采用多通道滤波器组对步骤(1)的所述残余频谱进行频域滤波，从而分离和增强位于各不同频段的缺陷特征；

步骤(3)：阈值分割与融合：对步骤(2)中滤波输出图像进行阈值分割，通过按位“或”操作融合分割结果，得到最终单一的检测结果图。

2.根据权利要求1所述的基于频谱曲率分析的织物缺陷检测方法，其特征在于，步骤(1)中，所述的消除纹理背景频率分量，具体过程如下：

对输入的待测图像f(x,y)进行二维快速傅里叶变换，得到复数形式的变换结果其中，x,y分别为水平、垂直方向像素坐标；u,v为相互正交的空间频率坐标；的值域为复数，相应的频谱图计算为：

将频谱图A(u,v)中的每个频谱系数取对数以压缩谱系数的动态范围，得到对数频谱图L(u,v)，采用如下公式：

L(u,v)＝log[A(u,v)+1]

遍历对数频谱图中的每一个像素点，计算各像素点处的高斯曲率，所用高斯曲率计算公式为：

其中，具体求解时采用差分运算代替微分运算，分别计算如下：

L_u＝L(u+1,v)-L(u,v),

L_v＝L(u,v+1)-L(u,v),

L_uu＝L(u+1,v)+L(u-1,v)-2L(u,v),

L_vv＝L(u,v+1)+L(u,v-1)-2L(u,v),

使用ReLU分段线性函数将高斯曲率值进行截断操作，去除负曲率值，得到非负高斯曲率值构成频谱曲率分布图C(u,v)：

对高斯曲率分布图C(u,v)采用3-Sigma原理进行阈值化处理，生成二值化频谱掩模图M(u,v)：

其中，σ_c是高斯曲率分布图C(u,v)的标准偏差；

用频谱掩模图M(u,v)与傅里叶变换进行对应元素相乘以实现按位屏蔽操作，得到消除纹理频率成分的残余傅里叶变换频谱

其中，符号⊙表示两矩阵元素对应乘积运算，即Hadamard乘积。

3.根据权利要求1所述的基于频谱曲率分析的织物缺陷检测方法，其特征在于，步骤(2)中，所述的多通道滤波使用不同中心频率与带宽的环形Gabor滤波器组与残余傅里叶变换分别相乘；滤波操作直接在频域进行；

对乘得的结果进行逆傅里叶变换后，得到图像空间中的滤波输出图像{d_i(x,y)|i＝1,2,3,4}，具体为：

在频域中，所述环形Gabor滤波器组由4个滤波器构成，具体为：

其中，F₀是环形Gabor滤波器组中滤波器的中心频率，为i表示环形Gabor滤波器组中各滤波器的编号，i＝1,2,3,4，其中心频率分别为F₀＝{1/8,1/16,1/32,1/64}；α是尺度参数，决定环形Gabor滤波器组中各滤波器的频带宽度，各滤波器尺度参数定义为使带宽与中心频率成正比。

4.根据权利要求1所述的基于频谱曲率分析的织物缺陷检测方法，其特征在于，步骤(3)中，所述的阈值分割与融合，具体包括：

对滤波输出图像{d_i(x,y)|i＝1,2,3,4}分别进行阈值分割，得到相应的二值化图像{b_i(x,y)|i＝1,2,3,4}：

其中，和分别是d_i(x,y)的灰度均值与标准差,而t_d是分割阈值，可由大津法即OTSU法计算得到；

将二值化图像{b_i(x,y)|i＝1,2,3,4}按位“或”操作，得到最终的单一检测结果b(x,y)：

b(x,y)＝b₁(x,y)|b₂(x,y)|b₃(x,y)|b₄(x,y)

所述位“或”操作使得对于任何像素点位置(x,y)，当且4个滤波器在该点输出的值均为0，结果图像b(x,y)在该点的值才为0，表明该像素点属于背景；否则为1，表示该像素点属于缺陷,等价于：