CN105701477A - 一种基于平稳小波变换视觉显著性的织物疵点检测方法 - Google Patents

Abstract

本发明公开了一种基于平稳小波变换的视觉显著性的织物疵点检测方法，包括平稳小波变换、背景估计、高斯模型和分割四部分。首先我们利用平稳小波变换产生多尺度多层次的细节子图，经过忽略高频细节信息逆变换提取图像特征；然后通过背景估计算法对图像进行分块计算生成多个背景子图，比较计算得到局部显著图；接着对局部显著图进行高斯概率密度估计，产生全局显著图；最后采用迭代阈值分割方法对显著图分割，得到织物疵点检测结果。本方法综合考虑织物纹理特征的随机性和疵点种类的多样性，对待测织物疵点图像进行无监督的检测，具有较高的检测精度；且本方法对输入图像的尺寸没有要求，自适应能力强；计算速度较快，适合在线检测。

Description

一种基于平稳小波变换视觉显著性的织物疵点检测方法

技术领域

本发明涉及纺织品图像处理的技术领域，具体涉及一种基于平稳小波变换(SWT)视觉显著性的织物疵点检测方法，利用图像的平稳小波变换和显著性分析方法对织物疵点图像进行疵点的检测和定位。

背景技术

织物疵点检测是纺织品制造过程中质量控制的重要环节，通过对织物疵点的检测有利于发现生产过程中的工艺问题，从而及时改进生产工艺、提高织物的质量等级。随着集成电路和图像处理技术的飞速发展，机器视觉已经在工业表面检测领域中得到了越来越广泛的应用，以计算机视觉来代替人工操作不仅可以提高检测速度，降低劳动成本，而且通过布匹疵点自动检测系统可以为布匹质量等级的评定提供双方可信的参考标准，有利于国际贸易的往来。织物疵点检测与判别方法是该类系统的核心环节，直接影响着系统的性能。

目前，关于织物疵点检测算法大致分为以下三类：基于统计的方法、基于模型的方法和基于频谱分析的方法。(1)基于统计的方法通过研究背景与疵点在纹理、灰度等方面的不同统计特性实现织物疵点的有效检测，简单易行，得到了广泛的研究，但不同纹理、灰度统计策略对检测效果影响较大。(2)基于模型的方法通过建立模型、参数估计提取图像纹理特征，计算量大，实现复杂，在线学习尤为困难，疵点检测效果差目前已很少研究。(3)基于谱分析的方法主要针对具有均匀纹理的织物图像，将其变换到频域时，其纹理由一些基本的纹理基元按照周期性规则构成，纹理基元的周期性有利于进行疵点检测。常用的处理方法有快速傅里叶变换(FFT)、基于Gabor滤波器的方法、Gabor滤波和形态学结合的方法、小波变换等。基于谱分析的方法检测效果往往受滤波器组选择的影响较大。

目前，提出的疵点检测方法在一定程度上达到了疵点检测目的，但仍有许多共性的问题和新问题仍然未得到解决或仍待进一步研究：1)布匹种类较多，造成表面纹理多样化(譬如：斜纹、花纹等)，大部分方法对纹理比较简单的布匹检测效果好，而对复杂纹理的织物检测效果较差，不能有效地把疵点与背景分离开来。2)织物疵点种类较多，有横裆疵、斜纹疵、弓弧、断纬疵、斑点疵、扭结纱疵等90多种，目前的检测方法一般只能检测特定的几种疵点类型，且检测精度有待提高。

根据大量神经学研究表明，人类视觉具有快速对视觉场景中感兴趣区域快速选择与定位的能力。织物疵点图像虽然纹理复杂，但疵点在织物图像中较为显著。因此，基于视觉显著性模型的织物疵点检测具有很好的研究价值。目前已有的视觉显著性模型主要分为：基于特征融合的视觉显著性模型，基于图论的视觉显著性模型，基于频谱分析的视觉显著性模型。近些年越来越多的学者倾向于利用频谱分析模型构建显著图。从上个世纪开始小波理论就已经发展到很重要的地位。小波变换(WaveletTransform，WT)在1980年代被首次应用到信号处理上，在过去的几十年里，WT在图像处理领域中一直被认为具有很大的应用潜力。WT具有多分辨率、空间和频率定位的特性，是进行图像特征提取的理想工具。基于小波理论的优点，提出了许多传统的基于小波变换的图像检测方法如加权平均法和极大极小值法。随后Tang等提出了基于多尺度小波变换的融合显著性检测算法，高频系数是通过加权不规则的维数或者加权梯度特征获得，而低频系数则是通过加权局部能量值得到。Jian提出了一个新的方案，测量原图像每个小波分解系数的显著值。它反映了小波分解系数的视觉注意，符合人类的视觉感知。但是基于小波变换的视觉显著性模型还存在一些缺陷：(1)小波变换存在多种小波基，一旦选定后，其特征就被固定下来。(2)小波系数是通过尺度和平移变换获得的，每分解一次，逼近图像和细节图像的长度减小一半，重构时会丢失原来的特征。

发明内容

为了解决上述技术问题，本发明提供了一种基于平稳小波变换视觉显著性的织物疵点检测方法，实现了对织物图像疵点的有效检测与定位，且具有较高的检测精度。

为了达到上述目的，本发明的技术方案是：一种基于平稳小波变换视觉显著性的织物疵点检测方法，包括平稳小波变换、背景估计、高斯估计模型及分割四部分，其步骤如下：

步骤一：将输入的原始RGB图像转化到灰度图像，对灰度图像进行图像去噪；

步骤二：对去噪后的图像进行平稳小波变换得到一系列小波系数；

步骤三：对除去平稳小波变换高频成分的小波系数进行逆平稳小波变换，重构得到特征图；

步骤四：对重构的特征图进行背景估计，得到局部显著图；

步骤五：采用高斯估计模型对局部显示图进行全局估计，得到全局显著图；

步骤六：利用自适应阈值分割算法对全局显著图进行分割，实现疵点与背景分离。

所述对灰度图像进行图像去噪的方法是：利用高斯低通滤波器对灰度图像I进行滤波：I'＝I*l_m×m；其中，l为m×m的2D高斯滤波器，I'为去除噪声后的灰度图像，*表示卷积操作。

所述平稳小波变换选择‘coiflet’滤波器作为小波基进行分解：[A_N,H_s,V_s,D_s]＝SWT(I')，其中，N表示平稳小波变换分解的层数，s∈{1,…，N}；A_N是低频分解的系数，H_s、V_s、D_s分别是在s层水平、垂直、对角方向的系数。

所述重构特征图的方法是：除去平稳小波变换分解产生的高频成分小波系数后进行逆平稳小波变换，得到特征图：F＝ISWT(A，H，V)，其中，A、H、V分别表示图像的低频系数、水平方向系数和竖直方向系数。

所述对重构的特征图进行背景估计，得到局部显著图的方法是：将特征图F不重叠的分成s×s大小相等的图像块F_a，a＝1，2，…，K，K为原始图像分成图像块的块数；估计每个图像块F_a的均值：BG＝{BG₁，BG₂，…，BG_K}，其中，BG_a为图像块F_a的背景均值；计算原始图像和每个图像块F_a的欧式距离D(i,j)＝{||I'(i,j)-BG₁||,||I'(i,j)-BG₂||,…||I'(i,j)-BG_K||}，其中，I'(i,j)是灰度图像I经过m×m的2D高斯滤波器模糊得到；由欧式距离得到局部显著图：S(i,j)＝min{D(i,j)}。

所述得到全局显著图的方法是：采用正态分布的高斯密度函数对局部显示图S(i,j)进行全局估计：

$p\left(S\right(i,j\left)\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|\mathrm{\Σ}\right|}^{1/2}}\×\exp (-1/2{\left(S\left(i,j\right)-\mathrm{\μ}\right)}^T{\mathrm{\Σ}}^{-1}(S\left(i,j\right)-\mathrm{\μ}\left)\right),$ 其中，n＝1表示局部显示图S(i,j)的空间维数，Σ＝Ε[(f(i,j)-μ)(f(i,j)-μ)^T]是局部显著图S(i,j)的方差，μ＝E[S]是局部显著图S(i,j)的均值；由局部显著图S(i,j)得到显著图S_G(i,j)：S_G(i,j)＝(log(p(f(i,j))^-1))^1/2。

本发明的有益效果为：

(1)本发明综合考虑织物纹理特征的随机性和疵点种类的多样性，基于频谱分析的视觉显著性模型能有效利用图像的全局与局部信息，取得了较好的效果。

(2)本发明不需要提取任何疵点信息，不需要参考样本，自适应性和鲁棒性较强。

(3)本发明不仅适用于检测表面纹理简单的织物，也适用于检测纹理较为复杂的织物，扩大了算法的使用范围；且计算速度较快，适合在线检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程框图。

图2(a)-(f)是本发明的原始待测疵点图像。

图3(a)-(f)是本发明对原始待测疵点图像背景估计产生的局部显著图。

图4(a)-(f)是本发明对原始待测疵点图像高斯估计模型估计产生的显著图。

图5(a)-(f)是本发明对原始待测疵点图像采用文献[1]的检测结果。

图6(a)-(f)是本发明对原始待测疵点图像采用文献[2]的检测结果。

图7(a)-(f)是本发明对原始待测疵点图像采用文献[3]的检测结果。

图8(a)-(f)是本发明对原始待测疵点图像基于本发明阈值分割的检测结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于平稳小波变换视觉显著性的织物疵点检测方法，包括平稳小波变换、背景估计、高斯估计模型及分割四部分，其步骤如下：

步骤一：将输入的原始RGB图像转化到灰度图像，对灰度图像进行图像去噪。

首先将输入的RGB图像转化到灰度图像，然后对灰度图像进行图像去噪，避免噪声对图像分割的干扰，具体方法是：利用高斯低通滤波器对灰度图像I进行滤波：

I'＝I*l_m×m(1)；

其中，l为m×m的2D高斯滤波器，I'为去除噪声后的灰度图像，*表示卷积操作。此处，取m＝5。

步骤二：对去噪后的图像进行平稳小波变换得到一系列小波系数。

对一幅织物图像进行平稳小波分解，这样图像就相应的被分成多层次多尺度的具有原始图像大小的子图像。平稳小波变换选择‘coiflet’滤波器作为小波基进行分解：

[A_N,H_s,V_s,D_s]＝SWT(I')(2)，

其中，N表示平稳小波变换分解的层数，s∈{1,…,N}；A_N是低频分解的系数，H_s、V_s、D_s分别是在s层水平、垂直、对角方向的系数。根据织物图像纹理特性，选择N＝6。

步骤三：对除去平稳小波变换高频成分的小波系数进行逆平稳小波变换，重构得到特征图。

小波系数表示了图像在不同尺度下的图像细节信息，能够用来创建频率带宽增大的特征图谱，特征图是由逆平稳小波变换计算得到。由于已经对原始图像进行了高斯滤波处理，因此用除去SWT分解产生的高频成分的小波系数重构即可得到特征图。

所述重构特征图的方法是：除去平稳小波变换分解产生的高频成分小波系数后进行逆平稳小波变换，得到特征图：F＝ISWT(A，H，V)(3)，其中，A、H、V分别表示图像总的低频系数、水平方向系数和竖直方向系数。

步骤四：对重构的特征图进行背景估计，得到局部显著图。

获得特征图F之后，下一步就是对其进行背景估计，获得局部显著图的过程。所述对重构的特征图进行背景估计，得到局部显著图的方法是：将特征图F不重叠的分成s×s大小相等的图像块F_a，a＝1，2，…，K，K为原始图像分成图像块的块数，即图像块F_a的大小相等，且无相同的图像像素，取s＝64。估计每个图像块F_a的均值：

BG＝{BG₁，BG₂，…，BG_K}(4)，

其中，BG_a为每个图像块F_a的背景均值。某一块中的像素点(i,j)所在的图像块的背景均值BG_a可由式(5)求得：

${\mathrm{BG}}_a=\frac{1}{N_a}\underset{(i,j)\∈Fa}{\mathrm{\Σ}}{F}_a(i,j)---\left(5\right)$

式中，N_a代表第a图像块F_a中所有像素的数目，a＝1，2，…，K，N_a的大小为s²。

由公式(4)和(5)可以得到背景均值，与其相对应的局部显著图，由原始图像和产生的背景均值的欧式距离计算得到，计算原始图像和每个图像块F_a的欧式距离：

D(i,j)＝{||I'(i,j)-BG₁||,||I'(i,j)-BG₂||,…||I'(i,j)-BG_K||}(6)，

其中，I'(i,j)是灰度图像I经过m×m的2D高斯滤波器模糊得到的：I'(i,j)＝I(i,j)*l_m×m。

对式(6)的欧式距离最小化得到局部显著图：

S(i,j)＝min{D(i,j)}(7)。

步骤五：采用高斯估计模型对局部显示图进行全局估计，得到全局显著图。

所述得到全局显著图的方法是：采用正态分布的高斯密度函数(probabilitydensityfunction，PDF)对局部显示图S(i,j)进行全局估计：

$p\left(S\right(i,j\left)\right)=\frac{1}{{\left(2\mathrm{\π}\right)}^{n/2}{\left|\mathrm{\Σ}\right|}^{1/2}}\×\exp (-1/2{\left(S\left(i,j\right)-\mathrm{\μ}\right)}^T{\mathrm{\Σ}}^{-1}(S\left(i,j\right)-\mathrm{\μ}\left)\right)---\left(8\right),$

其中，n＝1表示S(i,j)图像的空间维数，Σ＝Ε[(S(i,j)-μ)(S(i,j)-μ)^T]是局部显著图S(i,j)的方差，μ＝E[S]是局部显著图S(i,j)的均值。

得到PDF之后，由局部显著图S(i,j)得到显著图S_G(i,j)：

S_G(i,j)＝(log(p(f(i,j))^-1))^1/2(9)。

步骤六：选取自适应阈值分割方法对视觉显著图S_G分割，实现对织物疵点区域的检测与定位。

首先计算显著图中各个灰度级发生的概率。灰度级i可能发生的概率为：然后求出整个图像的平均灰度级： ${\mathrm{\μ}}_T=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}{\mathrm{ip}}_i;$ 接着求出每类发生的概率，假设分为两类，此时只有一个阈值t：C₁＝{0，1,…,t}和C₂＝{t+1,t+2,…,L-1}(L为灰度级的数目，C₁和C₂分别是目标图像和背景图像的灰度级)；这两类发生的概率分别为：和他们分别对应的平均灰度级为：和因此，最大类间方法法的最佳阈值定义为：

$t^{*}=\arg \underset{0\&le;t<L}{Max}\left\{{\mathrm{\&sigma;}}_B^2\left(t\right)\right\}---\left(10\right)$

其中，为方差， ${\mathrm{\&sigma;}}_B^2\left(t\right)=w_1\left(t\right){\left({\mathrm{\&mu;}}_1\right(t)-{\mathrm{\&mu;}}_T)}^2+w_2\left(t\right){\left({\mathrm{\&mu;}}_2\right(t)-{\mathrm{\&mu;}}_T)}^2.$

所以自适应阈值大小判别函数定义如下式：

$t^{*}=\arg \underset{0\&le;t<L}{Max}\left\{(1-p_i(t^{*}\left)\right)\left(w_1\right(t\left){\mathrm{\&mu;}}_1^2\right(t)+w_2(t\left){\mathrm{\&mu;}}_2^2\right(t\left)\right)\right\}---\left(11\right)$

其中，p_i(t^*)是阈值t^*的函数，表示最佳阈值发生的概率。当有N-1个阈值时，自适应阈值的最佳计算公式为：

$\{t_1^{*},t_2^{*},...,t_{N-1}^{*}\}=\arg \underset{0\&le;t_1<...<t_{N-1}<L}{Max}\left\{(1-\underset{j=1}{\overset{N-1}{\mathrm{\&Sigma;}}}{p}_{t_j})\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{w}_k{\mathrm{\&mu;}}_k^2\right\}---\left(12\right)$

从式(12)中得到最大的阈值T_M，然后通过式(13)即可将显著图分割出来，得到检测结果。

$S_M(i,j)=\left\{\begin{array}{cc}255& S_G(i,j)>T_M\\ 0& S_G(i,j)\&le;T_M\end{array}\right.---\left(13\right)$

实施例：

采用织物图像库中常见疵点图像进行实验，包括漏纱、破损、纬松、跳花、结头等的图像。选用部分织物疵点图像如图1(a)-(f)所示，图像大小为512×512。在实施例中，本发明的小波层数N＝6，图像块的大小s＝64。利用平稳小波变换对图1(a)-(f)中的原始图像预处理提取图像特征图，然后对特征图像进行多背景估计和高斯概率密度函数估计分别产生的局部显著图和全局显著图分别如图2(a)-(f)和图3(a)-(f)所示。从图中看出，在局部显著图构建的情况下不需要任何复杂特征图归一化的处理就可将目标和背景分离。

图4(a)-(f)、图5(a)-(f)、图6(a)-(f)和图7(a)-(f)分别是文献[1](WangjiangZhu,ShuangLiang,YichenWei,andJianSun.SaliencyOptimizationfromRobustBackgroundDetection.InCVPR,2014.)、文献[2](N.Imamoglu,W.Lin,Y.Fang.“Asaliencydetectionmodelusinglow-levelfeaturesbasedonwavelettransform,”[C]IEEETrans.Multimedia,Vol.15,NO.1,January2013:96–105)、文献[3](XiaohuiS,YingW,“AUnifiedApproachtoSalientObjectDetectionviaLowRankMatrixRecovery,”IEEEConferenceonComputerVisionandPatternRecognition,2012,23(10):853-860)和本发明阈值分割的检测结果。可以观察出，文献[1]提出的超像素分割方法生成的织物图像如图4(a)-(f)所示，虽然都能检测出疵点信息，但是扩散情况严重，噪声干扰很大；文献[2]提出的DWT和高斯模型融合的方法生成显著性模型，如图5(a)-(f)所示，这个算法只对纹理相对简单的织物图像(图5(b)和图5(d))有一定效果，对其余织物图像完全失效；文献[3]提出的过分割模型生成的显著图如图6(a)-(f)所示，该算法虽然对后面五幅图像处理效果较好，但是对于第一幅图像完全失效。

综上所述，本发明对6幅图像都能较好的突出疵点区域，能够有效的构建适合织物图像的显著图，通过后续的阈值分割处理结果如图7(a)-(f)所示，更加清晰的定位出疵点区域。由此可知，本发明能很好地凸显疵点区域。因此，本发明能够精确地分割出疵点区域。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于平稳小波变换视觉显著性的织物疵点检测方法，其特征在于，包括

平稳小波变换、背景估计、高斯估计模型及分割四部分，其步骤如下：

步骤一：将输入的原始RGB图像转化到灰度图像，对灰度图像进行图像去噪；

步骤二：对去噪后的图像进行平稳小波变换得到一系列小波系数；

步骤三：对除去平稳小波变换高频成分的小波系数进行逆平稳小波变换，重构得到特征图；

步骤四：对重构的特征图进行背景估计，得到局部显著图；

步骤五：采用高斯估计模型对局部显示图进行全局估计，得到全局显著图；

步骤六：利用自适应阈值分割算法对全局显著图进行分割，实现疵点与背景分离。

2.根据权利要求1所述的基于平稳小波变换视觉显著性的织物疵点检测方法，其特征在于，所述对灰度图像进行图像去噪的方法是：利用高斯低通滤波器对灰度图像I进行滤波：I'＝I*l_m×m；其中，l为m×m的2D高斯滤波器，I'为去除噪声后的灰度图像，*表示卷积操作。

3.根据权利要求1所述的基于平稳小波变换视觉显著性的织物疵点检测方法，其特征在于，所述平稳小波变换选择‘coiflet’滤波器作为小波基进行分解：[A_N,H_s,V_s,D_s]＝SWT(I')，其中，N表示平稳小波变换分解的层数，s∈{1,…,N}；A_N是低频分解的系数，H_s、V_s、D_s分别是在s层水平、垂直、对角方向的系数。

4.根据权利要求1所述的基于平稳小波变换视觉显著性的织物疵点检测方法，其特征在于，所述重构特征图的方法是：除去平稳小波变换分解产生的高频成分小波系数后进行逆平稳小波变换，得到特征图：F＝ISWT(A，H，V)，其中，A、H、V分别表示图像的低频系数、水平方向系数和竖直方向系数。

5.根据权利要求1所述的基于平稳小波变换视觉显著性的织物疵点检测方法，其特征在于，所述对重构的特征图进行背景估计，得到局部显著图的方法是：将特征图F不重叠的分成s×s大小相等的图像块F_a，a＝1，2，…，K，K为原始图像分成图像块的块数；估计每个图像块F_a的均值：BG＝{BG₁，BG₂，…，BG_K}，其中，BG_a为图像块F_a的背景均值；计算原始图像和每个图像块F_a的欧式距离D(i,j)＝{||I'(i,j)-BG₁||,||I'(i,j)-BG₂||,…||I'(i,j)-BG_K||}，其中，I'(i,j)是灰度图像I经过m×m的2D高斯滤波器模糊得到；由欧式距离得到局部显著图：S(i,j)＝min{D(i,j)}。

6.根据权利要求1所述的基于平稳小波变换视觉显著性的织物疵点检测方法，其特征在于，所述得到全局显著图的方法是：采用正态分布的高斯密度函数对局部显示图S(i,j)进行全局估计：

其中，n＝1表示局部显示图S(i,j)的空间维数，Σ＝Ε[(f(i,j)-μ)(f(i,j)-μ)^T]是局部显著图S(i,j)的方差，μ＝E[S]是局部显著图S(i,j)的均值；由局部显著图S(i,j)得到显著图S_G(i,j)：S_G(i,j)＝(log(p(f(i,j))^-1))^1/2。