CN102879401B - 基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法 - Google Patents

Abstract

本发明公开的一种基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法，具体按照以下步骤实施：1）构建基于模式识别和图像处理的设备；2）采集分辨率为2048×2048大小的RGB彩色织物图像；3）对采集的彩色织物图像进行预处理；4）建立方法库；5）对布匹上的瑕疵区进行查找和定位；6）采集布匹上瑕疵区的特征值；7）对采集的特征值进行处理；8）使用“量化共轭BP神经网络算法”对经步骤7降维后的数据进行分类。该方法能够将布匹上的瑕疵进行检测并分类，具有检测速度快、分类明确、人工劳动强度低的优点。

Description

基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法

技术领域

本发明属于纺织品检测与分类技术领域，涉及一种纺织纺织品瑕疵检测分类系统，具体涉及一种基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法。

背景技术

纺织品作为人们日常生活中的不可缺少的物品，其质量好坏直接影响到人们的生活质量。而人们对于高生活质量的追求使得传统意义上纺织品的实用性、耐用性已经无法满足人们的要求，而时尚性、美观性更加受到人们的关注和追捧。为满足人们对于纺织品外观美观性的要求，防止纺织品中的瑕疵是关键，特别是对于有图案的纺织品，其瑕疵的存在会严重影响纺织品的美观性。通过对纺织品瑕疵的检测，能及时发现纺织品中存在的瑕疵并采取相应措施，从而有效减少纺织品的瑕疵数量，提高纺织的品质。为了提高纺织品瑕疵检测的效率，纺织品瑕疵检测的方法受到越来越多的关注和研究，由此自动化检验系统应运而生。传统的纺织品瑕疵检测方法存在检测速度低、准确性差、人工检测劳动强度大的缺点。

发明内容

本发明的目的在于提供一种基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法，该方法能够将布匹上的瑕疵进行检测并分类，具有检测速度快、分类明确、人工劳动强度低的优点。

本发明所采用的技术方案是，基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法，具体按照以下步骤实施：

步骤1、构建基于计算机视觉的纺织品在线检测系统的硬件平台：

基于计算机视觉的纺织品在线检测系统的硬件平台，包括有通过导线依次连接的计算机，双路线阵CCD摄像头以及相配套的图像采集卡；

双路线阵CCD摄像头与图像采集卡之间采用Base模式下的Camera Link串行通信方式进行数据的高速传输，CCD摄像头采集的模拟信号经过图像采集卡转换成数字信号后传送给计算机进行处理；

步骤2、利用图像采集卡采集数据：

用步骤1中构建的硬件平台中内的图像采集卡采集分辨率为2048×2048大小的RGB彩色织物图像；

步骤3、对采集到的彩色织物图像进行预处理：

将步骤2中图像采集卡所采集到的彩色织物图像进行灰度转化和直方图均衡的预处理；

步骤4、建立方法库，利用方法库检测布匹图像存在瑕疵并对图像瑕疵进行分割：

将Gabor滤波器组，Gauss平滑背景分析法和多尺度小波分析三种检测方法级联形成一个检测系统，即方法库；

将步骤3预处理的彩色织物图像送入方法库，方法库中任何一种方法能够检测出来疵点，都认为被检测的布匹图像存在瑕疵；

再利用模型阈值选取和自动最优阈值分割的方法对布匹图像疵点进行分割；

步骤5、对布匹上的瑕疵区进行查找和定位：

用数学上的“四叉树”逻辑对经步骤4检测出的布匹图像上的瑕疵区域进行边缘查找和定位分析；

步骤6、采集布匹瑕疵图像上的特征值；

1）采用“共生灰度矩”从步骤5查找和定位的瑕疵图像中提取特征值，在每个含有瑕疵的子区域分四个方向提取特征值，这四个方向分别为：0度、45度、90度、135度，每个方向取四个特征值，一共采集十六个特征值；

2）利用基于人类视觉感知特征的“Tamura纹理的特征”提取方法对瑕疵图像进行特征值的采集，采集六个特征值：这六个特征值即为粗糙度、对比度、线性度、规整度、粗略度和方向度；连同1）中的16个特征值共22个特征值；

步骤7、对采集到的所有特征值进行处理：

利用主成分分析即PCA分析，对步骤6中所采集到的22个特征值进行降维处理；

步骤8，对布匹进上的瑕疵进行分类；

使用“量化共轭BP神经网络算法”对经步骤7降维处理后的数据进行分类，即对瑕疵进行分类。

本发明的特点还在于，

步骤4具体按照以下步骤实施：

Gabor滤波器组滤波：

根据Gabor滤波的原理，如公式（1）所示，对经步骤3预处理的图像进行滤波处理：

X(x,y,ξ，η,θ)＝(x-ξ)cos(θ)-(y-η)sin(θ)，

Y(x,y,ξ，η,θ)＝(x-ξ)sin(θ)-(y-η)cos(θ)，

其中，σ是函数的包络值，σ和中心频率f之间具有如下的线性关系σ＝1/(αf)，α是中心频率与带宽之间的比例；ξ，η是在x轴，y轴上的空间平移量；λ是正弦波的波长；γ高斯函数的纵横比；是偏移度；θ是复数调制部分函数的辐角；

1）对Gabor滤波器进行四个尺度和六个方向的旋转，得到Gabor滤波器组；

把步骤3中预处理后分辨率为512×512大小的图像16等分，经过16等分的图像经Gabor滤波器组处理，滤波输出均值；从图像滤波输出均值中找出最大均值和最小均值，主要是根据疵点区域幅度值与邻域幅度值不同的特性，确定出最大均值和最小均值

2）如公式（2）所示，用损失函数来衡量第i个通道的输出损失函数值：

$C_{\mathrm{ost}}\left(i\right)=\left(\frac{M_{\max }^i-M_{\min }^i}{M_{\max }^i+M_{\min }^i}\right),---\left(2\right)$

将公式（2）应用于每幅图像经过1）四尺度六方向的滤波器组滤波后得到的一组24个滤波图像中损失函数最大的通道被确定为最优滤波输出，标记该图像为I_optimal(x,y)；

3）把滤波完成的灰度图像进行二值化，对疵点区域进行分割：

先对步骤2中采集到的正常纹理图片进行最优Gabor滤波；再对滤波后的图片进行高斯低通滤波，经过两次滤波处理后即获得平滑处理后的图像；

4）正常的织物纹理图片经过4）中两次滤波后，即可获得需要的阈值参考图片I_ref(x,y)；

单边滤波对图像边缘的影响较大，除边缘外确定出阈值参考图片I_ref(x,y)的最大阈值T_max和最小阈值T_min；依据获得的最大阈值和最小阈值对图像进行二值化处理；大于T_max或者小于T_min的幅度信息被视为疵点信息区域；

Gauss平滑背景分析法的主要步骤是：

1）对原图像做增强处理；

2）经1）增强处理后做闭合运算，分离出背景信息；

3）利用Otsu方法确定阈值信息并对疵点区域进行分割；

多尺度小波法：θ(x)是一个非负的可微函数，在无穷大时以足够快的速度趋近于零，同时，如果它的积分是一致的，那么同样的条件适用于尺度函数，有以下的相关推论：

θ_s(X)＝(1/s)θ(X/s),s＞0，（3）

Ψ(X)＝θ，1(X)＝D_Xθ(X)，（4）

公式（4）中D_X是关于X的微分；Ψ(X)的积分结果为零；函数θ和Ψ分别被用作平滑函数和相对应的小波函数，常用的一对值即函数θ和Ψ是高斯函数及其微分形式的函数；

一个函数f(x)的小波变换定义为：

W[f](s,x)＝[f*ψ_s](x)，（5）

其中，ψ_s(x)是公式（6）的小波扩大形式，s代表尺度；

ψ_s(x)＝(1/s)ψ(x/s)，（6）

另由公式（5）式得：

由公式（7），除了乘法因子s，小波变换W[f]是[f*θ_s]的一阶导数，绝对值|W[f](s,x)|相当于[f*θ_s]的快速变化，被认为是快速变换的强度；函数[f*θ_s]是原始信号f通过滤波器核模糊函数；但是θ_s在s长度范围内均分f的值，因此|W[f]|的局部极大值对应于信号经过s尺度模糊后的边缘，这些变为s尺度函数的边缘，即为多尺度边缘。

步骤5具体按照以下步骤实施：

1）将经步骤4处理的每个图像依据数学上的“四叉树”逻辑，把图像分为大小相等的四个子区域，每个子区域被冠以（00），（01），（10），（11）的编码；

2）对于任何一个子区域，如（01）单元含有疵点信息，那么四叉树分解逻辑就继续在该区域即（01）单元进行细分，（01）单元所分的新的四个子区域分别被标记为（01，00）、（01，01）、（01，10）、（01，11）；依此类推，在所有疵点的区域继续进行四等分细分；

3）根据具体的定位精度要求，设定具体的N组二进制码，N=1，2，3，4，…，；具有七组二进制码就能很好的定位相关的疵点信息。

本发明的有益效果在于，

本发明方法针对解决的是布匹瑕疵自动检测和分类的问题，首先设计了基于计算机视觉的纺织品在线检测系统的硬件平台，该平台以计算机作为织物图像采集和处理的控制核心，结合布匹传送的机械结构，配以高分辨率的线阵CCD摄像头进行织物图像的采集。

本发明结合各种有效的织物疵点检测算法，通过改进和综合，提出了基于“方法库”的“联合织物疵点检测”方法。该方法综合Gabor-Gauss方法、背景分析法、多尺度小波方法作为联合疵点检测的方法库对织物进行疵点检测。是以快速的计算机处理速度和合适的在线布匹的运动速度为前提，在此基础上设计了初步的图形用户界面GUI，以便于人机交互操作；然后，通过基于统计学角度的“共生灰度矩”和基于人类视觉感知特征的“Tamura纹理特征”的提取方法，对五种典型的织物疵点提取了22个有效特征，并用PCA进行降维处理，以降低分类分析时的特征冗余度；最后，对所得的特征数据集进行基于“量化共轭BP神经网络”的分类。

具体实施方式

下面结合具体实施方式对本发明进行详细说明。

本发明基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法，具体按照以下步骤实施：

步骤1，构建基于计算机视觉的纺织品在线检测系统的硬件平台；

构建出基于模式识别和图像处理的纺织品瑕疵检测和分类所使用的基于计算机视觉的纺织品在线检测系统的硬件平台，该硬件平台包括有通过导线依次连接的计算机，双路线阵CCD摄像头以及相配套的图像采集卡，双路线阵CCD摄像头与图像采集卡之间采用Base模式下的Camera Link串行通信方式进行数据的高速传输，CCD摄像头采集的模拟信号经过图像采集卡转换成数字信号后传送给计算机进行处理；

步骤2，采集数据；

用步骤1中构建的基于计算机视觉的纺织品在线检测系统的硬件平台中的图像采集卡采集获取分辨率为2048×2048大小的RGB彩色织物图像；

步骤3，对采集到的彩色织物图像进行预处理；

对步骤2中图像采集卡所采集到的彩色织物图像进行灰度转化和直方图均衡的预处理，从而加强图像品质；

步骤4，建立方法库；

将Gabor滤波器组，Gauss平滑背景分析法和多尺度小波分析三种检测方法级联形成一个检测系统，这个检测系统就是一个方法库；

方法库的具体构成方法如下：

根据Gabor滤波的原理，如公式（1）所示，对经步骤3预处理的图像进行滤波处理：

X(x,y,ξ，η,θ)＝(x-ξ)cos(θ)-(y-η)sin(θ)

Y(x,y,ξ，η,θ)＝(x-ξ)sin(θ)-(y-η)cos(θ)

在公式（1）中，σ是函数的包络值，σ和中心频率f之间具有如下的线性关系σ＝1/(αf)，α是中心频率与带宽之间的比例；ξ，η是在x轴，y轴上的空间平移量；λ是正弦波的波长；γ高斯函数的纵横比；是偏移度；θ是复数调制部分函数的辐角。

1）对Gabor滤波器进行四个尺度和六个方向的旋转，得到Gabor滤波器组；

把步骤3中预处理的分辨率为512*512大小的图像16等分，经过16等分的图像经过Gabor滤波器组处理，滤波输出均值；从图像滤波输出均值中找出最大均值和最小均值；主要是根据疵点区域幅度值与邻域幅度值不同的特性，确定出最大均值和最小均值

2）如公式（2）所示，用损失函数来衡量第i个通道的输出损失函数值：

$C_{\cot }\left(i\right)=\left(\frac{M_{\max }^i-M_{\min }^i}{M_{\max }^i+M_{\min }^i}\right)---\left(2\right)$

将公式（2）应用于每幅图像经过1）四尺度六方向的滤波器组滤波后得到的一组24个滤波图像中损失函数最大的通道被确定为最优滤波输出，标记该图像为I_optimal(x,y)；

3）把滤波完成的灰度图像进行二值化，对疵点区域进行分割：

先对步骤2中采集到的正常纹理图片进行最优Gabor滤波；再对滤波后的图片进行高斯低通滤波，经过两次滤波处理后即获得平滑处理后的图像；

这样处理的目的是为了消除影响二值化判别的斑点噪声；高斯滤波器是一类根据高斯函数的形状来选择权值的线性平滑滤波器，高斯平滑滤波器对去除服从正态分布的噪声是非常有效的；

4）正常的织物纹理图片经过4）中两次滤波后，即可获得需要的阈值参考图片I_ref(x,y)；

鉴于单边滤波对图像边缘的影响较大，除边缘外确定出阈值参考图片I_ref(x,y)的最大阈值T_max和最小阈值T_min；依据获得的最大阈值和最小阈值对图像进行二值化处理；大于T_max或者小于T_min的幅度信息被视为疵点信息区域；

Gauss平滑背景分析法的主要步骤是：

1）先对原图像做增强处理，以便于得到更好的分离效果；

2）再做闭合运算，分离出背景信息；

这一个步骤的关键就是结构元素的几何形状的选择和其尺寸的大小；利用Otsu方法确定阈值信息并对疵点区域进行分割；

多尺度小波法：若θ(x)是一个非负的可微函数，在无穷大时以足够快的速度趋近于零，同时，如果它的积分是一致的，那么同样的条件适用于尺度函数，有以下的相关推论：

θ_s(X)＝(1/s)θ(X/s),s＞0（3）

Ψ(X)＝θ，1(X)＝D_Xθ(X)（4）

在公式（4）中D_X是关于X的微分，考虑到一维以上的形式，在此引入逗号脚注来表示经典的张量形式的微分；而Ψ(X)的积分结果为零；函数θ和Ψ分别被用作平滑函数和相对应的小波函数，常用的一对值即函数θ和Ψ是高斯函数及其微分形式的函数；

一个函数f(x)的小波变换定义为：

W[f](s,x)＝[f*ψ_s](x)（5）

其中，ψ_s(x)是公式（6）的小波扩大形式，s代表尺度；

ψ_s(x)＝(1/s)ψ(x/s)（6）

另由公式（5）式得：

由公式（7）得知，除了乘法因子s，小波变换W[f]是[f*θ_s]的一阶导数，绝对值|W[f](s,x)|相当于[f*θ_s]的快速变化，被认为是快速变换的强度；比如说信号[f*θ_s]的边缘信息；函数[f*θ_s]是原始信号f通过滤波器核模糊函数；但是θ_s在s长度范围内均分f的值，因此|W[f]|的局部极大值对应于信号经过s尺度模糊后的边缘；这些变为s尺度函数的边缘，即为多尺度边缘；

只要任何一种方法能够检测出来疵点，都认为该布匹图像存在瑕疵，在图像疵点的分割方面应用模型阈值选取的方法和自动最优阈值分割的方法；

步骤5，对布匹上的瑕疵区进行查找和定位；

用数学上的“四叉树”逻辑对经步骤4检测出的图像的瑕疵区域进行边缘查找和定位分析：

1）将经过步骤4处理的每个图像块依据数学上的“四叉树”逻辑把图像分为大小相等的四个子区域，每个子区域被冠以（00），（01），（10），（11）的编码；

2）对于任何一个子区域，如（01）单元含有疵点信息，那么四叉树分解逻辑就继续在该区域即（01）单元进行细分，（01）单元所分的新的四个子区域分别被标记为（01，00）、（01，01）、（01，10）、（01，11）；依此类推，在所有疵点的区域继续进行四等分细分；

3）根据具体的定位精度要求，设定具体的N组二进制码，N=1，2，3，4，…，；一般地，具有七组二进制码就可以很好的定位相关的疵点信息；

步骤6，采集从瑕疵图像中提取的特征值；

1）采用“共生灰度矩”从步骤5细分的瑕疵图像中提取特征值，在每个含有瑕疵的子区域分四个方向提取特征值，这四个方向分别为：0度、45度、90度、135度，每个方向取四个特征值，一共可以采集到十六个特征值；

2）利用基于人类视觉感知特征的“Tamura纹理的特征”提取方法对瑕疵图像进行特征值的采集，采集六个特征值：这六个特征值即为粗糙度、对比度、线性度、规整度、粗略度和方向度；连同1）中的16个特征值共22个特征值；

步骤7，对采集的所有特征值进行处理；

利用主成分分析即PCA分析，对步骤6中图片所采集到的22个特征值进行降维处理，降低分类分析时的数据冗余度；

步骤8，对布匹进上的瑕疵进行分类；

使用“量化共轭BP神经网络算法”对经步骤7降维处理后的数据进行分类，即对瑕疵进行分类，实现对布匹上瑕疵的自动分类。

Claims (1)

1.基于模式识别和图像处理的纺织品瑕疵自动检测及分类方法，其特征在于，具体按照以下步骤实施：

步骤1、构建基于计算机视觉的纺织品在线检测系统的硬件平台：

基于计算机视觉的纺织品在线检测系统的硬件平台，包括有通过导线依次连接的计算机，双路线阵CCD摄像头以及相配套的图像采集卡；

双路线阵CCD摄像头与图像采集卡之间采用Base模式下的Camera Link串行通信方式进行数据的高速传输，CCD摄像头采集的模拟信号经过图像采集卡转换成数字信号后传送给计算机进行处理；

步骤2、用步骤1中构建的硬件平台中的图像采集卡采集分辨率为2048×2048大小的RGB彩色织物图像；

步骤3、将步骤2中图像采集卡所采集到的彩色织物图像进行灰度转化和直方图均衡的预处理；

步骤4、建立方法库，利用方法库检测布匹图像存在瑕疵并对图像瑕疵进行分割，具体按照以下方法实施：

将Gabor滤波器组，Gauss平滑背景分析法和多尺度小波分析三种检测方法级联形成一个检测系统，即方法库，具体按照以下方法实施：

Gabor滤波器组滤波：

根据Gabor滤波的原理，如公式(1)所示，对经步骤3预处理的图像进行滤波处理：

X(x,y,ξ,η,θ)＝(x-ξ)cos(θ)-(y-η)sin(θ)；

Y(x,y,ξ,η,θ)＝(x-ξ)sin(θ)-(y-η)cos(θ)；

其中，σ是函数的包络值，σ和中心频率f之间具有如下的线性关系σ＝1/(αf)，α是中心频率与带宽之间的比例；ξ，η是在x轴，y轴上的空间平移量；λ是正弦波的波长；γ高斯函数的纵横比；是偏移度；θ是复数调制部分函数的辐角；

1)对Gabor滤波器进行四个尺度和六个方向的旋转，得到Gabor滤波器组；

把步骤3中预处理后分辨率为512×512大小的图像16等分，经过16等分的图像经Gabor滤波器组处理，滤波输出均值；从图像滤波输出均值中找出最大均值和最小均值，主要是根据疵点区域幅度值与邻域幅度值不同的特性，确定出最大均值和最小均值；

2)如公式(2)所示，用损失函数来衡量第i个通道的输出损失函数值：

将公式(2)应用于每幅图像经过1)四尺度六方向的滤波器组滤波后得到的一组24个滤波图像中损失函数最大的通道被确定为最优滤波输出，标记该图像为I_optimal(x,y)；

3)把滤波完成的灰度图像进行二值化，对疵点区域进行分割：

先对步骤2中采集到的正常纹理图片进行最优Gabor滤波；再对滤波后的图片进行高斯低通滤波，经过两次滤波处理后即获得平滑处理后的图像；

4)正常的织物纹理图片经过4)中两次滤波后，即可获得需要的阈值参考图片I_ref(x,y)；

单边滤波对图像边缘的影响较大，除边缘外确定出阈值参考图片I_ref(x,y)的最大阈值T_max和最小阈值T_min；依据获得的最大阈值和最小阈值对图像进行二值化处理；大于T_max或者小于T_min的幅度信息被视为疵点信息区域；

Gauss平滑背景分析法的主要步骤是：

1)对原图像做增强处理；

2)经1)增强处理后做闭合运算，分离出背景信息；

3)利用Otsu方法确定阈值信息并对疵点区域进行分割；

多尺度小波法：θ(x)是一个非负的可微函数，在无穷大时以足够快的速度趋近于零，同时，如果它的积分是一致的，那么同样的条件适用于尺度函数，有以下的相关推论：

θ_s(X)＝(1/s)θ(X/s),s>0，   (3)；

Ψ(X)＝θ,1(X)＝D_Xθ(X)，   (4)；

公式(4)中D_X是关于X的微分；Ψ(X)的积分结果为零；函数θ和Ψ分别被用作平滑函数和相对应的小波函数，常用的一对值即函数θ和Ψ是高斯函数及其微分形式的函数；

一个函数f(x)的小波变换定义为：

W[f](s,x)＝[f*ψ_s](x)   (5)；

其中，ψ_s(x)是公式(6)的小波扩大形式，s代表尺度；

ψ_s(x)＝(1/s)ψ(x/s)   (6)；

另由公式(5)式得：

W[f](s,x)＝[f*(sD_xq_s)](x)＝sD_x[f*θ_s](x)   (7)；

由公式(7)，除了乘法因子s，小波变换W[f]是[f*θ_s]的一阶导数，绝对值|W[f](s,x)|相当于[f*θ_s]的快速变化，被认为是快速变换的强度；函数[f*θ_s]是原始信号f通过滤波器核模糊函数；但是θ_s在s长度范围内均分f的值，因此|W[f]|的局部极大值对应于信号经过s尺度模糊后的边缘，这些变为s尺度函数的边缘，即为多尺度边缘；

将步骤3预处理的彩色织物图像送入方法库，方法库中任何一种方法能够检测出来疵点，都认为被检测的布匹图像存在瑕疵；

再利用模型阈值选取和自动最优阈值分割的方法对布匹图像疵点进行分割；

步骤5、对布匹上的瑕疵区进行查找和定位：

用数学上的“四叉树”逻辑对经步骤4检测出的布匹图像上的瑕疵区域进行边缘查找和定位分析，具体按照以下步骤实施：

1)将经步骤4处理的每个图像依据数学上的“四叉树”逻辑，把图像分为大小相等的四个子区域，每个子区域被冠以(00)，(01)，(10)，(11)的编码；

2)对于任何一个子区域，如(01)单元含有疵点信息，那么四 叉树分解逻辑就继续在该区域即(01)单元进行细分，(01)单元所分的新的四个子区域分别被标记为(01，00)、(01，01)、(01，10)、(01，11)；依此类推，在所有疵点的区域继续进行四等分细分；

3)根据具体的定位精度要求，设定具体的N组二进制码，N＝1，2，3，4，…，；具有七组二进制码就能很好的定位相关的疵点信息；

步骤6、采集布匹瑕疵图像上的特征值；

1)采用“共生灰度矩”从步骤5查找和定位的瑕疵图像中提取特征值，在每个含有瑕疵的子区域分四个方向提取特征值，这四个方向分别为：0度、45度、90度、135度，每个方向取四个特征值，一共采集十六个特征值；

2)利用基于人类视觉感知特征的“Tamura纹理的特征”提取方法对瑕疵图像进行特征值的采集，采集六个特征值：这六个特征值即为粗糙度、对比度、线性度、规整度、粗略度和方向度；连同1)中的16个特征值共22个特征值；

步骤7、对采集到的所有特征值进行处理：

利用主成分分析即PCA分析，对步骤6中所采集到的22个特征值进行降维处理；

步骤8，对布匹进上的瑕疵进行分类；

使用“量化共轭BP神经网络算法”对经步骤7降维处理后的数据进行分类，即对瑕疵进行分类。