CN107967680B - 基于峰值阈值和混合特征的纺织品瑕疵检测方法 - Google Patents

Abstract

本发明提供一种基于峰值阈值和混合特征的纺织品瑕疵检测方法，该方法分析基于照明光源下平坦纺织品表面的数字图像像素灰度信息，将图像分割为互不重叠的网格，计算每个网格的IRM，HOG，GLCM和Gabor特征值，根据特征值分布自动定位纺织品表面瑕疵。本发明特别适用于自动识别在稳定照明光源下采集的纺织品平坦表面灰度数字图像中的纺织品表面瑕疵。

Description

基于峰值阈值和混合特征的纺织品瑕疵检测方法

技术领域

本发明涉及纺织品瑕疵检测技术领域，特别是涉及一种基于峰值阈值和混合特征的纺织品瑕疵检测方法。

背景技术

传统的纺织品瑕疵人工识别准确率只有60-75％(参见文献：K.Srinivasan,P.H.Dastoor,P.Radhakrishnaiah,et al..FDAS:a knowledge-based framework foranalysis of defects in woven textiles tructures,J.Text.Inst.83(1992)431–448.)，机器自动识别纺织品瑕疵的方法具有实际应用需求。平坦纺织品表面的数字图像采样(以下简称纺织品图像)属于二维纹理，二维纹理已被证明可根据17种壁纸群(wallpapergroup)定义的图案排列方法生成(参见文献：H.Y.T.Ngan,G.K.H.Pang,N.H.C.Yung.Motif-based defect detection for patterned fabric,Pattern Recognit.(2008)1878–1894.)，用于生成二维纹理的图案称为图格(lattice)(参见：https://en.wikipedia.org/wiki/Wallpaper_group)，图格内部图案称为motif。多数纺织品瑕疵自动检测方法只能处理墙纸群中p1类型的纺织品图像(参见文献：H.Y.T.Ngan,G.K.H.Pang,N.H.C.Yung.Automated fabric defect detection—A review,Image and VisionComputing 29(7)(2011)442–458.)，仅有少数方法能处理p1类型以外的纺织品图像(参见文献：H.Y.T.Ngan,G.K.H.Pang,N.H.C.Yung.Motif-based defect detection forpatterned fabric,Pattern Recognit.(2008)1878–1894.)，例如基于小波预处理的基准图像差分方法(wavelet-pre-processed golden image subtraction，以下简称WGIS)(参见文献：H.Y.T.Ngan,G.K.H.Pang,N.H.C.Yung,et al.,Wavelet based methods onpatterned fabric defect detection,Pattern Recognit.38(4)(2005)559–576.)，共生矩阵方法(参见文献：C.J.Kuo,T.Su,Gray relational analysis for recognizingfabric defects,Text.Res.J.73(5)(2003)461–465.)，布林带方法(Bollinger bands，以下简称BB)(参见文献：H.Y.T.Ngan,G.K.H.Pang,Novel method for patterned fabricinspection using bollinger bands,Opt.Eng.45(8)(2006)087202-1–087202-15.)，规则带方法(regular bands，以下简称RB)(参见文献：H.Y.T.Ngan,G.K.H.Pang,Regularityanalysis for patterned texture inspection,IEEE Trans.Autom.Sci.Eng.6(1)(2009)131–144.)，Elo评估方法(Elo rating method，以下简称ER)(参见文献：C.S.C.Tsang,H.Y.T.Ngan,G.K.H.Pang,Fabric inspection based on the Elo rating method,Pattern Recognit.51(2016)378–394.)等。尽管这些方法可以处理p1以外的纺织品图像，但它们的计算方法多是建立在基于人工选择的类似格的图案(以下简称图格)之上。例如WGIS要求人工选择图格的尺寸和纹理，BB，RB和ER要求人工定义图格的尺寸。这些先验知识在一定程度上降低了机器识别纺织品瑕疵的自动化程度。

发明内容

本发明所要解决的技术问题是：为了提高机器识别纺织品瑕疵的自动化程度，本发明提供一种基于峰值阈值和混合特征的纺织品瑕疵检测方法，主要包括设计一种自动分割纺织品图像为图格的方法以及基于图格并混合特征提取方法HOG、GLCM和Gabor相结合的瑕疵识别方法。

为使陈述清楚明了，现集中定义本发明所涉及的部分符号和概念。

表示正整数集合。表示包括零的整数集合。表示包括零的正实数集合。表示包括零的实数集合。表示元素个数为的实向量。表示复数集合。表示元素个数为的复向量。T表示矩阵或向量转置。表示n×m大小的实矩阵，其中 表示k×n×m大小的实矩阵，其中若且则A_i,:表示矩阵A的第i行，A_:,j表示矩阵A的第j列。若且则A_l,:,:表示A中大小为n×m的第l层矩阵，A_l,i,:表示A中大小为n×m的第l层矩阵的第i行，A_l,:,j表示A中大小为n×m的第l层矩阵的第j列。表示比小的最大整数，例如{a_i}表示由索引i确定的由元素a_i组成的集合或多重集。

|S|表示集合S中的元素个数，若S为向量，则|S|表示向量所含元素个数，|S|称为向量长度。avg(S)或mean(S)：计算集合或多重集S的均值，S的元素均为实数。std(S)：计算集合或多重集S的标准差，S的元素均为实数。med(S)：计算集合或多重集S的中位值，S的元素均为实数。mod(S)：计算多重集S的众数，S的元素均为实数。max(S)表示找出集合或多重集S的元素最大值，例如max(I_c)代表I_c中像素的最大灰度值。max(s条件)表示找出符合条件的的最大值。min(S)表示找出集合或多重集S的元素最小值，例如min(I_c)代表I_c中像素的最小灰度值。

arg max_sf(s)表示在函数f的定义域内变量s的取值范围中，使得函数f(s)取最大值的s。

arg min_sf(s)表示在函数f的定义域内变量s的取值范围中，使得函数f(s)取最小值的s。

arg max_sf₁(s),f₂(s)表示在函数f₁和f₂的定义域交集内变量s的取值范围中，使得函数f₁(s)和f₂(s)取最大值的s。

表示在函数f(s)的定义域内变量s₁和s₂的取值范围中，使得函数f(s)取最大值的s₁和s₂。

arg mod_i({a_i})表示对应多重集{a_i}众数mod({a_i})的索引。

dim_x(I)表示二维图像I的总行数，dim_y(I)表示I的总列数。

图像原点：图像中像素行列索引开始的位置，该位置假设在图像左上角并且值为(1,1)。

I(x,y)表示在二维图像I中具有行列索引(x,y)的像素值。行索引由图像原点开始以1为步长向下递增，1≤x≤dim_x(I)；列索引由图像原点开始以1为步长向右递增，1≤y≤dim_y(I)。

图像边界：具有行索引dim_x(I)的行和列索引dim_y(I)的列。

纺织品图像卡通成分I_c：对一幅灰度化的纺织品图像，应用基于曲波(curvelet)和离散余弦变换(local discrete cosine transform，以下简称DCT)的形态成分分析方法(morphological component analysis，以下简称MCA)所计算的具有光滑边缘图案的图像称为卡通成分I_c，I_c是一幅灰度图像。

DCT尺寸：MCA在图像局部应用DCT，即首先将图像划分为不重叠且具有固定大小的矩形区域，然后对每个区域应用DCT，矩形区域的大小称为DCT尺寸，单位为像素，区域内一行的像素数称为DCT尺寸的宽，一列的像素数称为DCT尺寸的高。

阈值系数f_c：用于二值化I_c的参数，该参数由步骤2计算得到。

二值化卡通成分I_tc：使用f_c·max(I_c)作为阈值二值化I_c所得到的二值图像，其中1表示前景像素，即I_c中灰度值不小于阈值的像素，0表示背景像素。I_tc与I_c的行数和列数相同。

横向投影 是的多重集，其中即表示行索引为x的背景像素个数。

纵向投影 是的多重集，其中即表示列索引为y的背景像素个数。

表示的峰值多重集，中的元素称为峰值，峰值是指中满足和的元素其中x表示行索引。

表示的峰值多重集，中的元素称为峰值，峰值是指中满足和的元素其中y表示列索引。

二值对象质心：I_tc中二值对象所包含前景像素图像行索引的平均值和列索引的平均值。

表示按操作数顺序连接产生向量，例如标量v₁＝1和向量v₂＝[2 3]^T,对于标量s₁＝8，s₂＝1，s₃＝5，对于向量v₁＝[2 3]^T，v₂＝[5 0 4]^T，

表示逐元素向量乘法，例如向量v₁＝[5 0.9 4]^T，v₂＝[1 0 1]^T，那么

其中

图格索引(i_r,i_c)：当图像分割为不重叠的图格后，根据图格在图像中的排列位置，每个图格具有唯一的图格行索引i_r和唯一的图格列索引i_c，图像中左上角图格索引为(1,1)，紧邻该图格的右侧图格索引为(1,2)，紧邻索引为(1,1)图格的下侧图格索引为(2,1)，依此类推。表示图格索引为(i_r,i_c)的图格，其中L_1,1称为第一个图格。

图格像素索引：图格由像素组成，因此图格是一副图像，图像原点和像素行列索引的定义也适用于图格像素索引。

图格尺寸：图格所含像素行数与列数。

图格纹理种类：基于图格分割和纺织品灰度图像产生图格纹理的种类，例如附图6中居中的图像根据图格分割产生了5×7个图格，按照图格的纹理，35个图格可分为3类。

图格矩阵：以图格为单位的矩阵，即矩阵中每个元素都是一个图格。例如附图7中的每个图像包含2×2的图格，对应一个2×2的图格矩阵，即矩阵中元素索引与图格索引相同。

特征矩阵：使用特征提取方法计算图格矩阵中的每个元素的特征向量，以特征向量为单位组成矩阵，即矩阵中每个元素都是一个图格的特征向量，矩阵中元素索引与其对应的图格在图格矩阵中的索引相同。

训练样本集：N副图像I₁,I₂…I_N的分辨率相同，所有图像根据图格分割产生的图格纹理种类及其数量都相同，若图格纹理种类数为且不考虑形状畸变和光照变化等影响图像采样的因素下，第i副图像I_i中的图格与和的纹理相同且L_1,1，L_2,1…L_t,1的纹理均不相同，其中例如附图7所示的四副图像I₁，I₂，I₃和I₄根据图格分割，每幅图像产生4个图格，四副图像的图格只有2种纹理类型，且排列方式均满足上述条件。I_i称为训练样本。

测试样本集：与训练样本集类似，所有图像分辨率相同，且根据图格分割产生的图格纹理种类及其数量都相同，每幅图像图格的排列方式与训练样本集定义中描述的一致，与训练样本集不同的是，测试样本集中的图像含有位置随机且纹理不属于图格纹理种类的不规则区域，该区域定义为瑕疵。测试样本集中的图像称为测试样本。

特征提取方法名称有序集合T：表示特征提取方法f₁，f₂…f_|T|的名称集合，例如T＝{HOG,LBP}，那么|T|＝2且f₁表示HOG方法，f₂表示LBP方法。

在以上定义的基础上，本发明解决其技术问题所采用的技术方案是：一种基于峰值阈值和混合特征的纺织品瑕疵检测方法，包括两个阶段：训练阶段和测试阶段。训练阶段根据一系列无瑕疵纺织品图像(以下简称无暇图像)分割图格并计算瑕疵识别所需参数；测试阶段根据训练阶段得到的参数对一副纺织品图像进行图格分割并判断图格是否包含瑕疵，最后标记含有瑕疵的图格。本发明方法假设纺织品图像具有如下特点：相对于纺织品图像的行和列，图格依图像行的方向横向排列，并按列的方向纵向排列；在MCA的卡通成分I_c中，图格具有几何形状并与背景像素在灰度上有显著差异。

训练阶段包含三个步骤：步骤1训练样本图格分割，步骤2计算阈值系数，步骤3计算测试阶段参数。测试阶段包含两个步骤：步骤4测试样本图格分割和步骤5瑕疵识别。

步骤1训练样本图格分割。对于一个训练样本，使用形态学成分分析方法(MCA，出自文献Jia L.,Liang J.,Fabric defect inspection based on isotropic latticesegmentation,Journal of the Franklin Institute 354(13)(2017)5694-5738)计算训练样本卡通成分I_c，使用阈值f_c·max(I_c)二值化I_c得到二值图像I_tc，由Moore-Neighbor跟踪算法(Moore-Neighbor tracing algorithm，出自文献Jia L.,Liang J.,Fabric defectinspection based on isotropic lattice segmentation,Journal of the FranklinInstitute 354(13)(2017)5694-5738)获取I_tc中对象的闭合边缘。对于每个具有闭合边缘的对象，找出该对象行列索引的极值，如果该对象行索引极值之差的绝对值超过0.75·dim_x(I_tc)，或列索引极值之差的绝对值超过0.75·dim_y(I_tc)，则从I_tc中删除该对象。统计I_tc每行和每列的背景像素个数，按行和列的索引分别排列背景像素个数构成背景像素的横向投影和纵向投影 和的峰值分别记为多重集和对和分别应用自适应K-mean算法(Adaptive K-means)算法(Jia L.,Liang J.,Fabric defect inspectionbased on isotropic lattice segmentation,Journal of the Franklin Institute 354(13)(2017)5694-5738，以下简称自适应聚类算法)进行聚类，聚类中心分别保存为多重集和 和有可能包含多个相近的聚类中心，这些相近聚类中心中的最小值被分别选为阈值和 中不小于的峰值按所对应的行索引，记为S′_h；中不小于的峰值按所对应的列索引，记为S′_v。对于S′_h，将S′_h中元素做升序排列，行索引间距的多重集定义为 具有行索引连续的稳定行间距的多重集定义如下。

其中x_i∈S′_h，i为数值连续的正整数。作为图格分界集合S_h的初始值，其定义如下。

类似地，可以计算 和S_v的初始值，定义如下。

根据理想行数和理想列数其中和分别表示具有最多元素的和对S_h和S_v进行扩展，即：从min(S_h)开始，以步长向I_tc行索引最小值1移动，即计算检查是否存在满足如果存在x′，则将x′添加进S_h，否则将x添加进S_h并保持S_h中元素升序排列，再次计算并重复上述步骤；类似地，从max(S_h)开始，以步长向I_tc行索引最大值dim_x(I_c)移动，即计算检查是否存在满足如果存在x′，则将x′添加进S_h，否则将x添加进S_h，再次计算并重复上述步骤。对S_v以步长做类似扩展。根据S_h与S_v分别包含的行与列索引，可以将I_c按这些索引所在的行与列进行分割，分割所得的区域定义为图格，其定义如下。

其中1≤i_r≤|S_h|-1且1≤i_c≤|S_v|-1，因此I_c分割出(|S_h|-1)·(|S_v|-1)个而i_r和i_c分别是以图格为单位的行与列索引。

步骤2计算阈值系数。对于训练样本集I₁,I₂…I_N和N′个f_c的可选值c₁,c₂…c_m，根据其中任意训练样本I_i(i＝1,2…N)，通过步骤1可计算N′个理想行数和N′个理想列数其中l＝1,2…N′。在I_i的多重集和多重集中出现次数最多元素所对应f_c的取值分别记为c_h(i,l)和c_v(i,l)，定义如下。

对于I_i，如果c_h(i,l)与c_v(i,l)相同，则相应索引(i,l)保存在集合中，的定义如下。

对于每个即对于I_i，如果至少存在一个l′使得c_h(i,l′)≡c_v(i,l′)成立，则与med({c_l})距离最近的c_h(i,l′)参与f_c的计算，f_c的定义如下。

其中c_h(i,l)的索引 表示取符合定义中的i值。

步骤3计算测试阶段参数。该步骤具体包括以下三个步骤：步骤3.1计算图格周期；步骤3.2计算图格各特征的理想统计值；步骤3.3计算各特征的理想统计值阈值。

步骤3.1计算图格周期。对于训练样本集I₁,I₂…I_N中的第个训练样本I_i，根据步骤2所计算的阈值系数对I_i重复步骤1可得S_h和S_v，根据S_h和S_v将I_i分割为m×n个图格(m＝|S_h|-1，n＝|S_v|-1)。使用HOG特征提取方法计算I_i图格的特征向量并使特征向量索引与其对应的图格索引相同。计算与第i_r行中所有图格的欧氏距离，按计算所涉及图格的列索引升序排列，则可构成距离向量。对于将对应的距离向量按i_c升序排列得到第i_r行的n×n距离矩阵。对于将第i_r行对应的n×n距离矩阵按i_r升序排列得到I_i的行距离矩阵类似地，可以计算I_i的列距离矩阵对向量进行傅立叶变换，得到的周期与频谱。根据(和)的周期与频谱，计算周期中位值和频谱中位值，即图像行周期和图像行频谱。类似地，可以构建I_i的列距离矩阵并计算图像列周期和图像列频谱。根据I₁,I₂…I_N，可计算N个图像行周期和对应的N个图像行频谱，计算图像行频谱中位值找出高于的图像行频谱所对应的图像行周期，计算这些图像行周期的中位值对图像列周期和图像列频谱重复相同步骤得到图像列频谱中位值和图像列周期中位值若或或则t取值为1，否则通过比较与相应的频谱大小确定t的取值，即：若则t取否则t取

步骤3.2计算图格各特征的理想统计值。该步骤包括四个子步骤：步骤3.2.1计算特征统计值，步骤3.2.2计算特征统计值排序，步骤3.2.3计算稳定特征元素，步骤3.2.4计算理想统计值。

步骤3.2.1计算特征统计值，根据步骤3.1计算训练样本集I₁,I₂…I_N的图格周期t。对于第i个训练样本I_i，根据步骤2分割I_i得到图格通过|T|个(T为特征提取方法名称有序集合)输入为二维灰度图像矩阵且输出为一维实向量的特征提取方法f₁，f₂…f_|T|计算I_i图格的特征向量基于f_j的特征向量长度定义为f_j的特征元素数F_j。根据假设条件和图格周期t，I_i中的图格与 和的纹理相同而L_1,1，L_2,1…L_t,1的纹理均不相同，其中因此存在t类纹理不同的图格并且第类图格在第i_r行和第(i_r+l₁t)行的列索引相同，因此列索引相同的第k类图格可按行列索引升序组成图格矩阵。对于第k类图格，最多存在t个图格矩阵C₁,C₂…C_t，根据组成图格矩阵的图格，由下式计算第k类图格基于f_j的I_i的特征统计值和

其中 表示图格L是第i_t个图格矩阵的任意元素，表示基于f_j的图格矩阵中所有元素(图格)的特征向量中第i_F个元素(实数)的多重集，其中且1≤i_F≤F_j，将opt替换为mean，std，max或min时，则定义相应的和

步骤3.2.2计算特征统计值排序。计算训练样本I₁,I₂…I_N之间基于d_j的的欧式距离平均值d(j)，其定义如下。

对于f₁，f₂…f_|T|，可得对应的d(1)，d(2)…d(|T|)。对于第k类图格纹理和第j个特征提取方法f_j(即固定索引k和j)，根据I₁,I₂…I_N，步骤3.2.1可产生N个应用聚类算法对N个进行聚类，聚类算法类别参数设为t，得到t个类别中心对于根据下式计算离最近的类别中心所对应的类标签u^*。

若其中表示t个聚类算法产生的类别中具有最多元素个数的类别中心，则交换索引(i,j,k)所确定的特征统计值和索引(i,j,k^*)所确定的特征统计值，其中k^*定义如下。

对于索引k和j的所有固定组合，对于每个重复上述u^*和的计算并判断是否成立，若成立则重复k^*的计算并交换索引(i,j,k)所确定的特征统计值和索引(i,j,k^*)所确定的特征统计值。根据d(j)的定义，再次计算训练样本I₁,I₂…I_N之间基于f_j的的欧式距离平均值，得到对应f₁，f₂…f_|T|的d′(1)，d′(2)…d′(|T|)。若d(j)≥d′(j)对于都成立，则保留上述特征统计值交换结果，否则将特征统计值排序恢复到步骤3.2.1结束时的状态。

步骤3.2.3计算稳定特征元素。对于第k类图格纹理和第j个特征提取方法f_j(即固定索引k和j)，根据上述步骤和I₁,I₂…I_N计算的N个的第个元素和的第i_F个元素可计算第k类图格纹理基于f_j的特征向量第i_F个元素的稳定值s_(j,k)(i_F)，其定义如下。

将s_(j,k)(i_F)按索引i_F升序排列则得到第k类图格纹理基于f_j的稳定值向量s_(j,k)。若参数n_f表示预定义的最小特征向量长度，那么当n_f＜F_j成立时，应用自适应聚类算法对s_(j,k)(1)，s_(j,k)(2)…s_(j,k)(F_j)进行聚类，若将自适应聚类算法产生的类别按从1开始的正整数依次编号，第i_F个稳定值s_(j,k)(i_F)所属类别编号记为L_s(i_F)，则这些编号定义集合L_s。若定义预设参数最小特征数则第k类图格纹理基于f_j的特征向量第i_F个元素的稳定性定义如下。

表示将自适应聚类算法产生的类别按其元素数量降序排列得到的前n_f个类别的编号集合。将按索引i_F升序排列则得到第k类图格纹理基于f_j的稳定性向量对于索引k和j的所有固定组合，重复上述的计算。

步骤3.2.4计算理想统计值。对于第k类图格纹理和第j个特征提取方法f_j(即固定索引k和j)，根据上述步骤和I₁,I₂…I_N可计算和通过自适应聚类算法，可对向量 进行聚类，若将自适应聚类算法产生的类别按从1开始的正整数依次编号且第i个向量所属类别编号记为则这些编号定义集合对于第 个类别，第k类图格纹理基于f_j的理想统计值定义如下。

表示属于第k类图格纹理基于f_j的第i_u个子类图格纹理的特征统计值中均值的平均值。对于索引k和j的所有固定组合，重复上述的计算。

步骤3.3计算各特征的理想统计值阈值。根据训练样本集和上述步骤，可计算基于第j个特征提取方法f_j的第k类图格纹理的第i_u个子类图格纹理的理想统计值(即固定索引j，k和i_u)。对于任意训练样本由步骤2产生的任意图格L，根据其特征向量f_j(L)按下式计算理想统计值索引k^*和

对于可能存在多个L其理想统计值索引满足k^*＝k和这些图格组成集合当成立时，可按下式计算基于第j个特征提取方法的第k类图格纹理的第i_u个子类图格纹理的最大距离即理想统计值阈值。

对于索引j，k和i_u的所有固定组合，重复上述的计算。

步骤4测试样本图格分割。对一副给定的测试样本，使用步骤2计算得到的阈值系数重复步骤1，最终得到测试样本的行分割位置和列分割位置并根据和将测试样本分割为图格。

步骤5瑕疵识别。对测试样本的任意图格根据特征提取方法f₁，f₂…f_|T|计算特征向量 对于f_j计算的特征向量根据步骤3.2和步骤3.3计算理想统计值索引k^*和 和若则标记为有瑕疵，否则标记为无瑕疵。当所有图格基于f_j的标记结束，检查每个有瑕疵图格L_l的8临域内图格的标记，若存在无暇图格则判断是否成立，若成立则标记为有瑕疵并令且按下式计算d_l+1，继续检查内图格的标记并重复上述步骤直至d_l+1为

其中阈值系数L₁表示基于f_j的标记结束得到的有暇图格。当动态阈值为时，全部有暇图格所包含像素的行列索引即为检测结果。

本发明的有益效果是：本发明提供的一种基于峰值阈值和混合特征的纺织品瑕疵检测方法，该方法分析基于照明光源下平坦纺织品表面的数字图像像素灰度信息，将图像分割为互不重叠的网格，计算每个网格的HOG，GLCM和Gabor特征值，根据特征值分布自动定位纺织品表面瑕疵。本发明特别适用于自动识别在稳定照明光源下采集的纺织品平坦表面灰度数字图像中的纺织品表面瑕疵。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明的总流程示意图；图2是本发明的假设条件示意图；图3是本发明的步骤1训练样本图格分割的流程示意图；图4是本发明的步骤1中计算S_h初始值的基本原理示意图；图5是本发明的步骤3.1中计算图格周期流程示意图；图6是本发明的步骤3.2.1中计算每个无暇纺织品灰度图像的特征统计值流程示意图；图7是本发明的步骤3.2.2中训练样本集示意图；图8是本发明的步骤3.2.2中排序流程示意图；图9是本发明的步骤3.3中计算各特征的理想统计值阈值流程示意图；图10是本发明的步骤5中瑕疵识别过程示意图；图11是步骤1图格分割算法流程图；图12是步骤2计算阈值系数算法流程图；图13是步骤3.1计算图格周期算法流程图；图14是算法A.1计算特征矩阵算法流程图；图15是算法A.2计算距离算法流程图；图16是算法A.3计算信号周期算法流程图；图17是步骤3.2.1计算特征统计值算法流程图；图18是步骤3.2.2计算特征统计值排序算法流程图；图19是步骤3.2.3计算稳定特征元素算法流程图；图20是步骤3.2.4计算理想统计值算法流程图；图21是步骤3.3计算各特征的理想统计值阈值算法流程图；图22是步骤5瑕疵识别算法流程图。

具体实施方式

现在结合附图对本发明作详细的说明。此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

本发明计算方法的实施方式由编写计算机程序完成，具体实施过程涉及的自定义算法由伪代码描述。程序输入为灰度化的纺织品图像，程序输出为含瑕疵的图格集合。本发明的实施方案包括五个步骤，前三个步骤为训练阶段，后两个步骤为测试阶段。

所述训练阶段包括以下步骤：

步骤1：使用形态学成分分析方法计算训练样本卡通成分I_c，将I_c按索引所在的行与列进行分割，获得训练样本图格；

步骤2：根据步骤1中获得的训练样本图格，计算任意训练样本的理想行数和理想列数，以获得阈值系数，重复上述步骤以计算得到所有训练样本的阈值系数；

步骤3：对于训练样本集中任一训练样本，根据步骤2中所计算的阈值系数，采用HOG特征提取方法计算图格的特征向量，由特征向量计算距离矩阵，将距离矩阵经过傅里叶变换得到计算图格周期；根据图格周期计算图格各特征的理想统计值；

所述测试阶段包括以下步骤：

步骤4：测试样本图格分割，对一副给定的测试样本，根据步骤2得到的阈值系数重复步骤1得到测试样本图格；

步骤5：瑕疵识别，按照步骤3的方法计算测试样本的特征向量、图格周期、图格各特征的理想统计值以及理想统计值阈值，并将计算结果与理想统计值阈值进行比较，以识别有瑕疵的图格。

该方法的顺序及逻辑关系详见图1。

如图2所示，本发明方法假设纺织品图像具有如下特点：相对于纺织品图像的行和列，图格依图像行的方向横向排列，并按列的方向纵向排列；在MCA的卡通成分I_c中，图格具有几何形状并与背景像素在灰度上有显著差异。如图2所示的三种情况，图2中每一行显示了一种情况，每行第一列是纺织品图像，第二列是I_c，第三列是I_c的三维Mesh图，第四列是二值化卡通成分每行背景像素的个数分布，第四列图的横坐标是行索引，纵坐标是背景像素个数。图2中第一行纺织品图像的图格没有几何形状，这导致了背景像素分布缺乏明显的周期性；第二行纺织品图像的图格虽然有几何形状，但图格中的形状与背景在I_c中的差异小，即相应的Mesh图大部分区域几乎是平坦的，这导致背景像素数量过多，背景像素分布缺乏明显的周期性；第三行纺织品图像图格具有几何形状并在I_c中与背景的差异大，其背景像素分布具有周期性。

以下分别对这五个步骤展开说明。

1、训练阶段

如图1所示，训练阶段首先根据一系列无暇纺织品灰度图像计算图格分割所需参数，而后对无暇图像进行图格分割并计算测试阶段所需参数。训练阶段包含三个步骤：步骤1计算图格分割参数，步骤2训练样本图格分割，步骤3计算测试阶段参数。本发明提出的图格分割方法根据步骤1.3得到的参数，通过步骤2.1至步骤2.3分割图格。

步骤1训练样本图格分割。如图3所示，对于一幅给定的纺织品图像，根据如图11所示的图格分割算法，使用MCA计算I_c和纹理成分，根据如图12所示的计算阈值系数和熵阈值的算法，计算得到的阈值系数f_c，使用阈值f_c·max(I_c)二值化I_c得到I_tc。图3中显示了I_c的Mesh图，I_c中的二维图案在Mesh图中显示为三维“山峰”，二值化I_c相当于用一个灰色平面截断山峰，山峰平面上方的部分所对应的像素保存为1，山峰平面下方的部分所对应的像素保存为0，这个二值化结果为I_tc，即图3右下方箭头“使用阈值二值化I_c得到I_tc”所指的图案。

假设纺织品图像至少由4个图格构成，那么I_tc中对应图格的对象尺寸应小于图像尺寸的一半，因此如果出现了尺寸过大的情况，那么这个对象则不是图格，应从I_tc中删除尺寸过大的对象，即：由Moore-Neighbor跟踪算法(Moore-Neighbor tracing algorithm，出自文献Jia L.,Liang J.,Fabric defect inspection based on isotropic latticesegmentation,Journal of the Franklin Institute 354(13)(2017)5694-5738)获取I_tc中对象的闭合边缘。对于每个具有闭合边缘的对象，找出该对象行列索引的极值，如果该对象行索引极值之差的绝对值超过0.75·dim_x(I_tc)，或列索引极值之差的绝对值超过0.75·dim_y(I_tc)，则从I_tc中删除该对象，即将尺寸过大的对象的像素置为0。

纺织品图像图格的几何形状被I_tc中的二值对象所描述，图格的丰富多样导致了二值对象几何形状的多样性，但二值对象之间背景像素的分布受其形状影响小，即：不同形状的二值对象，如果其沿相同方向的分布相同，那么背景像素在该方向上的分布相似。如附图3所示，统计二值化卡通成分每行和每列的背景像素个数，按行和列的次序分别排列背景像素个数即构成了背景像素的横向投影和纵向投影 和的峰值分别记为多重集和即附图3中横向投影和纵向投影图示中靠近标签“横向投影”和“纵向投影”的深色小点，这些峰值反映了I_tc中图格的分界。

为获取这些峰值而过滤其他峰值，对和分别应用自适应K-mean算法(Adaptive K-means)算法(Jia L.,Liang J.,Fabric defect inspection based onisotropic lattice segmentation,Journal of the Franklin Institute 354(13)(2017)5694-5738，以下简称自适应聚类算法)进行聚类，聚类中心分别保存为多重集和

由于数据的随机性，和有可能包含多个相近的聚类中心，这些相近聚类中心中的最小值被分别选为阈值和即：将降序排列，从开始，计算前后两元素之差的绝对值，差大于DCT尺寸高的的第一个元素为类似地，将降序排列，从开始，计算前后两元素之差的绝对值，差大于DCT尺寸宽的的第一个元素为 中不小于的峰值按所对应的行索引，记为S′_h；中不小于的峰值按所对应的列索引，记为S′_v。

由于瑕疵等因素的干扰，S′_h和S′_v中的行列索引不一定准确反映图格的分界。因此，需要评估S′_h中是否存在具有稳定行间距的行索引，以及S′_v中是否存在具有稳定列间距的列索引，这些行列索引作为图格的分界以分割图格。对于S′_h，将S′_h中元素做升序排列，行索引间距的多重集定义为 具有行索引连续的稳定行间距的多重集定义如下。

其中x_i∈S′_h，i为数值连续的正整数，例如i可以取2，3，4，但不能只取2和4。由于可能存在多个符合定义的连续间距，所以可能存在多个其中具有最多元素个数的(记作)所对应的行索引作为图格分界集合S_h的初始值，其定义如下。

附图4显示了以一副纺织品图像横向投影为基础计算S_h初始值的过程，左侧显示了峰值以深色小点表示，对进行聚类则得到附图4中通过聚类得到了7个类的聚类中心，根据的聚类中心计算得到阈值即图中标有的直线上的叉。根据筛选的元素，删除较小峰值，即附图4中间的图示，根据行索引连续的峰值的行索引计算其行间距，则得到具有不同长度(元素个数)的其中具有最多元素的(即附图4中标有“最大的”)为S_h的初始值即为如附图4最右侧所示。类似地，可以计算 和S_v的初始值，定义如下。

因为S_h与S_v初始值所对应的和分别包含稳定行间距和稳定列间距，因此与中位值定义为理想行数和理想列数S_h与S_v的初始值示例见附图3，如图3所示，纺织品图像仅部分区域被S_h和S_v的初始值同时覆盖，即图3标有“S_h和S_v的初始值”图示中的网格，只有竖直直线的区域仅有S_v覆盖。S_h和S_v的扩展基于和进行。由于S_h中的行索引按升序排列，从min(S_h)开始，以步长向I_tc行索引最小值1移动，即计算检查是否存在 满足如果存在x′，则将x′添加进S_h，否则将x添加进S_h并保持S_h中元素升序排列，再次计算并重复上述步骤；类似地，从max(S_h)开始，以步长向I_tc行索引最大值dim_x(I_c)移动，即计算检查是否存在满足如果存在x′，则将x′添加进S_h，否则将x添加进S_h，再次计算并重复上述步骤。对S_v以步长做类似扩展，详见图11所示的图格分割算法流程图。扩展得到的S_h与S_v基本覆盖了纺织品图像大部分区域，如附图3所示。根据S_h与S_v分别包含的行与列索引，可以将I_c按这些索引所在的行与列进行分割，分割所得的区域定义为图格，其定义如下。

其中1≤i_r≤|S_h|-1且1≤i_c≤|S_v|-1，因此I_c分割出(|S_h|-1)·(|S_v|-1)个而i_r和i_c分别是以图格为单位的行与列索引。步骤1流程详见图11所示步骤1图格分割。

步骤2计算阈值系数。图格分割的一个重要参数是阈值系数f_c，如图3所示，I_c的二值化是基于阈值f_c·max(I_c)完成，而该阈值取决于f_c。对于训练样本集I₁,I₂…I_N的I_i应用基于不同f_c取值的步骤1能得到多个和计算所得的和的直方图，其中出现次数最多的和及其对应的f_c取值对确定f_c的最终取值具有参考意义。对于训练样本集I₁,I₂…I_N和N′个f_c的可选值c₁,c₂…c_m，令和分别表示输入为I_i，i＝1,2…N且f_c＝c_l，l＝1,2…N′的步骤1计算得到的和对于每个I_i都存在N′个和N′个在关于I_i的多重集和多重集中出现次数最多元素所对应的f_c取值分别记为c_h(i,l)和c_v(i,l)，定义如下。

对于I_i，如果c_h(i,l)与c_v(i,l)相同，则相应索引(i,l)保存在集合中，的定义如下。

对于每个即对于I_i，如果至少存在一个l′使得c_h(i,l′)≡c_v(i,l′)成立，则与med({c_l})距离最近的c_h(i,l′)参与f_c的计算，f_c的定义如下。

其中c_h(i,k)的索引 表示取符合定义中的i值。步骤2流程详见图12所示阈值系数评估算法流程图。

步骤3.1计算图格周期流程详见附图5。根据训练样本集I₁,I₂…I_N和步骤1.3可计算图格理想尺寸行数和列数再由步骤2分割第个训练样本I_i得到I_i的m×n个图格。假设在I_i的每行和每列图格中，每相隔个图格的两个图格的纹理相同，t′取值中的最小值称为图格周期t。例如t＝1时，I_i的所有图格的纹理相同；t＝2时，I_i的图格纹理每隔一个图格则相同。按图格的纹理分类，则I_i有t个类型的图格纹理。使用HOG(Dalal,N.,Triggs B.,Histograms of Oriented Gradients for HumanDetection,IEEE Comput.Soc.Conf.on Comput.Vision and Pattern Recognition 1(2005)886–893)特征提取方法(以下简称HOG方法)计算I_i图格的特征向量并使特征向量索引与其对应的图格索引相同，即按图格的排列方式排列图格所对应的特征向量。对于I_i的图格计算与第i_r行中所有图格的欧氏距离，按计算所涉及图格的列索引升序排列，则可构成距离向量。因此固定第i_r行中每个图格，根据第i_r行的所有图格都可计算一个距离向量，将这些距离向量按计算所涉及的固定图格列索引升序排列，则得到基于第i_r行的n×n距离矩阵，将距离矩阵按i_r升序排列，得到I_i的行距离矩阵类似地，可以计算I_i的列距离矩阵将向量作为一维信号进行快速傅立叶变换(fast Fourier transform，以下简称FFT)，则可得到的周期与频谱，这个周期和频谱定义为为I_i的行周期和行频谱，计算所有1≤l₁≤m和1≤l₃≤n所对应的的行周期和行频谱并计算行周期中位值和行频谱中位值，所得中位值分别定义为图像行周期和图像行频谱。类似地，根据列距离矩阵D^(c)，可以计算I_i的列周期和列频谱，并计算相应的图像列周期和图像列频谱。附图5展示了I₁,I₂…I_N的行周期和行频谱的概念性二维散点图，列周期和列频谱的概念性二维散点图。根据I₁,I₂…I_N，可计算N个图像行周期和对应的N个图像行频谱，计算图像行频谱中位值找出高于的图像行频谱所对应的图像行周期，计算这些图像行周期的中位值对图像列周期和图像列频谱重复相同步骤得到图像列频谱中位值和图像列周期中位值若或或则t取值为1，否则通过比较与相应的频谱确定t的取值，即：若则t取否则t取步骤3.1流程详见图13所示计算图格周期算法流程图，图14是算法A.1所示计算特征矩阵算法流程图，图15是算法A.2所示距离计算算法流程图以及图16是算法A.3所示计算信号周期算法流程图。

步骤3.2包括四个子步骤：步骤3.2.1计算特征统计值，步骤3.2.2计算特征统计值排序，步骤3.2.3计算稳定特征元素，步骤3.2.4计算理想统计值。

步骤3.2.1计算每个无暇纺织品灰度图像的特征统计值。根据上述步骤计算训练样本集I₁,I₂…I_N的图格周期t，即纹理相同图格的排列规律。对于第副无暇图像I_i，可以分为t类纹理不同的图格，第i_r行第类图格和第(i_r+t)行该类图格的图格列索引取值相同，由此可在I_i中只访问同属一类的图格，对于第k类图格，第i_r行，第(i_r+t)行，第(i_r+2t)行…，的该类图格可组成矩阵，该矩阵称为图格矩阵，对于第k类图格，图格矩阵最多可存在t个，即C₁,C₂…C_t。如附图6所示，当t＝3时，第3类图格有3个矩阵：C₁由第1行和第4行(即1+t行)的第3类图格组成，C₂由第2行第5行的第3类图格组成，C₃由第3行的第3类图格组成。假设存在|T|个输入为二维灰度图像矩阵且输出为一维实向量的特征提取方法f₁，f₂…f_|T|，这些特征提取方法对于行数及列数相同的输入图像产生长度相同的特征向量，那么I_i中的图格可根据f₁，f₂…f_|T|计算|T|个特征向量若I_i所有图格的尺寸根据I₁,I₂…I_N中图格所含像素最小行数n_r与最小列数n_c进行调整，即只保留图格内第1行到第n_r行和第1行到第n_c列的像素，则I_i中任意两个图格与基于的特征向量长度相同，即这个基于f_j的特征向量长度定义为f_j的特征元素数F_j。对于I_i中第k类图格，可根据该类图格的图格矩阵C₁,C₂…C_t计算基于f_j的特征向量中每个元素的均值标准差最大值和最小值这4个值定义为I_i的特征统计值，即由下式定义。

其中 表示图格L是第i_t个图格矩阵的任意元素，其中表示基于f_j的图格矩阵中所有元素(图格)的特征向量中第i_F个元素(实数)的多重集，将opt替换为mean，std，max或min时，则定义相应的和步骤3.2.1流程详见图17所示计算特征统计值算法流程图。

步骤3.2.2计算特征统计值排序。虽然I₁,I₂…I_N为同一训练样本集的无暇样本，但训练样本集的定义并不保证每个样本中第一个图格L_1,1的纹理相同。例如附图7所示的训练样本集，该训练样本集包含4副无暇图像I₁，I₂，I₃和I₄，其中I₃中L_1,1的纹理和其它样本中的第一个图格纹理不同。如果所有训练样本的第一个图格的纹理不同，那么步骤3.2.1计算特征统计值就需要重新排序。例如附图8所示，训练样本集包含训练样本I₁，I₂，I₃，I₄和I₅，其中I₄的L_1,1与其它样本的第一个图格纹理不同，导致特征统计值与其它样本的排序也不同。如果所有训练样本的第一个图格纹理都相同，那么排序则没有意义。为了检测排序是否必要，计算训练样本I₁,I₂…I_N之间基于f_j的的欧式距离平均值d(j)，其定义如下。

对于f₁，f₂…f_|T|，可得对应的d(1)，d(2)…d(|T|)，相应地，在完成排序后可再次根据上式计算d′(1)，d′(2)…d′(|T|)，比较前后两组距离平均值，若d(j)≥d′(j)对于1≤j≤|T|都成立，则保留排序结果，否则恢复排序前的状态。排序流程如附图8所示。对于第k类图格纹理的N个应用聚类算法对其聚类，聚类算法类别参数设为t，则得到t个类别中心对于根据下式计算离最近的类别中心所对应的类标签u^*。

若其中表示t个类别中具有最多元素个数的类的中心，则交换索引(i,j,k)所确定的特征统计值与索引(i,j,k^*)所确定的特征统计值，其中k^*定义如下。

对于索引k和j的所有固定组合，对于每个重复上述u^*和的计算并判断是否成立，若成立则重复k^*的计算并交换索引(i,j,k)所确定的特征统计值和索引(i,j,k^*)所确定的特征统计值。步骤3.2.2流程详见图18所示计算特征统计值排序算法流程图。

步骤3.2.3计算稳定特征元素。根据训练样本集中I₁,I₂…I_N的t种图格纹理可计算基于f_j的N×t组特征统计值，对于第类图格纹理，根据其的第 个元素和的第i_F个元素其中F_j为的特征元素数，可计算第k类图格纹理基于f_j的特征向量第i_F个元素的稳定值s_(j,k)(i_F)，其定义如下。

将s_(j,k)(i_F)按索引i_F升序排列则得到第k类图格纹理基于f_j的稳定值向量s_(j,k)。若参数n_f表示预定义的最小特征向量长度，本方法n_f取值为n_f＝8，那么当n_f＜F_j成立时，应用自适应聚类算法对第k类图格纹理基于f_j的F_j个稳定值进行聚类，若将自适应聚类算法产生的类别按从1开始的正整数依次编号且第i_F个稳定值s_(j,k)(i_F)所属类别的编号记为L_s(i_F)，则这些编号定义集合L_s。若定义预设参数最小特征数则第k类图格纹理基于f_j的特征向量第i_F个元素的稳定性定义如下。

其中δ为狄拉克δ函数，表示将自适应聚类算法产生的类别按类别所包含元素数降序排列得到的前n_f个类别的编号集合。将按索引i_F升序排列则得到第k类图格纹理基于f_j的稳定性向量对于索引k和j的所有固定组合，重复上述的计算。步骤3.2.3流程详见图19的计算稳定特征元素算法流程图。

步骤3.2.4计算理想统计值。对于训练样本集中I₁,I₂…I_N的第类图格纹理，根据步骤3.2.3可计算第k类图格纹理基于的稳定性向量通过自适应聚类算法，可对向量进行聚类，若将自适应聚类算法产生的类别按从1开始的正整数依次编号且第个向量所属类别的编号记为则这些编号定义集合在实际情况中，可能会发生接近N的情况，因此定义参数若U_(j,k)＞n_K，则重新进行聚类，本方法n_K取值为n_K＝5。对于第个类别，第k类图格纹理基于f_j的理想统计值定义如下。

表示属于第k类图格纹理基于f_j的第i_u个子类图格纹理的特征统计值中均值的平均值。对于索引k和j的所有固定组合，重复上述的计算。步骤3.2.4流程详见图20所示计算理想统计值算法流程图。

步骤3.3计算各特征的理想统计值阈值。对于训练样本集中I₁,I₂…I_N，根据步骤3.2.4可得到第 类图格纹理基于的第i_u(1≤i_u≤U_(j,k))个子类图格纹理的理想统计值对于任意训练样本根据图格分割产生的任意图格L，可计算基于f_j的特征向量f_j(L)及其和所有理想统计值之间的欧氏距离，可找出其中最小距离所对应的理想统计值索引k^*和定义如下。

因此，对于第k类图格纹理基于f_j的第i_u个子类图格纹理的理想统计值可能存在多个图格且图格相关的k^*和与的索引k和i_u相同，这些图格组成集合当成立时，可计算中图格的特征向量与的最大距离定义如下。

对于索引j，k和i_u的所有固定组合，重复上述的计算。即为理想统计值阈值，其计算过程如附图9所示。附图9中，左侧为已完成图格分割的纺织品灰度图像，该图像包括2类图格纹理，对于图像中的任意图格根据f₁，f₂…f_|T|计算该图格的|T|个特征向量对于第j个特征向量计算k^*和结果以包含对应图格位置灰度色块的图像表示，其中深色灰度色块表示小距离，每个色块上的数字从左到右依次为k^*和对于对应的索引k和i_u，删除相应的步骤3.3流程详见图21所示计算各特征的理想统计值阈值算法流程图。

2、测试阶段

在训练阶段得到的参数基础上，测试阶段对测试样本集中的一副图像进行瑕疵检测和定位。测试阶段包含两个步骤：步骤4测试样本图格分割和步骤5瑕疵识别。

步骤4测试样本图格分割。对一副给定的测试样本，使用步骤2计算得到的阈值系数重复步骤1，最终得到测试样本的行分割位置和列分割位置并根据和将测试样本分割为图格。

步骤5瑕疵识别，流程如附图10所示。对于一副给定纺织品灰度图像I，由步骤4产生I的图格，对I中的任意图格根据特征提取方法f₁，f₂…f_|T|计算的|T|个特征向量对于基于的特征向量计算步骤3.3定义的理想统计值索引k^*和并比较特征值距离和的大小，若则标记为有瑕疵，否则标记为无瑕疵。

当所有图格基于f_j的标记结束，检查每个有瑕疵图格L_l的8临域内图格的标记，若存在无暇图格则比较与动态阈值d_l的大小，若则标记为有瑕疵并令且按下式计算d_l+1，继续检查内图格的标记，并重复上述步骤直至新计算的动态阈值为

其中本方法取值为γ＝0.93，L₁表示基于f_j的标记结束得到的有暇图格。当动态阈值为时，全部有暇图格所包含像素的行列索引即为检测结果。

步骤5流程详见图22所示瑕疵识别算法流程图。

本发明的高效性实验证明：本发明方法的瑕疵检测效果评估中使用了香港大学电气和电子工程系工业自动化实验室提供的106幅像素大小为256×256的24位彩色纺织品图像，在实验中这些图像被转换为8位的灰度图像。106幅图像包括两种图案：箱形图像和星形图像，其中箱形图像包括26幅无瑕疵和30幅有瑕疵图像；星形图像包括25幅无瑕疵和25幅有瑕疵图像。两种图案的有瑕疵图像都包括5种瑕疵类型：断端(broken end)，孔洞(hole)，网纹(netting multiple)，粗条纹(thick bar)和细条纹(thin bar)，每种瑕疵类型的具体数量详见表1至表2的第一列。所有瑕疵图像都有相同大小的瑕疵基准图(ground-truthimage)，瑕疵基准图为2值图像，其中1表示瑕疵，0表示背景。用于比较的算法包括WGIS，BB，RB和ER，这些算法的参数设置与文献(Jia L.,Liang J.,Fabric defect inspectionbased on isotropic lattice segmentation,Journal of the Franklin Institute 354(13)(2017)5694-5738)相同。本发明方法基于该数据集的参数选择为：最小特征数n_f＝8，类别数极限n_K＝5，阈值系数γ＝0.93，T＝{“HOG”，“GLCM”，“Gabor”}。

用于评估的指标包括真阳性(true positive，以下简称TP)，假阳性(positiverate，以下简称FPR)，真阳性率(truepositiverate，以下简称TPR)，假阳性率(positiverate，以下简称FPR)，阳性预测值(positivepredictivevalue，以下简称PPV)和阴性预测值negativepredictivevalue，以下简称NPV)。TPR衡量瑕疵基准图中表示瑕疵的像素被算法正确标定为瑕疵的比例，FPR衡量瑕疵基准图中表示背景的像素被算法错误标定为瑕疵的比例，PPV衡量算法输出的瑕疵中瑕疵基准图中的瑕疵所占比例，NPV衡量算法输出的背景中瑕疵基准图中的背景所占比例。对于TPR，PPV和NPV，指标值越大越好，对于FPR则越小越好。相关数学定义可以在文献(M.K.Ng,H.Y.T.Ngan,X.Yuan,,et al.,Patterned fabric inspection and visualization by the method of imagedecomposition,IEEETrans.Autom.Sci.Eng.11(3)(2014)943–947)中找到。本发明方法，WGIS，BB，RB和ER的指标计算方法与文献(Jia L.,Liang J.,Fabric defect inspectionbased on isotropic lattice segmentation,Journal of the Franklin Institute 354(13)(2017)5694-5738)相同。实验硬件平台为含处理器Intel CoreTMi7-3610QM 230-GHz和8.00GB内存的笔记本电脑，软件为Windows 10和Maltab8.4。

表1罗列了箱形图像瑕疵检测结果，其中标记瑕疵类型的每行指标值为对应方法对该瑕疵类型所有测试样本运算结果的指标平均值。根据表1概况一栏，本发明方法具有最优的全局ACC(0.99)和全局TPR(0.67)，其全局TPR比WGIS次高的全局TPR(0.54)高很多，但WGIS的全局FPR很高。对于孔洞和网纹类型的瑕疵，本发明方法的TPR达到最优，同时FPR亦为最优。细条纹的TPR(0.63)非常接近WGIS达到的最优值(0.65)，但FPR(0.03)比WGIS(0.17)低得多。断端和粗条TPR(0.69；0.82)比WGIS(0.75；1.00)低，但FPR(0，0.02)比WGIS(0.1，0.17)低得多。综上，本发明方法达到了全局最优TPR和ACC，其全局FPR(0.01)非常接近最优值(0)，同时本发明方法特别适用于检测箱形图像的孔洞和网纹类型的瑕疵。

表1 箱形图像瑕疵检测结果

表2罗列了星形图像瑕疵检测结果，其中标记瑕疵类型的每行指标值为对应方法对该瑕疵类型所有测试样本运算结果的指标平均值。根据表2概况一栏，本发明方法的全局ACC，TPR，PPV和NPV都达到了最优，其全局FPR(0.01)接近最优值(0.0)。本发明方法的全局TPR(0.92)比次优值(0.43)高很多，相应地，除粗条纹外，本发明方法各类型瑕疵TPR几乎是对应次优值的2倍。除网纹和粗条纹外，本发明方法FPR各类型瑕疵FPR均为最优值，而网纹和粗条纹FPR(0.02；0.03)非常接近最优值(0)。综上，与其他方法相比，本发明方法对于所有瑕疵类型都具有压倒性的最优ACC和TPR，同时FPR非常接近次优值。因此，对于星系图像的任何瑕疵类型，本发明方法都特别适用。

表2 星形图像瑕疵检测结果

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关的工作人员完全可以在不偏离本发明的范围内，进行多样的变更以及修改。本项发明的技术范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (2)

1.一种基于峰值阈值和混合特征的纺织品瑕疵检测方法，其特征在于：包括训练阶段和测试阶段两个阶段；训练阶段，根据一系列无瑕疵纺织品灰度图像，以下简称无瑕图像，计算图格分割所需参数，而后对无瑕图像进行图格分割并计算测试阶段瑕疵识别所需参数；测试阶段，根据训练阶段得到的参数对一副纺织品图像进行图格分割并判断图格是否包含瑕疵，最后标记含有瑕疵的图格；

所述训练阶段包括以下步骤：

步骤1：使用形态学成分分析方法计算训练样本卡通成分I_c，将I_c按索引所在的行与列进行分割，获得训练样本图格；

步骤2：根据步骤1中获得的训练样本图格，计算任意训练样本的理想行数和理想列数，以获得阈值系数，重复上述步骤以计算得到所有训练样本的阈值系数；

步骤3：对于训练样本集中任一训练样本，根据步骤2中所计算的阈值系数，采用HOG特征提取方法计算图格的特征向量，由特征向量计算距离矩阵，将距离矩阵经过傅里叶变换得到计算图格周期；根据图格周期计算图格各特征的理想统计值；

所述测试阶段包括以下步骤：

步骤4：测试样本图格分割，对一副给定的测试样本，根据步骤2得到的阈值系数重复步骤1得到测试样本图格；

步骤5：瑕疵识别，按照步骤3的方法计算测试样本的特征向量、图格周期、图格各特征的理想统计值以及理想统计值阈值，并将计算结果与理想统计值阈值进行比较，以识别有瑕疵的图格；

其中，步骤1训练样本图格分割具体包括以下步骤：

对于一个训练样本，使用形态学成分分析方法计算训练样本卡通成分I_c，使用阈值f_c·max(I_c)二值化I_c得到二值图像I_tc，由Moore-Neighbor跟踪算法获取I_tc中对象的闭合边缘，其中，f_c为阈值系数；对于每个具有闭合边缘的对象，找出该对象行列索引的极值，如果该对象行索引极值之差的绝对值超过0.75·dim_x(I_tc)，或列索引极值之差的绝对值超过0.75·dim_y(I_tc)，则从I_tc中删除该对象，其中，dim_x(I)表示二维图像I的总行数，dim_y(I)表示I的总列数；统计I_tc每行和每列的背景像素个数，按行和列的索引分别排列背景像素个数构成背景像素的横向投影和纵向投影 和的峰值分别记为多重集和对和分别应用自适应聚类算法进行聚类，聚类中心分别保存为多重集和 和有可能包含多个相近的聚类中心，这些相近聚类中心中的最小值被分别选为阈值和 中不小于的峰值按所对应的行索引，记为S′_h；中不小于的峰值按所对应的列索引，记为S′_v；对于S′_h，将S′_h中元素做升序排列，行索引间距的多重集定义为具有行索引连续的稳定行间距的多重集定义如下：

其中x_i∈S′_h，i为数值连续的正整数，作为图格分界集合S_h的初始值，其定义如下：

类似地，计算 和S_v的初始值，定义如下：

根据理想行数和理想列数其中和分别表示具有最多元素的和对S_h和S_v进行扩展，即：从min(S_h)开始，以步长向I_tc行索引最小值1移动，即计算检查是否存在满足如果存在x′，则将x′添加进S_h，否则将x添加进S_h并保持S_h中元素升序排列，再次计算并重复上述步骤；类似地，从max(S_h)开始，以步长向I_tc行索引最大值dim_x(I_c)移动，即计算检查是否存在满足如果存在x′，则将x′添加进S_h，否则将x添加进S_h，再次计算并重复上述步骤；对S_v以步长做类似扩展；根据S_h与S_v分别包含的行与列索引，将I_c按这些索引所在的行与列进行分割，分割所得的区域定义为图格，其定义如下：

其中且1≤i_c≤|S_v|-1，因此I_c分割出(|S_h|-1)·(|S_v|-1)个而i_r和i_c分别是以图格为单位的行与列索引；

其中，步骤2计算阈值系数具体包括以下步骤：

对于训练样本集I₁,I₂…I_N和N′个f_c的可选值c₁,c₂…c_N′根据其中任意训练样本I_i(i＝1,2…N)，通过步骤1可计算N′个理想行数和N′个理想列数其中l＝1,2…N′；在I_i的多重集和多重集中出现次数最多元素所对应阈值系数f_c的取值分别记为c_h(i,l)和c_v(i,l)，定义如下：

对于I_i，如果c_h(i,l)与c_v(i,l)相同，则相应索引(i,l)保存在集合中，的定义如下：

对于每个即对于I_i，如果至少存在一个l′使得c_h(i,l′)≡c_v(i,l′)成立，则与med({c_l})距离最近的c_h(i,l′)参与f_c的计算，f_c的定义如下：

其中c_h(i,l)的索引表示取符合定义中的i值；

其中，步骤3计算测试阶段参数具体包括以下步骤：

步骤3.1计算图格周期，对于训练样本集I₁,I₂…I_N中的第个训练样本I_i，根据步骤2所计算的阈值系数对I_i重复步骤1可得S_h和S_v，根据S_h和S_v将I_i分割为m×n个图格(m＝|S_h|-1，n＝|S_v |-1)；使用HOG特征提取方法计算I_i图格的特征向量并使特征向量索引与其对应的图格索引相同；计算与第i_r行中所有图格的欧氏距离，按计算所涉及图格的列索引升序排列，则可构成距离向量；对于将对应的距离向量按i_c升序排列得到第i_r行的n×n距离矩阵；对于将第i_r行对应的n×n距离矩阵按i_r升序排列得到I_i的行距离矩阵类似地，计算I_i的列距离矩阵 对向量进行傅立叶变换，得到的周期与频谱；根据的周期与频谱，计算周期中位值和频谱中位值，即图像行周期和图像行频谱；类似地，构建I_i的列距离矩阵并计算图像列周期和图像列频谱；根据I₁,I₂…I_N，可计算N个图像行周期和对应的N个图像行频谱，计算图像行频谱中位值找出高于的图像行频谱所对应的图像行周期，计算这些图像行周期的中位值对图像列周期和图像列频谱重复相同步骤得到图像列频谱中位值和图像列周期中位值若或或则t取值为1，否则通过比较与相应的频谱大小确定t的取值，即：若则t取否则t取其中，表示图格理想行尺寸行数，表示图格理想行尺寸列数；

步骤3.2计算图格各特征的理想统计值，该步骤包括四个子步骤：步骤3.2.1计算特征统计值，步骤3.2.2计算特征统计值排序，步骤3.2.3计算稳定特征元素，步骤3.2.4计算理想统计值；

步骤3.2.1计算特征统计值，根据步骤3.1计算训练样本集I₁,I₂…I_N的图格周期t，对于第i个训练样本I_i，根据步骤2分割I_i得到图格通过|T|个输入为二维灰度图像矩阵且输出为一维实向量的特征提取方法f₁，f₂…f_|T|计算I_i图格的特征向量其中，T为特征提取方法名称有序集合；基于f_j的特征向量长度定义为f_j的特征元素数F_j；根据假设条件和图格周期t，I_i中的图格与和的纹理相同而I_1,1，L_2,1…L_t,1的纹理均不相同，其中l₁，因此存在t类纹理不同的图格并且第类图格在第i_r行和第(i_r+l₁t)行的列索引相同，因此列索引相同的第k类图格可按行列索引升序组成图格矩阵；对于第k类图格，最多存在t个图格矩阵C₁,C₂…C_t，根据组成图格矩阵的图格，由下式计算第k类图格基于f_j的I_i的特征统计值和

其中表示图格L是第i_t个图格矩阵的任意元素，表示基于f_j的图格矩阵中所有元素的特征向量中第i_F个元素的多重集，其中且1≤i_F≤F_j，将opt替换为mean，std，max或min时，则定义相应的和

步骤3.2.2计算特征统计值排序，计算训练样本I₁,I₂…I_N之间基于f_j的的欧式距离平均值d(j)，其定义如下：

对于f₁，f₂…f_|T|，可得对应的d(1)，d(2)…d(|T|)；对于第k类图格纹理和第j个特征提取方法f_j，根据I₁,I₂…I_N，步骤3.2.1可产生N个应用聚类算法对N个进行聚类，聚类算法类别参数设为t，得到t个类别中心对于根据下式计算离最近的类别中心所对应的类标签u^*；

若其中表示t个聚类算法产生的类别中具有最多元素个数的类别中心，则交换索引(i,j,k)所确定的特征统计值和索引(i,j,k^*)所确定的特征统计值，其中k^*定义如下：

对于索引k和j的所有固定组合，对于每个重复上述u^*和的计算并判断是否成立，若成立则重复k^*的计算并交换索引(i,j,k)所确定的特征统计值和索引(i,j,k^*)所确定的特征统计值；根据d(j)的定义，再次计算训练样本I₁,I₂…I_N之间基于f_j的的欧式距离平均值，得到对应f₁，f₂…f|_|T|的d′(1)，d′(2)…d′(|T|)；若d(j)≥d′(j)对于都成立，则保留上述特征统计值交换结果，否则将特征统计值排序恢复到步骤3.2.1结束时的状态；

步骤3.2.3计算稳定特征元素，对于第k类图格纹理和第j个特征提取方法f_j，根据上述步骤和I₁,I₂…I_N计算的N个的第个元素和的第i_F个元素可计算第k类图格纹理基于f_j的特征向量第i_F个元素的稳定值s_(j,k)(i_F)，其定义如下：

将s_(j,k)(i_F)按索引i_F升序排列则得到第k类图格纹理基于f_j的稳定值向量s_(j,k)；若参数n_f表示预定义的最小特征向量长度，那么当n_f<F_j成立时，应用自适应聚类算法对s_(j,k)(1)，s_(j,k)(2)…s_(j,k)(F_j)进行聚类，若将自适应聚类算法产生的类别按从1开始的正整数依次编号，第i_F个稳定值s_(j,k)(i_F)所属类别编号记为L_s(i_F)，则这些编号定义集合L_s；若定义预设参数最小特征数则第k类图格纹理基于f_j的特征向量第i_F个元素的稳定性定义如下：

表示将自适应聚类算法产生的类别按其元素数量降序排列得到的前n_f个类别的编号集合；将按索引i_F升序排列则得到第k类图格纹理基于f_j的稳定性向量对于索引k和j的所有固定组合，重复上述的计算；

步骤3.2.4计算理想统计值，对于第k类图格纹理和第j个特征提取方法f_j，根据上述步骤和I₁,I₂…I_N可计算和通过自适应聚类算法，可对向量 进行聚类，若将自适应聚类算法产生的类别按从1开始的正整数依次编号且第i个向量所属类别编号记为则这些编号定义集合对于第 个类别，第k类图格纹理基于f_j的理想统计值定义如下：

表示属于第k类图格纹理基于f_j的第i_u个子类图格纹理的特征统计值中均值的平均值；对于索引k和j的所有固定组合，重复上述的计算；

步骤3.3计算各特征的理想统计值阈值，根据训练样本集和上述步骤，可计算基于第j个特征提取方法f_j的第k类图格纹理的第i_u个子类图格纹理的理想统计值对于任意训练样本由步骤2产生的任意图格L，根据其特征向量f_j(L)按下式计算理想统计值索引k^*和

对于可能存在多个L其理想统计值索引满足k^*＝k和这些图格组成集合当成立时，可按下式计算基于第j个特征提取方法的第k类图格纹理的第i_u个子类图格纹理的最大距离即理想统计值阈值：

对于索引j，k和i_u的所有固定组合，重复上述的计算。

2.如权利要求1所述的基于峰值阈值和混合特征的纺织品瑕疵检测方法，其特征在于：步骤5瑕疵识别具体包括：对测试样本的任意图格根据特征提取方法f₁，f₂…f_|T|计算特征向量 对于f_j计算的特征向量根据步骤3.2和步骤3.3计算理想统计值索引k^*和 和若则标记为有瑕疵，否则标记为无瑕疵；当所有图格基于f_j的标记结束，检查每个有瑕疵图格L_l的8临域内图格的标记，若存在无瑕图格则判断是否成立，若成立则标记为有瑕疵并令且按下式计算2_l+1，继续检查内图格的标记并重复上述步骤直至2_l+1为其中，

其中，阈值系数L₁表示基于f_j的标记结束得到的有瑕图格；表示特征值距离；当动态阈值为时，全部有瑕图格所包含像素的行列索引即为检测结果。