CN101216435A - 一种基于多分形特征参数的织物瑕疵自动检测方法 - Google Patents

Abstract

本发明属于纺织品质量自动检测和控制领域，特别涉及一种基于多分形特征参数的织物瑕疵自动检测的方法。发明者依据计盒法估算分形维的有关原理及其中存在的问题并结合织物纹理图像固有的特点提取了四个新颖而有效的分形特征，利用由它们组成的特征向量并结合欧式距离检测器来检测织物瑕疵。本发明克服了传统上采用单一分形特征进行织疵检测的局限性，另外提高了工作效率，降低了劳动强度，在疵点定位精度高达2.5mm的情况下，误警率和漏检率可以同时控制在10％以内，与工业化大规模生产相协调。

Description

一种基于多分形特征参数的织物瑕疵自动检测方法

技术领域

本发明属纺织产品质量自动检测和控制领域，特别是涉及一种基于多分形特征参数的织物瑕疵自动检测方法。

背景技术

当前，计算机视觉正被日益广泛地应用于各种工业产品的生产控制和质量监测，以满足当今社会对生产效率和产品质量越来越高的要求，织物瑕疵自动检测就是应用计算机视觉的一个典型例子。目前，多数纺织厂仍采用人眼验布方式，效率低下、检测工作单调乏味、劳动强度大，这些都与工业化大规模生产极不协调。采用计算机视觉技术进行织疵检测则可以避免上述问题。

织疵种类繁多、外观各异，其中既有如缺经、破洞、断头、粗节等等局部畸变的种类，也有如稀密路、筘路、吊经、某些油污等等范围较大的渐变的种类。其中渐变型织疵图像的纹理或灰度值变化缓慢或微弱，再加上织物背景的多样性，给计算机视觉检测工作带来了相当大的困难。本发明将对以稀密路为主的织疵进行检测分析。

较之欧氏几何，分形几何在描述或生成具有自相似性的自然事物或类自然事物时能够提供更好的方法，因而被广泛用在模式识别、图像的模拟和仿真等等诸多领域。自相似性是分形理论的中心概念之一，它与维数的概念密切相关。分形几何描述的对象具有统计意义上的自相似，自相似性用分形维来表征(王耀南，2003)。分形维是用分形理论进行图像分析时最常使用的特征参数之一。分形特征特别是分形维数能够较好地刻画纹理粗糙度和复杂度，因而在纹理分类、识别等实践中作为度量特征是合理的。考虑到机织物是由经纬纱相互垂直交织而成，其图像是一种典型的纹理图像，因此可用分形特征来表征织物纹理，区分正常纹理图像和瑕疵纹理图像，进而实现织疵自动检测。Conci等人(1998)采用差分计盒法提取了织物纹理的分形维及其标准差作为特征参数来检测织物疵点。在其研究中，漏检率为4％，但误警率却高达28％。Wen等人(2002)采用基于分形布朗运动的傅立叶频域最大似然估计算子来估计织物图像的分形参数---Hurst系数，以此作为特征参数，仅检测了污斑、破洞、水滴3种疵点。

注意到Conci等人(1998)和Wen等人(2002)在其研究工作中都仅仅使用了单一的分形特征，织疵检测效果并不理想。其原因在于，单一的分形特征尤其是分形维是从图像的整体来揭示纹理的内在自相似性而忽视了图像的局域信息，因此不同的纹理图像其分形维可能会非常接近甚至完全相同。Parrinello T.等人(2002)以一些纹理图像为例对此进行了详尽的探讨，证实了单一分形维特征在纹理区分方面的局限性。

发明内容

本发明所要解决的技术问题是克服采用单一传统分形特征进行织物瑕疵检测的局限性，即单一分形特征在区分正常纹理与瑕疵纹理方面的局限性，提取多个有效而互补的分形特征组成特征向量，以此检测织物瑕疵，取得更好的实际检测结果。

本发明解决其技术问题所采用的技术方案总体包括两大步骤：首先依据计盒法估算分形维的有关原理及其中存在的问题并结合织物纹理图像固有的特点提取四个有效的分形特征组成特征向量，然后结合欧式距离检测器对织物样本进行检测，判断各个样本是否为瑕疵样本。

1、多分形特征参数的提取依据和具体方法

为了更好地阐述上述多分形特征参数的提取依据和步骤，首先需要简单介绍一下如何估算图像及时间序列的盒维数。

要计算灰度图像F的盒维数，需要把该图像想象成一个三维欧式空间中的曲面，x坐标和y坐标确定像素的位置，z坐标确定像素的灰度值。令N(δ)表示覆盖图像F所需的边长为δ的最少立方体个数，则F的分形维D将由下式决定：

N(δ)·δ^D＝C

其中C为常数，两边同时取对数，有

logN(δ)＝-Dlog(δ)+log(C)

设图像F的面积为A，δ×δ为F的一个子图像，δ可变大小，令

$n\left(\mathrm{\δ}\right)=\mathrm{int}\left[\frac{\max I-\min I}{\mathrm{\δ}}\right]+1$

其中，I表示δ×δ子图像的灰度值集合，maxI表示该灰度值集合中的最大值，minI相应地表示其中的最小值，int表示取整运算，那么n(δ)即是包含该子图像所需要的δ×δ×δ的立方体个数。需要说明的是，在原文献[1]中，maxI表示当前子图像的四个顶点处灰度值中的最大值，minI相应地表示其中的最小值。对图像F中的每一个δ×δ子图像均作以上同样的计算，可以得到一系列n(δ)值，求其均值，以E(n(δ))表示，则有

$N\left(\mathrm{\δ}\right)=\frac{E\left(n\left(\mathrm{\δ}\right)\right)\×A}{\mathrm{\δ}\×\mathrm{\δ}}$

这样，我们就得到一个数据对(1/δ，N(δ))，其对数形式为(-logδ，logN(δ))。现在改变δ的大小，可以求出相应的多个N(δ)值，从而得到多个对数形式数据对，再用最小二乘线性回归方法拟合直线，求得logN(δ)相对于-logδ的斜率，该斜率即为图像F的分形维。

时间序列盒维数的计算方法与上述方法类似，差别在于将时间序列看作一条曲线，然后用δ×δ的方格而不是立方体去覆盖。

事实上，对一幅图像F进行δ×δ子图像分割可以采用两种方式，一种是无重叠分割，一种是有重叠分割。以4×4像素的图像为例，将其分割成2×2像素大小的子图像，以第一种方法可以分割出4块，而以第二种方法则可以分割出9块。有重叠分割方法计算量较大，但对图像的表征更细致，区分正常与瑕疵的能力相对较强。本发明采用了第二种分割方法。另外，对时间序列盒维数的估算也是采用了有重叠分割法。

如前所述，计盒法是一个估算分形维的简单而实用的方法，但是我们在研究中发现其固有的一个不足就是，在最小观测盒子尺寸固定的情况下，估算得到的分形维数随所用最大观测盒子尺寸(即最大δ)增大而增大，也就是说计算出来的维数具有不稳定性。事实上，所研究的非严格数学分形对象往往只具有统计或者近似意义上的自相似而不是严格意义上的自相似，它们的分形维数并不具备尺度不变性的优点，而是在一定程度上依赖于所用的观测尺度范围。Lorenz(2003)对此也进行过实验和讨论。图1(a)所示为采用不同最大观测盒子尺寸对一幅32×32像素织物图像计算的分形维变化曲线图。其中，最小观测尺度一律取为3。例如最大观测尺度为7时，需要计算3～7共5个观测尺度下的有关统计量。

不过，用分形维区分正常织物纹理与瑕疵织物纹理，我们所关注的是维数间的相对值或者说是比较值而不是绝对值。因此，一旦最大盒子尺寸选定，计算出来的维数就是有意义的。那么，最大盒子尺寸应该取多少才能使计算出的分形维特征具有较好的纹理区分度呢？这需要借助类可分离度或区分度概念对提取的特征参数进行评估和优选。对某一特征计算两类间的类可分离度，分离度越大，表明该特征对这两类的区分度越好。

本发明自定义了如下的类区分度S：

其中，(i＝1，2，…，t)为瑕疵样本的特征值，t为瑕疵样本个数；(j＝1，2，…，k)为正常样本的特征值，k为正常样本个数，  为正常样本特征值的均值。若某一特征能够使得正常样本的类内方差较小而同时瑕疵样本个体与正常样本均值间的距离较大，则该特征对正常样本与瑕疵样本具有较好的区分度，这就是此处类可分离性度量的基本原理。

通常选取的最大盒子尺寸不超过图像边长的一半。我们根据所收集到的大量正常样本和相应的疵点样本(每一样本为一幅32×32像素图像)，对其中正负样本的图像分形维的区分度随最大盒子尺寸δ变化的趋势进行了统计分析。这些样本集内既有以大面积渐变疵点为主的数据集，也有以局部畸变疵点为主的数据集。统计结果表明，绝大多数来自第一类样本集的图像其分形维对正常与瑕疵的区分度随的变化趋势基本如图1(c)所示，而来自第二类样本集的图像的分形维区分度的相应变化趋势则基本如图1(b)所示。从这两个图中可以看出，最大区分度出现在使用两个极端最大观测盒子尺寸处，依此经验，我们首先提取了如下两个特征；

特征1：图像在盒子尺寸序列为3～7的情况下的分形维。

特征2：图像在盒子尺寸序列为3～16的情况下的分形维。

机织物本身是由经纬纱相互垂直交织而成，且大多数织疵在布面上具有明显的经向或纬向取向，这意味着经纬向垂直投影在很多情况下能够起到突出疵点的作用。我们同样对图像灰度值沿经纬向投影序列组合的分形维特征进行了区分度考察。对32×32像素的图像，这一序列长度为64，最大观测格子尺寸不超过32。其区分度随最大观测方格尺寸的变化的典型趋势如图1(d)所示，表现为中间高两头低。据此，我们提取了第三个特征：

特征3：图像灰度值沿经纬向投影序列组合的分形维，所用的方格尺寸序列为3～16。

此外，由于在包含渐变型疵点的织物上也有可能存在局部畸变型疵点，我们在提取第四个特征时首先对图像进行了LOG(Laplacian of Gaussian)滤波运算。该算子先用高斯低通滤波器将图像进行平滑，然后用拉普拉斯算子找出图像中的陡峭边缘，它本质上是一个锐化滤波算子或边缘检测算子，对畸变反应明显。第四个特征如下：

特征4：经窗口大小为10×10、标准差为0.2的LOG算子滤波后的图像的分形维，观测盒子尺寸序列为3～7。

至此，我们完成了对多分形特征参数的提取。

2、欧式距离检测器的训练及其它必要步骤

首先需引入两个算法评估指标：

其中误警率包括两种，即训练阶段的预计误警率和测试阶段的实际误警率。预计误警率和相应的阈值借助单独保留一个确认集的方法获得。在检测应用中，确认集也是全部由正常样本组成，本质上也是训练样本的一部分，但它独立于初始的训练样本。

对原始图像进行预处理是必要的，包括对图像进行增强和特征值归一化等。直方图均衡化能明显地增强图像的对比度，改善图像质量，可参见图3和图4。归一化则能使具有不同动态范围的特征参数值位于相似的范围，以尽可能消除大均值特征和小均值特征对检测器影响程度的不同。本发明采用了softmax数据归一化方法^[18]，该方法是一种通用的归一化方法，由两步组成：

$y=\frac{x_{\mathrm{test}}-\stackrel{\‾}{x}}{\mathrm{r\σ}}---\left(1\right)$

$x_{\mathrm{soft}\max }=\frac{1}{1+\exp (-y)}---\left(2\right)$

其中，

表示正常织物纹理图像的某个特征参数的均值，从大量正常样本中估算出来，σ表示正常织物纹理图像的该特征参数的标准差，x_test表示待测织物纹理图像的该特征参数值，r为可由使用者自行设定的系数，取值一般在1～3之间，本发明中统一取为2，那么x_softmax即为归一化后的特征参数值。这一归一化函数将特征值限制在[0，1]范围内，远离均值的值按指数缩小。每一个32×32子样本，无论其作何用途，均需首先经历直方图均衡化、四个特征的提取和特征值归一化等处理步骤。

欧式距离检测器的训练过程实质上就是从训练样本中计算得到正常样本归一化后的特征值的均值向量。对每一个待测试的样本，计算其归一化特征值向量与均值向量的欧式距离，若超过设定的阈值，则认为该样本为异常样本，否则为正常样本。

本发明克服了采用单一传统分形维特征进行织疵检测的局限性，提高了工作效率，降低了劳动强度，实现了更好的检测效果，在疵点定位精度高达2.5mm的情况下，误警率和漏检率可以同时控制在10％以内，与工业化大规模生产相协调。

附图说明

图1为分形维和区分度随最大观测盒子尺寸变化曲线图。

其中a图像的分形维随最大观测盒子尺寸变化曲线

b图像分形维的区分度随最大观测盒子尺寸变化曲线(1)

c图像分形维的区分度随最大观测盒子尺寸变化曲线(2)

d图像投影序列分形维的区分度随最大观测盒子尺寸变化曲线

图2为七个数据集在不同阈值检测情况下的错误率变化曲线，即七个实施例的最终结果。

图3为织物瑕疵实际检测效果示意图1。

图4为织物瑕疵实际检测效果示意图2。

图5为织物瑕疵实际检测效果示意图3。

图6为织物瑕疵实际检测效果示意图4。

具体实施方式

1、具体实施步骤

一种基于多分形特征参数的织物瑕疵自动检测方法，具体实施步骤如下：

(1)收集尽可能多的无疵织物图像，将它们都分割成32×32像素大小的不重叠子图，每一子图为一个训练样本；将所有这些正常样本的集合随机分割为大小近似相等的两个子集，一个用作训练集，一个用作确认集；

(2)对上述每一样本进行直方图均衡化处理；

(3)从各个样本中提取如下四个盒维数组成训练和检测用的分形特征组合：

特征1：图像在盒子尺寸序列为3～7的情况下的分形维；

特征2：图像在盒子尺寸序列为3～16的情况下的分形维；

特征3：图像灰度值沿经纬两个方向投影序列组合的分形维，所用的方格尺寸序列为3～16；

特征4：经LOG(也即高斯-拉普拉斯)算子滤波后的图像的分形维，观测盒子尺寸序列为3～7；

(4)采用softmax数据归一化方法对特征向量进行归一化处理；

(5)对检测器进行训练，即从训练集样本中计算得到正常样本归一化后的特征值的均值向量；

(6)对确认集进行测试，以根据对误警率的期望值确定阈值大小；

(7)对每一待检测的32×32像素的未知样本，都对其依次实施直方图均衡化、四个分形特征的提取、特征值softmax归一化处理，然后对该待测试的样本，计算其归一化特征值向量与均值向量的欧式距离，若超过设定的阈值，则认为该样本为异常样本，否则为正常样本。

其中所有涉及图像均为256灰度级；所述的步骤(3)中的四个分形维均是借助有重叠分割覆盖基础上的计盒法估算得到；所述的步骤(3)中的特征4的算子窗口大小为10×10，标准差为0.2；本发明所能达到的检测精度即疵点定位精度为2.5mm。

2、具体实施例

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

共七个实施例，其实施结果参见表2和图2，具体说明如下。七种具有不同组织或结构从而具有不同纹理的素色织物为本发明提供了七个数据集，这些织物及其上的疵点全部来自生产实践，其样本分配的具体情况如表1所示。表2为采用本发明所提出的四个分形特征并结合欧式距离检测器对这些数据集进行检测的最终结果。图2为七个数据集检测结果的直观示意图，其中EFAR、AFAR和MR分别表示预计误警率、实际误警率和漏检率。从表2和图2可以看出，对每一个数据集，只要在适当的阈值范围内进行检测，那么误警率和漏检率可以同时控制在10％以内，这表明我们所提取的四个分形参数组成的特征向量在区分正常与瑕疵织物纹理方面是非常有效的。

表1实验样本情况一览

	训练集	确认集	测试集
						样本组成	全为正常样本	全为正常样本	正常样本	瑕疵样本	合计
数据集1平纹	3840	2304	2544	528	3072
						数据集2平纹	2304	2304	2797	275	3072
数据集3平纹	1600	1152	888	456	1344
						数据集4斜纹	1536	1536	1960	344	2304
数据集5斜纹	1008	1008	2018	414	2432
						数据集6斜纹	1504	1512	2973	867	3840
数据集7斜纹	768	768	1198	338	1536

表2  检测结果一览

阈值

0.39

0.42

0.45

0.48

0.51

数据集1	预计误警率	％	7.34	5.12	4.12	3.04	2.56
								实际误警率	7.78	5.27	3.42	2.67	1.81
	漏检率		0.76	2.08	3.79	5.11	7.58
								数据集2	预计误警率	6.60	4.30	2.91	1.96	1.52
实际误警率	9.69		6.94	4.76	3.32	1.86
							漏检率		1.09	2.55	3.64	5.09	9.09
数据集3	预计误警率		7.81	6.08	4.08	2.86								1.22
							实际误警率	14.75	10.36	6.87	3.60	1.80
	漏检率		0.22	0.22	0.88	2.63							4.39
							数据集4	预计误警率	8.01	5.34	3.32	1.63		0.65
实际误警率	7.05		4.14	2.76	1.84	1.02
								漏检率	6.36	10.69	16.18	26.88	31.50
数据集5	预计误警率		5.75	3.77	2.58	1.69								1.09
							实际误警率	8.77	5.85	3.32	2.08	1.29
	漏检率		2.66	5.56	7.00	14.49							18.36
							数据集6	预计误警率	16.40	12.83	9.66	7.47		5.49
实际误警率	15.30		11.64	8.85	6.63	4.34
								漏检率	0.35	0.46	0.69	1.50	2.19
数据集7	预计误警率		5.86	3.91	2.21	1.17								0.91
							实际误警率	14.77	11.19	8.18	6.09	3.84
	漏检率		1.18	1.48	1.78	2.37							2.96

为了更直观地说明检测效果，这里以若干织物瑕疵实际检测效果图为例说明，如图3～6四例所示。每一例中的各织物图像均是一个来自某一数据集的256×256像素大小的织物图像，均包含64个32×32子样本。其中每一例中的左上图为相应的正常(即无疵)织物图像，作为对比用；右上图为包含瑕疵的织物原图像；左下图为右上图经直方图均衡化处理后的效果图；右下图为实际检测效果图，其中每一个带叉小方格表示被我们的算法识别为瑕疵的32×32像素子图像。

Claims (5)

1.一种基于多分形特征参数的织物瑕疵自动检测方法，包括下列步骤：

(1)收集尽可能多的无疵织物图像，将它们都分割成32×32像素大小的不重叠子图，每一子图为一个训练样本；将所有这些正常样本的集合随机分割为大小近似相等的两个子集，一个用作训练集，一个用作确认集；

(2)对上述每一样本进行直方图均衡化处理；

(3)从各个样本中提取如下四个盒维数组成训练和检测用的分形特征组合：

特征1：图像在盒子尺寸序列为3～7的情况下的分形维；

特征2：图像在盒子尺寸序列为3～16的情况下的分形维；

特征3：图像灰度值沿经纬两个方向投影序列组合的分形维，所用的方格尺寸序列为3～16；

特征4：经LOG(也即高斯-拉普拉斯)算子滤波后的图像的分形维，观测盒子尺寸序列为3～7；

(4)采用softmax数据归一化方法对特征向量进行归一化处理；

(5)对检测器进行训练，即从训练集样本中计算得到正常样本归一化后的特征值的均值向量；

(6)对确认集进行测试，以根据对误警率的期望值确定阈值大小；

(7)对每一待检测的32×32像素的未知样本，都对其依次实施直方图均衡化、四个分形特征的提取、特征值softmax归一化处理，然后对该待测试的样本，计算其归一化特征值向量与均值向量的欧式距离，若超过设定的阈值，则认为该样本为异常样本，否则为正常样本。

2.根据权利要求1所述的一种基于多分形特征参数的织物瑕疵自动检测方法，其特征在于：所述织物是指素色机织物。

3.根据权利要求1所述的一种基于多分形特征参数的织物瑕疵自动检测方法，其特征在于：所述的步骤(1)中的图像均为256灰度级。

4.根据权利要求1所述的一种基于多分形特征参数的织物瑕疵自动检测方法，其特征在于：所述的步骤(3)中的四个分形维均是借助有重叠分割覆盖基础上的计盒法估算得到。

5.根据权利要求1所述的一种基于多分形特征参数的织物瑕疵自动检测方法，其特征在于：所述的步骤(3)中的特征4的算子窗口大小为10×10，标准差为0.2。

Images