CN107833220A - 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 - Google Patents

Abstract

本发明公开了一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，属于图像处理技术领域。包含缺陷区域定位模块与缺陷语义分割模块。缺陷区域定位模块利用局部卷积神经网络和全局卷积神经网络两个深度学习模型进行融合，自动提取织物缺陷的高级特征并将其作用于缺陷图像，获得缺陷区域的精确定位。缺陷语义分割模块利用缺陷区域的定位结果，结合基于视觉显著性的超像素图像分割方法，获取缺陷先验前景点并对缺陷目标进行精准分割，最终实现缺陷的检测。本发明利用多深度学习融合的织物缺陷定位网络与改进的视觉显著性的织物缺陷分割网络，对织物图像的适应能力好，精度高，可以有效地对复杂背景与噪声干扰下的织物图像中的缺陷进行检测。

Description

基于深度卷积神经网络与视觉显著性的织物缺陷检测方法

技术领域

本发明涉及图像处理中的视觉检测领域，尤其涉及一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法。

背景技术

随着纺织行业的飞速发展，人们对织物布匹质量的控制也越来越严格，而织物疵点通常是影响布匹质量的关键因素。传统的织物缺陷检测方法大多是基于手工测量和人眼观察来完成，在实际应用中有很大的局限性，如主观性强、检测结果的一致性差，不能很准确的实现对细小缺陷、色差不明显缺陷的完全检测等。目前，现有的自动化织物缺陷检测算法主要分为三类：(1)基于统计的方法、(2)基于谱分析的方法、(3)基于模型的方法。基于模型的方法利用缺陷图像构建分解模型，获得织物图像的纹理信息并重构无缺陷图像，通过比较输入图像与重构无缺陷图像之间的差别来定位缺陷。该类方法通常精确度不高，并且具有相当大的计算复杂度。基于统计的方法利用傅立叶变换、Gabor滤波器以及小波变换提取缺陷图像的频域特性，其算法性能很大程度上取决于算法所选用的滤波器种类以及织物图像的背景。基于统计的方法通过局部二值模式、灰度共生矩阵以及直方图统计等方法统计纹理与缺陷的不同特性，可以有效的检测织物缺陷，但织物背景图案及缺陷形状的不同对该类方法的影响较大。

上述研究可以准确地对单一背景和纯色背景下的织物缺陷进行定位与分割，但对于背景复杂、图案不规则的织物图像中的缺陷检测效果不佳。

发明内容

本发明所要解决的技术问题是：提供一种织物缺陷检测方法，以实现对背景复杂、图案不规则的织物图像中的缺陷进行有效的检测。

为了实现上述目的，本发明采取以下技术方案。

一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，包括以下步骤：

(1)选取织物缺陷训练数据集，对数据集中的图像进行灰度化处理，然后进行尺寸归一化处理；

(2)将经过步骤(1)预处理后的织物缺陷训练数据集输入至缺陷区域定位模块，所述缺陷区域定位模块利用全局神经网络模型与局部神经网络模型分别对织物数据集进行训练，提取织物缺陷的全局与局部高级特征，获得一个误差最低的模型；

(3)将待测试图像进行灰度化及归一化处理，然后分别输入至全局神经网络模型与局部神经网络模型；全局神经网络模型负责对待测试图像中的每个像素点进行预测，输出每个像素点属于缺陷区域的概率向量；局部神经网络模型不负责对每个像素点进行预测，而是对待测试图像进行缺陷区域的初始定位，获得一些缺陷区域的边界框，所述边界框是缺陷候选区域；

(4)利用全局神经网络模型对每个像素点的预测结果以及局部神经网络模型输出的缺陷区域的边界框，通过构建的多模型融合方法，获得联合全局神经网络模型、局部神经网络模型两个模型的缺陷区域得分，根据所述得分对缺陷区域进行剔除；

(5)利用SLIC超像素分割算法将缺陷子图像区域分割成若干个不同的超像素区域，把每一个超像素区域看作一个节点，然后利用超像素节点间的区域对比度、空间位置关系、先验局部heatmap信息构建超像素节点的显著函数，并且根据显著函数计算输入图像的先验显著图；

(6)由于先验显著图通常存在显著性区域的显著值不一致、背景区域不能很好抑制等问题，因此利用自适应阈值分割算法对先验显著图进行分割，然后基于形态学开闭运算对分割后图像进行后处理，去除图像空洞及一些散点，最终检测出织物图像中的缺陷。

本发明所达到的增益效果：

由上述本发明的实例提供的技术方案中可以看出，本发明针对复杂背景与噪声干扰下的织物图像，提出一种基于深度卷积神经网络与视觉显著性的织物缺陷定位与检测方法，利用全局神经网络对像素的分类及局部神经网络对缺陷的初步定位想融合以获得精准的缺陷定位窗口，然后基于改进的视觉显著性方法对定位窗口内的缺陷进行分割。该方法不需要人工设定参数以及构建参考图像，鲁棒性好，能够精确检测出织物图像中的缺陷，实时性强，可以满足实际工程需求，具有广泛的应用前景。

附图说明

图1为本发明的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法的流程图；

图2为织物缺陷检测模型示意图；

图3为全局卷积神经网络模型示意图；

图4为局部卷积神经网络模型示意图；

图5为基于改进视觉显著性的缺陷分割模型示意图。

具体实施方式：

下面结合附图对本发明的具体实施方式做进一步详细的描述。

如图1和图2所示，本发明基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，包括缺陷区域定位网络模型与缺陷分割网络模型。缺陷定位网络模型利用全局神经网络模型与局部神经网络模型相融合，提供缺陷在织物图像中准确的位置信息。缺陷分割网络模型利用超像素与视觉显著性内容，对缺陷区域进行分割，提取缺陷目标。包括以下步骤：

(1)选取织物缺陷训练数据集，对数据集中的图像进行灰度化处理，然后进行尺寸归一化处理；

(2)将经过步骤(1)预处理后的织物缺陷训练数据集输入至缺陷区域定位模块，所述缺陷区域定位模块利用全局神经网络模型与局部神经网络模型分别对织物数据集进行训练，提取织物缺陷的全局与局部高级特征，获得一个误差最低的模型；

(3)将待测试图像进行灰度化及归一化处理，然后分别输入至全局神经网络模型与局部神经网络模型；全局神经网络模型负责对待测试图像中的每个像素点进行预测，输出每个像素点属于缺陷区域的概率向量；局部神经网络模型不负责对每个像素点进行预测，而是对待测试图像进行缺陷区域的初始定位，获得一些缺陷区域的边界框，所述边界框是缺陷可能存在的区域；

(4)利用全局神经网络模型对每个像素点的预测结果以及局部神经网络模型输出的缺陷区域的边界框，通过构建的多模型融合方法，获得联合全局神经网络模型、局部神经网络模型两个模型的缺陷区域得分，根据所述得分对缺陷区域进行剔除；

(5)利用SLIC超像素分割算法将缺陷子图像区域分割成若干个不同的超像素区域，把每一个超像素区域看作一个节点，然后利用超像素节点间的区域对比度、空间位置关系、先验局部heatmap信息构建超像素节点的显著函数，并且根据显著函数计算输入图像的先验显著图；

(6)由于先验显著图通常存在显著性区域的显著值不一致、背景区域不能很好抑制等问题，因此利用自适应阈值分割算法对先验显著图进行分割，然后基于形态学开闭运算对分割后图像进行后处理，去除图像空洞及一些散点，最终检测出织物图像中的缺陷。

步骤(1)中，利用RGB与YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的关系，即Y＝0.11B+0.59G+0.3R，对织物缺陷图像数据集进行灰度化，并利用双立方插值法将所述训练图像归一化至设定像素大小，如400×400像素大小。

步骤(2)中，训练全局神经网络模型时，训练全局神经网络的输入为织物缺陷图像数据集和织物缺陷标注索引图，利用卷积操作提取织物图像的全局特征，其中卷积核尺寸均取3×3大小，如图3所示。

全局神经网络的模型参数为：

第一层为图像输入层，图像输入层大小与训练图片大小一致，此处取400×400大小；训练图片指的是步骤(1)中，织物缺陷训练数据集中的图片，其大小为400×400；

中间有l层隐层，由卷积层与池化层交替连接构成；l可以是8层；

最后是若干反卷积层，由于卷积层导致10×10ppi～200×200ppi分辨率大小的特征图恢复至原图400×400ppi大小，输出图像中每个像素点属于缺陷点的概率，得到一张heatmap图。ppi的含义是指每英寸图像所包含的像素点数，原图是指400×400的输入图像，即400×400ppi分辨率；

步骤(2)中，训练局部神经网络模型时，局部神经网络的输入为织物缺陷数据集及织物缺陷在图像中的坐标，利用卷积操作提取织物图像的局部特征，其中卷积核大小与全局神经网络模型中的卷积核大小一致，均为3×3大小，如图4所示。

局部神经网络的模型参数为：

第一层为训练图像输入层，图像输入层的大小被归一化成设定大小，如300×300大小；中间有k层隐层，由卷积层与池化层交替连接构成；最后是全连接层，输出缺陷位置与类别信息。

步骤(2)中，利用n张织物缺陷图像分别对全局神经网络与局部神经网络模型进行训练，全局神经网络与局部神经网络模型分别训练k₁次和k₂次后，模型误差收敛，此时获得最优模型权重。

步骤(3)中，利用训练好的最优模型权重设置网络模型，将测试织物图像分别输入至全局神经网络模型与局部神经网络模型中，分别输出heatmap图及缺陷的位置信息。

步骤(3)中，全局神经网络模型输出的heatmap图是一种索引图，每个数值代表一种颜色，颜色越靠近红色代表缺陷可能性越高，颜色越靠近蓝色，代表缺陷可能性越低。

步骤(3)中，局部神经网络输出的位置信息，其数据格式为[x_min,y_min,x_max,y_max,label]，其中x_min，y_min，x_max，y_max分别是缺陷边界框的左上角和右下角坐标，label为缺陷所属种类。

步骤(4)中，构造如下的联合得分函数来计算缺陷得分P_score(m)：

其中，i,j分别代表像素点在图像中的横坐标与纵坐标，A(m)代表局部神经网络模型SSD中的第m个检测窗口，A(m).conf表示局部神经网络模型SSD中第m个检测结果的得分，S表示A(m)窗口的面积大小，B(i,j)代表坐标为(i,j)的像素点在heatmap中的像素值。

步骤(4)中，设定比较阈值T，通过比较计算出的缺陷得分与阈值大小来实现；如果计算出来的缺陷得分低于设定阈值T，则认为该检测结果是错检，直接过滤掉；如果缺陷得分大于设定阈值T，则保留该缺陷区域。

步骤(5)中，利用SLIC超像素分割算法将织物缺陷区域子图像分割成K个超像素块，如图5所示，并利用全局神经网络模型中获得的heatmap图提取先验前景点，根据先验前景点以及区域对比度、区域空间关系构建超像素显著度函数γ(P_i)：

其中，i₁，j₁分别表示超像素节点编号，为第i₁个超像素节点，为超像素节点到先验前景点所在超像素节点的归一化欧式距离；为超像素节点与超像素节点之间的归一化欧式距离；为超像素节点所对应区域在Lab颜色空间的平均值，为超像素节点所对应区域在Lab颜色空间的平均值，为先验前景点所在超像素区域在Lab颜色空间的平均值，K为超像素个数，α为调节因子。

步骤(5)中，利用全局神经网络模型中的heatmap图提取先验前景点时，首先根据缺陷子图像坐标在heatmap图中提取局部heatmap图，然后使用N×N的掩模模板在局部heatmap上滑动，N为奇数，遍历整张所述局部heatmap图像获得最大输出值的位置，最大输出值位置即缺陷的先验前景点坐标；掩模模板权重矩阵为i₂,j₂代表像素点在掩模模板中的坐标，其具体公式为

其中δ(·)为冲激函数，u(·)为阶跃函数，N为模板大小。在步骤(4)中获得了一些缺陷区域，缺陷子图像就是将每个缺陷区域从织物图像中抠出，构成一张张图像，由于这些图像都是原始织物图像中的一部分，所以称之为子图像。

步骤(5)中，利用显著度函数计算出织物图像中每个超像素点的先验显著度，并将所述先验显著值作为超像素点的像素值，构建先验显著图。

步骤(6)中，利用自适应阈值OTSU算法对先验显著图进行分割，提取图像中的缺陷目标，自适应阈值选取公式为：

其中α₁，α₂分别为阈值比例因子一和阈值比例因子二，b₁，b₂分别为阈值平移因子一和阈值平移因子二，I_prior为先验前景点的像素值。

以上已以较佳实施例公开了本发明，然其并非用以限制本发明，凡采用等同替换或者等效变换方式所获得的技术方案，均落在本发明的保护范围之内。

Claims (14)

1.一种基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于，包括以下步骤：

(1)选取织物缺陷训练数据集，对数据集中的图像进行灰度化处理，然后进行尺寸归一化处理；

(2)将经过步骤(1)预处理后的织物缺陷训练数据集输入至缺陷区域定位模块，所述缺陷区域定位模块利用全局神经网络模型与局部神经网络模型分别对织物数据集进行训练，提取织物缺陷的全局与局部高级特征，获得一个误差最低的模型；

(3)将待测试图像进行灰度化及归一化处理，然后分别输入至全局神经网络模型与局部神经网络模型；全局神经网络模型负责对待测试图像中的每个像素点进行预测，输出每个像素点属于缺陷区域的概率向量；局部神经网络模型对待测试图像进行缺陷区域的初始定位，获得缺陷区域的边界框，所述边界框是缺陷候选区域；

(4)利用全局神经网络模型对每个像素点的预测结果以及局部神经网络模型输出的缺陷区域的边界框，通过构建的多模型融合方法，获得联合全局神经网络模型、局部神经网络模型两个模型的缺陷区域得分，根据所述得分对缺陷区域进行剔除；

(5)利用SLIC超像素分割算法将缺陷子图像区域分割成若干个不同的超像素区域，把每一个超像素区域看作一个节点，然后利用超像素节点间的区域对比度、空间位置关系、先验局部heatmap信息构建超像素节点的显著函数，并且根据显著函数计算输入图像的先验显著图；

(6)利用自适应阈值分割算法对先验显著图进行分割，然后基于形态学开闭运算对分割后图像进行后处理，去除图像空洞及散点，最终检测出织物图像中的缺陷。

2.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(1)中，利用RGB与YUV颜色空间的变化关系建立亮度Y与R、G、B三个颜色分量的关系，即Y＝0.11B+0.59G+0.3R，对织物缺陷图像数据集进行灰度化，并利用双立方插值法将所述训练图像归一化至设定像素大小。

3.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(2)中，训练全局神经网络模型时，训练全局神经网络的输入为织物缺陷图像数据集和织物缺陷标注索引图，利用卷积操作提取织物图像的全局特征，全局神经网络模型参数为：

第一层为图像输入层，图像输入层大小与训练图片大小一致；

中间有l层隐层，由卷积层与池化层交替连接构成；

最后是若干反卷积层，由于卷积层导致10×10ppi～200×200ppi分辨率大小的特征图恢复至原图大小，输出图像中每个像素点属于缺陷点的概率，得到一张heatmap图。

4.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(2)中，训练局部神经网络模型时，局部神经网络的输入为织物缺陷数据集及织物缺陷在图像中的坐标，利用卷积操作提取织物图像的局部特征，其中卷积核大小与全局神经网络模型中的卷积核大小一致，局部神经网络的模型参数为：

第一层为训练图像输入层，图像输入层的大小被归一化成设定大小；中间有k层隐层，由卷积层与池化层交替连接构成；最后是全连接层，输出缺陷位置与类别信息。

5.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(2)中，利用n张织物缺陷图像分别对全局神经网络与局部神经网络模型进行训练，全局神经网络与局部神经网络模型分别训练k₁次和k₂次后，模型误差收敛，此时获得最优模型权重。

6.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(3)中，利用训练好的最优模型权重设置网络模型，将测试织物图像分别输入至全局神经网络模型与局部神经网络模型中，分别输出heatmap图及缺陷的位置信息。

7.根据权利要求6所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(3)中，全局神经网络模型输出的heatmap图是一种索引图，每个数值代表一种颜色，颜色越靠近红色代表缺陷可能性越高，颜色越靠近蓝色，代表缺陷可能性越低。

8.根据权利要求7所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(3)中，局部神经网络输出的位置信息，其数据格式为[x_min,y_min,x_max,y_max,label]，其中x_min，y_min，x_max，y_max分别是缺陷边界框的左上角和右下角坐标，label为缺陷所属种类。

9.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(4)中，构造如下的联合得分函数来计算缺陷得分P_score(m)：其中，i,j分别代表像素点在图像中的横坐标与纵坐标，A(m)代表局部神经网络模型SSD中的第m个检测窗口，A(m).conf表示局部神经网络模型SSD中第m个检测结果的得分，S表示A(m)窗口的面积大小，B(i,j)代表坐标为(i,j)的像素点在heatmap中的像素值。

10.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(4)中，设定比较阈值T，通过比较计算出的缺陷得分与阈值大小来实现；如果计算出来的缺陷得分低于设定阈值T，则认为该检测结果是错检，直接过滤掉；如果缺陷得分大于设定阈值T，则保留该缺陷区域。

11.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(5)中，利用SLIC超像素分割算法将织物缺陷区域子图像分割成K个超像素块，并利用全局神经网络模型中获得的heatmap图提取先验前景点，根据先验前景点以及区域对比度、区域空间关系构建超像素显著度函数γ(P_i)：

其中，i₁，j₁分别表示超像素节点编号，为第i₁个超像素节点，为超像素节点到先验前景点所在超像素节点的归一化欧式距离；为超像素节点与超像素节点之间的归一化欧式距离；为超像素节点所对应区域在Lab颜色空间的平均值，为超像素节点所对应区域在Lab颜色空间的平均值，为先验前景点所在超像素区域在Lab颜色空间的平均值，K为超像素个数，α为调节因子。

12.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(5)中，利用全局神经网络模型中的heatmap图提取先验前景点时，首先根据缺陷子图像坐标在heatmap图中提取局部heatmap图，然后使用N×N的掩模模板在局部heatmap上滑动，N为奇数，遍历整张所述局部heatmap图像获得最大输出值的位置，最大输出值位置即缺陷的先验前景点坐标；掩模模板权重矩阵为i₂,j₂代表像素点在掩模模板中的坐标，其具体公式为

<mrow> <msub> <mi>&amp;omega;</mi> <mrow> <msub> <mi>i</mi> <mn>2</mn> </msub> <msub> <mi>j</mi> <mn>2</mn> </msub> </mrow> </msub> <mo>=</mo> <mi>u</mi> <mrow> <mo>(</mo> <mn>3</mn> <mo>-</mo> <msub> <mi>i</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mi>u</mi> <mrow> <mo>(</mo> <mn>3</mn> <mo>-</mo> <msub> <mi>j</mi> <mn>2</mn> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mn>2</mn> <mo>&amp;times;</mo> <mi>u</mi> <mrow> <mo>(</mo> <msub> <mi>i</mi> <mn>2</mn> </msub> <mo>-</mo> <mn>3</mn> <mo>)</mo> </mrow> <mi>u</mi> <mrow> <mo>(</mo> <msub> <mi>j</mi> <mn>2</mn> </msub> <mo>-</mo> <mn>3</mn> <mo>)</mo> </mrow> <mo>&amp;times;</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>-</mo> <msup> <mrow> <mo>(</mo> <mrow> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> </mrow> <mrow> <msub> <mi>i</mi> <mn>2</mn> </msub> <mo>+</mo> <msub> <mi>j</mi> <mn>2</mn> </msub> </mrow> </msup> <mo>+</mo> <mn>4</mn> <mi>&amp;delta;</mi> <mo>(</mo> <mrow> <msub> <mi>i</mi> <mn>2</mn> </msub> <mo>-</mo> <mfrac> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> </mrow> <mo>)</mo> <mi>&amp;delta;</mi> <mo>(</mo> <mrow> <msub> <mi>j</mi> <mn>2</mn> </msub> <mo>-</mo> <mfrac> <mrow> <mi>N</mi> <mo>+</mo> <mn>1</mn> </mrow> <mn>2</mn> </mfrac> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mn>2</mn> <msup> <mi>N</mi> <mn>2</mn> </msup> <mo>+</mo> <mn>14</mn> </mrow> ，

其中δ(·)为冲激函数，u(·)为阶跃函数，N为模板大小。

13.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(5)中，利用显著度函数计算出织物图像中每个超像素点的先验显著度，并将所述先验显著值作为超像素点的像素值，构建先验显著图。

14.根据权利要求1所述的基于深度卷积神经网络与视觉显著性的织物缺陷检测方法，其特征在于：步骤(6)中，利用自适应阈值OTSU算法对先验显著图进行分割，提取图像中的缺陷目标，自适应阈值选取公式为：

<mrow> <mi>T</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;alpha;</mi> <mn>1</mn> </msub> <msub> <mi>I</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>i</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>b</mi> <mn>1</mn> </msub> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msub> <mi>I</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>i</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mo>&gt;</mo> <mn>0.5</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;alpha;</mi> <mn>2</mn> </msub> <msub> <mi>I</mi> <mrow> <mi>p</mi> <mi>r</mi> <mi>i</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>b</mi> <mn>2</mn> </msub> </mrow> </mtd> <mtd> <mrow> <mi>e</mi> <mi>l</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

其中α₁，α₂分别为阈值比例因子一和阈值比例因子二，b₁，b₂分别为阈值平移因子一和阈值平移因子二，I_prior为先验前景点的像素值。