CN114972216A - 一种纹理表面缺陷检测模型的构建方法及其应用 - Google Patents

Abstract

本发明属于图像处理领域，并公开了一种纹理表面缺陷检测模型的构建方法及其应用。本发明构建的检测模型除了包括常规的特征提取模块和分割模块，还包括两个新提出的模块：特征分离提取模块和全局语义关系模块。通过特征分离提取模块将纹理语义信息和缺陷语义信息从初步提取到的特征中分解出来，避免这两类语义信息耦合在一起对最终的分割产生不良影响；同时利用全局语义关系模块在特征分离提取后，建立全局语义信息相关关系，捕获全局上下文信息，以此增强纹理特征和缺陷特征的表达能力。进行检测时，只需将纹理分割结果和缺陷分割结果进行加权平均，即可检测出缺陷。如此，对不同纹理表面上的不同大小、不同对比度的缺陷有较高的分割精度。

Description

一种纹理表面缺陷检测模型的构建方法及其应用

技术领域

本发明属于图像处理领域，更具体地，涉及一种纹理表面缺陷检测模型的构建方法及其应用。

背景技术

在工业制造领域，原材料的品质种类各异，由于制造设备的稳定性以及制造工艺的复杂性等因素的影响，产品表面常产生各种纹理缺陷，例如新型显示器件OLED、纺织物、木制品和陶瓷制品等。纹理表面缺陷通常表现为局部纹理结构破坏的局部区域，或者具有不规则亮度变化的局部区域。这些纹理缺陷严重影响消费者的视觉体验以及产品的使用性能，在工业产品生产制造的各个制程中实现纹理表面缺陷自动化检测对保障产品质量和改善生产工艺极其重要。

在工业产品制造过程中，纹理表面缺陷具有以下特点：纹理和缺陷复杂多样，缺陷尺度变化大，而且，缺陷区域灰度常与纹理背景相差无几，导致对比度较低，轮廓分界线不清晰；另外，一条成熟的工业生产线上产品的合格率往往较高，次品相对较少，致使在短时间内搜集大量的缺陷样本难度大，即便在花费较长时间收集到大量训练样本，也需要人工对样本进行像素级样本标签的制作，由此一来，时间成本和人工成本都是巨大的，这给视觉检测带来了极大的困难。因此，纹理表面缺陷检测算法仍然是工业产品质量控制中十分具有挑战性的任务。

目前，已有很多算法被提出来解决纹理表面缺陷的检测难题，主流的研究成果都是基于纹理背景重构，通过重构图像与原图像的残差来检测缺陷，这些方法难以同时保证纹理背景的精确重构与缺陷前景的最大化抑制，导致性能不佳，难以适应各类纹理缺陷。因此，需要提出一种不使用真实缺陷样本的基于深度学习的纹理表面缺陷检测算法，能适用于各类纹理，对不同类型的纹理表面缺陷都有较好的鲁棒性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种纹理表面缺陷检测模型的构建方法及其应用，其目的在于利用深度学习的强大的数据建模能力进行工业产品表面缺陷检测，由此解决纹理表面缺陷检测算法中的种类繁多、尺度变化大、对比度低、形状多变和缺乏真实缺陷样本等原因引起的检测精度不高的问题，可极大提升检测精度。

为实现上述目的，第一方面，本发明提供了一种纹理表面缺陷检测模型的构建方法，包括：

搭建纹理表面缺陷检测模型；所述纹理表面缺陷检测模型包括依次连接的特征提取模块、特征分离提取模块和分割模块；其中：

所述特征提取模块用于对输入的纹理图像进行特征提取，以得到特征图；所述特征分离提取模块用于分离所述特征图中纹理语义信息和缺陷语义信息，以提取得到纹理特征图和缺陷特征图；所述分割模块用于对所述纹理特征图和缺陷特征图进行分割，得到纹理分割结果和缺陷分割结果；

以最大化纹理特征图和缺陷特征图在相应像素位置的差异、最小化纹理特征图和缺陷特征图与聚类中心之间的距离、最小化纹理特征图和缺陷特征图的类间相似度以及最小化纹理分割结果和缺陷分割结果的预测值与真实值之间的差异为目标，采用训练样本集训练所述纹理表面缺陷检测模型。

进一步地，所述纹理表面缺陷检测模型还包括位于特征分离提取模块和分割模块之间的全局语义关系模块，所述全局语义关系模块用于获取全局上下文信息，并将所述全局上下文信息加到所述特征分离提取模块提取得到的纹理特征图和缺陷特征图上，以增强纹理特征和缺陷特征的表达能力。

进一步地，所述全局语义关系模块基于QKV自注意力机制，并用一个小型矩阵C代替QKV自注意力机制中的大型矩阵Q；其中，小型矩阵C是由特征分离提取模块中基于特征聚类学习到的聚类中心特征组成的。

进一步地，所述训练样本集中训练样本通过以下方式得到：

将Mask图像的反色图像与无缺陷良品纹理图像相乘获得正常纹理区域，再将Mask图像与通过二维高斯采样生成的噪声图像相乘获得缺陷区域，二者相加以合成假缺陷纹理样本图像；

其中，Mask图像为像素值为0或1的二值图像，像素值为1的区域表示缺陷区域，像素值为0的区域表示正常纹理区域。

进一步地，所述特征提取模块包括第一卷积模块和第二卷积模块；

所述第一卷积模块包括第一卷积层和第一残差模块，第一残差模块包括两个采用跳跃连接的方式首尾特征相加的卷积层；

所述第二卷积模块包括两个残差模块，所述两个残差模块结构与所述第一残差模块相同，卷积核数量为所述第一残差模块中卷积层的两倍。

进一步地，所述特征分离提取模块包括两个结构相同的分支网络，一个分支网络用于提取纹理特征，另一个分支网络用于提取缺陷特征；

每个分支网络包括三个结构相同的卷积模块，每个卷积模块包括两个残差模块，每个残差模块包括两个采用跳跃连接的方式首尾特征相加的卷积层；三个所述卷积模块中卷积核的数量是前一层的两倍。

进一步地，所述分割模块包括四个反卷积模块、一个反卷积层和一个Sigmoid激活层；

四个反卷积模块结构均相同，卷积核数量按1/2的倍数依次递减，每个反卷积模块包括两个反卷积层。

第二方面，本发明提供了一种纹理表面缺陷检测方法，包括：

将待测纹理图像输入到采用第一方面所述的纹理表面缺陷检测模型的构建方法所构建的纹理表面缺陷检测模型中，得到纹理分割结果和缺陷分割结果；

对所述纹理分割结果和缺陷分割结果进行加权平均，得到最终检测结果。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如第一方面所述的纹理表面缺陷检测模型的构建方法和/或如第二方面所述的纹理表面缺陷检测方法。

总体而言，通过本发明所构思的以上算法与现有算法相比，能够取得下列有益效果：

1、本发明通过采用特征分离提取模块将纹理语义信息和缺陷语义信息从特征提取模块提取的特征图中分解开来，避免两种信息相互耦合对最终分割精度造成不利影响；具体通过最大化纹理特征图和缺陷特征图在相应像素位置的差异、最小化纹理特征图和缺陷特征图与聚类中心之间的距离以及最小化纹理特征图和缺陷特征图的类间相似度，有效将纹理语义信息与缺陷语义信息从共享特征图中分解开来，有利于提高后续网络的分割精度。

2、本发明通过采用全局语义关系模块建立全局语义信息相关关系，捕获全图上下文信息，以增强局部特征表达，进而提高网络模型的纹理分割和缺陷分割的鲁棒性。

3、本发明在无缺陷良品纹理图像的基础上结合随机生成的Mask图像来生成假缺陷样本，在一定程度上解决实际场景中真实缺陷样本少的问题，并且使得本发明在不使用任何真实缺陷样本的情况下，仍能够精确分割各类纹理表面缺陷。

附图说明

图1是本发明实施例提供的纹理表面缺陷检测模型的构建方法的流程示意图之一；

图2是本发明实施例提供的纹理表面缺陷检测模型的构建方法的流程示意图之二；

图3是本发明实施例提供的残差模块示意图；

图4是本发明实施例提供的全局语义关系模块示意图；

图5是本发明实施例提供的缺陷检测效果示意图，其中，第一行为测试集样本图像，第二行为测试集样本图像的标签图像，第三行为纹理分割结果，第四行为缺陷分割结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

参阅图1，结合图2和图3，本发明提出了一种纹理表面缺陷检测模型的构建方法，包括：

S1，搭建纹理表面缺陷检测模型；所述纹理表面缺陷检测模型包括依次连接的特征提取模块、特征分离提取模块和分割模块；其中：所述特征提取模块用于对输入的纹理图像进行特征提取，以得到特征图；所述特征分离提取模块用于分离所述特征图中纹理语义信息和缺陷语义信息，以提取得到纹理特征图和缺陷特征图；所述分割模块用于对所述纹理特征图和缺陷特征图进行分割，得到纹理分割结果和缺陷分割结果。

S2，以最大化纹理特征图和缺陷特征图在相应像素位置的差异、最小化纹理特征图和缺陷特征图与聚类中心之间的距离、最小化纹理特征图和缺陷特征图的类间相似度以及最小化纹理分割结果和缺陷分割结果的预测值与真实值之间的差异为目标，采用训练样本集训练所述纹理表面缺陷检测模型。

本实施例中，如图2所示，该检测模型包含三个常规模块：缺陷生成模块(defectgeneration module,DGM)、特征提取模块(feature extraction module,FEM)和分割模块(segmentation module,SM)，以及两个提出的新模块：特征分离提取模块(featureseparation extraction module,FSEM)和全局语义关系模块(global semantic relationmodule,GSRM)。以下对各模块进行详细说明。

(1)缺陷生成模块

如图2所示，缺陷生成模块用于在无缺陷样本I_p的基础上，联合随机生成的Mask图像I_m来生成假缺陷负样本：

I_n(x,y)＝(1-I_m(x,y))·I_p(x,y)+I_m(x,y)·I_g(x,y)

式子中，I_n、I_m、I_p和I_g∈R^W×H×1，W和H表示输入图像的宽和高，在本发明中均为256。x＝1,...,W,y＝1,...,H，I_g表示采用高斯随机采样生成的噪声图像。

(2)特征提取模块

如图2所示，特征提取模块用于提取输入纹理图像I_n的隐空间卷积特征Z：

Z＝f_fem(I_n；θ_e)

式子中，Z∈R^W/2×H/2×2C，f_fem(·)表示FEM网络学习到的映射函数，θ_e表示FEM模块的网络权重参数。所述FEM由两个卷积模块组成。第一个卷积模块由一个卷积层和一个残差模块组成，其中卷积层的卷积核为3x3，步长为1，卷积核数量为C，本发明中设为16；残差模块由两个卷积层组成，并采用跳跃连接的方式首尾特征相加，其中第一个卷积层的卷积核为3x3，步长为1，卷积核数量为16，第二个卷积层的卷积核为3x3，步长为1，卷积核数量为16。第二个卷积模块包含两个残差模块，结构和前面的一致，卷积核的数量是前面的2倍即32，并且第一个残差模块中的第一个卷积层的步长为2。残差模块结构如图3所示。

(3)特征分离提取模块

如图2所示，特征分离提取模块用来将纹理语义信息Z_t和缺陷语义信息Z_d从特征提取模块提取的特征图Z中分解开来，避免两种信息相互耦合对最终分割精度造成不利影响：

特征分离提取模块包含两个分支网络，一个分支用来提取纹理特征，一个分支用来提取缺陷特征，两个分支的网络结构完全一样。每个分支网络包含三个卷积模块，每个卷积模块结构相同，各包含两个残差模块，和特征提取模块中的第二个卷积模块结构相同，不同的是卷积核的数量是前一层的两倍，故而每个分支的三个卷积模块的输出分别为64通道、128通道和256通道的特征图。

隐空间特征Z_t和Z_d可以看做为局部特征的集合，即

为进行初步的特征分离，使Z_t和Z_d在相应像素位置的差异尽可能大是必要的：

为进一步促进特征分离，一个新的基于多超球体中心约束的模型被提出。通过深度特征聚类，将不同类型的局部特征Z_t和Z_d分别划分为K个类别簇。让

表示聚类中心，即各个超球体的中心。隐空间局部特征与聚类中心的残差计算如下：

式子中i＝1,...,N，j,k＝1,...K，N为局部特征数量。然后，一个用于衡量局部嵌入特征

和

与聚类中心

和

之间的相似性的分数计算如下：

式子中，α设为1。每个局部特征z_i都有一个到类别中心c_k的距离d_ki，相应的距离最短表示特征属于哪个类别中心：

因此每个超球体的半径r_k可计算如下：

式子中

是d_k的标准差。为了保证局部特征的原始分布接近目标分布，一个辅助分数计算如下：

式子中，

KL散度损失用来最小化距离分数与目标分数之间的分布差异，也即最小化纹理特征图和缺陷特征图与各自对应的聚类中心之间的距离：

为了降低纹理和缺陷特征的类间相似度，一个基于多超球体的中心约束模型被提出：

FSEM网络参数基于以下损失来优化更新：

L_fd＝λ₂L_z+λ₃L_kl+λ₄L_td

λ₂、λ₃和λ₄是对各项损失的平衡权重，在本发明中，分别被设置为λ₂＝0.01、λ₃＝0.01和λ₄＝0.01。

因为深度聚类以及中心约束模型的作用，特征分离提取模块能够有效将纹理语义信息与缺陷语义信息从共享特征图中分解开来，有利于提高后续网络的分割精度。

(4)全局语义关系模块

如图4所示，全局语义关系模块用于建立全局语义信息相关关系，捕获全图上下文信息，以增强局部特征表达。自注意力机制允许一个在任意位置的单个特征可以感知到其他所有位置的特征，进能够获得全图像的上下文信息：

但是，这种机制需要生成一张很大的注意力图，这张注意力图用于获取每对像素位置特征之间的相关关系，从而带来O(N²)这么高的时间和空间复杂度，其中N是输入特征的数量。公式中，矩阵Q和K往往具有非常高的维度，这就意味着基于自注意力机制的方法常常会有很高的计算复杂度，同时也会占据大量的GPU内存，为解决这一问题，本专利提出全局语义关系模块GSRM。

为了以较低的计算复杂度和内存使用在全图范围内建立局部特征表达的依赖关系，本专利提出GSRM模块：

公式中，

和

表示GSRM网络的权重参数，

和

表示GSRM学习的网络映射函数。为降低计算复杂度和内存消耗，本专利的思路是用更小的矩阵C去取代注意力机制中大矩阵Q，矩阵C是由FSEM模块学习得到。

图4展示了GSRM的详细网络结构。给定特征图Z_t或Z_d∈R^{W/16×H/16×16C}，该模块首先用1×1的卷积核对Z_t或Z_d进行卷积操作，进而获得两个特征图K和V，其中K,V∈R^{W/16×H/16×16C}，在获得矩阵K和V后，生成一张注意力图M∈R^{(W/16×H/16)×K}，然后对矩阵C和M进行聚合操作以此获得上下文信息，最后将上文信息加到特征图Z_t或Z_d上来增强特征表达，进而获得增强后的特征图Z′_t和Z′_d。由此一来，计算复杂度就从O(N²)大幅降低到O(N×K)，由于K远小于N，所以复杂度近似降到O(N)。整个过程用公式表达如下：

M＝softmax(K′C^T)

Z′_t＝V+reshape(MC)

其中K′∈R^{(W/16×H/16)×16C}是K的二维展开，矩阵C表示FSEM模块中的C^t和C^d。

GSRM以较低的计算复杂度和内存消耗建立了全局语义信息相关关系，捕获了全图上下文信息，在一定程度上增强了隐空间特征表达。因此，Z′_t和Z′_d具有宽的上下文视野，能够根据空间注意力图选择性地聚合不同的上下文信息，这对后面分割模块的鲁棒性及准确性的提高有促进作用。

(5)分割模块

分割模块使用前面GSRM模块增强后的特征Z′_t和Z′_d直接对纹理和缺陷进行分割，因此得到下面的纹理分割结果

和缺陷分割结果

式子中，Z′_t,Z′_d∈R^{W/16×H/16×16C}，

和

表示SM网络学习到的映射函数，

和

表示SM的网络权重参数。所述分割模块包含四个反卷积模块、一个反卷积层和一个Sigmoid激活层。四个反卷积模块结构均相同，卷积核数量按1/2依次递减，第一个反卷积模块卷积核数量为128。每个反卷积模块包含两个反卷积层，第一个反卷积层步长为2，第二个反卷积层步长为1。Sigmoid激活层前的反卷积层步长为1，卷积核数量为1。所述分割模块中的所有卷积核大小均为3x3。因为缺陷区域的面积远小于正常纹理区域的面积，这会带来类别不平衡问题，为避免类别不平衡带来不利影响，采用像素级加权交叉熵损失：

式子中，λ₁表示L_s的平衡权重，本专利中设为0.1，E，⊙和||·||₁分别表示数学期望、哈达玛积和L1范数。

实施例2

一种纹理表面缺陷检测方法，包括：

将待测纹理图像输入到采用实施例1所述的纹理表面缺陷检测模型的构建方法所构建的纹理表面缺陷检测模型中，得到纹理分割结果和缺陷分割结果；对所述纹理分割结果和缺陷分割结果进行加权平均，得到最终检测结果。

本实施例中，模型优化完成后，即可用于纹理缺陷检测。如图2所示，缺陷检测阶段，首先将纹理图像I_n输入所述特征提取模块提取特征Z，然后通过所述FSEM模块分离得到纹理语义信息Z_t和缺陷语义信息Z_d，接着通过所述GSRM增强得到Z′_t和Z′_d，最后通过所述SM分割纹理和缺陷，得到纹理分割结果

和缺陷分割结果

对两者进行加权平均即可检测出纹理表面缺陷：

其中，参数λ_f(0≤λ_f≤1)在本专利中设为0.5。I_s表示最终分割结果。缺陷检测效果如图5所示。

实施例3

一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如实施例1所述的纹理表面缺陷检测模型的构建方法和/或如实施例2所述的纹理表面缺陷检测方法。

相关技术手段同实施例1和实施例2，这里不做赘述。

综上所述，本发明所提出的基于语义信息分解网络的纹理表面缺陷检测算法，采用缺陷生成模块生成大量的人工缺陷样本，在一定程度上解决实际场景中真实缺陷样本少的问题，并且使得本发明在不使用任何真实缺陷样本的情况下，仍能够精确分割各类纹理表面缺陷；采用特征分离提取模块将纹理语义信息和缺陷语义信息从特征提取模块提取的特征图中分解开来，避免两种信息相互耦合对最终分割精度造成不利影响；采用全局语义关系模块建立全局语义信息相关关系，捕获全图上下文信息，以增强局部特征表达，进而提高网络模型的纹理分割和缺陷分割的鲁棒性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种纹理表面缺陷检测模型的构建方法，其特征在于，包括：

搭建纹理表面缺陷检测模型；所述纹理表面缺陷检测模型包括依次连接的特征提取模块、特征分离提取模块和分割模块；其中：

所述特征提取模块用于对输入的纹理图像进行特征提取，以得到特征图；所述特征分离提取模块用于分离所述特征图中纹理语义信息和缺陷语义信息，以提取得到纹理特征图和缺陷特征图；所述分割模块用于对所述纹理特征图和缺陷特征图进行分割，得到纹理分割结果和缺陷分割结果；

以最大化纹理特征图和缺陷特征图在相应像素位置的差异、最小化纹理特征图和缺陷特征图与聚类中心之间的距离、最小化纹理特征图和缺陷特征图的类间相似度以及最小化纹理分割结果和缺陷分割结果的预测值与真实值之间的差异为目标，采用训练样本集训练所述纹理表面缺陷检测模型。

2.根据权利要求1所述的纹理表面缺陷检测模型的构建方法，其特征在于，所述纹理表面缺陷检测模型还包括位于特征分离提取模块和分割模块之间的全局语义关系模块，所述全局语义关系模块用于获取全局上下文信息，并将所述全局上下文信息加到所述特征分离提取模块提取得到的纹理特征图和缺陷特征图上，以增强纹理特征和缺陷特征的表达能力。

3.根据权利要求2所述的纹理表面缺陷检测模型的构建方法，其特征在于，所述全局语义关系模块基于QKV自注意力机制，并用一个小型矩阵C代替QKV自注意力机制中的大型矩阵Q；其中，小型矩阵C是由特征分离提取模块中基于特征聚类学习到的聚类中心特征组成的。

4.根据权利要求1至3任一项所述的纹理表面缺陷检测模型的构建方法，其特征在于，所述训练样本集中训练样本通过以下方式得到：

将Mask图像的反色图像与无缺陷良品纹理图像相乘获得正常纹理区域，再将Mask图像与通过二维高斯采样生成的噪声图像相乘获得缺陷区域，二者相加以合成假缺陷纹理样本图像；

其中，Mask图像为像素值为0或1的二值图像，像素值为1的区域表示缺陷区域，像素值为0的区域表示正常纹理区域。

5.根据权利要求1至3任一项所述的纹理表面缺陷检测模型的构建方法，其特征在于，所述特征提取模块包括第一卷积模块和第二卷积模块；

所述第一卷积模块包括第一卷积层和第一残差模块，第一残差模块包括两个采用跳跃连接的方式首尾特征相加的卷积层；

所述第二卷积模块包括两个残差模块，所述两个残差模块结构与所述第一残差模块相同，卷积核数量为所述第一残差模块中卷积层的两倍。

6.根据权利要求1至3任一项所述的纹理表面缺陷检测模型的构建方法，其特征在于，所述特征分离提取模块包括两个结构相同的分支网络，一个分支网络用于提取纹理特征，另一个分支网络用于提取缺陷特征；

每个分支网络包括三个结构相同的卷积模块，每个卷积模块包括两个残差模块，每个残差模块包括两个采用跳跃连接的方式首尾特征相加的卷积层；三个所述卷积模块中卷积核的数量是前一层的两倍。

7.根据权利要求1至3任一项所述的纹理表面缺陷检测模型的构建方法，其特征在于，所述分割模块包括四个反卷积模块、一个反卷积层和一个Sigmoid激活层；

四个反卷积模块结构均相同，卷积核数量按1/2的倍数依次递减，每个反卷积模块包括两个反卷积层。

8.一种纹理表面缺陷检测方法，其特征在于，包括：

将待测纹理图像输入到采用权利要求1至7任一项所述的纹理表面缺陷检测模型的构建方法所构建的纹理表面缺陷检测模型中，得到纹理分割结果和缺陷分割结果；

对所述纹理分割结果和缺陷分割结果进行加权平均，得到最终检测结果。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至7任一项所述的纹理表面缺陷检测模型的构建方法和/或如权利要求8所述的纹理表面缺陷检测方法。

Images