CN115619743A - Oled新型显示器件表面缺陷检测模型的构建方法及其应用 - Google Patents

Abstract

本发明属于图像处理领域，具体涉及OLED新型显示器件表面缺陷检测模型的构建方法及其应用，模型包括对比分离模块和融合分割模块。训练阶段，首先生成异常样本；然后对比分离模块通过隐空间特征对比，学习从异常样本中分离出纹理背景图像和缺陷前景图像；最后融合分割模块以成对的纹理背景图像和人工异常样本作为输入，在编码阶段进行多尺度特征融合来聚集低维结构信息和高维语义信息，其整体与对比分离模块构成生成对抗模式，输出像素级分割结果，同时提高对比分离模块和自身的检测性能。测试阶段，将对比分离模块生成的缺陷前景图像与融合分割模块生成的缺陷分割图像进行融合得到检测结果。本发明的检测模型具备良好鲁棒性和高精度检测性能。

Description

OLED新型显示器件表面缺陷检测模型的构建方法及其应用

技术领域

本发明属于图像处理领域，更具体地，涉及OLED新型显示器件表面缺陷检测模型的构建方法及其应用。

背景技术

在工业制造领域，许多生产线会不可避免地在生产过程中产生有严重缺陷或无法满足出厂标准的残次品，例如木材表面的划痕、纺织物表面的污点、皮革表面的凸起、陶瓷制品表面的裂纹、以及目前被广泛使用的各种新型显示器件(如OLED、TFT-LCD)表面的缺陷等，导致这一类缺陷的原因包括但不限于生产线所采用的原材料品质、种类差异，生产设备的稳定性，以及复杂的生产工艺等，此类缺陷通常表现为局部区域具有不规则的亮度变化或纹理结构损坏，统称为纹理表面缺陷，此类缺陷不仅会严重影响生产效率，而且会降低消费者的视觉体验。为了促进生产工艺的改善、提升良品率，纹理表面缺陷检测已然成为工业生产中不可或缺的一环。

目前，依靠人眼观察辨别缺陷的传统方式已经逐步被具有非接触、高速、精度高等优点的现代自动光学检测(AOI)设备取代，AOI检测设备的核心通常是内置的缺陷检测算法，而算法的好坏往往直接决定了设备的检测效果。由于OLED等新型显示器件复杂的工艺流程，其表面产生的缺陷往往伴具备形状不规则、大小不一，亮度不规则变化、低对比度且类型未知等特性，而且生产过程中产生的残次品相对良品的数量通常是极少的，样本数据的不平衡无疑给短时间内收集大量异常样本用于检测算法网络训练带来巨大的困难。这些难点导致目前在工业领域如何实现高效、高精度的OLED新型显示器件表面缺陷检测的问题仍然亟待解决。

近些年以来，随着计算机技术的快速发展，数据规模迅猛增长、计算量和计算效率提高、算法也在不断创新，深度学习由于其在计算机视觉领域显露出卓越的性能优势，逐渐被应用于工业场景下的显示器件表面缺陷检测。目前主流的算法分为两大类：有监督算法和无监督算法，有监督算法适用于缺陷类型已知且类型单一的情况，但这类方法不仅需要收集大量的异常样本，而且还要花费较长的时间以及昂贵的人工标注成本，泛化性和适用性均存在较大的不足；无监督算法不需要收集异常样本，目前主流的思路是通过人工制造缺陷样本来训练重建网络，并基于纹理背景重构的方式，利用重建残差来进行缺陷检测，这类方法可以节约标注成本，在样本极不均衡的工业场景下取得了不错的效果，但这类方法非常依赖重建精度，容易造成漏检和过检，鲁棒性较差。

因此，需要提出一种适用于多种场景，且具备良好鲁棒性、高效性以及优秀检测性能的无监督OLED新型显示器件表面缺陷检测算法。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种，其目的在于提出一种具备良好鲁棒性、高精度检测性能的无监督OLED新型显示器件表面缺陷检测算法。

为实现上述目的，按照本发明的一个方面，提供了一种OLED新型显示器件表面缺陷检测模型的构建方法，检测模型分为对比分离模块和融合分割模块两部分，对比分离模块包括第一编码器、纹理解码模块和缺陷解码模块；执行以下步骤实现训练：

采用高斯随机采样，生成掩膜图像，并结合掩膜图像和正常样本生成异常样本；采用预训练网络，分别对每个正常样本及其对应的异常样本进行特征提取，以计算两者在每个通道维度上特征向量之间的差异度，基于所述掩膜图像得到每个异常样本中缺陷前景区域和纹理背景区域分别所对应的差异度集合，作为特征对比的先验权重信息；

采用第一编码器编码每个异常样本，得到编码特征，将编码特征输入到纹理解码模块和缺陷解码模块，对应得到纹理背景图像和缺陷前景图像，采用融合分割模块分别对纹理背景图像及其对应的异常样本进行编码、特征融合、解码，输出对应的缺陷分割结果；结合每个异常样本的所述先验权重信息，计算对应编码特征中缺陷前景和纹理背景之间的特征对比损失，引导对第一编码器的参数更新，以增强对异常样本中纹理背景和缺陷前景表达的差异性；分别根据解码得到的缺陷前景图像和纹理背景图像以及融合分割模块对该纹理背景图像的所述缺陷分割结果，对应计算缺陷分离损失和纹理分离重建损失以及对抗生成损失，引导对比分离模块的参数更新；根据融合分割模块对异常样本和纹理背景图像的缺陷分割结果，分别计算分割损失，引导对融合分割模块的参数更新；重复上述直至达到迭代终止条件，得到OLED新型显示器件表面缺陷检测模型。

进一步，所述异常样本的具体生成方式为：

利用二维高斯随机采样，得到概率分布图，通过阈值处理得到对应的掩膜图像；对正常样本进行随机变换处理，并结合所述概率分布图及其对应的所述掩膜图像，得到异常掩膜；利用随机变换处理后的正常样本以及所述异常掩膜和所述掩膜图像，得到人工异常样本；

其中，所述随机变换为从包括复制、上下翻转、左右翻转、顺时针旋转180°在内的四种基础变换中随机选取的一种变换映射函数。

进一步，所述异常掩膜具体采用以下方式得到：

式中，

表示异常掩膜，I_n为经过随机变换处理后的正常样本，f₁(·)表示从包括复制、上下翻转、左右翻转、顺时针旋转180°在内的四种基础变换中随机选取的一种变换映射函数；

表示所述概率分布图，I_m表示掩膜图像，δ∈[-1,1]表示控制生成缺陷区域的灰度强度；

所述异常样本具体采用以下方式得到：

式中，I_a表示为异常样本。

进一步，所述先验权重信息的构建方式具体为：

采用预训练网络，分别对所述随机变换处理后的正常样本和所述异常样本进行特征提取，对应得到特征Z_n和特征Z_a；

计算Z_n和Z_a中各相同高和宽坐标位置处所对应的通道维度特征向量之间的余弦相似度，得到异常分数图M_a；

对所述异常分数图M_a进行归一化处理，作为先验权重分布信息；

将所述掩膜图像下采样到与异常分数图M_a相同的分辨率，并基于经下采样后的掩膜图像，从所述先验权重分布信息中划分纹理背景区域特征向量、缺陷前景区域特征向量对应的权重集合，作为先验权重信息。

进一步，所述特征对比损失的计算方式为：

将所述掩膜图像下采样到与所述编码特征相同的分辨率，并基于经下采样后的掩膜图像，从所述编码特征中划分纹理特征向量集合P_i、缺陷特征向量集合N_i；其中，将所述编码特征看作是一系列维度为

的特征向量在特征空间中的组合，其中，C_C表示所述编码特征的通道数；

计算所述纹理特征向量集合的算术平均中心，作为锚点特征向量i；

根据锚点特征向量i、纹理特征向量集合P_i、缺陷特征向量集合N_i以及所述先验权重信息，计算特征对比损失L_ctr，表达式为：

式中，b表示一次迭代训练所选取的样本数，W_p表示纹理背景区域特征向量对应的权重集合，即纹理背景区域特征向量对应的先验权重信息，W_n表示缺陷前景区域特征向量对应的权重集合，即缺陷前景区域特征向量对应的先验权重信息，τ为温度参数，用来控制计算得到的相关性矩阵的平滑程度，||·||₂表示L2范数。

进一步，所述融合分割模块包括第二编码器、特征融合模块和解码器，分别用于编码、特征融合和解码；其中，所述特征融合模块包括n个由一个1×1卷积和一个3×3卷积所构成的卷积单元以及自注意力模块，其中，n的取值与所述第二编码器的卷积级数相同；所述第二编码器的第一级卷积输出作为对应的一个卷积单元的输入，之后第二编码器的每一级卷积输出与对应卷积单元的上一个卷积单元的输出按通道连接，并输入对应的卷积单元，最后一个卷积单元的输出连接到所述自注意力模块。

进一步，所述自注意力模块为改进的自注意力模块，具体为：

对最后一个卷积单元的输出特征Z∈R^H'×W'×C'经过两个独立的二维1×1卷积并分别改变维度得到特征矩阵Q、K∈R^H'W'×C'，再用Q的转置与K通过矩阵乘积得到在空间维度上任意两点特征之间的相关性强度矩阵M：M＝Q^TK，两个特征点之间相关性越强，则在矩阵M中其响应值越大；

对特征Z∈R^H'×W'×C'进行平均池化，得到特征向量a∈R^1×1×C'，接着经过一次一维的3×3卷积得到特征Z∈R^H'×W'×C'在通道维度上的权重向量a'∈R^1×1×C'，将权重向量a'经过Sigmoid激活后与特征Z∈R^H'×W'×C'逐通道相乘：Z'＝Sigmoid(a')·Z，其中Z'∈R^H'×W'×C'，对Z'同样使用一个二维1×1卷积处理并改变维度后可得到特征矩阵V∈R^H'W'×C'；

将V与Softmax后的

进行矩阵相乘后与原特征加权融合得到最终结果

其中，

表示经过Softmax后的相关性强度矩阵，γ为可学习加权系数，

表示经过改进的自注意力模块处理后的特征结果。

进一步，所述融合分割损失由三项损失组成，第一项为融合分割模块对异常样本分割的交叉熵损失，第二项和第三项分别为融合分割模块对纹理背景图像判别的硬标签损失和软标签损失，其中将掩膜图像作为硬标签，将所述缺陷解码模块输出的所述缺陷前景图像作为软标签，表示如下：

式中，L_fsm表示所述融合分割损失，θ_{s_e}、θ_ffm、θ_{s_d}分别表示融合分割模块的第二编码器、特征融合模块和解码器的网络参数，α₁、α₂、α₃表示损失权重，

表示数学期望，I_a表示异常样本，I_{c_t}表示所述纹理解码模块输出的所述纹理背景图像，I_l表示分割结果的标签图像，与I_m相同，I_{c_a}表示所述缺陷解码模块输出的所述缺陷前景图像，I_{s_a}表示融合分割模块对异常样本的缺陷分割结果，I_{s_t}表示融合分割模块对纹理背景图像的缺陷分割结果，||·||₁表示L1范数。

本发明还提供一种OLED新型显示器件表面缺陷检测方法，包括：

将OLED新型显示器件的待检测样本分别输入OLED新型显示器件表面缺陷检测模型中的对比分离模块和融合分割模块，对应得到缺陷检测图像，将两个缺陷检测图像以一定的权重融合，作为最终的缺陷前景区域检测结果；根据该最终的缺陷前景区域检测结果，判断OLED新型显示器件表面的缺陷情况；其中，所述OLED新型显示器件表面缺陷检测模型为根据如上所述的一种OLED新型显示器件表面缺陷检测模型的构建方法所构建得到。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种OLED新型显示器件表面缺陷检测模型的构建方法所构建得到和/或如上所述的一种OLED新型显示器件表面缺陷检测方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明是一种基于先验信息引导特征对比的OLED新型显示器件表面缺陷检测模型构建方法，通过采用隐空间特征对比分离的方式，结合预训练网络提供的正负例特征向量权重分布的先验信息，在特征空间约束纹理特征聚类并远离异常特征，有效地促进了网络对纹理区域和缺陷区域的分离效果，提高了真实场景下的缺陷检测精度，增强了网络的鲁棒性。其次，通过采用多尺度特征融合编码的方式，综合局部描述信息和全局结构信息，提供了检测性能。另外，将对比分离模块与融合分割模块构建生成对抗机制，通过二者零和博弈提升对比分离效果和融合分割精度，并可以缺陷前景图像作为融合分割的软标签，从而更合理地指导融合分割网络对纹理背景图像的输出，增强了网络的鲁棒性，降低过检率。

(2)本发明提出的融合分割模块中，特征融合模块用于将编码期间各个基础编码卷积块输出的多尺度特征融合并进一步压缩，从而综合聚集低维结构信息和高维语义信息。最终生成信息更为丰富且紧凑的特征。

(3)本发明提出的改进的空间-通道注意力模块(SCAM)，在原始的位置注意力模块(Position attention module，PAM)的基础上，改善了其通道位置信息共享的缺点。

附图说明

图1为本发明实施例提供的整体网络模型示意图；

图2为本发明实施例提供的隐空间特征对比分离示意图；

图3为本发明实施例提供的改进的自注意力模块示意图；

图4为本发明实施例提供的网络测试阶段示意图；

图5为本发明实施例提供的缺陷检测效果示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例一

一种OLED新型显示器件表面缺陷检测模型的构建方法，检测模型分为对比分离模块和融合分割模块两部分，对比分离模块包括第一编码器、纹理解码模块和缺陷解码模块；执行以下步骤实现训练：

采用高斯随机采样，生成掩膜图像，并结合掩膜图像和正常样本生成异常样本；采用预训练网络，分别对每个正常样本及其对应的异常样本进行特征提取，以计算两者在每个通道维度上特征向量之间的差异度，基于所述掩膜图像得到每个异常样本中缺陷前景区域和纹理背景区域分别所对应的差异度集合，作为特征对比的先验权重信息；

采用第一编码器编码每个异常样本，得到编码特征，将编码特征输入到纹理解码模块和缺陷解码模块，对应得到纹理背景图像和缺陷前景图像，采用融合分割模块分别对纹理背景图像及其对应的异常样本进行编码、特征融合、解码，输出对应的缺陷分割结果；结合每个异常样本的所述先验权重信息，计算对应编码特征中缺陷前景和纹理背景之间的特征对比损失，引导对第一编码器的参数更新，以增强对异常样本中纹理背景和缺陷前景表达的差异性，使得编码最后一级所得到的特征空间中纹理特征聚类并远离缺陷特征；分别根据解码得到的缺陷前景图像和纹理背景图像，以所述掩码图像作为标签计算缺陷分离损失和纹理分离重建损失，根据融合分割模块对该纹理背景图像的缺陷分割结果，计算对抗生成损失，根据缺陷分离损失和纹理分离重建损失以及对抗生成损失，引导对比分离模块的参数更新；根据融合分割模块对异常样本和纹理背景图像的缺陷分割结果，分别计算分割损失，引导对融合分割模块的参数更新；重复上述直至达到迭代终止条件，得到OLED新型显示器件表面缺陷检测模型。

也就是，本实施例的检测模型包含一个常规的数据增强模块，以及两个提出的新模块：对比分离模块、融合分割模块。

其中，对比分离模块用于隐式地学习从异常样本中分离出纹理背景图像与缺陷前景图像的映射关系。可以将预训练网络划归为对比分离模块，那么对比分离模块包括一个预训练网络、第一编码模块(作为后续两个解码模块对应的公共编码模块)、隐空间特征对比分离模块(用于对比损失计算并引导参数更新)、纹理解码模块和缺陷解码模块五个部分。预训练网络以成对的正常样本和对应人工异常样本为输入，生成异常分数图为后续对比特征向量提供权重分布的先验信息。公共编码模块将输入样本编码为隐空间特征，可作为优选地方案，该模块由4个基础编码卷积块组成，每个基础编码卷积块包含两个卷积层，卷积核大小均为3x3，步长分别为2、1，初始卷积核数量为16，此后卷积核数量逐块翻倍。所述隐空间特征对比分离模块，在特征空间缩小具备相同语义信息的纹理特征之间的距离，并约束它们远离异常特征，从而增强网络对纹理背景与缺陷区域的异常响应。另外，可作为优选地方案，纹理解码模块与缺陷解码模块结构一致，均由3个基础解码卷积块和1个与输出端相连的卷积层组成。每个基础解码卷积块包含一个转置卷积层和一个卷积层，卷积核大小均为3x3，步长分别为2、1，初始卷积核数量为64，此后卷积核数量逐块减半。两个解码模块与输出端相连的卷积层的卷积核大小为3x3，数量为1，步长为1,后接Sigmoid激活层，每个基础解码卷积块均与输出特征尺寸相同的基础编码卷积块跳连。对比分离模块以异常样本为输入，通过纹理解码模块可完成对纹理背景的分离重建，通过缺陷解码模块可精准从原图中分离出缺陷前景图像。

融合分割模块结合自注意力机制进行多尺度特征融合编码，并与上述的对比分离模块构建生成对抗模式，提高了网络性能。具体的，融合分割模块包含编码模块(第二编码器)、特征融合模块、解码模块(解码器)三个部分。编码模块初步提取输入图像的卷积特征，可作为优选地方案，该模块的结构配置与前述公共编码模块的前3个基础编码卷积块相同。特征融合模块用于融合在编码阶段的多尺度特征语义信息与结构信息，生成信息更为丰富且紧凑的特征作为后续的解码输入，可作为优选地方案，该模块主要包含3层步长为2的3x3卷积、3层步长为1的1x1卷积以及1个改进的空间-通道自注意力模块，3x3卷积核数量分别为32、64、128，1x1卷积核数量与之相同。解码模块对融合特征进行解码，输出对缺陷区域的分割结果，可作为优选地方案，其结构配置与前述对比分离模块中的解码模块相同。融合分割模块在训练阶段以成对的纹理背景图像和人工异常样本作为输入，进行多尺度特征融合编码来捕获全局上下文相关性，可以对比分离出的缺陷前景图像作为软标签，可实现对异常图像中缺陷区域的精确分割。

因此，本实施例是一种基于先验信息引导特征对比的OLED新型显示器件表面缺陷检测模型构建方法，首先，本实施例通过采用隐空间特征对比分离的方式，结合预训练网络提供的正负例特征向量权重分布的先验信息，在特征空间约束纹理特征聚类并远离异常特征，有效地促进了网络对纹理区域和缺陷区域的分离效果，提高了真实场景下的缺陷检测精度，增强了网络的鲁棒性。其次，本实施例通过采用多尺度特征融合编码的方式，综合局部描述信息和全局结构信息，提供了检测性能。另外，本实施例将对比分离模块与融合分割模块构建生成对抗机制，通过二者零和博弈提升对比分离效果和融合分割精度，并以缺陷前景图像作为融合分割的软标签，从而更合理地指导融合分割网络对纹理背景图像的输出，增强了网络的鲁棒性，降低过检率。

需要说明的是，本实施例所构建的检测模型有两部分输出，包括对比分离模块和融合分割模块，因此，在进行检测时，将待检测图像分别输入对比分离模块与融合分割模块，然后将对比分离模块生成的缺陷前景图像与融合分割模块生成的缺陷分割图像分别以一定的权重融合，即可得到缺陷检测结果。也就是，融合分割的缺陷检测结果能够作为补偿项，来提高了网络的检测性能。另外，本实施例所构建的模型属于端到端的网络结构，结构简单有效，并采用单阶段训练模式，具有高效性。

数据增强模块用于生成训练用的人工异常样本。可作为优选地方案，如图1中的(a)，首先利用二维高斯随机采样，得到概率分布图，通过阈值处理得到对应的掩膜图像；对正常样本进行随机变换处理，并结合所述概率分布图及其对应的所述掩膜图像，得到异常掩膜；利用随机变换处理后的正常样本以及所述异常掩膜和所述掩膜图像，得到人工异常样本，模拟真实工业场景下的缺陷样本。其中，所述随机变换为从包括复制、上下翻转、左右翻转、顺时针旋转180°在内的四种基础变换中随机选取的一种变换映射函数。

具体的，掩膜图像I_m为：

其中，

I_m∈R^W×H×1，x＝1,...,W，y＝1,...,H，

是二维高斯随机采样生成的图像，W和H分别表示图像的宽度和高度，x和y为图像中像素值的坐标。T表示截断阈值，i表示异常掩膜数量。进一步可作为优选地方案，W和H均设置为256，T设置为0.04，i设置为1。然后利用随机变换处理从正常样本库中任意选取的样本

得到正常图像I_n，并结合I_m和

得到异常掩膜

其中，

I_n、

δ∈[-1,1]表示控制生成缺陷区域的灰度强度。f₁(·)表示从包括复制、上下翻转、左右翻转、顺时针旋转180°在内的4种基础变换中随机选取的1种变换映射函数。最后，利用I_n和

以及掩膜图像I_m，便可融合生成人工异常样本I_a∈R^W×H×1来模拟真实工业场景下的缺陷样本：

通过以上步骤便可在仅利用正常样本的情况下生成大量人工异常样本用于网络训练，且由于在制作人工异常样本的过程中采用了多种基础变换与随机采样灰度强度组合，生成的模拟缺陷区域更加接近真实OLED新型显示器件工业生产场景下易出现的缺陷特性，可以在一定程度上丰富数据集中的缺陷特征，增强算法在推理过程中的泛化潜能，以克服实际工业场景下样本数据不均衡的难点。

可作为优选地方案，上述的先验权重信息的构建方式具体为：

采用预训练网络，分别对所述随机变换处理后的正常样本和所述异常样本进行特征提取，对应得到特征Z_n和特征Z_a；

计算Z_n和Z_a中各相同高和宽坐标位置处所对应的通道维度特征向量之间的余弦相似度，得到异常分数图M_a；

对所述异常分数图M_a进行归一化处理，作为先验权重分布信息；

将所述掩膜图像下采样到与异常分数图M_a相同的分辨率，并基于经下采样后的掩膜图像，从先验权重分布信息中划分纹理背景区域特征向量、缺陷前景区域特征向量对应的权重集合，作为先验权重信息。

如图1中(b)模块所示，所述对比分离模块基于可从异常样本中分离出纹理背景图像和缺陷前景图像的假设，首先通过预训练网络得到特征向量集合的先验权重分布，然后将异常样本编码到特征空间，再利用特征对比学习损失约束特征间的距离，最后分别通过两个解码分支输出得到纹理背景图像和缺陷前景图像。该模块包含一个预训练网络、公共编码模块、隐空间特征对比分离模块、纹理解码模块和缺陷解码模块五个部分，其中，预训练网络以成对的正常样本和对应人工合成异常样本为输入，将二者分别编码为特征Z_n和Z_a：

其中，Z_n、

W_p、H_p、C_p分别表示特征的宽度、高度和通道数，可作为优选地方案，分别为32、32、128。f_{p_e}(·)和θ_p__e分别表示预训练网络的神经网络映射函数和相应的网络参数，本实施例选择在ImageNet数据集上预训练后的ResNet18作为预训练网络，其参数在训练过程中固定不更新。然后，在Z_n和Z_a通道维度上计算二者间的余弦相似度得到异常分数图：

其中，

分别表示特征Z_n和Z_a在空间维度上的特征向量，||·||₂表示L2范数。对异常分数图M_a进行归一化处理便可得到后续对比特征向量所需的先验权重分布信息：

W(h,w)＝(M_a(h,w)-min(M_a(h,w)))÷(maxM_a(h,w)-min(M_a(h,w)))；

最后根据掩膜图像I_m进一步划分正、负例特征向量对应的权重集合W_p和W_n：

其中，f_down(·)表示将I_m采用双线性插值下采样到与W相同分辨率，W_p和W_n即为纹理背景区域特征向量和缺陷前景区域特征向量对应的权重集合。

优选地，特征对比损失的计算方式为：

将所述掩膜图像下采样到与所述编码特征相同的分辨率，并基于经下采样后的掩膜图像，从所述编码特征中划分纹理特征向量集合P_i、缺陷特征向量集合N_i；其中，将所述编码特征看作是一系列维度为

的特征向量在特征空间中的组合，其中，C_C表示所述编码特征的通道数；

计算所述纹理特征向量集合的算术平均中心，作为锚点特征向量i；

根据锚点特征向量i、纹理特征向量集合P_i、缺陷特征向量集合N_i以及所述先验权重信息，计算特征对比损失L_ctr，表达式为：

式中，b表示一次迭代训练所选取的样本数，W_p表示纹理背景区域特征向量对应的权重集合，即纹理背景区域特征向量对应的先验权重信息，W_n表示缺陷前景区域特征向量对应的权重集合，即缺陷前景区域特征向量对应的先验权重信息，τ为温度参数，用来控制计算得到的相关性矩阵的平滑程度，||·||₂表示L2范数。

关于特征对比损失的上述计算方式，说明如下：

公共编码模块接收数据增强模块生成的异常样本数据I_a作为输入，经过卷积编码得到特征Z_c，Z_c具体的也可称为隐空间特征嵌入：

Z_c＝f_{c_e}(I_a；θ_{c_e})；

其中，

W_c、H_c、C_c分别表示特征嵌入Z_c的宽度、高度和通道数，可作为优选地方案，除了与输入相连的基础编码卷积块以外，之后的特征在每经过一个基础编码卷积块后宽度和高度均会减半，而通道数均会以初始通道数C为基础翻倍，可作为优选地方案，C设置为16，故此处W_c、H_c、C_c的值分别为32、32、128。f_{c_e}(·)和θ_{c_e}分别表示公共编码模块的神经网络映射函数和相应的网络参数。

如图2所示，隐空间特征对比模块(LFCM)将公共编码模块生成的特征Z_c看作是一系列维度为

的特征向量在特征空间中的组合，这些特征向量在网络的初始训练阶段降维映射到二维平面上时是杂乱无章的。由于在OLED显示器件中，纹理表面缺陷样本所具备的独有特性：纹理区域具有周期性、规律性，而缺陷区域无规则且种类未知，故基于纹理编码特征类内应具备强相关性、相似性，与缺陷编码特征类间应具备弱相关性的假设，可将这些特征点分为两大类：正例特征p∈P_i(纹理特征向量集合)，负例特征n∈N_i(缺陷特征向量集合)，这里i＝1,...,b，b表示一次训练所选取的样本数，P_i集合和N_i集合同样分别由每张训练样本对应的下采样掩膜图像

确定：

在构建隐空间特征对比学习损失前还需要获得锚点特征i，由于每张训练样本中的纹理编码特征间应具备强相关性、相似性，故锚点特征向量i可通过计算纹理特征向量集合P_i的算术平均中心得到：

其中，|P_i|表示正例特征向量个数，

表示将每个正例特征向量在通道维度上求和。于是，隐空间特征对比损失L_ctr可通过下组式子计算得到：

其中，L_i表示单一样本的隐空间特征对比损失，τ为温度参数，用来控制计算得到的相关性矩阵的平滑程度，本实施例设置为0.1。通过隐空间特征对比分离模块在特征空间约束纹理特征聚类并远离异常特征，可以有效增强公共编码模块对异常样本中纹理区域和缺陷区域表达的差异性，促进后续两个解码分支模块分离出相应的目标图像。

进一步，关于对比分离模块的损失，还涉及缺陷分离损失项L_ano与纹理分离重建损失项L_rec。

在本实施例中，缺陷解码模块和纹理解码模块大体功能基本一致，均是从特征Z_c中解码出对应的目标图像：

其中I_{c_a}、I_{c_t}∈R^W×H×1分别表示解码分离出的缺陷前景图像和纹理背景图像，f_{c_da}(·)和θ_{c_da}分别表示缺陷解码模块的神经网络映射函数和相应的网络参数，f_{c_dt}(·)和θ_{c_dt}分别表示纹理解码模块的神经网络映射函数和相应的网络参数，

分别代表公共编码模块从靠近输入端开始，每个基础编码卷积块输出的特征。根据两个解码模块的输出，可以构建如下缺陷分离损失项L_ano与纹理分离重建损失项L_rec：

其中，I_l∈R^W×H×1与I_m相同，作为训练缺陷解码输出的标签，

表示数学期望，*表示矩阵点乘，||·||₁和||·||₂分别表示L1范数和L2范数。缺陷分离损失项L_ano采用逐像素交叉熵损失来进行像素级分类，纹理分离重建损失项L_rec采用均方差损失来约束纹理背景图像I_{c_t}尽可能接近对应的正常图像I_n。

优选地，融合分割模块包括第二编码器、特征融合模块和解码器，分别用于编码、特征融合和解码，其接收对比分离模块输出的纹理图像与对应的异常样本作为成对的输入，构建生成对抗模式，提高检测精度。其中，编码模块对输入的纹理图像和对应的异常样本参数共享，可作为优选地方案，通过三个基础编码卷积块将二者分别编码为特征

和

其中，

f_{s_e}(·)和θ_{s_e}分别表示该编码模块的神经网络映射函数和相应的网络参数。

特征融合模块用于将编码期间各个基础编码卷积块输出的多尺度特征融合并进一步压缩，从而综合聚集低维结构信息和高维语义信息。具体来讲，如图1中(c)所示，该模块主要包含3层步长为2的3×3卷积、3层步长为1的1×1卷积以及1个改进的空间-通道自注意力模块，3×3卷积核数量分别为32、64、128，1×1卷积核数量与之相同。从靠近输入端开始，每层特征依次经过一对1×1卷积和3×3卷积，然后与邻接的下一个特征按通道维度连接，如此重复三次，最后将融合输出的特征由改进的自注意力模块SCAM处理，生成信息更为丰富且紧凑的特征Z_st和Z_sa：

其中，Z_st、

W_s、H_s、C_s分别表示特征的宽度、高度和通道数，在实施例分别设置为32、32、128，f_ffm(·)和θ_ffm分别表示特征融合模块的网络映射函数和相应的网络参数，

分别代表编码模块从靠近输入端开始，每个基础编码卷积块输出的特征。

由于随着第二编码器的卷积次数的增加，其所提取的语义信息也会逐渐变得更丰富、更抽象，但各层次的特征信息侧重表达的纹理区域或缺陷区域的性质有所不同，深层次的特征会损失大量位置信息而携带更多的语义信息，与此相反，浅层次的特征位置信息损失少而具备更多描述局部结构的信息，故将多层次的特征进行融合并结合所述自注意力模块可以有效利用局部描述信息和全局结构信息，增强网络的综合表达能力。

优选地，本实施例在特征融合模块中通过引入自注意力机制促进网络有效地综合利用局部描述信息和全局结构信息。本实施例提出的改进的空间-通道注意力模块(SCAM)如图3所示，在原始的位置注意力模块(Position attention module，PAM)的基础上，改善了其通道位置信息共享的缺点。具体来讲，首先将输入原始特征Z∈R^H'×W'×C'经过两个独立的二维1×1卷积并分别改变维度得到特征矩阵Q、K∈R^H'W'×C'，再用Q的转置与K通过矩阵乘积得到在空间维度上任意两点特征之间的相关性强度矩阵M：

M＝Q^TK；

两个特征点之间相关性越强，则在矩阵M中其响应值越大。然后，对输入的原始特征进行平均池化，得到特征向量a∈R^1×1×C'，接着经过一次一维的3×3卷积得到原特征在通道维度上的权重向量a'∈R^1×1×C'，将权重向量经过Sigmoid激活后与原特征逐通道相乘：

Z'＝Sigmoid(a')·Z；

其中Z'∈R^H'×W'×C'，对Z'同样使用一个二维1×1卷积处理并改变维度后可得到特征矩阵V∈R^H'W'×C'。最后，将V与Softmax后的

进行矩阵相乘后与原特征加权融合得到最终结果

其中

表示经过Softmax后的相关性强度矩阵，γ为可学习加权系数，

代表经过改进的注意力模块处理后的特征结果。

优选地，融合分割模块中的解码模块结合融合压缩后的特征以及通过跳连结构复用的编码特征，通过多次反卷积上采样学习来完成高细粒度分割：

其中，I_{s_t}、I_{s_a}∈R^W×H分别表示对纹理背景图像和对应异常样本的分割结果图像，f_{s_d}(·)和θ_s__d分别表示该解码模块的神经网络映射函数和相应的网络参数。一方面，对于融合分割网络自身，需将纹理背景图像判别为异常标签，同时也要从异常样本中分割出缺陷区域，在这个过程中，由于纹理背景图像I_{c_t}和缺陷前景图像I_{c_a}是从同一异常样本中分离出来，二者之间存在一定的耦合关系，所以本实施例优选在设计分割损失时加入缺陷前景图像I_{c_a}指导的软标签损失，故整个融合分割模块的损失由如下三项组成：

其中，θ_{s_e}、θ_ffm、θ_{s_d}分别表示融合分割模块的编码器、特征融合模块和解码器的网络参数，I_l表示分割结果的标签图像，与I_m相同，

表示数学期望，*表示矩阵点乘，||·||₁表示L1范数，第一项为网络对异常样本分割的交叉熵损失，第二项和第三项分别为网络对纹理背景图像判别的硬标签损失和软标签损失，α₁、α₂、α₃表示损失权重，在本实施例中分别设置为1、0.5、0.5。另一方面，对于对比分离网络，融合分割网络需要将纹理背景图像I_{c_t}判别为正常标签，由此建立生成对抗损失L_adg：

故对比分离模块的整体损失可表示为：

L_csm(θ_{c_e},θ_{c_dt},θ_{c_da})＝β₁L_ctr+β₂L_ano+β₃L_rec+β₄L_adg；

其中，θ_{c_e}、θ_{c_dt}、θ_{c_da}分别表示对比分离模块的公共编码器、纹理解码模块和缺陷解码模块的网络参数，β₁、β₂、β₃、β₄表示各损失项的权重，在本实施例中分别设置为1、10、100、1，在训练阶段交替更新L_fsm和L_csm便可进行网络训练。

本实施例提出的基于先验信息引导特征对比的OLED新型显示器件表面缺陷检测算法在没有真实异常样本用于训练的情况下，可以实现对OLED新型显示器件表面上的不同大小、不同形状、不同对比度的缺陷均具有较高的检测精度。

实施例二

一种OLED新型显示器件表面缺陷检测方法，包括：

将OLED新型显示器件的待检测样本分别输入OLED新型显示器件表面缺陷检测模型中的对比分离模块和融合分割模块，对应得到缺陷检测图像，将两个缺陷检测图像以一定的权重融合，作为最终的缺陷区域检测结果；根据该最终的缺陷区域检测结果，判断OLED新型显示器件表面的缺陷情况；其中，所述OLED新型显示器件表面缺陷检测模型为根据如上所述的一种OLED新型显示器件表面缺陷检测模型的构建方法所构建得到。

网络模型训练完成后，便可用于进行缺陷检测。如图4所示，在网络测试阶段，只需将待测试样本分别I_a输入对比分离模块和融合分割模块，生成缺陷前景图像I_{c_a}和缺陷分割图像I_{c_a}，然后按照下式将二者融合，即可得到最终检测结果I_res：

I_res＝λI_{c_a}+(1-λ)I_{s_a}；

其中，I_res∈R^W×H×1为融合结果，0＜λ＜1，在本实施例中设置为0.5，表示对缺陷分离结果和融合分割结果赋予相同的信任权重。在本实施例中提出的方法在OLED新型显示器件表面缺陷检测效果如图5所示，其中第一列为原图，第二列为真值图像，第三列为最终融合检测效果图。

值得注意的是，本实施例虽然在训练阶段分离重建出纹理背景图像，但在实际OLED新型显示器件表面缺陷检测的应用中并不利用纹理背景图像与待测试图像之间的重建残差来进行缺陷检测，原因在于经过实验验证在不利用残差的情况下本发明即可取得最优的检测效果，这也是本发明提出的方法与目前大部分强依赖于重建残差的方法之间的重要差别之一。

相关技术方案同实施例一，在此不再赘述。

本发明所提出的一种基于先验信息引导特征对比的OLED新型显示器件表面缺陷检测算法，利用提出的数据增强模块在仅使用正常样本的情况下生成大量人工异常样本，克服真实工业场景下样本数据不平衡的难题；利用提出的对比分离模块可隐式地学习从异常样本中分离出纹理背景图像与缺陷前景图像的映射关系；采用提出的融合分割模块综合多尺度特征融合编码、构建生成对抗模式，提高对比分离模块的对比分离效果和融合分割模块的自身分割精度。进行缺陷检测时，只需将待测样本分别输入对比分离模块和融合分割模块，将对比分离模块分离出的缺陷前景图像与融合分割模块分割出的缺陷区域按一定权重融合，即可精确检测出缺陷，无需采用重建残差的方法。本发明了克服OLED新型显示器件表面缺陷形状不规则、大小不一，亮度不规则变化、低对比度、类型未知等特性及样本数据不均衡带来的检测困难，可有效提高检测精度和生产质量。

实施例三

一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序被处理器运行时控制所述存储介质所在设备执行如上实施例一所述的一种OLED新型显示器件表面缺陷检测模型的构建方法所构建得到和/或如上实施例二所述的一种OLED新型显示器件表面缺陷检测方法。

相关技术方案同实施例一和实施例二，在此不再赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种OLED新型显示器件表面缺陷检测模型的构建方法，其特征在于，检测模型分为对比分离模块和融合分割模块两部分，对比分离模块包括第一编码器、纹理解码模块和缺陷解码模块；执行以下步骤实现训练：

采用高斯随机采样，生成掩膜图像，并结合掩膜图像和正常样本生成异常样本；采用预训练网络，分别对每个正常样本及其对应的异常样本进行特征提取，以计算两者在每个通道维度上特征向量之间的差异度，基于所述掩膜图像得到每个异常样本中缺陷前景区域和纹理背景区域分别所对应的差异度集合，作为特征对比的先验权重信息；

采用第一编码器编码每个异常样本，得到编码特征，将编码特征输入到纹理解码模块和缺陷解码模块，对应得到纹理背景图像和缺陷前景图像，采用融合分割模块分别对纹理背景图像及其对应的异常样本进行编码、特征融合、解码，输出对应的缺陷分割结果；结合每个异常样本的所述先验权重信息，计算对应编码特征中缺陷前景和纹理背景之间的特征对比损失，引导对第一编码器的参数更新，以增强对异常样本中纹理背景和缺陷前景表达的差异性；分别根据解码得到的缺陷前景图像和纹理背景图像以及融合分割模块对该纹理背景图像的所述缺陷分割结果，对应计算缺陷分离损失和纹理分离重建损失以及对抗生成损失，引导对比分离模块的参数更新；根据融合分割模块对异常样本和纹理背景图像的缺陷分割结果，分别计算分割损失，引导对融合分割模块的参数更新；重复上述直至达到迭代终止条件，得到OLED新型显示器件表面缺陷检测模型。

2.根据权利要求1所述的OLED新型显示器件表面缺陷检测方法，其特征在于，所述异常样本的具体生成方式为：

利用二维高斯随机采样，得到概率分布图，通过阈值处理得到对应的掩膜图像；对正常样本进行随机变换处理，并结合所述概率分布图及其对应的所述掩膜图像，得到异常掩膜；利用随机变换处理后的正常样本以及所述异常掩膜和所述掩膜图像，得到人工异常样本；

其中，所述随机变换为从包括复制、上下翻转、左右翻转、顺时针旋转180°在内的四种基础变换中随机选取的一种变换映射函数。

3.根据权利要求2所述的OLED新型显示器件表面缺陷检测方法，其特征在于，所述异常掩膜具体采用以下方式得到：

式中，

表示异常掩膜，I_n为经过随机变换处理后的正常样本，f₁(·)表示从包括复制、上下翻转、左右翻转、顺时针旋转180°在内的四种基础变换中随机选取的一种变换映射函数；

表示所述概率分布图，I_m表示掩膜图像，δ∈[-1,1]表示控制生成缺陷区域的灰度强度；

所述异常样本具体采用以下方式得到：

式中，I_a表示为异常样本。

4.根据权利要求2所述的OLED新型显示器件表面缺陷检测方法，其特征在于，所述先验权重信息的构建方式具体为：

采用预训练网络，分别对所述随机变换处理后的正常样本和所述异常样本进行特征提取，对应得到特征Z_n和特征Z_a；

计算Z_n和Z_a中各相同高和宽坐标位置处所对应的通道维度特征向量之间的余弦相似度，得到异常分数图M_a；

对所述异常分数图M_a进行归一化处理，作为先验权重分布信息；

将所述掩膜图像下采样到与异常分数图M_a相同的分辨率，并基于经下采样后的掩膜图像，从所述先验权重分布信息中划分纹理背景区域特征向量、缺陷前景区域特征向量对应的权重集合，作为先验权重信息。

5.根据权利要求1所述的OLED新型显示器件表面缺陷检测方法，其特征在于，所述特征对比损失的计算方式为：

将所述掩膜图像下采样到与所述编码特征相同的分辨率，并基于经下采样后的掩膜图像，从所述编码特征中划分纹理特征向量集合P_i、缺陷特征向量集合N_i；其中，将所述编码特征看作是一系列维度为

的特征向量在特征空间中的组合，其中，C_C表示所述编码特征的通道数；

计算所述纹理特征向量集合的算术平均中心，作为锚点特征向量i；

根据锚点特征向量i、纹理特征向量集合P_i、缺陷特征向量集合N_i以及所述先验权重信息，计算特征对比损失L_ctr，表达式为：

式中，b表示一次迭代训练所选取的样本数，W_p表示纹理背景区域特征向量对应的权重集合，即纹理背景区域特征向量对应的先验权重信息，W_n表示缺陷前景区域特征向量对应的权重集合，即缺陷前景区域特征向量对应的先验权重信息，τ为温度参数，用来控制计算得到的相关性矩阵的平滑程度，||·||₂表示L2范数。

6.根据权利要求1所述的OLED新型显示器件表面缺陷检测方法，其特征在于，所述融合分割模块包括第二编码器、特征融合模块和解码器，分别用于编码、特征融合和解码；其中，所述特征融合模块包括n个由一个1×1卷积和一个3×3卷积所构成的卷积单元以及自注意力模块，其中，n的取值与所述第二编码器的卷积级数相同；所述第二编码器的第一级卷积输出作为对应的一个卷积单元的输入，之后第二编码器的每一级卷积输出与对应卷积单元的上一个卷积单元的输出按通道连接，并输入对应的卷积单元，最后一个卷积单元的输出连接到所述自注意力模块，以综合利用局部描述信息和全局结构信息。

7.根据权利要求6所述的OLED新型显示器件表面缺陷检测方法，其特征在于，所述自注意力模块为改进的自注意力模块，具体为：

对最后一个卷积单元的输出特征Z∈R^H'×W'×C'经过两个独立的二维1×1卷积并分别改变维度得到特征矩阵Q、K∈R^H'W'×C'，再用Q的转置与K通过矩阵乘积得到在空间维度上任意两点特征之间的相关性强度矩阵M：M＝Q^TK，两个特征点之间相关性越强，则在矩阵M中其响应值越大；

对特征Z∈R^H'×W'×C'进行平均池化，得到特征向量a∈R^1×1×C'，接着经过一次一维的3×3卷积得到特征Z∈R^H'×W'×C'在通道维度上的权重向量a'∈R^1×1×C'，将权重向量a'经过Sigmoid激活后与特征Z∈R^H'×W'×C逐通道相乘：Z'＝Sigmoid(a')·Z，其中Z'∈R^H'×W'×C'，对Z'同样使用一个二维1×1卷积处理并改变维度后可得到特征矩阵V∈R^H'W'×C'；

将V与Softmax后的

进行矩阵相乘后与原特征加权融合得到最终结果

其中，

表示经过Softmax后的相关性强度矩阵，γ为可学习加权系数，

表示经过改进的自注意力模块处理后的特征结果。

8.根据权利要求1所述的OLED新型显示器件表面缺陷检测方法，其特征在于，所述融合分割模块的分割损失由三项损失组成，第一项为融合分割模块对异常样本分割的交叉熵损失，第二项和第三项分别为融合分割模块对纹理背景图像判别的硬标签损失和软标签损失，其中将掩膜图像作为硬标签，将所述缺陷解码模块输出的所述缺陷前景图像作为软标签，表示如下：

式中，L_fsm表示所述融合分割损失，θ_{s_e}、θ_ffm、θ_{s_d}分别表示融合分割模块的第二编码器、特征融合模块和解码器的网络参数，α₁、α₂、α₃表示损失权重，

表示数学期望，I_a表示异常样本，I_{c_t}表示所述纹理解码模块输出的所述纹理背景图像，I_l表示分割结果的标签图像，与I_m相同，I_{c_a}表示所述缺陷解码模块输出的所述缺陷前景图像，I_{s_a}表示融合分割模块对异常样本的缺陷分割结果，I_{s_t}表示融合分割模块对纹理背景图像的缺陷分割结果，||·||₁表示L1范数。

9.一种OLED新型显示器件表面缺陷检测方法，其特征在于，包括：

将OLED新型显示器件的待检测样本分别输入OLED新型显示器件表面缺陷检测模型中的对比分离模块和融合分割模块，对应得到缺陷检测图像，将两个缺陷检测图像以一定的权重融合，作为最终的缺陷区域检测结果；根据该最终的缺陷区域检测结果，判断OLED新型显示器件表面的缺陷情况；其中，所述OLED新型显示器件表面缺陷检测模型为根据如权利要求1至8任一项所述的一种OLED新型显示器件表面缺陷检测模型的构建方法所构建得到。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至8任一项所述的一种OLED新型显示器件表面缺陷检测模型的构建方法所构建得到和/或如权利要求9所述的一种OLED新型显示器件表面缺陷检测方法。

Images