CN113870230B - 一种基于混合监督学习的表面异常检测方法 - Google Patents

Abstract

本发明具体公开了一种基于混合监督学习的表面异常检测方法。所述方法包括以下步骤：首先获取表面正常的正常样本以及表面异常的异常样本并进行预处理；并构建包括异常定位网络、自注意力网络和异常判别网络的神经网络模型，然后将预处理数据输入神经网络模型中进行训练以获取异常检测神经网络模型；最后将待测图像数据输入异常检测神经网络模型中，进而能够自动判别待测图像是否存在异常以及对异常区域进行定位。本发明中只需要对少量异常样本进行粗糙标注，无需提供大量精细标注的缺陷样本作为训练样本，减轻了全监督学习的高精度标注需求，大大降低了标注成本，提高了检测效率，能够准确高效完成工业表面检测任务。

Description

一种基于混合监督学习的表面异常检测方法

技术领域

本发明涉及深度学习与工业检测技术领域，尤其涉及一种基于混合监督学习的表面异常检测方法。

背景技术

异常检测是指能够在一组同质自然图像中检测出异质或意外模式的检测，目前异常检测有了大量的应用，其中就包括视觉工业检查。产品及其表面的质量检测是工业生产中的一个重要环节，质量检测方法包括传统质量检测方法与基于深度学习的质量检测方法两大类，传统的机器视觉的方法已被广泛应用于自动化视觉检测过程，随着工业自动化进程的不断推进，新的基于深度学习的检测方法也已经开始被使用，传统的机器学习模型依赖人工分析与提取缺陷特征获得的特定视觉检测任务，然后使用基于规则的先验知识或基于学习的分类器作出决策，如支持向量机，神经网络与决策数等，在这种方法中系统性能严重依赖于特定特征类型的准确表示，因此这种方法非常低效，主观且耗时；与传统机器学习方法不同，深度学习模型由于可以自动从低级数据中学习特征，对复杂特征建模能力强，且无需人工干预，因此深度学习模型更适合于异常检测任务，然而深度学习算法的成功很大程度上取决于用于训练有效的深层网络的标记图像，由于异常样本在工业生产线上非常罕见，且像素级标注成本较高导致训练数据缺乏，会严重影响模型的检测性能，因此通过减少所需的标注量和降低预期的标签精度来最小化标注工作，同时提升检测效率与检测精度对提高工业产品经济效益具有重要意义。

发明内容

本发明的目的是克服现有技术中的缺点和不足，本发明提出一种基于混合监督学习的表面异常检测方法，该方法由异常定位网络、自注意力网络与异常判别网络三部分组成，在标签数量极少的条件下对异常进行精准检测与定位，准确高效完成工业表面检测任务。本发明只需要对少量异常样本进行粗糙标注，无需提供大量精细标注的缺陷样本作为训练样本，减轻了全监督学习的高精度标注需求，大大降低了标注成本，提高了检测效率。

为了解决上述技术问题，本发明提供了一种基于混合监督学习的表面异常检测方法，所述方法包括以下步骤：

S1、获取包含异常样本和正常样本的图像数据并构建对应的数据集，其中，异常样本记为正样本，正常样本记为负样本；

S2、将数据集中的所有图像数据裁剪为统一尺寸并按比例分为训练集和测试集，然后通过标注工具对所有负样本以及训练集中少量的正样本和测试集中的所有正样本进行像素级标注，得到包含部分正样本和所有负样本的标注后的像素级标签；

S3、将标注后的像素级标签的像素值进行归一化处理，并对归一化处理后的像素级标签进行八倍下采样，得到八倍下采样后的标签y_mask；然后利用膨胀函数对正样本中标注后的像素级标签进行L倍膨胀以获取粗糙的像素级标签，对粗糙的像素级标签应用距离变换算法进行处理得到加权分割损失矩阵，最后对所得到的加权分割损失矩阵进行八倍下采样，从而得到八倍下采样的加权分割损失矩阵；

S4、构建包括异常定位网络、自注意力网络和异常判别网络的神经网络模型，并将步骤 S2中得到的训练集中的图像数据及其对应的像素级标签和步骤S3中得到的八倍下采样的加权分割损失矩阵输入所构建的神经网络模型中进行训练，得到异常检测神经网络模型；

S5、将采集到的待测图像数据输入所得到的异常检测神经网络模型中，通过异常检测神经网络模型自动判别待测图像是否存在异常并对异常区域进行定位，进而实现待测物体表面的异常检测。

优选地，所述步骤S2的具体实现方式为：首先，将数据集中获取的所有图像数据均裁剪为统一尺寸W×H，W表示图像数据的宽度，H表示图像数据的高度，并将数据集中的正样本和负样本按7:3的比例分为训练集和测试集；然后，通过标注工具labelme对训练集中少量的正样本和测试集中的所有正样本进行像素级标注，即可获得包含像素级标签的输入数据y与不含像素级标签的输入数据x，其中，缺陷区域像素值标记为255，背景区域像素值标记为0。

优选地，所述步骤S3中八倍下采样的操作具体为：首先使用OpenCV中的ReflectionPad2d函数进行八倍镜像填充，然后进行步长为8，感受野为17×17的平均池化，得到八倍下采样结果。

优选地，所述步骤S3的具体实现方式包括：

S31、将所有标注后的像素级标签数据的像素值进行归一化处理，像素值为255的像素点归一化后像素值为1，像素值为0的像素点归一化后像素值为0；

S32、对像素值归一化后的像素值标签进行八倍下采样，得到八倍下采样后的像素级标签数据y_mask；

S33、利用膨胀函数对正样本中标注后的像素级标签进行k倍膨胀以获取粗糙的像素级标签y′_mask；

S34、对粗糙的像素级标签y′_mask应用距离变换算法进行处理得到加权分割损失矩阵，并对加权分割损失矩阵进行八倍下采样，从而得到八倍下采样后的加权分割损失矩阵y_{mask_loss}。

优选地，所述步骤S33的具体操作为：基于opencv中的dilate函数，首先，将该函数的感受野大小设置为L×L，感受野的锚点设置在感受野的中央位置；然后，通过该感受野对正样本中标注后的像素级标签图像进行扫描并计算叠加区域的最大像素值；最后，将该感受野锚点的位置用所计算出的最大像素值替代，进而得到膨胀后的粗糙的像素级标签y′_mask。

优选地，所述步骤S34中对粗糙的像素级标签应用距离变换算法进行处理是指计算每个正像素点与最近的负像素点之间的距离，进而加权每个像素点在正样本像素级标签中的正像素区域的影响，将相对距离值转换为损失的权重，即：

当检测到的像素点的像素值为1时，则该像素点损失的权重用公式表示为：

式(1)中，L_seg(pix)_i表示通过二元交叉熵损失计算得到的第i个正像素点损失的权重值， L(pix)_i表示通过二元交叉熵损失计算得到的第i个正像素点的损失，Ω()为缩放函数， D(pix)_i表示第i个正像素点到最近的负像素点的距离，D(pix_max)表示所有正像素点到最近负像素点的距离的最大值，其中，Ω(a)＝w_pos·a^p，w_pos与p表示超参数，p表示随着像素点不断远离中心时该像素点重要性降低的速率，w_pos表示所有正像素点的附加标量权值，正像素点是指正样本像素级标签中非0像素值的像素点，负像素点是指像素值为0的像素点；

当检测到的像素点的像素值为0时，则令该像素点损失的权重值为1。

优选地，所述步骤S4中的神经网络模型中的异常定位网络用于定位输入图像数据中的缺陷位置，自注意力网络用于增强特征图的表达能力以提高网络缺陷定位精度，其包括用于通道特征提取的通道自注意力网络和用于空间特征提取的空间自注意力网络，异常判别网络用于判断输入图片是否存在异常并输出判别结果。

优选地，所述步骤S4中异常检测神经网络模型的训练包括：

S41、将训练集中的图像数据输入具有五个特征提取阶段的异常定位网络中进行特征提取，其中，第i个特征提取阶段输出的特征图尺寸定义为A_j，每个特征图的尺寸记为C_j×W_j×H_j，j＝1,2,3,4,5，C_j表示第j个特征提取阶段输出特征图的通道数，W_j和H_j分别表示第j个特征提取阶段输出特征图的宽和高，第五特征提取阶段的输出A₅即异常定位网络的输出；

S42、在异常定位网络特征提取的第三个特征提取阶段中引入自注意力网络，将异常定位网络第二个特征提取阶段的输出特征图分为三路特征，第一路特征使用通道注意力网络进行通道特征提取，第二路特征不进行处理，第三路特征使用空间注意力网络进行空间特征提取，并将三路特征进行逐元素相乘后作为自注意力网络的输出A₂′，同时将异常定位网络第三个特征提取阶段进行卷积操作后的特征图与自注意力网络输出的特征图A₂′进行逐元素相加，然后进行池化操作后并作为第四个特征提取阶段的输入；

S43、将异常定位网络第四个特征提取阶段的输出A₄和第五个特征提取阶段的输出A₅联合输入异常判别网络中进行异常判别；

S44、设计损失函数，根据损失函数反向传播对神经网络参数进行调整，进而获取最优网络参数，得到最优的神经网络模型。

优选地，所述步骤S43的具体实现方式包括：首先，将异常定位网络第四个特征提取阶段的输出A₄和第五个特征提取阶段的输出A₅进行concat后输入异常判别网络中进行三个阶段的卷积和池化处理；然后将卷积和池化处理后的输出与异常定位网络第五个特征提取阶段的输出A₅分别进行全局平均池化和全局最大池化；最后，将全局池化后输出的四个特征图进行concat，然后输入全连接层进行异常判别并输出判别结果。

优选地，所述步骤S44中损失函数用公式表示为：

L_total＝λ·L_seg+δ·(1-λ)·L_dec (2)

式(2)中，L_total表示损失函数，L_seg表示异常定位网络的总分割损失，L_dec表示异常判别网络的总分类损失，λ表示动态平衡因子，用于平衡异常定位网络和异常判别网络在总损失中的占比，δ表示额外的分类损失权重。

与现有技术比较，本发明提供的基于混合监督学习的表面异常检测方法中的异常检测神经网络模型由异常定位网络、自注意力网络与异常判别网络三部分组成，只需要对少量异常样本进行粗糙标注，无需提供大量精细标注的缺陷样本作为训练样本，减轻了全监督学习的高精度标注需求，大大降低了标注成本，提高了检测效率，能够准确高效完成工业表面检测任务。

附图说明

图1为本发明中一种基于混合监督学习的表面异常检测方法流程图；

图2为本发明中获取的缺陷数据及膨胀加权下采样处理后的缺陷标签；

图3为本发明中异常定位网络结构图；

图4为本发明中异常判别网络结构图；

图5为本发明中神经网络模型前向推断过程；

图6为本发明中异常检测神经网络模型检测结果示意图；

图7为本发明中异常检测神经网络模型输出的检测曲线。

具体实施方式

为了使本技术领域的人员更好地理解本公开的技术方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。

参照图1-图7 所示，本发明提供了一种基于混合监督学习的表面异常检测方法，所述方法包括以下步骤：

S1、获取包含异常样本和正常样本的图像数据并构建对应的数据集，其中，异常样本记为正样本，正常样本记为负样本；

S2、将数据集中的所有图像数据裁剪为统一尺寸并按比例分为训练集和测试集，然后通过标注工具对所有负样本以及训练集中少量的正样本和测试集中的所有正样本进行像素级标注，得到包含部分正样本和所有负样本的标注后的像素级标签；

S3、将标注后的像素级标签的像素值进行归一化处理，并对归一化处理后的像素级标签进行八倍下采样，得到八倍下采样后的标签y_mask；然后利用膨胀函数对正样本中标注后的像素级标签进行L倍膨胀以获取粗糙的像素级标签，对粗糙的像素级标签应用距离变换算法进行处理得到加权分割损失矩阵，最后对所得到的加权分割损失矩阵进行八倍下采样，从而得到八倍下采样后的加权分割损失矩阵；

S4、构建包括异常定位网络、自注意力网络和异常判别网络的神经网络模型，并将步骤 S2中得到的训练集中的图像数据及其对应的像素级标签和步骤S3中得到的八倍下采样的加权分割损失矩阵输入所构建的神经网络模型中进行训练，得到异常检测神经网络模型；

S5、将采集到的待测图像数据输入异常检测神经网络模型中，通过异常检测神经网络模型自动判别待测图像是否存在异常并对异常区域进行定位，进而实现待测物体表面的异常检测。

本实施例中，以钢轨表面异常检测为例，首先获取钢轨表面正常的正常样本以及钢轨表面异常的异常样本并进行预处理；然后构建包括异常定位网络、自注意力网络和异常判别网络的神经网络模型，并将预处理图像数据输入神经网络模型中进行训练以获取异常检测神经网络模型；最后将待测钢轨图像数据输入异常检测神经网络模型中，进而自动判别待测图像是否存在异常并对异常区域进行定位，只需要对少量异常样本进行粗糙标注，无需提供大量精细标注的缺陷样本作为训练样本，减轻了全监督学习的高精度标注需求，大大降低了标注成本，提高了检测效率，能够准确高效完成工业表面检测任务。

其中，对所述数据集中图像数据进行像素级标注的具体实现方式为：首先，将数据集中获取的所有图像数据均裁剪为统一尺寸W×H，W表示图像数据的宽度，H表示图像数据的高度，并将数据集中的正样本和负样本按7:3的比例分为训练集和测试集；然后，通过标注工具labelme(是麻省理工的计算机科学和人工智能实验室研发的图像标注工具，可以使用该工具创建定制化标注任务或执行图像标注)对所有负样本以及训练集中少量的正样本和测试集中的所有正样本进行像素级标注，即可获得包含像素级标签的输入数据y与不含像素级标签的输入数据x，其中，包含像素级标签的输入数据y表示部分训练集中的图像数据和所有测试集中的图像数据，不含像素级标签的输入数据x表示训练集中没有标注的另一部分图像数据，缺陷区域像素值标记为255，背景区域像素值标记为0。

本实施例中，所有钢轨图像数据包括尺寸不一的正样本410张和负样本962张，钢轨图像数据裁剪后的统一尺寸W×H为320×512，正样本和负样本按7:3的比例分为训练集和测试集，训练集包括288张正样本和674张负样本，测试集数据包括122张正样本和288张负样本，通过标注工具labelme对所有负样本以及训练集中随机31张正样本和测试集中所有正样本进行像素级标注，将缺陷区域像素值标记为255，背景区域像素值标记为0，进而得到包含获得像素级标签的输入数据y和不含像素级标签的输入数据x，其中负样本的像素级标签尺寸为320×512，像素值均标记为0。

如图2、图6所示，对标注后的像素级标签进行处理的具体实现方式包括：

S31、将所有标注后的像素级标签数据的像素值进行归一化处理，像素值为255的像素点归一化后像素值为1，像素值为0的像素点归一化后像素值为0；

S32、对像素值归一化后的像素值标签进行八倍下采样，得到八倍下采样后的像素级标签数据y_mask；

S33、利用膨胀函数对正样本中标注后的像素级标签进行L(L＝1，3，5，7)倍膨胀以获取粗糙的像素级标签y′_mask，其具体操作为：基于opencv中的dilate函数(一种用特定结构元素对输入图像进行膨胀操作的函数)，首先，将该函数的感受野大小设置为L×L，感受野的锚点设置在感受野的中央位置；然后，通过该感受野对八倍下采样后的正样本像素级标签图像进行扫描并计算叠加区域(即感受野与特征图叠加的区域，也就是感受野滑动窗口的区域，本实施例中，该窗口大小为L×L)的最大像素值；最后，将该感受野锚点的位置用所计算出的最大像素值替代，进而得到膨胀后的粗糙的像素级标签y′_mask；

S34、对粗糙的像素级标签y′_mask应用距离变换算法进行处理得到加权分割损失矩阵，并对加权分割损失矩阵进行八倍下采样，从而得到八倍下采样后的加权分割损失矩阵，由于粗糙的像素级标签的缺陷边缘真实像素值是不准确的，进而不能准确判断边缘处缺陷是否存在，因此需要对粗糙的像素级标签的缺陷区域中心关注更多，以减轻在缺陷边缘产生错误的概率，即将距离变换算法应用于粗糙的像素级标签计算相应的加权分割损失矩阵以实现对缺陷区域中心更多的关注，其具体操作为：计算每个正像素点与最近的负像素点之间的距离，加权每个像素点在正样本像素级标签中的正像素区域的影响，将相对距离值转换为损失的权重，通过应用距离变换算法后，所有正像素点的损失权重介于0到1之间，所有负像素点的损失权重均为1，即：

当检测到的像素点的像素值为1(即该像素点为正像素点)时，则该像素点的损失权重用公式表示为：

式(1)中，L_seg(pix)_i表示通过二元交叉熵损失计算得到的第i个正像素点的损失的权重值，L(pix)_i表示通过二元交叉熵损失计算得到的第i个正像素点的损失，Ω()为缩放函数， D(pix)_i表示第i个正像素点到最近的负像素点的距离，D(pix_max)表示所有正像素点到最近负像素点的距离的最大值，其中，Ω(a)＝w_pos·a^p，w_pos与p表示超参数，p表示随着像素点不断远离中心时该像素点重要性降低的速率，w_pos表示所有正像素点的附加标量权值，正像素点是指正样本像素级标签中非0像素值的像素点，负像素点是指像素值为0的像素点；

当检测到的像素点的像素值为0(即该像素点为负像素点)时，则令该像素点损失的权重值为1，从图2中可以看出，由于负样本像素级标签指的是正常图片(不存在异常或缺陷)，其像素级标签是纯黑的图，但是正样本标签缺陷区域的像素值不为0，非0像素值不是纯黑的，会有黑色部分和白色部分，其中白色部分就是缺陷位置。由此可知，通过对粗糙的像素级标签应用距离变换算法后，会得到一个值在0-1范围内的矩阵，然后将这个矩阵与膨胀后的正样本中标注后的像素级标签对应位置的像素点相乘，使膨胀后越靠近非零像素点中心位置的像素点与更接近1的值相乘，越靠近0像素点的像素值与接近0的值相乘，从而加大了中心处的影响。由于，加权分割损失的白色阴影表示具有更大权重的像素，从图2可以看出下采样后的加权分割损失矩阵中，背景区域为白色表示背景区域每个像素点损失权重为1，同时观察缺陷区域，可以看到越靠近缺陷中心的像素点，其损失权重值越接近1，越靠近缺陷边缘的像素点，其损失权重越接近0。

本实施例中，对归一化处理后的像素级标签以及对加权分割损失矩阵进行八倍下采样的操作具体为：首先使用OpenCV(一个跨平台计算机视觉和机器学习软件库)中的ReflectionPad2d函数(一种利用输入边界的反射来填充输入张量的函数)进行八倍镜像填充，然后进行步长为8和感受野为17的平均池化，最后对归一化处理后的像素级标签或对加权分割损失矩阵进行八倍采样。

所述ReflectionPad2d函数的输入尺寸为[N,C,H_in,W_in]，输出尺寸为[N,C,H_out,W_out]，其中N表示设置的batch size(批次，即一次输入网络中进行训练的样本数目)，C表示通道维度，H_in表示输入的高，W_in表示输入的宽，H_out表示输出的高，W_out表示输出的宽，则八倍下采样用公式表示为；

H_out＝H_in+paddingTop+paddingBottom (3)

W_out＝W_in+paddingLeft+paddingRight (4)

式(3)和(4)中，(paddingLeft,paddingRight,paddingTop,paddingBottom)表示手动设置的padding因子，本实施例中，padding因子为(8,8,8,8)。

如图3、图4、图5和图7所示，所述神经网络模型中的异常定位网络用于定位输入图像数据和标签数据中的缺陷位置，自注意力网络用于增强特征图的表达能力以提高网络缺陷定位精度，其包括用于通道特征提取的通道自注意力网络和用于空间特征提取的空间自注意力网络，异常判别网络用于判断输入图片是否存在异常并输出判别结果。

本实施例中，所述异常定位网络共包含五个特征提取阶段，在第三个特征提取阶段融入自注意力网络，异常判别网络的输入为特征提取的第四个特征提取阶段和第五个特征提取阶段的输出，将特征提取的第四个特征提取阶段和第五个特征提取阶段的输出进行concat和三个阶段的卷积和池化后并与特征提取的第五个特征提取阶段输出分别进行全局池化，并将全局池化后的特征图合并后输入全连接层进行异常判别并输出判别结果。

本实施例中，通过将训练集中的样本数据及其对应的像素级标签和八倍下采样的加权分割损失矩阵输入构建的神经网络模型中进行多次训练以获取最优模型参数，进而得到异常检测神经网络模型，所述异常检测神经网络模型的训练步骤具体包括：

S41、将训练集中的图像数据输入具有五个特征提取阶段的异常定位网络中进行特征提取，其中，第j个特征提取阶段输出的特征图尺寸定义为A_j，每个特征图的尺寸记为C_j×W_j×H_j，j＝1,2,3,4,5，C_j表示第j个特征提取阶段输出特征图的通道数，W_j和H_j分别表示第j个特征提取阶段输出特征图的宽和高，第五个特征提取阶段的输出A₅即异常定位网络的输出，具体包括：

S411、第一个特征提取阶段包括两个卷积层(Conv)与一个最大池化层(MaxPooling)，第一个特征提取阶段的输入为C_in通道，尺寸为W_in×H_in的特征图，第一个特征提取阶段的输出为C₁通道，尺寸为W₁×H₁的特征图，C_in＝3，W_in×H_in＝320×512，C₁＝32，W₁×H₁＝160×256，其中，每个卷积层使用32个感受野为3×3的卷积核对输入进行处理，第一个卷积层的输入为第一个特征提取阶段的输入，第二个卷积层的输入为第一个卷积层的输出，两个卷积层的输出均为32通道，尺寸为320×512的特征图，然后使用感受野为2×2的最大池化层对第二个卷积层的输出特征图进行处理，得到32通道，尺寸为160×256的特征图，即第一个特征提取阶段的输出；

S412、第二个特征提取阶段包括三个卷积层(Conv)与一个最大池化层(MaxPooling)，第二个特征提取阶段的输入为第一个特征提取阶段的输出，第二个特征提取阶段的输出为 C₂通道，尺寸为W₂×H₂的特征图，C₂＝64，W₂×H₂＝80×128，其中，该阶段每个卷积层均使用64个感受野为5×5的卷积核对输入进行处理，该阶段的第一个卷积层的输入为第一个特征提取阶段的输出，该阶段第二个卷积层的输入为该阶段第一个卷积层的输出，该阶段第三个卷积层的输入为该阶段第二个卷积层的输出，该阶段三个卷积层的输出均为64通道，尺寸为160×256的特征图，然后使用感受野为2×2的最大池化层对该阶段第三个卷积层的输出特征图进行处理，得到64通道，尺寸为80×128的特征图，即特征提取第二个特征提取阶段的输出；

S413、第三个特征提取阶段包括四个卷积层(Conv)与一个最大池化层(MaxPooling)，第三个特征提取阶段的输入为第二个特征提取阶段的输出与自注意力网络的输出，第三个特征提取阶段的输出为C₃通道，尺寸为W₃×H₃的特征图，C₃＝64，W₃×H₃＝40×64，其中，该阶段中每个卷积层均使用64个感受野为7×7的卷积核对输入进行处理，该阶段第一个卷积层的输入为第二阶段的输出，该阶段第二个卷积层的输入为该阶段第一个卷积层的输出，该阶段第三个卷积层的输入为该阶段第二个卷积层的输出，该阶段第四个卷积层的输入为该阶段第三个卷积层的输出，该阶段四个卷积层的输出均为64通道，尺寸为80×128的特征图，然后将该特征图与自注意力网络输出的特征图进行逐元素相加，得到64通道，尺寸为80×128 的特征图，有效增强特征图的表达能力，再使用感受野为2×2的最大池化层对相加后的特征图进行处理，得到64通道，尺寸为40×64的特征图，即特征提取第三个特征提取阶段的输出；

S414、第四个特征提取阶段包含一个卷积层(Conv)，第四个特征提取阶段的输入为第三个特征提取阶段的输出，第四个特征提取阶段的输出为C₄通道，尺寸为W₄×H₄的特征图， C₄＝1024，W₄×H₄＝40×64，该阶段卷积层使用1024个感受野为15×15的卷积核对输入进行处理，该阶段卷积层的输入为第三个特征提取阶段的输出，该阶段卷积层的输出为1024通道，尺寸为40×64的特征图，即特征提取第四个特征提取阶段的输出；

S415、第五个特征提取阶段包含一个卷积层(Conv)，第五个特征提取阶段的输入为第四个特征提取阶段的输出，第五个特征提取阶段的输出为C₅通道，尺寸为W₅×H₅的特征图， C₅＝1，W₅×H₅＝40×64，该阶段卷积层使用1个感受野为1×1的卷积核对输入进行处理，该阶段卷积层的输入为第四个特征提取阶段的输出，该阶段卷积层的输出为1通道，尺寸为 40×64的特征图，即特征提取第五个特征提取阶段的输出，该输出特征图即为分割特征图 F_{out_seg}；其中，本实施例中，所述加权分割损失矩阵是用于计算对应损失的，而标签后的像素级标签数据是为了让网络进行对比检测，均不需要提取特征，只需要对输入的样本图像进行特征提取即可；

S42、在异常定位网络的第三个特征提取阶段中引入自注意力网络，将异常定位网络第二个特征提取阶段的输出特征图分为三路特征，第一路特征使用通道注意力网络进行通道特征提取，第二路特征不进行处理，第三路特征使用空间注意力网络进行空间特征提取，并将三路特征进行逐元素相乘后作为自注意力网络的输出A₂′，同时将异常定位网络第三个特征提取阶段进行卷积操作后的特征图与自注意力网络输出的特征图A₂′进行逐元素相加，然后进行池化操作后并作为第四个特征提取阶段的输入，具体为：

S421、将异常定位网络第二个特征提取阶段输出的尺寸为C₂×W₂×H₂的特征图A₂输入通道注意力网络，C₂＝64，W₂×H₂＝80×128，并将输入特征图A₂分为三路进行通道特征提取，所述通道注意力网络包括：

S4211、第一路使用32个感受野为1×1的卷积核对输入特征图A₂进行处理，将特征图A₂尺寸变换为C₂/2×W₂×H₂，C₂/2×W₂×H₂＝32×80×128，然后再进行reshape操作(表示在元素个数不变的情况下降特征图的矩阵进行变换操作)，进而输出尺寸为C₂/2×W₂H₂，C₂/2×W₂H₂＝32×10240的特征图；

S4212、第二路使用1个尺寸为1×1的卷积对输入特征图A₂进行处理，将特征图A₂尺寸变换为1×W₂×H₂，1×W₂×H₂＝1×80×128，然后再进行reshape操作，进而输出尺寸为W₂H₂×1×1，W₂H₂×1×1＝10240×1×1的特征图，再使用softmax函数(表示一种激活函数)进行处理；

S4213、第三路对输入特征图A₂不进行任何处理；

S4214、将步骤S4211得到的特征图和步骤S4212得到的输出特征图进行矩阵乘法，得到尺寸为C₂/2×1×1的特征图，C₂/2×1×1＝32×1×1，然后使用64个感受野为1×1的卷积核对得到尺寸为C₂/2×1×1的特征图进行处理，进而将特征图尺寸变换为C₂×1×1， C₂×1×1＝64×1×1，再使用sigmoid函数(表示另一种激活函数)进行处理；

S4215、将步骤S4213中输出的特征图与步骤S4214输出的特征图按通道维度相乘，即进行W₂×H₂次乘法操作，W₂×H₂＝10240，进而输出尺寸为C₂×W₂×H₂， C₂×W₂×H₂＝64×80×128的特征图；

S422、将异常定位网络第二个特征提取阶段输出的尺寸为C₂×W₂×H₂的特征图A₂输入空间注意力网络，C₂×W₂×H₂＝64×80×128，并将输入特征图A₂分为三路进行空间特征提取，所述空间注意力网络为；

S4221、第一路使用32个感受野为1×1的卷积核对输入特征图A₂进行处理，将特征图A₂尺寸变换为C₂/2×W₂×H₂，C₂/2×W₂×H₂＝32×80×128，然后进行reshape操作，进而输出尺寸为C₂/2×W₂H₂，C₂/2×W₂H₂＝32×10240的特征图；

S4222、第二路使用32个感受野为1×1的卷积核对输入特征图A₂进行处理，将特征图A₂尺寸变换为C₂/2×W₂×H₂，C₂/2×W₂×H₂＝32×80×128，然后进行全局池化，进而得到尺寸为C₂/2×1×1，C₂/2×1×1＝32×1×1的特征图，然后再进行reshape操作，特征图尺寸变换为 1×C₂/2，1×C₂/2＝1×32，最后使用softmax函数进行处理；

S4223、第三路对输入特征图A₂不进行任何处理；

S4224、将步骤S4221输出的特征图与步骤S4222输出的特征图进行矩阵乘法，得到尺寸为1×W₂H₂的特征图，即1×W₂H₂＝1×10240，然后进行reshape操作，进而得到尺寸为 1×W₂×H₂，1×W₂×H₂＝1×80×128的特征图，再使用sigmoid函数进行处理；

S4225、将步骤S4223输出的特征图与步骤S4224输出的特征图按空间维度相乘，即进行C₂次乘法操作，其中C₂＝64，进而输出尺寸为C₂×W₂×H₂，C₂×W₂×H₂＝64×80×128的特征图；

S423、将步骤S421和步骤S422输出的特征图与输入特征图A₂进行逐元素相乘，进而得到自注意力网络的输出A₂′，尺寸为C₂×W₂×H₂，C₂×W₂×H₂＝64×80×128；

S43、将异常定位网络第四个特征提取阶段的输出A₄和第五个特征提取阶段的输出A₅联合输入异常判别网络中进行异常判别，具体为：首先，将异常定位网络第四个特征提取阶段的输出进行concat(按通道维度进行合并，如：尺寸为5×5×2的特征图与尺寸为5×5×16 的特征图经过concat后得到尺寸为5×5×18的特征图)后输入异常判别网络中进行三个阶段的卷积和池化处理(即异常判别网络包括第一卷积和池化阶段、第二卷积和池化阶段以及第三卷积和池化阶段)；然后将卷积和池化处理后的输出与异常定位网络第五个特征提取阶段的输出分别进行全局平均池化和全局最大池化；最后，将全局池化后输出的四个特征图(即全局平均池化后的两个特征图和全局最大池化后的两个特征图)进行concat，然后输入全连接层进行异常判别并输出判别结果，具体为：

S431、将异常定位网络第四个特征提取阶段输出特征图(尺寸为C₄×W₄×H₄， C₄×W₄×H₄＝1024×40×64)与第五个特征提取阶段的输出特征图(尺寸为C₅×W₅×H₅， C₅×W₅×H₅＝1×40×64)进行concat，进而输出尺寸为C₆×W₆×H₆的特征图， C₆×W₆×H₆＝1025×40×64；

S432、将步骤S431输出的特征图输入异常判别网络的第一卷积和池化阶段进而输出C_b1通道，尺寸为W_b1×H_b1的特征图，C_b1＝8，W_b1×H_b1＝20×32，其中，异常判别网络第一卷积和池化阶段包含一个池化层与一个卷积层，首先对该阶段的输入进行感受野为2×2的最大池化，得到1025通道，尺寸为20×32的特征图，然后使用8个感受野为3×3的卷积核对第一卷积和池化阶段池化后的特征图进行处理，得到8通道，尺寸为20×32的特征图，即异常判别网络第一卷积和池化阶段的输出；

S433、将异常判别网络第一卷积和池化阶段的输出特征图输入异常判别网络的第二卷积和池化阶段进而输出C_b2通道，尺寸为W_b2×H_b2的特征图，C_b2＝16，W_b2×H_b2＝10×16，其中，异常判别网络第二卷积和池化阶段包含一个池化层与一个卷积层，首先对该阶段的输入进行感受野为2×2的最大池化，得到8通道，尺寸为10×16的特征图，然后使用16个感受野为5×5的卷积核对池化后的特征图进行处理，得到16通道，尺寸为10×16的特征图，即异常判别网络第二卷积和池化阶段的输出；

S434、将异常判别网络第二卷积和池化阶段的输出特征图输入异常判别网络的第三卷积和池化阶段，进而输出C_b3通道，尺寸为W_b3×H_b3的特征图，C_b3＝32，W_b3×H_b3＝5×8，其中异常判别网络第三卷积和池化阶段包含一个池化层与一个卷积层，首先对该阶段的输入进行感受野为2×2的最大池化，得到16通道，尺寸为5×8的特征图，然后使用32个感受野为7×7的卷积核对池化后的特征图进行处理，得到32通道，尺寸为5×8的特征图，即异常判别网络第三卷积和池化阶段的输出；

S435、将异常判别网络第三卷积和池化阶段的输出分别输入全局平均池化与全局池化层，进而得到两个32通道，尺寸为1×1的特征图，同时将异常定位网络第五个特征提取阶段的输出F_{out_seg}分别输入全局平均池化与全局池化层，进而得到两个1通道，尺寸为1×1的特征图，将所得到的的四个特征图进行concat后得到66通道，尺寸为1×1的特征图，最后将66通道、尺寸为1×1的特征图输入全连接层，从而输出异常判别结果；

S44、设计损失函数，根据损失函数反向传播对神经网络参数进行调整，进而获取最优网络参数，得到最优的神经网络模型，所述损失函数用公式表示为：

L_total＝λ·L_seg+δ·(1-λ)·L_dec (2)

式(2)中，L_total表示损失函数，L_seg表示异常定位网络的总分割损失，L_dec表示异常判别网络的总分类损失，λ表示动态平衡因子，用于平衡异常定位网络和异常判别网络在总损失中的占比，δ表示额外的分类损失权重，其中，所述异常定位网络的损失和异常判别网络的损失均可通过二元交叉熵损失函数计算得到。

所述异常定位网络输出第n个样本的第k个像素点的分割损失用公式表示为：

L_{seg_n_k}＝-(x_{n_k}*log(ν(z_{n_k}))+(1-x_{n_k})*log(1-ν(z_{n_k})))*y_{mask_loss}′_k (6)

式(6)中，n表示数据集中的第n个样本，n_k表示第n个样本中的第k个像素，z_{n_k}表示第n个样本的第k个像素点样本预测为正的概率，x_{n_k}表示第n个样本的第k个像素点的标签，ν表示sigmoid函数，y_{mask_loss}表示八倍下采样后的加权分割损失矩阵，y_{mask_loss}′_k表示第n个样本的加权分割损失矩阵的第k个像素点的损失权值；

根据公式(6)可以计算出总分割损失L_seg，即：根据公式(6)先计算出数据集中所有样本的所有像素点的损失并相加，然后除以样本数与每个样本对应特征图像素点数的积，其中，每个样本对应特征图像素点数就是分割网络输出通道为1的特征图中像素点的数目，也就是宽与高缩小八倍后的原样本的数目。

所述异常判别网络输出的第n个样本的分类损失用公式表示为：

L_{dec_n}＝-(y_n*log(ν(t_n))+(1-y_n)*log(1-ν(t_n))) (7)

式(7)中，n表示第n个样本，t_n表示第n个样本预测为正样本的概率，y_n表示第n个样本的标签，ν表示sigmoid函数；

根据公式(7)可计算出总分类损失L_dec，即：根据公式(7)先计算出每一个样本的分类损失并相加，然后除以样本数。

本实施例中，由于在初始训练阶段，在训练分割网络的同时训练分类网络很容易导致训练的不稳定，故引入了动态平衡因子λ，使训练开始阶段学习分割网络，然后逐渐向只学习分类网络的方向发展，其中，所述动态平衡因子λ用公式表示为：

式(8)中，h为当前训练epoch的索引，h_epoch代表训练epoch总数，训练epoch表示将所有样本均输入异常判别网络中训练一次。

本实施例中，δ设置为0.01，进而能够进一步减少早期训练阶段噪声对分割特征学习的影响，其中，所述训练epoch设置为正样本和负样本交替采样，即，一次训练epoch的样本数是指训练负样本数目的两倍。

如图7所示，图7中a示出了异常检测神经网络模型输出的损失与精度曲线，图7中b示出了异常检测神经网络模型输出的PR曲线(精度-召回率曲线)，图7中c示出了异常检测神经网络模型输出的ROC曲线，PR曲线和ROC曲线均为异常检测神经网络模型的常性能指标，图7中a中的测试精度曲线(即ValidationAP曲线)的趋势为先倾斜向上并逐步趋于平稳，图7中a中训练损失曲线的趋势为先倾斜向下并逐步趋于平稳，从图7中 a中可以看出，在测试集中，所述异常检测神经网络模型的检测准确率约等于1；由图7 中b可以得出平均精度(Average Precision)为0.9970，即AP＝99.7％；图7中c中，横轴表示假正率，纵轴表示真正率，

其中，假正表示模型被预测为正的负样本，真正表示模型预测为正的正样本，由图7中c可以得出AUC＝99.83％，AUC表示图7中c中曲线与横轴、纵轴形成的最大面积，因此，从图7中可以得出所述异常检测神经网络模型的检测精度高于99.5％。

需要说明的是，图3中，第一阶段、第二阶段、第三阶段、第四阶段和第五阶段分别对应本发明中的第一特征提取阶段、第二特征提取阶段、第三特征提取阶段、第四特征提取阶段和第五特征提取阶段。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于混合监督学习的表面异常检测方法，其特征在于，所述方法包括以下步骤：

S1、获取包含异常样本和正常样本的图像数据并构建对应的数据集，其中，异常样本记为正样本，正常样本记为负样本；

S2、将数据集中的所有图像数据裁剪为统一尺寸并按比例分为训练集和测试集，然后通过标注工具对所有负样本以及训练集中少量的正样本和测试集中的所有正样本进行像素级标注，得到包含部分正样本和所有负样本的标注后的像素级标签；

S3、将标注后的像素级标签的像素值进行归一化处理，并对归一化处理后的像素级标签进行八倍下采样，得到八倍下采样后的标签y_mask；然后利用膨胀函数对正样本中标注后的像素级标签进行L倍膨胀以获取粗糙的像素级标签，对粗糙的像素级标签应用距离变换算法进行处理得到加权分割损失矩阵，最后对所得到的加权分割损失矩阵进行八倍下采样，从而得到八倍下采样后的加权分割损失矩阵，其中，对粗糙的像素级标签应用距离变换算法进行处理是指计算每个正像素点与最近的负像素点之间的距离，进而加权每个像素点在正样本像素级标签中的正像素区域的影响，将相对距离值转换为损失的权重，即：

当检测到的像素点的像素值为1时，则该像素点的损失权重用公式表示为：

式(1)中，L_seg(pix)_i表示通过二元交叉熵损失计算得到的第i个正像素点的损失权重值，L(pix)_i表示通过二元交叉熵损失计算得到的第i个正像素点的损失，Ω()为缩放函数，D(pix)_i表示第i个正像素点到最近的负像素点的距离，D(pix_max)表示所有正像素点到最近负像素点的距离的最大值，其中，Ω(a)＝w_pos·a^p，w_pos与p表示超参数，p表示随着像素点不断远离中心时该像素点重要性降低的速率，w_pos表示所有正像素点的附加标量权值，正像素点是指正样本像素级标签中非0像素值的像素点，负像素点是指像素值为0的像素点；

当检测到的像素点的像素值为0时，则令该像素点的损失权重值为1；

S4、构建包括异常定位网络、自注意力网络和异常判别网络的神经网络模型，并将步骤S2中得到的训练集中的图像数据及其对应的像素级标签和步骤S3中得到的八倍下采样的加权分割损失矩阵输入所构建的神经网络模型中进行训练，得到异常检测神经网络模型；

S5、将采集到的待测图像数据输入异常检测神经网络模型中，通过异常检测神经网络模型自动判别待测图像是否存在异常并对异常区域进行定位，进而实现待测物体表面的异常检测。

2.根据权利要求1所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S2的具体实现方式为：首先，将数据集中获取的所有图像数据均裁剪为统一尺寸W×H，W表示图像数据的宽度，H表示图像数据的高度，并将数据集中的正样本和负样本按7:3的比例分为训练集和测试集；然后，通过标注工具labelme对所有负样本以及训练集中少量的正样本和测试集中的所有正样本进行像素级标注，即可获得包含像素级标签的输入数据y与不含像素级标签的输入数据x，其中，缺陷区域像素值标记为255，背景区域像素值标记为0。

3.根据权利要求2所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S3中八倍下采样的操作具体为：首先使用OpenCV中的ReflectionPad2d函数进行八倍镜像填充，然后进行步长为8，感受野为17×17的平均池化，得到八倍下采样结果。

4.根据权利要求3所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S3的具体实现方式包括：

S31、将所有标注后的像素级标签数据的像素值进行归一化处理，像素值为255的像素点归一化后像素值为1，像素值为0的像素点归一化后像素值为0；

S32、对像素值归一化后的像素值标签进行八倍下采样，得到八倍下采样后的像素级标签数据y_mask；

S33、利用膨胀函数对正样本中标注后的像素级标签进行L倍膨胀以获取粗糙的像素级标签y′_mask；

S34、对粗糙的像素级标签y′_mask应用距离变换算法进行处理得到加权分割损失矩阵，并对加权分割损失矩阵进行八倍下采样，从而得到八倍下采样后的加权分割损失矩阵y_{mask_loss}。

5.根据权利要求4所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S33的具体操作为：基于opencv中的dilate函数，首先，将该函数的感受野大小设置为L×L，感受野的锚点设置在感受野的中央位置；然后，通过该感受野对正样本中标注后的像素级标签图像进行扫描并计算叠加区域的最大像素值；最后，将该感受野锚点的位置用所计算出的最大像素值替代，进而得到膨胀后的粗糙的像素级标签y′_mask。

6.根据权利要求5所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S4中的神经网络模型中的异常定位网络用于定位输入图像数据中的缺陷位置，自注意力网络用于增强特征图的表达能力以提高网络缺陷定位精度，其包括用于通道特征提取的通道自注意力网络和用于空间特征提取的空间自注意力网络，异常判别网络用于判断输入图片是否存在异常并输出判别结果。

7.根据权利要求6所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S4中异常检测神经网络模型的训练包括：

S41、将训练集中的图像数据输入具有五个特征提取阶段的异常定位网络中进行特征提取，其中，第j个特征提取阶段输出的特征图尺寸定义为A_j，每个特征图的尺寸记为C_j×W_j×H_j，j＝1,2,3,4,5，C_j表示第j个特征提取阶段输出特征图的通道数，W_j和H_j分别表示第j个特征提取阶段输出特征图的宽和高，第五特征提取阶段的输出A₅即异常定位网络的输出；

S42、在异常定位网络的第三个特征提取阶段中引入自注意力网络，将异常定位网络第二个特征提取阶段的输出特征图分为三路特征，第一路特征使用通道注意力网络进行通道特征提取，第二路特征不进行处理，第三路特征使用空间注意力网络进行空间特征提取，并将三路特征进行逐元素相乘后作为自注意力网络的输出A₂′，同时将异常定位网络第三个特征提取阶段进行卷积操作后的特征图与自注意力网络输出的特征图A₂′进行逐元素相加，然后进行池化操作后并作为第四个特征提取阶段的输入；

S43、将异常定位网络第四个特征提取阶段的输出A₄和第五个特征提取阶段的输出A₅联合输入异常判别网络中进行异常判别；

S44、设计损失函数，根据损失函数反向传播对神经网络参数进行调整，进而获取最优网络参数，得到最优的神经网络模型。

8.根据权利要求7所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S43的具体实现方式包括：首先，将异常定位网络第四个特征提取阶段的输出A₄和第五个特征提取阶段的输出A₅进行concat后输入异常判别网络中进行三个阶段的卷积和池化处理；然后将卷积和池化处理后的输出与异常定位网络第五个特征提取阶段的输出A₅分别进行全局平均池化和全局最大池化；最后，将全局池化后输出的四个特征图进行concat，然后输入全连接层进行异常判别并输出判别结果。

9.根据权利要求8所述的基于混合监督学习的表面异常检测方法，其特征在于，所述步骤S44中是损失函数用公式表示为：

L_total＝λ·L_seg+δ·(1-λ)·L_dec (2)

式(2)中，L_total表示损失函数，L_seg表示异常定位网络的总分割损失，L_dec表示异常判别网络的总分类损失，λ表示动态平衡因子，用于平衡两个异常定位网络和异常判别网络在总损失中的占比，δ表示额外的分类损失权重。

Images