CN113657383B - 一种基于轻量化分割模型的缺陷区域检测方法及装置 - Google Patents

Abstract

本申请提供一种基于轻量化分割模型的缺陷区域检测方法及装置。方法包括获取训练样本图像，并确定训练样本图像的缺陷区域，得到缺陷图像；根据预设的缺陷类别对缺陷图像进行标记，得到缺陷标记图像；将缺陷标记图像输入至轻量化分割模型中进行训练，得到训练好的轻量化分割模型；将待检测图像输入至训练好的轻量化分割模型中，检测并输出待检测图像中每个像素的缺陷类别概率值；将缺陷类别概率值相同的像素组合输出为缺陷检测区域。本申请中轻量化分割模型的解码部分用于恢复经过分类模型处理输出后待检测图像的分辨率，保证在提取到的高级特征图基础上，分辨率的准确性；并且解码部分的参数空间较小，分割模型更轻量，对缺陷区域的检测效率较高。

Description

一种基于轻量化分割模型的缺陷区域检测方法及装置

技术领域

本申请涉及深度学习模型技术领域，尤其涉及一种基于轻量化分割模型的缺陷区域检测方法及装置。

背景技术

工业检测领域中，由于产品的表面缺陷类别形态多样。在进行产品的表面缺陷类别分类检测时，虽然可以采用传统的识别算法对产品图像进行特征提取，然后根据特征提取的结果来确定表面缺陷及表面缺陷的类别。但采用灰度提取算法、面积提取算法、轮廓提取算法等传统的识别算法，很难提取到产品图像中全部有效的特征，对于产品图像的检测效果较差。

由于深度学习模型能够自动学习产品图像特征，采用基于深度学习模型，即分割模型的检测方法对产品图像进行检测，根据检测结果可以将产品划分出不合格(缺陷)的区域和类别。因此，现有技术中使用深度学习模型对产品图像的不合格(缺陷)区域进行检测越来越普遍。

虽然采用深度学习模型即分割模型对产品图像的不合格(缺陷)区域进行检测越来越普遍，并且采用深度学习模型，即分割模型的检测方法对产品图像的不合格(缺陷)区域进行检测的效果较好，但是由于现有的深度学习模型，即分割模型的的网络结构较复杂，模型的参数较多，因此采用上述方案对产品图像不合格(缺陷)区域的检测效率较低，还会对产品的生产效率产生一定程度的影响。

发明内容

本申请提供了一种基于轻量化分割模型的缺陷区域检测方法及装置，以解决现有技术中的采用深度学习模型的检测方法对产品图像不合格(缺陷)区域的检测效率较低，从而导致产品的生产效率低的问题。

一方面，本申请提供一种基于轻量化分割模型的缺陷区域检测方法，包括以下步骤：

获取训练样本图像，并确定所述训练样本图像的缺陷区域，得到缺陷图像；

根据预设的缺陷类别对所述缺陷图像进行标记，得到缺陷标记图像；

将所述缺陷标记图像输入至轻量化分割模型中进行训练，得到训练好的轻量化分割模型；

将待检测图像输入至训练好的轻量化分割模型中，检测并输出所述待检测图像中每个像素的缺陷类别概率值；

将所述缺陷类别概率值相同的像素组合输出为缺陷检测区域；

其中，所述轻量化分割模型包括分类模型部分、解码部分和检测卷积部分；

所述分类模型部分用于提取所述待检测图像的高级特征图，并将所述高级特征图输入至所述解码部分；

所述解码部分用于提取所述高级特征图中每个像素的缺陷类别，并将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图；

所述检测卷积部分用于检测所述原始分辨率高级特征图中每个像素的缺陷类别，并将相同缺陷类别的像素组合输出为缺陷检测区域。

在本申请的较佳实施例中，所述分类模型部分包括支干、主干和头部；

其中，所述支干采用支干卷积层对所述待检测图像进行预处理，并将所述预处理后的待检测图像输入至所述主干；

所述主干用于提取所述预处理后的待检测图像不同级别的特征，并将提取到的高级特征图输入至所述头部，其中，所述高级特征图为所述主干提取到的含最高级特征的图像；

所述头部由随机失活层组成，所述随机失活层用于在训练时对所述高级特征图进行随机失活，其中，所述随机失活是对具有深度结构的人工神经网络进行优化的算法。

在本申请的较佳实施例中，解码部分包括第一解码模块、第二解码模块、第三解码模块和第四解码模块，所述第四解码模块用于接收分类模型部分提取到的高级特征图，所述第四解码模块、第三解码模块、第二解码模块以及第一解码模块用于依次将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图。

在本申请的较佳实施例中，所述第四解码模块从下向上依次包括反卷积层、叠加层和卷积层；

其中，反卷积层：4×4Deconv，256，其中，4×4表示反卷积核的宽×高，256表示反卷积层的输出通道数，且所述反卷积层的图像分辨率增加2倍；

叠加层：concat，用于叠加主干输出高级特征图的输出通道数和所述反卷积层上采样特征图的输出通道数；

卷积层：3×3conv，256，其中，3×3表示卷积核的宽×高，256表示卷积层的输出通道数，且所述卷积层的图像分辨率增加1倍。

在本申请的较佳实施例中，所述第一解码模块从下至上依次包括反卷积层、叠加层、卷积层和上采样层，所述上采样层的输出通道数为16，且所述上采样层和所述反卷积层可以相互替换。

另一方面，本申请提供一种基于轻量化分割模型的缺陷区域检测装置，所述检测装置包括：

训练模块和检测模块；

其中，所述训练模块主要用于：

获取训练样本图像，并确定所述训练样本图像的缺陷区域，得到缺陷图像；

根据预设的缺陷类别对所述缺陷图像进行标记，得到缺陷标记图像；

将所述缺陷标记图像输入至轻量化分割模型中进行训练，得到训练好的轻量化分割模型；

所述检测模块主要用于：

将待检测图像输入至训练好的轻量化分割模型中，检测并输出所述待检测图像中每个像素的缺陷类别概率值；

将所述缺陷类别概率值相同的像素组合输出为缺陷检测区域；

其中，所述轻量化分割模型包括分类模型部分、解码部分和检测卷积部分；

所述分类模型部分用于提取所述待检测图像的高级特征图，并将所述高级特征图输入至所述解码部分；

所述解码部分用于提取所述高级特征图中每个像素的缺陷类别，并将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图；

所述检测卷积部分用于检测所述原始分辨率高级特征图中每个像素的缺陷类别，并将相同缺陷类别的像素组合输出为缺陷检测区域。

第三方面，本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于轻量化分割模型的缺陷区域检测方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现一种基于轻量化分割模型的缺陷区域检测方法的步骤。

本申请提供的一种基于轻量化分割模型的缺陷区域检测方法及装置，相较于现有技术而言，具有以下有益效果：

(1)本申请中轻量化分割模型可以依次逐步提取待检测图像的不同级别的特征，输出待检测图像的缺陷类别概率值，并将缺陷类别概率值相同的像素组合输出为缺陷区域，能够准确高效地分割出产品图像的不合格(缺陷)区域。

(2)本申请中轻量化分割模型的解码部分用于恢复经过分类模型处理输出后，待检测图像丢失的空间位置信息，保证在提取到的高级特征图基础上，分辨率的准确性。并且解码部分的通道数较小，即解码部分参数空间小，分割模型更轻量，从而在保证缺陷区域检测效果的同时，进一步提高了对缺陷区域的检测效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例1的一种基于轻量化分割模型的缺陷区域检测方法流程图；

图2为本申请中轻量化分割模型的整体结构示意图；

图3为本申请实施例1中第七模型基本单元的结构示意图；

图4为本申请实施例1中第八模型基本单元的结构示意图；

图5为本申请实施例1中第一解码模块的结构示意图；

图6为本申请实施例1中第四解码模块的结构示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

为便于对申请的技术方案进行，以下首先在对本申请所涉及到的一些概念进行说明。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本申请中所有基于方位的词语，例如“上”、“下”等，均为参照本申请的附图位置进行描述的。

随机失活(dropout)是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性(co-dependence)从而实现神经网络的正则化(regularization)，降低其结构风险(structuralrisk)。

实施例1

参见图1，本申请提供了一种基于轻量化分割模型的缺陷区域检测方法，包括以下步骤：

S101，获取训练样本图像，并确定所述训练样本图像的缺陷区域，得到缺陷图像。

步骤S101中，训练样本图像是在不同的工业检测领域中，为了保证各个工业检测领域中根据实际检测情况搭建好的轻量化分割模型的对于产品缺陷区域检测的准确性所需要的一种数量足够多的训练集图像。将足够多的训练集图像，即训练样本图像输入至构建好的轻量化分割模型中，可以让轻量化分割模型学习足够多的训练集图像，即训练样本图像的缺陷区域的缺陷类别特征，并按照缺陷类别对训练样本图像的缺陷区域进行标记；再将足够多的训练集图像，即训练样本图像通过轻量化分割模型的训练学习结果进行储存，以便在对待检测图像，即评价集图像进行缺陷区域检测判定时，可以直接采用通过训练集图像，即训练样本图像进行学习训练后的轻量化分割模型进行检测。

S102，根据预设的缺陷类别对所述缺陷图像进行标记，得到缺陷标记图像。

步骤S102中，预设的缺陷类别需要根据不同的工业检测领域，也就是根据实际使用中，本领域技术人员的公知常识或者常规技术手段对每个不同的工业检测领域中的具体缺陷类别进行划分，缺陷类别的划分数量多少也需要本领域技术人员根据具体使用情况而定，在本申请中，对于缺陷类别的具体划分和缺陷类别的划分依据以及划分得到的缺陷类别数量均不作任何限制。

另外，缺陷标记图像是按照缺陷类别对训练样本图像的缺陷区域进行标记后得到的，以便轻量化分割模型能够更好地学习训练样本图像的缺陷区域中的缺陷类别特征。标记可根据本领域技术人员的实践经验进行，也可采用其他方法。对训练样本图像的缺陷区域进行标记是为了区分各个训练样本图像所属的不同缺陷类别，便于构建好的轻量化分割模型在采用缺陷标记图像进行训练学习时，可以准确学习提取缺陷标记图像的缺陷区域及其对应的所属缺陷类别特征。

S103，将所述缺陷标记图像输入至轻量化分割模型中进行训练，得到训练好的轻量化分割模型。

步骤S103中，将按照缺陷类别对训练样本图像的缺陷区域进行标记得到的缺陷标记图像输入至构建好的轻量化分割模型中进行训练，即采用轻量化分割模型对缺陷标记图像的缺陷区域及其对应的所属缺陷类别特征进行学习，并将学习结果进行储存，即可得到训练好的轻量化分割模型。

在本实施例1的一种具体实施方式中，如图2所示，步骤S103中的所述轻量化分割模型包括分类模型部分、解码部分和检测卷积部分；

其中，所述分类模型部分用于提取所述待检测图像的高级特征图，并将所述高级特征图输入至所述解码部分；

所述解码部分用于提取所述高级特征图中每个像素的缺陷类别，并将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图；

所述检测卷积部分用于检测所述原始分辨率高级特征图中每个像素的缺陷类别，并将相同缺陷类别的像素组合输出为缺陷检测区域。

进一步地，在本实施例1中，如图2所示，所述分类模型部分包括支干、主干和头部；

其中，所述支干采用支干卷积层对所述待检测图像进行预处理，并将所述预处理后的待检测图像输入至所述主干；

所述主干用于提取所述预处理后的待检测图像不同级别的特征，并将提取到的高级特征图输入至所述头部，其中，所述高级特征图为所述主干提取到的含最高级特征的图像；

所述头部由头部卷积层和随机失活层组成，所述随机失活层用于在训练时对所述高级特征图进行随机失活，其中，所述随机失活是对具有深度结构的人工神经网络进行优化的算法。

更进一步地，在本实施例1中，轻量化分割模型中，分类模型部分的主干包括至少一个阶段，所述阶段由至少两个模型基本单元组成，经过所述阶段中第一个模型基本单元处理的图像分辨率下降m倍，经过第二个模型基本单元处理的图像分辨率不变；所述第一个模型基本单元用于提取预处理后的待检测图像的特征，并将提取特征后的待检测图像与预处理后的待检测图像进行叠加后输出，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像再次进行卷积运算，并将卷积运算后的叠加图像直接输入至下一阶段。且第一个模型基本单元的初始宽度等于支干卷积层的输出通道数W。

在本实施例1的一种具体实施方式中，分类模型部分中，支干的支干卷积层的输出通道数为W，支干卷积层中卷积核的大小为A*A，图像分辨率下降的倍数为m，其中，W和A的具体取值可根据实际情况中需要对轻量化分割模型的网络结构简化情况和参数空间的减少情况具体设置，m为正整数，m可根据实际需要图像分辨率下降的倍数进行设置。

进一步地，在本实施例1中，分类模型部分中，模型基本单元的结构如下：

第一卷积层：B×B cov，W*n/m，其中，B×B表示卷积核的宽×高，W*n表示第一卷积层的输出通道数，m表示第一卷积层的图像分辨率下降m倍，其中，n、m均为正整数，n和m均可根据实际需要图像分辨率下降的倍数进行设置；

第二卷积层：A×Agroup cov，W*n/m，其中，A×A表示卷积核的宽×高，W*n表示第二卷积层的输出通道数，m表示第二卷积层的图像分辨率下降m倍，其中，n、m均为正整数，n和m均可根据实际需要图像分辨率下降的倍数进行设置；第二卷积层使用组卷积，且组卷积的分组数等于第二卷积层的输出通道数；即经过第二卷积层的处理，可以减少轻量化分割模型的参数量，并且通过组卷积进行分组并行处理，可以提高轻量化分割模型的处理效率；

第三卷积层：C×C cov，W*n/m，其中，C×C表示卷积核的宽×高，W*n表示第一卷积层的输出通道数，m表示第一卷积层的图像分辨率下降m倍，其中，n、m均为正整数，n和m均可根据实际需要图像分辨率下降的倍数进行设置；

侧分支卷积层：若所述第一卷积层的图像分辨率不下降，即m＝1，则所述第一卷积层通过残差连接卷积层直接连通第三卷积层叠加输出；即可保证待检测图像数据的有效传递；

若所述第一卷积层的图像分辨率下降m倍，即m≠1，则加入卷积核为B×B，输出通道数为W*n侧分支卷积层处理，再叠加到第三卷积层输出。

进一步地，在本实施例1中，解码部分的基本结构如下：

反卷积层：D×D Deconv，W*n或W÷n，其中，D×D表示反卷积核的宽×高，W*n或W÷n表示反卷积层的输出通道数，且所述反卷积层的图像分辨率增加m倍；

叠加层：concat，用于叠加主干输出高级特征图的输出通道数和所述反卷积层上采样特征图的输出通道数；

卷积层：C×C conv，W*n或W÷n，其中，C×C表示卷积核的宽×高，W*n或W÷n表示卷积层的输出通道数，且所述卷积层的图像分辨率增加m倍。

上述轻量化分割模型的结构中，A、B、C、D的取值可以相等也可以不相等，但均为正整数，具体取值可根据实际情况而定。

需要说明的是，上述每一个模型基本单元的具体卷积层层级结构的多少及模型单元的总数和解码模块的层级结构及其数量均可根据需要简化现有的分割模型，即深度学习模型的网络结构的程度及分割模型的参数数量减少的需求进行相关设置选择，本实施例1中仅示出了轻量化分割模型的通用结构和可以达到最佳简化网络复杂程度及参数数量的轻量化分割模型中最关键结构层次和每一层及结构具体数值的设置。因此，本领域技术人员不能认为本申请的轻量化分割模型的结构只有一种。

在本实施例1的最佳具体实施方式中，步骤S103的轻量化分割模型具体结构如图2所示，其中，分类模型部分由上至下依次包括支干、主干和头部，其中，支干由支干卷积层构成；主干由第一阶段、第二阶段、第三阶段和第四阶段组成，每一个阶段又包括了两个模型基本单元，模型基本单元由卷积层和残差连接卷积层组成，卷积层和残差连接卷积层构成模型基本单元的两个分支结构，采用双分支结构，能够在模型基本单元的数量增加的同时，保留图像数据传递；头部包括卷积层和随机失活层。

另外，如图2所示，组成本实施例1的轻量化分割模型中分类模型部分主干的模型基本单元从上至下依次包括第一模型基本单元、第二模型基本单元、第三模型基本单元、第四模型基本单元、第五模型基本单元、第六模型基本单元、第七模型基本单元和第八模型基本单元；所述第一模型基本单元和第二模型基本单元组成第一阶段，用于提取预处理后的待检测图像的第一级(初级)特征，得到初级特征图；所述第三模型基本单元和第四模型基本单元组成第二阶段，用于提取所述待检测图像的第二级特征，得到第二级特征图；所述第五模型基本单元和第六模型基本单元组成第三阶段，用于提取所述待检测图像的第三级特征，得到第三级特征图；所述第七模型基本单元和第八模型基本单元组成第四阶段，用于提取所述待检测图像的最高级(第四级)特征，得到高级特征图。需要说明的是，从第一级特征到最高级特征的级别层层递增。

进一步地，如图3所示，为组成第四阶段的第七模型基本单元的具体结构包括：

第一卷积层：1×1cov，512/2，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，2表示第一卷积层的图像分辨率下降2倍；

第二卷积层：3×3group cov，512/1，其中，3×3表示卷积核的宽×高，512表示第二卷积层的输出通道数，1表示第二卷积层的图像分辨率下降1倍；第二卷积层使用组卷积，且组卷积的分组数等于第二卷积层的输出通道数；例如：当标准卷积的参数大小等于512*3*3*512，输出通道数也等于512，组卷积将被分为512组分别处理，则参数量大小等于512/512(分成512组)*3*3*512/512(分成512组)*(乘512组)，能够减少模型基本单元的参数量，使现有的深度学习模型，即分割模型更轻量化，同时，分组并行处理，可以提高轻量化分割模型的处理效率；

第三卷积层：1×1cov，512/1，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，1表示第三卷积层的图像分辨率下降1倍；

侧分支卷积层：若所述第一卷积层的图像分辨率下降2倍，则加入卷积核为1×1，输出通道数为512侧分支卷积层处理，再叠加到第三卷积层输出；图3中的上箭头接收第三阶段中第六模型基本单元处理后的图像数据，下箭头向第八模型基本单元发送第七模型基本单元处理后的图像数据。

进一步地，如图4所示，为组成第四阶段的第八模型基本单元的具体结构包括：

第一卷积层：1×1cov，512/2，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，2表示第一卷积层的图像分辨率下降2倍；

第二卷积层：3×3group cov，512/1，其中，3×3表示卷积核的宽×高，512表示第二卷积层的输出通道数，1表示第二卷积层的图像分辨率下降1倍；第二卷积层使用组卷积，且组卷积的分组数等于第二卷积层的输出通道数；例如：当标准卷积的参数大小等于512*3*3*512，输出通道数也等于512，组卷积将被分为512组分别处理，则参数量大小等于512/512(分成512组)*3*3*512/512(分成512组)*(乘512组)，能够减少模型基本单元的参数量，使现有的深度学习模型，即分割模型更轻量化，同时，分组并行处理，可以提高轻量化分割模型的处理效率；

第三卷积层：1×1cov，512/1，其中，1×1表示卷积核的宽×高，512表示第一卷积层的输出通道数，1表示第三卷积层的图像分辨率下降1倍；

侧分支卷积层：若所述第一卷积层的图像分辨率下降1倍，则所述第一卷积层通过残差连接卷积层直接连通第三卷积层叠加输出；图4中的上箭头接收第七模型基本单元处理后的图像数据，下箭头向头部发送第八模型基本单元处理后的图像数据。

更进一步地，在上述组成第四阶段的第七模型基本单元的具体结构中，第七模型基本单元经过第一卷积层到侧分支卷积层的处理后，图像分辨率下降2倍，组成第四阶段的第八模型基本模型单元经过第一卷积层到侧分支卷积层的处理后，图像分辨率不下降，且第八模型基本单元设置在第七模型基本单元的下方，采用此种方案能够提升第二个模型基本单元，即第八模型基本单元处理的速度，并且模型基本单元设计的侧分支卷积层可以对图像数据先进行分组处理，再结合处理，可以进一步提升处理速度。

另外，需要说明的是，第一阶段、第二阶段和第三阶段的模型基本单元的组成及结构与第四阶段的类似，但是每个阶段的输出通道数不同，输出通道数由第四阶段向第一阶段递减，即图2中输出通道数由下至上依次递减，且每个阶段递减2倍。

在本实施例1的最佳具体实施方式中，如图2所示，组成轻量化分割模型的解码部分结构由下至上包括第四解码模块、第三解码模块、第二解码模块和第一解码模块，其中，如图5所示，第一解码模块从下至上依次包括：

反卷积层：4×4Deconv，32，其中，4×4表示反卷积核的宽×高，32表示反卷积层的输出通道数，且所述反卷积层的图像分辨率增加2倍；

叠加层：concat，用于叠加主干输出特征图的输出通道数和所述反卷积层上采样特征图的输出通道数；

卷积层：3×3conv，32，其中，3×3表示卷积核的宽×高，32表示卷积层的输出通道数，且所述卷积层的图像分辨率增加1倍；

上采样层：Upsample，16，采用线性插值，将特征图处理并输出为与待检测图像分辨率大小的图像；16表示上采样层的输出通道数。

在本实施例1的最佳具体实施方式中，如图6所示，所述第四解码模块从下向上依次包括反卷积层、叠加层和卷积层；

其中，反卷积层：4×4Deconv，256，其中，4×4表示反卷积核的宽×高，256表示反卷积层的输出通道数，且所述反卷积层的图像分辨率增加2倍；

叠加层：concat，用于叠加主干输出高级特征图的输出通道数和所述反卷积层上采样特征图的输出通道数；

卷积层：3×3conv，256，其中，3×3表示卷积核的宽×高，256表示卷积层的输出通道数，且所述卷积层的图像分辨率增加1倍。

需要特别说明的是，本实施例1中，第三解码模块和第二解码模块的结构与第四解码模块的结构类似，仅卷积层的输出通道数不同，此处不再一一列出。此外，第二解码模块的输出通道数与分类模型部分主干输入阶段一致，即第二解码模块的输出通道数与主干第一阶段的输出通道数相等，为64；第三解码模块的输出通道数与分类模型部分主干的第二阶段的输出通道数相等，为128；第四解码模块的输出通道数与分类模型部分主干的第三阶段的输出通道数相等，为256；采用上述设计，能够保证特征位置和解码恢复的空间位置(分辨率)权重一致，利于权衡准确的缺陷类别和缺陷区域。

进一步地，第一解码模块上采样层的输出通道数为16，能够提高第一解码模块的处理效率。并且第一解码模块的上采样层和反卷积层的位置可以相互替换，但是替换后，得到的缺陷区域的分辨率更高，对缺陷区域的检测更精确，但是检测效率降低，因此，本申请中采用上述上采样层和反卷积层的位置为例说明本申请的技术方案。

在本实施例1的一种具体实施方式中，如图2所示，步骤S103中的轻量化分割模型中，分类模型部分支干的结构设计为：

支干卷积层：3×3cov，64/2，其中，3×3表示卷积核的宽×高，64表示支干卷积层的输出通道数，2表示支干卷积层的图像分辨率下降2倍；采用64作为轻量化分割模型的初始化宽度，初始化宽度相对于现有的深度学习模型，即分割模型的初始化宽度更小。

在本实施例1的一种具体实施方式中，如图2所示，步骤S103中的轻量化分割模型中，分类模型部分头部的结构设计为：

头部卷积层：3×3cov，256，其中，3×3表示卷积核的宽×高，256表示头部卷积层的输出通道数；

随机失活层：Drop_out0.5，用于对主干第四阶段输出的高级特征图以0.5的参数概率进行随机失活，提高轻量化分割模型的特征表达能力。

需要特别说明的是，随机失活层仅在轻量化分割模型的训练学习过程中会被使用，在对待检测图像进行缺陷区域检测时，即在深度学习模型框架中设置为检测，随机失活层则不起作用。参数可以根据实际情况设置，此处的0.5为经验值，若参数太大，则会导致很多高级特征失活，轻量化分割模型的特征表达能力减弱。

由于上述经过分类模型部分降分辨率后提取到的高级特征图，严重丢失了最高级特征在待检测图像中的空间位置信息(分辨率)，因此，需要通过解码部分对高级特征图进行分辨率的恢复，将其恢复为待检测图像的原始分辨率，并将恢复分辨率后的高级特征图和高级特征图进行融合，从而保证在提取到的最高级特征的基础上，进一步确保空间位置信息，即分辨率的准确性。

进一步地，在本实施例1中，如图2所示，解码部分和分类模型部分的头部连接，解码部分由上至下依次包括第一解码模块、第二解码模块、第三解码模块和第四解码模块，所述第四解码模块用于接收经过上述分类模型部分提取到的高级特征图，并将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图；具体的恢复过程为：

解码部分的第四解码模块接收分类模型部分的头部输入的高级(第四级)特征图，通过反卷积层的处理后，与主干中输入至第四阶段的第七模型基本单元的第三级特征图，即经过主干第三阶段提取特征后的图像进行叠加融合，在对其进行卷积提取混合图像的新的像素的缺陷类别特征后，将得到的第四解码特征图，即通过第四解码模块对高级特征图进行处理后得到的图像，输入至第三解码模块中；第三解码模块对第四解码特征图先进行反卷积处理，再与主干中输入至第三阶段的第五模型基本单元的第二级特征图，即经过主干第二阶段提取特征后的图像进行叠加融合，在对其进行卷积提取混合图像的新的像素的缺陷类别特征后，将得到的第三解码特征图，即通过第三解码模块处理后得到的图像，输入至第二解码模块中；第二解码模块对第三解码特征图先进行反卷积处理，再与主干中输入至第二阶段的第三模型基本单元的第一级(初级)特征图，即经过主干第一阶段提取特征后的图像进行叠加融合，在对其进行卷积提取混合图像的新的像素的缺陷类别特征后，将得到的第二解码特征图，即通过第二解码模块处理后得到的图像，输入至第一解码模块中；第一解码模块对第二解码特征图先进行反卷积处理，再与输入至主干中的经过预处理后的待检测图像，即经过支干卷积层处理后的图像进行叠加融合，在对其进行卷积处理和上采样处理后，将得到的第一解码特征图，即通过第一解码模块处理后得到的图像，输入至检测卷积部分。

检测卷积部分对得到的原始分辨率高级特征图中每个像素的缺陷类别进行检测，并将相同缺陷类别的像素组合输出为缺陷检测区域。

需要说明的是，轻量化分割模型的分类模型部分、解码部分和检测卷积部分的具体结构见上文，此处不再赘述。

在本实施例1的一种具体实施方式中，如图2所示，步骤S103中的轻量化分割模型中，检测卷积部分的结构如下：

检测卷积层：3×3conv，num_out，其中，3×3表示卷积核的宽×高，输出通道数num_out等于缺陷类别的个数，用于混合提取特征，并输出与缺陷类别个数相同的特征图，并且每个特征图表征某个缺陷类别的分割缺陷，即缺陷(不合格)区域。

如图1所示，S104，将待检测图像输入至训练好的轻量化分割模型中，检测并输出所述待检测图像中每个像素的缺陷类别概率值；

S105，将所述缺陷类别概率值相同的像素组合输出为缺陷检测区域。

在本实施例1中，步骤S104和步骤S105中，训练好的轻量化分割模型对待检测图像的具体处理过程如下：

通过构建好的轻量化分割模型中，分类模型部分的支干对待检测图像进行预处理，即通过支干卷积层的设置对待检测图像进行消除噪声及初步的特征提取等处理；

通过图2中构建好的轻量化分割模型中，分类模型部分的主干逐步提取预处理后的待检测图像中不同级别的特征，得到含有最高级特征的高级特征图，即通过主干的第一阶段、第二阶段、第三阶段、第四阶段分别依次逐步提取预处理后的待检测图像的特征，第一阶段提取到的是待检测图像的初级(第一级)特征图，特征的级别随着每一阶段的逐步提取而增加，故第四阶段提取到的是待检测图像的最高级(第四级)特征图。从初级特征到最高级特征的提取，即通过每一阶段提取到的待检测图像的特征随着级别越高，特征也越清晰，而每一阶段的图像分辨率随着阶段的递增，待检测图像的图像分辨率越来越小。因此，当提取到最高级特征图时，待检测图像的图像分辨率足够小(空间位置信息丢失严重)，因此，需要通过解码部分将最高级特征图的分辨率恢复成待检测图像的分辨率，得到原始分辨率最高级特征图，并提取每一个像素的缺陷类别特征，计算出每个像素的缺陷类别概率值，并将其中缺陷类别概率值相同的像素组合输出为待检测图像的缺陷检测区域。

实施例2

与前述一种基于轻量化分割模型的缺陷区域检测方法的实施例相对应，本申请还提供了一种基于轻量化分割模型的缺陷区域检测装置的实施例。该装置包括：

训练模块和检测模块；

其中，所述训练模块主要用于：

获取训练样本图像，并确定所述训练样本图像的缺陷区域，得到缺陷图像；

根据预设的缺陷类别对所述缺陷图像进行标记，得到缺陷标记图像；

将所述缺陷标记图像输入至轻量化分割模型中进行训练，得到训练好的轻量化分割模型；

所述检测模块主要用于：

将待检测图像输入至训练好的轻量化分割模型中，检测并输出所述待检测图像中每个像素的缺陷类别概率值；

将所述缺陷类别概率值相同的像素组合输出为缺陷检测区域；

其中，如图2所示，所述轻量化分割模型包括分类模型部分、解码部分和检测卷积部分；

所述分类模型部分用于提取所述待检测图像的高级特征图，并将所述高级特征图输入至所述解码部分；

所述解码部分用于提取所述高级特征图中每个像素的缺陷类别，并基于所述高级特征图恢复所述待检测图像的分辨率，得到原始分辨率待检测图像；

所述检测卷积部分用于检测所述原始分辨率待检测图像中每个像素的缺陷类别，并将相同缺陷类别的像素组合输出为缺陷检测区域。

本申请提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的一种基于轻量化分割模型的缺陷区域检测方法的步骤。

本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1的一种基于轻量化分割模型的缺陷区域检测方法的步骤。

Claims (6)

1.一种基于轻量化分割模型的缺陷区域检测方法，其特征在于，包括以下步骤：

获取训练样本图像，并确定所述训练样本图像的缺陷区域，得到缺陷图像；

根据预设的缺陷类别对所述缺陷图像进行标记，得到缺陷标记图像；

将所述缺陷标记图像输入至轻量化分割模型中进行训练，得到训练好的轻量化分割模型；

将待检测图像输入至训练好的轻量化分割模型中，检测并输出所述待检测图像中每个像素的缺陷类别概率值；

将所述缺陷类别概率值相同的像素组合输出为缺陷检测区域；

其中，所述轻量化分割模型包括分类模型部分、解码部分和检测卷积部分；

所述分类模型部分用于提取所述待检测图像的高级特征图，并将所述高级特征图输入至所述解码部分；所述分类模型部分包括支干、主干和头部；其中，所述支干采用支干卷积层对所述待检测图像进行预处理，并将所述预处理后的待检测图像输入至所述主干；所述主干用于提取所述预处理后的待检测图像不同级别的特征，并将提取到的高级特征图输入至所述头部，其中，所述主干由第一阶段、第二阶段、第三阶段和第四阶段组成，所述第一阶段、所述第二阶段、所述第三阶段和所述第四阶段均包括两个模型基本单元，所述模型基本单元由卷积层和残差连接卷积层组成，所述两个模型基本单元中的第一个模型基本单元用于提取所述预处理后的待检测图像的特征并将提取特征后的待检测图像与所述预处理后的待检测图像进行叠加后输出至第二个模型基本单元，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像进行卷积运算并将卷积运算后的叠加图像输出至下一阶段，所述高级特征图为所述主干提取到的含最高级特征的图像；所述头部由头部卷积层和随机失活层组成，所述随机失活层用于在训练时对所述高级特征图进行随机失活，其中，所述随机失活是对具有深度结构的人工神经网络进行优化的算法；

所述解码部分用于提取所述高级特征图中每个像素的缺陷类别，并将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图，其中，所述解码部分包括第一解码模块、第二解码模块、第三解码模块和第四解码模块，所述第四解码模块用于接收所述分类模型部分提取到的高级特征图，所述第四解码模块、第三解码模块、第二解码模块以及第一解码模块用于依次将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图；

所述检测卷积部分用于检测所述原始分辨率高级特征图中每个像素的缺陷类别，并将相同缺陷类别的像素组合输出为缺陷检测区域。

2.根据权利要求1所述的一种基于轻量化分割模型的缺陷区域检测方法，其特征在于，

所述第四解码模块从下向上依次包括反卷积层、叠加层和卷积层；

其中，反卷积层：4×4Deconv，256，其中，4×4表示反卷积核的宽×高，256表示反卷积层的输出通道数，且所述反卷积层的图像分辨率增加2倍；

叠加层：concat，用于叠加主干输出高级特征图的输出通道数和所述反卷积层上采样特征图的输出通道数；

卷积层：3×3conv，256，其中，3×3表示卷积核的宽×高，256表示卷积层的输出通道数，且所述卷积层的图像分辨率增加1倍。

3.根据权利要求1所述的一种基于轻量化分割模型的缺陷区域检测方法，其特征在于，

所述第一解码模块从下至上依次包括反卷积层、叠加层、卷积层和上采样层，所述上采样层的输出通道数为16，且所述上采样层和所述反卷积层可以相互替换。

4.一种基于轻量化分割模型的缺陷区域检测装置，其特征在于，采用了如权利要求1-3任意一项所述的一种基于轻量化分割模型的缺陷区域检测方法，所述检测装置包括：

训练模块和检测模块；

其中，所述训练模块主要用于：

获取训练样本图像，并确定所述训练样本图像的缺陷区域，得到缺陷图像；

根据预设的缺陷类别对所述缺陷图像进行标记，得到缺陷标记图像；

将所述缺陷标记图像输入至轻量化分割模型中进行训练，得到训练好的轻量化分割模型；

所述检测模块主要用于：

将待检测图像输入至训练好的轻量化分割模型中，检测并输出所述待检测图像中每个像素的缺陷类别概率值；

将所述缺陷类别概率值相同的像素组合输出为缺陷检测区域；

其中，所述轻量化分割模型包括分类模型部分、解码部分和检测卷积部分；

所述分类模型部分用于提取所述待检测图像的高级特征图，并将所述高级特征图输入至所述解码部分；所述分类模型部分包括支干、主干和头部；其中，所述支干采用支干卷积层对所述待检测图像进行预处理，并将所述预处理后的待检测图像输入至所述主干；所述主干用于提取所述预处理后的待检测图像不同级别的特征，并将提取到的高级特征图输入至所述头部，其中，所述主干由第一阶段、第二阶段、第三阶段和第四阶段组成，所述第一阶段、所述第二阶段、所述第三阶段和所述第四阶段均包括两个模型基本单元，所述模型基本单元由卷积层和残差连接卷积层组成，所述两个模型基本单元中的第一个模型基本单元用于提取所述预处理后的待检测图像的特征并将提取特征后的待检测图像与所述预处理后的待检测图像进行叠加后输出至第二个模型基本单元，所述第二个模型基本单元用于对所述第一个模型基本单元输出的叠加图像进行卷积运算并将卷积运算后的叠加图像输出至下一阶段，所述高级特征图为所述主干提取到的含最高级特征的图像；所述头部由头部卷积层和随机失活层组成，所述随机失活层用于在训练时对所述高级特征图进行随机失活，其中，所述随机失活是对具有深度结构的人工神经网络进行优化的算法；

所述解码部分用于提取所述高级特征图中每个像素的缺陷类别，并将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图，其中，所述解码部分包括第一解码模块、第二解码模块、第三解码模块和第四解码模块，所述第四解码模块用于接收所述分类模型部分提取到的高级特征图，所述第四解码模块、第三解码模块、第二解码模块以及第一解码模块用于依次将所述高级特征图的分辨率恢复成所述待检测图像的分辨率，得到原始分辨率高级特征图；

所述检测卷积部分用于检测所述原始分辨率高级特征图中每个像素的缺陷类别，并将相同缺陷类别的像素组合输出为缺陷检测区域。

5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3任意一项所述的一种基于轻量化分割模型的缺陷区域检测方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任意一项所述的一种基于轻量化分割模型的缺陷区域检测方法的步骤。