CN116109639A - 基于多任务学习网络的缺陷检测方法及装置 - Google Patents

Abstract

本发明涉及工业质检技术领域，提供一种基于多任务学习网络的缺陷检测方法及装置，方法包括：构建多任务学习网络；获取待测工件的图像，并将图像输入主干网络，得到图像的多层第一特征图；将第一层数的第一特征图输入第一特征金字塔网络，得到多层第二特征图；将第二层数的第一特征图和所有第二特征图输入第二特征金字塔网络，得到多层第三特征图；基于假设检验法将目标检测图、实例分割图、异常检测概率图和语义分割图进行融合处理，得到待测工件的缺陷检测结果。由此，采用端到端的多任务学习网络和基于假设检验法的融合处理实现缺陷检测，既提高了检测效率，又改善了检测效果，保证了检测结果的可靠性。

Description

基于多任务学习网络的缺陷检测方法及装置

技术领域

本发明涉及工业质检技术领域，具体涉及一种基于多任务学习网络的缺陷检测方法和一种基于多任务学习网络的缺陷检测装置。

背景技术

在工业质检领域，工件的缺陷检测是当前传统制造企业数字化转型的重要一环，主流的检测方案是首先根据工件具体缺陷进行数据收集，然后采用单一目标检测方法对缺陷进行检测。然而这种方案对于复杂缺陷的检测能力有限，且部分缺陷（比如如脏污、刀纹、水波纹等）用单一目标检测方法进行检测并不高效。

为此，相关技术中，先分别采用目标检测、异常检测和语义分割等多种网络对缺陷进行独立检测和形态识别，后通过融合多个检测结果来得到最终缺陷检测结果。虽然这种方案大大缓解了单一检测方法的局限性，但单一任务各自独立检测的方案成倍增加了运行时间，且由于没有考虑多个任务之间的相关性，检测效率并不高效、检测结果并不可靠。

发明内容

本发明为解决增加了运行时间，且由于没有考虑多个任务之间的相关性，检测效率并不高效、检测结果并不可靠的问题，提出了如下技术方案。

本发明第一方面实施例提出了一种基于多任务学习网络的缺陷检测方法，包括以下步骤：构建多任务学习网络，其中，所述多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络；获取待测工件的图像，并将所述图像输入所述主干网络，以得到所述图像的多层第一特征图；将所有所述第一特征图中第一层数的第一特征图输入所述第一特征金字塔网络，以得到多层第二特征图；将所有所述第一特征图中第二层数的第一特征图和所有所述第二特征图输入所述第二特征金字塔网络，以得到多层第三特征图；将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图；将每层所述第二特征图进行预处理后得到第四特征图，并将所述第四特征图分别输入所述目标检测网络和所述实例分割网络，以通过所述目标检测网络得到所述图像的目标检测图、通过所述实例分割网络得到所述图像的实例分割图；将所述融合特征图分别输入所述异常检测网络和所述语义分割网络，以通过所述异常检测网络得到所述图像的异常检测概率图、通过所述语义分割网络得到所述图像的语义分割图；基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果。

另外，根据本发明上述实施例的基于多任务学习网络的缺陷检测方法还可以具有如下附加的技术特征。

根据本发明的一个实施例，将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图，包括：确定所有所述第三特征图中、第二层数的所述第一特征图中，相互对应的单层第三特征图和单层第一特征图；将每层所述第三特征图及其对应的单层第一特征图依次进行连接、上采样和卷积操作后得到两层中间特征图；分别将所有两层所述中间特征图进行连接，以得到多层融合特征图。

根据本发明的一个实施例，将每层所述第二特征图进行预处理后得到第四特征图，包括：将每层所述第二特征图中的特征裁剪出来得到第四特征图。

根据本发明的一个实施例，将每层所述第二特征图中的特征裁剪出来得到第四特征图，包括：将每层所述第二特征图输入区域推荐网络得到目标候选框；根据所述目标候选框通过ROIAlign方法将每层所述第二特征图中的特征进行裁剪，以得到裁剪出来的第四特征图。

根据本发明的一个实施例，基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果，包括：根据最大后验概率假设检验法分别得到所述异常检测概率图的第一二值分割图和所述语义分割图的第二二值分割图；分别将所述第一二值分割图中的背景区域、所述第二二值分割图中的背景区域进行屏蔽，以得到屏蔽后的第一二值分割图、屏蔽后的第二二值分割图；根据所述实例分割图、所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图对所述实例分割图进行更新；将所述目标检测图和更新后的实例分割图进行合并取交，以得到所述待测工件的缺陷检测结果。

根据本发明的一个实施例，根据所述实例分割图、所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图对所述实例分割图进行更新，包括：计算所述屏蔽后的第一二值分割图与所述屏蔽后的第二二值分割图之间的联合概率；根据所述联合概率将所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图进行融合处理，以得到融合二值分割图；通过轮廓提取法得到所述融合二值分割图的聚类区域，并计算所述聚类区域的联合概率平均值；根据所述实例分割图和所述聚类区域对所述实例分割图进行更新。

根据本发明的一个实施例，通过以下公式计算所述联合概率：

其中，x、y分别为所述屏蔽后的第一二值分割图对应位置为缺陷的第一概率值、所述屏蔽后的第二二值分割图对应位置为缺陷的第二概率值， µ ₁ 、 µ ₂ 分别为第一概率值的平均值、第二概率值的平均值， σ ₁ 、 σ ₂ 分别为第一概率值的方差、第二概率值的方差。

根据本发明的一个实施例，根据所述实例分割图和所述聚类区域对所述实例分割图进行更新，包括：将所述实例分割图和所述聚类区域进行比对；若所述实例分割图中的实例与所述聚类区域存在重叠区域，则计算所述重叠区域在所述聚类区域中的面积占比，并以所述重叠区域替代所述实例分割图、根据所述重叠区域的面积占比确定置信度；若所述实例分割图中的实例与所述聚类区域不存在重叠区域，则在所述聚类区域的联合概率平均值高于预设阈值时，以所述聚类区域替代所述实例分割图。

根据本发明的一个实施例，所述目标检测网络所采用的目标检测方法为ATSS（Adaptive Training Sample Selection，自适应训练样本选择）方法，所述实例分割网络为Mask R-CNN（Mask Region-based Convolutional Neural Network，面具区域卷积神经网络）网络，所述异常检测网络所采用的异常检测方法为GANomaly方法。

本发明第二方面实施例提出了一种基于多任务学习网络的缺陷检测装置，包括：构建模块，用于构建多任务学习网络，其中，所述多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络；获取模块，用于获取待测工件的图像，并将所述图像输入所述主干网络，以得到所述图像的多层第一特征图；第一输入模块，用于将所有所述第一特征图中第一层数的第一特征图输入所述第一特征金字塔网络，以得到多层第二特征图；第二输入模块，用于将所有所述第一特征图中第二层数的第一特征图和所有所述第二特征图输入所述第二特征金字塔网络，以得到多层第三特征图；第一融合模块，用于将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图；第三输入模块，用于将每层所述第二特征图进行预处理后得到第四特征图，并将所述第四特征图分别输入所述目标检测网络和所述实例分割网络，以通过所述目标检测网络得到所述图像的目标检测图、通过所述实例分割网络得到所述图像的实例分割图；第四输入模块，用于将所述融合特征图分别输入所述异常检测网络和所述语义分割网络，以通过所述异常检测网络得到所述图像的异常检测概率图、通过所述语义分割网络得到所述图像的语义分割图；第二融合模块，用于基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果。

本发明实施例的技术方案，采用端到端的多任务学习网络和基于假设检验法的融合处理实现缺陷检测，既提高了检测效率，又改善了检测效果，保证了检测结果的可靠性。

附图说明

图1为本发明实施例的基于多任务学习网络的缺陷检测方法的流程图。

图2为本发明实施例的多任务学习网络的方框示意图。

图3为本发明一个具体示例中通过多任务学习网络进行联合学习的示意图。

图4为本发明一个具体示例的融合得到单层融合特征图的示意图。

图5为本发明一个具体示例的融合得到多层融合特征图的示意图。

图6为本发明一个具体示例的融合处理的整体示意图。

图7为本发明实施例的基于多任务学习网络的缺陷检测装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

相关技术中，虽然通过融合多个检测结果来缓解单一检测方法的局限性，但该方法没有考虑多个任务之间的相关性，因此存在检测能力不足、运行效率低的缺陷，尤其是在存在缺陷干扰项且样本量不足的情况下。

为此，本发明实施例提出了一种基于多任务学习网络的缺陷检测方法，考虑多个任务之间的相关性，采用了端到端的多任务学习和基于假设检验法的目标融合，可以实现运行效率与检测能力的双向收益。

本发明实施例涉及以下名词解释：

多任务学习：可以看作是一种引导式迁移学习机制，通过利用相关任务中的特定域信息来改进泛化的一种机器学习方法。简单来说：多任务学习把多个相关的任务放在一起学习，学习过程中通过一个在浅层的共享来表示互相分享、互相补充学习到的领域相关的信息，互相促进学习，提升泛化的效果。

第一特征图：主干网络输出的一系列不同尺寸的特征图。

第二特征图：第一特征金字塔网络输出的特征图。

第三特征图：第二特征金字塔网络输出的特征图。

融合特征图：将第一特征图和第三特征图进行融合得到的特征图。

第四特征图：将第二特征图进行预处理后得到的特征图。

图1为本发明实施例的基于多任务学习网络的缺陷检测方法的流程图。

如图1所示，该基于多任务学习网络的缺陷检测方法包括以下步骤S1至S8。

S1，构建多任务学习网络，其中，多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络。

需要说明的是，本发明实施例中对主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络的具体网络结构不做具体限定，只要能够实现对应功能比如特征提取、目标检测、实例分割等即可。比如，主干网络可以是相关技术中任何可以提取图像中不同层级特征的网络，比如可以是CNN(Convolutional Neural Network，卷积神经网络)、 RNN (Recurrent Neural Network，循环神经网络)等，本发明实施例对此不做任何具体限定。

具体地，首先可通过机器学习或深度学习训练用于检测缺陷的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络，通过训练好的各个网络构建多任务学习网络，其结构可如图2所示，主干网络的输出端分别连接第一特征金字塔网络的输入端和第二特征金字塔网络的输入端，第一特征金字塔网络的输出端分别连接目标检测网络的输入端和实例分割网络的输入端，第二特征金字塔网络的输出端分别连接异常检测网络的输入端和语义分割网络的输入端。

其中，第一特征金字塔网络与第二特征金字塔网络互相耦合，即第二特征金字塔网络不但能够从第一特征金字塔获得高层语义信息，而且能够直接从主干网络获取更加丰富的目标位置信息，为后续的语义分割和异常检测提供了丰富的语义和目标位置信息。

可见，本发明实施例中在主干网络、第一特征金字塔网络和第二特征金字塔网络的基础上，采用多个任务即目标检测、实例分割、异常检测和语义分割进行联合学习的检测方案，从而考虑了多个任务之间的相关性，有利于提高缺陷检测能力、提升运行效率。

S2，获取待测工件的图像，并将图像输入主干网络，以得到图像的多层第一特征图。

具体地，可通过任何可行方案获取待测工件（需要缺陷检测的工件）的图像，并将该图像输入主干网络，进而主干网络输出图像的不同分辨率、不同尺度的多层第一特征图。

S3，将所有第一特征图中第一层数的第一特征图输入第一特征金字塔网络，以得到多层第二特征图。

其中，第一层数可以事先根据历史经验或者实际情况确定，比如第一层数可以是后三层。

具体地，可任意从所有第一特征图中获取第一层数的，比如后三层第一特征图A，并将后三层第一特征图A输入第一特征金字塔网络，进而第一特征金字塔网络输出多层不同尺度的第二特征图。

S4，将所有第一特征图中第二层数的第一特征图和所有第二特征图输入第二特征金字塔网络，以得到多层第三特征图。

其中，第二层数也可以事先根据历史经验或者实际情况确定，比如第二层数可以是后四层。

具体地，可任意从所有第一特征图中获取第二层数的，比如后四层第一特征图B，并将所有第二特征图和后四层第一特征图B输入第二特征金字塔网络，进而第二特征金字塔网络输出多层不同尺度的第三特征图。

S5，将所有第三特征图和第二层数的第一特征图进行融合处理，以得到多层融合特征图。

其中，所有第三特征图的层数与第二层数相同，比如将三层第三特征图和三层第一特征图一一对应进行融合处理。

具体地，可先进行单层特征图融合即先将单层第三特征图和第二层数的第一特征图（即输入第二特征金字塔网络的第一特征图）中的单层第一特征图进行融合处理得到单层融合特征图，于是得到多个单层融合特征图，并将多个单层融合特征图进行连接得到多层融合特征图。

S6，将每层第二特征图进行预处理后得到第四特征图，并将第四特征图分别输入目标检测网络和实例分割网络，以通过目标检测网络得到图像的目标检测图、通过实例分割网络得到图像的实例分割图。

具体地，在得到第一特征金字塔网络输出的多层第二特征图后，将每层第二特征图进行预处理比如裁剪处理后得到对应的第四特征图，对第四特征图分别进行目标检测和实例分割。将所有第四特征图输入目标检测网络，进而目标检测网络输出图像的目标检测图，该目标检测图包含初步的缺陷位置框、缺陷类别。并将所有第四特征图输入实例分割网络，进而实例分割网络输出图像的实例分割图。

通过本发明实施例的多任务学习网络，使得目标检测与实例分割相辅相成，且这种多任务组合的方式能够较好的学习到缺陷及其相关形状特征，在实际应用中也会给各子任务带来模型收益。其中，对于目标检测，目标检测网络所采用的检测方法可以为ATSS（Adaptive Training Sample Selection，自适应训练样本选择）方法，这种方法对中小批量数据处理有鲁棒很好的效果；对于实例分割，实例分割网络可为Mask R-CNN网络，也可为Mask R-CNN网络中的一个轻量级的上采样网络。

S7，将融合特征图分别输入异常检测网络和语义分割网络，以通过异常检测网络得到图像的异常检测概率图、通过语义分割网络得到图像的语义分割图。

具体地，可在得到所有第三特征图后，对所有第三特征图分别进行异常检测和语义分割，以得到异常检测结果和语义分割结果。为了进一步提高检测可靠性，也可在在得到多层融合特征图后，对所有融合特征图分别进行异常检测和语义分割。将所有融合特征图输入异常检测网络，进而异常检测网络输出图像的异常检测概率图，将所有融合特征图输入语义分割网络，进而语义分割网络输出图像的语义分割图。

其中，对于异常检测，可采用基于重构的异常检测方法，即GANomaly方法，该方法采用无监督的新型自动编码器方法来获取图像潜在向量空间的训练数据分布，这是对监督缺陷检测的一种有效的信息补充。

可以理解的是，异常检测网络和语义分割网络输出的是图像像素的分类信息，实例分割网络和目标检测网络输出的是图像中的目标即缺陷信息。

S8，基于假设检验法将目标检测图、实例分割图、异常检测概率图和语义分割图进行融合处理，以得到待测工件的缺陷检测结果。

具体地，通过上述步骤实现了基于多任务学习网络对待测工件的图像进行的目标检测、实例分割、异常检测和语义分割，得到了各个检测结果，即：目标检测图、实例分割图、异常检测概率图和语义分割图。之后，基于假设检验法将目标检测图、实例分割图、异常检测概率图和语义分割图进行融合处理，即，将图像像素的分类信息与图像中的目标信息进行融合得到待测工件的缺陷检测结果。

基于上述描述可知，本发明实施例考虑了多个任务之间的相关性，采用端到端的多任务学习和基于假设检验法的融合处理，达到了运行效率与检测能力的双向收益。具体来说，在采用主干网络、特征金字塔提取网络的基础上，采用目标检测、实例分割、语义分割和异常检测多个任务进行联合学习，考虑了多个任务之间的相关性，提高了缺陷检测能力，使检测结果更加可靠，提高了检测效率。

由此，本发明实施例的基于多任务学习网络的缺陷检测方法，采用端到端的多任务学习网络和基于假设检验法的融合处理实现缺陷检测，既提高了检测效率，又改善了检测效果，保证了检测结果的可靠性。

在本发明的一个实施例中，步骤S5即将所有第三特征图和第二层数的第一特征图进行融合处理，以得到多层融合特征图，可包括：确定所有第三特征图中、第二层数的第一特征图中，相互对应的单层第三特征图和单层第一特征图；将每层第三特征图及其对应的单层第一特征图依次进行连接、上采样和卷积操作后得到两层中间特征图；分别将所有两层中间特征图进行连接，以得到多层融合特征图。

具体而言，相互对应的单层第三特征图和单层第一特征图的尺度相同，分别对各层第一特征图及其对应第三特征图进行融合，将单层第一特征图及其对应的单层第三特征图经过连接（Concatenate）、上采样（Up-Sampling）和卷积（Convolution）操作生成两层同样大小的中间特征图，然后再将两层同样大小的特征图连接起来构成单层融合特征图，于是得到了多个单层融合特征图，最后将多个单层融合特征图连接起来得到多层融合特征图。

在本发明的一个实施例中，上述步骤S6中的将每层第二特征图进行预处理后得到第四特征图，可包括：将每层第二特征图中的特征裁剪出来得到第四特征图。

进一步地，将每层第二特征图中的特征裁剪出来得到第四特征图，可包括：将每层第二特征图输入区域推荐网络得到目标候选框；根据目标候选框通过ROIAlign方法将每个第二特征图中的特征进行裁剪，以得到裁剪出来的第四特征图。

具体而言，在得到多层第二特征图之后，对于每层第二特征图，首先将其输入区域推荐网络的带目标候选框，然后根据目标候选框通过ROIAlign方法将每层第二特征图中的特征裁剪出来，得到第四特征图。将第四特征图分别输入目标检测网络和实例分割网络，以通过目标检测网络得到图像的目标检测图、通过实例分割网络得到图像的实例分割图。

之后，执行步骤S7和步骤S8，即通过目标检测网络得到图像的目标检测图、通过实例分割网络得到图像的实例分割图，通过异常检测网络得到图像的异常检测概率图、通过语义分割网络得到图像的语义分割图，最后基于假设检验法将其进行融合处理，以得到待测工件的缺陷检测结果。

在本发明的一个实施例中，基于假设检验法将目标检测图、实例分割图、异常检测概率图和语义分割图进行融合处理，以得到待测工件的缺陷检测结果，可包括：根据最大后验概率假设检验法分别得到异常检测概率图的第一二值分割图和语义分割图的第二二值分割图；分别将第一二值分割图中的背景区域、第二二值分割图中的背景区域进行屏蔽，以得到屏蔽后的第一二值分割图、屏蔽后的第二二值分割图；根据实例分割图、屏蔽后的第一二值分割图和屏蔽后的第二二值分割图对实例分割图进行更新；将目标检测图和更新后的实例分割图进行合并取交，以得到待测工件的缺陷检测结果。

具体地，首先对于异常检测概率图和语义分割图，根据最大后验概率假设检验法估计出异常检测概率图的第一二值分割图、语义分割图的第二二值分割图，其中，二值分割图具有前景区域和背景区域，然后将两个二值分割图中的背景区域屏蔽掉，结合屏蔽后的第一二值分割图、屏蔽后的第二二值分割图和实例分割图对实例分割图进行更新，得到更新后的实例分割图，最后将目标检测图和更新后的实例分割图进行合并取交，即将目标检测图和更新后的实例分割图中的重叠部分或者相交部分保留、不重叠部分删掉，保留部分即为待测工件的缺陷检测结果，包括最终的缺陷类别、缺陷位置框和缺陷掩膜。

在一个示例中，根据实例分割图、屏蔽后的第一二值分割图和屏蔽后的第二二值分割图对实例分割图进行更新，可包括：计算屏蔽后的第一二值分割图与屏蔽后的第二二值分割图之间的联合概率；根据联合概率将屏蔽后的第一二值分割图和屏蔽后的第二二值分割图进行融合处理，以得到融合二值分割图；通过轮廓提取法得到融合二值分割图的聚类区域，并计算聚类区域的联合概率平均值；根据实例分割图和聚类区域对实例分割图进行更新。

进一步地，通过以下公式计算联合概率：

 (1)

其中，x、y分别为屏蔽后的第一二值分割图对应位置为缺陷的第一概率值、屏蔽后的第二二值分割图对应位置为缺陷的第二概率值， µ ₁ 、 µ ₂ 分别为第一概率值的平均值、第二概率值的平均值， σ ₁ 、 σ ₂ 分别为第一概率值的方差、第二概率值的方差。

又进一步地，根据实例分割图和聚类区域对实例分割图进行更新，可包括：将实例分割图和聚类区域进行比对；若实例分割图中的实例与聚类区域存在重叠区域，则计算重叠区域在聚类区域中的面积占比，并以重叠区域替代实例分割图、根据重叠区域的面积占比确定置信度；若实例分割图中的实例与聚类区域不存在重叠区域，则在聚类区域的联合概率平均值高于预设阈值时，以聚类区域替代实例分割图。

其中，预设阈值是事先根据历史经验、实际情况预设的。当聚类区域的联合概率平均值高于预设阈值时，表明该聚类区域属于缺陷；当聚类区域的联合概率平均值不高于预设阈值时，表明该聚类区域不属于缺陷。

具体而言，在得到两个屏蔽掉背景区域的二值分割图后，先根据公式(1)计算两个屏蔽后的二值分割图之间的联合概率，将两个屏蔽后的二值分割图根据联合概率进行融合处理以得到融合二值分割图，通过轮廓提取法得到融合二值分割图的聚类区域，并可根据联合概率计算聚类区域的联合概率平均值。之后将实例分割图和聚类区域进行比对，判断实例分割图与聚类区域是否存在重叠区域，如果存在，则计算重叠区域在聚类区域中的面积占比，并以重叠区域替代实例分割网络输出的实例分割图，根据重叠区域的面积占比确定置信度，置信度与面积占比相等；如果不存在重叠区域，则根据联合概率计算聚类区域的联合概率平均值，选择联合概率平均值高于预设阈值的聚类区域，替代实例分割网络输出的实例分割图，从而得到更新后的实例分割图。

其中，在计算重叠区域在聚类区域中的面积占比时，可以将重叠区域的像素点个数除以所在聚类区域中的所有像素点个数，得到面积占比。

之后，将目标检测图和更新后的实例分割图进行合并取交后，得到待测工件的缺陷检测结果，该缺陷检测结果可包括最终的缺陷类别、缺陷位置框、缺陷掩膜和置信度。

基于上述描述可知，本发明实施例基于多任务学习网络进行缺陷检测，可以更好地利用各方面信息，并在此基础上基于假设检验法将多任务学习网络输出的检测结果进行融合处理，以获取到待测工件更加可靠的缺陷检测结果。

在一个具体示例中，如图3所示，对于待测工件的图像，首先，将图像输入主干网络进行特征提取得到五层不同尺度的第一特征图，将五层第一特征图中的后三层第一特征图输入第一特征金字塔网络，得到三层不同尺度的第二特征图，将五层第一特征图中的后四层第一特征图和所有第二特征图输入第二特征金字塔网络，得到四层第三特征图。将四层第三特征图和后四层第一特征图进行融合（图3未示出），具体融合方式如图4和图5所示，先进行单层融合，即将单层第一特征图和对应的单层第三特征图经过连接（Concatenate）、上采样（Up-Sampling）和卷积（Convolution）操作生成两层同样大小的中间特征图，然后再连接起来构成单层融合特征图，后将各个单层融合特征图连接起来得到四层融合特征图。然后，参照图3，将每层第二特征图输入区域推荐网络得到目标候选框，根据目标候选框、采用ROIAlign方法将每层第二特征图中的特征裁剪出来，得到第四特征图，将所有第四特征图分别输入目标检测网络和实例分割网络，目标检测网络通过ATSS方法输出目标检测图，该目标检测图包含初步的缺陷位置框和缺陷类别，实例分割网络比如Mask R-CNN网络通过一个轻量级的上采样网络完成实例分割，得到实例分割图。将所有融合特征图分别输入异常检测网络和语义分割网络，异常检测网络采用基于重构的异常检测方法即GANomaly方法进行异常检测，输出异常检测概率图，语义分割网络输出语义分割图。

最后，如图6所示，根据最大后验概率假设检验法分别对异常检测概率图和语义分割图进行聚类，得到异常检测概率图的第一二值分割图和语义分割图的第二二值分割图，并将两个二值分割图中的背景区域屏蔽掉后进行融合得到融合二值分割图，即图像的像素级融合结果，并通过轮廓提取法得到融合二值分割图的聚类区域，将实例分割图与聚类区域进行融合实现对实例分割图的更新，将更新后的实例分割图与目标检测图进行合并取交，得到最终的缺陷检测结果，该缺陷检测结果可包括最终的缺陷类别、缺陷位置框、缺陷掩膜及其置信度。这种方式获得的缺陷检测结果的漏失率一般会有较明显的降低，可进一步通过特定的或经验的缺陷分析来进一步降低过杀，从而获得更加准确的缺陷检测结果。

也就是说，本发明实施例先根据两个像素级检测结果即异常检测概率图和语义分割图得到得到像素级融合结果，之后根据像素级融合结果对目标级检测结果实例分割图进行更新，最后将目标级检测结果目标检测图与更新后的实例分割图进行融合得到目标级融合结果，即可得到待测工件最终的缺陷检测结果。

通过实际项目测试（共10个项目，包括8个3C（computer、communication andconsumer，即计算机、通信和消费类）电子产品零部件、1个汽车零部件和一个新能源电池壳），测试发现，本发明实施例的漏失率较单一目标检测网络的漏失率平均降低了50%，过杀率平均降低了33%，且其处理速度能达到20帧每秒。此外，本发明实施例达到交付指标所需的数据量平均减少了30%，因而交付周期也相应缩短了30%左右，实现了降本增效。

综上所述，本发明实施例考虑了多个任务之间的相关性，采用端到端的多任务学习网络和基于假设检验法的融合处理实现缺陷检测，既提高了检测效率，又改善了检测效果，保证了检测结果的可靠性和准确性，还降低了成本，能够应用于各个检测场景，在存在缺陷干扰项且样本量不足的情况下，仍具有较强的缺陷检测能力和检测效率。

对应上述实施例的基于多任务学习网络的缺陷检测方法，本发明还提出一种基于多任务学习网络的缺陷检测装置。

图7为本发明实施例的基于多任务学习网络的缺陷检测装置的方框示意图。

如图7所示，该基于多任务学习网络的缺陷检测装置包括：构建模块10、获取模块20、第一输入模块30、第二输入模块40、第一融合模块50、第三输入模块60、第四输入模块70和第二融合模块80。

其中，构建模块10用于构建多任务学习网络，其中，多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络；获取模块20用于获取待测工件的图像，并将图像输入主干网络，以得到图像的多层第一特征图；第一输入模块30用于将所有第一特征图中第一层数的第一特征图输入第一特征金字塔网络，以得到多层第二特征图；第二输入模块40用于将所有第一特征图中第二层数的第一特征图和所有第二特征图输入第二特征金字塔网络，以得到多层第三特征图；第一融合模块50用于将所有第三特征图和第二层数的第一特征图进行融合处理，以得到多层融合特征图；第三输入模块60用于将每层第二特征图进行预处理后得到第四特征图，并将第四特征图分别输入目标检测网络和实例分割网络，以通过目标检测网络得到图像的目标检测图、通过实例分割网络得到图像的实例分割图；第四输入模块70用于将融合特征图分别输入异常检测网络和语义分割网络，以通过异常检测网络得到图像的异常检测概率图、通过语义分割网络得到图像的语义分割图；第二融合模块80用于基于假设检验法将目标检测图、实例分割图、异常检测概率图和语义分割图进行融合处理，以得到待测工件的缺陷检测结果。

在本发明的一个实施例中，第一融合模块50具体用于：确定所有第三特征图中、第二层数的第一特征图中，相互对应的单层第三特征图和单层第一特征图；将每层第三特征图及其对应的单层第一特征图依次进行连接、上采样和卷积操作后得到两层中间特征图；分别将所有两层中间特征图进行连接，以得到多层融合特征图。

在本发明的一个实施例中，第三输入模块60在将每层第二特征图进行预处理后得到第四特征图时用于将每层第二特征图中的特征裁剪出来得到第四特征图。

在本发明的一个实施例中，第三输入模块60在将每层第二特征图中的特征裁剪出来得到第四特征图具体用于：将每层第二特征图输入区域推荐网络得到目标候选框；根据目标候选框通过ROIAlign方法将每层第二特征图中的特征进行裁剪，以得到裁剪出来的第四特征图。

在本发明的一个实施例中，第二融合模块80具体用于：根据最大后验概率假设检验法分别得到异常检测概率图的第一二值分割图和语义分割图的第二二值分割图；分别将第一二值分割图中的背景区域、第二二值分割图中的背景区域进行屏蔽，以得到屏蔽后的第一二值分割图、屏蔽后的第二二值分割图；根据实例分割图、屏蔽后的第一二值分割图和屏蔽后的第二二值分割图对实例分割图进行更新；将目标检测图和更新后的实例分割图进行合并取交，以得到待测工件的缺陷检测结果。

在本发明的一个实施例中，第二融合模块80在根据实例分割图、屏蔽后的第一二值分割图和屏蔽后的第二二值分割图对实例分割图进行更新时，具体用于：计算屏蔽后的第一二值分割图与屏蔽后的第二二值分割图之间的联合概率；根据联合概率将屏蔽后的第一二值分割图和屏蔽后的第二二值分割图进行融合处理，以得到融合二值分割图；通过轮廓提取法得到融合二值分割图的聚类区域，并计算聚类区域的联合概率平均值；根据实例分割图和聚类区域对实例分割图进行更新。

在本发明的一个实施例中，第二融合模块80通过以下公式计算联合概率：

其中，x、y分别为屏蔽后的第一二值分割图对应位置为缺陷的第一概率值、屏蔽后的第二二值分割图对应位置为缺陷的第二概率值， µ ₁ 、 µ ₂ 分别为第一概率值的平均值、第二概率值的平均值， σ ₁ 、 σ ₂ 分别为第一概率值的方差、第二概率值的方差。

在本发明的一个实施例中，第二融合模块80在根据实例分割图和聚类区域对实例分割图进行更新时，具体用于：将实例分割图和聚类区域进行比对；若实例分割图中的实例与聚类区域存在重叠区域，则计算重叠区域在聚类区域中的面积占比，并以重叠区域替代实例分割图、根据重叠区域的面积占比确定置信度；若实例分割图中的实例与聚类区域不存在重叠区域，则在聚类区域的联合概率平均值高于预设阈值时，以聚类区域替代实例分割图。

在本发明的一个实施例中，目标检测网络所采用的目标检测方法为ATSS方法，实例分割网络为Mask R-CNN网络，异常检测网络所采用的异常检测方法为GANomaly方法。

需要说明的是，该基于多任务学习网络的缺陷检测装置的具体实施方式及实施原理可参见上述基于多任务学习网络的缺陷检测方法的具体实施方式，为避免冗余，此处不再详细赘述。

本发明实施例的基于多任务学习网络的缺陷检测装置，采用端到端的多任务学习网络和基于假设检验法的融合处理实现缺陷检测，既提高了检测效率，又改善了检测效果，保证了检测结果的可靠性。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多任务学习网络的缺陷检测方法，其特征在于，包括以下步骤：

构建多任务学习网络，其中，所述多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络；

获取待测工件的图像，并将所述图像输入所述主干网络，以得到所述图像的多层第一特征图；

将所有所述第一特征图中第一层数的第一特征图输入所述第一特征金字塔网络，以得到多层第二特征图；

将所有所述第一特征图中第二层数的第一特征图和所有所述第二特征图输入所述第二特征金字塔网络，以得到多层第三特征图；

将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图；

将每层所述第二特征图进行预处理后得到第四特征图，并将所述第四特征图分别输入所述目标检测网络和所述实例分割网络，以通过所述目标检测网络得到所述图像的目标检测图、通过所述实例分割网络得到所述图像的实例分割图；

将所述融合特征图分别输入所述异常检测网络和所述语义分割网络，以通过所述异常检测网络得到所述图像的异常检测概率图、通过所述语义分割网络得到所述图像的语义分割图；

基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果。

2.根据权利要求1所述的基于多任务学习网络的缺陷检测方法，其特征在于，将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图，包括：

确定所有所述第三特征图中、第二层数的所述第一特征图中，相互对应的单层第三特征图和单层第一特征图；

将每层所述第三特征图及其对应的单层第一特征图依次进行连接、上采样和卷积操作后得到两层中间特征图；

分别将所有两层所述中间特征图进行连接，以得到多层融合特征图。

3.根据权利要求1所述的基于多任务学习网络的缺陷检测方法，其特征在于，将每层所述第二特征图进行预处理后得到第四特征图，包括：

将每层所述第二特征图中的特征裁剪出来得到第四特征图。

4.根据权利要求3所述的基于多任务学习网络的缺陷检测方法，其特征在于，将每层所述第二特征图中的特征裁剪出来得到第四特征图，包括：

将每层所述第二特征图输入区域推荐网络得到目标候选框；

根据所述目标候选框通过ROIAlign方法将每层所述第二特征图中的特征进行裁剪，以得到裁剪出来的第四特征图。

5.根据权利要求1-4任一项所述的基于多任务学习网络的缺陷检测方法，其特征在于，基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果，包括：

根据最大后验概率假设检验法分别得到所述异常检测概率图的第一二值分割图和所述语义分割图的第二二值分割图；

分别将所述第一二值分割图中的背景区域、所述第二二值分割图中的背景区域进行屏蔽，以得到屏蔽后的第一二值分割图、屏蔽后的第二二值分割图；

根据所述实例分割图、所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图对所述实例分割图进行更新；

将所述目标检测图和更新后的实例分割图进行合并取交，以得到所述待测工件的缺陷检测结果。

6.根据权利要求5所述的基于多任务学习网络的缺陷检测方法，其特征在于，根据所述实例分割图、所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图对所述实例分割图进行更新，包括：

计算所述屏蔽后的第一二值分割图与所述屏蔽后的第二二值分割图之间的联合概率；

根据所述联合概率将所述屏蔽后的第一二值分割图和所述屏蔽后的第二二值分割图进行融合处理，以得到融合二值分割图；

通过轮廓提取法得到所述融合二值分割图的聚类区域，并计算所述聚类区域的联合概率平均值；

根据所述实例分割图和所述聚类区域对所述实例分割图进行更新。

7.根据权利要求6所述的基于多任务学习网络的缺陷检测方法，其特征在于，通过以下公式计算所述联合概率：

，

其中，x、y分别为所述屏蔽后的第一二值分割图对应位置为缺陷的第一概率值、所述屏蔽后的第二二值分割图对应位置为缺陷的第二概率值，µ ₁ 、µ ₂ 分别为第一概率值的平均值、第二概率值的平均值，σ ₁ 、σ ₂ 分别为第一概率值的方差、第二概率值的方差。

8.根据权利要求6所述的基于多任务学习网络的缺陷检测方法，其特征在于，根据所述实例分割图和所述聚类区域对所述实例分割图进行更新，包括：

将所述实例分割图和所述聚类区域进行比对；

若所述实例分割图中的实例与所述聚类区域存在重叠区域，则计算所述重叠区域在所述聚类区域中的面积占比，并以所述重叠区域替代所述实例分割图、根据所述重叠区域的面积占比确定置信度；

若所述实例分割图中的实例与所述聚类区域不存在重叠区域，则在所述聚类区域的联合概率平均值高于预设阈值时，以所述聚类区域替代所述实例分割图。

9.根据权利要求1-4任一项所述的基于多任务学习网络的缺陷检测方法，其特征在于，所述目标检测网络所采用的目标检测方法为ATSS方法，所述实例分割网络为Mask R-CNN网络，所述异常检测网络所采用的异常检测方法为GANomaly方法。

10.一种基于多任务学习网络的缺陷检测装置，其特征在于，包括：

构建模块，用于构建多任务学习网络，其中，所述多任务学习网络包括训练好的主干网络、第一特征金字塔网络、第二特征金字塔网络、目标检测网络、实例分割网络、异常检测网络和语义分割网络；

获取模块，用于获取待测工件的图像，并将所述图像输入所述主干网络，以得到所述图像的多层第一特征图；

第一输入模块，用于将所有所述第一特征图中第一层数的第一特征图输入所述第一特征金字塔网络，以得到多层第二特征图；

第二输入模块，用于将所有所述第一特征图中第二层数的第一特征图和所有所述第二特征图输入所述第二特征金字塔网络，以得到多层第三特征图；

第一融合模块，用于将所有所述第三特征图和第二层数的所述第一特征图进行融合处理，以得到多层融合特征图；

第三输入模块，用于将每层所述第二特征图进行预处理后得到第四特征图，并将所述第四特征图分别输入所述目标检测网络和所述实例分割网络，以通过所述目标检测网络得到所述图像的目标检测图、通过所述实例分割网络得到所述图像的实例分割图；

第四输入模块，用于将所述融合特征图分别输入所述异常检测网络和所述语义分割网络，以通过所述异常检测网络得到所述图像的异常检测概率图、通过所述语义分割网络得到所述图像的语义分割图；

第二融合模块，用于基于假设检验法将所述目标检测图、所述实例分割图、所述异常检测概率图和所述语义分割图进行融合处理，以得到所述待测工件的缺陷检测结果。

Images