CN115641437A - 工业缺陷实例分割方法 - Google Patents

Abstract

本发明公开了一种工业缺陷实例分割方法。所述方法包括以下步骤：训练时不固定特征提取网络的浅层网络参数，以保证在开源自然实例数据集上得到的预训练网络能更好地拟合到工业缺陷实例，对工业缺陷实例进行有效的特征提取；使用级联缺陷区域建议模块，避免了从自然实例分割任务迁移到工业缺陷实例分割任务进行的大量参数调整，采用了多次候选框优化的机制提高了算法精度；提出了自适应分割质量评估探头，该模块能根据分割结果生成自适应的分割阈值进行分割结果的二值化，并对分割结果进行打分，解决了实例分割打分偏高的问题。以上设计使得本发明能够有效地解决工业缺陷实例分割问题。

Description

工业缺陷实例分割方法

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种工业缺陷实例分割方法。

背景技术

近年来，工业缺陷检测作为工业生产制造中的重要环节，已成为工业视觉领域重要的研究方向之一。工业缺陷实例分割是工业缺陷检测的具体细分，旨在对待检样本中潜在的缺陷区域进行包含包围盒、类别打分以及分割在内的实例级别的分割。该技术能够辅助工程技术人员对潜在缺陷品进行排查，对缺陷品中的缺陷进行分类，按照缺陷严重程度的不同对这些缺陷品进行分类处理，能够极大地提升工业生产效率，具有丰富的实际应用价值。

现有的主流实例分割方法大致可以划分为单阶段方法和双阶段方法两大类。单阶段方法将实例分割任务作为一个整体考虑或是拆解为并行的分支，具有较高的实时性但精度有限；双阶段方法将实例分割任务分解为两个串行的子任务，具有较高的精度但实时性不如前者。目前所有的实例分割算法均面向自然实例分割任务设计，没有面向工业缺陷检测任务设计的实例分割算法。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种工业缺陷实例分割方法。为达到上述目的，本发明提供如下技术方案：

一种工业缺陷实例分割方法，包括以下步骤：

步骤S1，训练工业缺陷实例分割网络(1)，使用带有实例级别标注的图像作为训练数据输入到训练工业缺陷实例分割网络模型中，利用损失函数对训练过程进行约束；

步骤S2，分割阶段，将含有工业缺陷区域的测试图像(2)输入到工业缺陷实例分割网络(1)中得到工业缺陷实例分割结果，其中步骤S1可细分为3个子步骤：S1-1，工业图像特征提取；S1-2，基于级联缺陷区域建议模块的工业缺陷定位；S1-3，基于自适应分割质量评估的工业缺陷实例分割。

优选地，工业缺陷实例分割网络(1)的训练过程进行了一系列面向工业缺陷实例的针对性设计，该网络能够对候选框位置进行二次修正，对潜在缺陷区域进行精确定位，该过程具体可分为3个步骤：

步骤S1-1，工业图像特征提取，利用基于卷积神经网络的骨干网络提取输入图像的融合特征，具体包括：

步骤S1-1(1)，使用在ImageNet上预训练得到的ResNet50作为特征提取网络对输入图像进行特征提取，从第一到第四个卷积块输出的图像特征图尺寸分别为输入图像的1/4，1/8，1/16和1/32，通道数分别为C₁，C₂，C₃，C₄，C₁，C₂，C₃，C₄分别为预设值。ImageNet为自然实例数据集，考虑到自然实例与工业缺陷实例之间的显著性差异，不同于自然实例分割任务的做法，训练时不固定ResNet50的浅层网络参数；

步骤S1-1(2)，将骨干网络提取的第四个卷积块输出的1/32分辨率的特征图经过卷积层降维

得到融合特征F₁,之后使用最大池化降低分辨率为原来的1/2得到融合特征F₂；

步骤S1-1(3)，将骨干网络提取的第三个卷积块输出的1/16分辨率的特征图经过卷积层降维

对F1进行最邻近上采样与与前者堆叠后采用1×1卷积进行融合

得到融合特征F3；

步骤S1-1(4)，将骨干网络提取的第三个卷积块输出的1/8分辨率的特征图经过卷积层降维

对F1进行最邻近上采样与前者堆叠后采用1×1卷积进行融合

得到融合特征F4；

步骤S1-1(5)，将骨干网络提取的第三个卷积块输出的1/4辨率的特征图经过卷积层进行平滑，对F1进行最邻近上采样与前者堆叠后采用1×1卷积进行融合

得到融合特征F5；

步骤S1-2，基于级联缺陷区域建议模块的工业缺陷定位。优选地，将融合特征F1,F2,F3,F4,F5输入到级联缺陷区域建议网络中对潜在缺陷区域进行定位，具体包括：

步骤S1-2(1)，使用3×3空洞卷积核对融合特征F1进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L1；按照回归值L1对融合特征F1中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R1和类别分数S1；根据二次回归值R1对预设候选框进行修正，基于类别分数S1选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F1对应的候选框A1，K为预设值；使用ROI Align基于候选框A1提取融合特征F1中的ROI特征G1；

步骤S1-2(2)，使用3×3空洞卷积核对融合特征F2进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L2；按照回归值L2对融合特征F2中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R2和类别分数S2；根据二次回归值R2对预设候选框进行修正，基于类别分数S2选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F2对应的候选框A2，K为预设值；使用ROI Align基于候选框A2提取融合特征F2中的ROI特征G2；

步骤S1-2(3)，使用3×3空洞卷积核对融合特征F3进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L3；按照回归值L3对融合特征F3中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R3和类别分数S3；根据二次回归值R3对预设候选框进行修正，基于类别分数S3选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F3对应的候选框A3，K为预设值；使用ROI Align基于候选框A3提取融合特征F3中的ROI特征G3；

步骤S1-2(4)，使用3×3空洞卷积核对融合特征F4进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L4；按照回归值L4对融合特征F4中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R4和类别分数S4；根据二次回归值R4对预设候选框进行修正，基于类别分数S4选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F4对应的候选框A4，K为预设值；使用ROI Align基于候选框A4提取融合特征F4中的ROI特征G4；

步骤S1-2(5)，使用3×3空洞卷积核对融合特征F5进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L5；按照回归值L5对融合特征F5中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R5和类别分数S5；根据二次回归值R5对预设候选框进行修正，基于类别分数S5选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F5对应的候选框A5，K为预设值；使用ROI Align基于候选框A5提取融合特征F1中的ROI特征G5。

步骤S1-3，基于自适应分割质量评估的工业缺陷实例分割。将前述得到的ROI特征G1,G2,G3,G4,G5输入到工业缺陷实例分割模块生成实例分割结果，工业缺陷实例分割模块由检测探头、分割探头以及自适应分割质量评估探头构成：检测探头用于生成候选框回归值、分类分数；分割探头用于生成分割结果；自适应分割质量评估探头根据分割探头输出计算动态阈值对分割结果进行二值化，针对二值化分割结果输出分割质量分数，将该分数与分类分数相乘得到最终实例分割分数，具体地：

步骤S1-3(1)，将ROI特征G1输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L1以及类别分数预测P1；

步骤S1-3(2)，将ROI特征G2输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L2以及类别分数预测P2；

步骤Y1-3(3)，将ROI特征G3输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L3以及类别分数预测P3；

步骤Y1-3(4)，将ROI特征G4输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L4以及类别分数预测P4；

步骤S1-3(5)，将ROI特征G5输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L5以及类别分数预测P5；

步骤S1-3(6)，将ROI特征G1输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T1；将分割结果T1输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M1；使用自适应分割阈值对分割结果T1进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G1在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E1；

步骤S1-3(7)，将ROI特征G2输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T2；将分割结果T2输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M2；使用自适应分割阈值对分割结果T2进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G2在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E2；

步骤S1-3(8)，将ROI特征G3输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T3；将分割结果T3输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M3；使用自适应分割阈值对分割结果T3进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G3在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E3；

步骤S1-4(9)，将ROI特征G4输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T4；将分割结果T4输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M4；使用自适应分割阈值对分割结果T4进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G4在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E4；

步骤S1-3(10)，将ROI特征G5输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T5；将分割结果T5输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M5；使用自适应分割阈值对分割结果T5进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G1在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E5；

步骤S1-3(11)，将分割质量分数F1，E2，E3，E4，F5，候选框回归值L1，L2，L3，L4，L5，类别分数预测P1，P2，P3，P4，P5，自适应分割阈值M1,M2,M3,M4,M5以及分割结果T1,T2,T3,T4,T5分别与对应真值标签计算损失相加得到总损失用于模型参数的更新。

优选地，在分割阶段，将待检测缺陷样本输入到工业缺陷实例分割网络(1)中，由工业缺陷实例分割模块输出包括候选框回归值L、类别分数P与分割质量分数E相乘得到的实例分割分数Z以及分割结果T在内的实例分割结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：

(1)本发明提出了一种工业缺陷实例分割方法，方法核心框架由特征提取网络、特征金字塔网络、级联缺陷区域建议模块、工业缺陷实例分割模块构成。本发明面向工业缺陷实例数据进行了设计，具体包括：训练时不固定特征提取网络的浅层网络参数，以保证在开源自然实例数据集上得到的预训练网络能更好地拟合到工业缺陷实例，对工业缺陷实例进行有效的特征提取；使用级联缺陷区域建议模块，避免了从自然实例分割任务迁移到工业缺陷实例分割任务进行的大量参数调整，采用了多次候选框优化的机制提高了算法精度；提出了自适应分割质量评估探头，该模块能根据分割质量生成自适应的分割阈值进行分割结果的二值化，并对分割结果进行打分，解决了实例分割打分偏高的问题。

(2)由于目前主流的实例分割方法均围绕自然实例分割任务展开，没有面向工业缺陷实例分割任务设计的算法，本发明提出了第一个解决工业缺陷实例分割任务的算法。

附图说明

图1是本发明提供的工业缺陷实例分割方法的整体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种工业缺陷实例分割方法，如图1所示，包括以下步骤：

步骤S1，训练工业缺陷实例分割网络(1)。使用带有实例级别标注的图像作为训练数据输入到模型中，利用损失函数对训练过程进行约束。

步骤S2，分割阶段。将含有工业缺陷区域的测试图像输入到工业缺陷实例分割网络(1)中得到工业缺陷实例分割结果。

主要有三个实现部分：1)特征提取网络训练策略；2)使用级联缺陷区域建议模块；3)提出了自适应分割质量评估探头。接下来对本发明中步骤进行详细说明。

(1)特征提取网络训练策略的改变

本发明实施例中特征提取网络策略步骤如下。特征提取网络选用在ImageNet上预训练得到的ResNet50，训练时特征网络读取预训练参数后不固定任何一层的参数，采用端到端的训练方式更新模型参数。

(2)使用级联缺陷区域建议模块

本发明实施例级联缺陷区域建议模块用于对特征中的潜在缺陷区域进行定位，做法如下：

步骤S1-2(1)，使用3×3空洞卷积核对融合特征F1进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L1；按照回归值L1对融合特征F1中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R1和类别分数S1；根据二次回归值R1对预设候选框进行修正，基于类别分数S1选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F1对应的候选框A1，K为预设值；使用ROI Align基于候选框A1提取融合特征F1中的ROI特征G1；

步骤S1-2(2)，使用3×3空洞卷积核对融合特征F2进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L2；按照回归值L2对融合特征F2中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R2和类别分数S2；根据二次回归值R2对预设候选框进行修正，基于类别分数S2选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F2对应的候选框A2，K为预设值；使用ROI Align基于候选框A2提取融合特征F2中的ROI特征G2；

步骤S1-2(3)，使用3×3空洞卷积核对融合特征F3进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L3；按照回归值L3对融合特征F3中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R3和类别分数S3；根据二次回归值R3对预设候选框进行修正，基于类别分数S3选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F3对应的候选框A3，K为预设值；使用ROI Align基于候选框A3提取融合特征F3中的ROI特征G3；

步骤S1-2(4)，使用3×3空洞卷积核对融合特征F4进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L4；按照回归值L4对融合特征F4中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R4和类别分数S4；根据二次回归值R4对预设候选框进行修正，基于类别分数S4选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F4对应的候选框A4，K为预设值；使用ROI Align基于候选框A4提取融合特征F4中的ROI特征G4；

步骤S1-2(5)，使用3×3空洞卷积核对融合特征F5进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L5；按照回归值L5对融合特征F5中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R5和类别分数S5；根据二次回归值R5对预设候选框进行修正，基于类别分数S5选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F5对应的候选框A5，K为预设值；使用ROI Align基于候选框A5提取融合特征F1中的ROI特征G5。

(3)提出了自适应分割质量评估探头

本发明实施例提出了自适应分割质量评估探头，该模块能根据分割质量生成自适应的分割阈值进行分割结果的二值化，并对分割结果进行打分，解决了实例分割打分偏高的问题，做法如下：

步骤S1-3(1)，将ROI特征G1输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L1以及类别分数预测P1；

步骤S1-3(2)，将ROI特征G2输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L2以及类别分数预测P2；

步骤S1-3(3)，将ROI特征G3输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L3以及类别分数预测P3；

步骤S1-3(4)，将ROI特征G4输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L4以及类别分数预测P4；

步骤S1-3(5)，将ROI特征G5输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^{7 ×7×256}→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L5以及类别分数预测P5；

步骤S1-3(6)，将ROI特征G1输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T1；将分割结果T1输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M1；使用自适应分割阈值对分割结果T1进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G1在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E1；

步骤S1-3(7)，将ROI特征G2输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T2；将分割结果T2输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M2；使用自适应分割阈值对分割结果T2进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G2在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E2；

步骤Y1-3(8)，将ROI特征G3输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T3；将分割结果T3输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M3；使用自适应分割阈值对分割结果T3进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G3在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E3；

步骤S1-3(9)，将ROI特征G4输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T4；将分割结果T4输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M4；使用自适应分割阈值对分割结果T4进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G4在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数E4；

步骤S1-3(10)，将ROI特征G5输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

陵用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T5；将分割结果T5输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M5；使用自适应分割阈值对分割结果T5进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G1在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256，后接两个全连接层得到分割质量分数F5。

在此步骤中，分割结果T、分割质量因数E、候选框回归值L与类别分数P之间相互影响，共同作用，以提升最终的分割精度。具体地，在训练阶段，分割质量分数F1，E2，E3，E4，F5，候选框回归值L1，L2，L3，L4，L5，类别分数预测P1，P2，P3，P4，P5，自适应分割阈值M1，M2，M3，M4，M5以及分割结果T1，T2，T3，T4，T5分别与对应真值标签计算损失相加得到总损失用于模型参数的更新；在测试阶段，工业缺陷实例分割模块输出包括候选框回归值L、类别分数P与分割质量分数E相乘得到的实例分割分数Z以及分割结果T在内的实例分割结果。

本发明提出了一种工业缺陷实例分割方法。本发明面向工业缺陷实例数据进行了设计，具体包括：训练时不固定特征提取网络的浅层网络参数，以保证在开源自然实例数据集上得到的预训练网络能更好地拟合到工业缺陷实例，对工业缺陷实例进行有效的特征提取；使用级联缺陷区域建议模块，避免了从自然实例分割任务迁移到工业缺陷实例分割任务进行的大量参数调整，采用了多次候选框优化的机制提高了算法精度；提出了自适应分割质量评估探头，该模块能根据分割质量生成自适应的分割阈值进行分割结果的二值化，并对分割结果进行打分，解决了实例分割打分偏高的问题。以上设计使得本发明能够有效地解决工业缺陷实例分割问题。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种工业缺陷实例分割方法，其特征在于，包括如下步骤：

步骤S1，训练工业缺陷实例分割网络(1)，使用带有实例级别标注的图像作为训练数据输入到训练工业缺陷实例分割网络模型中，利用损失函数对训练过程进行约束；其中步骤S1包括3个子步骤：S1-1，工业图像特征提取；S1-2，基于级联缺陷区域建议模块的工业缺陷定位；S1-3，基于自适应分割质量评估的工业缺陷实例分割；

步骤S2，分割阶段，将含有工业缺陷区域的测试图像(2)输入到工业缺陷实例分割网络(1)中得到工业缺陷实例分割结果。

2.如权利要求1所述的工业缺陷实例分割方法，其特征在于，所述步骤S1具体包括：

步骤S1-1，工业图像特征提取，利用基于卷积神经网络的骨干网络提取输入图像的融合特征；

步骤S1-2，基于级联缺陷区域建议模块的工业缺陷定位，将融合特征F1,F2,F3,F4,F5输入到级联缺陷区域建议网络中对潜在缺陷区域进行定位；

步骤S1-3，基于自适应分割质量评估的工业缺陷实例分割，将前述得到的ROI特征G1,G2,G3,G4,G5输入到工业缺陷实例分割模块生成实例分割结果。

3.如权利要求2所述的工业缺陷实例分割方法，其特征在于，所述步骤S1-1具体包括：

步骤S1-1(1)，使用在ImageNet上预训练得到的ResNet50作为特征提取网络对输入图像进行特征提取，从第一到第四个卷积块输出的图像特征图尺寸分别为输入图像的1/4，1/8，1/16和1/32，通道数分别为C₁，C₂，C₃，C₄，C₁，C₂，C₃，C₄分别为预设值；

步骤S1-1(2)，将骨干网络提取的第四个卷积块输出的1/32分辨率的特征图经过卷积层降维

得到融合特征F₁,之后使用最大池化降低分辨率为原来的1/2得到融合特征F₂；

步骤S1-1(3)，将骨干网络提取的第三个卷积块输出的1/16分辨率的特征图经过卷积层降维

对F1进行最邻近上采样与与前者堆叠后采用1×1卷积进行融合

得到融合特征F3；

步骤S1-1(4)，将骨干网络提取的第三个卷积块输出的1/8分辨率的特征图经过卷积层降维

对F1进行最邻近上采样与前者堆叠后采用1×1卷积进行融合

得到融合特征F4；

步骤S1-1(5)，将骨干网络提取的第三个卷积块输出的1/4辨率的特征图经过卷积层进行平滑，对F1进行最邻近上采样与前者堆叠后采用1×1卷积进行融合

得到融合特征F5。

4.如权利要求2所述的工业缺陷实例分割方法，其特征在于，所述步骤S1-2具体包括：

步骤S1-2(1)，使用3×3空洞卷积核对融合特征F1进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L1；按照回归值L1对融合特征F1中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R1和类别分数S1；根据二次回归值R1对预设候选框进行修正，基于类别分数S1选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F1对应的候选框A1，K为预设值；使用ROI Align基于候选框A1提取融合特征F1中的ROI特征G1；

步骤S1-2(2)，使用3×3空洞卷积核对融合特征F2进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L2；按照回归值L2对融合特征F2中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R2和类别分数S2；根据二次回归值R2对预设候选框进行修正，基于类别分数S2选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F2对应的候选框A2，K为预设值；使用ROI Align基于候选框A2提取融合特征F2中的ROI特征G2；

步骤S1-2(3)，使用3×3空洞卷积核对融合特征F3进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L3；按照回归值L3对融合特征F3中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R3和类别分数S3；根据二次回归值R3对预设候选框进行修正，基于类别分数S3选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F3对应的候选框A3，K为预设值；使用ROI Align基于候选框A3提取融合特征F3中的ROI特征G3；

步骤S1-2(4)，使用3×3空洞卷积核对融合特征F4进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L4；按照回归值L4对融合特征F4中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R4和类别分数S4；根据二次回归值R4对预设候选框进行修正，基于类别分数S4选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F4对应的候选框A4，K为预设值；使用ROI Align基于候选框A4提取融合特征F4中的ROI特征G4；

步骤S1-2(5)，使用3×3空洞卷积核对融合特征F5进行特征编码并用ReLu层进行激活，然后使用回归器进行一次候选框回归得到回归值L5；按照回归值L5对融合特征F5中预设候选框进行修正，使用自适应卷积进行特征编码，后接分类器和回归器对潜在缺陷进行二次回归和类别分数，得到二次回归值R5和类别分数S5；根据二次回归值R5对预设候选框进行修正，基于类别分数S5选取前景得分最高的前K个候选框，使用非极大值抑制去除冗余候选框，得到融合特征F5对应的候选框A5，K为预设值；使用ROI Align基于候选框A5提取融合特征F1中的ROI特征G5。

5.如权利要求2所述的工业缺陷实例分割方法，其特征在于，所述步骤S1-3具体为：

基于自适应分割质量评估的工业缺陷实例分割，将前述得到的ROI特征G1,G2,G3,G4,G5输入到工业缺陷实例分割模块生成实例分割结果，工业缺陷实例分割模块由检测探头、分割探头以及自适应分割质量评估探头构成：检测探头用于生成候选框回归值、分类分数；分割探头用于生成分割结果；自适应分割质量评估探头根据分割探头输出计算动态阈值对分割结果进行二值化，针对二值化分割结果输出分割质量分数，将该分数与分类分数相乘得到最终实例分割分数。

6.如权利要求5所述的工业缺陷实例分割方法，其特征在于，所述检测探头具体用于：

步骤S1-3(1)，将ROI特征G1输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维

后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L1以及类别分数预测P1；

步骤S1-3(2)，将ROI特征G2输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^7×7×256→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L2以及类别分数预测P2；

步骤S1-3(3)，将ROI特征G3输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^7×7×256→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L3以及类别分数预测P3；

步骤S1-3(4)，将ROI特征G4输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^7×7×256→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L4以及类别分数预测P4；

步骤S1-3(5)，将ROI特征G5输入检测探头，使用池化层，旨在将该特征下采样到固定尺寸

使用7×7卷积核对下采样特征进行下采样以及升维R^7×7×256→R^1×1×1024，后接1×1卷积核对特征进行编码；使用两个全连接层对激活特征进行位置编码，后接两个并行的全连接层得到候选框回归值L5以及类别分数预测P5。

7.如权利要求5所述的工业缺陷实例分割方法，其特征在于，所述分割探头具体用于：

步骤S1-3(6)，将ROI特征G1输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T1；

步骤S1-3(7)，将ROI特征G2输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T2；

步骤S1-3(8)，将ROI特征G3输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T3；

步骤S1-4(9)，将ROI特征G4输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T4；

步骤S1-3(10)，将ROI特征G5输入分割探头，使用池化层，旨在将该特征下采样到固定尺寸

使用4个3×3卷积核对下采样特征进行编码，后接2×2反卷积层对编码特征进行上采样R^14×14×256→R^28×18×256，后接3×3卷积核生成分割结果T5。

8.如权利要求6所述的工业缺陷实例分割方法，其特征在于，所述自适应分割质量评估探头具体用于：

步骤S1-3(6)，将分割结果T1输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M1；使用自适应分割阈值对分割结果T1进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G1在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256,后接两个全连接层得到分割质量分数E1；

步骤S1-3(7)，将分割结果T2输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M2；使用自适应分割阈值对分割结果T2进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G2在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256,后接两个全连接层得到分割质量分数E2；

步骤S1-3(8)，将分割结果T3输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M3；使用自适应分割阈值对分割结果T3进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G3在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256,后接两个全连接层得到分割质量分数E3；

步骤S1-4(9)，将分割结果T4输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M4；使用自适应分割阈值对分割结果T4进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G4在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256,后接两个全连接层得到分割质量分数E4；

步骤S1-3(10)，将分割结果T5输入自适应分割质量评估探头，使用全局平均池化、全连接层，后接Sigmoid操作得到自适应分割阈值M5；使用自适应分割阈值对分割结果T5进行二值化，将二值化分割结果进行最大池化操作下采样到1/4分辨率与ROI特征G1在通道维度叠加后经过4个3×3卷积核下采样降维R^14×14×257→R^7×7×256,后接两个全连接层得到分割质量分数E5。

9.如权利要求8所述的工业缺陷实例分割方法，其特征在于，得到5个分割质量分数后，将分割质量分数E1,E2,E3,E4,E5,候选框回归值L1,L2,L3,L4,L5,类别分数预测P1,P2,P3,P4,P5，自适应分割阈值M1,M2,M3,M4,M5以及分割结果T1,T2,T3,T4,T5分别与对应真值标签计算损失相加得到总损失用于模型参数的更新。

10.如权利要求1或2所述的工业缺陷实例分割方法，其特征在于，所述步骤S2具体包括：在分割阶段，将待检测缺陷样本输入到工业缺陷实例分割网络(1)中，由工业缺陷实例分割模块输出包括候选框回归值L、类别分数P与分割质量分数E相乘得到的实例分割分数Z以及分割结果T在内的实例分割结果。

Images