CN110232675B - 一种工业环境下的纹理表面缺陷检测与分割装置及方法 - Google Patents

Abstract

本发明涉及一种工业环境下的纹理表面缺陷检测与分割装置及方法，属于工业纹理表面缺陷检测与分割技术领域。本发明包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI；本发明能够自动获取多类缺陷具体类别、缺陷精确位置坐标和缺陷空间分布信息，对缺陷多尺度有良好的鲁棒性。对纹理表面缺陷有着广泛的适用性和较高的检测精度。

Description

一种工业环境下的纹理表面缺陷检测与分割装置及方法

技术领域

本发明涉及一种工业环境下的纹理表面缺陷检测与分割装置及方法，属于工业纹理表面缺陷检测与分割技术领域。

背景技术

在工业产品加工过程中，由于原材料、轧制设备和工艺等原因，使得其表面不可避免会出现不同类型的缺陷，常见的缺陷包括划痕，气孔和夹杂物等，这些缺陷不仅影响产品的外观，还会降低产品的耐腐蚀性、耐磨性和疲劳强度等性能，给企业造成巨大的经济损失。如何在生产过程中自动检测与分割表面缺陷以控制和提高产品质量，一直是企业高度关注的问题。

传统检测方法采用形态学、局部环形对比、显着图，区域和大津等进行缺陷定位；通过小波滤波器、局部二值模式，散射卷积网络等提取缺陷特征；通过贝叶斯网络、支持向量机、杂交染色体遗传算法等进行分类。传统分割方法大多基于统计特征、数学形态学、模糊集合、神经网络、多尺度理论和遗传算法等。这些基于人工设计的特征或浅层学习的特征对于缺陷多样化和噪声没有良好的鲁棒性，且要求设计者具有丰富的先验知识，只适用于特定的缺陷检测和分割，很难适应缺陷面积大小不一、形状种类多样化、背景区域复杂的缺陷自动检测与分割，自适应性及泛化性较差，存在应用的局限性。

此外，一些研究人员仅关注单一类型的表面缺陷，如残留氧化皮，周期性缺陷，微缺陷和裂纹缺陷等。多类缺陷检测与分割仍然是一个主要挑战，因此，有必要提供一种通用的、可重用的缺陷检测与分割方法。

目前，深度学习技术在视觉领域取得了巨大成功，并得益于GPU硬件加速和大数据技术，其已从学术界走向工程界，大量应用在图像分类、物体检测、图像分割、图像标注等实际工程领域。与传统的缺陷检测与分割方法不同，特征提取器和分类器可以从输入缺陷图像自动端到端地进行训练，以构建更加智能的检测与分割系统，可以弥补传统手动和浅层学习方法的缺点。除此之外，CNN的高度非线性映射能力使其非常有效解决表面缺陷检测与分割的实际问题，能自适应提取不同层级的特征，有效提高检测精度及泛化性。

发明内容

本发明提供了一种工业环境下的纹理表面缺陷检测与分割装置及方法，以用于解决传统方法需要依赖特征提取技术、自适应性和泛化性差等问题。使用基于掩模区域的卷积神经网络模型同时对输入的多类缺陷图像执行缺陷检测和分割任务。

本发明的技术方案是：一种工业环境下的纹理表面缺陷检测与分割装置，包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；

所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI。

进一步地，所述特征提取模块II用于提取缺陷图像的多尺度特征；

所述缺陷区域提取模块III为候选区域提取网络RPN，用于对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

所述缺陷区域对齐模块IV为感兴趣区域对齐层RoIAlign，用于根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

所述检测模块V为快速的基于区域的卷积神经网络Fast R-CNN，用于输出预测缺陷区域映射产生的固定大小的特征图的具体类别和位置坐标；

所述分割模块VI为掩码区域提取网络Mask，输出对应预测缺陷区域映射产生的固定大小的特征图的空间分布信息。

一种工业环境下的纹理表面缺陷检测与分割方法，包括如下步骤：

步骤1、建立用于微调训练的工业纹理表面缺陷检测与分割图像数据集作为输入模块I，其中包括训练集和测试集；

步骤2、搭建特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V和分割模块VI；此些模块共同组成缺陷检测与分割网络；

步骤3、通过特征提取模块II对输入模块I中的图像数据集进行缺陷图像的多尺度特征的提取；

步骤4、通过缺陷区域提取模块III对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

步骤5、缺陷区域对齐模块IV根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

步骤6、使用大型图像数据集COCO对缺陷检测与分割网络进行预训练；

步骤7、设置缺陷检测与分割网络的超参数，包括卷积层数量、池化层数量、全连接层数量、卷积核尺寸、卷积核数量、卷积核滑动步长值、池化策略和激活函数类型；

步骤8、构建整个缺陷检测与分割网络的多任务损失函数；

步骤9、设置缺陷检测与分割网络的训练超参数，包括优化方法、迭代学习率、权重初始化策略、权重衰减参数和动量系数；

步骤10、采用迁移学习方法对整个缺陷检测与分割网络进行训练，减少训练数据需求并提高训练模型的预测准确性；

步骤11、使用训练完成的缺陷检测与分割网络来进行缺陷检测和分割的任务，得出预测缺陷区域映射产生的固定大小的特征图的轮廓、具体类别、位置坐标和空间分布信息。

进一步地，步骤1所述的工业纹理表面缺陷检测与分割图像数据集的训练集为人工采用多边形对缺陷图像中的缺陷区域进行标注，每个标注指示对应缺陷的真实类别、位置坐标和空间分布。

进一步地，步骤3所述特征提取模块II包括残差网络Resnet-101或Resnet-50 和改进后的特征金字塔网络FPN，Resnet-101或Resnet-50包括第一层池化层输出C1，四个残差模块输出{C2,C3,C4,C5}，不同之处在于，Resnet-101残差网络的层数与 Resnet-50的层数不同，Resnet-101包括101层，Resnet-50包括50层；FPN用于融合Resnet-101或Resnet-50的四个残差模块输出{C2,C3,C4,C5}，并输出最终的多尺度特征图。

进一步地，步骤8所述损失函数为一个多任务损失函数，包括缺陷分类任务损失函数、缺陷定位损失函数和缺陷分割损失函数；

所述缺陷分类任务损失函数如下式所示：

L_cls(p_i,p_i ^*)＝-log[p_ip_i ^*+(1-p_i)(1-p_i ^*)]

其中，L_cls为缺陷分类任务损失函数，将候选缺陷区域anchor预测为缺陷和背景的对数损失；i表示缺陷特征图上anchor的下标；p_i表示第i个anchor被预测为正样本即缺陷的概率；当anchor为正样本时，p_i ^*＝1，当anchor为负样本即背景时， p_i ^*＝0；

所述缺陷定位任务损失函数如下式所示：

其中，L_loc为缺陷定位任务损失函数，通过比较预测缺陷区域predicted-box边界框和真实缺陷区域ground-truth边界框的坐标差值得到；t_l＝{t_x,t_y,t_w,t_h}为第l个predicted-box边界框坐标对应的向量，(t_x,t_y)为predicted-box边界框的中心点坐标，t_w和 t_h为predicted-box边界框的宽和高；t_l ^*＝{t_x ^*,t_y ^*,t_w ^*,t_h ^*}为第l个ground-truth边界框坐标对应的向量，(t_x ^*,t_y ^*)为ground-truth边界框的中心点坐标，t_w ^*和t_h ^*为ground-truth边界框的宽和高；R(t_l-t_l ^*)是

函数，即

向量t和t^*中每个值的计算方法如下式所示：

其中，(x,y)为predicted-box边界框的中心点坐标，w和h为predicted-box边界框的高和宽；(x_a,y_a)为anchor边界框的中心点坐标，w_a和h_a为anchor边界框的高和宽；(x^*,y^*)为ground-truth边界框的中心点坐标，w^*和h^*为ground-truth边界框的高和宽；

所述缺陷分割任务损失函数如下式所示：

L_mask＝Sigmoid([Km²]_n)

其中，L_mask为缺陷分割任务损失函数，定义为平均二进制交叉熵损失，通过逐像素的Sigmoid计算得到；对于每个predicted-box，分割模块VI的输出维度为Km²，表示生成K个分辨率为m*m的二进制掩码，K表示缺陷种类，n表示当前predicted-box 的类别；

进而得到缺陷检测与分割网络的多任务损失函数，如下式所示：

其中，分类任务损失L_cls和定位任务损失L_loc由N_cls和N_reg归一化，N_cls表示从一张缺陷图像中任意提取的anchor数量，正负样本各占128个，N_reg表示anchor的数量，λ表示平衡L_cls和L_loc的权重参数，p_i ^*为定位任务损失激活参数，p_i ^*可以取0或1；当输入anchor是正样本时，p_i ^*取1；当输入anchor是负样本时，p_i ^*取0；所述正样本通过IoU策略进行筛选，IoU>0.5的anchor视为正样本，0<IoU>0.3的anchor视为负样本，剩余的忽略不计。

进一步地，所述步骤9中：

优化方法为：设置输入缺陷图像大小为512*512；使用批量梯度下降法进行训练，每批次选取一张缺陷图像，训练缺陷区域提取模块III的批次为256个缺陷区域，训练检测模块V和分割模块VI的批次为32个缺陷区域；缺陷检测与分割网络的权重衰减参数设置为0.0001，动量系数设置为0.9；

微调缺陷检测与分割网络时，训练前20k的迭代学习率设置为0.001，后20k的迭代学习率设置为0.0001；权重初始化策略为：使用高斯方法对缺陷检测与分割网络独有层的参数进行初始化。

本发明的有益效果是：

1、提取的融合特征具有缺陷丰富的位置信息和空间分布信息，能有效解决多尺度检测和分割的问题；

2、在有效检测多类缺陷目标的同时完成高质量的缺陷语义分割，提供了一种更高效和通用的缺陷检测与分割方法；

3、特征提取网络与检测网络和分割网络共享卷积层，减少了训练和测试过程中的计算量，具有良好的灵活性和鲁棒性。

附图说明

图1为本发明提供的缺陷检测与分割网络模型结构示意图；

图2为本发明提供的缺陷检测与分割流程图；

图3为本发明实施例提供的缺陷检测与分割结果示意图，其中(a)为class1缺陷，(b)为class2缺陷，(c)为class3缺陷，(d)为class4缺陷，(e)为class5缺陷， (f)为class6缺陷，(g)为class7缺陷，(h)为class8缺陷，(i)为class9缺陷，(j) 为class10缺陷；

图4为本发明实施例提供的缺陷检测与分割实验结果图。

图5为本发明改进后的共享特征图。

具体实施方式

实施例1：如图1-5所示，一种工业环境下的纹理表面缺陷检测与分割装置，包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；

所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI。

进一步地，所述特征提取模块II用于提取缺陷图像的多尺度特征；

所述缺陷区域提取模块III为候选区域提取网络RPN，用于对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

所述缺陷区域对齐模块IV为感兴趣区域对齐层RoIAlign，用于根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

所述检测模块V为快速的基于区域的卷积神经网络Fast R-CNN，用于输出预测缺陷区域映射产生的固定大小的特征图的具体类别和位置坐标；

所述分割模块VI为掩码区域提取网络Mask，输出对应预测缺陷区域映射产生的固定大小的特征图的空间分布信息。

一种工业环境下的纹理表面缺陷检测与分割方法，包括如下步骤：

步骤1、建立用于微调训练的工业纹理表面缺陷检测与分割图像数据集作为输入模块I，其中包括训练集和测试集；

步骤2、搭建特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V和分割模块VI；此些模块共同组成缺陷检测与分割网络；

步骤3、通过特征提取模块II对输入模块I中的图像数据集进行缺陷图像的多尺度特征的提取；

步骤4、通过缺陷区域提取模块III对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

步骤5、缺陷区域对齐模块IV根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

步骤6、使用大型图像数据集COCO对缺陷检测与分割网络进行预训练；

步骤7、设置缺陷检测与分割网络的超参数，包括卷积层数量、池化层数量、全连接层数量、卷积核尺寸、卷积核数量、卷积核滑动步长值、池化策略和激活函数类型；

步骤8、构建整个缺陷检测与分割网络的多任务损失函数；

步骤9、设置缺陷检测与分割网络的训练超参数，包括优化方法、迭代学习率、权重初始化策略、权重衰减参数和动量系数；

进一步地，所述步骤9中：

优化方法为：设置输入缺陷图像大小为512*512；使用批量梯度下降法进行训练，每批次选取一张缺陷图像，训练缺陷区域提取模块III的批次为256个缺陷区域，训练检测模块V和分割模块VI的批次为32个缺陷区域；缺陷检测与分割网络的权重衰减参数设置为0.0001，动量系数设置为0.9；

微调缺陷检测与分割网络时，训练前20k的迭代学习率设置为0.001，后20k的迭代学习率设置为0.0001；权重初始化策略为：使用高斯方法对缺陷检测与分割网络独有层的参数进行初始化。

步骤10、采用迁移学习方法对整个缺陷检测与分割网络进行训练，减少训练数据需求并提高训练模型的预测准确性；

步骤11、使用训练完成的缺陷检测与分割网络来进行缺陷检测和分割的任务，得出预测缺陷区域映射产生的固定大小的特征图的轮廓、具体类别、位置坐标和空间分布信息。

进一步地，步骤1所述的工业纹理表面缺陷检测与分割图像数据集的训练集为人工采用多边形对缺陷图像中的缺陷区域进行标注，每个标注指示对应缺陷的真实类别、位置坐标和空间分布。

进一步地，步骤3所述特征提取模块II包括残差网络Resnet-101或Resnet-50 和改进后的特征金字塔网络FPN，Resnet-101或Resnet-50包括第一层池化层输出C1，四个残差模块输出{C2,C3,C4,C5}，不同之处在于，两个残差网络不同的地方是残差模块中的卷积层数和卷积核数不同，其中，Resnet-101残差网络的层数与Resnet-50 的层数不同，Resnet-101包括101层，Resnet-50包括50层；FPN用于融合Resnet-101 或Resnet-50的四个残差模块输出{C2,C3,C4,C5}，并输出最终的多尺度特征图。经过大型图像数据集COCO的学习使得网络获得强大的表征能力，能够充分发挥神经网络的迁移学习能力。

选取的残差网络设置如表1所示：

表1残差网络设置

改进后的FPN如下图所示，采用自下而上的连接方法对特征金字塔网络提取的特征图进行连接，并融合特征图形成最终的共享特征图，充分利用高层特征，达到更好的检测效果。其中，C2-C5、P2-P5、D2-D5分别为共享卷积层、FPN及改进后的FPN生成的特征图。具体方法为：

步骤3.1、对FPN生成的不同尺寸特征图P2-P5，增加一条自下而上的路径D2-D5。

步骤3.2、D2与P2尺寸相同，P2经过1x1卷积核得到D2，D2经过步长为2 的3x3卷积核，得到与P3相同尺寸的特征图并与P3经过进行1x1卷积核得到的特征图进行相加，得到D3，以此类推得到D4和D5。上述卷积操作的卷积核数量均为 256。

步骤3.3、基于步骤3.2得到的D2、D3、D4和D5，均通过256个3x3卷积核并融合得到改进后的共享特征图；

进一步地，步骤8所述损失函数为一个多任务损失函数，包括缺陷分类任务损失函数、缺陷定位损失函数和缺陷分割损失函数；

所述缺陷分类任务损失函数如下式所示：

L_cls(p_i,p_i ^*)＝-log[p_ip_i ^*+(1-p_i)(1-p_i ^*)]

其中，L_cls为缺陷分类任务损失函数，将候选缺陷区域anchor预测为缺陷和背景的对数损失；i表示缺陷特征图上anchor的下标；p_i表示第i个anchor被预测为正样本即缺陷的概率；当anchor为正样本时，p_i ^*＝1，当anchor为负样本即背景时， p_i ^*＝0；

所述缺陷定位任务损失函数如下式所示：

其中，L_loc为缺陷定位任务损失函数，通过比较预测缺陷区域predicted-box边界框和真实缺陷区域ground-truth边界框的坐标差值得到；t_l＝{t_x,t_y,t_w,t_h}为第l个predicted-box边界框坐标对应的向量，(t_x,t_y)为predicted-box边界框的中心点坐标，t_w和 t_h为predicted-box边界框的宽和高；t_l ^*＝{t_x ^*,t_y ^*,t_w ^*,t_h ^*}为第l个ground-truth边界框坐标对应的向量，(t_x ^*,t_y ^*)为ground-truth边界框的中心点坐标，t_w ^*和t_h ^*为ground-truth边界框的宽和高；R(t_l-t_l ^*)是

函数，即

向量t和t^*中每个值的计算方法如下式所示：

其中，(x,y)为predicted-box边界框的中心点坐标，w和h为predicted-box边界框的高和宽；(x_a,y_a)为anchor边界框的中心点坐标，w_a和h_a为anchor边界框的高和宽；(x^*,y^*)为ground-truth边界框的中心点坐标，w^*和H^*为ground-truth边界框的高和宽；

所述缺陷分割任务损失函数如下式所示：

L_mask＝Sigmoid([Km²]_n)

其中，L_mask为缺陷分割任务损失函数，定义为平均二进制交叉熵损失，通过逐像素的Sigmoid计算得到；对于每个predicted-box，分割模块VI的输出维度为Km²，表示生成K个分辨率为m*m的二进制掩码，K表示缺陷种类，n表示当前predicted-box 的类别；

进而得到缺陷检测与分割网络的多任务损失函数，如下式所示：

其中，分类任务损失L_cls和定位任务损失L_loc由N_cls和N_reg归一化，N_cls表示从一张缺陷图像中任意提取的anchor数量，正负样本各占128个，N_reg表示anchor的数量，λ表示平衡L_cls和L_loc的权重参数，p_i ^*为定位任务损失激活参数，p_i ^*可以取0或1；当输入anchor是正样本时，p_i ^*取1；当输入anchor是负样本时，p_i ^*取0；所述正样本通过IoU策略进行筛选，IoU>0.5的anchor视为正样本，0<IoU>0.3的anchor视为负样本，剩余的忽略不计。

使用专业的纹理表面缺陷图像数据集DAGM进行整个网络的微调，利用本发明所述方法将缺陷类别分为class1-class10共10个。

通过检测模块V得到包围该缺陷的矩形框，可以叫缺陷的轮廓(对应图像上的虚线矩形框，即包含矩形框左上脚和右下脚两个像素点的坐标)、缺陷的具体类别和属于该类别的概率值(对应图像上的白色文本描述信息)；通过分割模块VI得到缺陷更详细的分布区域信息(对应图像上虚线矩形框中的不规则实线区域)。

为了验证所提方法的有效性，与Resnet-50和Resnet-101方法进行了对比实验。缺陷检测与分割评价结果如图4所示，使用平均准确率均值(mAP)来评价缺陷检测与分割结果，其能够有效衡量检测与分割网络的准确性和召回率，考虑了不同IoU 阈值下三种方法的mAP。实验结果证明，增加自下而上连接路径后，所提方法在一定IoU阈值范围内提高了mAP。本发明提供一种基于深度学习的工业纹理表面缺陷检测与分割方法，能够自动获取多类缺陷具体类别、缺陷精确位置坐标和缺陷空间分布信息，对缺陷多尺度有良好的鲁棒性。对纹理表面缺陷有着广泛的适用性和较高的检测精度。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (5)

1.一种工业环境下的纹理表面缺陷检测与分割装置，其特征在于：包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；

所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI；

所述特征提取模块II用于提取缺陷图像的多尺度特征；

所述缺陷区域提取模块III为候选区域提取网络RPN，用于对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

所述缺陷区域对齐模块IV为感兴趣区域对齐层RoIAlign，用于根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

所述检测模块V为快速的基于区域的卷积神经网络Fast R-CNN，用于输出预测缺陷区域映射产生的固定大小的特征图的具体类别和位置坐标；

所述分割模块VI为掩码区域提取网络Mask，输出对应预测缺陷区域映射产生的固定大小的特征图的空间分布信息；

所述特征提取模块II包括残差网络Resnet-101或Resnet-50和改进后的特征金字塔网络FPN，Resnet-101或Resnet-50包括第一层池化层输出C1，四个残差模块输出{C2，C3，C4，C5}，不同之处在于，Resnet-101残差网络的层数与Resnet-50的层数不同，Resnet-101包括101层，Resnet-50包括50层；FPN用于融合Resnet-101或Resnet-50的四个残差模块输出{C2，C3，C4，C5}，并输出最终的多尺度特征图；

改进后的FPN，采用自下而上的连接方法对特征金字塔网络提取的特征图进行连接，并融合特征图形成最终的共享特征图，充分利用高层特征，达到更好的检测效果；其中，C2-C5、P2-P5、D2-D5分别为共享卷积层、FPN及改进后的FPN生成的特征图；具体方法为：

步骤3.1、对FPN生成的不同尺寸特征图P2-P5，增加一条自下而上的路径D2-D5；

步骤3.2、D2与P2尺寸相同，P2经过1x1卷积核得到D2，D2经过步长为2的3x3卷积核，得到与P3相同尺寸的特征图并与P3经过进行1x1卷积核得到的特征图进行相加，得到D3，以此类推得到D4和D5；上述卷积操作的卷积核数量均为256；

步骤3.3、基于步骤3.2得到的D2、D3、D4和D5，均通过256个3x3卷积核并融合得到改进后的共享特征图。

2.根据权利要求1所述的装置进行工业环境下的纹理表面缺陷检测与分割的方法，其特征在于：包括如下步骤：

步骤1、建立用于微调训练的工业纹理表面缺陷检测与分割图像数据集作为输入模块I，其中包括训练集和测试集；

步骤2、搭建特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V和分割模块VI；此些模块共同组成缺陷检测与分割网络；

步骤3、通过特征提取模块II对输入模块I中的图像数据集进行缺陷图像的多尺度特征的提取；

步骤4、通过缺陷区域提取模块III对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；

步骤5、缺陷区域对齐模块IV根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；

步骤6、使用大型图像数据集COCO对缺陷检测与分割网络进行预训练；

步骤7、设置缺陷检测与分割网络的超参数，包括卷积层数量、池化层数量、全连接层数量、卷积核尺寸、卷积核数量、卷积核滑动步长值、池化策略和激活函数类型；

步骤8、构建整个缺陷检测与分割网络的多任务损失函数；

步骤9、设置缺陷检测与分割网络的训练超参数，包括优化方法、迭代学习率、权重初始化策略、权重衰减参数和动量系数；

步骤10、采用迁移学习方法对整个缺陷检测与分割网络进行训练，减少训练数据需求并提高训练模型的预测准确性；

步骤11、使用训练完成的缺陷检测与分割网络来进行缺陷检测和分割的任务，得出预测缺陷区域映射产生的固定大小的特征图的轮廓、具体类别、位置坐标和空间分布信息。

3.根据权利要求2所述的工业环境下的纹理表面缺陷检测与分割方法，其特征在于：步骤1所述的工业纹理表面缺陷检测与分割图像数据集的训练集为人工采用多边形对缺陷图像中的缺陷区域进行标注，每个标注指示对应缺陷的真实类别、位置坐标和空间分布。

4.根据权利要求2所述的工业环境下的纹理表面缺陷检测与分割方法，其特征在于：步骤8所述损失函数为一个多任务损失函数，包括缺陷分类任务损失函数、缺陷定位损失函数和缺陷分割损失函数；

所述缺陷分类任务损失函数如下式所示：

L_cls(p_i，p_i ^*)＝-log[p_ip_i ^*+(1-p_i)(1-p_i ^*)]

其中，L_cls为缺陷分类任务损失函数，将候选缺陷区域anchor预测为缺陷和背景的对数损失；i表示缺陷特征图上anchor的下标；p_i表示第i个anchor被预测为正样本即缺陷的概率；当anchor为正样本时，p_i ^*＝1，当anchor为负样本即背景时，p_i ^*＝0；

所述缺陷定位任务损失函数如下式所示：

其中，L_loc为缺陷定位任务损失函数，通过比较预测缺陷区域predicted-box边界框和真实缺陷区域ground-truth边界框的坐标差值得到；t_l＝{t_x，t_y，t_w，t_h}为第l个predicted-box边界框坐标对应的向量，(t_x，t_y)为predicted-box边界框的中心点坐标，t_w和t_h为predicted-box边界框的宽和高；t_l ^*＝{t_x ^*，t_y ^*，t_w ^*，t_h ^*}为第l个ground-truth边界框坐标对应的向量，(t_x ^*，t_y ^*)为ground-truth边界框的中心点坐标，t_w ^*和t_h ^*为ground-truth边界框的宽和高；R(t_l-t_l ^*)是

函数，即

向量t和t^*中每个值的计算方法如下式所示：

其中，(x，y)为predicted-box边界框的中心点坐标，w和h为predicted-box边界框的高和宽；(x_a，y_a)为anchor边界框的中心点坐标，w_a和h_a为anchor边界框的高和宽；(x^*，y^*)为ground-truth边界框的中心点坐标，w^*和h^*为ground-truth边界框的高和宽；

所述缺陷分割任务损失函数如下式所示：

L_mask＝Sigmoid([Km²]_n)

其中，L_mask为缺陷分割任务损失函数，定义为平均二进制交叉熵损失，通过逐像素的Sigmoid计算得到；对于每个predicted-box，分割模块VI的输出维度为Km²，表示生成K个分辨率为m*m的二进制掩码，K表示缺陷种类，n表示当前predicted-box的类别；

进而得到缺陷检测与分割网络的多任务损失函数，如下式所示：

其中，分类任务损失L_cls和定位任务损失L_loc由N_cls和N_loc归一化，N_cls表示从一张缺陷图像中任意提取的anchor数量，正负样本各占128个，N_loc表示anchor的数量，λ表示平衡L_cls和L_loc的权重参数，p_i ^*为定位任务损失激活参数，p_i ^*取0或1；当输入anchor是正样本时，p_i ^*取1；当输入anchor是负样本时，p_i ^*取0；所述正样本通过IoU策略进行筛选，IoU＞0.5的anchor视为正样本，0＜IoU＜0.3的anchor视为负样本，剩余的忽略不计。

5.根据权利要求2所述的工业环境下的纹理表面缺陷检测与分割方法，其特征在于：所述步骤9中：

优化方法为：设置输入缺陷图像大小为512*512；使用批量梯度下降法进行训练，每批次选取一张缺陷图像，训练缺陷区域提取模块III的批次为256个缺陷区域，训练检测模块V和分割模块VI的批次为32个缺陷区域；缺陷检测与分割网络的权重衰减参数设置为0.0001，动量系数设置为0.9；

微调缺陷检测与分割网络时，训练前20k的迭代学习率设置为0.001，后20k的迭代学习率设置为0.0001；权重初始化策略为：使用高斯方法对缺陷检测与分割网络独有层的参数进行初始化。

Images