CN116152498A - 基于数据驱动的金属表面缺陷语义分割网络与训练方法 - Google Patents

Abstract

本发明公开了一种基于数据驱动的金属表面缺陷语义分割网络与训练方法，以解决金属表面质量监控中存在的缺陷像素数量与分布不均衡、低对比度、边界轮廓难以精确拟合的技术难题，属于图像处理领域。本发明包括基于U²Net的双注意力多尺度残差聚合网络、缺陷类别权重计算方法、缺陷迁移拓扑方法、双边界关注的损失计算方法。以上网络与训练方法依次通过聚合图像的多尺度信息并施加注意力、改变类别的权重因子、将缺陷像素区域拓扑到无缺陷图像中、对地面真值边界与预测结果边界施加双重关注来解决上述技术问题。实践证明，本方法提高了金属表面缺陷数据集密集分类的精度，满足了制造业对金属表面质量监控的迫切需求。

Description

基于数据驱动的金属表面缺陷语义分割网络与训练方法

技术领域

本发明涉及图像处理领域，尤其涉及一种工业领域迫切需求的面向金属表面质量监控的语义分割方法。

背景技术

在工业制造中，对金属表面进行质量监控是保证产品质量的关键。金属表面裂纹等缺陷不仅会影响美观，还会造成经济损失。视觉检测中，一般有图像分类、目标检测、语义分割等缺陷识别技术。相比之下，语义分割技术对图像进行像素级别的分类，相对于前两者更能够精确的提取缺陷区域，可以明确的分析加工过程中造成的金属损伤，是金属表面质量监控的核心与关键。

语义分割技术源于自然图像，但工业中金属表面缺陷是在加工过程中产生，通常具有缺陷区域微小、缺陷样品占比较少、对比度低，边界轮廓细节难以精确拟合的技术问题。因此，现有方法往往会造成假阳性或假阴性预测，影响后续过程对于产品质量的分析。

目前为止，因为上述技术问题，现有方法中(包含UNet、DANet、DeepLabv3+、PSPNet等方法)，都不能够实现对金属表面缺陷区域精准的定位与分析。

发明内容

为了解决上述技术问题，本发明提供了一种基于数据驱动的金属表面缺陷语义分割网络与训练方法，可以提高对于金属表面缺陷密集分类的精度。

在公开的技术方法中，双注意力多尺度残差聚合网络采用U²Net提取输入图像的关键特征信息，特征信息包含六个尺度，相邻大小之间尺度相差1/2。随后，各个特征图信息经过双注意力模块。

双注意力模块由空间注意力与通道注意力组成，首先经过通道注意力，再经过空间注意力。通道注意力跨越两个尺度信息，将语义信息更强的高层特征信息提炼成通道方向上的注意力系数向量，并映射到纹理信息更强的底层特征信息中，在经过通道注意力后，空间注意力模块分别对不同尺度的特征图信息进行自注意运算。

双注意力多尺度残差聚合网络采用Res模块提取输入图像在不同尺度下的特征信息并与经过双注意力模块的特征图信息拼接。

双注意力多尺度残差聚合网络在训练过程中，在不同尺度特征图上通过双线性插值平衡尺度，进行监督训练。

将不同尺度的特征图信息进行线性插值后再与一个Res模块提取的底层特征在通道方向拼接，经过一个卷积模块后，输出预测的类别信息。

在公开的相应训练方法中，包含缺陷类别权重计算方法、缺陷迁移拓扑方法、双边界关注的损失计算方法。

缺陷类别权重计算方法，分析数据集的所有样本，确定不同类别像素的数量与分布比例，并结合上述信息，利用关键系数计算公式，计算不同类别下的权重系数因子。

缺陷迁移拓扑方法，对数据集中的样本进行依次分析，分别记录含有缺陷像素的图像的地址与不含有缺陷像素的图像的地址。训练过程中，根据相应地址信息，按照一定的概率将有缺陷图像中的缺陷区域拓扑到无缺陷样本中。

双边界关注的损失计算方法，通过边缘提取算子与高斯图像滤波的方法，对地面真值的边界信息与预测图像的边界信息施加关注，形成输入图像尺度大小的边界注意力信息矩阵。

与现有方案相比，本方案具有以下技术优点：

本发明通过双注意力多尺度残差聚合网络，扩大了空间感受野，从色彩与语义角度学习到输入图像更丰富的语义信息。缺陷类别权重计算方法、缺陷迁移拓扑方法、双边界关注的损失计算方法的引入，使网络模型能够更好的反映边界区域的像素类别分类信息，并且只参与网络的训练过程，不影响网络的预测速度。综合来看，该方法提高了语义分割的精度，回应了工业领域对金属表面质量监控的迫切需求。

附图说明

图1为本发明在训练网络过程的整体流程图；

图2为基于U²Net的双注意力多尺度残差聚合网络整体结构示意图；

图3为基于U²Net的双注意力多尺度残差聚合网络的空间注意力模块示意图，对应于图1中的SA部分；

图4为基于U²Net的双注意力多尺度残差聚合网络的通道注意力模块示意图，对应于图1中的CA部分；

图5为缺陷迁移拓扑方法流程图；

图6为双边界关注的损失计算方法方法流程图；

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明公开的技术方法中，整体操作流程如图1所示。结合缺陷类别权重计算方法，计算数据集中各类别权重因子；根据缺陷迁移拓扑方法，对数据集进行分析；通过网络模型预测，并结合双边界关注方法反向传播梯度信息，更新模型参数。

在本发明公开的技术方法中，提出了双注意力多尺度残差聚合网络，网络结构如图2所示。该网络以U²Net网络为特征提取器，取其sidelists部分，获得输入RGB图像(尺度为3、H、W)的多尺度特征。多尺度特征经过可级联的双注意力模块，后分别与Res模块提取的输入图像底层信息拼接，经过线性插值后，并通过卷积模块变为预测特征图像(尺度为N、H、W)，其中N为数据集包含像素的种类数量。

双注意力模块包含空间注意力(如图3所示)由卷积算子、激活函数等组成。空间注意力中，输入特征图经过卷积、批量归一化、Sigmoid激活后，获得单通道的空间注意力系数矩阵，该矩阵反应了网络对于输入图像关键空间方向核心信息的认知，并施加不同的注意力权重，为了避免欠拟合，上述关注度系数矩阵与经过卷积的输入特征图做点乘，并采用残差连接，维持梯度传递稳定。

双注意力模块包含通道注意力(如图4所示)由平均池化算子、卷积等组成。通道注意力不同于空间注意力，其采用横跨相邻的两个尺度的方式连接，其通过平均池化算子提炼高语义特征信息的特征图信息，通过卷积、批量归一化、Sigmoid后，形成通道与高纹理特征信息相同，尺度大小为1的通道关注度系数向量，该向量与经过卷积的高纹理特征信息做点乘运算获得带有通道关注度系数的特征图信息。最后为了防止训练过程不稳定，采用残差的方式连接，获取输入特征图的原始信息。

金属表面缺陷语义信息较弱，在经过大量的卷积池化等运算后，输入图像的底层信息越来越弱，因此引入Res模块。Res模块由卷积、批量归一化、Relu算子组成，并采用残差结构保证训练的稳定性。Res模块获取的信息不经过U²Net特征提取器，直接通过底层输入图像获取信息，但是因为U²Net特征提取器输出的特征图尺度不同，因此在进入Res模块前，需要经过线性插值运算。

网络训练过程采用多监督的方式传递梯度信息，将不同尺度的特征图与Res模块提取的特征信息拼接，并进行线性插值，通过卷积算子获得尺度为(N、H、W)的特征图，该特征图经过拼接后再与Res模块提炼的特征信息拼接，获得尺度为(6×N+3、H、W)的特征图，并经过卷积输出最终的预测结果。

缺陷类别权重计算方法，若数据集中有N个类别，则定义第i个类别的权重信息w_i如下所示：

其中，τ_i代表数据集中第i类别的像素占比，κ_i代表着含有第i类别缺陷的图像占比。因为数据集中含有多个类别，因此各个类别权重可以组成一个向量。本方法采用下式计算类别权重向量

W＝median(w)/w

其中median为中值算子。通过上式，可以获得网络各个类别的权重因子。

缺陷迁移拓扑方法如图5所示。首先对数据集中的样本进行依次分析，判断其是否存在有缺陷区域并按照缺陷类别记录其地址。实现上述方法后，可以得到数据集N个类别(包含正常类别)下的N个地址列表。在训练过程中，当输入样本有缺陷区域时正常训练，当输入的样本没有缺陷区域时，按照0.5的概率进行缺陷区域的拓扑。拓扑过程中，从含有缺陷的样本列表中随机选取一个样本，根据地面真值提取缺陷区域，在经过竖直与水平翻转后，将缺陷区域拓扑到无缺陷样本中，从而获得含有缺陷区域的新图像与地面真值信息。

双边界关注的损失计算方法如图6所示。对地面真值与预测信息的边界进行轮廓提取，接下来高斯卷积算子对图像进行滤波，从而在边界区域有较大的关注信息。双根据地面真值边界与预测边界，同时引入关注度，对边界信息单独计算损失。由边界引入的权重因子矩阵如下所示。

其中ψ_x表示在像素x处的边界权重信息，Θ_l表示像素点x距离地面真值边界的距离，Θ_p表示像素点x距离预测边界的距离，σ为高斯滤波器的标准差，实验中取5.0。ψ₀为一个常数，实验中取0.1，保证对其他区域也有一定的关注度。

实验中如果用双边界关注直接训练，在训练初期，预测的边界损失较大，会对训练的稳定性有影响。为了解决上述问题，在前一半训练过程中不采用双边界关注，只采用类别权重进行计算，损失如下所示：

其中，sup为多监督分支的数量，Ω代表图像中所有像素的集合，C为数据集中类别数量，x为图像上像素的预测信息，y为地面真值信息，w为类别权重，由类别权重计算方法计算得出。

在训练的后期，采用双边界权重计算损失，损失如下所示

其中，λ为比例因子常数，实验中设为1.0。

本发明方法在两个数据集上与多个方法对比(mIou)如表一，实验证明，本发明方法可以显著提升金属表面缺陷语义分割的精度，对金属表面质量监控有积极作用。

表一

/>

Claims (9)

1.基于数据驱动的金属表面缺陷语义分割网络，其特征在于：双注意力多尺度残差聚合网络以U²Net为自动编码器并提取输入图像的六个多尺度特征信息，通过级联的双注意力模块对多尺度特征图信息施加空间与通道两个层次的注意力，并利用Res分支模块引入输入图像关键边界信息，采用特征图拼接与多监督训练的方式反向传播更新网络模型参数。

2.基于数据驱动的金属表面缺陷语义分割方法，其特征在于，包括：

缺陷类别权重计算方法，结合像素出现的数量比例与在数据集的分布比例，调整网络模型学习过程中的类别权重系数因子；

缺陷迁移拓扑方法，提取含缺陷图像中的缺陷区域并拓扑到无缺陷图像中，并将含缺陷图像中的缺陷区域地面真值记作数据增强后的图像地面真值并输出；

双边界关注的损失计算方法，同时对地面真值图像与预测图像提取边界轮廓，并通过高斯滤波器在边界轮廓区域施加注意力，形成边界注意力信息矩阵。

3.根据权利要求1所述的双注意力多尺度残差聚合网络，其特征在于：双注意力模块包含通道注意力与空间注意力，通道注意力在高层次尺度特征图上提炼关键特征信息，形成通道维度上的注意力系数并引入低层次尺度中，空间注意力采用自注意力的结构，双注意力模块均采用残差连接的结构。

4.根据权利要求1所述的双注意力多尺度残差聚合网络，其特征在于：采用Res分支模块嵌合输入图像的关键纹理信息，通过双线性插值运算平衡不同尺度特征图大小，Res分支模块由卷积、归一化算子、非线性激活函数等组合，并采用残差结构连接。

5.根据权利要求1所述的双注意力多尺度残差聚合网络，其特征在于：对不同尺度下的特征图信息进行线性插值，利用多监督的方式训练网络，对不同尺度下的信息计算损失函数，然后将其拼接并引入Res模块提取底层信息，最后利用卷积算子进行输入图像的密集分类预测。

6.根据权利要求2所述的缺陷类别权重计算方法，其特征在于：结合缺陷像素数量占比与含缺陷图像的比例，采用关键的系数计算公式，确定训练过程中金属表面缺陷数据集中各个类别的权重因子。

7.根据权利要求2所述的缺陷迁移拓扑方法，其特征在于：分析数据集样本，确定每一个样本是否含有缺陷区域，训练过程中，按照一定概率将有缺陷样本的缺陷区域经过水平与竖直方向的镜像翻转，拓扑到无缺陷样本中，形成新的样本图，并保留缺陷区域的地面真值作为地面真值输出。

8.根据权利要求2所述的双边界关注的损失计算方法，其特征在于：双边界关注包含有对于地面真值图像的边界关注与对于预测图像的边界关注，从两个方向上逼近于地面真值信息，过程中采用Sobel算子进行轮廓提取，并利用高斯滤波器滤波，从而在边界区域附近形成输入图像尺度大小的边界注意力信息矩阵。

9.根据权利要求2所述的双边界关注的损失计算方法，其特征在于：在训练的前半部分，采用单一的类别权重损失，在网络参数基本稳定后，在训练后期采用类别损失与双边界关注并行的损失计算方法。

Images