CN116740462A - 一种基于特征增强的单分支粗糙度检测方法 - Google Patents

Abstract

本发明公开了一种基于特征增强的单分支粗糙度检测方法，包括构建并训练基于特征增强的单分支粗糙度检测模型：获取样品表面粗糙度的训练图像集；基于训练图像集选取不同光源的图像，使用双分支结构提取不同光源的特征信息进行预训练参数学习，并通过交叉混合注意力模块、图卷积通道注意力模块对不同光源的特征信息进行交互和融合；预训练后，选取双分支结构中的单分支网络结构作为单分支粗糙度检测模型，选定多个评价指标对训练后的单分支粗糙度检测模型进行评价，将待检测图像输入到训练好的单分支粗糙度检测模型中得到检测结果。本发明能够在不同光源不同加工参数下对多种金属表面进行准确高效快速的粗糙度检测。

Description

一种基于特征增强的单分支粗糙度检测方法

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于特征增强的单分支粗糙度检测方法。

背景技术

随着计算机视觉技术不断发展，应用深度学习模型对金属块表面粗糙度进行检测来实现对工业生产的智能化指导变得越来越广泛，工业不断实现自动化智能化检测。

表面粗糙度是指加工件表面的微小的峰和谷之间的间距，其反应了加工件表面的微观不平整程度。表面粗糙度越小，加工件表面越光滑。加工件表面的粗糙度会影响加工件的耐磨性、抗疲劳性、振动强度、接触刚度和噪声等性质。在制造业中，加工件的使用寿命和可靠性很大程度上取决于表面粗糙度。表面粗糙度越大，与工件表面接触的有效面积就会减小，压强就会变大，从而导致摩擦阻力变大，最终导致加工表面受到磨损。现代化的机械表面加工要求高效、准确的对表面粗糙度进行评估。

随着制造业的快速发展，传统的粗糙度检测方法（触针法）已经不能满足大量生产时，对粗糙度的快速高效的全检要求。触针法存在检测速度慢、破坏工件表面和检测精度低的问题，无法实现高速的表面粗糙度测量。非接触式的光学显微镜虽然可以实现非接触、高精度的粗糙度测量，但是光学显微镜测量速度慢、价格昂贵、难以部署在复杂的环境中。基于机器视觉的粗糙度检测方法具有非接触、检测速度快、价格低和易安装等特点，目前已经取得了一定的研究成果。不同的机械加工方式所呈现的样品表面的纹理信息不同给粗糙度的检测带来困难。提供一种适合于多种粗糙度测量的、快速的和高效的实时粗糙度检测方法是很重要的。

当前基于机器视觉的粗糙度检测方法通常仅使用单光源对加工件表面的粗糙度进行预测。单光源通常只使用一种颜色的光来拍摄加工件表面的粗糙度图片。由于光的波长不同，不同的加工件材质对光的吸收率不同。不同光源下拍摄的表面粗糙度信息存在差异，多种光源的特征信息融合可以有效的提升预测准确率。

发明内容

本发明的目的是提供一种基于特征增强的单分支粗糙度检测方法，构建并训练基于特征增强的单分支粗糙度检测模型，能够降低双分支模型的规模，以解决当前金属块表面粗糙度检测传统检测方法效率低的问题，同时融合不同光源的特征信息，带来更好的表面粗糙度预测效果。

为实现上述目的，本发明提供了如下方案：

一种基于特征增强的单分支粗糙度检测方法，包括：构建并训练基于特征增强的单分支粗糙度检测模型，将待检测图像输入到训练好的单分支粗糙度检测模型中得到检测结果；所述单分支粗糙度检测模型包括特征提取网络、特征增强模块，所述特征增强模块包括交叉混合注意力模块、图卷积通道注意力模块；

所述单分支粗糙度检测模型的构建及训练方法包括：

S1，获取样品表面粗糙度数据集并进行预处理得到训练图像集；

S2，基于训练图像集选取不同光源的图像，预训练阶段使用特征提取网络提取不同光源的特征信息进行预训练参数学习，并通过交叉混合注意力模块、图卷积通道注意力模块对不同光源的特征信息进行交互和融合，其中，所述特征提取网络为双分支结构；

S3，预训练后，选取双分支结构中的单分支网络结构作为单分支粗糙度检测模型，利用单分支粗糙度检测模型对训练图像集中不同光源的图像继续进行训练；

S4，选择交叉熵损失作为损失函数，使用准确率、精度、召回率和特异性作为模型的评价指标，对训练后的单分支粗糙度检测模型进行评价。

进一步地，所述步骤S1，获取样品表面粗糙度数据集并进行预处理得到训练图像集，包括：

S101，利用配备不同光源的图像采集设备拍摄样品在同一位置的表面粗糙度图像；

S102，利用白光干涉仪确定表面粗糙度图像对应的粗糙度值作为标签值，得到样品表面粗糙度数据集。

进一步地，所述步骤S2，基于训练图像集选取不同光源的图像，预训练阶段使用特征提取网络提取不同光源的特征信息进行预训练参数学习，并通过交叉混合注意力模块、图卷积通道注意力模块对不同光源的特征信息进行交互和融合，具体包括：

S201，特征增强模块中引入交叉混合注意力模块进行空间注意力增强，基于交叉混合注意力将两种不同光源的特征切分成不同大小的矩形窗口进行注意力计算，提取不同光源的特征信息，并进行空间特征融合;

S202，特征增强模块中引入图卷积通道注意力模块从通道维度对特征进行增强，基于图卷积通道注意力以自注意力的方式计算不同光源间各个通道的相关性作为图卷积中边的信息，双光源特征以通道维度进行拼接得到混合通道特征信息，作为图卷积中节点的信息，从通道角度融合两个不同光源特征。

进一步地，所述步骤S201，特征增强模块中引入交叉混合注意力模块进行空间注意力增强，基于交叉混合注意力将两种不同光源的特征切分成不同大小的矩形窗口进行注意力计算，提取不同光源的特征信息，并进行空间特征融合,具体包括：

交叉混合注意力模块使用不同行和列的特征进行自注意力机制的计算，生成注意力权重掩膜来调整特征权重的大小，得到经过空间注意力增强后的特征，经过空间注意力增强后的特征，输入到多层感知机得到最后的特征。

进一步地，所述步骤S202，特征增强模块中引入图卷积通道注意力模块从通道维度对特征进行增强，基于图卷积通道注意力以自注意力的方式计算不同光源间各个通道的相关性作为图卷积中边的信息，双光源特征以通道维度进行拼接得到混合通道特征信息，作为图卷积中节点的信息，从通道角度融合两个不同光源特征，具体包括：

不同光源之间的特征信息分别被输入到两个路径：通道自注意力计算路径用于计算通道间的相关性程度，特征融合路径用于融合不同光源的特征信息；

每个通道与其他的通道特征进行融合计算，得到增强后的通道特征。

进一步地，所述步骤S3，利用单分支粗糙度检测模型对训练图像集中不同光源的图像继续进行训练，包括：

单分支粗糙度检测模型在基于深度学习框架PyTorch的两个RTX 2080Ti图形处理器上进行训练，迭代20次，批处理大小为64次；采用Adam优化器对模型参数进行优化，权重衰减为0.0001。

根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供的基于特征增强的单分支粗糙度检测方法，（1）构建并训练基于特征增强的单分支粗糙度检测模型，降低双分支模型的规模，使用不同光源图像预训练和只有单光源图像推理，使模型充分利用双光源的图像特征，同时保持轻量级的计算复杂性的单分支模型；（2）所述单分支粗糙度检测模型包括特征提取网络、特征增强模块，所述特征增强模块包括交叉混合注意力模块、图卷积通道注意力模块；交叉混合注意力模块、图卷积通道注意力模块分别从空间和通道角度融合不同光源的特征信息，使单分支模型获得不同光源的特征学习能力；在预训练阶段使用双分支结构提取不同光源的特征信息进行预训练参数学习，实现不同光源特征之间的互补和融合；（3）特征增强模块引入交叉混合注意力将两种不同光源的特征切分成不同大小的矩形窗口进行注意力计算，显著降低Transformer中注意力机制的时间复杂度，引入图卷积通道注意力以自注意力的方式计算不同光源间各个通道的相关性作为图卷积中边的信息，双光源特征以通道维度进行拼接得到混合通道特征信息，作为图卷积中节点的信息，从通道角度可以更好的融合两个不同光源特征：（4）选择交叉熵损失作为损失函数，使用准确率、精度、召回率和特异性作为模型的评价指标，提高模型精度；（5）将待检测图像输入到训练好的单分支粗糙度检测模型中进行粗糙度预测，以解决当前金属块表面粗糙度检测传统检测方法效率低的问题，同时融合不同光源的特征信息，带来更好的表面粗糙度预测效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于特征增强的单分支粗糙度检测方法的流程图；

图2为本发明实施例提供的不同加工材质和加工参数的样品图像；

图3为本发明实施例提供的五种光源下不同加工材质和加工方式的表面粗糙度图像;

图4为本发明实施例提供的基于特征增强的单分支粗糙度检测网络模型结构图；

图5为本发明实施例提供的交叉注意力混合Transformer模块的整体网络结构图；

图6为本发明实施例提供的图卷积通道注意力模块的整体网络结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于特征增强的单分支粗糙度检测方法，构建并训练基于特征增强的单分支粗糙度检测模型，能够降低双分支模型的规模，以解决当前金属块表面粗糙度检测传统检测方法效率低的问题，同时融合不同光源的特征信息，带来更好的表面粗糙度预测效果，进而解决当前粗糙度检测方法检测速度慢、部署难、单光源提取特征不足和检测精度低的问题。

本发明实施例提供一种基于特征增强的单分支粗糙度检测方法，构建了一种通用的金属块表面粗糙度检测模型，本实施例中将其应用于多种金属表面粗糙度检测，利用配备不同光源的图像采集设备拍摄样品在同一位置的表面粗糙度图像，然后利用白光干涉仪得到样本图像对应的粗糙度值，最后，将所构造的数据集分为训练集、验证集和测试集，其中训练集和验证集用于训练模型，测试集用于评估模型的性能。模型的构建和优化过程如下：首先构建模型FE-Trans-Net(Feature Enhancement based Transformer singlebranch Network)，然后选择合适的模型参数，然后利用准备好的数据集对模型进行训练。训练结束后，利用验证集对模型的性能进行评估，并根据验证结果调整模型参数，以进一步优化模型。然后，使用测试数据集对模型进行评估，以检查模型是否按预期执行。最后，将该模型部署在粗糙度检测的真实场景中。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于特征增强的单分支粗糙度检测方法，包括：

构建并训练基于特征增强的单分支粗糙度检测模型（如图4所示），将待检测图像输入到训练好的单分支粗糙度检测模型中得到检测结果；所述单分支粗糙度检测模型包括特征提取网络、特征增强模块，所述特征增强模块包括交叉混合注意力模块、图卷积通道注意力模块；

所述单分支粗糙度检测模型的构建及训练方法包括：

S1，获取样品表面粗糙度数据集并进行预处理得到训练图像集；

S2，基于训练图像集选取不同光源的图像，预训练阶段使用特征提取网络提取不同光源的特征信息进行预训练参数学习，并通过交叉混合注意力模块、图卷积通道注意力模块对不同光源的特征信息进行交互和融合，其中，所述特征提取网络为双分支结构；

S3，预训练后，选取双分支结构中的单分支网络结构作为单分支粗糙度检测模型，利用单分支粗糙度检测模型对训练图像集中不同光源的图像继续进行训练；

S4，选择交叉熵损失作为损失函数，使用准确率、精度、召回率和特异性作为模型的评价指标，对训练后的单分支粗糙度检测模型进行评价。

示例地，所述步骤S1，获取样品表面粗糙度数据集并进行预处理得到训练图像集，具体包括：

本实施例中，首先，利用配备不同光源的图像采集设备拍摄样品在同一位置的表面粗糙度图像。然后利用白光干涉仪得到样本图像对应的粗糙度值作为标签值。最后，将所构造的数据集分为训练集、验证集和测试集，其中训练集和验证集用于训练模型，测试集用于评估模型的性能。

为不同加工材质和加工参数的样品图像如图2所示。从上到下的样品材质依次为无氧铜、锌、铝和铁。从左到右的样品加工参数依次为磨削80、磨削240、磨削600和磨削1200。图2右侧的为无氧铜、铝和铁在化学机械抛光的加工方式下的样品。由于材质表面不同，在进行样品加工前，先使用较细的砂纸对各个样品块表面进行打磨。磨削的具体加工方法为使用不同目数的砂纸在各个材质下打磨60秒。由于材质的硬度不同，产生的粗糙度也会各有差异。磨削80表示使用80目的砂纸，在样品表面打磨60秒，砂轮的转速为150转/分。

由于不同金属对不同波长光的吸收率不同，因此，拍摄了白光、红光、绿光、红激光和绿激光共五种光源下相同位置的表面粗糙度图像。五种光源下不同加工材质和加工方式的表面粗糙度图像如图3所示。这些图像是已经预处理后的图片，相机拍摄的原始粗糙度图像大小为2448*2048像素，直接将原始大小的图像经过调整尺寸大小之后，输入到模型中会造成信息丢失的问题。为了保证图像原始的特征信息，按照224*224像素的大小对原始图像进行了截取预处理，磨削产生的图像会有明显的方向性和周期性特征。磨削使用的砂纸目数越大，样品表面越光滑；砂纸目数越小，样品表面越粗糙。化学机械抛光使得的样品表面极其光滑，粗糙度很低，没有明显的方向性特征。

表1给出了不同材质下不同加工参数的样品表面粗糙度范围。磨削使用的砂纸目数越小，颗粒越大，产生的粗糙度越大；砂纸目数越大，颗粒越小，产生的粗糙度越小，表面越光滑。铜的粗糙度范围为0.2-4um之间。由于铜的硬度降低，磨削时更容易产生痕迹。在相同的加工参数下，铜的粗糙度范围更大。磨削80加工参数下，铜的粗糙度为3-4um，而铝、铁和锌的粗糙度范围则在2um以下。化学机械抛光生成的样品表面很光滑，粗糙度小于50nm，粗糙度数值很均匀。铁在抛光加工方式下，产生的粗糙度略大，在50-100nm范围之间。

数据集共包含五种不同光源下相同位置的图像。每种光源每个加工参数下1050张图片，共计19950张图片。五种光源下共计99750张图片。数据集按照8：1：1的比例划分训练集、验证集和测试集。

示例地，所述步骤S2，基于训练图像集选取不同光源的图像，预训练阶段使用特征提取网络提取不同光源的特征信息进行预训练参数学习，并通过交叉混合注意力模块、图卷积通道注意力模块对不同光源的特征信息进行交互和融合，具体包括：

S201，特征增强模块中引入交叉混合注意力模块进行空间注意力增强，基于交叉混合注意力将两种不同光源的特征切分成不同大小的矩形窗口进行注意力计算，提取不同光源的特征信息，并进行空间特征融合;

S202，特征增强模块中引入图卷积通道注意力模块从通道维度对特征进行增强，基于图卷积通道注意力以自注意力的方式计算不同光源间各个通道的相关性作为图卷积中边的信息，双光源特征以通道维度进行拼接得到混合通道特征信息，作为图卷积中节点的信息，从通道角度融合两个不同光源特征。

本实施例中，将来自两个不同光源的两个图像输入到特征提取网络MSNet（一个分支称为MSNet1，另一个分支称为MSNet2）中，提取两个图像特征。在训练整体双分支模型时，模型可以同时学习两种不同颜色光源的特征，并通过交叉混合注意力和图卷积通道注意力模块对不同光源之间的信息进行交互，实现不同光源特征的相互融合。经过模型预训练后，MSNet1只加载模型中单个光源的参数信息并继续训练，留下这个单个分支进行在线预测。这种训练的方法允许单分支网络学习两个不同光源之间的参数用于训练，模型的实际规模只有原始规模的一半，并且在执行推理时，大大减少了模型的参数的数量，从而进一步提高检测速度。此外，在实际的工业应用场景中，单分支网络结构更容易部署。

进一步地，所述步骤S201中，特征增强模块引入交叉混合注意力将两种不同光源的特征切分成不同大小的矩形窗口进行注意力计算，显著降低Transformer中注意力机制的时间复杂度，具体包括：

本实施例中，交叉混合注意力模块用于提取不同光源的特征信息，并进行特征融合。为了降低Transformer中注意力机制的时间复杂度，交叉混合注意力模块只使用不同行和列的特征进行自注意力机制的计算，生成注意力权重掩膜来调整特征权重的大小。交叉混合注意力为预训练阶段不同光源进行空间特征融合的部分。

交叉混合注意力模块的网络结构图如图5所示，特征X ₁ 表示光源1的粗糙度特征，特征X ₂ 表示光源2粗糙度特征。特征X ₁ 和特征X ₂ 分别输入到不同的点卷积中得到嵌入特征(X _{1_q} , X _{1_k} , X _{1_v} )和(X _{2_q} , X _{2_k} , X _{2_v} )用于空间注意力机制的计算，计算公式如公式（1）-（2）所示：

特征X ₁ 和特征X ₂ 的原始大小为H×W×C，其中H表示特征图的原始高度，W表示特征图的原始宽度，C表示特征图的原始通道数，分别经过点卷积得到嵌入特征X _{1_q} , X _{1_k} , X _{1_v} 和X _{2_q} , X _{2_k} , X _{2_v} 。X _{1_k} 和X _{2_k} 表示获取到的当前特征图中的行特征信息，而X _{1_v} 和X _{2_v} 表示获取到的当前特征图中的列特征信息，X _{1_q} 和X _{2_q} 表示初始的查询向量。公式（3）-（4）中，Win_ Row表示提取当前特征图中的行特征，Win_Col表示提取当前特征图中的列特征。X _{1_k_r} 的大小为d×H'×W×C'，其中d表示注意力头的个数，H'表示经过特征图调整后的特征图高度。当只取单行特征时，H'为1。C'表示经过特征图调整后的特征图通道数。X _{1_v_c} 的大小为d×H×W'×C'。其中，W'表示经过特征图调整后的特征图宽度。C'表示经过特征图调整后的特征图通道数。光源1和光源2的特征，/>和/>，/>分别进行多头注意力计算得到混合注意力特征掩膜/>和/>。其中/>，/>分别表示光源1和光源2提取特征后的行特征信息，/>，/>分别表示光源1和光源2提取特征后的列特征信息。和/>分别对不同光源的行列特征进行特征融合，计算公式如公式（5）-（6）所示：

融合后的注意力掩膜和/>与初始的查询向量/>和/>进行矩阵外积，再进行残差连接得到经过空间注意力增强后的空间特征图/>和/>。经过空间注意力增强后的特征，输入到多层感知机得到最后的特征/>和/>计算公式如公式（7）-（10）所示：

融合后的注意力掩膜和/>与初始的查询向量/>和/>进行矩阵外积，再进行残差连接得到经过空间注意力增强后的空间特征图/>和/>。经过空间注意力增强后的特征，输入到多层感知机得到最后的特征/>和/>。

进一步地，所述步骤S202中，引入图卷积通道注意力以自注意力的方式计算不同光源间各个通道的相关性作为图卷积中边的信息，双光源特征以通道维度进行拼接得到混合通道特征信息，作为图卷积中节点的信息，从通道角度可以更好的融合两个不同光源特征，具体包括：

本实施例中，图卷积通道注意力从通道维度对特征进行增强。图卷积通道注意力是以通道之间的相关性作为图卷积中的边的信息，而每个通道的特征作为节点信息。传统的通道注意力只考虑通道的权重信息，而没有关注不同通道之间的信息交互。图卷积通道注意力模块从通道模块可以更好的融合两个不同光源特征X ₁和X ₂。

图卷积通道注意力模块的网络结构图如图6所示，不同光源之间的特征信息分别被输入到两个路径：通道自注意力计算路径用于计算通道间的相关性程度，特征融合路径用于融合不同光源的特征信息。特征X ₁和X ₂经过点卷积得到嵌入特征，并被调整为N×C，其中N表示H×W。光源1的特征经过转置后与光源2的特征进行自注意力计算得到通道间的相关性特征图X _{C_Edge} ，大小为C×C，其中C表示特征图的原始通道数。公式（11）给出了详细的通道自注意力计算过程。

为了保留原本的不同光源的特征信息，双光源特征按照通道维度进行拼接，如公式（12）所示，得到融合后的通道特征。通道相关性特征图/>作为图卷积中的边的特征信息，而/>作为节点特征信息，输入到图卷积中用于特征融合。图卷积可以对当前节点周围的邻居节点特征进行融合，每个节点会对其他相邻的邻居节点进行特征聚合。在当前特征图中，每个通道与其他的通道特征进行融合计算，计算公式如公式（13）和（14）所示：/>

其中，f _aggregate 表示特征聚合操作，i表示当前节点，j表示i的邻居节点，N _i 表示节点i的邻居节点个数。f _aggregate 把i节点周围的邻居节点j特征进行融合。f _update 表示对当前节点i的特征进行更新，最终得到增强后的通道特征。

示例地，所述步骤S3，利用单分支粗糙度检测模型对训练图像集中不同光源的图像继续进行训练，包括：

单分支粗糙度检测模型在基于深度学习框架PyTorch的两个RTX 2080Ti图形处理器上进行训练，迭代20次，批处理大小为64次；采用Adam优化器对模型参数进行优化，权重衰减为0.0001。

所述S104中，推理阶段使用经过预训练的单分支MSNet-1进行粗糙度预测。选择交叉熵损失作为损失函数，使用准确率、精度、召回率和特异性作为模型的评价指标，具体包括：

本实施例中，损失函数计算公式如公式(15)所示，其中，N代表数据集中图片的总数量，M代表粗糙度类别的数量，定义为图片i类别c的标签，并且/>代表模型预测的粗糙度类别。

使用准确率、精度、召回率和特异性作为模型的评价指标，准确率表示正确分类的样本占总样本数的比例，高准确率表示模型能正确分类样本性能更好。精确度表示预测为正类的正样本在预测的正样本中的比例。高精确度表明模型预测为正类的正样本在预测的正样本的比例很高。召回率代表预测为正类的正样本在实际正样本中的比例。高召回率表明模型可以正确地检测出正样本。特异性代表正确负样品在实际负样品中的比例。高的特异性表明该模型可以正确地排除负样本。通过结合这四个评价指标，网络模型的性能可以得到全面的评价。而准确率、精度、召回率和特异性的计算公式如公式（16）-（19）所示。

其中，TP代表被模型预测为正类的正样本，TN代表被模型预测为负类的负样本，FP代表被模型预测为正类的负样本，FN代表被模型预测为负类的正样本。

最后，利用训练好的单分支粗糙度检测模型进行测试并分析检测效果。

本实施例中，为将模型进一步推广应用，将此进行不同材质的表面粗糙度检测泛化。为此，需要先分析不同光源对不同加工样品材质的影响，以选出适用不同材质的最适合的光源。本实验选择了铜、铝、铁和锌四种材质进行研究。

表2给出了铜、铝、铁和锌共四种样品材质在单光源下的粗糙度准确率。单光源包括白光、红光、绿光、红激光和绿激光。

从铜的样品材质上看，白光的识别准确率最高，准确率达到了92.67%，同时损失也最低，为0.1996。其次，红光和绿光两种点光源的准确率较高，分别为90.55%和88.27%。红激光和绿激光的识别准确率分别为83.88%和81.60%，比点光源的准确率低。从不同波长光源的角度看，红光的识别准确率要高于绿光。

从铝的样品材质上看，白光的准确率最高，为95.88%，损失值为0.1160。红光和绿光的准确率分别为91.42%和94.17%，红激光和绿激光的准确率都为84.22%。对于铝材质，在点光源和激光光源的情况下，绿光的识别准确率都高于红光的识别准确率。

从铁的样品材质上看，铁在红激光光源下效果最好，为97.35%，损失值仅为0.0673。从不同的光源上看，红激光比绿激光高0.52%，红光比绿光高1.24%，红光光源要比绿光光源效果好。白光光源准确率95.94%，高于绿光光源。

从锌的样品材质上看，锌在白光光源下效果最好，准确率达到了92.70%，损失值为0.1710。红光光源比绿光光源效果更好，点光源下红光比绿光高4.5%，激光光源下红激光比绿激光高3.22%。在白、红和绿三种点光源下，白光的识别准确率最低，仅为85.62%。

表3给出了铜、铝、铁和锌共四种样品材质在双光源下的粗糙度准确率。双光源组合包括白光+红光、白光+绿光、白光+红激光、白光+绿激光、红光+绿光、红光+红激光和绿光+绿激光共七种不同光源的组合。

从铜的样品材质上看，白光+红光组合的识别准确率最高，准确率达到了98.11%，损失为0.1996。白光+绿光组合达到97.60%的较高识别准确率，对于铜材质，丰富的纹理特征是重要的。点光源组合（白光+红光、白光+绿光）分别比点光源与激光组合（白光+红激光、白光+绿激光）高5.49%和3.77%。与单光源相比，组合光源显著提升了单光源的识别准确率。最好的光源组合下，白光+红光的组合光源比最好单光源白光高5.44%。绿光+绿激光的组合光源比最低光源绿激光高12.4%。

从铝的样品材质上看，白光+绿光组合的识别准确率最高，达到了97.94%。包含绿光光源元素的组合（白光+绿光、白光+绿激光和绿光+绿激光）都比包含红光光源元素组合（白光+红光、白光+红激光和红光+红激光）分别高2.57%、2.57%和0.69%。与单光源相比，白光+绿光和白光+绿激光的组合比最好光源白光2.06%和1.2%。

从铁的样品材质上看，七种组合光源都达到了98%以上的识别准确率，识别效果较好，比最好的光源红激光更准确。识别准确率最高的为白光+红光的组合，为99.47%，其次是红光+红激光达到了99.12%。

从锌的样品材质上看，白光+红激光和红光+红激光的组合都达到了最高的识别准确率95.92%，白光+红光的组合效果也达到95.28%。白光+绿光的识别准确率最低仅为88.41%，相较于绿光仅提升0.2%，提升效果不明显。

本实例中，设计了单分支模型MSNet（无预训练）、双分支模型FE-Trans-Net和单分支模型MSNet（FE增强）。单分支模型（无预训练）表示只是用白光在单分支模型MSNet-1上训练20代。双分支模型FE-Trans-Net表示使用完整的模型对白光和红光的特征进行训练，训练10代，保存好模型的参数。单分支模型MSNet（增强）表示加载FE-Trans-Net训练好的参数，再进行训练10代。

表4给出了各个材质在双光源（白光+红光）下的预测准确率，从整体识别准确率上看，双分支模型的识别精确度更高，为93.81%。因为双分支模型同时输入两种不同光源的特征信息，特征更加丰富。而在经过特征增强后的模型，准确率Accuracy从89.13%提升到93.19%，提升了4.06%。从具体的样品材质上看，单分支（FE增强）比双分支在铜和铁两种材质上识别准确率更高一些，而双分支在铝和锌的识别准确率更高。从Precision指标看，单分支（FE增强）在铜、铁和锌分别达到了91.56%、97.93%和94.86%，比双分支提升了0.18%、0.8%和2.09%，铜的提升明显。从Recall看，双分支在铜、铝和锌分别为91.10%、94.90%和95.14%，比单分支（FE增强）高1.45%、1.55%和0.66%。

本实例中，在MobileNetV3-S和PVTv2-B0两种模型上使用了FE预训练方法，模型均使用轻量化的版本。表5给出了单分支特征增强预训练后不同模型之间的比较，MobileNetV3-S经过特征增强预训练之后，模型准确率从90.27%提升到91.98%，提升了1.71%。从Precision上看，铜、铝、铁和锌分别提升了2.5%、0.85%、4.11%和1.49%，铁材质提升明显。从Recall看，四种材质分别提升3.33%、2.11%、5.63%和0.88%。从整体上看，双分支模型的准确率更高，达到了94.17%，单分支模型在经过预训练后铝材质准确率有所提升。

PVTv2-T则是在FE增强后模型的准确率从89.24提升到91.35%，提升了2.11%。双分支模型的识别准确率要比单分支模型更高，达到了94.08%较单分支增强模型强2.73%。对于粗糙度检测模型，双光源有更丰富的特征，对模型的识别准确率是相当重要的。与没有经过预训练的单分支模型相比，增强后的模型在铝、铜、铁的Precision上分别提升了4.71%、1.42%和2.43%，锌的精确度轻微下降了0.59%。从Recall上看，铝、铜、铁材质分别提升了4.78%、1.72%、1.46%和0.70%。其中，铝的准确率提升明显。

经过单分支特征增强模块FE预训练后，单分支模型比没有预训练的单分支模型准确率更高。同时，双光源粗糙度检测模型的识别率最高，对于粗糙度检测模型来说，更多的光源特征信息更丰富，有利于参数的学习。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于特征增强的单分支粗糙度检测方法，其特征在于，构建并训

练基于特征增强的单分支粗糙度检测模型，将待检测图像输入到训练好的单分支粗糙度检测模型中得到检测结果；所述单分支粗糙度检测模型包括特征提取网络、特征增强模块，所述特征增强模块包括交叉混合注意力模块、图卷积通道注意力模块；

所述单分支粗糙度检测模型的构建及训练方法包括：

S1，获取样品表面粗糙度数据集并进行预处理得到训练图像集；

S2，基于训练图像集选取不同光源的图像，预训练阶段使用特征提取网络提取不同光源的特征信息进行预训练参数学习，并通过交叉混合注意力模块、图卷积通道注意力模块对不同光源的特征信息进行交互和融合，其中，所述特征提取网络为双分支结构；

S3，预训练后，选取双分支结构中的单分支网络结构作为单分支粗糙度检测模型，利用单分支粗糙度检测模型对训练图像集中不同光源的图像继续进行训练；

S4，选择交叉熵损失作为损失函数，使用准确率、精度、召回率和特异性作为模型的评价指标，对训练后的单分支粗糙度检测模型进行评价。

2.根据权利要求1所述的基于特征增强的单分支粗糙度检测方法，其特征在于，所述步骤S1，获取样品表面粗糙度数据集并进行预处理得到训练图像集，包括：

S101，利用配备不同光源的图像采集设备拍摄样品在同一位置的表面粗糙度图像；

S102，利用白光干涉仪确定表面粗糙度图像对应的粗糙度值作为标签值，得到样品表面粗糙度数据集。

3.根据权利要求1所述的基于特征增强的单分支粗糙度检测方法，其特征在于，所述步骤S2，基于训练图像集选取不同光源的图像，预训练阶段使用特征提取网络提取不同光源的特征信息进行预训练参数学习，并通过交叉混合注意力模块、图卷积通道注意力模块对不同光源的特征信息进行交互和融合，具体包括：

S201，特征增强模块中引入交叉混合注意力模块进行空间注意力增强，基于交叉混合注意力将两种不同光源的特征切分成不同大小的矩形窗口进行注意力计算，提取不同光源的特征信息，并进行空间特征融合;

S202，特征增强模块中引入图卷积通道注意力模块从通道维度对特征进行增强，基于图卷积通道注意力以自注意力的方式计算不同光源间各个通道的相关性作为图卷积中边的信息，双光源特征以通道维度进行拼接得到混合通道特征信息，作为图卷积中节点的信息，从通道角度融合两个不同光源特征。

4.根据权利要求3所述的基于特征增强的单分支粗糙度检测方法，其特征在于，所述步骤S201，特征增强模块中引入交叉混合注意力模块进行空间注意力增强，基于交叉混合注意力将两种不同光源的特征切分成不同大小的矩形窗口进行注意力计算，提取不同光源的特征信息，并进行空间特征融合,具体包括：

交叉混合注意力模块使用不同行和列的特征进行自注意力机制的计算，生成注意力权重掩膜来调整特征权重的大小，得到经过空间注意力增强后的特征，经过空间注意力增强后的特征，输入到多层感知机得到最后的特征。

5.根据权利要求3所述的基于特征增强的单分支粗糙度检测方法，其特征在于，所述步骤S202，特征增强模块中引入图卷积通道注意力模块从通道维度对特征进行增强，基于图卷积通道注意力以自注意力的方式计算不同光源间各个通道的相关性作为图卷积中边的信息，双光源特征以通道维度进行拼接得到混合通道特征信息，作为图卷积中节点的信息，从通道角度融合两个不同光源特征，具体包括：

不同光源之间的特征信息分别被输入到两个路径：通道自注意力计算路径用于计算通道间的相关性程度，特征融合路径用于融合不同光源的特征信息；

每个通道与其他的通道特征进行融合计算，得到增强后的通道特征。

6.根据权利要求1所述的基于特征增强的单分支粗糙度检测方法，其特征在于，所述步骤S3，利用单分支粗糙度检测模型对训练图像集中不同光源的图像继续进行训练，包括：

单分支粗糙度检测模型在基于深度学习框架PyTorch的两个RTX 2080Ti图形处理器上进行训练，迭代20次，批处理大小为64次；采用Adam优化器对模型参数进行优化，权重衰减为0.0001。