CN113033547A - 一种基于MobileNetV2的焊接状态分类方法 - Google Patents

Abstract

一种基于MobileNetV2的焊接状态分类方法属于计算机视觉领域，本发明利用其基础特征提取结构单元，设计了熔池正、反面图像对双输入模式、不同特征层融合方式以及熔池双侧图像特征的张量融合方式，构造了一种基于MobileNetV2的焊接状态分类模型。本发明采用MobileNetV2特征提取结构代替普通卷积，在有效提取特征的同时又保证了模型的轻量化；本发明设计的浅层网络提取的特征与深层网络提取的特征在中间层进行融合，使得特征兼具熔池细节特征和轮廓特征；本发明采用张量融合操作将熔池两侧图像特征融合，使得网络依据熔池双侧信息决策焊接状态，使得模型对焊接状态分类具有更好的描述能力。

Description

一种基于MobileNetV2的焊接状态分类方法

技术领域

本发明属于计算机视觉领域，具体涉及深度学习神经网络方法、图像特征提取等技术。

本发明针对焊接状态分类问题，提出了一种基于MobileNetV2的焊接状态分类方法。本发明采用MobileNetV2轻量级的基础结构单元对熔池正、反面图像对进行特征提取、融合及焊接状态分类。首先，本发明使用V2基础结构单元设计了熔池正、反面图像的特征提取网络模块提取特征；然后，在熔池正、反面图像的特征提取网络模块中设计了浅层特征的提取并与主干网络提取的(深层)特征进行融合；最后设计了熔池正、反面图像特征的特征融合用于焊接状态分类。本发明可用于对二维图像信号的分类识别等多种计算机视觉任务中。

背景技术

焊接作为结构制造的关键工序，是控制结构精度、密封性能(关重特性)、长寿命要求的核心过程。为了适应当今科学技术高速发展的要求，人工焊接已经满足不了时代的需要，所以既能解放人力又能在极端环境下作业的焊接机器人应运而生。

但自动焊接的过程并不是鲁棒的，焊枪位置变动、温湿度以及其他因素干扰都有可能影响焊接质量，所以在焊接过程中通过焊接数据实时预测焊接状态的任务至关重要。

视觉是一种较为理想的焊接状态分类检测方式，目前已经开展了大量的研究工作。但传统的方法大多是根据不同的焊接方法，利用相机的光谱响应或者图像处理算法来实现检测，但这种方式适用性小，不具有普适性。上世纪60年代，感知机(MultilayerPerceptron，MLP)网络的提出掀起了人们研究人工神经元网络的热潮。随后出现的BP人工神经网络因其具有任意复杂的模式分类能力和优良的多维函数映射能力，在焊接领域(如焊接接头质量预测与监控、焊接工艺参数设计、焊缝成形控制以及焊接缺陷的检测等方面)得到了广泛的应用。但其依然存在学习速度慢、容易陷入局部极小值和网络层数有限等问题。

卷积神经网络(Convolutional Neural Network，CNN)在图像分类和目标检测中发挥着出色的效能，卷积运算对图像的形状和细节具有强大的提取能力，能较好地处理焊接熔池图像微小的变化。但一般用于焊接状态检测的网络仅针对熔池单侧(熔池正面或者背面)图像提取特征，本发明耦合了熔池正、反面图像对的特征，使得网络对焊接状态的分类更加精准。

近年来随着人工智能的新一轮复兴，基于深度学习的计算机视觉技术飞速发展。2012年提出AlexNet轻松夺得2012年ILSVRC比赛的冠军，top5预测的错误率为16.4％，远超第二名。自此，大量的计算机视觉研究工作者都转向了深度学习，更多更深的神经网络被提出。在随后的几年中，VGG、ResNet等网络的逐渐被提出。

虽然理论上更深的网络模型具有更加强大的性能，但随着网络体积越来越大，结构越来越复杂，预测和训练需要的时间也逐步增多，硬件资源要求也越来越高。复杂的网络模型难以应用到嵌入式设备中，所以深度学习领域也在努力促使神经网络向小型化发展，在保证模型准确率的同时体积更小，速度更快。之后提出的MobileNet等轻量级网络模型，在保持了一定精度的要求下，模型更小。

本发明选用MobileNetV2的基础结构单元用于本发明熔池正、反面图像的特征提取，这保证了即便增加一路网络，模型还是能保持轻量化。在熔池单侧图像提取网络中，本发明设计了深层特征与浅层特征融合的方式，使得网络提取的特征更完整。其次，再通过对熔池两侧焊接图像的特征张量融合，使得融合后的特征图具备熔池两侧的特征相关性，模型即具有更高的性能。训练数据采用自建的焊接熔池正、反面数据集。本方法在数据集上实现了99％以上的精度，优于MobileNetV2及其他经典模型在此数据集上的表现，且同时保持模型参数量较小。因此，本发明提出的基于MobileNetV2的焊接状态分类网络模型对于实现高效、准确的焊接状态分类有着十分重要的应用价值。

发明内容

本发明利用深度学习技术，提出一种基于MobileNetV2的焊接状态分类方法。由于焊接过程中，熔池的形态能最直观地反映焊接状态，熔池的形态又是时刻变化的，熔池正面观察到的熔池形态与背面观察到的也常有差异。若仅凭借熔池的单侧图像来判断焊接状态，可能存在误判的情况，所以本发明提出通过熔池正、反面图像对特征融合的方式来共同决策焊接状态。由于本发明应用在焊接领域，所以焊接图像的特征提取网络需要是轻量化的，提出使用MobileNetV2网络结构构建焊接状态分类模型，使用自建的焊接熔池正、反面数据集对网络进行训练，将传统的仅凭熔池单侧图像决策焊接状态延伸到利用熔池双侧图像，将熔池两侧图像特征进行融合实现更加精准的状态分类。首先，制作数据集并对数据集进行预处理，提取熔池图像的ROI区域，并对图像进行归一化和增强处理，从而得到网络的输入；其次，将处理后的图像信息分别输入到熔池两侧特征提取模块，分别对熔池两侧图像特征进行提取；然后，通过特征融合模块对熔池两侧图像特征进行融合；最后，将融合之后的特征进行特征的再提取并经全连接层进行组合，得到一个特征向量，该特征向量包含了焊接状态分类的特征信息。使用随机梯度下降法(SGD)在自建的焊接熔池正、反面数据集上训练网络，并对焊接状态进行分类。本方法主要流程如附图1所示，可分为一下三个步骤：数据集的制作及数据的预处理，熔池双侧图像的特征提取和融合，网络模型的训练和焊接状态分类。

1.数据集的制作及数据的预处理

由于本发明源于变极性等离子(VPPA)焊接实验项目，且没有相关的焊接状态公共数据集，所以实验最开始就需要制作数据集。为了解决传统方法仅采集熔池单侧图像并将其用于焊接状态分类造成的误检，本发明安装两个相同的工业相机在实验工板的正、反面，按照相同的频率且时间对齐用于采集熔池正、反面图像对。

由于工业相机拍摄到的原始图像中，熔池及电弧的只占很小的部分，为了降低网络的计算负荷，对原始焊接熔池两侧图像获取ROI关键区域，将其制作为我们的数据集数据集。为了尽量利用我们有限的数据，本发明通过一系列随机变换对数据进行提升，这样我们的模型将看不到两张完全相同的图片，这有利于我们抑制过拟合，使得模型的泛化能力更好。然后为了防止梯度爆炸以及进一步加快网络训练速度，对数据在进行归一化处理，将处理后的数据作为网络的输入，用于特征提取。

2.熔池双侧图像的特征提取和融合

本发明所使用的神经网络特征提取模型主要采用MobileNetV2的基本结构，其中最关键的还是来自V1的深度可分离卷积操作(如附图2所示)，深度可分离卷积包括深度卷积操作和1x1的逐点卷积，假定输入特征图大小是D_F×D_F×G，而输出特征图大小是D_F×D_F×H，对于标准的卷积D_K×D_K，其计算量将是：D_K×D_K×G×H×D_F×D_F。其中D_F和D_K分别为输入/出特征图的长宽、卷积核的长宽，G和H分别表示输入特征图的通道数和输出特征图的通道数。

而对于深度卷积其计算量为：D_K×D_K×G×D_F×D_F，逐点卷积计算量是：G×H×D_F×D_F，所以深度可分离卷积总计算量是：

D_K×D_K×G×D_F×D_F+G×H×D_F×D_F

可以比较深度可分离卷积和标准卷积如下：

一般情况下，H比较大，那么如果采用3x3卷积核的话，深度可分离卷积相较标准卷积可以降低大约9倍的计算量。

本发明中包含了多个深度MobileNetV2模块，V2与V1相比，更是在深度卷积之前加入一层逐点卷积进行通道数的扩充，并通过最后一层逐点卷积进行通道数的降维，使得提取的特征更加丰富，同时也实现了模型的轻量化。如附图3所示，MobileNetV2有三种基本的结构：(a)增加了ResNet结构中快捷连接的特征图尺寸不变的特征提取结构(MobileNetV2s＝1block Add)，这种结构能够有效防止梯度消失，也使得更深的网络成为可能；(b)没有快捷连接的特征图尺寸不变的直筒型特征提取结构(MobileNetV2s＝1block)；(c)特征图尺寸缩减的直筒型特征提取结构(MobileNetV2s＝2block)。

模型输入通过一系列的卷积层和MobileNetV2模块不断提取特征，又通过浅层特征和深层特征的聚合，使得特征信息更加丰富。然后通过张量融合操作将两个特征提取网络提取到的熔池两侧图像特征进行融合，使得融合后的特征同时具有熔池两侧的特征信息，然后再对高度融合的特征通过由多个MobileNetV2模块组成的子网模块解码，用来决策焊接状态。

3.网络模型的训练和焊接状态分类

融合后的特征图经子网模块，再经全连接层后得到多维特征向量，使用softmax作为分类器来对特征进行分类用于最后的焊接状态分类。使用自建的焊接熔池正、反面数据集训练网络。该数据集由多组不同参数的焊接过程经工业相机拍摄所得，包含正常焊接熔池两侧图像3000对、咬边焊接熔池两侧图像2500对和切割焊接熔池两侧图像3000对。该数据集能够较好的反应以上三种焊接状态，能够让网络学习到不同焊接参数下的熔池形态的特征。本发明提出的基于MobileNetV2的焊接状态分类网络模型框架如图4所示。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明利用MobileNetV2的轻量级结构，提出了针对熔池正、反面图像对双输入的深度网络模型，设计了深、浅特征层融合以及熔池双侧图像特征的张量融合的方式，使得提取到的特征信息更加全面、焊接状态分类的精度更高。首先，本发明相较于传统的焊接状态分类方法，弥补了仅凭熔池单侧图像检测焊接状态的短板；其次，相较于普通的卷积操作，采用的MobileNetv2特征提取结构单元用来代替普通卷积，能够在有效提取特征的同时又保证了模型的轻量化，打破了一般焊接状态检测嵌入式设备只能够采用浅层网络的限制；然后，设计将浅层子网提取的特征与深层提取的特征进行融合，使得特征兼具熔池细节特征和轮廓特征；最后，采用张量融合操作将熔池两侧图像特征融合，使得网络依据熔池双侧信息决策焊接状态，使得模型对焊接状态检测具有更好的描述能力。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要的附图作简单地介绍：

图1基于MobileNetV2的焊接状态分类方法流程图

图2MobileNetV1深度可分离卷积示意图

图3MobileNetV2三种结构示意图

图4基于MobileNetV2的焊接状态分类网络模型框架图

图5张量融合示意图

图6焊接熔池正、反面数据集及其分类

图7混淆矩阵结果图

具体实施方式

根据上述描述，以下是一个具体的实施流程，但本专利保护的范围并不限于该实施流程。

步骤一：数据集的制作及数据的预处理

首先进行数据集的制作。焊接设备方面，采用站立式机器人焊接工作站系统，6轴机器人安装于三位移动装置上，工件安装于2轴变位机，三位移动装置可实现高向(z轴)、横向(x轴)、纵向(y轴)的独立调节，增加机器人移动范围，使其有效焊接范围能够满足焊接实验的要求。通过对6轴机器人+三维移动装置+双轴变位机系统的集成，实现对焊枪与焊缝相对位置的实时控制，使变极性等离子VPPA焊枪与焊缝的相对位在复杂的曲线焊缝焊接过程中，也始终处于垂直向上的关系。焊接数据采集方面，首先，在工件的正面和反面安装两个高速CCD工业相机用于采集焊接时熔池正、反面图像对；其次，通过触发控制器使得相机同时、且按照相同的频率采集数据；然后，对焊接控制器设置几组不同的输入参数，使得相机能采集到不同的焊接状态；最后，通过手工筛选的方式挑选出包含三个焊接状态的8500个熔池正、反面图像对(包含正常焊接熔池两侧图像3000对、咬边焊接熔池两侧图像2500对和切割焊接熔池两侧图像3000对)。

得到图像数据对之后，由于原相机拍摄的图像分辨率为1024x1024，但我们的有效图像区域大小可能只有300x300，所以我们将焊接熔池正、反面图像对进行提取ROI区域，然后将其作为我们的焊接熔池正、反面数据集。本发明的焊接熔池正、反面数据集分类情况如图6所示。

在得到数据集之后，为了满足不同尺寸的图像也能使用我们的网络模型，首先将图像数据变换至统一尺寸(192x192)，然后通过一系列随机变换对数据进行提升，最后再对数据进行归一化处理，处理后的数据用来训练本发明的焊接状态分类网络模型。

本发明提出的焊接状态检测网络模型将焊接熔池两侧图像同时用于决策焊接状态，这与传统的仅凭熔池单侧图像的网络模型相比，理论上具有更高的可靠性和鲁棒性。

步骤二：熔池双侧图像的特征提取和融合

在得到两个子网的输入之后，首先，经过一个普通卷积层提取初步的特征图，然后，本发明考虑了深层卷积操作会对图像的细节特征造成损失，所以将特征图分别送入一个深层特征提取模块和一个浅层特征提取模块中提取深层特征和浅层特征。接着，将深层特征和浅层特征进行通道聚合并经过一个普通卷积层对通过通道拼接得到的特征图进行平滑，使得深层特征与浅层特征更好的结合。之后再经过特征提取、池化、全连接层对特征图进行尺寸和通道的压缩，得到一个包含熔池单侧图像状态特征信息的多维特征向量。另一侧面的熔池特征提取网络同理可得，将两个得到的代表熔池两侧特征的多维特征向量(例如66维)进行张量积运算，得到一个高度结合了熔池两侧特征信息的特征图。最后，通过几个连续的MobileNet V2特征提取模块(s＝2)对特征图的尺寸进行压缩，再通过平均池化，全连接层得到代表整个熔池两侧图像特征的特征向量，最后经过softmax层得到网络的预测输出。

步骤2.1：初始特征图提取

首先采用一个普通卷积层对网络输入提取初始特征图，并采用BN层加速模型收敛、防止过拟合，以及将relu6作为激活函数，其卷积运算可以表述为：

其中，v^(i,j,k)是卷积运算的输出的特征图在其位置坐标(i,j,k)处的值，P是卷积核的维度，Q是卷积核的宽度，R是卷积核的高度，Z是卷积核的个数。

表示第z个卷积核中位置坐标为(p,q,r)处的权重，x是卷积运算的输入，其中x^{(i+p,j+q,k+r)}表示输入中坐标位置为(i+p,j+q,k+r)处的值。b_z表示第z个特征图的偏置。f则表示的是卷积网络中的非线性映射。在本发明中，采用的是批归一化(Batch Normalization，BN)和relu6激活层。BN层的作用主要是加快网络训练和收敛、防止梯度消失和防止过拟合。Relu6激活函数能解决线性模型表达能力不足的缺陷，与relu层的区别为限制了输出的最大值为6，主要是为了在移动端float16的低精度的时候，也能有很好的数值分辨率。其计算方法为：

relu6(x)＝min(max(x,0),6)

在本发明中，第一层卷积层Conv1采用3x3的卷积核(卷积核个数为16，输入数据大小为192x192x3，步长为2)，得到的初始特征图大小为96x96x16。在此基础之上，本发明考虑到深层卷积提取的是经多次特征提取得到的熔池轮廓特征，浅层卷积对熔池的细节特征保留的更加完好，所以本发明设计将初始特征图进行两路特征提取模块，分别提取熔池轮廓特征和细节特征，然后通过融合获取熔池单侧图像特征向量，该部分网络参数设置如表1所示。

表1熔池单侧部分网络框架中网络参数

步骤2.2：熔池深层特征提取

本发明采用MobileNetV2的基础结构进行深层提取特征。V1通过深度可分离卷积大幅降低参数量，V2在V1的基础上增加了一个1x1的卷积层对通道进行扩充，有利于可分离卷积层提取特征，并取消最后一层的relu6，用线性层代替。MobileNetV2模块有三种结构，一种是特征图尺寸缩减的直筒型特征提取结构(MobileNetV2 s＝2 block)，在表1、2中简记为block(s＝2)；一种是增加了ResNet结构中快捷连接的特征图尺寸不变的特征提取结构(MobileNetV2 s＝1 block Add)，在表1中简记为block(s＝1，Add)，这种结构能够有效防止梯度消失，也使得更深的网络成为可能；另一种则是没有快捷连接的特征图尺寸不变的直筒型特征提取结构(MobileNetV2 s＝1 block)，在表1、2中简记为block(s＝1)。

在深层特征提取网络中，采用了4个直筒型特征提取结构(MobileNetV2 s＝2block)、4个带快捷连接的特征提取结构(MobileNetV2 s＝1 block Add)和2个不带快捷连接的特征提取结构(MobileNetV2 s＝1 block)。初始特征图(96x96x16)通过该网络模块不断压缩、提取特征得到包含熔池轮廓特征的深层特征图(6x6x256)。

步骤2.3：熔池浅层特征提取

本发明依然采用MobileNetV2的基础结构进行浅层提取特征，但我们想快速从初始特征图(96x96x16)得到浅层特征图(6x6xβ，与深层特征图同尺寸，其中β为通道数)，所以在熔池浅层特征提取模块中仅采用尺度缩小的直筒型特征提取模块(MobileNetV2 s＝2block)，不断地对输入特征图尺寸进行压缩。对此仅需4个特征提取模块(MobileNetV2 s＝2 block)即可得到包含熔池细节特征的浅层特征图(6x6x256)。

步骤2.4：熔池深、浅层特征聚合及熔池单侧图像特征提取

在得到深层特征图(6x6x256)和浅层特征图(6x6x256)的基础上，本发明设计将其通过通道拼接方式将深层熔池轮廓特征与浅层熔池细节特征聚合得到新的特征图，为了更好地将深层和浅层特征融合，采用了一个卷积核为1x1的普通卷积层对新特征图处理，接下来使用平均池化层将特征图降维成1维向量(1x1x256)，最后再采用一个全连接操作进一步降低熔池单侧图像特征向量的维度(1x1x55)。其中全连接降维时考虑到之后的张量积操作，若选取过大，则会加大运算量及参数，过小则无法准确传递熔池图像的特征，所以该全连接层的输出维度是经验选取的。

熔池反面图像的特征提取网络与正面设置完全相同，所以熔池两侧图像分别通过深、浅层特征提取模块，聚合以及进一步提取特征后得到了代表熔池两侧状态的特征向量。

步骤2.5：熔池两侧图像特征张量融合与特征再提取

在得到熔池两侧图像的特征向量的基础上，为了充分地将熔池两侧图像特征充分融合，选用张量积方式得到融合后的张量。如附图5所示，h_x代表提取到的熔池正面特征，h_y表示提取到的熔池正面特征，则每一个(h_x,h_y)可以被视为是被[1h_x]^T和[1h_y]^T所构造的二维笛卡尔坐标系下的点，其在数学上等价于h_x和h_y之间的外积：

其中

表示向量之间的外积，h_m表示图中三个语义不同的亚区域的熔池两侧图像特征嵌入的所有可能组合的二维平面。首先两个子区域是来自单模态的特征的提取h_x和h_y，其次子区域

捕获熔池两侧特征交互作用。

由于张量融合是由一个外积在数学上形成的，所以它没有可学习的参数，而且过拟合的机会很低。我们认为这是由于张量融合的输出神经元很容易解释，而且在语义上也很有意义。因此，后续的网络层很容易从中解码出有意义的信息，从而完成对焊接状态的分类，后续的消融实验也验证了采用张量融合的方式比采用简单的特征图拼接或者特征向量拼接更有优势。

本发明首先将提取到的两侧的熔池特征向量增加一个维度，并使其值为1，这能保证张量积之后既保留了原有熔池两侧图像的特征，也具有熔池两侧图像特征的相关性。所以原单侧特征向量维度为55，张量积时输入维度为56。

通过以上的张量融合操作之后，得到了一个高度融合了熔池两侧特征的张量。再将其送入3个采样步长为2的特征提取模块(MobileNetV2 s＝2 block)和3个采样步长为1、不带快捷连接的特征提取模块(MobileNetV2 s＝1 block)交替堆叠组成的特征再提取结构，对融合后的张量进行压缩、整合，得到7x7x64大小的特征图，然后再通过一个平均池化层将特征图降维成多维特征向量(1x1x64)，最后再通过全连接层和sofmax对特征向量进一步降维以及对焊接状态的决策。该部分网络参数如表2所示。

表2熔池两侧融合部分网络框架中网络参数

步骤三：网络模型的训练和焊接状态分类

本发明采用全连接层和sofmax层对得到的64维特征向量进一步降维以及对焊接状态的分类。其中softmax的数学计算如下：

其中，e为自然常数，M表示熔池状态的类别数量(数据集类别为3)，V表示经全连接层之后得到的三维向量，V_i表示V中的第i个元素，S_i表示的是这个元素的softmax值，j表示的是元素的个数。Softmax函数将三维的实数向量压缩(映射)成另一个三维的实数向量，其中向量中的每个元素取值都介于0与1之间，最后的softmax值也是网络对焊接状态预测的概率。

损失函数采用交叉熵损失函数，用来评估当前训练得到的概率分布与真实分布的差异情况，其刻画的是实际输出概率与期望输出概率的距离，也就是交叉熵的值越小，两个概率分布就越接近。其数学表示如下式：

其中，N表示样本数量，M表示熔池状态的类别数量，L_i表示第i个样本的损失函数值，q_i,j表示第i个观测样本的真实类别是否是j(是则为1，否则为0)，表示第p_i,j表示第i个观测样本属于类别j的预测概率。

接下来，训练方法采用随机梯度下降方法(SGD)，最小化上述的损失函数。整个网络在自建的焊接熔池正、反面数据集上进行训练和测试(70％用于训练，30％用于测试)。通过实验发现，经验性地将学习速率设为10^－2，动量参数设置为0.9，并采用3次损失不降则学习率减半的训练方法训练模型收敛较快，并设置10次损失不降(视为训练模型已经收敛)则模型训练停止的早停条件。本发明采用keras深度学习框架，共进行100次迭代，网络中所有参数均采用随机初始化。

在本发明提出的焊接状态分类网络模型中，将网络模型所有模块的全部初始参数记作δ0，网络模型初始的分类预测值记作P⁰，初始损失函数输出值记作L⁰；则通过梯度下降算法之后，第一次更新的网络参数记作δ¹，第一次更新网络参数之后得到的分类预测值记作P¹，损失函数输出值记作L¹；再次通过梯度下降算法，第二次更新的网络参数记作δ²，第二次更新网络参数之后得到的分类预测值记作P²，损失函数输出值记作L²……，以此类推，网络参数会不断更新，损失函数输出值也会越来越小直至趋于稳定，此时将达到早停条件或者达到最大迭代次数，模型停止训练，将训练过程中得到的损失函数输出值最低的网络参数作为本发明网络模型的最终参数，记作δ。则网络的训练过程如下：

1.随机初始化焊接状态检测网络参数δ⁰。

2.读入焊接熔池正、反面数据并进行预处理。

3.通过焊接状态检测网络计算得到类别预测值P⁰。

4.将类别预测值P⁰送入损失函数中计算得到损失输出值L⁰。

5.利用SGD训练模型并更新网络参数为δ¹，计算得到新的预测值P¹，通过损失函数得到损失输出值L¹。

6.利用SGD训练模型并更新网络参数为δ²，计算得到新的预测值P²，通过损失函数得到损失输出值L²。

7.重复步骤5－6直至模型达到早停条件或者达到迭代设置上限，则视为模型收敛停止训练，将损失函数输出值最低的网络参数作为模型的最终参数δ。

经过训练之后的焊接状态检测模型将待预测的熔池两侧图像作为输入，输出预测焊接三个状态(正常焊接，焊接咬边，切割焊接)的概率。然后返回概率最高的状态作为模型分类的结果。

为了验证本发明所提出的基于MobileNetV2的焊接状态分类方法的有效性，将发明的实例模型与现有的常用于焊接状态检测的主流神经网络模型以及其他先进的模型分别在同一自建的焊接熔池正、反面数据集上做对比实验。

实验的评价指标分别采用准确率(Acc)、精准率(P)和召回率(R)。准确率的计算方法如下：

其中AL表示所有样本的数量，TP_i表示实际为第i类实际也被预测为第i类的样本数量，M表示类别的数量，本发明中为3。精准率的计算方法如下：

其中FP_i表示实际不为第i类却被预测为第i类的样本数量，其他字母表示如准确率计算公式。召回率的计算方法如下：

其中FN_i表示实际为第i类却被预测为其他类的样本数量，其他字母表示如准确率计算公式。

本发明在自建的熔池两侧图像数据集上训练完成之后得到的混淆矩阵如图7所示，每一行表示数据的真是归属类别，每一列表示网络模型预测得到的类别，如0.03表示有3％原本属于第三类的样本却被网络错误地分类为第二类，0.97表示有高达97％的第三类样本被网络正确分类。而对于第一类和第二类样本本发明提出的模型能够做到百分百准确率分类。这也说明了提出的分类模型具有较高的性能。

对比实验结果如表3所示。其中，Ours(单输入)表示无张量融合模块的熔池单侧网络。在熔池正、反面数据集的实验中，除了我们的方法，其他对比的方法都采用简单的特征向量拼接的方式融合特征，Ours(特征向量拼接)表示不采用张量融合而使用简单的特征向量拼接，Ours(无浅层特征提取)表示采用张量融合但不采用熔池单侧深、浅层特征融合，Ours(特征图堆叠)表示不采用张量融合而采用特征图通道堆叠融合。

表3各类网络模型在自建数据集上的比较结果

从示出的实验结果来看，LeNet虽然参数量最小，但他的效果却也是不够好的。VGG虽然具有较高的性能优势，但其参数量对于嵌入式设备来说过于庞大。轻量级的MobileNetV1因深度可分离卷积结构具有较小的参数量，同时也保存了较好的性能。V2通过在深度可分离卷积前额外加入一层逐点卷积对通道扩充以及引入快捷连接使得模型的参数量更小的同时网络更易收敛，性能更优。

本发明提出的基于MobileNetV2的焊接状态分类模型，对于熔池单侧数据集来说，设计的网络深度不如MobileNetV2，所以参数量较V2少19.27％，但由于熔池深、浅层特征融合的存在，使得性能与V2相比仅下降0.50％。对于熔池两侧数据集来说，所有的模型都较原单输入有较小或较大的提升。这也验证了熔池两侧图像输入决策焊接状态要比单侧图像可靠性更高。其中对于熔池深、浅层特征融合方式，模型性能也有小幅提升，这也证明了我们深、浅层模型的有益性。对于本发明设计模型的消融实验表示，特征图通道叠加方式融合实际分类效果稍强(提升0.13％)于特征向量拼接方式融合，但与本发明采用的张量积融合仍有差距(差0.39％)。而且我们的方法与MobileNetV2同时运用在焊接熔池正、反面图像数据集上，性能提升0.22％，模型参数量下降了23.78％。该实验更是验证了采用张量积用于熔池正、背面特征融合对于焊接状态分类网络模型性能的提升具有建设性的意义。

Claims (4)

1.一种基于MobileNetV2的焊接状态分类方法，包括普通卷积层、MobileNetV2基础结构单元、池化层、全连接层、softmax层，其特征在于：采用熔池正、反面图像对作为输入，通过MobileNetV2基础结构作为特征提取单元提取特征，搭建了一个基于MobileNetV2的焊接状态分类模型；熔池单侧特征提取模块通过多个MobileNetV2基础结构对熔池单侧图像分别提取深、浅层特征，将其融合之后再进行特征提取得到熔池单侧特征；熔池正、反面图像特征的融合操作由张量融合完成，之后再通过MobileNetV2基础结构提取模块，从而使网络学习到更多熔池正、反面图像对特征的相关性；本网络模型的损失函数采用交叉熵损失函数，整个训练过程采用随机梯度下降法。

2.根据权利要求1所述的基于MobileNetV2的焊接状态分类方法，其特征在于：深层特征提取网络中，采用了多个直筒型特征提取结构、带快捷连接的特征提取结构和不带快捷连接的特征提取结构；初始特征图通过该网络模块不断压缩、提取特征得到包含熔池轮廓特征的深层特征图；浅层特征提取网络中依然采用MobileNetV2的基础结构进行浅层提取特征，在熔池浅层特征提取模块中仅采用尺度缩小的直筒型特征提取模块，不断地对输入特征图尺寸进行压缩；对此仅需堆叠基础特征提取模块即可得到包含熔池细节特征的浅层特征图；

在得到深层特征图和浅层特征图的基础上，设计将其通过通道拼接方式将深层熔池轮廓特征与浅层熔池细节特征聚合得到新的特征图，然后采用了一个卷积核为1x1的普通卷积层对新特征图处理，为了更好地将深层和浅层特征融合，接下来使用平均池化层将特征图降维成1维向量，最后再采用一个全连接操作进一步降低熔池单侧图像特征向量的维度；其中全连接降维时考虑到之后的张量积操作，该全连接层的输出维度选取为55；

熔池反面图像的特征提取网络与正面设置完全相同，所以熔池两侧图像分别通过深、浅层特征提取模块，聚合以及进一步提取特征后得到了代表熔池两侧状态的特征向量。

3.根据权利要求1所述的基于MobileNetV2的焊接状态分类方法，其特征在于：在得到熔池两侧图像的特征向量的基础上，选用张量积方式得到融合后的张量；h_x代表提取到的熔池正面特征，h_y表示提取到的熔池反面特征，则每一个(h_x,h_y)被视为是被[1 h_x]^T和[1h_y]^T所构造的二维笛卡尔坐标系下的点，其在数学上等价于h_x和h_y之间的外积：

其中

表示向量之间的外积，h_m表示三个语义不同的亚区域的熔池两侧图像特征嵌入的所有可能组合的二维平面；首先两个子区域分别是来自熔池单侧图像特征的提取h_x和h_y，其次另一子区域

捕获熔池两侧特征交互作用；

通过以上的张量融合操作之后，得到了一个高度融合了熔池两侧特征的张量；再将其送入由采样步长为2的特征提取模块和采样步长为1、不带快捷连接的特征提取模块交替堆叠组成的特征再提取结构，对融合后的张量进行压缩、整合，得到再提取的特征图，然后再通过一个平均池化层将特征图降维成多维特征向量，最后再通过全连接层和sofmax对特征向量进一步降维以及对焊接状态的决策。

4.根据权利要求1所述的基于MobileNetV2的焊接状态分类方法，其特征在于：采用全连接层和sofmax层对得到的多维特征向量进一步降维以及对焊接状态的分类；其中softmax的数学计算如下：

其中，e为自然常数，M表示熔池状态的类别数量，V表示经全连接层之后得到的三维向量，V_i表示V中的第i个元素，S_i表示的是这个元素的softmax值，j表示的是元素的个数；Softmax函数将三维的实数向量压缩成另一个三维的实数向量，其中向量中的每个元素取值都介于0与1之间，最后的softmax值也是网络对焊接状态预测的概率；

损失函数采用交叉熵损失函数，用来评估当前训练得到的概率分布与真实分布的差异情况，其刻画的是实际输出概率与期望输出概率的距离，也就是交叉熵的值越小，两个概率分布就越接近；其数学表示如下式：

其中，N表示样本数量；M表示熔池状态的类别数量；L_i表示第i个样本的损失函数值；q_i,j表示第i个观测样本的真实类别是否是j，是则为1，否则为0；p_i,j表示第i个观测样本属于类别j的预测概率；

训练方法采用随机梯度下降方法，最小化上述的损失函数；整个网络在自建的焊接熔池正、反面数据集上进行训练和测试；学习速率设为10^－2，动量参数设置为0.9，并采用3次损失不降则学习率减半的训练方法训练模型收敛较快，并设置10次损失不降则模型训练停止的早停条件；采用keras深度学习框架，共进行100次迭代，网络中所有参数均采用随机初始化；

在提出的焊接状态分类网络模型中，将网络模型所有模块的全部初始参数记作δ⁰，网络模型初始的分类预测值记作P⁰，初始损失函数输出值记作L⁰；则通过梯度下降算法之后，第一次更新的网络参数记作δ¹，第一次更新网络参数之后得到的分类预测值记作P¹，损失函数输出值记作L¹；再次通过梯度下降算法，第二次更新的网络参数记作δ²，第二次更新网络参数之后得到的分类预测值记作P²，损失函数输出值记作L²……，以此类推，网络参数会不断更新，损失函数输出值也会越来越小直至趋于稳定，此时将达到早停条件或者达到最大迭代次数，模型停止训练，将训练过程中得到的损失函数输出值最低的网络参数作为网络模型的最终参数，记作δ；则网络的训练过程如下：

1)随机初始化焊接状态检测网络参数δ⁰；

2)读入焊接熔池正、反面数据并进行预处理；

3)通过焊接状态检测网络计算得到类别预测值P⁰；

4)将类别预测值P⁰送入损失函数中计算得到损失输出值L⁰；

5)利用SGD训练模型并更新网络参数为δ¹，计算得到新的预测值P¹，通过损失函数得到损失输出值L¹；

6)利用SGD训练模型并更新网络参数为δ²，计算得到新的预测值P²，通过损失函数得到损失输出值L²；

7)重复步骤5)－6)直至模型达到早停条件或者达到迭代设置上限，则视为模型收敛停止训练，将损失函数输出值最低的网络参数作为模型的最终参数δ。

Images