CN109035242B - 一种基于深度学习的hf-erw焊接状态检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的HF‑ERW焊接状态检测方法及装置，能够大幅提升焊接状态图像测试精度。该方法包括：获取HF‑ERW焊接状态图像数据集；建立基于卷积神经网络CNN的图像分类模型；生成HF‑ERW焊接质量状态数据集；将图像分类模型的卷积层和池化层迁移到HF‑ERW焊接质量状态数据集上；从HF‑ERW焊接质量状态数据集选取部分样本图像数据作为训练集，将训练集中的样本图像数据输入图像分类模型进行训练，获取预测分类结果；每完成一次训练后，调整图像分类模型的参数；当损失值小于预设值时停止训练；将待检测的HF‑ERW焊接状态图像输入图像分类模型，获取分类结果。

Description

一种基于深度学习的HF-ERW焊接状态检测方法及装置

技术领域

本发明涉及焊接状态检测技术领域，尤其涉及一种基于深度学习的HF-ERW(HighFrequency Electric Resistance Welding，高频电阻焊)焊接状态检测方法及装置。

背景技术

石油、天然气等能源的管道运输是我国五大运输产业之一，对国民经济起着非常重要的作用，被称为“能源血脉”。电阻焊ERW直缝焊接管道在油气输送、城市燃气管线领域得到了广泛的应用，和其他管道相比，其具有成本低、使用稳定性高等诸多优点，在国内外越来越受到重视。据了解，在发达国家直缝焊接管道不仅在陆上油气输送管道工程中广泛应用，而且已在海底油气输送管道工程中被广泛采用，近年来甚至开创了在北极地区管道工程及在深井管工程的应用记录。因此，直缝焊接管道的质量稳定性对于陆地、海洋和深井油气输送的安全、乃至国家能源的安全都有着至关重要的意义。

目前国内几乎所有的直缝焊接管道生产厂家的设备尚不具备实时在线成型质量完备的检测控制装备，使得生产中参数控制不准确，影响了焊接的合格率，从而影响了其使用性能。近年来，相关研究发现：“ERW直缝焊接成型质量与焊点附近的阻热造成的熔融现象和焊后的毛刺形貌密切相关”。因此，如何高精度的提取焊接现象的特征，并积极地对其特征进行分析从而更好、更快速、更精确的对焊缝实时监测和控制是未来直缝管道焊接研究的方向和重点。但是由于电阻焊焊接过程复杂，影响其焊接质量的参数较多，为保证焊接接头质量，仍需要对焊接参数及焊接质量之间的关系进行进一步的研究和优化。

申请公布号为CN105787940A的中国发明专利申请公开了一种高频电阻直缝焊接质量状态的在线检测方法，其主要将采集到的图像样本作预处理后应用主成分分析对图像数据进行降维操作，然后将降维后的图像数据作为径向基神经网络的输入，图像样本对应的焊接质量状况作为网络的输出进行训练，最后用训练好的网络进行预测。然而，该方案的焊接状态总识别率仅可达到98.15％，不能满足更高识别率应用场景的需求。

深度学习是机器学习研究的一个新领域，深度学习注重模型的深度和自动特征提取，逐层由高到低进行特征学习，具有较高的特征提取和选择能力，因此深度学习被应用到图像分类、故障检测等多个方面。

申请公布号为CN107451997A的中国发明专利申请公开了一种基于深度学习技术的焊缝超声TOFD-D扫描缺陷类型的自动识别方法，其利用了FasterR-CNN识别网络对图像识别的优势，将其应用在焊缝超声TOFD-D扫描图像检测中。然而，该方案对未熔合和气孔的识别准确率仅能高达到0.90、对裂纹、夹渣和未焊透的识别准确率仅达0.85。并且，现有技术中还没有出现将深度学习应用在HF-ERW焊接状态检测并获取更高识别率的技术方案。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于深度学习的HF-ERW焊接状态检测方法及装置，能够大幅提升焊接状态图像测试精度，将焊接状态识别率提高到99.81％。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种基于深度学习的HF-ERW焊接状态检测方法，其包括：

输入多幅HF-ERW焊接状态图像，并进行批量预处理，获取HF-ERW焊接状态图像数据集；

建立基于卷积神经网络CNN的图像分类模型；对HF-ERW焊接状态图像数据集中的样本图像数据进行焊接质量状态标记，以生成HF-ERW焊接质量状态数据集；将图像分类模型的卷积层和池化层迁移到HF-ERW焊接质量状态数据集上；

从HF-ERW焊接质量状态数据集选取部分样本图像数据作为训练集，将训练集中的样本图像数据输入图像分类模型进行训练，获取预测分类结果；

每完成一次训练后，调整图像分类模型的参数；每完成预定次数的训练后，根据样本图像数据的预测分类结果与分类标签统计结果计算损失值，当损失值小于预设值时停止训练；

将待检测的HF-ERW焊接状态图像输入图像分类模型，获取分类结果。

一种基于深度学习的HF-ERW焊接状态检测装置，其包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行任一项所述的方法。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

通过对基于卷积神经网络CNN的图像分类模型迁移到HF-ERW焊接质量状态数据集上，并进行深度学习训练和参数调整，从而能够成功提取了图像特征并在图像测试精度上有较大幅度的提升，从而提高焊接状态识别率，并且对其他微量数据领域具提供准确的基础数据，具有理论和应用指导意义。

附图说明

图1是根据本发明示例性实施例的基于深度学习的HF-ERW焊接状态检测方法的流程图。

图2A至图2D是正常、低温、过热、接触四种焊接质量状态下采集到示例性图像。

图3是根据本发明示例性实施例的损失值曲线。

图4是根据本发明示例性实施例的图像分类结果最高识别率的变化曲线。

图5是根据本发明方法进行HF-ERW焊接状态检测识别的分类结果输出曲线。

图6是根据PCA-BPNN进行HF-ERW焊接状态检测识别的分类结果输出曲线。

图7是根据PCA-RBFNN进行HF-ERW焊接状态检测识别的分类结果输出曲线。

图8是根据本发明示例性实施例的基于深度学习的HF-ERW焊接状态检测装置的结构示意图。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1示出了根据本发明示例性实施例的基于深度学习的HF-ERW焊接状态检测方法的流程示意图，对该方法的主要步骤包括：

步骤101：输入多幅HF-ERW焊接状态图像，并进行批量预处理，获取HF-ERW焊接状态图像数据集

例如，可以通过高速CCD(电荷耦合器件)摄像机实时采集多幅表征不同焊接状态下的HF-ERW焊点熔融状态的数字图像或者视频，并通过本地数据通信接口或者网络通信接口输入计算机的存储装置中。图2A至图2D依次示出了在正常、低温、过热、接触四种焊接质量状态下采集到的对应图像，其展示了四种焊接质量状态下HF-ERW熔融现象和毛刺形貌图像。

预处理包括对输入的焊接状态图像进行大小调整、角度旋转、图像通道选择等批处理，提高所输入图像的各向一致性，从而增强后续识别的准确率。

步骤102：建立基于卷积神经网络CNN的图像分类模型

根据本发明示例性实施例的典型图像分类模型可以采用Matconvnet平台下的imagenet-vgg-f模型，其包括卷积层(Convolutional，conv)、激活函数、局部响应归一化LRN层、池化Pooling层、以及全连接(Fully Connected，FC)层。具体地，imagenet-vgg-f模型的网络结构的基本配置如下表1所示，其可以包含5个卷积层(conv1～5)和3个全连接层(full6～8)；每个卷积层由3行来定义，第1行制定了卷积核(即滤波器)的数量和尺寸，表示为“数量*尺寸*尺寸”，第2行设置卷积步长(st.)和空间填充(pad)，第3行设置LRN和最大池化参数(*2pool)；第六和第七全连接层full6、full7使用退出dropout机制以防止过拟合，第八全连接层full8则作为最大分类器，并且，所有权重层的激活函数采用修正线性单元函数(Rectified linear unit，ReLU)。

表1

步骤103：对HF-ERW焊接状态图像数据集中的样本图像数据进行焊接质量状态标记，以生成HF-ERW焊接质量状态数据集

例如，对HF-ERW焊接质量状态数据集中的样本图像数据分别根据其实际对应的HF-ERW焊点熔融状态，打上正常、低温、过热、接触四种焊接质量状态中的一种作为该样本图像数据的分类标签。

步骤104：将图像分类模型的卷积层和池化层迁移到HF-ERW焊接质量状态数据集上

其中，具体可以采用同构空间下的模型特征迁移学习算法进行迁移，获取imagenet-vgg-f图像分类模型上预训练好的卷积部分输出，利用卷积部分的输出来产生具有四个分类输出的第八全连接层，再将imagenet-vgg-f图像分类模型中的特征部分参数迁移与第八全连接层对接起来形成一个完整的基于卷积神经网络CNN的图像分类模型。

步骤105：从HF-ERW焊接质量状态数据集选取部分样本图像数据作为训练集，将训练集中的样本图像数据输入图像分类模型进行训练，获取预测分类结果

步骤106：每完成一次训练后，调整图像分类模型的参数

具体地，包括正向传播和反向调参两个过程。例如，将m个输入样本图像中的一个表示为(x^l,y^l)，则正向传播过程包括计算每个卷积层的神经元，计算公式为：

其中，l表示输入的层数，

输入特征向量，M_j为上一层中可选特征的集合，w^l为滤波器的权值，

为滤波器的偏置项，f(.)为sigmoid函数，y^l为该样本标记好真正的类别(即HF-ERW焊接质量状态数据集中样本图像数据的分类标签)。

反向调参过程包括：利用一个损失函数，来度量图像分类模型的预测分类结果和样本图像数据的分类标签之间的损失；其中，损失函数的公式为：

由此计算出损失函数后用梯度下降法使得整体函数最小化，对调整图像分类模型的每一层层参数

进行更新；其中

α为学习率。

步骤107：每完成预定次数的训练后，根据样本图像数据的预测分类结果与分类标签统计结果计算损失值，当损失值小于预设值时停止训练

具体可以采用softmax-loss函数来计算预测分类结果和样本图像数据的分类标签之间不一样程度。softmax-loss函数是根据最大似然原则建立的，其将soft函数和loss函数结合在了一起，公式为：

其中L是损失值；σ_j(z)表示softmax函数，公式为：

表示这个样本属于第j个类别的概率或者似然率；z_i表示第i个类别的线性预测结果。图3示出了根据本发明示例性实施例的典型损失值曲线，由图可知随着迭代次数的增加，损失值(loss值)在不断地减小，最终趋近0，可以看出网络收敛，证明识别率在逐步提高。

步骤108：将待检测的HF-ERW焊接状态图像输入图像分类模型，获取分类结果

下文对通过样本图像数量为1200的HF-ERW焊接状态图像数据集对本发明上述实施例的方法进行仿真测试的过程进行详细说明。从HF-ERW焊接质量状态数据集(1200个样本)选取540个样本图像数据作为测试集(其中，每种焊接质量状态样本分别为135)，将测试集输入图像分类模型并获取分类结果，根据样本图像数据的预测分类结果和分类标签，计算图像分类模型当前的识别率(或称精确度)，计算公式为：

其中p为分类结果与实际分类标签相同的数量，q为总共的分类标签数量。

下表2展示了本发明的方法、PCA-BPNN(基于主成分分析-BP神经网络的图像分类模型)、PCA-RBFNN(基于主成分分析-径向基函数神经网络的图像分类模型)各自的在仿真测试中的检测数据。

表2

图4示出了采用本发明方法检测上述测试集的过程中对输入的图像分类结果最高识别率的变化曲线。图5为根据本发明方法进行HF-ERW焊接状态检测识别的分类结果输出曲线，其示出了取得最高识别率时，对低温、常温、过热、接触四种状态下的具体识别输出情况，其中，将正常、低温、过热、接触状态分别标记为1、2、3、4。

图6为根据PCA-BPNN进行HF-ERW焊接状态检测识别的分类结果输出曲线。图7为根据PCA-RBFNN进行HF-ERW焊接状态检测识别的分类结果输出曲线。图6和图7示出了在两种方法分别取得最高识别率时，它们对低温、常温、过热3种状态下的具体识别输出情况，其中，将低温、过热、正常状态分别标记为-1、1和0。

可以看出，对于样本集数量为1200，测试集数为540的样本集，四种类型数量分别为135时，三种方法对低温状态的识别率均为100％，本发明对常温状态、接触状态的识别也均为100％，而过热状态识别有误差，将过热状态识别成接触状态，但出错率很小。而PCA-BPNN对三种状态均有识别错误、未能识别的情况。在PCA-RBFNN中，没有识别错误的情况，未能识别的预测输出与期望差值并不大，若增大阈值，识别率可增加。PCA-BPNN网络模型方法的综合识别率为97.59％，PCA-RBFNN网络模型方法的综合识别率为98.15％，而本发明方法的综合识别率达到了99.81％。

图8示出了根据本发明示例性实施例的基于深度学习的HF-ERW焊接状态检测，即电子设备310(例如具备程序执行功能的计算机服务器)，其包括至少一个处理器311，电源314，以及与所述至少一个处理器311通信连接的存储器312和输入输出接口313；所述存储器312存储有可被所述至少一个处理器311执行的指令，所述指令被所述至少一个处理器311执行，以使所述至少一个处理器311能够执行前述任一实施例所公开的方法；所述输入输出接口313可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源314用于为电子设备310提供电能。

本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学习的HF-ERW焊接状态检测方法，其特征在于，所述方法包括：

输入多幅HF-ERW焊接状态图像，并进行批量预处理，获取HF-ERW焊接状态图像数据集；

建立基于卷积神经网络CNN的图像分类模型；对HF-ERW焊接状态图像数据集中的样本图像数据进行焊接质量状态标记，以生成HF-ERW焊接质量状态数据集；将图像分类模型的卷积层和池化层迁移到HF-ERW焊接质量状态数据集上；

从HF-ERW焊接质量状态数据集选取部分样本图像数据作为训练集，将训练集中的样本图像数据输入图像分类模型进行训练，获取预测分类结果；

每完成一次训练后，调整图像分类模型的参数，每完成预定次数的训练后，根据样本图像数据的预测分类结果与分类标签统计结果计算损失值，当损失值小于预设值时停止训练；

将待检测的HF-ERW焊接状态图像输入图像分类模型获取分类结果；

其中，所述图像分类模型采用Matconvnet平台下的imagenet-vgg-f模型；所述imagenet-vgg-f模型包括5个卷积层，5个所述卷积层的数量与尺寸分别为：64*11*11、256*5*5、256*3*3、256*3*3、256*3*3。

2.根据权利要求1所述的方法，其特征在于，所述将图像分类模型的卷积层和池化层迁移到HF-ERW焊接质量状态数据集上，包括：采用同构空间下的模型特征迁移学习算法进行迁移，获取imagenet-vgg-f图像分类模型上预训练好的卷积部分输出，利用卷积部分的输出来产生具有四个分类输出的第八全连接层，再将imagenet-vgg-f图像分类模型中的特征部分参数迁移与第八全连接层对接起来形成一个完整的基于卷积神经网络CNN的图像分类模型。

3.根据权利要求l所述的方法，其特征在于，所述调整图像分类模型的参数包括正向传播过程：

将m个输入样本图像中的一个表示为(x¹，y¹)，则正向传播过程包括计算每个卷积层的神经元，计算公式为：

其中1表述输入的层数，

输入特征向量，M_j为上一层中可选特征的集合，w¹为滤波器的权值，

为滤波器的偏置项，f(.)为sigmoid函数，y¹为样本标记好真正的类别。

4.根据权利要求3所述的方法，其特征在于，所述调整图像分类模型的参数还包括反向调参过程：

利用一个损失函数，来度量图像分类模型的预测分类结果和样本图像数据的分类标签之间的损失；其中损失函数的公式为：

由此计算出损失函数后用梯度下降法使得整体函数最小化，对调整图像分类模型的每一层层参数

进行更新；其中，

α为学习率。

5.根据权利要求l所述的方法，其特征在于，所述方法采用softmax-loss函数来计算损失值L，

其中L是损失值；o_j(z)是softmax函数，公式为：

表示这个样本属于第j个类别的概率或者似然率；z_i表示第i个类别的线性预测结果。

6.根据权利要求1所述的方法，其特征在于，所述imagenet-vgg-f模型包括5个卷积层、激活函数、局部响应归一化LRN层、池化Pooling层、以及3个全连接层；

其中，每个卷积层由3行来定义，第l行制定卷积核的数量和尺寸，表示为“数量*尺寸*尺寸”，第2行设置卷积步长和空间填充，第3行设置LRN和最大池化参数；第六和第七全连接层使用退出机制以防止过拟合，第八全连接层作为最大分类器，并且，所有权重层的激活函数采用修正线性单元函数ReLU。

7.根据权利要求1所述的方法，其特征在于，所述方法包括利用公式

计算图像分类模型当前的识别率，其中p为分类结果与实际分类标签相同的数量，Q为总共的分类标签数量；并且综合识别率大于98.15％。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述进行焊接质量状态标记包括对HF-ERW焊接质量状态数据集中的样本图像数据分别根据其实际对应的HP-ERW焊点熔融状态，打上正常、低温、过热、接触四种焊接质量状态中的一种作为该样本图像数据的分类标签。

9.一种基于深度学习的HF-ERW焊接状态检测装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理指执行的指令，所述指令被所达至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。

Images