CN117102727A - 实时焊接质量的控制方法、控制装置和焊接系统 - Google Patents

Abstract

本申请提供了一种实时焊接质量的控制方法、控制装置和焊接系统，该方法包括：获取实时焊接的焊接区域的图像，得到焊接图像；根据焊接图像提取焊接特征，焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度；在焊接特征不在对应的预定范围内的情况下，发出报警信息，报警信息用于提醒可能出现焊接缺陷，从而协助焊接人员实时调节焊接工艺参数，改善焊接人员工作环境，减少焊接缺陷的产生，提高焊接质量，无需人工焊接或通过焊接机器近距离观察焊接，解决了现有技术中依赖人工经验来保证焊接质量的问题。

Description

实时焊接质量的控制方法、控制装置和焊接系统

技术领域

本发明涉及焊接技术领域，具体而言，涉及一种实时焊接质量的控制方法、控制装置、计算机可读存储介质和焊接系统。

背景技术

现有的户外结构件焊接的实时质量控制多基于人工焊接或者通过焊接机器近距离观察焊接，焊接人员根据自身经验，通过焊接板材坡口的大小、组队的间隙和熔池与焊道的熔化状态来判断焊丝的停留时间、摆动幅度大小与摆动位置中心线与坡口中心线的重合度，进而实时控制焊接缺陷的产生。

现有实时焊接质量控制方法多基于焊接人员通过护目镜对焊接过程中的信息进行判断，通过人眼观察调节焊接参数和焊丝与焊道的相对位置，焊缝的成型质量与焊接人员的水平相依赖，而且长时间的焊接时间一方面影响焊接人员的身体健康，另外一方面焊接缺陷的识别准确率随着焊接人员状态降低，同时，现有的人机交互屏幕上可以显示熔池图像，但由于图像是黑白色，焊丝、熔池等轮廓不明显，尤其是户外作业、光线强烈时更难以观察到焊接缺陷，因此，寻找一种能够代替人员近距离观察并提前对焊接缺陷可能产生的区域进行预警具有重大意义。

发明内容

本申请的主要目的在于提供一种实时焊接质量的控制方法、控制装置、计算机可读存储介质和焊接系统，以至少解决现有技术中依赖人工经验来保证焊接质量的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种实时焊接质量的控制方法，包括：获取实时焊接的焊接区域的图像，得到焊接图像；根据所述焊接图像提取焊接特征，所述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，所述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，所述第一边缘线为所述坡口与所述熔池之间的边界线，所述焊枪焊丝夹角为焊枪和焊丝的夹角，所述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，所述参考夹角为所述焊接图像的竖直方向与所述坡口的第二边缘线的夹角，所述第二边缘线为所述坡口上与所述熔池不接触的边缘线，所述焊丝摆动中心重合度为所述焊接图像中所述焊丝的中心线与焊接路线对应位置的中心线的重合度；在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，所述报警信息用于提醒可能出现焊接缺陷。

可选地，所述焊接融合线夹角包括第一焊接融合线夹角和第二焊接融合线夹角，根据所述焊接图像提取焊接特征，包括：根据所述焊接图像提取熔池轮廓线和两个第一边缘线，所述熔池轮廓线为焊接形成的熔池的边缘轮廓线，两个所述第一边缘线分别位于所述坡口的两端；检测所述熔池轮廓线和一个所述第一边缘线的夹角，得到所述第一焊接融合线夹角，检测所述熔池轮廓线和另一个所述第一边缘线的夹角，得到所述第二焊接融合线夹角。

可选地，所述报警信息包括第一报警信息和第二报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，包括：在所述第一焊接融合线夹角和/或所述第二焊接融合线夹角小于或者等于第一夹角阈值的情况下，发出第一报警信息，所述第一报警信息为可能产生余高过高的缺陷；在所述第一焊接融合线夹角和/或所述第二焊接融合线夹角大于或者等于第二夹角阈值的情况下，发出第二报警信息，所述第二报警信息为可能产生焊接材质填充不充分的缺陷，所述第二夹角阈值大于所述第一夹角阈值；在所述第一焊接融合线夹角和所述第二焊接融合线夹角均在大于所述第一夹角阈值且小于所述第二夹角阈值的情况下，不发出所述第一报警信息和所述第二报警信息。

可选地，根据所述焊接图像提取焊接特征，还包括：根据所述焊接图像提取焊枪和焊丝的轮廓线，并根据所述焊枪和所述焊丝的轮廓线确定所述焊枪焊丝夹角；根据所述焊接图像识别所述焊丝干伸长。

可选地，所述报警信息包括第三报警信息和第四报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，还包括：计算所述焊枪焊丝夹角与预定夹角的差值的绝对值，得到偏差角，并在所述偏移角大于偏移角阈值的情况下，发出所述第三报警信息，所述第三报警信息为可能产生焊枪焊丝角度偏差引起的焊接缺陷；计算所述焊丝干伸长与预定焊丝干伸长的的差值的绝对值，得到偏差长度，并在所述偏移角大于偏移角阈值的情况下，发出所述第四报警信息，所述第四报警信息为可能产生焊丝熔化量不合理引起的焊接缺陷。

可选地，根据所述焊接图像提取焊接特征，还包括：根据所述焊接图像识别两个所述第二边缘线，两个所述第二边缘线分别位于所述坡口的两端；检测两个所述第二边缘线与所述焊接图像的竖直方向的夹角，得到两个所述参考夹角；计算两个所述参考夹角与对应的预定参考夹角的差值的绝对值，得到两个所述画面偏移角，所述预定参考夹角为焊接前拍摄的所述焊接图像对应的所述参考夹角。

可选地，所述报警信息包括第五报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，还包括：在两个所述画面偏移角的平均值大于画面偏移角阈值的情况下，发出第五报警信息，所述第五报警信息为提醒所述焊接图像的拍摄角度出现偏移。

可选地，根据所述焊接图像提取焊接特征，还包括：根据所述焊接图像识别所述焊丝的中心线，并计算所述焊接图像中所述焊丝的中心线与焊接路线对应位置的中心线的距离，得到所述焊丝摆动中心重合度；所述报警信息包括第六报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，还包括：在所述焊丝摆动中心重合度大于距离阈值的情况下，发出第六报警信息，所述第六报警信息为提醒所述焊丝偏离所述焊接路线。

可选地，在获取实时焊接的焊接区域的图像，得到焊接图像之后，所述方法还包括：根据所述焊接图像进行三维重建，得到所述熔池的熔宽和熔深；将所述熔宽、所述熔深和对应的焊接工艺参数输入检测模型，得到检测结果，所述检测结果为存在焊接缺陷的风险和不存在焊接缺陷的风险，所述焊接工艺参数至少包括焊接电压，所述检测模型为通过历史熔宽、历史熔深、对应的历史焊接工艺参数和对应的工况下是否出现焊接缺陷；根据所述检测结果发出第七报警信息，所述第七报警信息用于提示调节所述焊接工艺参数。

根据本申请的另一方面，提供了一种实时焊接质量的控制装置，包括：获取单元，用于获取实时焊接的焊接区域的图像，得到焊接图像；处理单元，用于根据所述焊接图像提取焊接特征，所述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，所述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，所述第一边缘线为所述坡口与所述熔池之间的边界线，所述焊枪焊丝夹角为焊枪和焊丝的夹角，所述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，所述参考夹角为所述焊接图像的竖直方向与所述坡口的第二边缘线的夹角，所述第二边缘线为所述坡口上与所述熔池不接触的边缘线，所述焊丝摆动中心重合度为所述焊接图像中所述焊丝的中心线与焊接路线对应位置的中心线的重合度；第一发送单元，用于在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，所述报警信息用于提醒可能出现焊接缺陷。

根据本申请的再一方面，提供了一种显示终端，其特征在于，所述显示终端包括实时焊接质量的控制装置，所述控制装置还包括：显示单元，至少用于实时显示焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角、焊丝摆动中心重合度和报警信息。

根据本申请的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。

根据本申请的再一方面，提供了一种焊接系统，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的方法。

应用本申请的技术方案，上述实时焊接质量的控制方法中，首先，获取实时焊接的焊接区域的图像，得到焊接图像；然后，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；之后，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。该方法通过采集实时焊接的焊接区域的图像，得到焊接图像，从而通过焊接图像提取焊接特征，以判断是否可能出现焊接缺陷，若是发出报警信息，从而协助焊接人员实时调节焊接工艺参数，改善焊接人员工作环境，减少焊接缺陷的产生，提高焊接质量，无需人工焊接或通过焊接机器近距离观察焊接，解决了现有技术中依赖人工经验来保证焊接质量的问题。

附图说明

图1示出了根据本申请的实施例中提供的一种执行实时焊接质量的控制方法的移动终端的硬件结构框图；

图2示出了根据本申请的实施例提供的一种实时焊接质量的控制方法的流程示意图；

图3示出了根据本申请的实施例提供的一种熔池轮廓底部曲线的示意图；

图4示出了根据本申请的实施例提供的一种跟踪算法的流程示意图；

图5示出了根据本申请的实施例提供的一种焊丝焊枪夹角的示意图；

图6示出了根据本申请的实施例提供的一种参考夹角的示意图；

图7示出了根据本申请的实施例提供的一种焊丝摆动轨迹的示意图；

图8示出了根据本申请的实施例提供的一种实时焊接质量的控制装置的结构框图。

其中，上述附图包括以下附图标记：

102、处理器；104、存储器；106、传输设备；108、输入输出设备。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

正如背景技术中所介绍的，现有技术中依赖人工经验来保证焊接质量，为解决该问题，本申请的实施例提供了一种实时焊接质量的控制方法、控制装置、计算机可读存储介质和焊接系统。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种实时焊接质量的控制方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的设备信息的显示方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种运行于移动终端、计算机终端或者类似的运算装置的实时焊接质量的控制方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本申请实施例的实时焊接质量的控制方法的流程图。如图2所示，该方法包括以下步骤：

步骤S201，获取实时焊接的焊接区域的图像，得到焊接图像；

具体地，通过爬行机跟踪焊接区域以实时采集焊接图像，爬行机上的熔池相机将拍摄的焊接图像发送至人机交互屏幕显示焊接图像。

步骤S202，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；

具体地，上述焊接图像中提取多种焊接特征，每一种焊接特征均对应一种或者多种焊接缺陷，即可根据这些焊接特征判断是否可能会出现焊接缺陷。

步骤S203，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。

具体地，通过提取的特征判断当前焊接过程是否产生焊接缺陷、即将产生的缺陷以及产生缺陷的类型，通过遥控器与上位机之间的通讯线束设置，实时预警并调节焊接工艺参数，减少焊接缺陷的产生，提高焊缝质量。

上述实时焊接质量的控制方法中，首先，获取实时焊接的焊接区域的图像，得到焊接图像；然后，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；之后，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。该方法通过采集实时焊接的焊接区域的图像，得到焊接图像，从而通过焊接图像提取焊接特征，以判断是否可能出现焊接缺陷，若是发出报警信息，从而协助焊接人员实时调节焊接工艺参数，改善焊接人员工作环境，减少焊接缺陷的产生，提高焊接质量，无需人工焊接或通过焊接机器近距离观察焊接，解决了现有技术中依赖人工经验来保证焊接质量的问题。

为了得到便于判断缺陷的焊接特征，一种可选的实施方式中，上述焊接融合线夹角包括第一焊接融合线夹角和第二焊接融合线夹角，上述步骤S202包括：

步骤S2021，根据上述焊接图像提取熔池轮廓线和两个第一边缘线，上述熔池轮廓线为焊接形成的熔池的边缘轮廓线，两个上述第一边缘线分别位于上述坡口的两端；

步骤S2022，检测上述熔池轮廓线和一个上述第一边缘线的夹角，得到上述第一焊接融合线夹角，检测上述熔池轮廓线和另一个上述第一边缘线的夹角，得到上述第二焊接融合线夹角。

具体地，在上述图像去噪和图像增强的基础上，利用霍夫直线变换，完成对坡口左右两侧边缘线点的检测，提出异常点，并对离散点进行直线拟合，得到上述第一焊接融合线夹角和上述第二焊接融合线夹角。

为了确保预警的准确度，一种可选的实施方式中，上述报警信息包括第一报警信息和第二报警信息，上述步骤S203包括：

步骤S2031，在上述第一焊接融合线夹角和/或上述第二焊接融合线夹角小于或者等于第一夹角阈值的情况下，发出第一报警信息，上述第一报警信息为可能产生余高过高的缺陷；

步骤S2032，在上述第一焊接融合线夹角和/或上述第二焊接融合线夹角大于或者等于第二夹角阈值的情况下，发出第二报警信息，上述第二报警信息为可能产生焊接材质填充不充分的缺陷，上述第二夹角阈值大于上述第一夹角阈值；

步骤S2033，在上述第一焊接融合线夹角和上述第二焊接融合线夹角均在大于上述第一夹角阈值且小于上述第二夹角阈值的情况下，不发出上述第一报警信息和上述第二报警信息。

具体地，提取熔池轮廓特征参数和坡口焊道特征参数，进行数学几何分析，如图3所示，熔池轮廓底部曲线呈“平”或“凹”较好，α和β分别为上述第一焊接融合线夹角和上述第二焊接融合线夹角，特别的设定第一夹角阈值θ₁、第二夹角阈值θ₂用来判断产生焊接缺陷的边界，其中θ₂>θ₁，当α,β<θ₁时，发出第一报警信息，焊接会产生余高过高缺陷，并且与坡口母材未融化区域产生夹沟缺陷，当θ₁<α,β<θ₂时，焊接正常，此时焊缝余高控制在1mm～2mm之间，当π>α,β>θ₂时，发出第二报警信息，焊丝摆动时两侧停留时间过长，中间摆动速度过快，产生中间焊接材质填充不充分等缺陷。另外，可以建立数学模型F1(α，β)，通过数学模型评估两个特征实时夹角可能产生的缺陷类型。

为了得到便于判断缺陷的焊接特征，一种可选的实施方式中，上述步骤S202还包括：

步骤S2023，根据上述焊接图像提取焊枪和焊丝的轮廓线，并根据上述焊枪和上述焊丝的轮廓线确定上述焊枪焊丝夹角；

步骤S2024，根据上述焊接图像识别上述焊丝干伸长。

具体地，焊枪与焊丝之间的夹角可以判断在焊接过程中焊枪是否被外力(如线缆卡住导致的焊枪角度偏移)影响与焊丝产生夹角影响焊接质量，焊丝的干伸长影响焊接过程中的焊接电压和电弧挺度，识别焊接过程中的实际干伸长和预设干伸长之间的差值变化调整焊接电压，减少焊接缺陷，焊枪焊丝之间的夹角评定。基于目标识别和目标跟踪算法实时提取出焊枪焊丝所在的位置及焊丝的干伸长长度，相较于传统跟踪算法提高了其跟踪准确率和鲁棒性。如图4所示，算法步骤如下：Step1初始化：识别算法初始化，跟踪算法初始化；Step2算法跟踪：利用跟踪算法跟踪目标，通过指标value判断是否发生偏移或丢失目标现象；1)有偏移：若value≥β，其中β为偏移阈值，则认为目标跟踪发生偏移。在判断出目标发生偏移后，将此时的识别算法目标边框赋值跟踪算法重新跟踪。2)无偏移：若value≥β，则认为此时目标被跟踪，用跟踪算法继续跟踪。3)丢失目标：若value＝0，此时跟踪算法丢失目标。通过识别算法对跟踪算法再次进行初始化实现目标跟踪。

为了确保预警的准确度，一种可选的实施方式中，上述报警信息包括第三报警信息和第四报警信息，上述步骤S203还包括：

步骤S2034，计算上述焊枪焊丝夹角与预定夹角的差值的绝对值，得到偏差角，并在上述偏移角大于偏移角阈值的情况下，发出上述第三报警信息，上述第三报警信息为可能产生焊枪焊丝角度偏差引起的焊接缺陷；

步骤S2035，计算上述焊丝干伸长与预定焊丝干伸长的的差值的绝对值，得到偏差长度，并在上述偏移角大于偏移角阈值的情况下，发出上述第四报警信息，上述第四报警信息为可能产生焊丝熔化量不合理引起的焊接缺陷。

具体地，焊枪与焊丝之间的夹角在正常工作和作业时约90°，当外力对焊枪产生作用时，焊枪焊丝之间的夹角会发生一定程度的偏移，如图5所示，θ＝|α-90°|，当偏移角θ>δ(设定的阈值)时，发出上述第三报警信息，焊枪焊丝的夹角已经影响焊接质量，需要停机检查角度产生偏移的原因，并进行焊枪焊丝角度纠正，另外，焊丝的干伸长需要实时识别，焊丝的干伸长影响着焊缝质量的合格率，焊丝干伸长的长度主要根据焊接工况，焊丝类型，焊接类型等因素影响，在焊接过程中焊丝干伸长过长或过短都会产生焊接缺陷，焊丝干伸长过长时打底阶段容易穿丝，填充和盖面阶段焊丝熔化量会过多，改变焊接层倒数。焊丝干伸长过短熔化不充分，会产生填充不充分等焊接引起的缺陷，通过对焊接过程中对焊丝干伸长的实时识别判断当前焊丝干伸长的变化程度是否正常，并及时针对送丝机送丝速度进行调整，判断标准如下：△l＝|l-l*|，当△l>k时，发出上述第四报警信息，需要调整送丝机的送丝速度或者焊接电流电压等参数进行调节，保证△l的变化量控制在k值以内，例如，通过深度学习YOLO网络识别焊接过程中焊丝的轮廓和干伸长，将焊丝的末端信息通过线段绘制进行捕捉，在动态摆动的过程中绘制扫过的轨迹，实现焊丝往返的动态扫描。

为了得到便于判断缺陷的焊接特征，一种可选的实施方式中，上述步骤S202还包括：

步骤S2025，根据上述焊接图像识别两个上述第二边缘线，两个上述第二边缘线分别位于上述坡口的两端；

步骤S2026，检测两个上述第二边缘线与上述焊接图像的竖直方向的夹角，得到两个上述参考夹角；

步骤S2027，计算两个上述参考夹角与对应的预定参考夹角的差值的绝对值，得到两个上述画面偏移角，上述预定参考夹角为焊接前拍摄的上述焊接图像对应的上述参考夹角。

具体地，坡口外焊道在盖面阶段之前可通过与观测画面垂直线的夹角判断爬行机在焊接的过程中是否产生偏移，及时纠正车体，保证焊接质量，打底阶段的坡口内焊道可以判断焊接底部间隙是否产生阶跃变化，记录变化区域，通过滞后距离在爬行机到达指定位置时匹配对应的焊接参数，提高智能化焊接水平。在熔池图像预处理的基础上，坡口外焊道区域内外两侧两侧对比度明显，且在焊接整个过程中，盖面之前坡口外焊道保持不变，而内焊道在填充和盖面阶段变化程度较大，因此，选择坡口外焊道信息进行爬行机偏移程度识别。在完成盖面焊接之前至少能保证一侧外焊道特征信息，因此可通过外焊道的直线斜率与相机拍摄画面的垂直线段之间的夹角判断爬行机在焊接过程中是否产生偏移，并设置一定的阈值θ。

为了确保预警的准确度，一种可选的实施方式中，上述报警信息包括第五报警信息，上述步骤S203还包括：

步骤S2036，在两个上述画面偏移角的平均值大于画面偏移角阈值的情况下，发出第五报警信息，上述第五报警信息为提醒上述焊接图像的拍摄角度出现偏移。

具体地，盖面阶段之前，如图6所示，设α₁和α₂为盖面阶段之前熔池观测画面摆正位置时坡口外焊道与画面垂直线之间的夹角，即预定参考夹角，实时计算的两侧参考夹角为α₁*和α₂*，则有当△α>θ时，产生预警信息，此时爬行机在焊接过程中产生偏移盖面阶段会在第一道焊接时覆盖坡口外焊道的一侧，因此此时角度的计算只采用一侧角度的变化量，偏移评价标准和上述一致。另外，由于焊接过程中打底阶段存在钉点和坡口底部间隙阶跃点，可以通过识别坡口底部的间隙变化来对焊接过程作出预警，并记录当前变化的位置，通过滞后距离在爬行机到达指定位置后进行参数调节，保证焊接过程的预见性，提高焊接质量。由于打底阶段的陶瓷沉淀具有反光特性，且在熔池图像中呈现连续区域，因此对图像进行二值化，并采用区域生长法提取衬垫轮廓，如下所示，计算底部间隙的变化程度并实时显示，当爬行机通过滞后距离爬行到指定位置时，匹配对应的电流电压及工艺参数，完成焊接过程实时预警。

为了确保预警的准确度，一种可选的实施方式中，上述步骤S202还包括：

步骤S2028，根据上述焊接图像识别上述焊丝的中心线，并计算上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的距离，得到上述焊丝摆动中心重合度；

上述报警信息包括第六报警信息，上述步骤S203还包括：

步骤S2037，在上述焊丝摆动中心重合度大于距离阈值的情况下，发出第六报警信息，上述第六报警信息为提醒上述焊丝偏离上述焊接路线。

具体地，焊丝摆动轨迹的中心线与激光器拐点提取的激光线重合程度判断焊丝摆动是否按照预设的轨迹进行焊接，焊丝的停留位置坐标与拐点的坐标之间的重合程度判断焊缝成型情况，保证焊接质量，上一层焊道熔池图像扫描的信息指导下一道焊接起始及焊接过程中爬行机的修正轨迹，调整焊丝摆幅大小及摆动中心与当前焊道的重合度，提高预扫描的自动化焊接能力，如图7所示，对激光模块采集的每层每道拐点进行提取，即特征点，计算出当前焊道的拐点中心线，即底部特征点中心线，在熔池图像中通过识别的焊丝轮廓，生成焊丝的摆动轨迹，计算出焊丝摆幅中心线，熔池相机采集的信息特征丰富，可以在当前焊接状态下清晰的观测到上一层焊缝成型情况，焊接人员可以通过可视化的熔池图像画面，实时观测焊接情况，辅助工艺参数调节，提高焊缝质量。

为了确保预警的准确度，一种可选的实施方式中，在获取实时焊接的焊接区域的图像，得到焊接图像之后，上述方法还包括：

步骤S301，根据上述焊接图像进行三维重建，得到上述熔池的熔宽和熔深；

步骤S302，将上述熔宽、上述熔深和对应的焊接工艺参数输入检测模型，得到检测结果，上述检测结果为存在焊接缺陷的风险和不存在焊接缺陷的风险，上述焊接工艺参数至少包括焊接电压，上述检测模型为通过历史熔宽、历史熔深、对应的历史焊接工艺参数和对应的工况下是否出现焊接缺陷；

步骤S303，根据上述检测结果发出第七报警信息，上述第七报警信息用于提示调节上述焊接工艺参数。

具体地，熔池区域通过熔池相机安装位置参数及标定参数实现三维重建，实时复现熔池深度，根据熔深、熔宽，将焊接过程中的焊接电压和工艺参数与焊板厚度和坡口尺寸相结合，判断当前焊接状态是否产生焊接缺陷，以便实时调节焊接参数，减少焊接缺陷，提升焊缝质量，通过熔池轮廓的提取与三维重建得出实时焊接中熔池的熔宽、熔深等参数，结合焊接电流、电压等参数进行关联性分析，得出关联模型并进行缺陷分类预测，根据预警信息指导焊接电流电压参数和工艺参数的调节。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种实时焊接质量的控制装置，需要说明的是，本申请实施例的实时焊接质量的控制装置可以用于执行本申请实施例所提供的用于实时焊接质量的控制方法。该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

以下对本申请实施例提供的实时焊接质量的控制装置进行介绍。

图8是根据本申请实施例的实时焊接质量的控制装置的结构框图。如图8所示，该装置包括：

获取单元10，用于获取实时焊接的焊接区域的图像，得到焊接图像；

具体地，通过爬行机跟踪焊接区域以实时采集焊接图像，爬行机上的熔池相机将拍摄的焊接图像发送至人机交互屏幕显示焊接图像。

处理单元20，用于根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；

具体地，上述焊接图像中提取多种焊接特征，每一种焊接特征均对应一种或者多种焊接缺陷，即可根据这些焊接特征判断是否可能会出现焊接缺陷。

第一发送单元30，用于在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。

具体地，通过提取的特征判断当前焊接过程是否产生焊接缺陷、即将产生的缺陷以及产生缺陷的类型，通过遥控器与上位机之间的通讯线束设置，实时预警并调节焊接工艺参数，减少焊接缺陷的产生，提高焊缝质量。

上述实时焊接质量的控制装置中，获取单元获取实时焊接的焊接区域的图像，得到焊接图像；处理单元根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；第一发送单元在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。该装置通过采集实时焊接的焊接区域的图像，得到焊接图像，从而通过焊接图像提取焊接特征，以判断是否可能出现焊接缺陷，若是发出报警信息，从而协助焊接人员实时调节焊接工艺参数，改善焊接人员工作环境，减少焊接缺陷的产生，提高焊接质量，无需人工焊接或通过焊接机器近距离观察焊接，解决了现有技术中依赖人工经验来保证焊接质量的问题。

为了得到便于判断缺陷的焊接特征，一种可选的实施方式中，上述焊接融合线夹角包括第一焊接融合线夹角和第二焊接融合线夹角，上述处理单元包括：

第一处理模块，用于根据上述焊接图像提取熔池轮廓线和两个第一边缘线，上述熔池轮廓线为焊接形成的熔池的边缘轮廓线，两个上述第一边缘线分别位于上述坡口的两端；

第二处理模块，用于检测上述熔池轮廓线和一个上述第一边缘线的夹角，得到上述第一焊接融合线夹角，检测上述熔池轮廓线和另一个上述第一边缘线的夹角，得到上述第二焊接融合线夹角。

具体地，在上述图像去噪和图像增强的基础上，利用霍夫直线变换，完成对坡口左右两侧边缘线点的检测，提出异常点，并对离散点进行直线拟合，得到上述第一焊接融合线夹角和上述第二焊接融合线夹角。

为了确保预警的准确度，一种可选的实施方式中，上述报警信息包括第一报警信息和第二报警信息，上述第一发送单元包括：

第一发送模块，用于在上述第一焊接融合线夹角和/或上述第二焊接融合线夹角小于或者等于第一夹角阈值的情况下，发出第一报警信息，上述第一报警信息为可能产生余高过高的缺陷；

第二发送模块，用于在上述第一焊接融合线夹角和/或上述第二焊接融合线夹角大于或者等于第二夹角阈值的情况下，发出第二报警信息，上述第二报警信息为可能产生焊接材质填充不充分的缺陷，上述第二夹角阈值大于上述第一夹角阈值；

第三发送模块，用于在上述第一焊接融合线夹角和上述第二焊接融合线夹角均在大于上述第一夹角阈值且小于上述第二夹角阈值的情况下，不发出上述第一报警信息和上述第二报警信息。

具体地，提取熔池轮廓特征参数和坡口焊道特征参数，进行数学几何分析，如图3所示，熔池轮廓底部曲线呈“平”或“凹”较好，α和β分别为上述第一焊接融合线夹角和上述第二焊接融合线夹角，特别的设定第一夹角阈值θ₁、第二夹角阈值θ₂用来判断产生焊接缺陷的边界，其中θ₂>θ₁，当α,β<θ₁时，发出第一报警信息，焊接会产生余高过高缺陷，并且与坡口母材未融化区域产生夹沟缺陷，当θ₁<α,β<θ₂时，焊接正常，此时焊缝余高控制在1mm～2mm之间，当π>α,β>θ₂时，发出第二报警信息，焊丝摆动时两侧停留时间过长，中间摆动速度过快，产生中间焊接材质填充不充分等缺陷。另外，可以建立数学模型F1(α，β)，通过数学模型评估两个特征实时夹角可能产生的缺陷类型。

为了得到便于判断缺陷的焊接特征，一种可选的实施方式中，上述处理单元还包括：

第三处理模块，用于根据上述焊接图像提取焊枪和焊丝的轮廓线，并根据上述焊枪和上述焊丝的轮廓线确定上述焊枪焊丝夹角；

第四处理模块，用于根据上述焊接图像识别上述焊丝干伸长。

具体地，焊枪与焊丝之间的夹角可以判断在焊接过程中焊枪是否被外力(如线缆卡住导致的焊枪角度偏移)影响与焊丝产生夹角影响焊接质量，焊丝的干伸长影响焊接过程中的焊接电压和电弧挺度，识别焊接过程中的实际干伸长和预设干伸长之间的差值变化调整焊接电压，减少焊接缺陷，焊枪焊丝之间的夹角评定。基于目标识别和目标跟踪算法实时提取出焊枪焊丝所在的位置及焊丝的干伸长长度，相较于传统跟踪算法提高了其跟踪准确率和鲁棒性。如图4所示，算法步骤如下：Step1初始化：识别算法初始化，跟踪算法初始化；Step2算法跟踪：利用跟踪算法跟踪目标，通过指标value判断是否发生偏移或丢失目标现象；1)有偏移：若value≥β，其中β为偏移阈值，则认为目标跟踪发生偏移。在判断出目标发生偏移后，将此时的识别算法目标边框赋值跟踪算法重新跟踪。2)无偏移：若value≥β，则认为此时目标被跟踪，用跟踪算法继续跟踪。3)丢失目标：若value＝0，此时跟踪算法丢失目标。通过识别算法对跟踪算法再次进行初始化实现目标跟踪，例如，通过深度学习YOLO网络识别焊接过程中焊丝的轮廓和干伸长，将焊丝的末端信息通过线段绘制进行捕捉，在动态摆动的过程中绘制扫过的轨迹，实现焊丝往返的动态扫描。

为了确保预警的准确度，一种可选的实施方式中，上述报警信息包括第三报警信息和第四报警信息，上述第一发送单元还包括：

第四发送模块，用于计算上述焊枪焊丝夹角与预定夹角的差值的绝对值，得到偏差角，并在上述偏移角大于偏移角阈值的情况下，发出上述第三报警信息，上述第三报警信息为可能产生焊枪焊丝角度偏差引起的焊接缺陷；

第五发送模块，用于计算上述焊丝干伸长与预定焊丝干伸长的的差值的绝对值，得到偏差长度，并在上述偏移角大于偏移角阈值的情况下，发出上述第四报警信息，上述第四报警信息为可能产生焊丝熔化量不合理引起的焊接缺陷。

具体地，焊枪与焊丝之间的夹角在正常工作和作业时约90°，当外力对焊枪产生作用时，焊枪焊丝之间的夹角会发生一定程度的偏移，如图5所示，θ＝|α-90°|，当偏移角θ>δ(设定的阈值)时，发出上述第三报警信息，焊枪焊丝的夹角已经影响焊接质量，需要停机检查角度产生偏移的原因，并进行焊枪焊丝角度纠正，另外，焊丝的干伸长需要实时识别，焊丝的干伸长影响着焊缝质量的合格率，焊丝干伸长的长度主要根据焊接工况，焊丝类型，焊接类型等因素影响，在焊接过程中焊丝干伸长过长或过短都会产生焊接缺陷，焊丝干伸长过长时打底阶段容易穿丝，填充和盖面阶段焊丝熔化量会过多，改变焊接层倒数。焊丝干伸长过短熔化不充分，会产生填充不充分等焊接引起的缺陷，通过对焊接过程中对焊丝干伸长的实时识别判断当前焊丝干伸长的变化程度是否正常，并及时针对送丝机送丝速度进行调整，判断标准如下：△l＝|l-l*|，当△l>k时，发出上述第四报警信息，需要调整送丝机的送丝速度或者焊接电流电压等参数进行调节，保证△l的变化量控制在k值以内。

为了得到便于判断缺陷的焊接特征，一种可选的实施方式中，上述处理单元还包括：

第五处理模块，用于根据上述焊接图像识别两个上述第二边缘线，两个上述第二边缘线分别位于上述坡口的两端；

第六处理模块，用于检测两个上述第二边缘线与上述焊接图像的竖直方向的夹角，得到两个上述参考夹角；

第七处理模块，用于计算两个上述参考夹角与对应的预定参考夹角的差值的绝对值，得到两个上述画面偏移角，上述预定参考夹角为焊接前拍摄的上述焊接图像对应的上述参考夹角。

具体地，坡口外焊道在盖面阶段之前可通过与观测画面垂直线的夹角判断爬行机在焊接的过程中是否产生偏移，及时纠正车体，保证焊接质量，打底阶段的坡口内焊道可以判断焊接底部间隙是否产生阶跃变化，记录变化区域，通过滞后距离在爬行机到达指定位置时匹配对应的焊接参数，提高智能化焊接水平。在熔池图像预处理的基础上，坡口外焊道区域内外两侧两侧对比度明显，且在焊接整个过程中，盖面之前坡口外焊道保持不变，而内焊道在填充和盖面阶段变化程度较大，因此，选择坡口外焊道信息进行爬行机偏移程度识别。在完成盖面焊接之前至少能保证一侧外焊道特征信息，因此可通过外焊道的直线斜率与相机拍摄画面的垂直线段之间的夹角判断爬行机在焊接过程中是否产生偏移，并设置一定的阈值θ。

为了确保预警的准确度，一种可选的实施方式中，上述报警信息包括第五报警信息，上述第一发送单元还包括：

第六发送模块，用于在两个上述画面偏移角的平均值大于画面偏移角阈值的情况下，发出第五报警信息，上述第五报警信息为提醒上述焊接图像的拍摄角度出现偏移。

具体地，盖面阶段之前，如图6所示，设α₁和α₂为盖面阶段之前熔池观测画面摆正位置时坡口外焊道与画面垂直线之间的夹角，即预定参考夹角，实时计算的两侧参考夹角为α₁*和α₂*，则有当△α>θ时，产生预警信息，此时爬行机在焊接过程中产生偏移盖面阶段会在第一道焊接时覆盖坡口外焊道的一侧，因此此时角度的计算只采用一侧角度的变化量，偏移评价标准和上述一致。另外，由于焊接过程中打底阶段存在钉点和坡口底部间隙阶跃点，可以通过识别坡口底部的间隙变化来对焊接过程作出预警，并记录当前变化的位置，通过滞后距离在爬行机到达指定位置后进行参数调节，保证焊接过程的预见性，提高焊接质量。由于打底阶段的陶瓷沉淀具有反光特性，且在熔池图像中呈现连续区域，因此对图像进行二值化，并采用区域生长法提取衬垫轮廓，如下所示，计算底部间隙的变化程度并实时显示，当爬行机通过滞后距离爬行到指定位置时，匹配对应的电流电压及工艺参数，完成焊接过程实时预警。

为了确保预警的准确度，一种可选的实施方式中，上述处理单元还包括：

第八处理模块，用于根据上述焊接图像识别上述焊丝的中心线，并计算上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的距离，得到上述焊丝摆动中心重合度；

上述报警信息包括第六报警信息，上述第一发送单元还包括：

第七发送模块，用于在上述焊丝摆动中心重合度大于距离阈值的情况下，发出第六报警信息，上述第六报警信息为提醒上述焊丝偏离上述焊接路线。

具体地，焊丝摆动轨迹的中心线与激光器拐点提取的激光线重合程度判断焊丝摆动是否按照预设的轨迹进行焊接，焊丝的停留位置坐标与拐点的坐标之间的重合程度判断焊缝成型情况，保证焊接质量，上一层焊道熔池图像扫描的信息指导下一道焊接起始及焊接过程中爬行机的修正轨迹，调整焊丝摆幅大小及摆动中心与当前焊道的重合度，提高预扫描的自动化焊接能力，如图7所示，对激光模块采集的每层每道拐点进行提取，即特征点，计算出当前焊道的拐点中心线，即底部特征点中心线，在熔池图像中通过识别的焊丝轮廓，生成焊丝的摆动轨迹，计算出焊丝摆幅中心线，熔池相机采集的信息特征丰富，可以在当前焊接状态下清晰的观测到上一层焊缝成型情况，焊接人员可以通过可视化的熔池图像画面，实时观测焊接情况，辅助工艺参数调节，提高焊缝质量。

为了确保预警的准确度，一种可选的实施方式中，上述装置还包括：

重建单元，用于在获取实时焊接的焊接区域的图像，得到焊接图像之后，根据上述焊接图像进行三维重建，得到上述熔池的熔宽和熔深；

检测单元，用于将上述熔宽、上述熔深和对应的焊接工艺参数输入检测模型，得到检测结果，上述检测结果为存在焊接缺陷的风险和不存在焊接缺陷的风险，上述焊接工艺参数至少包括焊接电压，上述检测模型为通过历史熔宽、历史熔深、对应的历史焊接工艺参数和对应的工况下是否出现焊接缺陷；

第二发送单元，用于根据上述检测结果发出第七报警信息，上述第七报警信息用于提示调节上述焊接工艺参数。

具体地，熔池区域通过熔池相机安装位置参数及标定参数实现三维重建，实时复现熔池深度，根据熔深、熔宽，将焊接过程中的焊接电压和工艺参数与焊板厚度和坡口尺寸相结合，判断当前焊接状态是否产生焊接缺陷，以便实时调节焊接参数，减少焊接缺陷，提升焊缝质量，通过熔池轮廓的提取与三维重建得出实时焊接中熔池的熔宽、熔深等参数，结合焊接电流、电压等参数进行关联性分析，得出关联模型并进行缺陷分类预测，根据预警信息指导焊接电流电压参数和工艺参数的调节。

上述实时焊接质量的控制装置包括处理器和存储器，上述获取单元、处理单元和第一发送单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中依赖人工经验来保证焊接质量的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本申请的再一方面，提供了一种显示终端，上述显示终端包括实时焊接质量的控制装置，上述控制装置还包括：显示单元，至少用于实时显示焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角、焊丝摆动中心重合度和报警信息。

具体地，上述显示终端可以显示实时显示焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角、焊丝摆动中心重合度和报警信息，以便焊接人员实时掌握焊接的实况，无需人员近距离观察，避免影响焊接人员的身体健康。例如，可以将拟合后的熔池轮廓曲线通过QT、matplotlib等可视化工具部署在显示终端界面上，并利用信号和槽实时显示熔池图像的特征信息，还可以通过提取到的熔池三维信息，建立三维坐标系，并在坐标系上实时更新熔池相机生成的立体模型，显示至终端上，便于直观的了解熔池各个参数状态和变化过程，还可以通过图像分割和霍夫变换，将夹角的变动信息和显示动态同步至显示终端上。

本发明实施例提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行上述实时焊接质量的控制方法。

具体地，实时焊接质量的控制方法包括：

步骤S201，获取实时焊接的焊接区域的图像，得到焊接图像；

具体地，通过爬行机跟踪焊接区域以实时采集焊接图像，爬行机上的熔池相机将拍摄的焊接图像发送至人机交互屏幕显示焊接图像。

步骤S202，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；

具体地，上述焊接图像中提取多种焊接特征，每一种焊接特征均对应一种或者多种焊接缺陷，即可根据这些焊接特征判断是否可能会出现焊接缺陷。

步骤S203，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。

具体地，通过提取的特征判断当前焊接过程是否产生焊接缺陷、即将产生的缺陷以及产生缺陷的类型，通过遥控器与上位机之间的通讯线束设置，实时预警并调节焊接工艺参数，减少焊接缺陷的产生，提高焊缝质量。

本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述实时焊接质量的控制方法。

具体地，实时焊接质量的控制方法包括：

步骤S201，获取实时焊接的焊接区域的图像，得到焊接图像；

具体地，通过爬行机跟踪焊接区域以实时采集焊接图像，爬行机上的熔池相机将拍摄的焊接图像发送至人机交互屏幕显示焊接图像。

步骤S202，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；

具体地，上述焊接图像中提取多种焊接特征，每一种焊接特征均对应一种或者多种焊接缺陷，即可根据这些焊接特征判断是否可能会出现焊接缺陷。

步骤S203，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。

具体地，通过提取的特征判断当前焊接过程是否产生焊接缺陷、即将产生的缺陷以及产生缺陷的类型，通过遥控器与上位机之间的通讯线束设置，实时预警并调节焊接工艺参数，减少焊接缺陷的产生，提高焊缝质量。

本发明实施例提供了一种焊接系统，焊接系统包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：

步骤S201，获取实时焊接的焊接区域的图像，得到焊接图像；

具体地，通过爬行机跟踪焊接区域以实时采集焊接图像，爬行机上的熔池相机将拍摄的焊接图像发送至人机交互屏幕显示焊接图像。

步骤S202，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；

具体地，上述焊接图像中提取多种焊接特征，每一种焊接特征均对应一种或者多种焊接缺陷，即可根据这些焊接特征判断是否可能会出现焊接缺陷。

步骤S203，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。

具体地，通过提取的特征判断当前焊接过程是否产生焊接缺陷、即将产生的缺陷以及产生缺陷的类型，通过遥控器与上位机之间的通讯线束设置，实时预警并调节焊接工艺参数，减少焊接缺陷的产生，提高焊缝质量。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：

步骤S201，获取实时焊接的焊接区域的图像，得到焊接图像；

具体地，通过爬行机跟踪焊接区域以实时采集焊接图像，爬行机上的熔池相机将拍摄的焊接图像发送至人机交互屏幕显示焊接图像。

步骤S202，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；

具体地，上述焊接图像中提取多种焊接特征，每一种焊接特征均对应一种或者多种焊接缺陷，即可根据这些焊接特征判断是否可能会出现焊接缺陷。

步骤S203，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。

具体地，通过提取的特征判断当前焊接过程是否产生焊接缺陷、即将产生的缺陷以及产生缺陷的类型，通过遥控器与上位机之间的通讯线束设置，实时预警并调节焊接工艺参数，减少焊接缺陷的产生，提高焊缝质量。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：

1)、本申请的实时焊接质量的控制方法中，首先，获取实时焊接的焊接区域的图像，得到焊接图像；然后，根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；之后，在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。该方法通过采集实时焊接的焊接区域的图像，得到焊接图像，从而通过焊接图像提取焊接特征，以判断是否可能出现焊接缺陷，若是发出报警信息，从而协助焊接人员实时调节焊接工艺参数，改善焊接人员工作环境，减少焊接缺陷的产生，提高焊接质量，无需人工焊接或通过焊接机器近距离观察焊接，解决了现有技术中依赖人工经验来保证焊接质量的问题。

2)、本申请的实时焊接质量的控制装置中，获取单元获取实时焊接的焊接区域的图像，得到焊接图像；处理单元根据上述焊接图像提取焊接特征，上述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，上述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，上述第一边缘线为上述坡口与上述熔池之间的边界线，上述焊枪焊丝夹角为焊枪和焊丝的夹角，上述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，上述参考夹角为上述焊接图像的竖直方向与上述坡口的第二边缘线的夹角，上述第二边缘线为上述坡口上与上述熔池不接触的边缘线，上述焊丝摆动中心重合度为上述焊接图像中上述焊丝的中心线与焊接路线对应位置的中心线的重合度；第一发送单元在上述焊接特征不在对应的预定范围内的情况下，发出报警信息，上述报警信息用于提醒可能出现焊接缺陷。该装置通过采集实时焊接的焊接区域的图像，得到焊接图像，从而通过焊接图像提取焊接特征，以判断是否可能出现焊接缺陷，若是发出报警信息，从而协助焊接人员实时调节焊接工艺参数，改善焊接人员工作环境，减少焊接缺陷的产生，提高焊接质量，无需人工焊接或通过焊接机器近距离观察焊接，解决了现有技术中依赖人工经验来保证焊接质量的问题。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种实时焊接质量的控制方法，其特征在于，包括：

获取实时焊接的焊接区域的图像，得到焊接图像；

根据所述焊接图像提取焊接特征，所述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，所述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，所述第一边缘线为所述坡口与所述熔池之间的边界线，所述焊枪焊丝夹角为焊枪和焊丝的夹角，所述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，所述参考夹角为所述焊接图像的竖直方向与所述坡口的第二边缘线的夹角，所述第二边缘线为所述坡口上与所述熔池不接触的边缘线，所述焊丝摆动中心重合度为所述焊接图像中所述焊丝的中心线与焊接路线对应位置的中心线的重合度；

在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，所述报警信息用于提醒可能出现焊接缺陷。

2.根据权利要求1所述的方法，其特征在于，所述焊接融合线夹角包括第一焊接融合线夹角和第二焊接融合线夹角，根据所述焊接图像提取焊接特征，包括：

根据所述焊接图像提取熔池轮廓线和两个第一边缘线，所述熔池轮廓线为焊接形成的熔池的边缘轮廓线，两个所述第一边缘线分别位于所述坡口的两端；

检测所述熔池轮廓线和一个所述第一边缘线的夹角，得到所述第一焊接融合线夹角，检测所述熔池轮廓线和另一个所述第一边缘线的夹角，得到所述第二焊接融合线夹角。

3.根据权利要求2所述的方法，其特征在于，所述报警信息包括第一报警信息和第二报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，包括：

在所述第一焊接融合线夹角和/或所述第二焊接融合线夹角小于或者等于第一夹角阈值的情况下，发出第一报警信息，所述第一报警信息为可能产生余高过高的缺陷；

在所述第一焊接融合线夹角和/或所述第二焊接融合线夹角大于或者等于第二夹角阈值的情况下，发出第二报警信息，所述第二报警信息为可能产生焊接材质填充不充分的缺陷，所述第二夹角阈值大于所述第一夹角阈值；

在所述第一焊接融合线夹角和所述第二焊接融合线夹角均在大于所述第一夹角阈值且小于所述第二夹角阈值的情况下，不发出所述第一报警信息和所述第二报警信息。

4.根据权利要求1所述的方法，其特征在于，根据所述焊接图像提取焊接特征，还包括：

根据所述焊接图像提取焊枪和焊丝的轮廓线，并根据所述焊枪和所述焊丝的轮廓线确定所述焊枪焊丝夹角；

根据所述焊接图像识别所述焊丝干伸长。

5.根据权利要求4所述的方法，其特征在于，所述报警信息包括第三报警信息和第四报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，还包括：

计算所述焊枪焊丝夹角与预定夹角的差值的绝对值，得到偏差角，并在所述偏移角大于偏移角阈值的情况下，发出所述第三报警信息，所述第三报警信息为可能产生焊枪焊丝角度偏差引起的焊接缺陷；

计算所述焊丝干伸长与预定焊丝干伸长的的差值的绝对值，得到偏差长度，并在所述偏移角大于偏移角阈值的情况下，发出所述第四报警信息，所述第四报警信息为可能产生焊丝熔化量不合理引起的焊接缺陷。

6.根据权利要求1所述的方法，其特征在于，根据所述焊接图像提取焊接特征，还包括：

根据所述焊接图像识别两个所述第二边缘线，两个所述第二边缘线分别位于所述坡口的两端；

检测两个所述第二边缘线与所述焊接图像的竖直方向的夹角，得到两个所述参考夹角；

计算两个所述参考夹角与对应的预定参考夹角的差值的绝对值，得到两个所述画面偏移角，所述预定参考夹角为焊接前拍摄的所述焊接图像对应的所述参考夹角。

7.根据权利要求6所述的方法，其特征在于，所述报警信息包括第五报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，还包括：

在两个所述画面偏移角的平均值大于画面偏移角阈值的情况下，发出第五报警信息，所述第五报警信息为提醒所述焊接图像的拍摄角度出现偏移。

8.根据权利要求1所述的方法，其特征在于，

根据所述焊接图像提取焊接特征，还包括：

根据所述焊接图像识别所述焊丝的中心线，并计算所述焊接图像中所述焊丝的中心线与焊接路线对应位置的中心线的距离，得到所述焊丝摆动中心重合度；所述报警信息包括第六报警信息，在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，还包括：

在所述焊丝摆动中心重合度大于距离阈值的情况下，发出第六报警信息，所述第六报警信息为提醒所述焊丝偏离所述焊接路线。

9.根据权利要求1至8中任一项所述的方法，其特征在于，在获取实时焊接的焊接区域的图像，得到焊接图像之后，所述方法还包括：

根据所述焊接图像进行三维重建，得到所述熔池的熔宽和熔深；

将所述熔宽、所述熔深和对应的焊接工艺参数输入检测模型，得到检测结果，所述检测结果为存在焊接缺陷的风险和不存在焊接缺陷的风险，所述焊接工艺参数至少包括焊接电压，所述检测模型为通过历史熔宽、历史熔深、对应的历史焊接工艺参数和对应的工况下是否出现焊接缺陷；

根据所述检测结果发出第七报警信息，所述第七报警信息用于提示调节所述焊接工艺参数。

10.一种实时焊接质量的控制装置，其特征在于，包括：

获取单元，用于获取实时焊接的焊接区域的图像，得到焊接图像；

处理单元，用于根据所述焊接图像提取焊接特征，所述焊接特征包括焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角和焊丝摆动中心重合度，所述焊接融合线夹角为熔池的轮廓线和坡口的第一边缘线的夹角，所述第一边缘线为所述坡口与所述熔池之间的边界线，所述焊枪焊丝夹角为焊枪和焊丝的夹角，所述画面偏移角为参考夹角与预定参考夹角的差值的绝对值，所述参考夹角为所述焊接图像的竖直方向与所述坡口的第二边缘线的夹角，所述第二边缘线为所述坡口上与所述熔池不接触的边缘线，所述焊丝摆动中心重合度为所述焊接图像中所述焊丝的中心线与焊接路线对应位置的中心线的重合度；

第一发送单元，用于在所述焊接特征不在对应的预定范围内的情况下，发出报警信息，所述报警信息用于提醒可能出现焊接缺陷。

11.一种显示终端，其特征在于，所述显示终端包括权利要求10所述的实时焊接质量的控制装置，所述控制装置还包括：

显示单元，至少用于实时显示焊接融合线夹角、焊枪焊丝夹角、焊丝干伸长、画面偏移角、焊丝摆动中心重合度和报警信息。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至9中任意一项所述的方法。

13.一种焊接系统，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至9中任意一项所述的方法。