CN114131141A - 一种大型结构件变位置焊接质量在线监测方法及系统 - Google Patents

一种大型结构件变位置焊接质量在线监测方法及系统 Download PDF

Info

Publication number
CN114131141A
CN114131141A CN202111624003.9A CN202111624003A CN114131141A CN 114131141 A CN114131141 A CN 114131141A CN 202111624003 A CN202111624003 A CN 202111624003A CN 114131141 A CN114131141 A CN 114131141A
Authority
CN
China
Prior art keywords
welding
molten pool
image
molten
weld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111624003.9A
Other languages
English (en)
Inventor
洪宇翔
杨明轩
冷子杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202111624003.9A priority Critical patent/CN114131141A/zh
Publication of CN114131141A publication Critical patent/CN114131141A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/02—Seam welding; Backing means; Inserts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
    • B23K9/127—Means for tracking lines during arc welding or cutting
    • B23K9/1272—Geometry oriented, e.g. beam optical trading
    • B23K9/1274—Using non-contact, optical means, e.g. laser means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供了一种大型结构件变位置焊接质量在线监测方法及系统，属于智能焊接制造技术领域。本发明针对现有大型结构件自动化焊接缺乏高效焊接质量检测手段的问题，利用被动视觉传感和WiFi6无线宽带通信技术实现大型结构件变位置焊接过程中熔池图像的实时采集与稳定无线传输，通过提取连续熔池图像序列中的熔池多目标域特征，基于机器学习分类模型实现典型焊缝成形缺陷的在线监测。本发明可为焊后原位无损检测和在位快速修焊提供依据，大幅提高缺陷检测效率同时降低废品率和减少停机时间，进而降低整个焊接制造周期的时间和成本，尤其适用于航天推进器贮箱封头等大型结构件的大规模焊接制造。

Description

一种大型结构件变位置焊接质量在线监测方法及系统
技术领域
本发明涉及智能焊接制造技术领域。尤其涉及一种大型结构件变位置焊接质量在线监测方法及系统，可广泛用于贮箱、储罐、压力容器等大型结构件的焊接制造。
背景技术
随着航空航天、大型船舶、核电、清洁能源等领域机械装备的大型化发展，对焊接智能化以及焊接的精度也提出了更高的要求。在大型复杂构件焊接制造过程中，由于构件重量体积庞大不易移动和翻转，难以适用传统“变位机辅助保证平焊位姿”的焊接生产方式，这使得诸多空间复杂轨迹焊缝不可避免的面临采用位置连续变化的焊接方式(即变位置焊接)，也造成焊接过程中熔池位置和姿态的连续变化，受重力作用，熔池行为发生改变。目前，大型复杂构件焊接制造仍面临着焊接智能化程度低、焊接质量一致性难以保证、焊接缺陷检测效率低下等问题。尤其是焊接缺陷检测与识别目前主要依赖于焊后的人工无损检测手段，这不仅增加了劳动强度，同时也增加了整个产品制造周期的时间和成本，其低下的生产效率无法满足产品的批量化生产。
焊接质量在线监测是实现智能焊接制造的关键技术之一，而焊接过程信息的获取是实现焊接质量在线监测的前提。视觉传感由于其精度高、包含信息丰富、抗干扰能力强等优点在工业界与学术界得到了广泛应用与研究。研究者们通过提取熔长、熔宽等形貌特征、熔池质心等位置特征等来描述熔池的变化，进而反映焊缝的成形质量。然而，相较于传统“变位机辅助保证平焊位姿”的焊接生产方式，在大型复杂构件焊接制造过程中，焊接熔池受重力和多种不确定性因素影响，使得准确监测焊缝成形缺陷变得极为困难，目前仍面临着极大挑战。另一方面，在大型复杂构件实际焊接制造生产过程中，由于视觉传感器与数据处理设备之间通信线缆的限制，焊接过程中电流、电压、焊接状态等大量信息需要在焊接现场才能获取，这加大了企业生产远程管理的难度，此外，焊接设备长时间工作造成的线缆损耗也增加了生产成本。
经对现有技术文献和专利检索发现，专利申请号为201510145918.X的中国发明专利《一种焊接质量监测系统及方法》公开了一种焊接质量监测系统及方法，通过对红外热像仪采集的熔池红外热成像数据进行处理提取了焊接参数，将所述焊接参数与预设的焊接标准相比较实现了自动化焊接质量的在线监测；专利申请号为201410218887.1的中国发明专利《一种焊接缺陷提取方法及焊接缺陷检测方法》公开了一种焊接缺陷提取方法，利用NSST方法和PCNN方法对图像进行处理，然后利用改进的CV模型优化缺陷的轮廓从而得到缺陷的精细边缘，并基于该方法实现了焊接缺陷的检测；专利申请号为201610321860.4的中国发明专利《一种实时的焊接缺陷在线监测方法及装置》公开了一种实时的焊接缺陷在线监测方法及装置，该系统能够实时监控并存储焊接参数，并通过设定的电参数标准值及通过超出标准值不匹配度与缺陷数据库的数据进行对比来评判焊缝质量；专利申请号为201910579693.7的中国发明专利《一种基于熔池正面视觉传感的焊缝成形控制装置及方法》公开了一种基于熔池正面视觉传感的焊缝成形控制装置及方法，利用视觉传感器获得熔池下塌特征量的变化，实现了焊缝成形质量的控制。以上技术方案仅涉及针对平焊、立焊等传统焊接方式中熔池特征参数信息和电参数信息的提取及焊接质量监测，此外，现有技术方案仅涉及熔池图像、电参数等焊接过程信息的短距有线传输，目前尚未见针对大型结构件变位置焊接的熔池图像实时采集与无线传输以及焊接质量智能化在线监测方法。
发明内容
本发明的目的在于克服现有技术的不足，提出一种大型结构件变位置焊接质量在线监测方法，以实现在变位置焊接过程中熔池图像的稳定无线传输以及蛇形焊缝、咬边焊缝、未熔透焊缝、过熔透焊缝、正常熔透焊缝和表面成形良好焊缝的可视化与智能化在线监测。
为了实现上述目的，本发明采取以下技术方案：
一种大型结构件变位置焊接质量在线监测方法，包括如下步骤：
1)设置采集熔池图像序列的帧数和连续判定为缺陷焊缝的帧数；焊枪起弧后弧长控制器开始工作以保持变位置焊接过程中电弧的弧长稳定，被动视觉无线传输单元开始采集熔池图像，待电弧稳定后被动视觉无线传输单元随焊枪一起沿待焊的接缝轨迹移动行走；
2)熔池图像经内置高性能处理器的图像采集模块进行图像预处理后进行无线传输，通过上位机软件读取预处理后的熔池图像并进行实时图像处理，提取当前帧熔池图像中的熔池液态金属区域和熔池尾端熔融区域的几何形状特征，作为量化变位置焊接时熔池行为变化的熔池形貌特征；
3)当采集所述熔池图像帧数达到预设值时，将设定帧数内的所述熔池形貌特征组合为熔池形貌特征向量，并将所述熔池形貌特征向量作为机器学习分类模型的输入，实现对变位置焊接过程中焊缝类型的在线判断，若判定当前帧熔池图像为缺陷焊缝则记录下缺陷焊缝类型和当前帧数；
4)在上位机软件程序中记录判断结果连续为缺陷焊缝的图像帧数，若连续判定为缺陷焊缝的帧数超过设定值，则判定为实际焊缝缺陷；在上位机软件中对提取的所述熔池形貌特征、基于机器学习分类模型预测的焊缝类型和焊接工艺参数信息进行可视化；通过调用程序将实际焊缝缺陷帧数和缺陷类型以及焊接信息存入数据库中；
5)判断焊接任务是否结束，若结束，则焊枪熄弧并停止行走，同时发送停止采集指令至被动视觉无线传输单元；调用数据库中存储的熔池形貌特征向量对建立的机器学习分类模型进行更新；若未结束，则返回步骤2)，重复执行步骤2)至步骤5)。
上述技术方案中，步骤2)中所述图像预处理包括图像降噪、图像颜色空间变换、ROI提取步骤；步骤2)中所述图像处理包括高斯滤波、图像对比度增强、二值化、形态学腐蚀、形态学膨胀、基于最大面积的熔池液态金属区域轮廓选择、熔池液态金属区域特征参数提取、基于显著性检测的熔池图像增强、熔池尾端熔融区域特征参数提取步骤。
上述技术方案中，步骤2)中所述熔池尾端熔融区域的几何形状特征包括熔池尾端熔融区域轮廓平直度LDb；所述熔池液态金属区域的几何形状特征包括：熔池液态金属区域面积A、长度L、宽度W、U轴质心UC和V轴质心VC,所述熔池形貌特征为：{featurei}frame(j),i＝1,…,n；j＝1,…,m，其中，n为提取特征数，m为连续采集图像帧数。
上述技术方案中，步骤3)中所述熔池形貌特征向量为：[{feature1,…,featuren}frame(1),{feature1,…,featuren}frame(2),…,{feature1,…,featuren}frame(m)]；步骤3)中所述机器学习分类模型采用多层前馈神经网络或支持向量机。
上述技术方案中，步骤3)中所述焊缝类型包括蛇形焊缝、咬边焊缝、未熔透焊缝、过熔透焊缝、正常熔透焊缝和表面成形良好焊缝。
上述技术方案中，在上位机软件中建立图像坐标系UV,并使图像坐标系UV的V轴正方向与焊接方向一致，熔池尾端熔融区域轮廓平直度通过如下公式进行量化：
Figure BDA0003439303490000031
式中nL、nR分别是熔池尾端熔融区域轮廓在V轴上的像素个数，其中熔池尾端熔融区域轮廓分为左右两个部分；式中Value(UL)为熔池尾端熔融区域轮廓左侧部分在U轴上的最大值与最小值之差；式中Value(UR)为熔池尾端熔融区域轮廓右侧部分在U轴上的最大值与最小值之差；β、η为重要度因子，用于衡量熔池尾端熔融区域左右两侧轮廓的重要性，其范围为[0,1]。
一种大型结构件变位置焊接质量在线监测系统，该系统包括被动视觉无线传输单元、计算控制单元、焊接监测单元、无线路由器、控制柜、焊接机器人、焊枪、待焊工件、宽带无线通信网络和数据库；所述被动视觉无线传输单元包括视觉传感器、光学减光滤光片、图像采集模块、无线图像传输模块、隔热板、散热器、保护镜头、定制相机外壳、散热孔、凹槽流通渠道和相机固定夹具，所述图像采集模块内置高性能处理器；所述计算控制单元包括工控机、人机交互界面和机器学习分类模型，所述人机交互界面安装有上位机软件和Web端焊接监测界面；所述焊枪固定在所述焊接机器人末端用于大型结构件变位置焊接，所述被动视觉无线传输单元将采集到的熔池图像通过宽带无线通信网络传输至所述计算控制单元，所述计算控制单元对熔池图像进行图像处理后，在所述人机交互界面上实时显示焊接工艺参数信息、提取的熔池形貌特征曲线和焊缝类型，并将上述信息存储至数据库；所述焊接监测单元用于远程访问所述人机交互界面的Web端焊接监测界面。
上述技术方案中，所述高性能处理器采用FPGA、DSP、ARM、ASIC处理器中的一种；所述大型结构件变位置焊接方法采用TIG、MIG、MAG、SAW、PAW、MPAW、LBW中的一种；所述宽带无线通信网络采用WiFi6无线宽带通信技术。
上述技术方案中，在所述被动视觉无线传输单元中，所述光学减光滤光片装配于所述视觉传感前方用于抑制强弧光干扰，所述视觉传感器与所述图像采集模块相连接，所述图像采集模块与所述无线图像传输模块相连接，所述无线图像传输模块通过宽带无线通信网络与所述计算控制单元相连接；所述工控机与所述人机交互界面相连接。
上述技术方案中，在所述被动视觉无线传输单元中，所述图像采集模块和所述无线传输模块与所述定制相机外壳连接固定，所述光学减光滤光片采用抽屉式结构，通过卡扣式结构与所述定制相机外壳装配固定，所述视觉传感器通过相机固定夹具与所述定制相机外壳连接固定，所述散热器装配在所述定制相机外壳上，所述定制相机外壳侧壁上的凹槽流通渠道和散热孔用于对所述图像采集模块和所述无线图像传输模块进行冷却，所述定制相机外壳上的隔热板装配于所述图像采集模块和所述视觉传感器、所述无线图像传输模块和所述视觉传感器之间。
本发明具有以下优点及突出性的技术效果：本发明利用被动视觉无线传输单元与WiFi6无线宽带通信技术实现了焊接熔池图像数据的实时采集与稳定远程无线传输，通过图像处理技术提取连续熔池图像序列中的熔池多目标域特征组成熔池形貌特征向量实现了大型结构件变位置焊接过程中的动态熔池行为描述，基于机器学习分类模型实现了焊接过程中包括蛇形焊缝、咬边焊缝、未熔透焊缝、过熔透焊缝、正常熔透焊缝和表面成形良好焊缝几种焊缝类型的在线监测与焊接缺陷的定位。本发明可为焊后原位无损检测和在位快速修焊提供依据，大幅提高缺陷检测效率同时降低废品率和减少停机时间，进而降低整个焊接制造周期的时间和成本，尤其适用于航天推进器贮箱封头等大型结构件的大规模焊接制造。
附图说明
图1为本发明被动视觉无线传输单元结构示意图。
图中：14-视觉传感器；15-光学减光滤光片；16-图像采集模块；17-无线图像传输模块；18-隔热板；19-散热器；20-保护镜头；21-定制相机外壳；22-散热孔；23-凹槽流通渠道；24-相机固定夹具。
图2为本发明实施例所述的一种大型结构件变位置焊接质量在线监测系统结构示意图。
图中：1-被动视觉无线传输单元；2-计算控制单元；3-焊接质量监测单元；4-无线路由器；5-控制柜；6-焊接机器人；7-焊枪；8-待焊工件；9-工控机；10-人机交互界面；11-机器学习分类模型；12-宽带无线通信网络；13-数据库。
图3为本发明一种大型结构件变位置焊接质量在线监测方法流程框图。
图4为本发明实施例所述的焊缝类型示意图。
图中：(i)为典型缺陷焊缝；(ii)为良好焊缝；(a)代表过熔透焊缝；(b)代表未熔透焊缝；(c)代表蛇形焊缝；(d)代表咬边焊缝；(e)代表正常熔透焊缝；(f)代表表面成形良好焊缝。
图5为本发明实施例所述的焊接熔池图像。
图中：25-焊枪行进方向；26-焊接熔池液态金属区域；27-焊接熔池尾端熔融区域；字母U代表在上位机软件中建立的图像坐标系UV的U轴；字母V代表在上位机软件中建立的图像坐标系UV的V轴。
图6为本发明实施例所述的熔池图像处理与形貌特征提取算法流程框图。
具体实施方式
下面结合附图和实施例对本发明原理和工作过程做进一步详细说明。
图1为本发明被动视觉无线传输单元结构示意图，该单元包括视觉传感器14、光学减光滤光片15、图像采集模块16、无线图像传输模块17、隔热板18、散热器19、保护镜头20、定制相机外壳21、散热孔22、凹槽流通渠道23和相机固定夹具24；所述图像采集模块16内置FPGA高性能处理器，所述视觉传感器14通过所述相机固定夹具24与所述定制相机外壳21连接固定，所述光学减光滤光片15装配于所述视觉传感器14前方用于抑制强弧光干扰，所述光学减光滤光片15采用抽屉式结构，通过卡扣式结构域所述定制相机外壳21连接固定，并与所述视觉传感器14保持同轴，所述图像采集模块16和无线图像传输模块17通过M4螺钉与所述定制相机外壳21连接固定，所述散热器19通过M4螺钉与所述定制相机外壳21连接固定，所述定制相机外壳21侧壁和顶部设有所述散热孔22和所述凹槽流通渠道23用于冷却所述图像采集模块16和无线图像传输模块17，所述隔热板18分别安装在所述图像采集模块16和所述视觉传感器14、所述无线图像传输模块17和所述视觉传感器14之间，用于隔绝所述图像采集模块16和无线图像传输模块17在长期工作条件下的发热对所述视觉传感器14采集图像质量产生的影响，所述保护镜头20采用高清、耐高温玻璃材料，通过卡扣式结构固定在所述定制相机外壳21下方；所述视觉传感器14通过CameraLink或CoxXPress或Gige接口与所述图像采集模块16相连接，所述图像采集模块16通过PCIe高速总线与所述无线图像传输模块17相连接。
图2为本发明实施例所述的一种大型结构件变位置焊接质量在线监测系统结构示意图，该系统包括被动视觉无线传输单元1、计算控制单元2、焊接质量监测单元3、无线路由器4、控制柜5、焊接机器人6、焊枪7、待焊工件8、宽带无线通信网络12和数据库13；所述计算控制单元2包括工控机9、人机交互界面10和机器学习分类模型11；所述人机交互界面10的上位机软件包括焊接熔池图像采集子模块、焊接熔池图像处理子模块、基于机器学习模型的焊接质量监测子模块、焊接熔池图像多视觉特征及焊接质量监测结果可视化子模块，Web端焊接监测界面包括焊接参数显示子模块、焊接熔池图像多视觉特征及焊接质量监测结果可视化子模块、历史数据回放子模块、焊后数据分析子模块；所述焊枪7采用TIG焊枪，所述焊枪7固定在所述焊接机器人6末端用于大型结构件变位置焊接；所述被动视觉无线传输单元1通过所述宽带无线通信网络12与所述工控机9进行数据通信，所述工控机9通过数据电缆线与所述人机交互界面10通信，所述人机交互界面10的上位机软件在实时显示焊接信息的同时将焊接信息上传至所述数据库13中，所述机器学习分类模型11采用极限学习机，所述宽带无线通信网络12采用WiFi6无线宽带通信技术，所述无线路由器4采用基于802.11ax协议的WiFi6无线局域网技术来构建专用无线局域网，且该专用无线局域网采用WPA3加密方式；在所述专用无线局域网下，所述Web端焊接监测界面通过调用所述数据库13中的存储数据进行显示，所述焊接质量监测单元3通过所述宽带无线通信网络12远程访问所述工控机9的网络地址来访问Web端焊接监测界面的焊接信息并进行分析处理和远程管理。
图3为本发明一种大型结构件变位置焊接质量在线监测方法流程框图，包括以下几个步骤：
1)设置采集熔池图像序列的帧数预设值m和连续判定为缺陷焊缝的帧数frame(defect)；在本实施例中，采集熔池图像序列的帧数预设值m＝3，连续判定为缺陷焊缝的帧数设定值frame(defect)＝10；所述焊枪7起弧后弧长控制器开始工作以保持变位置焊接过程中电弧的弧长稳定，所述被动视觉无线传输单元1开始采集熔池图像，待电弧稳定后所述被动视觉无线传输单元1随所述焊枪7一起沿待焊的接缝轨迹移动行走；本发明实施例所述的焊接熔池图像如图5所示，所述焊枪7沿所述焊接方向25行进，采集的熔池图像中包括了熔池液态金属区域26和熔池尾端熔融区域27；
2)熔池图像经内置高性能处理器的图像采集模块16进行图像预处理后进行无线传输；在本实施例中，高性能处理器采用FPGA处理器，图像预处理包括图像降噪、图像颜色空间变换、ROI提取步骤；通过所述人机交互界面10中的上位机软件读取预处理后的熔池图像并进行实时图像处理；在本实施例中中，图像处理包括高斯滤波、图像对比度增强、二值化、形态学腐蚀、形态学膨胀、基于最大面积的熔池液态金属区域轮廓选择、熔池液态金属区域特征参数提取、基于显著性检测的熔池图像增强、熔池尾端熔融区域特征参数提取步骤，本发明实施例所述的熔池图像处理与形貌特征提取算法流程框图如图6所示；提取当前帧熔池图像中的熔池液态金属区域26和熔池尾端熔融区域27的几何形状特征，作为量化变位置焊接时熔池行为变化的熔池形貌特征{featurei}frame(j),i＝1,…,n；j＝1,…,m；在本实施例中，提取的熔池形貌特征为熔池尾端熔融区域27轮廓平直度LDb和熔池液态金属区域26面积A、长度L、宽度W、U轴质心UC和V轴质心VC，其中,熔池尾端熔融区域27轮廓平直度LDb量化公式为：
Figure BDA0003439303490000051
式中nL、nR分别是熔池尾端熔融区域轮廓在V轴上的像素个数，其中熔池尾端熔融区域轮廓分为左右两个部分；式中Value(UL)为熔池尾端熔融区域轮廓左侧部分在U轴上的最大值与最小值之差；式中Value(UR)为熔池尾端熔融区域轮廓右侧部分在U轴上的最大值与最小值之差；β、η为重要度因子，用于衡量熔池尾端熔融区域左右两侧轮廓的重要性，其范围为[0,1]。
3)当采集熔池图像帧数达到预设值m时，将设定帧数内的所述熔池形貌特征组合为熔池形貌特征向量：[{feature1,…,featuren}frame(1),{feature1,…,featuren}frame(2),…,{feature1,…,featuren}frame(m)]；在本实施例中，熔池形貌特征向量为：[{LDb,A,L,W,UC,VC}frame(1),{LDb,A,L,W,UC,VC}frame(2),{LDb,A,L,W,UC,VC}frame(3)]；并将所述熔池形貌特征向量作为所述机器学习分类模型11的输入，实现对变位置焊接过程中焊缝类型的在线判断，若判定当前帧熔池图像为缺陷焊缝则记录下缺陷焊缝类型和当前帧数；在本实施例中，所述机器学习分类模型11采用极限学习机，识别的焊缝类型包括4种缺陷焊缝和1种良好焊缝，本发明实施例所述的焊缝类型示意图如图4所示，其中，4种缺陷焊缝分别为蛇形焊缝、咬边焊缝、未熔透焊缝和过熔透焊缝，1种良好焊缝通过图4(e)的正常熔透焊缝和图4(f)的表面成形良好焊缝共同确定；
4)在所述人机交互界面10的上位机软件程序中记录判断结果连续为缺陷焊缝的图像帧数，若连续判定为缺陷焊缝的帧数超过设定值frame(defect)，则判定为实际焊缝缺陷；在所述人机交互界面10的上位机软件中对提取的所述熔池形貌特征、基于机器学习分类模型预测的焊缝类型和焊接工艺参数信息进行可视化；通过调用程序将实际焊缝缺陷帧数和缺陷类型以及焊接信息存入所述数据库13中；
5)判断焊接任务是否结束，若结束，则所述焊枪7熄弧并停止行走，同时发送停止采集指令至所述被动视觉无线传输单元1；调用所述数据库13中存储的熔池形貌特征向量对建立的所述机器学习分类模型11进行更新；若未结束，则返回步骤2)，重复执行步骤2)至步骤5)。

Claims (10)

1.一种大型结构件变位置焊接质量在线监测方法，其特征在于，包括如下步骤：
1)设置采集熔池图像序列的帧数和连续判定为缺陷焊缝的帧数；焊枪起弧后弧长控制器开始工作以保持变位置焊接过程中电弧的弧长稳定，被动视觉无线传输单元开始采集熔池图像，待电弧稳定后被动视觉无线传输单元随焊枪一起沿待焊的接缝轨迹移动行走；
2)熔池图像经内置高性能处理器的图像采集模块进行图像预处理后进行无线传输，通过上位机软件读取预处理后的熔池图像并进行实时图像处理，提取当前帧熔池图像中的熔池液态金属区域和熔池尾端熔融区域的几何形状特征，作为量化变位置焊接时熔池行为变化的熔池形貌特征；
3)当采集所述熔池图像帧数达到预设值时，将设定帧数内的所述熔池形貌特征组合为熔池形貌特征向量，并将所述熔池形貌特征向量作为机器学习分类模型的输入，实现对变位置焊接过程中焊缝类型的在线判断，若判定当前帧熔池图像为缺陷焊缝则记录下缺陷焊缝类型和当前帧数；
4)在上位机软件程序中记录判断结果连续为缺陷焊缝的图像帧数，若连续判定为缺陷焊缝的帧数超过设定值，则判定为实际焊缝缺陷；在上位机软件中对提取的所述熔池形貌特征、基于机器学习分类模型预测的焊缝类型和焊接工艺参数信息进行可视化；通过调用程序将实际焊缝缺陷帧数和缺陷类型以及焊接信息存入数据库中；
5)判断焊接任务是否结束，若结束，则焊枪熄弧并停止行走，同时发送停止采集指令至被动视觉无线传输单元；调用数据库中存储的熔池形貌特征向量对建立的机器学习分类模型进行更新；若未结束，则返回步骤2)，重复执行步骤2)至步骤5)。
2.根据权利要求1所述的一种大型结构件变位置焊接质量在线监测方法，其特征在于，步骤2)中所述图像预处理包括图像降噪、图像颜色空间变换、ROI提取步骤；步骤2)中所述图像处理包括高斯滤波、图像对比度增强、二值化、形态学腐蚀、形态学膨胀、基于最大面积的熔池液态金属区域轮廓选择、熔池液态金属区域特征参数提取、基于显著性检测的熔池图像增强、熔池尾端熔融区域特征参数提取步骤。
3.根据权利要求1所述的一种大型结构件变位置焊接质量在线监测方法，其特征在于，步骤2)中所述熔池尾端熔融区域的几何形状特征包括熔池尾端熔融区域轮廓平直度LDb；所述熔池液态金属区域的几何形状特征包括：熔池液态金属区域面积A、长度L、宽度W、U轴质心UC和V轴质心VC,所述熔池形貌特征为：{featurei}frame(j),i＝1,…,n；j＝1,…,m，其中，n为提取特征数，m为连续采集图像帧数。
4.根据权利要求1或3所述的一种大型结构件变位置焊接质量在线监测方法，其特征在于，步骤3)中所述熔池形貌特征向量为：[{feature1,…,featuren}frame(1),{feature1,…,featuren}frame(2),…,{feature1,…,featuren}frame(m)]；步骤3)中所述机器学习分类模型采用多层前馈神经网络或支持向量机。
5.根据权利要求1所述的一种大型结构件变位置焊接质量在线监测方法，其特征在于，步骤3)中所述焊缝类型包括蛇形焊缝、咬边焊缝、未熔透焊缝、过熔透焊缝、正常熔透焊缝和表面成形良好焊缝。
6.根据权利要求3所述的一种大型结构件变位置焊接质量在线监测方法，其特征在于，在上位机软件中建立图像坐标系UV,并使图像坐标系UV的V轴正方向与焊接方向一致，熔池尾端熔融区域轮廓平直度通过如下公式进行量化：
Figure FDA0003439303480000011
式中nL、nR分别是熔池尾端熔融区域轮廓在V轴上的像素个数，其中熔池尾端熔融区域轮廓分为左右两个部分；式中Value(UL)为熔池尾端熔融区域轮廓左侧部分在U轴上的最大值与最小值之差；式中Value(UR)为熔池尾端熔融区域轮廓右侧部分在U轴上的最大值与最小值之差；β、η为重要度因子，用于衡量熔池尾端熔融区域左右两侧轮廓的重要性，其范围为[0,1]。
7.一种大型结构件变位置焊接质量在线监测系统，其特征在于，该系统包括被动视觉无线传输单元(1)、计算控制单元(2)、焊接监测单元(3)、无线路由器(4)、控制柜(5)、焊接机器人(6)、焊枪(7)、待焊工件(8)、宽带无线通信网络(12)和数据库(13)；所述被动视觉无线传输单元(1)包括视觉传感器(14)、光学减光滤光片(15)、图像采集模块(16)、无线图像传输模块(17)、隔热板(18)、散热器(19)、保护镜头(20)、定制相机外壳(21)、散热孔(22)、凹槽流通渠道(23)和相机固定夹具(24)，所述图像采集模块(16)内置高性能处理器；所述计算控制单元(2)包括工控机(9)、人机交互界面(10)和机器学习分类模型(11)，所述人机交互界面(10)安装有上位机软件和Web端焊接监测界面；所述焊枪(7)固定在所述焊接机器人(6)末端用于大型结构件变位置焊接，所述被动视觉无线传输单元(1)将采集到的熔池图像通过宽带无线通信网络(12)传输至所述计算控制单元(2)，所述计算控制单元(2)对熔池图像进行图像处理后，在所述人机交互界面(10)上实时显示焊接工艺参数信息、提取的熔池形貌特征曲线和焊缝类型，并将上述信息存储至数据库(13)；所述焊接监测单元(3)用于远程访问所述人机交互界面(10)的Web端焊接监测界面。
8.根据权利要求7所述的一种大型结构件变位置焊接质量在线监测系统，其特征在于，所述高性能处理器采用FPGA、DSP、ARM、ASIC处理器中的一种；所述大型结构件变位置焊接方法采用TIG、MIG、MAG、SAW、PAW、MPAW、LBW中的一种；所述宽带无线通信网络(12)采用WiFi6无线宽带通信技术。
9.根据权利要求7所述的一种大型结构件变位置焊接质量在线监测系统，其特征在于，在所述被动视觉无线传输单元(1)中，所述光学减光滤光片(15)装配于所述视觉传感(14)前方用于抑制强弧光干扰，所述视觉传感器(14)与所述图像采集模块(16)相连接，所述图像采集模块(16)与所述无线图像传输模块(17)相连接，所述无线图像传输模块(17)通过宽带无线通信网络(12)与所述计算控制单元(2)相连接；所述工控机(9)与所述人机交互界面(10)相连接。
10.根据权利要求7所述的一种大型结构件变位置焊接质量在线监测系统，其特征在于，在所述被动视觉无线传输单元(1)中，所述图像采集模块(16)和所述无线传输模块(17)与所述定制相机外壳(21)连接固定，所述光学减光滤光片(15)采用抽屉式结构，通过卡扣式结构与所述定制相机外壳(21)装配固定，所述视觉传感器(14)通过相机固定夹具(24)与所述定制相机外壳(21)连接固定，所述散热器(19)装配在所述定制相机外壳(21)上，所述定制相机外壳(21)侧壁上的凹槽流通渠道(23)和散热孔(22)用于对所述图像采集模块(16)和所述无线图像传输模块(17)进行冷却，所述定制相机外壳(21)上的隔热板(18)装配于所述图像采集模块(16)和所述视觉传感器(14)、所述无线图像传输模块(17)和所述视觉传感器(14)之间。
CN202111624003.9A 2021-12-28 2021-12-28 一种大型结构件变位置焊接质量在线监测方法及系统 Withdrawn CN114131141A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111624003.9A CN114131141A (zh) 2021-12-28 2021-12-28 一种大型结构件变位置焊接质量在线监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111624003.9A CN114131141A (zh) 2021-12-28 2021-12-28 一种大型结构件变位置焊接质量在线监测方法及系统

Publications (1)

Publication Number Publication Date
CN114131141A true CN114131141A (zh) 2022-03-04

Family

ID=80383627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111624003.9A Withdrawn CN114131141A (zh) 2021-12-28 2021-12-28 一种大型结构件变位置焊接质量在线监测方法及系统

Country Status (1)

Country Link
CN (1) CN114131141A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833485A (zh) * 2022-06-10 2022-08-02 上海交通大学 一种船舶拼板焊缝表面缺陷视觉检测装备及方法
CN116399907A (zh) * 2023-06-07 2023-07-07 保融盛维(沈阳)科技有限公司 工业电子雷管点焊缺陷红外成像无损检测方法
CN116511712A (zh) * 2023-06-28 2023-08-01 广东金湾高景太阳能科技有限公司 一种金刚线激光焊接方法及系统
CN116561710A (zh) * 2023-05-12 2023-08-08 西咸新区大熊星座智能科技有限公司 基于数据空间转化的焊接参数迁移学习预测方法
CN117436769A (zh) * 2023-12-20 2024-01-23 山东方垠智能制造有限公司 一种结构件焊接质量监测方法、系统、存储介质及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114833485A (zh) * 2022-06-10 2022-08-02 上海交通大学 一种船舶拼板焊缝表面缺陷视觉检测装备及方法
CN116561710A (zh) * 2023-05-12 2023-08-08 西咸新区大熊星座智能科技有限公司 基于数据空间转化的焊接参数迁移学习预测方法
CN116561710B (zh) * 2023-05-12 2024-02-02 西咸新区大熊星座智能科技有限公司 基于数据空间转化的焊接参数迁移学习预测方法
CN116399907A (zh) * 2023-06-07 2023-07-07 保融盛维(沈阳)科技有限公司 工业电子雷管点焊缺陷红外成像无损检测方法
CN116511712A (zh) * 2023-06-28 2023-08-01 广东金湾高景太阳能科技有限公司 一种金刚线激光焊接方法及系统
CN116511712B (zh) * 2023-06-28 2023-08-29 广东金湾高景太阳能科技有限公司 一种金刚线激光焊接方法及系统
CN117436769A (zh) * 2023-12-20 2024-01-23 山东方垠智能制造有限公司 一种结构件焊接质量监测方法、系统、存储介质及设备

Similar Documents

Publication Publication Date Title
CN114131141A (zh) 一种大型结构件变位置焊接质量在线监测方法及系统
CN106312397B (zh) 一种激光视觉引导的焊接轨迹自动跟踪系统及方法
Xu et al. Realisation of a multi-sensor framework for process monitoring of the wire arc additive manufacturing in producing Ti-6Al-4V parts
Rout et al. Advances in weld seam tracking techniques for robotic welding: A review
CN113441815B (zh) 基于深度学习的电弧增材制造层宽与余高的协同控制方法
CN206263418U (zh) 一种六自由度焊接机器人线激光实时焊缝跟踪系统
Xiong et al. Control of deposition height in WAAM using visual inspection of previous and current layers
CN108637435A (zh) 一种基于视觉与弧压传感的三维焊缝跟踪系统及方法
CN109676135A (zh) 一种激光增材制造视觉灰度值差异在线监测与缺陷修复装置
CN206561226U (zh) 一种激光视觉引导的焊接轨迹自动跟踪系统
Wang et al. Active disturbance rejection control of layer width in wire arc additive manufacturing based on deep learning
Shi et al. Monitoring process stability in GTA additive manufacturing based on vision sensing of arc length
CN113798634B (zh) 空间环形焊缝示教与焊缝跟踪方法、系统及设备
Geng et al. A novel seam extraction and path planning method for robotic welding of medium-thickness plate structural parts based on 3D vision
CN112365439B (zh) 一种镀锌钢gmaw焊缝成形特征与焊枪方向同步实时检测方法
CN114260547B (zh) 一种基于深度学习算法的窄间隙旋转电弧gtaw钨极位置纠偏方法
CN108032011A (zh) 基于激光结构光焊缝初始点导引装置及方法
CN112207482A (zh) 一种用于焊接质量控制的多元信息监控和控制系统及方法
CN108152291B (zh) 基于熔池动态特征的端缝焊接未熔合缺欠实时检测方法
CN114723738A (zh) 一种精密焊接显微监控方法及系统
Liu et al. Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding
CN105689859A (zh) 一种不同种类金属之间的连接方法和设备
Geng et al. A method of welding path planning of steel mesh based on point cloud for welding robot
CN114406425A (zh) 一种用于超薄金属精密焊接的焊缝跟踪方法
Wu et al. Research on robust laser vision feature extraction method for fillet welds with different reflective materials under uncertain interference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220304

WW01 Invention patent application withdrawn after publication