CN116597391B - 一种焊缝表面形貌和熔透状态同步在线监测方法 - Google Patents

一种焊缝表面形貌和熔透状态同步在线监测方法 Download PDF

Info

Publication number
CN116597391B
CN116597391B CN202310881178.0A CN202310881178A CN116597391B CN 116597391 B CN116597391 B CN 116597391B CN 202310881178 A CN202310881178 A CN 202310881178A CN 116597391 B CN116597391 B CN 116597391B
Authority
CN
China
Prior art keywords
image
molten pool
welding
penetration
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310881178.0A
Other languages
English (en)
Other versions
CN116597391A (zh
Inventor
蔡旺
曹龙超
周奇
舒乐时
耿韶宁
高飘
张丽彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202310881178.0A priority Critical patent/CN116597391B/zh
Publication of CN116597391A publication Critical patent/CN116597391A/zh
Application granted granted Critical
Publication of CN116597391B publication Critical patent/CN116597391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明涉及焊接监测技术领域,并提出了一种焊缝表面形貌和熔透状态同步在线监测方法,包括以下步骤:S1、由高速相机获取焊接区域连续的监测图像;S2、裁剪监测图像上的ROI区域,并筛选ROI图像;S3、对多张ROI图像中的熔池区域进行像素级别标注,获得训练数据集;S4、搭建轻量化熔池图像语义分割模型,并采用训练数据集对其进行训练;S5、实际焊接过程中,高速相机拍摄焊接区域实时图像,将实时图像输入轻量化熔池图像语义分割模型,获得语义分割图像,并提取熔池区域形态特征;S6、根据熔池形态特征评估焊缝宽度是否合格,并判断焊缝所属的熔透状态;S7、基于熔池轮廓图像等间隔融合方法重构焊缝表面形貌,分析焊缝堆高是否合格。

Description

一种焊缝表面形貌和熔透状态同步在线监测方法
技术领域
本发明涉及焊接监测技术领域,尤其涉及一种焊缝表面形貌和熔透状态同步在线监测方法。
背景技术
激光焊接因其诸多优点(热输入小、焊接速度快和易于实现自动化等)已经广泛应用于工业生产中,激光焊接过程稳定性受加工环境、拼装状态和工件变形等因素影响,产生焊缝尺寸不合格、未熔透和过熔透等缺陷。焊缝表面宽度不合格时易形成钉子头焊缝,当焊缝余高异常时会产生驼峰等缺陷;焊缝形貌尺寸的剧烈波动,易导致在尺寸不合格位置形成应力集中,影响焊缝服役性能,造成安全隐患。未熔透、过熔透是非常严重的焊接缺陷,直接导致焊缝质量不合格,需要焊后额外的加工工序进行修补,影响构件生产效率,甚至会导致整个构件报废,增加制造成本。
目前,焊接过程实时监控技术成为学科前沿和研究热点,具有广阔的应用前景。该技术能够精准感知焊接过程状态,并根据感知信息实时反馈控制工艺参数抑制缺陷生成,是保障焊接过程稳定性、提高焊接质量的关键。因此,实现焊缝表面形貌和熔透状态的精准、快速监测是解决形貌尺寸不合格、未熔透、过熔透缺陷,提高构件生产质量和效率的基础。焊接过程中熔融金属不断沿熔池尾部边缘凝固形成焊缝,熔池轮廓与焊缝表面形貌和熔透状态密切相关,可以通过熔池轮廓特征反映焊缝形貌变化和熔透状态。
例如公开号为CN111798477A的一种基于视觉技术的熔池监控方法,公开了采用相机与红外激光光源配合检测熔池尺寸的方法,然而,激光焊接过程金属蒸汽喷发剧烈,熔池前后亮度分布不均、熔池内反光干扰严重、熔池与母材边界区分度低,传统图像处理方法难以准确提取熔池轮廓,在实时焊接过程中,焊缝表面形貌连续变化,传统基于特征和机器学习的形貌尺寸预测方法不能直观反映焊缝形貌变化,基于多特征和机器学习的焊缝表面形貌和熔透状态监测方法,受提取特征影响,监测延迟和精度难以平衡。
发明内容
有鉴于此,本发明提出了一种焊缝表面形貌和熔透状态同步在线监测方法,具有监测精度高、运行时间短、抗干扰能力强等特点,以满足复杂工况下焊接过程监测要求。
本发明的技术方案是这样实现的:本发明提供了一种焊缝表面形貌和熔透状态同步在线监测方法,包括以下步骤:
S1、由高速相机获取焊接区域连续的监测图像;
S2、裁剪监测图像上的ROI区域,提取焊后焊缝宽度数据,并筛选ROI图像;
S3、对多张ROI图像中的熔池区域进行像素级别标注,获得训练数据集;
S4、搭建轻量化熔池图像语义分割模型,并采用训练数据集对其进行训练;
S5、实际焊接过程中,高速相机拍摄焊接区域实时图像,将实时图像输入轻量化熔池图像语义分割模型,获得语义分割图像,并提取熔池区域形态特征;
S6、根据熔池形态特征评估焊缝宽度是否合格,并判断焊缝所属的熔透状态;
S7、基于熔池轮廓图像等间隔融合方法重构焊缝表面形貌,分析焊缝堆高是否合格。
在以上技术方案的基础上,优选的,所述步骤S2还包括,通过焊接过程中所形成的熔融小孔形态特征对ROI图像进行筛选。
进一步优选的,所述步骤S2包括以下子步骤:
S21、提取焊接完成后焊缝的宽度数据,计算焊缝宽度均值;
S22、通过阈值分割方法获得ROI图像的二值图像;
S23、去除二值图像中的干扰部分,并提取熔融小孔的形态特征;
S24、将熔融小孔宽度大于焊缝宽度均值的ROI图像剔除。
在以上技术方案的基础上,优选的,所述步骤S3包括以下子步骤:
S31、对筛选后的ROI图像,每间隔若干个图像进行一次语义分割标注,形成语义分割的准确标签;
S32、将标注后ROI图像的准确标签共享给筛选前与其临近的ROI图像,得到具有自动标签的监测图像;
S33、采用数据增强方法处理具有标签的监测图像,得到训练数据集。
进一步优选的,所述步骤S4包括以下子步骤:
S41、搭建轻量化熔池图像语义分割模型;
S42、采用训练数据集训练与验证模型;
S43、绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线;
S44、根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练,并保存最优模型。
在以上技术方案的基础上,优选的,所述步骤S5包括以下子步骤:
S51、高速相机连续拍摄焊接区域,得到连续的实时图像;
S52、使用轻量化熔池图像语义分割模型连续处理实时图像,获得连续的语义分割图像;
S53、对语义分割图像进行通道提取,获得语义分割二值图像;
S54、通过边缘检测提取熔池轮廓、宽度、长度和面积。
在以上技术方案的基础上,优选的,所述步骤S6包括以下子步骤:
S61、根据熔池区域形态特征绘制宽度曲线图;
S62、通过滤波算法去除熔池宽度异常值;
S63、设定焊缝宽度合格阈值,根据熔池宽度特征值是否在阈值范围内判断焊缝宽度是否合格;
S64、熔透状态分为未熔透、仅熔池透、适度熔透和过熔透,采用熔池形态特征作为输入、熔透状态为输出训练SVM模型,通过训练后的SVM模型,实现熔透状态分类。
在以上技术方案的基础上,优选的,所述步骤S7包括以下子步骤:
S71、根据熔池区域形态特征获取时的端点,将熔池轮廓分为前端与后端两个部分,后端为熔池尾部轮廓;
S72、根据实时图像像素与实际尺寸换算关系,确定像素间隔t对应的实际尺寸s;
S73、根据焊接速度v和高速相机采样频率f,通过s=nv/f确定提取熔池尾部轮廓图像的间隔n;
S74、根据间隔n提取熔池尾部轮廓图像,每经过像素间隔t融合一张熔池轮廓图像,获得焊缝形貌重构图像;
S75、通过焊缝形貌重构图像中,熔池尾部轮廓间疏密和均匀程度判断焊缝堆高是否合格。
在以上技术方案的基础上,优选的,还包括步骤S8,输出焊缝形貌和熔透状态监测报告,所述监测报告包括焊缝形貌尺寸不合格、未熔透、过熔透缺陷位置信息。
在以上技术方案的基础上,优选的,所述轻量化熔池图像语义分割模型基于Unet深度学习模型和DANet注意力机制构建,并以VGG16模型为主框架,采用对称的编码器和解码器结构。
本发明的焊缝表面形貌和熔透状态同步在线监测方法相对于现有技术具有以下有益效果:
(1)能够实现焊接过程焊缝表面形貌和熔透状态同步在线监测,快速智能分析焊缝是否存在表面形貌不合格、未熔透或者过熔透缺陷,以及评估缺陷对焊缝质量的影响程度,实现焊接质量追溯;另外,能够根据监测结果为焊接参数反馈控制提供准确依据,为实现焊接过程实时监控奠定基础;
(2)采用熔池尾部轮廓图像等间隔融合方法获得焊缝表面形貌重构图像,根据熔池尾部轮廓线的稀疏和均匀程度判断焊缝堆高是否合格,为焊接监测提供充分的数据支撑;
(3)通过图像处理方法提取熔池轮廓,然后获取熔池的长、宽、面积等形态特征;接着根据熔池形态特征评估焊缝宽度是否合格,基于SVM模型评估焊缝的熔透状态,为焊接监测提供充分的数据支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的焊缝表面形貌和熔透状态同步在线监测方法的步骤示意图;
图2为本发明的焊缝表面形貌和熔透状态同步在线监测方法的时刻T至时刻T+0.018s的ROI图像示例图;
图3为本发明的焊缝表面形貌和熔透状态同步在线监测方法的轻量化熔池图像语义分割模型结构示意图;
图4为本发明的焊缝表面形貌和熔透状态同步在线监测方法的焊缝扫描图像焊缝表面形貌和熔透状态变化示意图;
图5为本发明的焊缝表面形貌和熔透状态同步在线监测方法的焊缝表面形貌重构流程示意图;
图6为本发明的焊缝表面形貌和熔透状态同步在线监测方法的焊缝表面形貌重构图像和扫描图像对比图;
图7为本发明的焊缝表面形貌和熔透状态同步在线监测方法的步骤S8输出监测报告的部分内容示意图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
在实时焊接过程中,激光焊接过程金属蒸汽喷发剧烈,视觉信号中熔池易被金属蒸汽羽辉遮挡,熔池前后亮度分布不均、熔池内反光干扰严重、熔池与母材边界区分度低,传统图像处理方法难以准确提取熔池轮廓,焊缝表面形貌连续变化,传统基于特征和机器学习的形貌尺寸预测方法不能直观反映焊缝形貌变化。基于多特征和机器学习的焊缝表面形貌和熔透状态监测方法,受提取特征影响,监测延迟和精度难以平衡。为了保障焊接质量、提高焊接效率,大型复杂构件激光焊接过程焊缝表面形貌和熔透状态的智能监测显得尤为重要,可为快速、准确分析焊接过程状态和评估焊接质量提供可靠数据支撑。
因此,急需开发一种激光焊接过程焊缝表面形貌和熔透状态同步实时监测方法,具有监测精度高、运行时间短、抗干扰能力强等特点,以满足复杂工况下焊接过程监测要求。并且该焊缝表面形貌和熔透状态监测方法还能推广到其他类型焊接方式的焊接过程中,具有很好的泛化能力。
如图1-7所示,本发明的焊缝表面形貌和熔透状态同步在线监测方法,具有监测精度高、运行时间短、抗干扰能力强等特点,以满足复杂工况下焊接过程监测要求,本方法可广泛应用于激光焊接制造过程,尤其适用于海工装备、轨道交通、航空航天等大型复杂构件焊接场合,具体包括步骤S1-S8。
步骤S1:由高速相机获取焊接区域连续的监测图像。
通过配备微距镜头的高速相机原位获取激光焊接过程焊接区域高分辨率监测图像,本步骤中所拍摄的监测图像是为了训练模型做准备,故而可在模拟焊接过程中或实际焊接过程中拍摄获得。
需要说明的是,拍摄时需在微距镜头最短成像距离下,通过高速相机拍摄焊接区域,采样频率为5000Hz,图像分辨率为640像素×480像素,熔池需位于成像区域中心,另外,高速相机与焊板平面成60度夹角,辅助光源频率为5000Hz,高速相机曝光时间为3微秒。
步骤S2:裁剪监测图像上的ROI区域,提取焊后焊缝宽度数据,并筛选ROI图像。
在提取ROI区域形成的ROI图像中,有些图像具有较强的金属蒸汽干扰,会导致熔池轮廓不清楚,影响熔池区域的形态特征提取,故而需要对ROI图像进行筛选,去除金属蒸汽干扰较强的图像,从而获得无强金属蒸汽干扰ROI图像,可直接通过焊接过程中所形成的熔融小孔形态特征对ROI图像进行筛选。
具体的,步骤S2包括子步骤S21-S24。
步骤S21:提取焊接完成后焊缝的宽度数据,计算焊缝宽度均值。
在焊接完成后,采用扫描仪获得焊缝图像,并使用PS等软件手动获取焊缝边缘,提取焊缝宽度数据,计算宽度均值Ws,再以熔池为中心,裁剪ROI区域,具体尺寸可选用长为540像素、宽为210像素,统计M(M>20)张图像中熔融小孔亮度区域的平均亮度值L,在实际的焊接过程中,检测的平均亮度值L接近255。
需要说明的是,熔融小孔是在焊接过程中,焊点部分熔融形成的高亮度区域。
步骤S22:通过阈值分割方法获得ROI图像的二值图像。
采用阈值分割方法获得二值图像,阈值设为Y,具体可设置为Y=L/255-0.05,灰度值在阈值分割时都会除以255以归一化,故而阈值Y小于1,-0.05是为了避免等于Y而无法分割,也是为了避免小孔部分小于Y。
步骤S23:去除二值图像中的干扰部分,并提取熔融小孔的形态特征。
本步骤中,通过形态学处理提取熔融小孔形态特征,去除其他的干扰部分,所提取的形态特征,主要是为了获得熔融小孔的宽度特征Wk。
步骤S24:将熔融小孔宽度大于焊缝宽度均值的ROI图像剔除。
焊接过程中小孔宽度小于熔池宽度,另外熔池宽度即为焊缝宽度,也就是说小孔宽度小于焊缝宽度,即宽度特征Wk<宽度均值Ws,若有强金属蒸汽干扰,则Wk>Wm,且超出正常数值,根据此依据对ROI图像进行自动筛选,从而剔除具有金属蒸汽干扰的ROI图像,保留无强金属蒸汽干扰ROI图像。
如图2所示,为某一实施例中,时刻T至时刻T+0.018s所拍摄的十张图像,每张图像时间间隔0.002s,其中编号为1、2、5、6、10的图像中,金属蒸汽干扰较强,难以进行后续的标注,故而仅保留编号为3、4、7、8、9的图像,用作后续的手动标注备选图像。
步骤S3:对多张ROI图像中的熔池区域进行像素级别标注,获得训练数据集。
在标注过程中,若全部采用手动标注,会导致作业量较大,故而通过手动标注与自动标注结合的方式,对连续的ROI图像生成标签,具体包括子步骤S31-S33。
步骤S31:对筛选后的ROI图像,每间隔若干个图像进行一次语义分割标注,形成语义分割的准确标签。
采用Labelme软件手动标注筛选后ROI图像中的熔池,ROI图像的标签对应至原始的监测图像中,且ROI图像和具有标签的监测图像名称均为提取时的编号N,即拍摄过程中所形成的图像编号,同时将手动标注的标签表示为准确标签。
高速摄像中熔池形态缓慢变化,在5000Hz采样频率下发现熔池在T(T>10)张图像内熔池轮廓几乎完全相同,基于此提出标签自动生成方法,其中的每间隔若干个ROI图像,具体为间隔T张图像,为后续的标签自动生成做准备。
步骤S32:将标注后ROI图像的准确标签共享给筛选前与其临近的ROI图像,得到具有自动标签的监测图像。
采用MATLAB软件将监测图像N的语义分割标签共享给邻近监测图像,邻近监测图像的编号在(N-T/2, N+T/2)范围内,同时改变标签的编号,使其与监测图像对应,实现标签自动获取,自动生成的标签在本实施方式中表示为自动标签。
需要说明的是,步骤S24筛选图像是为了避免影响标签的手动标注,而在标签的自动生成过程中,包含步骤S24剔除的图像,也就是说,监测图像为连续编号的图像。
步骤S33:采用数据增强方法处理具有标签的监测图像,得到训练数据集。
通过标签自动生成,使数据量增加T倍,使强金属蒸汽干扰图像获得准确标签,采用图像翻转、灰度调整等数据增强方法进一步提高数据深度,数据量扩充4倍,获得模型训练数据集。
步骤S4:搭建轻量化熔池图像语义分割模型,并采用训练数据集对其进行训练。
为了对输入的监测图像进行自动的语义分割,在本步骤中搭建了相应的模型,并需要采用上述步骤中得到的训练数据集对模型进行训练、测试和验证,具体的,步骤S4包括子步骤S41-S44。
步骤S41:搭建轻量化熔池图像语义分割模型。
如图3所示,所述轻量化熔池图像语义分割模型基于Unet深度学习模型和DANet注意力机制构建,并以VGG16模型为主框架,采用对称的编码器和解码器结构,由10个单元组成,模型共有23个卷积层、4个下采样层、4个上采样层和4个融合层以及4个DANet注意力机制模块,模型的左半部分包含5个单元,用于通过逐渐减少输入图像的空间尺寸来提取高维特征,每个单元中的卷积核数量分别为64、128、256、512和1024,卷积核尺寸为3×3,采用最大池化进行下采样,核大小为2×2,步长为2,第5个单元是下采样的结束和上采样的开始,网络的右半部分拥有4个单元,将高维特征逐渐恢复到原来的分辨率;第9与第1单元、第8与第2单元、第7与第3单元、第6与第4单元分别对称,相应的特征图大小相同;每个单元采用2×2逆卷积上采样恢复特征图,通过串联法将第10单元特征加强处理后的特征与相应单元的浅层特征合并,更好地恢复特征图的细节,并保证相应的空间信息维度保持不变;第9单元最后一层采用1x1卷积运算将每个64分量的特征向量映射到所需的2个类别(背景和熔池),本模型可将任意尺寸的输入图像进行预测并输出相同尺寸的语义分割图像。
搭建模型后,优化输入图像尺寸,提高模型的精度和速度,优化后输入图像长为256像素,宽为96像素。
步骤S42:采用训练数据集训练与验证模型。
将具有准确标签的监测图像作为验证数据,具有自动标签的监测图像作为训练数据,在输入模型训练前进行颜色扰动、变形缩放、高斯模糊等数据增强处理,训练时,模型在训练数据上至少训练100代,并每隔5代在验证数据上计算MIoU值和MPA值。
步骤S43:绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线。
步骤S44:根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练,并保存最优模型。
本步骤中所得到的最优模型,即为实际使用时的轻量化熔池图像语义分割模型。
步骤S5:实际焊接过程中,高速相机拍摄焊接区域实时图像,将实时图像输入轻量化熔池图像语义分割模型,获得语义分割图像,并提取熔池区域形态特征。
本步骤采用与步骤S1相同的方式获得实时图像,实时图像与监测图像的区别仅在于监测图像是用以训练模型所做的训练数据,而实时图像为模型实际使用过程中所拍摄的数据,实时图像也可作为模型的测试数据,所述步骤S5包括子步骤S51-S54。
步骤S51:高速相机连续拍摄焊接区域,得到连续的实时图像。
需要注意,所获得的图像应当是新的图像,即不与作为训练数据的监测图像相同。
步骤S52:使用轻量化熔池图像语义分割模型连续处理实时图像,获得连续的语义分割图像。
采用保存最优参数的模型批量连续处理从实际焊缝上获得的实时图像,输出语义分割图像,同样的,获得的连续图像具有连续编号。
步骤S53:对语义分割图像进行通道提取,获得语义分割二值图像。
步骤S54:通过边缘检测提取熔池轮廓、宽度、长度和面积。
通过边缘特征检测提取熔池轮廓,再通过熔池轮廓获得熔池的宽度、长度和面积等形态特征。
步骤S6:根据熔池形态特征评估焊缝宽度是否合格,并判断焊缝所属的熔透状态。
根据熔池形态特征评估焊缝宽度是否合格,并基于SVM模型判断焊缝所属的熔透状态,所述步骤S6包括子步骤S61-S64。
步骤S61:根据熔池区域形态特征绘制宽度曲线图。
熔池凝固后形成焊缝,熔池表面宽度与焊缝宽度相同,根据提取的熔池宽度特征绘制曲线图。
步骤S62:通过滤波算法去除熔池宽度异常值。
步骤S63:设定焊缝宽度合格阈值,根据熔池宽度特征值是否在阈值范围内判断焊缝宽度是否合格。
步骤S64:熔透状态分为未熔透、仅熔池透、适度熔透和过熔透,采用熔池形态特征作为输入、熔透状态为输出训练SVM模型,通过训练后的SVM模型,实现熔透状态分类。
支持向量机(support vector machines, SVM)是一种机器学习算法,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机;SVM还包括核技巧,这使它成为实质上的非线性分类器。SVM的学习策略就是间隔最大化,可形式化为一个求解凸二次规划问题,SVM算法广泛应用在多分类的任务上,本实施方式通过对SVM模型进行训练,由SVM模型输出熔池状态类别。
如图4所示,为焊缝扫描图像焊缝表面形貌和熔透状态变化示意图,通过实验设计,单次激光焊接获得的焊缝具有不同的表面形貌和多种熔透状态,且不同熔透状态下对应的焊缝表面形貌具有不同的特点;此外,同一种熔透状态下,在不同位置,焊缝表面形貌也不相同。在未熔透时,因熔池尾部形态规律性变化,焊缝表面会产生规律的凸起和凹陷,在凸起处的焊缝宽度大于凹陷处,焊缝余高和宽度波动较大;在仅熔池透时,熔池尾部形态变化减弱,焊缝表面没有明显的凸起和凹陷;当适度熔透和过熔透时,焊缝表面形貌波动非常小,表面形貌成形均匀;在适度熔透状态时焊缝宽度均匀,在四种熔透状态中最宽,而在过熔透状态时,焊缝宽度明显缩小。焊缝表面形貌在熔透状态过渡区域剧烈变化。在过渡区域①、②、③、④,焊缝表面形貌大幅变化,熔池凝固形成的纹路变得不均匀。
步骤S7:基于熔池轮廓图像等间隔融合方法重构焊缝表面形貌,分析焊缝堆高是否合格。
熔池轮廓直接决定了焊缝的表面形貌,故而将连续实时图像的熔池轮廓进行融合,即可得到重构后的焊缝表面形貌,具体的,步骤S7包括子步骤S71-S75。
步骤S71:根据熔池区域形态特征获取时的端点,将熔池轮廓分为前端与后端两个部分,后端为熔池尾部轮廓。
熔池轮廓中,整体类似水滴状,此处的后端,即为水滴的拖尾部分,也就是熔池尾部轮廓。
步骤S72:根据实时图像像素与实际尺寸换算关系,确定像素间隔t对应的实际尺寸s。
在本实施方式中,参考熔池凝固过程,像素间隔t取值需大于5像素宽度,若过小会导致轮廓重合度较高,对于形貌整体展现不利,在本步骤中,同时确定像素间隔t实际所对应的尺寸s,也就是融合图像轮廓时所需间隔的尺寸。
步骤S73:根据焊接速度v和高速相机采样频率f,通过s=nv/f确定提取熔池尾部轮廓图像的间隔n。
本步骤中的间隔n表示图像的编号间隔,间隔n个图像进行轮廓融合,即在融合过程中,熔池轮廓存在像素间隔t。
步骤S74:根据间隔n提取熔池尾部轮廓图像,每经过像素间隔t融合一张熔池轮廓图像,获得焊缝形貌重构图像。
将连续的实时图像所提取的熔池尾部轮廓按照该像素间隔t依次进行融合即可获得焊缝形貌重构图像。
如图5所示,为焊缝表面形貌重构流程示意图。焊接过程中熔融金属沿熔池两侧和尾部边缘不断凝固形成焊缝,焊缝上有熔融金属凝固形成的纹路,与熔池的轮廓一致。在熔池特征提取过程中获得了计算熔池宽度特征的端点,由于熔融金属沿熔池两侧和尾部边缘凝固,根据关键点提取熔池最宽处与熔池尾部之间的熔池轮廓;最后,根据熔池在6张融合图像(0.006 s)内向前移动了5个像素格,因此后续每隔6张提取的融合图像轮廓均相比前一张融合图像在重构时向前移动5个像素格。获得的焊缝表面形貌重构图像由熔池的轮廓构成,熔池轮廓间的稀疏程度能够反映熔池形貌变化情况,当焊缝质量良好时,熔池形态变化小,重构的焊缝表面图像上熔池轮廓之间间隔均匀;而当焊缝质量发生变化时,熔池形态变化大,通过重构的焊缝表面形貌可以直观反映焊缝的表面质量。
如图6所示,为焊缝表面形貌重构图像和扫描图像对比图,焊缝表面形貌预测结果与扫描图像中焊缝的实际表面形貌几乎完全相同。其中,未熔透和仅熔池透时出现的焊缝表面凸起和凹陷能够通过熔池轮廓间的稀疏程度进行反映,重构后能够直观的判断焊缝是否发生表面形貌质量波动;当熔透状态为适度熔透和过熔透时,焊缝形貌均匀,重构的焊缝形貌间熔池间隔均匀,焊缝宽度和余高变化很小;在不同熔透状态之间的过渡区域,熔池宽度和熔池尾部轮廓之间的间隔能够准确反映焊缝表面形貌的动态变化。
步骤S75:通过焊缝形貌重构图像中,熔池尾部轮廓间疏密和均匀程度判断焊缝堆高是否合格。
合格焊缝熔池轮廓变化非常小,尾部轮廓间隔均匀,不合格时熔池形态大幅变化,尾部轮廓间隔剧烈变化,通过该特征即可判断焊缝堆高是否合格。
步骤S8:输出焊缝形貌和熔透状态监测报告,所述监测报告包括焊缝形貌尺寸不合格、未熔透、过熔透缺陷位置信息。
在实际焊接过程中采用本实施方式提出的方法和训练好的模型对熔池实时图像进行处理,在线检测焊缝形貌和熔透状态,另外焊缝形貌尺寸不合格是指步骤S63中的焊缝宽度是否合格与步骤S75中的焊缝堆高是否合格,未熔透、过熔透等种类缺陷是由步骤S64获得,各个缺陷的位置信息可选择直接表示在焊缝形貌重构图像上。
如图7所示,为某一具体实施例中输出监测报告的部分内容,其中的熔透状态1-4分别表示未熔透、仅熔池透、适度熔透和过熔透四个种类。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,包括以下步骤:
S1、由高速相机获取焊接区域连续的监测图像;
S2、裁剪监测图像上的ROI区域,提取焊后焊缝宽度数据,并筛选ROI图像;
S3、对多张ROI图像中的熔池区域进行像素级别标注,获得训练数据集;
S4、搭建轻量化熔池图像语义分割模型,并采用训练数据集对其进行训练;
S5、实际焊接过程中,高速相机拍摄焊接区域实时图像,将实时图像输入轻量化熔池图像语义分割模型,获得语义分割图像,并提取熔池区域形态特征;
S6、根据熔池形态特征评估焊缝宽度是否合格,并判断焊缝所属的熔透状态;
S7、基于熔池轮廓图像等间隔融合方法重构焊缝表面形貌,分析焊缝堆高是否合格;
所述步骤S7包括以下子步骤:
S71、根据熔池区域形态特征获取时的端点,将熔池轮廓分为前端与后端两个部分,后端为熔池尾部轮廓;
S72、根据实时图像像素与实际尺寸换算关系,确定像素间隔t对应的实际尺寸s;
S73、根据焊接速度v和高速相机采样频率f,通过s=nv/f确定提取熔池尾部轮廓图像的间隔n;
S74、根据间隔n提取熔池尾部轮廓图像,每经过像素间隔t融合一张熔池轮廓图像,获得焊缝形貌重构图像;
S75、通过焊缝形貌重构图像中,熔池尾部轮廓间疏密和均匀程度判断焊缝堆高是否合格。
2.如权利要求1所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,所述步骤S2还包括,通过焊接过程中所形成的熔融小孔形态特征对ROI图像进行筛选。
3.如权利要求2所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,所述步骤S2包括以下子步骤:
S21、提取焊接完成后焊缝的宽度数据,计算焊缝宽度均值;
S22、通过阈值分割方法获得ROI图像的二值图像;
S23、去除二值图像中的干扰部分,并提取熔融小孔的形态特征;
S24、将熔融小孔宽度大于焊缝宽度均值的ROI图像剔除。
4.如权利要求1所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,所述步骤S3包括以下子步骤:
S31、对筛选后的ROI图像,每间隔若干个图像进行一次语义分割标注,形成语义分割的准确标签;
S32、将标注后ROI图像的准确标签共享给筛选前与其临近的ROI图像,得到具有自动标签的监测图像;
S33、采用数据增强方法处理具有标签的监测图像,得到训练数据集。
5.如权利要求4所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,所述步骤S4包括以下子步骤:
S41、搭建轻量化熔池图像语义分割模型;
S42、采用训练数据集训练与验证模型;
S43、绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线;
S44、根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练,并保存最优模型。
6.如权利要求1所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,所述步骤S5包括以下子步骤:
S51、高速相机连续拍摄焊接区域,得到连续的实时图像;
S52、使用轻量化熔池图像语义分割模型连续处理实时图像,获得连续的语义分割图像;
S53、对语义分割图像进行通道提取,获得语义分割二值图像;
S54、通过边缘检测提取熔池轮廓、宽度、长度和面积。
7.如权利要求1所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,所述步骤S6包括以下子步骤:
S61、根据熔池区域形态特征绘制宽度曲线图;
S62、通过滤波算法去除熔池宽度异常值;
S63、设定焊缝宽度合格阈值,根据熔池宽度特征值是否在阈值范围内判断焊缝宽度是否合格;
S64、熔透状态分为未熔透、仅熔池透、适度熔透和过熔透,采用熔池形态特征作为输入、熔透状态为输出训练SVM模型,通过训练后的SVM模型,实现熔透状态分类。
8.如权利要求1所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,还包括步骤S8,输出焊缝形貌和熔透状态监测报告,所述监测报告包括焊缝形貌尺寸不合格、未熔透、过熔透缺陷位置信息。
9.如权利要求1所述的焊缝表面形貌和熔透状态同步在线监测方法,其特征在于,所述轻量化熔池图像语义分割模型基于Unet深度学习模型和DANet注意力机制构建,并以VGG16模型为主框架,采用对称的编码器和解码器结构。
CN202310881178.0A 2023-07-18 2023-07-18 一种焊缝表面形貌和熔透状态同步在线监测方法 Active CN116597391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310881178.0A CN116597391B (zh) 2023-07-18 2023-07-18 一种焊缝表面形貌和熔透状态同步在线监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310881178.0A CN116597391B (zh) 2023-07-18 2023-07-18 一种焊缝表面形貌和熔透状态同步在线监测方法

Publications (2)

Publication Number Publication Date
CN116597391A CN116597391A (zh) 2023-08-15
CN116597391B true CN116597391B (zh) 2023-09-19

Family

ID=87599572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310881178.0A Active CN116597391B (zh) 2023-07-18 2023-07-18 一种焊缝表面形貌和熔透状态同步在线监测方法

Country Status (1)

Country Link
CN (1) CN116597391B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117340459B (zh) * 2023-12-04 2024-01-30 武汉纺织大学 一种超高功率激光焊接全过程监测方法及系统
CN117392178A (zh) * 2023-12-08 2024-01-12 武汉纺织大学 一种铺粉增材制造过程熔池的运动特征提取方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4767911A (en) * 1987-02-26 1988-08-30 Rockwell International Corporation Optical weld contour monitor for penetration control
WO2012000648A1 (en) * 2010-06-28 2012-01-05 Precitec Kg Method for closed-loop controlling a laser processing operation and laser material processing head using the same
CN205629696U (zh) * 2015-12-28 2016-10-12 兰州理工大学 一种熔池表面形貌实时观测装置
CN111061231A (zh) * 2019-11-29 2020-04-24 上海交通大学 焊接装配间隙和错边前馈的熔池监控系统及熔透监测方法
CN112529103A (zh) * 2020-12-24 2021-03-19 华北水利水电大学 一种基于双向熔池几何及纹理特征融合的熔透识别方法
CN113379740A (zh) * 2021-08-02 2021-09-10 上海工程技术大学 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统
WO2021207318A1 (en) * 2020-04-08 2021-10-14 BWXT Advanced Technologies LLC In-situ inspection method based on digital data model of weld
CN113828947A (zh) * 2021-11-23 2021-12-24 昆山宝锦激光拼焊有限公司 一种基于双优化的bp神经网络激光焊接焊缝成形预测方法
CN113989379A (zh) * 2021-10-02 2022-01-28 南京理工大学 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法
EP3961559A1 (de) * 2020-08-31 2022-03-02 Ford Global Technologies, LLC Verfahren und vorrichtung zum ermitteln von defekten während eines oberflächenmodifizierungsverfahrens
CN114453708A (zh) * 2022-02-22 2022-05-10 中国计量大学 一种铝合金焊接缺陷在线监测方法
CN114842311A (zh) * 2022-05-06 2022-08-02 中车工业研究院有限公司 基于多维融合传感的焊接熔透状态监测方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4767911A (en) * 1987-02-26 1988-08-30 Rockwell International Corporation Optical weld contour monitor for penetration control
WO2012000648A1 (en) * 2010-06-28 2012-01-05 Precitec Kg Method for closed-loop controlling a laser processing operation and laser material processing head using the same
CN205629696U (zh) * 2015-12-28 2016-10-12 兰州理工大学 一种熔池表面形貌实时观测装置
CN111061231A (zh) * 2019-11-29 2020-04-24 上海交通大学 焊接装配间隙和错边前馈的熔池监控系统及熔透监测方法
WO2021207318A1 (en) * 2020-04-08 2021-10-14 BWXT Advanced Technologies LLC In-situ inspection method based on digital data model of weld
EP3961559A1 (de) * 2020-08-31 2022-03-02 Ford Global Technologies, LLC Verfahren und vorrichtung zum ermitteln von defekten während eines oberflächenmodifizierungsverfahrens
CN112529103A (zh) * 2020-12-24 2021-03-19 华北水利水电大学 一种基于双向熔池几何及纹理特征融合的熔透识别方法
CN113379740A (zh) * 2021-08-02 2021-09-10 上海工程技术大学 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统
CN113989379A (zh) * 2021-10-02 2022-01-28 南京理工大学 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法
CN113828947A (zh) * 2021-11-23 2021-12-24 昆山宝锦激光拼焊有限公司 一种基于双优化的bp神经网络激光焊接焊缝成形预测方法
CN114453708A (zh) * 2022-02-22 2022-05-10 中国计量大学 一种铝合金焊接缺陷在线监测方法
CN114842311A (zh) * 2022-05-06 2022-08-02 中车工业研究院有限公司 基于多维融合传感的焊接熔透状态监测方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
2219铝合金变极性TIG焊熔透状态识别方法;刘亮;杨长祺;倪加明;陈华斌;陈小奇;陈善本;;上海交通大学学报(S1);全文 *
基于熔池视觉特征的铝合金双丝焊熔透识别;杨嘉佳;王克鸿;吴统立;周晓晓;;焊接学报(03);全文 *
大功率盘形激光焊接飞溅动态识别和特征分析;黎扬进等;《光子 学报》;第50卷(第02期);全文 *

Also Published As

Publication number Publication date
CN116597391A (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN116597391B (zh) 一种焊缝表面形貌和熔透状态同步在线监测方法
US20210318673A1 (en) In-Situ Inspection Method Based on Digital Data Model of Weld
CN110363781B (zh) 基于深度神经网络的熔池轮廓检测方法
CN107175329B (zh) 一种3d打印逐层检测反求零件模型及定位缺陷装置与方法
CN111815555A (zh) 对抗神经网络结合局部二值的金属增材制造图像检测方法及装置
CN110441329B (zh) 一种基于深度学习的激光焊接缺陷识别方法、装置及设备
CN114453708A (zh) 一种铝合金焊接缺陷在线监测方法
CN113379740A (zh) 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统
WO2020205998A1 (en) Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis
CN111738369A (zh) 基于熔池视觉特征的焊熔透状态及熔深实时预测方法
CN114897908B (zh) 基于机器视觉的激光选区铺粉烧结面缺陷分析方法及系统
CN116493735B (zh) 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法
US20230260103A1 (en) Computer-implemented, adapted anomaly detection method for powder-bed-based additive manufacturing
CN109509181B (zh) 一种基于串行轮廓搜索的熔覆池形状视觉检测方法
CN115775249A (zh) 一种增材制造造件成形质量监测方法、系统及存储介质
CN115018827A (zh) 一种建材焊缝质量自动检测方法
Pacher et al. Real-time continuous estimation of dross attachment in the laser cutting process based on process emission images
CN104240252A (zh) 一种机器视觉棒材高温钢坯表面裂纹检测算法
CN110414388A (zh) 基于深度预测网络的驼峰和熔透在线预警方法
CN117415501A (zh) 一种基于机器视觉的实时焊接特征提取与熔透监测方法
CN116228798A (zh) 基于机器视觉的铁塔智能切割检测方法
CN114862777A (zh) 一种连接片焊接检测方法及其系统
CN117340459B (zh) 一种超高功率激光焊接全过程监测方法及系统
Hong et al. AF-FTTSnet: An end-to-end two-stream convolutional neural network for online quality monitoring of robotic welding
Gambrill et al. Narrow gap TIG arc weld process monitoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant