CN113947583B - 基于深度学习二维时间序列图像的焊缝无损检测方法 - Google Patents

基于深度学习二维时间序列图像的焊缝无损检测方法 Download PDF

Info

Publication number
CN113947583B
CN113947583B CN202111222050.0A CN202111222050A CN113947583B CN 113947583 B CN113947583 B CN 113947583B CN 202111222050 A CN202111222050 A CN 202111222050A CN 113947583 B CN113947583 B CN 113947583B
Authority
CN
China
Prior art keywords
time sequence
dimensional time
image
weld joint
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111222050.0A
Other languages
English (en)
Other versions
CN113947583A (zh
Inventor
刘洋
袁鲲
任永功
李恬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning Normal University
Original Assignee
Liaoning Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Normal University filed Critical Liaoning Normal University
Priority to CN202111222050.0A priority Critical patent/CN113947583B/zh
Publication of CN113947583A publication Critical patent/CN113947583A/zh
Application granted granted Critical
Publication of CN113947583B publication Critical patent/CN113947583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开一种基于深度学习二维时间序列图像的焊缝无损检测方法,采用多尺度自适应高斯滤波优化的Steger算法提取焊缝的中心轨迹,可根据焊缝轮廓粗细不同自适应调整中心轨迹像素点位置坐标,避免因提取中心轨迹断裂而出现的误差,可得到准确的焊缝数据,并将此焊缝数据视为特殊时间单位的一维时间序列数据,进而得到适合应用神经网络的最佳二维时间序列图像。具有如下优点:鲁棒性高,处理速度快;将焊缝特征在维度和尺度上进行扩展更容易凸显缺陷;利用现有的深度学习模型对焊缝最佳二维时间序列图像进行孔洞、毛刺、凹陷及无缺陷分类,实现更高的检测准确率且泛化能力更强。

Description

基于深度学习二维时间序列图像的焊缝无损检测方法
技术领域
本发明属于焊接无损检测技术领域,尤其涉及一种基于深度学习二维时间序列图像的焊缝无损检测方法。
背景技术
焊缝检测是指对焊接产品质量的检测。相对于常见的磁粉检测、涡流检测、超声检测、红外检测、渗透探伤以及磁光成像检测无损检测方法等,结构光检测是应用最广泛的的一种焊缝无损检测方法。结构光检测主要通过激光扫描焊缝,获得焊接缺陷的原始图像和数据,进而进行分类检测。应用深度学习模型而实施的焊缝结构光检测方法也有许多,但都是将二维图像直接应用神经网络预测模型(LeNet、AlexNet、VGG、ResNet等),存在着对于焊缝的轮廓特征不敏感、泛化能力不够高等问题。目前,已有将一维时间序列转换为所对应的二维时间序列图像,应用神经网络深度学习实施图像分类检测的相关研究,其二维时间序列图像是提取二维图像的一维时间序列数据,进而通过Gramian Angular Field(GAF)等方法而获得,相比二维图像直接应用神经网络预测模型,可提高轮廓特征敏感性及泛化能力等。
现有中心轨迹提取算法有几何中心法、极值法、灰度重心法、方向模板法、Hessian矩阵和Steger算法等等,但这些方法都具有一定的局限性。几何中心法和极值法虽然提取速度快,但容易受到图像噪声的影响;灰度重心法能够降低灰度分布不对称性而引起的误差,但对光条截面平移不敏感;方向模板法虽然精度较高,鲁棒性好,但是定位精度只有像素级,同时运算量大,处理速度慢;Hessian矩阵法精确度高,但需要多次大规模的二维高斯卷积,计算速度慢;基于Hessian矩阵的Steger算法能够通过寻找光条法线方向的泰勒展开实现光条中心亚像素精度定位,鲁棒性高,处理速度快,但Steger算法面对图像缺陷而轮廓不平整时,会出现提取的中心轨迹断裂而产生误差,直接影响检测的准确性。
由于焊缝缺陷(孔洞、毛刺、凹陷)导致图像缺陷轮廓不平整,而现有方法又无法提取完整的中心轨迹,故迄今为止并没有以二维时间序列图像应用神经网络深度学习,进行焊缝检测的相关报道。
发明内容
本发明是为了解决现有技术所存在的上述技术问题,提供一种基于深度学习二维时间序列图像的焊缝无损检测方法。
本发明的技术解决方案是:一种基于深度学习二维时间序列图像的焊缝无损检测方法,依次按照如下步骤进行:
步骤1.采集待检测焊缝的激光图像;
步骤2.对所采集的激光图像依次进行中值滤波及均值滤波降噪处理;
步骤3.提取激光图像焊缝光条中心坐标,形成一维时间序列数据:
步骤3.1采用Steger算法提取焊缝光条中心的多个亚像素坐标(px,py);
步骤3.2采用多尺度自适应高斯滤波算法将每个亚像素坐标点(px,py)向上下左右四个方向生长,测量亚像素坐标点(px,py)上下左右四个方向上的像素宽度,分别记为ω1、ω2、ω3和ω4,取其中最小的宽度作为亚像素坐标点(px,py)的宽度ω0,计算高斯核k=2*ω0+1,并判断k∈[3,29];
是,则按照下式计算:
式中σ为多尺度自适应高斯滤波方差,设为σ∈[3.0,0.1],ε是多尺度自适应高斯滤波残差,c为函数常数项;以与k、σbest对应的高斯函数滤波结果(pm,pn)替代亚像素坐标点(px,py)作为实际坐标结果;
否,以亚像素坐标点(px,py)作为实际坐标结果;
依次对每个亚像素坐标点(px,py)处理后,得到焊缝光条中心的H行2列文本数据,即得到一维时间序列数据;
步骤4.编码一维时间序列数据获得二维时间序列图像;
步骤5.将二维时间序列图像置入检测模型中,得到检测结果;
所述检测模型按照如下步骤构建:
步骤5.1采集多张焊缝的激光图像并进行手动标记,标记分类为毛刺、凹陷、孔洞和无缺陷,分为训练集、测试集和验证集;
步骤5.2对标记后的激光图像进行中值滤波及均值滤波降噪处理;
步骤5.3按照步骤3的方法对每张图像均提取焊缝光条中心坐标,形成一维时间序列数据集;
步骤5.4编码一维时间序列数据集获得二维时间序列图像集;
步骤5.5以训练集的图像训练神经网络模型,并经测试集测试及验证集验证后得到检测模型。
本发明采用多尺度自适应高斯滤波优化的Steger算法提取焊缝的中心轨迹,可根据焊缝轮廓粗细不同自适应调整中心轨迹像素点位置坐标,避免因提取中心轨迹断裂而出现的误差,可得到准确的焊缝数据,并将此焊缝数据视为特殊时间单位的一维时间序列数据,进而得到适合应用神经网络的最佳二维时间序列图像。具有如下优点:鲁棒性高,处理速度快;将焊缝特征在维度和尺度上进行扩展更容易凸显缺陷;采用一维时间序列数据准确的描绘焊缝的轮廓特征并编码得到二维时间序列图像,利用现有的深度学习模型对焊缝进行孔洞、毛刺、凹陷及无缺陷分类,可实现更高的检测准确率且泛化能力更强、更为稳定。
附图说明
图1是本发明实施例四种标记分类的焊缝激光示意图。
图2是本发明实施例所得到的四种标记分类的图像的二维时间序列图。
图3是本发明实施例与现有技术的焊缝检测结果对照图。
具体实施方式
本发明的一种基于深度学习二维时间序列图像的焊缝无损检测方法,依次按照如下步骤进行:
步骤1.以每隔0.5cm的距离采集待检测焊缝的激光图像;
步骤2.对所采集的激光图像依次进行中值滤波及均值滤波降噪处理;
步骤3.提取激光图像焊缝光条中心坐标,形成一维时间序列数据:
步骤3.1采用Steger算法提取焊缝光条中心的多个亚像素坐标(px,py):
对于结构光图像光条上任意一点,Hessian矩阵表示为:
其中,γxx,γxy,γxy,γyy表示图像沿x的二阶偏导数;
Hessian矩阵最大特征值对应的特征向量对应于光条的法线方向,用(nx,ny)表示,以点(x0,y0)为基准点,则光条中心的亚像素坐标为:
(px,py)=(x0+tnx,y0+tny) (2)
其中,t表示为:
若(tnx,tny)∈[-0.5,0.5]×[0.5,0.5],即一阶导数为零点位于当前像素内,则其中(x0,y0)表示为光条的中心点,(px,pv)表示为亚像素坐标。
步骤3.2采用多尺度自适应高斯滤波算法将每个亚像素坐标点(px,py)向上下左右四个方向生长,测量亚像素坐标点(px,py)上下左右四个方向上的像素宽度,分别记为ω1、ω2、ω3和ω4,取其中最小的宽度作为亚像素坐标点(px,py)的宽度ω0,计算高斯核k=2*ω0+1,并判断k∈[3,29];
是,则按照下式计算:
式中σ为多尺度自适应高斯滤波方差,设为σ∈[3.0,0.1],ε是多尺度自适应高斯滤波残差,c为函数常数项;以与k、σbest对应的高斯函数滤波结果(pm,pn)替代亚像素坐标点(px,py)作为实际坐标结果;
否,以亚像素坐标点(px,py)作为实际坐标结果;
依次对每个亚像素坐标点(px,py)处理后,得到焊缝光条中心的H行2列文本数据,即得到848行2列的一维时间序列数据,每一行数据为间隔0.06mm的数据点数据,例如:
20.049 24.119
20.109 24.123
20.169 24.134
20.229 24.139
20.289 24.146
20.349 24.159
20.409 24.166
20.469 24.179
20.529 24.185
20.589 24.191
20.649 24.203
20.709 24.208
20.769 24.213
20.829 24.222
步骤4.采用现有的Gramian Angular Field(GAF)方法编码一维时间序列数据获得二维时间序列图像;
步骤5.将二维时间序列图像置入检测模型中,得到检测结果;
所述检测模型按照如下步骤构建:
步骤5.1以每隔0.5cm的距离采集多张焊缝的激光图像并进行手动标记,标记分类为如图1所示的毛刺(a)、凹陷(b)、孔洞(c)和无缺陷(d)四种类型,通过翻转、平移、缩放等扩充数据集方法扩充数据集,最终数据集图像数量为2520张,按照3:1:1分为训练集1680张、测试集420张和验证集420张;
步骤5.2对标记后的激光图像进行中值滤波及均值滤波降噪处理;
步骤5.3按照步骤3的方法对每张图像均提取焊缝光条中心坐标,形成一维时间序列数据集;
步骤5.4编码一维时间序列数据集获得二维时间序列图像集,最后统一所有二维时间序列图像的大小为500*500像素,如图2所示:毛刺(a)、凹陷(b)、孔洞(c)和无缺陷(d);
步骤5.5以训练集的图像训练神经网络模型(LeNet、AlexNet、VGG、ResNet),并经测试集测试及验证集验证后得到检测模型。
本发明实施例与现有技术方法对比实验:
1.实验中的主要硬件设备材料有具备良好采集能力的焊缝轮廓激光传感器、Alienware制造商生产的(Alienware)R12型号一体机(11代i9处理器32G内存1TSSD+2TRTX3090显卡)。实验中的深度学习模型在(Alienware)R12型号一体机上运行,运行环境为微软公司的Windows10操作系统,神经网路模型的训练使用了基于Python3.7的PyCharm编译器,编译器环境为keras 2.2.4、tensorflow-GPU 2.2.0、CUDA 10.1、cuDNN 7.6。
2.原始激光图像数据集为2520张,按照3:1:1分为训练集1680张、测试集420张和验证集420张;
3.通过具有代表性的LeNet-5、AlexNet、VGG-16和ResNet-50神经网络对四种焊缝类型(毛刺、凹陷、孔洞和无缺陷)的原始结构光图像(BMPRAW IMAGE)、传统Steger提取编码二维时间序列图像(Steger:GADF)、本发明实施例(多尺度自适应高斯滤波优化的Steger提取编码的二维时间序列图像,new Steger:GADF)进行图像的分类和比较。
4.实验结果如图3及下表所示。
图3中①本发明实施例,②Steger:GADF,③BMPRAWIMAGE。
结论:VGG-16神经网络模型的准确率最高,达到99.60%,其中采用传统Steger算法提取中心轨迹数据,编码GADF二维时间序列图像与直接使用原始结构光图像方法在分类精度上相比,分类精度有较大提高,总体精度提高了约2%至3%;采用本发明实施例(多尺度自适应高斯滤波优化的Steger算法)提取中心轨迹数据,编码GADF二维时间序列图像与直接使用原始结构光图像方法在分类精度上相比,分类精度有更大提高,总体精度提高了约4%至6%。说明本发明实施例与传统Steger算法提取中心轨迹数据、编码GADF二维时间序列图像相比,总体精度提高2%至3%。

Claims (1)

1.一种基于深度学习二维时间序列图像的焊缝无损检测方法,其特征在于依次按照如下步骤进行:
步骤1.采集待检测焊缝的激光图像;
步骤2.对所采集的激光图像依次进行中值滤波及均值滤波降噪处理;
步骤3.提取激光图像焊缝光条中心坐标,形成一维时间序列数据:
步骤3.1采用Steger算法提取焊缝光条中心的多个亚像素坐标(px,py);
步骤3.2采用多尺度自适应高斯滤波算法将每个亚像素坐标点(px,py)向上下左右四个方向生长,测量亚像素坐标点(px,py)上下左右四个方向上的像素宽度,分别记为ω1、ω2、ω3和ω4,取其中最小的宽度作为亚像素坐标点(px,py)的宽度ω0,计算高斯核k=2*ω0+1,并判断k∈[3,29];
是,则按照下式计算:
式中σ为多尺度自适应高斯滤波方差,设为σ∈[3.0,0.1],ε是多尺度自适应高斯滤波残差,c为函数常数项;以与k、σbest对应的高斯函数滤波结果(pm,pn)替代亚像素坐标点(px,py)作为实际坐标结果;
否,以亚像素坐标点(px,py)作为实际坐标结果;
依次对每个亚像素坐标点(px,py)处理后,得到焊缝光条中心的H行2列文本数据,即得到一维时间序列数据;
步骤4.编码一维时间序列数据获得二维时间序列图像;
步骤5.将二维时间序列图像置入检测模型中,得到检测结果;
所述检测模型按照如下步骤构建:
步骤5.1.采集多张焊缝的激光图像并进行手动标记,标记分类为毛刺、凹陷、孔洞和无缺陷,分为训练集、测试集和验证集;
步骤5.2.对标记后的激光图像进行中值滤波及均值滤波降噪处理;
步骤5.3.按照步骤3的方法对每张图像均提取焊缝光条中心坐标,形成一维时间序列数据集;
步骤5.4.编码一维时间序列数据集获得二维时间序列图像集;
步骤5.5.以训练集的图像训练神经网络模型,并经测试集测试及验证集验证后得到检测模型。
CN202111222050.0A 2021-10-20 2021-10-20 基于深度学习二维时间序列图像的焊缝无损检测方法 Active CN113947583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111222050.0A CN113947583B (zh) 2021-10-20 2021-10-20 基于深度学习二维时间序列图像的焊缝无损检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111222050.0A CN113947583B (zh) 2021-10-20 2021-10-20 基于深度学习二维时间序列图像的焊缝无损检测方法

Publications (2)

Publication Number Publication Date
CN113947583A CN113947583A (zh) 2022-01-18
CN113947583B true CN113947583B (zh) 2024-04-05

Family

ID=79331969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111222050.0A Active CN113947583B (zh) 2021-10-20 2021-10-20 基于深度学习二维时间序列图像的焊缝无损检测方法

Country Status (1)

Country Link
CN (1) CN113947583B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549472A (zh) * 2022-02-23 2022-05-27 天津大学 一种基于深度学习的焊缝图像缺陷的检测方法
CN116147548B (zh) * 2023-04-19 2023-07-25 西南林业大学 用于钢纤维rpc盖板厚度的无损检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765419A (zh) * 2018-06-20 2018-11-06 天津大学 结构光视觉焊缝图像信息自适应提取方法
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210318673A1 (en) * 2020-04-08 2021-10-14 BWXT Advanced Technologies LLC In-Situ Inspection Method Based on Digital Data Model of Weld

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765419A (zh) * 2018-06-20 2018-11-06 天津大学 结构光视觉焊缝图像信息自适应提取方法
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wang, Fei等.Effect of Anti-Infective Reconstituted Bone Xenograft Combined with External Fixator on Serum CRP and PCT Levels and Prognosis of Patients with Bone Infection after Lower Extremity Long Bone Trauma.EVIDENCE-BASED COMPLEMENTARY AND ALTERNATIVE MEDICINE.2021,全文. *
孙士保 ; 尹立航 ; 闫晓龙 ; 贾博文 ; 章冲 ; .基于纹理特征的焊缝图像缺陷识别方法.计算机应用与软件.2018,(第05期),全文. *

Also Published As

Publication number Publication date
CN113947583A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
AU2016385541B2 (en) Object surface deformation feature extraction method based on line scanning three-dimensional point Cloud
CN113947583B (zh) 基于深度学习二维时间序列图像的焊缝无损检测方法
CN108090894B (zh) 基于距离匹配函数和感知哈希算法的织物疵点检测方法
CN104535586B (zh) 带钢边部缺陷检测识别方法
CN102779279B (zh) 搅拌摩擦焊弧形纹间距的图像识别方法
CN103226106B (zh) 基于机器视觉的轴承防尘盖品质监测方法
CN101063660B (zh) 一种纺织品缺陷检测方法及其装置
CN110264445A (zh) 分块模板匹配结合形态学处理的电池丝印质量检测方法
CN112329588A (zh) 一种基于Faster R-CNN的管道故障检测方法
CN110751604A (zh) 一种基于机器视觉的钢管焊缝缺陷在线检测方法
CN105654121A (zh) 一种基于深度学习的复杂提花织物缺陷检测方法
CN111127417B (zh) 一种基于sift特征匹配和改进ssd算法的印刷缺陷检测方法
CN106643549A (zh) 一种基于机器视觉的瓷砖尺寸检测方法
CN112198170B (zh) 一种无缝钢管外表面三维检测中识别水滴的检测方法
CN110097547A (zh) 一种基于深度学习的焊缝底片造假的自动检测方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN113830136A (zh) 一种铁路货车折角塞门手把不正位故障的识别方法
CN114926415A (zh) 一种基于pcnn与深度学习的钢轨表面检测方法
CN114581385A (zh) 一种基于圆定位的焊缝缺陷区域映射算法
CN117173151B (zh) 一种长型钢材的外表面缺陷视觉识别装置、方法及系统
CN111257588B (zh) 一种基于orb和ransac的油相流速测量方法
CN201081763Y (zh) 一种纺织品缺陷检测装置
CN116309475A (zh) 自动检测滚筒齿座焊接质量的机器视觉检测方法
CN115063681A (zh) 一种公路路面病害检测方法
CN113870328A (zh) 一种液体异物视觉检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant