CN116503417B - 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法 - Google Patents

一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法 Download PDF

Info

Publication number
CN116503417B
CN116503417B CN202310785154.5A CN202310785154A CN116503417B CN 116503417 B CN116503417 B CN 116503417B CN 202310785154 A CN202310785154 A CN 202310785154A CN 116503417 B CN116503417 B CN 116503417B
Authority
CN
China
Prior art keywords
image
defects
training
images
weld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310785154.5A
Other languages
English (en)
Other versions
CN116503417A (zh
Inventor
蔡旺
曹龙超
周奇
舒乐时
耿韶宁
高飘
张丽彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202310785154.5A priority Critical patent/CN116503417B/zh
Publication of CN116503417A publication Critical patent/CN116503417A/zh
Application granted granted Critical
Publication of CN116503417B publication Critical patent/CN116503417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • G06N3/0455Auto-encoder networks; Encoder-decoder networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Butt Welding And Welding Of Specific Article (AREA)

Abstract

本发明涉及焊接制造技术领域,并提出了一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,本方法可以将焊接现场实时等间隔采集来的高分辨率图像输入语义分割模型进行缺陷检测,并通过图像融合方法获得与完整焊缝长度匹配的融合图像进行图像处理,自动获取焊缝宽度和缺陷的位置和尺寸等信息,整个过程无需人工干预,相比传统人工检测或机器视觉方法,减少了大量人力、提高了焊接效率,同时,该方法能够做到超长焊缝及典型缺陷的智能检测,另外本方法可广泛应用于超长焊缝的高质高效激光焊接制造过程,尤其适用于海工装备、轨道交通、航空航天等大型复杂构件焊接场合。

Description

一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法
技术领域
本发明涉及焊接制造技术领域,尤其涉及一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法。
背景技术
目前,激光焊接已经广泛应用于工业生产中,工业上焊接缺陷不可避免,检测焊接缺陷能够为准确评估焊缝质量提供充足依据,并为快速去除/修复焊接缺陷提供关键信息,因此,焊接缺陷智能检测技术是保障焊接质量、提高焊接效率的关键之一。
公开号为CN111681232A的“基于语义分割的工业焊接图像缺陷的检测方法”,公开了基于图像对焊接缺陷进行自动检测的方法,来解决复杂场景下的焊接缺陷检测问题。
但是,对于大型或超大型构件焊接时,单条焊缝长度超过10m,如高铁列车某型号车顶焊缝超过10条,每条焊缝长度超过20m,焊缝缺陷种类多(如飞溅、焊瘤、咬边、驼峰、烧穿和焊缝宽度不合格)、分布广、尺寸小,采用上述方案,对于长焊缝中的缺陷定位等操作无法进行,导致该方案无法适用于长焊缝检测作业,对于超长焊缝还是需要采用人工进行检测,传统人工缺陷检测方法费时费力、主观性强、缺陷定位精度有限、部分缺陷难以被准确检测,并且大型构件尺寸大,部分位置焊缝和焊接缺陷难以近距离人工检测,此外,焊缝宽度不合格和小尺寸焊接缺陷难以被准确检测和定位,需要先确定坐标系位置,然后准确计算焊缝的宽度特征以及焊接缺陷的中心坐标和尺寸参数,仅靠人工检测难以实现上述要求。
发明内容
有鉴于此,本发明提出了一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,可对大型构件超长焊缝焊接缺陷进行自动检测,具有精度高、运行时间短、抗干扰能力强、识别缺陷种类多等特点,以满足焊缝及焊接缺陷智能检测要求。
本发明的技术方案是这样实现的:本发明提供了一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,包括以下步骤:
S1、通过配备微距镜头的工业相机连续等间隔获取超长焊缝俯视视角图像,得到训练图像集;
S2、对训练图像集中的图像进行预处理;
S3、根据焊缝缺陷分类标准对训练图像集图像中的焊缝和典型缺陷进行像素级别标注,获得模型训练数据集;
S4、搭建轻量化焊缝图像语义分割模型,采用数据集数据和数据增强方法对模型进行训练和测试;
S5、通过与得到训练图像集相同的方式,采集实际需检测焊缝的图像,得到焊缝图像集;
S6、由轻量化焊缝图像语义分割模型,对焊缝图像集中的图像进行语义分割;
S7、通过图像融合方法对焊缝图像集中进行语义分割后的图像进行拼接,得到完整尺寸焊缝语义分割图像;
S8、对完整尺寸焊缝语义分割图像进行图像处理,获取焊缝及典型缺陷的尺寸和位置信息。
在以上技术方案的基础上,优选的,所述步骤S2中的预处理包括裁剪ROI区域、灰度调整与缩小尺寸。
在以上技术方案的基础上,优选的,所述步骤S3包括以下子步骤:
S31、根据焊缝缺陷分类标准,确定不同缺陷的种类;
S32、对预处理后训练图像集图像中的缺陷按不同种类进行标注,同时标注出焊缝;
S33、基于图像中缺陷种类的标注,对训练图像集中的图像生成语义分割标签,并将训练图像集中的图像按比例随机分为训练集数据和验证集数据;
S34、采集全新完整焊缝图像,得到测试图像集,以步骤S32与步骤S33相同方式对测试图像集中的图像进行标注并生成标签,得到测试数据集。
进一步优选的,所述步骤S4包括以下子步骤:
S41、基于Deeplabv3+、Mobilenetv2深度学习模型和CBAM注意力机制模块构建轻量化焊缝图像语义分割模型;
S42、将所述训练集数据进行随机数据增强处理;
S43、将增强处理后的训练集数据随机输入轻量化焊缝图像语义分割模型进行训练;
S44、重复步骤S43与步骤S44至一定次数,设定验证阈值,每当重复次数为验证阈值的整数倍后,将模型输出图像与验证集数据中标签相同的图像对比,计算MIoU值和MPA值;
S45、绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线;
S46、根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练,并保存最优模型。
更进一步优选的,所述轻量化焊缝图像语义分割模型包括以Deeplabv3+为主框架设置的编码部分与解码部分,其中,
编码部分用于特征下采样,其包括主干特征提取网络与空间池化金字塔模块,所述主干特征提取网络用于获得输入图像浅层特征,其包括Mobilenetv2框架和空洞卷积,所述空间池化金字塔模块用于获得多种感受野下的特征,得到输入图像的深层特征;
解码部分用于特征上采样,其包括CBAM注意力机制模块、卷积单元、融合单元和上采样单元,通过编码部分下采样与解码部分上采样,输出与输入图像同尺寸的语义分割图像。
在以上技术方案的基础上,优选的,所述步骤S7包括以下子步骤:
S71、按拍摄顺序对图像进行编号;
S72、相邻编号的图像重叠区域为n,将编号靠前的图像裁剪掉i像素宽度区域,编号靠后的图像裁剪掉n-i像素宽度区域;
S73、根据编号递增顺序将裁剪后的图像依次进行拼接,直至获得完整尺寸焊缝语义分割图像。
在以上技术方案的基础上,优选的,所述步骤S8包括以下子步骤:
S81、对所述完整尺寸焊缝语义分割图像进行目标提取,并进行二值化处理,获得只有焊缝或者一类缺陷的二值图像;
S82、对只有焊缝的二值图像进行边缘提取处理,根据边缘像素位置坐标计算每个位置的焊缝宽度;
S83、对只有一类缺陷的二值图像进行联通域标记处理,联通域数量即为该类缺陷数量;
S84、根据联通域编号依次提取单个缺陷进行坐标化,计算缺陷中心坐标和缺陷面积;
S85、按照缺陷种类依次处理,获得缺陷总数量、缺陷位置和尺寸数据。
在以上技术方案的基础上,优选的,还包括步骤S9,绘制焊缝宽度与位置变化曲线图,并输出检测报告。
进一步优选的,所述步骤S9包括以下子步骤:
S91、绘制焊缝宽度与位置变化曲线图,评估焊缝宽度波动程度,判断是否出现宽度不合格缺陷;
S92、获得每类缺陷总数量、总面积和面积超过设定阈值的缺陷数量;
S93、根据每类缺陷中每个缺陷的位置和尺寸给出后处理建议,并输出详细检测报告。
在以上技术方案的基础上,优选的,所述轻量化焊缝图像语义分割模型的超参数包括随机梯度下降算法与学习率衰减方法。
本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法相对于现有技术具有以下有益效果:
(1)本发明可以将焊接现场实时等间隔采集来的高分辨率图像输入语义分割模型进行缺陷检测,并通过图像融合方法获得与完整焊缝长度匹配的融合图像进行图像处理,自动获取焊缝宽度和缺陷的位置和尺寸等信息,整个过程无需人工干预,相比传统人工检测或机器视觉方法,减少了大量人力、提高了焊接效率,同时,该方法能够做到超长焊缝及典型缺陷的智能检测,另外本方法可广泛应用于超长焊缝的高质高效激光焊接制造过程,尤其适用于海工装备、轨道交通、航空航天等大型复杂构件焊接场合;
(2)本发明能够在焊接后可快速、精准获取焊缝的尺寸特征以及焊接缺陷的种类、位置和尺寸特征,输出详细检测报告,为焊缝质量智能评估和缺陷去除/修补提供可靠依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法的步骤示意图;
图2为本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法的轻量化焊缝图像语义分割模型示意图;
图3为本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法轻量化焊缝图像语义分割模型的不同焊缝缺陷输入输出结果示例图;
图4为本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法的语义分割并拼接后的完整尺寸焊缝语义分割图;
图5为本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法的特征提取示意图;
图6-7为本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法的焊缝宽度与位置变化曲线图;
图8-9为本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法的缺陷种类、数量、位置及面积示例。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
如图1-9所示,本发明的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,在《建筑实践》2020年27期中,“超长焊缝焊接施工控制技术”提到“定义焊缝长度超过3000mm的为超长焊缝”,此为本方法中所引入对于“超长焊缝”的定义,本方法共包含九个步骤,分别是步骤S1-S9。
步骤S1:通过配备微距镜头的工业相机连续等间隔获取超长焊缝俯视视角图像,得到训练图像集。
通过配备微距镜头的工业相机连续等间隔原位获取超长焊缝俯视视角高分辨率图像,其中,连续等间隔原位表示,拍摄过程中,使每一次拍摄图像与下一次拍摄图像均存在重合部分,且每次拍摄的间隔距离相等。
本实施方式中,在微距镜头最短成像距离下,通过工业相机拍摄钢尺图像,确定实际尺寸与像素尺寸换算关系,同时保证拍摄图像长宽均大于512像素,且焊缝位于图像宽度中心线,焊缝宽度约为1/5图像宽度,除两端的图像外,需保证相邻拍摄图像的重叠区域大于100像素且小于200像素,在实际操作过程中,焊接速度基本固定,即相机与焊缝的相对移动速度固定,根据焊接速度计算出将图像重叠区域控制在上述区间内工业相机的采样频率,并相应进行设置,即可完成本方案所需的图像连续采集效果。
需要说明的是,通过本方式可直接得到图像训练集,也可采集到进行真实焊缝检测的焊缝图像集。
作为一种优选实施方式,通过在工业相机头布置环形辅助光源与保护镜片,使获得的检测图像中焊缝和典型缺陷轮廓清晰,环形布置可以减少单向形成阴影,同时保护镜片防止焊接过程中产生的飞溅污染镜头。
步骤S2:对训练图像集中的图像进行预处理。
通过预处理,使得训练图像集中的图像满足模型训练的条件,预处理的方式包括裁剪ROI区域、灰度调整与缩小尺寸。
裁剪ROI区域是指将获得的焊缝拍摄图像裁剪ROI区域,本实施方式中,将ROI区域的长和宽均设置为512像素。
对裁剪后的图像进行灰度调整,增大焊缝、典型缺陷与母材之间的区分度。
图像尺寸越大,分割模型运行时间越长,本实施方式中,将图像长宽均缩小一半,提高模型实时性与效率。
步骤S3:根据焊缝缺陷分类标准对训练图像集图像中的焊缝和典型缺陷进行像素级别标注,获得模型训练数据集。
具体的,步骤S3包括子步骤S31-S34。
步骤S31:根据焊缝缺陷分类标准,确定不同缺陷的种类。
根据焊缝缺陷分类标准,具体参照GB6417-86“金属熔化焊焊缝缺陷分类及说明”确定缺陷的种类有飞溅、咬边、焊瘤、驼峰、烧穿及焊缝宽度不合格。
步骤S32:对预处理后训练图像集图像中的缺陷按不同种类进行标注,同时标注出焊缝。
采用Lableme软件对预处理图像进行焊缝和缺陷标注,可选用不同的颜色代表不同缺陷的种类。
步骤S33:基于图像中缺陷种类的标注,对训练图像集中的图像生成语义分割标签,并将训练图像集中的图像按比例随机分为训练集数据和验证集数据。
采用python语言编写的程序批量生成语义分割标签,本实施方式中,将数据以9:1随机分为训练集数据和验证集数据,其中的训练集数据用于对后续搭建模型进行训练,验证集数据用于对训练结果进行验证。
步骤S34:采集全新完整焊缝图像,得到测试图像集,以步骤S32与步骤S33相同方式对测试图像集中的图像进行标注并生成标签,得到测试数据集。
即采用全新完整焊缝上获取的连续等间隔图像,对图像进行标注和生成标签后将数据作为模型性能测试数据集,所选用的全新完整焊缝优选为长度超过五米,本实施方式中的全新完整焊缝,是指未包含在训练图像集中的焊缝图像。
步骤S4:搭建轻量化焊缝图像语义分割模型,采用数据集数据和数据增强方法对模型进行训练和测试。
具体的,所述步骤S4包括子步骤S41-S46。
步骤S41:基于Deeplabv3+、Mobilenetv2深度学习模型和CBAM注意力机制模块构建轻量化焊缝图像语义分割模型。
所述轻量化焊缝图像语义分割模型包括以Deeplabv3+为主框架设置的编码部分与解码部分。
编码部分用于特征下采样,其包括主干特征提取网络与空间池化金字塔模块,所述主干特征提取网络用于获得输入图像浅层特征,其包括Mobilenetv2框架和空洞卷积,所述空间池化金字塔模块用于获得多种感受野下的特征,得到输入图像的深层特征。
空间池化金字塔模块具有五个并行分支,包括一个1×1的卷积层、三个3×3的卷积层和一个全局平均池化层,拼接五个所述并行分支的输出特征,并通过一个1×1的卷积层进行信息融合,其中空间池化金字塔模块也被称为ASPP模块。
解码部分用于特征上采样,其包括CBAM注意力机制模块、卷积单元、融合单元和上采样单元,通过编码部分下采样与解码部分上采样,输出与输入图像同尺寸的语义分割图像,CBAM注意力机制模块在后面简称CBAM模块,轻量化焊缝图像语义分割模型简称模型。
具体的,如图2所示,轻量化焊缝图像语义分割模型主要由编码部分和解码部分两个部分构成,图像在裁剪ROI区域后输入模型的编码部分,首先通过主干特征提取网络获得两个有效特征层,一个是压缩两次的浅层特征,一种是压缩三次的初步有效特征层;压缩三次的初步有效特征层会输入并行ASPP模块进行特征提取和合并,然后采用1×1的卷积压缩特征以获得深层特征,浅层特征和深层特征的获取为编码部分的任务,而解码部分则需要将获得的特征进行融合和分析,实现熔池区域像素点的预测,解码部分首先将浅层特征通过CBAM模块保证特征学习效果,并利用卷积单元中1×1的卷积调整通道;然后将获得的深层特征进行2倍上采样处理,使深层特征与浅层特征的尺寸一致;接着采用融合单元将两种特征进行融合,本实施方式中融合单元选用Concat融合方法,获得的融合特征会通过CBAM模块和3×3卷积操作得到最终的浓缩特征;最后需要通过特征获得图像中每个像素点所属类别的预测结果,预测结果获取过程主要有两个步骤:一是通过1×1的卷积调整特征的通道数量,使通道数量与像素点的类别数量一致;二是通过上采样操作调整输出图像的尺寸,使其宽和高与输入图像一致,模型可将任意尺寸的输入图像进行预测并输出相同尺寸的语义分割图像。
本实施方式中,所述轻量化焊缝图像语义分割模型的超参数包括随机梯度下降算法与学习率衰减方法,其中,随机梯度下降算法为轻量化焊缝图像语义分割模型的优化器,学习率衰减方法优选为余弦退火算法,动量值为0.9。
步骤S42:将所述训练集数据进行随机数据增强处理。
其中的随机数据增强包括图像翻转、颜色扰动、变形缩放与高斯模糊其中的任意一种或至少两种组合,在随机过程中也可能存在不进行数据增强的情况,通过数据增强配合多图像组合,使得每次输入的训练图像均不相同。
步骤S43:将增强处理后的训练集数据随机输入轻量化焊缝图像语义分割模型进行训练。
在数据增强后,从训练数据集中随机抽取图像,输入轻量化焊缝图像语义分割模型,供其进行训练。
步骤S44:重复步骤S43与步骤S44至一定次数,设定验证阈值,每当重复次数为验证阈值的整数倍后,将模型输出图像与验证集数据中标签相同的图像对比,计算MIoU值和MPA值。
对训练集数据重复进行增强,并在每次增强后随机送入图像至模型中进行训练,在此过程前,设定验证阈值,为了使得模型充分训练,模型在增强后的训练集数据上至少训练100代,验证阈值优选为每五代进行验证,即每进行五代训练,就将模型输出图像与验证集数据中标签相同的图像对比,并计算MIoU值和MPA值。
其中的平均像素精度 (Mean·Pixel·Accuracy,MPA) 和平均交并比(Mean·Intersection·over·Union,MIoU)是评估语义分割模型性能的常用指标。
步骤S45:绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线。
其中的损失值,通过损失函数来进行计算,其为用来度量模型的预测值与真实值的差异程度的运算函数,损失函数是一个非负实值函数,损失函数越小,模型的鲁棒性就越好,损失函数使用主要是在模型的训练阶段,每个批次的训练数据送入模型后,通过前向传播输出预测值,然后损失函数会计算出预测值和真实值之间的差异值,也就是损失值,得到损失值之后,模型通过反向传播去更新各参数,来降低真实值与预测值之间的损失,使得模型生成的预测值往真实值方向靠拢,从而达到学习的目的。
损失函数可选用交叉熵损失函数,其刻画了实际输出概率与期望输出概率之间的相似度,也就是交叉的值越小,两个概率分布就越接近,交叉熵损失函数是卷积神经网络中最常使用的分类损失函数,它可以有效避免梯度消散。
步骤S46:根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练,并保存最优模型。
此步骤中,所保存的最优模型即为后续步骤中所使用的轻量化焊缝图像语义分割模型。
步骤S5:通过与得到训练图像集相同的方式,采集实际需检测焊缝的图像,得到焊缝图像集。
具体的,与步骤S1类似,通过配备微距镜头的工业相机连续等间隔原位获取超长焊缝俯视视角高分辨率图像,即拍摄过程中,使每一次拍摄图像与下一次拍摄图像均存在重合部分,且每次拍摄的间隔距离相等,与步骤S1不同的是,本步骤中所拍摄焊缝为实际所需检测的焊缝,即步骤S1-S4均是为了搭建模型。
需要说明的是,本步骤中所拍摄的图像需要进行ROI区域提取,保证前后拍摄图像中的ROI区域尺寸一致,确保图像可被准确处理。
步骤S6:由轻量化焊缝图像语义分割模型,对焊缝图像集中的图像进行语义分割。
本步骤中所述轻量化焊缝图像语义分割模型,为步骤S46中保存的最优模型,通过被充分训练的最优模型对焊缝图像集中的图像进行语义分割,输出语义分割图像,供后续步骤进行处理。
如图3所示,为某一具体实施例中,不同区域焊缝与缺陷,在语义分割前后的对比示意,语义分割前的图像即为模型输入图像,语义分割后的图像即为模型输出图像。
步骤S7:通过图像融合方法对焊缝图像集中进行语义分割后的图像进行拼接,得到完整尺寸焊缝语义分割图像。
将焊缝图像集中语义分割后的图像按拍摄顺序进行拼接,形成具有完整焊缝的图像。
具体的,步骤S7包括子步骤S71-S73。
步骤S71:按拍摄顺序对图像进行编号。
本步骤中所说编号,是指按拍摄顺序对图像进行排列与输入模型,可在拍摄时进行,也可在模型输出后进行排列,在实际拍摄过程中,每拍摄一张图像,均可直接进行处理并输入模型,其拍摄时间、拍摄次数等均可作为图像的编号。
步骤S72:相邻编号的图像重叠区域为n,将编号靠前的图像裁剪掉i像素宽度区域,编号靠后的图像裁剪掉n-i像素宽度区域。
在本实施方式中,需保证相邻拍摄图像的重叠区域大于100像素且小于200像素,其中的重叠区域是指该图像与前后两个图像重叠部分相加,而在本步骤中,是两个相邻编号的图像重叠部分,即n>50像素,由于n是相邻两个图像的重叠区域,所以该相邻两个图像均需进行裁剪,表示为编号靠前的图像裁剪掉i像素宽度区域,假设i=25像素,则后一图像裁剪掉n-25像素宽度区域。
步骤S73:根据编号递增顺序将裁剪后的图像依次进行拼接,直至获得完整尺寸焊缝语义分割图像。
将裁剪后的图像按照编号进行拼接,在实际拍摄过程中,可完成一次拍摄,就进行一次拼接,直至得到完整尺寸焊缝语义分割图像。
如图4所示,在某一具体实施例中,通过将多张语义分割后的图像依次进行拼接,以获得所需的完整尺寸焊缝语义分割图像。
步骤S8:对完整尺寸焊缝语义分割图像进行图像处理,获取焊缝及典型缺陷的尺寸和位置信息。
即在本步骤中,得到完整焊缝上的缺陷位置尺寸等信息。
具体的,所述步骤S8包括子步骤S81-S85。
步骤S81:对所述完整尺寸焊缝语义分割图像进行目标提取,并进行二值化处理,获得只有焊缝或者一类缺陷的二值图像。
对所述完整尺寸焊缝语义分割图像进行目标提取,该提取基于语义分割进行,并在提取时,将提取目标像素灰度值修改为255,非目标像素灰度值为0,形成多个提取图像,且每一个提取图像仅包含焊缝或者一类缺陷。
如图5所示,在某一具体的实施例中,通过一个完整尺寸焊缝语义分割图像,提取出了仅具有焊缝、下塌、焊瘤、飞溅的多张二值图像。
步骤S82:对只有焊缝的二值图像进行边缘提取处理,根据边缘像素位置坐标计算每个位置的焊缝宽度。
针对提取的只有焊缝的提取图像,进行边缘提取处理,同时直接根据像素位置进行计算,得到每个位置的焊缝宽度,此步骤可得到焊缝的宽度信息。
步骤S83:对只有一类缺陷的二值图像进行联通域标记处理,联通域数量即为该类缺陷数量。
对于每一个提取图像,分别进行连通域标记,例如飞溅缺陷,其每一个飞溅点均会被标记一次,最后通过连通域的数量得到该类缺陷的数量。
步骤S84:根据联通域编号依次提取单个缺陷进行坐标化,计算缺陷中心坐标和缺陷面积。
此步骤中,对单个提取图像中,被标记的单个缺陷计算中心,并获得该单个缺陷的面积,同样以飞溅缺陷为例,本步骤对每一个飞溅点计算中心坐标,并计算该飞溅点的面积。
步骤S85:按照缺陷种类依次处理,获得缺陷总数量、缺陷位置和尺寸数据。
本实施方式中,按照缺陷种类依次处理,顺序分别是飞溅、咬边、焊瘤、驼峰与烧穿,处理方式可直接重复步骤S83与步骤S84,对提取图像全部处理完成后,进行统计,获得所有缺陷的数量、位置及尺寸等信息。
步骤S9:绘制焊缝宽度与位置变化曲线图,并输出检测报告。
本步骤将步骤S8中所获得的数据进行可视化处理,供操作人员进行判断。
具体的,所述步骤S9包括子步骤S91-S93。
步骤S91:绘制焊缝宽度与位置变化曲线图,评估焊缝宽度波动程度,判断是否出现宽度不合格缺陷。
如图6-7所示,为某一实施例中,所绘制的焊缝宽度与位置变化曲线图,其中附图7为焊缝上部分下塌区域的宽度与位置变化曲线图。
步骤S92:获得每类缺陷总数量、总面积和面积超过设定阈值的缺陷数量。
面积超过设定阈值的缺陷数量是指,针对单个缺陷面积设定阈值,得到单个缺陷面积后与该阈值进行对比,以判断该缺陷是否超过设定阈值,并统计超过设定阈值的缺陷数量。
步骤S93:根据每类缺陷中每个缺陷的位置和尺寸给出后处理建议,并输出详细检测报告。
其中的后处理建议为预填信息,可就相关缺陷进行不同阈值的设定,当检测结果生成后,将该结果与阈值对比,超过阈值则将建议填入详细检测报告中,同时在详细检测报告中进行预警,反之则不填入后处理建议。
如图8-9所示,为某一实施例中,输出的焊瘤与飞溅缺陷的数量、位置和尺寸信息。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,包括以下步骤:
S1、通过配备微距镜头的工业相机连续等间隔获取超长焊缝俯视视角图像,得到训练图像集;
S2、对训练图像集中的图像进行预处理;
S3、根据焊缝缺陷分类标准对训练图像集图像中的焊缝和典型缺陷进行像素级别标注,获得模型训练数据集;
S4、搭建轻量化焊缝图像语义分割模型,采用数据集数据和数据增强方法对模型进行训练和测试;
S5、通过与得到训练图像集相同的方式,采集实际需检测焊缝的图像,得到焊缝图像集;
S6、由轻量化焊缝图像语义分割模型,对焊缝图像集中的图像进行语义分割;
S7、通过图像融合方法对焊缝图像集中进行语义分割后的图像进行拼接,得到完整尺寸焊缝语义分割图像;
S8、对完整尺寸焊缝语义分割图像进行图像处理,获取焊缝及典型缺陷的尺寸和位置信息。
2.如权利要求1所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,所述步骤S2中的预处理包括裁剪ROI区域、灰度调整与缩小尺寸。
3.如权利要求1所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,所述步骤S3包括以下子步骤:
S31、根据焊缝缺陷分类标准,确定不同缺陷的种类;
S32、对预处理后训练图像集图像中的缺陷按不同种类进行标注,同时标注出焊缝;
S33、基于图像中缺陷种类的标注,对训练图像集中的图像生成语义分割标签,并将训练图像集中的图像按比例随机分为训练集数据和验证集数据;
S34、采集全新完整焊缝图像,得到测试图像集,以步骤S32与步骤S33相同方式对测试图像集中的图像进行标注并生成标签,得到测试数据集。
4.如权利要求3所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,所述步骤S4包括以下子步骤:
S41、基于Deeplabv3+、Mobilenetv2深度学习模型和CBAM注意力机制模块构建轻量化焊缝图像语义分割模型;
S42、将所述训练集数据进行随机数据增强处理;
S43、将增强处理后的训练集数据随机输入轻量化焊缝图像语义分割模型进行训练;
S44、重复步骤S43与步骤S44至一定次数,设定验证阈值,每当重复次数为验证阈值的整数倍后,将模型输出图像与验证集数据中标签相同的图像对比,计算MIoU值和MPA值;
S45、绘制模型训练/验证损失值与训练代数、MIoU值与训练代数、MPA值与训练代数变化曲线;
S46、根据损失、MIoU、MPA变化曲线的收敛情况判断模型是否被充分训练,并保存最优模型。
5.如权利要求4所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,所述轻量化焊缝图像语义分割模型包括以Deeplabv3+为主框架设置的编码部分与解码部分,其中,
编码部分用于特征下采样,其包括主干特征提取网络与空间池化金字塔模块,所述主干特征提取网络用于获得输入图像浅层特征,其包括Mobilenetv2框架和空洞卷积,所述空间池化金字塔模块用于获得多种感受野下的特征,得到输入图像的深层特征;
解码部分用于特征上采样,其包括CBAM注意力机制模块、卷积单元、融合单元和上采样单元,通过编码部分下采样与解码部分上采样,输出与输入图像同尺寸的语义分割图像。
6.如权利要求1所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,所述步骤S7包括以下子步骤:
S71、按拍摄顺序对图像进行编号;
S72、相邻编号的图像重叠区域为n,将编号靠前的图像裁剪掉i像素宽度区域,编号靠后的图像裁剪掉n-i像素宽度区域;
S73、根据编号递增顺序将裁剪后的图像依次进行拼接,直至获得完整尺寸焊缝语义分割图像。
7.如权利要求1所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,所述步骤S8包括以下子步骤:
S81、对所述完整尺寸焊缝语义分割图像进行目标提取,并进行二值化处理,获得只有焊缝或者一类缺陷的二值图像;
S82、对只有焊缝的二值图像进行边缘提取处理,根据边缘像素位置坐标计算每个位置的焊缝宽度;
S83、对只有一类缺陷的二值图像进行联通域标记处理,联通域数量即为该类缺陷数量;
S84、根据联通域编号依次提取单个缺陷进行坐标化,计算缺陷中心坐标和缺陷面积;
S85、按照缺陷种类依次处理,获得缺陷总数量、缺陷位置和尺寸数据。
8.如权利要求1所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,还包括步骤S9,绘制焊缝宽度与位置变化曲线图,并输出检测报告。
9.如权利要求8所述的超长焊缝与典型缺陷自动识别、定位及尺寸计算方法,其特征在于,所述步骤S9包括以下子步骤:
S91、绘制焊缝宽度与位置变化曲线图,评估焊缝宽度波动程度,判断是否出现宽度不合格缺陷;
S92、获得每类缺陷总数量、总面积和面积超过设定阈值的缺陷数量;
S93、根据每类缺陷中每个缺陷的位置和尺寸给出后处理建议,并输出详细检测报告。
CN202310785154.5A 2023-06-29 2023-06-29 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法 Active CN116503417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310785154.5A CN116503417B (zh) 2023-06-29 2023-06-29 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310785154.5A CN116503417B (zh) 2023-06-29 2023-06-29 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法

Publications (2)

Publication Number Publication Date
CN116503417A CN116503417A (zh) 2023-07-28
CN116503417B true CN116503417B (zh) 2023-09-08

Family

ID=87320625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310785154.5A Active CN116503417B (zh) 2023-06-29 2023-06-29 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法

Country Status (1)

Country Link
CN (1) CN116503417B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218188A (zh) * 2023-07-31 2023-12-12 深圳市大满包装有限公司 一种用于罐身加工的深度学习定位优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统
CN114419081A (zh) * 2022-03-28 2022-04-29 南昌工程学院 一种图像语义分割方法、系统及可读存储介质
CN115439483A (zh) * 2022-11-09 2022-12-06 四川川锅环保工程有限公司 一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质
WO2023280679A1 (en) * 2021-07-08 2023-01-12 Endress+Hauser SE+Co. KG Automatic seam detection for a welding process
CN116309307A (zh) * 2023-01-12 2023-06-23 盛景智能科技(嘉兴)有限公司 焊缝缺陷检测方法、装置、可读存储介质及电子设备
CN116309409A (zh) * 2023-02-28 2023-06-23 浙江工商大学 一种焊缝缺陷检测方法、系统和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017595B2 (en) * 2019-10-29 2021-05-25 Microsoft Technology Licensing, Llc Object segmentation using high-level structural meshes
US20230106330A1 (en) * 2020-05-12 2023-04-06 True Meeting Inc. Method for creating a variable model of a face of a person

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034478A (zh) * 2021-03-31 2021-06-25 太原科技大学 一种基于深度学习网络的焊缝缺陷识别定位方法、系统
WO2023280679A1 (en) * 2021-07-08 2023-01-12 Endress+Hauser SE+Co. KG Automatic seam detection for a welding process
CN114419081A (zh) * 2022-03-28 2022-04-29 南昌工程学院 一种图像语义分割方法、系统及可读存储介质
CN115439483A (zh) * 2022-11-09 2022-12-06 四川川锅环保工程有限公司 一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质
CN116309307A (zh) * 2023-01-12 2023-06-23 盛景智能科技(嘉兴)有限公司 焊缝缺陷检测方法、装置、可读存储介质及电子设备
CN116309409A (zh) * 2023-02-28 2023-06-23 浙江工商大学 一种焊缝缺陷检测方法、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A Seam Tracking Method Based on an Image Segmentation Deep Convolutional Neural Network》;Jun Lu等;《Metals》;全文 *

Also Published As

Publication number Publication date
CN116503417A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
Zhang et al. Ripple-GAN: Lane line detection with ripple lane line detection network and Wasserstein GAN
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN116503417B (zh) 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法
CN109215009B (zh) 基于深度卷积神经网络的连铸坯表面图像缺陷检测方法
CN111079734B (zh) 铁路货车三角孔异物检测方法
CN113963285B (zh) 一种基于5g的道路养护方法及设备
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN111080606A (zh) 一种铁路货车下拉杆脱落故障图像识别方法
CN116493735B (zh) 一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN116597391B (zh) 一种焊缝表面形貌和熔透状态同步在线监测方法
CN115482491A (zh) 一种基于transformer的桥梁缺陷识别方法与系统
CN115294089A (zh) 一种基于改进YOLOv5的钢材表面缺陷检测方法
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN109767426B (zh) 一种基于图像特征识别的盾构隧道渗漏水检测方法
CN114399505A (zh) 工业检测中的检测方法、检测装置
Luo et al. Waterdrop removal from hot-rolled steel strip surfaces based on progressive recurrent generative adversarial networks
CN116452505A (zh) 基于改进YOLOv5的连铸坯内部缺陷检测与评级方法
CN116206222A (zh) 基于轻量化目标检测模型的输电线路故障检测方法及系统
CN115311273A (zh) 检测模型的训练方法、缺陷检测方法、装置及存储介质
CN115049600A (zh) 一种小样本管道缺陷智能识别系统及方法
CN114037682A (zh) 一种光学元件表面疵病二维自动检测方法
CN115546483B (zh) 基于深度学习的地铁受电弓碳滑板剩余使用量测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant