CN112017154A - 基于Mask R-CNN模型的一种射线缺陷检测方法 - Google Patents

基于Mask R-CNN模型的一种射线缺陷检测方法 Download PDF

Info

Publication number
CN112017154A
CN112017154A CN202010654127.0A CN202010654127A CN112017154A CN 112017154 A CN112017154 A CN 112017154A CN 202010654127 A CN202010654127 A CN 202010654127A CN 112017154 A CN112017154 A CN 112017154A
Authority
CN
China
Prior art keywords
defect
mask
cnn model
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010654127.0A
Other languages
English (en)
Inventor
林智聪
张晋泰
刘宏烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010654127.0A priority Critical patent/CN112017154A/zh
Publication of CN112017154A publication Critical patent/CN112017154A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

一种用于焊缝缺陷检测的方法,包括以下步骤:A1、获取多个不同焊缝的X射线图像;A2、对每张图像使用标注软件进行数据标注;A3、基于TensorFLow框架搭建Mark R‑CNN模型;A4、将标记后的图像作为训练集对Mask R‑CNN模型进行不少于30批次的训练,得到训练好的Mask R‑CNN模型;A5、将一张新的焊缝X射线图片作为输入,输入到训练好的Mask R‑CNN模型,获得焊缝缺陷检测的结果。

Description

基于Mask R-CNN模型的一种射线缺陷检测方法
技术领域
本发明涉及一种缺陷检测方法,尤其是基于Mask R-CNN模型的射线缺陷检测。
背景技术
焊接技术是工业产品制造和加工过程中一种常用的技术手段。由于焊接过程中存在着机器焊接误差等不确定因素,焊缝连接处容易出现裂纹、气孔、夹渣等缺陷,这些缺陷将直接影响焊接产品的质量以及使用寿命。因此,对焊缝缺陷进行有效的无损检测对保障产品质量和提高生产效率有着重大的意义。
而在目前的无损检测技术中,射线检测是工业无损检测的主要方法之一,其检测结果已作为焊缝缺陷分析和质量评价的重要判定依据。射线检测的关键技术是图像处理技术,利用射线穿透物体,与其内部物质发生相互作用,并根据吸收和散射将使射线强度减弱的特点得到对应强度的胶片。通过把胶片放在适当位置使其在透过射线的作用下感光暗室处理,得到底片,由专业检测人员根据行业标准并结合经验判断存在的缺陷类别以及可能性。
张晓光等采用列灰度波形分析法确定了焊缝边界和缺陷所在的局部区域,并通过分水岭算法和Beamlet变换实现缺陷的检测提取。周正干等根据图像不同区域灰度变化的特点进行不同方向上的一维中值滤波,弱化缺陷模拟出背景图像,然后采用合适的阈值从背景相减的图像中分割出缺陷。王勇、郭辉等基于支持向量机,根据灰度信息和三个特征向量提取出潜在的焊接缺陷,用于训练SVM。最后,经过训练的支持向量机用于从潜在缺陷区分真实缺陷。本文应用AI技术,建立Mask R-CNN模型提取射线图像特征,提高对缺陷的检测识别能力。
为了减少缺陷识别的人工干预,避免客观环境影响对检测人员判断的影响,降低检测人员主观判断造成的误差等缺陷,减少人工逐一阅片的人力成本支出,改进已公开文献在计算机射线检测中的缺陷,本发明提供一种基于Mask R-CNN模型的射线缺陷检测方法,通过计算机自动进行缺陷识别,避免非系统误差,能够提高缺陷特征的区分度,提升缺陷判别的准确度,缩短缺陷判别时间。
发明内容
本发明解决其技术问题所采用的技术方案是:一种用于焊缝缺陷检测的方法,包括以下步骤:
A1、获取多个不同焊缝的X射线图像;
A2、对每张图像使用标注软件进行数据标注;
A3、基于TensorFLow框架搭建Mark R-CNN模型;
A4、将标记后的图像作为训练集对Mask R-CNN模型进行不少于30批次的训练,得到训练好的Mask R-CNN模型;
A5、将一张新的焊缝X射线图片作为输入,输入到训练好的Mask R-CNN模型,获得焊缝缺陷检测的结果。
上述的用于检测焊缝缺陷的方法,其特征在于,步骤A1中,所获X射线图像,单张图像长宽均在100像素以上。
上述的用于检测焊缝缺陷的方法,其特征在于,步骤A2中,通过标注软件所进行的数据标注,标注方式为沿着缺陷边界进行标注,单个缺陷不少于10个标注点,对每一类缺陷标记出不少于25个缺陷。
上述的用于检测焊缝缺陷的方法,其特征在于,步骤A3中,训练集的样本数量不少于 50张权利要求3所述的图片。
上述的用于检测焊缝缺陷的方法,其特征在于,步骤A4中,Mask R-CNN模型训练过程具体如下:
B1、基于大型数据集COCO预训练得到的权重,作为Mark R-CNN模型的初始网络权重;
B2、将训练集输入主干网络中获得对应特征图;
B3、将特征图中的每一个像素点按不同长宽比例生成多个矩形候选区域,每个区域即为可能存在缺陷的区域;
B4、将候选区域输入区域生成网络进行二值分类和边框回归,选取出较大可能存在缺陷的候选区域;
B5、对边框回归进行ROI Align操作,使边框回归和特征图相对应;
B6、将对应后获得的特征图通过头部的三个不同的卷积网络,分别获得缺陷的边框,缺陷类别,掩码部分;
B7、将得到的结果与真实结果对比,计算损失函数,利用梯度下降法更新B1中的网络权重;
B8、重复B2~B7步骤不少于30次,即不断的基于第n-1次的模型权重调整第n次模型的权重,以使模型达到更好效果;
B9、保存Mark R-CNN模型中最后一次训练后得到的所有网络权重。
上述的Mask R-CNN模型的训练损失函数为:
Ltotal=LRPN_class+LRPN_bbox+Lcls+Lbox+Lmask
式中的Ltotal表示训练损失函数,LRPN_class表示RPN网络中的分类损失值,LRPN_bbox表示区域生成网络中的边框回归损失值,Lcls表示边框的分类损失值,Lbox表示边框的回归损失值, Lmask表示缺陷区域部分的损失值。
上述的检测结果,其特征在于,输出的带有缺陷标记的缺陷图中,单个已识别出的缺陷结果包含:缺陷类型,缺陷类型的置信度,缺陷矩形边界,缺陷位置。
本发明的有益效果是,基于有限度地人工检测基础上的射线缺陷检测,能极大地降低误判或漏判情况的发生,提升复杂场景下的缺陷检测准确度,其准确率可以达到91%以上。
附图说明
图1为本发明示意图。
图2为本发明缺陷识别原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出具体的实施方式和操作过程,但本发明的保护范围不限于下述的实施例。
如图1所述,本实施例提供了一种用于射线缺陷检测的方法,包括以下步骤:
步骤S1、获取一张焊缝的X射线图;
步骤S2、将X射线图像输入到训练好的Mask R-CNN模型中进行缺陷识别;
步骤S3、输出X射线图的缺陷相关信息。
该方法能够快速准确的检测出气孔、夹渣等缺陷类型,在不依赖于人工检测的前提下,通过该方法可以准确的检测出焊缝的缺陷。
在步骤S2中,Mask R-CNN模型训练过程包括:
步骤A1、从数据库获取各类焊缝缺陷的原始X射线图像
本实例采取的方法是,确保每一类缺陷种类出行的次数均在50次以上,同时确保各类缺陷之间的数量差异在100以内,一方面确保模型可以充分学习每一类焊缝缺陷的特征,另一方面避免数据失衡导致模型更偏于识别某一类缺陷;
步骤A2、通过视觉图像标注软件对原始X射线图像进行标记。
本实施例采用Labelme软件对轮胎图像进行标记,沿缺陷边界标记出候选区域,比如气孔缺陷,共标记出50张图像。其他的缺陷同杂物缺陷,分别对每一类缺陷标记出50张图像。
步骤A3、将标记出的100张左右的图像作为训练集放入Mask R-CNN模型中进行自适应训练。
如图2所示,Mask R-CNN模型进行自适应训练过程具体如下:
步骤B1、将训练集输入至基于COCO数据集预训练好的神经网络中,获得轮胎图像不同阶段对应特征图。本实施例中使用了深度残差网络神经网络,该网络使用具有横向连接的自上而下架构,从单一尺度输入构建网内特征金字塔。可以更好地获得轮胎图像的特征图。
步骤B2、对特征图中的每一个点设定预定个的候选区域,从而获得多个候选区域。
这一步的作用是因为传统的R-CNN网络架构中为了提高学习速度和效率都是只关注候选区域,并在每个候选区域单独评估卷积网络,进行训练和预测,所以需要选择合适的候选区域。比如选择出焊缝缺陷图像的缺陷部位,用矩形候选框圈出来,但是有可能标记处不是缺陷的部位,因此,本实施例进一步地进行步骤B3。
步骤B3、将候选区域送入区域生成网络(深度全卷网络积)进行二值分类和边框回归进行过滤,生成的新的候选区域就是区域生成网络从每个像素点所生成的候选框中选取的一部分候选框作为候选区域。
该步骤通过候选生成网络过滤掉一些无谓的候选框,焊缝图像上面每一个像素点都会生成一个候选框,框会非常的多,不利于选择候选区域,所以利用区域生成网络过滤掉一些框,使得留下一部分框,更有利于候选区域的选择,以及接下来的Align操作。比如过滤掉轮胎图像的一些标记错的候选区域,使得留下来的候选区域都比较准确。
步骤B4、对过滤后的候选区域进行ROI Align操作,即先将原图和特征图的像素值对应起来,然后将特征图和固定的特征对应起来,可以准确的对候选区域标记。
由于从输入图上的候选区域到特征图上的候选区域,ROI Pooling是直接通过四舍五入取整得到的结果,然而直接用round取的值,会使ROI Pooling过后得到的输出可能和原图像上的候选区域对不上。ROI Align的作用主要就是剔除了ROI Pooling的取整操作,并且使得为每个候选区域取得的特征能够更好地对齐原图上的ROI区域。比如在焊缝缺陷检测中,步骤B3所确定的一部分候选区域候选框,可能不会很好的对齐在焊缝缺陷原图上,有些可能会圈到缺陷的边缘,有些也可能从缺陷中间圈过,ROI Align可以更好地对齐轮胎原图,使得候选区域候选框圈的更加准确。
步骤B5、将经过ROI Align操作的特征图进行大小固定,即遍历每一个候选区域,保持浮点数边界不做量化。将候选区域分割成N*N个单元,本实施例中的N取7,每个单元的边界也不做量化。在每个单元中计算固定四个坐标位置,用双线性内插的方法计算出这四个位置的值,然后进行最大池化操作。
由于步骤B4所输出的候选区域的大小不一样,然而后续步骤中的方框标记以及分类都需要输入的图像维度大小必须一致,所以通过该步骤保证了轮胎图像维度和大小的一致性。
步骤B6、将维度和大小统一好的轮胎图像输入到方框标记模块(对轮胎缺陷部位进行方框标记)、缺陷区域模块以及分类模块(对轮胎缺陷进行分类)进行训练,这时会输出一个轮胎缺陷检测模型。分类、缺陷区域与方框标记可以同时进行,使最后的训练出的模型检测的更加精确。
Mask R-CNN模型的训练损失函数为:
Ltotal=LRPN_class+LRPN_bbox+Lcls+Lbox+Lmask
式中的Ltotal表示训练损失函数,LRPN_class表示RPN网络中的分类损失值,LRPN_bbox表示区域生成网络中的边框回归损失值,Lcls表示边框的分类损失值,Lbox表示边框的回归损失值, Lmask表示缺陷区域部分的损失值。
在步骤S3中,X射线图的缺陷相关信息指的是,X射线图中识别出的缺陷类型、缺陷区域、缺陷边框;
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (7)

1.一种用于焊缝缺陷检测的方法,其特征在于,包括以下步骤:
A1、获取多个不同焊缝的X射线图像;
A2、对每张图像使用标注软件进行数据标注;
A3、基于TensorFLow框架搭建Mark R-CNN模型;
A4、将标记后的图像作为训练集对Mask R-CNN模型进行不少于30批次的训练,得到训练好的Mask R-CNN模型;
A5、将一张新的焊缝X射线图片作为输入,输入到训练好的Mask R-CNN模型,获得焊缝缺陷检测的结果。
2.权利要求1所述的用于检测焊缝缺陷的方法,其特征在于,步骤A1中,所获X射线图像,单张图像长宽均在100像素以上。
3.权利要求1所述的用于检测焊缝缺陷的方法,其特征在于,步骤A2中,通过标注软件所进行的数据标注,标注方式为沿着缺陷边界进行标注,单个缺陷不少于10个标注点,对每一类缺陷标记出不少于25个缺陷。
4.权利要求1所述的用于检测焊缝缺陷的方法,其特征在于,步骤A3中,训练集的样本数量不少于50张权利要求3所述的图片。
5.权利要求1所述的用于检测焊缝缺陷的方法,其特征在于,步骤A4中,Mask R-CNN模型训练过程具体如下:
B1、基于大型数据集COCO预训练得到的权重,作为Mark R-CNN模型的初始网络权重;
B2、将训练集输入主干网络中获得对应特征图;
B3、将特征图中的每一个像素点按不同长宽比例生成多个矩形候选区域,每个区域即为可能存在缺陷的区域;
B4、将候选区域输入区域生成网络进行二值分类和边框回归,选取出较大可能存在缺陷的候选区域;
B5、对边框回归进行ROIAlign操作,使边框回归和特征图相对应;
B6、将对应后获得的特征图通过头部的三个不同的卷积网络,分别获得缺陷的边框,缺陷类别,掩码部分;
B7、将得到的结果与真实结果做对比,计算损失函数,利用梯度下降法更新B1中的网络权重;
B8、重复B2~B7步骤不少于30次,即不断的基于第n-1次的模型权重调整第n次模型的权重,以使模型达到更好效果;
B9、保存Mark R-CNN模型中最后一次训练后得到的所有网络权重。
6.根据权利要求1所述的检测结果,其特征在于,输出的带有缺陷标记的缺陷图中,单个已识别出的缺陷结果包含:缺陷类型,缺陷类型的置信度,缺陷矩形边界,缺陷位置。
7.权利要求5所述的所述的Mask R-CNN模型的训练损失函数为:
L_total=L_(RPN_class)+L_(RPN_bbox)+L_cls+L_box+L_mask
式中,L_total表示训练损失函数,L_(RPN_class)表示RPN网络中的分类损失值,L_(RPN_bbox)表示RPN网络中的边框回归损失值,L_cls表示边框的分类损失值,L_box表示边框的回归损失值,L_mask表示Mask部分的损失值。
CN202010654127.0A 2020-07-08 2020-07-08 基于Mask R-CNN模型的一种射线缺陷检测方法 Pending CN112017154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010654127.0A CN112017154A (zh) 2020-07-08 2020-07-08 基于Mask R-CNN模型的一种射线缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010654127.0A CN112017154A (zh) 2020-07-08 2020-07-08 基于Mask R-CNN模型的一种射线缺陷检测方法

Publications (1)

Publication Number Publication Date
CN112017154A true CN112017154A (zh) 2020-12-01

Family

ID=73499958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010654127.0A Pending CN112017154A (zh) 2020-07-08 2020-07-08 基于Mask R-CNN模型的一种射线缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112017154A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541508A (zh) * 2020-12-21 2021-03-23 山东师范大学 果实分割识别方法及系统、果实采摘机器人
CN112862811A (zh) * 2021-03-10 2021-05-28 华中科技大学 基于深度学习的材料显微图像缺陷识别方法、设备及装置
CN117789184A (zh) * 2024-02-26 2024-03-29 沈阳派得林科技有限责任公司 一种统一的焊缝射线图像智能识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541508A (zh) * 2020-12-21 2021-03-23 山东师范大学 果实分割识别方法及系统、果实采摘机器人
CN112862811A (zh) * 2021-03-10 2021-05-28 华中科技大学 基于深度学习的材料显微图像缺陷识别方法、设备及装置
CN117789184A (zh) * 2024-02-26 2024-03-29 沈阳派得林科技有限责任公司 一种统一的焊缝射线图像智能识别方法
CN117789184B (zh) * 2024-02-26 2024-05-17 沈阳派得林科技有限责任公司 一种统一的焊缝射线图像智能识别方法

Similar Documents

Publication Publication Date Title
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN113362326B (zh) 一种电池焊点缺陷的检测方法及装置
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN112017154A (zh) 基于Mask R-CNN模型的一种射线缺陷检测方法
CN111709948B (zh) 容器瑕疵检测方法和装置
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN112862770B (zh) 一种基于人工智能的缺陷分析诊断系统、方法、装置
CN113850749A (zh) 训练缺陷侦测器的方法
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN113643268A (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114742818A (zh) 一种基于工业面阵摄像头视觉缺陷检测系统及其检测方法
JP2021086379A (ja) 情報処理装置、情報処理方法、プログラム及び学習モデルの生成方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN114549493A (zh) 一种基于深度学习的磁芯缺陷检测系统及方法
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN110852318A (zh) 一种排水管道缺陷精准定位方法及系统
CN114511543A (zh) 一种长输管道射线底片智能缺欠评定系统及方法
CN110570398A (zh) 一种基于深度学习技术的线缆接头焊点合格性检测方法
JP2020135051A (ja) 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
CN116797602A (zh) 一种用于工业产品检测的表面缺陷鉴定方法和装置
CN116258908A (zh) 一种基于无人机遥感影像数据的地灾预测评估分类方法
CN112862826B (zh) 一种表面缺陷检测任务的正常样本无损生成方法
CN115082416A (zh) 镜片瑕疵检测方法、装置、设备及存储介质
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
CN113781449A (zh) 一种基于多尺度特征融合的纺织品瑕疵分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201201