CN115829965A - 一种基于深度学习的x射线图像中气孔缺陷的检测方法 - Google Patents

一种基于深度学习的x射线图像中气孔缺陷的检测方法 Download PDF

Info

Publication number
CN115829965A
CN115829965A CN202211506203.9A CN202211506203A CN115829965A CN 115829965 A CN115829965 A CN 115829965A CN 202211506203 A CN202211506203 A CN 202211506203A CN 115829965 A CN115829965 A CN 115829965A
Authority
CN
China
Prior art keywords
welding
image
layer
ray image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211506203.9A
Other languages
English (en)
Inventor
徐国林
肖红灿
罗嘉欣
向沛灵
穆达超
李昆阳
吕丹玲
米建勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202211506203.9A priority Critical patent/CN115829965A/zh
Publication of CN115829965A publication Critical patent/CN115829965A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明属于工业焊接缺陷检测领域,具体涉及一种基于深度学习的X射线图像中气孔缺陷的检测方法,包括对焊接X射线图像预处理得到预处理图像;Faster R‑CNN焊缝检测模型检测预处理图像,得到条形、圆弧形焊缝的具体位置;根据具体位置获取焊缝宽度并确定裁剪宽度;根据裁剪宽度对焊接X射线图像进行滑窗式裁剪,得到裁剪图像;对裁剪图像进行全局直方图均衡化得到增强图像;Faster R‑CNN气孔检测模型对增强图像进行气孔检测,还原检测结果;采用非极大值抑制算法对还原结果去重处理,得到最终的检测结果;本发明提出滑窗式裁剪方法去除图像中的无关背景信息,减少缺陷的形态拉伸影响模型检测准确性问题,提高检测准确性。

Description

一种基于深度学习的X射线图像中气孔缺陷的检测方法
技术领域
本发明属于工业焊接缺陷检测领域,具体涉及一种基于深度学习的X射线图像中气孔缺陷的检测方法。
背景技术
焊接是现代工业中的一种材料加工技术,应用于建筑、石油化工、航天、船舶等领域,但由于苛刻的环境条件和焊接技术的自身限制,焊接过程中会产生焊接缺陷,焊接缺陷降低了焊接工件的质量品质,并直接影响焊接工件的使用寿命,还会存在严重安全隐患。焊接缺陷通常分为气孔、裂纹、未熔合、未焊透、夹渣等缺陷,不同的焊接缺陷对焊接件的结构强度和综合性能影响不同,气孔类缺陷的存在会使焊缝有效承载截面积减小,同时应力集中,危害焊缝力学性能,因此,气孔是焊缝质量检测的重要内容。
常用的气孔缺陷无损检测技术主要有射线探伤检测、超声检测和显微镜照相法。其中,X射线检测由于其在数字图像中直观成像,并有着容易判断缺陷尺寸和内部位置的优点被广泛用于焊接缺陷检测,但是基于X射线检测的焊接缺陷检测多为检测人员通过肉眼来发现X射线图像中的缺陷,需要大量的人力资源,检测成本高,受检测人员主观影响,易造成缺陷漏检、误检等情况,故亟需研发一种自动检测方法实现智能化产业升级。
为了能够实现焊接缺陷的自动化检测,研究工作者就焊接X射线图像开展一系列研究,取得了很多重要的成果。在周鹏飞等人提出的《DR图像中气孔缺陷的自动检测与识别》中,其气孔的自动检测算法是基于原始图像构造理想焊缝背景,再将原始图像与理想焊缝背景做图像剪影得到灰度差,最后结合阈值判断得到可疑缺陷。该算法对实验图像背景质量要求高,且并没有直接得到缺陷的类别,还需进一步对缺陷做特征参数计算和定性分析识别为气孔。在专利申请号为CN202110965549.4中的专利中,使用AF-RCNN模型对焊缝缺陷进行检测,该方法在建立数据集过程中,将焊缝X射线图像通过160×160、240×240、320×320这三种像素大小的滑动窗口进行划分,并统一尺度为160×160像素的小尺寸图像后再进行数据标注,该方法造成的问题是裁剪过程中破坏了部分缺陷的形态,并且不能将检测到的缺陷呈现于原图具体位置,这也是焊接缺陷分类算法存在的问题。
基于上述分析得知,可以看出焊接缺陷的分割和检测方法尚不健全。研究者主要关注于X射线图像中缺陷的识别与裁剪后图像中缺陷的检测。然而在实际工业需求中不仅是需要对缺陷进行识别,还需要确定在X射线图像中缺陷的具体位置和尺寸以及类别缺陷的数量。
发明内容
为解决上述问题,本发明提供了一种基于深度学习的X射线图像中气孔缺陷的检测方法,包括:
获取焊接X射线图像并进行预处理,得到预处理图像;
建立Faster R-CNN焊缝检测模型检测预处理图像,并裁剪得到焊缝图像,其包括条形焊缝和圆弧形焊缝的具体位置;
根据具体位置获取所有焊缝的宽度并确定裁剪宽度;
根据裁剪宽度对焊接X射线图像进行滑窗式裁剪,得到裁剪图像;
采用全局直方图均衡化对裁剪图像进行对比度增强,得到增强图像;
构建Faster R-CNN气孔检测模型对增强图像进行气孔检测,将检测结果还原;
采用非极大值抑制算法对还原的检测结果进行去重处理,得到最终的检测结果。
进一步的,在训练阶段构建气孔类焊接缺陷的焊接X射线图像数据集训练FasterR-CNN模型,该焊接X射线图像数据集中包括58张包含不同种类焊缝缺陷的焊接X射线图像,其中含有气孔的焊接X射线图像有36张,每张焊接X射线图像的长度范围是[4000,5000],宽度范围是[1000,2000],每张焊接X射线图像都采用lableing软件人工标注其自身的各种缺陷和焊缝,并保存为VOC2007数据集格式,按2:1的比例将焊接X射线图像数据集划分为训练集和测试集。
进一步的,对焊接X射线图像进行缩放处理,得到像素大小为600×600的预处理图像。
进一步的,Faster R-CNN焊缝检测模型包括特征提取网络模块、感兴趣区域生成模块和目标分类与位置回归模块;其中特征提取网络模块采用残差网络和特征金字塔网络结合的网络架构。
进一步的,残差网络由C1层、C2层、C3层、C4层和C5层组成,其中共包括16个残差模块;每个残差模块包括三个依次连接的卷积层,输入x经第一个卷积层和Relu激活函数,进入第二个和第三个卷积层,第三个卷积层的输出和输入x做残差,得到残差模块的输出;每个残差模块只需要学习输入与输出的残差,最终输出F(x)+x作为下一个残差模块的输入;
特征金字塔网络包括P1-P5层,将残差网络C5层输出的特征图输入P4层,P4层的输出直接输入感兴趣区域生成模块,同时P4层输出进行上采样操作至P3层,再与残差网络C4层的特征信息进行1×1卷积融合相加,再依次上采样至P2、P1层;每次上采样后的特征图分别与残差网络的相应特征层通过1×1卷积进行融合,在深层特征信息的基础上增加网络浅层特征信息的学习,P5层则由P4层输出进行步幅为2的下采样操作得到,最后将P1-P5层的特征信息输入到感兴趣区域生成模块进行感兴趣区域生成;
所述感兴趣区域生成模块生成预测框和多个感兴趣区域,同时获得缺陷目标的真实位置信息对网络的感兴趣区域的大致位置进行训练;再经过ROI Align层进行预测框的定位,获得精准的候选框;最后经过分类网络对目标缺陷瞄框进行分类,同时与真实瞄框位置信息进行比对并计算位置损失和分类损失。
进一步的,Faster R-CNN焊缝检测模型的残差网络选取ResNet50,Faster R-CNN气孔检测模型结构与Faster R-CNN焊缝检测模型相同,但其残差网络选取ResNet34。
进一步的,对焊缝图像进行滑窗式裁剪的过程包括:
S11.取所有焊缝的宽度的众数作为裁剪宽度W,其中,低于裁剪宽度W的焊缝在裁剪时保留部分背景;
S12.按照从左往右、从上往下的顺序对焊缝图像进行滑窗式裁剪,得到裁剪图像;
其中,窗口大小为W×W,滑动步长为W-m,m为最大气孔宽度,裁剪时相邻的裁剪图像会保留部分重叠区域。
进一步的,对裁剪图像进行全局直方图均衡化,表示为:
Figure BDA0003969081660000041
其中,s为变换后灰度级,r为变换前灰度级,pr(r)是灰度级r所对应的概率密度,即ds=pr(r)dr。进一步的,将检测结果还原表示为:
X′1=X1+Xmin
Y′1=Y1+Ymin
其中,以裁剪图像的左上角为原点建立二维坐标系,(X1,Y1)为裁剪图片上的气孔坐标,以焊接X射线图像左上角为原点建立原始二维坐标系,(X′1,Y′1)为裁剪图片上的气孔在焊接X射线图像上对应的坐标,(Xmin,Ymin)表示裁剪图像的左上角在原始二维坐标系中的坐标。
进一步的,去重处理的公式为:
Figure BDA0003969081660000042
其中,L为所有检测框的集合,Li为L中第i个检测框,Lx为L中任意一个检测框,且i≠x。
本发明的有益效果:
本发明提出了一种基于深度学习的X射线图像中气孔缺陷的检测方法,构建了Faster R-CNN焊缝检测模型,去除了X射线图像中存在的大量无关背景信息并在Faster R-CNN气孔检测模型的特征提取网络模块引入FPN,增强了对多尺度气孔的特征提取效果,使气孔检测更加准确,其次,本发明提出了一种滑窗式裁剪方法,减少了缺陷的形态拉伸影响模型检测准确性问题,使得模型检测气孔准确性得到提高,同时采用还原方法,在保证了气孔缺陷的检测效果前提下,解决了缺陷无法定位到原X射线图像和缺陷还原至原X射线图像存在重复框等问题。
此外,本发明对基于ImageNet的预训练模型进行全局微调,通过该学习策略,使得预训练模型在灰度图上依旧有效。
附图说明
图1为本发明的基于深度学习的焊接X射线图像的气孔检测方法流程图;
图2为本发明的两类焊接X射线图像;
图3为本发明的输入焊缝检测模型检测后的焊缝X射线图像;
图4为本发明保留重叠区域滑窗式裁剪后的X射线图像;
图5为本发明对裁剪后图像经过全局直方图均衡化的X射线图像;
图6为本发明的焊缝检测流程图;
图7为本发明的特征提取网络模块结构图;
图8为本发明的气孔检测结果还原示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
一种基于深度学习的X射线图像中气孔缺陷的检测方法,该方法用于焊缝缺陷中气孔类缺陷的检测,如图1所示,主要含有以下步骤:
获取焊接X射线图像并进行预处理,得到预处理图像;
建立Faster R-CNN焊缝检测模型检测预处理图像,并裁剪得到焊缝图像,其包括条形焊缝和圆弧形焊缝的具体位置;
根据具体位置获取所有焊缝的宽度并确定裁剪宽度;
根据裁剪宽度对焊接X射线图像进行滑窗式裁剪,得到裁剪图像;
采用全局直方图均衡化对裁剪图像进行对比度增强,得到增强图像;
构建Faster R-CNN气孔检测模型对增强图像进行气孔检测,将检测结果还原;
采用非极大值抑制算法对还原的检测结果进行去重处理,得到最终的检测结果。
在一实施例中,通过构建气孔类焊接缺陷的焊接X射线图像数据集训练Faster R-CNN模型,该焊接X射线图像数据集中包括58张包含不同种类焊缝缺陷的焊接X射线图像,其中含有气孔的焊接X射线图像有36张,每张焊接X射线图像的长度范围是[4000,5000],宽度范围是[1000,2000],每张焊接X射线图像都采用lableing软件人工标注其自身的各种缺陷和焊缝,并保存为VOC2007数据集格式,如图2所示,此外按2:1的比例将焊接X射线图像数据集划分为训练集和测试集。
优选地,由于焊接X射线图像尺寸大,而本实施例中的Faster R-CNN焊缝检测模型的输入尺寸范围为[600,1000],为满足输入要求,对焊接X射线图像进行了缩放处理,将焊接X射线图像中的长边缩小至600像素,再对其短边进行等比例缩放并补齐至600像素,得到像素大小为600×600的焊接X射线图像,即预处理图像,最后将预处理图像输入Faster R-CNN焊缝检测模型中进行焊缝检测,从预处理图像中裁剪出的焊缝图像如图3所示。
在一实施例中,完成焊缝检测后可以获取到所有焊缝的具体位置信息,取所有焊缝的宽度的众数作为裁剪宽度,对焊缝图像进行滑窗式裁剪,具体包括:
S11.取所有焊缝的宽度的众数作为裁剪宽度W,其中,低于裁剪宽度W的焊缝在裁剪时保留部分背景,而对于高于裁剪宽度的焊缝则直接按裁剪宽度W进行裁剪;
S12.按照从左往右、从上往下的顺序对焊缝图像进行滑窗式裁剪,得到裁剪图像;
其中,窗口大小为W×W,滑动步长为W-m,m为最大气孔宽度,即所有焊缝中气孔宽度的最大值,裁剪时相邻的裁剪图像会保留部分重叠区域,在本实施例中,W数值为600像素,m数值为200像素,最终得到176张长宽尺寸均为600像素的裁剪图像,如图4所示。
优选地,再对176张裁剪图像进行全局直方图均衡化处理,即对裁剪图像进行对比度增强,得到增强图像如图5所示,具体像素点变换公式如下:
Figure BDA0003969081660000071
其中,s为变换后灰度级,r为变换前灰度级,pr(r)是灰度级r所对应的概率密度,即ds=pr(r)dr。
采用Faster R-CNN气孔检测模型对增强图像进行气孔检测,将检测结果还原,表示为:
X′1=X1+Xmin
Y′1=Y1+Ymin
其中,以裁剪图像的左上角为原点建立二维坐标系,(X1,Y1)为裁剪图片上的气孔坐标,以焊接X射线图像左上角为原点建立原始二维坐标系,(X′1,Y′1)为裁剪图片上的气孔在焊接X射线图像上对应的坐标,(Xmin,Ymin)表示裁剪图像的左上角在原始二维坐标系中的坐标。
最后采用非极大值抑制算法对还原的检测结果进行去重处理,得到最终的检测结果,去重处理表示为:
Figure BDA0003969081660000072
其中,L为所有检测框的集合,Li为L中第i个检测框,Lx为L中任意一个检测框,且i≠x,iou_threshold表示筛选阈值,在本实施例中,iou_threshold数值为0.1。
在一实施例中,Faster R-CNN焊缝检测模型包括特征提取网络模块、感兴趣区域生成模块(RPN)和目标分类与位置回归模块;其中特征提取网络模块采用残差网络(ResNet)和特征金字塔网络(FPN)结合的网络架构,以增强对小气孔特征的学习能力。
具体地,特征提取网络模块结构如图7所示,残差网络由C1层、C2层、C3层、C4层和C5层组成,其中共包括16个残差模块;每个残差模块包括三个依次连接的卷积层,输入x经第一个卷积层和Relu激活函数,进入第二个和第三个卷积层,第三个卷积层的输出和输入x做残差,得到残差模块的输出;每个残差模块只需要学习输入与输出的残差,最终输出F(x)+x作为下一个残差模块的输入;
特征金字塔网络包括P1-P5层,将残差网络C5层输出的特征图输入P4层,P4层的输出直接输入感兴趣区域生成模块,同时P4层输出进行上采样操作至P3层,再与残差网络C4层的特征信息进行1×1卷积融合相加,再依次上采样至P2、P1层;每次上采样后的特征图分别与残差网络的相应特征层通过1×1卷积进行融合,在深层特征信息的基础上增加网络浅层特征信息的学习,P5层则由P4层输出进行步幅为2的下采样操作得到,最后将P1-P5层的特征信息输入到感兴趣区域生成模块进行感兴趣区域生成;
所述感兴趣区域生成模块生成预测框和多个感兴趣区域,同时获得缺陷目标的真实位置信息对网络的感兴趣区域的大致位置进行训练;再经过ROI Align层进行预测框的定位,获得精准的候选框;最后经过分类网络对目标缺陷瞄框进行分类,同时与真实瞄框位置信息进行比对并计算位置损失和分类损失,整体流程如图6所示。
优选地,Faster R-CNN焊缝检测模型的残差网络选取ResNet50,Faster R-CNN气孔检测模型结构与Faster R-CNN焊缝检测模型相同,但其残差网络选取ResNet34。
优选地,使用ImageNet数据集训练权重作为预训练权重,初始学习率设定为0.00125,训练总迭代次数为12,Faster R-CNN焊缝检测模型与Faster R-CNN气孔检测模型在第9次和第12次迭代训练自动将学习率衰减为原来的十分之一,初始动量设置为0.9,Batch_size设置为1。
模型训练完成后,采用焊接X射线图像数据集,首先针对不同焊缝检测模型进行对比实验,如表1所示:
表1不同焊缝检测模型的对比实验
Figure BDA0003969081660000091
针对焊缝检测,本发明先使用了YOLO系列算法进行测试,如表1所示。其中YOLOv3相比YOLOv4来说,在召回率接近的情况下AP分数明显较优,这是由于YOLOv4的骨干网络相对规模较大,参数量多,仅针对检测焊缝这一类目标来说易过拟合,而在更轻量的YOLOv4-Tiny与YOLOX-Tiny上,召回率和AP分数均有提升。进一步使用两阶段算法Faster R-CNN以及Faster R-CNN+FPN进行焊缝检测。结果表明,单阶段算法中除YOLOX-Tiny外其余检测效果并不理想,难以满足实际需求,而两阶段算法明显优于单阶段算法,其中Faster R-CNN+FPN的检测效果最佳。
其次,通过焊缝检测模型获取到焊缝的坐标后,需要提取焊缝区域来去除研究中不需要关注的大部分噪声信息。焊缝分为两种类型条型和圆弧形,条型的焊缝又存在两类,本发明中将条形焊缝分为长条焊缝和短条焊缝两类,其中长条焊缝的长为[4000,5000],宽为[300,1100],短条焊缝的长为[250,350],宽为[600,700],而圆弧形型焊缝的长为[900,1200],宽为[2000,2200]。短条型焊缝能够直接输入到模型进行训练和测试,长条形焊缝和圆弧形焊缝都需要进行裁剪。因此基于本发明模型,针对不同的裁剪方式进行了对比实验,结果如表2所示:
表2不同裁剪方法的对比实验
Figure BDA0003969081660000101
在实验中,直接缩放和分段式裁剪是根据焊缝在焊接X射线图像中的具体坐标提取焊缝,滑窗式裁剪则是取焊缝的宽度的众数作为裁剪宽度,这是本发明的方法与前两种方法的第一个不同之处。由于滑窗式裁剪得到的裁剪图像的像素大小为[600,600],为了控制变量,使前两种方法得到的图像尺寸与后者相同。针对直接缩放,将所有焊缝直接Resize到[600,600]像素大小进行训练;针对分段式裁剪,具体操作为将长条形焊缝裁成8段,圆弧形焊缝裁成3段,短条型焊缝则不需要裁剪,最后筛选出没有气孔的数据后,再将所有图片Resize到[600,600]像素大小进行训练;本发明采用滑窗式裁剪,通过一个固定尺寸600像素的窗口对焊缝X射线图像进行从左往右、自上而下的裁剪。三种不同的裁剪方法气孔的检测结果如表2所示,滑窗式裁剪对气孔的检测效果最好。
最后,针对气孔检测的性能提升策略进行了消融实验,实验结果如下表3:
表3气孔检测性能提升的消融实验
Figure BDA0003969081660000102
Figure BDA0003969081660000111
在工业领域焊接缺陷检测中更加注重缺陷的召回,提高召回率是本发明的首要研究目标。最终,本发明采用的检测方法Recall最高,为最优方案,在当前数据集下进行三折交叉验证,其中焊缝的召回率为96.30%,AP分数为93.76%,气孔类缺陷的召回率为96.85%,AP分数为70.18%。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,包括:
获取焊接X射线图像并进行预处理,得到预处理图像;
建立Faster R-CNN焊缝检测模型检测预处理图像,并裁剪得到焊缝图像,其包括条形焊缝和圆弧形焊缝的具体位置;
根据具体位置获取所有焊缝的宽度并确定裁剪宽度;
根据裁剪宽度对焊缝图像进行滑窗式裁剪,得到裁剪图像;
采用全局直方图均衡化对裁剪图像进行对比度增强,得到增强图像;
构建Faster R-CNN气孔检测模型对增强图像进行气孔检测,将检测结果还原;
采用非极大值抑制算法对还原的检测结果进行去重处理,得到最终的检测结果。
2.根据权利要求1所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,在训练阶段构建气孔类焊接缺陷的焊接X射线图像数据集训练Faster R-CNN模型,该焊接X射线图像数据集中包括58张包含不同种类焊缝缺陷的焊接X射线图像,其中含有气孔的焊接X射线图像有36张,每张焊接X射线图像的长度范围是[4000,5000],宽度范围是[1000,2000],每张焊接X射线图像都采用lableing软件人工标注其自身的各种缺陷和焊缝,并保存为VOC2007数据集格式,按2:1的比例将焊接X射线图像数据集划分为训练集和测试集。
3.根据权利要求1所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,对焊接X射线图像进行缩放处理,得到像素大小为600×600的预处理图像。
4.根据权利要求1所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,Faster R-CNN焊缝检测模型包括特征提取网络模块、感兴趣区域生成模块和目标分类与位置回归模块;其中特征提取网络模块采用残差网络和特征金字塔网络结合的网络架构。
5.根据权利要求4所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,
残差网络由C1层、C2层、C3层、C4层和C5层组成,其中共包括16个残差模块;每个残差模块包括三个依次连接的卷积层,输入x经第一个卷积层和Relu激活函数,进入第二个和第三个卷积层,第三个卷积层的输出和输入x做残差,得到残差模块的输出;每个残差模块只需要学习输入与输出的残差,最终输出F(x)+x作为下一个残差模块的输入;
特征金字塔网络包括P1-P5层,将残差网络C5层输出的特征图输入P4层,P4层的输出直接输入感兴趣区域生成模块,同时P4层输出进行上采样操作至P3层,再与残差网络C4层的特征信息进行1×1卷积融合相加,再依次上采样至P2、P1层;每次上采样后的特征图分别与残差网络的相应特征层通过1×1卷积进行融合,在深层特征信息的基础上增加网络浅层特征信息的学习,P5层则由P4层输出进行步幅为2的下采样操作得到,最后将P1-P5层的特征信息输入到感兴趣区域生成模块进行感兴趣区域生成;
所述感兴趣区域生成模块生成预测框和多个感兴趣区域,同时获得缺陷目标的真实位置信息对网络的感兴趣区域的大致位置进行训练;再经过ROIAlign层进行预测框的定位,获得精准的候选框;最后经过分类网络对目标缺陷瞄框进行分类,同时与真实瞄框位置信息进行比对并计算位置损失和分类损失。
6.根据权利要求5所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,Faster R-CNN焊缝检测模型的残差网络选取ResNet50,Faster R-CNN气孔检测模型结构与Faster R-CNN焊缝检测模型相同,但其残差网络选取ResNet34。
7.根据权利要求1所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,对焊缝图像进行滑窗式裁剪的过程包括:
S11.取所有焊缝的宽度的众数作为裁剪宽度W,其中,低于裁剪宽度W的焊缝在裁剪时保留部分背景;
S12.按照从左往右、从上往下的顺序对焊缝图像进行滑窗式裁剪,得到裁剪图像;
其中,窗口大小为W×W,滑动步长为W-m,m为最大气孔宽度,裁剪时相邻的裁剪图像会保留部分重叠区域。
8.根据权利要求1所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,对裁剪图像进行全局直方图均衡化,表示为:
Figure FDA0003969081650000031
其中,s为变换后灰度级,r为变换前灰度级,pr(r)是灰度级r所对应的概率密度,即ds=pr(r)dr。
9.根据权利要求1所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,将检测结果还原表示为:
X′1=X1+Xmin
Y′1=Y1+Ymin
其中,以裁剪图像的左上角为原点建立二维坐标系,(X1,Y1)为裁剪图片上的气孔坐标,以焊接X射线图像左上角为原点建立原始二维坐标系,(X′1,′1)为裁剪图片上的气孔在焊接X射线图像上对应的坐标,(Xmin,Ymin)表示裁剪图像的左上角在原始二维坐标系中的坐标。
10.根据权利要求1所述的一种基于深度学习的X射线图像中气孔缺陷的检测方法,其特征在于,去重处理的公式为:
Figure FDA0003969081650000032
其中,L为所有检测框的集合,Li为L中第i个检测框,Lx为L中任意一个检测框,且i≠x。
CN202211506203.9A 2022-11-29 2022-11-29 一种基于深度学习的x射线图像中气孔缺陷的检测方法 Pending CN115829965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211506203.9A CN115829965A (zh) 2022-11-29 2022-11-29 一种基于深度学习的x射线图像中气孔缺陷的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211506203.9A CN115829965A (zh) 2022-11-29 2022-11-29 一种基于深度学习的x射线图像中气孔缺陷的检测方法

Publications (1)

Publication Number Publication Date
CN115829965A true CN115829965A (zh) 2023-03-21

Family

ID=85532412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211506203.9A Pending CN115829965A (zh) 2022-11-29 2022-11-29 一种基于深度学习的x射线图像中气孔缺陷的检测方法

Country Status (1)

Country Link
CN (1) CN115829965A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN116993726A (zh) * 2023-09-26 2023-11-03 山东克莱蒙特新材料科技有限公司 一种矿物铸件检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN116596867B (zh) * 2023-05-05 2024-02-13 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN116993726A (zh) * 2023-09-26 2023-11-03 山东克莱蒙特新材料科技有限公司 一种矿物铸件检测方法及系统
CN116993726B (zh) * 2023-09-26 2023-12-19 山东克莱蒙特新材料科技有限公司 一种矿物铸件检测方法及系统

Similar Documents

Publication Publication Date Title
CN112967243B (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN115829965A (zh) 一种基于深度学习的x射线图像中气孔缺陷的检测方法
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN114240821A (zh) 一种基于改进型yolox的焊缝缺陷检测方法
CN109671058B (zh) 一种大分辨率图像的缺陷检测方法及系统
CN109919145B (zh) 一种基于3d点云深度学习的矿卡检测方法及系统
CN112465746A (zh) 一种射线底片中小缺陷检测方法
CN113065396A (zh) 基于深度学习的扫描档案图像的自动化归档处理系统及方法
CN116228651A (zh) 一种布匹缺陷检测方法、系统、设备及介质
CN116542975A (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN113240623A (zh) 一种路面病害检测方法及装置
CN114119505A (zh) 一种检测芯片粘连区域缺陷的方法及装置
CN113066051A (zh) 一种坡口缺陷检测方法、计算设备及可读存储介质
CN112017154A (zh) 基于Mask R-CNN模型的一种射线缺陷检测方法
CN111597939A (zh) 一种基于深度学习的高铁线路鸟窝缺陷检测方法
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
CN113870236B (zh) 一种基于深度学习算法的复合材料缺陷无损探伤方法
CN113052820A (zh) 一种基于神经网络技术的电路设备缺陷识别方法
CN111680691A (zh) 文字检测方法、装置、电子设备和计算机可读存储介质
Xu et al. Research on Porosity Detection Method for Welding X-ray Images
CN117689875A (zh) 图像检测方法、装置、电子设备和存储介质
Wang Weld region salient object extraction based on MC-U2Net
CN112508935A (zh) 基于深度学习的产品包装检测方法及系统和产品包装分拣系统
CN116883327A (zh) 一种木勺裂纹检测方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination