CN112116557B - 一种射线图像焊缝区域缺陷探测方法、存储介质及设备 - Google Patents

一种射线图像焊缝区域缺陷探测方法、存储介质及设备 Download PDF

Info

Publication number
CN112116557B
CN112116557B CN202010809005.4A CN202010809005A CN112116557B CN 112116557 B CN112116557 B CN 112116557B CN 202010809005 A CN202010809005 A CN 202010809005A CN 112116557 B CN112116557 B CN 112116557B
Authority
CN
China
Prior art keywords
weld
defect
candidate
map
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010809005.4A
Other languages
English (en)
Other versions
CN112116557A (zh
Inventor
姜洪权
王鹏星
高建民
王荣喜
王瑜
支泽林
武小赛
胡启航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010809005.4A priority Critical patent/CN112116557B/zh
Publication of CN112116557A publication Critical patent/CN112116557A/zh
Application granted granted Critical
Publication of CN112116557B publication Critical patent/CN112116557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明公开了一种射线图像焊缝区域缺陷探测方法、存储介质及设备，基于背景特性生成残差图，在残差图上进行疑似缺陷区域探测，在避免算法对噪声和背景灰度敏感的同时保证高的缺陷探测率；对残差图探测出的疑似缺陷区域使用多尺度候选框与卷积神经网络分类，可以解决缺陷形状轮廓复杂多变以及有效特征提取困难的问题，获得较低的误报警率；对分类结果使用非极大值抑制，可以保证对疑似缺陷区域准确的定位，方便进一步进行缺陷识别、缺陷尺寸定量，同时给出最终探测结果的置信度，给评片人员提供更充分的参考信息。

Description

一种射线图像焊缝区域缺陷探测方法、存储介质及设备
技术领域
本发明属于焊缝缺陷探测技术领域，具体涉及一种基于背景特性的射线图像焊缝区域有无缺陷探测方法、存储介质及设备。
背景技术
随着焊接技术的不断发展，焊接质量得到了很大的提高，通常而言，存在缺陷的射线检测底片占总底片数量的比例小于5％。如果在评片之前能够自动而准确地基于焊缝区域进行缺陷探测，挑选出所有存在疑似缺陷的射线焊缝图像(5％)，那么后续评片人员仅仅需要对这一少部分射线焊缝图像进行缺陷分类评定，评片效率可进一步提升、评片人员的工作强度也可大幅降低。
由于射线焊缝图像具有噪声大、图像模糊、弱边缘、背景灰度变化大等低质量特点以及缺陷具有低对比度、微小、形状轮廓复杂多变等问题，传统的射线焊缝图像缺陷探测方法在对射线检测图像中进行缺陷探测时，存在缺陷有效特征提取困难、对噪声、背景灰度变化敏感以及在探测复杂大背景下低质量、低对比度、微小的缺陷时精度低、效率低等问题。
此外，具有缺陷的射线焊缝图像中缺陷数目和种类较少(往往一条焊缝中只出现一种缺陷)，并且背景区域和缺陷区域面积差异过大(超过100倍)。使用基于深度学习的目标检测方来进行射线焊缝图像缺陷探测时由于缺陷样本和背景样本的不均衡，网络训练难度大，极易导致漏检。传统的缺陷探测方法和基于深度学习的缺陷探测方法均不能达到较低的误报警率和较高的缺陷探测率。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于背景特性的射线图像焊缝区域有无缺陷探测方法、存储介质及设备，基于背景特性生成残差图，在残差图上进行疑似缺陷区域探测，在避免算法对噪声和背景灰度敏感的同时保证高的缺陷探测率；对残差图探测出的疑似缺陷区域基于多尺度候选框与卷积神经网络分类，可以解决缺陷形状轮廓复杂多变以及有效特征提取困难的问题，获得较低的误报警率；对分类结果使用非极大值抑制，可以保证对疑似缺陷区域准确的定位，方便进一步进行缺陷识别、缺陷尺寸定量等操作，同时给出最终探测结果的置信度，给评片人员提供更充分的参考信息。
本发明采用以下技术方案：
一种射线图像焊缝区域缺陷探测方法，包括以下步骤：
S1、基于焊缝图生成残差图；
S2、在残差图中探测出疑似缺陷区域；
S3、将疑似缺陷区域映射回焊缝图，在焊缝图上基于疑似缺陷区域，生成多尺度侯选框；
S4、构建缺陷图片和背景图片的数据集，训练CNN二分类网络；
S5、截取步骤S3侯选框中的焊缝图部分输入到步骤S4训练的CNN二分类网络中，对不同大小图片自适应池化成统一大小，然后分别输入到全连接层进行背景与缺陷区域的二分类；
S6、根据步骤S5的结果对所有候选框进行探测与合并，判断焊缝图片是否含有缺陷，完成缺陷探测。
具体的，步骤S1具体为：
S101、输入焊缝图A0，对焊缝图A0进行傅里叶变换，得到变换后的幅频响应L(f)和相频响应P(f)；
S102、构建m张平均对比度C大于23000且无缺陷的焊缝图像，分别对其进行傅里叶变换，计算幅频响应Li(f)；
S103、计算m张无缺陷焊缝图像平均幅频响应A(f)；
S104、计算焊缝图A0幅频响应L(f)和m张无缺陷焊缝图像平均幅频响应A(f)的幅频差值R(f)；
S105、幅频差值R(f)进行傅里叶逆变换，生成残差图S(x)。
进一步的，残差图S(x)为：
S(x)＝|F-1[exp{R(f)+iP(f)}]|2
其中，F-1表示二维离散傅里叶变换，R(f)为焊缝图片幅频响应L(f)和m张无缺陷焊缝图像平均幅频响应A(f)的幅频差值，iP(f)为焊缝图片相频响应。
具体的，步骤S2具体为：
S201、对残差图S(x)进行膨胀操作；
S202、采用最大类间方差法自适应获取膨胀后残差图目标与背景的分割阈值e，用此阈值e对图像二值化操作；
S203、对二值化的图像进行中值滤波，删除离散的点。
具体的，步骤S5中，采用自适应池化具体为：
S501、统计焊缝图A0中像素点灰度分布，得到灰度分布最多的灰度值k；
S502、采用最大类间方差法获取焊缝图A0目标和背景分割阈值w；
S503、将侯选框等分为n×n个小框，将小框内的元素构成一维数组，等分后第一个小框构成的数组为[n11，n12，n13，...，n1j]，j为小框中元素个数；
S504、对步骤S503得到的小框进行判断，最终以n1作为第一个小框返回的值；
S505、对每个侯选框进行步骤S503和步骤S504操作，最终不同大小侯选框中图片池化后输出均为设定大小n×n。
具体的，步骤S6中，使用非极大值抑制对疑似区域上候选框进行探测与合并，每个疑似缺陷区域仅保留一个侯选框，若所有疑似候选区域对应侯选框中背景区域的概率均大于阈值p，则认定为对应射线焊缝底片无缺陷，并以所有疑似候选区域对应侯选框中背景区域概率的均值Ym作为置信度；若存在候选框中背景区域概率小于设定阈值，将侯选框认定为缺陷区域，1-Ym为对应缺陷区域的置信度。
进一步的，每个疑似缺陷区域保留的候选框为最合适的缺陷区域，具体为：
S601、在每个疑似缺陷区域上生成的9个不同尺度侯选框中找出概率Yi最大的框，记为A1；
S602、对每个疑似缺陷区域，对A1与剩余8个框进行判断，更新A1。
更进一步的，步骤S602中，对A1与剩余8个框进行判断具体为：
Figure BDA0002630237070000041
其中，Ai为8个框中第i个框；IOU为A1和Ai的交并比，m为设定的阈值，最终的A1为最合适的缺陷区域。
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据所述的方法中的任一方法的指令。
本发明的另一技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据所述的方法中的任一方法。
本发明的另一技术方案是，一种计算设备，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于背景特性的射线图像焊缝区域有无缺陷快速探测方法，基于背景特性生成残差图，在残差图上进行疑似缺陷区域探测，在避免算法对噪声和背景灰度敏感的同时保证高的缺陷探测率；对残差图探测出的疑似缺陷区域使用多尺度候选框与卷积神经网络分类，可以解决缺陷形状轮廓复杂多变以及有效特征提取困难的问题，获得较低的误报警率；对分类结果使用非极大值抑制，可以保证对疑似缺陷区域准确的定位，方便进一步进行缺陷识别、缺陷尺寸定量等操作，同时给出最终探测结果的置信度，给评片人员提供更充分的参考信息。
进一步的，背景部分虽然灰度变化复杂，但灰度变化的频率相似，通过统计M余张无缺陷焊缝图像平均幅频响应A(f)，可以获得背景变化的一般规律，将焊缝图片幅频响应L(f)与A(f)作差，可以消除幅频响应中背景灰度变化引起的响应，可以有效消除背景灰度变化对下一步疑似缺陷区域探测的影响。
进一步的，残差图S(x)通过对作差后的幅频差值R(f)与焊缝图片相频响应P(f)进行傅里叶逆变换生成，R(f)反映焊缝图片中除了背景之外强度变化信息，P(f)反映的是焊缝图片中信号的位置信息，残差图可以反映对应焊缝图片去除了背景变化之外的强度和位置信息，可以对残差图进行疑似缺陷探测，然后将结果映射回焊缝图片再进行缺陷精确探测。
进一步的，背景灰度变化整体频率相似，但不同焊缝图片也会有小的差异，残差图上除了出现缺陷信息外还会有不同焊缝图片背景差异导致的背景残留信息，两者区别为缺陷信息是连续密集的点，而背景残留信息是离散孤立的点，通过膨胀操作让缺陷信息更加连续，然后通过中值滤波删去离散的点，可以很好地将背景残留信息去除，留下疑似缺陷区域。
进一步的，自适应池化一方面可以实现图片大小的自适应，由于卷积神经网络要求输入图片大小一致，将不同侯选框截取出的图片自适应池化成相同大小可以满足卷及神经网络的要求；另一方面可以实现在池化过程中自适应最大化地保留图片中与缺陷有关的信息，确保卷积神经网络提取到更多缺陷特征。
进一步的，非极大值抑制对疑似缺陷区域的侯选框区域根据概率进行合并或抑制，可以在疑似缺陷区域的基础上给出缺陷区域更精确的位置信息，方便下一步对缺陷进行分类、尺寸计算、分割、精确探测等功能；另外不仅给出焊缝是否有缺陷的结果，同时给出结果对应的置信度，为评片人员判断提供了更充分的参考信息。
综上所述，本发明可以在低对比度、复杂大背景、低表征小目标区域特征的焊缝图像中快速探测出缺陷区域并给出置信度，从而快速准确探测出无缺陷焊缝图片。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明方法流程图；
图2为焊缝原始图像；
图3为焊缝原始残差图像；
图4为膨胀后的残差图像；
图5为中值滤波后的残差图像；
图6为自适应池化过程示意图；
图7为卷积神经网络训练背景和缺陷区域二分类的准确率图；
图8为卷积神经网络测试背景和缺陷区域二分类的准确率图；
图9为非极大值抑制后的焊缝图像；
图10为对小框进行判断流程图。
具体实施方式
本发明提供了一种基于背景特性的射线图像焊缝区域有无缺陷探测方法，对焊缝图像生成残差图，基于残差图探测出疑似缺陷区域，根据疑似缺陷区域生成多尺度侯选框，将侯选框输入到CNN网络进行分类，根据分类结果判断焊缝图片是否含有缺陷，可以在低对比度、复杂大背景、低表征小目标区域特征的焊缝图像中快速探测出缺陷区域并给出置信度，从而快速准确探测出无缺陷焊缝图片。
请参阅图1，本发明一种基于背景特性的射线图像焊缝区域有无缺陷探测方法，基于背景特性生成残差图，在残差图上进行疑似缺陷区域探测，在避免算法对噪声和背景灰度敏感的同时保证高的缺陷探测率；对残差图探测出的疑似缺陷区域使用多尺度候选框与卷积神经网络分类，可以解决缺陷形状轮廓复杂多变以及有效特征提取困难的问题，获得较低的误报警率；对分类结果使用非极大值抑制，可以保证对疑似缺陷区域准确的定位，方便进一步进行缺陷识别、缺陷尺寸定量，同时给出最终探测结果的置信度，给评片人员提供更充分的参考信息。包括以下步骤：
S1、基于焊缝图生成残差图；
S101、输入焊缝图A0，对焊缝图A0进行傅里叶变换，得到变换后的幅频响应L(f)和相频响应P(f)
L(f)＝log(|F[I(x)]|)
Figure BDA0002630237070000083
其中，I(x)为焊缝图像，F为2维离散傅里叶变换，|F[I(x)]|代表图片傅里叶变换后的幅频响应，
Figure BDA0002630237070000084
代表图片傅里叶变换后的相频响应；
S102、构建m张平均对比度C大于23000且无缺陷的焊缝图像，分别对其进行傅里叶变换，求幅频响应：
Li(f)＝log(|F[Ii(x)]|)
其中，Ii(x)为第i张无缺陷焊缝图像，Li(f)为第i张无缺陷焊缝图像对应的幅频响应；
对比度C计算如下：
Figure BDA0002630237070000081
其中，δ(i,j)＝|i-j|为相邻像素间的灰度差，pδ(i,j)为相邻像素间到的灰度差为δ的像素分布概率；
S103、计算m张无缺陷焊缝图像平均幅频响应
Figure BDA0002630237070000082
S104、计算焊缝图A0幅频响应L(f)和M张无缺陷焊缝图像平均幅频响应A(f)的幅频差值R(f)＝L(f)-A(f)；
S105、幅频差值R(f)进行傅里叶逆变换，生成残差图S(x)
S(x)＝|F-1[exp{R(f)+iP(f)}]|2
其中，F-1表示二维离散傅里叶变换，R(f)为焊缝图A0幅频响应L(f)和m张无缺陷焊缝图像平均幅频响应A(f)的幅频差值，iP(f)为焊缝图A0相频响应。
S2、在残差图中探测出疑似缺陷区域；
S201、对残差图S(x)进行膨胀操作
Figure BDA0002630237070000091
其中，B为卷积模板；
S202、采用最大类间方差法自适应获取膨胀后残差图目标与背景的分割阈值e，用此阈值e对图像二值化操作；
S203、对二值化的图像进行中值滤波，删除离散的点。
S3、将疑似缺陷区域映射回焊缝图，在焊缝图上基于疑似缺陷区域，生成多尺度侯选框；
首先统计常见缺陷如夹渣、气孔、裂纹、未融合、未焊透的尺寸和形状，根据统计信息取常见9种大小的侯选框；
针对多尺度侯选框，采用自适应池化，池化后输出大小相同。
S4、构建缺陷图片和背景图片的数据集，训练CNN二分类网络；
数据集分为两类，一类为缺陷，对焊缝中缺陷区域截取所得；另一类为背景，对焊缝中背景区域截取所得；
S5、截取侯选框中的焊缝图部分输入到CNN网络中，对不同大小图片自适应池化成统一大小，然后分别输入到全连接层进行背景与缺陷区域的二分类；
背景与缺陷区域的二分类采用SoftMax分类器，获得第i个侯选框对应的输出结果Yi为侯选框中为背景的概率信息P(Y＝Yi)；
自适应池化操作步骤如下：
S501、统计焊缝图A0中像素点灰度分布，得到灰度分布最多的灰度值k；
S502、采用最大类间方差法获取焊缝图A0目标和背景分割阈值w；
S503、将侯选框等分为n×n个小框，若无法等分则取整，将小框内的元素构成一维数组，[n11，n12，n13，...，n1j]即为等分后第一个小框构成的数组，j为小框中元素个数；
S504、对小框进行判断，最终以n1作为第一个小框返回的值，如图10所示；
S505、对每个侯选框进行步骤S3和步骤S4操作，最终不同大小侯选框池化后输出均为设定大小n×n；
S6、根据结果对所有候选框进行探测与合并，判断焊缝图片是否含有缺陷，完成缺陷探测。
使用非极大值抑制对疑似区域上候选框进行探测与合并，每个疑似缺陷区域保留的候选框为最合适的缺陷区域，步骤如下：
S601、在每个疑似缺陷区域上的9个侯选框中找出概率Yi最大的框，记为A1；
S602、对每个疑似缺陷区域，将A1与剩余8个框进行如下操作，更新A1；
Figure BDA0002630237070000101
其中，Ai为8个框中第i个框；IOU为A1和Ai的交并比，计算公式为
Figure BDA0002630237070000102
A1∩Ai为A1和Ai公共区域的面积，A1∪Ai为A1和Ai总面积；m为设定的阈值，最终的A1为最合适的缺陷区域；
若所有疑似候选区域对应侯选框中背景区域的概率均大于阈值p，则认定为该射线焊缝底片无缺陷，并以所有疑似候选区域对应侯选框中背景区域概率的均值Ym作为置信度；若存在候选框中背景区域概率小于设定阈值，这些侯选框认定为缺陷区域，1-Ym为该缺陷区域的置信度。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以某大型燃气轮机实际探测过程中产生的射线焊缝图像为例，选取700张大小为6000x 200的焊缝图像作为数据集来源，其中500张为包含裂纹、未融合、未焊透、气孔等缺陷的有缺陷焊缝图像，200张为无缺陷焊缝图像。对500张有缺陷图像按照16x16大小截取其中的缺陷区域，对应按照16x16大小随机截取背景区域，构建700张缺陷图像和700张背景图像的数据集，对数据集两个类别按训练集80％，测试集20％的比例分配。另外选取160张大小为6000x200的焊缝图像来验证本发明方法的有效性，其中80张为包含缺陷的焊缝图像，80张为无缺陷的焊缝图像。
1、基于焊缝图生成残差图；
读入焊缝图像如图2所示，基于焊缝图生成残差图，残差图如图3所示。
输入焊缝图片，对该焊缝图进行傅里叶变换，得到变换后的幅频响应L(f)和相频响应P(f)：
挑选200余张特征清晰，无缺陷的焊缝图像，分别对其进行傅里叶变换，求第i张无缺陷焊缝图像对应的幅频响应Li(f)；
(1.3)、计算200张无缺陷焊缝图像平均幅频响应A(f)；
(1.4)、计算焊缝图片幅频响应L(f)和M张无缺陷焊缝图像平均幅频响应A(f)的幅频差值R(f)；
(1.5)、幅频差值R(f)进行傅里叶逆变换，生成残差图S(x)；
2、在残差图中探测出疑似缺陷区域；
(2.1)、对残差图进行膨胀操作，膨胀卷积核参数为
Figure BDA0002630237070000121
膨胀后图如图4所示；
(2.2)、采用最大类间方差法自适应获取膨胀后残差图目标与背景的分割阈值e，用此阈值e对图像二值化操作；
(2.3)、对二值化的图像进行中值滤波，删除离散的点，滤波后图片如图5所示；
3、将疑似缺陷区域映射回焊缝图，在焊缝图上基于疑似缺陷区域，生成多尺度侯选框；
本例中大小分别为32x32、16x64、64x16、64x64、32x128、228x32、128x128、64x256、256x64(单位为像素)；
针对多尺度侯选框，采用自适应池化方法，池化后输出大小相同。
自适应池化操作步骤如下：
(3.1)、统计焊缝图中像素点灰度分布，得到灰度分布最多的灰度值k；
(3.2)、采用最大类间方差法获取焊缝图目标和背景分割阈值w；
(3.3)、将侯选框按照输出2x2大小，等分为2x2个小框，若无法等分则取整，将小框内的元素构成一维数组；
(3.4)、以第一个小框为例，对小框做如下判断，最终以n1作为第一个小框返回的值，如图10所示：
(3.5)、对每个侯选框进行步骤S3.3和步骤S4.4操作，最终不同大小侯选框池化后输出均为设定大小n×n；
图6展示了自适应池化过程的效果图，左边为池化前大小7*5，右边为池化后大小2*2。
4、构建缺陷图片和背景图片的数据集，训练CNN二分类网络；
本例中缺陷图片700张，背景图片700张，按照按训练集80％，测试集20％的比例分配，在Lenet5网络上迭代500次，训练和测试精度如图7、图8所示；
5、截取侯选框中的焊缝图部分输入到训练好的CNN网络中，将自适应池化成统一大小16x16后的图片分别输入到全连接层进行背景与缺陷区域的二分类；
6、根据结果对所有候选框进行探测与合并，判断焊缝图片是否含有缺陷；
对疑似区域上候选框的探测与分析使用非极大值抑制，每个疑似区域仅保留一个侯选框，图9为非极大值抑制后的图像；若所有疑似候选区域对应侯选框中背景区域的概率均大于阈值p，则认定为该射线焊缝底片无缺陷，并以所有疑似候选区域对应侯选框中背景区域概率的均值Ym作为置信度；若存在候选框中背景区域概率小于设定阈值，这些侯选框认定为缺陷区域，1-Ym为该缺陷区域的置信度。
表1展示了本发明方法对160张大小为6000x 200的焊缝图像结果
成功探测率/％ 误报警率/％ 运算时间/s
98.5 4.3 1.68
其中，成功探测率＝正确探测出缺陷图像数量/有缺陷图像总数；误报警率＝无缺陷图像误报数量/无缺陷图像总数
综上所述，本发明一种基于背景特性的射线图像焊缝区域有无缺陷探测方法，基于背景特性生成残差图，在残差图上进行疑似缺陷区域探测，在避免算法对噪声和背景灰度敏感的同时保证高的缺陷探测率；对残差图探测出的疑似缺陷区域使用多尺度候选框与卷积神经网络分类，可以解决缺陷形状轮廓复杂多变以及有效特征提取困难的问题，获得较低的误报警率；对分类结果使用非极大值抑制，可以保证对疑似缺陷区域准确的定位，方便进一步进行缺陷识别、缺陷尺寸定量，同时给出最终探测结果的置信度，给评片人员提供更充分的参考信息。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种射线图像焊缝区域缺陷探测方法，其特征在于，包括以下步骤：
S1、基于焊缝图生成残差图；
S2、在残差图中探测出疑似缺陷区域；
S3、将疑似缺陷区域映射回焊缝图，在焊缝图上基于疑似缺陷区域，生成多尺度侯选框；
S4、构建缺陷图片和背景图片的数据集，训练CNN二分类网络；
S5、截取步骤S3侯选框中的焊缝图部分输入到步骤S4训练的CNN二分类网络中，对不同大小图片自适应池化成统一大小，然后分别输入到全连接层进行背景与缺陷区域的二分类；
S6、根据步骤S5的结果对所有候选框进行探测与合并，判断焊缝图是否含有缺陷，完成缺陷探测。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
S101、输入焊缝图A0，对焊缝图A0进行傅里叶变换，得到变换后的幅频响应L(f)和相频响应P(f)；
S102、构建m张平均对比度C大于23000且无缺陷的焊缝图像，分别对其进行傅里叶变换，计算幅频响应Li(f)；
S103、计算m张无缺陷焊缝图像平均幅频响应A(f)；
S104、计算焊缝图A0幅频响应L(f)和m张无缺陷焊缝图像平均幅频响应A(f)的幅频差值R(f)；
S105、幅频差值R(f)进行傅里叶逆变换，生成残差图S(x)。
3.根据权利要求2所述的方法，其特征在于，残差图S(x)为：
S(x)＝|F-1[exp{R(f)+iP(f)}]|2
其中，F-1表示二维离散傅里叶逆变换，R(f)为焊缝图A0幅频响应L(f)和m张无缺陷焊缝图像平均幅频响应A(f)的幅频差值，iP(f)为焊缝图A0相频响应。
4.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
S201、对残差图S(x)进行膨胀操作；
S202、采用最大类间方差法自适应获取膨胀后残差图目标与背景的分割阈值e，用此阈值e对图像二值化操作；
S203、对二值化的图像进行中值滤波，删除离散的点。
5.根据权利要求1所述的方法，其特征在于，步骤S5中，采用自适应池化具体为：
S501、统计焊缝图A0中像素点灰度分布，得到灰度分布最多的灰度值k；
S502、采用最大类间方差法获取焊缝图A0目标和背景分割阈值w；
S503、将侯选框等分为n×n个小框，将小框内的元素构成一维数组，等分后第一个小框构成的数组为[n11，n12，n13，...，n1j]，j为小框中元素个数；
S504、对步骤S503得到的小框进行判断，最终以n1作为第一个小框返回的值；
S505、对每个侯选框进行步骤S503和步骤S504操作，最终不同大小侯选框中图片池化后输出均为设定大小n×n。
6.根据权利要求1所述的方法，其特征在于，步骤S6中，使用非极大值抑制对疑似区域上候选框进行探测与合并，每个疑似缺陷区域仅保留一个侯选框，若所有疑似候选区域对应侯选框中背景区域的概率均大于阈值p，则认定为对应射线焊缝底片无缺陷，并以所有疑似候选区域对应侯选框中背景区域概率的均值Ym作为置信度；若存在候选框中背景区域概率小于设定阈值，将侯选框认定为缺陷区域，1-Ym为对应缺陷区域的置信度。
7.根据权利要求6所述的方法，其特征在于，每个疑似缺陷区域保留的候选框为最合适的缺陷区域，具体为：
S601、在每个疑似缺陷区域上生成的9个不同尺度侯选框中找出概率Yi最大的框，记为A1；
S602、对每个疑似缺陷区域，对A1与剩余8个框进行判断，更新A1。
8.根据权利要求7所述的方法，其特征在于，步骤S602中，对A1与剩余8个框进行判断具体为：
Figure FDA0003368037970000031
其中，Ai为8个框中第i个框；IOU为A1和Ai的交并比，m为设定的阈值，最终的A1为最合适的缺陷区域。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
10.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
CN202010809005.4A 2020-08-12 2020-08-12 一种射线图像焊缝区域缺陷探测方法、存储介质及设备 Active CN112116557B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010809005.4A CN112116557B (zh) 2020-08-12 2020-08-12 一种射线图像焊缝区域缺陷探测方法、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010809005.4A CN112116557B (zh) 2020-08-12 2020-08-12 一种射线图像焊缝区域缺陷探测方法、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112116557A CN112116557A (zh) 2020-12-22
CN112116557B true CN112116557B (zh) 2022-02-22

Family

ID=73805214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010809005.4A Active CN112116557B (zh) 2020-08-12 2020-08-12 一种射线图像焊缝区域缺陷探测方法、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112116557B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862771A (zh) * 2021-01-29 2021-05-28 珠海迪沃航空工程有限公司 一种基于深度学习的飞机发动机叶片缺陷识别诊断系统及方法
CN112862130B (zh) * 2021-02-03 2023-11-03 北京戴纳实验科技有限公司 一种结合冰箱对样本的存储管理方法
CN113362326B (zh) * 2021-07-26 2023-10-03 广东奥普特科技股份有限公司 一种电池焊点缺陷的检测方法及装置
CN114372969A (zh) * 2021-12-30 2022-04-19 上海华力微电子有限公司 缺陷自分类方法及系统
CN115880288B (zh) * 2023-02-21 2023-11-14 深圳市兆兴博拓科技股份有限公司 电子元件焊接的检测方法、系统及计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364285A (zh) * 2018-01-24 2018-08-03 首都师范大学 一种基于迭代相位一致性的裂缝提取方法和应用
CN109829903A (zh) * 2019-01-28 2019-05-31 合肥工业大学 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN110261483A (zh) * 2019-07-31 2019-09-20 三一汽车起重机械有限公司 焊缝缺陷检测方法、装置、检测设备及可读存储介质
CN111179318A (zh) * 2019-12-31 2020-05-19 浙江大学 基于双流法的复杂背景运动小目标检测方法
CN111223088A (zh) * 2020-01-16 2020-06-02 东南大学 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN111292305A (zh) * 2020-01-22 2020-06-16 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070175967A1 (en) * 2006-01-27 2007-08-02 Narasimha-Rao Venkata Bangaru High integrity welding and repair of metal components
CN109239073B (zh) * 2018-07-28 2020-11-10 西安交通大学 一种用于汽车车身的表面缺陷检测方法
CN110675370A (zh) * 2019-09-04 2020-01-10 武汉理工大学 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CN110570410B (zh) * 2019-09-05 2022-03-22 河北工业大学 一种自动识别检测焊缝缺陷的检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364285A (zh) * 2018-01-24 2018-08-03 首都师范大学 一种基于迭代相位一致性的裂缝提取方法和应用
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统
CN109829903A (zh) * 2019-01-28 2019-05-31 合肥工业大学 一种基于卷积去噪自编码器的芯片表面缺陷检测方法
CN110111328A (zh) * 2019-05-16 2019-08-09 上海中认尚科新能源技术有限公司 一种基于卷积神经网络的风力发电机叶片裂纹检测方法
CN110261483A (zh) * 2019-07-31 2019-09-20 三一汽车起重机械有限公司 焊缝缺陷检测方法、装置、检测设备及可读存储介质
CN111179318A (zh) * 2019-12-31 2020-05-19 浙江大学 基于双流法的复杂背景运动小目标检测方法
CN111260614A (zh) * 2020-01-13 2020-06-09 华南理工大学 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法
CN111223088A (zh) * 2020-01-16 2020-06-02 东南大学 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN111292305A (zh) * 2020-01-22 2020-06-16 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111223093A (zh) * 2020-03-04 2020-06-02 武汉精立电子技术有限公司 一种aoi缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Automatic weld defect detection based on potential defect tracking in real-time radiographic image sequence;JiaxinShao 等;《NDT & E International》;20120331;第46卷;第14-21页 *
一种改进卷积神经网络模型的焊缝缺陷识别方法;姜洪权 等;《机械工程学报》;20200430;第56卷(第8期);第235-242页 *
基于深度学习的表面缺陷检测方法综述;陶显 等;《自动化学报》;20200402;第47卷(第5期);第1017-1034页 *

Also Published As

Publication number Publication date
CN112116557A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112116557B (zh) 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN110020647B (zh) 一种违禁品目标检测方法、装置及计算机设备
CN109671078B (zh) 一种产品表面图像异常检测方法及装置
CN113436218B (zh) 基于高斯滤波与均值滤波的sar图像边缘检测方法
CN111598801B (zh) 一种用于微弱Mura缺陷的识别方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN111914902B (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN111489337A (zh) 一种自动光学检测伪缺陷去除方法及系统
CN112085700A (zh) X射线图像中焊缝区域的自动化提取方法、系统及介质
CN115953373A (zh) 玻璃缺陷检测方法、装置、电子设备及存储介质
Jacobsen et al. A comparison between neural networks and decision trees
CN116030056A (zh) 一种钢表面裂缝的检测方法及系统
CN109141829B (zh) 一种靶线清晰度计算及工业相机后截距的检测方法
CN111178200A (zh) 一种仪表盘指示灯的识别方法及计算设备
CN113822836B (zh) 标记图像的方法
CN115719326A (zh) Pcb板缺陷检测方法及装置
CN113469302A (zh) 一种视频图像的多圆形目标识别方法和系统
CN116934752B (zh) 一种基于人工智能的玻璃检测方法及系统
CN112991159A (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN115953403B (zh) 缺陷检测方法及装置
CN110634124A (zh) 一种区域检测的方法及设备
CN115908802A (zh) 摄像头遮挡检测方法、装置、电子设备及可读存储介质
CN117597579A (zh) 检查方法、分类方法、管理方法、钢材的制造方法、学习模型的生成方法、学习模型、检查装置以及钢材的制造设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant