CN112465746A - 一种射线底片中小缺陷检测方法 - Google Patents

一种射线底片中小缺陷检测方法 Download PDF

Info

Publication number
CN112465746A
CN112465746A CN202011206236.2A CN202011206236A CN112465746A CN 112465746 A CN112465746 A CN 112465746A CN 202011206236 A CN202011206236 A CN 202011206236A CN 112465746 A CN112465746 A CN 112465746A
Authority
CN
China
Prior art keywords
defects
network
weld
scale
detecting small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011206236.2A
Other languages
English (en)
Other versions
CN112465746B (zh
Inventor
李海华
宋小平
朱江
王冰
隋丰安
童建军
张月虎
汪红兵
李莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjiang Tianwei Nondestructive Testing Co ltd
University of Science and Technology Beijing USTB
China Petroleum Engineering and Construction Corp
Original Assignee
Xinjiang Tianwei Nondestructive Testing Co ltd
University of Science and Technology Beijing USTB
China Petroleum Engineering and Construction Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjiang Tianwei Nondestructive Testing Co ltd, University of Science and Technology Beijing USTB, China Petroleum Engineering and Construction Corp filed Critical Xinjiang Tianwei Nondestructive Testing Co ltd
Priority to CN202011206236.2A priority Critical patent/CN112465746B/zh
Publication of CN112465746A publication Critical patent/CN112465746A/zh
Application granted granted Critical
Publication of CN112465746B publication Critical patent/CN112465746B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明提供一种射线底片中小缺陷检测方法，属于工业数字图像的小目标检测技术领域。所述方法包括：将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图；构建深度卷积神经网络；其中，所述深度卷积神经网络包括：提取焊缝缺陷特征的残差网络、将残差网络提取的不同层次特征图进行融合的多尺度特征金字塔网络和从多尺度特征金字塔网络输出的特征图中提取缺陷候选框的区域推荐网络；利用显著图和原始图片对构建的深度卷积神经网络进行训练，以便训练好的深度卷积神经网络对焊缝缺陷进行检测。采用本发明，能够在提高射线底片中小缺陷检测准确率的同时，提高检测效率。

Description

一种射线底片中小缺陷检测方法
技术领域
本发明涉及工业数字图像的小目标检测技术领域，特别是指一种射线底片中小缺陷检测方法。
背景技术
管道运输在油、气、水等流体的输送方面具有无可替代的重要作用，管道输送的安全尤为重要，而管道焊缝质量的高低直接影响其运输安全，焊缝缺陷检测则是焊缝质量检测的关键环节。由于环境和焊接工艺等因素的影响，导致焊缝会不可避免地出现各种缺陷，如裂纹、气孔(圆形)、条形、未熔合和未焊透等。使用存在缺陷的管道，可能会造成极其严重的后果，为确保焊缝质量，防止意外情况的发生，对管道进行焊缝缺陷检测是必不可少的。
由于焊接工艺的多样性以及焊缝缺陷呈现的小目标(目标指缺陷)特点，实际生产过程中难以找到一般通用的方法来自动检测出焊缝缺陷。当前，焊缝缺陷的检测主要依靠人工观察和专家经验来进行。这种传统的X射线评片方法是由评片工作人员在观片室中借助于观片灯、放大镜、量尺、记录表格来手工完成。该方法易受设备、环境、底片质量及人的生理条件等因素的影响，造成漏检、误判等不良后果，人工评片越来越不能满足智能检测的需要。因此，针对X射线底片缺陷的检测和分割，需要一种既保证精度又能提高效率的智能检测技术。
发明内容
本发明实施例提供了射线底片中小缺陷检测方法，能够在提高射线底片中小缺陷检测准确率的同时，提高检测效率。所述技术方案如下：
一方面，提供了一种射线底片中小缺陷检测方法，该方法应用于电子设备，该方法包括：
将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图；
构建深度卷积神经网络；其中，所述深度卷积神经网络包括：提取焊缝缺陷特征的残差网络、将残差网络提取的不同层次特征图进行融合的多尺度特征金字塔网络和从多尺度特征金字塔网络输出的特征图中提取缺陷候选框的区域推荐网络；
利用显著图和原始图片对构建的深度卷积神经网络进行训练，以便训练好的深度卷积神经网络对焊缝缺陷进行检测。
进一步地，所述将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图包括：
将标注焊缝缺陷的原始图片中亮度低的蓝色通道替换为基于注意力机制生成的显著性图。
进一步地，所述焊缝缺陷包括：圆形缺陷、条形缺陷及由裂纹、未熔合和未焊透代表的细长型缺陷。
进一步地，所述残差网络自底向上生成5张特征图，分别表示为：C1、C2、C3、C4和C5。
进一步地，所述多尺度特征金字塔网络，用于自底向上提取特征图C1、C2、C3、C4和C5后，自顶向下的上采样生成多个语义增强的特征图，分别为P1、P2、P3、P4和P5，将特征图P1、P2、P3、P4和P5输入区域推荐网络，以便区域推荐网络对输入的特征图P1、P2、P3、P4和P5分别提取缺陷候选框。
进一步地，所述深度卷积神经网络还包括：感兴趣区域池化层及与所述感兴趣区域池化层相连的边框回归器和全连接分类器；
所述感兴趣区域池化层，用于输入区域推荐网络提取的缺陷候选框以及多尺度特征金字塔网络生成的特征图P1、P2、P3、P4和P5，生成感兴趣区域，以便边框回归器和全连接分类器对生成的感兴趣区域进行回归和分类。进一步地，所述区域推荐网络中锚的尺度和长宽比比例的设置过程包括：
通过对标注图片中的焊缝缺陷进行统计，对于任一类焊缝缺陷，计算真实框的面积，并求出该类焊缝缺陷的真实框面积均值；
根据真实框的长宽比，计算出针对该类焊缝缺陷的平均长宽比；
将焊缝缺陷按照平均长宽比进行分类，分类结果包括：圆形缺陷、条形缺陷及细长型缺陷；
针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例，其中，面积为尺度乘尺度。
进一步地，所述针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例包括：
若焊缝缺陷为圆形缺陷，设置5种尺度：32、64、128、256和512，以及3种长宽比比例：1:1、1:2和2:1。
进一步地，所述针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例包括：
若焊缝缺陷为条形缺陷，设置5种尺度：32、64、128、256和512，以及4种长宽比比例：1:3、3:1、1:5和5:1。
进一步地，所述针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例包括：
若焊缝缺陷为裂纹、未熔合、未焊透代表的细长型缺陷，设置5种尺度：32、64、128、256和512，以及6种长宽比比例：1:10、10:1、1:15、15:1、1:20和20:1。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述射线底片中小缺陷检测方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述射线底片中小缺陷检测方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图；构建深度卷积神经网络；其中，所述深度卷积神经网络包括：提取焊缝缺陷特征的残差网络、将残差网络提取的不同层次特征图进行融合的多尺度特征金字塔网络和从多尺度特征金字塔网络输出的特征图中提取缺陷候选框的区域推荐网络；利用显著图和原始图片对构建的深度卷积神经网络进行训练，以便训练好的深度卷积神经网络对焊缝缺陷进行检测，这样，能够在提高射线底片中小缺陷检测准确率的同时，提高检测效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的射线底片中小缺陷检测方法的流程示意图；
图2为本发明实施例提供的深度卷积神经网络结构的结构示意图；
图3为本发明实施例提供的ResNet的结构示意图；
图4为本发明实施例提供的原始FPN的结构示意图；
图5为本发明实施例提供的改进后FPN的结构示意图；
图6(a)为本发明实施例提供的用于检测圆形缺陷的锚示意图；
图6(b)为本发明实施例提供的用于检测条形缺陷的锚示意图；
图6(c)为本发明实施例提供的用于检测细长型缺陷的锚示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种射线底片中小缺陷检测方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器，该方法包括：
S101，将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图；
S102，构建深度卷积神经网络；其中，所述深度卷积神经网络包括：提取焊缝缺陷特征的残差网络(ResNet)、将残差网络提取的不同层次特征图进行融合的多尺度特征金字塔网络(Feature Pyramid Networks，FPN)和从多尺度特征金字塔网络输出的特征图中提取缺陷候选框的区域推荐网络(Region Proposal Network，RPN)；
S103，利用显著图和原始图片对构建的深度卷积神经网络进行训练，以便训练好的深度卷积神经网络对焊缝缺陷进行检测。
本发明实施例所述的射线底片中小缺陷检测方法，将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图；构建深度卷积神经网络；其中，所述深度卷积神经网络包括：提取焊缝缺陷特征的残差网络、将残差网络提取的不同层次特征图进行融合的多尺度特征金字塔网络和从多尺度特征金字塔网络输出的特征图中提取缺陷候选框的区域推荐网络；利用显著图和原始图片对构建的深度卷积神经网络进行训练，以便训练好的深度卷积神经网络对焊缝缺陷进行检测，这样，能够在提高射线底片中小缺陷检测准确率的同时，提高检测效率。
本实施例中，所述小缺陷为尺寸小于预设阈值的缺陷，所述原始图片为X射线底片。
为了实现本发明实施例所述的射线底片中小缺陷检测方法，在S101之前，需对原始图片进行直方图均匀化以增强图像特征并进行数据扩增，其中，数据扩增的方法包括：基于形态学、噪声、亮度、几何变换等扩增方法；然后，使用labelImg软件对扩增后的图像中的焊缝缺陷进行标注，得到标注焊缝缺陷的原始图片，此时的图片的尺寸为P*Q，对尺寸为P*Q的图片进行归一化处理，生成大小为M*N的图片，如图2所示，以便后续S101对大小为M*N的图片进行处理，生成显著性图。
在前述射线底片中小缺陷检测方法的具体实施方式中，进一步地，所述将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图包括：
将标注焊缝缺陷的原始图片中亮度低的蓝色通道替换为基于注意力机制生成的显著性图。
本实施例中，所述原始图片一般为彩色图片，包括：红色、绿色和蓝色三个通道。
本实施例中，将标注焊缝缺陷的原始图片中亮度低的蓝色通道替换为基于注意力机制生成的显著性图，其中，显著性图一般是灰度图，可以认为是一个通道的图，显著性图可以预估缺陷位置，增强对缺陷的感知，其作为输入通道能有效提高训练好的深度卷积神经网络的检测准确率。
本实施例中，显著性图的计算方法采用基于局部对比度的AC(attention cues)算法，AC算法是在模仿人眼的注意力机制中的局部对比度，即是通过计算一个感知单元在不同邻域上的局部对比度来实现多尺度显著性计算。
在前述射线底片中小缺陷检测方法的具体实施方式中，进一步地，所述焊缝缺陷包括：圆形缺陷、条形缺陷及由裂纹、未熔合和未焊透代表的细长型缺陷。
本实施例中，可以针对不同类别的焊缝缺陷，分别构建深度卷积神经网络，每个深度卷积神经网络的结构相同，但是锚(anchor)的尺度和长宽比比例不一样。
本实施例中，构建的深度卷积神经网络的结构图如图2所示，主干网络是一个标准的残差网络ResNet，用来提取焊缝缺陷特征，特征金字塔网络FPN是对该主干网络的扩展，由于焊缝缺陷在图像中大多是小目标(如气孔，圆形缺陷等)，FPN通过将主干网络提取的不同层次特征图进行融合，得到多个语义增强的特征图，可以在多个尺度上更好地表征目标，这样，保留了低层次特征图中的细节信息，从而提高了对于小目标检测的精度。
本实施例中，提供的残差网络ResNet的结构图如图3所示，该残差网络ResNet是一个现有的结构，所述残差网络ResNet自底向上生成5张特征图，分别表示为：C1、C2、C3、C4和C5，其中，特征图C1的分辨率较高，保留了小目标的更多细节特征，浅层的特征图(如C2)含有更多的纹理信息，而深层的特征图(如C5)含有更多的语义信息，与该ResNet进行配套使用的原始FPN结构图如图4所示。
本实施例中，针对焊缝缺陷较小这一特点，FPN网络需从残差网络ResNet中抽取更多的不同层次的特征图，以便能够融合更多的细节信息，大幅度提升小目标检测的能力，且不增加原有计算量，因此，需对FPN网络进行改进，改进后的FPN网络结构如图5所示。
本实施例中，图5所示的尺度特征金字塔网络，先通过自底向上提取不同比例的特征图C1、C2、C3、C4和C5后，再通过自顶向下的过程将高层得到的特征图进行1×1的卷积降维，再使用最近邻插值的方法上采样，再与下一层特征图降维的结果相加(SUM)，生成多个语义增强的特征图，分别为P1、P2、P3、P4和P5，这样，每层使用相同大小与深度的卷积用来消除不同层之间的混叠效果，且每一层的特征图都融合了不同分辨率、不同语义强度的特征。
本实施例中，通过优化多尺度特征金字塔网络FPN与残差网络ResNet之间的连接，能够提高训练好的深度卷积神经网络对细粒度小缺陷的检测能力。
本实施例中，如图2所示，将特征图P1、P2、P3、P4和P5分别输入RPN中得到一系列的缺陷候选框。
本实施例中，如图2所示，所述深度卷积神经网络还包括：感兴趣区域池化层及与所述感兴趣区域池化层相连的边框回归器和全连接分类器；首先，将RPN提取得到的缺陷候选框以及特征图P1、P2、P3、P4和P5一起输入感兴趣区域池化层(region of interestPooling，Roi Pooling)生成感兴趣区域；然后，通过边框回归器和全连接分类器对生成的感兴趣区域进行回归和分类。
本实施例中，RPN采用滑动窗口来扫描输入到RPN网络中的特征图，并寻找存在目标(即：缺陷)的区域，扫描的区域被称为锚(anchor)。RPN为每个anchor生成两个输出：anchor类别和边框，其中，anchor类别分为前景或背景，前景类别意味着可能存在一个目标，但该目标可能并没有完美地位于目标中心。因此，需要对边框进行精调来更好地拟合目标。原始RPN网络中的anchor仅有3种固定面积(具体为：128*128、256*256、512*512)和3种固定比例(具体为：1：1、1：2、2：1)，所生成的anchor共9种，是针对一般的目标检测所设计的。
本实施例中，针对焊缝缺陷形状特征的特点重新设计了anchor的面积和比例，具体步骤包括：
A1，通过对标注图片中的焊缝缺陷进行统计，对于任一类焊缝缺陷，计算真实框的面积，并求出该类焊缝缺陷的真实框面积均值；
A2，根据真实框的长宽比，计算出针对该类焊缝缺陷的平均长宽比；
A3，将焊缝缺陷按照平均长宽比进行分类；
本实施例中，将五种缺陷按照平均长宽比分为两大类，长宽比大于20的称为细长型，有裂纹、未熔合和未焊透3种缺陷，长宽比小于20的称为短粗类，有圆形缺陷和条形缺陷两种缺陷，其中，在短粗类中，长宽比大于2的为条形缺陷，长宽比小于2的为圆形缺陷。
A4，针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例，其中，面积为尺度乘尺度，具体的：
1)若焊缝缺陷为圆形缺陷，设置5种尺度：32、64、128、256、512，以及3种长宽比比例：1:1、1:2(对应纵向裂纹)、2:1(对应横向裂纹)，如附图6(a)所示，其中，面积为尺度乘尺度，例如32*32。
2)若焊缝缺陷为条形缺陷，设置5种尺度：32、64、128、256、512，以及4种长宽比比例：1:3、3:1、1:5、5:1，如附图6(b)所示；
3)若焊缝缺陷为裂纹、未熔合、未焊透等细长型缺陷，设置5种尺度：32、64、128、256、512，以及6种长宽比比例：1:10、10:1、1:15、15:1、1:20、20:1，如附图6(c)所示。
本实施例中，对于5种典型的焊缝缺陷，通过设计上述不同面积和比例的anchor，能够提高缺陷检测精度。
综上，本发明实施例提供的射线底片中小缺陷检测方法，至少具有以下有益效果：
1)通过将原始图片中的蓝色通道替换为显著性图，能够增强对缺陷的感知，从而有助于提高训练好的深度卷积神经网络的检测准确率；
2)通过优化多尺度特征金字塔网络FPN与残差网络ResNet之间的连接，能够提高训练好的深度卷积神经网络对细粒度小缺陷的检测能力；
3)通过设置不同面积和比例的锚anchor，以适应五种典型缺陷的形状特征，能够提高缺陷检测精度；
4)能够用于管道和压力容器的数字底片缺陷的智能检测和等级辅助判定，从而减轻人工评片的劳动负荷，并减少评片过程的人工干扰，保证评片过程的规范。
图7是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述射线底片中小缺陷检测方法。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述射线底片中小缺陷检测方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种射线底片中小缺陷检测方法，其特征在于，包括：
将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图；
构建深度卷积神经网络；其中，所述深度卷积神经网络包括：提取焊缝缺陷特征的残差网络、将残差网络提取的不同层次特征图进行融合的多尺度特征金字塔网络和从多尺度特征金字塔网络输出的特征图中提取缺陷候选框的区域推荐网络；
利用显著图和原始图片对构建的深度卷积神经网络进行训练，以便训练好的深度卷积神经网络对焊缝缺陷进行检测。
2.根据权利要求1所述的射线底片中小缺陷检测方法，其特征在于，所述将标注焊缝缺陷的原始图片中的蓝色通道替换为显著性图包括：
将标注焊缝缺陷的原始图片中亮度低的蓝色通道替换为基于注意力机制生成的显著性图。
3.根据权利要求1所述的射线底片中小缺陷检测方法，其特征在于，所述焊缝缺陷包括：圆形缺陷、条形缺陷及由裂纹、未熔合和未焊透代表的细长型缺陷。
4.根据权利要求1所述的射线底片中小缺陷检测方法，其特征在于，所述残差网络自底向上生成5张特征图，分别表示为：C1、C2、C3、C4和C5。
5.根据权利要求1所述的射线底片中小缺陷检测方法，其特征在于，所述多尺度特征金字塔网络，用于自底向上提取特征图C1、C2、C3、C4和C5后，自顶向下的上采样生成多个语义增强的特征图，分别为P1、P2、P3、P4和P5，将特征图P1、P2、P3、P4和P5输入区域推荐网络，以便区域推荐网络对输入的特征图P1、P2、P3、P4和P5分别提取缺陷候选框。
6.根据权利要求1所述的射线底片中小缺陷检测方法，其特征在于，所述深度卷积神经网络还包括：感兴趣区域池化层及与所述感兴趣区域池化层相连的边框回归器和全连接分类器；
所述感兴趣区域池化层，用于输入区域推荐网络提取的缺陷候选框以及多尺度特征金字塔网络生成的特征图P1、P2、P3、P4和P5，生成感兴趣区域，以便边框回归器和全连接分类器对生成的感兴趣区域进行回归和分类。
7.根据权利要求1所述的射线底片中小缺陷检测方法，其特征在于，所述区域推荐网络中锚的尺度和长宽比比例的设置过程包括：
通过对标注图片中的焊缝缺陷进行统计，对于任一类焊缝缺陷，计算真实框的面积，并求出该类焊缝缺陷的真实框面积均值；
根据真实框的长宽比，计算出针对该类焊缝缺陷的平均长宽比；
将焊缝缺陷按照平均长宽比进行分类，分类结果包括：圆形缺陷、条形缺陷及细长型缺陷；
针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例，其中，面积为尺度乘尺度。
8.根据权利要求7所述的射线底片中小缺陷检测方法，其特征在于，所述针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例包括：
若焊缝缺陷为圆形缺陷，设置5种尺度：32、64、128、256和512，以及3种长宽比比例：1:1、1:2和2:1。
9.根据权利要求7所述的射线底片中小缺陷检测方法，其特征在于，所述针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例包括：
若焊缝缺陷为条形缺陷，设置5种尺度：32、64、128、256和512，以及4种长宽比比例：1:3、3:1、1:5和5:1。
10.根据权利要求7所述的射线底片中小缺陷检测方法，其特征在于，所述针对焊缝缺陷的面积均值及形状特征，设置区域推荐网络中锚的尺度和长宽比比例包括：
若焊缝缺陷为裂纹、未熔合、未焊透代表的细长型缺陷，设置5种尺度：32、64、128、256和512，以及6种长宽比比例：1:10、10:1、1:15、15:1、1:20和20:1。
CN202011206236.2A 2020-11-02 2020-11-02 一种射线底片中小缺陷检测方法 Active CN112465746B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011206236.2A CN112465746B (zh) 2020-11-02 2020-11-02 一种射线底片中小缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011206236.2A CN112465746B (zh) 2020-11-02 2020-11-02 一种射线底片中小缺陷检测方法

Publications (2)

Publication Number Publication Date
CN112465746A true CN112465746A (zh) 2021-03-09
CN112465746B CN112465746B (zh) 2024-03-05

Family

ID=74835249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011206236.2A Active CN112465746B (zh) 2020-11-02 2020-11-02 一种射线底片中小缺陷检测方法

Country Status (1)

Country Link
CN (1) CN112465746B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255589A (zh) * 2021-06-25 2021-08-13 北京电信易通信息技术股份有限公司 一种基于多卷积融合网络的目标检测方法及系统
CN113657534A (zh) * 2021-08-24 2021-11-16 北京经纬恒润科技股份有限公司 一种基于注意力机制的分类方法及装置
CN114708266A (zh) * 2022-06-07 2022-07-05 青岛通产智能科技股份有限公司 一种卡片缺陷的检测工装、方法、装置以及介质
CN115049640A (zh) * 2022-08-10 2022-09-13 国网山西省电力公司大同供电公司 一种基于深度学习的道路裂缝检测方法
CN115122005A (zh) * 2022-07-27 2022-09-30 广东省源天工程有限公司 一种超大型人字闸门门体焊接装置
WO2024000373A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 检测焊印的方法、装置和电子设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150078654A1 (en) * 2013-09-13 2015-03-19 Interra Systems, Inc. Visual Descriptors Based Video Quality Assessment Using Outlier Model
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置
CN105069778A (zh) * 2015-07-16 2015-11-18 西安工程大学 基于目标特征显著图构建的工业产品表面缺陷检测方法
US20160034778A1 (en) * 2013-12-17 2016-02-04 Cloud Computing Center Chinese Academy Of Sciences Method for detecting traffic violation
CN106228565A (zh) * 2016-08-02 2016-12-14 电子科技大学 一种基于x射线图像的输油管道焊缝缺陷检测方法
WO2018052496A1 (en) * 2016-09-19 2018-03-22 Hrl Laboratories, Llc Method for object detection in digital image and video using spiking neural networks
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN109410171A (zh) * 2018-09-14 2019-03-01 安徽三联学院 一种用于雨天图像的目标显著性检测方法
CN110570410A (zh) * 2019-09-05 2019-12-13 河北工业大学 一种自动识别检测焊缝缺陷的检测方法
CN111292305A (zh) * 2020-01-22 2020-06-16 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111563418A (zh) * 2020-04-14 2020-08-21 浙江科技学院 一种基于注意力机制的非对称多模态融合显著性检测方法
CN111696079A (zh) * 2020-05-15 2020-09-22 中山大学 一种基于多任务学习的表面缺陷检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150078654A1 (en) * 2013-09-13 2015-03-19 Interra Systems, Inc. Visual Descriptors Based Video Quality Assessment Using Outlier Model
US20160034778A1 (en) * 2013-12-17 2016-02-04 Cloud Computing Center Chinese Academy Of Sciences Method for detecting traffic violation
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置
CN105069778A (zh) * 2015-07-16 2015-11-18 西安工程大学 基于目标特征显著图构建的工业产品表面缺陷检测方法
CN106228565A (zh) * 2016-08-02 2016-12-14 电子科技大学 一种基于x射线图像的输油管道焊缝缺陷检测方法
WO2018052496A1 (en) * 2016-09-19 2018-03-22 Hrl Laboratories, Llc Method for object detection in digital image and video using spiking neural networks
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN109410171A (zh) * 2018-09-14 2019-03-01 安徽三联学院 一种用于雨天图像的目标显著性检测方法
CN110570410A (zh) * 2019-09-05 2019-12-13 河北工业大学 一种自动识别检测焊缝缺陷的检测方法
CN111292305A (zh) * 2020-01-22 2020-06-16 重庆大学 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN111563418A (zh) * 2020-04-14 2020-08-21 浙江科技学院 一种基于注意力机制的非对称多模态融合显著性检测方法
CN111696079A (zh) * 2020-05-15 2020-09-22 中山大学 一种基于多任务学习的表面缺陷检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ACHANTA, R 等: "Salient Region Detection and Segmentation", 《COMPUTER VISION SYSTEMS. ICVS 2008. LECTURE NOTES IN COMPUTER SCIENCE, VOL 5008. SPRINGER, BERLIN, HEIDELBERG》, vol. 5008 *
TSUNG-YI LIN等: "Feature Pyramid Networks for Object Detection", 《ARXIV:1612.03144V2》 *
YING-CHUN GUO 等: "Image saliency detection based on local and regional features", 《2012 INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS, XI\'AN, CHINA, 2012》 *
ZHAISHENG DING 等: "Infrared and visible image fusion using modified PCNN and visual saliency detection", 《PROC. SPIE 10836, 2018 INTERNATIONAL CONFERENCE ON IMAGE AND VIDEO PROCESSING, AND ARTIFICIAL INTELLIGENCE, 108360E》 *
舒威 等: "基于无人机视觉的储罐表面缺陷检测方法", 《高技术通讯》, vol. 29, no. 8 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255589A (zh) * 2021-06-25 2021-08-13 北京电信易通信息技术股份有限公司 一种基于多卷积融合网络的目标检测方法及系统
CN113255589B (zh) * 2021-06-25 2021-10-15 北京电信易通信息技术股份有限公司 一种基于多卷积融合网络的目标检测方法及系统
CN113657534A (zh) * 2021-08-24 2021-11-16 北京经纬恒润科技股份有限公司 一种基于注意力机制的分类方法及装置
CN114708266A (zh) * 2022-06-07 2022-07-05 青岛通产智能科技股份有限公司 一种卡片缺陷的检测工装、方法、装置以及介质
WO2024000373A1 (zh) * 2022-06-30 2024-01-04 宁德时代新能源科技股份有限公司 检测焊印的方法、装置和电子设备
CN115122005A (zh) * 2022-07-27 2022-09-30 广东省源天工程有限公司 一种超大型人字闸门门体焊接装置
CN115049640A (zh) * 2022-08-10 2022-09-13 国网山西省电力公司大同供电公司 一种基于深度学习的道路裂缝检测方法

Also Published As

Publication number Publication date
CN112465746B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN112465746A (zh) 一种射线底片中小缺陷检测方法
WO2023077404A1 (zh) 缺陷检测方法、装置和系统
JP3877916B2 (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
Malarvel et al. An improved version of Otsu's method for segmentation of weld defects on X-radiography images
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN114240821A (zh) 一种基于改进型yolox的焊缝缺陷检测方法
CN109740515B (zh) 一种评阅方法及装置
WO2020156409A1 (zh) 数据处理方法、瑕疵的检测方法、计算设备及存储介质
CN112330593A (zh) 基于深度学习网络的建筑物表面裂缝检测方法
CN106780455A (zh) 一种基于滑动的局部邻域窗口的产品表面检测方法
CN113313107B (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN101976436A (zh) 一种基于差分图修正的像素级多聚焦图像融合方法
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN115131283A (zh) 目标对象的缺陷检测、模型训练方法、装置、设备及介质
CN113642576B (zh) 一种目标检测及语义分割任务中训练图像集合的生成方法及装置
CN115719332A (zh) 一种焊接质量检测方法
KR20230030259A (ko) 제품 결함 검출 학습을 위한 딥러닝 기반 데이터 증강 방법
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN113313695A (zh) 一种基于小样本航空发动机叶片ct图像的深度学习缺陷自动检测识别方法
CN117115171A (zh) 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法
JP7059889B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN113269747B (zh) 一种基于深度学习的病理图片肝癌扩散检测方法及系统
Liu et al. A multiple scale spaces empowered approach for welding radiographic image defect segmentation
CN117392043A (zh) 一种基于深度学习的钢板表面缺陷视频检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant