CN112734693B - 一种管道焊缝缺陷检测方法及相关装置 - Google Patents

一种管道焊缝缺陷检测方法及相关装置 Download PDF

Info

Publication number
CN112734693B
CN112734693B CN202011505087.XA CN202011505087A CN112734693B CN 112734693 B CN112734693 B CN 112734693B CN 202011505087 A CN202011505087 A CN 202011505087A CN 112734693 B CN112734693 B CN 112734693B
Authority
CN
China
Prior art keywords
picture set
defect
detection
similarity
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011505087.XA
Other languages
English (en)
Other versions
CN112734693A (zh
Inventor
卢春曦
王健宗
黄章成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011505087.XA priority Critical patent/CN112734693B/zh
Publication of CN112734693A publication Critical patent/CN112734693A/zh
Application granted granted Critical
Publication of CN112734693B publication Critical patent/CN112734693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/03—Investigating materials by wave or particle radiation by transmission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/628—Specific applications or type of materials tubes, pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)

Abstract

本申请涉及图像处理领域，提供一种管道焊缝缺陷检测方法及相关装置，所述方法包括：获取辅助图片集和检测图片集；将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；根据所述相似度，输出检测结果。本申请实施例的技术方案，能够提高管道焊缝缺陷检测的效率和检测效果。

Description

一种管道焊缝缺陷检测方法及相关装置
技术领域
本申请涉及图像处理领域，尤其涉及一种管道焊缝缺陷检测方法及相关装置。
背景技术
管道焊缝的射线底片是管道焊缝质量检测的重要文件，通过射线探测方法获取管道焊缝的射线底片，通过对射线底片有效数据的采集，及时了解到管道运行状态，可避免发生泄露与断裂事故。
目前，在使用射线探测方法进行管道焊缝缺陷检测时，通常采用的方法是：对管道焊缝的射线图片使用基于深度卷积网络的常规目标检测方法，进行缺陷的检测。由于使用基于深度卷积网络的常规目标检测方法，因此在训练模型的阶段需要大量的样本数据，训练过程较为繁琐。并且，对于特定的管道类型，可用于训练模型的样本较少，因此训练得到的模型对于特定的管道类型的检测效果较差，模型泛化性能较差。
发明内容
本申请提供了一种管道焊缝缺陷检测方法及相关装置，能够提高管道焊缝缺陷检测的效率和检测效果。
本申请第一方面提供了一种管道焊缝缺陷检测方法，包括：
获取辅助图片集和检测图片集；
将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；
使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；
确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；
根据所述相似度，输出检测结果。
本申请第二方面提供了一种管道焊缝缺陷检测装置，包括：
获取模块，用于获取辅助图片集和检测图片集；
特征提取模块，用于将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；
处理模块，用于使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；
确定模块，用于确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；
输出模块，用于根据所述相似度，输出检测结果。
本申请第三方面提供了一种电子设备，所述电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请第一方面任一方法中的步骤的指令。
本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现本申请第一方面任一方法中所描述的部分或全部步骤。
可以看到，通过本申请提出的管道焊缝缺陷检测方法及相关装置，首先获取辅助图片集和检测图片集。其次将辅助图片集和检测图片集输入特征提取网络，得到辅助图片集对应的第一特征图和检测图片集对应的第二特征图。其次使用区域建议网络对第一特征图和第二特征图进行处理，得到检测图片集中预测的缺陷部位。其次确定辅助图片集中标注的缺陷部位与检测图片集中预测的缺陷部位的相似度。最后根据相似度，输出检测结果。这样，在进行管道焊缝缺陷检测时，采集管道焊缝的多类缺陷数据，建立多类缺陷数据的辅助图片集，并进行相应的标注，这样在训练模型的过程中，可以减少训练模型所需的样本数据，减少缺陷数据采集和标注的人工成本，提高了效率。并且，使用区域建议网络，结合辅助图片集的特征信息，确定检测图片集中预测的缺陷部位，在减少模型训练量的同时，对于特定类型的管道焊缝也可以有较好的检测结果，提高了管道焊缝缺陷检测的检测效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种管道焊缝缺陷检测方法的网络结构示意图；
图2为本申请实施例提供的一种管道焊缝缺陷检测方法的流程示意图；
图3为本申请实施例提供的另一种管道焊缝缺陷检测方法的流程示意图；
图4为本申请实施例提供的一种管道焊缝缺陷检测装置的示意图；
图5为本申请实施例涉及的硬件运行环境的电子设备结构示意图。
具体实施方式
本申请实施例提供的管道焊缝缺陷检测方法及相关装置，能够提高管道焊缝缺陷检测的效率和检测效果。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例进行详细介绍。
首先参见图1，图1为本申请实施例提供的一种管道焊缝缺陷检测方法的网络结构示意图。如图1所示，首先获取辅助图片集和检测图片集。具体的，采集管道焊缝的多类缺陷图片，标注多类缺陷图片中的缺陷部位。然后对该多类缺陷图片中的缺陷部位进行分类，得到该多类缺陷图片中的缺陷部位的类别。最后根据该多类缺陷图片和该多类缺陷图片中的缺陷部位的类别，生成辅助图片集。并且，在采集管道焊缝的多类缺陷图片时，可以针对特定类型的管道焊缝进行采集，这样在管道焊缝缺陷检测时，对于特定类型的管道焊缝也可以有较好的检测结果。
其次，将该辅助图片集和该检测图片集输入特征提取网络，得到该辅助图片集对应的第一特征图和该检测图片集对应的第二特征图。具体的，特征提取网络包括多个子网络，为了示意图1中只画出了两个子网络。特征提取网络包括的多个子网络的权重共享，多个子网络中的其中一个子网络用于提取该检测图片集的特征，多个子网络中的其他子网络用于提取该辅助图片集的特征。
其次，使用区域建议网络对该第一特征图和该第二特征图进行处理，得到该检测图片集中预测的缺陷部位。具体的，使用区域建议网络，结合辅助图片集的特征信息，确定检测图片集中预测的缺陷部位，在减少模型训练量的同时，对于特定类型的管道焊缝也可以有较好的检测结果，提高了管道焊缝缺陷检测的检测效果。
其次，确定该辅助图片集中标注的缺陷部位与该检测图片集中预测的缺陷部位的相似度。具体的，使用多关系检测器对该辅助图片集中标注的缺陷部位和该检测图片集中预测的缺陷部位进行相似度检测。通过多关系检测器可以得到多个相似度，根据多个相似度可以确定该辅助图片集中标注的缺陷部位与该检测图片集中预测的缺陷部位的相似度。
最后，根据相似度，输出检测结果。具体的，得到该辅助图片集中标注的缺陷部位与该检测图片集中预测的缺陷部位的相似度后，可以确定相似度最高的缺陷部位的类别，即为检测图片集中预测的缺陷部位的类别，然后输出检测结果。
可以看出，通过本申请实施例提供的管道焊缝缺陷检测方法的网络结构，在进行管道焊缝缺陷检测时，采集管道焊缝的多类缺陷数据，建立多类缺陷数据的辅助图片集，并进行相应的标注，这样在训练模型的过程中，可以减少训练模型所需的样本数据，减少缺陷数据采集和标注的人工成本，提高了效率。并且，使用区域建议网络，结合辅助图片集的特征信息，确定检测图片集中预测的缺陷部位，在减少模型训练量的同时，对于特定类型的管道焊缝也可以有较好的检测结果，提高了管道焊缝缺陷检测的检测效果。
参见图2，图2为本申请实施例提供的一种管道焊缝缺陷检测方法的流程示意图，该管道焊缝缺陷检测方法可适用于图1中的网络结构。其中，如图2所示，本申请实施例提供的一种管道焊缝缺陷检测方法可以包括：
201、获取辅助图片集和检测图片集。
可选的，获取辅助图片集的方式可以是：采集管道焊缝的多类缺陷图片；标注多类缺陷图片中的缺陷部位；然后对该多类缺陷图片中的缺陷部位进行分类，得到该多类缺陷图片中的缺陷部位的类别；最后根据该多类缺陷图片和该多类缺陷图片中的缺陷部位的类别，生成辅助图片集。在一种可能的实施方式中，在采集管道焊缝的多类缺陷图片时，可以针对特定类型的管道焊缝进行采集，这样在管道焊缝缺陷检测时，对于特定类型的管道焊缝也可以有较好的检测结果。
具体的，检测图片集为需要进行管道焊缝缺陷检测的射线图片集。
202、将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图。
可选的，所述特征提取网络包括多个子网络，所述多个子网络的权重共享，所述多个子网络中的其中一个子网络用于提取所述检测图片集的特征，所述多个子网络中的其他子网络用于提取所述辅助图片集的特征。
在一种可能的实施方式中，所述辅助图片集包括N个类别的图片，所述N个类别的图片中每个类别的图片包括K张图片，其中，N和K都为正整数。所述其他子网络中的每个子网络分别用于提取所述每个类别的图片的特征，并且所述每个类别的图片的特征为所述每个类别的图片包括的K张图片的平均特征。
203、使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位。
可选的，使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位的方法可以是：根据所述第一特征图和所述第二特征图，计算相似度特征图；根据所述相似度特征图，确定所述检测图片集中预测的缺陷部位。
具体的，区域建议网络(region proposal network，RPN)用于分辨前景和背景，产生潜在的相关框。采用区域建议网络，结合辅助图片集的特征信息，可以提取检测图片集中的候选框，从而确定检测图片集中预测的缺陷部位。使用区域建议网络，结合辅助图片集的特征信息，确定检测图片集中预测的缺陷部位，在减少模型训练量的同时，对于特定类型的管道焊缝也可以有较好的检测结果，提高了管道焊缝缺陷检测的检测效果。
204、确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度。
可选的，确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度的方法可以是：使用多关系检测器对所述辅助图片集中标注的缺陷部位和所述检测图片集中预测的缺陷部位进行相似度检测，其中，所述多关系检测器包括M个相似度检测模块，M为大于1的整数；获取所述M个相似度检测模块检测得到的M个相似度；根据所述M个相似度，确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度。
在一种可能的实施方式中，M为3，所述获取所述M个相似度检测模块检测得到的M个相似度的方法可以是：获取第一相似度检测模块检测得到的全局相似度；获取第二相似度检测模块检测得到的局部相似度；获取第三相似度检测模块检测得到的块相似度。
205、根据所述相似度，输出检测结果。
具体的，得到该辅助图片集中标注的缺陷部位与该检测图片集中预测的缺陷部位的相似度后，可以确定相似度最高的缺陷部位的类别，即为检测图片集中预测的缺陷部位的类别，然后输出检测结果。
可以看出，通过本申请实施例提出的管道焊缝缺陷检测方法，首先获取辅助图片集和检测图片集。其次将辅助图片集和检测图片集输入特征提取网络，得到辅助图片集对应的第一特征图和检测图片集对应的第二特征图。其次使用区域建议网络对第一特征图和第二特征图进行处理，得到检测图片集中预测的缺陷部位。其次确定辅助图片集中标注的缺陷部位与检测图片集中预测的缺陷部位的相似度。最后根据相似度，输出检测结果。这样，在进行管道焊缝缺陷检测时，采集管道焊缝的多类缺陷数据，建立多类缺陷数据的辅助图片集，并进行相应的标注，这样在训练模型的过程中，可以减少训练模型所需的样本数据，减少缺陷数据采集和标注的人工成本，提高了效率。并且，使用区域建议网络，结合辅助图片集的特征信息，确定检测图片集中预测的缺陷部位，在减少模型训练量的同时，对于特定类型的管道焊缝也可以有较好的检测结果，提高了管道焊缝缺陷检测的检测效果。
参见图3，图3为本申请实施例提供的另一种管道焊缝缺陷检测方法的流程示意图，该管道焊缝缺陷检测方法也可适用于图1中的网络结构。其中，如图3所示，本申请实施例提供的另一种管道焊缝缺陷检测方法可以包括：
301、获取辅助图片集和检测图片集。
可选的，获取辅助图片集的方式可以是：采集管道焊缝的多类缺陷图片；标注多类缺陷图片中的缺陷部位；然后对该多类缺陷图片中的缺陷部位进行分类，得到该多类缺陷图片中的缺陷部位的类别；最后根据该多类缺陷图片和该多类缺陷图片中的缺陷部位的类别，生成辅助图片集。在一种可能的实施方式中，在采集管道焊缝的多类缺陷图片时，可以针对特定类型的管道焊缝进行采集，这样在管道焊缝缺陷检测时，对于特定类型的管道焊缝也可以有较好的检测结果。
具体的，检测图片集为需要进行管道焊缝缺陷检测的射线图片集。
302、将辅助图片集和检测图片集输入特征提取网络，得到辅助图片集对应的第一特征图和检测图片集对应的第二特征图。
可选的，所述特征提取网络包括多个子网络，所述多个子网络的权重共享，所述多个子网络中的其中一个子网络用于提取所述检测图片集的特征，所述多个子网络中的其他子网络用于提取所述辅助图片集的特征。
举例来说，特征提取网络包括四个子网络，分别为第一子网络、第二子网络、第三子网络和第四子网络，这四个字网络的权重共享。根据缺陷部位的类别，将辅助图片集分为三种类别的图片，包括A类图片、B类图片和C类图片。那么，第一子网络可以用于提取检测图片集的特征，第二子网络可以用于提取A类图片的特征，第三子网络可以用于提取B类图片的特征，第四子网络可以用于提取C类图片的特征。此处仅为举例，不做限定。
在一种可能的实施方式中，所述辅助图片集包括N个类别的图片，所述N个类别的图片中每个类别的图片包括K张图片，其中，N和K都为正整数。所述其他子网络中的每个子网络分别用于提取所述每个类别的图片的特征，并且所述每个类别的图片的特征为所述每个类别的图片包括的K张图片的平均特征。例如，当采用第二子网络提取A类图片的特征时，提取到的A类图片的特征为A类图片包括的K张图片的平均特征。
303、根据第一特征图和第二特征图，计算相似度特征图。
具体的，将第一特征图和第二特征图输入区域建议网络，根据第一特征图和第二特征图，计算相似度特征图。
对于第一特征图X∈ts*s*c以及第二特征图Y∈th*w*c，计算相似度特征图满足的公式如下：
304、根据相似度特征图，确定检测图片集中预测的缺陷部位。
具体的，采用区域建议网络，结合辅助图片集的特征信息，可以提取检测图片集中的候选框，从而确定检测图片集中预测的缺陷部位。使用区域建议网络，结合辅助图片集的特征信息，确定检测图片集中预测的缺陷部位，在减少模型训练量的同时，对于特定类型的管道焊缝也可以有较好的检测结果，提高了管道焊缝缺陷检测的检测效果。
305、使用多关系检测器对辅助图片集中标注的缺陷部位和检测图片集中预测的缺陷部位进行相似度检测。
具体的，多关系检测器(multi-relation detector)包括M个相似度检测模块，其中，M为大于1的整数。通过多个相似度检测模块对缺陷部位进行检测，可以获取得到多个层面的相似度，从而可以提高管道焊缝缺陷检测的检测效果。
306、获取M个相似度检测模块检测得到的M个相似度。
在一种可能的实施方式中，M为3，获取M个相似度检测模块检测得到的M个相似度的方法可以是：获取第一相似度检测模块检测得到的全局相似度；获取第二相似度检测模块检测得到的局部相似度；获取第三相似度检测模块检测得到的块相似度。
具体的，通过第一相似度检测模块对辅助图片集中标注的缺陷部位和检测图片集中预测的缺陷部位进行检测，使用全局池化的方法获取全局相似度；通过第二相似度检测模块对辅助图片集中标注的缺陷部位和检测图片集中预测的缺陷部位进行检测，使用相似度特征图获取局部相似度；通过第三相似度检测模块对辅助图片集中标注的缺陷部位和检测图片集中预测的缺陷部位进行检测，通过多通道2D卷积的方法获取块相似度。
307、根据M个相似度，确定辅助图片集中标注的缺陷部位与检测图片集中预测的缺陷部位的相似度。
可选的，获取M个相似度后，计算这M个相似度的和，作为最终确定的辅助图片集中标注的缺陷部位与检测图片集中预测的缺陷部位的相似度。
在一种可能的实施方式中，获取M个相似度后，还可以计算这M个相似度的加权和，作为最终确定的辅助图片集中标注的缺陷部位与检测图片集中预测的缺陷部位的相似度。具体的，这M个相似度对应的权重可以根据重要程度分别设置。
308、根据所述相似度，输出检测结果。
具体的，得到该辅助图片集中标注的缺陷部位与该检测图片集中预测的缺陷部位的相似度后，可以确定相似度最高的缺陷部位的类别，即为检测图片集中预测的缺陷部位的类别，然后输出检测结果。
可以看出，通过本申请实施例提出的管道焊缝缺陷检测方法，在进行管道焊缝缺陷检测时，采集管道焊缝的多类缺陷数据，建立多类缺陷数据的辅助图片集，并进行相应的标注，这样在训练模型的过程中，可以减少训练模型所需的样本数据，减少缺陷数据采集和标注的人工成本，提高了效率。并且，使用区域建议网络，结合辅助图片集的特征信息，确定检测图片集中预测的缺陷部位，在减少模型训练量的同时，对于特定类型的管道焊缝也可以有较好的检测结果，提高了管道焊缝缺陷检测的检测效果。
参见图4，图4为本申请实施例提供的一种管道焊缝缺陷检测装置的示意图。其中，如图4所示，本申请实施例提供的一种管道焊缝缺陷检测装置可以包括：
获取模块401，用于获取辅助图片集和检测图片集；
特征提取模块402，用于将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；
处理模块403，用于使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；
确定模块404，用于确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；
输出模块405，用于根据所述相似度，输出检测结果。
本申请实施例中管道焊缝缺陷检测装置的具体实施可参见上述管道焊缝缺陷检测方法的各实施例，在此不做赘述。
参见图5，图5为本申请的实施例涉及的硬件运行环境的电子设备结构示意图。其中，如图5所示，本申请的实施例涉及的硬件运行环境的电子设备可以包括：
处理器501，例如CPU。
存储器502，可选的，存储器可以为高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。
通信接口503，用于实现处理器501和存储器502之间的连接通信。
本领域技术人员可以理解，图5中示出的电子设备的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，存储器502中可以包括操作系统、网络通信模块以及检测程序。操作系统是管理和控制电子设备硬件和软件资源的程序，支持检测程序以及其他软件或程序的运行。网络通信模块用于实现存储器502内部各组件之间的通信，以及与电子设备中其他硬件和软件之间通信。
在图5所示的电子设备中，处理器501用于执行存储器502中存储的检测程序，实现以下步骤：
获取辅助图片集和检测图片集；
将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；
使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；
确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；
根据所述相似度，输出检测结果。
本申请实施例中电子设备的具体实施可参见上述管道焊缝缺陷检测方法的各实施例，在此不做赘述。
本申请的另一个实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行以实现以下步骤：
获取辅助图片集和检测图片集；
将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；
使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；
确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；
根据所述相似度，输出检测结果。
本申请实施例中计算机可读存储介质的具体实施可参见上述管道焊缝缺陷检测方法的各实施例，在此不做赘述。
还需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (8)

1.一种管道焊缝缺陷检测方法，其特征在于，包括：
获取辅助图片集和检测图片集；
将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；
使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；
确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；
根据所述相似度，输出检测结果；
其中，所述特征提取网络包括多个子网络，所述多个子网络的权重共享，所述多个子网络中的其中一个子网络用于提取所述检测图片集的特征，所述多个子网络中的其他子网络用于提取所述辅助图片集的特征；
所述使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位，包括：
根据所述第一特征图和所述第二特征图，计算相似度特征图；
根据所述相似度特征图，确定所述检测图片集中预测的缺陷部位。
2.根据权利要求1所述的方法，其特征在于，所述获取辅助图片集包括：
采集管道焊缝的多类缺陷图片；
标注所述多类缺陷图片中的缺陷部位；
对所述多类缺陷图片中的缺陷部位进行分类，得到所述多类缺陷图片中的缺陷部位的类别；
根据所述多类缺陷图片和所述多类缺陷图片中的缺陷部位的类别，生成所述辅助图片集。
3.根据权利要求2所述的方法，其特征在于，所述辅助图片集包括N个类别的图片，所述N个类别的图片中每个类别的图片包括K张图片，其中，N和K都为正整数，所述其他子网络中的每个子网络分别用于提取所述每个类别的图片的特征，并且所述每个类别的图片的特征为所述每个类别的图片包括的K张图片的平均特征。
4.根据权利要求1所述的方法，其特征在于，所述确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度包括：
使用多关系检测器对所述辅助图片集中标注的缺陷部位和所述检测图片集中预测的缺陷部位进行相似度检测，其中，所述多关系检测器包括M个相似度检测模块，M为大于1的整数；
获取所述M个相似度检测模块检测得到的M个相似度；
根据所述M个相似度，确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度。
5.根据权利要求4所述的方法，其特征在于，M为3，所述获取所述M个相似度检测模块检测得到的M个相似度包括：
获取第一相似度检测模块检测得到的全局相似度；
获取第二相似度检测模块检测得到的局部相似度；
获取第三相似度检测模块检测得到的块相似度。
6.一种管道焊缝缺陷检测装置，所述装置用于执行如权利要求1-5任一项所述的方法，其特征在于，包括：
获取模块，用于获取辅助图片集和检测图片集；
特征提取模块，用于将所述辅助图片集和所述检测图片集输入特征提取网络，得到所述辅助图片集对应的第一特征图和所述检测图片集对应的第二特征图；
处理模块，用于使用区域建议网络对所述第一特征图和所述第二特征图进行处理，得到所述检测图片集中预测的缺陷部位；
确定模块，用于确定所述辅助图片集中标注的缺陷部位与所述检测图片集中预测的缺陷部位的相似度；
输出模块，用于根据所述相似度，输出检测结果。
7.一种电子设备，其特征在于，所述电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1至5任一项方法中的步骤的指令。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至5任意一项所述的方法。
CN202011505087.XA 2020-12-18 2020-12-18 一种管道焊缝缺陷检测方法及相关装置 Active CN112734693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011505087.XA CN112734693B (zh) 2020-12-18 2020-12-18 一种管道焊缝缺陷检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011505087.XA CN112734693B (zh) 2020-12-18 2020-12-18 一种管道焊缝缺陷检测方法及相关装置

Publications (2)

Publication Number Publication Date
CN112734693A CN112734693A (zh) 2021-04-30
CN112734693B true CN112734693B (zh) 2024-06-07

Family

ID=75603160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011505087.XA Active CN112734693B (zh) 2020-12-18 2020-12-18 一种管道焊缝缺陷检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN112734693B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436162B (zh) * 2021-06-23 2022-12-09 湖南国天电子科技有限公司 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置
CN113628179B (zh) * 2021-07-30 2023-11-24 厦门大学 一种pcb表面缺陷实时检测方法、装置及可读介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105241923A (zh) * 2015-10-08 2016-01-13 电子科技大学 倒装焊焊点缺陷检测方法
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN108665452A (zh) * 2018-05-09 2018-10-16 广东大鹏液化天然气有限公司 一种基于大数据的管道焊缝底片扫描入库及焊缝缺陷识别方法及其系统
CN108830837A (zh) * 2018-05-25 2018-11-16 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
CN109325538A (zh) * 2018-09-29 2019-02-12 北京京东尚科信息技术有限公司 目标检测方法、装置和计算机可读存储介质
CN109784327A (zh) * 2018-12-04 2019-05-21 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质
CN110930347A (zh) * 2018-09-04 2020-03-27 京东方科技集团股份有限公司 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
CN110969611A (zh) * 2019-12-03 2020-04-07 广州特种承压设备检测研究院 管道焊缝缺陷检测方法、装置、系统及存储介质
WO2020143592A1 (zh) * 2019-01-07 2020-07-16 鲁班嫡系机器人（深圳）有限公司 缺陷识别模型训练方法、装置、计算机设备和存储介质
CN112016675A (zh) * 2020-08-13 2020-12-01 北京首钢自动化信息技术有限公司 用于钢板表面缺陷检测的cnn模型训练方法和装置
CN112036418A (zh) * 2020-09-04 2020-12-04 京东数字科技控股股份有限公司 用于提取用户特征的方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105241923A (zh) * 2015-10-08 2016-01-13 电子科技大学 倒装焊焊点缺陷检测方法
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN108665452A (zh) * 2018-05-09 2018-10-16 广东大鹏液化天然气有限公司 一种基于大数据的管道焊缝底片扫描入库及焊缝缺陷识别方法及其系统
CN108830837A (zh) * 2018-05-25 2018-11-16 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
CN110930347A (zh) * 2018-09-04 2020-03-27 京东方科技集团股份有限公司 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
CN109325538A (zh) * 2018-09-29 2019-02-12 北京京东尚科信息技术有限公司 目标检测方法、装置和计算机可读存储介质
CN109784327A (zh) * 2018-12-04 2019-05-21 北京达佳互联信息技术有限公司 边界框确定方法、装置、电子设备及存储介质
WO2020143592A1 (zh) * 2019-01-07 2020-07-16 鲁班嫡系机器人（深圳）有限公司 缺陷识别模型训练方法、装置、计算机设备和存储介质
CN110473197A (zh) * 2019-08-13 2019-11-19 树根互联技术有限公司 材料表面缺陷检测方法、装置、设备及存储介质
CN110969611A (zh) * 2019-12-03 2020-04-07 广州特种承压设备检测研究院 管道焊缝缺陷检测方法、装置、系统及存储介质
CN112016675A (zh) * 2020-08-13 2020-12-01 北京首钢自动化信息技术有限公司 用于钢板表面缺陷检测的cnn模型训练方法和装置
CN112036418A (zh) * 2020-09-04 2020-12-04 京东数字科技控股股份有限公司 用于提取用户特征的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
改进Faster RCNN在铝型材表面缺陷检测中的应用研究;陈坤等;中国计量大学学报;20200630;第31卷(第02期);第240-246页 *

Also Published As

Publication number Publication date
CN112734693A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN112734693B (zh) 一种管道焊缝缺陷检测方法及相关装置
KR20170122836A (ko) 이미지로부터 상가 발견
CN111222395A (zh) 目标检测方法、装置与电子设备
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
CN110346704B (zh) 板卡测试中测试文件的确定方法、装置、设备及存储介质
CN112287896A (zh) 一种基于深度学习的无人机航拍图像目标检测方法及系统
WO2019127102A1 (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN115908988B (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN109978044B (zh) 训练数据生成方法和装置、以及模型的训练方法和装置
CN105205000A (zh) 定位软件开发中代码受影响范围的方法及系统
CN111121797B (zh) 道路筛选方法、装置、服务器及存储介质
Yahaghi et al. Enhanced defect detection in radiography images of welded objects
CN114639102B (zh) 基于关键点与尺寸回归的细胞分割方法和装置
CN114359932B (zh) 文本检测方法、文本识别方法及装置
CN113191235B (zh) 杂物检测方法、装置、设备及存储介质
CN113807185A (zh) 一种数据处理方法和装置
CN115439700B (zh) 一种图像处理方法、装置和机器可读存储介质
CN116596895A (zh) 一种变电设备图像缺陷识别方法及系统
CN111079624B (zh) 一种样本信息采集的方法、装置、电子设备以及介质
CN113392746A (zh) 动作标准挖掘方法、装置、电子设备和计算机存储介质
CN111260757A (zh) 一种图像处理方法、装置及终端设备
CN111859052B (zh) 实地调查成果的分级展示方法及系统
CN115641430B (zh) 一种兴趣面确定方法、装置、介质及计算机设备
CN117079103B (zh) 一种用于神经网络训练的伪标签生成方法及系统
CN113887567B (zh) 一种蔬菜质量检测方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40045411

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant