CN114862745A - 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置 - Google Patents

焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置 Download PDF

Info

Publication number
CN114862745A
CN114862745A CN202110155569.5A CN202110155569A CN114862745A CN 114862745 A CN114862745 A CN 114862745A CN 202110155569 A CN202110155569 A CN 202110155569A CN 114862745 A CN114862745 A CN 114862745A
Authority
CN
China
Prior art keywords
defect
identification
sample
image
weld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110155569.5A
Other languages
English (en)
Inventor
林嵩
雷铮强
张丰
李莉
王维斌
王富祥
毕武喜
任武
玄文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Petrochina Co Ltd
Original Assignee
Petrochina Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Petrochina Co Ltd filed Critical Petrochina Co Ltd
Priority to CN202110155569.5A priority Critical patent/CN114862745A/zh
Publication of CN114862745A publication Critical patent/CN114862745A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置，属于管道技术领域。该方法包括：获取待识别图像；调用焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像，该方法可以客观且准确地识别出管道的焊缝缺陷。

Description

焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置
技术领域
本申请涉及管道技术领域，特别涉及一种焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置。
背景技术
油气长输管道作为原油、成品油与天然气的主要运输载体之一，在国民基础建设中扮演着重要的角色。油气长输管道是由多个钢管焊接组成的，钢管与钢管之间的焊缝可能存在缺陷，即是管道焊缝缺陷。
管道焊缝缺陷是影响管道安全运营的重要因素之一，随着管道建设向大口径、高压力、高钢级的发展，大量的管道焊缝检测数据需要进行管道焊缝缺陷的识别和评价。长期以来，管道焊缝缺陷的识别一直依赖于专业人员的经验，因此，专业人员的经验积累很大程度上决定了对管道焊缝缺陷识别的准确率。
而即便是经验丰富的专业人员也容易受各类主观和客观因素的影响，比如，专业人员长期观看类似图片产生视觉疲劳、情绪变化、环境光弱、以及图片清晰度低，导致对管道焊缝缺陷识别的准确率下降。
发明内容
本申请实施例提供了一种焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置，可以客观且准确地识别出管道的焊缝缺陷。所述技术方案如下：
根据本申请的一个方面，提供了一种焊缝缺陷识别方法，应用于计算机设备中，该计算机设备中设置有基于卷积神经网络构建的焊缝缺陷识别模型，该方法包括：
获取待识别图像，待识别图像是采集的长输管道的焊缝图像；
调用焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；
基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像。
根据本申请的另一个方面，提供了一种焊缝缺陷识别模型的训练方法，该方法包括：
从数据库中获取m个焊缝缺陷图像样本，焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型；
调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型；
计算样本缺陷位置和识别缺陷位置、以及样本缺陷类型和识别缺陷类型之间的识别损失；
基于识别损失调整待训练模型的模型参数，基于m个焊缝缺陷图像样本对待训练模型进行迭代训练，最终得到焊缝缺陷识别模型，m为大于1的正整数。
根据本申请的另一个方面，提供了一种焊缝缺陷识别装置，该装置中设置有基于卷积神经网络构建的焊缝缺陷识别模型，该装置包括：
第一获取模块，用于获取待识别图像，待识别图像是采集的长输管道的焊缝图像；
第一识别模块，用于调用焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；
标记模块，用于基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像。
根据本申请的另一个方面，提供了一种焊缝缺陷识别模型的训练装置，该装置包括：
第二获取模块，用于从数据库中获取m个焊缝缺陷图像样本，焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型；
第二识别模块，用于调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型；
计算模块，用于计算样本缺陷位置和识别缺陷位置、以及样本缺陷类型和识别缺陷类型之间的识别损失；
训练模块，用于基于识别损失调整待训练模型的模型参数，基于m个焊缝缺陷图像样本对待训练模型进行迭代训练，最终得到焊缝缺陷识别模型，m为大于1的正整数。
根据本申请的另一方面，提供了一种计算机设备，上述计算机设备包括：处理器和存储器，上述存储器存储有计算机程序，上述计算机程序由上述处理器加载并执行以实现如上所述的焊缝缺陷识别方法，或者，如上所述的焊缝缺陷识别模型的训练方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，上述计算机程序由处理器加载并执行以实现如上所述的焊缝缺陷识别方法，或者，如上所述的焊缝缺陷识别模型的训练方法。
根据本申请的另一个方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上所述的焊缝缺陷识别方法，或者，如上所述的焊缝缺陷识别模型的训练方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
计算机设备中设置有基于卷积神经网络构建的焊缝缺陷识别模型，在需要对管道焊缝缺陷识别时，计算机设备调用焊缝缺陷识别模型对管道的焊缝图像进行运算识别，直接输出标记有管道焊缝缺陷的位置与类型的图像，客观且准确地识别出了管道的焊缝缺陷，避免了专业人员长期观看类似图片产生视频疲劳、情绪变化、环境光弱、以及图片清晰度低等各类主观和客观因素的影响，导致的对管道焊缝缺陷识别的准确率降低这一问题；或者，上述机器识别出的管道焊缝缺陷可以作为有力的参考数据，专业人员基于机器识别出的管道焊缝缺陷迅速地最终确定出管道焊缝缺陷位置和类型。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的计算机系统的结构示意图；
图2示出了本申请一个示例性实施例提供的焊缝缺陷识别方法的流程图；
图3示出了本申请一个示例性实施例提供的焊缝缺陷识别模型的结构示意图；
图4示出了本申请一个示例性实施例提供的焊缝缺陷识别结果的示意图；
图5示出了本申请一个示例性实施例提供的焊缝缺陷识别模型的训练方法的流程图；
图6示出了本申请一个示例性实施例提供的焊缝缺陷识别装置的结构示意图；
图7示出了本申请一个示例性实施例提供的焊缝缺陷识别模型的训练装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先对本申请涉及的几个名词进行介绍：
长输管道(Long distance pipeline)，指产地、储存库、使用单位间的用于输送商品介质的管道。油气长输管道即是产地、储存库、使用单位间的用于输送原油、成品油与天然气的管道。
环向焊缝，是各种圆形、环形焊缝的焊接，焊接成型的焊缝是封闭的圆环形。
图1示出了本申请的一个示例性实施例提供的计算机系统100的结构示意图，该计算机系统100包括射线探伤设备120、数据库140、服务器集群160和终端180。
射线探伤设备120是利用射线穿过物体时物体局部区域结构差异改变物体对射线的衰减，然后检测投射射线强度，判断物体内部的缺陷和物质分布的仪器。示例性的，射线探伤包括X射线探伤、γ射线探伤、高能射线探伤中的至少一种。摄像探伤设备120利用射线照射焊缝，通过底片感光显影，由于焊缝缺陷的密度比金属小，故在有焊缝缺陷处底片的感光度大，显影后底片上会出现黑色条纹或者斑点，根据底片上的黑斑的位置、形状、大小即可判断缺陷的位置、大小和种类。示例性的，在本申请提供的实施例中，射线探伤设备120对管道焊缝进行照射，从而获得底片图像，即是待识别图像。
射线探伤设备120与数据库140之间通过有线或者无线网络进行连接，射线探伤设备120在采集得到底片图像之后，将底片图像传输至数据库140中进行存储。数据库140与服务器集群160之间通过有线或者无线网络进行连接，服务器集群160从数据库140中获取待识别图像，调用焊缝缺陷识别模型对待识别图像进行缺陷识别，从而得到管道焊缝缺陷的缺陷位置和缺陷类型，基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像。示例性的，服务器集群160还将标记有管道焊缝缺陷的图像发送至数据库140进行存储。
射线探伤设备120还可以与服务器集群160通过有线或者无线网络进行连接，射线探伤设备120在采集得到待识别图像之后，将待识别图像直接传输至服务器集群160中，由服务器集群160基于待识别图像进行管道焊缝缺陷识别，输出标记有管道焊缝缺陷的图像。
服务器集群160上设置有显示设备，服务器集群160可以通过上述显示设备展示标记有管道焊缝缺陷的图像。或者，服务器集群160还与终端180通过有线或者无线连接进行通信，在终端180的显示设备上可以显示标记有管道焊缝缺陷的图像。
示例性的，上述管道焊缝缺陷的识别与展示可以是实时性的，即射线探伤设备120实时采集待识别图像，将上述待识别图像传输至服务器集群160中进行管道焊缝缺陷识别，最终将识别结果显示在显示设备上，该识别结果包括标记有管道焊缝缺陷的图像，以及未标记有管道焊缝缺陷的图像。
示例性的，射线探伤设备120可以集成管道焊缝缺陷识别功能、以及图像显示功能。相应地，射线探伤设备120采集到待识别图像之后，直接调用管道焊缝识别模型进行待识别图像的识别处理，确定待识别图像中是否有管道焊缝缺陷，对识别处理后的图像进行显示。
需要说明的是，在射线探伤设备120或者服务器集群160或者终端180上安装并运行有客户端，该客户端可以实现对待识别图像的数据处理功能的触发，比如，触发对焊缝缺陷的识别、以及对识别处理后图像的展示等功能。
上述服务器集群160可以包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。示例性的，上述终端180可以包括智能手机、平板电脑、膝上型便携计算机和台式计算机中、笔记本电脑的至少一种。本领域技术人员可以知晓，上述终端180的数量可以更多或更少。比如，上述终端180可以仅为一个，或者上述终端180为几十个或几百个，或者更多数量，本申请实施例对终端180的数量和设备类型不加以限定。
图2示出了本申请的一个示例性实施例提供的焊缝缺陷识别方法的流程图，该方法应用于计算机设备中，该计算机设备中设置有基于卷积神经网络构建的焊缝缺陷识别模型，计算机设备可以包括服务器与终端，以该方法应用于如图1所示的服务器中为例进行说明，该方法包括：
步骤201，获取待识别图像。
上述待识别图像是采集的长输管道的焊缝图像；示例性的，上述识别图像是采集的长输管道的环向焊缝的焊缝图像。
可选地，上述待识别图像存储在数据库中，则服务器从数据库中获取待识别图像；或者，上述待识别图像是由射线探伤设备传输至服务器中的，则服务器接收射线探伤设备发送的待识别图像。
示例性的，在获得待识别图像之后，若待识别图像的格式不是指定格式，服务器对待识别图像进行格式转换，将待识别图像的格式转换为指定格式，得到指定格式的待识别图像。比如，将管道环向焊缝的射线检测得到的原始底片图像(即待识别图像)转换为16位的便携式网络图形(Portable Network Graphics，PNG)格式的灰度图。示例性的，数据库中存储的待识别图像的是预处理后得到的指定格式的焊缝图像。
步骤202，调用焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型。
服务器将待识别图像输入焊缝缺陷识别模型中，由焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型。可选地，缺陷类型包括未熔合缺陷、圆形缺陷、条形缺陷、未焊透缺陷、裂纹缺陷、咬边缺陷、以及内凹缺陷中的至少一种。
其中，圆形缺陷是指长宽比小于或者等于3的非裂纹、未焊透和未熔合的缺陷，其包括气孔、块状夹渣、夹钨等。条形缺陷是指长宽比大于3的不属于裂纹、未焊透和未熔合的缺陷。其包括条渣和条孔等。未焊透缺陷是指母材金属之间没有熔化，焊缝金属没有进入接头的部位根部造成的缺陷，其包括根部未熔合、坡口未熔合和层间未熔合等。裂纹是指材料间局部断裂形成的缺陷，其包括热裂纹和冷裂纹。咬边缺陷是指焊缝边缘留下的凹陷。内凹缺陷是指焊后焊缝表面或焊缝背面形成的低于母材表面的局部低洼部分。未熔合缺陷是指焊缝金属与母材金属未完全熔化结合，或者焊道金属与焊道金属之间未完全熔化结合产生的缺陷。
示例性的，如图3，示出了一个可选的焊缝缺陷识别模型的结构示意图，输入端由两个卷积层(Convolutionallayer)310串联组成，第一个卷积层中设置有3×3的卷积核，其通道数为32，图像输出尺寸为256×256；第二个卷积层中设置有3×3的卷积核，其通道数为64，步长为2，图像输出尺寸为128×128。第二个卷积层连接有一个块(block)301，block301中包括依次串联的两个卷积层和一个残差网络(ResidualNetworks，ResNets)层，第一个卷积层1中设置有1×1的卷积核，其通道数为64；第二个卷积层1中设置有3×3的卷积核，其通道数为64；残差网络层1的图像输出尺寸为128×128。将块与块之间连接的卷积层称为中间卷积层306，上述block301通过第一个中间卷积层与2个串联的block302相连，block302通过第二个中间卷积层与8个串联的block303相连，block303通过第三个中间卷积层与8个串联的block304相连，block304通过第四个中间卷积层与4个串联的block305相连；其中，上述每一个block的结构均相同，通道数和图像输出尺寸存在不同；每一个中间卷积层的卷积核尺寸均为3×3，步长均为2，通道数和图像输出尺寸也存在不同。最后一个block305与全局平均池化(Global Average Pooling)层307连接，全局平均池化层307与全连接(FullyConnected)层308相连，全连接层308与归一化(softmax)层309连接。待识别图像从第一个卷积层输入，经过卷积、残差、池化、全连接、以及归一化计算，由softmax层输出最终的识别结果，比如，由softmax层输出管道焊缝缺陷的缺陷位置和缺陷类型。
步骤203，基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像。
在从待识别图像中识别出管道焊缝缺陷时，服务器基于缺陷位置和缺陷类型在待识别图像中对管道焊缝缺陷进行标记，示例性的，如图4中的左图，将识别出的缺陷位置用方框311标记出来，还可以在方框311的周围标记缺陷类型，如图4中的右图，方框311右侧标记了管道焊缝缺陷为条形缺陷312。
综上所述，本实施例提供的焊缝缺陷识别方法，在需要对管道焊缝缺陷识别时，由服务器调用焊缝缺陷识别模型对管道的焊缝图像进行运算识别，直接输出标记有管道焊缝缺陷的位置与类型的图像，客观且准确地识别出了管道的焊缝缺陷，避免了专业人员长期观看类似图片产生视频疲劳、情绪变化、环境光弱、以及图片清晰度低等各类主观和客观因素的影响，导致的对管道焊缝缺陷识别的准确率降低这一问题，使得输出结果更加稳定；或者，上述机器识别出的管道焊缝缺陷可以作为有力的参考数据，专业人员基于机器识别出的管道焊缝缺陷迅速地最终确定出管道焊缝缺陷位置和类型；提高焊缝缺陷的识别效率，减少焊缝缺陷识别的主观误差。
图5示出了本申请的一个示例性实施例提供的焊缝缺陷识别模型的训练方法的流程图，该方法应用于计算机设备中，该计算机设备可以包括服务器与终端，以该方法应用于如图1所示的服务器中为例进行说明，该方法包括：
步骤401，从数据库中获取m个焊缝缺陷图像样本，焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型。
服务器中存储有m个焊缝缺陷图像样本，每一个焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型，m为大于1的正整数。其中，上述m个焊缝缺陷图像样本是经过处理后的指定格式的图像，且上述m个焊缝缺陷图像样本中包含各类管道焊缝缺陷。示例性的，每一个焊缝缺陷图像样本上标注有i个矩形框，每一个矩形框内仅存在一个类型的管道焊缝缺陷，i为正整数。示例性的，每一个矩形框内管道焊缝缺陷所占面积与矩形框面积的比值大于比例阈值，即管道焊缝缺陷所占矩形框中面积需要尽可能大。
示例性的，标注矩形框格式为(p,xmin,ymin,xmax,ymax,type)，p代表标注区域是否存在缺陷，xmin和ymin分别代表标注矩形框左上角的横坐标和纵坐标，xmax和ymax分别代表标注矩形框右下角的横坐标和纵坐标，type表示该管道焊缝缺陷的类别。
示例性的，存在n个焊缝缺陷图像，服务器对n个焊缝缺陷图像进行噪声叠加、翻转、剪裁等方式的图像扩充处理，得到m个焊缝缺陷图像样本，n为小于m的正整数。其中，在对图像扩充处理的过程中，保持每一类焊缝缺陷图像数量的相对平衡。
步骤402，调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型。
服务器中设置有基于卷积神经网络构建的待训练模型，服务器调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型。示例性的，服务器调用待训练模型从焊缝缺陷图像样本的左上角开始，以10至15个像素的步长st1从左至右、从上至下对图像逐一网格进行卷积运算，得到的识别结果表示为(p’,xmin’,ymin’,xmax’,ymax’,type’)，其中，p’代表识别区域是否存在缺陷，xmin’和ymin’分别代表识别矩形框左上角的横坐标和纵坐标，xmax’和ymax’分别代表识别矩形框右下角的横坐标和纵坐标，type’表示识别出的管道焊缝缺陷的类别。示例性的，识别矩形框的面积包括52、102、202中的至少一种，识别矩形框的比例为1:1、1:2、1:4中的至少一种。
在一些实施例中，服务器调用待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的至少两组中间识别结果，每一组中间识别结果包括一个中间识别缺陷位置和一个中间识别缺陷类型；针对至少两组中间识别结果中的每一组中间识别结果，计算样本缺陷位置和中间识别缺陷位置、以及样本缺陷类型和中间识别缺陷类型之间的识别损失，最终得到至少两组中间识别结果对应的至少两个中间识别损失；从至少两个中间识别损失中确定出最小中间识别损失，基于至少两个中间识别损失中最小中间识别损失对应的中间识别缺陷位置，从焊缝缺陷图像样本中提取出区域图像；调用待训练模型对区域图像进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型。
在一些实施例中，服务器调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的中间识别缺陷位置和中间识别缺陷类型；计算样本缺陷位置和中间识别缺陷位置、以及样本缺陷类型和中间识别缺陷类型之间的中间识别损失；响应于中间识别损失小于损失阈值，基于中间识别缺陷位置从焊缝缺陷图像样本中提取出区域图像；调用待训练模型对区域图像进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型。
示例性的，服务器调用待训练模型从区域图像的左上角开始，以单个像素尺寸为步长进行卷积运算，其中，区域图像上下左右四个方向的移动范围是st1减1个像素，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型。
示例性的，服务器在提取区域图像时，按照指定比例调整中间识别缺陷位置的位置区域，基于调整后的位置区域提取出区域图像。示例性的，按照指定比例放大中间识别缺陷位置的位置区域，比如，按照1:1.5的比例将中间识别缺陷位置的位置区域放大至1.5倍，然后基于调整后的位置区域提取出区域图像。
步骤403，计算样本缺陷位置和识别缺陷位置、以及样本缺陷类型和识别缺陷类型之间的识别损失。
示例性的，以(p,xmin,ymin,xmax,ymax,type)作为标注的样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型，以(p’,xmin’,ymin’,xmax’,ymax’,type’)作为识别出的样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型，计算p与p’之间的p误差，计算(xmin,ymin,xmax,ymax)与(xmin’,ymin’,xmax’,ymax’)之间的位置误差，计算type与type’之间的缺陷类型误差，上述三个误差集合即为损失误差。示例性的，服务器计算上述三个误差的加权和，得到损失误差。
示例性的，上述位置误差是采用交并比表征的，以样本缺陷位置和识别缺陷位置的重叠位置区域作为分子，以样本缺陷位置和识别缺陷位置的并集位置区域作为分母，计算得到位置误差。示例性的，上述交并比阈值在0.7与1之间，在交并比超过交并比阈值时，该位置误差可采用。
可选地，服务器中设置有缺陷位置对应的第一权重，以及缺陷类型对应的第二权重；服务器计算样本缺陷位置和识别缺陷位置之间的第一识别损失，且计算样本缺陷类型和识别缺陷类型之间的第二识别损失；计算第一识别损失与第一权重的第一乘积，计算第二识别损失与第二权重的第二乘积，将第一乘积与第二乘积相加得到识别损失。
步骤404，基于识别损失调整待训练模型的模型参数，基于m个焊缝缺陷图像样本对待训练模型进行迭代训练，最终得到焊缝缺陷识别模型。
示例性的，服务器基于识别损失对待训练模型进行反向传播训练，调整待训练模型的模型参数，基于m个焊缝缺陷图像样本对待训练模型进行迭代训练，最终得到焊缝缺陷识别模型。
示例性的，在得到训练完成后的焊缝缺陷识别模型之后，服务器还采用j个焊缝缺陷图像对焊缝缺陷识别模型进行测试；需要说明的是，数据库中存储有焊缝缺陷图像，将焊缝缺陷按照4:1的比例划分为训练集和测试集；其中，训练集中包括上述m个焊缝缺陷图像样本，用于对待训练模型进行训练；测试集中包括j个焊缝缺陷图像，用于对焊缝缺陷识别模型测试。
综上所述，本实施例提供的焊缝缺陷识别模型的训练方法，采用各类型管道焊缝缺陷的图像进行模型训练，使得训练得到的焊缝缺陷识别模型在被调用时，可以客观且准确地输出标记有管道焊缝缺陷的位置与类型的图像，使焊缝缺陷识别模型的应用可以避免专业人员长期观看类似图片产生视频疲劳、情绪变化、环境光弱、以及图片清晰度低等各类主观和客观因素的影响，导致的对管道焊缝缺陷识别的准确率降低的这一问题；或者，提供有力的参考数据，专业人员基于机器识别出的管道焊缝缺陷迅速地最终确定出管道焊缝缺陷位置和类型；提高焊缝缺陷的识别效率，减少焊缝缺陷识别的主观误差。该方法还对一张图像进行两次卷积计算，将第一次卷积计算出的损失误差最小的区域图像作为第二次卷积计算的输入，使得最终计算出的损失误差更精准。
图6示出了本申请一个示例性实施例提供的焊缝缺陷识别装置的框图。该装置可以通过软件、硬件、或者二者结合实现成为服务器或者终端的部分或者全部。该装置中设置有基于卷积神经网络构建的焊缝缺陷识别模型，该装置包括：
第一获取模块512，用于获取待识别图像，待识别图像是采集的长输管道的焊缝图像；
第一识别模块514，用于调用焊缝缺陷识别模型对待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；
标记模块516，用于基于缺陷位置和缺陷类型在待识别图像中标记出管道焊缝缺陷，得到标记有管道焊缝缺陷的图像。
综上所述，本实施例提供的焊缝缺陷识别装置，在需要对管道焊缝缺陷识别时，调用焊缝缺陷识别模型对管道的焊缝图像进行运算识别，直接输出标记有管道焊缝缺陷的位置与类型的图像，客观且准确地识别出了管道的焊缝缺陷，避免了专业人员长期观看类似图片产生视频疲劳、情绪变化、环境光弱、以及图片清晰度低等各类主观和客观因素的影响，导致的对管道焊缝缺陷识别的准确率降低这一问题，使得输出结果更加稳定；或者，上述机器识别出的管道焊缝缺陷可以作为有力的参考数据，专业人员基于机器识别出的管道焊缝缺陷迅速地最终确定出管道焊缝缺陷位置和类型；提高焊缝缺陷的识别效率，减少焊缝缺陷识别的主观误差。
图7示出了本申请一个示例性实施例提供的焊缝缺陷识别模型的训练装置的框图。该装置可以通过软件、硬件、或者二者结合实现成为服务器或者终端的部分或者全部。该装置包括：
第二获取模块522，用于从数据库中获取m个焊缝缺陷图像样本，焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型；
第二识别模块524，用于调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型；
计算模块526，用于计算样本缺陷位置和识别缺陷位置、以及样本缺陷类型和识别缺陷类型之间的识别损失；
训练模块528，用于基于识别损失调整待训练模型的模型参数，基于m个焊缝缺陷图像样本对待训练模型进行迭代训练，最终得到焊缝缺陷识别模型，m为大于1的正整数。
在一些实施例中，第二识别模块524，用于：
调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的至少两组中间识别结果，每一组中间识别结果包括一个中间识别缺陷位置和一个中间识别缺陷类型；
针对至少两组中间识别结果中的每一组中间识别结果，计算样本缺陷位置和中间识别缺陷位置、以及样本缺陷类型和中间识别缺陷类型之间的识别损失，最终得到至少两组中间识别结果对应的至少两个中间识别损失；
基于至少两个中间识别损失中最小中间识别损失对应的中间识别缺陷位置，从焊缝缺陷图像样本中提取出区域图像；
调用待训练模型对区域图像进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型。
在一些实施例中，第二识别模块524，用于：
调用待训练模型对焊缝缺陷图像样本进行缺陷识别，得到样本管道焊缝缺陷的中间识别缺陷位置和中间识别缺陷类型；
计算样本缺陷位置和中间识别缺陷位置、以及样本缺陷类型和中间识别缺陷类型之间的中间识别损失；
响应于中间识别损失小于损失阈值，基于中间识别缺陷位置从焊缝缺陷图像样本中提取出区域图像；
调用待训练模型对区域图像进行缺陷识别，得到样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型。
在一些实施例中，计算机设备中设置有缺陷位置对应的第一权重，以及缺陷类型对应的第二权重；计算模块526，用于：
计算样本缺陷位置和识别缺陷位置之间的第一识别损失；
计算样本缺陷类型和识别缺陷类型之间的第二识别损失；
计算第一识别损失与第一权重的第一乘积，计算第二识别损失与第二权重的第二乘积，将第一乘积与第二乘积相加得到识别损失。
综上所述，本实施例提供的焊缝缺陷识别模型的训练装置，采用各类型管道焊缝缺陷的图像进行模型训练，使得训练得到的焊缝缺陷识别模型在被调用时，可以客观且准确地输出标记有管道焊缝缺陷的位置与类型的图像，使焊缝缺陷识别模型的应用可以避免专业人员长期观看类似图片产生视频疲劳、情绪变化、环境光弱、以及图片清晰度低等各类主观和客观因素的影响，导致的对管道焊缝缺陷识别的准确率降低的这一问题；或者，提供有力的参考数据，专业人员基于机器识别出的管道焊缝缺陷迅速地最终确定出管道焊缝缺陷位置和类型；提高焊缝缺陷的识别效率，减少焊缝缺陷识别的主观误差。
本申请还提供一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的焊缝缺陷识别方法，或者，焊缝缺陷识别模型的训练方法。
本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的焊缝缺陷识别方法，或者，焊缝缺陷识别模型的训练方法。
本申请还提供了一种计算机程序产品，上述计算机程序产品包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上所述的焊缝缺陷识别方法，或者，焊缝缺陷识别模型的训练方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种焊缝缺陷识别方法，其特征在于，应用于计算机设备中，所述计算机设备中设置有基于卷积神经网络构建的焊缝缺陷识别模型，所述方法包括：
获取待识别图像，所述待识别图像是采集的长输管道的焊缝图像；
调用所述焊缝缺陷识别模型对所述待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；
基于所述缺陷位置和所述缺陷类型在所述待识别图像中标记出所述管道焊缝缺陷，得到标记有所述管道焊缝缺陷的图像。
2.根据权利要求1所述的方法，其特征在于，所述焊缝缺陷识别模型的训练过程包括：
从数据库中获取m个焊缝缺陷图像样本，所述焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型；
调用待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到所述样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型；
计算所述样本缺陷位置和所述识别缺陷位置、以及所述样本缺陷类型和所述识别缺陷类型之间的识别损失；
基于所述识别损失调整所述待训练模型的模型参数，基于所述m个焊缝缺陷图像样本对所述待训练模型进行迭代训练，最终得到所述焊缝缺陷识别模型，m为大于1的正整数。
3.根据权利要求2所述的方法，其特征在于，所述调用待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到所述样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型，包括：
调用所述待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到所述样本管道焊缝缺陷的至少两组中间识别结果，每一组中间识别结果包括一个中间识别缺陷位置和一个中间识别缺陷类型；
针对所述至少两组中间识别结果中的每一组中间识别结果，计算所述样本缺陷位置和所述中间识别缺陷位置、以及所述样本缺陷类型和所述中间识别缺陷类型之间的识别损失，最终得到至少两组中间识别结果对应的至少两个中间识别损失；
基于所述至少两个中间识别损失中最小中间识别损失对应的中间识别缺陷位置，从所述焊缝缺陷图像样本中提取出区域图像；
调用所述待训练模型对所述区域图像进行缺陷识别，得到所述样本管道焊缝缺陷的所述识别缺陷位置和所述识别缺陷类型。
4.根据权利要求2所述的方法，其特征在于，所述调用待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到所述样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型，包括：
调用所述待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到所述样本管道焊缝缺陷的中间识别缺陷位置和中间识别缺陷类型；
计算所述样本缺陷位置和所述中间识别缺陷位置、以及所述样本缺陷类型和所述中间识别缺陷类型之间的中间识别损失；
响应于所述中间识别损失小于损失阈值，基于所述中间识别缺陷位置从所述焊缝缺陷图像样本中提取出区域图像；
调用所述待训练模型对所述区域图像进行缺陷识别，得到所述样本管道焊缝缺陷的所述识别缺陷位置和所述识别缺陷类型。
5.根据权利要求2至4任一所述的方法，其特征在于，所述计算机设备中设置有缺陷位置对应的第一权重，以及缺陷类型对应的第二权重；
所述计算所述样本缺陷位置和所述识别缺陷位置、以及所述样本缺陷类型和所述识别缺陷类型之间的识别损失，包括：
计算所述样本缺陷位置和所述识别缺陷位置之间的第一识别损失；
计算所述样本缺陷类型和所述识别缺陷类型之间的第二识别损失；
计算所述第一识别损失与所述第一权重的第一乘积，计算所述第二识别损失与所述第二权重的第二乘积，将所述第一乘积与所述第二乘积相加得到所述识别损失。
6.一种焊缝缺陷识别模型的训练方法，其特征在于，所述方法包括：
从数据库中获取m个焊缝缺陷图像样本，所述焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型；
调用待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到所述样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型；
计算所述样本缺陷位置和所述识别缺陷位置、以及所述样本缺陷类型和所述识别缺陷类型之间的识别损失；
基于所述识别损失调整所述待训练模型的模型参数，基于所述m个焊缝缺陷图像样本对所述待训练模型进行迭代训练，最终得到焊缝缺陷识别模型，m为大于1的正整数。
7.一种焊缝缺陷识别装置，其特征在于，所述装置中设置有基于卷积神经网络构建的焊缝缺陷识别模型，所述装置包括：
第一获取模块，用于获取待识别图像，所述待识别图像是采集的长输管道的焊缝图像；
第一识别模块，用于调用所述焊缝缺陷识别模型对所述待识别图像进行缺陷识别，得到管道焊缝缺陷的缺陷位置和缺陷类型；
标记模块，用于基于所述缺陷位置和所述缺陷类型在所述待识别图像中标记出所述管道焊缝缺陷，得到标记有所述管道焊缝缺陷的图像。
8.一种焊缝缺陷识别模型的训练装置，其特征在于，所述装置包括：
第二获取模块，用于从数据库中获取m个焊缝缺陷图像样本，所述焊缝缺陷图像样本上标注有样本管道焊缝缺陷的样本缺陷位置和样本缺陷类型；
第二识别模块，用于调用待训练模型对所述焊缝缺陷图像样本进行缺陷识别，得到所述样本管道焊缝缺陷的识别缺陷位置和识别缺陷类型；
计算模块，用于计算所述样本缺陷位置和所述识别缺陷位置、以及所述样本缺陷类型和所述识别缺陷类型之间的识别损失；
训练模块，用于基于所述识别损失调整所述待训练模型的模型参数，基于所述m个焊缝缺陷图像样本对所述待训练模型进行迭代训练，最终得到焊缝缺陷识别模型，m为大于1的正整数。
9.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至5任一所述的焊缝缺陷识别方法，或者，如权利要求6所述的焊缝缺陷识别模型的训练方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至5任一所述的焊缝缺陷识别方法，或者，如权利要求6所述的焊缝缺陷识别模型的训练方法。
CN202110155569.5A 2021-02-04 2021-02-04 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置 Pending CN114862745A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110155569.5A CN114862745A (zh) 2021-02-04 2021-02-04 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110155569.5A CN114862745A (zh) 2021-02-04 2021-02-04 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN114862745A true CN114862745A (zh) 2022-08-05

Family

ID=82623266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110155569.5A Pending CN114862745A (zh) 2021-02-04 2021-02-04 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN114862745A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187595A (zh) * 2022-09-08 2022-10-14 北京东方国信科技股份有限公司 端塞焊缝缺陷检测模型训练方法、检测方法和电子设备
CN115439476A (zh) * 2022-11-07 2022-12-06 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
CN116030030A (zh) * 2023-02-13 2023-04-28 中建科技集团有限公司 一种预制构件的焊缝内外缺陷一体化评估方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187595A (zh) * 2022-09-08 2022-10-14 北京东方国信科技股份有限公司 端塞焊缝缺陷检测模型训练方法、检测方法和电子设备
CN115439476A (zh) * 2022-11-07 2022-12-06 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
CN115439476B (zh) * 2022-11-07 2023-03-14 成都博视广达科技有限责任公司 基于图像分析的丝印缺陷检测方法及装置
CN116030030A (zh) * 2023-02-13 2023-04-28 中建科技集团有限公司 一种预制构件的焊缝内外缺陷一体化评估方法
CN116030030B (zh) * 2023-02-13 2023-08-29 中建科技集团有限公司 一种预制构件的焊缝内外缺陷一体化评估方法

Similar Documents

Publication Publication Date Title
CN114862745A (zh) 焊缝缺陷识别方法、焊缝缺陷识别模型的训练方法及装置
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及系统
Kothari Detecting welding defects in steel plates using machine learning and computer vision algorithms
US20210201472A1 (en) Method of inspecting and evaluating coating state of steel structure and system therefor
CN109859163A (zh) 一种基于特征金字塔卷积神经网络的lcd缺陷检测方法
García-Pereira et al. A collaborative augmented reality annotation tool for the inspection of prefabricated buildings
CN111091538B (zh) 一种管道焊缝自动识别、缺陷检测方法及装置
CN112465746B (zh) 一种射线底片中小缺陷检测方法
JP6422573B2 (ja) 画像処理装置及び画像処理方法及びプログラム
CN111899225A (zh) 基于多尺度金字塔结构的核电管道缺陷检测方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN113936004B (zh) 一种锂电池焊接质量检测方法、装置及系统
WO2022247823A1 (zh) 图像检测方法、设备和存储介质
CN112884743B (zh) 检测方法及装置、检测设备和存储介质
US20220076021A1 (en) System and method for automatic visual inspection with deep learning
CN114511543A (zh) 一种长输管道射线底片智能缺欠评定系统及方法
CN116580030B (zh) 一种基于异常仿真的焊接质量异常检测方法
JP2003065959A (ja) 非破壊検査装置
CN117392043A (zh) 一种基于深度学习的钢板表面缺陷视频检测方法及系统
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN114596309A (zh) 焊缝缺陷的检测、模型训练方法、系统、设备和存储介质
CN117710881A (zh) 薄壁集束管拼接熔焊成形质量在线视觉监测方法和装置
JP2021015101A (ja) 画像検査装置及び画像検査プログラム
CN117994191A (zh) 一种用于识别焊接射线底片缺陷的方法
AU2015275308B2 (en) A method for automatic material classification and texture simulation for 3d models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination