CN114418929A - 基于一致性多尺度度量学习的焊缝缺陷识别方法 - Google Patents

基于一致性多尺度度量学习的焊缝缺陷识别方法 Download PDF

Info

Publication number
CN114418929A
CN114418929A CN202111392250.0A CN202111392250A CN114418929A CN 114418929 A CN114418929 A CN 114418929A CN 202111392250 A CN202111392250 A CN 202111392250A CN 114418929 A CN114418929 A CN 114418929A
Authority
CN
China
Prior art keywords
feature
local
global
features
mapping model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111392250.0A
Other languages
English (en)
Inventor
刘金海
刘晓媛
曲福明
王雷
左逢源
赵贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202111392250.0A priority Critical patent/CN114418929A/zh
Publication of CN114418929A publication Critical patent/CN114418929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于一致性多尺度度量学习的焊缝缺陷识别方法，涉及管道焊缝缺陷识别技术领域。首先通过工业X射线探伤仪对管道焊缝进行探伤，采集到X射线图像的正常样本和缺陷样本；其次将采集到的图像通过设计的整体特征映射模型进行全局特征和局部特征的提取，该映射模型包括全局特征映射模型、局部特征映射模型和映射空间一致性模型；最后将提取到的局部特征和全局特征进行特征融合，并利用融合后的特征进行多缺陷识别模型的训练，最后利用训练好的多缺陷识别模型实现焊缝缺陷的识别。该方法基于一致性多尺度度量学习进行局部全局特征提取，并通过局部全局特征融合，提高了多缺陷识别的准确率。

Description

基于一致性多尺度度量学习的焊缝缺陷识别方法
技术领域
本发明涉及管道焊缝缺陷识别技术领域，具体涉及一种基于一致性多尺度度量学习的焊缝缺陷识别方法。
背景技术
据统计，截止至2014年底，我国境内建成油气管道总里程约11.7万千米，其中天然气管道6.9万千米，原油管道2.7万千米，成品油管道2.1万千米，管道运输因有运输量大，对土地占用面积少，能耗小，运费低，效益好，污染小，不受地面和天气因素影响等优点已成为油气运输的主要方式。
在管道焊缝的焊接过程中，由于焊接技术和内外环境条件的影响，可能产生气孔、未焊透、未熔合、烧穿、咬边、内凹、裂纹等缺陷。在恶劣的环境下,就有可能造成管道部分结构断裂，甚至引起重大事故。因此，为了避免因管道泄漏而对环境、经济和安全造成巨大的损失，必须严格按照焊接标准对焊缝缺陷进行检测。
X射线无损检测(NDT)作为工业无损检测的主要方法之一，它是根据X射线在穿透物体的过程中的射线强度衰减规律来识别焊缝的内部缺陷。目前针对工业管道焊缝缺陷识别的方法主要包括以下两类：基于图像分割的方法和基于深度学习的方法。基于图像分割的方法首先将缺陷部分从X射线胶片图像中分割出来，然后对分割后得到的缺陷区域进行手工特征提取，从而实现对缺陷的识别。基于深度学习的方法是利用卷积神经网络等对图像进行多层次、自动地特征提取，最后运用分类器模型实现多类型缺陷识别。
然而，在管道焊缝缺陷识别中，由于缺陷图像在采集时，受到复杂的环境条件以及设备精度的影响，导致采集到的缺陷图像模糊且样本数量少，此外，由于产生的不同种类缺陷的视觉差异性很小，例如：条形缺陷和未融合缺陷、圆形缺陷和烧穿缺陷都有着相似的样本特征。因此，现有的缺陷识别方法很难提取到有效的特征且受主观因素影响大，难以实现缺陷识别，并且缺陷识别的性能较差。
由上所述，可见，如何基于少量且低质量的缺陷图像样本来实现缺陷识别，并提高缺陷识别的精度，是当前管道焊缝缺陷识别领域亟需解决的难题之一。
发明内容
针对现有技术的不足，本发明提出一种基于一致性多尺度度量学习的焊缝缺陷识别方法，包括：
步骤1：通过对管道焊缝进行探伤构建管道焊缝图像数据集H；
步骤2：分别构建多尺度特征映射模型和局部全局特征映射空间一致性模型，对图像数据集H中的样本进行局部、全局特征的提取；
步骤3：构造全局特征和局部特征融合网络，将提取到的全局特征和局部特征进行特征融合；
步骤4：构造缺陷识别模型，利用融合后的特征对缺陷识别模型进行训练，并通过训练后的缺陷识别模型实现多种缺陷的识别。
所述步骤1包括：
步骤1.1：利用X射线探伤仪对管道焊缝进行X射线探伤；
步骤1.2：根据X射线在焊缝缺陷区域和非缺陷区域的衰减率不同确定缺陷的形状和大小信息，进而在胶片底片上形成X射线胶片底片图像；
步骤1.3：通过X射线数字扫描仪将X射线胶片进行数字化扫描处理，完成X射线图像的采集过程；
步骤1.4：采集到的X射线图像数据H所示为：
H∈{D1,D2,...,Dn,N}
其中，Di代表第i种焊缝缺陷类型，n代表缺陷类型的总数，N代表正常X射线图像类型。
步骤2包括：
步骤2.1：从采集到的X射线图像数据选出正样本、锚样本、负样本，分别记作xp、xa、xn，构成三元组数据集W；所述正样本xp和锚样本xa为同类样本，锚样本xa和负样本xn为异类样本；
步骤2.2：构造多尺度特征映射模型，将构造的三元组数据集W分别进行局部特征和全局特征提取；
步骤2.3：构造局部全局特征映射空间一致性模型；
步骤2.4：根据构造的多尺度特征映射模型和局部全局特征映射空间一致性模型，得到整体的特征映射模型，其中整体的特征映射模型损失函数
Figure BDA0003364476880000021
表示为：
Figure BDA0003364476880000022
其中，φ和
Figure BDA0003364476880000031
代表权衡参数，
Figure BDA0003364476880000032
代表全局特征映射模型的损失函数，
Figure BDA0003364476880000033
代表局部特征映射模型的损失函数，
Figure BDA0003364476880000034
代表局部和全局特征映射空间一致性损失函数；
步骤2.5：通过损失函数
Figure BDA0003364476880000035
反向训练整体的特征映射模型，得到具有区分度的全局特征和局部特征。
所述步骤3包括：
步骤3.1：构建局部特征集合{l1,l2,...,lm}中两两局部特征之间的权重
Figure BDA0003364476880000036
表示为：
Figure BDA0003364476880000037
式中，lp、lq表示任意两个局部特征，p,q∈{1,2,...,m}；
步骤3.2：对集合中每个局部特征进行特征加权，可以得到加权后的特征
Figure BDA0003364476880000038
Figure BDA0003364476880000039
步骤3.3：将加权的局部特征集合
Figure BDA00033644768800000310
通过特征压缩网络fρ(·)进行加权特征集合的压缩，得到压缩的加权局部特征L*，ρ为该压缩网络的参数；
Figure BDA00033644768800000311
步骤3.4：引入权衡系数λ得到融合后的特征F：
Figure BDA00033644768800000312
F＝λL*+(1-λ)G
式中，G表示全局特征，C表示全局特征G和压缩的加权局部特征L*的维度。
所述步骤2.2包括：
步骤2.2.1：构造全局特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为全局特征提取网络；
步骤2.2.2：构造局部特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为局部特征提取网络；
步骤2.2.3：通过对局部特征映射模型和全局特征映射模型进行整合，得到多尺度的特征映射模型，其中损失函数
Figure BDA0003364476880000041
表示为：
Figure BDA0003364476880000042
其中，φ代表权衡参数；
步骤2.2.4：通过多尺度特征映射模型，提取得到三元组数据集W的全局特征和局部特征。
所述步骤2.3包括：
步骤2.3.1：针对相同的样本对，建立如下距离约束条件，使得通过全局特征映射模型提取到的特征之间的距离和局部特征映射模型提取到的特征之间的距离成比例；
Figure BDA0003364476880000043
式中，γ代表一致性边界；
步骤2.3.2：设计局部全局映射空间一致性损失函数
Figure BDA0003364476880000044
表示为：
Figure BDA0003364476880000045
步骤2.3.3：利用局部全局映射空间一致性损失函数
Figure BDA0003364476880000046
对特征映射模型进行训练。
所述步骤2.2.1包括：
步骤S1：建立三个权值共享且结构相同的卷积神经网络作为全局特征提取网络fθ(·)，θ为该特征提取网络的参数；
步骤S2：在最大边界α指导下，将输入到特征提取网络的三元组数据集映射到特征空间，进而得到特征向量
Figure BDA0003364476880000047
σ为三元组数据集W中三元组的组数；
步骤S3：构建样本约束条件，使异类样本
Figure BDA0003364476880000048
和
Figure BDA0003364476880000049
之间的距离大于同类样本
Figure BDA00033644768800000410
和
Figure BDA00033644768800000411
之间的距离；
步骤S4：根据三元组数据集W中同类样本特征向量之间的距离与异类样本特征向量之间的距离，建立全局特征映射模型的损失函数
Figure BDA0003364476880000051
Figure BDA0003364476880000052
式中，
Figure BDA0003364476880000053
为同类样本
Figure BDA0003364476880000054
和
Figure BDA0003364476880000055
全局特征向量之间的距离，
Figure BDA0003364476880000056
为异类样本
Figure BDA0003364476880000057
和
Figure BDA0003364476880000058
全局特征向量之间的距离；
步骤S5：通过全局特征映射模型的损失函数
Figure BDA0003364476880000059
反向更新全局特征映射模型的参数，进行全局特征的提取；
所述步骤2.2.2包括：
步骤SS1：建立三个权值共享且结构相同的卷积神经网络作为局部特征提取网络fτ(·)，τ为该特征提取网络的参数；
步骤SS2：在最大边界β指导下，将输入到局部特征映射模型的三元组数据集映射到特征空间，进而得到对应的局部特征集合
Figure BDA00033644768800000510
步骤SS3：用EMD计算局部特征集合si和sj之间的距离D(si,sj)，si代表一张图片提取到的局部特征集合，sj代表另一张图片提取到的局部特征集合；
Figure BDA00033644768800000511
式中，m表示局部特征集合中的元素个数，
Figure BDA00033644768800000512
表示传输矩阵，Mij表示局部特征对之间的距离；
步骤SS4：构建样本约束条件，使异类样本sr a和sr n之间的距离大于同类样本
Figure BDA00033644768800000513
和
Figure BDA00033644768800000514
之间的距离；
步骤SS5：根据三元组数据集W中同类样本特征向量之间的距离与异类样本特征向量之间的距离，建立局部特征映射模型的损失函数
Figure BDA00033644768800000515
Figure BDA0003364476880000061
式中，
Figure BDA0003364476880000062
为同类样本
Figure BDA0003364476880000063
和
Figure BDA0003364476880000064
局部特征集合之间的距离，
Figure BDA0003364476880000065
为异类样本
Figure BDA0003364476880000066
和
Figure BDA0003364476880000067
局部特征集合之间的距离；
步骤SS6：通过局部特征映射模型的损失函数
Figure BDA0003364476880000068
反向更新局部特征映射模型的参数，进行局部特征的提取；
本发明的有益效果是：
由于低质量的X射线缺陷底片图像存在图像模糊且类间差异性小的缺点，本发明针对此类图像，提出了一种基于一致性多尺度度量学习的焊缝缺陷识别方法，实现了管道焊缝的多种缺陷识别，并提高了缺陷识别的精度。
附图说明
图1为本发明中基于一致性多尺度度量学习的焊缝缺陷识别方法的流程图；
图2为本发明中采集到的X射线图像，包括正常类型和四种缺陷类型，(a)为正常类型，(b)为圆形缺陷，(c)为条形缺陷，(d)为未融合缺陷，(e)为烧穿类型缺陷；
图3为本发明中三元组样本集的分类原理示意图；
图4为本发明中多尺度特征映射模型示意图；
图5为本发明中一致性策略示意图，其中，(a)为局部特征映射空间样本距离示意图，(b)为全局特征映射空间样本距离一致性示意图，(c)为全局特征映射空间样本距离不一致示意图；
图6为本发明中特征融合网络示意图。
具体实施方式
下面结合附图和具体实施实例对发明做进一步说明。
基于一致性多尺度度量学习的焊缝缺陷识别方法，如图1所示，包括：
步骤1：通过对管道焊缝进行探伤构建管道焊缝图像数据集H；包括：
步骤1.1：利用X射线探伤仪对管道焊缝进行X射线探伤；
步骤1.2：根据X射线在焊缝缺陷区域和非缺陷区域的衰减率不同确定缺陷的形状和大小等信息，从而将这些信息呈现在胶片底片上，形成X射线胶片底片图像；
步骤1.3：通过X射线数字扫描仪将X射线胶片进行数字化扫描处理，完成X射线图像的采集过程；
步骤1.4：采集到的X射线图像数据H所示为：
H∈{D1,D2,...,Dn,N}
其中，Di代表第i种焊缝缺陷类型，n代表缺陷类型的总数，N代表正常X射线图像类型；
本实施例中，采集如图2所示的四种缺陷类型和正常类型用于缺陷类型的识别。
步骤2：分别构建多尺度特征映射模型和局部全局特征映射空间一致性模型，对图像数据集H中的样本进行局部、全局特征的提取；包括：
步骤2.1：从采集到的X射线图像数据选出正样本、锚样本、负样本，分别记作xp、xa、xn，构成三元组数据集W；所述正样本xp和锚样本xa为同类样本，锚样本xa和负样本xn为异类样本；
如图3所示，从X射线图像数据H中任选一种数据类型，从其中任选两个样本作为正样本xp和锚样本xa，从另外一种数据类型中任选一个样本作为负样本xn，构成一组三元组数据，通过这种样本选择方式，选择多组三元组数据，形成三元组数据集W。
步骤2.2：构造多尺度特征映射模型，将构造的三元组数据集W分别进行局部特征和全局特征提取；包括：
构造全局特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为全局特征提取网络，在最大边界α指导下，将输入到全局特征提取网络的三元组数据集映射到特征空间，进而得到特征向量fθ(xp)、fθ(xa)、fθ(xn)；通过全局特征映射模型的损失函数
Figure BDA0003364476880000071
反向更新全局特征映射模型的参数，使同类样本的特征向量fθ(xa)和fθ(xp)距离变小，异类样本的特征向量fθ(xa)和fθ(xn)距离变大，从而提取到有显著区分度的全局特征。
步骤2.2.1：构造全局特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为全局特征提取网络；包括：
步骤S1：建立三个权值共享且结构相同的卷积神经网络作为全局特征提取网络fθ(·)，θ为该特征提取网络的参数；
步骤S2：在最大边界α指导下，将输入到特征提取网络的三元组数据集映射到特征空间，进而得到特征向量
Figure BDA0003364476880000081
σ为三元组数据集W中三元组的组数；
步骤S3：构建样本约束条件，使异类样本
Figure BDA0003364476880000082
和
Figure BDA0003364476880000083
之间的距离大于同类样本
Figure BDA0003364476880000084
和
Figure BDA0003364476880000085
之间的距离；
Figure BDA0003364476880000086
其中，D2(x1,x2)为欧氏距离的平方，如下公式所示：
Figure BDA0003364476880000087
步骤S4：根据三元组数据集W中同类样本特征向量之间的距离与异类样本特征向量之间的距离，建立全局特征映射模型的损失函数
Figure BDA0003364476880000088
Figure BDA0003364476880000089
式中，
Figure BDA00033644768800000810
为同类样本
Figure BDA00033644768800000811
和
Figure BDA00033644768800000812
全局特征向量之间的距离，
Figure BDA00033644768800000813
为异类样本
Figure BDA00033644768800000814
和
Figure BDA00033644768800000815
全局特征向量之间的距离；
步骤S5：通过全局特征映射模型的损失函数
Figure BDA00033644768800000816
反向更新全局特征映射模型的参数，进行全局特征的提取；
构造局部特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为局部特征提取网络，在最大边界β指导下，将输入到局部特征提取网络的三元组数据集映射到特征空间，进而得到对应的局部特征集合
Figure BDA00033644768800000817
其中，H和W分别代表特征图的高和宽，C代表特征的维度。利用EMD(earth mover's distances)计算每两个局部特征集合之间的距离，最后通过局部特征映射模型的损失函数
Figure BDA00033644768800000818
反向更新局部特征映射模型的参数，使同类样本的间距离变小，异类样本间的距离变大，从而提取到有显著区分度的局部特征。
步骤2.2.2：构造局部特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为局部特征提取网络；包括：
步骤SS1：建立三个权值共享且结构相同的卷积神经网络作为局部特征提取网络fτ(·)，τ为该特征提取网络的参数；
步骤SS2：在最大边界β指导下，将输入到局部特征映射模型的三元组数据集映射到特征空间，进而得到对应的局部特征集合
Figure BDA0003364476880000091
步骤SS3：用EMD计算局部特征集合si和sj之间的距离D(si,sj)，si代表一张图片提取到的局部特征集合，sj代表另一张图片提取到的局部特征集合；
Figure BDA0003364476880000092
同理，定义另一个权重分布，记为
Figure BDA0003364476880000093
为了获得两个权重分布ti和tj之间的距离，如下公式所示：
Figure BDA0003364476880000094
s.t.T'1＝ti and T'T1＝tj
式中，<T',M>代表矩阵内积，M表示由局部特征对之间的距离构成的距离矩阵，其中每个元素计算方式为
Figure BDA0003364476880000095
T'kl表示传输矩阵T'的第k行第l列的元素，通过上面公式得到传输矩阵T'的最优传输矩阵T*后，则可以求得两个局部特征集合si和sj之间的距离D(si,sj)，如下公式所示：
Figure BDA0003364476880000096
式中，m表示局部特征集合中的元素个数，
Figure BDA0003364476880000097
表示最优传输矩阵，Mij表示局部特征对之间的距离；
步骤SS4：构建样本约束条件，使异类样本
Figure BDA0003364476880000098
和
Figure BDA0003364476880000099
局部特征集合之间的距离大于同类样本
Figure BDA00033644768800000910
和
Figure BDA00033644768800000911
局部特征集合之间的距离；
Figure BDA00033644768800000912
步骤SS5：根据三元组数据集W中同类样本特征向量之间的距离与异类样本特征向量之间的距离，建立局部特征映射模型的损失函数
Figure BDA0003364476880000101
Figure BDA0003364476880000102
式中，
Figure BDA0003364476880000103
为同类样本
Figure BDA0003364476880000104
和
Figure BDA0003364476880000105
局部特征集合之间的距离，
Figure BDA0003364476880000106
为异类样本
Figure BDA0003364476880000107
和
Figure BDA0003364476880000108
局部特征集合之间的距离；
步骤SS6：通过局部特征映射模型的损失函数
Figure BDA0003364476880000109
反向更新局部特征映射模型的参数，进行局部特征的提取；
步骤2.2.3：通过对局部特征映射模型和全局特征映射模型进行整合，得到多尺度的特征映射模型，其中损失函数
Figure BDA00033644768800001010
表示为：
Figure BDA00033644768800001011
其中，φ代表权衡参数；
步骤2.2.4：通过多尺度特征映射模型，提取得到三元组数据集W的全局特征和局部特征；利用全局特征映射模型和局部特征映射模型的损失函数对多尺度特征映射模型进行训练，如图4所示，进而提取到输入图像的全局特征和局部特征。
步骤2.3：构造局部全局特征映射空间一致性模型；包括：
步骤2.3.1：针对相同的样本对，建立如下距离约束条件，使得通过全局特征映射模型提取到的特征之间的距离和局部特征映射模型提取到的特征之间的距离成比例；
Figure BDA00033644768800001012
式中，γ代表一致性边界；
步骤2.3.2：根据设计的一致性约束条件，设计局部全局映射空间一致性损失函数
Figure BDA00033644768800001013
表示为：
Figure BDA00033644768800001014
步骤2.3.3：利用局部全局映射空间一致性损失函数
Figure BDA00033644768800001015
对特征映射模型进行训练；
本发明提出了局部和全局特征映射空间一致性策略，该一致性策略示意图如图5所示，利用局部和全局映射空间一致性损失函数对特征映射模型进行训练，从而使得整体的特征映射模型更加稳定。图5中，a为锚样本，p为正样本，n为负样本，d(a,c)为a和c之间的距离，其中c代表p或者n；当局部和全局特征映射空间一致时，如图5中(a)和(b)所示，当局部和全局特征映射空间不一致时，如图5中(a)和(c)所示。
步骤2.4：根据构造的多尺度特征映射模型和局部全局特征映射空间一致性模型，得到整体的特征映射模型，并通过总体的特征映射模型对X射线图像数据H进行局部全局特征提取，根据其损失函数反向训练整体的特征映射模型，得到具有区分度的全局特征和局部特征，其中整体的特征映射模型损失函数
Figure BDA0003364476880000111
表示为：
Figure BDA0003364476880000112
其中，φ和
Figure BDA0003364476880000113
代表权衡参数，
Figure BDA0003364476880000114
代表全局特征映射模型的损失函数，
Figure BDA0003364476880000115
代表局部特征映射模型的损失函数，
Figure BDA0003364476880000116
代表局部和全局特征映射空间一致性损失函数；
步骤2.5：通过损失函数
Figure BDA0003364476880000117
反向训练整体的特征映射模型，得到具有区分度的全局特征和局部特征；
步骤3：构造全局特征和局部特征融合网络，将提取到的全局特征和局部特征进行特征融合；包括：
步骤3.1：令L＝{l1,l2,...,lm}代表一张图片的局部特征集合，构建局部特征集合{l1,l2,...,lm}中两两局部特征之间的权重
Figure BDA0003364476880000118
表示为：
Figure BDA0003364476880000119
式中，lp、lq表示任意两个局部特征，p,q∈{1,2,...,m}；
步骤3.2：对集合中每个局部特征进行特征加权，可以得到加权后的特征
Figure BDA00033644768800001110
Figure BDA00033644768800001111
步骤3.3：将加权的局部特征集合
Figure BDA0003364476880000121
通过特征压缩网络fρ(·)进行加权特征集合的压缩，得到压缩的加权局部特征L*，ρ为该压缩网络的参数；
Figure BDA0003364476880000122
步骤3.4：为了平衡局部特征和全局特征的重要性，引入权衡系数λ得到融合后的特征F：
Figure BDA0003364476880000123
F＝λL*+(1-λ)G
式中，G表示全局特征，G＝fθ(x)，C表示全局特征G和压缩的加权局部特征L*的维度；
将提取的局部特征进行特征变换，形成加权压缩局部特征，进而将加权压缩局部特征与全局特征进行特征融合，如图6所示，最终得到融合后的特征。
步骤4：构造缺陷识别模型，利用融合后的特征对缺陷识别模型进行训练，并通过训练后的缺陷识别模型实现多种缺陷的识别。利用融合后的特征F对缺陷识别模型进行训练，并通过训练好的缺陷识别模型fη(·)实现多种缺陷识别，得到缺陷识别结果r，如下公式所示：
r＝fη(F)
本实施例中，使用支持向量机(Support Vector Machine,SVM)模型作为缺陷识别模型，通过训练好的特征映射模型提取到测试样本图像的局部和全局特征，然后通过特征融合网络进行特征融合，进而将测试样本经过融合后的特征送入到训练好的SVM分类器中，实现多缺陷类型的识别。

Claims (8)

1.一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，包括：
步骤1：通过对管道焊缝进行探伤构建管道焊缝图像数据集H；
步骤2：分别构建多尺度特征映射模型和局部全局特征映射空间一致性模型，对图像数据集H中的样本进行局部、全局特征的提取；
步骤3：构造全局特征和局部特征融合网络，将提取到的全局特征和局部特征进行特征融合；
步骤4：构造缺陷识别模型，利用融合后的特征对缺陷识别模型进行训练，并通过训练后的缺陷识别模型实现多种缺陷的识别。
2.根据权利要求1所述的一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，所述步骤1包括：
步骤1.1：利用X射线探伤仪对管道焊缝进行X射线探伤；
步骤1.2：根据X射线在焊缝缺陷区域和非缺陷区域的衰减率不同确定缺陷的形状和大小信息，在胶片底片上形成X射线胶片底片图像；
步骤1.3：通过X射线数字扫描仪将X射线胶片进行数字化扫描处理，完成X射线图像的采集过程；
步骤1.4：采集到的X射线图像数据H所示为：
H∈{D1,D2,...,Dn,N}
其中，Di代表第i种焊缝缺陷类型，n代表缺陷类型的总数，N代表正常X射线图像类型。
3.根据权利要求1所述的一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，所述步骤2包括：
步骤2.1：从采集到的X射线图像数据选出正样本、锚样本、负样本，分别记作xp、xa、xn，构成三元组数据集W；所述正样本xp和锚样本xa为同类样本，锚样本xa和负样本xn为异类样本；
步骤2.2：构造多尺度特征映射模型，将构造的三元组数据集W分别进行局部特征和全局特征提取；
步骤2.3：构造局部全局特征映射空间一致性模型；
步骤2.4：根据构造的多尺度特征映射模型和局部全局特征映射空间一致性模型，得到整体的特征映射模型，其中整体的特征映射模型损失函数
Figure FDA0003364476870000021
表示为：
Figure FDA0003364476870000022
其中，φ和
Figure FDA0003364476870000023
代表权衡参数，
Figure FDA0003364476870000024
代表全局特征映射模型的损失函数，
Figure FDA0003364476870000025
代表局部特征映射模型的损失函数，
Figure FDA0003364476870000026
代表局部和全局特征映射空间一致性损失函数；
步骤2.5：通过损失函数
Figure FDA0003364476870000027
反向训练整体的特征映射模型，得到具有区分度的全局特征和局部特征。
4.根据权利要求1所述的一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，所述步骤3包括：
步骤3.1：构建局部特征集合{l1,l2,...,lm}中两两局部特征之间的权重
Figure FDA0003364476870000028
表示为：
Figure FDA0003364476870000029
式中，lp、lq表示任意两个局部特征，p,q∈{1,2,...,m}；
步骤3.2：对集合中每个局部特征进行特征加权，可以得到加权后的特征
Figure FDA00033644768700000210
Figure FDA00033644768700000211
步骤3.3：将加权的局部特征集合
Figure FDA00033644768700000212
通过特征压缩网络fρ(·)进行加权特征集合的压缩，得到压缩的加权局部特征L*，ρ为该压缩网络的参数；
Figure FDA00033644768700000213
步骤3.4：引入权衡系数λ得到融合后的特征F：
Figure FDA00033644768700000214
F＝λL*+(1-λ)G
式中，G表示全局特征，C表示全局特征G和压缩的加权局部特征L*的维度。
5.根据权利要求3所述的一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，所述步骤2.2包括：
步骤2.2.1：构造全局特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为全局特征提取网络；
步骤2.2.2：构造局部特征映射模型，建立三个权值共享且结构相同的卷积神经网络作为局部特征提取网络；
步骤2.2.3：通过对局部特征映射模型和全局特征映射模型进行整合，得到多尺度的特征映射模型，其中损失函数
Figure FDA0003364476870000031
表示为：
Figure FDA0003364476870000032
其中，φ代表权衡参数；
步骤2.2.4：通过多尺度特征映射模型，提取得到三元组数据集W的全局特征和局部特征。
6.根据权利要求3所述的一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，所述步骤2.3包括：
步骤2.3.1：针对相同的样本对，建立如下距离约束条件，使得通过全局特征映射模型提取到的特征之间的距离和局部特征映射模型提取到的特征之间的距离成比例；
Figure FDA0003364476870000033
式中，γ代表一致性边界；
步骤2.3.2：设计局部全局映射空间一致性损失函数
Figure FDA0003364476870000034
表示为：
Figure FDA0003364476870000035
步骤2.3.3：利用局部全局映射空间一致性损失函数
Figure FDA0003364476870000036
对特征映射模型进行训练。
7.根据权利要求5所述的一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，所述步骤2.2.1包括：
步骤S1：建立三个权值共享且结构相同的卷积神经网络作为全局特征提取网络fθ(·)，θ为该特征提取网络的参数；
步骤S2：在最大边界α指导下，将输入到特征提取网络的三元组数据集映射到特征空间，进而得到特征向量fθ(xi p)、fθ(xi a)、fθ(xi n)，i＝1,2,...,σ，σ为三元组数据集W中三元组的组数；
步骤S3：构建样本约束条件，使异类样本
Figure FDA0003364476870000041
和
Figure FDA0003364476870000042
之间的距离大于同类样本
Figure FDA0003364476870000043
和
Figure FDA0003364476870000044
之间的距离；
步骤S4：根据三元组数据集W中同类样本特征向量之间的距离与异类样本特征向量之间的距离，建立全局特征映射模型的损失函数
Figure FDA0003364476870000045
Figure FDA0003364476870000046
式中，
Figure FDA0003364476870000047
为同类样本
Figure FDA0003364476870000048
和
Figure FDA0003364476870000049
全局特征向量之间的距离，
Figure FDA00033644768700000410
为异类样本
Figure FDA00033644768700000411
和
Figure FDA00033644768700000412
全局特征向量之间的距离；
步骤S5：通过全局特征映射模型的损失函数
Figure FDA00033644768700000413
反向更新全局特征映射模型的参数，进行全局特征的提取。
8.根据权利要求5所述的一种基于一致性多尺度度量学习的焊缝缺陷识别方法，其特征在于，所述步骤2.2.2包括：
步骤SS1：建立三个权值共享且结构相同的卷积神经网络作为局部特征提取网络fτ(·)，τ为该特征提取网络的参数；
步骤SS2：在最大边界β指导下，将输入到局部特征映射模型的三元组数据集映射到特征空间，进而得到对应的局部特征集合
Figure FDA00033644768700000414
步骤SS3：用EMD计算局部特征集合si和sj之间的距离D(si,sj)，si代表一张图片提取到的局部特征集合，sj代表另一张图片提取到的局部特征集合；
Figure FDA0003364476870000051
式中，m表示局部特征集合中的元素个数，
Figure FDA0003364476870000052
表示传输矩阵，Mij表示局部特征对之间的距离；
步骤SS4：构建样本约束条件，使异类样本
Figure FDA0003364476870000053
和
Figure FDA0003364476870000054
之间的距离大于同类样本
Figure FDA0003364476870000055
和
Figure FDA0003364476870000056
之间的距离；
步骤SS5：根据三元组数据集W中同类样本特征向量之间的距离与异类样本特征向量之间的距离，建立局部特征映射模型的损失函数
Figure FDA0003364476870000057
Figure FDA0003364476870000058
式中，
Figure FDA0003364476870000059
为同类样本
Figure FDA00033644768700000510
和
Figure FDA00033644768700000511
局部特征集合之间的距离，
Figure FDA00033644768700000512
为异类样本
Figure FDA00033644768700000513
和
Figure FDA00033644768700000514
局部特征集合之间的距离；
步骤SS6：通过局部特征映射模型的损失函数
Figure FDA00033644768700000515
反向更新局部特征映射模型的参数，进行局部特征的提取。
CN202111392250.0A 2021-11-19 2021-11-19 基于一致性多尺度度量学习的焊缝缺陷识别方法 Pending CN114418929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111392250.0A CN114418929A (zh) 2021-11-19 2021-11-19 基于一致性多尺度度量学习的焊缝缺陷识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111392250.0A CN114418929A (zh) 2021-11-19 2021-11-19 基于一致性多尺度度量学习的焊缝缺陷识别方法

Publications (1)

Publication Number Publication Date
CN114418929A true CN114418929A (zh) 2022-04-29

Family

ID=81265257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111392250.0A Pending CN114418929A (zh) 2021-11-19 2021-11-19 基于一致性多尺度度量学习的焊缝缺陷识别方法

Country Status (1)

Country Link
CN (1) CN114418929A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648101A (zh) * 2022-05-13 2022-06-21 杭州研极微电子有限公司 基于transformer结构的softmax函数量化实现方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862692A (zh) * 2017-11-30 2018-03-30 中山大学 一种基于卷积神经网络的织带断痕缺陷检测方法
US20210133479A1 (en) * 2019-11-05 2021-05-06 Beijing University Of Posts And Telecommunications Fine-grained image recognition method, electronic device and storage medium
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107862692A (zh) * 2017-11-30 2018-03-30 中山大学 一种基于卷积神经网络的织带断痕缺陷检测方法
US20210133479A1 (en) * 2019-11-05 2021-05-06 Beijing University Of Posts And Telecommunications Fine-grained image recognition method, electronic device and storage medium
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法
CN113129266A (zh) * 2021-03-22 2021-07-16 太原科技大学 基于多域表达数据增强及模型自优化的不锈钢焊缝缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘金海 等: "基于漏磁内检测的自监督缺陷检测方法", 《仪器仪表学报》, 27 September 2020 (2020-09-27) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648101A (zh) * 2022-05-13 2022-06-21 杭州研极微电子有限公司 基于transformer结构的softmax函数量化实现方法和装置

Similar Documents

Publication Publication Date Title
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及系统
CN113362326B (zh) 一种电池焊点缺陷的检测方法及装置
KR102008973B1 (ko) 딥러닝 기반의 하수도관 내부 결함 탐지 장치 및 방법
CN103279765B (zh) 基于图像匹配的钢丝绳表面损伤检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN109344905A (zh) 一种基于集成学习的输电设备自动故障识别方法
CN112950606A (zh) 一种基于小样本的手机屏幕缺陷分割方法
CN102590247A (zh) 一种基于x光图像处理技术的钢丝绳损伤检测方法
CN113763363A (zh) 一种排水管道破裂缺陷检测及等级评定方法
CN115375925A (zh) 一种基于相位信息和深度学习的水下声呐图像匹配算法
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
CN113313107A (zh) 一种斜拉桥缆索表面多类型病害智能检测和识别方法
CN112836719A (zh) 一种融合二分类和三元组的示功图相似性检测方法
CN116883831A (zh) 一种被遮挡的隧道表面裂缝识别方法
CN109767426B (zh) 一种基于图像特征识别的盾构隧道渗漏水检测方法
CN114418929A (zh) 基于一致性多尺度度量学习的焊缝缺陷识别方法
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN117011759A (zh) 钻爆法隧道掌子面围岩多元地质信息解析方法及系统
CN116721080A (zh) 基于形状位置感知和均衡采样的小径管焊接缺陷检测方法
CN114639015B (zh) 联合光谱、植被指数和纹理特征的高分影像滑坡检测方法
CN115937555A (zh) 一种基于标准化流模型的工业缺陷检测算法
CN113222947B (zh) 一种非金属材料焊接缺陷智能检测方法及系统
CN112508946B (zh) 一种基于对抗神经网络的电缆隧道异常检测方法
Yasuno et al. One-class steel detector using patch GAN discriminator for visualising anomalous feature map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination