CN117173090A - 焊接缺陷类型识别方法、装置、存储介质及电子设备 - Google Patents
焊接缺陷类型识别方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117173090A CN117173090A CN202310657879.6A CN202310657879A CN117173090A CN 117173090 A CN117173090 A CN 117173090A CN 202310657879 A CN202310657879 A CN 202310657879A CN 117173090 A CN117173090 A CN 117173090A
- Authority
- CN
- China
- Prior art keywords
- defect
- welding
- confidence
- region
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 449
- 238000003466 welding Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000035515 penetration Effects 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 15
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000005493 welding type Methods 0.000 claims 1
- 239000000463 material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000011324 bead Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 239000000945 filler Substances 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000010953 base metal Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004021 metal welding Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提供一种焊接缺陷类型识别方法、装置、存储介质及电子设备，涉及图像识别领域，通过识别出焊接图像中焊缝区域以及缺陷区域，根据缺陷区域的缺陷特征，生成表征缺陷类型可能性的缺陷特征置信度，再通过高斯建模的方式确定精确的缺陷框与焊缝框的相对位置关系，得到缺陷类型的相对位置特点的位置权重置信度，在缺陷特征识别的基础上加入位置特征，能够提高焊接图像中的缺陷区域的缺陷类型判断的准确性。
Description
技术领域
本申请涉及图像识别领域，具体涉及一种焊接缺陷类型识别方法、装置、存储介质及电子设备。
背景技术
焊接是生产生活中会频繁使用到的工艺，并且焊接过程中容易受到外部环境或操作手法的影响，导致成型的焊缝会出现不可预料的缺陷。焊缝缺陷包括未熔合缺陷与未焊透缺陷，两种缺陷都表示焊接不完全，会导致焊缝的强度和密封性不足，从而影响焊接结构的稳定性与安全性。为了针对不同缺陷采取相应的措施，需要识别焊缝焊接的缺陷是未熔合缺陷还是未焊透缺陷。
相关技术中识别未熔合缺陷与未焊透缺陷的方法为通过深度学习的方法，需要使用大量数据训练相应的识别模型，但是未熔合缺陷与未焊透缺陷实际中由于结构或环境的因素难以进行人工判断，使得用于训练的数据不够全面准确，导致缺陷类型判断的准确性较低。
发明内容
本申请提供一种焊接缺陷类型识别方法、装置、存储介质及电子设备，在通过缺陷特征判断缺陷类型的基础上，加入缺陷类型对应的位置权重置信度，能够提高焊接图像中的缺陷区域的缺陷类型判断的准确性。
第一方面，本申请提供了一种焊接缺陷类型识别方法，所述方法包括：
获取焊接图像，所述焊接图像包括至少一处焊接缺陷；
调用色阶缺陷检测模型，识别所述焊接图像中的焊缝区域与缺陷区域；
基于所述缺陷区域的缺陷特征，分别生成所述缺陷区域的缺陷类型对应的缺陷特征置信度，所述缺陷类型包括未熔合缺陷以及未焊透缺陷；
使用高斯建模的方式标定所述焊缝区域对应的焊缝框以及所述缺陷区域对应的缺陷框；
基于所述缺陷框与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度；
基于所述缺陷特征置信度以及所述位置权重置信度，确定所述缺陷区域对应的缺陷类型。
通过采用上述技术方案，识别出焊接图像中焊缝区域以及缺陷区域，根据缺陷区域的缺陷特征，生成表征缺陷类型可能性的缺陷特征置信度，再通过高斯建模的方式确定精确的缺陷框与焊缝框的相对位置关系，得到缺陷类型的相对位置特点的位置权重置信度，在缺陷特征识别的基础上加入位置特征，能够提高焊接图像中的缺陷区域的缺陷类型判断的准确性。
可选的，所述基于所述缺陷框与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度，包括：
确定所述缺陷框的质心坐标；
基于所述缺陷框的质心坐标与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度。
通过采用上述技术方案，通过确定缺陷框的质心坐标，能够计算出不规则缺陷区域对应的缺陷框的准确距离，从而能够根据位置关系生成准确的缺陷类型对应的位置权重置信度。
可选的，所述基于所述缺陷框的质心坐标与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度，包括：
基于所述缺陷框的质心坐标与所述焊缝框的宽度左右1/4处的最短距离，生成所述未熔合缺陷对应的第一位置权重置信度；
基于所述缺陷框的质心坐标与所述焊缝框的宽度中心的距离，生成所述未焊透缺陷对应第二位置权重置信度。
通过采用上述技术方案，根据未熔合缺陷与未焊透缺陷的位置分布特点，距离焊缝框的宽度左右1/4处的最短距离为未熔合缺陷的位置分布特征，最短距离越小则说明质心坐标的位置更倾向于未熔合缺陷，第一权重权重置信度越大；相对的，距离焊缝框的宽度中心的距离为未焊透缺陷的分布特征，距离焊缝框的宽度中心的距离越小则说明质心坐标的位置更倾向于未焊透缺陷，第二权重权重置信度越大，通过不同缺陷类型的位置分布特征，能够得到不同缺陷类型对应的位置权重置信度。
可选的，所述基于所述缺陷特征置信度以及所述位置权重置信度，确定所述缺陷区域对应的缺陷类型，包括：
将所述未熔合缺陷对应的缺陷特征置信度乘以所述第一位置权重置信度，得到所述未熔合缺陷的第一得分；
将所述未焊透缺陷对应的缺陷特征置信度乘以所述第二位置权重置信度，得到所述未焊透缺陷的第二得分；
将所述第一得分与第二得分中的最高得分对应的缺陷类型确定为所述缺陷区域对应的缺陷类型。
通过采用上述技术方案，分别计算出未熔合缺陷的第一得分以及未焊透缺陷的第二得分，将得分最高的确定为缺陷区域的缺陷类型，能够提高缺陷类型判断的准确性。
可选的，所述获取焊接图像，包括：
获取焊接区域的射线数据；
扫描所述焊接区域的射线数据，得到图像数据；
使用反向灰度直方图对所述图像数据进行均衡化处理，得到焊接图像。
通过采用上述技术方案，针对扫描得到的原始的图像数据，进行缺陷类型识别之前的预处理，能够提高后续焊接图像识别的准确性。
可选的，所述缺陷区域的缺陷特征包括大小特征、形状特征以及灰度特征，所述基于所述缺陷区域的缺陷特征，生成所述缺陷区域对应的缺陷特征置信度，包括：
将所述缺陷区域的大小特征、形状特征以及灰度特征输入到卷积神经网络模型中，输出所述缺陷区域的缺陷类型对应的缺陷特征置信度。
通过采用上述技术方案，使用卷积神经网络模型根据缺陷区域的大小特征、形状特征以及灰度特征，分别输出不同的权限类型对应的缺陷特征置信度，能够提高缺陷类型初步判断的准确性。
可选的，所述调用色阶缺陷检测模型，识别所述焊接图像中的焊缝区域与缺陷区域之后，还包括：
对所述焊接图像的焊缝区域进行形态学处理以及区域连通处理，得到精确焊缝区域；
所述使用高斯建模的方式标定所述焊缝区域对应的焊缝框，包括：
所述使用高斯建模的方式标定所述精确焊缝区域对应的焊缝框。
通过采用上述技术方案，使用形态学处理以及区域连通处理，能够减小焊接图像中的灰度噪点对焊接框标定的影响，从而提高后续位置权重置信度的准确性。
第二方面，本申请提供了焊接缺陷类型识别装置，所述装置包括：
焊接图像获取模块，用于获取焊接图像，所述焊接图像包括至少一处焊接缺陷；
区域识别模块，用于调用色阶缺陷检测模型，识别所述焊接图像中的焊缝区域与缺陷区域；缺陷特征置信度生成模块，用于基于所述缺陷区域的缺陷特征，分别生成所述缺陷区域的缺陷类型对应的缺陷特征置信度，所述缺陷类型包括未熔合缺陷以及未焊透缺陷；
标定模块，用于使用高斯建模的方式标定所述焊缝区域对应的焊缝框以及所述缺陷区域对应的缺陷框；
位置权重置信度生成模块，用于基于所述缺陷框与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度；
缺陷类型确定模块，用于基于所述缺陷特征置信度以及所述位置权重置信度，确定所述缺陷区域对应的缺陷类型。
第三方面，本申请提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述任意一项方法。
第四方面，本申请提供了一种电子设备，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如上述任意一项方法。
综上所述，本申请技术方案所带来的有益效果包括：
识别出焊接图像中焊缝区域以及缺陷区域，根据缺陷区域的缺陷特征，生成表征缺陷类型可能性的缺陷特征置信度，再通过高斯建模的方式确定精确的缺陷框与焊缝框的相对位置关系，得到缺陷类型的相对位置特点的位置权重置信度，在缺陷特征识别的基础上加入位置特征，能够提高焊接图像中的缺陷区域的缺陷类型判断的准确性。
附图说明
图1是本申请实施例提供的一种焊接缺陷示意图；
图2是本申请实施例提供的一种焊接缺陷类型识别方法的流程示意图；
图3是本申请实施例提供的一种区域标定的示意图；
图4是本申请实施例提供的一种确定位置权重置信度的流程示意图；
图5是本申请实施例提供的一种缺陷框与焊缝框的位置关系示意图；
图6是本申请实施例提供的一种焊接缺陷类型识别装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
附图标记说明：601、焊接图像获取模块；602、区域识别模块；603、缺陷特征置信度生成模块；604、标定模块；605、位置权重置信度生成模块；606、缺陷类型确定模块；700、电子设备；701、处理器；702、通信总线；703、用户接口；704、网络接口；705、存储器。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
在本申请实施例的描述中，“示性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为理解本申请实施例，首先对本申请实施例涉及到的相关名词作简要说明。
本申请实施例中的焊接缺陷包括未熔合缺陷以及未焊透缺陷，焊接缺陷类型识别指的是识别焊接缺陷的类型是未熔合缺陷还是未焊透缺陷。
请参见图1，为本申请实施例提供的一种焊接缺陷示意图，图中示出了未熔合缺陷以及未焊透缺陷的缺陷示意图。如图1(a)所示，未熔合缺陷是指填充材料与母材之间或填充材料之间未熔化结合在一起的缺陷，多因填充材料之间或填充材料与母材坡口之间存在空隙等原因导致未熔合。如图1(b)所示，未焊透缺陷是指母材与母材之间没有通过填充材料完全连接在一起的缺陷。由于导致未熔合缺陷的原因多为空隙或母材上的污渍，因此解决未熔合缺陷的方式多为处理母材坡口；导致未焊透缺陷的原因多为填充材料的用量或方法未达到母材焊接的实际厚度，因此解决未焊透缺陷的方法多为调整焊接数据或焊接方式。基于未熔合缺陷以及未焊透缺陷的不同解决方式，有必要区分出焊接缺陷是属于未熔合缺陷还是未焊透缺陷，以针对性的给出对应缺陷的解决方案。
请参见图2，为本申请实施例提供的一种焊接缺陷类型识别方法的流程示意图，该方法可依赖于计算机程序实现，可依赖于单片机实现，也可运行于基于冯诺依曼体系的焊接缺陷类型识别装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。本申请实施例以处理焊接图像的处理器为例，对焊接缺陷类型识别方法的具体步骤做详细说明。
S201，获取焊接图像，焊接图像包括至少一处焊接缺陷。
焊接图像为输入到处理焊接图像的处理器的图像，通过射线扫描实际焊接区域得到，本申请实施例中的重点在于识别焊接缺陷的缺陷类型，因此焊接图像需要包括至少依初焊接缺陷，以完成后续缺陷类型识别的步骤，此处的焊接缺陷具体为未熔合缺陷和/或未焊透缺陷，即一个焊接图像上至少存在一个未熔合缺陷和/或未焊透缺陷。
S202，调用色阶缺陷检测模型，识别焊接图像中的焊缝区域与缺陷区域。
焊缝区域是指正向扫描母材与母材的图像中，填充材料所占的区域，缺陷区域为焊缝区域范围内出现焊接缺陷的区域。
色阶缺陷检测模型是通过色阶映射的方式识别焊接图像中的焊缝区域以及缺陷区域的，将输入的焊接图像中的灰度值范围映射到新的输出灰度值范围内，具体来说，对于焊接图像中的每个像素，使用输入色阶映射公式计算如下：
其中，Vin为焊接图像中某一像素的灰度值，inShadows为焊接图像的最低灰度值，inHighlights为焊接图像的最高灰度值，Vout为映射输出的灰度值。
通过归一化焊接图像中的灰度值范围，将焊接图像中像素的灰度值映射到[0，255]的输出范围内，以突显缺陷位置及形状。
上述将焊接图像的灰度值映射到[0，255]的输出范围之后，可采用输出色阶映射对输出范围在[0，255]内的映射输出的灰度值作进一步处理，处理方式与上述输入色阶映射公式的处理方式相同，在此只给出输出色阶映射公式，具体不再赘述。
其中，outLighhights为输出图像的最高灰度值，outShadows为输出图像的最低灰度值。
S203，基于缺陷区域的缺陷特征，分别生成缺陷区域的缺陷类型对应的缺陷特征置信度，缺陷类型包括未熔合缺陷以及未焊透缺陷。
缺陷特征是指缺陷区域的大小特征、形状特征以及灰度特征，缺陷特征置信度为根据缺陷区域的缺陷特征，指向具体的缺陷类型是未熔合缺陷以及未焊透缺陷，简单来说就是对于一个缺陷区域，通过这个缺陷区域的大小特征、形状特征以及灰度特征，分别判断缺陷区域的缺陷类型是未熔合缺陷的概率以及未焊透缺陷的概率，并形成归一化的数值。
S204，使用高斯建模的方式标定焊缝区域对应的焊缝框以及缺陷区域对应的缺陷框。
高斯建模是一种背景建模方法，将焊接图像中的焊缝区域作为背景，统计焊缝区域的每个像素的均值和方差，作为背景模型。将缺陷区域以及焊缝区域交界处的像素与背景模型进行比较，如果该像素的灰度值与背景模型的均值之差大于一定的阈值，则表示该像素的灰度值与代表焊缝区域的背景模型有差异，通过此方法确定准确的焊缝区域以及缺陷区域。在此基础上，基于缺陷像素的空间关系和形态特征，对缺陷区域进行聚类，并通过标定的方式确定焊缝框。
请参见图3，为本申请实施例提供的一种区域标定的示意图，图中通过不同的框线分别标定了焊缝区域对应的焊缝框以及缺陷区域对应的缺陷框。
在一种可实现的实施方式中，采用矩形框的方式标定焊缝框以及缺陷框，通过标定更为准确的焊缝框以及缺陷框，能够保证后续确定缺陷框和焊缝框的位置关系的准确性。
S205，基于缺陷框与焊缝框的位置关系，生成缺陷类型对应的位置权重置信度。
在未熔合缺陷和未焊透缺陷的位置分布中，未焊透缺陷的缺陷位置通常处于焊缝中心，而未熔合缺陷通常发生于母材坡口处，因此未熔合缺陷的缺陷位置通常处于焊缝中心两侧。根据缺陷框在焊缝框中的相对位置关系，即可得到缺陷类型对应的位置权重置信度。位置权重置信度的大小与缺陷框距离未焊透缺陷的缺陷位置以及缺陷框距离未熔合缺陷的缺陷位置确定，且两种缺陷类型对应的位置权重置信度为归一化数值。
S206，基于缺陷特征置信度以及位置权重置信度，确定缺陷区域对应的缺陷类型。
从缺陷特征置信度和位置权重置信度两个维度确定缺陷类型，即在缺陷特征置信度的基础上，加入位置权重置信度进一步区分缺陷区域的缺陷类型。
在本申请的另一个实施例中，请参见图4，图4为本申请实施例提供的一种确定位置权重置信度的流程示意图，详细描述了如何根据缺陷框与焊缝框的位置关系，生成缺陷类型对应的位置权重置信度，并最终确定缺陷类别的步骤，以提高缺陷类型识别的准确性。
标定焊缝框以及标定缺陷框在上述实施例S201～S204中已做详细阐述，在此不再赘述。
S401，确定缺陷框的质心坐标。
质心坐标指图形中的点相对于各顶点的位置，在二维平面内可用于计算物体的重心等物理量。具体的缺陷框的质心坐标计算公式如下：
(xc,yc)＝(1/A)*∫∫(x,y)dA；
其中，A表示缺陷框的面积，(x,y)表示缺陷框上任意一点的坐标，dA表示面积元素。
将缺陷框分解为若干个小的面积元素，然后计算每个面积元素的重心坐标，最终将所有面积元素的重心坐标加权平均即可得到整个图形的质心坐标。
在一种可实现的实施方式中，当缺陷框为矩形时，可直接通过上述质心坐标计算公式就算得到质心坐标。
S402，基于缺陷框的质心坐标与焊缝框的位置关系，生成缺陷类型对应的位置权重置信度。
请参见图5，为本申请实施例提供的一种缺陷框与焊缝框的位置关系示意图，以详细解释缺陷框的质心坐标与焊缝框的位置关系。
S402a，基于缺陷框的质心坐标与焊缝框的宽度左右1/4处的最短距离，生成未熔合缺陷对应的第一位置权重置信度。
未熔合缺陷的缺陷位置在焊缝框中存在左右两个位置，因此在判断缺陷时需要将质心坐标与焊缝框的宽度1/4处的最短距离作为质心坐标与未熔合缺陷的缺陷位置的距离，最短距离越小，则质心坐标越接近于未熔合缺陷的缺陷位置，缺陷区域的缺陷类型为未熔合缺陷的可能性更大，因此表征未熔合缺陷的第一位置权重置信度也越大。
在一种可实现的实施方式中，由于焊接图像中的焊缝比例可能不同，因此可将最短距离占焊缝框的宽度的比值作为最短距离，计算第一位置权重置信度。
S402b，基于缺陷框的质心坐标与焊缝框的宽度中心的距离，生成未焊透缺陷对应第二位置权重置信度。
未焊透缺陷的缺陷位置在焊缝框的宽度中心位置。同样的，质心坐标与广度中心的距离越小，则质心坐标越接近于未焊透缺陷的缺陷位置，缺陷区域的缺陷类型为为焊透缺陷的可能性更大，因此表征未焊透缺陷的第二位置权重置信度也越大。
在一种可实现的实时方式中，可将质心坐标与焊缝框宽度中心的距离占焊缝框的宽度的比值作为计算第二位置权重置信度的距离。
在一种可实现的实施方式中，计算第一位置权重置信度以及第二位置权重置信度可采用同一种计算方式以实现归一化处理。
S403，将未熔合缺陷对应的缺陷特征置信度乘以第一位置权重置信度，得到未熔合缺陷的第一得分。
在上述通过缺陷特征得到的未熔合缺陷对应的缺陷特征置信度之后，乘以第一位置权重置信度，即可得到缺陷区域为未熔合缺陷的第一得分。
S404，将未焊透缺陷对应的缺陷特征置信度乘以第二位置权重置信度，得到未焊透缺陷的第二得分。
将未焊透缺陷对应的缺陷特征置信度乘以第二位置权重置信度，即可在通过缺陷特征初步判断得到的缺陷特征置信度的基础上加入位置判断，得到能够反映未焊透缺陷可能性的第二得分。
S405，将第一得分与第二得分中的最高得分对应的缺陷类型确定为缺陷区域对应的缺陷类型。
针对第一得分以及第二得分，由于未焊透缺陷对应的缺陷特征置信度与未熔合缺陷对应的缺陷特征置信度是经过归一化处理的，同时第一位置权重置信度和第二位置权重置信度也是归一化的数值，因此可通过直接比较第一得分与第二得分来判断缺陷区域的缺陷类型。
在本申请的其中一个实施例中，获取焊接图像的具体方式为：获取焊接区域的射线数据；扫描焊接区域的射线数据，得到图像数据；使用反向灰度直方图对图像数据进行均衡化处理，得到焊接图像。
反向灰度直方图是指将灰度级从高到低排序来计算直方图，即首先将灰度级取反后再计算直方图。计算图像数据的反向灰度直方图，将图像数据的灰度级分布从低到高排序，然后计算每个灰度级在图像数据中出现的概率，最后将概率值累加得到的一条曲线。
对反向灰度直方图进行均衡化处理：将反向灰度直方图的累加曲线进行线性拉伸，使其在灰度级范围内均匀分布，将处理后的反向灰度直方图进行反转，得到焊接图像，从而达到增强图像对比度和亮度的目的。
在本申请的其中一个实施例中，缺陷区域的缺陷特征包括大小特征、形状特征以及灰度特征。将缺陷区域的大小特征、形状特征以及灰度特征输入到卷积神经网络模型中，输出缺陷区域的缺陷类型对应的缺陷特征置信度。
具体地，大小特征可通过计算缺陷区域的面积、周长等参数来判断缺陷区域的大小。形状特征可通过边缘检测算法提取缺陷区域的边缘信息。通常情况下，未熔合缺陷的边缘是不连续的，而未焊透缺陷则可能存在较大的空洞或空隙。灰度特征可通过计算缺陷区域的灰度值、颜色等信息来进行区分。可通过卷积神经网络模型来计算缺陷特征置信度，输入参数为缺陷区域的大小特征、形状特征以及灰度特征，输出两种缺陷类型对应的缺陷特征置信度。
在本申请的其中一个实施例中，对焊接图像的焊缝区域进行形态学处理以及区域连通处理，得到精确焊缝区域。
在标定焊缝框之前，可通过形态学处理以及区域连通处理实现去噪。其中形态学处理是一种基于形状的图像处理方法，它主要用于分析和处理图像中的形状和空间关系。形态学处理算法通常通过对图像进行膨胀、腐蚀、开运算、闭运算等操作来提取图像中的有用信息，例如边缘、连通区域、几何形状等。开操作和闭操作是形态学处理中常用的一种组合运算。开操作可以先对焊接图像进行腐蚀操作，然后再进行膨胀操作。它可以消除细小的噪点和毛刺，并保留物体的主体形状。闭操作则是先进行膨胀操作，然后再进行腐蚀操作。它可以填补物体中的空洞和裂缝，消除小的孤立噪点，同时保留焊接区域的主体形状。在区域连通处理中，可以将图像中连通的像素点组成一个区域。在图像去噪中，可以先对图像进行二值化处理，然后使用基于像素的连通性分析方法去除面积较小的连通区域，从而达到去噪的效果。
请参见图6，其示出了本申请一个示例性实施例提供的焊接缺陷类型识别装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置包括焊接图像获取模块601、区域识别模块602、缺陷特征置信度生成模块603、标定模块604、位置权重置信度生成模块605以及缺陷类型确定模块606。
焊接图像获取模块601，用于获取焊接图像，焊接图像包括至少一处焊接缺陷。
区域识别模块602，用于调用色阶缺陷检测模型，识别焊接图像中的焊缝区域与缺陷区域。
缺陷特征置信度生成模块603，用于基于缺陷区域的缺陷特征，分别生成缺陷区域的缺陷类型对应的缺陷特征置信度，缺陷类型包括未熔合缺陷以及未焊透缺陷。
标定模块604，用于使用高斯建模的方式标定焊缝区域对应的焊缝框以及缺陷区域对应的缺陷框。
位置权重置信度生成模块605，用于基于缺陷框与焊缝框的位置关系，生成缺陷类型对应的位置权重置信度。
缺陷类型确定模块606，用于基于缺陷特征置信度以及位置权重置信度，确定缺陷区域对应的缺陷类型。
可选的，焊接图像获取模块601还包括焊接图像预处理单元。
焊接图像预处理单元，用于获取焊接区域的射线数据；扫描焊接区域的射线数据，得到图像数据；使用反向灰度直方图对图像数据进行均衡化处理，得到焊接图像。
可选的，区域识别模块602还包括去噪单元。
去噪单元，用于对焊接图像的焊缝区域进行形态学处理以及区域连通处理，得到精确焊缝区域；使用高斯建模的方式标定焊缝区域对应的焊缝框，包括：使用高斯建模的方式标定精确焊缝区域对应的焊缝框。
可选的，缺陷特征置信度生成模块603还包括缺陷特征置信度计算单元。
缺陷特征置信度计算单元，用于将缺陷区域的大小特征、形状特征以及灰度特征输入到卷积神经网络模型中，输出缺陷区域的缺陷类型对应的缺陷特征置信度。
可选的，位置权重置信度生成模块605还包括质心坐标确定单元以及位置权重置信度计算单元。
质心坐标确定单元，用于确定缺陷框的质心坐标；基于缺陷框的质心坐标与焊缝框的位置关系，生成缺陷类型对应的位置权重置信度。
位置权重置信度计算单元，用于基于缺陷框的质心坐标与焊缝框的宽度左右1/4处的最短距离，生成未熔合缺陷对应的第一位置权重置信度；基于缺陷框的质心坐标与焊缝框的宽度中心的距离，生成未焊透缺陷对应第二位置权重置信度。
可选的，缺陷类型确定模块606还包括分值比较单元。
分值比较单元，用于将未熔合缺陷对应的缺陷特征置信度乘以第一位置权重置信度，得到未熔合缺陷的第一得分；将未焊透缺陷对应的缺陷特征置信度乘以第二位置权重置信度，得到未焊透缺陷的第二得分；将第一得分与第二得分中的最高得分对应的缺陷类型确定为缺陷区域对应的缺陷类型。
本申请实施例还提供了一种计算机存储介质，计算机存储介质可以存储有多条指令，指令适于由处理器加载并执行如上述图1-图5所示实施例的焊接缺陷类型识别方法，具体执行过程可以参加图1-图5所示实施例的具体说明，在此不进行赘述。
请参见图7，为本申请实施例提供了一种电子设备的结构示意图。如图7所示，电子设备700可以包括：至少一个处理器701，至少一个网络接口704，用户接口703，存储器705，至少一个通信总线702。
其中，通信总线702用于实现这些组件之间的连接通信。
其中，用户接口703可以包括显示屏(Display)、摄像头(Camera)，可选用户接口703还可以包括标准的有线接口、无线接口。
其中，网络接口704可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器701可以包括一个或者多个处理核心。处理器701利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器705内的指令、程序、代码集或指令集，以及调用存储在存储器705内的数据，执行服务器的各种功能和处理数据。可选的，处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器701中，单独通过一块芯片进行实现。
其中，存储器705可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。如图7所示，作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及一种焊接缺陷类型识别方法的应用程序。
在图7所示的电子设备700中，用户接口703主要用于为用户提供输入的接口，获取用户输入的数据；而处理器701可以用于调用存储器705中存储一种焊接缺陷类型识别方法的应用程序，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个的方法。
一种电子设备可读存储介质，电子设备可读存储介质存储有指令。当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个的方法。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (10)
1.一种焊接缺陷类型识别方法，其特征在于，所述方法包括：
获取焊接图像，所述焊接图像包括至少一处焊接缺陷；
调用色阶缺陷检测模型，识别所述焊接图像中的焊缝区域与缺陷区域；
基于所述缺陷区域的缺陷特征，分别生成所述缺陷区域的缺陷类型对应的缺陷特征置信度，所述缺陷类型包括未熔合缺陷以及未焊透缺陷；
使用高斯建模的方式标定所述焊缝区域对应的焊缝框以及所述缺陷区域对应的缺陷框；
基于所述缺陷框与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度；
基于所述缺陷特征置信度以及所述位置权重置信度，确定所述缺陷区域对应的缺陷类型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述缺陷框与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度，包括：
确定所述缺陷框的质心坐标；
基于所述缺陷框的质心坐标与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度。
3.根据权利要求2所述的方法，其特征在于，所述基于所述缺陷框的质心坐标与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度，包括：
基于所述缺陷框的质心坐标与所述焊缝框的宽度左右1/4处的最短距离，生成所述未熔合缺陷对应的第一位置权重置信度；
基于所述缺陷框的质心坐标与所述焊缝框的宽度中心的距离，生成所述未焊透缺陷对应第二位置权重置信度。
4.根据权利要求3所述的方法，其特征在于，所述基于所述缺陷特征置信度以及所述位置权重置信度，确定所述缺陷区域对应的缺陷类型，包括：
将所述未熔合缺陷对应的缺陷特征置信度乘以所述第一位置权重置信度，得到所述未熔合缺陷的第一得分；
将所述未焊透缺陷对应的缺陷特征置信度乘以所述第二位置权重置信度，得到所述未焊透缺陷的第二得分；
将所述第一得分与第二得分中的最高得分对应的缺陷类型确定为所述缺陷区域对应的缺陷类型。
5.根据权利要求1所述的方法，其特征在于，所述获取焊接图像，包括：
获取焊接区域的射线数据；
扫描所述焊接区域的射线数据，得到图像数据；
使用反向灰度直方图对所述图像数据进行均衡化处理，得到焊接图像。
6.根据权利要求1所述的方法，其特征在于，所述缺陷区域的缺陷特征包括大小特征、形状特征以及灰度特征，所述基于所述缺陷区域的缺陷特征，生成所述缺陷区域对应的缺陷特征置信度，包括：
将所述缺陷区域的大小特征、形状特征以及灰度特征输入到卷积神经网络模型中，输出所述缺陷区域的缺陷类型对应的缺陷特征置信度。
7.根据权利要求5所述的方法，其特征在于，所述调用色阶缺陷检测模型，识别所述焊接图像中的焊缝区域与缺陷区域之后，还包括：
对所述焊接图像的焊缝区域进行形态学处理以及区域连通处理，得到精确焊缝区域；
所述使用高斯建模的方式标定所述焊缝区域对应的焊缝框，包括：
所述使用高斯建模的方式标定所述精确焊缝区域对应的焊缝框。
8.一种焊接缺陷类型识别装置，其特征在于，所述装置包括：
焊接图像获取模块（601），用于获取焊接图像，所述焊接图像包括至少一处焊接缺陷；
区域识别模块（602），用于调用色阶缺陷检测模型，识别所述焊接图像中的焊缝区域与缺陷区域；
缺陷特征置信度生成模块（603），用于基于所述缺陷区域的缺陷特征，分别生成所述缺陷区域的缺陷类型对应的缺陷特征置信度，所述缺陷类型包括未熔合缺陷以及未焊透缺陷；
标定模块（604），用于使用高斯建模的方式标定所述焊缝区域对应的焊缝框以及所述缺陷区域对应的缺陷框；
位置权重置信度生成模块（605），用于基于所述缺陷框与所述焊缝框的位置关系，生成所述缺陷类型对应的位置权重置信度；
缺陷类型确定模块（606），用于基于所述缺陷特征置信度以及所述位置权重置信度，确定所述缺陷区域对应的缺陷类型。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1~7任意一项所述的方法。
10.一种电子设备，其特征在于，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如权利要求1~7任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310657879.6A CN117173090A (zh) | 2023-06-05 | 2023-06-05 | 焊接缺陷类型识别方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310657879.6A CN117173090A (zh) | 2023-06-05 | 2023-06-05 | 焊接缺陷类型识别方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173090A true CN117173090A (zh) | 2023-12-05 |
Family
ID=88932511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310657879.6A Pending CN117173090A (zh) | 2023-06-05 | 2023-06-05 | 焊接缺陷类型识别方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173090A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117538334A (zh) * | 2024-01-09 | 2024-02-09 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、电子设备以及存储介质 |
-
2023
- 2023-06-05 CN CN202310657879.6A patent/CN117173090A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117538334A (zh) * | 2024-01-09 | 2024-02-09 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、电子设备以及存储介质 |
| CN117538334B (zh) * | 2024-01-09 | 2024-05-24 | 宁德时代新能源科技股份有限公司 | 缺陷检测方法、装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110717489B (zh) | Osd的文字区域的识别方法、装置及存储介质 | |
| CN111292303B (zh) | 焊缝缺陷类别检测方法、装置、电子设备及存储介质 | |
| CN104718428B (zh) | 图案的检查、测量装置及程序 | |
| KR101934313B1 (ko) | 검사 이미지들 내에서 결함들을 검출하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품 | |
| CN113592886B (zh) | 建筑图纸的审图方法、装置、电子设备及介质 | |
| CN114627092A (zh) | 缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN113160161B (zh) | 目标边缘处缺陷的检测方法和装置 | |
| CN110660072B (zh) | 一种直线边缘的识别方法、装置、存储介质及电子设备 | |
| US20150146966A1 (en) | Methods and media for averaging contours of wafer feature edges | |
| CN115018846B (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
| CN108305260A (zh) | 一种图像中角点的检测方法、装置及设备 | |
| CN117173090A (zh) | 焊接缺陷类型识别方法、装置、存储介质及电子设备 | |
| CN114742789B (zh) | 一种基于面结构光的通用零件拾取方法、系统及电子设备 | |
| CN111553914A (zh) | 基于视觉的货物检测方法、装置、终端及可读存储介质 | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN115471476A (zh) | 一种部件缺陷检测方法、装置、设备及介质 | |
| CN114972268A (zh) | 一种缺陷图像的生成方法、装置、电子设备及存储介质 | |
| CN113343987B (zh) | 文本检测处理方法、装置、电子设备及存储介质 | |
| CN117523087B (zh) | 基于内容识别的三维模型优化方法 | |
| CN112907517B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| CN111340788B (zh) | 硬件木马版图检测方法、装置、电子设备和可读存储介质 | |
| CN116703912B (zh) | 一种迷你主机网口完整性视觉检测方法 | |
| CN113392455A (zh) | 基于深度学习的户型图比例尺检测方法、装置及电子设备 | |
| CN117058411A (zh) | 电池棱边外形瑕疵识别方法、装置、介质和设备 | |
| JP2006337167A (ja) | 周期性ノイズ下での低コントラスト欠陥検査方法、繰返しパターン下での低コントラスト欠陥検査方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |