CN116309307A - 焊缝缺陷检测方法、装置、可读存储介质及电子设备 - Google Patents
焊缝缺陷检测方法、装置、可读存储介质及电子设备 Download PDFInfo
- Publication number
- CN116309307A CN116309307A CN202310043203.8A CN202310043203A CN116309307A CN 116309307 A CN116309307 A CN 116309307A CN 202310043203 A CN202310043203 A CN 202310043203A CN 116309307 A CN116309307 A CN 116309307A
- Authority
- CN
- China
- Prior art keywords
- weld
- image
- feature
- target
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 125
- 238000001514 detection method Methods 0.000 title claims abstract description 47
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 26
- 238000003466 welding Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000003709 image segmentation Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 9
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30152—Solder
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本申请提供一种焊缝缺陷检测方法、装置、可读存储介质及电子设备，涉及工业制造技术领域，该方法包括：获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从目标图像中提取焊缝边界数据；基于焊缝边界数据，从目标图像中提取目标工件的表面焊缝图像；通过焊缝缺陷识别单元，判断表面焊缝图像中是否存在焊缝缺陷。本申请提供的焊缝缺陷检测方法、装置、可读存储介质及电子设备，用于解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。
Description
技术领域
本申请涉及工业制造技术领域，尤其涉及一种焊缝缺陷检测方法、装置、可读存储介质及电子设备。
背景技术
在工业制造技术领域，在对工件进行处理时，通常会涉及焊接工序。例如，将工件的两个部件进行焊接，焊接完成后，通常需要对焊缝的质量进行检测，以剔除质量不合格的产品，从而提高产品良率。
在对焊缝的质量进行检测时，主要是对焊缝是否存在缺陷进行检测。在相关技术中，通常是采用人工检测的方式对焊缝是否存在缺陷进行检测。
然而，该种焊缝检测方式受限于检测人员检查经验，不同的产品检测员可能在焊缝缺陷检测过程中出现不同的检测结果，导致漏检、错检的情况出现，进而影响产品的合格率。
发明内容
本申请的目的是提供一种焊缝缺陷检测方法、装置、可读存储介质及电子设备，用于解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。
本申请提供一种焊缝缺陷检测方法，包括：
获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
可选地，所述通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据，包括：将所述目标图像转换为HSV图像，并通过对所述HSV图像的通道V的调整，拉伸所述HSV图像的亮度，并得到亮度提升图像；将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔。
可选地，所述将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔之后，所述方法还包括：将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像；对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像；将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像；0值表示非焊缝区域，1值表示焊缝区域；基于所述第一识别结果图像中各个区域的数值，生成所述焊缝边界数据。
可选地，所述基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像，包括：基于所述焊缝边界数据，通过语义分割的方式生成所述目标工件的表面焊缝的焊缝掩膜；使用所述焊缝掩膜从所述图像金字塔的各个层级对应的第一特征图像中提取出所述目标工件的表面焊缝图像。
可选地，所述通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷，包括：通过所述焊缝缺陷识别单元中的全卷积神经网络对所述图像金字塔的各个层级对应的表面焊缝图像进行特征提取，得到每个层级对应的第三特征图像；对各个层级对应的第三特征图像进行上采样处理，将每个层级对应的第三特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到焊缝特征图像；将所述焊缝特征图像进行归一化处理，得到0,n分布的第二识别结果图像；0值表示未存在缺陷的区域；n值表示存在第n种缺陷的区域；基于所述第二识别结果图像中各个区域的数值，确定所述表面焊缝图像中焊缝缺陷的位置。
本申请还提供一种焊缝缺陷检测装置，包括：
获取模块，用于获取包含目标工件表面焊缝的目标图像；边界提取模块，用于通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；图像分割模块，用于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；缺陷识别模块，用于通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
可选地，所述装置还包括：转换模块；所述转换模块，用于将所述目标图像转换为HSV图像，并通过对所述HSV图像的通道V的调整，拉伸所述HSV图像的亮度，并得到亮度提升图像；所述边界提取模块，具体用于将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔。
可选地，所述边界提取模块，具体还用于将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像；所述边界提取模块，具体还用于对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像；所述边界提取模块，具体还用于将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像；0值表示非焊缝区域，1值表示焊缝区域；所述边界提取模块，具体还用于基于所述第一识别结果图像中各个区域的数值，生成所述焊缝边界数据。
可选地，所述图像分割模块，具体用于基于所述焊缝边界数据，通过语义分割的方式生成所述目标工件的表面焊缝的焊缝掩膜；所述图像分割模块，具体还用于使用所述焊缝掩膜从所述图像金字塔的各个层级对应的第一特征图像中提取出所述目标工件的表面焊缝图像。
可选地，所述缺陷识别模块，具体用于通过所述焊缝缺陷识别单元中的全卷积神经网络对所述图像金字塔的各个层级对应的表面焊缝图像进行特征提取，得到每个层级对应的第三特征图像；所述缺陷识别模块，具体还用于对各个层级对应的第三特征图像进行上采样处理，将每个层级对应的第三特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到焊缝特征图像；所述缺陷识别模块，具体还用于将所述焊缝特征图像进行归一化处理，得到0,n分布的第二识别结果图像；0值表示未存在缺陷的区域；n值表示存在第n种缺陷的区域；所述缺陷识别模块，具体还用于基于所述第二识别结果图像中各个区域的数值，确定所述表面焊缝图像中焊缝缺陷的位置。
本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任一种所述焊缝缺陷检测方法的步骤。
本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述焊缝缺陷检测方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述焊缝缺陷检测方法的步骤。
本申请提供的焊缝缺陷检测方法、装置、可读存储介质及电子设备，首先获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据。之后，基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像。最后，通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。如此，不仅可以快速的识别出是否存在焊缝缺陷，还能够解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的焊缝缺陷检测方法的流程示意图；
图2是本申请提供的焊缝缺陷检测方法的模型结构示意图；
图3是本申请提供的焊缝缺陷检测装置的结构示意图；
图4是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
针对相关技术中采用的人工目视检测焊缝缺陷的方法所存在的准确度较低的技术问题，本申请实施例提供了一种焊缝缺陷检测方法，用于解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的焊缝缺陷检测方法进行详细地说明。
如图1所示，本申请实施例提供的一种焊缝缺陷检测方法，该方法可以包括下述步骤101至步骤103：
步骤101、获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据。
示例性地，上述目标工件可以为多个部件焊接在一起组成的工件，也可以为存在裂缝并经过补焊后的工件。本申请实施例中，对目标工件不做具体限定。
示例性地，上述目标图像可以为在对目标工件的焊缝质检过程中，通过相机同步采集的图像，该图像中包含目标工件的焊缝。在获取到上述目标图像后，便可以将该图像输入焊缝边界提取单元，通过焊缝边界提取单元从该目标图像中提取焊缝边界数据。
具体地，上述步骤101，可以包括以下步骤101a1和步骤101a2：
步骤101a1、将所述目标图像转换为HSV图像，并通过对所述HSV图像的通道V的调整，拉伸所述HSV图像的亮度，并得到亮度提升图像。
需要说明的是，通过相机采集的目标图像为红绿蓝(Red、Green、Blue，RGB)图像，为了方便对其进行特征提取，需要将RGB图像转换为色调、饱和度和明度(Hue、Saturation、Value，HSV)图像。之后，通过调整通道V来拉升图像亮度。
可以理解的是，针对HSV图像，色调(H)通常用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。饱和度(S)表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0％～100％，值越大，颜色越饱和。明度(V)表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0％(黑)到100％(白)。
基于此，通过对HSV图像的通道V(即明度)的调整，便可以提高图像亮度。
步骤101a2、将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔。
示例性地，在对HSV图像进行亮度拉伸后，还需要将HSV图像还原为RGB图像，并利用焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔。
示例性地，上述特征提取模型可以为Swin-tiny模型。
可以理解的是，图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的图像金字塔是一系列以金字塔形状(自下而上)逐步降低，且来源于同一张原始图的图像分辨率集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。
示例性地，上述步骤101a2之后，上述步骤101还可以包括以下步骤101b1至步骤101b4：
步骤101b1、将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像。
步骤101b2、对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像。
步骤101b3、将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像。
其中，0值表示非焊缝区域，1值表示焊缝区域。
步骤101b4、基于所述第一识别结果图像中各个区域的数值，生成所述焊缝边界数据。
示例性地，如图2所示，原始图像(即上述目标图像)经过Swin-tiny模型处理后，得到图像金字塔，该金字塔的每一层均对应一个特征图像。基于该图像金字塔，首先对该图像金字塔的各个层级对应的第一特征图像进程自适应平均池化处理，再将处理后的特征图像输入到焊缝边界提取单元的全卷积模型进行特征的提取，得到每个层级对应的第二特征图像。之后，再对每层对应的特征图像进行上采样，将各个层级对应的特征图像的尺寸统一调整为512*512(即上述目标尺寸)。将每个层级对应的特征图像(尺寸相同)进行特征融合，得到全局特征图像。最后，使用Soft-argmax函数对全局特征图像进行归一化处理，得到0，1分布的(512*512)的预测结果(即上述第一识别结果图像)，其中1值为焊缝区域，0值为非焊缝区域。基于此，便可以识别出目标图像中的焊缝区域，进而确定焊缝边界。
步骤102、基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像。
示例性地，在得到焊缝边界数据后，便可以基于该焊缝边界数据从目标图像中提取该目标工件的表面焊接图像。
具体地，上述步骤102，可以包括以下步骤102a1和步骤102a2：
步骤102a1、基于所述焊缝边界数据，通过语义分割的方式生成所述目标工件的表面焊缝的焊缝掩膜。
步骤102a2、使用所述焊缝掩膜从所述图像金字塔的各个层级对应的第一特征图像中提取出所述目标工件的表面焊缝图像。
示例性地，基于上述步骤得到的图像金字塔，进一步可以利用上述焊缝掩膜，从该图像金字塔的各个层级的特征图像中提取表面焊缝图像，之后，将每层提取到的表面焊缝图像进行特征融合，得到焊缝特征图像。
步骤103、通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
具体地，基于上述步骤102a1和步骤102a2，上述步骤103还可以包括以下步骤103a1至步骤103a4：
步骤103a1、通过所述焊缝缺陷识别单元中的全卷积神经网络对所述图像金字塔的各个层级对应的表面焊缝图像进行特征提取，得到每个层级对应的第三特征图像。
步骤103a2、对各个层级对应的第三特征图像进行上采样处理，将每个层级对应的第三特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到焊缝特征图像。
步骤103a3、将所述焊缝特征图像进行归一化处理，得到0,1分布的第二识别结果图像。
其中，0值表示存在缺陷的区域；1值表示未存在缺陷的区域。
步骤103a4、基于所述第二识别结果图像中各个区域的数值，确定所述表面焊缝图像中焊缝缺陷的位置。
示例性地，如图2所示，根据焊缝边界提取单元提取到的焊缝边界数据，可以通过语义分割的方式生成表面焊缝的焊缝掩膜，通过该焊缝掩膜，可以对图像金字塔中每个对应的第一特征图像进行分割，得到对应的焊缝表面图像，以避免非焊缝区域对焊缝缺陷识别的干扰。之后，参照上述对焊缝边界提取单元的描述，焊缝缺陷识别单元通过上采样的方式，统一每个层级对应的焊缝表面图像的尺寸，并进行特征融合，得到焊缝特征图像。最后，通过soft-argmax对焊缝特征图像进行归一化处理，得到焊缝缺陷预测图(即上述第二识别结果图像)。基于该焊缝缺陷预测图，便可以判断是否存在焊缝缺陷，以及焊缝曲线的具体位置。
本申请实施例提供的焊缝缺陷检测方法，首先获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据。之后，基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像。最后，通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。如此，不仅可以快速的识别出是否存在焊缝缺陷，还能够解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。
需要说明的是，本申请实施例提供的焊缝缺陷检测方法，执行主体可以为焊缝缺陷检测装置，或者该焊缝缺陷检测装置中的用于执行焊缝缺陷检测方法的控制模块。本申请实施例中以焊缝缺陷检测装置执行焊缝缺陷检测方法为例，说明本申请实施例提供的焊缝缺陷检测装置。
需要说明的是，本申请实施例中，上述各个方法附图所示的。焊缝缺陷检测方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时，上述各个方法附图所示的焊缝缺陷检测方法还可以结合上述实施例中示意的其它可以结合的任意附图实现，此处不再赘述。
下面对本申请提供的焊缝缺陷检测装置进行描述，下文描述的与上文描述的焊缝缺陷检测方法可相互对应参照。
图3为本申请实施例提供的焊缝缺陷检测装置的结构示意图，如图3所示，具体包括：
获取模块301，用于获取包含目标工件表面焊缝的目标图像；边界提取模块302，用于通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；图像分割模块303，用于基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；缺陷识别模块304，用于通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
可选地，所述装置还包括：转换模块；所述转换模块，用于将所述目标图像转换为HSV图像，并通过对所述HSV图像的通道V的调整，拉伸所述HSV图像的亮度，并得到亮度提升图像；所述边界提取模块302，具体用于将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔。
可选地，所述边界提取模块302，具体还用于将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像；所述边界提取模块302，具体还用于对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像；所述边界提取模块302，具体还用于将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像；0值表示非焊缝区域，1值表示焊缝区域；所述边界提取模块302，具体还用于基于所述第一识别结果图像中各个区域的数值，生成所述焊缝边界数据。
可选地，所述图像分割模块303，具体用于基于所述焊缝边界数据，通过语义分割的方式生成所述目标工件的表面焊缝的焊缝掩膜；所述图像分割模块303，具体还用于使用所述焊缝掩膜从所述图像金字塔的各个层级对应的第一特征图像中提取出所述目标工件的表面焊缝图像。
可选地，所述缺陷识别模块304，具体用于通过所述焊缝缺陷识别单元中的全卷积神经网络对所述图像金字塔的各个层级对应的表面焊缝图像进行特征提取，得到每个层级对应的第三特征图像；所述缺陷识别模块304，具体还用于对各个层级对应的第三特征图像进行上采样处理，将每个层级对应的第三特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到焊缝特征图像；所述缺陷识别模块304，具体还用于将所述焊缝特征图像进行归一化处理，得到0,n分布的第二识别结果图像；0值表示未存在缺陷的区域；n值表示存在第n种缺陷的区域；所述缺陷识别模块304，具体还用于基于所述第二识别结果图像中各个区域的数值，确定所述表面焊缝图像中焊缝缺陷的位置。
本申请提供的焊缝缺陷检测装置，首先获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据。之后，基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像。最后，通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。如此，不仅可以快速的识别出是否存在焊缝缺陷，还能够解决相关技术中通过人工目视检测焊缝缺陷准确率较低的问题，提高工件焊缝缺陷的检测精度。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行焊缝缺陷检测方法，该方法包括：获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的焊缝缺陷检测方法，该方法包括：获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
又一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的焊缝缺陷检测方法，该方法包括：获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种焊缝缺陷检测方法，其特征在于，包括：
获取包含目标工件表面焊缝的目标图像，并通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；
基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；
通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
2.根据权利要求1所述的方法，其特征在于，所述通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据，包括：
将所述目标图像转换为HSV图像，并通过对所述HSV图像的通道V的调整，拉伸所述HSV图像的亮度，并得到亮度提升图像；
将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔。
3.根据权利要求2所述的方法，其特征在于，所述将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔之后，所述方法还包括：
将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像；
对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像；
将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像；0值表示非焊缝区域，1值表示焊缝区域；
基于所述第一识别结果图像中各个区域的数值，生成所述焊缝边界数据。
4.根据权利要求2所述的方法，其特征在于，所述基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像，包括：
基于所述焊缝边界数据，通过语义分割的方式生成所述目标工件的表面焊缝的焊缝掩膜；
使用所述焊缝掩膜从所述图像金字塔的各个层级对应的第一特征图像中提取出所述目标工件的表面焊缝图像。
5.根据权利要求4所述的方法，其特征在于，所述通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷，包括：
通过所述焊缝缺陷识别单元中的全卷积神经网络对所述图像金字塔的各个层级对应的表面焊缝图像进行特征提取，得到每个层级对应的第三特征图像；
对各个层级对应的第三特征图像进行上采样处理，将每个层级对应的第三特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到焊缝特征图像；
将所述焊缝特征图像进行归一化处理，得到0,1分布的第二识别结果图像；0值表示存在缺陷的区域；1值表示未存在缺陷的区域；
基于所述第二识别结果图像中各个区域的数值，确定所述表面焊缝图像中焊缝缺陷的位置。
6.一种焊缝缺陷检测装置，其特征在于，所述装置包括：
获取模块，用于获取包含目标工件表面焊缝的目标图像；
边界提取模块，用于通过焊缝边界提取单元从所述目标图像中提取焊缝边界数据；
图像分割模块，用于基于所述焊缝边界数据，从所述目标图像中提取所述目标工件的表面焊缝图像；
缺陷识别模块，用于通过焊缝缺陷识别单元，判断所述表面焊缝图像中是否存在焊缝缺陷。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：转换模块；
所述转换模块，用于将所述目标图像转换为HSV图像，并通过对所述HSV图像的通道V的调整，拉伸所述HSV图像的亮度，并得到亮度提升图像；
所述边界提取模块，具体用于将所述亮度提升图像转换为RGB图像，并利用所述焊缝边界提取单元的特征提取模型对所述RGB图像进行特征提取，得到图像金字塔。
8.根据权利要求7所述的装置，其特征在于，
所述边界提取模块，具体还用于将所述图像金字塔中的各个层级对应的第一特征图像进行自适应平均池化处理，并通过所述焊缝边界提取单元的全卷积模型对处理后的各个层级的特征图像进行特征提取，得到各个层级对应的第二特征图像；
所述边界提取模块，具体还用于对各个层级对应的第二特征图像进行上采样处理，将每个层级对应的第二特征图像的尺寸调整为目标尺寸，并将每个层级对应的特征图像进行特征融合，得到全局特征图像；
所述边界提取模块，具体还用于将所述全局特征图像进行归一化处理，得到0,1分布的第一识别结果图像；0值表示非焊缝区域，1值表示焊缝区域；
所述边界提取模块，具体还用于基于所述第一识别结果图像中各个区域的数值，生成所述焊缝边界数据。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述焊缝缺陷检测方法的步骤。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至5中任一项所述焊缝缺陷检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310043203.8A CN116309307A (zh) | 2023-01-12 | 2023-01-12 | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310043203.8A CN116309307A (zh) | 2023-01-12 | 2023-01-12 | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116309307A true CN116309307A (zh) | 2023-06-23 |
Family
ID=86796736
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310043203.8A Pending CN116309307A (zh) | 2023-01-12 | 2023-01-12 | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116309307A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503417A (zh) * | 2023-06-29 | 2023-07-28 | 武汉纺织大学 | 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法 |
-
2023
- 2023-01-12 CN CN202310043203.8A patent/CN116309307A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116503417A (zh) * | 2023-06-29 | 2023-07-28 | 武汉纺织大学 | 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法 |
| CN116503417B (zh) * | 2023-06-29 | 2023-09-08 | 武汉纺织大学 | 一种超长焊缝与典型缺陷自动识别、定位及尺寸计算方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110274908B (zh) | 缺陷检查装置、缺陷检查方法以及计算机可读记录介质 | |
| US20070189606A1 (en) | Automatic detection and correction of non-red eye flash defects | |
| CN110930390B (zh) | 基于半监督深度学习的芯片管脚缺失检测方法 | |
| JP2020106467A (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| EP3176751A1 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
| KR20190088089A (ko) | 용접 표면 결점 검출 장치 및 방법 | |
| CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
| CN110596120A (zh) | 玻璃边界缺陷检测方法、装置、终端及存储介质 | |
| JP2010139317A (ja) | 軸物工具表面の欠陥検査方法および装置 | |
| WO2021118463A1 (en) | Defect detection in image space | |
| US20220122244A1 (en) | Defect image generation method for deep learning and system therefor | |
| CN113537037A (zh) | 路面病害识别方法、系统、电子设备及存储介质 | |
| CN111598889A (zh) | 均压环倾斜故障的识别方法、装置、计算机设备 | |
| CN116309307A (zh) | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 | |
| KR20230116847A (ko) | 자동화된 시각 검사를 위한 이미지 증강 기술 | |
| CN111047598B (zh) | 基于深度学习的输变电设备紫外放电光斑分割方法及装置 | |
| EP3293672A1 (en) | Particle boundary identification | |
| JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
| JP5889778B2 (ja) | フラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法 | |
| CN112288680B (zh) | 汽车轮毂x射线图像的缺陷区域自动提取方法及系统 | |
| CN108171705A (zh) | 一种透明玻璃瓶内液体的异物检测算法 | |
| EP3869449A1 (en) | Image processing device, image processing method, and image processing program | |
| CN114419081B (zh) | 一种图像语义分割方法、系统及可读存储介质 | |
| CN115311273A (zh) | 检测模型的训练方法、缺陷检测方法、装置及存储介质 | |
| CN116128833A (zh) | 焊缝缺陷检测方法、装置、可读存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Chen Zhiliang Inventor after: Fang Yuming Inventor after: Jiang Wenhui Inventor after: Zhao Xiaowei Inventor before: Chen Zhiliang |