CN111681232A - 基于语义分割的工业焊接图像缺陷的检测方法 - Google Patents

基于语义分割的工业焊接图像缺陷的检测方法 Download PDF

Info

Publication number
CN111681232A
CN111681232A CN202010525675.3A CN202010525675A CN111681232A CN 111681232 A CN111681232 A CN 111681232A CN 202010525675 A CN202010525675 A CN 202010525675A CN 111681232 A CN111681232 A CN 111681232A
Authority
CN
China
Prior art keywords
welding
layer
defect
industrial
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010525675.3A
Other languages
English (en)
Other versions
CN111681232B (zh
Inventor
王大寒
胡丽
王驰明
叶海礼
俞峰
周伟
周永杰
朱顺痣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University of Technology
Original Assignee
Xiamen University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University of Technology filed Critical Xiamen University of Technology
Priority to CN202010525675.3A priority Critical patent/CN111681232B/zh
Publication of CN111681232A publication Critical patent/CN111681232A/zh
Application granted granted Critical
Publication of CN111681232B publication Critical patent/CN111681232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于语义分割的工业焊接图像缺陷的检测方法，包括：获取存在焊接缺陷的工业焊接图像；根据焊接缺陷规范对焊接缺陷进行像素级别标注，以生成焊接缺陷训练样本集；建立焊接缺陷分割模型，并使用焊接缺陷训练样本集进行深度学习训练；利用深度学习训练后的焊接缺陷分割模型对工业焊接图像进行焊接缺陷检测。该基于语义分割的工业焊接图像缺陷的检测方法目的是解决复杂场景下无法进行焊接缺陷自动检测的问题。

Description

基于语义分割的工业焊接图像缺陷的检测方法
技术领域
本发明属于工业视觉检测技术领域，具体涉及一种基于语义分割的工业焊接图像缺陷的检测方法。
背景技术
工业焊接在建筑、汽车、航空航天、铁路、石油化工、机电等领域有着广泛的应用。焊接过程中由于环境条件和焊接工艺的不同，焊接缺陷是不可避免的。检查焊接接头的质量以确保结构的可靠性和安全性是至关重要的，特别是在焊接失效可能是灾难性的关键应用场合。工业焊缝缺陷检测是保证焊缝质量与安全生产的关键手段，目前的工业焊缝缺陷检测主要采取的是通过技术人员通过肉眼观察进行主观判断的方法，对关键部分的焊接缺陷漏检会增大发生重大安全事故的概率。然而，在人为的焊接缺陷检测过程中在短时间内发现细微的缺陷仍然是很困难的。其次，人类的解释往往缺乏客观性、一致性和智能性。由于现代工业生产效率的提高，与之对应的检测工作量也随之提升，因此目前人工检测焊接缺陷的劳动强度较大，实现焊接缺陷的自动检测显得尤为重要。
现有技术主要是依靠经验丰富的技术人员进行焊接缺陷的检测，还没有对工业焊接图像进行缺陷自动检测的有效方法，而通过人工进行焊接缺陷检测的方法有费时费力的缺点。另外现有检测结果主要依赖技术人员的经验，具有主观性强、一致性差、精确度低、准确性差(例如，焊接点存在细微气孔以及裂纹很难被发现，容易被漏检)等缺点。基于朴素贝叶斯模型等传统方法能够在一定程度上实现焊接缺陷的自动检测问题，但这些方法都需要手工设计规则的方法来提取图片特征用于衡量相似度，难以有效解决复杂场景下的焊接缺陷检测问题。因此提出一种可以在复杂场景下进行焊接缺陷自动检测的方法显得十分必要。
有鉴于此，本领域技术人员亟需提供一种基于语义分割的工业焊接图像缺陷的检测方法用于解决复杂场景下无法进行焊接缺陷自动检测的问题。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是复杂场景下无法进行焊接缺陷自动检测。
(二)技术方案
本发明提供了一种基于语义分割的工业焊接图像缺陷的检测方法，包括以下步骤:
步骤S1、获取存在焊接缺陷的工业焊接图像；
步骤S2、根据焊接缺陷规范对所述焊接缺陷进行像素级别标注，以生成焊接缺陷训练样本集；
步骤S3、建立焊接缺陷分割模型，并使用所述焊接缺陷训练样本集进行深度学习训练；
步骤S4、利用深度学习训练后的焊接缺陷分割模型对所述工业焊接图像进行焊接缺陷检测。
可选的，步骤S2具体包括如下步骤：
参照所述焊接缺陷规范标记所述工业焊接图像中的焊接缺陷的区域边界点，连接所述区域边界点形成闭合区域；
根据缺陷外观特征判断并标记每个焊接缺陷区域的类型，以获取包含所述焊接缺陷区域的边界信息的像素级别标注数据；
对所述像素级别标注数据进行数据增强以获取所述焊机缺陷训练样本集。
可选的，所述根据缺陷外观特征判断并标记每个焊接缺陷区域的类型，以获取包含所述焊接缺陷区域的边界信息的像素级别标注数据，具体包括如下步骤：
通过标记焊接缺陷的边界缺陷的方法将所述焊接缺陷区域与背景区域进行区分；
以像素区域为单位将所述工业焊接图像分割为多个相互独立的子区域，标记每个所述子区域的焊接缺陷类型；
以区域覆盖像素点的方式实现对于所述工业焊接图像中每个像素点的标注。
可选的，对所述像素级别标注数据进行数据增强具体为：
平移、旋转、翻转、高斯模糊、随机裁剪、拉普拉斯锐化对原始数据进行图像增强。
可选的，以像素级别标注为所述工业焊接图像内的每个像素点均分配相应的标签，所述焊机缺陷训练样本集可表示为X，X中的第i个样本表示为(Ii,Mi)；
其中，I为所述工业焊接图像，M为标注的焊接缺陷区域，且M∈[0,n]，n为焊接缺陷类型数量。
可选的，步骤S3中，所述建立焊接缺陷分割模型具体包括建立编码器、解码器。
可选的，建立所述编码器具体包括如下步骤：
输入所述工业焊接图像至所述编码器；
采用不同比率的带孔卷积以获取不同尺度的卷积特征；
特征融合所述不同尺度的卷积特征；
其中，所述编码器包括五层，第一层包括第一深度可分离卷积层、第一激活层和第一池化层，第二层包括第二深度可分离卷积层、第二激活层和第二池化层，第三层包括第三深度可分离卷积层、第三激活层和第三池化层，第四层包括第四深度可分离卷积层、第四激活层和第四池化层，第五层包括带孔空间金字塔池化层。
可选的，所述深度可分离卷积具体用于：
将标准卷积分解为空间卷积与深度卷积的组合；
对空间维和通道维度分别进行映射并将结果进行组合。
可选的，所述带孔空间金字塔池化层具体用于：
通过不同尺寸的池化层将特征信息转换到尺寸由小到大的特征空间；
使用所述带孔卷积获取不同特征空间下的特征信息；
通过调节所述带孔卷积的卷积核步幅，使得每个所述特征空间获取的所述特征信息的尺寸相同；
通过特征融合对每一所述特征信息进行拼接以获取所述工业焊接图像的语义特征。
可选的，建立所述解码器具体包括如下步骤：
输入所述工业焊接图像至所述解码器；
通过对每个像素点的概率值进行分类以输出缺陷分割结果；
其中，所述解码器包括五层，第一层包括第一反卷积层、第五激活层和第一上采样层，第二层包括第二反卷积层、第六激活层和第二上采样层，第三层包括第三反卷积层、第七激活层和第三上采样层，第四层包括第四反卷积层、第八激活层和第四上采样层，第五层包括柔性最大值传输函数分类器。
可选的，所述缺陷分割结果表示为M*，M*为焊接缺陷分割模型预测的焊接缺陷区域，且M*∈[0,n]，n为焊接缺陷类型数量。
可选的，步骤S3中，所述深度学习训练过程中使用AMSGrad优化器作为训练策略，通过最小化损失函数学习焊接缺陷分割模型的目标参数。
可选的，所述损失函数为：
Figure BDA0002533699310000051
其中，M为标注的焊接缺陷区域，M*为焊接缺陷分割模型预测的焊接缺陷区域，w为图像宽度，h为图像高度，n为焊接缺陷类型数量。
(三)有益效果
本发明的上述技术方案具有如下优点：
本发明提供的一种基于语义分割的工业焊接图像缺陷的检测方法，通过获取存在焊接缺陷的工业焊接图像；根据焊接缺陷规范对焊接缺陷进行像素级别标注，以生成焊接缺陷训练样本集；建立焊接缺陷分割模型，并使用焊接缺陷训练样本集进行深度学习训练；利用深度学习训练后的焊接缺陷分割模型对工业焊接图像进行焊接缺陷检测。该检测方法采用编码-解码结构，通过编码器与解码器之间自顶向下的运算结构实现端到端学习，利用编码器对工业焊接图像语义特征进行编码，通过解码器对语义特征进行逐层解码分割出焊接缺陷的具体区域，实现焊接缺陷的自动检测。本发明有效提取低维度和高维度的图像特征，以准确识别焊接缺陷类型的同时，又能准确地分割出焊接缺陷的具体区域，以提高焊接缺陷检测的准确性与功能性。
附图说明
图1为本发明实施例提供一种基于语义分割的工业焊接图像缺陷的检测方法的流程示意图；
图2为本发明实施例提供的另一基于语义分割的工业焊接图像缺陷的检测方法中的焊接缺陷区域生成过程的示意图；
图3为本发明实施例提供的另一基于语义分割的工业焊接图像缺陷的检测方法中的数据增强示例的示意图；
图4为本发明实施例提供的另一基于语义分割的工业焊接图像缺陷的检测方法的流程示意图。
图中：
2A、工业焊接图像；2B、标注焊接缺陷区域边界点；2C、连接区域边界点形成闭合区域；2D、标记焊接缺陷区域的类型；3A、原工业焊接图像；3B、旋转后的工业焊接图像；3C、翻转后的工业焊接图像；3D、高斯模糊后的工业焊接图像。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
近期，随着计算机视觉和人工智能技术的发展，基于语义分割的检测方法在物体检测问题上相较于传统方法在性能上有了较大的提升。语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。目前基于深度学习的语义分割方法，采用编码-解码的端到端模型结构减少了模型间冗杂信息的叠加。模型由编码器与解码器组成，其中编码器提取图像的特征并进行有效组合，解码器对特征进行逐层复原，根据图像中物体语义信息的差异分割出物体的具体区域，具有较高的鲁棒性。而传统的机器学习需要手工设计特征，对使用场景要求较高，且算法的可移植性不佳。目前基于深度学习的语义分割检测技术在智能医疗，安防系统等领域已经得到了广泛应用。
如图1所示，根据本发明实施例提供了一种基于语义分割的工业焊接图像缺陷的检测方法，包括以下步骤:
S1、获取存在焊接缺陷的工业焊接图像；
S2、根据焊接缺陷规范对焊接缺陷进行像素级别标注，以生成焊接缺陷训练样本集；
S3、建立焊接缺陷分割模型，并使用焊接缺陷训练样本集进行深度学习训练；
S4、利用深度学习训练后的焊接缺陷分割模型对工业焊接图像进行焊接缺陷检测。
在该实施方式中，该检测方法采用编码-解码结构，通过编码器与解码器之间自顶向下的运算结构实现端到端学习，利用编码器对工业焊接图像语义特征进行编码，通过解码器对语义特征进行逐层解码分割出焊接缺陷的具体区域，实现焊接缺陷的自动检测。本实施例的技术方案有效提取低维度和高维度的图像特征，以准确识别焊接缺陷类型的同时，又能准确地分割出焊接缺陷的具体区域，以提高焊接缺陷检测的准确性与功能性。
在一些可选的实施例中，步骤S2具体包括如下步骤：
参照焊接缺陷规范标记工业焊接图像中的焊接缺陷的区域边界点，连接区域边界点形成闭合区域；
根据缺陷外观特征判断并标记每个焊接缺陷区域的类型，以获取包含焊接缺陷区域的边界信息的像素级别标注数据；
对像素级别标注数据进行数据增强以获取焊机缺陷训练样本集。
具体地，在本发明实施例中针对五种常见的焊接外观缺陷：咬边、焊瘤、凹陷、气孔、裂纹进行标注，但不仅局限于这五种焊接外观缺陷，根据图像纹理特征区分不同焊接缺陷之间的区域边界。
在一些可选的实施例中，根据缺陷外观特征判断并标记每个焊接缺陷区域的类型，以获取包含焊接缺陷区域的边界信息的像素级别标注数据，具体包括如下步骤：
通过标记焊接缺陷的边界缺陷的方法将焊接缺陷区域与背景区域进行区分；
以像素区域为单位将工业焊接图像分割为多个相互独立的子区域，标记每个子区域的焊接缺陷类型；
以区域覆盖像素点的方式实现对于工业焊接图像中每个像素点的标注。
具体地，如图2所示，焊接缺陷区域生成过程为：首先在焊接缺陷区域的边界标注边界点，接着将边界点连接成闭合区域，将工业焊接图像分割成若干个子区域，最后每个子区域标记相应的焊接缺陷类型。
在一些可选的实施例中，以像素级别标注为工业焊接图像内的每个像素点均分配相应的标签，焊机缺陷训练样本集可表示为X，X中的第i个样本表示为(Ii,Mi)；
其中，I为工业焊接图像，M为标注的焊接缺陷区域，且M∈[0,n]，n为焊接缺陷类型数量。
可选的，如图3所示，对像素级别标注数据进行数据增强具体为：
平移、旋转、翻转、高斯模糊、随机裁剪、拉普拉斯锐化对原始数据进行图像增强。
具体地，数据增强能够扩充数据集大小，提高样本的视觉多样性。
在一些可选的实施例中，步骤S3中，建立焊接缺陷分割模型具体包括建立编码器、解码器。
在一些可选的实施例中，建立编码器具体包括如下步骤：
输入工业焊接图像至编码器；
采用不同比率的带孔卷积以获取不同尺度的卷积特征；
特征融合不同尺度的卷积特征；
其中，编码器包括五层，第一层包括第一深度可分离卷积层、第一激活层和第一池化层，第二层包括第二深度可分离卷积层、第二激活层和第二池化层，第三层包括第三深度可分离卷积层、第三激活层和第三池化层，第四层包括第四深度可分离卷积层、第四激活层和第四池化层，第五层包括带孔空间金字塔池化层。
在一些可选的实施例中，深度可分离卷积具体用于：
将标准卷积分解为空间卷积与深度卷积的组合；
对空间维和通道维度分别进行映射并将结果进行组合。
在该实施方式中，基本保留卷积核的表征学习能力的同时减少了权重系数的数量。
在一些可选的实施例中，带孔空间金字塔池化层具体用于：
通过不同尺寸的池化层将特征信息转换到尺寸由小到大的特征空间；
使用带孔卷积获取不同特征空间下的特征信息；
通过调节带孔卷积的卷积核步幅，使得每个特征空间获取的特征信息的尺寸相同；
通过特征融合对每一特征信息进行拼接以获取工业焊接图像的语义特征。
在一些可选的实施例中，建立解码器具体包括如下步骤：
输入工业焊接图像至解码器；
通过对每个像素点的概率值进行分类以输出缺陷分割结果；
其中，解码器包括五层，第一层包括第一反卷积层、第五激活层和第一上采样层，第二层包括第二反卷积层、第六激活层和第二上采样层，第三层包括第三反卷积层、第七激活层和第三上采样层，第四层包括第四反卷积层、第八激活层和第四上采样层，第五层包括柔性最大值传输函数(SoftMax)分类器。
具体地，工业焊接图像依次经过编码器内的第一层、第二层、第三层、第四层和第五层的相应编码处理后，然后编码处理后的工业焊接图像再依次经过解码器内的第一层、第二层、第三层、第四层和第五层的相应解码处理后获得缺陷分割结果。
可选的，缺陷分割结果表示为M*，M*为焊接缺陷分割模型预测的焊接缺陷区域，且M*∈[0,n]，n为焊接缺陷类型数量。
在一些可选的实施例中，步骤S3中，深度学习训练过程中使用AMSGrad优化器作为训练策略，通过最小化损失函数学习焊接缺陷分割模型的目标参数。具体地，目标参数即为最优参数。
在一些可选的实施例中，损失函数为：
Figure BDA0002533699310000121
其中，M为标注的焊接缺陷区域，M*为焊接缺陷分割模型预测的焊接缺陷区域，w为图像宽度，h为图像高度，n为焊接缺陷类型数量。该损失函数逐像素计算了标注区域与预测区域之间的交叉熵损失，表述了两个概率分布之间的距离。
如图4所示，根据本发明实施例提供了另一基于语义分割的工业焊接图像缺陷的检测方法，包括以下步骤:
S201、获取存在焊接缺陷的工业焊接图像；
S202、参照焊接缺陷规范标记工业焊接图像中的焊接缺陷的区域边界点，连接区域边界点形成闭合区域；
S203、根据缺陷外观特征判断并标记每个焊接缺陷区域的类型，以获取包含焊接缺陷区域的边界信息的像素级别标注数据；
S204、对像素级别标注数据进行数据增强以获取焊机缺陷训练样本集；
S205、建立焊接缺陷分割模型，使用AMSGrad优化器作为训练策略，通过最小化损失函数学习焊接缺陷分割模型的目标参数；
S206、利用深度学习训练后的焊接缺陷分割模型对工业焊接图像进行焊接缺陷检测。
本发明实施例提供的基于目标检测的工业焊接图像缺陷检测方法，与其他方法相比，具有的优点和效益包括：
(1)通过深度学习训练语义分割模型，实现对焊接缺陷的精确分割；
(2)焊接缺陷分割模型既能有效保留低维度和高维度的图像特征，以准确识别缺陷类型，又能准确地将分割缺陷的具体区域边；
(3)本使用带孔空间金字塔池化抽取不同尺度的图形特征，可以对任意尺寸的缺陷区域进行分割，提高缺陷区域分割的准确性；
(4)基于目标检测技术实现了对常见的焊接缺陷准确检测，该方法不限于所述五种常见焊接检测，可在其他的工业视觉检测问题上进行拓展。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (10)

1.一种基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，包括以下步骤:
步骤S1、获取存在焊接缺陷的工业焊接图像；
步骤S2、根据焊接缺陷规范对所述焊接缺陷进行像素级别标注，以生成焊接缺陷训练样本集；
步骤S3、建立焊接缺陷分割模型，并使用所述焊接缺陷训练样本集进行深度学习训练；
步骤S4、利用深度学习训练后的焊接缺陷分割模型对所述工业焊接图像进行焊接缺陷检测。
2.根据权利要求1所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，步骤S2具体包括如下步骤：
参照所述焊接缺陷规范标记所述工业焊接图像中的焊接缺陷的区域边界点，连接所述区域边界点形成闭合区域；
根据缺陷外观特征判断并标记每个焊接缺陷区域的类型，以获取包含所述焊接缺陷区域的边界信息的像素级别标注数据；
对所述像素级别标注数据进行数据增强以获取所述焊机缺陷训练样本集。
3.根据权利要求2所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，所述根据缺陷外观特征判断并标记每个焊接缺陷区域的类型，以获取包含所述焊接缺陷区域的边界信息的像素级别标注数据，具体包括如下步骤：
通过标记焊接缺陷的边界缺陷的方法将所述焊接缺陷区域与背景区域进行区分；
以像素区域为单位将所述工业焊接图像分割为多个相互独立的子区域，标记每个所述子区域的焊接缺陷类型；
以区域覆盖像素点的方式实现对于所述工业焊接图像中每个像素点的标注。
4.根据权利要求2所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，以像素级别标注为所述工业焊接图像内的每个像素点均分配相应的标签，所述焊机缺陷训练样本集可表示为X，X中的第i个样本表示为(Ii,Mi)；
其中，I为所述工业焊接图像，M为对应的所述像素级别标注数据，且M∈[0,n]，n为焊接缺陷类型数量。
5.根据权利要求1所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，步骤S3中，所述建立焊接缺陷分割模型具体包括建立编码器、解码器。
6.根据权利要求5所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，建立所述编码器具体包括如下步骤：
输入所述工业焊接图像至所述编码器；
采用不同比率的带孔卷积以获取不同尺度的卷积特征；
特征融合所述不同尺度的卷积特征；
其中，所述编码器包括五层，第一层包括第一深度可分离卷积层、第一激活层和第一池化层，第二层包括第二深度可分离卷积层、第二激活层和第二池化层，第三层包括第三深度可分离卷积层、第三激活层和第三池化层，第四层包括第四深度可分离卷积层、第四激活层和第四池化层，第五层包括带孔空间金字塔池化层。
7.根据权利要求6所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，所述深度可分离卷积具体用于：
将标准卷积分解为空间卷积与深度卷积的组合；
对空间维和通道维度分别进行映射并将结果进行组合。
8.根据权利要求6所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，所述带孔空间金字塔池化层具体用于：
通过不同尺寸的池化层将特征信息转换到尺寸由小到大的特征空间；
使用所述带孔卷积获取不同特征空间下的特征信息；
通过调节所述带孔卷积的卷积核步幅，使得每个所述特征空间获取的所述特征信息的尺寸相同；
通过特征融合对每一所述特征信息进行拼接以获取所述工业焊接图像的语义特征。
9.根据权利要求5所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，建立所述解码器具体包括如下步骤：
输入所述工业焊接图像至所述解码器；
通过对每个像素点的概率值进行分类以输出缺陷分割结果；
其中，所述解码器包括五层，第一层包括第一反卷积层、第五激活层和第一上采样层，第二层包括第二反卷积层、第六激活层和第二上采样层，第三层包括第三反卷积层、第七激活层和第三上采样层，第四层包括第四反卷积层、第八激活层和第四上采样层，第五层包括柔性最大值传输函数分类器。
10.根据权利要求1所述的基于语义分割的工业焊接图像缺陷的检测方法，其特征在于，步骤S3中，所述深度学习训练过程中使用AMSGrad优化器作为训练策略，通过最小化损失函数学习焊接缺陷分割模型的目标参数。
CN202010525675.3A 2020-06-10 2020-06-10 基于语义分割的工业焊接图像缺陷的检测方法 Active CN111681232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010525675.3A CN111681232B (zh) 2020-06-10 2020-06-10 基于语义分割的工业焊接图像缺陷的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010525675.3A CN111681232B (zh) 2020-06-10 2020-06-10 基于语义分割的工业焊接图像缺陷的检测方法

Publications (2)

Publication Number Publication Date
CN111681232A true CN111681232A (zh) 2020-09-18
CN111681232B CN111681232B (zh) 2023-03-10

Family

ID=72454478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010525675.3A Active CN111681232B (zh) 2020-06-10 2020-06-10 基于语义分割的工业焊接图像缺陷的检测方法

Country Status (1)

Country Link
CN (1) CN111681232B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748116A (zh) * 2020-12-23 2021-05-04 郑州金惠计算机系统工程有限公司 一种医用纱布表面缺陷在线检测方法与装置
CN112967272A (zh) * 2021-03-25 2021-06-15 郑州大学 基于改进U-net的焊接缺陷检测方法、装置及终端设备
CN113592813A (zh) * 2021-07-30 2021-11-02 深圳大学 基于深度学习语义分割的新能源电池焊接缺陷检测方法
CN114742832A (zh) * 2022-06-13 2022-07-12 惠州威尔高电子有限公司 一种MiniLED薄板的焊接缺陷检测方法
CN115587989A (zh) * 2022-10-21 2023-01-10 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及系统
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN117649406A (zh) * 2024-01-29 2024-03-05 宁德时代新能源科技股份有限公司 密封钉焊接缺陷检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN108974044A (zh) * 2018-08-09 2018-12-11 铁路愿景欧洲有限公司 铁路轨道资产勘测系统
CN109064462A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习的钢轨表面缺陷检测方法
CN109886964A (zh) * 2019-03-29 2019-06-14 北京百度网讯科技有限公司 电路板缺陷检测方法、装置及设备
CN110473173A (zh) * 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000731A1 (zh) * 2016-06-28 2018-01-04 华南理工大学 一种曲面表面缺陷自动检测方法及其装置
CN109064462A (zh) * 2018-08-06 2018-12-21 长沙理工大学 一种基于深度学习的钢轨表面缺陷检测方法
CN108974044A (zh) * 2018-08-09 2018-12-11 铁路愿景欧洲有限公司 铁路轨道资产勘测系统
CN109886964A (zh) * 2019-03-29 2019-06-14 北京百度网讯科技有限公司 电路板缺陷检测方法、装置及设备
CN110473173A (zh) * 2019-07-24 2019-11-19 熵智科技(深圳)有限公司 一种基于深度学习语义分割的缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANFENG LI: "Weld cracks nondestructive testing based on magneto-optical imaging under alternating magnetic field excitation", 《SENSORS AND ACTUATORS A: PHYSICAL》 *
陈崇一 等: "基于机器学习的建筑外墙外保温热工缺陷检测方法", 《中国优秀硕士学位论文全文数据库》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748116A (zh) * 2020-12-23 2021-05-04 郑州金惠计算机系统工程有限公司 一种医用纱布表面缺陷在线检测方法与装置
CN112967272A (zh) * 2021-03-25 2021-06-15 郑州大学 基于改进U-net的焊接缺陷检测方法、装置及终端设备
CN112967272B (zh) * 2021-03-25 2023-08-22 郑州大学 基于改进U-net的焊接缺陷检测方法、装置及终端设备
CN113592813A (zh) * 2021-07-30 2021-11-02 深圳大学 基于深度学习语义分割的新能源电池焊接缺陷检测方法
CN114742832A (zh) * 2022-06-13 2022-07-12 惠州威尔高电子有限公司 一种MiniLED薄板的焊接缺陷检测方法
CN114742832B (zh) * 2022-06-13 2022-09-09 惠州威尔高电子有限公司 一种MiniLED薄板的焊接缺陷检测方法
CN115587989A (zh) * 2022-10-21 2023-01-10 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及系统
CN115587989B (zh) * 2022-10-21 2023-08-18 国家工业信息安全发展研究中心 一种工件ct图像缺陷检测分割方法及系统
CN116596867A (zh) * 2023-05-05 2023-08-15 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN116596867B (zh) * 2023-05-05 2024-02-13 理工特智科技(重庆)有限公司 一种用于焊接图像的目标检测方法
CN117649406A (zh) * 2024-01-29 2024-03-05 宁德时代新能源科技股份有限公司 密封钉焊接缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111681232B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN111681232B (zh) 基于语义分割的工业焊接图像缺陷的检测方法
EP3379491B1 (en) Surface defect detection
CN111415329B (zh) 一种基于深度学习的工件表面缺陷检测方法
CN108305243B (zh) 一种基于深度学习的磁瓦表面缺陷检测方法
Xiao et al. Surface defect detection using image pyramid
CN113989280A (zh) 基于图像处理技术的钢结构焊接裂纹缺陷检测方法
CN111402203A (zh) 一种基于卷积神经网络的织物表面缺陷检测方法
CN112434695B (zh) 一种基于深度学习的上拉杆故障检测方法
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
CN111383209A (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN112308826B (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN109615604B (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN113436157A (zh) 一种用于受电弓故障的车载图像识别方法
CN115018790A (zh) 一种基于异常检测的工件表面缺陷检测方法
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN112669269A (zh) 一种基于图像识别的管道缺陷分类分级方法及系统
CN109063708B (zh) 基于轮廓提取的工业图像特征识别方法及系统
CN116310316A (zh) 一种基于交叉校验的电力架空导线检测方法
CN113870236A (zh) 一种基于深度学习算法的复合材料缺陷无损探伤方法
CN113298765A (zh) 基于图像处理及深度学习的玻璃面板表面缺陷检测方法
CN113191255A (zh) 一种基于移动机器人的交通标志识别方法
CN113052820A (zh) 一种基于神经网络技术的电路设备缺陷识别方法
CN111882545A (zh) 基于双向信息传递及特征融合的织物疵点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant