CN116580030B - 一种基于异常仿真的焊接质量异常检测方法 - Google Patents

一种基于异常仿真的焊接质量异常检测方法 Download PDF

Info

Publication number
CN116580030B
CN116580030B CN202310855050.7A CN202310855050A CN116580030B CN 116580030 B CN116580030 B CN 116580030B CN 202310855050 A CN202310855050 A CN 202310855050A CN 116580030 B CN116580030 B CN 116580030B
Authority
CN
China
Prior art keywords
features
sample
image
abnormal
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310855050.7A
Other languages
English (en)
Other versions
CN116580030A (zh
Inventor
杨进一
陈宇
林梦翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Weitu Software Technology Co ltd
Original Assignee
Xiamen Weitu Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Weitu Software Technology Co ltd filed Critical Xiamen Weitu Software Technology Co ltd
Priority to CN202310855050.7A priority Critical patent/CN116580030B/zh
Publication of CN116580030A publication Critical patent/CN116580030A/zh
Application granted granted Critical
Publication of CN116580030B publication Critical patent/CN116580030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于异常仿真的焊接质量异常检测方法，该方法包括：获取焊接后的产品图像，数据预处理，包括数据清洗、数据裁剪；训练数据集制作：根据预设的异常仿真策略调用裁剪后的正常图像和异常图像生成用于模型训练的异常仿真样本；构建并训练异常检测模型，包括选择加载了预训练权重的ResNet18网络作为编码器，将所述异常仿真样本和正常样本输入到所述编码器中进行特征提取，对所述融合特征进行多尺度特征融合处理；对多尺度特征融合进行自注意力增强处理，对增强后的特征通过解码器进行解码操作，将解码后的所有特征输入softmax层。本发明通过异常仿真策略，模拟不同情况下的焊接异常，在没有真实缺陷数据的情况下，也能够检测到缺陷。

Description

一种基于异常仿真的焊接质量异常检测方法
技术领域
本发明涉及工业缺陷检测技术领域，尤其涉及一种基于异常仿真的焊接质量异常检测方法。
背景技术
新能源汽车高速发展，新能源锂电池是新能源汽车生产领域重要的一项产品。在电池的生产制造过程中，从电芯制造到配件组装，焊接都是一项非常重要的工序。激光焊接由于其灵活、精准和高效的特点，广泛应用于新能源汽车电池生产中。但在实际生产过程中，由于设备、工艺等因素，将不可避免的导致各种焊接问题，如针孔，焊刺，未焊等。为保证用户的生命安全以及电池的使用寿命，电芯焊接的质量检测成为了生产中不可或缺的部分。
目前，焊接质量视觉检测方法包括传统的图像检测方法和深度学习检测方法。简单的传统方法无法有效检测缺陷，而有效的传统方法需要人工设计特征，特征设计复杂、耗时，在实际生产过程中效率低下。面对复杂的生产情况，深度学习方法拥有较强的适应性，无须人工设计特征。但需要大量的数据支持，在工业场景中，缺陷数据相对于正常数据非常少，且缺陷数据的标注也耗时耗力。虽然存在半监督学习的检测方式，能够降低一部分的数据标注耗费，但当缺陷数据不足时，效果不足，且无法完全释放标注耗费。而通过异常仿真的方式，在没有缺陷数据的情况下也能达到较好的效果，且无须人工标注，在有部分人工干预的情况下能够使效果更上一层。
发明内容
针对上述的问题，本发明提供了一种基于异常仿真的焊接质量异常检测方法，通过异常仿真策略，模拟不同情况下的焊接异常，在没有真实缺陷数据的情况下，也能够检测到缺陷。
为达到上述技术目的，本发明采用以下技术方案：
一种基于异常仿真的焊接质量异常检测方法，具体包括以下步骤：
S1、获取焊接后的产品图像；
S2、数据预处理，包括：
数据清洗：从获取的产品图像中剔除存在异常的图像，保留正常图像，将异常图像加入缺陷库；
数据裁剪：将正常图像和异常图像分别裁剪为多个正方形小块储存；
S3、训练数据集制作：根据预设的异常仿真策略调用裁剪后的正常图像和异常图像生成用于模型训练的异常仿真样本，所述正常图像作为用于训练模型的正常样本；
S4、构建并训练异常检测模型，包括：
S41选择加载了预训练权重的ResNet18网络作为编码器，从正常图像中随机挑选M个样本，将其输入所述编码器进行特征提取，将得到的Layer1、Layer2、Layer3这三个阶段的特征输入记忆库进行储存；
S42、将所述异常仿真样本和正常样本输入到所述编码器中进行特征提取，得到Conv1、Layer1、Layer2、Layer3、Layer4这五个阶段的特征，将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征；
S43、对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征；
S44、对所述多尺度特征融合进行自注意力增强处理，输出增强后的Layer1特征、Layer2特征、Layer3特征；
S45、对增强后的Layer1特征、Layer2特征、Layer3特征以及步骤S42得到的Conv1特征、Layer4特征通过解码器进行解码操作；
S46、将解码后的所有特征输入softmax层，得到输入样本每个像素点分类的概率值，将概率值与预设阈值进行比较判断该输入样本是否为正常样本。
进一步的，步骤S3中，调用所述正常图像和异常图像并根据预设的异常仿真策略生成用于模型训练的异常仿真样本，具体包括：
S31、将小块正常图像缩放至模型输入大小作为输入图像，对输入图像进行二值化处理得到有效区域掩膜，对有效区域掩膜图像进行区域划分，得到不同区域掩膜；
S32、随机生成大小与所述输入图像相同的二维柏林噪声图，设定一个噪声阈值，从柏林噪声图中提取噪声高于该噪声阈值的区域，生成二值化的缺陷区域掩膜；
S33、从所述不同区域掩膜中挑选一种或多种区域掩模分别与所述缺陷区域掩模相乘并取交，得到包含了缺陷区域的最终掩膜；
S34、从缺陷库中随机抽取一张异常图像缩放至模型输入大小，将缩放后的异常图像与所述最终掩模相乘，得到缺陷样例；
S35、根据所述最终掩膜剔除所述输入图像中相应的缺陷区域，将剔除了缺陷区域的输入图像与所述缺陷样例合并为最终的异常仿真样本。
进一步的，还包括模型优化：
采用目标函数为对所述异常检测模型进行优化，/>为：
其中，表示平均绝对误差L1 loss，/>表示损失函数focal loss，/>和/>表示各自对应的占比系数；
计算公式为：
的计算公式为：
其中，h，w，c分别表示预测结果的高、宽、通道数三个维度，表示步骤S46预测结果对应位置下的概率值，/>表示最终掩膜对应位置下的值，α和β表示设定的系数。
进一步的，所述异常仿真样本和正常样本的比例为1:1。
进一步的，所述步骤S31中，还包括通过开或闭运算去除输入图像二值化过程中产生的噪声。
进一步的，所述不同区域掩膜包括焊道、焊面、铝壳面以及背景区域掩膜。
进一步的，所述缺陷库的异常图像还包括纹理图像数据集中的图片。
进一步的，所述步骤S35中，所述缺陷样例乘以以透明度因子后再与剔除了缺陷区域的输入图像合并为最终的异常仿真样本。
进一步的，步骤S42中，所述将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征，具体包括：
将样本的Layer1特征、Layer2特征、Layer3特征特征与记忆库中的M个Layer1特征、Layer2特征、Layer3特征计算每个特征点的L2距离，并取均值作为差异分，然后将记忆库中差异分最小的特征取出，与样本的特征计算L2距离特征，最后将L2距离特征与样本的特征进行通道叠加，得到连接视觉信息和语义信息的融合特征；样本的特征上的某个特征点与记忆库中的特征计算L2距离的公式为：
其中，d表示L2距离，h，w，c分别表示当前特征的高、宽、通道数三个维度，表示当前特征对应位置下的特征点，/>表示记忆库特征对应位置下的特征点。
进一步的，所述步骤S43中对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征，具体包括：
S431、将样本的Layer1融合特征进行3×3卷积得到维度为128×64×64的特征，然后进行2次3×3卷积压缩通道进行压缩，得到维度为64×64×64的特征；
S432、将样本的Layer2与Layer3融合特征经过步骤S431的操作，分别得到维度为128×32×32和256×16×16的特征，然后将维度为256×16×16的特征进行上采样并用3×3卷积压缩通道进行压缩后与维度为128×32×32的特征相加，得到维度为128×32×32的特征，将该特征进行上采样并用3×3卷积压缩通道进行压缩后与S421得到维度为64×64×64的特征相加，得到最终的维度为64×64×64的特征；
最终输出256×16×16、128×32×32、64×64×64三种尺度特征。
采用上述方案后，本发明具有以下有益效果：
本发明以异常仿真的方式进行新能源电池焊接质量异常检测，在没有真实缺陷数据的情况下，利用现有产品图像通过异常仿真策略生成异常仿真样本，也能够检测到缺陷。如果有真实缺陷数据，只需简单裁剪图像后存入缺陷库就能够更好的生成缺陷样本，且该缺陷库通用于任何异常检测任务，快捷高效。在生成缺陷样例时，区分产品的不同区域，并从中挑选一种或多种区域来针对性地生成多样性的缺陷区域掩模，将不同区域赋予不同的概率被选中，能够模拟实际生产中出现该区域缺陷的情况，最大限度地提高了模拟异常仿真样本与真实异常样本的相似性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的变形形式。
图1是本发明实施例提供的一种基于异常仿真的焊接质量异常检测方法的流程图；
图2为本发明实施例提供的生成最终掩膜流程图；
图3为本发明实施例提供的生成异常仿真样本流程图；
图4为本发明实施例提供的ResNet18网络结构图；
图5本发明实施例提供的自注意力增强结构结构图；
图6本发明实施例提供的异常检测模型结构图；
图7为异常检测产品图像原图；
图8为真实异常检测效果图；
图9为基于正常样本检测效果图；
图10为基于本实施例异常仿真的检测效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例揭示的一种基于异常仿真的焊接质量异常检测方法，具体包括以下步骤：
S1：获取焊接后的产品图像，常用方式为基于视觉检测系统拍摄得到产品图像。
S2、数据预处理，包括：
数据清洗：从获取的产品图像中剔除存在异常的图像，保留正常图像，将异常图像加入缺陷库，异常图像还可以用于后续的测试；
数据裁剪：将正常图像和异常图像分别裁剪为多个正方形小块储存。
S3、训练数据集制作：根据预设的异常仿真策略调用裁剪后的正常图像和异常图像生成用于模型训练的异常仿真样本，所述正常图像作为用于训练模型的正常样本，异常仿真样本和正常样本的比例为1:1；请参见2和3所示，异常仿真样本制作过程具体包括：
S31、将小块正常图像缩放至模型输入大小256×256作为输入图像，对输入图像进行二值化处理得到有效区域掩膜，对有效区域掩膜图像进行区域划分，得到不同区域掩膜，不同区域掩膜包括焊道、焊面、铝壳面以及背景区域掩膜；还通过开或闭运算去除输入图像二值化过程中产生的噪声；
S32、随机生成大小与所述输入图像相同的二维柏林噪声图，设定一个噪声阈值，从柏林噪声图中提取噪声高于该噪声阈值的区域，生成二值化的缺陷区域掩膜；根据图2和3，缺陷区域用白色表示，因此全黑表示图像没有缺陷，二值化的掩膜提取的区域为白色，代表随机生成的缺陷区域；柏林噪声具有多个随机峰值，因此通过阈值卡控完得到的掩膜可能存在多个图像中连续的区域块。这些区域块是随机分布在整张图像中，由于拍摄的产品图像并不是整张图片都是产品，甚至可能在图像中占比小，例如焊道区域，因此，直接用上述随机生成的掩膜进行异常仿真会带来背景噪声；
S33、从所述不同区域掩膜中挑选一种或多种区域掩模分别与所述缺陷区域掩模相乘并取交，得到包含了缺陷区域的最终掩膜；如图2所示，区分不同区域的原因是缺陷可能出现在不同区域，焊道可能出现针孔，焊刺等，焊面、铝壳面可能出现焊渣，异物等，也有可能焊刺拉丝导致出现在背景区域，而挑选一种或多种区域掩模，是为了有针对性的生成多样性的缺陷，将不同区域赋予不同的概率被选中，能够更真实的模拟实际生产中出现该区域缺陷的情况；
S34、从缺陷库中随机抽取一张异常图像缩放至模型输入大小256×256，将缩放后的异常图像与所述最终掩模相乘，得到缺陷样例；缺陷库可使用公共数据集DescribableTextures Dataset中的图片，这是一个纹理图像数据集，按照人类感知分为 47类，图像包含至少90%的表面表示类别属性。以此方式，无需自己人工标注数据，也在完全没有缺陷数据时适用。缺陷库也可以是自行收集的异常图像，收集方式是将缺陷区域从异常图像上裁剪出来，然后将其复制拼接得到和异常图像一样大的图。也可直接保存该缺陷区域的小图，但在使用该种方式时，柏林噪声可以不再生成随机大小的缺陷区域，而是生成与缺陷库抽取的小图一样大小的缺陷区域，且位置可以是随机的；
S35、根据所述最终掩膜剔除所述输入图像中相应的缺陷区域，将剔除了缺陷区域的输入图像与所述缺陷样例合并为最终的异常仿真样本。将原始的输入图像剔除缺陷区域，为了使模拟的异常样本更接近真实异常，因此使用一个透明度因子来平衡原始输入图像和缺陷样例的融合，缺陷样例需乘以透明度因子后再与剔除了缺陷区域的输入图像融合。采用上述异常仿真策略，从缺陷纹理和位置结构两个角度模拟异常样本，且能够模拟实际生产中不同区域出现缺陷的概率，最大限度地提高了异常仿真样本与真实异常样本的相似性。以0透明度因子生成异常仿真样本的流程示例如图3所示，即缺陷不透明。
S4、构建并训练异常检测模型，如图6所示，模型构建及训练过程包括：
S41选择加载了预训练权重的ResNet18网络作为编码器，从正常图像中随机挑选M个样本，将其输入所述编码器进行特征提取，将得到的Layer1、Layer2、Layer3这三个阶段的特征输入记忆库进行储存；ResNet18网络总体参数细节如图4所示，其输出五个阶段的特征，分别为Conv1、Layer1、Layer2、Layer3、Layer4。其中Layer的网络层参数中的中括号表示一个BasicBlock，“×2”表示2个；“64，7×7卷积”的参数分别表示卷积核个数为64，卷积核大小为7×7；“3×3池化”分表示池化层大小。在训练过程中将Layer1、Layer2、Layer3这三个阶段的网络层参数固定，不参与优化更新。从正常图像中随机挑选M个样本，将其输入编码器进行特征提取，将得到的Layer1、Layer2、Layer3这3个阶段的特征储存起来作为记忆库，共三层；
S42、将所述异常仿真样本和正常样本输入到所述编码器中进行特征提取，得到Conv1、Layer1、Layer2、Layer3、Layer4这五个阶段的特征，将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征；具体为：将样本的Layer1特征、Layer2特征、Layer3特征特征与记忆库中的M个Layer1特征、Layer2特征、Layer3特征计算每个特征点的L2距离，并取均值作为差异分，然后将记忆库中差异分最小的特征取出，与样本的特征计算L2距离特征，最后将L2距离特征与样本的特征进行通道叠加，得到连接视觉信息和语义信息的融合特征；样本的特征上的某个特征点与记忆库中的特征计算L2距离的公式为：
其中，d表示L2距离，h，w，c分别表示当前特征的高、宽、通道数三个维度，表示当前特征对应位置下的特征点，/>表示记忆库特征对应位置下的特征点；
S43、对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征，具体为：
S431、将样本的Layer1融合特征进行3×3卷积得到维度为128×64×64的特征，然后进行2次3×3卷积压缩通道进行压缩，得到维度为64×64×64的特征；
S432、将样本的Layer2与Layer3融合特征经过步骤S431的操作，分别得到维度为128×32×32和256×16×16的特征，然后将维度为256×16×16的特征进行上采样并用3×3卷积压缩通道进行压缩后与维度为128×32×32的特征相加，得到维度为128×32×32的特征，将该特征进行上采样并用3×3卷积压缩通道进行压缩后与S421得到维度为64×64×64的特征相加，得到最终的维度为64×64×64的特征；
最终输出维度为256×16×16、128×32×32、64×64×64的三种尺度特征。
S44、对所述多尺度特征融合进行自注意力增强处理，输出增强后的Layer1特征、Layer2特征、Layer3特征，如图5所示为自注意力增强结构，以Layer3特征为例，增加过程具体为：对S43得到的Layer3特征进行3次单独的卷积，卷积核个数为原通道数的一半即128，卷积核大小为1×1，步长为1，得到的3组特征分别标记为q、k、v；将q、k、v的维度从128×16×16拉伸至128×256，并将k的维度转置为256×128后与q计算矩阵乘积，得到维度为256×256的特征，该特征包含了每个特征点与所有特征点之间的关系信息；然后将该特征经过softmax或除以特征点总数进行标准化处理，得到的结果作为权重，关系信息丰富且重要的点对应的权重值就大，反之则小；接着将v与权重计算矩阵乘积，得到维度为128×256的特征，再将特征维度重塑成128×256后经过卷积核个数为256，卷积核大小为1×1，步长为1的卷积得到维度为256×16×16与输入时的特征相加，最终得到自注意力增强后的输出。Layer2的特征也以同样方式求得128×32×32的自注意力增强后的特征，Layer1的特征也以同样方式求得64×64×64的自注意力增强后的特征；自注意力机制能够增强重要的区域信息，削弱不重要的信息，帮助模型更好地识别出缺陷。
S45、对增强后的Layer1特征、Layer2特征、Layer3特征以及步骤S42得到的Conv1特征、Layer4特征通过解码器进行解码操作，解码操作具体如下：
首先，将Layer4特征进行上采样和3×3卷积，将尺寸从512×8×8变换到256×16×16后与Layer3特征进行通道叠加；然后将叠加后的特征再进行上采样和3×3卷积，将尺寸从512×16×16变换到128×32×32后与Layer2特征进行通道叠加；其次将叠加后的特征再进行上采样和3×3卷积，将尺寸从256×32×32变换到64×64×64后与Layer1特征进行通道叠加；再次将叠加后的特征再进行上采样和3×3卷积，将尺寸从128×64×64变换到48×128×128后与3×3卷积后的Conv1特征进行通道叠加；最后叠加后的特征再进行上采样和3×3卷积，将尺寸从96×128×128变换到48×256×256后再进行一次3×3卷积进行最终分类，得到2×256 ×256的特征。
S46、将解码后的所有特征输入softmax层，得到输入样本每个像素点分类的概率值，将概率值与预设阈值进行比较判断该输入样本是否为正常样本；例如可设定一个概率阈值，如果通道2的值大于该阈值，则该点为异常点，否则为正常点。对于这张输入样本是否判定为异常，可根据是否存在异常点判定，也可将通道2的概率值全部累加或由大到小排序取前m个值累加，然后与某个阈值比较，以此判定该样本是否属于异常样本，根据判断结果可以输出分类结果。
S5、模型优化：
本实施例根据异常仿真生成的掩膜与步骤S46得到的概率值计算L1 loss（平均绝对误差-L1 Loss 是深度学习中常用的一种损失函数，用于衡量模型预测结果与真实标签之间的平均绝对误差）和focal loss（损失函数，解决样本非平衡带来的模型训练问题）来组合成一个目标函数来优化，具体采用结合了上述两种损失函数的目标函数为对所述异常检测模型进行优化，/>为：
其中，表示平均绝对误差L1 loss，/>表示损失函数focal loss，/>和/>表示各自对应的占比系数；
计算公式为：
的计算公式为：
其中，h，w，c分别表示预测结果的高、宽、通道数三个维度，表示步骤S46预测结果对应位置下的概率值，/>表示最终掩膜对应位置下的值，α和β表示设定的系数。
经过优化后的最终模型可以达到优良的焊接质量异常检测效果，如图8、图9、图10所示分别表示对于原图7的三种异常检测结果，其中图10显示的采用本实施例异常检测方法得到的检测效果趋近于图8显示的真实异常，而图9为只使用正常样本方式（非仿真）进行异常检测与真实异常存在较大偏差，因此，本发明基于异常仿真的焊接质量异常检测方法显著提升了检测精度。
总体而言，本发明实施例提供的异常仿真焊接质量检测方法具有优势为：以异常仿真的方式进行新能源电池焊接质量异常检测，在没有真实缺陷数据的情况下，利用现有产品图像通过异常仿真策略生成异常仿真样本，也能够检测到缺陷。如果有真实缺陷数据，只需简单裁剪图像后存入缺陷库就能够更好的生成缺陷样本，且该缺陷库通用于任何异常检测任务，快捷高效。在生成缺陷样例时，区分产品的不同区域，并从中挑选一种或多种区域来针对性地生成多样性的缺陷区域掩模，将不同区域赋予不同的概率被选中，能够模拟实际生产中出现该区域缺陷的情况，最大限度地提高了模拟异常仿真样本与真实异常样本的相似性。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

Claims (8)

1.一种基于异常仿真的焊接质量异常检测方法，其特征在于包括以下步骤：
S1、获取焊接后的产品图像；
S2、数据预处理，包括：
数据清洗：从获取的产品图像中剔除存在异常的图像，保留正常图像，将异常图像加入缺陷库；
数据裁剪：将正常图像和异常图像分别裁剪为多个正方形小块储存；
S3、训练数据集制作：根据预设的异常仿真策略调用裁剪后的正常图像和异常图像生成用于模型训练的异常仿真样本，所述正常图像作为用于训练模型的正常样本；具体包括：
S31、将小块正常图像缩放至模型输入大小作为输入图像，对输入图像进行二值化处理得到有效区域掩膜，对有效区域掩膜图像进行区域划分，得到不同区域掩膜；
S32、随机生成大小与所述输入图像相同的二维柏林噪声图，设定一个噪声阈值，从柏林噪声图中提取噪声高于该噪声阈值的区域，生成二值化的缺陷区域掩膜；
S33、从所述不同区域掩膜中挑选一种或多种区域掩模分别与所述缺陷区域掩模相乘并取交，得到包含了缺陷区域的最终掩膜；
S34、从缺陷库中随机抽取一张异常图像缩放至模型输入大小，将缩放后的异常图像与最终掩模相乘，得到缺陷样例；
S35、根据所述最终掩膜剔除所述输入图像中相应的缺陷区域，将剔除了缺陷区域的输入图像与所述缺陷样例合并为最终的异常仿真样本；
S4、构建并训练异常检测模型，包括：
S41、选择加载了预训练权重的ResNet18网络作为编码器，从正常图像中随机挑选M个样本，将其输入所述编码器进行特征提取，将得到的Layer1、Layer2、Layer3这三个阶段的特征输入记忆库进行储存；
S42、将所述异常仿真样本和正常样本输入到所述编码器中进行特征提取，得到Conv1、Layer1、Layer2、Layer3、Layer4这五个阶段的特征，将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征；
S43、对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征；
S44、对所述多尺度特征融合进行自注意力增强处理，输出增强后的Layer1特征、Layer2特征、Layer3特征；
S45、对增强后的Layer1特征、Layer2特征、Layer3特征以及步骤S42得到的Conv1特征、Layer4特征通过解码器进行解码操作；
S46、将解码后的所有特征输入softmax层，得到输入样本每个像素点分类的概率值，将概率值与预设阈值进行比较判断该输入样本是否为正常样本；
S5、模型优化：
采用目标函数为对所述异常检测模型进行优化，/>为：
其中，表示平均绝对误差L1 loss，/>表示损失函数focal loss，/>和/>表示各自对应的占比系数；
计算公式为：
的计算公式为：
其中，h，w，c分别表示预测结果的高、宽、通道数三个维度，表示步骤S46预测结果对应位置下的概率值，/>表示最终掩膜对应位置下的值，α和β表示设定的系数。
2.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于，所述异常仿真样本和正常样本的比例为1:1。
3.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于所述步骤S31中，还包括通过开或闭运算去除输入图像二值化过程中产生的噪声。
4.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于，所述不同区域掩膜包括焊道、焊面、铝壳面以及背景区域掩膜。
5.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于，所述缺陷库的异常图像还包括纹理图像数据集中的图片。
6.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于所述步骤S35中，所述缺陷样例乘以以透明度因子后再与剔除了缺陷区域的输入图像合并为最终的异常仿真样本。
7.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于所述步骤S42中，所述将样本的Layer1特征、Layer2特征、Layer3特征与记忆库中对应阶段特征进行匹配和信息融合，得到连接视觉信息和语义信息的融合特征，具体包括：
将样本的Layer1特征、Layer2特征、Layer3特征特征与记忆库中的M个Layer1特征、Layer2特征、Layer3特征计算每个特征点的L2距离，并取均值作为差异分，然后将记忆库中差异分最小的特征取出，与样本的特征计算L2距离特征，最后将L2距离特征与样本的特征进行通道叠加，得到连接视觉信息和语义信息的融合特征；样本的特征上的某个特征点与记忆库中的特征计算L2距离的公式为：
其中，d表示L2距离，h，w，c分别表示当前特征的高、宽、通道数三个维度，表示当前特征对应位置下的特征点，/>表示记忆库特征对应位置下的特征点。
8.如权利要求1所述的一种基于异常仿真的焊接质量异常检测方法，其特征在于所述步骤S43中，对所述融合特征进行多尺度特征融合处理，得到多尺度融合特征，具体包括：
S431、将样本的Layer1融合特征进行3×3卷积得到维度为128×64×64的特征，然后进行2次3×3卷积压缩通道进行压缩，得到维度为64×64×64的特征；
S432、将样本的Layer2与Layer3融合特征经过步骤S431的操作，分别得到维度为128×32×32和256×16×16的特征，然后将维度为256×16×16的特征进行上采样并用3×3卷积压缩通道进行压缩后与维度为128×32×32的特征相加，得到维度为128×32×32的特征，将该特征进行上采样并用3×3卷积压缩通道进行压缩后与S421得到维度为64×64×64的特征相加，得到最终的维度为64×64×64的特征；
S433、最终输出维度为256×16×16、128×32×32、64×64×64的三种尺度特征。
CN202310855050.7A 2023-07-13 2023-07-13 一种基于异常仿真的焊接质量异常检测方法 Active CN116580030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310855050.7A CN116580030B (zh) 2023-07-13 2023-07-13 一种基于异常仿真的焊接质量异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310855050.7A CN116580030B (zh) 2023-07-13 2023-07-13 一种基于异常仿真的焊接质量异常检测方法

Publications (2)

Publication Number Publication Date
CN116580030A CN116580030A (zh) 2023-08-11
CN116580030B true CN116580030B (zh) 2023-10-20

Family

ID=87541704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310855050.7A Active CN116580030B (zh) 2023-07-13 2023-07-13 一种基于异常仿真的焊接质量异常检测方法

Country Status (1)

Country Link
CN (1) CN116580030B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437227B (zh) * 2023-12-20 2024-02-27 成都数之联科技股份有限公司 一种图像生成及缺陷检测方法、装置、介质、设备及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN109242830A (zh) * 2018-08-18 2019-01-18 苏州翔升人工智能科技有限公司 一种基于深度学习的机器视觉技术检测方法
CN111982910A (zh) * 2020-07-06 2020-11-24 华南理工大学 一种基于人工缺陷仿真的弱监督机器视觉检测方法及系统
CN114155244A (zh) * 2022-02-10 2022-03-08 北京阿丘科技有限公司 缺陷检测方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040004612A1 (en) * 2002-07-08 2004-01-08 Lockheed Martin Corporation Method and system for processing graphics simulation data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN109242830A (zh) * 2018-08-18 2019-01-18 苏州翔升人工智能科技有限公司 一种基于深度学习的机器视觉技术检测方法
CN111982910A (zh) * 2020-07-06 2020-11-24 华南理工大学 一种基于人工缺陷仿真的弱监督机器视觉检测方法及系统
CN114155244A (zh) * 2022-02-10 2022-03-08 北京阿丘科技有限公司 缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116580030A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN110047073B (zh) 一种x射线焊缝图像缺陷定级方法及系统
CN111598860B (zh) 基于嵌入自注意力门模块的yolov3网络的锂电池缺陷检测方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN111127449B (zh) 一种基于编码器-解码器的自动化裂缝检测方法
CN116580030B (zh) 一种基于异常仿真的焊接质量异常检测方法
CN112700444B (zh) 基于自注意力与中心点回归模型的桥梁螺栓检测方法
CN109671071B (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN114240821A (zh) 一种基于改进型yolox的焊缝缺陷检测方法
CN111626279B (zh) 一种负样本标注训练方法及高度自动化的票据识别方法
CN113657383B (zh) 一种基于轻量化分割模型的缺陷区域检测方法及装置
CN115797357B (zh) 一种基于改进YOLOv7的输电通道隐患检测方法
CN112712033B (zh) 一种城市排水管网汇水区自动划分方法
CN111754507A (zh) 一种轻量化的基于强注意力机制的工业缺陷图像分类方法
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN114627106A (zh) 一种基于Cascade Mask R-CNN模型的焊缝缺陷检测方法
CN113762265A (zh) 肺炎的分类分割方法及系统
CN114387190B (zh) 一种基于复杂环境下的自适应图像增强方法及系统
CN114972759A (zh) 基于分级轮廓代价函数的遥感图像语义分割方法
CN116206104A (zh) 用于工业外观缺陷检测的人工智能分割分类算法
CN115239672A (zh) 缺陷检测方法及装置、设备、存储介质
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN116883313A (zh) 车身漆面缺陷快速检测方法、图像处理设备及可读介质
CN116934696A (zh) 一种基于YOLOv7-Tiny模型改进的工业PCB缺陷检测方法及其装置
CN113034432B (zh) 一种产品缺陷检测方法、系统、装置及存储介质
CN115641437A (zh) 工业缺陷实例分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant