CN116934687A - 一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法 - Google Patents

一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法 Download PDF

Info

Publication number
CN116934687A
CN116934687A CN202310689490.XA CN202310689490A CN116934687A CN 116934687 A CN116934687 A CN 116934687A CN 202310689490 A CN202310689490 A CN 202310689490A CN 116934687 A CN116934687 A CN 116934687A
Authority
CN
China
Prior art keywords
semantic segmentation
image reconstruction
image
injection molding
molding product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310689490.XA
Other languages
English (en)
Other versions
CN116934687B (zh
Inventor
张树有
俞子安
伊国栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310689490.XA priority Critical patent/CN116934687B/zh
Publication of CN116934687A publication Critical patent/CN116934687A/zh
Application granted granted Critical
Publication of CN116934687B publication Critical patent/CN116934687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，包括：获取注塑制品样本图像，构建语义分割数据集和图像重建数据集；构建SSAL网络模型，将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练；将待检测的注塑制品样本图像输入到训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图；根据语义分割结果图，将注塑制品缺陷区域量化，得到缺陷检测结果。本发明实现了注塑制品表面缺陷的自动化检测，提高了语义分割模型在小样本数据集下对注塑制品缺陷的检测准确率和泛化能力，更好地满足了工业场景的应用需求。

Description

一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测 方法
技术领域
本发明涉及计算机视觉及工业自动化技术领域，具体涉及基于半监督辅助学习(Semi-Supervised Auxiliary Learning，SSAL)语义分割的注塑制品表面缺陷检测方法。
背景技术
注塑成型是一个复杂的过程，其产品质量容易受到工艺参数和环境条件的影响。即便是在稳定生产的情况下，注塑机的性能波动和材料的参数变化等影响因素仍然会导致注塑缺陷的出现，对注塑制品的外观和性能产生严重影响。因此，对注塑制品进行缺陷检测是注塑成型生产质量控制中的重要一环。
现有的缺陷检测手段主要依靠人工检测，这种方式效率低下，易受主观性影响，无法实现缺陷反馈。机器视觉和机器学习算法可以用于表面缺陷的自动化检测，但是它们的准确率相对较低，而且难以适应生产线调整所带来的变化。
近年来，深度学习算法在图像分类、目标检测、语义分割等领域取得了重大进展，并且因其端到端和鲁棒性强等特点被广泛应用于缺陷检测领域。语义分割算法在面对形态各异的缺陷时，可以逐像素地区分图像中缺陷区域和正常区域，为实现精确的缺陷量化提供了必要条件。
此外，在实际的工业生产情况中，由于缺陷样本的不平衡性，深度学习方法容易出现过拟合现象，导致检测精度下降。为缓解过拟合问题，数据增强、数据合成和迁移学习等技术被广泛应用于模型训练。然而，这些方法在训练过程中所用的数据均源自已有的缺陷样本，无法解决样本缺乏的根本问题，而且可能会将噪声和人工信息引入到模型中，同时，生产过程中许多不包含缺陷的样本并没有得到充分利用。
公开号为CN 110473173 A的专利申请文件公开了一种基于语义分割的缺陷检测方法，包括：制作物体表面缺陷训练图像集；完成表面缺陷图像的手动标注；搭建应用于物体表面缺陷检测的深度学习语义分割缺陷检测模型；进行深度学习语义分割缺陷检测模型的训练；基于已训练的深度学习语义分割缺陷检测模型，进行物体表面缺陷检测；得到对应输出的具有缺陷种类标签图像，获得缺陷检测结果。该发明仅采用缺陷样本图像进行模型训练，没有充分利用不包含缺陷的样本图像，无法解决样本缺乏的根本问题。
因此，亟需寻找一种新的注塑制品表面缺陷的检测方法，充分利用不包含缺陷的样本对注塑制品缺陷进行精确检测，以满足工业场景的应用具有重要意义。
发明内容
本发明的目的在于提供一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，充分利用不包含缺陷的样本，提高语义分割模型在小样本数据集下对注塑制品缺陷的检测准确率和泛化能力，满足工业场景的应用需求。
一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，包括以下步骤：
步骤a：获取注塑制品样本图像，构建语义分割数据集和图像重建数据集；
步骤b：构建SSAL网络模型，将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练；
步骤c：将待检测的注塑制品样本图像输入到步骤b训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图；
步骤d：根据语义分割结果图，将注塑制品缺陷区域量化，得到缺陷检测结果。
进一步地，步骤a中，获取注塑制品样本图像，构建语义分割数据集和图像重建数据集的具体步骤为：
步骤a1：收集若干包含表面缺陷的注塑制品样本和若干不包含表面缺陷的注塑制品样本，采集注塑制品样本图像，获得包含注塑制品表面缺陷的图像和不包含注塑制品表面缺陷的图像；
步骤a2：对包含注塑制品表面缺陷的图像进行标注，获得对应的语义分割标签图像；
步骤a3：使用数据增强扩充包含注塑制品表面缺陷的图像及其对应的语义分割标签图像，将扩充后得到的包含注塑制品表面缺陷的图像及其对应的语义分割标签图像组成语义分割数据集；使用数据增强扩充不包含注塑制品表面缺陷的图像，将扩充后得到的不包含注塑制品表面缺陷的图像与扩充后得到包含注塑制品表面缺陷的图像组成图像重建数据集。
进一步地，步骤a3中，所述的数据增强扩充包括图像翻转、图像缩放和图像扭曲。
进一步地，步骤a3中，所述的语义分割数据集包含像素级的语义分割标签图像，所述的图像重建数据集不包含语义分割标签图像。
进一步地，步骤b中，所述的SSAL网络模型包括主干网络部分和网络输出部分：
所述主干网络部分由编码部分和解码部分依次连接构成，编码部分的输入为主干网络部分的输入，解码部分的输出为主干网络部分的输出，
所述编码部分主要由一个初始卷积模块和四个连续的下采样模块依次连接构成，每个下采样模块由一个最大池化层和若干个卷积层依次连接构成，每个卷积层由二维卷积层和ReLU层依次连接构成；
所述解码部分主要由四个连续的上采样模块构成，每个上采样模块由一个上采样层、一个拼接层和两个卷积层依次连接构成；每个卷积层由二维卷积层和ReLU层依次连接构成；
初始卷积模块的输出特征图和第四个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第四个上采样模块中的卷积层中，第一个下采样模块输出的特征图和第三个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第三个上采样模块中的卷积层中，第二个下采样模块输出的特征图和第二个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第二个上采样模块中的卷积层中，第三个下采样模块输出的特征图和第一个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第一个上采样模块中的卷积层中，第四个下采样模块输出的特征图被作为第一个上采样模块的输入；
所述网络输出部分主要由语义分割输出分支和图像重建输出分支构成，
所述语义分割输出分支由一个二通道卷积层构成，语义分割输出分支的输入是主干网络部分的输出；
所述图像重建输出分支由一个三通道卷积层构成，图像重建输出分支的输入是主干网络部分的输出。
进一步地，所述的主干网络部分的编码部分中，每个下采样模块处理后将特征图的尺寸减小一倍，并将特征图的深度增大一倍，最终得到所需的特征图。
进一步地，所述的主干网络部分的解码部分中，四个连续的上采样模块中依次设置双线性插值上采样层，逐层将特征图的尺寸增大一倍，并将特征图的深度减小一倍。
进一步地，步骤b中，所述的语义分割任务为主任务，所述的图像重建任务为辅助任务，图像重建任务在无标签数据集上进行半监督辅助学习。
进一步地，步骤b中，SSAL网络模型进行语义分割任务和图像重建任务交替训练所使用的网络结构和模型参数是共享的。
进一步地，步骤b中，所述的将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练的具体步骤为：
步骤b1：将语义分割数据集划分为语义分割训练集和语义分割验证集，将图像重建数据集划分为图像重建训练集和图像重建验证集；
步骤b2：加载图像重建训练集，冻结语义分割输出分支，解冻图像重建输出分支，进行图像重建任务训练；
步骤b3：加载语义分割训练集，冻结图像重建输出分支，解冻语义分割输出分支，进行语义分割任务训练；
步骤b4：加载图像重建验证集，冻结语义分割输出分支，解冻图像重建输出分支，验证当下SSAL网络模型参数的图像重建性能；
步骤b5：加载语义分割验证集，冻结图像重建输出分支，解冻语义分割输出分支，验证当下SSAL网络模型参数的语义分割性能；
步骤b6：保留在语义分割验证集上表现最优的模型。
进一步地，步骤b2-b5中，所述的冻结是指使图像重建输出分支或语义分割输出分支中的模型参数无法参与网络训练阶段的前向传播、误差计算、梯度计算、梯度反向传播和权重更新过程。
进一步地，步骤b2-b5中，所述的解冻是指使图像重建输出分支或语义分割输出分支中的模型参数参与网络训练阶段的前向传播、误差计算、梯度计算、梯度反向传播和权重更新过程。
进一步地，步骤b2中，所述的加载图像重建训练集，冻结语义分割输出分支，解冻图像重建输出分支，进行图像重建任务训练的具体步骤为：
步骤b21：加载图像重建训练集中的图像，复制第一份作为图像重建任务输入图像，复制第二份作为图像重建任务标签图像，将图像重建任务输入图像输入SSAL网络模型，得到图像重建结果；
步骤b22：将图像重建结果和图像重建任务标签图像输入SSIM(StructureSimilarity Index Measure)损失函数，通过SSIM损失优化SSAL网络模型参数，SSIM损失函数Lssim的计算公式如下：
其中y代表真实标签，代表图像重建预测结果，/>代表/>的均值，/>代表/>的均方差，/>代表/>和y的协方差，C1和C2是两个小常量，用于避免分母为零的情况。
进一步地，步骤b21中，以特定概率随机修改图像重建任务输入图像的色度、饱和度和明度。
进一步地，步骤b3中，所述的加载语义分割训练集，冻结图像重建输出分支，解冻语义分割输出分支，进行语义分割任务训练的具体步骤为：
步骤b31：将语义分割训练集中的图像输入SSAL网络模型，得到语义分割结果；
步骤b32：将语义分割结果和语义分割训练集中的标签图像输入交叉熵损失函数或Focal Loss损失函数，通过交叉熵损失函数或Focal Loss损失函数优化SSAL网络模型参数，Focal Loss损失函数的计算公式如下：
其中y代表真实标签，y′代表语义分割预测结果，α代表类别权重，γ用于调整易分类样本被降低权重的速度。
进一步地，步骤b31中，将语义分割训练集中的图像输入SSAL网络模型前以特定概率随机翻转、缩放和扭曲语义分割任务输入图像，并以特定概率随机修改语义分割任务输入图像的色度、饱和度和明度。
进一步地，步骤b32中，将语义分割结果和语义分割训练集中的标签图像输入交叉熵损失函数或Focal Loss损失函数前对语义分割任务标签图像执行与语义分割任务输入图像输入SSAL网络模型前相同的随机翻转、缩放和扭曲操作。
进一步地，步骤b6中，表现最优是指损失函数值最小。
进一步地，步骤c中，所述的将待检测的注塑制品图像输入到步骤b训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值的具体步骤为：
步骤c1：针对SSAL网络模型，加载步骤b中在语义分割验证集上表现最优的模型的参数；
步骤c2：冻结图像重建输出分支，使图像重建输出分支中的模型参数无法参与模型推理阶段的计算；
步骤c3：将待检测的注塑制品图像，输入到训练好的SSAL网络模型中进行缺陷的语义分割，得到语义分割结果图。
为验证模型的检测效果，本发明将待检测的注塑制品图像进行标注，得到对应的语义分割标签图像，将待检测的注塑制品图像的语义分割标签图像与其语义分割结果图相比较，计算预测误差。
进一步地，步骤d中，所述的将注塑制品缺陷区域量化包括遍历语义分割结果图中每一个像素点并统计不同像素值的数量。
相比于现有技术，本发明至少具备以下有益效果：
(1)本发明采用计算机视觉技术，可以对生产线上的注塑制品进行自动化的缺陷检测，语义分割检测可以快速、准确地检测注塑缺陷的种类，节省人工成本，提高检测效率；
(2)本发明可以精确地量化注塑缺陷的大小，避免因检测人员主观判断引起的误差，降低对检测人员判断经验的依赖程度；
(3)本发明可以充分利用生产过程中大量的无缺陷的注塑制品样本，降低对标签数据的数据量的需求，增强语义分割模型对注塑制品轮廓信息的提取能力和对缺陷区域的定位能力，最终提高语义分割模型在小样本数据集下对注塑制品缺陷的检测准确率和泛化能力，满足了工业场景的应用需求。
附图说明
图1实施例中的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法的流程示意图。
图2为实施例中的构建语义分割数据集和图像重建数据集的流程示意图。
图3为实施例中的SSAL网络模型结构示意图。
图4为实施例中的SSAL网络模型进行语义分割任务和图像重建任务的交替训练的流程示意图。
图5为实施例中SSAL网络模型获取待检测的注塑制品图像的语义分割结果的流程示意图。
图6为实施例中的包含缺陷的注塑制品图像的语义分割前后图像，其中图6(a)代表语义分割前的图像；图6(b)代表语义分割后的图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。
如图1所示，本发明实施例的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法的流程图如下：
步骤a：获取注塑制品样本图像，构建语义分割数据集和图像重建数据集；
步骤b：构建SSAL网络模型，将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练；
步骤c：将待检测的注塑制品样本图像输入到步骤b训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图；
步骤d：根据语义分割结果图，将注塑制品缺陷区域量化，得到缺陷检测结果。
步骤a中，获取注塑制品样本图像，构建语义分割数据集和图像重建数据集流程示意图如图2所示，具体包括：
步骤a1：收集若干包含表面缺陷的注塑制品样本和若干不包含表面缺陷的注塑制品样本，采集注塑制品样本图像，获得包含注塑制品表面缺陷的图像和不包含注塑制品表面缺陷的图像。
在其中一个实施例中，收集10个包含表面缺陷的注塑制品样本和10个不包含表面缺陷的注塑制品样本。
步骤a2：对包含注塑制品表面缺陷的图像进行标注，获得对应的语义分割标签图像；
步骤a3：使用数据增强扩充包含注塑制品表面缺陷的图像及其对应的语义分割标签图像，将扩充后得到的包含注塑制品表面缺陷的图像及其对应的语义分割标签图像组成语义分割数据集；使用数据增强扩充不包含注塑制品表面缺陷的图像，将扩充后得到的不包含注塑制品表面缺陷的图像与扩充后得到包含注塑制品表面缺陷的图像组成图像重建数据集。
在其中一个实施例中，步骤a3使用的数据增强扩充方法包括图像翻转、图像缩放和图像扭曲。
具体的，步骤a3中，所述语义分割数据集包含像素级的语义分割标签图像，所述图像重建数据集不包含语义分割标签图像。
在其中一个实施例中，步骤a3使用数据增强扩充包含注塑制品表面缺陷的图像及其对应的语义分割标签图像，得到1600张包含注塑制品表面缺陷的图像及其对应的语义分割标签图像，组成语义分割数据集；使用数据增强扩充不包含注塑制品表面缺陷的图像，得到1600张扩充后的不包含注塑制品表面缺陷的图像，将扩充后得到的1600张不包含注塑制品表面缺陷的图像与扩充后得到1600张包含注塑制品表面缺陷的图像组成图像重建数据集。
具体的，步骤b中，所述SSAL网络模型包括主干网络部分和网络输出部分，所述主干网络部分主要由编码部分和解码部分依次连接构成，编码部分的输入为主干网络部分的输入，解码部分的输出为主干网络部分的输出，具体如下：
编码部分主要由一个初始卷积模块和四个连续的下采样模块依次连接构成，每个下采样模块由一个最大池化层和若干个卷积层依次连接构成；每个卷积层由二维卷积层和ReLU层依次连接构成；
解码部分主要由四个连续的上采样模块构成，每个上采样模块由一个上采样层、一个拼接层和两个卷积层依次连接构成；每个卷积层由二维卷积层和ReLU层依次连接构成；
初始卷积模块的输出特征图和第四个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第四个上采样模块中的卷积层中，第一个下采样模块输出的特征图和第三个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第三个上采样模块中的卷积层中，第二个下采样模块输出的特征图和第二个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第二个上采样模块中的卷积层中，第三个下采样模块输出的特征图和第一个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第一个上采样模块中的卷积层中，第四个下采样模块输出的特征图被作为第一个上采样模块的输入。
所述网络输出部分主要由语义分割输出分支和图像重建输出分支构成，具体如下：
语义分割输出分支由一个二通道卷积层构成，语义分割输出分支的输入是主干网络部分的输出；
图像重建输出分支由一个三通道卷积层构成，图像重建输出分支的输入是主干网络部分的输出。
图3为本发明的一个实施例中的SSAL网络模型结构示意图，其编码部分的过程如下：初始输入为128×128的输入图像，经一个初始卷积模块后得到128×128、深度为64的特征矩阵A，并保存此特征矩阵A；经第一个下采样模块后得到64×64、深度为128的特征矩阵B，并保存此特征矩阵B；经第二个下采样模块后得到32×32、深度为256的特征矩阵C，并保存此特征矩阵；经第三个下采样模块后得到16×16、深度为512的特征矩阵D，并保存此特征矩阵；经第四个下采样模块后得到8×8、深度为512的特征矩阵E，并保存此特征矩阵。
解码部分的过程如下：输入为8×8，深度为512的特征矩阵E经过第一个上采样模块后得到16×16、深度为512的特征矩阵F；经第二个上采样模块后得到32×32、深度为256的特征矩阵G；经第三个上采样模块后得到64×64、深度为128的特征矩阵H；经第四个上采样模块后得到128×128、深度为64的特征矩阵I。
特征矩阵I经过语义分割输出分支得到128×128、深度为2的语义分割输出结果。
特征矩阵I经过图像重建输出分支得到128×128、深度为3的图像重建输出结果。
在其中一个实施例中，步骤b中，SSAL网络模型的编码部分中，每个下采样模块处理后将特征图的尺寸减小一倍，并将特征图的深度增大一倍，最终得到所需的特征图。
在其中一个实施例中，步骤b中，SSAL网络模型的解码部分中，四个连续的上采样模块中依次设置双线性插值上采样层，逐层将特征图的尺寸增大一倍，并将特征图的深度减小一倍。
图4为实施例中的SSAL网络模型进行语义分割任务和图像重建任务的交替训练的流程示意图，具体如下：
步骤b1：将语义分割数据集划分为语义分割训练集和语义分割验证集，将图像重建数据集划分为图像重建训练集和图像重建验证集；
步骤b2：加载图像重建训练集，冻结语义分割输出分支，解冻图像重建输出分支，进行图像重建任务训练；
步骤b3：加载语义分割训练集，冻结图像重建输出分支，解冻语义分割输出分支，进行语义分割任务训练；
步骤b4：加载图像重建验证集，冻结语义分割输出分支，解冻图像重建输出分支，验证当下SSAL网络模型参数的图像重建性能；
步骤b5：加载语义分割验证集，冻结图像重建输出分支，解冻语义分割输出分支，验证当下SSAL网络模型参数的语义分割性能；
步骤b6：保留在语义分割验证集上表现最优的模型。
具体的，步骤b2中，所述的加载图像重建训练集，冻结语义分割输出分支，解冻图像重建输出分支，进行图像重建任务训练的具体步骤为：
步骤b21：加载图像重建训练集中的图像，复制第一份作为图像重建任务输入图像，复制第二份作为图像重建任务标签图像，将图像重建任务输入图像输入SSAL网络模型，得到图像重建结果；
步骤b22：将图像重建结果和图像重建任务标签图像输入SSIM(StructureSimilarity Index Measure)损失函数，通过SSIM损失优化SSAL网络模型参数，SSIM损失函数Lssim的计算公式如下：
其中y代表真实标签，代表图像重建预测结果，/>代表/>的均值，/>代表/>的均方差，/>代表/>和y的协方差，C1和C2是两个小常量，用于避免分母为零的情况。
在其中一个实施例中，步骤b21中，以特定概率随机修改图像重建任务输入图像的色度、饱和度和明度。
具体的，步骤b3中，所述的加载语义分割训练集，冻结图像重建输出分支，解冻语义分割输出分支，进行语义分割任务训练的具体步骤为：
步骤b31，将语义分割任务输入图像输入SSAL网络模型，得到语义分割结果；
步骤b32，将语义分割结果和语义分割任务标签图像输入交叉熵损失函数或FocalLoss损失函数，通过交叉熵损失函数或Focal Loss损失函数优化SSAL网络模型参数，FocalLoss损失函数的计算公式如下：
其中y代表真实标签，y′代表语义分割预测结果，α代表类别权重，γ用于调整易分类样本被降低权重的速度。
在其中一个实施例中，步骤b31中，将语义分割训练集中的图像输入SSAL网络模型前以特定概率随机翻转、缩放和扭曲语义分割任务输入图像，并以特定概率随机修改语义分割任务输入图像的色度、饱和度和明度。
在其中一个实施例中，步骤b32中，将语义分割结果和语义分割训练集中的标签图像输入交叉熵损失函数或Focal Loss损失函数前对语义分割任务标签图像执行与语义分割任务输入图像输入SSAL网络模型前相同的随机翻转、缩放和扭曲操作。
图5为实施例中SSAL网络模型获取待检测的注塑制品图像的语义分割结果的流程示意图，具体步骤为：
步骤c1，针对SSAL网络模型，加载步骤b中在语义分割验证集上表现最优的模型的参数；
步骤c2，冻结图像重建输出分支，使图像重建输出分支中的模型参数无法参与模型推理阶段的计算；
步骤c3，将待检测的注塑制品图像，输入到训练好的SSAL网络模型中进行缺陷的语义分割，得到语义分割结果图。
具体的，步骤d中，将注塑制品缺陷区域量化包括遍历语义分割结果图中每一个像素点并统计不同像素值的数量。
为了验证本发明方法的预测效果，将某个包含缺陷的注塑制品图像利用本发明方法进行语义分割缺陷检测。
图6(a)和图6(b)分别代表包含缺陷的注塑制品图像进行语义分割前和语义分割后的图像，可以看出，本实施例方法实现了对注塑制品缺陷的精确分割。
为验证模型的检测效果，本实施例将待检测的注塑制品图像进行标注，得到对应的语义分割标签图像，将待检测的注塑制品图像的语义分割标签图像与其语义分割结果图相比较，计算预测误差。
表1为本实施例所述方法与主流语义分割方法(PSPnet、DeepLabv3+、Unet)分别在语义分割量化指标平均交并比(mIoU)、召回率(Recall)、准确率(Accuracy)和精确率(Precision)的对比结果，可以看出，本实施例的方法具有更高的平均交并比、召回率、准确率和精确率，能够提高在小样本数据集下对注塑制品缺陷的检测准确率和泛化能力，满足工业场景的应用需求。
表1本实施例方法与主流语义分割方法得到的语义分割量化指标的对比结果
模型 平均交并比 召回率 准确率 精确率
PSPnet 80.06 88.09 98.33 87.48
DeepLabv3+ 80.46 88.12 98.38 88.04
Unet 80.85 89.18 98.38 87.60
SSAL 89.34 94.56 99.19 93.62
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变化，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，包括以下步骤：
步骤a：获取注塑制品样本图像，构建语义分割数据集和图像重建数据集；
步骤b：构建SSAL网络模型，将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练；
步骤c：将待检测的注塑制品样本图像输入到步骤b训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图；
步骤d：根据语义分割结果图，将注塑制品缺陷区域量化，得到缺陷检测结果。
2.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤a中，获取注塑制品样本图像，构建语义分割数据集和图像重建数据集的具体步骤为：
步骤a1：收集若干包含表面缺陷的注塑制品样本和若干不包含表面缺陷的注塑制品样本，采集注塑制品样本图像，获得包含注塑制品表面缺陷的图像和不包含注塑制品表面缺陷的图像；
步骤a2：对包含注塑制品表面缺陷的图像进行标注，获得对应的语义分割标签图像；
步骤a3：使用数据增强扩充包含注塑制品表面缺陷的图像及其对应的语义分割标签图像，将扩充后得到的包含注塑制品表面缺陷的图像及其对应的语义分割标签图像组成语义分割数据集；使用数据增强扩充不包含注塑制品表面缺陷的图像，将扩充后得到的不包含注塑制品表面缺陷的图像与扩充后得到包含注塑制品表面缺陷的图像组成图像重建数据集。
3.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b中，所述的SSAL网络模型包括主干网络部分和网络输出部分：
所述主干网络部分由编码部分和解码部分依次连接构成，编码部分的输入为主干网络部分的输入，解码部分的输出为主干网络部分的输出，
所述编码部分由一个初始卷积模块和四个连续的下采样模块依次连接构成，每个下采样模块由一个最大池化层和若干个卷积层依次连接构成，每个卷积层由二维卷积层和ReLU层依次连接构成；
所述解码部分由四个连续的上采样模块构成，每个上采样模块由一个上采样层、一个拼接层和两个卷积层依次连接构成，每个卷积层由二维卷积层和ReLU层依次连接构成；
初始卷积模块的输出特征图和第四个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第四个上采样模块中的卷积层中，第一个下采样模块输出的特征图和第三个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第三个上采样模块中的卷积层中，第二个下采样模块输出的特征图和第二个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第二个上采样模块中的卷积层中，第三个下采样模块输出的特征图和第一个上采样模块中上采样层的输出特征图经过拼接层按照通道维度进行拼接后输入到第一个上采样模块中的卷积层中，第四个下采样模块输出的特征图被作为第一个上采样模块的输入；
所述网络输出部分由语义分割输出分支和图像重建输出分支构成，
所述语义分割输出分支由一个二通道卷积层构成，语义分割输出分支的输入是主干网络部分的输出；
所述图像重建输出分支由一个三通道卷积层构成，图像重建输出分支的输入是主干网络部分的输出。
4.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b中，所述的将语义分割数据集和图像重建数据集中的图像输入到SSAL网络模型中进行语义分割任务和图像重建任务的交替训练的具体步骤为：
步骤b1：将语义分割数据集划分为语义分割训练集和语义分割验证集，将图像重建数据集划分为图像重建训练集和图像重建验证集；
步骤b2：加载图像重建训练集，冻结语义分割输出分支，解冻图像重建输出分支，进行图像重建任务训练；
步骤b3：加载语义分割训练集，冻结图像重建输出分支，解冻语义分割输出分支，进行语义分割任务训练；
步骤b4：加载图像重建验证集，冻结语义分割输出分支，解冻图像重建输出分支，验证当下SSAL网络模型参数的图像重建性能；
步骤b5：加载语义分割验证集，冻结图像重建输出分支，解冻语义分割输出分支，验证当下SSAL网络模型参数的语义分割性能；
步骤b6：保留在语义分割验证集上表现最优的模型。
5.根据权利要求4所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b2-b5中，所述的冻结是指使图像重建输出分支或语义分割输出分支中的模型参数无法参与网络训练阶段的前向传播、误差计算、梯度计算、梯度反向传播和权重更新过程；所述的解冻是指使图像重建输出分支或语义分割输出分支中的模型参数参与网络训练阶段的前向传播、误差计算、梯度计算、梯度反向传播和权重更新过程。
6.根据权利要求4所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b2中，所述的加载图像重建训练集，冻结语义分割输出分支，解冻图像重建输出分支，进行图像重建任务训练的具体步骤为：
步骤b21：加载图像重建训练集中的图像，复制第一份作为图像重建任务输入图像，复制第二份作为图像重建任务标签图像，将图像重建任务输入图像输入SSAL网络模型，得到图像重建结果；
步骤b22：将图像重建结果和图像重建任务标签图像输入SSIM损失函数，通过SSIM损失优化SSAL网络模型参数，SSIM损失函数Lssim的计算公式如下：
其中y代表真实标签，代表图像重建预测结果，/>代表/>的均值，/>代表/>的均方差，/>代表/>和y的协方差，C1和C2是两个小常量，用于避免分母为零的情况。
7.根据权利要求6所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b21中，以特定概率随机修改图像重建任务输入图像的色度、饱和度和明度。
8.根据权利要求4所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤b3中，所述的加载语义分割训练集，冻结图像重建输出分支，解冻语义分割输出分支，进行语义分割任务训练的具体步骤为：
步骤b31：将语义分割训练集中的图像输入SSAL网络模型，得到语义分割结果；
步骤b32：将语义分割结果和语义分割训练集中的标签图像输入交叉熵损失函数或FocalLoss损失函数，通过交叉熵损失函数或FocalLoss损失函数优化SSAL网络模型参数。
9.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤c中，所述的将待检测的注塑制品图像输入到步骤b训练好的SSAL网络模型中进行缺陷的语义分割，将不同的缺陷标记为对应的像素值，得到语义分割结果图的具体步骤为：
步骤c1：针对SSAL网络模型，加载步骤b中在语义分割验证集上表现最优的模型的参数；
步骤c2：冻结图像重建输出分支，使图像重建输出分支中的模型参数无法参与模型推理阶段的计算；
步骤c3：将待检测的注塑制品图像，输入到训练好的SSAL网络模型中进行缺陷的语义分割，得到语义分割结果图。
10.根据权利要求1所述的基于半监督辅助学习语义分割的注塑制品表面缺陷检测方法，其特征在于，步骤d中，所述的将注塑制品缺陷区域量化包括遍历语义分割结果图中每一个像素点并统计不同像素值的数量。
CN202310689490.XA 2023-06-12 2023-06-12 基于半监督学习语义分割的注塑制品表面缺陷检测方法 Active CN116934687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310689490.XA CN116934687B (zh) 2023-06-12 2023-06-12 基于半监督学习语义分割的注塑制品表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310689490.XA CN116934687B (zh) 2023-06-12 2023-06-12 基于半监督学习语义分割的注塑制品表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN116934687A true CN116934687A (zh) 2023-10-24
CN116934687B CN116934687B (zh) 2024-02-09

Family

ID=88376477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310689490.XA Active CN116934687B (zh) 2023-06-12 2023-06-12 基于半监督学习语义分割的注塑制品表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN116934687B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117644625A (zh) * 2024-01-30 2024-03-05 陕西美伦包装有限公司 一种基于机器视觉的智能注塑方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
WO2021188104A1 (en) * 2020-03-18 2021-09-23 Hewlett-Packard Development Company, L.P. Object pose estimation and defect detection
US11170581B1 (en) * 2020-11-12 2021-11-09 Intrinsic Innovation Llc Supervised domain adaptation
CN114677346A (zh) * 2022-03-21 2022-06-28 西安电子科技大学广州研究院 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
WO2022194398A1 (en) * 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Domain adaptive semantic segmentation
CN115439427A (zh) * 2022-08-26 2022-12-06 常州大学 基于级联yolo-gan的晶圆缺陷检测及定位算法
CN116012339A (zh) * 2023-01-09 2023-04-25 广州广芯封装基板有限公司 图像处理方法、电子设备及计算机可读存储介质
WO2023076438A1 (en) * 2021-10-27 2023-05-04 Schlumberger Technology Corporation Adaptive learning for sematic segmentation
KR20230073751A (ko) * 2021-11-19 2023-05-26 한국전자통신연구원 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021188104A1 (en) * 2020-03-18 2021-09-23 Hewlett-Packard Development Company, L.P. Object pose estimation and defect detection
CN111553929A (zh) * 2020-05-12 2020-08-18 重庆邮电大学 基于融合网络的手机屏幕缺陷分割方法、装置及设备
US11170581B1 (en) * 2020-11-12 2021-11-09 Intrinsic Innovation Llc Supervised domain adaptation
WO2022194398A1 (en) * 2021-03-16 2022-09-22 Huawei Technologies Co., Ltd. Domain adaptive semantic segmentation
WO2023076438A1 (en) * 2021-10-27 2023-05-04 Schlumberger Technology Corporation Adaptive learning for sematic segmentation
KR20230073751A (ko) * 2021-11-19 2023-05-26 한국전자통신연구원 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법
CN114677346A (zh) * 2022-03-21 2022-06-28 西安电子科技大学广州研究院 基于记忆信息的端到端的半监督图像表面缺陷的检测方法
CN115439427A (zh) * 2022-08-26 2022-12-06 常州大学 基于级联yolo-gan的晶圆缺陷检测及定位算法
CN116012339A (zh) * 2023-01-09 2023-04-25 广州广芯封装基板有限公司 图像处理方法、电子设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUODONG YI等: "Multidisciplinary design method for product quality based on ResNet50 network", 《33RD EUROPEAN MODELING & SIMULATION SYMPOSIUM》, pages 281 - 288 *
李良福;胡敏;: "基于生成式对抗网络的细小桥梁裂缝分割方法", 激光与光电子学进展, no. 10, pages 102 - 112 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117644625A (zh) * 2024-01-30 2024-03-05 陕西美伦包装有限公司 一种基于机器视觉的智能注塑方法
CN117644625B (zh) * 2024-01-30 2024-04-05 陕西美伦包装有限公司 一种基于机器视觉的智能注塑方法

Also Published As

Publication number Publication date
CN116934687B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN110660052B (zh) 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111402203B (zh) 一种基于卷积神经网络的织物表面缺陷检测方法
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN110111297A (zh) 一种基于迁移学习的注塑制品表面图像缺陷识别方法
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN114581782B (zh) 一种基于由粗到精检测策略的细微缺陷检测方法
CN108765506A (zh) 基于逐层网络二值化的压缩方法
CN116934687B (zh) 基于半监督学习语义分割的注塑制品表面缺陷检测方法
CN113643268B (zh) 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN111798447B (zh) 一种基于Faster RCNN的深度学习塑化材料缺陷检测方法
CN114066820A (zh) 一种基于Swin-Transformer与NAS-FPN的织物疵点检测方法
CN113610778A (zh) 一种基于语义分割的桥梁表面裂纹检测方法与系统
CN111161213A (zh) 一种基于知识图谱的工业产品缺陷图像分类方法
CN108876765A (zh) 工业分拣机器人的目标定位装置和方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN111353396A (zh) 一种基于SCSEOCUnet的混凝土裂缝分割方法
CN110992314A (zh) 一种路面缺陷检测方法、装置及存储介质
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
CN112365511A (zh) 基于重叠区域检索与对齐的点云分割方法
CN115861281A (zh) 一种基于多尺度特征的免锚框表面缺陷检测方法
CN114549834A (zh) 一种半监督混合训练语义分割方法及系统
CN116953006A (zh) 一种铸造材料扫描电镜图像缺陷识别与量化方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、系统及设备
CN117523555A (zh) 一种基于自编码器的飞机零件缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant