CN114820579A - 一种基于语义分割的图像复合缺陷的检测方法及系统 - Google Patents

一种基于语义分割的图像复合缺陷的检测方法及系统 Download PDF

Info

Publication number
CN114820579A
CN114820579A CN202210588414.5A CN202210588414A CN114820579A CN 114820579 A CN114820579 A CN 114820579A CN 202210588414 A CN202210588414 A CN 202210588414A CN 114820579 A CN114820579 A CN 114820579A
Authority
CN
China
Prior art keywords
semantic segmentation
network model
image
image data
segmentation network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210588414.5A
Other languages
English (en)
Inventor
任志刚
黄梓豪
吴宗泽
赖家伦
钟振志
周坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210588414.5A priority Critical patent/CN114820579A/zh
Publication of CN114820579A publication Critical patent/CN114820579A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及屏幕检测技术领域，公开一种基于语义分割的图像复合缺陷的检测方法及系统，包括以下步骤：S1.构建语义分割网络模型；S2.获取第一图像集，将第一图像数据集输入初始化后语义分割网络模型进行预训练；S3.根据需要检测缺陷类型的数量，设置预训练好的语义分割网络模型的输出层的通道数；S4.获取第二图像数据集，将第二图像数据集输入预训练后的语义分割网络模型进行训练，得到具有复合缺陷检测能力的语义分割网络模型；S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型得到缺陷预测图。本发明解决了现有技术存在依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题，且具有效率高、误差小的特点。

Description

一种基于语义分割的图像复合缺陷的检测方法及系统
技术领域
本发明涉及屏幕检测技术领域，更具体的，涉及一种基于语义分割的图像复合缺陷的检测方法及系统。
背景技术
在手机生产领域中，LCD屏幕的用量大，品质要求高，因此，需要对LCD屏幕进行缺陷检测，以排除有缺陷的LCD屏幕。在对LCD屏幕进行检测时，需要同时满足LCD屏幕缺陷检测的快速性和准确性。
现有技术通常采用到深度学习语义分割方法对获取的LCD屏幕图像进行检测。语义分割是计算机视觉中的一个重要分支，主要任务是根据输入的图像，使用对应的类标记输入图像的每个像素。
深度学习在语义分割领域上的应用，体现在采用对图像特征使用卷积层进行上下采样的方法，不依赖于像素块方法，这种方法单个像素感受野固定，在检测速度与准确率难以同时获得较好的水平。语义分割的主要是通过卷积层进行下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别的映射关系，通过上采样根据每个像素对应的高维特征进行像素分类。
LCD屏幕缺陷检测主要面临着手机屏幕存在纹理背景，对图像预处理与缺陷存在与否的判断造成负面影响、LCD屏幕缺陷种类多，每种缺陷的图像特征存在明显差异，难以通过单个算法进行所有缺陷的检测与分类、LCD屏幕的缺陷样品少，缺陷品和合格品的比例严重失调，得到的检测算法泛化能力低，易出现过拟合的问题。
传统的表面缺陷检测算法一般根据缺陷特征信息，人为地设计每个缺陷的识别算法，一般使用图像滤波，形态学操作，图像二值化处理，边缘计算等。传统的表面缺陷检测算法一般可实现调整不同的参数实现能够较快速地识别屏幕缺陷，但是存在每一种具有不同特征地缺陷都需要对其单独地设计识别算法、泛化能力差，对成像要求高，当背景信息改变时需要及时地对算法的参数进行调整以实现最佳的检测效果的缺点。
根据现有的一些用于缺陷检测的语义分割模型，比如采用经典的U-Net模型进行缺陷检测，在面临单个缺陷的情况下能够有效的进行检测，但是当多种缺陷存在时，由于U-Net模型输出是连续的，我们人为地将多种缺陷标记为离散的数值，同一个模型在缺陷边缘与缺陷交叉重叠区域检测效果差，更多地会每个缺陷使用一个U-Net模型。因此采用U-Net模型对多种缺陷检测会导致计算速度慢，占用资源多，对环境地硬件要求高。同时每种缺陷之间的检测网络相互独立，数据集的构成也需要保证每种缺陷数量。
现有技术有一种多层级的智能手机屏幕缺陷检测方法，包括步骤：人工标注图像中的缺陷，然后对前景缺陷图像和背景图像进行分离；利用深度残差网络和特征金字塔网络对数据集进行多尺度缺陷区域特征抽取，得到多尺度特征图像；抽取目标兴趣检测区域。
然而现有技术存在缺陷检测时依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题。因此如何发明一种误差小、效率高、不依赖人为设计的屏幕表面复合缺陷检测方法，是本技术领域亟需解决的问题。
发明内容
本发明为了解决现有技术中依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题，提供了一种基于语义分割的图像复合缺陷的检测方法，其具有效率高、误差小的特点。
为实现上述本发明目的，采用的技术方案如下：
一种基于语义分割的图像复合缺陷的检测方法，包括以下步骤：
S1.构建基于经典DeepLab框架的语义分割网络模型，所述的语义分割网络模型的输出层的通道数设为1，用于检测单种缺陷；
S2.获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集输入初始化后语义分割网络模型进行预训练，得到预训练后的语义分割网络模型；
S3.根据需要检测缺陷类型的数量n，相应的将预训练好的语义分割网络模型的输出层的通道数设置为n；
S4.获取第二图像数据集，所述的第二图像数据集包括若干个第二图像，第二图像的缺陷类型的数量为n，将第二图像数据集输入预训练后的语义分割网络模型进行训练，训练完成后，得到具有复合缺陷检测能力的语义分割网络模型；
S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检测，得到缺陷预测图。
优选的，所述的语义分割网络模型包括通过下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别映射关系的编码器；用于将低维特征与高维特征融合，提升分割边界准确率的解码器。
进一步的，所述的编码器包括对输入的图像数据提取第一特征图的骨干网络、带有空洞卷积的空间金字塔池化模块；所述的空间金字塔池化模块，用于获取与融合不同感受野的信息，将输入的第一特征图提取得到具有多尺度信息的第二特征图。
更进一步的，所述的空间金字塔池化模块包括4个卷积层和1个池化层；其中4个卷积层分别为3×3普通卷积层、稀疏度为6的3×3的空洞卷积层、稀疏度为12的3×3的空洞卷积层、稀疏度为18的3×3的空洞卷积层。
更进一步的，所述的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1×1卷积层、作为输出层的3×3卷积层；
其中所述的1×1卷积层，用于将输入的图像数据、第一特征图、第二特征图三种不同规模的图像转化成相同规模的特征图并进行叠加；
叠加后的特征图通过3×3卷积层输出大小为[输出图像的长，输出图像的宽，缺陷种类数量]的特征图。
更进一步的，在步骤S1中，将基于经典DeepLab框架的语义分割网络模型中卷积核大小为长、宽为3且通道数大于16的卷积替换为深度可分离卷积；
所述的深度可分离卷积具体为：先逐通道对特征图进行3×3卷积，再跨通道进行1×1卷积，实现横向与纵向信息分开卷积；
所述的深度可分离卷积的计算参数量为:HF·WF·DI·(HC·WC+DO)；
其中，HC表示卷积核的长，WC表示卷积核的宽，HF表示特征图的长，WF表示特征图的宽,DI表示深度可分离卷积的输入通道数、DO表示深度可分离卷积的输出通道数。
更进一步的，在步骤S5中，对第二图像数据集进行数据增强后再输入预训练好的语义分割网络模型进行训练，所述的数据增强，具体步骤如下：
B1.将第二图像数据集中的图像随机划分为若干个由4张图像为一组的基础组；
B2.在每个基础组中，随机选取一个中心点作为4张图像的拼接中心；
B3.将每个基础组中的4张图像分别进行拉伸、缩放、裁剪、旋转操作，并分别增加噪声；
B4.将每个基础组中4张图像拼接起来，得到增强数据图；
B5.将若干个增强数据图组合成为增强数据集，由此完成数据增强。
更进一步的，在步骤S5中，将第二图像数据集输入预训练后的语义分割网络模型进行训练，具体如下：
设定迭代训练次数T，其中T为大于50的正整数；
在前50次迭代训练中，冻结语义分割网络模型中的编码器，只对解码器进行训练；
前50次迭代训练结束后，再对语义分割网络模型整体进行迭代训练；
在训练过程中，根据设定的损失函数，计算语义分割网络模型输出的预测图与标注有缺陷的第二图像数据集的误差,并将误差反向传播，更新语义分割网络模型的参数。
更进一步的，在步骤S5中，训练时，通过损失函数反向传播更新模型，所述的损失函数的表达式如下：
Figure BDA0003666745500000041
其中，Loss为损失值，λrecall为召回正则项系数，λclass为组别正则项系数，
Figure BDA0003666745500000042
为训练中语义分割深度学习模型输出的预测图中所有的缺陷区域的叠加，
Figure BDA0003666745500000043
为训练图像中所有的缺陷区域的叠加，
Figure BDA0003666745500000044
表示预测图的第i种缺陷图，
Figure BDA0003666745500000045
表示第二图像数据集中的第i种缺陷图，k为整数常数。
一种基于语义分割的屏幕表面复合缺陷的检测系统，包括用于获取待检测图像数据的图像采集模块；用于检测采集模块获取的待检测的屏幕图像的表面缺陷的语义分割深度学习模块；用于利用共性学习，通过多样样本对语义分割深度学习模块进行训练的训练模块。
本发明的有益效果如下：
通过第一图像数据集对语义分割网络模型进行预训练，第一图像数据集的第一图像的缺陷类型数量为1，再通过第二图像数据集对预训练好的语义分割网络模型进行二次训练，第二图像数据集的第二图像的缺陷类型数量为n，通过不同的数据集对模型进行了两次训练，实现了不同任务之间的“共性学习”，解决了现有技术中依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题，且具有效率高、误差小的特点。
附图说明
图1是本基于语义分割的图像复合缺陷的检测方法的流程图。
图2是实施例1中骨干网络采用的残差模块示意图。
图3是编码器的金字塔模块中的空洞卷积示意图。
图4是数据增强流程示意图。
图5是语义分割深度学习模型的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
如图1所示，一种基于语义分割的图像复合缺陷的检测方法，包括以下步骤：
S1.构建基于经典DeepLab框架的语义分割网络模型，所述的语义分割网络模型的输出层的通道数设为1，用于检测单种缺陷；
S2.获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集输入初始化后语义分割网络模型进行预训练，得到预训练后的语义分割网络模型；
S3.根据需要检测缺陷类型的数量n，相应的将预训练好的语义分割网络模型的输出层的通道数设置为n；
S4.获取第二图像数据集，所述的第二图像数据集包括若干个第二图像，第二图像的缺陷类型的数量为n，将第二图像数据集输入预训练后的语义分割网络模型进行训练，训练完成后，得到具有复合缺陷检测能力的语义分割网络模型；
S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检测，得到缺陷预测图。
如图5所示，在一个具体实施例中，所述的基于语义分割的图像复合缺陷的检测方法，所述的语义分割网络模型包括通过下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别映射关系的编码器；用于将低维特征与高维特征融合，提升分割边界准确率的解码器。
本实施例中，所述图像复合缺陷的检测方法应用于LCD屏幕的复杂表面。
在一个具体实施例中，所述的编码器包括对输入的图像数据提取第一特征图的骨干网络、带有空洞卷积的空间金字塔池化模块；所述的空间金字塔池化模块，用于获取与融合不同感受野的信息，将输入的第一特征图提取得到具有多尺度信息的第二特征图。
在一个具体实施例中，所述的空间金字塔池化模块包括4个卷积层和1个池化层；其中4个卷积层分别为3×3普通卷积层、稀疏度为6的3×3的空洞卷积层、稀疏度为12的3×3的空洞卷积层、稀疏度为18的3×3的空洞卷积层。
在一个具体实施例中，所述的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1×1卷积层、作为输出层的3×3卷积层；
其中所述的1×1卷积层，用于将输入的图像数据、第一特征图、第二特征图三种不同规模的图像转化成相同规模的特征图并进行叠加；
叠加后的特征图通过3×3卷积层输出大小为[输出图像的长，输出图像的宽，缺陷种类数量]的特征图。
本实施例中，解码器主要作用是提升分割边界准确率。解码器中，将编码器中多个子步骤的特征图通过1×1卷积转化成相同规模的特征图，将其叠加到一起后经过一个3×3的卷积输出一个维度信息为一个包含输入图像的长，输入图像的宽，缺陷种类数量]的特征图。经过后续对该特征图处理得到各缺陷对应预测图。
如图2所示，本实施例中，所述的骨干网络采用分类网络ResNet50，ResNet50设有残差学习模块，ResNet50通过残差学习解决了随着网络加深模型性能反而下降的问题，当输入为x时，通过卷积层后为F(x)，将输入通过shortcut连接起来后，使得模块输出为F(x)+x。通过层间残差跳连，引入前方信息，抑制了因层数过深，而导致误差反向传递时所产生地梯度消散现象，实现更有效的特征学习。
如图3所示，本实施例中，可通过金字塔池化模块获取与融合不同感受野的信息，先通过4个卷积层和1个池化层获得不同尺度的信息，然后将多个尺度一样的特征图叠加。其中4个卷积层分别使用的是3×3普通卷积，稀疏度为6的3×3的空洞卷积，稀疏度为12的3×3的空洞卷积，稀疏度为18的3×3的空洞卷积。空洞卷积的稀疏度是当前卷积的每个点之间的间隔，主要控制着感受野的大小，稀疏度越大，感受野越大。通过感受野的提升，当前像素点在输入图片上映射区域提高。
实施例2
如图1所示，一种基于语义分割的图像复合缺陷的检测方法，包括以下步骤：
S1.构建基于经典DeepLab框架的语义分割网络模型，所述的语义分割网络模型的输出层的通道数设为1，用于检测单种缺陷；
S2.获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集输入初始化后语义分割网络模型进行预训练，得到预训练后的语义分割网络模型；
S3.根据需要检测缺陷类型的数量n，相应的将预训练好的语义分割网络模型的输出层的通道数设置为n；
S4.获取第二图像数据集，所述的第二图像数据集包括若干个第二图像，第二图像的缺陷类型的数量为n，将第二图像数据集输入预训练后的语义分割网络模型进行训练，训练完成后，得到具有复合缺陷检测能力的语义分割网络模型；
S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检测，得到缺陷预测图。
如图5所示，在一个具体实施例中，所所述的基于语义分割的图像复合缺陷的检测方法，所述的语义分割网络模型包括通过下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别映射关系的编码器；用于将低维特征与高维特征融合，提升分割边界准确率的解码器。
在一个具体实施例中，所述的编码器包括对输入的图像数据提取第一特征图的骨干网络、带有空洞卷积的空间金字塔池化模块；所述的空间金字塔池化模块，用于获取与融合不同感受野的信息，将输入的第一特征图提取得到具有多尺度信息的第二特征图。
在一个具体实施例中，所述的空间金字塔池化模块包括4个卷积层和1个池化层；其中4个卷积层分别为3×3普通卷积层、稀疏度为6的3×3的空洞卷积层、稀疏度为12的3×3的空洞卷积层、稀疏度为18的3×3的空洞卷积层。
在一个具体实施例中，所述的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1×1卷积层、作为输出层的3×3卷积层；
其中所述的1×1卷积层，用于将输入的图像数据、第一特征图、第二特征图三种不同规模的图像转化成相同规模的特征图并进行叠加；
叠加后的特征图通过3×3卷积层输出大小为[输出图像的长，输出图像的宽，缺陷种类数量]的特征图。
在一个具体实施例中，在步骤S1中，将基于经典DeepLab框架的语义分割网络模型中卷积核大小为长、宽为3且通道数大于16的卷积替换为深度可分离卷积；
所述的深度可分离卷积具体为：先逐通道对特征图进行3×3卷积，再跨通道进行1×1卷积，实现横向与纵向信息分开卷积；
所述的深度可分离卷积的计算参数量为:HF·WF·DI·(HC·WC+DO)；
其中，HC表示卷积核的长，WC表示卷积核的宽，HF表示特征图的长，WF表示特征图的宽,DI表示深度可分离卷积的输入通道数、DO表示深度可分离卷积的输出通道数。
本实施例中，深度可分离卷积通过逐深度卷积再逐点卷积替换了原有的3×3跨通道卷积，实现横向与纵向信息分开卷积。原有卷积核的长宽为HC,WC，特征图的长宽HF,WF,输入、输出通道数分别为DI,DO,正常卷积的计算参数量为HC·WC·HF·WF·DI·DO；而深度可分离卷积的计算参数量为HF·WF·DI·(HC·WC+DO)，此时计算参数量为原有的
Figure BDA0003666745500000081
骨干网络中替换的卷积核大小为3×3，深度为64到256，因此参数量约减少至原有的
Figure BDA0003666745500000082
本实施例中，获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集本实施例的第一图像数据集采用AITEX面料缺陷数据集，具体为：将AITEX面料缺陷数据集中的图像作为训练图像，输入初始化后的语义分割深度学习模型，设定迭代次数，并通过将AITEX面料缺陷数据集中的图像作为训练图像进行初始化后的语义分割深度学习模型的迭代训练。
本实施例中，AITEX面料缺陷数据集中数据量大，得到的模型能够准确的完成图像特征提取，将低维特征与高维特征融合，准确的分割边界。
实施例3
如图1所示，一种基于语义分割的图像复合缺陷的检测方法，包括以下步骤：
S1.构建基于经典DeepLab框架的语义分割网络模型，所述的语义分割网络模型的输出层的通道数设为1，用于检测单种缺陷；
S2.初始化语义分割网络模型；
S3.获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集输入初始化后语义分割网络模型进行预训练，得到预训练后的语义分割网络模型；
S4.根据需要检测缺陷类型的数量n，相应的将预训练好的语义分割网络模型的输出层的通道数设置为n；
S5.获取第二图像数据集，所述的第二图像数据集包括若干个第二图像，第二图像的缺陷类型的数量为n，将第二图像数据集输入预训练后的语义分割网络模型进行训练，训练完成后，得到具有复合缺陷检测能力的语义分割网络模型；
S6.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检测，得到缺陷预测图。
如图5所示，在一个具体实施例中，所所述的基于语义分割的图像复合缺陷的检测方法，所述的语义分割网络模型包括通过下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别映射关系的编码器；用于将低维特征与高维特征融合，提升分割边界准确率的解码器。
在一个具体实施例中，所述的编码器包括对输入的图像数据提取第一特征图的骨干网络、带有空洞卷积的空间金字塔池化模块；所述的空间金字塔池化模块，用于获取与融合不同感受野的信息，将输入的第一特征图提取得到具有多尺度信息的第二特征图。
在一个具体实施例中，所述的空间金字塔池化模块包括4个卷积层和1个池化层；其中4个卷积层分别为3×3普通卷积层、稀疏度为6的3×3的空洞卷积层、稀疏度为12的3×3的空洞卷积层、稀疏度为18的3×3的空洞卷积层。
在一个具体实施例中，所述的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1×1卷积层、作为输出层的3×3卷积层；
其中所述的1×1卷积层，用于将输入的图像数据、第一特征图、第二特征图三种不同规模的图像转化成相同规模的特征图并进行叠加；
叠加后的特征图通过3×3卷积层输出大小为[输出图像的长，输出图像的宽，缺陷种类数量]的特征图。
在一个具体实施例中，在步骤S1中，将基于经典DeepLab框架的语义分割网络模型中卷积核大小为长、宽为3且通道数大于16的卷积替换为深度可分离卷积；
所述的深度可分离卷积具体为：先逐通道对特征图进行3×3卷积，再跨通道进行1×1卷积，实现横向与纵向信息分开卷积；
所述的深度可分离卷积的计算参数量为:HF·WF·DI·(HC·WC+DO)；
其中，HC表示卷积核的长，WC表示卷积核的宽，HF表示特征图的长，WF表示特征图的宽,DI表示深度可分离卷积的输入通道数、DO表示深度可分离卷积的输出通道数。
如图4所示，在一个具体实施例中，在步骤S5中，对第二图像数据集进行数据增强后再输入预训练好的语义分割网络模型进行训练，所述的数据增强，具体步骤如下：
B1.将第二图像数据集中的图像随机划分为若干个由4张图像为一组的基础组；
B2.在每个基础组中，随机选取一个中心点作为4张图像的拼接中心；
B3.将每个基础组中的4张图像分别进行拉伸、缩放、裁剪、旋转操作，并分别增加噪声；
B4.将每个基础组中4张图像拼接起来，得到增强数据图；
B5.将若干个增强数据图组合成为增强数据集，由此完成数据增强。
本实施例中，增强数据的目的为增强训练的数据量，提高模型的泛化能力，增加噪声数据，提升模型在复杂表面背景下的鲁棒性。
在一个具体实施例中，在步骤S5中，将第二图像数据集输入预训练后的语义分割网络模型进行训练，具体如下：
设定迭代训练次数T，其中T为大于50的正整数；
在前50次迭代训练中，冻结语义分割网络模型中的编码器，只对解码器进行训练；
前50次迭代训练结束后，再对语义分割网络模型整体进行迭代训练；
在训练过程中，根据设定的损失函数，计算语义分割网络模型输出的预测图与标注有缺陷的第二图像数据集的误差,并将误差反向传播，更新语义分割网络模型的参数。
本实施例中，将AITEX面料缺陷数据集上进行训练的模型更换输出层后，在第一图像数据集上的新模型后继续训练。为了解决工程问题中的数据集欠缺和分类数多变的问题，通过将新模型在预训练模型的总体结果基础上继续训练，或只对预训练模型的部分参数选择性地重新训练，能够使得模型的初始性能更高、收敛更好。
在一个具体实施例中，在步骤S5中，训练时，通过损失函数反向传播更新模型，所述的损失函数的表达式如下：
Figure BDA0003666745500000111
其中，Loss为损失值，λrecall为召回正则项系数，λclass为组别正则项系数，
Figure BDA0003666745500000112
为训练中语义分割深度学习模型输出的预测图中所有的缺陷区域的叠加，
Figure BDA0003666745500000113
为训练图像中所有的缺陷区域的叠加，
Figure BDA0003666745500000114
表示预测图的第i种缺陷图，
Figure BDA0003666745500000115
表示第二图像数据集中的第i种缺陷图，k为整数常数。
本实施例中，迭代训练中根据所设定的缺陷检测损失函数Loss，计算解码器输出的预测缺陷掩膜图与标注的缺陷标签的检测误差,并将误差反向传播更新模型的参数。损失函数计算可分为缺陷检出率部分与分类准确率部分，通过额外计算缺陷区域在预测与标注中的IOU，保证了语义分割模型的缺陷检出效果。
本实施例中，通过训练好的语义分割深度学习模型检测增强后的待检测的屏幕图像的表面复合缺陷，具体步骤为：
C1.待检测的屏幕图像输入编码器的骨干网络中提取特征；
C2.将提取的特征输入金字塔池化模块中，通过金字塔池化模块的4个卷积层和一个池化层得到5个不同尺度的特征，将不同尺度的特征叠加得到多尺度特征；
C3.将待检测的屏幕图像、多尺度特征、骨干网络提取的特征分别通过解码器的3个1×1卷积层转换为3个相同规模的特征图；
C4.将3个相同规模的特征图叠加后通过解码器的3×3卷积层，得到复合缺陷掩模预测图。
本发明通过第一图像数据集对语义分割网络模型进行预训练，第一图像数据集的第一图像的缺陷类型数量为1，再通过第二图像数据集对预训练好的语义分割网络模型进行二次训练，第二图像数据集的第二图像的缺陷类型数量为n，通过不同的数据集对模型进行了两次训练，实现了不同任务之间的“共性学习”；并且本发明还通过“编码器”“解码器”相互配合实现了高维第维度特征的融合，在编码器中通过骨干网络和金字塔网络实现了多维特征提取，并且通过使用度可分离卷积提高了计算效率，由此实现了通过深度学习模型来进行屏幕表面的复合缺陷的检测，解决了现有技术中缺陷检测时依赖人为设计缺陷识别算法，仅能检测单个缺陷的问题，具有效率高、误差小的特点。
实施例4
一种基于语义分割的屏幕表面复合缺陷的检测系统，包括用于获取待检测图像数据的图像采集模块；用于检测采集模块获取的待检测的屏幕图像的表面缺陷的语义分割深度学习模块；用于利用共性学习，通过多样样本对语义分割深度学习模块进行训练的训练模块。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于语义分割的图像复合缺陷的检测方法，其特征在于：包括以下步骤：
S1.构建基于经典DeepLab框架的语义分割网络模型，所述的语义分割网络模型的输出层的通道数设为1，用于检测单种缺陷；
S2.获取第一图像集，所述的第一图像数据集包含若干个第一图像，所述的第一图像的缺陷类型数量为1，将第一图像数据集输入初始化后语义分割网络模型进行预训练，得到预训练后的语义分割网络模型；
S3.根据需要检测缺陷类型的数量n，相应的将预训练好的语义分割网络模型的输出层的通道数设置为n；
S4.获取第二图像数据集，所述的第二图像数据集包括若干个第二图像，第二图像的缺陷类型的数量为n，将第二图像数据集输入预训练后的语义分割网络模型进行训练，训练完成后，得到具有复合缺陷检测能力的语义分割网络模型；
S5.将待检测图像数据输入具有复合缺陷检测能力的语义分割网络模型进行缺陷检测，得到缺陷预测图。
2.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的语义分割网络模型包括通过下采样从低维特征到高维特征的提取，保留每个像素的位置信息与类别映射关系的编码器；用于将低维特征与高维特征融合，提升分割边界准确率的解码器。
3.根据权利要求2所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的编码器包括对输入的图像数据提取第一特征图的骨干网络、带有空洞卷积的空间金字塔池化模块；所述的空间金字塔池化模块，用于获取与融合不同感受野的信息，将输入的第一特征图提取得到具有多尺度信息的第二特征图。
4.根据权利要求3所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的空间金字塔池化模块包括4个卷积层和1个池化层；其中4个卷积层分别为3×3普通卷积层、稀疏度为6的3×3的空洞卷积层、稀疏度为12的3×3的空洞卷积层、稀疏度为18的3×3的空洞卷积层。
5.根据权利要求3所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：所述的解码器包括用于将多个不同规模的特征图转化为相同规模特征图的1×1卷积层、作为输出层的3×3卷积层；
其中所述的1×1卷积层，用于将输入的图像数据、第一特征图、第二特征图三种不同规模的图像转化成相同规模的特征图并进行叠加；
叠加后的特征图通过3×3卷积层输出大小为[输出图像的长，输出图像的宽，缺陷种类数量]的特征图。
6.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：在步骤S1中，将基于经典DeepLab框架的语义分割网络模型中卷积核大小为长、宽为3且通道数大于16的卷积替换为深度可分离卷积；所述的深度可分离卷积具体为：先逐通道对特征图进行3×3卷积，再跨通道进行1×1卷积，实现横向与纵向信息分开卷积；
所述的深度可分离卷积的计算参数量为:HF·WF·DI·(HC·WC+DO)；
其中，HC表示卷积核的长，WC表示卷积核的宽，HF表示特征图的长，WF表示特征图的宽,DI表示深度可分离卷积的输入通道数、DO表示深度可分离卷积的输出通道数。
7.根据权利要求1所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：在步骤S5中，对第二图像数据集进行数据增强后再输入预训练好的语义分割网络模型进行训练，所述的数据增强，具体步骤如下：
B1.将第二图像数据集中的图像随机划分为若干个由4张图像为一组的基础组；
B2.在每个基础组中，随机选取一个中心点作为4张图像的拼接中心；
B3.将每个基础组中的4张图像分别进行拉伸、缩放、裁剪、旋转操作，并分别增加噪声；
B4.将每个基础组中4张图像拼接起来，得到增强数据图；
B5.将若干个增强数据图组合成为增强数据集，由此完成数据增强。
8.根据权利要求2所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：在步骤S5中，将第二图像数据集输入预训练后的语义分割网络模型进行训练，具体如下：
设定迭代训练次数T，其中T为大于50的正整数；
在前50次迭代训练中，冻结语义分割网络模型中的编码器，只对解码器进行训练；
前50次迭代训练结束后，再对语义分割网络模型整体进行迭代训练；
在训练过程中，根据设定的损失函数，计算语义分割网络模型输出的预测图与标注有缺陷的第二图像数据集的误差,并将误差反向传播，更新语义分割网络模型的参数。
9.根据权利要求8所述的基于语义分割的图像复合缺陷的检测方法，其特征在于：在步骤S5中，训练时，通过损失函数反向传播更新模型，所述的损失函数的表达式如下：
Figure FDA0003666745490000031
其中，Loss为损失值，λrecall为召回正则项系数，λclass为组别正则项系数，
Figure FDA0003666745490000032
为训练中语义分割深度学习模型输出的预测图中所有的缺陷区域的叠加，
Figure FDA0003666745490000033
为训练图像中所有的缺陷区域的叠加，
Figure FDA0003666745490000034
表示预测图的第i种缺陷图，
Figure FDA0003666745490000035
表示第二图像数据集中的第i种缺陷图，k为整数常数。
10.一种基于语义分割的屏幕表面复合缺陷的检测系统，其特征在于：包括用于获取待检测图像数据的图像采集模块；用于检测采集模块获取的待检测的屏幕图像的表面缺陷的语义分割深度学习模块；用于利用共性学习，通过多样样本对语义分割深度学习模块进行训练的训练模块。
CN202210588414.5A 2022-05-27 2022-05-27 一种基于语义分割的图像复合缺陷的检测方法及系统 Pending CN114820579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210588414.5A CN114820579A (zh) 2022-05-27 2022-05-27 一种基于语义分割的图像复合缺陷的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210588414.5A CN114820579A (zh) 2022-05-27 2022-05-27 一种基于语义分割的图像复合缺陷的检测方法及系统

Publications (1)

Publication Number Publication Date
CN114820579A true CN114820579A (zh) 2022-07-29

Family

ID=82518393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210588414.5A Pending CN114820579A (zh) 2022-05-27 2022-05-27 一种基于语义分割的图像复合缺陷的检测方法及系统

Country Status (1)

Country Link
CN (1) CN114820579A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631127A (zh) * 2022-08-15 2023-01-20 无锡东如科技有限公司 一种工业缺陷检测的图像分割方法
CN115861323A (zh) * 2023-02-28 2023-03-28 泉州装备制造研究所 基于精细化分割网络的皮革缺陷检测方法
CN116152807A (zh) * 2023-04-14 2023-05-23 广东工业大学 一种基于U-Net网络的工业缺陷语义分割方法及存储介质
CN116563237A (zh) * 2023-05-06 2023-08-08 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法
CN117007606A (zh) * 2023-08-17 2023-11-07 泓浒(苏州)半导体科技有限公司 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统
CN118052817A (zh) * 2024-04-15 2024-05-17 宁波福至新材料有限公司 引线框架表面缺陷检测方法及系统
CN118247279A (zh) * 2024-05-28 2024-06-25 湘江实验室 一种基于边缘增强的锯齿崩齿缺陷识别方法及装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631127A (zh) * 2022-08-15 2023-01-20 无锡东如科技有限公司 一种工业缺陷检测的图像分割方法
CN115631127B (zh) * 2022-08-15 2023-09-19 无锡东如科技有限公司 一种工业缺陷检测的图像分割方法
CN115861323A (zh) * 2023-02-28 2023-03-28 泉州装备制造研究所 基于精细化分割网络的皮革缺陷检测方法
CN116152807A (zh) * 2023-04-14 2023-05-23 广东工业大学 一种基于U-Net网络的工业缺陷语义分割方法及存储介质
CN116152807B (zh) * 2023-04-14 2023-09-05 广东工业大学 一种基于U-Net网络的工业缺陷语义分割方法及存储介质
CN116563237A (zh) * 2023-05-06 2023-08-08 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法
CN116563237B (zh) * 2023-05-06 2023-10-20 大连工业大学 一种基于深度学习的鸡胴体缺陷高光谱图像检测方法
CN117007606A (zh) * 2023-08-17 2023-11-07 泓浒(苏州)半导体科技有限公司 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统
CN117007606B (zh) * 2023-08-17 2024-03-08 泓浒(苏州)半导体科技有限公司 一种基于晶粒分割网络的晶圆晶粒缺陷检测方法及系统
CN118052817A (zh) * 2024-04-15 2024-05-17 宁波福至新材料有限公司 引线框架表面缺陷检测方法及系统
CN118247279A (zh) * 2024-05-28 2024-06-25 湘江实验室 一种基于边缘增强的锯齿崩齿缺陷识别方法及装置

Similar Documents

Publication Publication Date Title
CN114820579A (zh) 一种基于语义分割的图像复合缺陷的检测方法及系统
CN115049936B (zh) 一种面向高分遥感影像的边界增强型语义分割方法
CN111047551B (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN110738697B (zh) 基于深度学习的单目深度估计方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
Li et al. Multiscale features supported DeepLabV3+ optimization scheme for accurate water semantic segmentation
CN113807355A (zh) 一种基于编解码结构的图像语义分割方法
CN111882620B (zh) 一种基于多尺度信息道路可行驶区域分割方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN114943876A (zh) 一种多级语义融合的云和云影检测方法、设备及存储介质
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN113592026A (zh) 一种基于空洞卷积和级联代价卷的双目视觉立体匹配方法
CN113780132A (zh) 一种基于卷积神经网络的车道线检测方法
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN113392704B (zh) 一种山地道路边线位置检测方法
CN115205672A (zh) 一种基于多尺度区域注意力的遥感建筑物语义分割方法及系统
CN117037119A (zh) 基于改进YOLOv8的道路目标检测方法及系统
CN114565770A (zh) 基于边缘辅助计算和掩模注意力的图像分割方法及系统
CN117557779A (zh) 一种基于yolo的多尺度目标检测方法
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN112861911A (zh) 一种基于深度特征选择融合的rgb-d语义分割方法
CN114758133A (zh) 基于超像素主动学习和半监督学习策略的图像瑕疵分割方法
CN118334365A (zh) 一种新的rgb-d图像显著性目标检测方法
CN117830986A (zh) 自动驾驶视觉联合感知方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination