CN115346091A - 一种Mura缺陷图像数据集的生成方法和生成装置 - Google Patents

一种Mura缺陷图像数据集的生成方法和生成装置 Download PDF

Info

Publication number
CN115346091A
CN115346091A CN202211256617.0A CN202211256617A CN115346091A CN 115346091 A CN115346091 A CN 115346091A CN 202211256617 A CN202211256617 A CN 202211256617A CN 115346091 A CN115346091 A CN 115346091A
Authority
CN
China
Prior art keywords
training
mura defect
sample
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211256617.0A
Other languages
English (en)
Other versions
CN115346091B (zh
Inventor
乐康
张耀
曹保桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Seichitech Technology Co ltd
Original Assignee
Shenzhen Seichitech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Seichitech Technology Co ltd filed Critical Shenzhen Seichitech Technology Co ltd
Priority to CN202211256617.0A priority Critical patent/CN115346091B/zh
Publication of CN115346091A publication Critical patent/CN115346091A/zh
Application granted granted Critical
Publication of CN115346091B publication Critical patent/CN115346091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种Mura缺陷图像数据集的生成方法，用于无需输入，就可生成大量与真实缺陷图像差距小的生成缺陷图像。本申请实施例方法包括：获取训练样本集，所述训练样本集为存在多张相同mura缺陷类型的训练样本图像；建立mura缺陷生成模型，所述mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块；从所述训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；通过所述目标生成模型输出与所述训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。

Description

一种Mura缺陷图像数据集的生成方法和生成装置
技术领域
本申请实施例涉及图像数据处理领域，尤其涉及一种Mura缺陷图像数据集的生成方法和生成装置。
背景技术
近年来，随着经济的发展，人们生活需求日渐提高，使得液晶显示屏的应用范围快速扩大，涉及工业、日常生活使用等，为液晶显示屏提供了很大的发展市场。但与此同时，显示屏图像发生mura缺陷的几率也会增大，因此，为了显示屏的品控，需要对显示屏图像进行缺陷检测。
就目前来说，显示屏的缺陷检测通常为通过人眼观察或通过神经网络模型来进行检测，其中，通过人眼观察的过程具有主观性，准确率不高，同时随着工作时间的延长，检测人员会产生视觉疲劳，导致检测效率降低；而通过神经网络模型进行检测，则是需要通过大量的训练样本供神经网络模型学习缺陷特征，从而训练出Mura缺陷检测的神经网络模型。
对于通过神经网络模型检测Mura缺陷方面，由于深度学习自身的算法特性，需要大量的Mura缺陷图片作为训练数据集供神经网络学习缺陷特征，然而，就线下来说，在工业中产品生产初期能收集到的样本数量十分有限，不能满足训练需要，就线上来说，通过软件编码模拟缺陷图像的像素特征，控制每个像素的值来生成假的缺陷图像，而且，就通过软件编码生成缺陷图像这种方式而言，只是模仿缺陷图片表象特征，人为地生成一些看起来像的Mura缺陷图片，无法使生成的缺陷接近真实缺陷的特征，与真实的缺陷图像易差距大。
发明内容
本申请实施例提供了一种Mura缺陷图像数据集的生成方法和生成装置，用于无需输入，通过mura缺陷生成模型就可生成大量与真实缺陷图像差距小的生成缺陷图像。
本申请从第一方面提供了一种Mura缺陷图像数据集的生成方法，包括：
获取训练样本集，所述训练样本集为存在多张相同mura缺陷类型的训练样本图像；
建立mura缺陷生成模型，所述mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，所述特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，所述图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成；
从所述训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；
通过所述目标生成模型输出与所述训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
可选的，所述从所述训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型，包括：
从所述训练样本集中选取训练样本，将所述训练样本通过所述特征提取部分进行卷积特征提取处理，生成第一样本特征，所述第一样本特征为融合了不同卷积层的特征；
通过多个所述Norm_conv_down模块对所述第一样本特征进行卷积处理，生成第二样本特征；
将所述第二样本特征进行重参数化处理得到隐向量，并通过所述Norm_conv_up模块对所述隐向量进行重构处理，生成第三样本特征；
将所述第三样本特征通过所述图像重构部分进行图像重构，生成并输出第一样本图像，所述第一样本图像为与所述训练样本的mura缺陷类型相同的图像；
计算所述第一样本图像与所述训练样本的对应像素的回归损失值，并根据所述回归损失值更新所述mura缺陷生成模型参数；
重复从所述训练样本集中选取训练样本至更新所述mura缺陷生成模型参数的步骤，生成回归损失变化数据，直至所述回归损失变化数据在预设区间的损失值小于预设阈值时，判断训练次数是否达到预设次数，若是，则确定所述mura缺陷生成模型为目标生成模型，所述回归损失变化数据为每一次输入训练样本训练所述mura缺陷生成模型时统计的损失值数据。
可选的，所述判断所述mura缺陷生成模型的训练次数是否达到预设次数之后，所述生成方法还包括：
若否，则重复从所述训练样本集中选取训练样本至判断所述训练次数是否达到预设次数的步骤。
可选的，所述根据所述回归损失值更新所述mura缺陷生成模型参数，包括：
对所述回归损失值进行反向梯度计算，并根据所述反向梯度计算的结果更新所述mura缺陷生成模型参数。
可选的，所述将所述训练样本通过所述特征提取部分进行卷积特征提取处理，生成第一样本特征，包括：
通过所述平面像素注意力模块对所述训练样本的每个像素分配注意力权重，生成第四样本特征，所述平面像素注意力模块用于增强所述训练样本的图像特征；
将所述第四样本特征输入所述卷积核注意力模块，依次进行卷积处理、特征按通道相加处理、特征通道注意力权重分配、通道叠加处理和DropBlock处理，输出第五样本特征，所述卷积核注意力模块用于对所述训练样本的特征通道进行筛选；
将所述第五样本特征通过所述通道加和混洗模块进行通道叠加和通道混洗处理，并通过所述特征压缩模块进行特征通道压缩和特征提取，生成第一样本特征。
可选的，所述将所述第三样本特征通过所述图像重构部分进行图像重构，生成并输出第一样本图像，包括：
将所述第三样本特征通过所述反卷积模块对输入特征进行特征重构和DropBlock处理，并通过所述通道加和池化模块对输入特征按通道分组，进行特征通道加和、通道降维处理，以融合各个通道的特征信息；
将融合后的特征信息通过所述通道注意力模块进行特征选择处理，并通过所述Conv_out模块进行反卷积处理，生成并输出第一样本图像。
可选的，所述重参数化处理的方式为：
通过变分自动编码器计算所述第二样本特征的低维均值μ和方差值σ2；
从所述第二样本特征的隐变量空间进行空间采样，得到采样的隐向量Z，所述空间采样的采样公式为
Figure 29959DEST_PATH_IMAGE001
，ε表示为采集的变量值。
可选的，所述回归损失值由重建损失值和相对熵组成，所述回归损失值的计算方式如下：
Figure 579889DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
Figure 257995DEST_PATH_IMAGE004
其中，MSE为重建损失值，i为所述mura缺陷生成模型中包含的网络层数，n为隐变量空间维度，yi为所述第一样本图像中第i层的计算输出向量，yi p为所述训练样本对应像素的目标输出向量，μi为第i层输出的低维均值，σi 2为第i层输出的方差值，α和β为损失系数，ELBO为回归损失值。
可选的，所述获取训练样本集之前，所述生成方法还包括：
获取多张相同mura缺陷类型的初始图像；
将所述初始图像进行预处理，将预处理后的图像集合得到训练样本集，所述预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理。
本申请从第二方面提供了一种Mura缺陷图像数据集的生成装置，包括：
第一获取单元，用于获取训练样本集，所述训练样本集为存在多张相同mura缺陷类型的训练样本图像；
初始模型建立单元，用于建立mura缺陷生成模型，所述mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，所述特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，所述图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成；
模型训练单元，用于从所述训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；
数据集生成单元，用于通过所述目标生成模型输出与所述训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
可选的，所述模型训练单元，包括：
第一生成子单元，用于从所述训练样本集中选取训练样本，将所述训练样本通过所述特征提取部分进行卷积特征提取处理，生成第一样本特征，所述第一样本特征为融合了不同卷积层的特征；
第二生成子单元，用于通过多个所述Norm_conv_down模块对所述第一样本特征进行卷积处理，生成第二样本特征；
第三生成子单元，用于将所述第二样本特征进行重参数化处理得到隐向量，并通过所述Norm_conv_up模块对所述隐向量进行重构处理，生成第三样本特征；
第四生成子单元，用于将所述第三样本特征通过所述图像重构部分进行图像重构，生成并输出第一样本图像，所述第一样本图像为与所述训练样本的mura缺陷类型相同的图像；
第一处理子单元，用于计算所述第一样本图像与所述训练样本的对应像素的回归损失值，并根据所述回归损失值更新所述mura缺陷生成模型参数；
第二处理子单元，用于重复从所述训练样本集中选取训练样本至更新所述mura缺陷生成模型参数的步骤，生成回归损失变化数据，直至所述回归损失变化数据在预设区间的损失值小于预设阈值时，判断训练次数是否达到预设次数，当确定所述训练次数达到预设次数时，则确定所述mura缺陷生成模型为目标生成模型，所述回归损失变化数据为每一次输入训练样本训练所述mura缺陷生成模型时统计的损失值数据，还用于当确定所述训练次数未达到预设次数时，重复从所述训练样本集中选取训练样本至判断所述训练次数是否达到预设次数的步骤。
可选的，所述第一处理子单元具体用于计算所述第一样本图像与所述训练样本的对应像素的回归损失值，对所述回归损失值进行反向梯度计算，并根据所述反向梯度计算的结果更新所述mura缺陷生成模型参数。
可选的，所述第一生成子单元，具体用于通过所述平面像素注意力模块对所述训练样本的每个像素分配注意力权重，生成第四样本特征，所述平面像素注意力模块用于增强所述训练样本的图像特征，还用于将所述第四样本特征输入所述卷积核注意力模块，依次进行卷积处理、特征按通道相加处理、特征通道注意力权重分配、通道叠加处理和DropBlock处理，输出第五样本特征，所述卷积核注意力模块用于对所述训练样本的特征通道进行筛选，还用于将所述第五样本特征通过所述通道加和混洗模块进行通道叠加和通道混洗处理，并通过所述特征压缩模块进行特征通道压缩和特征提取，生成第一样本特征。
可选的，所述第四生成子单元，具体用于将所述第三样本特征通过所述反卷积模块对输入特征进行特征重构和DropBlock处理，并通过所述通道加和池化模块对输入特征按通道分组，进行特征通道加和、通道降维处理，以融合各个通道的特征信息，还用于将融合后的特征信息通过所述通道注意力模块进行特征选择处理，并通过所述Conv_out模块进行反卷积处理，生成并输出第一样本图像。
可选的，所述生成装置还包括：
初始图像获取单元，用于获取多张相同mura缺陷类型的初始图像；
图像预处理单元，用于将所述初始图像进行预处理，将预处理后的图像集合得到训练样本集，所述预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理。
从以上技术方案可以看出，本申请实施例具有以下优点：
在本申请中提供生成方法分为训练集获取、完善缺陷特征分布和缺陷数据集生成三个阶段，首先需要获取训练样本集，并构建mura缺陷生成模型，然后将训练样本输入至该生成模型中进行训练，利用深度学习使得mura缺陷图像的分布不断逼近真实缺陷图像的分布，以减小生成缺陷与真实缺陷特征的差距，训练好的mura缺陷生成模型无需输入，即可生成大量mura缺陷图像作为数据集，所生成的mura缺陷图像更贴近真实的缺陷图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的Mura缺陷图像数据集的生成方法一个实施例流程示意图；
图2为本申请提供的mura缺陷生成模型的结构组成示意图；
图3-1及图3-2为本申请提供的Mura缺陷图像数据集的生成方法另一个完整实施例流程示意图；
图4为本申请提供的mura缺陷生成模型的网络层示意图；
图5为本申请提供的mura缺陷生成模型的网络层的误差反向传播示意图；
图6为本申请提供的mura缺陷生成模型的阈值更新示意图；
图7为本申请提供的Mura缺陷图像数据集的生成装置一个实施例结构示意图；
图8为本申请提供的Mura缺陷图像数据集的生成装置另一个实施例结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当……时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
首先先简单描述卷积神经网络隐藏层，卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有Inception模块、残差块等复杂构筑。在常见构筑中，卷积层和池化层为卷积神经网络特有，卷积层中的卷积核包含权重系数，而池化层不包含权重系数，以LeNet-5为例，3类常见构筑在隐含层中的顺序通常为：输入-卷积层-池化层-全连接层-输出。卷积核：卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元。卷积层内每个神经元都与前一层中位置接近的区域的多个神经元相连，区域的大小取决于卷积核的大小，在文献中被称为“感受野”，其含义可类比视觉皮层细胞的感受野。卷积核在工作时，会有规律地扫过输入特征，在感受野内对输入特征做矩阵元素乘法求和并叠加偏差量。
近年来，随着经济的发展，人们生活需求日渐提高，使得液晶显示屏的应用范围快速扩大，涉及工业、日常生活使用等，为液晶显示屏提供了很大的发展市场。但与此同时，显示屏图像发生mura缺陷的几率也会增大，因此，为了显示屏的品控，需要对显示屏图像进行缺陷检测。
就目前来说，显示屏的缺陷检测通常为通过人眼观察或通过神经网络模型来进行检测，其中，通过人眼观察的过程具有主观性，准确率不高，同时随着工作时间的延长，检测人员会产生视觉疲劳，导致检测效率降低；而通过神经网络模型进行检测，则是需要通过大量的训练样本供神经网络模型学习缺陷特征，从而训练出Mura缺陷检测的神经网络模型。
由于深度学习自身的算法特性，需要大量的Mura缺陷图片作为训练数据集供神经网络学习缺陷特征，而这些Mura缺陷图像的获取则成了制约深度学习在图像Mura缺陷检测领域发展应用的一大因素。每一张缺陷图片需要一个Mura缺陷屏幕，而缺陷屏幕的数量本就不是很多，且这些缺陷屏幕都是各个厂家的保密资产，难以得到，因此，为了得到充足的Mura缺陷图像进行训练，目前通常是通过软件编码模拟缺陷图像的像素特征，控制每个像素的值来生成假的缺陷图像，然而，这种生成方式只是模仿缺陷图片表象特征，人为地生成一些看起来像的Mura缺陷图片，无法使生成的缺陷接近真实缺陷的特征，与真实的缺陷图像易差距大。
基于此，本申请公开了一种Mura缺陷图像数据集的生成方法和生成装置，通过训练集获取、完善缺陷特征分布和缺陷数据集生成三个阶段，首先需要获取训练样本集，并构建mura缺陷生成模型，然后将训练样本输入至该生成模型中进行训练，利用深度学习使得Mura缺陷图像的分布不断逼近真实缺陷图像的分布，以实现减小生成缺陷与真实缺陷特征的差距的目的，最后使用训练好的Mura缺陷生成模型来生成Mura缺陷图像数据集，所生成的Mura缺陷图像更贴近真实的缺陷图像，提高了图像Mura缺陷生成的效果。
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请提供的Mura缺陷图像数据集的生成方法，可以应用于终端，还可以应用于服务器上，例如终端可以是智能电脑、平板电脑、智能电视、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。
请参阅图1，如图1所示，本申请提供了Mura缺陷图像数据集的生成方法的一个实施例，包括：
101、获取训练样本集，训练样本集为存在多张相同mura缺陷类型的训练样本图像；
图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。在本申请实施例中，终端首先需要构建用于训练初始的mura缺陷生成模型的训练样本集，用于对mura缺陷生成模型进行训练。训练过程实质为根据需求向mura缺陷生成模型输入足够多的样本，通过一定算法调整模型的结构，使得该mura缺陷生成模型的输出与预期值相符，从而将mura缺陷生成模型训练完成。在本申请实施例中，针对于训练mura缺陷生成模型，需要选取大量含有mura缺陷的图像作为输入训练样本，缺陷类型可如彩斑、污点、线、暗团、凹陷、亮团、涂布不均等。
在本申请实施例中，获取训练样本集的方式可以是通过点屏拍照的方式获得mura缺陷照片，可以通过OpenCV库函数在该无缺陷图像上随机增加各种点线缺陷等，此处不做限定。需要说明的是，训练样本集中的训练样本缺陷类型必须一致，且训练样本图像的mura缺陷类型由具体需求决定，例如，若需要后续训练好的mura缺陷生成模型自动能够生成大量彩斑缺陷的图片，则获取多张彩斑缺陷照片作为训练样本。
102、建立mura缺陷生成模型；
在本申请实施例中，可以构建mura缺陷生成模型，该mura缺陷生成模型最终的训练成果与训练样本集的mura缺陷类型有关，该mura缺陷生成模型用于生成通过对输入图片样本进行特征提取，融合前后层特征信息，从而避免mura缺陷特征的消失，保留下mura缺陷的图片的细节和纹理信息，得到训练样本的高维特征空间后，再使用这些特征进行图像的重构恢复，使得训练好的mura缺陷生成模型具有可以自动大量生成接近真实缺陷的针对性特征图像的效果。
需要说明的是，在使用mura缺陷生成模型时，首先要进行一定的参数设置，以及一定程度的初始训练后，再用于训练上述的训练样本集中的训练样本。
具体的，在本申请实施例中，mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成。该模型的具体结构可如图2所示，特征提取部分至少包含有五组单元，每组单元由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块顺序组成，特征提取部分的最后一组单元分别与两个Norm_conv_down模块衔接，这两个Norm_conv_down模块又与Norm_conv_up模块衔接，图像重构部分包含五组单元和Conv_out模块，每组单元由反卷积模块、通道加和池化模块、通道注意力模块顺序组成，图像重构部分的第一组单元与Norm_conv_up模块衔接，最后一组单元与Conv_out模块衔接。需要说明的是，特征提取部分用于对训练样本的特征进行特征提取，Norm_conv_down模块用于生成特征的隐空间参数，Norm_conv_up模块用于增加输入特征的长宽，图像重构部分用于将处理图像重新恢复成与训练样本同大小的图像。
具体的训练样本在该mura缺陷生成模型中的运作过程如下：首先通过特征提取部分对训练样本进行多层次的特征提取，通过Norm_conv_down模块生成特征的隐空间参数，当该隐空间参数经过处理采样为正态分布值时，再经过Norm_conv_up模块送入图像重构部分中的对应单元，依次通过图像重构部分的所有单元后，最后经过Conv_out模块将特征通道压缩至3通道，至此完成图像的重构生成。
103、从训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；
在本申请实施例中，终端从训练样本集中随机抽取出任意含有mura缺陷的训练样本，输入mura缺陷生成模型进行训练。本申请实施例中，可以采用小批量样本训练卷积神经网络，通过多次迭代，使得mura缺陷生成模型对训练样本进行学习分析，以达到训练效果。
具体的，mura缺陷生成模型可如图2所示的结构，模型训练的过程可例如，当获取到单一的彩斑缺陷样本集后，从训练样本集中任意选取彩斑缺陷图像输入mura缺陷生成模型的特征提取图像中进行多层次的特征提取，具体可为通过平面像素注意力模块给输入样本的每个像素值分配注意力权重；通过卷积核注意力模块使用至少3个不同感受野的卷积核分别对输入样本特征进行卷积操作，再将3个不同感受野的卷积核生成的特征按通道相加，给每一个通道分配注意力权重，然后将3个特征按通道逐像素加和，再和输入特征按通道叠加，再进行DropBlock处理，接着通过通道加和混洗模块如CSA模块对输入特征按通道混洗，再和原输入样本的特征按通道相加，再和原特征按通道叠加，再进行混洗操作，最后通过特征压缩模块对输入特征进行压缩，压缩的方式通常包括特征通道数减少，特征长宽减半等；从特征提取部分输出的特征再分别通过两个Norm_conv_down模块生成平均值和方差作为隐空间参数，再将得到的均值和方差经过重参数化技术采样为正态分布值Z，再经过Norm_conv_up模块送入图像重构部分；图像重构部分将经过处理的彩斑特征的通道数进行减少，并进行正则化处理，接着，将特征通道分组，每组特征按通道进行加和，每组输出一个通道，在进行通道降维操作后，给每个通道分配注意力权重，最后Conv_out将特征通道压缩至3通道，至此完成图像的重构生成并输出该重构图像，将该重构图像与输入前抽取的训练样本的对应像素通过一定算法进行分析，并根据分析结果调整mura缺陷生成模型的结构，直到该mura缺陷生成模型的输出满足精度要求为止，确定mura缺陷生成模型训练完成。
104、通过目标生成模型输出与训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
在本申请实施例中，当终端确定该mura缺陷生成模型的输出满足精度要求时，则可以确定该mura缺陷生成模型训练完成，判断该mura缺陷生成模型的输出是否满足精度要求的方式有多种，例如，可以通过计算第一样本图像与训练样本的对应像素的回归损失值来生成损失值变化数据，根据对该损失值变化数据的分析结果来确定是否满足预设要求等。
需要说明的是，针对于训练mura缺陷生成模型，需要选取大量含有mura缺陷的图像作为输入训练样本，缺陷类型可如彩斑、污点、线、暗团、凹陷、亮团、涂布不均等，训练好后的目标生成模型，无需任何输入，可自动生成并输出与输入mura缺陷生成模型的训练样本缺陷类型相同的mura缺陷图像，由此生成mura缺陷图像数据集。
在本申请实施例中，首先构建出一个包含有特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块的mura缺陷生成模型，在确定了所需要的mura缺陷类型图像之后，获取存在多张所需mura缺陷类型的训练样本图像作为该模型的训练样本集，依次输入至该模型进行训练，直至该模型训练完成。其中，该mura缺陷生成模型包含的特征提取部分用于对输入样本进行特征提取，Norm_conv_down模块用于对提取出的特征进行隐空间参数生成处理，对隐空间参数采样后，Norm_conv_up模块将处理后的训练样本送入图像重构部分，该图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成，处理后的训练样本通过反卷积模块将输入样本的特征进行重构，减少通道数，再进行DropBlock处理，通过通道加和池化模块将输入通道分组，每组特征按通道进行加和，每组输出一个通道，进行通道降维操作，通过通道注意力模块给每个通道分配注意力权重，最后再通过Conv_out模块将特征通道压缩至3通道，生成并输出重构样本图像，当重构样本图像满足要求时，则确定该mura缺陷类型图像训练完成，否则则需要一直重复上述过程进行训练。训练后的mura缺陷生成模型无需输入，就可生成大量与真实缺陷图像差距小的生成缺陷图像。
请参阅图3-1及图3-2，如图3-1及图3-2所示，以终端为执行主体，本申请提供了Mura缺陷图像数据集的生成方法的另一个实施例，包括：
201、获取多张相同mura缺陷类型的初始图像；
202、将初始图像进行预处理，将预处理后的图像集合得到训练样本集；
在本申请实施例中，终端首先需要构建用于训练建立mura缺陷生成模型的训练样本集，用于对建立的mura缺陷生成模型进行训练，而对于获取到的样本图像，在送入神经网络进行训练前，为了便于后期神经网络的运算处理，需要对这些样本图像进行预处理工作，预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理等。
例如，要训练能够生成大量接近真实缺陷的亮团缺陷特征图像的mura缺陷生成模型，则需要先获取显示屏的亮团缺陷图像作为样本，而通过拍照获取的图像除了显示屏屏幕部分之外还包括一些周围背景部分，这部分是图像可能会影响神经网络模型的训练及检测，且多出来的部分会增加神经网络模型训练和测试时的时间成本及算力消耗，因此可以通过图像裁剪的方式去除多余的背景部分，只保留原图中所需要的部分。
在本申请实施例中，由于所构建的训练样本集是用于后续训练mura缺陷生成模型的，而训练mura缺陷生成模型需要用到大量的同mura缺陷类型样本图片，通过从大量样本中学习到的信息特征进行建模。因此，在未有充足时间人力成本来获取图像数据集的情况下，需要通过数据增强方式人为“增加”样本图像，使得生成的图像和原图参数不一致，一定意义上形成了新的样本图像，达到扩充训练样本集的目的，其中，数据增加处理包括对图像进行的旋转、偏移、镜像、裁剪、拉伸等操作。
203、获取训练样本集，训练样本集为存在多张相同mura缺陷类型的训练样本图像；
204、建立mura缺陷生成模型；
205、从训练样本集中选取训练样本，将训练样本通过特征提取部分进行卷积特征提取处理，生成第一样本特征，第一样本特征为融合了不同卷积层的特征；
206、通过多个Norm_conv_down模块对第一样本特征进行卷积处理，生成第二样本特征；
207、将第二样本特征进行重参数化处理得到隐向量，并通过Norm_conv_up模块对隐向量进行重构处理，生成第三样本特征；
208、将第三样本特征通过图像重构部分进行图像重构，生成并输出第一样本图像，第一样本图像为与训练样本的mura缺陷类型相同的图像；
209、计算第一样本图像与训练样本的对应像素的回归损失值，并根据回归损失值更新mura缺陷生成模型参数；
210、重复从训练样本集中选取训练样本至更新mura缺陷生成模型参数的步骤；
211、生成回归损失变化数据，直至回归损失变化数据在预设区间的损失值小于预设阈值时，判断训练次数是否达到预设次数，若是，则执行步骤212，若否，则执行步骤213；
212、确定mura缺陷生成模型为目标生成模型；
213、重复从训练样本集中选取训练样本至判断训练次数是否达到预设次数的步骤；
在本申请实施例中，mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成。
在本申请实施例中，对mura缺陷生成模型进行一次训练的方式为：首先在训练样本集中任意选取训练样本，将训练样本输入至模型中的卷积提取部分进行卷积特征提取后，生成第一样本特征，然后，分别通过两个Norm_conv_down模块生成平均值和方差作为隐空间参数（即生成第二样本特征），该第二样本特征经过重参数化技术采样为正态分布值Z，再经过Norm_conv_up模块送入图像重构部分，图像重构部分包括五组由反卷积模块、通道加和池化模块、通道注意力模块顺序组成的单元和一个Conv_out模块，具体的，可以依次通过每组的反卷积模块如Conv_t模块将输入的图像特征进行重构，减少通道数，并进行DropBlock处理，通过通道加和池化模块如CAP模块（Context-aware attentional pooling模块）将通道进行分组，每组的特征按照通道来进行加和，每组输出一个通道，进行通道降维操作，通过通道注意力模块(Attention模块)给每个通道分配注意力权重。Conv_out将特征通道压缩至3通道，重构生成并输出第一样本图像，接着，计算第一样本图像与输入训练样本的对应像素的回归损失值，并根据该回归损失值更新mura缺陷生成模型参数直至回归损失变化数据在预设区间的损失值小于预设阈值，即代表训练完成。
在本申请实施例中，第二样本特征经过重参数化的方式可以为：通过变分自动编码器计算出第二样本特征的低维均值μ和方差值σ2；从第二样本特征的隐变量空间进行空间采样，得到采样的隐向量Z，以实现间接随机采样，这样就可以进行梯度下降其中，空间采样的采样公式如下：
Figure 285994DEST_PATH_IMAGE001
在空间采样的采样公式中，ε表示为采集的变量值。
需要说明的是，在将训练样本输入至模型中的卷积提取部分进行卷积特征提取的过程中，将平面像素注意力模块如PPA模块作为第一重注意力机制，需要先给输入特征的每个像素分配一个权重，使得mura缺陷生成模型对于图像特征明显的区域更加关注。如输入特征(B，C，H，W)先经过一个BatchNorm-Conv-ReLU进行通道压缩为(B，C*r，H，W)，r<1，其中，B是样本数量，C是通道，即特征数量，H和W是原始图像经过压缩后的高度和宽度；再经过一个BatchNorm-Conv还原成(B，C，H，W)，通过SigMoid函数生成每个像素值的权重，和原输入特征相乘；将卷积核注意力模块如SKConv模块作为第二和第三重注意力机制，分别用于卷积核感受野和特征通道注意力，通过不同感受野卷积核对特征图的不同大小区域分配注意力，通过通道注意力对不同特征通道进行筛选，进一步提高神经网络对输入特征的编码效果。经过卷积核注意力模块处理后得到的特征在通过通道加和混洗模块如CSA模块（CrowSearch Algorithm模块）时，该通道加和混洗模块会对输入的特征使用3种不同大小感受野的卷积核分别进行特征提取，将3个特征按元素相加(B，C，H，W)，再把这个特征进行压缩和全局平均池化(B，C*r，1，1)，再恢复成(B，C，1，1)，然后经过Sofamax和之前的3个卷积输出特征按通道相乘，再按元素相加，再和原输入按通道叠加，最后执行DropBlock操作。
进一步的，在本申请实施例中，mura缺陷生成模型中的特征压缩（FS，FeatureSqueeze）模块使用卷积对上一层输出的特征提取特征信息，并特征压缩长宽。
需要说明的是，由于图像重构部分至少包含五个单元和一个Conv_out模块，每个单元包括一个反卷积模块(Conv_t模块) 、通道加和池化模块(CAP模块)和一个通道注意力模块(Attention模块)，因此，在将第三样本特征通过图像重构部分进行图像重构的过程中，Conv_t将输入特征进行重构，减少通道数，再通过通道加和池化模块将输入通道分组，每组特征按通道进行加和，每组输出一个通道，进行通道降维操作，通道注意力模块给每个通道分配注意力权重，最后，Conv_out模块将特征通道压缩至3通道，完成图像的重构生成，得到第一样本图像。
计算第一样本图像与训练样本的对应像素的回归损失值，重复从训练样本集中选取训练样本至更新mura缺陷生成模型参数的步骤，生成回归损失变化数据，直至回归损失变化数据在预设区间的损失值小于预设阈值时，判断训练次数是否达到预设次数，如果确定训练次数达到了预设次数，则可确定mura缺陷生成模型的训练量已满足，确定mura缺陷生成模型为目标生成模型；如果确定训练次数还未达到预设次数，则可确定mura缺陷生成模型的训练量还不够，需要继续训练。需要说明的是，回归损失值由重建损失值和相对熵组成，回归损失变化数据为每一次输入训练样本训练mura缺陷生成模型时统计的回归损失值数据，该回归损失值的计算方式如下：
Figure 733156DEST_PATH_IMAGE002
Figure 922829DEST_PATH_IMAGE003
Figure 88231DEST_PATH_IMAGE004
其中，MSE为重建损失值，i为所述mura缺陷生成模型中包含的网络层数，n为隐变量空间维度，yi为所述第一样本图像中第i层的计算输出向量，yi p为所述训练样本对应像素的目标输出向量，μi为第i层输出的低维均值，σi 2为第i层输出的方差值，α和β为损失系数，ELBO为回归损失值。
在本申请实施例中，根据回归损失值更新mura缺陷生成模型参数包括但不限于采用小批梯度下降法来更新预训练卷积神经网络模型，其中可采用nesterov代替momentum的SGDM优化器以及Adam优化器。
具体的，小批训练的梯度更新方式的公式如下所示：
Figure DEST_PATH_IMAGE005
n是批量大小，η是学习率。
使用反向梯度求导，如图4所示，图4为一个初始的mura缺陷生成模型网络层的示意图。左侧为第一层，也是输入层，输入层包含两个神经元a和b。中间为第二层，也是隐含层，隐含层包含两个神经元c和d。右侧为第三层，也是输出层，输出层包含e和f，每条线上标的wjk l是层与层之间连接的权重。
wjk l代表第1层第j个神经元，与上一层（l-1）第k个神经元输出相对应的权重。
aj l代表第l层第j个神经元输出。
zj l代表第l层第j个神经元输入。
bj l代表第l层第j个神经元偏置。
W代表权重矩阵，Z代表输入矩阵，A代表输出矩阵，Y代表标准答案。
L代表卷积神经网络模型的层数。
Figure 654341DEST_PATH_IMAGE006
向前传播的方法，即将输入层的信号传输至隐藏层，以隐藏层节点c为例，站在节点c上往后看（输入层的方向），可以看到有两个箭头指向节点c，因此a，b节点的信息将传递给c，同时每个箭头有一定的权重，因此对于c节点来说，输入信号为：
Figure 221589DEST_PATH_IMAGE007
同理，节点d的输入信号为：
Figure 582163DEST_PATH_IMAGE008
由于终端善于做带有循环的任务，因此可以用矩阵相乘来表示：
Figure 234861DEST_PATH_IMAGE009
所以，隐藏层节点经过非线性变换后的输出表示如下：
Figure 620974DEST_PATH_IMAGE010
同理，输出层的输入信号表示为权重矩阵乘以上一层的输出：
Figure 777149DEST_PATH_IMAGE011
同样，输出层节点经过非线性映射后的最终输出表示为：
Figure 574204DEST_PATH_IMAGE012
输入信号在权重矩阵们的帮助下，得到每一层的输出，最终到达输出层。可见，权重矩阵在前向传播信号的过程中扮演着运输兵的作用，起到承上启下的功能。
请参阅图5，图5为一个mura缺陷生成模型网络层的误差反向传播示意图。向后传播的方法，既然梯度下降需要每一层都有明确的误差才能更新参数，所以接下来的重点是如何将输出层的误差反向传播给隐藏层。
其中输出层、隐藏层节点的误差如图5所示，输出层误差已知，接下来对隐藏层第一个节点c作误差分析。还是站在节点c上，不同的是这次是往前看（输出层的方向），可以看到指向c节点的两个粗箭头是从节点e和节点f开始的，因此对于节点c的误差肯定是和输出层的节点e和f有关。输出层的节点e有箭头分别指向了隐藏层的节点c和d，因此，对于隐藏节点e的误差不能被隐藏节点c霸为己有，而是要服从按劳分配的原则（按权重分配），同理节点f的误差也需服从这样的原则，因此对于隐藏层节点c的误差为：
Figure 448619DEST_PATH_IMAGE013
同理，对于隐藏层节点d的误差为：
Figure 887691DEST_PATH_IMAGE014
为了减少工作量，可写成矩阵相乘的形式：
Figure 898372DEST_PATH_IMAGE015
该矩阵比较繁琐，可简化到前向传播的形式，不破坏它们的比例，因此我们可以忽略掉分母部分，所以重新成矩阵形式为：
Figure 131907DEST_PATH_IMAGE016
对于该权重矩阵，其实是前向传播时权重矩阵w的转置，因此简写形式如下：
Figure 493618DEST_PATH_IMAGE017
输出层误差在转置权重矩阵的帮助下，传递到了隐藏层，这样我们就可以利用间接误差来更新与隐藏层相连的权重矩阵。可见，权重矩阵在反向传播的过程中同样扮演着运输兵的作用，只不过这次是搬运的输出误差，而不是输入信号。
接下来需要进行链式求导，上面介绍了输入信息的前向传播与输出误差的后向传播，接下来就根据求得的误差来更新参数，具体请参阅图6，图6为一个初始的神经网络模型网络层的阈值更新示意图。
首先对隐藏层的w11进行参数更新，更新之前需从后往前推导，直到预见w11为止，计算方式如下：
Figure 470802DEST_PATH_IMAGE018
Figure 601569DEST_PATH_IMAGE019
Figure 740426DEST_PATH_IMAGE020
因此误差对w11求偏导如下：
Figure 340166DEST_PATH_IMAGE021
求导得如下公式（所有值已知）：
Figure 589881DEST_PATH_IMAGE022
同理，误差对于w12的偏导如下：
Figure 575155DEST_PATH_IMAGE023
同样，求导得w12的求值公式：
Figure 150493DEST_PATH_IMAGE024
同理，误差对于偏置求偏导如下：
Figure 221217DEST_PATH_IMAGE025
求导得如下公式（所有值已知）：
Figure 540203DEST_PATH_IMAGE026
接着对输入层的w11进行参数更新，更新之前依旧需要执行从后往前推导操作，直到预见第一层的w11为止：
Figure 379983DEST_PATH_IMAGE027
Figure 126222DEST_PATH_IMAGE028
Figure 684242DEST_PATH_IMAGE029
Figure 541340DEST_PATH_IMAGE030
Figure 235626DEST_PATH_IMAGE031
因此误差对输入层的w11求偏导如下：
Figure 152767DEST_PATH_IMAGE032
求导得如下公式：
Figure 198083DEST_PATH_IMAGE033
同理，输入层的其他三个参数按照同样的方法即可求出各自的偏导，此处不做赘述。在每个参数偏导数明确的情况下，带入梯度下降公式如下：
Figure 858872DEST_PATH_IMAGE034
至此，利用链式法则来对每层参数进行更新的任务已经完成。
SGDM动量算法在SGD基础上引入了动量ν充当速度角色，它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数移动平均。动量在物理上定义为质量乘以速度，这里我们假设是单位质量，因此速度m也看作是粒子的动量。
超参数γ∈[0,1)决定了之前梯度的贡献衰减得有多快，当γ=1时，动量算法等价于小批量随机梯度下降。其更新公式为：
Figure 407665DEST_PATH_IMAGE035
Figure 761286DEST_PATH_IMAGE036
其中，mt为实际的参数更新方向，mt-1为上一步的参数更新方向，gt为当前梯度，θt为当前权值，θt-1为上一次的权值。
Nesterov动量与标准动量得区别体现在梯度计算上。Nesterov动量中，梯度计算在施加当前速度之后。
Nesterov是momentum算法得改进算法：Momentum保留了上一时刻的梯度gθt，对其没有进行任何改变，NAG是在梯度更新时做一个矫正。
在动量法中，实际的参数更新方向mt为上一步的参数更新方向mt-1和当前梯度gt的叠加。这样，mt可以被拆分为两步进行，先根据mt-1更新一次得到参数，再用gt进行更新。更新的过程公式如下：
Figure 28319DEST_PATH_IMAGE037
Figure 240601DEST_PATH_IMAGE038
Figure 643901DEST_PATH_IMAGE039
在本申请实施例中，在对mura缺陷生成模型训练的过程中，在更新了mura缺陷生成模型的权重之后，还可以把训练过程中获取到的训练样本集的特征和概率分布进行模型保存，目的是在每一组训练样本的训练次数达标之后，保留一个模型，以使得在后续训练过程中出现泛化、过拟合等问题时，还可以使用原先保存下来的mura缺陷生成模型。
214、通过目标生成模型输出与训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
在本申请实施例中，在对mura缺陷生成模型训练的过程中，在更新了mura缺陷生成模型的权重之后，还可以把训练过程中获取到的训练样本集的特征和概率分布进行模型保存，目的是在每一组训练样本的训练次数达标之后，保留一个模型，以使得在后续训练过程中出现泛化、过拟合等问题时，还可以使用原先保存下来的mura缺陷生成模型。
请参阅图7，如图7所示，本申请提供了Mura缺陷图像数据集的生成装置的一个实施例，包括：
第一获取单元301，用于获取训练样本集，训练样本集为存在多张相同mura缺陷类型的训练样本图像；
初始模型建立单元302，用于建立mura缺陷生成模型，mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成；
模型训练单元303，用于从训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；
数据集生成单元304，用于通过目标生成模型输出与训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
在本申请实施例中，首先通过第一获取单元301获取到由多张相同mura缺陷类型图像构成的训练样本集，然后，通过初始模型建立单元302建立mura缺陷生成模型，该mura缺陷生成模型了包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，其中，特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成；训练样本通过模型训练单元303输入至mura缺陷生成模型进行训练，其训练一次的流程为：平面像素注意力模块会给输入的训练样本特征分配权重，提高对明显样本特征的关注度，卷积核注意力模块则会对通过平面像素注意力模块的样本特征分别使用3种不同大小感受野的卷积核进行特征提取，并将提取出的特征进行相加、特征通道压缩、池化等处理后，输入至通道加和混洗模块增强通道间特征交融并保留原特征信息，接着，特征压缩模块提取通道加和混洗模块输出特征的特征信息，并压缩长宽，压缩后的特征通过图像重构部分的反卷积模块进行重构，减少通道数，再进行DropBlock处理，通过通道加和池化模块、通道注意力模块和Conv_out模块进行通道加和、通道降维以及通道压缩操作。训练好后的mura缺陷生成模型为目标生成模型，数据集生成单元304通过训练好的mura缺陷生成模型来生成大量更贴近真实的缺陷图像Mura缺陷图像作为数据集。
请参阅图8，如图8所示，本申请提供了Mura缺陷图像数据集的生成装置的另一个实施例，包括：
初始图像获取单元401，用于获取多张相同mura缺陷类型的初始图像；
图像预处理单元402，用于将初始图像进行预处理，将预处理后的图像集合得到训练样本集，预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理；
第一获取单元403，用于获取训练样本集，训练样本集为存在多张相同mura缺陷类型的训练样本图像；
初始模型建立单元404，用于建立mura缺陷生成模型，mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成；
模型训练单元405，用于从训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；
数据集生成单元406，用于通过目标生成模型输出与训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
在本申请实施例中，模型训练单元405，包括：
第一生成子单元4051，用于从训练样本集中选取训练样本，将训练样本通过特征提取部分进行卷积特征提取处理，生成第一样本特征，第一样本特征为融合了不同卷积层的特征；
第二生成子单元4052，用于通过多个Norm_conv_down模块对所述第一样本特征进行卷积处理，生成第二样本特征；
第三生成子单元4053，用于将第二样本特征进行重参数化处理得到隐向量，并通过Norm_conv_up模块对隐向量进行重构处理，生成第三样本特征；
第四生成子单元4054，用于将第三样本特征通过图像重构部分进行图像重构，生成并输出第一样本图像，第一样本图像为与训练样本的mura缺陷类型相同的图像；
第一处理子单元4055，用于计算第一样本图像与训练样本的对应像素的回归损失值，并根据回归损失值更新mura缺陷生成模型参数；
第二处理子单元4056，用于重复从训练样本集中选取训练样本至更新mura缺陷生成模型参数的步骤，生成回归损失变化数据，直至回归损失变化数据在预设区间的损失值小于预设阈值时，判断训练次数是否达到预设次数，当确定训练次数达到预设次数时，则确定mura缺陷生成模型为目标生成模型，回归损失变化数据为每一次输入训练样本训练mura缺陷生成模型时统计的损失值数据，还用于当确定训练次数未达到预设次数时，重复从训练样本集中选取训练样本至判断训练次数是否达到预设次数的步骤。
在本申请实施例中，第一处理子单元4055具体用于计算第一样本图像与训练样本的对应像素的回归损失值，对回归损失值进行反向梯度计算，并根据反向梯度计算的结果更新mura缺陷生成模型参数。
在本申请实施例中，第一生成子单元4051，具体用于通过平面像素注意力模块对训练样本的每个像素分配注意力权重，生成第四样本特征，平面像素注意力模块用于增强训练样本的图像特征，还用于将第四样本特征输入卷积核注意力模块，依次进行卷积处理、特征按通道相加处理、特征通道注意力权重分配、通道叠加处理和DropBlock处理，输出第五样本特征，卷积核注意力模块用于对训练样本的特征通道进行筛选，还用于将第五样本特征通过通道加和混洗模块进行通道叠加和通道混洗处理，并通过特征压缩模块进行特征通道压缩和特征提取，生成第一样本特征。
在本申请实施例中，第四生成子单元4054，具体用于将第三样本特征通过反卷积模块对输入特征进行特征重构和DropBlock处理，并通过通道加和池化模块对输入特征按通道分组，进行特征通道加和、通道降维处理，以融合各个通道的特征信息，还用于将融合后的特征信息通过通道注意力模块进行特征选择处理，并通过Conv_out模块进行反卷积处理，生成并输出第一样本图像。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种Mura缺陷图像数据集的生成方法，其特征在于，包括：
获取训练样本集，所述训练样本集为存在多张相同mura缺陷类型的训练样本图像；
建立mura缺陷生成模型，所述mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，所述特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，所述图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成；
从所述训练样本集中依次选取训练样本输入所述mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；
通过所述目标生成模型输出与所述训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
2.根据权利要求1所述的生成方法，其特征在于，所述从所述训练样本集中依次选取训练样本输入所述mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型，包括：
从所述训练样本集中选取训练样本，将所述训练样本通过所述特征提取部分进行卷积特征提取处理，生成第一样本特征，所述第一样本特征为融合了不同卷积层的特征；
通过多个所述Norm_conv_down模块对所述第一样本特征进行卷积处理，生成第二样本特征；
将所述第二样本特征进行重参数化处理得到隐向量，并通过所述Norm_conv_up模块对所述隐向量进行重构处理，生成第三样本特征；
将所述第三样本特征通过所述图像重构部分进行图像重构，生成并输出第一样本图像，所述第一样本图像为与所述训练样本的mura缺陷类型相同的图像；
计算所述第一样本图像与所述训练样本的对应像素的回归损失值，并根据所述回归损失值更新所述mura缺陷生成模型参数；
重复从所述训练样本集中选取训练样本至更新所述mura缺陷生成模型参数的步骤，生成回归损失变化数据，直至所述回归损失变化数据在预设区间的损失值小于预设阈值时，判断训练次数是否达到预设次数，若是，则确定所述mura缺陷生成模型为目标生成模型，所述回归损失变化数据为每一次输入训练样本训练所述mura缺陷生成模型时统计的损失值数据。
3.根据权利要求2所述的生成方法，其特征在于，所述判断所述mura缺陷生成模型的训练次数是否达到预设次数之后，所述生成方法还包括：
若否，则重复从所述训练样本集中选取训练样本至判断所述训练次数是否达到预设次数的步骤。
4.根据权利要求2所述的生成方法，其特征在于，所述根据所述回归损失值更新所述mura缺陷生成模型参数，包括：
对所述回归损失值进行反向梯度计算，并根据所述反向梯度计算的结果更新所述mura缺陷生成模型参数。
5.根据权利要求2所述的生成方法，其特征在于，所述将所述训练样本通过所述特征提取部分进行卷积特征提取处理，生成第一样本特征，包括：
通过所述平面像素注意力模块对所述训练样本的每个像素分配注意力权重，生成第四样本特征，所述平面像素注意力模块用于增强所述训练样本的图像特征；
将所述第四样本特征输入所述卷积核注意力模块，依次进行卷积处理、特征按通道相加处理、特征通道注意力权重分配、通道叠加处理和DropBlock处理，输出第五样本特征，所述卷积核注意力模块用于对所述训练样本的特征通道进行筛选；
将所述第五样本特征通过所述通道加和混洗模块进行通道叠加和通道混洗处理，并通过所述特征压缩模块进行特征通道压缩和特征提取，生成第一样本特征。
6.根据权利要求2所述的生成方法，其特征在于，所述将所述第三样本特征通过所述图像重构部分进行图像重构，生成并输出第一样本图像，包括：
将所述第三样本特征通过所述反卷积模块对输入特征进行特征重构和DropBlock处理，并通过所述通道加和池化模块对输入特征按通道分组，进行特征通道加和、通道降维处理，以融合各个通道的特征信息；
将融合后的特征信息通过所述通道注意力模块进行特征选择处理，并通过所述Conv_out模块进行反卷积处理，生成并输出第一样本图像。
7.根据权利要求2所述的生成方法，其特征在于，所述重参数化处理的方式为：
通过变分自动编码器计算所述第二样本特征的低维均值μ和方差值σ2；
从所述第二样本特征的隐变量空间进行空间采样，得到采样的隐向量Z，所述空间采样的采样公式为
Figure 401885DEST_PATH_IMAGE001
，ε表示为采集的变量值。
8.根据权利要求7所述的生成方法，其特征在于，所述回归损失值由重建损失值和相对熵组成，所述回归损失值的计算方式如下：
Figure 780914DEST_PATH_IMAGE002
Figure 706144DEST_PATH_IMAGE003
Figure 196032DEST_PATH_IMAGE004
其中，MSE为重建损失值，i为所述mura缺陷生成模型中包含的网络层数，n为隐变量空间维度，yi为所述第一样本图像中第i层的计算输出向量，yi p为所述训练样本对应像素的目标输出向量，μi为第i层输出的低维均值，σi 2为第i层输出的方差值，α和β为损失系数，ELBO为回归损失值。
9.根据权利要求1至8任一项所述的生成方法，其特征在于，所述获取训练样本集之前，所述生成方法还包括：
获取多张相同mura缺陷类型的初始图像；
将所述初始图像进行预处理，将预处理后的图像集合得到训练样本集，所述预处理包括图像的裁剪处理、图像间的对齐矫正以及图像的数据增强处理。
10.一种Mura缺陷图像数据集的生成装置，其特征在于，包括：
第一获取单元，用于获取训练样本集，所述训练样本集为存在多张相同mura缺陷类型的训练样本图像；
初始模型建立单元，用于建立mura缺陷生成模型，所述mura缺陷生成模型包含特征提取部分、图像重构部分、多个Norm_conv_down模块和Norm_conv_up模块，所述特征提取部分由平面像素注意力模块、卷积核注意力模块、通道加和混洗模块和特征压缩模块组成，所述图像重构部分由反卷积模块、通道加和池化模块、通道注意力模块和Conv_out模块组成；
模型训练单元，用于从所述训练样本集中依次选取训练样本输入mura缺陷生成模型进行训练，确定训练好的mura缺陷生成模型为目标生成模型；
数据集生成单元，用于通过所述目标生成模型输出与所述训练样本mura缺陷类型相同的图像，以生成mura缺陷图像数据集。
CN202211256617.0A 2022-10-14 2022-10-14 一种Mura缺陷图像数据集的生成方法和生成装置 Active CN115346091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211256617.0A CN115346091B (zh) 2022-10-14 2022-10-14 一种Mura缺陷图像数据集的生成方法和生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211256617.0A CN115346091B (zh) 2022-10-14 2022-10-14 一种Mura缺陷图像数据集的生成方法和生成装置

Publications (2)

Publication Number Publication Date
CN115346091A true CN115346091A (zh) 2022-11-15
CN115346091B CN115346091B (zh) 2023-01-31

Family

ID=83957021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211256617.0A Active CN115346091B (zh) 2022-10-14 2022-10-14 一种Mura缺陷图像数据集的生成方法和生成装置

Country Status (1)

Country Link
CN (1) CN115346091B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619347A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于机器学习的图像生成方法及其方法
CN113272857A (zh) * 2019-05-17 2021-08-17 乐人株式会社 缺陷图像生成装置及方法
CN114067168A (zh) * 2021-10-14 2022-02-18 河南大学 基于改进的变分自编码器网络的布匹缺陷图像生成系统及方法
CN114611573A (zh) * 2022-01-28 2022-06-10 西安理工大学 基于变分自编码器的锂电池缺失观测数据填充方法
WO2022121531A1 (zh) * 2020-12-09 2022-06-16 歌尔股份有限公司 一种产品缺陷检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113272857A (zh) * 2019-05-17 2021-08-17 乐人株式会社 缺陷图像生成装置及方法
CN110619347A (zh) * 2019-07-31 2019-12-27 广东工业大学 一种基于机器学习的图像生成方法及其方法
WO2022121531A1 (zh) * 2020-12-09 2022-06-16 歌尔股份有限公司 一种产品缺陷检测方法和装置
CN114067168A (zh) * 2021-10-14 2022-02-18 河南大学 基于改进的变分自编码器网络的布匹缺陷图像生成系统及方法
CN114611573A (zh) * 2022-01-28 2022-06-10 西安理工大学 基于变分自编码器的锂电池缺失观测数据填充方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DIEDERIK ET AL: "Auto-Encoding Variational Bayes", 《ARXIV:1312.6114V10 》 *
周家洛: "基于变分自编码器的图像生成算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116168259A (zh) * 2023-04-26 2023-05-26 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类算法
CN116168259B (zh) * 2023-04-26 2023-08-08 厦门微图软件科技有限公司 一种应用于oled点灯系统的自动缺陷分类方法

Also Published As

Publication number Publication date
CN115346091B (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
Oh et al. Crowd counting with decomposed uncertainty
CN106683048B (zh) 一种图像超分辨率方法及设备
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN110929637B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
CN111861894A (zh) 基于生成式对抗网络的图像去运动模糊方法
CN112818764A (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN111476806A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115393231B (zh) 一种缺陷图像的生成方法、装置、电子设备和存储介质
CN114219719A (zh) 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN108765540B (zh) 一种基于图像与集成学习的重光照方法
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN114565594A (zh) 基于软掩膜对比损失的图像异常检测方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN113256733B (zh) 基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
WO2022093475A1 (en) Human characteristic normalization with an autoencoder
CN117058079A (zh) 基于改进ResNet模型的甲状腺显像图像自动诊断方法
CN117422619A (zh) 图像重建模型的训练方法、图像重建方法、装置及设备
CN110210574A (zh) 合成孔径雷达图像解译方法、目标识别装置及设备
CN116188259A (zh) 一种基于压缩感知和生成对抗的鱼类图像生成方法
CN112907692B (zh) 一种基于sfrc-gan的从素描到人脸重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant