CN113344903A - 一种基于变分自编码器的玻璃瑕疵检测方法 - Google Patents
一种基于变分自编码器的玻璃瑕疵检测方法 Download PDFInfo
- Publication number
- CN113344903A CN113344903A CN202110716109.5A CN202110716109A CN113344903A CN 113344903 A CN113344903 A CN 113344903A CN 202110716109 A CN202110716109 A CN 202110716109A CN 113344903 A CN113344903 A CN 113344903A
- Authority
- CN
- China
- Prior art keywords
- image
- encoder
- vae
- glass
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 75
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 230000002950 deficient Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 29
- 238000009826 distribution Methods 0.000 claims description 26
- 230000007547 defect Effects 0.000 claims description 18
- 210000002569 neuron Anatomy 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012770 industrial material Substances 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于变分自编码器的玻璃瑕疵检测方法，属于玻璃瑕疵检测技术领域。所述方法通过VAE编码器对玻璃无瑕疵样本进行建模，可以对随机样本进行重构，得到与无瑕疵样本接近的重构图像。检测时，将有瑕疵的玻璃图像输入训练好的VAE编码解码网络生成与无瑕疵样本接近的重构图，再通过比对重构图与原图像间的差异区域确定差异的像素点，即瑕疵区域。对于得到的瑕疵区域会有噪声的干扰，本发明通过投影法与MAD方法结合的方式减少噪声干扰，对于VAE模型生成过程中存在的噪声，通过投影法和MAD方法结合将非目标区域去除，提升分割准确率。
Description
技术领域
本发明涉及一种基于变分自编码器的玻璃瑕疵检测方法，属于玻璃瑕疵检测技术领域。
背景技术
玻璃制品作为一种常见的工业材料，在生产加工过程中会出现多种情况的瑕疵，如气泡、划痕、脏污、碎裂、边缘凹凸及毛边等缺陷，这些缺陷对于玻璃制品的性能和美观造成了影响。因此需要在玻璃生产过程设定检测机制。
目前大部分方法采用人工或计算机视觉的方式进行玻璃瑕疵检测。人工检测的方式费时费力，不符合工业智能化的发展趋势；而在计算机视觉领域，瑕疵检测的方法通常可分为两类。第一类是采用传统特征提取的方法，针对指定类别的瑕疵，可以通过人为设定不同的算子提取特征，然后进行检测，但此类方法特征提取算子过于依赖于人的主观经验，而且在玻璃生产过程中也无法预测所产生的瑕疵的类型。第二类是基于深度学习的方法，利用卷积神经网络自动提取瑕疵的特征，这些特征相比于传统方法提取的特征有更好的通用性和可迁移性，但这种特征提取主要以数据驱动的方式学习，获得标注样本需要耗费大量的人力。
综上，可以看出进行人工检测的方式显然不能满足目前对玻璃瑕疵检测的要求。而基于传统特征提取的方式和基于深度学习的检测方法在玻璃瑕疵检测中都存在着一些问题。其中，基于传统特征提取的检测的方式，特征提取算子过于依赖于人的主观经验，这种方法仅针对有限类别的瑕疵检测有效。随着深度技术的普及，通过人工标注样本的方式让基于深度学习的方法可以准确地检测出不同种类的瑕疵，但这是一种训练成本较高的方法，需要获取不同类别的大量的瑕疵数据进行训练，这在实际问题中往往是困难的，如果缺乏足够异常数据的信息会影响模型的泛化能力，不能满足检测复杂多变的玻璃瑕疵类型的要求。
发明内容
为了解决上述问题，本发明提供了一种基于变分自编码器的玻璃瑕疵检测方法，所述方法包括：
获取待检测的玻璃制品的灰度图像；
将待检测的玻璃制品的灰度图像输入训练好的VAE重构模型获得重构图像；
将重构图像与原测试图像做像素对比，找到有差异的区域，得到差异分割图；
使用投影法和MAD方法去除所述差异分割图中存在的噪点，得到最终分割图；
根据最终分割图中是否存在瑕疵像素确定待检测的玻璃制品是否存在瑕疵。
可选的，所述VAE重构模型包括编码器和解码器两部分；VAE重构模型的编码器将灰度图像编码为隐变量Z，解码器根据隐变量Z重构得到与灰度图像相似的重构图像；
所述编码器由三层神经网络组成，输入层有16384个神经元，中间层有400个神经元，输出层由两个并行的全连接神经网络组成；输出层的两个并行的全连接神经网络根据输入层输入的待检测的玻璃制品的灰度图像，一个输出20维的均值特征向量，另一个输出20维的方差特征向量；
所述解码网络由两层神经网络组成，第一层有400个神经元，第二层为16384个神经元，最终输出分割二值图像，即与灰度图像相似的重构图像。
可选的，所述编码器将灰度图像编码为隐变量Z服从d维高斯分布：
其中，该分布均值为μz，方差为
I是由N(0,1)分布中采样得到特征矩阵，隐变量Z表示为：
每个隐变量的均值μz和标准差
μz＝f1(xi；Wμ) (3)
σz＝f2(xi；Wσ) (4)
其中，xi表示灰度图像；Wμ表示编码器的输出层中输出均值特征向量的全连接神经网络的可学习权重；Wσ表示编码器的输出层中输出方差特征向量的全连接神经网络的可学习权重；f1表示输出层中输出均值特征向量的全连接神经网络的Sigmoid非线性激活函数，f2表示编码器的输出层中输出方差特征向量的全连接神经网络的Sigmoid非线性激活函数；
解码器通过从隐变量Z中采样经由解码网络生成重构图像
其中，zi表示隐变量Z的第i维的特征，Wγ表示解码器神经网络的可学习权重；g表示解码器神经网络的的Sigmoid非线性激活函数。
可选的，所述方法还包括训练VAE重构模型；训练过程中，定义VAE重构模型总的损失函数为：
LT＝LD+LKL (6)
其中LT为总的损失函数，LD为重构损失，LKL为用于训练VAE重构模型的样本数据分布与标准正态分布的KL散度；其中LD重构损失为重构图像与输入的灰度图像的均方误差损失：
用于训练VAE重构模型的样本数据分布与标准正态分布的KL散度LKL为：
其中d是隐变量Z的维度，μ(j)和σ(j)分别表示高斯分布的均值向量和方差向量的第j个分量；利用反向传播算法最小化损失函数完成训练。
可选的，所述用于训练VAE重构模型的样本数据为玻璃制品的无瑕疵的图像数据；训练之前，对样本数据进行随机翻转、随机旋转、随机明暗变化进行扩充处理。
可选的，所述使用投影法和MAD方法去除所述差异分割图中存在的噪点，得到最终分割图，包括：
使用投影法将差异分割图中瑕疵区域的像素分别投影到x和y方向并统计像素值，利用MAD方法找到离群值；MAD的计算方法如下:
Xk'为调整后的值，参数Xm是所有元素的中值；biasm＝|Xk-Xm|是所有元素与中位数之间的绝对偏差的中位数；参数MAD是绝对偏差的中位数，MAD＝biasm；参数λ是调节变量。
当x方向或y方向的像素投影值不在[Xm-λMAD,Xm+λMAD]区间时，将该像素点判定为噪点，分别将分割图中x方向和y方向噪点以外的点去除，得到去除噪点干扰后的最终分割图。
可选的，训练过程中，调节变量λ设为3。
可选的，训练过程中，所述用于训练VAE重构模型的样本数据为128*128像素的灰度图像。
本申请还提供一种上述基于变分自编码器的玻璃瑕疵检测方法在玻璃生产技术领域中的应用方法，所述方法采用上述方法检测所生产出的玻璃是否存在瑕疵。
本发明有益效果是：
通过利用变分自编码器在无监督的条件下实现对玻璃制品多种瑕疵的检测，变分自编码器的本质是生成模型，通过VAE编码器对玻璃无瑕疵样本进行建模，可以对随机样本进行重构，得到与无瑕疵样本接近的重构图像。检测时，有瑕疵的玻璃图像输入训练好的VAE编码解码网络可以生成与无瑕疵样本接近的重构图，再通过比对重构图与原图像间的差异区域确定差异的像素点，即瑕疵区域。对于得到的瑕疵区域会有噪声的干扰，本发明通过投影法与MAD方法结合的方式减少噪声干扰，对于VAE模型生成过程中存在的噪声，通过投影法和MAD方法结合将非目标区域去除，提升分割准确率。本申请方法通过采用一种无监督的学习方式检测瑕疵，无需对瑕疵样品进行标注训练，满足实际工业生产中的需要。而且所生成的模型具备一定的鲁棒性，可以检测出多种玻璃瑕疵类型。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于变分自编码器的玻璃瑕疵检测方法的流程图。
图2为本发明实施例中VAE方法的原理图。
图3为本发明用于VAE训练的无瑕疵玻璃样品图。
图4为本发明中测试样品的解码重构图。
图5为VAE解码重构图与测试图像的差异分割图。
图6为去除背景干扰后的分割结果图。
图7为不同玻璃瑕疵类型的分割结果。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一：
本实施例提供一种基于变分自编码器的玻璃瑕疵检测方法，所述方法包括：
获取待检测的玻璃制品的灰度图像；
将待检测的玻璃制品的灰度图像输入训练好的VAE重构模型获得重构图像；
将重构图像与原测试图像做像素对比，找到有差异的区域，得到差异分割图；
使用投影法和MAD方法去除所述差异分割图中存在的噪点，得到最终分割图；
根据最终分割图中是否存在瑕疵像素确定待检测的玻璃制品是否存在瑕疵。
所述VAE重构模型包括编码器和解码器两部分；VAE重构模型的编码器将灰度图像编码为隐变量Z，解码器根据隐变量Z重构得到与灰度图像相似的重构图像；
所述编码器由三层神经网络组成，输入层有16384个神经元，中间层有400个神经元，输出层由两个并行的全连接神经网络组成；输出层的两个并行的全连接神经网络根据输入层输入的待检测的玻璃制品的灰度图像，一个输出20维的均值特征向量，另一个输出20维的方差特征向量；
所述解码网络由两层神经网络组成，第一层有400个神经元，第二层为16384个神经元，最终输出分割二值图像，即与灰度图像相似的重构图像。
实施例二：
本实施例提供一种基于变分自编码器的玻璃瑕疵检测方法，参见图1，所述方法包括：
步骤1：图像数据集划分：对17000张采集的128*128像素玻璃制品灰度图像划分为训练数据集和测试数据集。其中，训练数据集使用1000张无瑕疵的图像数据，测试数据集中包含无瑕疵图像数据和多种有瑕疵图像数据16000张。
步骤2：训练基于VAE的重构模型，利用反向传播算法最小化由重构误差和分布间的KL散度组成的损失函数完成训练，得到VAE模型并保存。为了增加模型的泛化能力，这里对训练数据使用了数据增强的方法。
进一步的，在步骤2中使用的VAE模型具体为：
变分自编码器包括编码器和解码器两部分。编码器通过神经网络将图像编码为隐变量Z，该变量服从高斯分布，高斯分布产生两个向量：一个是均值向量，另一个是标准差向量。Z服从d维高斯分布：
其中，该分布均值为μz，方差为
I是由N(0,1)分布中采样得到特征矩阵，隐变量Z表示为：
解码器是将隐变量Z重构成与原始图像相似的新样本。结构上，变分自编码器的编码网络的输出层由两个并行的全连接神经网络组成，网络通过学习得到每个隐变量的均值μz和标准差
μz＝f1(xi；Wμ) (3)
σz＝f2(xi；Wσ) (4)
其中，xi表示灰度图像；Wμ表示编码器的输出层中输出均值特征向量的全连接神经网络的可学习权重；Wσ表示编码器的输出层中输出方差特征向量的全连接神经网络的可学习权重；f1表示输出层中输出均值特征向量的全连接神经网络的Sigmoid非线性激活函数，f2表示编码器的输出层中输出方差特征向量的全连接神经网络的Sigmoid非线性激活函数。
解码器通过从隐变量Z中采样经由解码网络生成重构图像：
其中，zi表示隐变量Z的第i维的特征，Wγ表示解码器神经网络的可学习权重；g表示解码器神经网络的的Sigmoid非线性激活函数。
定义总的损失函数为：
LT＝LD+LKL (6)
其中LT为总的损失函数，LD为重构损失，LKL为样本数据分布与标准正态分布的KL散度。其中LD重构损失为重构样本与原样本像素的均方误差损失：
其中LKL为样本数据分布与标准正态分布的KL散度：
其中d是隐变量Z的维度，μ(j)和σ(j)分别表示高斯分布的均值向量和方差向量的第j个分量；利用反向传播算法最小化损失函数完成训练。
在步骤2中使用的编码网络由三层神经网络组成，输入图像为128*128单通道灰度图像，即输入层有16384个神经元，中间层有400个神经元，输出层由两个并行的全连接神经网络组成，一个输出20维的均值特征向量，另一个输出20维的方差特征向量。解码网络由两层神经网络组成，第一层有400个神经元，第二层为16384个神经元，最终输出128*128的分割二值图像，VAE原理图如图2所示。
在步骤2中使用数据增强的方法具体为：为了增加模型的泛化性能，这里对训练数据使用了随机翻转，随机旋转，随机明暗变化等变换方法，等同于对训练数据做了扩充处理。
步骤3：使用VAE模型对测试数据进行推理，得到重构图像。
在模型推理阶段，测试图像通过训练好的VAE模型可以得到重构图像，所获得的重构图像和原测试图像如图3、图4所示。
步骤4：将重构图像与原测试图像做像素对比，找到有差异的区域，得到差异分割图如图5所示。
步骤5：对差异分割图中存在的噪点，使用投影法和MAD(Median AbsoluteDeviation)方法去除噪点的干扰。
投影法将分割图中瑕疵区域的像素分别投影到x和y方向并统计像素值，利用MAD方法找到离群值(即噪点)，对非瑕疵区域的噪点进行剔除，得到最终分割图。若最终分割图中无瑕疵像素则判定原图像为无瑕疵类别。
在步骤5中使用的投影法并利用MAD选取阈值进行噪点剔除的过程具体为：对于得到的分割二值图像，对其像素点分别计算x方向和y方向的像素统计图，分别使用MAD方法得到其离群点，在统计学中，MAD是单变量数值数据样本偏差的稳健度量。该方法是通过发现某一元素与中值之间的偏差是否在合理范围内来确定每个元素是否为离群点。MAD的计算方法如下:
Xk'为调整后的值，参数Xm是所有元素的中值。biasm＝|Xk-Xm|是所有元素与中位数之间的绝对偏差的中位数。参数MAD是绝对偏差的中位数，MAD＝biasm。参数λ是调节变量，这里λ设为3。在本方法中，当x方向或y方向的像素投影值不在[Xm-λMAD,Xm+λMAD]区间时，将这些点判定为离群点，分别将分割图中x方向和y方向离群点以外的点去除，得到去除噪点干扰后的结果，最终分割结果图如图6所示。
模型的评价指标由漏检率(escape)、过检率(overkill)和平均交并比(mIOU)加权组成。其中，漏检率是指未检测出有瑕疵样品占所有有瑕疵样品总数的百分比；过检率是指无瑕疵样品检测出有瑕疵占所有无瑕疵样品总数的百分比；漏检率、过检率是有瑕疵或无瑕疵的检测指标，考察瑕疵分类检测能力。平均交并比考察的是分割图像与原始图像瑕疵区域的重叠准确性。得分计算公式如下：
score＝0.5*(1-escape)+0.3*(1-overkill)+0.2*(mIOU) (10)
本申请提供的方法可以对不同的玻璃瑕疵类别进行检测，通过16000张测试图像的测试，最终score为93，针对不同瑕疵的检测结果如图7所示；图7中，a为玻璃表面内部的原始检测图像，其中包含了玻璃内部的各种瑕疵类型，b为a对应的检测结果图像；c为玻璃表面边缘的原始检测图像，其中包含了玻璃边缘的各种瑕疵类型，d为c对应的检测结果图像。可以看出本方法可以准确地检测出玻璃内部和边缘的瑕疵区域，模型对不同类别玻璃瑕疵的检测具有较好的鲁棒性。
结果表明，本发明一种基于变分自编码器的玻璃瑕疵检测方法可以在无监督的学习方式下实现较好的检测效果。模型具备一定的鲁棒性，可以检测出多种玻璃瑕疵类型。通过无瑕疵样本训练好的VAE模型可同时完成识别和分割任务，对于VAE模型生成过程中存在的噪声，通过投影法和MAD方法结合将非目标区域去除，提升分割准确率。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于变分自编码器的玻璃瑕疵检测方法，其特征在于，所述方法包括：
获取待检测的玻璃制品的灰度图像；
将待检测的玻璃制品的灰度图像输入训练好的VAE重构模型获得重构图像；
将重构图像与原测试图像做像素对比，找到有差异的区域，得到差异分割图；
使用投影法和MAD方法去除所述差异分割图中存在的噪点，得到最终分割图；
根据最终分割图中是否存在瑕疵像素确定待检测的玻璃制品是否存在瑕疵。
2.根据权利要求1所述的方法，其特征在于，所述VAE重构模型包括编码器和解码器两部分；VAE重构模型的编码器将灰度图像编码为隐变量Z，解码器根据隐变量Z重构得到与灰度图像相似的重构图像；
所述编码器由三层神经网络组成，输入层有16384个神经元，中间层有400个神经元，输出层由两个并行的全连接神经网络组成；输出层的两个并行的全连接神经网络根据输入层输入的待检测的玻璃制品的灰度图像，一个输出20维的均值特征向量，另一个输出20维的方差特征向量；
所述解码网络由两层神经网络组成，第一层有400个神经元，第二层为16384个神经元，最终输出分割二值图像，即与灰度图像相似的重构图像。
3.根据权利要求2所述的方法，其特征在于，所述编码器将灰度图像编码为隐变量Z服从d维高斯分布：
其中，该分布均值为μz，方差为
I是由N(0,1)分布中采样得到特征矩阵，隐变量Z表示为：
每个隐变量的均值μz和标准差
μz＝f1(xi；Wμ) (3)
σz＝f2(xi；Wσ) (4)
其中，xi表示灰度图像；Wμ表示编码器的输出层中输出均值特征向量的全连接神经网络的可学习权重；Wσ表示编码器的输出层中输出方差特征向量的全连接神经网络的可学习权重；f1表示输出层中输出均值特征向量的全连接神经网络的Sigmoid非线性激活函数，f2表示编码器的输出层中输出方差特征向量的全连接神经网络的Sigmoid非线性激活函数；
解码器通过从隐变量Z中采样经由解码网络生成重构图像
其中，zi表示隐变量Z的第i维的特征，Wγ表示解码器神经网络的可学习权重；g表示解码器神经网络的的Sigmoid非线性激活函数。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括训练VAE重构模型；训练过程中，定义VAE重构模型总的损失函数为：
LT＝LD+LKL (6)
其中LT为总的损失函数，LD为重构损失，LKL为用于训练VAE重构模型的样本数据分布与标准正态分布的KL散度；其中LD重构损失为重构图像与输入的灰度图像的均方误差损失：
用于训练VAE重构模型的样本数据分布与标准正态分布的KL散度LKL为：
其中d是隐变量Z的维度，μ(j)和σ(j)分别表示高斯分布的均值向量和方差向量的第j个分量；利用反向传播算法最小化损失函数完成训练。
5.根据权利要求4所述的方法，其特征在于，所述用于训练VAE重构模型的样本数据为玻璃制品的无瑕疵的图像数据；训练之前，对样本数据进行随机翻转、随机旋转、随机明暗变化进行扩充处理。
6.根据权利要求5所述的方法，其特征在于，所述使用投影法和MAD方法去除所述差异分割图中存在的噪点，得到最终分割图，包括：
使用投影法将差异分割图中瑕疵区域的像素分别投影到x和y方向并统计像素值，利用MAD方法找到离群值；MAD的计算方法如下:
Xk'为调整后的值，参数Xm是所有元素的中值；biasm＝|Xk-Xm|是所有元素与中位数之间的绝对偏差的中位数；参数MAD是绝对偏差的中位数，MAD＝biasm；参数λ是调节变量；
当x方向或y方向的像素投影值不在[Xm-λMAD,Xm+λMAD]区间时，将该像素点判定为噪点，分别将分割图中x方向和y方向噪点以外的点去除，得到去除噪点干扰后的最终分割图。
7.根据权利要求6所述的方法，其特征在于，训练过程中，调节变量λ设为3。
8.根据权利要求7所述的方法，其特征在于，训练过程中，所述用于训练VAE重构模型的样本数据为128*128像素的灰度图像。
9.权利要求1-8任一所述的基于变分自编码器的玻璃瑕疵检测方法在玻璃生产技术领域中的应用方法，所述方法采用上述方法检测所生产出的玻璃是否存在瑕疵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716109.5A CN113344903A (zh) | 2021-06-25 | 2021-06-25 | 一种基于变分自编码器的玻璃瑕疵检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110716109.5A CN113344903A (zh) | 2021-06-25 | 2021-06-25 | 一种基于变分自编码器的玻璃瑕疵检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113344903A true CN113344903A (zh) | 2021-09-03 |
Family
ID=77478980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110716109.5A Pending CN113344903A (zh) | 2021-06-25 | 2021-06-25 | 一种基于变分自编码器的玻璃瑕疵检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344903A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838041A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN114022442A (zh) * | 2021-11-03 | 2022-02-08 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于无监督学习的织物疵点检测算法 |
| CN114529796A (zh) * | 2022-01-30 | 2022-05-24 | 北京百度网讯科技有限公司 | 模型训练方法、图像识别方法、装置及电子设备 |
| CN114913148A (zh) * | 2022-05-11 | 2022-08-16 | 武汉象点科技有限公司 | 基于无监督学习的丝印疵点检测方法、装置及存储介质 |
| CN114972356A (zh) * | 2022-08-03 | 2022-08-30 | 海门市腾飞橡塑厂 | 塑料制品表面缺陷检测识别方法及系统 |
| CN115147379A (zh) * | 2022-07-08 | 2022-10-04 | 浙江理工大学 | 一种用于红外热成像瑕疵识别的多层神经网络优化方法 |
| CN116664562A (zh) * | 2023-07-28 | 2023-08-29 | 香港理工大学深圳研究院 | 一种基于滑窗变分自编码器的非监督裂缝识别方法 |
| CN117455778A (zh) * | 2023-12-21 | 2024-01-26 | 日照市茂源电子有限责任公司 | 一种基于图像增强的光学玻璃预制件检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169957A (zh) * | 2017-04-28 | 2017-09-15 | 燕山大学 | 一种基于机器视觉的玻璃瑕疵在线检测系统及方法 |
| CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
| US10956808B1 (en) * | 2020-03-12 | 2021-03-23 | Fractal Analytics Private Limited | System and method for unsupervised anomaly detection |
-
2021
- 2021-06-25 CN CN202110716109.5A patent/CN113344903A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169957A (zh) * | 2017-04-28 | 2017-09-15 | 燕山大学 | 一种基于机器视觉的玻璃瑕疵在线检测系统及方法 |
| US10956808B1 (en) * | 2020-03-12 | 2021-03-23 | Fractal Analytics Private Limited | System and method for unsupervised anomaly detection |
| CN112017182A (zh) * | 2020-10-22 | 2020-12-01 | 北京中鼎高科自动化技术有限公司 | 一种工业级智能表面缺陷检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 贾修一等: "基于变分自编码器的异构缺陷预测特征表示方法", 软件学报, 22 January 2021 (2021-01-22) * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113838041A (zh) * | 2021-09-29 | 2021-12-24 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN113838041B (zh) * | 2021-09-29 | 2023-09-08 | 西安工程大学 | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 |
| CN114022442A (zh) * | 2021-11-03 | 2022-02-08 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于无监督学习的织物疵点检测算法 |
| CN114529796A (zh) * | 2022-01-30 | 2022-05-24 | 北京百度网讯科技有限公司 | 模型训练方法、图像识别方法、装置及电子设备 |
| CN114913148A (zh) * | 2022-05-11 | 2022-08-16 | 武汉象点科技有限公司 | 基于无监督学习的丝印疵点检测方法、装置及存储介质 |
| CN115147379A (zh) * | 2022-07-08 | 2022-10-04 | 浙江理工大学 | 一种用于红外热成像瑕疵识别的多层神经网络优化方法 |
| CN114972356A (zh) * | 2022-08-03 | 2022-08-30 | 海门市腾飞橡塑厂 | 塑料制品表面缺陷检测识别方法及系统 |
| CN114972356B (zh) * | 2022-08-03 | 2023-08-25 | 海门市腾飞橡塑厂 | 塑料制品表面缺陷检测识别方法及系统 |
| CN116664562A (zh) * | 2023-07-28 | 2023-08-29 | 香港理工大学深圳研究院 | 一种基于滑窗变分自编码器的非监督裂缝识别方法 |
| CN116664562B (zh) * | 2023-07-28 | 2023-11-03 | 香港理工大学深圳研究院 | 一种基于滑窗变分自编码器的非监督裂缝识别方法 |
| CN117455778A (zh) * | 2023-12-21 | 2024-01-26 | 日照市茂源电子有限责任公司 | 一种基于图像增强的光学玻璃预制件检测方法及系统 |
| CN117455778B (zh) * | 2023-12-21 | 2024-04-05 | 日照市茂源电子有限责任公司 | 一种基于图像增强的光学玻璃预制件检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113344903A (zh) | 一种基于变分自编码器的玻璃瑕疵检测方法 | |
| CN108961217B (zh) | 一种基于正例训练的表面缺陷检测方法 | |
| CN107909564B (zh) | 一种基于深度学习的全卷积网络图像裂纹检测方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN113838041B (zh) | 一种基于自编码器的彩色纹理织物缺陷区域的检测方法 | |
| CN113505865B (zh) | 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN114663380B (zh) | 一种铝材表面缺陷检测方法、存储介质及计算机系统 | |
| CN111179263B (zh) | 一种工业图像表面缺陷检测模型、方法、系统及装置 | |
| CN113920053A (zh) | 基于深度学习的瑕疵检测方法、计算设备和存储介质 | |
| CN116029980A (zh) | 一种基于改进SegNet的沥青路面损坏检测及评估方法 | |
| CN112258459A (zh) | 一种基于集成深度学习的锂电池瑕疵检测方法 | |
| CN115294033A (zh) | 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法 | |
| CN115147363A (zh) | 一种基于深度学习算法的影像缺陷检测和分类方法及系统 | |
| CN114926441A (zh) | 一种注塑件加工成型的缺陷检测方法及系统 | |
| JP2021143884A (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| CN117540779A (zh) | 一种基于双源知识蒸馏的轻量化金属表面缺陷检测方法 | |
| CN109886931A (zh) | 基于bp神经网络的轮速传感器齿圈表面缺陷检测方法 | |
| Mi et al. | Research on steel rail surface defects detection based on improved YOLOv4 network | |
| Chen et al. | The machined surface defect detection of improved superpixel segmentation and two-level region aggregation based on machine vision | |
| Kirthiga et al. | A survey on crack detection in concrete surface using image processing and machine learning | |
| CN113177578A (zh) | 一种基于lstm的农产品品质分类方法 | |
| CN112396580A (zh) | 一种圆形零件缺陷检测方法 | |
| CN116228682A (zh) | 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法 | |
| Lahoti et al. | Convolutional Neural Network-Assisted Adaptive Sampling for Sparse Feature Detection in Image and Video Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |