CN115880298B - 一种基于无监督预训练的玻璃表面缺陷检测系统 - Google Patents
一种基于无监督预训练的玻璃表面缺陷检测系统 Download PDFInfo
- Publication number
- CN115880298B CN115880298B CN202310187996.0A CN202310187996A CN115880298B CN 115880298 B CN115880298 B CN 115880298B CN 202310187996 A CN202310187996 A CN 202310187996A CN 115880298 B CN115880298 B CN 115880298B
- Authority
- CN
- China
- Prior art keywords
- training
- image
- glass surface
- unsupervised
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 160
- 238000012549 training Methods 0.000 title claims abstract description 158
- 230000007547 defect Effects 0.000 title claims abstract description 126
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 230000007246 mechanism Effects 0.000 claims abstract description 69
- 239000013598 vector Substances 0.000 claims abstract description 67
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000009826 distribution Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 7
- 230000002950 deficient Effects 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 10
- 238000007689 inspection Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 101100533306 Mus musculus Setx gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无监督预训练的玻璃表面缺陷检测系统，该检测系统内设有两相机、光源以及与相机连接的控制器，相机B设置在玻璃正上方，相机A和光源位于相机B两侧；控制器基于拍摄的图像并采用无监督玻璃表面缺陷检测模型进行检测，检测过程为：构建基于动量对比学习的无监督预训练模型并进行预训练得到基于通道注意力机制和空间注意力机制构建的特征提取网络的网络权重参数；将网络权重参数赋值给无监督玻璃表面缺陷检测模型，再利用训练图像得到训练图像上各个图块的多维高斯分布以及利用测试图像得到测试图像上各个图块的嵌入特征向量，再计算同一图块的嵌入特征向量与多维高斯分布的相似距离，以相似距离为标准判定是否有缺陷。
Description
技术领域
本发明属于工业缺陷检测领域，具体涉及一种基于无监督预训练的玻璃表面缺陷检测系统。
背景技术
玻璃表面缺陷不仅影响玻璃的美观性，同时也会降低玻璃的性能。这些缺陷可能会使玻璃更加易碎，甚至可能发生爆裂事故，因此对玻璃进行质量检测是十分重要的。随着生产速度的提高、产能的扩大，传统的人工进行质检显得有些乏力。一方面，人工质检成本较高，耗时较长；另一方面，人工质检存在较强的主观性，且易由于视疲劳等不可避免的因素造成漏检、误检，从而难以满足大规模生产的需要。
基于机器学习的表面缺陷检测方法由于需要依赖人工设计的特征，所以该算法通用性不高、泛化能力较差。近年来，深度学习在分类和分割任务中取得了一系列突破性进展。然而，现有的基于深度学习的表面缺陷检测方法往往为有监督学习的方法，但在实际工业现场中，含有缺陷的样本出现概率很低，难以收集大量的缺陷样本，且缺陷类型多种多样，无法完全收集到各种类型的缺陷，同时对缺陷进行标注需要耗费大量的时间和精力（参见文献1：罗东亮,蔡雨萱,杨子豪,章哲彦,周瑜,白翔.工业缺陷检测深度学习方法综述[J].中国科学:信息科学,2022,52(06):1002-1039.）。
因此，现有技术需要一种能够对玻璃表面缺陷具体位置实现定位的方法，以及需要提供一种基于无监督学习的表面缺陷检测方法，来解决缺陷样本难以获得以及缺陷标注耗时耗力的问题。
发明内容
本发明的目的是要解决现有技术中有监督学习需要大量缺陷样本，而又难以收集大量缺陷样本的技术问题，进而提供一种无监督学习的玻璃表面缺陷检测方法。具体是提供一种基于无监督预训练的玻璃表面缺陷检测方法及系统，其中，采用基于动量对比学习的无监督预训练模型，进而对基于通道注意力机制和空间注意力机制的特征提取网络进行预训练，优化了基于通道注意力机制和空间注意力机制的特征提取网络的网络权重参数，使特征提取网络提取到的特征更具有代表性，后将网络权重参数赋值给无监督玻璃表面缺陷检测模型，促使得到的无缺陷图像的多维高斯分布越准确，检测出缺陷的精度越高。
一方面，本发明提供一种基于无监督预训练的玻璃表面缺陷检测方法，其包括以下步骤：
步骤1：采集玻璃表面图像进而构建预训练数据集、训练集以及测试集；
其中，所述训练集仅包含无缺陷的玻璃表面图像；
步骤2：构建基于动量对比学习的无监督预训练模型，并利用所述预训练数据集训练所述无监督预训练模型得到所述无监督预训练模型中编码器、动量编码器的网络权重参数；
其中，所述编码器、动量编码器均是基于通道注意力机制和空间注意力机制构建的特征提取网络，两者网络结构相同；
步骤3：构建基于嵌入向量相似度的无监督玻璃表面缺陷检测模型，并将所述训练集中的训练图像输入所述无监督表面缺陷检测模型得到每个训练图像上每个图块的嵌入特征向量，进而分别将所有训练图像上同一个图块的嵌入特征向量转为该位置图块的多维高斯分布；
其中，将所述编码器和/或动量编码器的特征提取网络的网络权重参数赋值给所述无监督玻璃表面缺陷检测模型中基于通道注意力机制和空间注意力机制的特征提取网络；
步骤4：获取或设置距离阈值；
步骤5：利用所述无监督玻璃表面缺陷检测模型检测待检测的玻璃表面图像上是否存在缺陷；
其中，将待检测的玻璃表面图像输入所述无监督玻璃表面缺陷检测模型得到每个图块的嵌入特征向量，进而计算每个图块的嵌入特征向量与同一个图块的所述多维高斯分布的相似距离，若所述相似距离大于所述距离阈值，对应区域视为有缺陷，否则，对应区域视为无缺陷。
进一步可选地，所述基于通道注意力机制和空间注意力机制的特征提取网络的图像处理过程如下：
输入特征图F至特征提取网络，所述特征图F经过通道注意力机制得到通道注意力图MC；
将所述通道注意力图MC与所述特征图F逐像素相乘得到中间输出
；
式中，
表示通道注意力的公式表达，/>
表示逐像素相乘操作；
将所述中间输出
作为输入，经过空间注意力机制得到空间注意力图MS；
将所述空间注意力图MS与所述中间输出
逐像素相乘得到输出/>
；
式中，
表示空间注意力的公式表达。
进一步可选地，所述无监督预训练模型内至少设有编码器以及动量编码器，所述编码器以及所述动量编码器的网络架构相同，网络权重参数不同，利用所述预训练数据集训练所述无监督预训练模型得到所述无监督预训练模型中编码器、动量编码器的网络权重参数的过程如下：
初始化所述编码器以及所述动量编码器的网络权重参数；
将所述预训练数据集中的玻璃表面图像输入所述无监督预训练模型，再依据所述编码器的输出以及所述动量编码器的输出计算出所述无监督预训练模型的对比损失；
再基于最小化对比损失更新所述编码器的网络权重参数，再基于更新的编码器的网络权重参数更新所述动量编码器的网络权重参数。
进一步可选地，所述动量编码器的网络权重参数按照如下公式更新：
其中，
为编码器的网络权重参数，/>
为动量编码器的网络权重参数，/>
为动量系数。
进一步可选地，步骤4中所述距离阈值按照如下方式确定：
将所述测试集中的测试图像输入所述无监督玻璃表面缺陷检测模型中得到测试图像的每个图块的嵌入特征向量；
计算每个图块的嵌入特征向量与训练图像上同一图块的多维高斯分布的相似距离；
调整距离阈值，依据相似距离与距离阈值的比对关系得到不同距离阈值对应的PR曲线，所述PR曲线的纵坐标为精确率，横坐标为召回率；
基于各个距离阈值对应的所述PR曲线得到最优距离阈值。
进一步可选地，步骤3中任一个图块的多维高斯分布表示为：
，其中，
是所有训练图像上同一个图块处对应嵌入特征向量的均值，(i,j)表示图块位置坐标，
为协方差，如下：
其中，
为正则化项，/>
为正则化参数，I为单位矩阵，T为矩阵的转置符号，N为训练图像的数量，/>
表示第k张训练图上的(i,j)处对应嵌入特征向量。
其中，图块在经过Resnet18前三个网络块layer处理后，大小为1×1，因此可以通过计算每个图块的嵌入特征向量与训练图像上同一图块的多维高斯分布的相似距离来判断该图块是否为有缺陷的区域。
进一步可选地，所述测试图像上图块的嵌入特征向量与训练图像上同一图块的多维高斯分布的相似距离为马氏距离，所述马氏距离的公式如下：
式中，
为所述测试图像上图块的嵌入特征向量与训练图像上同一图块的多维高斯分布的马氏距离。/>
表示所述测试图像上(i,j)处图块的嵌入特征向量。
第二方面，本发明还提供一种基于所述玻璃表面缺陷检测方法的系统，其包括：
数据集构建模块，用于采集玻璃表面图像进而构建预训练数据集、训练集以及测试集；
其中，所述训练集仅包含无缺陷的玻璃表面图像；
无监督预训练模型构建及训练模块，用于构建基于动量对比学习的无监督预训练模型，并利用所述预训练数据集训练所述无监督预训练模型得到所述无监督预训练模型中编码器、动量编码器的网络权重参数；
其中，所述编码器、动量编码器均是基于通道注意力机制和空间注意力机制的特征提取网络；
无监督玻璃表面缺陷检测模型构建及训练模块，用于构建基于嵌入向量相似度的无监督玻璃表面缺陷检测模型，并将所述训练集中的训练图像输入所述无监督表面缺陷检测模型得到每个训练图像上每个图块的嵌入特征向量，进而将所有训练图像上同一个图块的嵌入特征向量转为图块的多维高斯分布；
其中，将所述无监督预训练模型中编码器和/或动量编码器的网络权重参数赋值给所述无监督玻璃表面缺陷检测模型中基于通道注意力机制和空间注意力机制的特征提取网络；
测试模块，用于将所述测试集中的测试图像输入所述无监督玻璃表面缺陷检测模型中得到测试图像的每个图块的嵌入特征向量，进而计算每个图块的嵌入特征向量与训练图像上同一图块的相似距离，若所述相似距离大于所述距离阈值，对应区域视为有缺陷，否则，对应区域视为无缺陷；
检测模块，用于利用训练好的无监督玻璃表面缺陷检测模型检测待检测的玻璃表面图像上是否存在缺陷。
第三方面，本发明提供一种电子终端，其包括：一个或多个处理器以及存储了一个或多个计算机程序的存储器，所述处理器调用所述计算机程序以执行： 一种基于无监督预训练的玻璃表面缺陷检测方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以实现：一种基于无监督预训练的玻璃表面缺陷检测方法的步骤。
第五方面，本发明提供一种基于所述玻璃表面缺陷检测方法的系统，其包括：图像采集模块以及与所述图像采集模块连接的控制器；
其中，所述图像采集模块包括相机A、相机B和光源，所述相机B设置在玻璃正上方，所述相机A和所述光源分别设置在相机B的两侧；
所述图像采集模块将所述相机A、所述相机B拍摄的明场图像、暗场图像传输至控制器；
所述控制器将所述明场图像、暗场图像进行融合；并将融合图像输入无监督玻璃表面缺陷检测模型中得到玻璃表面缺陷检测结果。
有益效果
1、本发明提供的技术方案采用基于动量对比学习的无监督预训练模型对基于通道注意力机制和空间注意力机制的特征提取网络进行预训练，优化了基于通道注意力机制和空间注意力机制的特征提取网络的权重参数，使特征提取网络提取到的特征更具有代表性，进而得到更准确的无缺陷的玻璃表面图像的多维高斯分布。其中，多维高斯分布越准确，最终检测出缺陷的精度越高。因此，本发明的技术方案可以有效提升玻璃表面缺陷检测得识别和定位准确率；其次，本发明的技术方案是一种基于无监督学习的缺陷检测方法，所构建的训练集是由无缺陷的玻璃表面图像构成，因此，本发明的技术方案可以有效克服现有技术中有监督学习的缺陷检测方法对有缺陷样本的依赖问题。
2、本发明针对无监督预训练模型以及无监督玻璃表面缺陷检测模型，提出了基于通道注意力机制和空间注意力机制的特征提取网络。其将通道注意力机制和空间注意力机制引入特征提取网络中，使得网络更加关注检测任务感兴趣的区域，最终提升了模型的缺陷检测精度。
附图说明
图1为本发明实例提供的玻璃表面缺陷检测系统的示意图。
图2为本发明实例的工作原理整体框架示意图；
图3为本发明实例中采用的基于动量对比学习的无监督预训练模型结构图；
图4为本发明实例中采用的特征提取网络中通道注意力机制和空间注意力机制的网络示意图；
图5为本发明实例中采用的基于嵌入向量相似度的无监督玻璃表面缺陷检测模型结构；
图6为本发明示例中所提出的方法对玻璃表面缺陷的检测结果图。
实施方式
本发明提供一种基于无监督预训练的玻璃表面缺陷检测方法及系统，具体是提供一种基于无监督预训练的嵌入向量相似度的缺陷检测算法，将其应用于玻璃表面缺陷检测中。下面将结合实施例对本发明做进一步的说明，并以图1所示的检测系统为例进行说明。
如图1所示，玻璃表面缺陷检测系统由图像采集模块以及控制器组成。
其中，图像采集模块包括8k线扫描CMOS相机以及光源，其中，8k线扫描CMOS相机固定在生产线传送带上方。鉴于玻璃自身的反射性和散射性，将光源与8k线扫描CMOS相机如图1所示进行摆放，设置了相机A和相机B，实现明场成像和暗场成像。
所述图像采集模块将所述相机A、所述相机B拍摄的明场图像、暗场图像传输至控制器；
所述控制器将所述明场图像、暗场图像进行融合；并将融合图像输入无监督玻璃表面缺陷检测模型中得到玻璃表面缺陷的具体位置。其中，无监督玻璃表面缺陷检测系统的具体内容参照下文。应当理解，所述控制器是具备图像分析处理功能的硬件设备。
综上所述，光源产生直射光，经过玻璃表面进行反射，绝大部分直射光反射到相机A，形成明场成像。明场成像视野明亮，成像清晰。由于玻璃表面可能存在的缺陷，部分光线散射到相机B中，形成暗场成像。明场成像能够获取到相对清晰的玻璃表面图像，但对于细小缺陷可能无法成像。暗场成像时相机不在光线反射和透射的光路中，当玻璃表面存在缺陷时，光路会发生改变，因此暗场成像只接受玻璃表面缺陷的散射光。在图像采集模块对同一块玻璃进行暗场成像和明场成像后，将二者得到的图像输入图像处理模块，首先对图像进行裁剪处理，裁剪至256×256的大小，然后对图像进行融合操作，最大程度还原玻璃表面图像的实际情况。将图像处理模块得到的裁剪后的图像输入图像分析模块，经过无监督玻璃表面缺陷检测模型处理，得到最终玻璃表面缺陷的具体位置。
应当理解，上述检测系统是举例说明，即优选利用暗场、明场照片进行融合；其他可行的实施例中，可以对其不进行具体的要求。本发明的核心是构建无监督玻璃表现缺陷检测模型，下文将针对该模型的构建以及应用进行详细说明。
实施例
如图2所示，本发明实施例提供的一种基于无监督预训练的玻璃表面缺陷检测方法，包括以下步骤：
步骤1：采集玻璃表面图像。
本实施例利用工业线扫描相机采集玻璃表面图像，并将其裁剪为256×256的尺寸，得到预训练数据集（本实施例的预训练数据集中得到的玻璃表面图像的数量为30000张），预训练数据集中的图像是直接将在生产线中扫描得到的图像进行裁剪得到的，其包括少量有缺陷的玻璃表面图像和大量无缺陷的玻璃表面图像，这是因为实际生产线中出现缺陷的情况是较为罕见的。然后选择部分相机扫描并裁剪后的图像（不属于预训练数据集，但尺寸与预训练数据集中的玻璃表面图像一致）构建训练集（本实施例的训练集中的训练图像数量为300张）和测试集（本实施例的测试集中设有数量为66张有缺陷的玻璃表面图像和66张对应的标注图像），然后利用Labelme软件对有缺陷的玻璃表面图像中的缺陷位置进行标注。需要说明的是，训练集只包含无缺陷的玻璃表面图像；测试集包含无缺陷的玻璃表面图像以及有缺陷的玻璃表面图像及其对应的标注图像。
步骤2：构建基于动量对比学习的无监督预训练模型。
为了加快基于动量对比学习的无监督预训练模型的收敛，本实施例首先利用ImageNet上的预训练权重对基于通道注意力机制和空间注意力机制的特征提取网络的网络权重参数进行初始化设置（其他可行的实施例中，可以采用其他手段对网络权重参数进行初始化设置）。其中，由于ImageNet上的图片大多为自然图像，且形状较大并且处于图像的正中间，而玻璃表面图像一方面与自然图像存在较大的区别，从图6中的输入图片可以看出主要是纹理图像。此外，玻璃表面缺陷图像可能出现在图像中的任意位置，因此直接利用ImageNet上的预训练权重是不符合本应用需求的，故仅仅利用进行初始化设置。
然后利用步骤1得到的预训练数据集对基于动量对比学习的无监督预训练模型进行训练，对基于通道注意力机制和空间注意力机制的特征提取网络的权重进行微调，提高其对玻璃表面图像的特征提取能力。
如图3所示为基于动量对比学习的无监督预训练模型的结构图，本实施例中的无监督预训练模型内设有：图像增强模块、编码器以及动量编码器。其中，本实施例的无监督预训练模型的图像处理过程如下：
首先，利用一个队列进行采样和存储训练玻璃表面图像，每一批最新数据进入队列，最旧的数据移出队列。
然后，对输入的每一张玻璃表面图像p进行旋转等图像增强操作，x q 代表某一玻璃表面图像p q 经过图像增强操作后的图像矩阵；x k 代表玻璃表面图像集p k 中每个玻璃表面图像经过图像增强操作后的图像矩阵集，其中，玻璃表面图像p q 包含于玻璃表面图像集p k ，即玻璃表面图像p q 为玻璃表面图像集p k 其中的某一张图片。p k 的数量即队列的大小，本实施例设置为4096，其他可行的实施例，根据精度需求以及实验效果进行调整。
其中，编码器网络和动量编码器网络均为基于通道注意力机制和空间注意力机制的特征提取网络，两个网络的结构相同、参数不同。将图像矩阵x q 输入编码器网络中进行编码得到向量q，将图像矩阵集x k 输入动量编码器网络中进行编码得到多个向量k。通过网络的对比损失
进而对编码器的网络权重参数进行优化，然后基于更新的编码器的网络权重参数再对动量编码器的网络权重参数进行更新。对比损失的公式如下：
其中，
为图像矩阵集x k 中玻璃表面图像p q 对应的图像矩阵经过动量编码器网络编码后得到的向量。/>
为图像矩阵集x k 中的每一个图像矩阵经过动量编码器网络编码后得到的向量，此向量数量为K+1个；其中，/>
对应玻璃表面图像p q ，其余对应非所述玻璃表面图像p q ，K为玻璃表面图像集p k 中非所述玻璃表面图像p q 的数量。/>
为控制分布的超参数，本实施例中将其设置为0.5。
利用预训练数据集中的玻璃表面图像进行训练时，通过最小化对比损失
对编码器网络的参数进行更新；本实施例中的动量编码器网络的参数则是通过以下动量公式进行更新，其他可行的实施例中，不脱离本发明的构思下（依据编码器的输出以及所述动量编码器的输出计算出的对比损失，交替式更新网络权重参数），可以采用其他更新公式/方式更新网络权重参数：
其中，
为编码器网络的参数，/>
为动量编码器网络的参数，/>
为动量系数，动量系数结合实际进行设置，本实施例中将其设置为0.999。
本实施例的基于通道注意力机制和空间注意力机制的特征提取网络的主干网络采用Resnet18，其中Resnet18包含四个网络块layer。基于通道注意力机制和空间注意力机制的特征提取网络示意图如图4所示。
为了使其提取到的特征更具有代表性，在Resnet18的第一个网络块layer1之前加入了通道注意力机制模块和空间注意力机制模块。模型输入的特征图为
，其中/>
表示空间维度为/>
的实数域，首先经过通道注意力机制得到通道注意力图/>
，其中/>
表示空间维度为/>
的实数域，与输入F逐像素相乘得到中间输出/>
。然后将中间输出/>
作为输入经过空间注意力机制得到空间注意力图
，其中/>
表示空间维度为/>
的实数域，输入/>
逐像素相乘得到输出/>
。整个过程用公式描述为：
其中，
表示逐像素相乘操作。
通道注意力机制通过计算输入图像各个通道的权重进而判断各个通道的重要性，即更加关注含有重要信息的通道。为了聚合空间信息和提取独特的对象特征，对输入的特征图
分别采用最大池化MaxPool(F)和平均池化AvgPool，得到最大池化特征
和平均池化特征/>
，经过全连接层/>
后逐像素相加，最后经过激活函数/>
得到通道注意力图/>
。通道注意力用公式描述为：
其中，W 0、W 1为全连接层的权重系数，+表示为逐像素相加操作。
空间注意力机制在通道注意力机制的基础上，通过计算空间维来判断该通道中哪一图块位置的信息聚集最多。空间注意力机制首先沿通道轴应用最大池化MaxPool(F)和平均池化AvgPool，并将它们拼接起来，生成一个特征描述符。再经过卷积层得到空间注意力图
。空间注意力用公式描述为：
其中，
为经过平均池化得到的平均池化特征，/>
为经过最大池化得到的最大池化特征，/>
为拼接后的到的特征描述符，/>
为卷积核大小为/>
的卷积层。
步骤3：构建基于嵌入向量相似度的无监督玻璃表面缺陷检测模型。
本发明实施例利用步骤2中获得的网络权重参数（优先编码器网络的网络权重参数）对基于嵌入向量相似度的无监督玻璃表面缺陷检测模型中的基于通道注意力机制和空间注意力机制的特征提取网络进行赋值。然后再利用基于嵌入向量相似度的无监督玻璃表面缺陷检测模型的步骤1中的训练集进行学习，将每张训练图像划分为多个图块，得到每一张无缺陷的玻璃表面图像每个图块的嵌入特征向量，最后将训练集得到嵌入特征向量集合转化为无缺陷的玻璃表面图像的多维高斯分布。
本发明实施例提供的基于嵌入向量相似度的无监督玻璃表面缺陷检测模型如图5所示，基于该网络架构的无监督玻璃表面缺陷检测模型，其训练过程具体如下：
首先利用步骤2 中的基于动量对比学习的无监督预训练模型得到的权重对基于通道注意力机制和空间注意力机制的特征提取网络进行权重赋值，然后将步骤1中得到的训练集输入无监督玻璃表面缺陷检测模型中。为了获得不同层级的语义信息以及为了精准地对缺陷位置进行定位，将图像划分为图块
，/>
为不同层级生成的特征图的最大分辨率。通过基于通道注意力机制和空间注意力机制的特征提取网络得到每个图块的特征图，然后对同一图块的不同层级含有不同语义信息的特征图进行拼接，获得该图块的嵌入特征向量。设训练集中共有N张无缺陷的玻璃表面图像，训练时对N张图像分别计算图块(i,j)处的嵌入特征向量，则对于同一个图块，可以得到嵌入特征向量集合
。为了总结该嵌入特征向量集合所携带的信息，利用多元高斯分布
来描述图块(i,j)处的特征分布，其中，/>
为均值，/>
为协方差，协方差的计算公式如下：
其中，
为正则化项，/>
为正则化参数，本文中设置为0.01，I单位矩阵。
在测试时，将测试图像同样划分为图块，输入基于通道注意力机制和空间注意力制的特征提取网络得到每个图块的嵌入特征向量。计算每个图块的嵌入特征向量与对应图块的多元高斯分布的马氏距离，马氏距离
的计算公式如下：
每个图块的马氏距离即为该处的异常分数，所有图块的马氏距离构成马氏矩阵
，即该测试图像的异常图。
步骤4：获取或设置距离阈值。本实施例优选利用测试集来确定最优距离阈值，其他可行的实施例中，可以采用其他手段或者预先设置的方式确定距离阈值。
通过绘制测试集的PR曲线，其中，PR曲线的纵坐标为精确率，横坐标为召回率，依据PR曲线得到不同阈值下的精确率precision和召回率recall，对不同阈值的precision和recall求解F1分数，取F1分数最大的阈值作为最终判定的阈值。F1分数计算公式如下：
其中，precision为测试集中测试图像的精确率，recall为测试集中测试图像的召回率。
当测试图像的某一图块的马氏距离大于阈值，则该处为缺陷；当测试图像的某一图块的马氏距离小于阈值时，该处没有缺陷。
步骤5：利用所述无监督玻璃表面缺陷检测模型检测待检测的玻璃表面图像上是否存在缺陷；
其中，将待检测的玻璃表面图像输入所述无监督玻璃表面缺陷检测模型得到每个图块的嵌入特征向量，进而计算每个图块的嵌入特征向量与同一个图块的所述多维高斯分布的相似距离，若所述相似距离大于所述距离阈值，对应区域视为有缺陷，否则，对应区域视为无缺陷。
图6为所提出的方法对玻璃表面缺陷的检测结果图，第一行是对无缺陷的玻璃表面图像进行检测的结果，第二到四行是对有缺陷的玻璃表面图像的检测结果，可以看出本发明技术方案提供的方法能够精准检测出玻璃表面缺陷，满足实际检测需求。
实施例2：
本实施例提供一种基于所述玻璃表面缺陷检测方法的系统，其包括：数据集构建模块、无监督预训练模型构建及训练模块、无监督玻璃表面缺陷检测模型构建模块、距离阈值设置模块以及检测模块。
其中，数据集构建模块用于采集玻璃表面图像进而构建预训练数据集、训练集以及测试集；其中，所述训练集仅包含无缺陷的玻璃表面图像。
无监督预训练模型构建及训练模块用于构建基于动量对比学习的无监督预训练模型，并利用所述预训练数据集训练所述无监督预训练模型得到所述无监督预训练模型中编码器、动量编码器的网络权重参数。其中，所述编码器、动量编码器均是基于通道注意力机制和空间注意力机制的特征提取网络；
无监督玻璃表面缺陷检测模型构建及训练模块，用于构建基于嵌入向量相似度的无监督玻璃表面缺陷检测模型，并将所述训练集中的训练图像输入所述无监督表面缺陷检测模型得到每个训练图像上每个图块的嵌入特征向量，进而将所有训练图像上同一个图块的嵌入特征向量转为图块的多维高斯分布；其中，将所述无监督预训练模型中编码器和/或动量编码器的网络权重参数赋值给所述无监督玻璃表面缺陷检测模型中基于通道注意力机制和空间注意力机制的特征提取网络。
距离阈值设置模块用于获取或设置距离阈值。
检测模块用于利用所述无监督玻璃表面缺陷检测模型检测待检测的玻璃表面图像上是否存在缺陷。其中，将待检测的玻璃表面图像输入所述无监督玻璃表面缺陷检测模型得到每个图块的嵌入特征向量，进而计算每个图块的嵌入特征向量与同一个图块的所述多维高斯分布的相似距离，若所述相似距离大于所述距离阈值，对应区域视为有缺陷，否则，对应区域视为无缺陷。
应当理解，各个模块的实现过程可以参照前述方法的内容陈述，上述功能模块的划分仅仅是一种逻辑功能的划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。同时，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例3：
本实施例提供一种电子终端，其包括：一个或多个处理器；存储了一个或多个计算机程序的存储器；其中，所述处理器调用所述计算机程序以实现：一种基于无监督预训练的玻璃表面缺陷检测方法的步骤。
具体的，所述处理器调用所述计算机程序以实现：
步骤1：采集玻璃表面图像进而构建预训练数据集、训练集以及测试集；
步骤2：构建基于动量对比学习的无监督预训练模型，并利用所述预训练数据集训练所述无监督预训练模型得到所述无监督预训练模型中编码器、动量编码器的网络权重参数；
步骤3：构建基于嵌入向量相似度的无监督玻璃表面缺陷检测模型，并将所述训练集中的训练图像输入所述无监督表面缺陷检测模型得到每个训练图像上每个图块的嵌入特征向量，进而分别将所有训练图像上同一个图块的嵌入特征向量转为图块的多维高斯分布；其中，将所述编码器和/或动量编码器的特征提取网络的网络权重参数赋值给所述无监督玻璃表面缺陷检测模型中基于通道注意力机制和空间注意力机制的特征提取网络；
步骤4：获取或设置距离阈值；
步骤5：利用所述无监督玻璃表面缺陷检测模型检测待检测的玻璃表面图像上是否存在缺陷；其中，将待检测的玻璃表面图像输入所述无监督玻璃表面缺陷检测模型得到每个图块的嵌入特征向量，进而计算每个图块的嵌入特征向量与同一个图块的所述多维高斯分布的相似距离，若所述相似距离大于所述距离阈值，对应区域视为有缺陷，否则，对应区域视为无缺陷。
各个步骤的具体实现过程请参照前述方法的阐述。
其中，存储器可能包含高速RAM存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
如果存储器、处理器独立实现，则存储器、处理器和通信接口可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构总线，外部设备互联总线或扩展工业标准体系结构总线等。所述总线可以分为地址总线、数据总线、控制总线等。
可选的，在具体实现上，如果存储器、处理器集成在一块芯片上，则存储器、处理器可以通过内部接口完成相互之间的通信。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
实施例4：
本实施例提供一种计算机可读存储介质，其存储了计算机程序，所述计算机程序被处理器调用以实现：一种基于无监督预训练的玻璃表面缺陷检测方法的步骤。
具体的，所述计算机程序被处理器调用以实现：
步骤1：采集玻璃表面图像进而构建预训练数据集、训练集以及测试集；
步骤2：构建基于动量对比学习的无监督预训练模型，并利用所述预训练数据集训练所述无监督预训练模型得到所述无监督预训练模型中编码器、动量编码器的网络权重参数；
步骤3：构建基于嵌入向量相似度的无监督玻璃表面缺陷检测模型，并将所述训练集中的训练图像输入所述无监督表面缺陷检测模型得到每个训练图像上每个图块的嵌入特征向量，进而分别将所有训练图像上同一个图块的嵌入特征向量转为图块的多维高斯分布；其中，将所述编码器和/或动量编码器的特征提取网络的网络权重参数赋值给所述无监督玻璃表面缺陷检测模型中基于通道注意力机制和空间注意力机制的特征提取网络；
步骤4：获取或设置距离阈值；
步骤5：利用所述无监督玻璃表面缺陷检测模型检测待检测的玻璃表面图像上是否存在缺陷；其中，将待检测的玻璃表面图像输入所述无监督玻璃表面缺陷检测模型得到每个图块的嵌入特征向量，进而计算每个图块的嵌入特征向量与同一个图块的所述多维高斯分布的相似距离，若所述相似距离大于所述距离阈值，对应区域视为有缺陷，否则，对应区域视为无缺陷。
各个步骤的具体实现过程请参照前述方法的阐述。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。
Claims (4)
1.一种基于无监督预训练的玻璃表面缺陷检测系统，其特征在于：包括：图像采集模块以及与所述图像采集模块连接的控制器；
其中，所述图像采集模块包括相机A、相机B和光源，所述相机B设置在玻璃正上方，所述相机A和所述光源分别设置在相机B的两侧；
所述图像采集模块将所述相机A、所述相机B拍摄的明场图像、暗场图像传输至控制器，其中，所述光源产生的直射光经玻璃表面反射至所述相机A形成明场图像，部分光线散射至所述相机B形成暗场图像，所述相机B不在光线反射和透射的光路中；
所述控制器将同一块玻璃的所述明场图像、暗场图像进行融合；并将融合图像输入无监督玻璃表面缺陷检测模型中得到玻璃表面缺陷检测结果；
其中，所述将融合图像输入无监督玻璃表面缺陷检测模型中得到玻璃表面缺陷检测结果的检测方法如下：
步骤1：采集玻璃表面图像进而构建预训练数据集、训练集以及测试集；
其中，所述训练集仅包含无缺陷的玻璃表面图像；
步骤2：构建基于动量对比学习的无监督预训练模型，并利用所述预训练数据集训练所述无监督预训练模型得到所述无监督预训练模型中编码器、动量编码器的网络权重参数；
其中，所述编码器、动量编码器均是基于通道注意力机制和空间注意力机制构建的特征提取网络；所述编码器以及所述动量编码器的网络架构相同，网络权重参数不同，利用所述预训练数据集训练所述无监督预训练模型，得到所述无监督预训练模型中编码器、动量编码器的网络权重参数的过程如下：
初始化所述编码器以及所述动量编码器的网络权重参数；
将所述预训练数据集中的玻璃表面图像输入所述无监督预训练模型，再依据所述编码器的输出以及所述动量编码器的输出，计算出所述无监督预训练模型的对比损失；
再基于最小化所述对比损失更新所述编码器的网络权重参数，再基于更新的编码器的网络权重参数，更新所述动量编码器的网络权重参数；
其中，所述动量编码器的网络权重参数按照如下公式更新：
其中，
为编码器的网络权重参数，/>
为动量编码器的网络权重参数，/>
为动量系数；
步骤3：构建基于嵌入向量相似度的无监督玻璃表面缺陷检测模型，并将所述训练集中的训练图像输入所述无监督玻璃表面缺陷检测模型，得到每个训练图像上每个图块的嵌入特征向量，进而分别将所有训练图像上同一个图块的嵌入特征向量转为图块的多维高斯分布；
其中，将所述编码器和/或动量编码器的特征提取网络的网络权重参数，赋值给所述无监督玻璃表面缺陷检测模型中基于通道注意力机制和空间注意力机制的特征提取网络的网络权重参数；
步骤4：获取或设置距离阈值，所述距离阈值按照如下方式确定：
将所述测试集中的测试图像输入所述无监督玻璃表面缺陷检测模型中，得到测试图像的每个图块的嵌入特征向量；
计算每个图块的嵌入特征向量与训练图像上同一图块的多维高斯分布的相似距离；
调整距离阈值，依据相似距离与距离阈值的比对关系得到不同距离阈值对应的PR曲线，所述PR曲线的纵坐标为精确率，横坐标为召回率；
基于各个距离阈值对应的所述PR曲线得到最优的距离阈值；
步骤5：利用所述无监督玻璃表面缺陷检测模型检测待检测的玻璃表面图像上是否存在缺陷；
其中，将待检测的玻璃表面图像输入所述无监督玻璃表面缺陷检测模型得到每个图块的嵌入特征向量，进而计算每个图块的嵌入特征向量与同一个图块的所述多维高斯分布的相似距离，若所述相似距离大于所述距离阈值，对应区域视为有缺陷，否则，对应区域视为无缺陷。
2.根据权利要求1所述的检测系统，其特征在于：所述基于通道注意力机制和空间注意力机制的特征提取网络的图像处理过程如下：
输入特征图F至特征提取网络，所述特征图F经过通道注意力机制得到通道注意力图MC；
将所述通道注意力图MC与所述特征图F逐像素相乘得到中间输出
；
将所述中间输出
作为输入，经过空间注意力机制得到空间注意力图MS；
将所述空间注意力图MS与所述中间输出
逐像素相乘得到输出/>
。
3.根据权利要求1所述的检测系统，其特征在于：步骤3中任一个图块的多维高斯分布表示为：
，其中，/>
是所有训练图像上同一个图块处对应嵌入特征向量的均值，(i,j)表示图块位置坐标，/>
为协方差，如下：
其中，
为正则化项，/>
为正则化参数，I为单位矩阵，T为矩阵的转置符号，N为训练图像的数量，/>
表示第k张训练图上的(i,j)处对应嵌入特征向量。
4.根据权利要求3所述的检测系统，其特征在于：所述测试图像上图块的嵌入特征向量与训练图像上同一图块的多维高斯分布的相似距离为马氏距离，所述马氏距离的公式如下：
式中，
为所述测试图像上图块的嵌入特征向量与训练图像上同一图块的多维高斯分布的马氏距离，/>
表示所述测试图像上(i,j)处图块的嵌入特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310187996.0A CN115880298B (zh) | 2023-03-02 | 2023-03-02 | 一种基于无监督预训练的玻璃表面缺陷检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310187996.0A CN115880298B (zh) | 2023-03-02 | 2023-03-02 | 一种基于无监督预训练的玻璃表面缺陷检测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115880298A CN115880298A (zh) | 2023-03-31 |
| CN115880298B true CN115880298B (zh) | 2023-06-16 |
Family
ID=85761771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310187996.0A Active CN115880298B (zh) | 2023-03-02 | 2023-03-02 | 一种基于无监督预训练的玻璃表面缺陷检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880298B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116228754B (zh) * | 2023-05-08 | 2023-08-25 | 山东锋士信息技术有限公司 | 一种基于深度学习和全局差异性信息的表面缺陷检测方法 |
| CN116485779B (zh) * | 2023-05-11 | 2024-01-30 | 哈尔滨工业大学重庆研究院 | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 |
| CN116563281A (zh) * | 2023-07-07 | 2023-08-08 | 浙江省北大信息技术高等研究院 | 五金件质量检测方法、装置、计算机设备及存储介质 |
| CN116740074B (zh) * | 2023-08-16 | 2023-11-14 | 青岛天仁微纳科技有限责任公司 | 基于机器视觉的晶圆缺陷精准识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223128A (zh) * | 2020-01-17 | 2020-06-02 | 深圳大学 | 目标跟踪方法、装置、设备及存储介质 |
| CN113449131B (zh) * | 2021-06-29 | 2022-06-03 | 山东建筑大学 | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 |
| CN113870230B (zh) * | 2021-09-30 | 2022-08-02 | 湖南大学 | 一种基于混合监督学习的表面异常检测方法 |
| CN114757904A (zh) * | 2022-04-07 | 2022-07-15 | 河南大学 | 一种基于ai深度学习算法的表面缺陷检测方法 |
| CN115526864A (zh) * | 2022-09-30 | 2022-12-27 | 郑州轻工业大学 | 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 |
-
2023
- 2023-03-02 CN CN202310187996.0A patent/CN115880298B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115880298A (zh) | 2023-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115880298B (zh) | 一种基于无监督预训练的玻璃表面缺陷检测系统 | |
| CN111768388B (zh) | 一种基于正样本参考的产品表面缺陷检测方法及系统 | |
| CN110766660A (zh) | 基于融合深度学习模型的集成电路缺陷图像识别分类系统 | |
| WO2023193401A1 (zh) | 点云检测模型训练方法、装置、电子设备及存储介质 | |
| CN111815564B (zh) | 一种检测丝锭的方法、装置及丝锭分拣系统 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN111680705B (zh) | 适于目标检测的mb-ssd方法和mb-ssd特征提取网络 | |
| CN112288714B (zh) | 基于深度学习的硬件木马检测方法 | |
| CN111539957A (zh) | 一种用于目标检测的图像样本生成方法、系统及检测方法 | |
| CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
| CN114972316A (zh) | 基于改进YOLOv5的电池壳端面缺陷实时检测方法 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN116129242A (zh) | 一种基于改进YOLOv4铝材表面缺陷识别方法 | |
| CN112991281A (zh) | 视觉检测方法、系统、电子设备及介质 | |
| CN117252815A (zh) | 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质 | |
| CN117011274A (zh) | 自动化玻璃瓶检测系统及其方法 | |
| CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 | |
| CN116563844A (zh) | 圣女果成熟度检测方法、装置、设备及存储介质 | |
| CN115587989A (zh) | 一种工件ct图像缺陷检测分割方法及系统 | |
| Tan et al. | An application of an improved FCOS algorithm in detection and recognition of industrial instruments | |
| CN116109627B (zh) | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 | |
| CN112529095B (zh) | 一种基于卷积区域重配准的单阶段目标检测方法 | |
| CN111652012B (zh) | 一种基于ssd网络模型的曲面qr码定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |