CN114155186B - 基于无监督学习的缺陷检测系统及方法 - Google Patents
基于无监督学习的缺陷检测系统及方法 Download PDFInfo
- Publication number
- CN114155186B CN114155186B CN202111169895.8A CN202111169895A CN114155186B CN 114155186 B CN114155186 B CN 114155186B CN 202111169895 A CN202111169895 A CN 202111169895A CN 114155186 B CN114155186 B CN 114155186B
- Authority
- CN
- China
- Prior art keywords
- image
- pca
- defect
- defect detection
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 225
- 238000001514 detection method Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 52
- 238000009826 distribution Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000009466 transformation Effects 0.000 claims abstract description 33
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 27
- 238000000513 principal component analysis Methods 0.000 description 127
- 230000002950 deficient Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 229910000831 Steel Inorganic materials 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 102100023774 Cold-inducible RNA-binding protein Human genes 0.000 description 2
- 101000906744 Homo sapiens Cold-inducible RNA-binding protein Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 101150083127 brox gene Proteins 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无监督学习的缺陷检测系统及方法，该缺陷检测系统包括基于PCA滤波卷积的特征提取单元、图像强度分布处理单元和缺陷提取单元，基于PCA滤波卷积的特征提取单元包括级联在一起的至少两层PCA滤波卷积层和位于最后一层PCA滤波卷积层后的自适应特征融合模块；PCA滤波卷积层由一个以上的PCA滤波器构成，前一层PCA滤波卷积层的各PCA滤波器输出分别作为后一层PCA滤波卷积层各PCA滤波器的输入。本发明首先基于PCA滤波卷积，将缺陷和背景区分开，再基于自适应特征融合策略生成缺陷显著性图像，然后利用图像强度分布和距离变换从显著性图像中准确提取出缺陷；无需标签样本训练，大大减少了计算量，且对各个工业领域的广泛适用性。
Description
技术领域
本发明属于缺陷检测技术领域，涉及基于视觉的自动表面缺陷检测技术，尤其涉及利用PCA滤波实现的基于无监督学习的缺陷检测技术。
背景技术
工业质量检验是生产的重要环节，是产品质量、性能和外观的保证。因此，表面缺陷检测在工业生产中起着至关重要的作用。为了提高生产效率，降低人的主观意识对检测结果的影响，提出了基于机器视觉的表面缺陷检测技术，该技术广泛地应用于钢铁、纺织、零件、轨道交通等领域。此外，一些设备的运维工作也可以由视觉缺陷检测技术完成，如电力设备内部异物检测、灼伤点检测等。因此，基于视觉的自动表面缺陷检测技术是目前实现自动化和客观产品质量检测的关键要素。
最近，随着深度卷积神经网络(CNN)的提出和广泛研究，出现了许多应用于表面缺陷检测的深度学习模型。基于深度学习模型的表面缺陷检测方法主要分为监督学习、半监督学习和无监督学习三类，其中最常见的是监督学习和无监督学习。基于监督学习的方法主要由多层感知器构成，并依靠训练数据内部的联系来达到检测缺陷的目的。Y.Huang等开发了一种轻量级的网络结构，金字塔结构的轻量级bottleneck在减少计算量的同时提取图像特征，轻量级解码器由空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling,ASPP)和卷积层组成(Y.Huang,C.Qiu,X.Wang,S.Wang,K.Yuan,A compactconvolutionalneural network for surface defect inspection,Sensors 20(2020)1974)。X.Qin等提出了边界感知显著目标检测网络，其将显著性检测与深度学习相结合，十分注重边界的质量；该模型由一个密集监督的Encoder-Decoder网络和一个残差细化模块组成，它们分别负责显著图像的预测和细化边界；这类方法的检测性能通常都非常良好。另外，基于监督学习的方法还可以将缺陷检测视为目标检测任务，其中大部分采用端到端的CNN网络来提取特征、识别和定位缺陷，一般来说，目标检测网络方法主要分为以Faster R-CNN为代表的两阶段和以YOLO和SSD为代表的一阶段检测。H.A.Di等提出了使用分类优先网络的新对象检测框架对热轧钢进行缺陷检测，通过多组卷积神经网络进行分类的方法，该方法分别针对不同类型的缺陷训练不同的卷积核。然后，将可能包含缺陷的特征图输入到另一个基于YOLO的网络中，以回归缺陷的边界框(H.A.Di,X.A.Ke,Z.B.Peng,Defectdetection of hot rolled steels witha new object detection framework calledclassification priority network,Computers&Industrial Engineering 128(2019)290–297)。Zhou等提出了探索更快的RCNN用于织物缺陷检测，利用可变形卷积网络代替了Faster-RCNN中主干网络的最后一个阶段，并引入特征金字塔网络和距离IoU损失函数，此方法提高了织物数据集检测的速度和准确性。但是，基于监督学习的模型均需要用大量标签样本数据进行训练才能达到更可靠的检测效果。
为了减少对数据集的依赖，无监督学习用于预测缺陷，而无需使用标记样本进行训练。广泛使用的无监督学习方法主要有基于生成对抗网络(GAN)和自编码器(AE)。S.Youkachen等提出了一种基于卷积自编码器和重构图像处理的热轧带钢表面缺陷分割方法，利用卷积自编码器(CAE)通过重构缺陷图像来提取形状特征(S.Youkachen,M.Ruchanurucks,T.Phatrapomnant,H.Kaneko,Defect segmentation of hot-rolledsteel strip surface by using convolutionalauto-encoder and conventional imageprocessing,in:2019 10th International Conference of Information andCommunication Technology forEmbedded Systems(IC-ICTES),2019)。尽管无监督学习不需要标记样本进行训练，但它容易受到噪声和初始值的影响。
由于基于CNN的模型通常需要训练大量的标记图像以得到良好的检测性能，但在大多数工业领域难以提前收集大量的形状、大小和类型多样的缺陷样本，影响了上述方法的检测效果。同时，缺陷纹理和产品表面纹理之间的差异很小，重复结构化纹理表面的缺陷和背景之间的对比度较低，上述方法在此类数据集上的检测性能较差。对于具有重复结构纹理的表面，背景是连续的；然而，缺陷的存在使得这些表面纹理不连续且不一致，如图1所示。在这种情况下，由于缺陷的不同形状、大小和低对比度，很难对缺陷进行建模，但是对重复的背景纹理建模会更容易。F.Timm等提出了使用Weibull特征的非参数纹理缺陷检测，首先计算了局部区域图像梯度分布的Weibull拟合参数，并通过欧氏距离确定是否存在缺陷(F.Timm,E.Barth,Non-parametric texture defect detection usingweibullfeatures,Proceedings of SPIE-The International Society forOptical Engineering7877(2011))。尽管如此，该方法仍只是适用于缺陷区域较大且背景与缺陷的纹理特征差异也很大的检测，而不能应用于多种不同领域的检测，泛化性较低。
综上所述，在大多数工业领域，难以收集到大量的标记图像用于基于监督学习的CNN模型训练；而且，不仅模型训练过程耗时，而且模型计算量极大，使其难以部署在计算资源有限的便携式设备上。此外，现有的显著性图像分析方法缺乏对图像纹理分析，泛化性低。因此，亟待开发一种网络结构简单、计算量小、泛化性高的缺陷检测技术，满足工业领域对产品缺陷的高效、准确检测。
发明内容
针对目前基于深度学习的缺陷检测方法存在的泛化性差、效率低、准确度不高等问题，本发明目的旨在提供一种基于无监督学习的缺陷检测系统，利用PCA滤波构建简单的无监督学习网络，能够高效地将缺陷从背景区域中区分开来，从而实现对缺陷的有效识别。
本发明的发明思路为：在大多数工业领域，产品表面是结构化的、连续的纹理，人眼很难发现对比度低的缺陷。此外，缺陷的形态具有多样性，对于缺乏大量无偏标记样本的缺陷检测任务而言，很难满足监督学习方法的需求。由于正常产品表面是重复的结构化纹理，缺陷具有非结构化和低对比度等特征，因此本发明利用基于PCA滤波的方法，使用多层PCA滤波卷积提取表面图像纹理的主成分，将缺陷从背景区域中区分开来，并尽可能保留原始图像的丰富特征，通过放大缺陷和正常表面之间的显著特征来检测缺陷。
基于上述发明思路，本发明提供的基于无监督学习的缺陷检测系统，其包括：
基于PCA滤波卷积的特征提取单元，用于对待处理图像的纹理特征进行提取；其包括级联在一起的至少两层PCA滤波卷积层和位于最后一层PCA滤波卷积层后的自适应特征融合模块；PCA滤波卷积层由一个以上的PCA滤波器构成，前一层PCA滤波卷积层的各PCA滤波器输出分别作为后一层PCA滤波卷积层各PCA滤波器的输入；自适应特征融合模块用于将最后一层PCA滤波卷积层输出的各特征图像进行融合；
图像强度分布处理单元，用于获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域；
缺陷提取单元，用于通过距离变换获得检测缺陷结果。
上述基于PCA滤波卷积的特征提取单元，各PCA滤波卷积层结构类似，对于任一PCA滤波卷积层，其目的是采用正交变换将一组潜在相关的变量转换为作为主成分的线性不相关变量。设PCA滤波卷积层的卷积核大小为k×k，假设输入图像O的大小为W×H，收集经卷积核大小k×k卷积提取输入图像的所有图像块，即P1，P2，P3，...，Pi，...∈Rkk。其中Pi表示第i个图像块。为了减少特征的冗余信息，利用协方差表示两个变量的相关性以此来约束高维数据。确保每个维度的均值和单位方差为零，接着从每个图像块中去除均值以求解协方差矩阵并获得
其中，
并且
是一个去均值后的图像块。
是一个
大小的新矩阵。假设∑是
的协方差矩阵，那么
其中，cij表示
和
的协方差，因此得到了矩阵
的主成分分量。
假设存在正交矩阵
通过正交变换得到
进而推断出通过最大化
可以求取每个维度的方差之和。因此将问题转为求取：
s.t.AAT＝In×n (4)
其中
In×n是一个大小为n×n的单位矩阵。
根据拉格朗日乘子法，可以求解特征向量和特征值，并将特征值按照从大到小顺序排列，取前n个特征值对应的特征向量作为
的前n维主特征向量
因此PCA滤波器可以表达为：
其中，Fl表示第l个滤波器，matk，k(ν)表示将ν∈Rkk映射至矩阵F∈Rk×k，l(·)代表
的n维主特征向量。至此，自适应PCA滤波的卷积核提取完成。利用n个PCA滤波器来获取输入图像的特征，得到各滤波器的输出为
Ol＝O*Fl，l＝1，2，...，n (6)
其中，*表示卷积。
本发明中，所述基于PCA滤波卷积的特征提取单元包括两层PCA滤波卷积层(第一层PCA滤波卷积层和第二层PCA滤波卷积层)；每层PCA卷积层包括2～9个PCA滤波器，即n的取值范围为2～9。以n1表示第一层PCA滤波卷积层的数量，n2表示第二层PCA滤波卷积层的数量，则第二层PCA滤波卷积层共输出n1×n2张图像，因此，可以提取图像特征并获得显著性特征图。如有必要，可以增加PCA滤波卷积层的层数。
PCA滤波卷积层的每个输出图像分别包含了不同的纹理信息。将最后一层PCA滤波卷积层输出的各个图像输入至自适应特征融合模块进行图像融合。由于图像的方差可以反映图像的对比度，因此本发明中，所述自适应特征融合模块充分利用方差作为权重来融合图像。这里，包含了大量主要纹理信息的融合图像被定义为：
其中，Om表示最后一层PCA滤波卷积层的第m张输出图像，wm表示Om的方差。可以将图像Ω进一步归一化至[0，255]，这样使图像能够消除其他变换函数对图像变换的影响，便于后续的图像处理。将多个有缺陷的图像输入到这个级联的基于PCA滤波卷积的特征提取单元网络中进行训练，便可实现对图像纹理信息的有效提取，获得显著性特征，从而用于产品缺陷检测。
上述图像强度分布处理单元，通过基于PCA滤波卷积的特征提取单元获得显著性特征，然后进一步分析显著性特征的分布特征来获得缺陷。考虑到背景与前景(即缺陷)可能具有大致相同的灰度值，可以简单地通过强度分布区分不同的区域以强调缺陷。具体地说，可以将融合图像Ω分成大小为p×p的图像块，然后计算每个图像块的平均灰度值，便可得到图像块灰度强度分布图，然后依据灰度强度分布图，将融合图像分为背景区域和缺陷区域。为了对两者进行区分，本发明中设定了灰度阈值(例如以两倍的图像平均灰度值作为灰度阈值)，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置(例如重置为255)作为缺陷区域(即前景)，以突出缺陷区域，这样获得了一个粗略的检测结果。为了准确定位缺陷，还需要后续更多的图像分析和处理。
上述缺陷提取单元，首先通过距离变换获得缺陷区域，进一步去除图像中的噪声，保留缺陷。距离变换以距离值作为灰度值，反映了前景像素p(p∈Z→{1})和背景像素q(q∈Z→{0})之间的距离关系，将“1”视为前景像素，将“0”视为背景像素。具体来说，灰度值随着距离的增加而变大，因此距离变换可以用来得到与缺陷有很大相似性的区域。因为距离变换是关于二值图像的算法，所以首先将图像进行二值化处理(Ω∈Z→{0，1})，即将图像强度分布处理单元得到的融合图像Ω中缺陷区域像素点灰度值置1，背景区域像素点灰度值置0，得到二值化图像Z。再通过距离变换得到距离特征图。这里距离变换定义为：
其中，(xp，yp)表示前景像素p在二值化图像中的位置，(xq，yq)表示背景像素q在二值化图像中的位置。D(D∈Z)是个灰度图像，它表示p和q之间的最小距离。最后以距离变换的结果作为阈值参数再次二值化，可以去除距离特征图像中的噪声，只保留缺陷。阈值定义为：
其中，Θ(x,y)表示检测结果图像中第x行第y列对应位置的灰度值，
表示图像D的最大距离值，α是给定的常系数，D(x,y)表示距离灰度图像D中第x行第y列对应位置的灰度值。至此，可以得到精确的缺陷检测结果。
本发明进一步提供了一种基于无监督学习的缺陷检测方法，利用前面给出的缺陷检测系统按照以下步骤进行：
S1通过基于PCA滤波卷积的特征提取单元对待处理图像的纹理特征进行提取，包括以下分步骤：
S11通过级联在一起的至少两层PCA滤波卷积层对输入的待处理图像进行卷积处理；前一层PCA滤波卷积层的各PCA滤波器输出分别作为后一层PCA滤波卷积层各PCA滤波器的输入；
S12通过自适应特征融合模块将最后一层PCA滤波卷积层输出的各特征图像进行融合，得到融合图像；
S2通过图像强度分布处理单元获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域；
S3基于距离变换，通过缺陷提取单元获得检测缺陷结果。
上述步骤S3包括以下分步骤：
S31将步骤S2划分出缺陷区域和背景区域的融合图像进行二值化处理，得到二值化图像；
S32依据二值化图像，通过距离变换得到距离特征图；
S33对距离特征图进行阈值二值化处理，获得保留有缺陷的最终检测结果。
本发明针对缺陷和产品表面纹理的低对比度而导致的缺陷难以检测的问题，提出了一种简单的无监督学习的缺陷检测系统及方法：首先，使用多层主成分分析(PCA)卷积提取表面图像的主成分，由此作为少数类别的缺陷与多数背景区分开来；然后，引入自适应特征融合策略来融合PCA特征图并生成缺陷显著性图像；最后，利用强度分布和距离变换进一步提取基于显著图的缺陷。本发明在三个不同的数据集(DAGM、KolektorSDD和内部数据集)上进行了评估，实验结果表明本发明提供的无监督学习的缺陷检测系统及方法能够检测各种尺寸和形状的缺陷。此外，与现有的缺陷检测方法相比，本发明在更少的参数量和计算量的条件下检测性能良好，并且不依赖于训练数据。
本发明提供的基于无监督学习的缺陷检测系统及方法具有以下有益效果：
(1)本发明首先基于PCA滤波卷积，将缺陷和背景区分开，再基于自适应特征融合策略生成缺陷显著性图像，然后利用图像强度分布和距离变换从显著性图像中提取出缺陷；由于不需要有监督学习，因此避免了收集标记数据集进行训练，同时还减少了计算量；实验表明，本发明即使在对计算量和数据集要求很小的场景情况下，仍能取得良好的性能。
(2)本发明为基于视觉的缺陷检测提供了一种高效且低成本的解决方案。
(3)本发明所使用的特征提取单元基于PCA滤波卷积原理，通过提取表面图像的重复的结构化纹理的主成分，破坏背景连续性的缺陷将尤其突出，因此利用缺陷与背景之间的差异将二者区分，从而解决缺陷与背景低对比度难以识别的问题。
(4)本发明在几个公开的缺陷检测数据集(DAGM、KolektorSDD)和内部数据集上均得到验证，证明了本发明对各个工业领域的广泛适用性。
附图说明
图1为不同场景下具有重复结构纹理下的低对比度缺陷示意图；其中(a)对应DAGM2007数据集中模拟布匹纹理结构下的缺陷样本，(b)对应DAGM 2007数据集中模拟钢铁表面侵蚀点缺陷样本，(c)对应电子换向器表面裂缝缺陷样本。
图2为实施例1基于无监督学习的缺陷检测系统的原理示意图。其中，(a)对应输入的原始图，(b)对应基于PCA滤波的卷积过程，(c)对应经特征融合后的显著性图像，(d)对应根据特征图的灰度强度分布而得到的缺陷区域增强图，(e)对应距离变换后的结果图。
图3为基于PCA滤波卷积的特征提取单元不同卷积核尺寸下获取的显著性图像；其中(a)对应原始图像，(b)对应卷积核大小为3×3，(c)对应卷积核大小为5×5，(d)对应卷积核大小为7×7，(e)对应卷积核大小为9×9。
图4为图像强度分布示意图；其中，(a)对应原始图像，(b)对应经过了PCA滤波卷积后的显著性图像，(c)以三维图的方式，形象地展示了缺陷区域和背景区域的强度分布特性。
图5为应用本发明提供的基于无监督学习的缺陷检测系统在DAGM 2007数据集上不同类型子集上的缺陷检测结果；其中，(a)对应原始图像，(b)对应基于PCA滤波卷积的特征提取单元处理得到的显著性图像，(c)对应缺陷提取单元经距离变换后得到的距离特征图，(d)对应距离特征图经进一步阈值二值化处理结果。
图6为应用本发明提供的基于无监督学习的缺陷检测系统在KolektorSDD数据集上的缺陷检测结果；其中，(a)为原始图像，(b)为基于PCA滤波卷积的特征提取单元处理得到的显著性图像，(c)为缺陷提取单元经距离变换后得到的距离特征图，(d)为距离特征图经进一步阈值二值化处理结果，(e)为标签图像。
图7为应用本发明提供的基于无监督学习的缺陷检测系统在GIS数据集上的缺陷检测结果；其中，(a)为原始图像，(b)为基于PCA滤波卷积的特征提取单元处理得到的显著性图像，(c)为缺陷提取单元经距离变换后得到的距离特征图，(d)为距离特征图经进一步二值化处理结果。
具体实施方式
结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明。
实施例1
本实施例提供的基于无监督学习的缺陷检测系统，如图2所示，其包括基于PCA滤波卷积的特征提取单元、图像强度分布处理单元和缺陷提取单元。
(一)基于PCA滤波卷积的特征提取单元
基于PCA滤波卷积的特征提取单元，用于对待处理图像的纹理特征进行提取；其包括级联在一起的两层PCA滤波卷积层和位于两层PCA滤波卷积层后的自适应特征融合模块。两层PCA滤波卷积层结构相似，均由2～9个PCA滤波器构成。前一层PCA滤波卷积层的各PCA滤波器输出分别作为后一层PCA滤波卷积层各PCA滤波器的输入。
本实施例中，两层PCA滤波卷积层的卷积核大小相同。设PCA滤波卷积层的卷积核大小为k×k，假设输入图像O的大小为W×H，收集经卷积核大小k×k卷积提取输入图像的所有图像块，即P1，P2，P3，...，Pi，...∈Rkk其中Pi表示第i个图像块。为了减少特征的冗余信息，利用协方差表示两个变量的相关性以此来约束高维数据。确保每个维度的均值和单位方差为零，接着从每个图像块中去除均值以求解协方差矩阵并获得
其中，
并且
是一个去均值后的图像块，∑Pi表示Pi图像块中所有像素值之和。
是一个
大小的新矩阵，其是融合了当前PCA滤波卷积层输入图像去均值后的图像块的新矩阵。假设∑是
的协方差矩阵，那么
其中，cij表示
和
的协方差，因此得到了矩阵
的主成分分量。
假设存在正交矩阵
通过正交变换得到
进而推断出通过最大化
可以求取每个维度的方差之和。因此将问题转为求取：
s.t.AAT＝In×n (4)
其中
In×n是一个大小为n×n的单位矩阵。
根据拉格朗日乘子法，可以求解特征向量和特征值，并将特征值按照从大到小顺序排列，取前n个特征值对应的特征向量作为
的前n维主特征向量
因此PCA滤波器可以表达为：
其中，Fl表示第l个滤波器，matk，k(ν′)表示将ν∈Rkk映射至矩阵F∈Rk×k，l(·)代表
的n维主特征向量。至此，自适应PCA滤波的卷积核提取完成。利用n个PCA滤波器来获取输入图像的特征，得到各滤波器的输出为
Ol＝O*Fl，l＝1，2，...，n (6)
其中，*表示卷积。
对于第一层PCA滤波卷积层，取前n1维主特征向量，因此其PCA滤波器数量为n1，PCA滤波器可以表达为：
第一层PCA滤波卷积层各PCA滤波器的输出为：
对于第二层PCA滤波卷积层，取前n2维主特征向量，因此其PCA滤波器数量为n2，PCA滤波器可以表达为：
第二层PCA滤波卷积层各PCA滤波器的输出为：
因此，
表示第一层PCA滤波卷积层的输出图像，第一层PCA滤波卷积层输出n1张图像，并将这n1张图像作为第二层PCA滤波卷积层的输入图像；
表示第二层PCA滤波卷积层的输出图像，第二层PCA滤波卷积层共输出n1×n2张图像。
自适应特征融合模块用于将最后一层PCA滤波卷积层输出的各特征图像进行融合。本实施例中，按照以下公式给出的策略对第二层PCA滤波卷积层输出的各特征图像进行融合：
其中，Om表示最后一层PCA滤波卷积层的第m张输出图像，wm表示Om的方差。然后将融合后的图像Ω进一步归一化至[0,255]，这样使图像能够消除其他变换函数对图像变换的影响，便于后续的图像处理。
本实施例中，为了能够实现对图像纹理信息的有效提取，需要对基于PCA滤波卷积单元进行训练。本实施例采取的训练方法为将若干张样本图片输入到不同卷积核大小和PCA滤波器数量的模型中，对比输出融合图像Ω显示效果，以效果最佳的PCA滤波卷积模型作为最终PCA滤波卷积模型。由于不同的训练样本数量对检测结果的差异不足以影响实验结果。因此，本发明可以用较少的图片进行训练。
为了说明PCA滤波卷积层不同核尺寸的影响，将图3(a)原始图像输入至不同核尺寸的特征提取单元中(其中第一层和第二层PCA滤波卷积层的PCA滤波数量均取4，最终输出的融合图像如图3(b)-(e)所示。从图中可以看出，不同图像块大小对纹理提取有一定的影响。
(二)图像强度分布处理单元
图像强度分布处理单元，用于将融合图像分为背景区域和缺陷区域。
本实施例中，先将归一化后的融合图像Ω分成大小为3×3的图像块，然后计算每个图像块的平均灰度值，并依据图像块灰度强度分布图，通过重置缺陷区域的灰度值以强调缺陷，如图4所示。从图4中可以看出，融合图像的强度三维分布，可以从融合图像中区分出与其他区域明显不同的区域，即缺陷区域。本实施例中，以两倍的图像平均灰度值作为灰度阈值，将融合图像中低于灰度阈值的图像块作为背景区域，并进一步将融合图像中不低于灰度阈值的图像块重置为255，以突出缺陷区域(即前景)。这样获得了一个粗略的检测结果。为了准确定位缺陷，还需要后续更多的图像分析和处理。
(三)缺陷提取单元
缺陷提取单元，用于通过距离变换获得检测缺陷结果。首先通过距离变换获得缺陷区域，进一步去除图像中的噪声，保留缺陷。距离变换以距离值作为灰度值，反映了前景像素p(p∈Z→{1})和背景像素q(q∈Z→{0})之间的距离关系，将“1”视为前景像素，将“0”视为背景像素。
具体实现方式中，首先将图像进行二值化处理(Ω∈Z→{0，1})，即将图像强度分布处理单元得到的融合图像Ω中缺陷区域像素点灰度值置1，背景区域像素点灰度值置0，得到二值化图像Z。再通过距离变换得到距离特征图。这里距离变换定义为：
其中，(xp，yp)表示前景像素p在二值化图像中的位置，(xq，yq)表示背景像素q在二值化图像中的位置。D(D∈Z)是个灰度图像，它表示p和q之间的最小距离。最后以距离变换的结果作为阈值参数再次阈值二值化处理，可以去除距离特征图像中的噪声，只保留缺陷。阈值定义为：
其中，Θ(x，y)表示检测结果图像中第x行第y列对应位置的灰度值，Θ中灰度值为255的区域即为缺陷区域；
表示图像D的最大距离值，α是给定的常系数(本实施例中取0.3)，D(x，y)表示距离灰度图像D中第x行第y列对应位置的灰度值。至此，可以得到精确的缺陷检测结果。
应用例
为了广泛评估本发明所提供的基于无监督学习的缺陷检测系统即方法的性能，给出了几组对比实验结果。本应用例首先在德国模式识别协会(DAGM)提供的名为DAGM 2007的纹理图像数据集上进行评估，并与几种现有的方法进行比较。然后，在称为Kolektor表面缺陷数据集(KolektorSDD)的真实图像数据集上进行评估，并与其他监督学习模型进行对比。最后，在气体绝缘开关设备检测数据集上进行测试，该数据集收集了GIS设备中存在的一些常见异常。
上述实施例所提供的基于无监督学习的缺陷检测系统可运行于Windows系统上，利用Scikit-Learn和OpenCV完成的，编程语言使用的是Python。另外，运行电脑可使用Intel i7-9700 CPU(3GHz)和16GB显存。
为了准确描述本文介绍的方法的性能，本应用例通过以下几个指标与现有的方法进行比较来验证结果。本应用例侧重于由真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)组成的混淆矩阵进行评估和分析。此外，还利用了准确率(Acc)、精度(Pr)、召回率(Re)和F1分数(F1)来定量评估上述实施例所提供系统的有效性。这里，这些性能指标分别定义为
(一)DAGM 2007数据集
本应用例所使用的DAGM 2007数据集由八个不同类型的子集组成，并且每个子数据集中包含了1000张无缺陷图像样本和150张人造的缺陷图像。这些图像大小均为512×512，并且在实验中并没有改变图像大小。本应用例中随机抽取5张缺陷图像样本作为训练用图像。
由于卷积核的大小和PCA滤波器数量对显著性特征的提取影响较大，因此为了得到最合适的特征提取单元，利用3×3、5×5、7×7和9×9等不同尺寸卷积核大小以及2～9不同PCA滤波器数量(即n1、n2分别取2～9)的基于PCA滤波卷积的特征提取单元，然后利用5张缺陷图像样本对构建的特征提取单元进行训练。结果表明，当基于PCA滤波卷积的特征提取单元具有3×3大小的卷积核，同时PCA滤波器数量满足n1＝4、n2＝4时，可以很好地提取图像显著性特征。
为了更直观地呈现每一步的图像处理结果，将DAGM 2007数据集由八个不同类型子集中的缺陷图像分别输入训练好的基于无监督学习的缺陷检测系统，按照以下步骤执行操作，得到相应的缺陷检测结果：
S1通过训练好的基于PCA滤波卷积的特征提取单元对待处理图像的纹理特征进行提取，包括以下分步骤：
S11通过级联在一起的两层PCA滤波卷积层对输入的待处理图像进行卷积处理；前一层PCA滤波卷积层的各PCA滤波器输出分别作为后一层PCA滤波卷积层各PCA滤波器的输入。
第一层PCA滤波卷积层各PCA滤波器的输出为：
第二层PCA滤波卷积层各PCA滤波器的输出为：
S12通过自适应特征融合模块将最后一层PCA滤波卷积层输出的各特征图像进行融合，得到融合图像，本步骤包括以下分步骤：
S121通过自适应特征融合模块按照以下公式得到融合图像：
其中，Om表示最后一层PCA滤波卷积层的第m张输出图像，wm表示Om的方差。
S122将得到的融合图像归一化到[0,255]，得到归一化后的融合图像。
S2通过图像强度分布处理单元获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域。
本步骤的具体操作为：通过图像强度分布处理单元，先将归一化后的融合图像Ω分成大小为3×3的图像块，然后计算每个图像块的平均灰度值，以整个图像平均灰度值的两倍作为灰度阈值，并将该图像块的平均灰度值与灰度阈值进行比较。若该图像块的平均灰度值不低于灰度阈值，则该区域灰度值重置为255作为缺陷区域，否则该区域作为背景区域，从而将融合图像划分出缺陷区域和背景区域。
S3基于距离变换，通过缺陷提取单元获得检测缺陷结果，包括以下分步骤：
S31将步骤S2划分出缺陷区域和背景区域的融合图像进行二值化处理，得到二值化图像。
具体为：将图像强度分布处理单元得到的融合图像Ω中缺陷区域像素点灰度值置1，背景区域像素点灰度值置0，得到二值化图像Z。
S32按照以下公式对二值化图像进行距离变换得到距离特征图：
其中，(xp，yp)表示前景像素p在二值化图像中的位置，(xq，yq)表示背景像素q在二值化图像中的位置。D(D∈Z)是个灰度图像，它表示p和q之间的最小距离。
S33对距离特征图进行阈值二值化处理，获得保留有缺陷的最终检测结果。
具体为：对得到的距离特征图，按照以下公式进一步进行阈值二值化处理，去除距离特征图像中的噪声，只保留缺陷：
其中，Θ(x,y)表示检测结果图像中第x行第y列对应位置的灰度值，Θ中灰度值为255的区域即为缺陷区域；
表示图像D的最大距离值，α是给定的常系数(本实施例中取0.3)，D(x,y)表示距离灰度图像D中第x行第y列对应位置的灰度值。
至此，可以得到精确的缺陷检测结果。
图5中展示了DAGM 2007数据集八个不同类型子集中的样本按照上述步骤S1-S3进行处理得到的实验结果。图5中从左至右依次展示了DAGM 2007数据集中8个不同类别的缺陷，可以看出，图5(a)是不同类别缺陷的原始图像，其中缺陷分别用圆圈标记。图5(b)显示了经基于PCA滤波卷积的特征提取单元处理后的显著性图像。很明显，显著性图像中的前景和背景具有不同的灰度值强度分布。此外，该分布特征可用于加强缺陷的权重，然后获得距离特征，例如图5(c)中的样本。在图5(c)中，灰度值用距离值表示，缺陷的灰度值明显高于其他区域的灰度值。最后，图5(d)中的展示了通过阈值过滤掉一些噪声后的缺陷检测结果图。这里没有展示标签图像，因为标签图像并不是像素级别标注，仅标注了粗略地范围，没有可比性。
为了验证本发明提供的无监督学习的缺陷检测方法的有效性，进一步将其与PCANet(T.H.Chan,K.Jia,S.Gao,J.Lu,Z.Zeng,Y.Ma,Pcanet:A simpledeep learningbaseline for image classification,IEEE Transactions onImage Processing 24(2015)5017–5032)在同样数据集上的测试结果相比，在DAGM 2007数据集上从准确性、精度、召回率和F1分数等方面比较了这两种方法，为了更直观地评价所提方法的有效性，结果如表1所示。
表1 SPCA-net与PCA-net在DAGM 2007数据集上测试结果比较
注：1、SPCA-net对应实施例1提供的基于无监督学习的缺陷检测系统；
2、PCA-net无法对第7、8个子集进行缺陷检测。
结果表明本发明所提的无监督学习的缺陷检测系统在准确率、精确度、召回率和F1分数方面远高于PCANet，这说明本发明提供的无监督学习的缺陷检测系统比PCANet表现更好。除此之外，PCANet是一种监督学习方法，它占用大量内存，不利于在计算能力有限的设备上集成。相反，本发明所提出的无监督学习的缺陷检测系统不需要长时间训练，模型文件只有20KB以内。此外，在召回率和准确率方面与其他无监督的最先进方法进行了比较，结果如表2所示。
表2不同缺陷检测方法在DAGM 2007集上的检测性能对比
注：(1)Statistical feature方法参见X.Jiang,P.Scott,D.Whitehouse,Wavelets and their applications forsurface metrology,CIRP Annals-Manufacturing Technology 57(2008)555–558；
(2)Weibull方法参见F.Timm,E.Barth,Non-parametric texture defectdetection usingweibull features,Proceedings of SPIE-The International SocietyforOptical Engineering 7877(2011)；
(3)准确率为所有子集的平均值。
由此可见，本发明所提供的无监督学习的缺陷检测系统及方法在不同类型的数据集上均表现良好，平均精度高于其他方法。
(二)KolektorSDD数据集
为了说明本发明所提方法在不同领域的有效性，还在KolektorSDD数据集上评估了所提出的方法，而且与现有的方法进行了比较。KolektorSDD数据集收集了电子换向器的图像图像，包括52张缺陷图像和347张非缺陷图像。本应用例中随机抽取5张缺陷图像样本作为训练用图像。
由于卷积核的大小和PCA滤波器数量对显著性特征的提取影响较大，因此为了得到最合适的特征提取单元，利用3×3、5×5、7×7和9×9等不同尺寸卷积核大小以及2～9不同PCA滤波器数量(即n1、n2分别取2～9)的基于PCA滤波卷积的特征提取单元，然后利用5张缺陷图像样本对构建的特征提取单元进行训练。结果表明，当基于PCA滤波卷积的特征提取单元具有9×9大小的卷积核，同时PCA滤波器数量满足n1＝2、n2＝2时，最适合形状为细长型类似于裂缝的缺陷。
为了更直观地呈现每一步的图像处理结果，将KolektorSDD数据集的图像分别输入训练好的基于无监督学习的缺陷检测系统，按照前面给出的步骤S1-S3执行操作，得到相应的缺陷检测结果。图6给出了部分缺陷图像和无缺陷图像的检测结果。从图中可以看出，本发明提供的基于无监督学习的缺陷检测系统能够精准的提取图像中的缺陷。
为了证明本发明方法的性能，还与现有的方法DeepLab v3+(Chen et al)、CognexViDi(commercial software)、U-Net(Ronneberger et al)进行了比较，结果如表3所示。除本发明所提出的方法，其他的方法都是监督学习，实验中分别使用了5、10和20张缺陷训练样本进行训练。从表3中可以看出，本发明所提供的基于无监督学习的缺陷检测方法在Pr上几乎优于其他方法。更值得注意的是，表4显示了本发明提供的基于无监督学习的缺陷检测系统仅使用814个参数就可以实现缺陷检测的结果，而U-Net和DeepLab v3+分别具有多达31.1mio和41.1mio的参数。此外，本发明所提方法是无监督的，不需要长期的预训练，并且对算力没有限制。
表3在KolektorSDD数据集上与现有方法的检测结果对比
注：(1)DeepLab v3+方法参见D.Weimer,B.Scholz-Reiter,M.Shpitalni,Designof deep convolutionalneural network architectures for automated featureextraction in industrial inspection,CIRP Annals-Manufacturing Technology 65(2016)417–420；
(2)CognexViDi方法参见D.Tabernik,S.Ela,J.Skvar,D.Skoaj,Segmentation-based deeplearning approach for surface-defect detection,Journal ofIntelligentManufacturing 31(2020)；
(3)、U-Net方法参见Ronneberger O,Fischer P,Brox T.U-Net:ConvolutionalNetworks for Biomedical Image Segmentation[J].International Conference onMedical Image Computing and Computer-Assisted Intervention,2015.。
表4不同缺陷检测方法训练参数对比
注：(1)mio表示百万；
(2)N/A表示没有参数量。
(三)气体绝缘开关设备检测数据集(GIS数据集)
在电力系统中，气体绝缘开关设备(GIS)是变电站的关键设备之一，在电力传输过程中必不可少。为了确保本发明提出的基于无监督学习的缺陷检测方法能够有效地应用于电力运输系统GIS设备的异常检测，在GIS设备中收集了大约267幅缺陷图像和42幅非缺陷图像作为GIS数据集。本应用例中随机抽取5张缺陷图像样本作为训练用图像。
由于卷积核的大小和PCA滤波器数量对显著性特征的提取影响较大，因此为了得到最合适的特征提取单元，利用3×3、5×5、7×7和9×9等不同尺寸卷积核大小以及2～9不同PCA滤波器数量(即n1、n2分别取2～9)的基于PCA滤波卷积的特征提取单元，然后利用5张缺陷图像样本对构建的特征提取单元进行训练。结果表明，当基于PCA滤波卷积的特征提取单元具有9×9大小的卷积核，同时PCA滤波器数量满足n1＝3、n2＝3时，可以最好地提取图像显著性特征。
为了更直观地呈现每一步的图像处理结果，将GIS设备中收集的缺陷和非缺陷图像输入训练好的基于无监督学习的缺陷检测系统，按照前面给出的步骤S1-S3执行操作，得到相应的缺陷检测结果。
图7为不同光强下GIS设备中螺丝、绝缘线、螺母等异常检测结果。从图中可以看出，采用本发明提供的基于无监督学习的缺陷检测系统及方法能够实现对下GIS设备中异常情况的有效检测。
表5给出了本发明提供的基于无监督学习的缺陷检测方法在GIS数据集上的缺陷检测结果。从表5可以看出，本发明提供的基于无监督学习的缺陷检测方法在GIS数据集上具有较高的精确率、召回率和准确度。
表5 GIS数据集实验结果
(四)三个数据集共同比较
通过前面在上述三种不同类型的数据集上对不同的检测方法的实验结果对比，表明本发明所提供的方法在大多数不同的工业领域都具有良好的性能。此外，为了证明该方法不仅适用于各种领域的表面缺陷检测，而且具有计算量小的特点。在三个数据集上，将Faster-RCNN(S.Ren,K.He,R.Girshick,J.Sun,Faster r-cnn:Towards real-timeobjectdetection with region proposal networks,IEEE Transactions onPattern Analysis&Machine Intelligence 39(2017)1137–1149)和分割决策网络(D.Tabernik,S.Ela,J.Skvar,D.Skoaj,Segmentation-based deeplearning approach for surface-defectdetection,Journal of IntelligentManufacturing 31(2020))方法与本发明所提供的方法在实验结果和参数量等方面进行比较。由于Faster-RCNN对训练样本的数量不敏感，而分割决策网络在训练数据有限的情况下，训练样本数越多测试结果越好；考虑到KolektorSDD数据集缺陷样本数有限，所以每个数据集(对于DAGM2007数据集，这里是指其每个类别)均选择了30张缺陷图像对三种方法进行训练，然后再在相应数据集上进行测试，比较测试结果如表6所示，所使用模型的参数量和计算量见表7所示。由于3×3的卷积核大小在所有数据集上都有一个较好的检测结果，因此表7中本发明所提供的方法选取了3×3大小的卷积核，PCA滤波器数量满足n1＝4、n2＝4进行实验及结果展示。结果表明，本发明提供的方法的性能几乎优于分割决策网络，除了KolektorSDD数据集中的缺陷对于背景来说太小使得Faster-RCNN无法检测以外，Faster-RCNN的性能是最好的。但是，从表7中可以看出每种方法的参数，与Faster-RCNN和分割决策网络相比，本发明方法所使用的基于无监督学习的缺陷检测系统的参数量和计算量都非常小。由此可见，本发明方法使用的缺陷检测系统在保持良好检测性能的同时具有极少的参数量。
表6不同缺陷检测方法在三个数据集上检测性能比较
注：Faster-RCNN无法对KoletorSDD数据集和DAGM 2007数据集中类别7中图像进行缺陷检测；决策分割网络无法对DAGM 2007数据集中类别1中图像进行缺陷检测。
表7不同缺陷检测方法训练参数和计算量对比
注：(1)mio表示百万；
(2)Bil表示十亿。
综上所述，针对以重复的结构化纹理为背景的表面缺陷，本发明提出了一种简单的无监督学习的缺陷检测系统及方法，基于PCA滤波卷积，利用PCA自适应学习合适的卷积核将背景区域与缺陷区域分离，然后通过分析显著性图像灰度值分布，利用距离变换，准确地获取缺陷。与现有的方法进行比较和验证后，证明了本发明不仅性能良好，而且结构简单，计算成本小，适用于计算资源有限的移动设备。同时，本发明也证明了该方法适用于多种工业领域，并在各种数据集上具有良好的泛化性。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (9)
1.一种基于无监督学习的缺陷检测系统，其特征在于，包括：
基于PCA滤波卷积的特征提取单元，用于对待处理图像的纹理特征进行提取；其包括级联在一起的至少两层PCA滤波卷积层和位于最后一层PCA滤波卷积层后的自适应特征融合模块；PCA滤波卷积层由一个以上的PCA滤波器构成，前一层PCA滤波卷积层的各PCA滤波器输出分别作为后一层PCA滤波卷积层各PCA滤波器的输入；自适应特征融合模块用于将最后一层PCA滤波卷积层输出的各特征图像进行融合；
图像强度分布处理单元，用于获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域；
缺陷提取单元，用于通过距离变换获得检测缺陷结果。
2.根据权利要求1所述基于无监督学习的缺陷检测系统，其特征在于，所述基于PCA滤波卷积的特征提取单元中，对于任一PCA滤波卷积层，设PCA滤波卷积层的卷积核大小为k×k，假设输入图像O的大小为W×H，收集经卷积核大小k×k卷积提取输入图像的所有图像块，即P1，P2，P3，...，Pi，...∈Rkk，其中Pi表示第i个图像块，从每个图像块中去除均值获得
其中，并且是一个去均值后的图像块；是一个大小的新矩阵；那么的协方差矩阵∑表示为：
其中，cij表示和的协方差，因此得到了矩阵的主成分分量；
假设存在正交矩阵通过正交变换得到进而推断出通过最大化可以求取每个维度的方差之和；因此将问题转为求取：
s.t.AAT＝In×n其中In×n是一个大小为n×n的单位矩阵；
根据拉格朗日乘子法，求解特征向量和特征值，并将特征值按照从大到小顺序排列，取前n个特征值对应的特征向量作为的前n维主特征向量因此PCA滤波器可以表达为：
其中，Fl表示第l个滤波器，matk，k(ν)表示将ν∈Rkk映射至矩阵l(·)代表的n维主特征向量；
利用n个PCA滤波器来获取输入图像的特征，得到各滤波器的输出为
Ol＝O*Fl，l＝1，2，...，n
其中，*表示卷积。
3.根据权利要求1或2所述基于无监督学习的缺陷检测系统，其特征在于，所述基于PCA滤波卷积的特征提取单元包括两层PCA滤波卷积层；每层PCA卷积层包括2～9个PCA滤波器。
4.根据权利要求1或2所述基于无监督学习的缺陷检测系统，其特征在于，所述自适应特征融合模块按照以下公式对最后一层PCA滤波卷积层的输出图像进行融合：
其中，Om表示最后一层PCA滤波卷积层的第m张输出图像，wm表示Om的方差。
5.根据权利要求4所述基于无监督学习的缺陷检测系统，其特征在于，将融合后的图像Ω进一步归一化至[0,255]。
6.根据权利要求1所述基于无监督学习的缺陷检测系统，其特征在于，所述缺陷提取单元，首先将经图像强度分布处理单元处理后的融合图像进行二值化处理，即将图像强度分布处理单元得到的融合图像中缺陷区域像素点灰度值置1，背景区域像素点灰度值置0，得到二值化图像Z，再按照以下公式进行距离变换得到距离特征图：
其中，(xp，yp)表示前景像素p在二值化图像中的位置，(xq，yq)表示背景像素q在二值化图像中的位置。
7.根据权利要求6所述基于无监督学习的缺陷检测系统，其特征在于，以距离变换的结果作为阈值参数，按照以下公式对所述距离特征图进行阈值二值化处理，得到最终缺陷检测结果：
其中，Θ(x,y)表示检测结果图像Θ中第x行第y列对应位置的灰度值，表示图像D的最大距离值，α是给定的常系数，D(x,y)表示距离灰度图像D中第x行第y列对应位置的灰度值。
8.一种基于无监督学习的缺陷检测方法，其特征在于利用权利要求1至7任一权利要求所述缺陷检测系统按照以下步骤进行：
S1通过基于PCA滤波卷积的特征提取单元对待处理图像的纹理特征进行提取，包括以下分步骤：
S11通过级联在一起的至少两层PCA滤波卷积层对输入的待处理图像进行卷积处理；前一层PCA滤波卷积层的各PCA滤波器输出分别作为后一层PCA滤波卷积层各PCA滤波器的输入；
S12通过自适应特征融合模块将最后一层PCA滤波卷积层输出的各特征图像进行融合，得到融合图像；
S2通过图像强度分布处理单元获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域；
S3基于距离变换，通过缺陷提取单元获得检测缺陷结果。
9.根据权利要求8所述基于无监督学习的缺陷检测方法，其特征在于步骤S3包括以下分步骤：
S31将步骤S2划分出缺陷区域和背景区域的融合图像进行二值化处理，得到二值化图像；
S32依据二值化图像，通过距离变换得到距离特征图；
S33对距离特征图进行阈值二值化处理，获得保留有缺陷的最终检测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111169895.8A CN114155186B (zh) | 2021-10-08 | 2021-10-08 | 基于无监督学习的缺陷检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111169895.8A CN114155186B (zh) | 2021-10-08 | 2021-10-08 | 基于无监督学习的缺陷检测系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114155186A CN114155186A (zh) | 2022-03-08 |
| CN114155186B true CN114155186B (zh) | 2023-05-12 |
Family
ID=80462531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111169895.8A Active CN114155186B (zh) | 2021-10-08 | 2021-10-08 | 基于无监督学习的缺陷检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114155186B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565607B (zh) * | 2022-04-01 | 2024-06-04 | 汕头市鼎泰丰实业有限公司 | 基于神经网络的织物缺陷图像分割方法 |
| CN117576095B (zh) * | 2024-01-16 | 2024-04-05 | 南京航空航天大学 | 一种多尺度学习任务的金属表面缺陷检测和分类方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593670A (zh) * | 2013-10-14 | 2014-02-19 | 浙江工业大学 | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 |
| CN105913419A (zh) * | 2016-04-07 | 2016-08-31 | 南京汇川图像视觉技术有限公司 | 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法 |
| CN106650770A (zh) * | 2016-09-29 | 2017-05-10 | 南京大学 | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 |
| CN107341499A (zh) * | 2017-05-26 | 2017-11-10 | 昆明理工大学 | 一种基于无监督分割和elm的织物缺陷检测和分类方法 |
| JP2019078640A (ja) * | 2017-10-25 | 2019-05-23 | Ｊｆｅスチール株式会社 | 表面欠陥検出方法及び表面欠陥検出装置 |
| CN112070727A (zh) * | 2020-08-21 | 2020-12-11 | 电子科技大学 | 一种基于机器学习的金属表面缺陷检测方法 |
| CN112541889A (zh) * | 2020-12-02 | 2021-03-23 | 杭州安脉盛智能技术有限公司 | 一种多层级模型的复杂纹理对象表面缺陷检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9514391B2 (en) * | 2015-04-20 | 2016-12-06 | Xerox Corporation | Fisher vectors meet neural networks: a hybrid visual classification architecture |
| CN115423737A (zh) * | 2022-04-22 | 2022-12-02 | 中国石油大学(华东) | 基于多块主成分分析网络的晶圆图缺陷检测方法 |
-
2021
- 2021-10-08 CN CN202111169895.8A patent/CN114155186B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103593670A (zh) * | 2013-10-14 | 2014-02-19 | 浙江工业大学 | 一种基于在线序列极限学习机的铜板带表面缺陷检测方法 |
| CN105913419A (zh) * | 2016-04-07 | 2016-08-31 | 南京汇川图像视觉技术有限公司 | 基于ICA学习和多通道融合的TFT-LCD mura缺陷检测方法 |
| CN106650770A (zh) * | 2016-09-29 | 2017-05-10 | 南京大学 | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 |
| CN107341499A (zh) * | 2017-05-26 | 2017-11-10 | 昆明理工大学 | 一种基于无监督分割和elm的织物缺陷检测和分类方法 |
| JP2019078640A (ja) * | 2017-10-25 | 2019-05-23 | Ｊｆｅスチール株式会社 | 表面欠陥検出方法及び表面欠陥検出装置 |
| CN112070727A (zh) * | 2020-08-21 | 2020-12-11 | 电子科技大学 | 一种基于机器学习的金属表面缺陷检测方法 |
| CN112541889A (zh) * | 2020-12-02 | 2021-03-23 | 杭州安脉盛智能技术有限公司 | 一种多层级模型的复杂纹理对象表面缺陷检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| NaiXue Zhang等.Rethinking unsupervised texture defect detection using PCA.《Optics and Lasers in Engineering》.2023,第163卷(第2023期),1-11. * |
| Wei Ke等.PEDESTRIAN DETECTION VIA PCA FILTERS BASED CONVOLUTIONAL CHANNEL FEATURES.《 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》.2015,1394-1398. * |
| Yun Sun等.On the Algorithm of Analyzing the Features of Magnetic Flux Leakage Signal for Pipeline Defect Based on PCA.《2017 36th Chinese Control Conference (CCC)》.2017,5434-5438. * |
| 王思琦.基于PCA的纸张双面缺陷辨识系统研究.《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》.2021,(第2期),B016-1650. * |
| 郭永彩等.基于主成分分析的表面缺陷自动检测算法.《计算机工程》.2013,第39卷(第2期),216-224. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114155186A (zh) | 2022-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | An automated defect detection approach for catenary rod-insulator textured surfaces using unsupervised learning | |
| He et al. | Deep regression neural network for industrial surface defect detection | |
| Hsu et al. | Ensemble convolutional neural networks with weighted majority for wafer bin map pattern classification | |
| CN114155186B (zh) | 基于无监督学习的缺陷检测系统及方法 | |
| CN110232380A (zh) | 基于Mask R-CNN神经网络的火灾夜间场景复原方法 | |
| CN111044570A (zh) | 电力设备的缺陷识别及预警方法、装置及计算机设备 | |
| CN114170184A (zh) | 一种基于嵌入特征向量的产品图像异常检测方法及装置 | |
| Lv et al. | Few-shot learning combine attention mechanism-based defect detection in bar surface | |
| Wan et al. | LFRNet: Localizing, focus, and refinement network for salient object detection of surface defects | |
| Lien et al. | Product surface defect detection based on deep learning | |
| CN115861981A (zh) | 基于视频姿态不变性的驾驶员疲劳行为检测方法及系统 | |
| Zhang et al. | Rethinking unsupervised texture defect detection using PCA | |
| Aydin et al. | Defect classification of railway fasteners using image preprocessing and alightweight convolutional neural network | |
| Chen et al. | Mechanical assembly monitoring method based on depth image multiview change detection | |
| Xu et al. | Multiple guidance network for industrial product surface inspection with one labeled target sample | |
| CN112419243B (zh) | 一种基于红外图像分析的配电房设备故障识别方法 | |
| CN112614094B (zh) | 基于序列状态编码的绝缘子串异常定位识别方法 | |
| CN115861306B (zh) | 一种基于自监督拼图模块的工业品异常检测方法 | |
| CN114119562B (zh) | 一种基于深度学习的刹车盘外表面缺陷检测方法及系统 | |
| Zhang et al. | Reliable and robust weakly supervised attention networks for surface defect detection | |
| Bi et al. | CASA-Net: a context-aware correlation convolutional network for scale-adaptive crack detection | |
| CN114972871A (zh) | 基于图像配准的少样本图像异常检测方法及系统 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| Bhavani et al. | Robust 3D face recognition in unconstrained environment using distance based ternary search siamese network | |
| Ren et al. | A linear hybrid classifier for fingerprint segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |