CN112884721B - 一种异常检测方法、系统及计算机可读存储介质 - Google Patents
一种异常检测方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112884721B CN112884721B CN202110135474.7A CN202110135474A CN112884721B CN 112884721 B CN112884721 B CN 112884721B CN 202110135474 A CN202110135474 A CN 202110135474A CN 112884721 B CN112884721 B CN 112884721B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- rectangular
- neural network
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 122
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000005856 abnormality Effects 0.000 title claims description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000005520 cutting process Methods 0.000 claims abstract description 20
- 239000004744 fabric Substances 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 71
- 238000000034 method Methods 0.000 claims description 42
- 238000013527 convolutional neural network Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000003709 image segmentation Methods 0.000 claims description 36
- 238000000605 extraction Methods 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 25
- 239000000203 mixture Substances 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 208000030533 eye disease Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种异常检测方法、系统及计算机可读存储介质,本发明的方法包括:步骤S1,获取待检测图像;步骤S2,检测所述待检测图像是否存在异常,如果是则直接输出检测结果;否则继续执行步骤S3;步骤S3,将所述待检测图像分割成单一风格图形;其中,所述单一风格图形是指所述待检测图像上具有一致性特征的图像区域;步骤S4,对每一所述单一风格图形进行矩形切块处理;步骤S5,判断切块处理得到的每一待检测矩形切块是否存在异常。本发明采用一种分级检测方法,能够对图像的大尺寸异常区域进行检测,同时能够对图像的小尺寸异常区域进行检测,提高了检测精度和检测效率。
Description
技术领域
本发明属于人工智能、图像处理技术领域,具体涉及一种异常检测方法、系统及计算机可读存储介质。
背景技术
布匹生产中,布匹图像异常检测一直是一个非常重要的环节。随着技术的发展,产品功能升级,用户对产品品质也提出了更高的要求,这就要求企业有更严格的质量检测标准,和更有效的质量检测手段,其中主要依赖视觉的布匹质量检测是整个质量检测系统中的难点和高成本点。目前常见的布匹图像异常检测方法,概括起来有四种:一是质检人员通过肉眼检测异常;二是通过视觉图像模版匹配检测异常;三是通过矩阵分解,比较正常模板数据和待检测数据的稀疏表示差异,实现异常检测;四是基于深度学习的神经网络模型,通过学习大量的训练数据,实现对异常的检测。
质检人员肉眼检测布匹图像异常,存在明显的缺点。由于人眼疲劳,这种检测方式通常容易出现漏检,如果要保证出货中极高的良品率,则会安排多次筛检和抽检,对企业来说,意味着大量的人力成本投入,对质检人员来说,长期眼部疲劳,增加了眼睛的犯病风险。
视觉图像模版匹配异常检测方法的缺点在于定制化强,对图像数据采集的质量要求很高,通常要求被检测对象的姿态和相机的姿态固定,并且对光照敏感,意味着需要复杂昂贵的设备以及高昂的设备调试维护成本。
矩阵分解是一种对图像特征进行压缩表示的方式,相比于视觉图像模版匹配有更好的鲁棒性,不要求参考图片和待检测严格一致,能检测弱纹理图像上的异常问题。缺点是对于具有两种及两种以上具有明显差异的图案相互嵌套的复杂图像上的异常问题,不具备检测能力。
基于深度学习的神经网络模型是一种泛化能力比较强的目标检测方法,通常包括:有监督方法,半监督方法和无监督方法。所述的有监督方法是指需要大量的标签数据对模型进行训练,通常对于训练数据中出现过的异常目标的检测效果较好,缺点在于对未在训练数据集中出现过的异常类型召回率较低,同时要收集到足够的异常数据,以及对数据进行处理和标注需要大量的人力劳动。所述的半监督方法是指需要少量的标签数据和大量的无标签数据对模型进行训练,优点在于减少了数据标注的成本,缺点是检测效果会比有监督模型的训练结果稍差,同时无法很好解决在训练数据集中没有出现过的异常类型检测效果差的问题。所述的无监督方法是指仅需要大量的无标签的数据对模型进行训练,该方法减少了数据标注的成本,同时不考虑异常对象的不可预测性,缺点是大多数情况下的检测效果较差,只在异常特征相对正常图像比较显著的情况下有一定效果。除此之外,基于深度学习的神经网络存在对不显著的小尺寸异常区域不敏感的问题,特别是异常区域背景复杂的情况。
发明内容
为了解决现有布匹质量检测技术存在的效率低、成本高或精度差的技术问题,本发明提供了的一种异常检测方法,本发明能够高效检出非固定姿态下具有复杂图案的布匹图像异常。
本发明通过下述技术方案实现:
一种异常检测方法,本发明的方法包括以下步骤:
步骤S1,获取待检测图像;
步骤S2,检测所述待检测图像是否存在异常,如果是则直接输出检测结果;否则继续执行步骤S3;
步骤S3,将所述待检测图像分割成单一风格图形;其中,所述单一风格图形是指所述待检测图像上具有一致性特征的图像区域;
步骤S4,对每一所述单一风格图形进行矩形切块处理;
步骤S5,判断切块处理得到的每一待检测矩形切块是否存在异常。
本发明提出的异常检测方法,通过对图像异常进行分级处理(大尺寸异常检测+小尺寸异常检测的两级处理方式),能够保证显著的大尺寸异常区域的检测效率,同时保证不显著的小尺寸异常区域具有良好的检测效果,能够高效实现产品在各个姿态下的外观异常区域检测。
优选的,本发明的步骤S2具体包括以下步骤:
采用深度卷积神经网络训练模型的特征提取网络对所述待检测图像进行关键特征提取;
计算待检测图像的关键特征属于高斯混合模型的概率P(Xtest);
判断该概率P(Xtest)是否小于阈值thresholdgmm,如果是则判断该待检测图像存在异常;否则判断该待检测图像正常;
其中,所述阈值thresholsgmm是通过计算无异常的图像样本集中的图像的关键特征属于所述高斯混合模型的概率,并取所有概率中的最小值得到。
本发明利用神经网络强大的特征提取能力,能够实现图像中显著的大尺寸异常区域检测,提高了检测效率和检测精度。
本发明通过图像分割和矩形切块处理简化输入数据的背景特征,充分利用稀疏重构方法对微小变化敏感的特性,能够实现对不显著的小尺寸异常区域的检测。另外,由于所述字典矩阵是基于提取正常布匹图像数据库中所有样本的共有特征,因此该字典矩阵对正常布匹图像有很好的表示能力,则对于正常布匹图像基于该字典矩阵的稀疏重建误差较小,但是对异常布匹图像的表示能力明显较弱,则对于异常布匹图像基于该字典矩阵的稀疏重建误差较大,因此所述方法能够有效实现复杂图案中的异常检测。优选的,本发明的步骤S3具体包括以下步骤:
采用深度卷积神经网络训练模型的特征提取网络对所述待检测图像进行关键特征提取;
采用深度卷积神经网络训练模型的图像分割网络从所述待检测图像的关键特征提取得到所述待检测图像中多个单一风格图形对应的掩膜图;
分别将所述待检测图像和每一单一风格图形对应的掩膜图进行与操作,生成对应的单一风格图形。
优选的,本发明的步骤S5的异常判断过程包括:
对数据矩阵D∈Rm×(In)进行PCA降维处理得到的字典矩阵Dk∈Rm×k;其中,数据矩阵D是指将矩形切块训练数据集Datasettrain中的所有数据Di在第二个维度上顺序连接起来;
根据所述字典矩阵Dk和正交匹配算法计算所述待检测矩形切块的稀疏表示xtest;
根据所述待检测矩形切块和所述待检测矩形切块的稀疏表示xtest计算待检测矩形切块的重建误差etest;
判断所述重建误差etest是否大于阈值thresholde,如果是则判定该待检测矩形切块存在异常,否则判定该待检测矩形切块正常。
优选的,本发明的阈值thresholde获取过程包括:
根据所述字典矩阵Dk和正交匹配算法计算矩形切块训练数据集中所有矩形切块的稀疏表示;
根据所述矩形切块训练数据集与其对应的稀疏表示计算矩形切块训练数据集中的所有矩形切块的重建误差;
选择所有重建误差中的最大值作为阈值thresholde。
本发明采用的深度卷积神经网络训练模型通过将正常图像、正常图像单一风格图形掩膜图输入到深度卷积神经网络中生成预测图像,以及预测图像单一风格图形掩膜图,通过计算预测图像与正常图像的差异得到图像重建损失,通过计算预测图像单一风格图形掩膜图与正常图像单一风格图形掩膜图得到图像分割损失,将图像重建损失和图像分割损失加权求和得到深度卷积神经网络的总损失,并由所述总损失更新深度卷积神经网络从而得到神经卷积神经网络训练模型。由于上述的图像分割网络和图像重建网络共用同一个特征提取网络,两种损失相互约束,实现更加精准的布匹图像分割和实现所述特征表示对图像更加精准的描述,为本发明的第一级检测和第二级检测的检测效果提供有力支撑,从而得到更好的异常检测效果。
优选的,本发明的深度卷积神经网络训练模型包括特征提取网络、图像重构网络以及图像分割网络;
所述深度卷积神经网络训练模型的训练过程包括:
步骤一,获取训练数据,所述训练数据包括正常图像及其对应的单一风格图形掩膜图;
步骤二,将获取的正常图像输入到深度卷积神经网络,生成预测图像和预测图像单一风格图形掩膜图;
步骤三,将所述正常图像及其预测图像输入到所述深度卷积神经网络的图像重构网络,得到图像重构损失;
步骤四,将所述正常图像对应的单一风格图形掩膜图及其预测图像单一风格图形掩膜图输入到所述深度卷积神经网络的图像分割网络,得到图像分割损失;
步骤五,根据所述图像重构损失和图像分割损失加权得到总损失,采用所述总损失更新所述深度卷积神经网络;
步骤六,重复执行步骤二至步骤五,直到所述深度卷积神经网络的总损失最小,从而得到深度卷积神经网络训练模型。
优选的,本发明的方法用于布匹质量检测。本发明不受布匹产品材质、异常类型等的限制,本发明可以实现多种类型布匹图像的异常区域检测。
另一方面,本发明还提出了一种异常检测系统,该系统包括第一级检测模块和第二级检测模块;
所述第一级检测模块用于获取待检测图像并检测待检测图像是否存在异常,如果是则输出检测结果,否则将待检测图像传输给所述第二级检测模块;
所述第二级检测模块用于将待检测图像分割成单一风格图形;其中,所述单一风格图形是指所述待检测图像上具有一致性特征的图像区域;
所述第二级检测模块对每一单一风格图形进行矩形切块处理,并判断切块处理得到的每一待检测矩形切块是否存在异常。
优选的,本发明的检测系统还包括训练模块;
所述训练模块用于获取训练数据,所述训练数据包括正常图像及其对应的单一风格图形淹没图;
所述训练模块将训练数据输入到深度卷积神经网络中进行训练得到所述第一级检测模块中的特征提取模型以及所述第二级检测模块中的图像分割模型。
本发明的检测系统中各模块的执行设备不受限制,即可分别于不同执行设备上执行,也可集成于同一执行设备上执行。
此外,本发明还提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本发明上述方法的步骤。
本发明具有如下的优点和有益效果:
1、本发明提出一种分级检测方法,能够对图像的大尺寸异常区域进行检测,同时能够对图像的小尺寸异常区域进行检测,提高了检测精度和检测效率。
2、本发明充分利用了神经网络的特征提取功能快速检测大尺寸异常区域,并通过图像分割和矩形切块处理简化输入数据的背景特征,利用稀疏重建方法对微小变化敏感的特点,能够实现不显著的小尺寸异常区域的检测,能够实现产品在不同姿态下的外观异常检测。
3、本发明的检测方法特别适用于非固定姿态下具有复杂图案的布匹质量检测,当然本发明还能够应用于相似产品质量检测。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明的检测方法流程示意图。
图2为本发明的大尺寸异常检测流程示意图。
图3为本发明的大尺寸异常检测效果示意图。
图4为本发明的单一风格图形生成流程示意图。
图5为本发明的单一风格图形分割及矩形切块效果示意图。
图6为本发明的小尺寸异常判定流程示意图。
图7为本发明的小尺寸异常判定效果示意图。
图8为本发明的卷积神经网络架构示意图。
图9为本发明的卷积神经网络训练流程示意图。
图10为本发明的计算机设备结构示意图。
图11为本发明的检测系统原理框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例1
相较于传统的布匹质量检测技术存在效率低、精度差等技术问题,本实施例提出了一种异常检测方法,本实施例的方法采用分级检测方式(大尺寸异常区域检测+小尺寸异常区域检测)能够检出非固定姿态下具有复杂图案的布匹图像异常,提高了检测效率和检测精度。
具体如图1所示,本实施例的检测方法包括以下步骤:
步骤S1,获取待检测图像;本实施例的待检测图片为通过图像采集设备采集得到的待检测布匹图像。
步骤S2,检测待检测图像是否存在异常,如果是则直接输出检测结果;否则继续执行步骤S3。
本实施例的步骤S2对待检测布匹图像进行大尺寸异常区域检测,具体如图2所示,本实施例的大尺寸异常检测过程包括:
步骤S21,采用深度卷积神经网络训练模型的特征提取网络对所述待检测图像进行关键特征提取;
步骤S22,计算待检测图像的关键特征属于高斯混合模型的概率P(Xtest)。
本实施例采用的高斯混合模型是基于特征提取网络提取所有训练数据集的关键特征,并通过EM算法求解高斯混合模型的均值u和标准差σ得到的。
本实施例的高斯混合模型的概率密度函数为:
其中,P(X)为样本X属于高斯混合模型的概率,为样本X属于高斯混合模型中第i个分类的概率,K为高斯混合模型的分类个数,αk为第k个成分的权重系数,uk为第k个成分的均值,σk为第k个成分的标准差。
本实施例将待检测布匹图像的关键特征输入到所述高斯混合模型,计算该待检测布匹图像属于该高斯混合模型的概率P(Xtest)。
步骤S23,判断该概率P(Xtest)是否小于阈值thresholdgmm,如果是则判断该待检测图像存在异常;否则判断该待检测图像正常;具体如图3所示。
其中,所述阈值thresholdgmm是通过计算无异常的布匹图像样本集中的布匹图像的关键特征属于所述高斯混合模型的概率,并取所有概率中的最小值得到,具体如下:
thresholdgmm=min({P(Xi)|i=1,2,...,I})
其中,Xi为第i个样本;P(Xi)为第i个样本属于所述高斯混合模型的概率。
步骤S3,将待检测图像分割成单一风格图形;其中,单一风格图形是指待检测图像上具有一致性特征的图像区域。
具体如图4所示,本实施例的图像分割处理过程包括:
S31,采用深度卷积神经网络训练模型的特征提取网络对所述待检测图像进行关键特征提取。
S32,采用深度卷积神经网络训练模型的图像分割网络从所述待检测图像的关键特征提取得到所述待检测图像中多个单一风格图形对应的掩膜图。
S33,分别将所述待检测图像和每一单一风格图形对应的掩膜图进行与操作,生成对应的单一风格图形。
本实施例中的“与”操作具体过程:
依据所述布匹图像中单一风格图形的类别数,创建对应数量的与所述布匹图像相同尺寸的全零矩阵;
依次遍历所述布匹图像单一风格图形掩膜图的每一个像素,将同一类别的像素点对应在布匹图像上的像素读取出来存入所述全零矩阵,得到所述单一风格图形。
步骤S4,对每一单一风格图形进行矩形切块处理。本实施例的矩形切块是以至少一种矩形尺寸以一定的步长依次扫描并截取所述单一风格图形的非零区域得到的。所述步长是指当前矩形的起始点位置距离上一个矩形起始点位置的像素个数。
本实施例对待检测布匹图像进行图像分割和切块处理后得到如图5所示的矩形块图像。
步骤S5,判断切块处理得到的每一待检测矩形切块是否存在异常(小尺寸异常判定)。
如图6所示,本实施例的小尺寸异常判定过程具体包括:
步骤S51,对数据矩阵D∈Rm×(In)进行PCA降维处理得到的字典矩阵Dk∈Rm×k;其中,数据矩阵D是指将矩形切块训练数据集Datasettrain中的所有数据Di在第二个维度上顺序连接起来。
对所述数据矩阵D进行SVD分解:
D=U∑VT
其中,U∈Rm×m为左奇异矩阵,∑∈Rm×(In)奇异值矩阵,V∈R(In)×(In)为右奇异矩阵,
取前k个最大的奇异值构建对角矩阵∑k∈Rk×k,取前k个最大的奇异值对应的左奇异向量构成Uk∈Rm×k,计算得到:
Dk=Uk∑k;
其中,k是PCA降维后的字典矩阵第二个维度上的尺寸,所述数据矩阵D是将所述矩形切块训练数据集Datasettrain中的所有数据Di在第二个维度上顺序连接起来,即:
D=[D1 D2 … Di … DI],Di∈Datasettrain;
其中,I为训练数据集Datasettrain的大小。
步骤S52,根据所述字典矩阵Dk和正交匹配算法计算所述待检测矩形切块的稀疏表示xtest。
步骤S53,根据所述待检测矩形切块和所述待检测矩形切块的稀疏表示xtest计算待检测矩形切块的重建误差etest。
步骤S54,判断所述重建误差etest是否大于阈值thresholde,如果是则判定该待检测矩形切块存在异常,否则判定该待检测矩形切块正常,从而得到如图7所示的异常判断结果。
本实施例中通过下述过程确定阈值thresholde:
基于字典矩阵Dk和无异常的所述矩形切块数据y,通过优化
yt=Dkxt,satisfying||y-Dkxt||p≤εort=T
求解稀疏表示x,其中,xt为第t次跌代的稀疏表示,ε为是否终止迭代的判别条T件,T为总的迭代次数。
计算重建误差
e=||y-Dkx||p
再计算判别模块的阈值
thresholde=max({ei|i=1,2,...,I}
本实施例中同样采样上述重建误差计算方式计算得到待检测矩形切块的重建误差。
本实施例中采用的如图8所示的深度卷积神经网络训练模型,其包括特征提取网络、图像重构网络和图像分割网络。本实施例的深度卷积神经网络训练模型
本实施例的深度卷积神经网络训练模型训练过程如图9所示,包括:
步骤一,获取训练数据,所述训练数据包括正常图像及其对应的单一风格图形掩膜图。本实施例可以从数据库中获取正常的布匹图像及其单一风格图像掩膜图作为训练数据,也可以是由其他设备或装置传输的布匹图像及布匹图像单一风格图形掩膜图作为训练数据。本实施例中单一风格图形掩膜图是按图像中各个单一风格图形的类型分别以一个固定像素值标记所述单一风格图形区域得到,所述单一风格图形标签具有与所述布匹图像相同的尺寸,所述单一风格图形标签图上的标记区域与所述布匹图像上的单一风格图形区域重合。
步骤二,将获取的正常图像输入到深度卷积神经网络中,生成预测图像和预测图像单一风格图形掩膜图;
步骤三,将所述正常图像及其预测图像输入到所述深度卷积神经网络的图像重构网络,得到图像重构损失;
步骤四,将所述正常图像对应的单一风格图形掩膜图及其预测图像单一风格图形掩膜图输入到所述深度卷积神经网络的图像分割网络,得到图像分割损失;
步骤五,根据所述图像重构损失和图像分割损失加权得到总损失,采用所述总损失更新所述深度卷积神经网络的参数;
步骤六,重复执行步骤二至步骤六,直到深度卷积神经网络的总损失收敛(总损失最小),从而得到深度卷积神经网络训练模型。
本实施例的步骤二具体包括:本实施例中将布匹图像作为输入数据,输入到深度卷积神经网络的特征提取网络,特征提取网络采用但不限于下采样卷积神经网络,对输入的数据进行降维处理,得到输入数据的特征表示。本实施例的深度卷积神经网络的图像重构网络和图像分割网络是一种并列结构,同时接收输入数据的特征表示,图像重构网络采用但不限于上采样卷积神经网络,将输入数据的特征表示恢复到输入数据同样的维度,得到预测布匹图像,图像分割网络采用但不限于上采样卷积神经网络,从输入数据的特征表示提取单一风格图形的特征,得到预测布匹图像单一风格图形掩膜图。
本实施例的步骤三具体包括:
将所述布匹图像、所述预测布匹图像输入图像重建网络。
计算图像重建损失,所述图像重建损失包括像素损失、全变分损失中的至少一种损失。
当所述图像重建损失包括所述像素损失,根据所述布匹图像和所述预测布匹图像得到像素损失,包括:
其中,Lpix是所述像素损失,S是尺度量,为所述预测布匹图像,I为所述布匹图像;表示将所述预测布匹图像和所述布匹图像进行缩放到s尺度量时计算像素差值的i范数损失。
本实施例的像素差值是所述布匹图像与所述预测布匹图像对应位置的像素之间的差值。
当所述图像重建损失包括所全变分损失,根据所述布匹图像和所述预测布匹图像得到全变分损失,包括:
其中,Ltv是所述全变分损失,表示所述预测布匹图像在横向的一阶梯度绝对值,/>表示所述预测布匹图像在纵向的一阶梯度绝对值,其中,W表示所述预测布匹图像的宽,H表示所述预测布匹图像的高,C表示所述预测布匹图像通道数。
本实施例的步骤四具体包括:
将所述布匹图像单一风格图形掩膜图、所述预测布匹图像单一风格图形掩膜图输入图像分割网络;
在一种可能的实现方式中,所述图像分割损失包括:
其中,为平衡交叉熵损失,β定义为/>y为所述布匹图像单一风格图形掩膜图,/>为所述预测布匹图像单一风格图形掩膜图,W表示所述预测布匹图像的宽,H表示所述预测布匹图像的高。
本实施例还提出了一种计算机设备,用于执行本实施例的上述方法。
具体如图10所示,计算机设备包括处理器、存储器和系统总线;存储器和处理器在内的各种设备组件连接到系统总线上。处理器是一个用来通过计算机系统中基本的算术和逻辑运算来执行计算机程序指令的硬件。存储器是一个用于临时或永久性存储计算程序或数据(例如,程序状态信息)的物理设备。系统总线可以为以下几种类型的总线结构中的任意一种,包括存储器总线或存储控制器、外设总线和局部总线。处理器和存储器可以通过系统总线进行数据通信。其中存储器包括只读存储器(ROM)或闪存(图中未示出),以及随机存取存储器(RAM),RAM通常是指加载了操作系统和计算机程序的主存储器。
计算机设备一般包括一个存储设备。存储设备可以从多种计算机可读介质中选择,计算机可读介质是指可以通过计算机设备访问的任何可利用的介质,包括移动的和固定的两种介质。例如,计算机可读介质包括但不限于,闪速存储器(微型SD卡),CD-ROM,数字通用光盘(DVD)或其它光盘存储、磁带盒、磁带、磁盘存储或其它磁存储设备,或者可用于存储所需信息并可由计算机设备访问的任何其它介质。
计算机设备可在网络环境中与一个或者多个网络终端进行逻辑连接。网络终端可以是个人电脑、服务器、路由器、智能电话、平板电脑或者其它公共网络节点。计算机设备通过网络接口(局域网LAN接口)与网络终端相连接。局域网(LAN)是指在有限区域内,例如家庭、学校、计算机实验室、或者使用网络媒体的办公楼,互联组成的计算机网络。WiFi和双绞线布线以太网是最常用的构建局域网的两种技术。
应当指出的是,其它包括比计算机设备更多或更少的子系统的计算机系统也能适用于发明。
如上面详细描述的,适用于本实施例的计算机设备能执行异常检测方法的指定操作。计算机设备通过处理器运行在计算机可读介质中的软件指令的形式来执行这些操作。这些软件指令可以从存储设备或者通过局域网接口从另一设备读入到存储器中。存储在存储器中的软件指令使得处理器执行上述的群成员信息的处理方法。此外,通过硬件电路或者硬件电路结合软件指令也能同样实现本发明。因此,实现本实施例并不限于任何特定硬件电路和软件的组合。
实施例2
本实施例提出一种异常检测系统1,具体如图11所示,本实施例的系统1包括第一级检测模块10和第二级检测模块20;
本实施例的第一级检测模块10用于获取待检测图像并检测待检测图像是否存在异常,如果是则输出检测结果,否则将待检测图像传输给所述第二级检测模块;本实施例的第一级检测模块10用于实现待检测布匹图像的大尺寸异常区域检测。
本实施例的待检测图像采用但不限于图像采集设备采集的待检测布匹图像。
本实施例的第二级检测模块20用于将待检测图像分割成单一风格图形;其中,所述单一风格图形是指所述待检测图像上具有一致性特征的图像区域;
本实施例的第二级检测模块20对每一单一风格图形进行矩形切块处理,并判断切块处理得到的每一待检测矩形切块是否存在异常,本实施例的第二级检测模块20用于实现待检测布匹图像的小尺寸异常区域检测。
本实施例的第一级检测模块10包括特征提取单元101、第一判别单元102。
本实施例的特征提取单元101用于对输入的待检测布匹图像进行特征提取,通过训练深度卷积神经网络得到。本实施例的特征提取单元101采用上述实施例1提出的特征提取方法对待检测布匹图像进行特征提取,此处不再赘述。
本实施例的第一判别单元102计算待检测图像的关键特征是否属于高斯混合模型的概率,并判断该概率是否小于阈值,从而实现大尺寸区域异常检测。本实施例的第一判别单元102采用上述实施例1提出的大尺寸区域异常判定方法对待检测图像的大尺寸异常进行判定,此处不再赘述。
本实施例的第二级检测模块20包括图像分割单元201、矩形切块单元202和第二判别单元203。
本实施例的图像分割单元201用于对待检测布匹图像的特征表示(待检测布匹图像的特征表示通过将待检测布匹图像输入到特征提取单元101进行特征提取获得)进行图像分割,生成单一风格图形;本实施例的图像分割单元201通过训练深度卷积神经网络得到。本实施例的图像分割单元201采用上述实施例1提出的图像分割方法对待检测布匹图像进行图像分割处理,此处不再赘述。
本实施例的矩形切块单元202用于对单一风格图形进行矩形切块处理,从而得到待检测矩形切块图像;本实施例的矩形切块单元202采用上述实施例1提出的矩形切块处理方法对单一风格图形进行矩形切块处理,此处不再赘述。
本实施例的第二判别单元203用于判断待检测矩形切块是否存在异常,从而进行小尺寸异常区域检测,本实施例的第二判别单元203具体采用上述实施例1提出的异常判定方法实现待检测矩形切块的异常判断,此处不再赘述。
本实施例的检测系统1还包括训练模块30,本实施例的训练模块用于训练深度卷积神经网络,具体采用上述实施例1提出的深度卷积神经网络训练方法训练得到第一级检测模块的特征提取单元,以及第二级检测模块的特征提取单元和图像分割单元(本实施例中第一级检测模块和第二级检测模块共用同一个特征提取单元),此处不再赘述。
本实施例的检测系统1中各模块可分别于不同执行设备上实现,也可由同一执行设备实现。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种异常检测方法,其特征在于,该方法包括以下步骤:
步骤S1,获取待检测图像;
步骤S2,检测所述待检测图像是否存在异常,如果是则直接输出检测结果;否则继续执行步骤S3;
步骤S3,将所述待检测图像分割成单一风格图形;其中,所述单一风格图形是指所述待检测图像上具有一致性特征的图像区域;
步骤S4,对每一所述单一风格图形进行矩形切块处理;
步骤S5,判断切块处理得到的每一待检测矩形切块是否存在异常;所述步骤S2具体包括以下步骤:
采用深度卷积神经网络训练模型的特征提取网络对所述待检测图像进行关键特征提取;
计算待检测图像的关键特征属于高斯混合模型的概率P(Xtest);
判断该概率P(Xtest)是否小于阈值thresholdgmm,如果是则判断该待检测图像存在异常;否则判断该待检测图像正常;
其中,所述阈值thresholdgmm是通过计算无异常的图像样本集中的图像的关键特征属于所述高斯混合模型的概率,并取所有概率中的最小值得到;
所述步骤S5的异常判断过程包括:
对数据矩阵D∈Rm×(In)进行PCA降维处理得到的字典矩阵Dk∈Rm×k;其中,数据矩阵D是指将矩形切块训练数据集Datasettrain中的所有数据Di在第二个维度上顺序连接起来;k是所述字典矩阵Dk第二个维度上的尺寸;
根据所述字典矩阵Dk和正交匹配算法计算所述待检测矩形切块的稀疏表示xtest;
根据所述待检测矩形切块和所述待检测矩形切块的稀疏表示xtest计算待检测矩形切块的重建误差etest;
判断所述重建误差etest是否大于阈值thresholde,如果是则判定该待检测矩形切块存在异常,否则判定该待检测矩形切块正常。
2.根据权利要求1所述的一种异常检测方法,其特征在于,所述步骤S3具体包括以下步骤:
采用深度卷积神经网络训练模型的特征提取网络对所述待检测图像进行关键特征提取;
采用深度卷积神经网络训练模型的图像分割网络从所述待检测图像的关键特征提取得到所述待检测图像中多个单一风格图形对应的掩膜图;
分别将所述待检测图像和每一单一风格图形对应的掩膜图进行与操作,生成对应的单一风格图形。
3.根据权利要求1所述的一种异常检测方法,其特征在于,所述阈值thresholde获取过程包括:
根据所述字典矩阵Dk和正交匹配算法计算矩形切块训练数据集中所有矩形切块的稀疏表示;
根据所述矩形切块训练数据集与其对应的稀疏表示计算矩形切块训练数据集中的所有矩形切块的重建误差;
选择所有重建误差中的最大值作为阈值thresholde。
4.根据权利要求1所述的一种异常检测方法,其特征在于,所述深度卷积神经网络训练模型包括特征提取网络、图像重构网络以及图像分割网络;
所述深度卷积神经网络训练模型的训练过程包括:
步骤一,获取训练数据,所述训练数据包括正常图像及其对应的单一风格图形掩膜图;
步骤二,将获取的正常图像输入到深度卷积神经网络,生成预测图像和预测图像单一风格图形掩膜图;
步骤三,将所述正常图像及其预测图像输入到所述深度卷积神经网络的图像重构网络,得到图像重构损失;
步骤四,将所述正常图像对应的单一风格图形掩膜图及其预测图像单一风格图形掩膜图输入到所述深度卷积神经网络的图像分割网络,得到图像分割损失;
步骤五,根据所述图像重构损失和图像分割损失加权得到总损失,采用所述总损失更新所述深度卷积神经网络;
步骤六,重复执行步骤二至步骤五,直到所述深度卷积神经网络的总损失最小,从而得到深度卷积神经网络训练模型。
5.根据权利要求1所述的一种异常检测方法,其特征在于,该方法用于布匹质量检测。
6.一种异常检测系统,其特征在于,该系统包括第一级检测模块和第二级检测模块;
所述第一级检测模块用于获取待检测图像并检测待检测图像是否存在异常,如果是则输出检测结果,否则将待检测图像传输给所述第二级检测模块,异常检测过程包括:采用深度卷积神经网络训练模型的特征提取网络对所述待检测图像进行关键特征提取;
计算待检测图像的关键特征属于高斯混合模型的概率P(Xtest);
判断该概率P(Xtest)是否小于阈值thresholdgmm,如果是则判断该待检测图像存在异常;否则判断该待检测图像正常;
其中,所述阈值thresholdgmm是通过计算无异常的图像样本集中的图像的关键特征属于所述高斯混合模型的概率,并取所有概率中的最小值得到;所述第二级检测模块用于将待检测图像分割成单一风格图形;其中,所述单一风格图形是指所述待检测图像上具有一致性特征的图像区域;
所述第二级检测模块对每一单一风格图形进行矩形切块处理,并判断切块处理得到的每一待检测矩形切块是否存在异常,异常判断过程包括:
对数据矩阵D∈Rm×(In)进行PCA降维处理得到的字典矩阵Dk∈Rm×k;其中,数据矩阵D是指将矩形切块训练数据集Datasettrain中的所有数据Di在第二个维度上顺序连接起来;k是所述字典矩阵Dk第二个维度上的尺寸;
根据所述字典矩阵Dk和正交匹配算法计算所述待检测矩形切块的稀疏表示xtest;
根据所述待检测矩形切块和所述待检测矩形切块的稀疏表示xtest计算待检测矩形切块的重建误差etest;
判断所述重建误差etest是否大于阈值thresholde,如果是则判定该待检测矩形切块存在异常,否则判定该待检测矩形切块正常。
7.根据权利要求6所述的一种异常检测系统,其特征在于,该检测系统还包括训练模块;
所述训练模块用于获取训练数据,所述训练数据包括正常图像及其对应的单一风格图形掩膜图;
所述训练模块将训练数据输入到深度卷积神经网络中进行训练得到所述第一级检测模块中的特征提取模型以及所述第二级检测模块中的图像分割模型。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110135474.7A CN112884721B (zh) | 2021-02-01 | 2021-02-01 | 一种异常检测方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110135474.7A CN112884721B (zh) | 2021-02-01 | 2021-02-01 | 一种异常检测方法、系统及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112884721A CN112884721A (zh) | 2021-06-01 |
CN112884721B true CN112884721B (zh) | 2024-03-29 |
Family
ID=76052261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110135474.7A Active CN112884721B (zh) | 2021-02-01 | 2021-02-01 | 一种异常检测方法、系统及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112884721B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114693685B (zh) * | 2022-06-02 | 2022-08-09 | 深圳市华汉伟业科技有限公司 | 无监督的缺陷检测模型的训练方法、缺陷检测方法 |
CN115661492B (zh) * | 2022-12-28 | 2023-12-29 | 摩尔线程智能科技(北京)有限责任公司 | 图像比对方法、装置、电子设备、存储介质和程序产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708576A (zh) * | 2012-05-18 | 2012-10-03 | 西安电子科技大学 | 基于结构字典的分块图像压缩感知重建方法 |
CN105825200A (zh) * | 2016-03-31 | 2016-08-03 | 西北工业大学 | 基于背景字典学习和结构稀疏表示的高光谱异常目标检测方法 |
CN106919952A (zh) * | 2017-02-23 | 2017-07-04 | 西北工业大学 | 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法 |
CN109117774A (zh) * | 2018-08-01 | 2019-01-01 | 广东工业大学 | 一种基于稀疏编码的多视角视频异常检测方法 |
CN111738054A (zh) * | 2020-04-17 | 2020-10-02 | 北京理工大学 | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 |
CN112150460A (zh) * | 2020-10-16 | 2020-12-29 | 上海智臻智能网络科技股份有限公司 | 检测方法、检测系统、设备和介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9317780B2 (en) * | 2013-10-17 | 2016-04-19 | Xerox Corporation | Detecting multi-object anomalies utilizing a low rank sparsity model |
US10999247B2 (en) * | 2017-10-24 | 2021-05-04 | Nec Corporation | Density estimation network for unsupervised anomaly detection |
-
2021
- 2021-02-01 CN CN202110135474.7A patent/CN112884721B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708576A (zh) * | 2012-05-18 | 2012-10-03 | 西安电子科技大学 | 基于结构字典的分块图像压缩感知重建方法 |
CN105825200A (zh) * | 2016-03-31 | 2016-08-03 | 西北工业大学 | 基于背景字典学习和结构稀疏表示的高光谱异常目标检测方法 |
CN106919952A (zh) * | 2017-02-23 | 2017-07-04 | 西北工业大学 | 基于结构稀疏表示和内部聚类滤波的高光谱异常目标检测方法 |
CN109117774A (zh) * | 2018-08-01 | 2019-01-01 | 广东工业大学 | 一种基于稀疏编码的多视角视频异常检测方法 |
CN111738054A (zh) * | 2020-04-17 | 2020-10-02 | 北京理工大学 | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 |
CN112150460A (zh) * | 2020-10-16 | 2020-12-29 | 上海智臻智能网络科技股份有限公司 | 检测方法、检测系统、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112884721A (zh) | 2021-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
CN110533631B (zh) | 基于金字塔池化孪生网络的sar图像变化检测方法 | |
CN112884721B (zh) | 一种异常检测方法、系统及计算机可读存储介质 | |
CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
CN104281835B (zh) | 基于局部敏感的核稀疏表示的人脸识别方法 | |
CN109598220A (zh) | 一种基于多元输入多尺度卷积的人数统计方法 | |
CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
CN111339902A (zh) | 一种数显仪表的液晶屏示数识别方法及装置 | |
CN116228780B (zh) | 基于计算机视觉的硅片缺陷检测方法及系统 | |
CN116402825B (zh) | 轴承故障红外诊断方法、系统、电子设备及存储介质 | |
CN115861210B (zh) | 一种基于孪生网络的变电站设备异常检测方法和系统 | |
CN113780423A (zh) | 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型 | |
CN114972339A (zh) | 用于推土机结构件生产异常检测的数据增强系统 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
CN116740567A (zh) | 用于泡桐幼苗栽培的土壤含水率检测方法及系统 | |
CN112084874B (zh) | 一种物体检测方法、装置及终端设备 | |
CN110489584B (zh) | 基于密集连接的MobileNets模型的图像分类方法及系统 | |
CN114964628A (zh) | 一种氨气泄漏混洗自注意力轻量化红外检测方法及系统 | |
CN110728615B (zh) | 基于序贯假设检验的隐写分析方法、终端设备及存储介质 | |
CN113222032B (zh) | 基于自注意图像编码的无参考图像质量评价方法 | |
CN117911956B (zh) | 用于食品加工设备的加工环境动态监测方法及系统 | |
CN116152169A (zh) | 基于改进YOLOv5s模型的印刷电路板缺陷检测方法 | |
Pawar et al. | Deep Learning Approach for the Detection of Noise Type in Ancient Images. Sustainability 2022, 14, 11786 | |
CN117036804A (zh) | 书架生产用检测方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220331 Address after: 637000 group 3, Yanjia village, Huilong Town, Yingshan County, Nanchong City, Sichuan Province Applicant after: Wu Jun Address before: No. ol-01-202012007, 3rd floor, building 1, No. 366, north section of Hupan Road, Tianfu New District, Chengdu, Sichuan 610000 Applicant before: Chengdu lantu Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |