CN113554624B - 异常检测方法、装置及计算机存储介质 - Google Patents
异常检测方法、装置及计算机存储介质 Download PDFInfo
- Publication number
- CN113554624B CN113554624B CN202110838462.0A CN202110838462A CN113554624B CN 113554624 B CN113554624 B CN 113554624B CN 202110838462 A CN202110838462 A CN 202110838462A CN 113554624 B CN113554624 B CN 113554624B
- Authority
- CN
- China
- Prior art keywords
- image
- initial
- abnormal
- converter
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 174
- 230000005856 abnormality Effects 0.000 title claims description 48
- 238000003860 storage Methods 0.000 title abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 86
- 238000003062 neural network model Methods 0.000 claims abstract description 71
- 239000000126 substance Substances 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 47
- 230000000694 effects Effects 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种异常检测方法、装置及计算机存储介质，包括：异常检测神经网络模型可以只以标准品图像为训练样本，可以不需要异常品图像为训练样本，在异常检测神经网络模型训练完成之后，编码器可对待测品图像进行编码得到待测品图像编码，进而转换器对待测品图像编码转换得到转换图像、解码器对待测品图像编码进行解码得到重建图像，判断重建图像与转换图像之间是否存在像素误差大于预设阈值的异常区域，若存在，则确定待测品图像对应的待测品为异常品。因此，仅基于标准品来训练模型，便可实现异常品的检测，无需对异常品进行采集，也不需要对训练样本进行标注，能够快速进行异常检测神经网络模型的训练和部署。
Description
技术领域
本申请实施例涉及人工智能领域，具体涉及一种异常检测方法、装置及计算机存储介质。
背景技术
异常检测，即检测异常情况并定位出异常位置，在工业产品缺陷检测、医疗诊断和图像分析以及基础设施病态检测等诸多领域具有广泛应用。近年来，基于深度学习技术的异常检测方法得到了迅速发展，在各种视觉检测任务中取得了良好的性能表现，而这些方法的优秀性能表现依赖大量样本进行模型训练。在异常检测中，异常品数量有限或一些类型异常品十分稀有，因此，难以采集足够数量的异常品用于训练深度模型。此外，还需要对训练样本进行标注，即对训练样本标注出正常样本和异常样本，这也增加了人工成本。上述现状对异常检测的深度神经网络的训练工作开展带来困难。
发明内容
本申请实施例提供了一种异常检测方法、装置及计算机存储介质，用于在不以异常品图像为训练样本的情况下对异常检测神经网络模型进行训练并基于该异常检测神经网络模型对待测品进行异常检测。
本申请实施例第一方面提供了一种异常检测方法，所述方法应用于异常检测装置，所述方法包括：
获得预先训练完成的异常检测神经网络模型，所述异常检测神经网络模型由生成对抗网络算法对标准品图像训练得到，所述异常检测神经网络模型包括编码器、转换器及解码器；
接收待测品图像，将所述待测品图像输入至所述编码器，获得所述编码器输出的待测品图像编码；
分别向所述转换器及所述解码器输入所述待测品图像编码，得到所述转换器输出的转换图像以及所述解码器输出的重建图像；
计算所述重建图像与所述转换图像之间的像素误差，若所述重建图像与所述转换图像之间存在像素误差大于预设阈值的异常区域，则确定所述待测品图像对应的待测品为异常品。
本申请实施例第二方面提供了一种异常检测装置，所述装置包括：
模型获取单元，用于获得预先训练完成的异常检测神经网络模型，所述异常检测神经网络模型由生成对抗网络算法对标准品图像训练得到，所述异常检测神经网络模型包括编码器、转换器及解码器；
编码单元，用于接收待测品图像，将所述待测品图像输入至所述编码器，获得所述编码器输出的待测品图像编码；
转换及重建单元，用于分别向所述转换器及所述解码器输入所述待测品图像编码，得到所述转换器输出的转换图像以及所述解码器输出的重建图像；
检测单元，用于计算所述重建图像与所述转换图像之间的像素误差，若所述重建图像与所述转换图像之间存在像素误差大于预设阈值的异常区域，则确定所述待测品图像对应的待测品为异常品。
本申请实施例第三方面提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现前述第一方面的方法。
本申请实施例第四方面提供了一种计算机存储介质，计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，异常检测神经网络模型可以只以标准品图像为训练样本，可以不需要异常品图像为训练样本，在异常检测神经网络模型训练完成之后，编码器可对待测品图像进行编码得到待测品图像编码，进而转换器对该待测品图像编码转换得到转换图像、解码器对该待测品图像编码进行解码得到重建图像，并判断重建图像与转换图像之间是否存在像素误差大于预设阈值的异常区域，若存在，则确定待测品图像对应的待测品为异常品。因此，本实施例仅基于标准品来训练模型，便可实现异常品的检测，无需对异常品进行采集，也不需要对训练样本进行标注，省去了异常品的采集、分析和标注步骤，能够快速进行异常检测神经网络模型的训练和部署，节省人力和时间。
附图说明
图1为本申请实施例中异常检测方法一个流程示意图；
图2为本申请实施例中异常检测方法另一流程示意图；
图3为本申请实施例中异常检测装置的一种配置场景示意图；
图4为本申请实施例中异常检测神经网络模型的训练步骤一个流程示意图；
图5为本申请实施例中异常检测装置一个结构示意图；
图6为本申请实施例中异常检测装置另一结构示意图。
具体实施方式
本申请实施例提供了一种异常检测方法、装置及计算机存储介质，用于在不以异常品图像为训练样本的情况下对异常检测神经网络模型进行训练并基于该异常检测神经网络模型对待测品进行异常检测。
请参阅图1，本申请实施例中异常检测方法一个实施例包括：
101、获得预先训练完成的异常检测神经网络模型；
本实施例的方法可应用于异常检测装置，该异常检测装置可以是具备一定计算能力的计算机设备。当需要执行对待测品的异常检测任务时，该异常检测装置获取预先训练完成的异常检测神经网络模型，并利用该异常检测神经网络模型对待测品进行检测。
其中，异常检测神经网络模型由生成对抗网络算法对标准品图像训练得到，异常检测神经网络模型具体包括编码器、转换器及解码器。
102、接收待测品图像，将待测品图像输入至编码器，获得编码器输出的待测品图像编码；
在执行待测品检测时，异常检测装置接收待测品图像，并将待测品图像输入至编码器，获得编码器输出的待测品图像编码。
103、分别向转换器及解码器输入待测品图像编码，得到转换器输出的转换图像以及解码器输出的重建图像；
获得待测品图像编码之后，分别向转换器及解码器输入待测品图像编码，得到转换器输出的转换图像以及解码器输出的重建图像。
104、计算重建图像与转换图像之间的像素误差，若重建图像与转换图像之间存在像素误差大于预设阈值的异常区域，则确定待测品图像对应的待测品为异常品；
在获得待测品图像对应的转换图像及重建图像之后，计算该重建图像与该转换图像之间的像素误差，若该重建图像与该转换图像之间存在像素误差大于预设阈值的异常区域，则确定该待测品图像对应的待测品为异常品；如果不存在像素误差大于预设阈值的异常区域，则确定该待测品为标准品。
本实施例中，异常检测神经网络模型可以只以标准品图像为训练样本，可以不需要异常品图像为训练样本，在异常检测神经网络模型训练完成之后，编码器可对待测品图像进行编码得到待测品图像编码，进而转换器对该待测品图像编码转换得到转换图像、解码器对该待测品图像编码进行解码得到重建图像，并判断重建图像与转换图像之间是否存在像素误差大于预设阈值的异常区域，若存在，则确定待测品图像对应的待测品为异常品。因此，本实施例仅基于标准品来训练模型，便可实现异常品的检测，无需对异常品进行采集，也不需要对训练样本进行标注，省去了异常品的采集、分析和标注步骤，能够快速进行异常检测神经网络模型的训练和部署，节省人力和时间。
下面将在前述图1所示实施例的基础上，进一步详细地描述本申请实施例。请参阅图2，本申请实施例中异常检测方法另一实施例包括：
201、获得预先训练完成的异常检测神经网络模型；
本实施例中，异常检测神经网络模型是基于生成对抗网络算法对标准品图像进行训练的。如果使用部署于产品端的异常检测设备来对异常检测神经网络模型进行训练，对该异常检测设备的算力会有较高的要求，即需要为该异常检测设备配置较高规格算力的元件，这将会增加生产企业为产品生产线配置该异常检测设备的成本，同时，也不便于对部署在异常检测设备的异常检测神经网络模型进行更新和维护。
为此，本实施例中，异常检测装置包括部署于云端的模型训练设备以及部署于产品端的异常检测设备，异常检测神经网络模型的训练步骤可以由模型训练设备执行，而模型训练设备训练获得的异常检测神经网络模型可部署到异常检测设备上，从而异常检测设备可基于部署的异常检测神经网络模型执行对待测品图像的异常检测。同时，异常检测装置还可包括异常品分拣设备，在确定待测品图像对应的待测品为异常品之后，可控制该异常品分拣设备将异常品从多个待测品中剔除。
例如，图3提供了异常检测装置的一种配置场景示意图，如图所示，部署在云端的模型训练设备具备足以匹配模型训练要求的算力，相机可采集标准品图像，标准品图像可被上传至云端的模型训练设备。在模型训练设备训练异常检测神经网络模型的过程中，异常检测神经网络模型基于生成对抗网络算法对标准品图像进行训练。之后，模型训练设备训练获得的异常检测神经网络模型可部署到产品生产线一端，即边缘端的异常检测设备上，异常检测设备接收待测品图像，并基于部署的异常检测神经网络模型对待测品图像进行异常检测，当确定待测品为异常品时，将对应的检测结果发送给异常品分拣设备，异常品分拣设备根据该检测结果将异常品从多个待测品中剔除。同时，基于标准品图像的更新对云端的异常检测神经网络模型进行维护和更新，并将更新后的异常检测神经网络模型同步部署至异常检测设备，实现对异常检测设备所部署的异常检测神经网络模型的更新和维护。
因此，生产企业可以不需要为异常检测神经网络模型的训练负担异常检测设备的算力提高成本，不需要为该异常检测设备配置较高规格算力的元件，可节省生产企业的设备成本，提高产品生产线配置的灵活性。同时，也便于对异常检测设备部署的异常检测神经网络模型的更新和维护，降低生产企业模型更新和维护的成本。
模型训练设备对异常检测神经网络模型的训练方式可以有多种。具体的，请参阅图4，在一种优选的训练方式中，模型训练设备对异常检测神经网络模型的训练步骤具体包括：
401、获取标准品图像，对标准品图像添加噪声数据，获得数据增强图像；
相对于异常品，在实际产品生产中标准品数量更多，更容易获得。在获得标准品之后，可对标准品进行拍照，获得标准品图像x，并上传至模型训练设备。获取到标准品图像x之后，对标准品图像x添加噪声数据，使得标准品图像x产生异常，相当于标准品图像x变换为异常品图像，从而获得数据增强图像xa。
例如，假设需要对盘子这一产品进行异常检测，则获取标准盘子的图像，将标准盘子图像上传至模型训练设备。在添加噪声数据时，可以是对标准盘子图像添加噪声数据使得标准盘子图像所显示的标准盘子产生缺角、裂缝、图案不对称或者扭曲等瑕疵，此时该标准盘子图像所显示的盘子已经属于异常品，则相应地该标准盘子图像被变换为异常盘子图像。
402、构建初始生成对抗网络；
本实施例中异常检测神经网络模型是基于生成对抗网络算法的原理进行训练的，因此，可构建初始生成对抗网络，该初始生成对抗网络包括初始编码器、初始解码器及初始转换器、初始判别器。
403、将初始编码器与初始转换器连接组成第一生成器，将初始编码器与初始解码器连接组成第二生成器；
初始生成对抗网络中，初始编码器可与初始转换器连接组成第一生成器G1，初始编码器可与初始解码器连接组成第二生成器G2。
404、将数据增强图像输入至初始编码器，获得初始编码器输出的数据增强图像编码；
将数据增强图像xa输入至初始编码器，初始编码器将数据增强图像xa编码为深度隐空间中的数据增强图像编码z，进而输出数据增强图像编码z。
405、分别向初始解码器及初始转换器输入数据增强图像编码，获得初始转换器输出的初始转换图像以及初始解码器输出的初始重建图像；
获得初始编码器输出的数据增强图像编码z之后，分别向初始解码器及初始转换器输入数据增强图像编码z，初始转换器将深度隐空间中的数据增强图像编码z转换为初始转换图像并输出初始转换图像/>初始解码器对数据增强图像编码z进行解码得到初始重建图像x'，并输出初始重建图像x'。
406、构建第一生成器及第二生成器与初始判别器之间的对抗损失函数，构建标准品图像与初始转换图像之间的第一重建损失函数，以及，构建数据增强图像与初始重建图像之间的第二重建损失函数；
在获得初始转换图像及初始重建图像x'之后，可进一步构建多个损失函数来训练初始生成对抗网络并根据损失函数调整初始编码器、初始转换器及初始解码器的网络参数。具体的，可构建第一生成器G1及第二生成器G2与初始判别器D之间的对抗损失函数，该对抗损失函数Ld可表示为：
同时，本实施例训练异常检测神经网络模型所要实现的训练效果是使得初始转换器能够去除标准品图像x添加的噪声数据，使得初始转换器对数据增强图像编码z转换之后得到的初始转换图像能够同样呈现出标准品图像x所呈现的视觉画面，即实现去除数据增强图像编码z对应的数据增强图像xa中的噪声数据这一训练效果，因此，可构建标准品图像x与初始转换图像/>之间的第一重建损失函数Lx，第一重建损失函数Lx可表示为：
同样的，本实施例模型训练所要实现的另一训练效果是使得初始解码器能够很好地还原输入的图像样本，即输入数据增强图像编码z时，对z解码得到的初始重建图像x'能够很好地还原z对应的数据增强图像xa。因此，为实现该训练效果，可构建数据增强图像xa与初始重建图像x'之间的第二重建损失函数La，第二重建损失函数La可表示为：
La＝E|xa-x′|1。
其中，初始解码器和初始转换器的网络结构中，除了最后一层结构之外，其余层级的结构中初始解码器和初始转换器可共享权值，从而初始解码器和初始编码器均可实现对输入图像中的环境噪声数据进行去除这一技术效果，其中环境噪声数据是指因拍摄环境产生的噪声数据，例如拍摄暗环境时图像会引入一定的噪点，这对后期的图像处理带来干扰，影响处理结果的准确性，因此共享权值的初始解码器和初始转换器输出的图像会包含相同的环境噪声，可将初始解码器输出的初始重建图像与初始转换器输出的初始转换图像相减，即可消除环境噪声，从而提升模型训练结果的准确性。
407、优化总损失函数直至网络误差收敛到预设精度，获得异常检测神经网络模型；
进一步地，可构建包括对抗损失函数Ld、第一重建损失函数Lx及第二重建损失函数La的总损失函数，并使用梯度下降法优化总损失函数直至网络误差收敛到预设精度，梯度下降法优化过程中根据总损失函数不断调整初始编码器、初始解码器及初始转换器的网络参数，使得上述各个网络能够实现预想的训练效果。在初始编码器、初始解码器及初始转换器训练完成之后，即得到构成异常检测神经网络模型的编码器、解码器及转换器。
根据第一重建损失函数Lx调整初始转换器的网络参数使之达到预想的训练效果，这一过程保证了标准品图像x与初始转换图像的像素一致性。此外，为进一步确保标准品图像x与初始转换图像/>的语义一致性，还可以将初始转换图像/>输入至初始编码器，获得初始编码器输出的重建编码/>并构建数据增强图像编码z与重建编码/>之间的第三重建损失函数Lz，第三重建损失函数Lz可表示为：
因此，可以进一步根据第三重建损失函数Lz来调整初始转换器的网络参数，以使得标准品图像x与初始转换图像符合语义一致性。
因此，进一步地，总损失函数还可包括第三重建损失函数Lz，且总损失函数可确定为对抗损失函数Ld、第一重建损失函数Lx及第二重建损失函数La、第三重建损失函数Lz的加权和。具体的，总损失函数L可表示为：
L＝λdLd+λxLx+λzLz+λaLa；
其中，各个损失函数的权重λ可根据实际模型训练任务调整。例如，若更注重初始解码器的训练效果，则第二重建损失函数La的权重λa可相对更大一些；若更注重初始转换器的训练效果，则第一重建损失函数Lx的权重λx可相对更大一些。
202、接收待测品图像，将待测品图像输入至编码器，获得编码器输出的待测品图像编码；
在异常检测神经网络模型训练完成之后，进行异常检测时，将待测品图像输入至编码器，则编码器对该待测品图像进行编码得到待测品图像编码。
203、分别向转换器及解码器输入待测品图像编码，得到转换器输出的转换图像以及解码器输出的重建图像；
获得待测品图像编码之后，分别向转换器及解码器输入待测品图像编码，则转换器将待测品图像编码转换为转换图像，解码器对待测品图像编码解码为重建图像，具体的，由于转换器可实现的训练效果是去除异常品图像中不同于标准品图像的噪声数据，假设待测品图像为标准品图像，则经过转换器转换之后，仍输出标准品图像；假设待测品图像为异常品图像，则经过转换器转换之后，去除了异常品图像中不同于标准品图像的噪声数据，相当于对异常品图像进行修复或者纠正异常品瑕疵，进而输出由异常品图像转换得到的标准品图像。
例如，假设待测品图像为开裂的盘子的图像，经过编码器编码之后，待测品图像编码输入转换器，转换器可对该待测品图像中的异常瑕疵进行修复和纠正(即修复裂缝)，从而转换得到标准盘子图像。
而解码器所要实现的训练效果是还原输入图像，则解码器对待测品图像编码解码得到的重建图像将还原了待测品图像，并去除了待测品图像中可能存在的环境噪声数据。
204、计算重建图像与转换图像之间的像素误差，若重建图像与转换图像之间存在像素误差大于预设阈值的异常区域，则确定待测品图像对应的待测品为异常品；
由于重建图像还原了待测品图像，而转换图像相当于标准品图像，因此，可比较重建图像与转换图像以确定出两者的区别。具体的，可计算重建图像与转换图像之间的像素误差Lp，像素误差Lp可表示为：
其中，像素误差Lp的表达式中指代转换图像，x'指代重建图像。由于解码器与转换器除了最后一层结构之外共享权值，因此，转换图像减去重建图像即可消除环境噪声，进而提升像素误差计算结果的准确性。
同时，判断重建图像与转换图像之间是否存在像素误差Lp大于预设阈值的异常区域，若存在，则确定待测品图像对应的待测品为异常品。同时，还可进一步确定出该异常区域在待测品图像中的目标位置，从而产品检测人员可以根据所指示的目标位置在待测品中查找相对应的异常区域。
本实施例仅基于标准品进行异常检测神经网络模型的训练以及基于该异常检测神经网络模型进行产品检测，可省去采集异常品、样本标注等多个步骤，减少人力和时间的付出，可快速开展模型训练工作，提高模型训练的效率。
上面对本申请实施例中的异常检测方法进行了描述，下面对本申请实施例中的异常检测装置进行描述，请参阅图5，本申请实施例中异常检测装置一个实施例包括：
模型获取单元501，用于获得预先训练完成的异常检测神经网络模型，异常检测神经网络模型由生成对抗网络算法对标准品图像训练得到，异常检测神经网络模型包括编码器、转换器及解码器；
编码单元502，用于接收待测品图像，将待测品图像输入至编码器，获得编码器输出的待测品图像编码；
转换及重建单元503，用于分别向转换器及解码器输入待测品图像编码，得到转换器输出的转换图像以及解码器输出的重建图像；
检测单元504，用于计算重建图像与转换图像之间的像素误差，若重建图像与转换图像之间存在像素误差大于预设阈值的异常区域，则确定待测品图像对应的待测品为异常品。
本实施例一种优选的实施方式中，模型获取单元501包括模型训练模块5011及模型部署模块5012，模型训练模块5011用于获取标准品图像，对标准品图像添加噪声数据，获得数据增强图像；构建初始生成对抗网络，初始生成对抗网络包括初始编码器、初始解码器及初始转换器、初始判别器；将初始编码器与初始转换器连接组成第一生成器，将初始编码器与初始解码器连接组成第二生成器；将数据增强图像输入至初始编码器，获得初始编码器输出的数据增强图像编码；分别向初始解码器及初始转换器输入数据增强图像编码，获得初始转换器输出的初始转换图像以及初始解码器输出的初始重建图像；构建第一生成器及第二生成器与初始判别器之间的对抗损失函数，构建标准品图像与初始转换图像之间的第一重建损失函数，以及，构建数据增强图像与初始重建图像之间的第二重建损失函数；优化总损失函数直至网络误差收敛到预设精度，获得异常检测神经网络模型，总损失函数包括对抗损失函数、第一重建损失函数及第二重建损失函数。
本实施例一种优选的实施方式中，模型训练模块5011还用于将初始转换图像输入至初始编码器，获得初始编码器输出的重建编码，并构建数据增强图像编码与重建编码之间的第三重建损失函数；确定对抗损失函数、第一重建损失函数及第二重建损失函数、第三重建损失函数的加权和为总损失函数。
本实施例一种优选的实施方式中，异常检测装置包括部署于云端的模型训练设备以及部署于产品端的异常检测设备，模型训练模块5011配置于模型训练设备上，模型部署模块5012配置于异常检测设备上，模型部署模块5012用于将模型训练设备训练获得的异常检测神经网络模型部署在异常检测设备上，以使得异常检测设备执行基于异常检测神经网络模型对待测品图像的异常检测操作。
本实施例一种优选的实施方式中，检测单元504还用于当重建图像与转换图像之间存在像素误差大于预设阈值的异常区域时，确定异常区域在待测品图像中的目标位置。
本实施例一种优选的实施方式中，异常检测装置包括异常品分拣设备；
异常检测装置还包括：
控制单元505，用于控制异常品分拣设备将异常品从多个待测品中剔除。
本实施例中，异常检测装置中各单元所执行的操作与前述图1至图4所示实施例中描述的类似，此处不再赘述。
本实施例中，异常检测神经网络模型可以只以标准品图像为训练样本，可以不需要异常品图像为训练样本，在异常检测神经网络模型训练完成之后，编码器可对待测品图像进行编码得到待测品图像编码，进而转换器对该待测品图像编码转换得到转换图像、解码器对该待测品图像编码进行解码得到重建图像，检测单元504判断重建图像与转换图像之间是否存在像素误差大于预设阈值的异常区域，若存在，则确定待测品图像对应的待测品为异常品。因此，本实施例仅基于标准品来训练模型，便可实现异常品的检测，无需对异常品进行采集，也不需要对训练样本进行标注，省去了异常品的采集、分析和标注步骤，能够快速进行异常检测神经网络模型的训练和部署，节省人力和时间。
下面对本申请实施例中的异常检测装置进行描述，请参阅图6，本申请实施例中异常检测装置一个实施例包括：
该异常检测装置600可以包括一个或一个以上中央处理器(central processingunits，CPU)601和存储器605，该存储器605中存储有一个或一个以上的应用程序或数据。
其中，存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块，每个模块可以包括对异常检测装置中的一系列指令操作。更进一步地，中央处理器601可以设置为与存储器605通信，在异常检测装置600上执行存储器605中的一系列指令操作。
异常检测装置600还可以包括一个或一个以上电源602，一个或一个以上有线或无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器601可以执行前述图1至图4所示实施例中异常检测装置所执行的操作，具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质，其中一个实施例包括：该计算机存储介质中存储有指令，该指令在计算机上执行时，使得该计算机执行前述图1至图4所示实施例中异常检测装置所执行的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (8)
1.一种异常检测方法，其特征在于，所述方法应用于异常检测装置，所述方法包括：
获得预先训练完成的异常检测神经网络模型，所述异常检测神经网络模型由生成对抗网络算法对标准品图像训练得到，所述异常检测神经网络模型包括编码器、转换器及解码器；
接收待测品图像，将所述待测品图像输入至所述编码器，获得所述编码器输出的待测品图像编码；
分别向所述转换器及所述解码器输入所述待测品图像编码，得到所述转换器输出的转换图像以及所述解码器输出的重建图像；所述转换器为能够对所述编码器输出的图像编码进行解码且与所述解码器共享部分网络结构的权值的另一个解码器；
计算所述重建图像与所述转换图像之间的像素误差，若所述重建图像与所述转换图像之间存在像素误差大于预设阈值的异常区域，则确定所述待测品图像对应的待测品为异常品；
所述异常检测神经网络模型的训练步骤包括：
获取所述标准品图像，对所述标准品图像添加噪声数据，获得数据增强图像；
构建初始生成对抗网络，所述初始生成对抗网络包括初始编码器、初始解码器及初始转换器、初始判别器；
将所述初始编码器与所述初始转换器连接组成第一生成器，将所述初始编码器与所述初始解码器连接组成第二生成器；
将所述数据增强图像输入至所述初始编码器，获得所述初始编码器输出的数据增强图像编码；
分别向所述初始解码器及所述初始转换器输入所述数据增强图像编码，获得所述初始转换器输出的初始转换图像以及所述初始解码器输出的初始重建图像；
构建所述第一生成器及所述第二生成器与所述初始判别器之间的对抗损失函数，构建所述标准品图像与所述初始转换图像之间的第一重建损失函数，以及，构建所述数据增强图像与所述初始重建图像之间的第二重建损失函数；
优化总损失函数直至网络误差收敛到预设精度，获得所述异常检测神经网络模型，所述总损失函数包括所述对抗损失函数、所述第一重建损失函数及所述第二重建损失函数；
其中，所述转换器用于去除异常品图像中不同于标准品图像的噪声数据，若所述待测品图像为标准品图像，则经过所述转换器转换之后，仍输出标准品图像；若所述待测品图像为异常品图像，则经过所述转换器转换之后，去除异常品图像中不同于标准品图像的噪声数据，输出由异常品图像转换得到的标准品图像。
2.根据权利要求1所述的方法，其特征在于，所述异常检测神经网络模型的训练步骤还包括：
将所述初始转换图像输入至所述初始编码器，获得所述初始编码器输出的重建编码，并构建所述数据增强图像编码与所述重建编码之间的第三重建损失函数；
确定所述对抗损失函数、所述第一重建损失函数及所述第二重建损失函数、所述第三重建损失函数的加权和为所述总损失函数。
3.根据权利要求2所述的方法，其特征在于，所述异常检测装置包括部署于云端的模型训练设备以及部署于产品端的异常检测设备，所述异常检测神经网络模型的训练步骤由所述模型训练设备执行，所述模型训练设备训练获得的所述异常检测神经网络模型部署在所述异常检测设备上；基于所述异常检测神经网络模型对所述待测品图像的异常检测由所述异常检测设备执行。
4.根据权利要求1所述的方法，其特征在于，所述计算所述重建图像与所述转换图像之间的像素误差之后，所述方法还包括：
若所述重建图像与所述转换图像之间存在像素误差大于预设阈值的异常区域，则确定所述异常区域在所述待测品图像中的目标位置。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述异常检测装置包括异常品分拣设备；
所述确定所述待测品图像对应的待测品为异常品之后，所述方法还包括：
控制所述异常品分拣设备将所述异常品从多个待测品中剔除。
6.一种异常检测装置，其特征在于，所述装置包括：
模型获取单元，用于获得预先训练完成的异常检测神经网络模型，所述异常检测神经网络模型由生成对抗网络算法对标准品图像训练得到，所述异常检测神经网络模型包括编码器、转换器及解码器；
编码单元，用于接收待测品图像，将所述待测品图像输入至所述编码器，获得所述编码器输出的待测品图像编码；
转换及重建单元，用于分别向所述转换器及所述解码器输入所述待测品图像编码，得到所述转换器输出的转换图像以及所述解码器输出的重建图像；所述转换器为能够对所述编码器输出的图像编码进行解码且与所述解码器共享部分网络结构的权值的另一个解码器；
检测单元，用于计算所述重建图像与所述转换图像之间的像素误差，若所述重建图像与所述转换图像之间存在像素误差大于预设阈值的异常区域，则确定所述待测品图像对应的待测品为异常品；
所述模型获取单元包括模型训练模块及模型部署模块，所述模型训练模块用于获取所述标准品图像，对所述标准品图像添加噪声数据，获得数据增强图像；构建初始生成对抗网络，所述初始生成对抗网络包括初始编码器、初始解码器及初始转换器、初始判别器；将所述初始编码器与所述初始转换器连接组成第一生成器，将所述初始编码器与所述初始解码器连接组成第二生成器；将所述数据增强图像输入至所述初始编码器，获得所述初始编码器输出的数据增强图像编码；分别向所述初始解码器及所述初始转换器输入所述数据增强图像编码，获得所述初始转换器输出的初始转换图像以及所述初始解码器输出的初始重建图像；构建所述第一生成器及所述第二生成器与所述初始判别器之间的对抗损失函数，构建所述标准品图像与所述初始转换图像之间的第一重建损失函数，以及，构建所述数据增强图像与所述初始重建图像之间的第二重建损失函数；优化总损失函数直至网络误差收敛到预设精度，获得所述异常检测神经网络模型，所述总损失函数包括所述对抗损失函数、所述第一重建损失函数及所述第二重建损失函数；
其中，所述转换器用于去除异常品图像中不同于标准品图像的噪声数据，若所述待测品图像为标准品图像，则经过所述转换器转换之后，仍输出标准品图像；若所述待测品图像为异常品图像，则经过所述转换器转换之后，去除异常品图像中不同于标准品图像的噪声数据，输出由异常品图像转换得到的标准品图像。
7.根据权利要求6所述的装置，其特征在于，所述模型训练模块还用于将所述初始转换图像输入至所述初始编码器，获得所述初始编码器输出的重建编码，并构建所述数据增强图像编码与所述重建编码之间的第三重建损失函数；确定所述对抗损失函数、所述第一重建损失函数及所述第二重建损失函数、所述第三重建损失函数的加权和为所述总损失函数。
8.根据权利要求7所述的装置，其特征在于，所述异常检测装置包括部署于云端的模型训练设备以及部署于产品端的异常检测设备，所述模型训练模块配置于所述模型训练设备上，所述模型部署模块配置于所述异常检测设备上，所述模型部署模块用于将所述模型训练设备训练获得的所述异常检测神经网络模型部署在所述异常检测设备上，以使得所述异常检测设备执行基于所述异常检测神经网络模型对所述待测品图像的异常检测操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838462.0A CN113554624B (zh) | 2021-07-23 | 2021-07-23 | 异常检测方法、装置及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110838462.0A CN113554624B (zh) | 2021-07-23 | 2021-07-23 | 异常检测方法、装置及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113554624A CN113554624A (zh) | 2021-10-26 |
| CN113554624B true CN113554624B (zh) | 2023-12-05 |
Family
ID=78104309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110838462.0A Active CN113554624B (zh) | 2021-07-23 | 2021-07-23 | 异常检测方法、装置及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554624B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114330440B (zh) * | 2021-12-28 | 2024-04-05 | 国网山东省电力公司营销服务中心(计量中心) | 基于模拟学习判别的分布式电源负荷异常识别方法及系统 |
| CN117474915B (zh) * | 2023-12-27 | 2024-04-16 | 苏州镁伽科技有限公司 | 一种异常检测方法、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555474A (zh) * | 2019-08-28 | 2019-12-10 | 上海电力大学 | 一种基于半监督学习的光伏面板故障检测方法 |
| CN110706197A (zh) * | 2019-08-06 | 2020-01-17 | 北方工业大学 | 一种基于迁移学习的特殊场景下铁路异物侵限检测方法 |
| WO2020215682A1 (zh) * | 2019-09-17 | 2020-10-29 | 平安科技（深圳）有限公司 | 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质 |
| US10909728B1 (en) * | 2019-05-01 | 2021-02-02 | Amazon Technologies, Inc. | Learned lossy image compression codec |
| CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112435258A (zh) * | 2020-12-17 | 2021-03-02 | 深圳市华汉伟业科技有限公司 | 一种图像检测模型的构建方法、图像检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10964309B2 (en) * | 2019-04-16 | 2021-03-30 | Microsoft Technology Licensing, Llc | Code-switching speech recognition with end-to-end connectionist temporal classification model |
-
2021
- 2021-07-23 CN CN202110838462.0A patent/CN113554624B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10909728B1 (en) * | 2019-05-01 | 2021-02-02 | Amazon Technologies, Inc. | Learned lossy image compression codec |
| CN110706197A (zh) * | 2019-08-06 | 2020-01-17 | 北方工业大学 | 一种基于迁移学习的特殊场景下铁路异物侵限检测方法 |
| CN110555474A (zh) * | 2019-08-28 | 2019-12-10 | 上海电力大学 | 一种基于半监督学习的光伏面板故障检测方法 |
| WO2020215682A1 (zh) * | 2019-09-17 | 2020-10-29 | 平安科技（深圳）有限公司 | 眼底图像样本扩展方法、装置、电子设备及计算机非易失性可读存储介质 |
| CN112381716A (zh) * | 2020-11-18 | 2021-02-19 | 爱像素(深圳)智能科技有限公司 | 一种基于生成式对抗网络的图像增强方法 |
| CN112435258A (zh) * | 2020-12-17 | 2021-03-02 | 深圳市华汉伟业科技有限公司 | 一种图像检测模型的构建方法、图像检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| Anomaly Detection Using Convolutional Adversarial Autoencoder and One-class SVM for Landslide Area Detection from Synthetic Aperture Radar Images;Shingo Mabu et al;《Journal of Robotics, Networking and Artificial Life》;第8卷(第2期);第139-144页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113554624A (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11334407B2 (en) | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model | |
| CN113554624B (zh) | 异常检测方法、装置及计算机存储介质 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| JP7074460B2 (ja) | 画像検査装置および方法 | |
| US20200294222A1 (en) | Method and apparatus for outputting information | |
| US11715190B2 (en) | Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device | |
| KR20180004208A (ko) | 컨볼루션 신경망 기반의 완전 기준 이미지 품질 평가 | |
| CN109685097B (zh) | 一种基于gan的图像检测方法及装置 | |
| Li et al. | Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing | |
| US20230222645A1 (en) | Inspection apparatus, unit selection apparatus, inspection method, and computer-readable storage medium storing an inspection program | |
| JP7164028B2 (ja) | 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム | |
| KR101905000B1 (ko) | 이미지 데이터의 보정 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 | |
| CN114170478A (zh) | 基于跨图像局部特征对齐的缺陷检测、定位的方法及系统 | |
| CN115063584A (zh) | 基于深度学习的管道蒸汽泄漏检测方法及检测系统 | |
| CN112528782A (zh) | 水下鱼类目标检测方法及装置 | |
| KR20210067606A (ko) | 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법 | |
| CN114445663A (zh) | 检测对抗样本的方法、装置及计算机程序产品 | |
| EP4064183A1 (en) | Model generation apparatus, estimation apparatus, model generation method, and model generation program | |
| CN117058106A (zh) | 基于随机森林的柔性玻璃平面度及表面缺陷的测量方法 | |
| CN114913086B (zh) | 基于生成对抗网络的人脸图像质量增强方法 | |
| CN111238927A (zh) | 疲劳耐久性评测方法、装置、电子设备和计算机可读介质 | |
| CN116306777A (zh) | 模型精度损失定位方法、装置和电子设备 | |
| JP2020064364A (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
| CN115330743A (zh) | 基于双光检测缺陷的方法及相应的系统 | |
| CN114782822A (zh) | 电力设备的状态检测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |