CN109741292A - 用对抗自编码器检测第一图像数据集当中异常图像的方法 - Google Patents
用对抗自编码器检测第一图像数据集当中异常图像的方法 Download PDFInfo
- Publication number
- CN109741292A CN109741292A CN201811257330.3A CN201811257330A CN109741292A CN 109741292 A CN109741292 A CN 109741292A CN 201811257330 A CN201811257330 A CN 201811257330A CN 109741292 A CN109741292 A CN 109741292A
- Authority
- CN
- China
- Prior art keywords
- training
- image
- abnormal
- encoding encoder
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 122
- 230000014509 gene expression Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000009826 distribution Methods 0.000 claims abstract description 26
- 230000005856 abnormality Effects 0.000 claims description 30
- 238000012706 support-vector machine Methods 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000002547 anomalous effect Effects 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 239000003814 drug Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 description 10
- 230000001568 sexual effect Effects 0.000 description 8
- 241000169594 Paropsia Species 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000007431 microscopic evaluation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
引入了用于使用对抗自编码器（12,14,16）检测第一图像数据集当中的异常图像的方法。在第一训练中利用图像训练数据集（11）来训练对抗自编码器（12,14,16），而优化对抗自编码器（12,14,16）使得图像训练数据集（11）的图像的潜在表示（13）的分布接近预定先验分布（17），并且最小化图像训练数据集的重构图像（15）的重构误差。在对对抗自编码器（12,14,16）的第一训练之后，在潜在表示（13）中检测异常，并且在第二训练中利用图像训练数据集（11）但是把检测到的异常考虑在内来训练对抗自编码器（12,14,16）。由经训练的对抗自编码器（12,14,16）取决于图像的重构误差和预定先验分布（17）下的概率密度中的至少一个来检测第一图像数据集当中的异常图像。
Description
技术领域
引入用于使用对抗自编码器来检测第一图像数据集当中的一个或多个异常图像的方法、计算机程序以及计算设备。
背景技术
在 中公开了对抗自编码器。在 中描述了用于异常检测的方法。
在 中公开了无监督一类支持向量机（SVM）算法。
发明内容
所给出的用于检测第一图像数据集当中的一个或多个异常图像的方法使用对抗自编码器，所述对抗自编码器是在第一训练中利用图像训练数据集被训练的，而优化对抗自编码器使得图像训练数据集的图像的潜在表示的分布接近预定先验分布，并且最小化图像训练数据集的重构图像的重构误差。在对对抗自编码器的第一训练之后，在潜在表示中检测异常，并且在第二训练中利用图像训练数据集但是把检测到的异常考虑在内来训练对抗自编码器，由经训练的对抗自编码器取决于图像的重构误差和预定先验分布下的概率密度中的至少一个来检测第一图像数据集当中的一个或多个异常图像。
所给出的方法通过从至少部分未标注的图像训练数据集中学习来解决视觉异常检测的问题，所述至少部分未标注的图像训练数据集可能包含未知数量的异常，即“受污染”训练集。所述方法可以可靠地标识图像中未包含在训练集中的异常。所述方法还可以应用在主动半监督设定中，其中算法将未标注的数据集取作其输入，并且查询用户来为一小部分数据点供给标注。另外的优势是所述方法不局限于仅输出异常分数，而是可以标识很可能是异常的训练示例，使得可以由领域专家来核查系统的功能。
所述方法引入用于异常检测的另外的标准，其通过将重构和潜在信息组合来减少错误肯定和错误否定的数量。通过在训练期间更改训练集，所述方法对于受污染数据集变得特别鲁棒。此外，交互式半监督方案可以最佳地利用来自领域专家的非常稀疏的反馈，所述领域专家可以提供少量标注。
不要求训练数据中所包含的所有可能异常的代表性集。异常将自身表现为与正常类有显著偏差就足够，但是可能存在很多多样形式的异常。
所述方法比严格要求所有训练数据都来自正常类的其他方法具有更一般的适用性。如果违反该条件，这类方法会迅速损失性能。例如，在利用受污染数据的设定中使用正常自编码器的方法也学习很好地重构异常，并且因此关于重构误差的阈值不提供用于检测异常的鲁棒标准。相反，所给出的方法在其中不需要针对训练数据的标注的设置中是适用的，并且小部分的训练数据可能是异常的。
如果有领域专家可用于标注小部分的训练数据，那么所给出的方法可以处理训练数据并特别搜索那些示例，如果标注是已知的，这将提供最大的性能增益。
通过使用对抗自编码器，所述方法获得对潜在空间中的期望分布的控制，并且可以将潜在空间中的密度估计用作用于异常检测的附加标准。这导致比单独使用自编码器的重构误差更好的标准。对抗自编码器还充当所学习的数据分布的生成模型，并且可以用于从正常或标识的反常类中生成样本以验证所学习的模型是有意义的。
如果关于异常的性质的先验信息（例如，典型观察到的不同异常的预期数量）是已知的，这可以用于对抗自编码器中以成形潜在空间中的期望分布。
所给出的方法在训练期间自动地检测很可能是异常的训练示例，使得性能对于改变的异常率是鲁棒的。
在优选实施例中，通过使用一类支持向量机或局部离群因子算法来完成潜在表示中异常的检测。所给出的方法可以与处置检测到的异常的各种方法一起使用。针对该异常处置的优选实施例包括以下中的至少一个：（a）从用于第二训练的训练集中排除在潜在表示中检测到的异常，（b）在至少一次后续训练中，使用用于调谐对抗自编码器的加权损失函数，而在潜在表示中检测到的异常在该至少一次后续训练中接收减小的权重，（c）对于至少一次后续训练，将在潜在表示中检测到的异常集中每个异常的重构目标修改为其自身的噪声损坏版本，以及（d）在至少一次后续训练中，将在潜在表示中检测到的异常集中每个异常的重构目标修改为潜在空间中标识为没有异常的靠近或最靠近的图像。分离地或者组合使用这些功能提供对对抗自编码器的鲁棒和有效的训练。
在优选实施例中，所述方法输出针对第一图像数据集中的图像的异常分数，所述异常分数是基于重构误差和预定先验分布下的概率密度中的至少一个计算的。这提供对异常的差异化和精确的反馈。
在优选实施例中，所述方法用于视觉品质检查、医学图像分析、视觉监视或自动化驾驶中。
附图说明
图1示意性地示出了以二维高斯作为先验分布的示例性对抗自编码器框架。
图2示意性地示出了用于利用使用受污染训练数据的无监督训练来检测异常图像的方法的示例性实施例。
图3示意性地示出了用于利用使用受污染训练数据的半监督训练来检测异常图像的方法的示例性实施例。
具体实施方式
存在用于标识给定图像集中的异常或离群部的各种机器学习方法。然而假定来自正常类的图像共享很多相似的特征，离群部通过与正常类的显著偏差来表征。此外，假定训练数据完全由正常图像构成，或者仅小部分的图像是异常。视觉异常检测的典型应用是用于视觉品质检查、医学图像分析或用于监视任务。
用于异常检测的方案可以被分类为有监督、半监督或无监督：
有监督：训练集中的每个图像包含标注，所述标注指示其属于正常类还是异常。这也把假定所有可用训练数据都为正常的情况归入在内。
半监督：大部分图像是未标注的，但是对于一些图像，它们是异常还是属于正常类是已知的。
无监督：没有标注是已知的；图像是否是异常需要通过比较大多数类和最终离群部的特性来学习。
可以在仅在一个固定的数据集上标识异常的方法和从训练集学习并归纳到以前未见的图像的那些方法之间做出进一步区别。
用于视觉异常检测的一个方案是自编码器的使用，所述自编码器是由编码和解码级组成的具有多个隐藏层的神经网络。编码器被训练成将输入图像映射到较低维度的潜在表示，解码器从所述较低维度的潜在表示学习重构原始图像。目的是最小化自编码器的重构误差。通过具有较低维度的潜在表示，引入了瓶颈，所述瓶颈要求编码器聚焦于图像的特性特征，并且防止学习诸如恒等函数之类的平凡解。通过重构误差（通常是所有像素上的均方误差）来测量自编码器的品质。由于自编码器的目标输出是输入图像，因此自编码器训练是无监督的。
自编码器可以用于在图像和其他数据上进行异常检测。想法是仅在正常数据上训练的自编码器学习正常类的模型，即，其可以以非常小的训练误差重构正常图像，但是关于异常数据的重构误差将更高。然后，基于自编码器的异常检测将对重构误差施加阈值并将超过阈值的所有图像考虑成异常。这已成功应用于视觉和听觉品质检查问题。
用于异常检测的自编码器方案中的一个假定是所有训练示例都来自正常类，这使得那些方案落入如上文限定的有监督学习的类别，即使自编码器训练本身是无监督的。在更现实和更具有挑战性的情景中，训练集可能包含异常，但是哪些图像是异常的以及哪些不是在事先是未知的。这种“受污染训练数据”的情况很可能在现实世界的情景中发生，其中使所有训练点都由人类标注可能过于繁重或者甚至是不可能的，或者其中可能存在注释误差。对于所考虑的“受污染训练数据”集，可以假定训练数据中异常的部分是低的（在<5%的范围）并且正常类具有相对小的变异性，但是异常可能具有非常多样的形式。在该情景中，用于异常检测的自编码器的性能在小百分比的异常的情况下已经降级。
现在，提出使用自编码器的扩展——用于异常检测的对抗自编码器。在图1中示出了示意性框架。对抗自编码器由编码器12、解码器14和鉴别器网络16组成。图像训练集的图像11被输入到编码器12，所述编码器12将输入编码成潜在表示13。解码器14将潜在表示解码成重构图像15。训练对抗自编码器的编码器12和解码器14以最小化训练集中的图像的重构误差。
对抗自编码器引起潜在低维空间上的先验分布。该先验分布可以被预定并且可以被输入到对抗自编码器中。各种概率密度函数可以用作先验分布。在针对异常检测的优选实施例中，使用多元高斯（例如标准高斯），使得正常图像的潜在表示聚集在原点周围。可替换地，可以使用具有一个或多个专用拒绝类（用于异常）的高斯分布的混合，尤其是在已知不同异常类的数量时。在图1中，二维高斯17被输入到对抗自编码器的鉴别器网络16中。对抗自编码器通过训练鉴别器网络16而强制使图像训练集的输入图像的潜在表示的分布服从规定的先验，所述鉴别器网络16从期望先验分布来学习区分针对图像的表示。
该过程不要求关于每个图像的内容的任何标注（即，其是否是异常）。通过训练自编码器，每个图像的潜在表示被学习，并且对抗自编码器的对抗部分确保潜在表示的分布服从给定的先验分布。总体训练目标是优化对抗自编码器，使得潜在表示变得与先验不可区分，而在同时最小化解码器部分中的重构误差。
一旦对抗自编码器被训练，其可以用于计算所呈现图像是否是异常的两个不同标识符。第一，高重构误差（超过某个阈值）是针对异常的标志。第二，对于潜在空间的给定先验分布下的小概率密度也是图像可能是离群部的标识符。在检测异常中，两种测量的组合比它们中的任何单独一个更鲁棒。
在一个优选实施例中，选择先验分布使得大部分概率质量位于分布的中心（例如，标准多元高斯情况下的原点）周围，因此可以预期异常的密度是低的。可以预期在潜在空间中具有邻近表示的图像在解码之后导致相似图像。这意味着即使来自不同类的图像被映射到邻近的潜在表示，对于它们中的一个，重构误差也将显著更高。
图2示意性地示出了用于利用基于受污染训练数据的无监督训练、使用对抗自编码器来检测异常图像的方法的示例性实施例。在该实施例中，假定在整个训练过程期间没有针对图像的标注可用，但是存在异常率α的粗略估计。在该情况下，可以例如利用无监督一类支持向量机算法来执行潜在空间中的异常检测。在该方案中，可以由决策边界将内核变换的正常数据从原点分离，而内核变换的异常位于边界的更靠近于原点的另一侧。它要求指定异常率α，然后该异常率α被译成用于一类支持向量机的正则化参数β=1/(α×训练示例的数量)，所述一类支持向量机控制预期有多少数据点位于决策边界之外。然后处理标识为潜在性异常的数据点以修改训练数据集。然后在修改后的数据集上继续对对抗自编码器的训练。
在该实施例中，限定第二异常率v，其是假定的异常率α的部分。然后该第二异常率v用于在训练期间迭代地检测异常。
图2中示出的无监督训练过程如下工作。在步骤21中，图像训练集被加载并在步骤22中用于在一定数量的迭代内训练对抗自编码器。一般而言，该数量不应该太大，以避免在包括异常的所有数据上进行穷尽训练。这产出针对每个图像的最初潜在表示。在步骤23中，检测当前潜在空间中的潜在性异常。为此，利用从更新步骤异常率v计算的正则化参数β来训练一类支持向量机。在步骤24中，核查检测到的异常是否达到异常率α或靠近于α的用户限定率。如果没有，所述方法以步骤25继续，把检测到的或可能的异常考虑在内。
功能251/252、253/254、255/256和257/258可以用作用于处置异常的替换，但所描述方案的组合也是可能的。实现或者激活所示出功能中的至少一个。在步骤251中，核查是否应该从训练集中排除潜在性异常直到数据集的下一次重置发生（步骤21）。如果是，这在步骤252中施行。在步骤253中，核查是否应该将加权损失函数用于调谐自编码器并且潜在性异常对于接下来的训练步骤是否接收减小的权重。如果是，这在步骤252中施行。在步骤255中，核查是否应该将检测到的异常的重构目标修改为其自身的噪声损坏版本，使得自编码器不再尝试完美地重构这类图像。如果是，这在步骤256中施行。在步骤257中，核查是否应该将检测到的异常的重构目标改变成（潜在空间中）被标识为属于正常类的下一最靠近图像。这还具有使自编码器的训练聚焦于很可能是正常的那些示例的效果。如果是，这在步骤258中施行。
在这样处置检测到的异常之后，在一定数量的迭代内再次训练对抗自编码器。训练迭代的数量取决于任务。一般而言，它不应该太大，以避免在包括异常的所有数据上进行穷尽训练。重复步骤22到25直到检测到的异常的部分达到百分之α或者靠近于α的用户限定率，并且这在步骤24中确定。在该情况下，所述方法前进到步骤26，其中核查对对抗自编码器的训练是否已经足够收敛。如果是这样的话，训练以步骤27结束并且对抗自编码器可以用于检测图像集中的异常。如果训练尚未足够收敛，那么以步骤21继续对对抗自编码器的训练，加载或重置图片训练集。然而，仍然使用当前的权重。
图3示意性地示出了用于利用使用受污染训练数据的半监督训练来检测异常图像的方法的示例性实施例。
取代于如上文所描述的完全无监督方案，用于检测图像中异常的该方法还可以并入用户的稀疏的交互式反馈，其中向他呈现潜在性异常并且他决定它们是否属于正常类。
在下文中描述了图3中示出的该半监督方案，聚焦于与图2中示出的无监督方案的差异。
步骤31和32分别对应于上文描述的步骤21和22。在步骤33a中，如步骤23中那样，利用从更新步骤异常率v计算的正则化参数β来训练一类支持向量机，但是排除以前标注（尤其通过用户反馈）为正常或异常的所有图像。步骤34对应于上文描述的步骤24。在步骤35a中，处置自动检测到的和用户检测到的异常。对应于上文描述的功能251到258来使用功能351到358。在步骤35a之后，所述方法再次以步骤32继续，而在训练中包括所有用户标识的正常实例以供训练。重复步骤32到35直到检测到的异常的部分达到百分之α并且这在步骤34中确定。在该情况下，所述方法前进到步骤36，其中核查对对抗自编码器的训练是否已经足够收敛。如果是这样的话，训练以步骤37结束并且对抗自编码器可以用于检测图像集中的异常。如果训练尚未足够收敛，那么以步骤31继续对对抗自编码器的训练，加载或重置图片训练集。然而，仍然使用当前的权重。
用户必须标注的图像的数量可以实现为用户可以选择的参数，例如，附加于选择他多么频繁地被问及新标识的异常。此外，可以实现用户可以选择如何处置检测到的潜在性异常，即应该使用步骤35a中的哪个功能。
一类支持向量机提供实例到决策边界有多靠近的测量。对于异常检测最具信息性的示例是靠近于边界的那些，并且应当优先呈现给用户来标注。可以通过潜在性异常到决策边界的距离来对它们排序，并且用户可以选择呈现给他的潜在性异常必须位于最靠近于边界的示例的前x-%内。
异常检测阈值可以基于重构误差来选择，并且可以取决于在训练期间获得的重构误差的分布。确定该阈值的若干替换是可能的，例如：
1.在训练期间观察到的最大重构误差（如果训练集只包含正常数据，那么这是有意义的）。
2.重构误差的百分率，例如95%的百分率，使得所有训练图像的仅5%超过该重构误差。
3.取决于预期异常率α的自适应阈值，诸如（1-α）%的百分率。
在对抗自编码器被训练之后，其可以用于标识新数据集中的异常。由对抗自编码器的编码器和解码器来处理新图像，并且优选使用重构误差和潜在表示（尤其在2D空间中）的密度的组合来将新图像分类成正常或异常。
在无监督的情况下，通过学习二维空间中的边界来针对异常数据区分正常通常已经是可能的，在所述二位空间中一个轴示出重构误差，并且第二轴示出潜在表示的密度。如果来自用户反馈的标注是已知的，这些可用于例如通过在计算分类器的误差中与未标注点相比增加它们的权重来改进两个类之间的分离。
所给出方法具有用在多个实际相关领域中的潜力。
在视觉品质检查中，收集由机器生产的零件的照片，并且执行潜在有故障零件的自动化标识。在所有生产的零件中的大多数是运转正常的假定下，这变成典型的异常检测任务，并且历史产出率（来自顾客反馈或领域专家）可以提供对预期异常率的良好估计。由于生成标注昂贵且耗时，无监督方案对于工业大规模生产，而且对于精密机械（例如，3D打印）的制造特别令人关注。
在视觉监视中，可以记录并比较来自视频流的帧。不寻常的记录对应于异常，所述异常可能要求人类监督者的注意或者激活某种警报。这对监视相机具有明显的应用，但是原理上也可以用于检测有故障的传感器。
在医学图像分析中，异常检测帮助标识医学图像中不寻常的结构，这可以为医学状况提供证据（在绝大多数患者健康的假定下）。应用是在医学成像的所有领域中，包括放射学、超声、PET扫描或显微分析。
在针对大型图像数据库的数据集清理中，异常检测可以标识离群部，所述离群部应该被仔细核查并潜在地被重新标注。这对于在大数据上工作的所有方法（例如，大规模机器学习或计算机视觉）是有用的预处理步骤，具有消除异常数据防止学习错误概念的益处。
在自主驾驶中，视觉异常检测可以标识超出训练数据的范围的场景，在所述训练数据上训练自动驾驶仪。在这类情形中，将控制交回人类驾驶员以避免安全问题可能是明智的。
所述方法还可以用于像图像的数据的分析。虽然一些传感器不产生图像，但是它们的记录可以表示成图像，例如傅里叶变换之后的光谱图。如果将对抗自编码器应用于二维光谱图，这允许使用所给出方法来标识来自其他感测域的异常记录，例如异常声音或雷达记录。
Claims (23)
1.一种用于使用对抗自编码器（12,14,16）来检测第一图像数据集当中的异常图像的方法，其特征在于：
在第一训练中利用图像训练数据集（11）训练对抗自编码器（12,14,16），而优化对抗自编码器（12,14,16）使得图像训练数据集（11）的图像的潜在表示（13）的分布接近预定先验分布（17），并且最小化图像训练数据集的重构图像（15）的重构误差，
在对对抗自编码器（12,14,16）的第一训练之后，在潜在表示（13）中检测异常，并且在第二训练中利用图像训练数据集（11）但是把检测到的异常考虑在内来训练对抗自编码器（12,14,16），
由经训练的对抗自编码器（12,14,16）取决于图像的重构误差和预定先验分布（17）下的概率密度中的至少一个来检测第一图像数据集当中的异常图像。
2.根据权利要求1所述的方法，其特征在于，潜在表示（13）中的异常的检测是取决于预期异常率来完成的。
3.根据前述权利要求中的一项所述的方法，其特征在于，潜在表示（13）中的异常的检测是取决于它们的重构误差和预定先验分布（17）下它们的概率密度中的至少一个来完成的。
4.根据前述权利要求中的一项所述的方法，其特征在于，潜在表示（13）中的异常的检测是使用一类支持向量机或局部离群因子算法来完成的。
5.根据前述权利要求中的一项所述的方法，其特征在于，通过从用于第二训练的训练集（11）中排除检测到的异常来把在潜在表示（13）中检测到的异常考虑在内。
6.根据前述权利要求中的一项所述的方法，其特征在于，通过在至少一次后续训练中使用用于调谐对抗自编码器（12,14,16）的加权损失函数来把在潜在表示（13）中检测到的异常考虑在内，而在潜在表示（13）中检测到的异常在所述至少一次后续训练中接收减小的权重。
7.根据前述权利要求中的一项所述的方法，其特征在于，通过对于至少一次后续训练，将在潜在表示（13）中检测到的异常集中每个异常的重构目标修改为其自身的噪声损坏版本来把在潜在表示（13）中检测到的异常考虑在内。
8.根据前述权利要求中的一项所述的方法，其特征在于，通过在至少一次后续训练中，将在潜在表示（13）中检测到的异常集中每个异常的重构目标修改为潜在空间中标识为没有异常的靠近或最靠近的图像来把在潜在表示（13）中检测到的异常考虑在内。
9.根据前述权利要求中的一项所述的方法，其特征在于，在一定数量的重复内相继重复地实施第一训练和第二训练，或相继重复地实施第一训练和第二训练直到达到训练目标。
10.根据前述权利要求中的一项所述的方法，其特征在于，第一训练包括第一预定数量的迭代。
11.根据前述权利要求中的一项所述的方法，其特征在于，第二训练包括第二预定数量的迭代。
12.根据前述权利要求中的一项所述的方法，其特征在于，预定先验分布包括至少一个专用拒绝类。
13.根据前述权利要求中的一项所述的方法，其特征在于，图像训练数据集（11）的图像最初是未标注的。
14.根据前述权利要求中的一项所述的方法，其特征在于，所述方法包括向用户的查询以将呈现的图像标识为正常或异常。
15.根据权利要求14所述的方法，其特征在于，在第二训练中考虑在内的在潜在表示（13）中检测到的异常包括用户标识的异常。
16.根据权利要求14或权利要求15所述的方法，其特征在于，通过使用一类支持向量机或局部离群因子算法来完成潜在表示（13）中的异常的检测，并且而对于一类支持向量机或局部离群因子算法的训练，排除图像训练数据集（11）中用户标识为正常或异常的图像。
17.根据前述权利要求中的一项所述的方法，其特征在于，输出针对第一图像数据集中的图像的异常分数。
18.根据前述权利要求中的一项所述的方法，其特征在于，输出针对图像训练数据集（11）中的图像的异常分数。
19.根据权利要求14所述的方法，其特征在于，呈现给用户的图像是取决于它们的异常分数来选择的。
20.根据权利要求17到19中的一项所述的方法，其特征在于，基于重构误差和预定先验分布（17）下的概率密度中的至少一个来计算异常分数。
21.根据前述权利要求中的一项所述的方法，其特征在于，它用于视觉品质检查、医学图像分析、视觉监视或自动化驾驶中。
22.一种计算机程序，适于施行根据权利要求1到20中的一项所述的方法。
23.一种计算机设备，适于施行根据权利要求1到20中的一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17198775.3A EP3477553B1 (en) | 2017-10-27 | 2017-10-27 | Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder |
| EP17198775.3 | 2017-10-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109741292A true CN109741292A (zh) | 2019-05-10 |
| CN109741292B CN109741292B (zh) | 2024-05-28 |
Family
ID=60268203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811257330.3A Active CN109741292B (zh) | 2017-10-27 | 2018-10-26 | 用对抗自编码器检测第一图像数据集当中异常图像的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11429868B2 (zh) |
| EP (1) | EP3477553B1 (zh) |
| CN (1) | CN109741292B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827265A (zh) * | 2019-11-07 | 2020-02-21 | 南开大学 | 基于深度学习的图片异常检测方法 |
| CN112202625A (zh) * | 2019-07-08 | 2021-01-08 | 中国移动通信集团浙江有限公司 | 网元异常诊断方法、装置、计算设备及计算机存储介质 |
| CN112308104A (zh) * | 2019-08-02 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常识别方法、装置及计算机存储介质 |
| CN112488238A (zh) * | 2020-12-14 | 2021-03-12 | 桂林电子科技大学 | 一种基于对抗自编码器的混合异常检测方法 |
| CN112766459A (zh) * | 2021-01-12 | 2021-05-07 | 合肥黎曼信息科技有限公司 | 一种基于生成器的异常检测方法 |
| CN112995995A (zh) * | 2019-12-16 | 2021-06-18 | 罗伯特·博世有限公司 | 异常检测器、异常检测网络和用于检测异常活动的方法 |
| CN113111755A (zh) * | 2021-04-02 | 2021-07-13 | 北京航空航天大学 | 一种高光谱图像异常检测方法 |
| CN113632140A (zh) * | 2019-06-17 | 2021-11-09 | 乐人株式会社 | 用于产品检验的自动学习方法及系统 |
| CN114667522A (zh) * | 2019-09-24 | 2022-06-24 | 阿诺特尔布莱恩公司 | 将数据样本转换为正常数据 |
| CN116682043A (zh) * | 2023-06-13 | 2023-09-01 | 西安科技大学 | 基于SimCLR无监督深度对比学习异常视频清洗方法 |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10824909B2 (en) * | 2018-05-15 | 2020-11-03 | Toyota Research Institute, Inc. | Systems and methods for conditional image translation |
| CN118348951A (zh) * | 2018-08-10 | 2024-07-16 | 日本电信电话株式会社 | 概率分布学习装置、自编码器学习装置、数据变换装置 |
| JP6683960B1 (ja) * | 2019-05-20 | 2020-04-22 | 株式会社アルム | 画像処理装置、画像処理システム、および画像処理プログラム |
| US11126895B2 (en) * | 2019-05-22 | 2021-09-21 | Lawrence Livermore National Security, Llc | Mimicking of corruption in images |
| DE102019209565A1 (de) * | 2019-06-28 | 2020-12-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes |
| KR102132375B1 (ko) * | 2019-07-05 | 2020-07-09 | 한국과학기술원 | 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법 |
| FR3098961B1 (fr) * | 2019-07-17 | 2022-03-04 | Electricite De France | Procédé d’identification de données aberrantes dans d’un jeu de données d’entrée acquises par au moins un capteur |
| CN110517759B (zh) | 2019-08-29 | 2022-03-25 | 腾讯医疗健康(深圳)有限公司 | 一种待标注图像确定的方法、模型训练的方法及装置 |
| US10992696B2 (en) | 2019-09-04 | 2021-04-27 | Morgan Stanley Services Group Inc. | Enterprise-level security method and system |
| CN115039108A (zh) * | 2019-10-17 | 2022-09-09 | 华为技术有限公司 | 学习数据密度函数 |
| EP3832594A1 (en) * | 2019-12-02 | 2021-06-09 | Koninklijke Philips N.V. | A method and system for processing medical images |
| SE1930421A1 (en) * | 2019-12-30 | 2021-07-01 | Unibap Ab | Method and means for detection of imperfections in products |
| CN111428853B (zh) * | 2020-01-16 | 2023-07-11 | 东华大学 | 一种带噪声学习的负样本对抗生成方法 |
| US11727109B2 (en) | 2020-01-24 | 2023-08-15 | International Business Machines Corporation | Identifying adversarial attacks with advanced subset scanning |
| CN111415326A (zh) * | 2020-02-18 | 2020-07-14 | 中国铁道科学研究院集团有限公司 | 一种用于铁路接触网螺栓异常状态的检测方法及系统 |
| CN113850749B (zh) * | 2020-06-09 | 2024-07-09 | 英业达科技有限公司 | 训练缺陷侦测器的方法 |
| TWI770529B (zh) * | 2020-06-12 | 2022-07-11 | 英業達股份有限公司 | 訓練缺陷偵測器的方法 |
| US11361198B2 (en) * | 2020-06-18 | 2022-06-14 | Proofpoint, Inc. | Neural network host platform for detecting anomalies in cybersecurity modules |
| CN111738351B (zh) * | 2020-06-30 | 2023-12-19 | 创新奇智(重庆)科技有限公司 | 模型训练方法、装置、存储介质及电子设备 |
| US11928857B2 (en) * | 2020-07-08 | 2024-03-12 | VMware LLC | Unsupervised anomaly detection by self-prediction |
| JP2022065878A (ja) * | 2020-10-16 | 2022-04-28 | 富士通株式会社 | 情報処理プログラム、情報処理方法、および情報処理装置 |
| US20220121940A1 (en) * | 2020-10-20 | 2022-04-21 | The Regents Of The University Of California | Device and method for neural-network based on-chip spectroscopy using a plasmonic encoder |
| CN112712106B (zh) * | 2020-12-07 | 2022-12-09 | 西安交通大学 | 基于多视图对抗自编码器的机械设备健康状态识别方法 |
| US20220180244A1 (en) * | 2020-12-08 | 2022-06-09 | Vmware, Inc. | Inter-Feature Influence in Unlabeled Datasets |
| CN112580722B (zh) * | 2020-12-20 | 2024-06-14 | 大连理工大学人工智能大连研究院 | 一种基于条件对抗自动编码机的广义零样本图像识别方法 |
| CN114764765A (zh) * | 2020-12-30 | 2022-07-19 | 富泰华工业（深圳）有限公司 | 图像瑕疵检测方法、装置、电子设备及存储介质 |
| CN114881913A (zh) * | 2021-02-05 | 2022-08-09 | 富泰华工业（深圳）有限公司 | 图像瑕疵检测方法、装置、电子设备及存储介质 |
| CN115035017A (zh) * | 2021-03-04 | 2022-09-09 | 富泰华工业（深圳）有限公司 | 细胞密度分群方法、装置、电子设备及存储介质 |
| US11843623B2 (en) * | 2021-03-16 | 2023-12-12 | Mitsubishi Electric Research Laboratories, Inc. | Apparatus and method for anomaly detection |
| WO2022225506A1 (en) * | 2021-04-20 | 2022-10-27 | Siemens Mobility Austria Gmbh | Novelty detection in railway bogies |
| EP4083858A1 (en) * | 2021-04-29 | 2022-11-02 | Siemens Aktiengesellschaft | Training data set reduction and image classification |
| CN113256629B (zh) * | 2021-07-05 | 2022-06-24 | 之江实验室 | 一种图像标定错误检测方法及装置 |
| EP4145401A1 (en) * | 2021-09-06 | 2023-03-08 | MVTec Software GmbH | Method for detecting anomalies in images using a plurality of machine learning programs |
| CN113935462A (zh) * | 2021-09-29 | 2022-01-14 | 光大科技有限公司 | 一种基于堆栈自动编码器的联邦学习方法、装置及系统 |
| US20230281958A1 (en) * | 2022-03-01 | 2023-09-07 | Hewlett Packard Enterprise Development Lp | Image data synthesis using adversarial autoencoders for continual training of models |
| CN116545764B (zh) * | 2023-06-26 | 2024-02-02 | 烟台大学 | 一种工业互联网的异常数据检测方法、系统和设备 |
| CN117409326B (zh) * | 2023-12-13 | 2024-04-19 | 山东锋士信息技术有限公司 | 基于自适应加权损失和对抗干扰器的遥感异常检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5546472A (en) * | 1992-08-07 | 1996-08-13 | Arch Development Corp. | Feature guided method and apparatus for obtaining an image of an object |
| CN102549602A (zh) * | 2009-06-29 | 2012-07-04 | 罗伯特·博世有限公司 | 用于检测和分类至少一个预给定的图像元素的至少一部分的、用于机动车驾驶员辅助系统的图像处理方法 |
| US20170279834A1 (en) * | 2016-03-28 | 2017-09-28 | Cisco Technology, Inc. | User assistance coordination in anomaly detection |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015134665A1 (en) * | 2014-03-04 | 2015-09-11 | SignalSense, Inc. | Classifying data with deep learning neural records incrementally refined through expert input |
| US20170220951A1 (en) * | 2016-02-02 | 2017-08-03 | Xerox Corporation | Adapting multiple source classifiers in a target domain |
| WO2018192672A1 (en) * | 2017-04-19 | 2018-10-25 | Siemens Healthcare Gmbh | Target detection in latent space |
| US11354823B2 (en) * | 2017-07-11 | 2022-06-07 | Deepmind Technologies Limited | Learning visual concepts using neural networks |
-
2017
- 2017-10-27 EP EP17198775.3A patent/EP3477553B1/en active Active
-
2018
- 2018-10-26 US US16/171,637 patent/US11429868B2/en active Active
- 2018-10-26 CN CN201811257330.3A patent/CN109741292B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5546472A (en) * | 1992-08-07 | 1996-08-13 | Arch Development Corp. | Feature guided method and apparatus for obtaining an image of an object |
| CN102549602A (zh) * | 2009-06-29 | 2012-07-04 | 罗伯特·博世有限公司 | 用于检测和分类至少一个预给定的图像元素的至少一部分的、用于机动车驾驶员辅助系统的图像处理方法 |
| US20170279834A1 (en) * | 2016-03-28 | 2017-09-28 | Cisco Technology, Inc. | User assistance coordination in anomaly detection |
Non-Patent Citations (2)
| Title |
|---|
| VALENTIN LEVEAU ET AL.: ""ADVERSARIAL AUTOENCODERS FOR NOVELTY DETECTION"", 《INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS》, pages 1 - 6 * |
| YAN XIA ET AL.: "Learning Discriminative Reconstructions for Unsupervised Outlier Removal", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》, vol. 7, pages 1511 - 1519, XP032866499, DOI: 10.1109/ICCV.2015.177 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113632140A (zh) * | 2019-06-17 | 2021-11-09 | 乐人株式会社 | 用于产品检验的自动学习方法及系统 |
| CN112202625A (zh) * | 2019-07-08 | 2021-01-08 | 中国移动通信集团浙江有限公司 | 网元异常诊断方法、装置、计算设备及计算机存储介质 |
| CN112202625B (zh) * | 2019-07-08 | 2023-08-15 | 中国移动通信集团浙江有限公司 | 网元异常诊断方法、装置、计算设备及计算机存储介质 |
| CN112308104A (zh) * | 2019-08-02 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常识别方法、装置及计算机存储介质 |
| CN114667522A (zh) * | 2019-09-24 | 2022-06-24 | 阿诺特尔布莱恩公司 | 将数据样本转换为正常数据 |
| CN110827265A (zh) * | 2019-11-07 | 2020-02-21 | 南开大学 | 基于深度学习的图片异常检测方法 |
| CN110827265B (zh) * | 2019-11-07 | 2023-04-07 | 南开大学 | 基于深度学习的图片异常检测方法 |
| CN112995995A (zh) * | 2019-12-16 | 2021-06-18 | 罗伯特·博世有限公司 | 异常检测器、异常检测网络和用于检测异常活动的方法 |
| CN112488238A (zh) * | 2020-12-14 | 2021-03-12 | 桂林电子科技大学 | 一种基于对抗自编码器的混合异常检测方法 |
| CN112766459A (zh) * | 2021-01-12 | 2021-05-07 | 合肥黎曼信息科技有限公司 | 一种基于生成器的异常检测方法 |
| CN112766459B (zh) * | 2021-01-12 | 2024-05-03 | 合肥黎曼信息科技有限公司 | 一种基于生成器的异常检测方法 |
| CN113111755A (zh) * | 2021-04-02 | 2021-07-13 | 北京航空航天大学 | 一种高光谱图像异常检测方法 |
| CN116682043A (zh) * | 2023-06-13 | 2023-09-01 | 西安科技大学 | 基于SimCLR无监督深度对比学习异常视频清洗方法 |
| CN116682043B (zh) * | 2023-06-13 | 2024-01-26 | 西安科技大学 | 基于SimCLR无监督深度对比学习异常视频清洗方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11429868B2 (en) | 2022-08-30 |
| US20190130279A1 (en) | 2019-05-02 |
| CN109741292B (zh) | 2024-05-28 |
| EP3477553B1 (en) | 2023-08-30 |
| EP3477553A1 (en) | 2019-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109741292A (zh) | 用对抗自编码器检测第一图像数据集当中异常图像的方法 | |
| EP3379491B1 (en) | Surface defect detection | |
| Zavrtanik et al. | Draem-a discriminatively trained reconstruction embedding for surface anomaly detection | |
| CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
| Olaniyi et al. | Intelligent grading system for banana fruit using neural network arbitration | |
| Mathanker et al. | AdaBoost classifiers for pecan defect classification | |
| CN109241829A (zh) | 基于时空注意卷积神经网络的行为识别方法及装置 | |
| CN110956615B (zh) | 图像质量评估模型训练方法、装置、电子设备及存储介质 | |
| Hamza et al. | Apple ripeness estimation using artificial neural network | |
| Almero et al. | An aquaculture-based binary classifier for fish detection using multilayer artificial neural network | |
| Ribeiro et al. | An adaptable deep learning system for optical character verification in retail food packaging | |
| Pramunendar et al. | A Robust Image Enhancement Techniques for Underwater Fish Classification in Marine Environment. | |
| CN111008643A (zh) | 基于半监督学习的图片分类方法、装置和计算机设备 | |
| Ranjan et al. | Detection and localisation of farm mangoes using YOLOv5 deep learning technique | |
| CN117853942A (zh) | 用于云雾的识别方法、云雾识别装置及云雾识别系统 | |
| Vaudaux-Ruth et al. | Salad: Self-assessment learning for action detection | |
| EP4361615A1 (en) | Inspection method, classification method, management method, steel material manufacturing method, training model generation method, training model, inspection device, and steel material manufacturing facility | |
| Zhang et al. | Selectivity drives productivity: efficient dataset pruning for enhanced transfer learning | |
| Varalakshmi et al. | Plant disorder precognition by image based pattern recognition | |
| Karthik et al. | GrapeLeafNet: A Dual-Track Feature Fusion Network with Inception-ResNet and Shuffle-Transformer for Accurate Grape Leaf Disease Identification | |
| Patel et al. | Enhanced CNN for Fruit Disease Detection and Grading Classification Using SSDAE-SVM for Postharvest Fruits | |
| Zárate et al. | Fruit Detection and Classification Using Computer Vision and Machine Learning Techniques | |
| Huang et al. | Quality control on manufacturing computer keyboards using multilevel deep neural networks | |
| Thevarasa et al. | Weighted Ensemble Algorithm for Aerial Imaging Based Mosquito Breeding Sites Classification | |
| Aqeel et al. | Self-supervised Learning for Robust Surface Defect Detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |