CN113222883B - 处理异常检测的装置及方法 - Google Patents
处理异常检测的装置及方法 Download PDFInfo
- Publication number
- CN113222883B CN113222883B CN202010553747.5A CN202010553747A CN113222883B CN 113222883 B CN113222883 B CN 113222883B CN 202010553747 A CN202010553747 A CN 202010553747A CN 113222883 B CN113222883 B CN 113222883B
- Authority
- CN
- China
- Prior art keywords
- vector
- input
- input image
- parameter
- potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 title description 31
- 230000005856 abnormality Effects 0.000 title description 2
- 239000013598 vector Substances 0.000 claims abstract description 121
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 29
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000588653 Neisseria Species 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种计算装置，用来处理异常检测，包含有：一编码器，用来接收一输入影像，以根据该输入影像及该编码器的至少一第一参数，产生包含有一语意潜在向量及一视觉外观潜在向量的一第一潜在向量；以及一训练模块，耦接于该编码器，用来接收该输入影像及该第一潜在向量，以根据该输入影像、该第一潜在向量及一损失函数，更新该至少一第一参数。
Description
【技术领域】
本发明相关于一种用于多媒体系统的装置及方法，尤指一种处理异常检测的装置及方法。
【背景技术】
异常检测旨在区分正常数据及异常数据(例如不正常样本)，以解决分布不匹配问题(distribution mismatch problem)。异常检测已被应用来解决几个应用领域的问题，例如生物医学影像、影片监控及自动光学检测(automated optical inspection，AOI)等。用于异常检测的各种方法被提出以分离正常数据及异常数据。然而，正常数据及异常数据的复杂背景或内容变种(content variants)减少这些方法的效能。因此，用来处理异常检测且改善效能的方法仍是亟待解决的问题。
【发明内容】
本发明提供了一种方法及其装置，用来处理异常检测，以解决上述问题。
一种计算装置，用来处理异常检测(anomaly detection)，包含有：一编码器，用来接收一输入影像，以根据该输入影像及该编码器的至少一第一参数，产生包含有一语意潜在向量(semantic latent vector)及一视觉外观潜在向量(visual appearance latentvector)的一第一潜在向量；以及一训练模块，耦接于该编码器，用来接收该输入影像及该第一潜在向量，以根据该输入影像、该第一潜在向量及一损失函数，更新该至少一第一参数。
【附图说明】
图1为本发明实施例一计算装置的示意图。
图2为本发明实施例一训练模块的示意图。
图3为本发明实施例一鉴别器模块的示意图。
图4为本发明实施例一实验结果的比较表。
图5为本发明实施例一流程的流程图。
【具体实施方式】
图1为本发明实施例一计算装置10的示意图。计算装置10包含有编码器100及训练模块110。详细来说，编码器100接收输入影像，以及根据输入影像及编码器100的至少一参数，产生第一潜在向量(latent vector)(例如潜在码(latent code)或潜在表示(latentrepresentation))，其中第一潜在向量包含有语意潜在向量(semantic latent vector)(例如语意潜在码)及视觉外观潜在向量(visual appearance latent vector)(例如视觉外观潜在码)。训练模块110耦接于编码器100，以及接收输入影像及第一潜在向量。根据输入影像、第一潜在向量及损失函数，训练模块110更新编码器100的至少一第一参数。
根据用来区分(例如识别)正常数据及异常数据(例如不正常样本或不正常数据)的方式，用于异常检测的方法可被划分为两种类型。藉由L1范数(L1-norm)函数或L2范数(L2-norm)函数，自我表示方法(self-representation methods)被设计用来测量(例如评估或计算)输入(例如输入影像)及输出(例如重建影像)间的重建误差，以区分输入是否为一异常(anomaly)(例如异常值(outlier)、异常(out of distribution)或新颖(novelty))。举例来说，高重建误差代表输入更有可能为一异常。然而，自我表示方法的模块可具有重建正常数据及异常数据的视觉外观信息(例如视觉属性(visual attributes))的能力，以及可根据输入的视觉外观信息而非输入的语意信息(例如类别特征(categorical features)或类别信息)产生输出，以减少重建误差。因此，重建误差无法为用于异常检测的一合适指示符。
另一方面，信心估计方法被设计用来找出信心分数及临界值。举例来说，若信心分数低于临界值，输入被决定为一异常。然而，当输入为一异常时，信心估计方法的模块可产生高信心分数(即高信心分数高于临界值)。也就是说，信心估计方法的模块难以根据输入的语意信息产生信心分数。因此，信心估计方法难以识别异常数据。此外，两种方法的效能可被正常数据及异常数据的复杂背景或内容变种所影响。
本发明提供用于异常检测且具有特征分离(feature disentanglement)的装置及方法，旨在分离(例如区分、识别)正常数据及异常数据的视觉外观信息及语意信息。因此，正常数据及异常数据的复杂背景或内容变种减少方法的效能的问题被解决。
此外，本发明不仅对单类(one-class)异常检测有效(即在一数据集中的所有类别被视为正常数据，以及其他数据集的类别被视为异常数据)，也对多类(multi-class)异常检测有效(即在一数据集中的一类别被视为异常数据，以及该数据集的其余类别被视为正常数据)。
在一实施例中，语意潜在向量包含有输入影像的语意信息，以及不包含有输入影像的视觉外观信息。在一实施例中，视觉外观潜在向量包含有输入影像的视觉外观信息，以及不包含有输入影像的语意信息。也就是说，编码器100分别将输入影像的语意信息及视觉外观信息编码到第一潜在向量的语意潜在向量及视觉外观潜在向量。因此，计算装置10聚焦语意信息以估计信心分数。
在一实施例中，训练模块110更新编码器100的至少一参数，使编码器100具有更好的能力来分离(例如分开)输入影像的语意信息及视觉外观信息。
在一实施例中，在训练流程(例如分离流程)中，编码器100及训练模块110被合并以找出(例如学习)正常数据的分布。在一实施例中，在训练流程中，语意潜在向量及视觉外观潜在向量被训练，以分别找出(例如学习)正常数据的语意信息及视觉外观信息。透过训练流程，编码器100可更准确分离输入影像的语意信息及视觉外观信息。因此，藉由消除输入影像的不相关的特征，计算装置10可更准确的估计信心分数。
在一实施例中，当执行训练流程时，输入影像为训练数据集的影像(即真实影像)。在一实施例中，在完成训练流程后，输入影像为检测的目标。
在一实施例中，编码器100独立运作而不需训练模块110，例如当终止条件(例如迭代的数量等于一默认值)成立时。在此情况下，编码器100可开始产生一潜在向量，以区分正常数据及异常数据(即决定输入影像是否为一异常)。
在一实施例中，语意潜在向量是单热向量(one-hot vector)，以及语意潜在向量的每个数值满足(例如遵循)预测的分布。在一实施例中，若语意潜在向量的一最大信心分数等于或低于一临界数值，该输入影像被决定为一异常。在一实施例中，若语意潜在向量的一最大信心分数高于一临界数值，该输入影像被决定为一正常。也就是说，计算装置10为了信心估计使用语意潜在向量而不需视觉外观潜在向量。计算装置10选择语意潜在向量的最大信心分数，以及比较最大信心分数及临界数值，以决定输入影像是否为一异常。因此，藉由消除输入影像的不相关的特征(即视觉外观潜在向量)，计算装置10决定输入影像是否为一异常。正常数据及异常数据的复杂背景或内容变种影响效能的问题被解决。
在一实施例中，编码器100及训练模块110的组合可被称为变分自编码器生成对抗网络(variationalautoencoder-generative adversarial network，VAE-GAN)。换言之，训练模块110可包含有译码器及鉴别器(例如鉴别器模块)。
图2为本发明实施例一训练模块20的示意图。训练模块20可用来实现图1中的训练模块110。训练模块20包含有译码器200、处理模块210、鉴别器模块220及反馈模块230。译码器200接收至少一潜在向量，以及根据至少一潜在向量及译码器200的至少一第二参数，产生至少一重建影像。处理模块210耦接于译码器200，以及接收及处理输入影像、至少一潜在向量及至少一重建影像。接着，处理模块210产生复数个输入对(input pairs)。鉴别器模块220耦接于处理模块210，以及接收复数个输入对。根据复数个输入对及鉴别器模块220的至少一第三参数，鉴别器模块220产生复数个分数。反馈模块230耦接于鉴别器模块220，以及接收复数个分数(scores)。根据复数个分数及损失函数，反馈模块230更新至少一第一参数、至少一第二参数及至少一第三参数。
在一实施例中，至少一潜在向量是第一潜在向量或随机取样潜在向量(randomsampled latent vector)。举例来说，译码器200接收第一潜在向量，以及产生第一重建影像。译码器200接收随机取样潜在向量，以及产生第二重建影像。
在一实施例中，随机取样潜在向量包含有语意潜在向量及视觉外观潜在向量。在一实施例中，随机取样潜在向量的视觉外观潜在向量可满足(例如遵循)多变量常态分布(multivariate normal distribution)(例如多变量高斯分布)在一实施例中，藉由强加(impose)分布/>编码器100被正规化(regularize)，其中/>
在一实施例中，编码器100及译码器200的组合可被称为自编码器(autoencoder)。在一实施例中，编码器100及译码器200的组合可被称为变分自编码器(variationalautoencoder，VAE)。
在一实施例中，译码器200的目标是产生具有与输入影像(即真实影像)相同质量的重建影像。
在一实施例中，处理模块210接收一影像(例如输入影像或至少一重建影像)，以及降低影像的维度(dimensions)以产生一向量。接着，处理模块210连接(concatenate)向量及潜在向量(例如至少一潜在向量)，以及产生一输入对。
在一实施例中，复数个输入对的一输入对包含有输入影像(即真实影像)及具有输入影像的至少一标签(label)的视觉外观潜在向量，其中至少一标签是语意潜在向量的基准真相(ground truth)(即至少一标签包含有输入影像的理想语意信息)。
在一实施例中，复数个输入对的一输入对包含有至少一重建影像及至少一潜在向量。举例来说，当接收第一潜在向量时，若译码器200产生第一重建影像，输入对包含有第一潜在向量及第一重建影像。当接收随机取样潜在向量时，若译码器200产生第二重建影像，输入对包含有随机取样潜在向量及第二重建影像。
在一实施例中，鉴别器模块220约束(constrain)译码器200，使译码器200不忽略至少一潜在向量的语意潜在向量，以产生至少一重建影像。
在一实施例中，在接收输入对后，鉴别器模块220产生用来区分(例如决定或辨别)输入对真实(或仿冒)程度的一分数(即用来区别在输入对中的影像和潜在向量是否更有可能是原始数据或由编码器100或译码器200所产生的重建数据)。复数个分数间的较大差距代表鉴别器模块220更成功地区分复数个输入对。
图3为本发明实施例一鉴别器模块300的示意图。鉴别器模块300可用来实现图2中的鉴别器模块220。鉴别器模块300接收输入对，以及产生对应的分数。根据输入对的不同内容，3种情况(a)～(c)被用于说明本发明的可能场景，但不限于此。
在情况(a)中，鉴别器模块300接收一输入对，其中输入对包含有输入影像(即真实影像)及具有输入影像的至少一标签的视觉外观潜在向量。根据至少一第三参数、输入影像、第一潜在向量的视觉外观潜在向量及至少一标签，鉴别器模块300产生第一分数。
在情况(b)中，鉴别器模块300接收一输入对，其中输入对包含有第一重建影像及第一潜在向量。根据至少一第三参数、第一重建影像及第一潜在向量，鉴别器模块300产生第二分数。
在情况(c)中，鉴别器模块300接收一输入对，其中输入对包含有第二重建影像及随机取样潜在向量。根据至少一第三参数、第二重建影像及随机取样潜在向量，鉴别器模块300产生第三分数。
需注意的是，情况(a)～(c)可发生在相同迭代(iteration)中。也就是说，根据图3，在一迭代中，鉴别器模块300产生第一分数、第二分数及第三分数，以及传送上述分数到反馈模块230。接着，根据损失函数及这些分数，反馈模块230更新至少一第一参数、至少一第二参数及至少一第三参数。
在一实施例中，根据第一分数、第二分数及损失函数，反馈模块230产生第一数值。在一实施例中，根据第一分数、第三分数及损失函数，反馈模块230产生第二数值。在一实施例中，在一迭代中，根据第一数值及第二数值，反馈模块230更新编码器100的至少一第一参数及译码器200的至少一第二参数。在一实施例中，在一迭代中，根据第一数值及第二数值，反馈模块230更新鉴别器模块220的至少一第三参数。在一实施例中，第一数值在每一次迭代中可为相同或不同。第二数值在每一次迭代中可为相同或不同。
在一实施例中，当更新至少一第一参数及至少一第二参数被请求(例如设定)，以及至少一第三参数可被固定时，反馈模块230可产生第一数值及第二数值。在一实施例中，当更新至少一第三参数被请求(例如设定)，以及至少一第一参数及至少一第二参数可被固定时，反馈模块230可产生第一数值及第二数值。也就是说，在一迭代中，反馈模块230更新编码器100及译码器200的参数(或鉴别器模块220的参数)，以及鉴别器模块220的参数(或编码器100及译码器200的参数)被固定。
在一实施例中，在一迭代中，根据第一数值及第二数值，反馈模块230使用适应矩估计优化器(Adaptive Moment Estimationoptimizer，ADAM optimizer)来更新编码器100的至少一第一参数及译码器200的至少一第二参数。在用来更新至少一第一参数及至少一第二参数的迭代后，鉴别器模块220接收新复数个输入对，以及产生新复数个分数。新复数个分数间的新差距可小于当前复数个分数间的当前差距。
在一实施例中，在一迭代中，根据第一数值及第二数值，反馈模块230使用适应矩估计优化器以更新至少一第三参数。在用来更新至少一第三参数的迭代后，当接收相同复数个输入对时，根据鉴别器模块220的至少一新第三参数，鉴别器模块220产生新复数个分数。新复数个分数间的新差距可大于当前复数个分数间的当前差距。
在一实施例中，在至少一第三参数被更新N次后，至少一第一参数及至少一第二参数被更新，其中N是一正整数。在一实施例中，在至少一第一参数及至少一第二参数被更新M次后，至少一第三参数被更新，其中M是一正整数。
在一实施例中，训练流程(例如上述实施例)不仅鼓励译码器200产生具有与真实影像相同质量的至少一重建影像，也让编码器100分别分离输入影像的语意信息及视觉外观信息到语意潜在向量及视觉外观潜在向量。在一实施例中，编码器100独立运作而不需训练模块110(例如训练模块20)，例如当鉴别器模块220无法根据复数个分数区分复数个输入对(例如复数个分数间的差距接近为零)时。在此情况下，编码器100可开始产生一潜在向量，以区分正常数据及异常数据(即决定输入影像是否为一异常)。
在一实施例中，若译码器200所接收的至少一潜在向量为第一潜在向量，编码器100接收至少一重建影像(即第一重建影像)，以产生第二潜在向量。在一实施例中，根据第一潜在向量及第二潜在向量间的差异，反馈模块230计算损失函数。
在一实施例中，损失函数Ltotal(E,D,Dis)包含有至少一正则化器(regularizer)(例如至少一正则化函数(regularization function))、类别型(categorical)损失函数(例如监督(supervised)损失函数)、KL散度(Kullback-Leibler divergence，KLdivergence)函数及瓦瑟斯坦生成对抗网络(Wasserstein Generative AdversarialNetwork，WGAN)损失函数。至少一正则化器可为重建损失函数Lr(E,D)及特征一致性(feature consistency)损失函数Lz(E,D)。在一实施例中，若至少一潜在向量为第一潜在向量，重建损失函数Lr(E,D)是用来计算输入影像及至少一重建影像(即第一重建影像)间的差异的L1范数函数。在一实施例中，特征一致性损失函数Lz(E,D)是用来计算第一潜在向量及第二潜在向量间的差异的L1范数函数。重建损失函数Lr(E,D)、类别型损失函数Lc(E)及特征一致性损失函数Lz(E,D)可根据下列方程式被执行：
其中x是输入影像，是期望值公式(expected value formula)，E(x)是编码器100所产生的潜在向量(例如第一潜在向量或第二潜在向量)，D(c,z)是译码器200所产生的重建影像(例如至少一重建影像)，以及c及z分别是潜在向量的语意潜在向量及视觉外观潜在向量。/>代表输入影像的标签(即至少一标签)。
损失函数Ltotal(E,D,Dis)被优化以解决一对抗极小极大问题(adversarial min-max problem)，以根据损失函数，更新至少一第一参数、至少一第二参数及至少一第三参数。损失函数Ltotal(E,D,Dis)可根据下列方程式被执行：
Ltotal(E,D,Dis)＝L(E,D,Dis)+LKL(E)+λ1Lr(E,D)
+λ2Lc(E)+λ3Lz(E,D)； (式4)
其中L(E,D,Dis)是瓦瑟斯坦生成对抗网络损失函数，LKL(E)是KL散度函数，以及在方程式(即式4)中的系数λ1、λ2及λ3为固定值。
在一实施例中，重建损失函数Lr(E,D)是用来维持(maintain)输入影像的结构。在一实施例中，类别型损失函数Lc(E)是用于编码器100，使编码器100识别输入影像的语意信息为第一潜在向量的语意潜在向量。在一实施例中，特征一致性损失函数Lz(E,D)是用来维持在视觉外观潜在向量中的潜在向量一致性。
图4为本发明实施例一实验结果的比较表40。在图4中，七种方法以美国国家标准暨技术研究院所修改的数据集(Modified National Institute of Standards andTechnology dataset，MNISTdataset)产生实验结果：标准变分自编码器(standard VAE)、AnoGAN、基于生成对抗网络的有效异常检测(Efficient GAN Based Anomaly Detection，EGBAD)、GANomaly、耦接于生成对抗网络的无限高斯混和模型(Infinite GaussianMixture Model coupled with Generative Adversarial Networks，IGMM-GAN)、在神经网络中的异常检测(Outlier Detection In Neural Networks，ODIN)及本发明实施例。接着，藉由采用接收者操作特征曲线下方的面积指针(Area Under the Receiver OperatingCharacteristic curve metric，AUROCcurve metric)，比较表40显示定性及定量的实验结果。为了聚焦更具有挑战性的多类异常检测，在该数据集中的一类别被视为异常，以及在该数据集中的其余类别被视为正常数据。观察比较表40可知，相较于其他方法，本发明具有较好的效能。
在上述实施例中，计算装置10的运作可被归纳为图5中的一流程图50。流程图50可被实现在计算装置10中，以及包含有以下步骤：
步骤500：开始。
步骤502：接收输入影像。
步骤504：根据输入影像及编码器的至少一第一参数，产生包含有语意潜在向量及视觉外观潜在向量的第一潜在向量。
步骤506：根据输入影像、第一潜在向量及损失函数，更新至少一第一参数。
步骤508：结束。
流程图50可被用来举例说明计算装置10的运作。流程图10的详细内容及变化可参考前述，在此不赘述。
本领域具通常知识者当可依本发明的精神加以结合、修饰及/或变化以上所述的实施例，而不限于此。前述的编码器、译码器、陈述、函数、模块及/或流程(包含建议步骤)可透过装置实现，装置可为硬件、软件、韧体(为硬件装置与计算机指令与数据的结合，且计算机指令与数据属于硬件装置上的只读软件)、电子系统、或上述装置的组合。
硬件的实施例可包含有模拟电路、数字电路及/或混合电路。举例来说，硬件可包含有特定应用集成电路(application-specific integrated circuit(s)，ASIC(s))、场域可程序化门阵列(field programmable gate array(s)，FPGA(s))、可程序化逻辑设备(programmable logic device(s))、耦合硬件组件(coupled hardware components)、或上述装置的组合。在一实施例中，硬件包含有通用处理器(general-purpose processor(s))、微处理器(microprocessor(s))、控制器(controller(s))、数字信号处理器(digitalsignal processor(s)，DSP(s))、或上述装置的组合。
软件的实施例可包含有程序代码的集合、指令的集合及/或函数的集合，其可被保留(例如存储)在存储单元，例如计算机可读取介质(computer-readable medium)中。计算机可读取介质可包含有用户识别模块(Subscriber Identity Module，SIM)、只读式内存(Read-Only Memory，ROM)、闪存(flash memory)、随机存取内存(Random-Access Memory，RAM)、CD-ROM/DVD-ROM/BD-ROM、磁带(magnetic tape)、硬盘(hard disk)、光学数据存储装置(optical data storage device)、非挥发性存储装置(non-volatile storagedevice)、或上述装置的组合。计算机可读取介质(例如存储单元)可在内部(例如集成(integrate))或外部(例如分离(separate))耦合到至少一处理器。包含有一个或多个模块的至少一个处理器可(例如被配置为)执行计算机可读取介质中的软件。程序代码的集合、指令的集合及/或函数的集合可使至少一处理器、模块、硬件及/或电子系统执行相关步骤。
综上所述，本发明提供了一种处理异常检测(例如单类异常检测及多类异常检测)的计算装置。本发明分离输入影像的语意信息及视觉外观信息，以减少由输入影像的复杂背景或内容变种所造成的影响。
以上所述仅为本发明之较佳实施例，凡依本发明权利要求范围所做之均等变化与修饰，皆应属本发明之涵盖范围。
【符号说明】
10:计算装置
100:编码器
110:训练模块
20:训练模块
200:译码器
210:处理模块
220:鉴别器模块
230:反馈模块
300:鉴别器模块
40:比较表
50:流程图
500～508:步骤
Claims (10)
1.一种计算装置，用来处理异常检测，包含有：
一编码器，用来接收一输入影像，以根据该输入影像及该编码器的至少一第一参数，产生包含有一语意潜在向量及一视觉外观潜在向量的一第一潜在向量，其中该输入影像是否异常是根据该语意潜在向量而不是该视觉外观潜在向量來決定；以及
一训练模块，耦接于该编码器，用来接收该输入影像及该第一潜在向量，以根据该输入影像、该第一潜在向量及一损失函数，更新该至少一第一参数，其中该训练模块包含有：
一译码器，耦接于该编码器，用来接收该第一潜在向量，以根据该第一潜在向量及该译码器的至少一第二参数，产生一第一重建影像，其中，该编码器接收该第一重建影像，以产生一第二潜在向量；以及
一反馈模块，耦接于该编码器，用来根据该第一潜在向量及该第二潜在向量间的差异，计算该损失函数。
2.如权利要求1所述的计算装置，其中若该语意潜在向量的一最大信心分数低于一临界数值，该输入影像被决定为一异常。
3.如权利要求1所述的计算装置，其中该语意潜在向量包含有该输入影像的一语意信息，以及不包含有该输入影像的一视觉外观信息。
4.如权利要求1所述的计算装置，其中该视觉外观潜在向量包含有该输入影像的一视觉外观信息，以及不包含有该输入影像的一语意信息。
5.如权利要求1所述的计算装置，其中该译码器用来接收一随机取样潜在向量，以根据该随机取样潜在向量及该译码器的该至少一第二参数，产生一第二重建影像，并且，该训练模块还包含有：
一处理模块，耦接于该译码器，用来处理该输入影像、该第一重建影像及该第二重建影像的至少一者及该第一潜在向量及该随机取样潜在向量的至少一者，以产生复数个输入对；以及
一鉴别器模块，耦接于该处理模块，用来接收该复数个输入对，以根据该复数个输入对及该鉴别器模块的至少一第三参数，产生复数个分数；
其中，该反馈模块，耦接于该鉴别器模块，用来接收该复数个分数，以根据该复数个分数及该损失函数，更新该至少一第一参数、该至少一第二参数及该至少一第三参数。
6.如权利要求5所述的计算装置，其中该复数个输入对的一输入对包含有该第二重建影像及该随机取样潜在向量。
7.如权利要求5所述的计算装置，其中该复数个输入对的一输入对包含有该输入影像及具有该输入影像的至少一标签的该视觉外观潜在向量。
8.如权利要求5所述的计算装置，其中该复数个输入对的一输入对包含有该第一重建影像及该第一潜在向量。
9.如权利要求1所述的计算装置，其中该损失函数包含有至少一正则化器、一类别型损失函数、一KL散度函数及一瓦瑟斯坦生成对抗网络损失函数。
10.如权利要求9所述的计算装置，其中，该至少一正则化器是用来计算该输入影像及该第一重建影像间的差异的一L1范数函数。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202062964096P | 2020-01-21 | 2020-01-21 | |
| US62/964,096 | 2020-01-21 | ||
| US16/867,576 US11748629B2 (en) | 2020-01-21 | 2020-05-06 | Device and method of handling anomaly detection |
| US16/867,576 | 2020-05-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113222883A CN113222883A (zh) | 2021-08-06 |
| CN113222883B true CN113222883B (zh) | 2024-02-23 |
Family
ID=70918271
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010553747.5A Active CN113222883B (zh) | 2020-01-21 | 2020-06-17 | 处理异常检测的装置及方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11748629B2 (zh) |
| EP (1) | EP3855361A1 (zh) |
| JP (1) | JP6955612B2 (zh) |
| CN (1) | CN113222883B (zh) |
| TW (1) | TWI729861B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201718756D0 (en) * | 2017-11-13 | 2017-12-27 | Cambridge Bio-Augmentation Systems Ltd | Neural interface |
| CN115210809A (zh) * | 2020-03-04 | 2022-10-18 | 谷歌有限责任公司 | 流式传输序列模型的一致预测 |
| US11537902B1 (en) * | 2020-06-25 | 2022-12-27 | Amazon Technologies, Inc. | Detecting anomalous events from categorical data using autoencoders |
| US20220108434A1 (en) * | 2020-10-07 | 2022-04-07 | National Technology & Engineering Solutions Of Sandia, Llc | Deep learning for defect detection in high-reliability components |
| US20220138554A1 (en) * | 2020-10-30 | 2022-05-05 | Capital One Services, Llc | Systems and methods utilizing machine learning techniques for training neural networks to generate distributions |
| KR102595182B1 (ko) * | 2023-04-03 | 2023-10-30 | 주식회사 크로커스 | 이미지 이상 탐지 방법 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274432A (zh) * | 2017-06-10 | 2017-10-20 | 北京航空航天大学 | 一种基于视觉显著性和深度自编码的公共场景智能视频监控方法 |
| CN108805802A (zh) * | 2018-06-05 | 2018-11-13 | 东北大学 | 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法 |
| CN109784359A (zh) * | 2018-11-27 | 2019-05-21 | 北京邮电大学 | 图像生成方法、装置、设备及可读存储介质 |
| US10311334B1 (en) * | 2018-12-07 | 2019-06-04 | Capital One Services, Llc | Learning to process images depicting faces without leveraging sensitive attributes in deep learning models |
| WO2019221654A1 (en) * | 2018-05-17 | 2019-11-21 | Tobii Ab | Autoencoding generative adversarial network for augmenting training data usable to train predictive models |
| CN110580501A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种基于变分自编码对抗网络的零样本图像分类方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10379999B2 (en) * | 2016-01-11 | 2019-08-13 | Oracle International Corporation | Duplicate bug report detection using machine learning algorithms and automated feedback incorporation |
| US10333958B2 (en) | 2016-07-19 | 2019-06-25 | Cisco Technology, Inc. | Multi-dimensional system anomaly detection |
| US20180225355A1 (en) * | 2017-02-07 | 2018-08-09 | International Business Machines Corporation | Self-improving classification |
| US11055631B2 (en) * | 2017-03-27 | 2021-07-06 | Nec Corporation | Automated meta parameter search for invariant based anomaly detectors in log analytics |
| CN109685087B9 (zh) | 2017-10-18 | 2023-02-03 | 富士通株式会社 | 信息处理方法和装置以及信息检测方法 |
| CN108229156A (zh) * | 2017-12-28 | 2018-06-29 | 阿里巴巴集团控股有限公司 | Url攻击检测方法、装置以及电子设备 |
| US10825219B2 (en) | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
| US10810754B2 (en) * | 2018-04-24 | 2020-10-20 | Ford Global Technologies, Llc | Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation |
| US10558913B1 (en) * | 2018-10-24 | 2020-02-11 | Equifax Inc. | Machine-learning techniques for monotonic neural networks |
| KR102613210B1 (ko) * | 2018-11-08 | 2023-12-14 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| US20200356592A1 (en) * | 2019-05-09 | 2020-11-12 | Microsoft Technology Licensing, Llc | Plural-Mode Image-Based Search |
| US11604822B2 (en) * | 2019-05-30 | 2023-03-14 | Adobe Inc. | Multi-modal differential search with real-time focus adaptation |
| US11189007B2 (en) * | 2019-12-03 | 2021-11-30 | Imagry (Israel) Ltd | Real-time generation of functional road maps |
-
2020
- 2020-05-06 US US16/867,576 patent/US11748629B2/en active Active
- 2020-05-28 EP EP20177004.7A patent/EP3855361A1/en active Pending
- 2020-06-17 CN CN202010553747.5A patent/CN113222883B/zh active Active
- 2020-06-20 TW TW109121005A patent/TWI729861B/zh active
- 2020-07-17 JP JP2020122543A patent/JP6955612B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274432A (zh) * | 2017-06-10 | 2017-10-20 | 北京航空航天大学 | 一种基于视觉显著性和深度自编码的公共场景智能视频监控方法 |
| WO2019221654A1 (en) * | 2018-05-17 | 2019-11-21 | Tobii Ab | Autoencoding generative adversarial network for augmenting training data usable to train predictive models |
| CN108805802A (zh) * | 2018-06-05 | 2018-11-13 | 东北大学 | 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法 |
| CN109784359A (zh) * | 2018-11-27 | 2019-05-21 | 北京邮电大学 | 图像生成方法、装置、设备及可读存储介质 |
| US10311334B1 (en) * | 2018-12-07 | 2019-06-04 | Capital One Services, Llc | Learning to process images depicting faces without leveraging sensitive attributes in deep learning models |
| CN110580501A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种基于变分自编码对抗网络的零样本图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Zero-VAE-GAN: Generating Unseen Features for Generalized and Transductive Zero-Shot Learning》;Rui Gao 等;《IEEE》;正文第III部分，图1-2 * |
| 《基于稀疏性与低秩性的高光谱图像异常检测》;王杰超;《中国科学院大学（中国科学院上海技术物理研究所）》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI729861B (zh) | 2021-06-01 |
| US20210224606A1 (en) | 2021-07-22 |
| EP3855361A1 (en) | 2021-07-28 |
| CN113222883A (zh) | 2021-08-06 |
| JP6955612B2 (ja) | 2021-10-27 |
| US11748629B2 (en) | 2023-09-05 |
| JP2021117968A (ja) | 2021-08-10 |
| TW202130183A (zh) | 2021-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113222883B (zh) | 处理异常检测的装置及方法 | |
| US11429868B2 (en) | Method for detecting an anomalous image among a first dataset of images using an adversarial autoencoder | |
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| CN110633610B (zh) | 一种基于yolo的学员状态检测方法 | |
| CN108509975B (zh) | 一种异常在线聚类方法及装置，电子设备 | |
| CN111079539B (zh) | 一种基于异常追踪的视频异常行为检测方法 | |
| US11156968B2 (en) | Adaptive control of negative learning for limited reconstruction capability auto encoder | |
| CN111931864B (zh) | 基于顶点距离与交并比多重优化目标检测器的方法与系统 | |
| CN111340233B (zh) | 机器学习模型的训练方法及装置、样本处理方法及装置 | |
| US20200065664A1 (en) | System and method of measuring the robustness of a deep neural network | |
| CN112613543A (zh) | 增强策略验证方法、装置、电子设备及存储介质 | |
| CN114627102A (zh) | 一种图像异常检测方法、装置、系统及可读存储介质 | |
| CN115512391A (zh) | 数据自适应重采样的目标检测模型训练方法、装置及设备 | |
| US11373285B2 (en) | Image generation device, image generation method, and image generation program | |
| JP2019159835A (ja) | 学習プログラム、学習方法および学習装置 | |
| CN116743637A (zh) | 一种异常流量的检测方法、装置、电子设备及存储介质 | |
| CN113807541B (zh) | 决策系统的公平性修复方法、系统、设备及存储介质 | |
| CN113239909B (zh) | 一种题目处理方法、装置、设备及介质 | |
| KR20240052000A (ko) | 모델 훈련 방법, 비디오 품질 평가 방법, 장치, 설비 및 매체 | |
| CN117523218A (zh) | 标签生成、图像分类模型的训练、图像分类方法及装置 | |
| CN113808028B (zh) | 基于归因算法的对抗样本的检测方法和装置 | |
| KR102475730B1 (ko) | Tta를 이용한 분포 외 데이터 검출 방법 및 이를 수행하는 장치 | |
| CN113657405A (zh) | 平滑模型训练方法、装置及电子设备 | |
| JPWO2021038840A5 (zh) | ||
| CN112598118B (zh) | 有监督学习的标注异常处理方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |