CN109543727B - 一种基于竞争重构学习的半监督异常检测方法 - Google Patents
一种基于竞争重构学习的半监督异常检测方法 Download PDFInfo
- Publication number
- CN109543727B CN109543727B CN201811317051.1A CN201811317051A CN109543727B CN 109543727 B CN109543727 B CN 109543727B CN 201811317051 A CN201811317051 A CN 201811317051A CN 109543727 B CN109543727 B CN 109543727B
- Authority
- CN
- China
- Prior art keywords
- data
- decoder
- samples
- positive
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000002860 competitive effect Effects 0.000 title claims abstract description 18
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 22
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 2
- 238000002360 preparation method Methods 0.000 claims 1
- 230000000306 recurrent effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 36
- 238000002474 experimental method Methods 0.000 abstract description 9
- 238000013461 design Methods 0.000 abstract description 3
- 230000005856 abnormality Effects 0.000 abstract description 2
- 238000007418 data mining Methods 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 59
- NNQIJOYQWYKBOW-JWKOBGCHSA-N deacetoxycephalosporin C Chemical compound S1CC(C)=C(C(O)=O)N2C(=O)[C@@H](NC(=O)CCC[C@@H](N)C(O)=O)[C@@H]12 NNQIJOYQWYKBOW-JWKOBGCHSA-N 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000026683 transduction Effects 0.000 description 2
- 238000010361 transduction Methods 0.000 description 2
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器学习技术领域，具体为一种基于竞争重构学习的半监督异常检测方法。本发明设计两个解码器对样本数据进行竞争重构，它们共享一个编码器以使得数据映射到同一个子空间中，在正样本的标签信息的辅助下，正样本解码器会对正样本有更小的重构误差，而负样本（异常数据）解码器对负样本的重构误差会更小。本发明方法框架简单、使用方便、可扩展性强、可解释性强，在七个主流异常检测数据集进行了实验，达到或超过现有最好方法的水平。本发明能够为计算机视觉、数据挖掘等领域，提供基础框架和算法的支持。
Description
技术领域
本发明属于机器学习技术领域，具体一种基于竞争重构学习的半监督异常检测方法。
背景技术
异常检测是识别不符合预期正常模式的数据。这些数据可能来自新类或一些没有意义的噪声数据。通常，我们称这些异常数据异常值(Outliers)，以及正常数据的内点(Inliers)。异常检测与许多实际应用密切相关，如异常检测，计算机视觉领域的新奇检测和医学诊断，药物发现生物信息学。它可以归类为单类学习，其中负类的概况没有很好地定义。根据实际应用背景，负样本可能难以收集或验证。此外，可能存在任何不可预测的异常数据。因此，这些数据被认为是新颖的(或异常值)，而正样本(或内部)则由训练数据很好地表征。由于分类器的惰性，很难使用传统的多类分类方法来仅学习正样本数据。
在过去的几十年中，研究人员提出了许多处理异常检测问题的方法。通常，这些方法要么为正样本示例构建模型描述，要么将违反正常描述的示例识别为异常值，或者基于异常的统计或几何度量明确地隔离异常值。通常，不同的模型具有不同的表征数据分布的能力。大多数传统方法是具有有限模型容量的线性模型。虽然核函数可用于提高其模型容量，但它不适用于高维和大规模数据的情况。
最近，深度学习方法已经显示出其强大的表现能力，并在许多应用中获得了巨大的成功。然而，由于负样本不可用，很难直接训练有监督的深度神经网络用于单类分类。虽然已经做了一些工作来学习单分类器，但是大多数都无法建立异常检测的判别模型。通过它们都是选择预定义的阈值来完成检测。从概率的角度来看，可以解释为异常值应位于模型分布的低密度区域。但是，由于异常值是不可预测的，因此很难确定适用于所有情况的阈值。同时，由于模型仅针对正数据进行训练，因此过度拟合是另一个可能破坏模型泛化性能的关键因素。这就是为什么不能简单地根据正样本数据训练深度神经网络分类器的原因。虽然可以使用一些策略，例如提前停止策略以避免过度拟合，但它非常棘手，无法确定何时停止对测试数据最佳。
发明内容
针对以上现有技术中的问题，本发明的目的在于提出一种基于竞争重构自动编码器异常检测方法。基于竞争重构学习的半监督异常检测方法。
受无监督异常值去除方法的启发，直接从未标记数据中学习判别模型，本发明的模型具有监督和非监督方法的优点。本发明制定了一种用于异常检测的转导半监督方法，该方法使用正训练数据和未标记的测试数据进行学习。图1展示了本发明的方法和大多数现有方法之间的学习过程的差异。本发明所提出的架构与经典自动编码器不同，本发明的架构包括一个编码器和两个解码器而经典的自动编码器由一个编码器和一个解码器组成。其中，两个解码器设计成在重构过程中进行竞争学习，其中一个用来学习重构正样本，称其为正样本解码器，另一个用来学习重构异常值，其称为负样本解码器。在正样本训练数据的指导下，正样本解码器可以为正类建立适当的分布，而大多数异常数据将被分配给负样本解码器。通过比较这两个解码器的重构误差来完成判别式标记。训练之后，最终的样本分配是对未标记(或测试)数据的预测。
本发明中，异常检测问题具体描述如下：假设已知有m个正样本，n个未标注的样本，需要对未标注样本进行分类，检测出异常数据。记Xp为正样本，Xu为未标注样本；记编码器为E，正样本解码器为Din，负样本解码器为Dout；正样本解码器重构结果为
负样本解码器重构结果为
有监督学习的异常检测方法中，自动编码器仅在正样本上进行训练，通过重构误差的大小判断数据的异常。具体地说，如果训练自动编码器重构目标类样本(inliers)，异常值样本的重构误差会很高。为了将正样本和异常值分开，本发明设计了竞争学习的机制。由正样本训练数据的辅助下，Din受过训练，可以学习目标类的分布。对于可能是正样本或异常值的未标记数据，如果Din的重构误差小于Dout的话，它很高概率可能是一个的正样本。
本发明提供的基于竞争重构学习的半监督异常检测方法，首先构建一个编码器、两个解码器；通过两个解码器对数据重构进行竞争学习，使得正样本解码器对于正样本的重构效果要比负样本解码器好，同样地负样本解码器对于异常数据(负样本)的重构效果要比正样本解码器好，整个学习的过程中标签动态分配，在学习收敛时，正负样本的标注已经得到，无须额外测试阶段；整个模型的结构分为三块：编码器(Encoder)，正样本解码器(Inlier Decoder)，负样本解码器(Outlier Decoder)；其中：
(1)编码器：由多层神经网络组成(可以为全连接网络，卷积神经网络或循环神经网络)，主要功能是将数据从原始特征空间映射到低维子空间，通过一些正则化的手段可以达到将正负样本进行一定程度的分离。同时，正负样本共享同一个编码器；
(2)正样本解码器：正样本解码器同样是有多层神经网络组成，用于将样本从低维特征空间重构回原始特征空间。正样本解码器的输出维度与样本数据本身维度保持一致。一般情况下，编码器与解码器的网络结构是对称的；
(3)负样本解码器：负样本解码器与正样本解码器类似，其结构可以与正样本解码器一样，也可以不同。可以根据对数据的先验知识进行选择，例如负样本的数量较少或比例较小可以将负样本解码器的结构设计的更简单一些，防止网络的过拟合。
整个模型的算法具体步骤如下：
步骤1：将已知的训练数据集中正样本与待标注的未标注测试样本进行混合，并进行数据预处理，例如，高维数据如分辨率较高的图像可以使用一些预训练的卷积神经网络模型如VggNet，ResNet进行特征提取，提取这些网络的全连接的前一层的特征，并进行数据标准化处理，减均值除标准差等；
步骤2：将所有样本打乱顺序，每次取一批样本输入到编码器中进行编码。一般地，批的大小为64或128；
步骤3：对于编码后的样本，所有已知训练数据的正样本分配到正样本解码器中进行解码，对于未标注样本，根据两个解码器的重构误差进行选择分配；其中，重构误差定义如下：
模型的竞争学习优化目标函数如下：
其中，
为第j个样本的预测标签；Xp为正样本，Xu为未标注样本；为
为正样本解码器重构结果；
为负样本解码器重构结果；Din为正样本解码器，Dout为负样本解码器；
步骤4：计算优化目标函数关于模型参数的导数，并进行反向传播更新参数。参数更新的优化算法为随机梯度下降(SGD)算法；
步骤5：重复步骤2、步骤3和步骤4，直到训练收敛；最终得到的y中，如果yj＝0，对应的那些
就是异常数据。
本发明方法结合监督学习与无监督学习方法的优点，无需进行阈值设定，并且能够训练结束后直接预测出样本的类别。
本发明方法框架简单、使用方便，可扩展性强、可解释性强，在七个主流异常检测数据集进行实验，达到或超过现有最好方法的水平。本发明能够为计算机视觉、数据挖掘等领域，提供基础框架和算法的支持。
附图说明
图1为本发明的模型与现有研究方法的对比。
图2为竞争重构学习的框架图。
图3为竞争重构学习在MNIST数据集上的两个解码器重构结果对比演化图。
图4为竞争重构学习在训练过程中重构误差残差的分布变化图。
图5为本发明在MNIST和FashionMNIST数据集上与当前最好的一些方法的结果对比。
具体实施方式
下面通过具体例子，进一步介绍本发明方法，并进行性能测试与分析。
本发明提供的异常检测方法，属于转导半监督(Transductive Semi-supervised)方法，需要预先准备好用于训练的正样本即训练数据(注意这里的正样本可以是多个语义类别，而不是简单的单类数据)，以及需要测试的无标签数据(这些数据中有异常数据和正常数据)。
本发明方法的具体步骤如下：
步骤1：将已知的训练数据集中正样本Xp与待标注的未标注测试样本Xu进行混合，并进行数据预处理，例如高维数据如分辨率较高的图像可以使用一些预训练的卷积神经网络模型如VggNet，ResNet进行特征提取，提取这些网络的全连接的前一层的特征，并进行数据标准化处理，减均值除标准差。
步骤2：根据样本属性维度，设计编码器E和解码器的网络结构，根据不同的数据时空结构可以选择不同的网络类型，如果数据是属性是一维的则使用全连接网络，如果数据具有二维空间结构并且属性之间是局部相关的则需选择卷积神经网络，如果数据是时序的，且前后时间节点相关，则需选择循环神经网络。
本发明实验中使用全连接网络，每个编码器和解码器都是有两层隐层组成，其中编码器的结构与解码器的结构是对称的，所有非线性激活函数均选用ReLU函数。
将所有样本打乱顺序，每次取一批样本输入到编码器E中进行编码，一般批的大小为64或12。
步骤3：对于编码后的样本，所有已知训练数据的正样本Xp分配到正样本解码器Din中进行解码，对于未标注样本Xu，根据两个解码器的重构误差进行选择分配。其中重构误差定义如下：
模型的竞争学习优化目标函数如下：
其中，
为第j个样本的预测标签。
具体地，对于未标注样本
通过比较正样本解码器对其重构误差
与负样本解码器对其重构误差
进行标签分配，如果
则该样本为正样本其标签为1，否则为负样本(异常数据)其标签为0。
步骤4：计算优化目标函数关于模型参数的导数，并进行反向传播更新参数。参数更新的优化算法为随机梯度下降(SGD)算法。
步骤5：重复步骤2、步骤3和步骤4，直到训练收敛；通常迭代次数为几十次，最终得到的y中，如果yj＝0，对应的那些
就是异常数据。
性能测试与分析
实验分别选取了5个异常检测最常用的图像数据集：MNIST，FashionMNIST，CIFAR-10,Caltech-101,Caltech-256。以及本发明从ImageNet数据集中随机抽取的20个语义类别图片，记为ImageNet-20。MNIST是一个手写数字数据集，共有0到9共10个类别，训练数据有6万个，测试数据有1万个，Fashion MNIST是类似于MNIST的一个稍复杂的图形数据集，CIFAR-10是一个图像大小为32*32像素的数据集共10个类别，训练数据有5万个，测试数据有1万个。Caltech-101和Caltech-256各有101和256个类别的图像数据集。对每个数据集，我们依次选取一个类的样本作为正样本，并随机从其他类抽取负样本，正负样本的比例约为7：3。对于Caltech-256数据集为了和其他对比算法保持一致，正负样本的比例为5：5。
2、训练设置及超参数设置
为了方便实验对比，除了MNIST和Fashion MNIST数据集，本实验中其他图像数据集均采用预训练好的Vgg-16网络进行特征提取，维度为4096维。优化算法采用随机梯度下降法，初始学习率为5e-3.对于MNIST和Fashion MNSIT数据集，编码器和解码器的网络结构为[784,64,32]。对于其他数据集，网络结构为[4096,64,32]。所有非线性激活函数均先用ReLU函数。
实验均采用单张12G显存的Nvidia Titan X(Pascal)，神经网络通过pytorch框架实现。
3、对比方法
为了比较本发明方法的性能，我们选择传统的异常检测方法以及目前最好的一些异常检测方法进行对比，其中包括基于自动编码机的方法(AE)，基于深度结构化能量模型(DSEBM)，判别式重构自动编码机(DRAE)，基于对抗学习的自动编码机(DAOC)等等。本发明的方法缩写为CoRA(Competitive Reconstruction Autoencoder)。
4、性能测试结果
评价指标：本实验采用F1分数和AUC作为算法性能的评价指标。对于有多个类别的数据集，最终性能为算法在其所有类别上的平均得分，具体见表1。
表1在ImageNet-20，Caltech-101和CIFAR-10数据集上的性能对比
CoRA在ImageNet-20上实现了最佳效果。对于Caltech-101，DRAE在F1指标上取得了最好的成绩，而CoRA在AUC指标上仍然是最好的。同时，CoRA和DAOC在F1指标上的表现也很接近。在CIFAR-10数据集上，DRAE略逊于DSEBM，而DAOC优于其他方法，但CoRA在两个指标上均远超过现有的方法。
由于每个类别的样本较少，在Caltech-256数据集上进行异常检测比较具有挑战性。因为Caltech-256是一个最常用的异常检测数据集，因此本发明的实验中与其他传统的多种方法进行了对比。我们分别对取自1,3,5个类别的样本作为正样本，从Caltech-256数据集中额外的那个类中取样本作为负样本。正负样本的比例为1:1，从表2可以看出，本发明的方法基本超越了所有方法，需要注意的是SSGAN这个方法是利用了比本发明方法更强的一些假设条件，因此其结果接近或在某些指标上超过了本发明的方法。
表2在Caltech-256数据集上各方法的性能对比
本发明提出了一种用于半监督异常检测任务的竞争重构自动编码器模型。模型从正样本和未标记的测试数据中学习，并在学习后直接预测未标记数据的标签。两个解码器设计为彼此竞争以实现较低的重构误差。在正样本的指导下，样本解码器更有可能构建正类的数据分布。新的判别标准不像大多数现有方法那样需要预定义的阈值。此外，本发明采用随机梯度下降算法SGD来优化此模型，使其能够高效且可扩展，适用于大规模数据集。在六个基准数据集的实验结果表明，该模型可以胜过许多最先进的方法。
Claims (3)
1.一种基于竞争重构学习的半监督异常检测方法，异常检测问题描述如下：假设已知有m个正样本，n个未标注的样本，需要对未标注样本进行分类，检测出异常数据；其特征在于，
首先，构建一个编码器、两个解码器；通过两个解码器对数据重构进行竞争学习，使得正样本解码器对于正样本的重构效果要比负样本解码器好，同样地负样本解码器对于异常数据的重构效果要比正样本解码器好，整个学习的过程中标签动态分配，至学习收敛，即得到正负样本的标注；其中：
（1）所述编码器，由多层神经网络组成，为全连接网络、卷积神经网络或循环神经网络；功能是将数据从原始特征空间映射到低维子空间，通过正则化的手段将正负样本进行一定程度的分离；同时，正负样本共享同一个编码器；
（2）所述正样本解码器，同样由多层神经网络组成，为全连接网络、卷积神经网络或循环神经网络；用于将样本从低维特征空间重构回原始特征空间；正样本解码器的输出维度与样本数据本身维度一致；编码器与解码器的网络结构是对称的；
（3）所述负样本解码器，与正样本解码器类似，其结构与正样本解码器相同，或者不同，根据对数据的先验知识进行选择；
算法具体步骤如下：
步骤1，将已知的训练数据集中正样本与待标注的未标注测试样本进行混合，并进行数据预处理；
步骤2，将所有样本打乱顺序，每次取一批样本输入到编码器中进行编码；
步骤3，对于编码后的样本，所有已知训练数据的正样本分配到正样本解码器中进行解码，对于未标注样本，根据两个解码器的重构误差进行选择分配；其中重构误差定义如下：
模型的竞争学习优化目标函数如下：
其中，
为第j个样本的预测标签；
为正样本，
为未标注样本；
为正样本解码器重构结果；
为负样本解码器重构结果；
为正样本解码器，
为负样本解码器；
步骤4，计算优化目标函数关于模型参数的导数，并进行反向传播更新参数；参数更新的优化算法为随机梯度下降（SGD）算法；
步骤5，重复步骤2、步骤3和步骤4，直到训练收敛；最终得到的y中，如果
，对应的那些
就是异常数据。
2.根据权利要求1所述的基于竞争重构学习的半监督异常检测方法，其特征在于，步骤1中所述的数据预处理，包括高维数据分辨率较高的图像使用预训练的卷积神经网络模型VggNet或ResNet进行特征提取，提取这些网络的全连接的前一层的特征，并进行数据标准化处理，减均值除标准差。
3. 根据权利要求1所述的基于竞争重构学习的半监督异常检测方法，其特征在于，所述的 编码器和解码器，根据不同的数据时空结构选择不同的网络类型：如果数据是属性是一维的，则使用全连接网络；如果数据具有二维空间结构并且属性之间是局部相关的，则选择卷积神经网络；如果数据是时序的，且前后时间节点相关，则选择循环神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811317051.1A CN109543727B (zh) | 2018-11-07 | 2018-11-07 | 一种基于竞争重构学习的半监督异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811317051.1A CN109543727B (zh) | 2018-11-07 | 2018-11-07 | 一种基于竞争重构学习的半监督异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109543727A CN109543727A (zh) | 2019-03-29 |
| CN109543727B true CN109543727B (zh) | 2022-12-20 |
Family
ID=65846520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811317051.1A Active CN109543727B (zh) | 2018-11-07 | 2018-11-07 | 一种基于竞争重构学习的半监督异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109543727B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321941A (zh) * | 2019-06-24 | 2019-10-11 | 西北工业大学 | 可鉴别性特征学习的高光谱图像压缩和分类方法 |
| CN110674872B (zh) * | 2019-09-24 | 2022-03-01 | 广州大学 | 一种高维磁共振影像的分类方法及装置 |
| CN110766056B (zh) * | 2019-09-27 | 2022-05-06 | 中山大学 | 一种融合图像生成和多标签分类的异常图像检测方法 |
| CN110991504A (zh) * | 2019-11-22 | 2020-04-10 | 齐鲁工业大学 | 基于motcn-ae的多维时间序列异常值检测方法及系统 |
| CN111709491B (zh) * | 2020-06-30 | 2024-05-14 | 平安科技（深圳）有限公司 | 基于自编码器的异常检测方法、装置、设备及存储介质 |
| CN112966819B (zh) * | 2021-03-04 | 2024-04-09 | 南方科技大学 | 分布外数据检测方法、装置、服务器及存储介质 |
| CN112907589A (zh) * | 2021-04-02 | 2021-06-04 | 联通(上海)产业互联网有限公司 | 一种检测异常并且分割图像中异常区域的深度学习算法 |
| CN113627479B (zh) * | 2021-07-09 | 2024-02-20 | 中国科学院信息工程研究所 | 一种基于半监督学习的图数据异常检测方法 |
| CN113535452A (zh) * | 2021-07-12 | 2021-10-22 | 浙江讯飞智能科技有限公司 | 数据检测方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017205850A1 (en) * | 2016-05-26 | 2017-11-30 | Ogma Intelligent Systems Corp. | Processing time-varying data streams using sparse predictive hierarchies |
| WO2018046412A1 (en) * | 2016-09-07 | 2018-03-15 | Koninklijke Philips N.V. | Semi-supervised classification with stacked autoencoder |
| WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9053391B2 (en) * | 2011-04-12 | 2015-06-09 | Sharp Laboratories Of America, Inc. | Supervised and semi-supervised online boosting algorithm in machine learning framework |
| US10318881B2 (en) * | 2013-06-28 | 2019-06-11 | D-Wave Systems Inc. | Systems and methods for quantum processing of data |
| US9668699B2 (en) * | 2013-10-17 | 2017-06-06 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| CN104021373B (zh) * | 2014-05-27 | 2017-02-15 | 江苏大学 | 一种半监督语音特征可变因素分解方法 |
| US10614361B2 (en) * | 2015-09-09 | 2020-04-07 | Intel Corporation | Cost-sensitive classification with deep learning using cost-aware pre-training |
| US10579923B2 (en) * | 2015-09-15 | 2020-03-03 | International Business Machines Corporation | Learning of classification model |
| US11003988B2 (en) * | 2016-11-23 | 2021-05-11 | General Electric Company | Hardware system design improvement using deep learning algorithms |
| US10701092B2 (en) * | 2016-11-30 | 2020-06-30 | Cisco Technology, Inc. | Estimating feature confidence for online anomaly detection |
| US11205103B2 (en) * | 2016-12-09 | 2021-12-21 | The Research Foundation for the State University | Semisupervised autoencoder for sentiment analysis |
-
2018
- 2018-11-07 CN CN201811317051.1A patent/CN109543727B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017205850A1 (en) * | 2016-05-26 | 2017-11-30 | Ogma Intelligent Systems Corp. | Processing time-varying data streams using sparse predictive hierarchies |
| WO2018046412A1 (en) * | 2016-09-07 | 2018-03-15 | Koninklijke Philips N.V. | Semi-supervised classification with stacked autoencoder |
| WO2018137357A1 (zh) * | 2017-01-24 | 2018-08-02 | 北京大学 | 一种目标检测性能优化的方法 |
Non-Patent Citations (3)
| Title |
|---|
| Anomaly Detection using a Convolutional Winner-Take-All Autoencoder;Hanh T.M. Tran，David Hogg;《British Machine Vision Conference》;20170930;第1-12页 * |
| Semi-supervised Machine Learning for Textual Anomaly Detection;Carl Steyn，Alta de Waal;《2016 Pattern Recognition Association of South Africa and Robotics and Mechatronics International Conference》;20170116;第101-104页 * |
| 基于深度学习和半监督学习的入侵检测算法;王声柱，李永忠;《信息技术》;20170131;第1-5页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109543727A (zh) | 2019-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109543727B (zh) | 一种基于竞争重构学习的半监督异常检测方法 | |
| Huang et al. | Mos: Towards scaling out-of-distribution detection for large semantic space | |
| Arif et al. | [Retracted] Brain Tumor Detection and Classification by MRI Using Biologically Inspired Orthogonal Wavelet Transform and Deep Learning Techniques | |
| EP3582142A1 (en) | Image classification using neural networks | |
| Paul et al. | Combining deep neural network and traditional image features to improve survival prediction accuracy for lung cancer patients from diagnostic CT | |
| Guo et al. | Unsupervised anomaly detection in IoT systems for smart cities | |
| Van Hulle | Self-organizing Maps. | |
| CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN114787876A (zh) | 用于图像预处理的系统和方法 | |
| Guan et al. | A unified probabilistic model for global and local unsupervised feature selection | |
| KR102179090B1 (ko) | 신경망을 이용한 의료 진단 방법 | |
| Shen et al. | Learning high-level concepts by training a deep network on eye fixations | |
| Do et al. | Energy-based anomaly detection for mixed data | |
| Lázaro-Gredilla et al. | Hierarchical compositional feature learning | |
| Cheng et al. | Multilinear operator networks | |
| CN108304546B (zh) | 一种基于内容相似度和Softmax分类器的医学图像检索方法 | |
| Anai et al. | Effect of Genetic Algorithm as a Feature Selection for Image Classification | |
| Zhou et al. | JCS: An explainable surface defects detection method for steel sheet by joint classification and segmentation | |
| CN107967343B (zh) | 一种多视图构建方法 | |
| Maniatopoulos et al. | Artificial neural network performance boost using probabilistic recovery with fast cascade training | |
| Tosun et al. | Assessing diffusion of spatial features in deep belief networks | |
| Kamath et al. | Fast neural architecture construction using envelopenets | |
| Sagar et al. | Learning Shape Features and Abstractions in 3D Convolutional Neural Networks for Detecting Alzheimer's Disease | |
| Burciu et al. | Hierarchical manifold sensing with foveation and adaptive partitioning of the dataset | |
| Dey et al. | VT-Nood: vision transformer based near ood detection in fine-grained datasets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |