CN109543727A - 一种基于竞争重构学习的半监督异常检测方法 - Google Patents

一种基于竞争重构学习的半监督异常检测方法 Download PDF

Info

Publication number
CN109543727A
CN109543727A CN201811317051.1A CN201811317051A CN109543727A CN 109543727 A CN109543727 A CN 109543727A CN 201811317051 A CN201811317051 A CN 201811317051A CN 109543727 A CN109543727 A CN 109543727A
Authority
CN
China
Prior art keywords
data
sample
decoder
positive sample
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811317051.1A
Other languages
English (en)
Other versions
CN109543727B (zh
Inventor
周水庚
田凯
关佶红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201811317051.1A priority Critical patent/CN109543727B/zh
Publication of CN109543727A publication Critical patent/CN109543727A/zh
Application granted granted Critical
Publication of CN109543727B publication Critical patent/CN109543727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明属于机器学习技术领域，具体为一种基于竞争重构学习的半监督异常检测方法。本发明设计两个解码器对样本数据进行竞争重构，它们共享一个编码器以使得数据映射到同一个子空间中，在正样本的标签信息的辅助下，正样本解码器会对正样本有更小的重构误差，而负样本（异常数据）解码器对负样本的重构误差会更小。本发明方法框架简单、使用方便、可扩展性强、可解释性强，在七个主流异常检测数据集进行了实验，达到或超过现有最好方法的水平。本发明能够为计算机视觉、数据挖掘等领域，提供基础框架和算法的支持。

Description

一种基于竞争重构学习的半监督异常检测方法
技术领域
本发明属于机器学习技术领域，具体一种基于竞争重构学习的半监督异常检测方法。
背景技术
异常检测是识别不符合预期正常模式的数据。这些数据可能来自新类或一些没有意义的噪声数据。通常，我们称这些异常数据异常值(Outliers)，以及正常数据的内点(Inliers)。异常检测与许多实际应用密切相关，如异常检测，计算机视觉领域的新奇检测和医学诊断，药物发现生物信息学。它可以归类为单类学习，其中负类的概况没有很好地定义。根据实际应用背景，负样本可能难以收集或验证。此外，可能存在任何不可预测的异常数据。因此，这些数据被认为是新颖的(或异常值)，而正样本(或内部)则由训练数据很好地表征。由于分类器的惰性，很难使用传统的多类分类方法来仅学习正样本数据。
在过去的几十年中，研究人员提出了许多处理异常检测问题的方法。通常，这些方法要么为正样本示例构建模型描述，要么将违反正常描述的示例识别为异常值，或者基于异常的统计或几何度量明确地隔离异常值。通常，不同的模型具有不同的表征数据分布的能力。大多数传统方法是具有有限模型容量的线性模型。虽然核函数可用于提高其模型容量，但它不适用于高维和大规模数据的情况。
最近，深度学习方法已经显示出其强大的表现能力，并在许多应用中获得了巨大的成功。然而，由于负样本不可用，很难直接训练有监督的深度神经网络用于单类分类。虽然已经做了一些工作来学习单分类器，但是大多数都无法建立异常检测的判别模型。通过它们都是选择预定义的阈值来完成检测。从概率的角度来看，可以解释为异常值应位于模型分布的低密度区域。但是，由于异常值是不可预测的，因此很难确定适用于所有情况的阈值。同时，由于模型仅针对正数据进行训练，因此过度拟合是另一个可能破坏模型泛化性能的关键因素。这就是为什么不能简单地根据正样本数据训练深度神经网络分类器的原因。虽然可以使用一些策略，例如提前停止策略以避免过度拟合，但它非常棘手，无法确定何时停止对测试数据最佳。
发明内容
针对以上现有技术中的问题，本发明的目的在于提出一种基于竞争重构自动编码器异常检测方法。基于竞争重构学习的半监督异常检测方法。
受无监督异常值去除方法的启发，直接从未标记数据中学习判别模型，本发明的模型具有监督和非监督方法的优点。本发明制定了一种用于异常检测的转导半监督方法，该方法使用正训练数据和未标记的测试数据进行学习。图1展示了本发明的方法和大多数现有方法之间的学习过程的差异。本发明所提出的架构与经典自动编码器不同，本发明的架构包括一个编码器和两个解码器而经典的自动编码器由一个编码器和一个解码器组成。其中，两个解码器设计成在重构过程中进行竞争学习，其中一个用来学习重构正样本，称其为正样本解码器，另一个用来学习重构异常值，其称为负样本解码器。在正样本训练数据的指导下，正样本解码器可以为正类建立适当的分布，而大多数异常数据将被分配给负样本解码器。通过比较这两个解码器的重构误差来完成判别式标记。训练之后，最终的样本分配是对未标记(或测试)数据的预测。
本发明中，异常检测问题具体描述如下：假设已知有m个正样本，n个未标注的样本，需要对未标注样本进行分类，检测出异常数据。记Xp为正样本，Xu为未标注样本；记编码器为E，正样本解码器为Din，负样本解码器为Dout；正样本解码器重构结果为负样本解码器重构结果为有监督学习的异常检测方法中，自动编码器仅在正样本上进行训练，通过重构误差的大小判断数据的异常。具体地说，如果训练自动编码器重构目标类样本(inliers)，异常值样本的重构误差会很高。为了将正样本和异常值分开，本发明设计了竞争学习的机制。由正样本训练数据的辅助下，Din受过训练，可以学习目标类的分布。对于可能是正样本或异常值的未标记数据，如果Din的重构误差小于Dout的话，它很高概率可能是一个的正样本。
本发明提供的基于竞争重构学习的半监督异常检测方法，首先构建一个编码器、两个解码器；通过两个解码器对数据重构进行竞争学习，使得正样本解码器对于正样本的重构效果要比负样本解码器好，同样地负样本解码器对于异常数据(负样本)的重构效果要比正样本解码器好，整个学习的过程中标签动态分配，在学习收敛时，正负样本的标注已经得到，无须额外测试阶段；整个模型的结构分为三块：编码器(Encoder)，正样本解码器(Inlier Decoder)，负样本解码器(Outlier Decoder)；其中：
(1)编码器：由多层神经网络组成(可以为全连接网络，卷积神经网络或循环神经网络)，主要功能是将数据从原始特征空间映射到低维子空间，通过一些正则化的手段可以达到将正负样本进行一定程度的分离。同时，正负样本共享同一个编码器；
(2)正样本解码器：正样本解码器同样是有多层神经网络组成，用于将样本从低维特征空间重构回原始特征空间。正样本解码器的输出维度与样本数据本身维度保持一致。一般情况下，编码器与解码器的网络结构是对称的；
(3)负样本解码器：负样本解码器与正样本解码器类似，其结构可以与正样本解码器一样，也可以不同。可以根据对数据的先验知识进行选择，例如负样本的数量较少或比例较小可以将负样本解码器的结构设计的更简单一些，防止网络的过拟合。
整个模型的算法具体步骤如下：
步骤1：将已知的训练数据集中正样本与待标注的未标注测试样本进行混合，并进行数据预处理，例如，高维数据如分辨率较高的图像可以使用一些预训练的卷积神经网络模型如VggNet，ResNet进行特征提取，提取这些网络的全连接的前一层的特征，并进行数据标准化处理，减均值除标准差等；
步骤2：将所有样本打乱顺序，每次取一批样本输入到编码器中进行编码。一般地，批的大小为64或128；
步骤3：对于编码后的样本，所有已知训练数据的正样本分配到正样本解码器中进行解码，对于未标注样本，根据两个解码器的重构误差进行选择分配；其中，重构误差定义如下：
模型的竞争学习优化目标函数如下：
其中，
为第j个样本的预测标签；Xp为正样本，Xu为未标注样本；为为正样本解码器重构结果；为负样本解码器重构结果；Din为正样本解码器，Dout为负样本解码器；
步骤4：计算优化目标函数关于模型参数的导数，并进行反向传播更新参数。参数更新的优化算法为随机梯度下降(SGD)算法；
步骤5：重复步骤2、步骤3和步骤4，直到训练收敛；最终得到的y中，如果yj＝0，对应的那些就是异常数据。
本发明方法结合监督学习与无监督学习方法的优点，无需进行阈值设定，并且能够训练结束后直接预测出样本的类别。
本发明方法框架简单、使用方便，可扩展性强、可解释性强，在七个主流异常检测数据集进行实验，达到或超过现有最好方法的水平。本发明能够为计算机视觉、数据挖掘等领域，提供基础框架和算法的支持。
附图说明
图1为本发明的模型与现有研究方法的对比。
图2为竞争重构学习的框架图。
图3为竞争重构学习在MNIST数据集上的两个解码器重构结果对比演化图。
图4为竞争重构学习在训练过程中重构误差残差的分布变化图。
图5为本发明在MNIST和FashionMNIST数据集上与当前最好的一些方法的结果对比。
具体实施方式
下面通过具体例子，进一步介绍本发明方法，并进行性能测试与分析。
本发明提供的异常检测方法，属于转导半监督(Transductive Semi-supervised)方法，需要预先准备好用于训练的正样本即训练数据(注意这里的正样本可以是多个语义类别，而不是简单的单类数据)，以及需要测试的无标签数据(这些数据中有异常数据和正常数据)。
本发明方法的具体步骤如下：
步骤1：将已知的训练数据集中正样本Xp与待标注的未标注测试样本Xu进行混合，并进行数据预处理，例如高维数据如分辨率较高的图像可以使用一些预训练的卷积神经网络模型如VggNet，ResNet进行特征提取，提取这些网络的全连接的前一层的特征，并进行数据标准化处理，减均值除标准差。
步骤2：根据样本属性维度，设计编码器E和解码器的网络结构，根据不同的数据时空结构可以选择不同的网络类型，如果数据是属性是一维的则使用全连接网络，如果数据具有二维空间结构并且属性之间是局部相关的则需选择卷积神经网络，如果数据是时序的，且前后时间节点相关，则需选择循环神经网络。
本发明实验中使用全连接网络，每个编码器和解码器都是有两层隐层组成，其中编码器的结构与解码器的结构是对称的，所有非线性激活函数均选用ReLU函数。
将所有样本打乱顺序，每次取一批样本输入到编码器E中进行编码，一般批的大小为64或12。
步骤3：对于编码后的样本，所有已知训练数据的正样本Xp分配到正样本解码器Din中进行解码，对于未标注样本Xu，根据两个解码器的重构误差进行选择分配。其中重构误差定义如下：
模型的竞争学习优化目标函数如下：
其中，
为第j个样本的预测标签。
具体地，对于未标注样本通过比较正样本解码器对其重构误差与负样本解码器对其重构误差进行标签分配，如果 则该样本为正样本其标签为1，否则为负样本(异常数据)其标签为0。
步骤4：计算优化目标函数关于模型参数的导数，并进行反向传播更新参数。参数更新的优化算法为随机梯度下降(SGD)算法。
步骤5：重复步骤2、步骤3和步骤4，直到训练收敛；通常迭代次数为几十次，最终得到的y中，如果yj＝0，对应的那些就是异常数据。
性能测试与分析
实验分别选取了5个异常检测最常用的图像数据集：MNIST，FashionMNIST，CIFAR-10,Caltech-101,Caltech-256。以及本发明从ImageNet数据集中随机抽取的20个语义类别图片，记为ImageNet-20。MNIST是一个手写数字数据集，共有0到9共10个类别，训练数据有6万个，测试数据有1万个，Fashion MNIST是类似于MNIST的一个稍复杂的图形数据集，CIFAR-10是一个图像大小为32*32像素的数据集共10个类别，训练数据有5万个，测试数据有1万个。Caltech-101和Caltech-256各有101和256个类别的图像数据集。对每个数据集，我们依次选取一个类的样本作为正样本，并随机从其他类抽取负样本，正负样本的比例约为7：3。对于Caltech-256数据集为了和其他对比算法保持一致，正负样本的比例为5：5。
2、训练设置及超参数设置
为了方便实验对比，除了MNIST和Fashion MNIST数据集，本实验中其他图像数据集均采用预训练好的Vgg-16网络进行特征提取，维度为4096维。优化算法采用随机梯度下降法，初始学习率为5e-3.对于MNIST和Fashion MNSIT数据集，编码器和解码器的网络结构为[784,64,32]。对于其他数据集，网络结构为[4096,64,32]。所有非线性激活函数均先用ReLU函数。
实验均采用单张12G显存的Nvidia Titan X(Pascal)，神经网络通过pytorch框架实现。
3、对比方法
为了比较本发明方法的性能，我们选择传统的异常检测方法以及目前最好的一些异常检测方法进行对比，其中包括基于自动编码机的方法(AE)，基于深度结构化能量模型(DSEBM)，判别式重构自动编码机(DRAE)，基于对抗学习的自动编码机(DAOC)等等。本发明的方法缩写为CoRA(Competitive Reconstruction Autoencoder)。
4、性能测试结果
评价指标：本实验采用F1分数和AUC作为算法性能的评价指标。对于有多个类别的数据集，最终性能为算法在其所有类别上的平均得分，具体见表1。
表1在ImageNet-20，Caltech-101和CIFAR-10数据集上的性能对比
CoRA在ImageNet-20上实现了最佳效果。对于Caltech-101，DRAE在F1指标上取得了最好的成绩，而CoRA在AUC指标上仍然是最好的。同时，CoRA和DAOC在F1指标上的表现也很接近。在CIFAR-10数据集上，DRAE略逊于DSEBM，而DAOC优于其他方法，但CoRA在两个指标上均远超过现有的方法。
由于每个类别的样本较少，在Caltech-256数据集上进行异常检测比较具有挑战性。因为Caltech-256是一个最常用的异常检测数据集，因此本发明的实验中与其他传统的多种方法进行了对比。我们分别对取自1,3,5个类别的样本作为正样本，从Caltech-256数据集中额外的那个类中取样本作为负样本。正负样本的比例为1:1，从表2可以看出，本发明的方法基本超越了所有方法，需要注意的是SSGAN这个方法是利用了比本发明方法更强的一些假设条件，因此其结果接近或在某些指标上超过了本发明的方法。
表2在Caltech-256数据集上各方法的性能对比
本发明提出了一种用于半监督异常检测任务的竞争重构自动编码器模型。模型从正样本和未标记的测试数据中学习，并在学习后直接预测未标记数据的标签。两个解码器设计为彼此竞争以实现较低的重构误差。在正样本的指导下，样本解码器更有可能构建正类的数据分布。新的判别标准不像大多数现有方法那样需要预定义的阈值。此外，本发明采用随机梯度下降算法SGD来优化此模型，使其能够高效且可扩展，适用于大规模数据集。在六个基准数据集的实验结果表明，该模型可以胜过许多最先进的方法。

Claims (4)

1.一种基于竞争重构学习的半监督异常检测方法，异常检测问题描述如下：假设已知有m个正样本，n个未标注的样本，需要对未标注样本进行分类，检测出异常数据；其特征在于，
首先，构建一个编码器、两个解码器；通过两个解码器对数据重构进行竞争学习，使得正样本解码器对于正样本的重构效果要比负样本解码器好，同样地负样本解码器对于异常数据的重构效果要比正样本解码器好，整个学习的过程中标签动态分配，至学习收敛，即得到正负样本的标注；其中：
（1）所述编码器，由多层神经网络组成，为全连接网络、卷积神经网络或循环神经网络；主要功能是将数据从原始特征空间映射到低维子空间，通过一些正则化的手段将正负样本进行一定程度的分离；同时，正负样本共享同一个编码器；
（2）所述正样本解码器，同样由多层神经网络组成，为全连接网络、卷积神经网络或循环神经网络；用于将样本从低维特征空间重构回原始特征空间；正样本解码器的输出维度与样本数据本身维度一致；编码器与解码器的网络结构是对称的；
（3）所述负样本解码器，与正样本解码器类似，其结构与正样本解码器相同，或者不同，根据对数据的先验知识进行选择。
2.根据权利要求1所述的基于竞争重构学习的半监督异常检测方法，其特征在于，算法具体步骤如下：
步骤1，将已知的训练数据集中正样本与待标注的未标注测试样本进行混合，并进行数据预处理（高维数据如分辨率较高的图像可以使用一些预训练的卷积神经网络模型如VggNet，ResNet进行特征提取，提取这些网络的全连接的前一层的特征，并进行数据标准化处理，减均值除标准差）；
步骤2，将所有样本打乱顺序，每次取一批样本输入到编码器中进行编码；
步骤3，对于编码后的样本，所有已知训练数据的正样本分配到正样本解码器中进行解码，对于未标注样本，根据两个解码器的重构误差进行选择分配；其中重构误差定义如下：
模型的竞争学习优化目标函数如下：
其中，
为第j个样本的预测标签；为正样本，为未标注样本；为为正样本解码器重构结果；为负样本解码器重构结果；为正样本解码器，为负样本解码器；
步骤4，计算优化目标函数关于模型参数的导数，并进行反向传播更新参数；参数更新的优化算法为随机梯度下降（SGD）算法；
步骤5，重复步骤2、步骤3和步骤4，直到训练收敛；最终得到的y中，如果，对应的那些就是异常数据。
3.根据权利要求2所述的基于竞争重构学习的半监督异常检测方法，其特征在于，步骤1中所述的数据预处理，包括高维数据分辨率较高的图像使用预训练的卷积神经网络模型VggNet或ResNet进行特征提取，提取这些网络的全连接的前一层的特征，并进行数据标准化处理，减均值除标准差。
4. 根据权利要求2所述的基于竞争重构学习的半监督异常检测方法，其特征在于，所述的 编码器和解码器，根据不同的数据时空结构选择不同的网络类型：如果数据是属性是一维的，则使用全连接网络；如果数据具有二维空间结构并且属性之间是局部相关的，则选择卷积神经网络；如果数据是时序的，且前后时间节点相关，则选择循环神经网络。
CN201811317051.1A 2018-11-07 2018-11-07 一种基于竞争重构学习的半监督异常检测方法 Active CN109543727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811317051.1A CN109543727B (zh) 2018-11-07 2018-11-07 一种基于竞争重构学习的半监督异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811317051.1A CN109543727B (zh) 2018-11-07 2018-11-07 一种基于竞争重构学习的半监督异常检测方法

Publications (2)

Publication Number Publication Date
CN109543727A true CN109543727A (zh) 2019-03-29
CN109543727B CN109543727B (zh) 2022-12-20

Family

ID=65846520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811317051.1A Active CN109543727B (zh) 2018-11-07 2018-11-07 一种基于竞争重构学习的半监督异常检测方法

Country Status (1)

Country Link
CN (1) CN109543727B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321941A (zh) * 2019-06-24 2019-10-11 西北工业大学 可鉴别性特征学习的高光谱图像压缩和分类方法
CN110674872A (zh) * 2019-09-24 2020-01-10 广州大学 一种高维磁共振影像的分类方法及装置
CN110766056A (zh) * 2019-09-27 2020-02-07 中山大学 一种融合图像生成和多标签分类的异常图像检测方法
CN110991504A (zh) * 2019-11-22 2020-04-10 齐鲁工业大学 基于motcn-ae的多维时间序列异常值检测方法及系统
CN111709491A (zh) * 2020-06-30 2020-09-25 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
CN112907589A (zh) * 2021-04-02 2021-06-04 联通(上海)产业互联网有限公司 一种检测异常并且分割图像中异常区域的深度学习算法
CN112966819A (zh) * 2021-03-04 2021-06-15 南方科技大学 分布外数据检测方法、装置、服务器及存储介质
CN113535452A (zh) * 2021-07-12 2021-10-22 浙江讯飞智能科技有限公司 数据检测方法、装置、电子设备和存储介质
CN113627479A (zh) * 2021-07-09 2021-11-09 中国科学院信息工程研究所 一种基于半监督学习的图数据异常检测方法
CN111709491B (zh) * 2020-06-30 2024-05-14 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120263376A1 (en) * 2011-04-12 2012-10-18 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
US20150238148A1 (en) * 2013-10-17 2015-08-27 Siemens Aktiengesellschaft Method and system for anatomical object detection using marginal space deep neural networks
WO2015180368A1 (zh) * 2014-05-27 2015-12-03 江苏大学 一种半监督语音特征可变因素分解方法
US20160321559A1 (en) * 2013-06-28 2016-11-03 D-Wave Systems Inc. Systems and methods for quantum processing of data
US20170068888A1 (en) * 2015-09-09 2017-03-09 Intel Corporation Cost-sensitive classification with deep learning using cost-aware pre-training
US20170076224A1 (en) * 2015-09-15 2017-03-16 International Business Machines Corporation Learning of classification model
WO2017205850A1 (en) * 2016-05-26 2017-11-30 Ogma Intelligent Systems Corp. Processing time-varying data streams using sparse predictive hierarchies
WO2018046412A1 (en) * 2016-09-07 2018-03-15 Koninklijke Philips N.V. Semi-supervised classification with stacked autoencoder
US20180144243A1 (en) * 2016-11-23 2018-05-24 General Electric Company Hardware system design improvement using deep learning algorithms
US20180152466A1 (en) * 2016-11-30 2018-05-31 Cisco Technology, Inc. Estimating feature confidence for online anomaly detection
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120263376A1 (en) * 2011-04-12 2012-10-18 Sharp Laboratories Of America, Inc. Supervised and semi-supervised online boosting algorithm in machine learning framework
US20160321559A1 (en) * 2013-06-28 2016-11-03 D-Wave Systems Inc. Systems and methods for quantum processing of data
US20150238148A1 (en) * 2013-10-17 2015-08-27 Siemens Aktiengesellschaft Method and system for anatomical object detection using marginal space deep neural networks
WO2015180368A1 (zh) * 2014-05-27 2015-12-03 江苏大学 一种半监督语音特征可变因素分解方法
US20170068888A1 (en) * 2015-09-09 2017-03-09 Intel Corporation Cost-sensitive classification with deep learning using cost-aware pre-training
US20170076224A1 (en) * 2015-09-15 2017-03-16 International Business Machines Corporation Learning of classification model
WO2017205850A1 (en) * 2016-05-26 2017-11-30 Ogma Intelligent Systems Corp. Processing time-varying data streams using sparse predictive hierarchies
WO2018046412A1 (en) * 2016-09-07 2018-03-15 Koninklijke Philips N.V. Semi-supervised classification with stacked autoencoder
US20180144243A1 (en) * 2016-11-23 2018-05-24 General Electric Company Hardware system design improvement using deep learning algorithms
US20180152466A1 (en) * 2016-11-30 2018-05-31 Cisco Technology, Inc. Estimating feature confidence for online anomaly detection
US20180165554A1 (en) * 2016-12-09 2018-06-14 The Research Foundation For The State University Of New York Semisupervised autoencoder for sentiment analysis
WO2018137357A1 (zh) * 2017-01-24 2018-08-02 北京大学 一种目标检测性能优化的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CARL STEYN，ALTA DE WAAL: "Semi-supervised Machine Learning for Textual Anomaly Detection", 《2016 PATTERN RECOGNITION ASSOCIATION OF SOUTH AFRICA AND ROBOTICS AND MECHATRONICS INTERNATIONAL CONFERENCE》 *
HANH T.M. TRAN，DAVID HOGG: "Anomaly Detection using a Convolutional Winner-Take-All Autoencoder", 《BRITISH MACHINE VISION CONFERENCE》 *
王声柱，李永忠: "基于深度学习和半监督学习的入侵检测算法", 《信息技术》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321941A (zh) * 2019-06-24 2019-10-11 西北工业大学 可鉴别性特征学习的高光谱图像压缩和分类方法
CN110674872B (zh) * 2019-09-24 2022-03-01 广州大学 一种高维磁共振影像的分类方法及装置
CN110674872A (zh) * 2019-09-24 2020-01-10 广州大学 一种高维磁共振影像的分类方法及装置
CN110766056A (zh) * 2019-09-27 2020-02-07 中山大学 一种融合图像生成和多标签分类的异常图像检测方法
CN110991504A (zh) * 2019-11-22 2020-04-10 齐鲁工业大学 基于motcn-ae的多维时间序列异常值检测方法及系统
CN111709491A (zh) * 2020-06-30 2020-09-25 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
CN111709491B (zh) * 2020-06-30 2024-05-14 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
WO2021139236A1 (zh) * 2020-06-30 2021-07-15 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
CN112966819A (zh) * 2021-03-04 2021-06-15 南方科技大学 分布外数据检测方法、装置、服务器及存储介质
CN112966819B (zh) * 2021-03-04 2024-04-09 南方科技大学 分布外数据检测方法、装置、服务器及存储介质
CN112907589A (zh) * 2021-04-02 2021-06-04 联通(上海)产业互联网有限公司 一种检测异常并且分割图像中异常区域的深度学习算法
CN113627479A (zh) * 2021-07-09 2021-11-09 中国科学院信息工程研究所 一种基于半监督学习的图数据异常检测方法
CN113627479B (zh) * 2021-07-09 2024-02-20 中国科学院信息工程研究所 一种基于半监督学习的图数据异常检测方法
CN113535452A (zh) * 2021-07-12 2021-10-22 浙江讯飞智能科技有限公司 数据检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN109543727B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN109543727A (zh) 一种基于竞争重构学习的半监督异常检测方法
Zhong et al. Learning to diversify deep belief networks for hyperspectral image classification
Zhuang LadderNet: Multi-path networks based on U-Net for medical image segmentation
Kim et al. Deep learning with support vector data description
Cui et al. CONAN: complementary pattern augmentation for rare disease detection
CN104573669A (zh) 图像物体检测方法
Shi et al. Multi-label ensemble learning
Kiros et al. Deep representations and codes for image auto-annotation
CN113627463A (zh) 基于多视图对比学习的引文网络图表示学习系统及方法
Shen et al. Learning high-level concepts by training a deep network on eye fixations
Abdullah et al. Deep transfer learning based parkinson’s disease detection using optimized feature selection
Khan et al. Gene transformer: Transformers for the gene expression-based classification of lung cancer subtypes
Kim et al. Hierarchy of alternating specialists for scene recognition
Huang et al. AdwU-Net: adaptive depth and width U-Net for medical image segmentation by differentiable neural architecture search
Rahman et al. Serial combination of multiple experts: A unified evaluation
Yeh et al. Convolution neural network hyperparameter optimization using simplified swarm optimization
ElAdel et al. Fast DCNN based on FWT, intelligent dropout and layer skipping for image retrieval
Liu et al. Chart classification by combining deep convolutional networks and deep belief networks
CN115310491A (zh) 一种基于深度学习的类不平衡磁共振全脑数据分类方法
Kowsari Diagnosis and analysis of celiac disease and environmental enteropathy on biopsy images using deep learning approaches
Çivitcioğlu et al. Machine learning the square-lattice Ising model
Sinha et al. NeuroSight: Brain Tumor Classification using Deep Learning Techniques
Imani et al. Multi-objective genetic algorithm for multi-view feature selection
Chauhan et al. Handwritten Digit Recognition using Deep Neural Networks
Lin et al. Regulating Balance Degree for More Reasonable Visual Question Answering Benchmark

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant