CN111709491B - 基于自编码器的异常检测方法、装置、设备及存储介质 - Google Patents

基于自编码器的异常检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111709491B
CN111709491B CN202010611195.9A CN202010611195A CN111709491B CN 111709491 B CN111709491 B CN 111709491B CN 202010611195 A CN202010611195 A CN 202010611195A CN 111709491 B CN111709491 B CN 111709491B
Authority
CN
China
Prior art keywords
label
sample
reconstruction
encoder
positive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010611195.9A
Other languages
English (en)
Other versions
CN111709491A (zh
Inventor
邓悦
郑立颖
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010611195.9A priority Critical patent/CN111709491B/zh
Publication of CN111709491A publication Critical patent/CN111709491A/zh
Priority to PCT/CN2020/118224 priority patent/WO2021139236A1/zh
Application granted granted Critical
Publication of CN111709491B publication Critical patent/CN111709491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本案涉及人工智能领域，提供一种基于自编码器的异常检测方法、装置、设备及存储介质。该方法包括：将无标记样本输入至编码器进行编码，随机为获得的无标记样本特征分配标签并分别输入至正样本解码器和负样本解码器解码，并计算无标记样本的重构误差，根据重构误差修改无标记样本的标签并修改编码器和解码器的网络参数，重新输入至编码器中进行重构，重复迭代，直到无标记样本的标签不再变化，并根据无标记样本的标签确定异常样本。本发明通过自编码器迭代重构而不是建立模型的方式来异常检测，避免了预置阈值难以确定和过拟合的问题，异常检测的准确率高，适用性强。此外，本发明还涉及区块链技术，检测后样本可存储于区块链中。

Description

基于自编码器的异常检测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种基于自编码器的异常检测方法、装置、设备及存储介质。
背景技术
在人工智能领域，异常检测是为了识别不符合预期正常模式的数据，这些数据可能来自新的类别或一些没有意义的嘈杂数据，没有十分明确的定义，因此很难收集或验证。
正样本可以由训练数据很好地表征，但由于分类器的惰性，传统方法要么为正样本构建模型配置，然后将违反示例标识为离群值，要么根据异常的统计或几何度量将离群值明确隔离，通常使用线性模型，容量有限。尽管可以使用核函数来提高性能，但仍不适用于高维海量数据。
近几年深度学习逐渐兴起，在许多方面中取得成功，但由于没有负样本，很难直接为单分类器训练有监督的深度神经网络。目前尝试的单分类分类器，即使可以建立用于异常检测的判别模型，也需要通过选择预定义的阈值来完成检测。由于异常值不可预测，因此很难确定适用于所有情况的阈值。同时，由于仅根据样本对模型进行训练，导致过拟合的问题，导致模型的泛化性能低。
发明内容
本发明的主要目的在于解决目前的通过建立模型进行异常检测导致预设阈值难以确定、过拟合的技术问题。
本发明第一方面提供了一种基于自编码器的异常检测方法，包括：
将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；
将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
根据所述重构误差，确定所述无标记样本的第二标签；
判断所述第二标签与所述第一标签是否相同；
若相同，则根据所述第二标签确定所述无标记样本的异常情况；
若不相同，则将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。
可选的，在本发明第一方面的第一种实现方式中，所述重构误差包括正重构误差和负重构误差，所述根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差包括：
计算所述无标记样本与所述第一重构数据的范数的平方，得到所述正重构误差；
计算所述无标记样本与所述第二重构数据的范数的平方，得到所述负重构误差。
可选的，在本发明第一方面的第二种实现方式中，在所述若不相同，则将所述第一标签的内容更新为第二标签的内容之后还包括：
将正样本输入所述编码器中进行降维处理，得到所述正样本的正样本特征；
所述正样本特征输入至所述正样本解码器中进行数据重构，得到第三重构误差；
计算所述自编码器的最终损失函数，并根据所述最终损失函数调整所述自编码器的网络参数。
可选的，在本发明第一方面的第三种实现方式中，在所述将正样本输入所述编码器中进行降维处理，得到所述正样本的正样本特征之后，还包括：
根据所述正样本、所述无标记样本、所述正样本特征和所述无标记样本特征，计算所述编码器的第一损失函数。
可选的，在本发明第一方面的第四种实现方式中，在所述正样本特征输入至所述正样本解码器中进行数据重构，得到第三重构误差之后，还包括：
根据所述正样本、所述无标记样本、所述第三重构数据、所述正重构误差和所述负重构误差计算所述无标记样本和所述正样本的全体样本的平均竞争性重构误差。
可选的，在本发明第一方面的第五种实现方式中，所述计算所述自编码器的最终损失函数，并根据所述最终损失函数调整所述自编码器的网络参数包括：
根据所述第一损失函数和所述平均竞争性重构误差计算所述自编码器的最终损失函数；
根据所述最终损失函数，进行反向传播更新所述自编码器的网络参数；
基于所述网络参数调整所述自编码器。
可选的，在本发明第一方面的第六种实现方式中，所述根据所述重构误差，确定所述无标记样本的第二标签，包括：
判断所述正重构误差是否小于所述负重构误差；
若小于，则确定所述无标签样本的第二标签为代表正常样本的标签；
若不小于，则确定所述无标签样本的第二标签为代表异常样本的标签。
本发明第二方面提供了一种基于自编码器的异常检测装置，包括：
降维模块，用于将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；
重构模块，用于将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
计算模块，用于根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
判断模块，用于根据所述重构误差，确定所述无标记样本的第二标签，并判断所述第二标签与所述第一标签是否相同；
确定模块，用于当所述第二标签与所述第一标签相同时，根据所述第二标签确定所述无标记样本的异常情况；
循环模块，用于当所述第二标签与所述第一标签不相同时，将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。
可选的，在本发明第二方面的第一种实现方式中，所述计算模块具体用于：
计算所述无标记样本与所述第一重构数据的范数的平方，得到所述正重构误差；
计算所述无标记样本与所述第二重构数据的范数的平方，得到所述负重构误差。
可选的，在本发明第二方面的第二种实现方式中，所述基于自编码器的异常检测装置还包括调参模块，所述调参模块包括：
正样本降维单元，用于将正样本输入所述编码器中进行降维处理，得到所述正样本的正样本特征；
正样本重构单元，用于所述正样本特征输入至所述正样本解码器中进行数据重构，得到第三重构误差；
调整单元，计算所述自编码器的最终损失函数，并根据所述最终损失函数调整所述自编码器的网络参数。
可选的，在本发明第二方面的第三种实现方式中，所述调参模块还包括第一损失计算单元，所述第一损失计算单元具体用于：
根据所述正样本、所述无标记样本、所述正样本特征和所述无标记样本特征，计算所述编码器的第一损失函数。
可选的，在本发明第二方面的第四种实现方式中，所述调参模块还包括竞争误差单元，所述竞争误差单元具体用于：
根据所述正样本、所述无标记样本、所述第三重构数据、所述正重构误差和所述负重构误差计算所述无标记样本和所述正样本的全体样本的平均竞争性重构误差。
可选的，在本发明第二方面的第五种实现方式中，所述调整单元具体用于：
根据所述第一损失函数和所述平均竞争性重构误差计算所述自编码器的最终损失函数；
根据所述最终损失函数，进行反向传播更新所述自编码器的网络参数；
基于所述网络参数调整所述自编码器。
可选的，在本发明第二方面的第六种实现方式中，所述判断模块具体用于：
判断所述正重构误差是否小于所述负重构误差；
若小于，则确定所述无标签样本的第二标签为代表正常样本的标签；
若不小于，则确定所述无标签样本的第二标签为代表异常样本的标签。
本发明第三方面提供了一种基于自编码器的异常检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于自编码器的异常检测设备执行上述的基于自编码器的异常检测方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于自编码器的异常检测方法。
本发明的技术方案中，将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
根据所述重构误差，确定所述无标记样本的第二标签；判断所述第二标签与所述第一标签是否相同；若相同，则根据所述第二标签确定所述无标记样本的异常情况；若不相同，则将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。本发明通过自编码器迭代重构而不是通过建立模型的方式进行异常检测，提出了异常界定的新标准，避免了预置阈值难以确定的问题，同时以判别的方式进行异常检测，避免了过拟合的问题，自编码器的学习过程收敛，模型可靠，对异常值比率的鲁棒性更高，节省计算资源。
附图说明
图1为本发明实施例中基于自编码器的异常检测方法的第一个实施例示意图；
图2为本发明实施例中基于自编码器的异常检测方法的第二个实施例示意图；
图3为本发明实施例中基于自编码器的异常检测方法的第三个实施例示意图；
图4为本发明实施例中基于自编码器的异常检测方法的第四个实施例示意图；
图5为本发明实施例中基于自编码器的异常检测方法的第五个实施例示意图；
图6为本发明实施例中基于自编码器的异常检测装置的一个实施例示意图；
图7为本发明实施例中基于自编码器的异常检测装置的另一个实施例示意图；
图8为本发明实施例中基于自编码器的异常检测设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种基于自编码器的异常检测方法、装置、设备及存储介质，本发明的技术方案中，将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；根据所述重构误差，确定所述无标记样本的第二标签；判断所述第二标签与所述第一标签是否相同；若相同，则根据所述第二标签确定所述无标记样本的异常情况；若不相同，则将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。本发明通过自编码器迭代重构而不是通过建立模型的方式进行异常检测，提出了异常界定的新标准，避免了预置阈值难以确定的问题，同时以判别的方式进行异常检测，避免了过拟合的问题，自编码器的学习过程收敛，模型可靠，对异常值比率的鲁棒性更高，节省计算资源。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于自编码器的异常检测方法的第一个实施例包括：
101、将无标记样本输入编码器中进行降维处理，得到无标记样本的无标记样本特征，并随机为无标记样本特征分配第一标签；
可以理解的是，本发明的执行主体可以为基于自编码器的异常检测装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
需要强调的是，为保证上述无标记样本以及检测后样本的私密和安全性，上述无标记样本以及检测后样本可以存储于一区块链的节点中。
在本实施例中，异常检测是为了识别出不符合预期正常模式的数据，所以可以将事先获得的已知符合正常模式的数据作为正样本，将尚未知道是否符合预期正常模式的数据作为无标记样本，无标记样本中包含了符合或不符合预期正常模式的数据，通过本发明的方法将可以从无标记样本中识别出哪些符合预期正常模式，哪些不符合预期正常模式，进而达到异常检测的目的。
在本实施例中，用于异常检测的数据集是MNIST数据集和KDD杯1999网络入侵数据集(KDD)。样本集根据其类标签分为正样本数据和负样本数据，为了应用半监督学习，已标记的正样本由80％的正常数据组成，无标记样本由剩余的20％的正常数据和所有异常数据组成。因此，模型仅使用正常数据进行训练正样本解码器，并使用正常和异常数据进行测试。
在实际应用中，需要先构建编码器和解码器，所述编码器选取的神经网络类型可以包括全连接网络、卷积神经网络和循环神经网络，主要通过数据的属性决定，确定样本数据的属性选择不同的神经网络类型能够减少运算量，提高效率，在本实施例中，选择全连接网络作为编码器和解码器的神经网络类型，每个编码器和解码器都是有两层隐层组成，结构是对称的。
在本实施例中，高维样本数据能够通过编码器选择的多层神经网络，编码成低维样本数据，在这个过程中，可以增加正则化项将正负样本数据进行一定程度的分离，再将低维数据通过解码器解码回到和之前一样维度的高位样本数据，完成整个重构过程。
在实际应用中，可以在样本输入自编码器前对样本进行预处理，可以是对样本进行数据标准化，数据的标准化(normalization)是将数据按比例缩放，使之落入一个小的特定区间。数据标准化的意义在于取消由于量纲不同、自身变异或者数值相差较大所引起的误差，数据标准化的方式包括min-max标准化、z-score标准化、atan反正切函数标准化和log函数标准化。
在本实施例中，需要在编码后为所述无标记样本分配标签，其中，标签分别为0和1，其中0代表该无标记样本是异常样本，1代表该无标记样本为正常样本，通过编码器和解码器的重构过程后，进行循环迭代的过程中，不再需要为其中的无标记样本随机分配标签，而是通过计算重构过程中的重构误差来对无标记样本的标签进行重新分配。
102、将具有第一标签的无标记样本特征分别输入至正样本解码器和负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
在本实施例中，编码器通过非线性之后的仿射映射将输入的样本映射到低维子空间后，解码器通过与编码器相同的变换将低维子空间中的样本映射回原始输入空间作为重建，重建之后得到的数据即为重构数据。其中，正样本解码器经过已标记的正样本作为训练集进行训练得到，已标记的正样本由80％的正常数据组成。
103、根据第一重构数据和第二重构数据，计算无标记样本的重构误差；
在本实施例中，编码器通过非线性之后的仿射映射将输入的样本映射到低维子空间后，解码器通过与编码器相同的变换将低维子空间中的样本映射回原始输入空间作为重建，输入编码器的样本和解码器输出的样本之间的差异就是重构误差。
104、根据重构误差，确定无标记样本的第二标签；
在本实施例中，通过比对正样本解码器输出的第一重构数据计算获得的重构误差和负样本解码器输出的第二重构数据计算获得的重构误差的大小，可以为所述无标记样本重新分配标签，因为两个重构误差的大小，代表着该无标记样本更偏向于是正样本，还是负样本也就是异常样本，当正样本解码器输出的第一重构数据计算获得的重构误差较小时，表示无标记样本更偏向于是正样本，当负样本解码器输出的第二重构数据计算获得的重构误差较小时，表示无标记样本更偏向于是异常样本，为所述无标记样本重新分配标签。
105、判断第二标签与第一标签是否相同；
106、若相同，则根据第二标签确定无标记样本的异常情况；
在本实施例中，样本集包括多个无标记样本，当所有无标记样本分配的第二标签与第一标签相同时，停止进行重构分配标签的过程，并根据标签内容确定无标记样本是否为异常样本。
107、若不相同，则将第一标签的内容更新为第二标签的内容，并返回至步骤102。
在本实施例中，当无标记样本通过重构分配的第二标签与重构前分配的第一标签不相同时，说明重构前分配的标签不是正确的标签，需要重新进行标签的分配，并重构查看二次分配的标签是否为正确的标签，通过多次重构，最终确定无标记样本的标签，并通过标签内容确定无标记样本是否为异常样本。
在本实施例中，通过将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
根据所述重构误差，确定所述无标记样本的第二标签；判断所述第二标签与所述第一标签是否相同；若相同，则根据所述第二标签确定所述无标记样本的异常情况；若不相同，则将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。本发明通过自编码器迭代重构而不是通过建立模型的方式进行异常检测，提出了异常界定的新标准，避免了预置阈值难以确定的问题，同时以判别的方式进行异常检测，避免了过拟合的问题，自编码器的学习过程收敛，模型可靠，对异常值比率的鲁棒性更高，节省计算资源。
请参阅图2，本发明实施例中基于自编码器的异常检测方法的第二个实施例包括：
201、将无标记样本输入编码器中进行降维处理，得到无标记样本的无标记样本特征，并随机为无标记样本特征分配第一标签；
202、将具有第一标签的无标记样本特征分别输入至正样本解码器和负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
上述步骤201-202与第一实施例中的步骤101-102类似，此处不再赘述。
203、分别计算无标记样本与第一重构数据以及无标记样本与第二重构数据的范数的平方，得到正重构误差和负重构误差；
在本实施例中，所述无标记样本的重构误差可以分为正重构误差和负重构误差，其中正重构误差为无标记样本通过编码器编码后再通过正样本解码器解码进行重构得到重构数据后计算与原无标记样本的差异得到的误差，负重构误差为无标记样本通过编码器编码后再通过负样本解码器解码进行重构得到重构数据后计算与原无标记样本的差异得到的误差，可以通过计算二范数得到，计算公式分别如下：
其中，Din为正重构误差，Dout为负重构误差，Xu为无标记样本，为所述无标记样本的第j个样本，Rin(X)为第一重构数据，Rout(X)为第二重构数据。
在实际应用中，计算范数最常用的就是闵可夫斯基距离，当范数中的下标为1时，闵可夫斯基距离为曼哈顿距离，当范数中的下标为1时，闵可夫斯基距离即为欧氏距离。
204、根据正重构误差和负重构误差，确定无标记样本的第二标签；
205、判断第二标签与第一标签是否相同；
206、若相同，则根据第二标签确定无标记样本的异常情况；
207、若不相同，则将第一标签的内容更新为第二标签的内容，并返回步骤202；
本实施例中的步骤204-207与第一实施例中的步骤104-107类似，此处不再赘述。
本实施例在上一实施例的基础上，增加计算重构误差的过程，通过分别计算正样本在重构过程中的重构误差以及负样本在重构过程中的正重构误差和负重构误差，确定无标记样本的第二标签，在不断进行重构的过程中，正重构误差会趋于变小，而负重构误差会趋于变大，在此过程中，通过判断正重构误差和负重构误差的大小分配无标记样本的标签，最终就能通过标签确定样本是否异常。
请参阅图3，本发明实施例中基于自编码器的异常检测方法的第三个实施例包括：
301、将无标记样本输入编码器中进行降维处理，得到无标记样本的无标记样本特征，并随机为无标记样本特征分配第一标签；
302、将具有第一标签的无标记样本特征分别输入至正样本解码器和负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
303、根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
304、根据重构误差，确定无标记样本的第二标签；
305、判断第二标签与第一标签是否相同；
306、若相同，则根据第二标签确定无标记样本的异常情况；
本实施例中的步骤301-306与第一实施例中的步骤101-106类似，此处不再赘述。
307、若不相同，则将第一标签的内容更新为第二标签的内容；
308、将正样本输入编码器中进行降维处理，得到正样本的正样本特征；
309、根据正样本、无标记样本、正样本特征和无标记样本特征，计算编码器的第一损失函数；
在本实施例中，所述第一损失函数的计算公式为：
其中，m为所正样本的样本数量，n为所述无标记样本的数量,Xp为正样本，为正样本中的第i个样本,E(X)表示样本X低维子空间特征,W为正则化项；
在本实施例中，对将正样本和无标记样本输入至所述编码器中进行降维处理的过程中，会将正样本和无标记样本映射到用同一低维空间中，在映射的过程中，添加了正则化处理，所述正则化处理为通过计算块对称亲和矩阵作为正则化项，用以约束相似的已标记正样本在相邻的空间中，目的是为了加强了正样本解码器的数据重构能力，提升保留在低维子空间中的正样本数据结构特征，进而可以更好的区分正常值与异常点，提升了模型精度，其中，使用块对称亲和矩阵W作为正则化项，所述正则化项的计算公式为：
其中，D(Xi，Xj)是数据的距离度量，Ni是第i个数据点的邻域，Nj是第j个数据点的邻域，∈＞0，为常数参数，通过所述第一损失函数，可以反向传播更新解码器的网络参数，以使得最大程度地减小正则化项的损失函数。
310、正样本特征输入至正样本解码器中进行数据重构，得到第三重构误差；
311、根据第一损失函数计算自编码器的最终损失函数，并根据最终损失函数调整自编码器的网络参数并返回至步骤302。
本实施例在前实施例的基础上，增加了计算编码器的损失函数的过程，通过计算编码器对正样本和无标记样本的编码过程中的损失函数，并通过该损失函数对自编码器中的网络参数进行调整，进而达到优化自编码器，提高自编码器的重构精度的效果，同时在计算过程中增加正则化项，用以约束相似的已标记正样本在相邻的空间中，从而加强了正样本解码器的数据重构能力。
可以理解的是，本实施例中将正样本输入编码器中进行降维处理的步骤308可与将无标记样本输入编码器中进行降维处理的步骤301同步进行，即同时将已标记的正样本和无标记样本输入编码器中进行降维处理。进一步，将正样本特征输入至正样本解码器中进行数据重构的步骤310可与将具有第一标签的无标记样本特征分别输入至正样本解码器和负样本解码器中进行数据重构的步骤302同步进行。
请参阅图4，本发明实施例中基于自编码器的异常检测方法的第四个实施例包括：
401、将无标记样本输入编码器中进行降维处理，得到无标记样本的无标记样本特征，并随机为无标记样本特征分配第一标签；
402、将具有第一标签的无标记样本特征分别输入至正样本解码器和负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
403、根据第一重构数据和第二重构数据，计算无标记样本的重构误差；
404、根据重构误差，确定无标记样本的第二标签；
405、判断第二标签与第一标签是否相同；
406、若相同，则根据第二标签确定无标记样本的异常情况；
本实施例中的步骤401-406与第一实施例中的步骤101-106类似，此处不再赘述。
407、若不相同，则将第一标签的内容更新为第二标签的内容；
408、将正样本输入编码器中进行降维处理，得到正样本的正样本特征；
409、根据正样本、无标记样本、正样本特征和无标记样本特征，计算编码器的第一损失函数；
410、正样本特征输入至正样本解码器中进行数据重构，得到第三重构误差；
411、根据正样本、无标记样本、第三重构数据、正重构误差和负重构误差计算无标记样本和正样本的全体样本的平均竞争性重构误差；
在本实施例中，所述全体样本的平均竞争性重构误差为：
其中，m为所正样本的样本数量，n为所述无标记样本的数量，Xp为正样本，为正样本中的第i个样本，yj表示对第j个无标记数据的预测标签，Xu为无标记样本，/>为所述无标记样本的第j个样本，Rin(X)为正样本解码器输出的重构数据，包括第三重构数据/>和第一重构数据/>Rout(X)负样本解码器输出的重构数据，为第二重构数据/>全体样本的平均竞争性重构误差越小，模型就越好，通过所述全体样本的平均竞争性重构误差进行自编码器的网络参数的调整，可以使自编码器的精度更高。
412、根据第一损失函数和平均竞争性重构误差计算自编码器的最终损失函数；
在本实施例中，通过第一所述函数和全体样本的平均竞争性重构误差，能够获得自编码器在整个重构过程中最终的损失函数，所述最终所述函数的计算公式为：
其中，为最终损失函数，λ＞0，为常数参数，它控制正则项的相对重要性，/>编码器的第一损失函数，为了优化最终损失函数，可以采用类似随机梯度下降的方法来训练模型。
413、根据最终损失函数，进行反向传播更新自编码器的网络参数；
414、基于网络参数调整自编码器，并返回至步骤402。
本实施例在上一实施例的基础上，详细描述了无标记样本的标签的更新过程，通过重复的重构迭代，每次迭代都为无标记样本分配标签，知道所有样本的标签都不再变化，此时正常样本的在每次重构之后，由于正样本解码器的训练，在正样本解码器中的重构误差会越来越小，而异常样本，则越来越大，由此在最后样本标签保存不变的时候，就能通过标签确定无标记样本中的正负样本。
请参阅图5，本发明实施例中基于自编码器的异常检测方法的第五个实施例包括：
501、将无标记样本输入编码器中进行降维处理，得到无标记样本的无标记样本特征，并随机为无标记样本特征分配第一标签；
502、将具有第一标签的无标记样本特征分别输入至正样本解码器和负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
503、根据第一重构数据和第二重构数据，计算无标记样本的重构误差；
本实施例中的步骤501-503与第一实施例中的步骤101-103类似，此处不再赘述。
504、判断重构误差中的正重构误差是否小于负重构误差；
505、若小于，则确定无标签样本的第二标签为代表正常样本的标签；
506、若不小于，则确定无标签样本的第二标签为代表异常样本的标签；
在本实施例中，在第一次输入自编码器中进行重构时，会随机分配为无标记样本分配标签，而正样本则已经带有标签，所述标签分为0和1，其中0代表该样本为异常样本，1代表该标签是正常样本，由于第一次进行重构时，还尚未知道无标记样本中哪些样本为正常样本，哪些样本为异常样本，所以需要先进行随机分配，后续通过不断迭代更新进行标签的重分配，其中，对于标签的更新公式为：
其中，无标记样本输入到正样本解码器后得到的重构误差，是无标记样本输入到负样本解码器后得到而重构误差，同一无标记样本通过比较在两个解码器输出的重构误差的大小，确定该无标记样本需要分配的标签是0或是1，当/>时，说明正样本解码器的重构误差较小，也就是说，该无标记样本更倾向于为正常样本，当/>时，说明该无标记样本更倾向于是异常样本。
507、判断第二标签与第一标签是否相同；
508、若相同，则根据第二标签确定无标记样本的异常情况；
509、若不相同，则将第一标签的内容更新为第二标签的内容，并返回至步骤502。
本实施例在上一实施例的基础上，详细描述了无标记样本的第二标签的确定过程，无标记样本的标签可以为0和1，其中0代表该样本为异常样本，1代表该标签是正常样本，通过比对正样本解码器输出的第一重构数据计算获得的重构误差和负样本解码器输出的第二重构数据计算获得的重构误差的大小，可以为所述无标记样本重新分配标签，因为两个重构误差的大小，代表着该无标记样本更偏向于是正样本，还是负样本也就是异常样本，据此，能够快速为无标记样本的标签进行重新分配。
上面对本发明实施例中基于自编码器的异常检测方法进行了描述，下面对本发明实施例中基于自编码器的异常检测装置进行描述，请参阅图6，本发明实施例中基于自编码器的异常检测装置一个实施例包括：
降维模块601，用于将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；
重构模块602，用于将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
计算模块603，用于根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
判断模块604，用于根据所述重构误差，确定所述无标记样本的第二标签，并判断所述第二标签与所述第一标签是否相同；
确定模块605，用于当所述第二标签与所述第一标签相同时，根据所述第二标签确定所述无标记样本的异常情况；
循环模块606，用于当所述第二标签与所述第一标签不相同时，将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。
需要强调的是，为保证上述正样本和负样本的私密和安全性，上述正样本和负样本可以存储于一区块链的节点中。
本发明实施例中，所述基于自编码器的异常检测装置通过运行所述基于自编码器的异常检测方法，通过将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；根据所述重构误差，确定所述无标记样本的第二标签；判断所述第二标签与所述第一标签是否相同；若相同，则根据所述第二标签确定所述无标记样本的异常情况；若不相同，则将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。本发明通过自编码器迭代重构而不是通过建立模型的方式进行异常检测，提出了异常界定的新标准，避免了预置阈值难以确定的问题，同时以判别的方式进行异常检测，避免了过拟合的问题，自编码器的学习过程收敛，模型可靠，对异常值比率的鲁棒性更高，节省计算资源。
请参阅图7，本发明实施例中基于自编码器的异常检测装置的另一个实施例包括：
降维模块601，用于将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；
重构模块602，用于将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
计算模块603，用于根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
判断模块604，用于根据所述重构误差，确定所述无标记样本的第二标签，并判断所述第二标签与所述第一标签是否相同；
确定模块605，用于当所述第二标签与所述第一标签相同时，根据所述第二标签确定所述无标记样本的异常情况；
循环模块606，用于当所述第二标签与所述第一标签不相同时，将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤。
可选的，所述计算模块603具体用于：
计算所述无标记样本与所述第一重构数据的范数的平方，得到所述正重构误差；
计算所述无标记样本与所述第二重构数据的范数的平方，得到所述负重构误差。
其中，所述基于自编码器的异常检测装置还包括调参模块607，所述调参模块607包括：
正样本降维单元6071，用于将正样本输入所述编码器中进行降维处理，得到所述正样本的正样本特征；
正样本重构单元6072，用于所述正样本特征输入至所述正样本解码器中进行数据重构，得到第三重构误差；
调整单元6073，计算所述自编码器的最终损失函数，并根据所述最终损失函数调整所述自编码器的网络参数。
其中，所述调参模块607还包括第一损失计算单元6074，所述第一损失计算单元6074具体用于：
根据所述正样本、所述无标记样本、所述正样本特征和所述无标记样本特征，计算所述编码器的第一损失函数。
其中，所述调参模块607还包括竞争误差单元6075，所述竞争误差单元6075具体用于：
根据所述正样本、所述无标记样本、所述第三重构数据、所述正重构误差和所述负重构误差计算所述无标记样本和所述正样本的全体样本的平均竞争性重构误差。
可选的，所述调整单元6073具体用于：
根据所述第一损失函数和所述平均竞争性重构误差计算所述自编码器的最终损失函数；
根据所述最终损失函数，进行反向传播更新所述自编码器的网络参数；
基于所述网络参数调整所述自编码器。
可选的，所述判断模块604具体用于：
判断所述正重构误差是否小于所述负重构误差；
若小于，则确定所述无标签样本的第二标签为代表正常样本的标签；
若不小于，则确定所述无标签样本的第二标签为代表异常样本的标签。
本实施例在上一实施例的基础上，详细描述了各个模块的具体功能，同时增加了多个模块功能，通过第一函数模块和第二函数模块计算自编码器在重构过程中的最终损失函数，通过最终损失函数的反向传播，调整自编码器的神经网络的参数时，使得自编码器的性能越来越好。
上面图6和图7从模块化功能实体的角度对本发明实施例中的中基于自编码器的异常检测装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于自编码器的异常检测设备进行详细描述。
图8是本发明实施例提供的一种基于自编码器的异常检测设备的结构示意图，该基于自编码器的异常检测设备800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)810(例如，一个或一个以上处理器)和存储器820，一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对基于自编码器的异常检测设备800中的一系列指令操作。更进一步地，处理器810可以设置为与存储介质830通信，在基于自编码器的异常检测设备800上执行存储介质830中的一系列指令操作。
基于自编码器的异常检测设备800还可以包括一个或一个以上电源840，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口860，和/或，一个或一个以上操作系统831，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图8示出的基于自编码器的异常检测设备结构并不构成对本申请提供的基于自编码器的异常检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于自编码器的异常检测方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于自编码器的异常检测方法，其特征在于，所述自编码器包括编码器、正样本解码器和负样本解码器，所述异常检测方法包括：
将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；
将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
根据所述重构误差，确定所述无标记样本的第二标签；
判断所述第二标签与所述第一标签是否相同；
若相同，则根据所述第二标签确定所述无标记样本的异常情况；
若不相同，则将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤；
所述重构误差包括正重构误差和负重构误差；
所述根据所述第一重构数据和第二重构数据，计算所述无标记样本的重构误差包括：
计算所述无标记样本与所述第一重构数据的范数的平方，得到所述正重构误差；
计算所述无标记样本与所述第二重构数据的范数的平方，得到所述负重构误差；
所述根据所述重构误差，确定所述无标记样本的第二标签，包括：
判断所述正重构误差是否小于所述负重构误差；
若小于，则确定所述无标记样本的第二标签为代表正常样本的标签；
若不小于，则确定所述无标记样本的第二标签为代表异常样本的标签；
所述将所述第一标签的内容更新为第二标签的内容之后，还包括：
将正样本输入所述编码器中进行降维处理，得到所述正样本的正样本特征；
所述正样本特征输入至所述正样本解码器中进行数据重构，得到第三重构误差；
计算所述自编码器的最终损失函数，并根据所述最终损失函数调整所述自编码器的网络参数。
2.根据权利要求1所述的基于自编码器的异常检测方法，其特征在于，在所述将正样本输入所述编码器中进行降维处理，得到所述正样本的正样本特征之后，还包括：
根据所述正样本、所述无标记样本、所述正样本特征和所述无标记样本特征，计算所述编码器的第一损失函数。
3.根据权利要求2所述的基于自编码器的异常检测方法，其特征在于，在所述正样本特征输入至所述正样本解码器中进行数据重构，得到第三重构误差之后，还包括：
根据所述正样本、所述无标记样本、所述第三重构误差、所述正重构误差和所述负重构误差计算所述无标记样本和所述正样本的全体样本的平均竞争性重构误差。
4.根据权利要求3所述的基于自编码器的异常检测方法，其特征在于，所述计算所述自编码器的最终损失函数，并根据所述最终损失函数调整所述自编码器的网络参数，包括：
根据所述第一损失函数和所述平均竞争性重构误差计算所述自编码器的最终损失函数；
根据所述最终损失函数，进行反向传播更新所述自编码器的网络参数；
基于所述网络参数调整所述自编码器。
5.一种基于自编码器的异常检测装置，其特征在于，所述自编码器包括编码器、正样本解码器和负样本解码器，所述基于自编码器的异常检测装置包括：
降维模块，用于将无标记样本输入所述编码器中进行降维处理，得到所述无标记样本的无标记样本特征，并随机为所述无标记样本特征分配第一标签；
重构模块，用于将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构，获得第一重构数据和第二重构数据；
计算模块，用于根据所述第一重构数据和所述第二重构数据，计算所述无标记样本的重构误差；
判断模块，用于根据所述重构误差，确定所述无标记样本的第二标签，并判断所述第二标签与所述第一标签是否相同；
确定模块，用于当所述第二标签与所述第一标签相同时，根据所述第二标签确定所述无标记样本的异常情况；
循环模块，用于当所述第二标签与所述第一标签不相同时，将所述第一标签的内容更新为第二标签的内容，并返回所述将具有第一标签的所述无标记样本特征分别输入至所述正样本解码器和所述负样本解码器中进行数据重构的步骤；
所述重构误差包括正重构误差和负重构误差；
所述计算模块还用于：计算所述无标记样本与所述第一重构数据的范数的平方，得到所述正重构误差；计算所述无标记样本与所述第二重构数据的范数的平方，得到所述负重构误差；
所述判断模块还用于：判断所述正重构误差是否小于所述负重构误差；若小于，则确定所述无标记样本的第二标签为代表正常样本的标签；若不小于，则确定所述无标记样本的第二标签为代表异常样本的标签；
所述装置还包括调参模块，用于将正样本输入所述编码器中进行降维处理，得到所述正样本的正样本特征；所述正样本特征输入至所述正样本解码器中进行数据重构，得到第三重构误差；计算所述自编码器的最终损失函数，并根据所述最终损失函数调整所述自编码器的网络参数。
6.一种基于自编码器的异常检测设备，其特征在于，所述基于自编码器的异常检测设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于自编码器的异常检测设备执行如权利要求1-4中任一项所述的基于自编码器的异常检测方法。
7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的基于自编码器的异常检测方法。
CN202010611195.9A 2020-06-30 2020-06-30 基于自编码器的异常检测方法、装置、设备及存储介质 Active CN111709491B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010611195.9A CN111709491B (zh) 2020-06-30 2020-06-30 基于自编码器的异常检测方法、装置、设备及存储介质
PCT/CN2020/118224 WO2021139236A1 (zh) 2020-06-30 2020-09-28 基于自编码器的异常检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010611195.9A CN111709491B (zh) 2020-06-30 2020-06-30 基于自编码器的异常检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111709491A CN111709491A (zh) 2020-09-25
CN111709491B true CN111709491B (zh) 2024-05-14

Family

ID=72543754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010611195.9A Active CN111709491B (zh) 2020-06-30 2020-06-30 基于自编码器的异常检测方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111709491B (zh)
WO (1) WO2021139236A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709491B (zh) * 2020-06-30 2024-05-14 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质
EP4017077A1 (en) * 2020-12-17 2022-06-22 Nokia Solutions and Networks Oy Method and apparatus for anomaly detection in a network
CN113067754B (zh) * 2021-04-13 2022-04-26 南京航空航天大学 一种半监督时间序列异常检测方法及系统
CN113360694B (zh) * 2021-06-03 2022-09-27 安徽理工大学 一种基于自编码器的恶意图像查询样本检测过滤方法
CN113535452A (zh) * 2021-07-12 2021-10-22 浙江讯飞智能科技有限公司 数据检测方法、装置、电子设备和存储介质
CN113657516A (zh) * 2021-08-20 2021-11-16 泰康保险集团股份有限公司 医疗交易数据处理的方法、装置、电子设备和存储介质
CN113780387A (zh) * 2021-08-30 2021-12-10 桂林电子科技大学 基于共享自编码器的时间序列异常检测方法
CN114330440B (zh) * 2021-12-28 2024-04-05 国网山东省电力公司营销服务中心(计量中心) 基于模拟学习判别的分布式电源负荷异常识别方法及系统
CN114386067B (zh) * 2022-01-06 2022-08-23 承德石油高等专科学校 一种基于人工智能的设备生产数据安全传输方法及系统
CN114493250A (zh) * 2022-01-17 2022-05-13 北京齐尔布莱特科技有限公司 一种异常行为检测方法、计算设备及可读存储介质
CN114494772B (zh) * 2022-01-17 2024-05-14 烽火通信科技股份有限公司 一种不均衡样本分类方法和装置
CN114722061B (zh) * 2022-04-08 2023-11-14 中国电信股份有限公司 数据处理方法及装置、设备、计算机可读存储介质
CN114978613B (zh) * 2022-04-29 2023-06-02 南京信息工程大学 基于数据增强和自监督特征增强的网络入侵检测方法
CN115714731B (zh) * 2022-09-27 2023-06-27 中国人民解放军63921部队 一种基于深度学习自编码器的深空测控链路异常检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881196A (zh) * 2018-06-07 2018-11-23 中国民航大学 基于深度生成模型的半监督入侵检测方法
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN109543727A (zh) * 2018-11-07 2019-03-29 复旦大学 一种基于竞争重构学习的半监督异常检测方法
WO2020017285A1 (ja) * 2018-07-20 2020-01-23 日本電信電話株式会社 異常検知装置、異常検知方法、およびプログラム
WO2020100136A1 (en) * 2018-11-15 2020-05-22 Uveye Ltd. Method of anomaly detection and system thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999247B2 (en) * 2017-10-24 2021-05-04 Nec Corporation Density estimation network for unsupervised anomaly detection
CN110895705B (zh) * 2018-09-13 2024-05-14 富士通株式会社 异常样本检测装置及其训练装置和训练方法
CN111709491B (zh) * 2020-06-30 2024-05-14 平安科技（深圳）有限公司 基于自编码器的异常检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108898218A (zh) * 2018-05-24 2018-11-27 阿里巴巴集团控股有限公司 一种神经网络模型的训练方法、装置、及计算机设备
CN108881196A (zh) * 2018-06-07 2018-11-23 中国民航大学 基于深度生成模型的半监督入侵检测方法
WO2020017285A1 (ja) * 2018-07-20 2020-01-23 日本電信電話株式会社 異常検知装置、異常検知方法、およびプログラム
CN109543727A (zh) * 2018-11-07 2019-03-29 复旦大学 一种基于竞争重构学习的半监督异常检测方法
WO2020100136A1 (en) * 2018-11-15 2020-05-22 Uveye Ltd. Method of anomaly detection and system thereof

Also Published As

Publication number Publication date
CN111709491A (zh) 2020-09-25
WO2021139236A1 (zh) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111709491B (zh) 基于自编码器的异常检测方法、装置、设备及存储介质
US20200401939A1 (en) Systems and methods for preparing data for use by machine learning algorithms
Bifet et al. New ensemble methods for evolving data streams
CN111783875A (zh) 基于聚类分析的异常用户检测方法、装置、设备及介质
WO2013067461A2 (en) Identifying associations in data
CN111612041A (zh) 异常用户识别方法及装置、存储介质、电子设备
Mulay et al. Knowledge augmentation via incremental clustering: new technology for effective knowledge management
EP4133415A1 (en) Training a convolutional neural network
Savarimuthu et al. An unsupervised neural network approach for imputation of missing values in univariate time series data
CN111626311B (zh) 一种异构图数据处理方法和装置
US20210326475A1 (en) Systems and method for evaluating identity disclosure risks in synthetic personal data
Sahillioğlu et al. Multiple shape correspondence by dynamic programming
CN116842330B (zh) 一种可对比历史记录的保健信息处理方法及装置
US20210174896A1 (en) Automated Feature Extraction Using Genetic Programming
US10956129B1 (en) Using genetic programming to create generic building blocks
Sobolewski et al. SCR: simulated concept recurrence–a non‐supervised tool for dealing with shifting concept
CN114817578B (zh) 科技论文引用关系表示学习方法、系统及存储介质
Zdunek et al. Distributed geometric nonnegative matrix factorization and hierarchical alternating least squares–based nonnegative tensor factorization with the MapReduce paradigm
Xuegang et al. Missing Data Reconstruction Based on Spectral k‐Support Norm Minimization for NB‐IoT Data
Zhou et al. Weighted Subspace Fuzzy Clustering with Adaptive Projection
CN113537447A (zh) 多层神经网络的生成方法、装置、应用方法及存储介质
CN112800069B (zh) 一种图数据分析方法、装置及计算机可读存储介质
Prach et al. 1-Lipschitz Layers Compared: Memory Speed and Certifiable Robustness
CN115222054B (zh) 量子噪声模型的训练方法、量子测量错误抑制方法及装置
Cormode et al. Fast Sketch-based Recovery of Correlation Outliers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40031388

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant