CN113807396B - 一种物联网高维数据异常检测方法、系统、装置及介质 - Google Patents

一种物联网高维数据异常检测方法、系统、装置及介质 Download PDF

Info

Publication number
CN113807396B
CN113807396B CN202110922476.0A CN202110922476A CN113807396B CN 113807396 B CN113807396 B CN 113807396B CN 202110922476 A CN202110922476 A CN 202110922476A CN 113807396 B CN113807396 B CN 113807396B
Authority
CN
China
Prior art keywords
data
encoder
depth self
internet
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110922476.0A
Other languages
English (en)
Other versions
CN113807396A (zh
Inventor
康云鹏
张皓同
齐德昱
黄文豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110922476.0A priority Critical patent/CN113807396B/zh
Publication of CN113807396A publication Critical patent/CN113807396A/zh
Application granted granted Critical
Publication of CN113807396B publication Critical patent/CN113807396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种物联网高维数据异常检测方法、系统、装置及介质，其中方法包括：获取历史数据；对历史数据进行预处理，将预处理后的历史数据分为训练集、验证集、测试集；对训练集进行采样，使用采样结果对多个深度自编码器进行训练；修改训练集的采样概率，并返回训练深度自编码器，获得集成深度自编码器；将验证集输入集成深度自编码器进行计算，获得检测阈值；将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。本发明在集成深度自编码器构建过程中，根据迭代中对训练集不同数据的重建误差调整其采样概率，提高拟合和泛化能力，可广泛应用于物联网异常检测技术。

Description

一种物联网高维数据异常检测方法、系统、装置及介质
技术领域
本发明涉及物联网异常检测技术，尤其涉及一种物联网高维数据异常检测方法、系统、装置及介质。
背景技术
物联网数据中的异常是数据集中明显与众不同的数据，这些数据是由不同的机制产生的，而非随机偏差。物联网系统中包含大量的监控设备和数据传输设备，当某些设备发生异常时会给整个物联网系统造成干扰。检测物联网数据集中的异常数据，对于物联网系统的故障定位、故障预测、故障解除具有重要意义。
深度自编码器是一种无监督的包含输入层、隐藏层、输出层的三层神经网络模型。深度自编码器将输入数据压缩为隐藏层的特征标识，并在输出层重建输入数据，使输出数据与输入数据尽可能一致。正常数据和异常数据在降维后的表示具有明显的差异，所以自编码器无法有效地重建异常数据，将导致更大的重建误差，以重建误差作为异常程度的评价指标。重建误差大于一定阈值的数据被认为是异常。深度自编码器被广泛用于异常检测，但因其存在过拟合的问题，限制了自编码器模型的泛化能力，降低了发现物联网异常数据的能力。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种物联网高维数据异常检测方法、系统、装置及介质。
本发明所采用的技术方案是：
一种物联网高维数据异常检测方法，包括以下步骤：
获取物联网设备高维时间序列的历史数据；
对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；
对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；
修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；
将验证集输入集成深度自编码器进行计算，获得检测阈值；
将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。
进一步，所述物联网设备高维时间序列的历史数据包括时间信息、设备类型、设备参数、设备位置的多维度、多场景识别所用的特征数据。
进一步，所述对所述历史数据进行预处理，包括：
对所述历史数据进行缺失值补充处理、连续型数据离散化处理以及特征数据归一化处理；其中，采用以下公式对历史数据进行特征数据归一化处理：
式中，xnorm表示归一化后的样本数据，x表示样本数据，xmin表示所有样本数据的最小值，xmax表示所有样本数据的最大值。
进一步，所述修改所述训练集的采样概率，包括：
根据每个所述深度自编码器的重建误差对所述训练集的采样概率进行修改；
其中，所述采样概率采用以下公式计算获得：
式中，为第i+1次采样时使用的采样概率，/>为第i个深度自编码器对于样本x的重建误差，/>为第i个深度自编码器对训练集中所有样本的重建误差之和。进一步，所述将验证集输入集成深度自编码器进行计算，获得检测阈值，包括：
将验证集输入集成深度自编码器进行计算，基于计算结果获取使所述验证集中异常检测性能指标F1值最大的检测阈值；
其中，异常检测性能指标F1值为精确率和召回率的调和均值，所述精确率是指所有被检测为异常的样本中实际标签为异常的比例，所述召回率是指被正确检测为异常的数据样本占所有异常数据样本的比例。
进一步，所述将测试集的数据输入集成深度自编码器中计算异常得分，包括：
根据每个所述深度自编码器的重建误差计算所述深度自编码器在异常得分中所占的权重；
获取所述测试集的数据在各个所述深度自编码器上的重建误差，按照所述深度自编码器所占权重对所述重建误差进行线性相加，得到所述数据的异常得分。
进一步，所述权重通过以下公式计算获得：
其中，m是迭代次数，X是训练数据集。
本发明所采用的另一技术方案是：
一种物联网高维数据异常检测系统，包括：
数据获取模块，用于获取物联网设备高维时间序列的历史数据；
数据处理模块，用于对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；
采样训练模块，用于对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；
概率修改模块，用于修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；
阈值计算模块，用于将验证集输入集成深度自编码器进行计算，获得检测阈值；
数据分类模块，用于将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。
本发明所采用的另一技术方案是：
一种物联网高维数据异常检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明通过集成多个深度自编码器的方式，避免了单个深度自编码器过拟合导致的泛化能力差的问题；另外，在集成深度自编码器构建过程中，根据迭代中对训练集不同数据的重建误差调整其采样概率，使模型对物联网高维数据有很好的拟合和泛化能力。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种物联网高维数据异常检测方法的步骤流程图；
图2是本发明实施例中不同数据的重构误差分布示意图；
图3是本发明实施例中一种物联网高维数据异常检测方法的流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图1和图3所示，本实施例提供一种物联网高维数据异常检测方法，包括以下步骤：
S1、获取物联网设备高维时间序列的历史数据。
在本实施例中，该历史数据包含包含时间信息、设备类型、设备参数、设备位置的多维度、多场景识别所用的特征数据等。
S2、对历史数据进行预处理，将预处理后的历史数据分为训练集、验证集、测试集。
步骤S2具体为：对所述历史数据进行缺失值补充处理、连续型数据离散化处理以及特征数据归一化处理。
其中，使用最小-最大归一化方法进行归一化预处理，公式如下：
该归一化预处理步骤是为了使不同的特征处于同样的量级范围内，以免出现某些特征所占比重过大得情况使得出现过拟合的情况，为异常识别建立基础。
对数据进行处理后，将数据集分为训练集、验证集、测试集，随机抽取正常数据的80％组成训练集训练模型，随机抽取剩余10％的正常数据和50％的异常数据组成验证集，由其余正常数据和异常数据组成测试集。
S3、对训练集进行采样，使用采样结果对多个深度自编码器进行训练。
S4、修改训练集的采样概率，并返回对训练集进行采样，以及训练多个深度自编码器，直至达到迭代次数，获得集成深度自编码器。
迭代训练多个深度自编码器，在本实施例中，一次训练的样本数目设置为16，迭代次数设置为50次，每次迭代开始，重新对训练集按照数据的采样概率采样，迭代结束修改数据的采样概率，公式如下：
其中，为第i个深度自编码器对于样本x的重建误差。步骤S4通过修改训练集的采样概率，提升重建误差较大的数据在下一次迭代中被采样的可能性，以提升各个深度自编码器对数据集的拟合能力。该集成深度自编码器指的是集成各个深度自编码器。
S5、将验证集输入集成深度自编码器进行计算，获得检测阈值。
异常检测模块使用超参数搜索方法找到使验证集中异常检测性能指标F1值最大的检测阈值τ，其中F1值是精确率和召回率的调和均值，其中精确率是指所有被检测为异常的样本中实际标签为异常的比例，其中召回率是指被正确检测为异常的数据样本占所有异常数据样本的比例。
S6、将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。
其中，通过步骤S61-S62计算异常得分：
S61、根据每个所述深度自编码器的重建误差计算所述深度自编码器在异常得分中所占的权重。
集成各个深度自编码器，计算各个深度自编码在异常得分中所占权重，公式如下：
S62、获取所述测试集的数据在各个所述深度自编码器上的重建误差，按照所述深度自编码器所占权重对所述重建误差进行线性相加，得到所述数据的异常得分。
将测试数据集输入到集成深度自编码器中，根据各个深度自编码器的重建误差和权重计算数据的异常得分，异常得分由各个深度自编码器线性相加得到，公式如下：
异常得分低于阈值的数据将被分类为正常，异常得分高于阈值的数据则被分类为异常，如图2所示，通过本实施例提出的集成深度自编码器对物联网数据进行检测，异常数据与正常数据的分布有明显不同。
综上所述，本实施例的方法相对于现有技术，具有如下有益效果：
(1)本实施例提供一种基于集成深度自编码器的物联网高维数据异常检测方法，该方法相较于基于距离、基于密度、基于聚类、基于预测的算法，可以有效地避免随着物联网数据维度升高，算法检测能力下降的问题。
(2)本实施例方法通过集成多个深度自编码器的方式，避免了单个深度自编码器过拟合导致的泛化能力差的问题。
(3)本实施例方法在集成深度自编码器构建过程中，根据迭代中对训练集不同数据的重建误差调整其采样概率，使模型对物联网高维数据有很好的拟合和泛化能力。
本实施例还提供一种物联网高维数据异常检测系统，包括：
数据获取模块，用于获取物联网设备高维时间序列的历史数据；
数据处理模块，用于对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；
采样训练模块，用于对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；
概率修改模块，用于修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；
阈值计算模块，用于将验证集输入集成深度自编码器进行计算，获得检测阈值；
数据分类模块，用于将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。
本实施例的一种物联网高维数据异常检测系统，可执行本发明方法实施例所提供的一种物联网高维数据异常检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种物联网高维数据异常检测装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
本实施例的一种物联网高维数据异常检测装置，可执行本发明方法实施例所提供的一种物联网高维数据异常检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种物联网高维数据异常检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种物联网高维数据异常检测方法，其特征在于，包括以下步骤：
获取物联网设备高维时间序列的历史数据；
对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；
对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；
修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；
将验证集输入集成深度自编码器进行计算，获得检测阈值；
将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。
2.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述物联网设备高维时间序列的历史数据包括时间信息、设备类型、设备参数、设备位置的多维度、多场景识别所用的特征数据。
3.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述对所述历史数据进行预处理，包括：
对所述历史数据进行缺失值补充处理、连续型数据离散化处理以及特征数据归一化处理；其中，采用以下公式对历史数据进行特征数据归一化处理：
式中，xnorm表示归一化后的样本数据，x表示样本数据，xmin表示所有样本数据的最小值，xmax表示所有样本数据的最大值。
4.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述修改所述训练集的采样概率，包括：
根据每个所述深度自编码器的重建误差对所述训练集的采样概率进行修改；
其中，所述采样概率采用以下公式计算获得：
式中，为第i+1次采样时使用的采样概率，/>为第i个深度自编码器对于样本x的重建误差，/>为第i个深度自编码器对训练集中所有样本的重建误差之和。
5.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述将验证集输入集成深度自编码器进行计算，获得检测阈值，包括：
将验证集输入集成深度自编码器进行计算，基于计算结果获取使所述验证集中异常检测性能指标F1值最大的检测阈值；
其中，异常检测性能指标F1值为精确率和召回率的调和均值，所述精确率是指所有被检测为异常的样本中实际标签为异常的比例，所述召回率是指被正确检测为异常的数据样本占所有异常数据样本的比例。
6.根据权利要求1所述的一种物联网高维数据异常检测方法，其特征在于，所述将测试集的数据输入集成深度自编码器中计算异常得分，包括：
根据每个所述深度自编码器的重建误差计算所述深度自编码器在异常得分中所占的权重；获取所述测试集的数据在各个所述深度自编码器上的重建误差，按照所述深度自编码器所占权重对所述重建误差进行线性相加，得到所述数据的异常得分。
7.根据权利要求6所述的一种物联网高维数据异常检测方法，其特征在于，所述权重通过以下公式计算获得：
其中，m是迭代次数，X是训练数据集。
8.一种物联网高维数据异常检测系统，其特征在于，包括：
数据获取模块，用于获取物联网设备高维时间序列的历史数据；
数据处理模块，用于对所述历史数据进行预处理，将预处理后的所述历史数据分为训练集、验证集、测试集；
采样训练模块，用于对所述训练集进行采样，使用采样结果对多个深度自编码器进行训练；
概率修改模块，用于修改所述训练集的采样概率，并返回对所述训练集进行采样，以及训练多个所述深度自编码器，直至达到迭代次数，获得集成深度自编码器；
阈值计算模块，用于将验证集输入集成深度自编码器进行计算，获得检测阈值；
数据分类模块，用于将测试集的数据输入集成深度自编码器中计算异常得分，若异常得分低于检测阈值，将数据分类为正常；反之，将数据分类为异常。
9.一种物联网高维数据异常检测装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-7任一项所述方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-7任一项所述方法。
CN202110922476.0A 2021-08-12 2021-08-12 一种物联网高维数据异常检测方法、系统、装置及介质 Active CN113807396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110922476.0A CN113807396B (zh) 2021-08-12 2021-08-12 一种物联网高维数据异常检测方法、系统、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110922476.0A CN113807396B (zh) 2021-08-12 2021-08-12 一种物联网高维数据异常检测方法、系统、装置及介质

Publications (2)

Publication Number Publication Date
CN113807396A CN113807396A (zh) 2021-12-17
CN113807396B true CN113807396B (zh) 2023-07-18

Family

ID=78942783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110922476.0A Active CN113807396B (zh) 2021-08-12 2021-08-12 一种物联网高维数据异常检测方法、系统、装置及介质

Country Status (1)

Country Link
CN (1) CN113807396B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112202625B (zh) * 2019-07-08 2023-08-15 中国移动通信集团浙江有限公司 网元异常诊断方法、装置、计算设备及计算机存储介质
CN114357069B (zh) * 2021-12-23 2024-05-28 微梦创科网络科技（中国）有限公司 一种基于分布式存储的大数据采样方法及系统
CN114783524B (zh) * 2022-06-17 2022-09-30 之江实验室 基于自适应重采样深度编码器网络的通路异常检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209932A1 (zh) * 2017-05-17 2018-11-22 清华大学 多量化深度二值特征学习方法及装置
CN109145595A (zh) * 2018-07-31 2019-01-04 顺丰科技有限公司 一种用户异常行为检测系统、方法、设备及存储介质
CN112148955A (zh) * 2020-10-22 2020-12-29 南京航空航天大学 一种物联网时序数据异常检测方法及系统
CN112509696A (zh) * 2020-11-04 2021-03-16 江南大学 基于卷积自编码器高斯混合模型的健康数据检测方法
CN113134956A (zh) * 2021-04-23 2021-07-20 广东工业大学 一种基于改进mlle的注塑机异常检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018209932A1 (zh) * 2017-05-17 2018-11-22 清华大学 多量化深度二值特征学习方法及装置
CN109145595A (zh) * 2018-07-31 2019-01-04 顺丰科技有限公司 一种用户异常行为检测系统、方法、设备及存储介质
CN112148955A (zh) * 2020-10-22 2020-12-29 南京航空航天大学 一种物联网时序数据异常检测方法及系统
CN112509696A (zh) * 2020-11-04 2021-03-16 江南大学 基于卷积自编码器高斯混合模型的健康数据检测方法
CN113134956A (zh) * 2021-04-23 2021-07-20 广东工业大学 一种基于改进mlle的注塑机异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李昊奇 ; 应娜 ; 郭春生 ; 王金华 ; .基于深度信念网络和线性单分类SVM的高维异常检测.电信科学.2018,(01),第40-48页. *

Also Published As

Publication number Publication date
CN113807396A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN113807396B (zh) 一种物联网高维数据异常检测方法、系统、装置及介质
CN109978379B (zh) 时序数据异常检测方法、装置、计算机设备和存储介质
CN107798235B (zh) 基于one-hot编码机制的无监督异常访问检测方法及装置
CN113344295B (zh) 基于工业大数据的设备剩余寿命预测方法、系统及介质
CN112148955A (zh) 一种物联网时序数据异常检测方法及系统
CN112766342A (zh) 一种电气设备的异常检测方法
Xu et al. A novel fault diagnosis method of bearing based on improved fuzzy ARTMAP and modified distance discriminant technique
CN114037478A (zh) 广告异常流量检测方法、系统、电子设备及可读存储介质
CN111291860A (zh) 一种基于卷积神经网络特征压缩的异常检测方法
CN114298443A (zh) 基于健康状态指数的工业设备预测性维护方法、装置和电子设备
Zhang et al. A novel data-driven method based on sample reliability assessment and improved CNN for machinery fault diagnosis with non-ideal data
WO2007067521A1 (en) Use of sequential clustering for instance selection in machine condition monitoring
CN113392894A (zh) 一种多组学数据的聚类分析方法和系统
Wen et al. Degradation assessment for the ball screw with variational autoencoder and kernel density estimation
Zhao et al. A novel deep fuzzy clustering neural network model and its application in rolling bearing fault recognition
CN116298922A (zh) 电池故障检测方法、装置、电子设备及存储介质
CN117421616B (zh) 一种矿山竖井井筒检测系统及方法
CN108562853A (zh) 基于纠错输出编码支持向量机的电机故障诊断方法和系统
Wang et al. Distilling the knowledge of multiscale densely connected deep networks in mechanical intelligent diagnosis
Zhang et al. Intelligent fault diagnosis using image representation of multi-domain features
CN117092581A (zh) 基于段一致性判别自编码器电能表异常检测方法及装置
CN117370548A (zh) 用户行为风险识别方法、装置、电子设备及介质
Wisal et al. A new deep learning framework for imbalance detection of a rotating shaft
CN116595465A (zh) 基于自编码器和数据增强的高维稀疏数据离群点检测方法及系统
CN113852629B (zh) 基于自然邻的自适应加权核密度的网络连接异常识别方法及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant