CN114595784A - 物联网多上下文场景的分布式异常检测方法 - Google Patents

物联网多上下文场景的分布式异常检测方法 Download PDF

Info

Publication number
CN114595784A
CN114595784A CN202210278822.0A CN202210278822A CN114595784A CN 114595784 A CN114595784 A CN 114595784A CN 202210278822 A CN202210278822 A CN 202210278822A CN 114595784 A CN114595784 A CN 114595784A
Authority
CN
China
Prior art keywords
context
anomaly
sensor
anomaly detection
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210278822.0A
Other languages
English (en)
Inventor
何施茗
乔琪
熊兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202210278822.0A priority Critical patent/CN114595784A/zh
Publication of CN114595784A publication Critical patent/CN114595784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开的物联网多上下文场景的分布式异常检测方法，包括：特征提取：为了应用iForest算法，首先需要提取异常特征；单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。基于单点的检测器将能够处理发送到中央存储库的每一条新数据，因为它将使用一种具有快速测试时间的算法。与此相反，基于多上下文的检测器将用于：帮助确定单点检测器检测到的异常是否为假阳性。本发明涉及的技术方案，其能够解决传感器故障或噪声导致的误报问题，提高异常检测结果的准确性，减少假阳性。

Description

物联网多上下文场景的分布式异常检测方法
技术领域
本申请涉及时序数据异常检测技术领域，更具体地说，尤其涉及物联网多上下文场景的分布式异常检测方法。
背景技术
随着物联网通过无线传感器网络的广泛传播，大量传感器数据以前所未有的速度生成，从而产生大量的显性或隐性信息。在分析此类传感器数据时，准确有效地检测个体异常行为以及异常事件(即行为模式)尤为重要。然而，大多数以前的工作只关注于检测异常，而通常忽略了它们之间的相关性。即使在考虑异常之间相关性的方法中，大多数都忽略了传感器数据的异常状态随时间变化的事实。
因此，如何提供一种物联网多上下文场景的分布式异常检测方法，既考虑动态异常状态，也考虑基于多上下文之间的相关性。不仅能准确有效地检测单个异常，而且能检测异常事件，已经成为本领域技术人员亟待解决的技术问题。
发明内容
为解决上述技术问题，本申请提供一种物联网多上下文场景的分布式异常检测方法，其能够解决现有技术中只能检测单个异常不能检测异常事件的问题，提高异常检测结果的准确性。
本申请提供的技术方案如下：
本申请提供一种物联网多上下文场景的分布式异常检测方法，包括以下步骤：S1、特征提取：为了应用iForest算法，首先需要提取异常特征；S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
进一步地，在本发明一种优选方式中，在所述步骤S1中，所述几种特征中：
移动平均模型(MA)关注的是自回归模型中的误差项的累加，移动平均法能有效地消除预测中的随机波动。MA是某变数之前n个数值的未作加权算术平均。例如，收市价的10日简单移动平均指之前10日收市价的平均数。若设收市价为P1至Pn，则方程式为：
Figure RE-GDA0003624442860000021
加权移动平均(英语：weightedmovingaverage，WMA)指计算平均值时将个别数据乘以不同数值，在技术分析中，n日WMA的最近期一个数值乘以 n、次近的乘以n-1，如此类推，一直到0：
Figure RE-GDA0003624442860000022
指数移动平均(英语：exponentialmovingaverage，EMA或EXMA)是以指数式递减加权的移动平均。各数值的加权影响力随时间而指数式递减，越近期的数据加权影响力越重，但较旧的数据也给予一定的加权值。
Figure RE-GDA0003624442860000023
进一步地，在本发明一种优选方式中，在所述步骤S2中，所述单点异常检测(孤立森林)的步骤包括：
S201、从训练数据中随机选取Ψ样本点作为子样本，放入树的根节点中。
S202、随机指定一个维度，在当前节点数据中随机生成一个切割点p——切割点在当前节点数据中指定维度的最大值和最小值之间生成。
S203、从这个切割点生成一个超平面,然后当前节点的数据空间分为两个子空间:指定的尺寸小于p中的数据作为当前节点的左孩子,大于或等于p的数据作为当前节点的右孩子。
S204、在子节点中重复步骤2和步骤3，并不断构造新的子节点，直到子节点中只有一个数据(不能再被切割)或子节点达到限制高度。
S205、对特征进行预测，预测所述特征的步骤为：将提取的特征沿所述树上的条件分支往下走，到达叶子节点后，记录经过的路径长度h(x)；
S206、根据所述路径长度h(x)，计算每条所述特征的单点异常分数。
进一步地，在本发明一种优选方式中，在所述步骤S3中，上下文异常检测器基于两个概念：定义传感器配置文件并将每个传感器分配给其中一个传感器配置文件，以及根据传感器配置文件的平均预期值评估当前传感器值(内容异常检测器宣布异常)。使用多变量聚类算法定义传感器轮廓；该算法是多元的，包括传感器多维上下文元数据，其中可能包括位置、建筑、所有权公司、一年中的时间、一天中的时间和天气现象。聚类算法将每个传感器放置在传感器配置文件中，然后将该配置文件组分配给传感器。当内容异常检测器宣布传感器异常时，上下文异常检测器将确定传感器组的平均预期值。
进一步地，在本发明一种优选方式中，在所述步骤S3中，所述上下文异常：在一般环境下属于离群值的传感器值，在特定上下文属性(如季节、时间、天气、气温等)中其实是正常值，上下文异常指的是在考虑这些上下文属性的情况下依然属于异常值。
进一步地，在本发明一种优选方式中，在所述步骤S3中，对于除了空间属性之外的其他上下文属性相似的传感器值进行比较，判断是否是真正的离群值。如果直接采取下一步的话，不考虑这些上下文，可能某一片相邻空间的传感器都被检测为离群值，但是实际上在这种上下文里他们是正常值。
本发明提供的一种物联网多上下文场景的分布式异常检测方法，与现有技术相比，包括以下步骤：S1、特征提取：为了应用iForest算法，首先需要提取异常特征；S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
本发明通过结合点异常检测和多上下文异常检测的方式，在进行点异常检测后再进行多上下文异常检测，是一种通过无线传感器网络在物联网中进行无监督上下文异常检测的方法。在多上下文异常检测的情况下既考虑了动态异常状态，也考虑了多上下文之间的相关性。通过将当前传感器节点的时间空间季节等等多个上下文属性相结合，便于区分检测结果中的上下文异常事件和普通的点异常，其能够提高异常检测结果的准确性，减少误报。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的物联网多上下文场景的分布式异常检测方法的步骤流程图；
图2为本发明实施例提供的物联网多上下文场景的分布式异常检测方法的原理框图。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件上，它可以直接在另一个元件上或者间接设置在另一个元件上；当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至另一个元件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“第一”、“第二”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。
须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
本发明提供的一种物联网多上下文场景的分布式异常检测方法，与现有技术相比，包括以下步骤：S1、特征提取：为了应用iForest算法，首先需要提取异常特征；S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
本发明通过结合点异常检测和多上下文异常检测的方式，在进行点异常检测后再进行多上下文异常检测，是一种通过无线传感器网络在物联网中进行无监督上下文异常检测的方法。在多上下文异常检测的情况下既考虑了动态异常状态，也考虑了多上下文之间的相关性。通过将当前传感器节点的时间空间季节等等多个上下文属性相结合，便于区分检测结果中的上下文异常事件和普通的点异常，其能够提高异常检测结果的准确性，减少误报。
结合实施例具体阐述，请如图1至图2所示，本申请实施例提供的物联网多上下文场景的分布式异常检测方法，包括以下步骤：
S1、特征提取：为了应用iForest算法，首先需要提取异常特征；
具体地，在本发明实施例中，我们采用了几种经典的时间序列预测模型作为特征提取工具，即差分(Difference)、移动平均(MA)、加权MA(WMA)、指数加权MA(EWMA)、自回归积分MA(ARIMA)和Holt-Winters。
更为具体地阐述，在本发明实施例中，所述几种特征中：
移动平均模型(MA)关注的是自回归模型中的误差项的累加，移动平均法能有效地消除预测中的随机波动。MA是某变数之前n个数值的未作加权算术平均。例如，收市价的10日简单移动平均指之前10日收市价的平均数。若设收市价为P1至Pn，则方程式为：
Figure RE-GDA0003624442860000061
加权移动平均(英语：weightedmovingaverage，WMA)指计算平均值时将个别数据乘以不同数值，在技术分析中，n日WMA的最近期一个数值乘以 n、次近的乘以n-1，如此类推，一直到0：
Figure RE-GDA0003624442860000062
指数移动平均(英语：exponentialmovingaverage，EMA或EXMA)是以指数式递减加权的移动平均。各数值的加权影响力随时间而指数式递减，越近期的数据加权影响力越重，但较旧的数据也给予一定的加权值。
Figure RE-GDA0003624442860000063
S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；
具体地，在本发明实施例中，所述单点异常检测(孤立森林)的步骤包括：
从训练数据中随机选取Ψ样本点作为子样本，放入树的根节点中。
随机指定一个维度，在当前节点数据中随机生成一个切割点p——切割点在当前节点数据中指定维度的最大值和最小值之间生成。
从这个切割点生成一个超平面,然后当前节点的数据空间分为两个子空间: 指定的尺寸小于p中的数据作为当前节点的左孩子,大于或等于p的数据作为当前节点的右孩子。
在子节点中重复步骤2和步骤3，并不断构造新的子节点，直到子节点中只有一个数据(不能再被切割)或子节点达到限制高度。
对特征进行预测，预测所述特征的步骤为：将提取的特征沿所述树上的条件分支往下走，到达叶子节点后，记录经过的路径长度h(x)；
根据所述路径长度h(x)，计算每条所述特征的单点异常分数。
S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
具体地，在本发明实施例中，上下文异常检测器基于两个概念：定义传感器配置文件并将每个传感器分配给其中一个传感器配置文件，以及根据传感器配置文件的平均预期值评估当前传感器值(内容异常检测器宣布异常)。使用多变量聚类算法定义传感器轮廓；该算法是多元的，包括传感器多维上下文元数据，其中可能包括位置、建筑、所有权公司、一年中的时间、一天中的时间和天气现象。聚类算法将每个传感器放置在传感器配置文件中，然后将该配置文件组分配给传感器。当内容异常检测器宣布传感器异常时，上下文异常检测器将确定传感器组的平均预期值。S4、数据交换：根据每对传感器间的可达概率判断是否属于邻居，每个所述传感器节点与邻居节点交换状态信息；
更为具体地阐述，在本发明实施例中，所述上下文异常：在一般环境下属于离群值的传感器值，在特定上下文属性(如季节、时间、天气、气温等) 中其实是正常值，上下文异常指的是在考虑这些上下文属性的情况下依然属于异常值。
需要说明的是，在本发明实施例中，对于除了空间属性之外的其他上下文属性相似的传感器值进行比较，判断是否是真正的离群值。如果直接采取下一步的话，不考虑这些上下文，可能某一片相邻空间的传感器都被检测为离群值，但是实际上在这种上下文里他们是正常值。
由上所述，本发明实施例涉及的物联网多上下文场景的分布式异常检测方法，在其方法中，具体包括以下步骤：S1、特征提取：为了应用iForest算法，首先需要提取异常特征；S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
本发明通过结合点异常检测和多上下文异常检测的方式，在进行点异常检测后再进行多上下文异常检测，是一种通过无线传感器网络在物联网中进行无监督上下文异常检测的方法。在多上下文异常检测的情况下既考虑了动态异常状态，也考虑了多上下文之间的相关性。通过将当前传感器节点的时间空间季节等等多个上下文属性相结合，便于区分检测结果中的上下文异常事件和普通的点异常，其能够提高异常检测结果的准确性，减少误报。
随着物联网通过无线传感器网络的广泛传播，大量传感器数据以前所未有的速度生成，从而产生大量的显性或隐性信息。在分析此类传感器数据时，准确有效地检测个体异常行为以及异常事件(即行为模式)尤为重要。然而，大多数以前的工作只关注于检测异常，而通常忽略了它们之间的相关性。即使在考虑异常之间相关性的方法中，大多数都忽略了传感器数据的异常状态随时间变化的事实。
因此，如何提供一种物联网多上下文场景的分布式异常检测方法，既考虑动态异常状态，也考虑基于多上下文之间的相关性。不仅能准确有效地检测单个异常，而且能检测异常事件，已经成为本领域技术人员亟待解决的技术问题。
为解决上述技术问题，本申请提供一种物联网多上下文场景的分布式异常检测方法，其能够解决现有技术中只能检测单个异常不能检测异常事件的问题，提高异常检测结果的准确性。
本申请提供一种物联网多上下文场景的分布式异常检测方法，包括以下步骤：S1、特征提取：为了应用iForest算法，首先需要提取异常特征；S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
单点异常检测(孤立森林)的步骤包括：
从训练数据中随机选取Ψ样本点作为子样本，放入树的根节点中。
随机指定一个维度，在当前节点数据中随机生成一个切割点p——切割点在当前节点数据中指定维度的最大值和最小值之间生成。
从这个切割点生成一个超平面,然后当前节点的数据空间分为两个子空间: 指定的尺寸小于p中的数据作为当前节点的左孩子,大于或等于p的数据作为当前节点的右孩子。
在子节点中重复步骤2和步骤3，并不断构造新的子节点，直到子节点中只有一个数据(不能再被切割)或子节点达到限制高度。
对特征进行预测，预测所述特征的步骤为：将提取的特征沿所述树上的条件分支往下走，到达叶子节点后，记录经过的路径长度h(x)；
根据所述路径长度h(x)，计算每条所述特征的单点异常分数。
上下文异常检测器基于两个概念：定义传感器配置文件并将每个传感器分配给其中一个传感器配置文件，以及根据传感器配置文件的平均预期值评估当前传感器值(内容异常检测器宣布异常)。使用多变量聚类算法定义传感器轮廓；该算法是多元的，包括传感器多维上下文元数据，其中可能包括位置、建筑、所有权公司、一年中的时间、一天中的时间和天气现象。聚类算法将每个传感器放置在传感器配置文件中，然后将该配置文件组分配给传感器。当内容异常检测器宣布传感器异常时，上下文异常检测器将确定传感器组的平均预期值。
在所述步骤S3中，所述上下文异常：在一般环境下属于离群值的传感器值，在特定上下文属性(如季节、时间、天气、气温等)中其实是正常值，上下文异常指的是在考虑这些上下文属性的情况下依然属于异常值。
在所述步骤S3中，对于除了空间属性之外的其他上下文属性相似的传感器值进行比较，判断是否是真正的离群值。如果直接采取下一步的话，不考虑这些上下文，可能某一片相邻空间的传感器都被检测为离群值，但是实际上在这种上下文里他们是正常值。
本发明提供的一种物联网多上下文场景的分布式异常检测方法，与现有技术相比，包括以下步骤：S1、特征提取：为了应用iForest算法，首先需要提取异常特征；S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
本发明通过结合点异常检测和多上下文异常检测的方式，在进行点异常检测后再进行多上下文异常检测，是一种通过无线传感器网络在物联网中进行无监督上下文异常检测的方法。在多上下文异常检测的情况下既考虑了动态异常状态，也考虑了多上下文之间的相关性。通过将当前传感器节点的时间空间季节等等多个上下文属性相结合，便于区分检测结果中的上下文异常事件和普通的点异常，其能够提高异常检测结果的准确性，减少误报。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.物联网多上下文场景的分布式异常检测方法，其特征在于，包括以下步骤：
S1、特征提取：为了应用iForest算法，首先需要提取异常特征；
S2、单点异常检测：通过孤立森林进行初步异常检测，得到单点异常检测的异常分数；
S3、多上下文异常检测：进行单点异常检测后，进行多上下文异常检测，得到多上下文异常分数。
2.根据权利要求1所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S1中，所述特征提取的具体步骤为：
S101、我们采用了几种经典的时间序列预测模型作为特征提取工具，即差分(Difference)、移动平均(MA)、加权MA(WMA)、指数加权MA(EWMA)、自回归积分MA(ARIMA)和Holt-Winters。
3.根据权利要求2所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S101中，所述几种特征中：
移动平均模型(MA)关注的是自回归模型中的误差项的累加，移动平均法能有效地消除预测中的随机波动。MA是某变数之前n个数值的未作加权算术平均。例如，收市价的10日简单移动平均指之前10日收市价的平均数。若设收市价为P1至Pn，则方程式为：
Figure FDA0003552812830000011
加权移动平均(英语：weighted moving average，WMA)指计算平均值时将个别数据乘以不同数值，在技术分析中，n日WMA的最近期一个数值乘以n、次近的乘以n-1，如此类推，一直到0：
Figure FDA0003552812830000012
指数移动平均(英语：exponential moving average，EMA或EXMA)是以指数式递减加权的移动平均。各数值的加权影响力随时间而指数式递减，越近期的数据加权影响力越重，但较旧的数据也给予一定的加权值。
Figure FDA0003552812830000021
4.根据权利要求3所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S2中，所述单点异常检测(孤立森林)的步骤包括：
S201、从训练数据中随机选取Ψ样本点作为子样本，放入树的根节点中。
S202、随机指定一个维度，在当前节点数据中随机生成一个切割点p——切割点在当前节点数据中指定维度的最大值和最小值之间生成。
S203、从这个切割点生成一个超平面,然后当前节点的数据空间分为两个子空间:指定的尺寸小于p中的数据作为当前节点的左孩子,大于或等于p的数据作为当前节点的右孩子。
S204、在子节点中重复步骤2和步骤3，并不断构造新的子节点，直到子节点中只有一个数据(不能再被切割)或子节点达到限制高度。
S205、对特征进行预测，预测所述特征的步骤为：将提取的特征沿所述树上的条件分支往下走，到达叶子节点后，记录经过的路径长度h(x)；
S206、根据所述路径长度h(x)，计算每条所述特征的单点异常分数。
5.根据权利要求4所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S2中，所述单点异常检测异常分数的计算公式为：
Figure FDA0003552812830000022
其中，
Figure FDA0003552812830000023
c(z-p)为树的平均路径长度，z-p是样本数，E(h(x))为样本x在一批孤立树中的路径长度的期望。
6.根据权利要求5所述的物联网多上下文场景的分布式异常检测方法，其特征在于，所述树的平均路径长度的计算公式为:
Figure FDA0003552812830000024
7.根据权利要求1所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S3中，所述本地异常分数判断公式如下：
Figure FDA0003552812830000031
其中，
Figure FDA0003552812830000032
是传感器i的本地异常分数，若所述本地异常分数为1，则检测结果异常，即认为当前传感器为异常状态，若所述本地异常分数为0，则检测结果正常，即认为当前传感器为正常状态。
8.根据权利要求6所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S3中，上下文异常检测器基于两个概念：定义传感器配置文件并将每个传感器分配给其中一个传感器配置文件，以及根据传感器配置文件的平均预期值评估当前传感器值(内容异常检测器宣布异常)。使用多变量聚类算法定义传感器轮廓；该算法是多元的，包括传感器多维上下文元数据，其中可能包括位置、建筑、所有权公司、一年中的时间、一天中的时间和天气现象。聚类算法将每个传感器放置在传感器配置文件中，然后将该配置文件组分配给传感器。当内容异常检测器宣布传感器异常时，上下文异常检测器将确定传感器组的平均预期值。
9.根据权利要求7中任一项所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S3中，所述上下文异常：在一般环境下属于离群值的传感器值，在特定上下文属性(如季节、时间、天气、气温等)中其实是正常值，上下文异常指的是在考虑这些上下文属性的情况下依然属于异常值。
10.根据权利要求9所述的物联网多上下文场景的分布式异常检测方法，其特征在于，在所述步骤S3中，对于除了空间属性之外的其他上下文属性相似的传感器值进行比较，判断是否是真正的离群值。如果直接采取下一步的话，不考虑这些上下文，可能某一片相邻空间的传感器都被检测为离群值，但是实际上在这种上下文里他们是正常值。
CN202210278822.0A 2022-03-18 2022-03-18 物联网多上下文场景的分布式异常检测方法 Pending CN114595784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210278822.0A CN114595784A (zh) 2022-03-18 2022-03-18 物联网多上下文场景的分布式异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210278822.0A CN114595784A (zh) 2022-03-18 2022-03-18 物联网多上下文场景的分布式异常检测方法

Publications (1)

Publication Number Publication Date
CN114595784A true CN114595784A (zh) 2022-06-07

Family

ID=81819178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210278822.0A Pending CN114595784A (zh) 2022-03-18 2022-03-18 物联网多上下文场景的分布式异常检测方法

Country Status (1)

Country Link
CN (1) CN114595784A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964216A (zh) * 2023-01-30 2023-04-14 北京慧图科技(集团)股份有限公司 一种基于孤立森林的物联网设备数据异常检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115964216A (zh) * 2023-01-30 2023-04-14 北京慧图科技(集团)股份有限公司 一种基于孤立森林的物联网设备数据异常检测方法

Similar Documents

Publication Publication Date Title
US10257211B2 (en) Method, apparatus, and computer-readable medium for detecting anomalous user behavior
CN109241427B (zh) 信息推送方法、装置、计算机设备和存储介质
Fawzy et al. Outliers detection and classification in wireless sensor networks
CN107493277B (zh) 基于最大信息系数的大数据平台在线异常检测方法
CN112434208A (zh) 一种孤立森林的训练及其网络爬虫的识别方法与相关装置
CN107276999B (zh) 一种无线传感器网络中的事件检测方法
CN113032238A (zh) 基于应用知识图谱的实时根因分析方法
US20220334904A1 (en) Automated Incident Detection and Root Cause Analysis
CN115237717A (zh) 一种微服务异常检测方法和系统
CN111931834A (zh) 基于孤立森林算法的铝型材挤压过程流数据异常检测方法、设备及存储介质
CN114595784A (zh) 物联网多上下文场景的分布式异常检测方法
CN115514627A (zh) 一种故障根因定位方法、装置、电子设备及可读存储介质
CN112685272B (zh) 一种具备可解释性的用户行为异常检测方法
JP5532782B2 (ja) トレーサビリティシステムおよび製造工程異常検出方法
Fairbanks et al. A statistical framework for streaming graph analysis
CN112039907A (zh) 一种基于物联网终端评测平台的自动测试方法及系统
CN116132311A (zh) 一种基于时间序列的网络安全态势感知方法
CN111049839A (zh) 一种异常检测方法、装置、存储介质及电子设备
Baig et al. One-dependence estimators for accurate detection of anomalous network traffic
Sharma et al. Comparative analysis of different algorithms in link prediction on social networks
CN117675230A (zh) 基于知识图谱的油井数据完整性识别方法
CN114818907A (zh) 输电线路的状态监测方法、装置、设备及存储介质
Vrochidou et al. Assessment and localization of structural damage in r/c structures through intelligent seismic signal processing
Haque et al. Contextual outlier detection in sensor data using minimum spanning tree based clustering
El Sibai et al. Efficient anomaly detection on sampled data streams with contaminated phase I data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination