CN108038044A - 一种面向连续被监测对象的异常检测方法 - Google Patents

Abstract

本发明提供的一种面向连续被监测对象的异常检测方法，能实时检测连续被监测对象的异常状态。包括以下步骤：1收集表示被监测对象异常状态的参数生成基于滑动窗口的连续监测数据流；2对检测算法进行初始化生成一个基于滑动窗口的数据集和一个被监测对象的异常值序列；3查找当前时刻到达的数据对象的k邻域集合并计算其局部离群系数；4更新当前到达的数据对象的k邻域对象的局部离群系数；5计算历史数据的局部离群系数对被监测对象当前时刻异常状态判断的参考价值；6计算被监测对象当前时刻的离群系数；7判定当前时刻被监测对象的可能异常状态；8更新监测数据流滑动窗口的数据集和被监测对象的异常值序列；9确定被监测对象的异常状态。

Description

一种面向连续被监测对象的异常检测方法

技术领域

本发明涉及一种面向连续被监测对象的异常检测方法，属于计算机科学技术领域。

背景技术

随着科学技术的不断发展，各种生产和管理的自动化、智能化逐渐提高。对于自动化生产和管理系统，任何的异常都可能导致不可估量的经济损失。因此，怎么样维护自动化生产和管理系统的稳定性是一个至关重要的任务，因而对它们进行实时连续的异常监测成为了一种必然的要求。比如闭环控制系统的故障检测、大规模服务器机群故障检测、软件系统的老化检测、城市的气候监测、重症病人的实时监测、大规模科学观察、网络日志分析和安全监控系统等。

在实际运用中，连续被监测对象的异常检测要求检测系统能够实时的自适应的判断被检测对象的状态变化，能够准确的确定各种已知的或者新型的异常状态并及时做出预警，能够准确分辨异常状态和临近异常状态。比如，当对一个服务器系统进行监测管理时，需要对该系统的状态变化进行实时的监测，对于系统出现的状态波动、性能异常、宕机等状态能够及时做出预警。传统的数据流异常检测方法主要是从连续的流式数据中检测出异常的数据点，它们一般应用于从连续的被监测对象序列中检测出异常对象而并不适用于连续被监测对象的各个时刻异常状态变化的检测。另外，传统的异常检测算法通过设置离群值阈值或者离群数量阈值来确定异常对象，这样的阈值在连续被监测对象的动态检测环境中是难以准确设置的，不准确的阈值将会严重影响算法的准确性。因此，研究一种适用于连续被监测对象自适应的离群检测方法具有重要的理论意义和实用价值。

发明内容

本发明提供一种面向连续被监测对象的异常检测方法，充分利用数据流的历史数据信息、结合数据流数据自身的关联性对被监测对象当前的异常状态进行量化计算，同时基于四分位数设计一种无参数自适应的离群对象判定方法。相对于传统的数据流异常检测算法，我们的方法可以有效的、高效的、实时自适应地判定当前被监测对象的异常状态，并可以通过判断离群值是否慢慢的增加来对一些缓慢变化的异常进行提前的预测分析。

具体来说，本发明提供了一种面向连续被监测对象的异常检测方法，该方法包括：

步骤1，收集表示被监测对象异常状态的参数生成基于滑动窗口的连续监测数据流；

步骤2，对检测算法进行初始化生成一个基于滑动窗口的数据集和一个被监测对象的异常值序列；

步骤3，查找当前时刻到达的数据对象的k邻域集合并计算其局部离群系数；

步骤4，更新当前到达的数据对象的k邻域对象的局部离群系数；

步骤5，计算历史数据的局部离群系数对被监测对象当前时刻异常状态判断的参考价值；

步骤6，计算被监测对象当前时刻的离群系数；

步骤7，判定当前时刻被监测对象的可能异常状态；

步骤8，更新监测数据流滑动窗口的数据集和被监测对象的异常值序列；

步骤9，确定被监测对象的异常状态。

其中，步骤2对检测算法进行初始化的方法为：

首先取X(2n<X<3n，X∈(1,2,3,…,2n,…))个时刻的数据集进行局部离群量化计算，并计算各个时刻被监测对象的离群系数，然后从n到X中选取最近的被监测对象处于正常状态的n个数据对象和n个离群系数做为初始的滑动窗口O^(t)＝{o_t-n,o_t-n+1,…,o_t-1,o_t}和初始的离群值序列N_t＝[N^(t-n),N^(t-n+1),…,N^(t-1),N^(t)]。

其中，步骤4更新当前到达的数据对象的k邻域对象的局部离群系数的方法为：

对于o_t的邻域对象中的任意一个点o_i(1≤i≤k)，o_t表示当前到达的数据对象，和表示对象o_i当前时刻和前一个时刻的离群系数，k表示邻域搜索范围的大小。

其中，步骤5的计算历史数据的局部离群系数对被监测对象当前时刻异常状态判断的参考价值P^(t)可表示为：

P^(t)＝i_t-1e^-λ+i_t-2e^-2λ…+i_t-ne^-nλ

λ是控制历史数据离群信息对当前时刻状态判断的参考价值随时间的推移衰减速度的快慢。

其中，步骤6计算被监测对象当前时刻的离群系数N_t可表示为：

是表示滑动窗口中历史数据信息对当前被监测对象的状态判定的参考价值的大小。

其中，步骤7判定当前时刻被监测对象的可能异常状态的方法包括：

步骤71，对滑动窗口的各个时刻的连续被监测对象的离群系数序列N^(t)进行排序，得到一个升序的异常值序列；

步骤72，计算升序异常值序列的四分位数和四分位距IQR；

步骤73，判断当前时刻的被监测对象的离群系数是否超过上四分位数与四分位距之和，如果不超过说明被监测对象当前时刻处于正常状态，如果超过说明被监测对象当前时刻可能出现异常或者瞬间波动状态。

其中，步骤8更新监测数据流滑动窗口的数据集和被监测对象的异常值序列的方法为：

步骤81，如果当前时刻t被监测对象O为正常状态时用最新监测采集的数据对象替换O^(t)中最早的数据对象，用当前时刻被监测对象的离群系数替换N_t中最早的离群系数；

步骤82，如果被监测对象当前时刻可能出现异常或者瞬间波动状态，保持滑动窗口数据集和异常值序列不变，并记录当前时刻的被监测对象的状态。

其中，步骤9确定被监测对象的异常状态的方法为：

只有当被监测对象O连续两次或者两次以上的时刻出现异常的时候才最终确定被监测对象处于异常，否则为一次瞬态波动。

本发明的有益功效在于：本发明面向连续被监测的对象的异常检测，根据四分数、局部离群系数和数据流异常检测的特性研究一种实时的面向被监测对象的自适应异常状态检测方法。该方法充分的利用监测数据自身的分布规律，可以实时高效的检测出连续被监测对象在各个时刻的状态变化。可以促进各种生产管理的自动化和智能化，具有重要的应用价值。

附图说明

图1是本发明的连续被监测对象的异常检测的结构图。

图2是本发明的一种基于局部离群系数面向连续被监测对象的异常检测方法的流程图。

图3是本发明的离群系数系列的四分位和四分位距图。

图4是本发明的被监测对象的异常状态判定流程图。

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再作进一步详细的说明。

如图1，对于连续被监测对象O，滑动窗口大小为n，在当前时刻t连续监测的数据流O^(t)＝{o_t-n,o_t-n+1,…,o_t-1,o_t}，o_t＝{o_t1,o_t2,…,o_tm}，其中m是监测数据的维度。本发明的主要思想是充分利用表示被监测对象状态变化的数据流的历史状态信息和当前时刻的状态信息来判断被监测对象当前的状态变化情况。该方法得到的被监测对象的离群系数的变化可以准确的反应被监测对象的异常状态的变化，可以有效的应用到各种连续被监测对象的实时异常检测。

下面以被监测对象O及其任意一个时刻t的状态检测分别详细说明每一步骤：

步骤1，收集表示被监测对象O异常状态的m个参数，生成一个连续监测的数据流O＝{o₁,o₂,…,o_t-1,o_t,o_t+1…}，o_t＝{o_t1,o_t2,…,o_tm}；

步骤2，对检测算法进行初始化，生成一个基于滑动窗口且窗口大小为n的流式数据O^(t)＝{o_t-n,o_t-n+1,…,o_t-1,o_t}和一个大小为n离群值序列N_t＝[N^(t-n),N^(t-n+1),…,N^(t-1),N^(t)]；

进一步的，其中，对算法进行初始化时，为了保证后续到达的数据对象的邻域对象都是正常的数据对象，首先取X(2n<X<3n)个时刻的数据集进行局部离群量化计算，并计算各个时刻被监测对象的离群系数，然后从n到X中选取最近的被监测对象处于正常状态的n个数据对象和n个离群系数做为初始的滑动窗口O^(t)＝{o_t-n,o_t-n+1,…,o_t-1,o_t}和初始的离群值序列N_t＝[N^(t-n),N^(t-n+1),…,N^(t-1),N^(t)]。

步骤3，查找当前时刻到达的数据对象o_t的k邻域集合并计算其局部离群系数Q^(t)；

步骤4，更新当前到达的数据对象o_t的k邻域对象的局部离群系数

其中，步骤4更新当前到达的数据对象的k邻域对象的局部离群系数的方法为：

对于o_t的邻域对象中的任意一个点o_i(1≤i≤k)，o_t表示当前到达的数据对象，和表示对象o_i当前时刻和前一个时刻的离群系数，k表示邻域搜索范围的大小。

步骤5，计算历史数据的局部离群系数对被监测对象当前时刻异常状态判断的参考价值P^(t)；

进一步的，其中，计算P^(t)可表示为：

P^(t)＝i_t-1e^-λ+i_t-2e^-2λ…+i_t-ne^-nλ

λ是控制历史数据离群信息对当前时刻状态判断的参考价值随时间的推移衰减速度的快慢。

步骤6，计算被监测对象O当前时刻t的离群系数N_t；

进一步的，其中，计算N_t可表示为：

是表示滑动窗口中历史数据信息对当前数据流的状态判定的参考价值的大小。

步骤7，判定当前时刻t被监测对象O的可能异常状态；

步骤71，对滑动窗口的各个时刻的连续被监测对象的离群系数序列N^(t)进行排序，得到一个升序的异常值序列；

步骤72，如图3，计算升序异常值序列的四分位数和四分位距IQR；

步骤73，如图4，判断当前时刻的被监测对象的离群系数是否超过上四分位数与四分位距之和，如果不超过说明被监测对象当前时刻处于正常状态，如果超过说明被监测对象当前时刻可能出现异常或者瞬间波动状态；

步骤8，更新监测数据流滑动窗口的数据集和被监测对象的异常值序列；

步骤81，如果被监测对象O当前时刻处于正常状态，用当前时刻的监测参数值替换O^(t)中最早时刻的参数值，用当前时刻的被监测对象的离群系数替代N_t最早时刻的异常值；

步骤82，如果被监测对象O当前时刻t可能出现异常或者瞬间波动状态，保持滑动窗口数据集和异常值序列不变，并记录当前时刻的被监测对象的状态。

步骤9，确定被监测对象的异常状态；

进一步的，其中，只有当被监测对象O连续两次或者两次以上的时刻出现异常的时候才最终确定被监测对象处于异常，否则为一次瞬态波动。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种面向连续被监测对象的异常检测方法，其特征在于，包括以下步骤：

步骤1，收集表示被监测对象异常状态的参数生成基于滑动窗口的连续监测数据流；

步骤2，对检测算法进行初始化生成一个基于滑动窗口的数据集和一个被监测对象的异常值序列；

步骤3，查找当前时刻到达的数据对象的k邻域集合并计算其局部离群系数；

步骤4，更新当前到达的数据对象的k邻域对象的局部离群系数；

步骤5，计算历史数据的局部离群系数对被监测对象当前时刻异常状态判断的参考价值；

步骤6，计算被监测对象当前时刻的离群系数；

步骤7，判定当前时刻被监测对象的可能异常状态；

步骤8，更新监测数据流滑动窗口的数据集和被监测对象的异常值序列；

步骤9，确定被监测对象的异常状态。

2.根据权利要求1所述的方法，其中，步骤2对检测算法进行初始化的方法为：

首先取X(2n<X<3n，X∈(1,2,3,…,2n,…))个时刻的数据集进行局部离群量化计算，并计算各个时刻被监测对象的离群系数，然后从n到X中选取最近的被监测对象处于正常状态的n个数据对象和n个离群系数做为初始的滑动窗口O^(t)＝{o_t-n,o_t-n+1,…,o_t-1,o_t}和初始的离群值序列N_t＝[N^(t-n),N^(t-n+1),…,N^(t-1),N^(t)]。

3.根据权利要求1所述的方法，其中，步骤4更新当前到达的数据对象的k邻域对象的局部离群系数的方法为：

对于o_t的邻域对象中的任意一个点o_i(1≤i≤k)，o_t表示当前到达的数据对象，和表示对象o_i当前时刻和前一个时刻的离群系数，k表示邻域搜索范围的大小。

4.根据权利要求1所述的方法，其中，步骤5的计算历史数据的局部离群系数对被监测对象当前时刻异常状态判断的参考价值P^(t)可表示为：

P^(t)＝i_t-1e^-λ+i_t-2e^-2λ…+i_t-ne^-nλ

λ是控制历史数据离群信息对当前时刻状态判断的参考价值随时间的推移衰减速度的快慢。

5.根据权利要求1所述的方法，其中，步骤6计算被监测对象当前时刻的离群系数N_t可表示为：

<mrow> <msup> <mi>N</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msup> <mi>Q</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>,</mo> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mo>&amp;part;</mo> <msup> <mi>Q</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mo>+</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mo>&amp;part;</mo> <mo>)</mo> </mrow> <msup> <mi>P</mi> <mrow> <mo>(</mo> <mi>t</mi> <mo>)</mo> </mrow> </msup> <mrow> <mo>(</mo> <mn>0</mn> <mo>&amp;le;</mo> <mo>&amp;part;</mo> <mo>&amp;le;</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>

是表示滑动窗口中历史数据信息对当前被监测对象的状态判定的参考价值的大小。

6.根据权利要求1所述的方法，其中，步骤7判定当前时刻被监测对象的可能异常状态的方法包括：

步骤71，对滑动窗口的各个时刻的连续被监测对象的离群系数序列N^(t)进行排序，得到一个升序的异常值序列；

步骤72，计算升序异常值序列的四分位数和四分位距IQR；

步骤73，判断当前时刻的被监测对象的离群系数是否超过上四分位数与四分位距之和，如果不超过说明被监测对象当前时刻处于正常状态，如果超过说明被监测对象当前时刻可能出现异常或者瞬间波动状态。

7.根据权利要求1所述的方法，其中，步骤8更新监测数据流滑动窗口的数据集和被监测对象的异常值序列的方法为：

步骤81，如果当前时刻t被监测对象O为正常状态时用最新监测采集的数据对象替换O^(t)中最早的数据对象，用当前时刻被监测对象的离群系数替换N_t中最早的离群系数；

步骤82，如果被监测对象当前时刻可能出现异常或者瞬间波动状态，保持滑动窗口数据集和异常值序列不变，并记录当前时刻的被监测对象的状态。

8.根据权利要求1所述的方法，其中，步骤9确定被监测对象的异常状态的方法为：

只有当被监测对象O连续两次或者两次以上的时刻出现异常的时候才最终确定被监测对象处于异常，否则为一次瞬态波动。