CN105893213B - 一种异常检测方法、应用和监控设备 - Google Patents
一种异常检测方法、应用和监控设备 Download PDFInfo
- Publication number
- CN105893213B CN105893213B CN201610460968.1A CN201610460968A CN105893213B CN 105893213 B CN105893213 B CN 105893213B CN 201610460968 A CN201610460968 A CN 201610460968A CN 105893213 B CN105893213 B CN 105893213B
- Authority
- CN
- China
- Prior art keywords
- value
- current time
- current
- time
- current moment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种异常检测方法,在监控设备中执行,适于对被监控设备的一个或多个性能指标进行实时异常检测,该方法包括:获取被监控设备的某个性能指标在当前时刻的观测值;根据前一时刻的预测值和当前时刻的观测值确定当前时刻的预测值;根据当前时刻的观测值与当前时刻的预测值确定当前时刻的差值;根据当前时刻的差值,采用增量的ESD算法判断所述当前时刻的观测值是否为异常值。本发明还公开了能够实施上述方法的异常检测应用,和包括上述应用的监控设备。
Description
技术领域
本发明涉及计算设备性能监控技术领域,尤其涉及一种能够对被监控设备的一个或多个性能指标进行实时异常检测的方法、应用和监控设备。
背景技术
随着信息技术的发展,各种应用、网站层出不穷,对计算设备的性能提出了更高的要求。对各项性能指标进行监控,实时获取计算设备的运行状态并排查异常,是提高其计算性能的必要步骤。一般来说,监控的性能指标包括CPU利用率、吞吐量、响应时间,等等。
现有的技术方案中多采用阈值来进行异常检测,即,针对某个性能指标设置固定的阈值,若性能指标的观测值超出阈值范围,则判定该观测值为异常值。在上述方法中,阈值的取值对异常检测的准确性有很大的影响,然而对于阈值的设置却缺少系统的方法,导致该异常检测方法往往准确性不高。此外,需要对不同的性能指标分别设置阈值,费时费力。
发明内容
为此,本发明提供一种异常检测方法、应用和监控设备,以力图解决或至少缓解上面存在的问题。
根据本发明的一个方面,提供一种异常检测方法,在监控设备中执行,适于对被监控设备的一个或多个性能指标进行实时异常检测,所述方法包括:获取被监控设备的某个性能指标在当前时刻的观测值;根据前一时刻的预测值和所述当前时刻的观测值确定当前时刻的预测值;根据所述当前时刻的观测值与所述当前时刻的预测值确定当前时刻的差值;根据所述当前时刻的差值,采用增量的ESD算法判断所述当前时刻的观测值是否为异常值。
可选地,在根据本发明的异常检测方法中,根据前一时刻的预测值和所述当前时刻的观测值确定当前时刻的预测值的步骤采用卡尔曼滤波算法实现。
可选地,在根据本发明的异常检测方法中,卡尔曼滤波算法包括:根据前一时刻的预测值确定当前时刻的学习值;根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差;根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益;根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值;根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差。
可选地,在根据本发明的异常检测方法中,根据前一时刻的预测值确定当前时刻的学习值的步骤采用以下公式:
Xs,n=Xp,n-1;
所述根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差的步骤采用以下公式:
Ps,n=Pp,n-1+Qn
所述根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益的步骤采用以下公式:
所述根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值的步骤采用以下公式:
Xp,n=Xs,n+Kn(Xr,n-Xs,n)
所述根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差的步骤采用以下公式:
Pp,n=Ps,n(1-Kn)
其中,n为正整数,表示当前时刻,(n-1)表示前一时刻,Xp,n-1表示前一时刻的预测值,Pp,n-1表示前一时刻的预测值的协方差,Xs,n表示当前时刻的学习值,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Ps,n表示当前时刻的学习值的协方差,Pp,n表示当前时刻的预测值的协方差,Kn表示当前时刻的卡尔曼增益,Qn为观测值序列Xr在当前时刻的标准差,Rn为观测值序列Xr在当前时刻的方差。
可选地,在根据本发明的异常检测方法中,将Xp,0设置为0,Pp,0设置为1。
可选地,在根据本发明的异常检测方法中,根据所述当前时刻的观测值与所述当前时刻的预测值确定当前时刻的差值的步骤采用如下公式:
Xgap,n=Xr,n-Xp,n
其中,n为正整数,表示当前时刻,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Xgap,n表示当前时刻的差值。
可选地,在根据本发明的异常检测方法中,根据所述当前时刻的差值,采用增量的方式更新差值序列Xgap在当前时刻n的均值meann和标准差stdn;在设定的显著性水平α下,计算当前时刻的临界值λ;根据所述当前时刻的差值Xgap,n、所述均值meann和所述标准差stdn确定离群度G;判断离群度G与临界值λ的大小,若G>λ,则Xr,n是异常值,若G≤λ,则Xr,n不是异常值。
可选地,在根据本发明的异常检测方法中,采用以下公式更新差值序列Xgap在当前时刻的均值meann:
可选地,在根据本发明的异常检测方法中,采用以下公式更新差值序列Xgap在当前时刻的标准差stdn:
Sn=Sn-1+(Xgap,n-meann-1)(Xgap,n-meann)
可选地,在根据本发明的异常检测方法中,临界值λ按照如下公式计算:
其中,tp,n-2表示自由度为n-2的t分布的第100*p百分位数,其中,p=1-α/(2n)。
可选地,在根据本发明的异常检测方法中,离群度G按照如下公式确定:
可选地,在根据本发明的异常检测方法中,在所述采用增量的ESD算法判断所述当前时刻的观测值是否为异常值的步骤之后,还包括:将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。
根据本发明的一个方面,提供一种异常检测应用,在监控设备中执行,适于对被监控设备的一个或多个性能指标进行实时异常检测,所述应用包括:数据获取模块,适于获取被监控设备的某个性能指标在当前时刻的观测值;数据预测模块,适于根据前一时刻的预测值和所述当前时刻的观测值确定当前时刻的预测值;差值求取模块,适于根据所述当前时刻的观测值与所述当前时刻的预测值确定当前时刻的差值;异常检测模块,适于根据所述当前时刻的差值,采用增量的ESD算法判断所述当前时刻的观测值是否为异常值。
可选地,在根据本发明的异常检测应用中,数据预测模块进一步适于采用卡尔曼滤波算法来根据前一时刻的预测值和当前时刻的观测值确定当前时刻的预测值。
可选地,在根据本发明的异常检测应用中,卡尔曼滤波算法包括:根据前一时刻的预测值确定当前时刻的学习值;根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差;根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益;根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值;根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差。
可选地,在根据本发明的异常检测应用中,根据前一时刻的预测值确定当前时刻的学习值的步骤采用以下公式:
Xs,n=Xp,n-1;
所述根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差的步骤采用以下公式:
Ps,n=Pp,n-1+Qn
所述根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益的步骤采用以下公式:
所述根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值的步骤采用以下公式:
Xp,n=Xs,n+Kn(Xr,n-Xs,n)
所述根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差的步骤采用以下公式:
Pp,n=Ps,n(1-Kn)
其中,n为正整数,表示当前时刻,(n-1)表示前一时刻,Xp,n-1表示前一时刻的预测值,Pp,n-1表示前一时刻的预测值的协方差,Xs,n表示当前时刻的学习值,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Ps,n表示当前时刻的学习值的协方差,Pp,n表示当前时刻的预测值的协方差,Kn表示当前时刻的卡尔曼增益,Qn为观测值序列Xr在当前时刻的标准差,Rn为观测值序列Xr在当前时刻的方差。
可选地,在根据本发明的异常检测应用中,Xp,0取值为0,Pp,0取值为1。
可选地,在根据本发明的异常检测应用中,差值求取模块适于按照以下公式根据所述当前时刻的观测值与所述当前时刻的预测值确定当前时刻的差值:
Xgap,n=Xr,n-Xp,n
其中,n为正整数,表示当前时刻,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Xgap,n表示当前时刻的差值。
可选地,在根据本发明的异常检测应用中,异常检测模块进一步适于:采用增量的方式更新差值序列Xgap在当前时刻的均值meann和标准差stdn;在设定的显著性水平α下,计算当前时刻的临界值λ;根据所述当前时刻的差值Xgap,n、所述均值meann和所述标准差stdn确定离群度G;判断离群度G与临界值λ的大小,若G>λ,则Xr,n是异常值,若G≤λ,则Xr,n不是异常值。
可选地,在根据本发明的异常检测应用中,异常检测模块适于按照以下公式更新差值序列Xgap在当前时刻的均值meann:
可选地,在根据本发明的异常检测应用中,异常检测模块适于按照以下公式更新差值序列Xgap在当前时刻的标准差stdn:
Sn=Sn-1+(Xgap,n-meann-1)(Xgap,n-meann)
可选地,在根据本发明的异常检测应用中,异常检测模块适于按照以下公式计算临界值λ:
其中,tp,n-2表示自由度为n-2的t分布的第100*p百分位数,其中,p=1-α/(2n)。
可选地,在根据本发明的异常检测应用中,异常检测模块适于按照以下公式计算离群度G:
可选地,在根据本发明的异常检测应用中,还包括结果输出模块,适于将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。
根据本发明的一个方面,提供一种监控设备,包括如上所述的异常检测应用。
根据本发明的技术方案,采用卡尔曼滤波算法学习某个性能指标的状态,并输出当前时刻的预测值。计算当前时刻的观测值与预测值的差值,采用增量的ESD算法判断该差值是否为异常值。此外,本发明还可以计算出异常值的离群度,用来标记各异常值的异常程度。卡尔曼滤波算法使得本发明的异常检测方法无须设置阈值,减少了人为设置阈值等参数带来的误差,提高了异常检测的准确性。增量的ESD算法采用增量的方式实时更新差值序列的方差和均值,节省了存储空间和运算时间,更好地实现了的实时的异常检测。
附图说明
为了实现上述以及相关目的,本文结合下面的描述和附图来描述某些说明性方面,这些方面指示了可以实践本文所公开的原理的各种方式,并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述,本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开,相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的性能监控系统100的示意图;
图2示出了根据本发明一个实施例的监控设备200的结构图;
图3示出了根据本发明一个实施例的异常检测应用300的结构图;
图4示出了根据本发明一个实施例的采用卡尔曼滤波算法输出各时刻的预测值的示意图;
图5示出了根据本发明一个实施例的增量的ESD算法500的流程图;
图6示出了根据本发明一个实施例的异常检测结果的示意图;以及
图7示出了根据本发明一个实施例的异常检测方法700的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的性能监控系统100的示意图。如图1所示,性能监控系统包括1个监控设备200和多个被监控设备。监控设备200可以是桌面计算机、笔记本计算机、服务器或工作站。监控设备200还可以实现为小尺寸便携(或者移动)电子设备的一部分,这些电子设备可以是诸如手机、平板电脑、个人媒体播放器设备、无线网络浏览设备、可穿戴设备(如智能手表、智能眼镜等)、应用专用设备、或者可以包括上面任何功能的混合设备。被监控设备包括桌面电脑、笔记本电脑、平板电脑、手机等具有运算能力的设备。虽然图1中仅示出了一个监控设备200,但是本领域技术人员可以意识到,性能监控系统100中还可以包括多个监控设备,这些监控设备可以驻留在多个地理位置中。
监控设备200中部署了异常检测应用300,可以对多个被监控设备的多项性能指标进行监控,实时获取被监控设备的运行状态并排查异常。具体来说,首先获取性能指标的实时观测值,然后采用卡尔曼滤波算法确定当前时刻的预测值,计算当前时刻的观测值与预测值的差值,根据上述差值,采用增量的ESD算法判断当前时刻的观测值是否为异常值并计算各异常值的离群度,最后,将异常检测结果以文本和/或图形界面的形式在监控设备200的屏幕上进行显示。
图2示出了根据本发明一个实施例的监控设备200的结构图。在基本配置202中,监控设备200典型地包括系统存储器206和一个或者多个处理器204。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据226,应用222可以布置为在操作系统上利用程序数据226进行操作。
根据一种实施例,应用222可以被配置为包括异常检测应用300,相应地,程序数据226中存储有实时采集到的一个或多个被监控设备的一个或多个性能指标数据,性能指标数据实际上是一个时间序列。异常检测应用300从程序数据226中获取性能指标在每个时刻的观测值,并分别检测各观测值是否异常。
图3示出了根据本发明一个实施例的异常检测应用300的结构图。该应用在监控设备中执行,适于对被监控设备的一个或多个性能指标进行实时异常检测。实时异常检测就是,每当监控设备200采集到某个性能指标的新的观测值,异常检测应用300均进行一次异常检测,判断该观测值是否为异常值。如图3所示,异常检测应用300包括数据获取模块310、数据预测模块320、差值求取模块330、异常检测模块340。
数据获取模块310适于获取被监控设备的某个性能指标在当前时刻的观测值。性能指标可以是CPU利用率、吞吐量、响应时间,但不限于此。当然,数据获取模块210也可以获取多个性能指标在当前时刻的观测值。对于上述多个性能指标,需要分别判断每个性能指标在当前时刻的观测值是否为异常值。因此,多个性能指标的实时异常检测与单个性能指标的实时异常检测的原理相同,为了叙述方便,此处以单个性能指标的实时异常检测为例对本发明的技术方案进行说明。
数据获取模块310可以直接采集被监控设备的性能指标数据,也可以先由监控设备200的其他应用224来采集数据并存储至程序数据226(参考图2),然后数据获取模块310再从程序数据226处读取性能指标数据。性能指标数据的采集方法是本领域的公知技术,例如通过向被监控设备中部署探针、注入脚本,或通过被监控设备本身提供的接口,等等,此处对性能数据的采集方法不做赘述。
若数据获取模块310未能成功获取到某个性能指标在当前时刻的观测值,则由数据填充模块350(图3中未示出)对当前时刻的观测值进行填充,以使后续的异常检测过程能够正常进行。根据一种实施例,若数据获取模块310未能成功获取当前时刻的观测值,则数据填充模块350将当前时刻的观测值自动设置为0。根据另一种实施例,若数据获取模块310未能成功获取当前时刻的观测值,则数据填充模块350将当前时刻的观测值设置为与前一时刻的观测值相同。当然,除上述方法之外,还可以采用其他方法来填充缺失的数据,本发明对填充缺失数据的具体算法不做限制。
在获取了当前时刻的观测值后,数据预测模块320根据该观测值和前一时刻的预测值确定当前时刻的预测值。根据一种实施例,当前时刻的预测值可以采用卡尔曼滤波算法来确定。
卡尔曼滤波算法由匈牙利数学家Rudolf Emil Kalman于1960年在其论文《A NewApproach to Linear Filtering and Prediction Problems》(线型滤波与预测问题的新方法)中提出。卡尔曼滤波算法是一种最优化自回归数据处理算法。卡尔曼滤波算法包括以下5个核心公式:
Xn|n-1=FnXn-1|n-1+Bnun (1)
Pn|n-1=FnPn-1|n-1Fn T+Qn (2)
Kn=Pn|n-1Hn T(HnPn|n-1Hn T+Rn)-1 (3)
Xn|n=Xn|n-1+Kn(zn-HnXn|n-1) (4)
Pn|n=Pn|n-1-KnHnPn|n-1 (5)
其中,式(1)中,n为正整数,表示当前时刻,n-1表示前一时刻。Xn-1|n-1是前一时刻的预测值,Xn|n-1为当前时刻的学习值,un为当前时刻的控制量,Fn和Bn为系统参数。
式(2)中,Pn-1|n-1为前一时刻的预测值的协方差,Pn|n-1为当前时刻的学习值的协方差,Qn为系统参数,其他参数的含义与式(1)中相同。
式(3)中,Kn为当前时刻的卡尔曼增益,Hn和Rn均为系统参数,其他参数的含义与式(1)-(2)中相同。
式(4)中,Xn|n为当前时刻的预测值,zn为当前时刻的观测值,其他参数的含义与式(1)-(3)中相同。
式(5)中,Pn|n为当前时刻的预测值的协方差,他参数的含义与式(1)-(4)中相同。
以上5个公式中,涉及到三种值,即观测值、学习值、预测值。其中,观测值即为系统测量得到的值,预测值是采用卡尔曼滤波算法算出的最优预测值,学习值是根据上一时刻的预测值计算得出的并用于计算下一时刻的预测值的中间变量。为了区分方便,我们用Xr表示观测值序列,Xs表示学习值序列,Xp表示预测值序列。考虑到异常检测的实际情况(性能指标的时间序列为一维),并为了节省计算时间,将un设为0,Fn、Hn均设为1,Qn为观测值序列Xr在当前时刻的标准差,Rn为观测值序列Xr在当前时刻的方差。当然,un、Bn、Fn、Hn、Qn以及Rn均可以设为其他数值,本发明对各参数的取值并无限制。
采用以上参数设置,上述式(1)-(5)将转化为以下5个公式:
Xs,n=Xp,n-1 (6)
Ps,n=Pp,n-1+Qn (7)
Kn=Ps,n/(Ps,n+Rn) (8)
Xp,n=Xs,n+Kn(Xr,n-Xs,n) (9)
Pp,n=Ps,n(1-Kn) (10)
其中,n为正整数,表示当前时刻,(n-1)表示前一时刻,Xp,n-1表示前一时刻的预测值,Pp,n-1表示前一时刻的预测值的协方差,Xs,n表示当前时刻的学习值,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Ps,n表示当前时刻的学习值的协方差,Pp,n表示当前时刻的预测值的协方差,Kn表示当前时刻的卡尔曼增益,Qn为观测值序列Xr在当前时刻的标准差,Rn为观测值序列Xr在当前时刻的方差。
当数据获取模块310获取到当前时刻的观测值Xr,n后,数据预测模块320即可根据当前时刻的观测值Xr,n、前一时刻的预测值Xp,n-1和前一时刻的预测值的协方差Pp,n-1,采用式(6)-(10)计算得出当前时刻的预测值Xp,n。预测值的计算是一个递推的过程。对于异常检测应用获取的第一个观测值Xr,1,由于其对应于异常检测的初始时刻,卡尔曼滤波模型尚未建立,缺少Xp,0和Pp,0的值。因此,对于异常检测应用获取的第一个观测值Xr,1,需要给Xp,0和Pp,0赋值;对于接下来获取的观测值Xr,2,Xr,3,…,则可以按照式(6)-(10)依次计算。根据一种实施例,将Xp,0设置为0,将Pp,0设置为1。当然,Xp,0和Pp,0也可以设置为其他值,本发明对Xp,0和Pp,0的取值不做限制。
图4示出了根据本发明一个实施例的采用卡尔曼滤波算法输出各时刻的预测值的示意图。图4中,横坐标表示观测值的时间序号,左边的纵坐标表示观测值的大小,右边的纵坐标表示采用卡尔曼滤波算法得出的预测值的大小。图4中有上下两条曲线,上面的曲线即为观测值序列,下面的曲线为预测值序列。如图4所示,两条曲线的形状很相似,表明卡尔曼滤波算法算出的预测值可以很好地拟合采集到的性能指标的观测值。
数据预测模块320确定了当前时刻的预测值Xp,n后,差值求取模块330根据当前时刻的预测值Xp,n和当前时刻的观测值Xr,n确定当前时刻的差值Xgap,n,即:
Xgap,n=Xr,n-Xp,n (11)
随后,异常检测模块340根据当前时刻的差值Xgap,n,采用增量的ESD算法判断观测值Xr,n是否为异常值。现有技术中的ESD(Extreme Studentized Deviate,极端学生化偏差)算法能够确定一组数据中的异常点,在本发明中,对现有技术中的ESD算法做了改进,即提出一种增量的ESD算法,在该算法中,采用增量的方式计算均值、方差等参数,节省了存储空间和运算时间,更好地实现了的实时的异常检测。
异常检测模块340采用增量的ESD算法判断当前时刻的差值Xgap,n是否为异常值。当前时刻的差值Xgap,n与当前时刻的观测值Xr,n是一一对应的关系,差值Xgap,n为异常值即表明观测值Xr,n是异常值。
图5示出了根据本发明一个实施例的增量的ESD算法500的流程图。如图5所示,该算法始于步骤S510。
在步骤S510中,采用增量的方式更新差值序列Xgap在当前时刻的均值meann和标准差stdn。其中,均值meann可以按照以下公式来计算:
对于标准差stdn的计算,可以采用以下公式:
Sn=Sn-1+(Xgap,n-meann-1)(Xgap,n-meann) (13)
上述标准差stdn的更新过程可以用以下伪代码表示:
由以上分析,当前时刻的标准差stdn采用的是一种增量的计算方式,避免了每次获取新的差值后根据差值序列Xgap中的所有元素重新计算Xgap的标准差,节省了存储空间和运算时间,更好地实现了的实时的异常检测。
随后,在步骤S520中,计算当前时刻的临界值λ。在现有技术的能够检测出j个异常点的ESD算法中,临界值λi按照以下公式计算:
式(15)中,tp,n-i-1表示自由度为n-i-1的t分布的第100*p百分位数,p=1-α/(2(n-i+1)),α为显著水平,一般设定为一个较小的数,例如,α=0.05。当然,α也可以取其他值,本发明对α的取值并无限制。i=1,2,…,j。
在本发明中,每个时刻分别采用增量的ESD算法判断当前时刻的差值Xgap,n是否为异常值,即每次算法仅需计算一个临界值λ,且至多检测出一个异常点。这种情况下,式(15)中的i取值为1,相应地,式(15)转化为以下公式:
式(16)中,tp,n-2表示自由度为n-2的t分布的第100*p百分位数,其中,p=1-α/(2n),根据一种实施例,α=0.05。
随后,在步骤S530中,根据当前时刻的差值Xgap,n、均值meann和标准差stdn确定离群度G。离群度G采用以下公式确定:
在图5所示的算法示例中,先执行步骤S520计算临界值λ,再执行步骤S530计算离群度G。显然,步骤S520和步骤S530的顺序可以互换,即先计算离群度G,再计算临界值λ。步骤S520和步骤S530的执行先后顺序对本发明并无影响。
随后,在步骤S540中,判断离群度G与临界值λ的大小,若G>λ,则Xgap,n是异常值,相应地,Xr,n也是异常值;若G≤λ,则Xgap,n不是异常值,相应地,Xr,n也不是异常值。
根据一种实施例,异常检测应用300还包括结果输出模块360(图3中未示出),当异常检测模块340完成异常值的检测后,结果输出模块360适于将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。图6示出了根据本发明一个实施例的异常检测结果的示意图。图6中,横坐标表示观测值的时间序号,左边的纵坐标表示差值的大小,右边的纵坐标表示离群度的大小。图6中有上下两条曲线,上面的曲线即为差值序列Xgap,下面的曲线是异常检测结果曲线。尽管在前面的步骤中计算了差值序列Xgap中每一个元素的离群度,但是,异常检测结果曲线中仅示出了异常值的离群度,而对于非异常值,其离群度均记为0。即,在异常检测结果曲线上,非0点即为异常点,离群度越高,则该点的异常程度越大。
图7示出了根据本发明一个实施例的异常检测方法700的流程图。该方法在监控设备中执行,适于对被监控设备的一个或多个性能指标进行实时异常检测。如图7所示,该方法始于步骤S710。
在步骤S710中,获取被监控设备的某个性能指标在当前时刻的观测值。
随后,在步骤S720中,根据前一时刻的预测值和当前时刻的观测值确定当前时刻的预测值。根据一种实施例,采用卡尔曼滤波算法来确定当前时刻的预测值。卡尔曼滤波算法的具体过程参见前述对数据预测模块320的描述,此处不再赘述。
随后,在步骤S730中,根据当前时刻的观测值与当前时刻的预测值确定当前时刻的差值。根据一种实施例,当前时刻的差值=当前时刻的观测值-当前时刻的预测值。
随后,在步骤S740中,根据当前时刻的差值,采用增量的ESD算法判断当前时刻的观测值是否为异常值。实际上,本发明中采用增量的ESD算法判断当前时刻的差值是否为异常值,因为当前时刻的差值与当前时刻的观测值有一一对应的关系,差值为异常值即表明观测值为异常值。增量的ESD算法的流程参见图5以及前述对异常检测模块340的描述,此处不再赘述。
此外,在步骤S740之后,还可以包括步骤S750(图7中未示出),将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。
根据本发明的技术方案,采用卡尔曼滤波算法学习某个性能指标的状态,并输出当前时刻的预测值。计算当前时刻的观测值与预测值的差值,采用增量的ESD算法判断该差值是否为异常值。此外,本发明还可以计算出异常值的离群度,用来标记各异常值的异常程度。卡尔曼滤波算法使得本发明的异常检测方法无须设置阈值,减少了人为设置阈值等参数带来的误差,提高了异常检测的准确性。增量的ESD算法采用增量的方式实时更新差值序列的方差和均值,节省了存储空间和运算时间,更好地实现了的实时的异常检测。
A6:A1所述的异常检测方法,其中,所述根据所述当前时刻的观测值与所述当前时刻的预测值确定当前时刻的差值的步骤采用如下公式:
Xgap,n=Xr,n-Xp,n
其中,n为正整数,表示当前时刻,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Xgap,n表示当前时刻的差值。
A7:A6所述的异常检测方法,其中,根据所述当前时刻的差值,采用增量的ESD算法判断所述当前时刻的观测值是否为异常值的步骤包括:
采用增量的方式更新差值序列Xgap在当前时刻n的均值meann和标准差stdn;
在设定的显著性水平α下,计算当前时刻的临界值λ;
根据所述当前时刻的差值Xgap,n、所述均值meann和所述标准差stdn确定离群度G;
判断离群度G与临界值λ的大小,若G>λ,则Xr,n是异常值,若G≤λ,则Xr,n不是异常值。
A8:A7所述的异常检测方法,其中,采用以下公式更新差值序列Xgap在当前时刻的均值meann:
A9:7所述的异常检测方法,其中,采用以下公式更新差值序列Xgap在当前时刻的标准差stdn:
Sn=Sn-1+(Xgap,n-meann-1)(Xgap,n-meann)
A10:A7所述的异常检测方法,其中,临界值λ按照如下公式计算:
其中,tp,n-2表示自由度为n-2的t分布的第100*p百分位数,其中,p=1-α/(2n)。
A11:7所述的异常检测方法,其中,离群度G按照如下公式确定:
A12:A1所述的异常检测方法,其中,在所述采用增量的ESD算法判断所述当前时刻的观测值是否为异常值的步骤之后,还包括:将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。
B17:B16所述的异常检测应用,其中,Xp,0取值为0,Pp,0取值为1。
B18:B13所述的异常检测应用,其中,所述差值求取模块适于按照以下公式根据所述当前时刻的观测值与所述当前时刻的预测值确定当前时刻的差值:
Xgap,n=Xr,n-Xp,n
其中,n为正整数,表示当前时刻,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Xgap,n表示当前时刻的差值。
B19:B18所述的异常检测应用,其中,所述异常检测模块进一步适于:
采用增量的方式更新差值序列Xgap在当前时刻的均值meann和标准差stdn;
在设定的显著性水平α下,计算当前时刻的临界值λ;
根据所述当前时刻的差值Xgap,n、所述均值meann和所述标准差stdn确定离群度G;
判断离群度G与临界值λ的大小,若G>λ,则Xr,n是异常值,若G≤λ,则Xr,n不是异常值。
B20:B19所述的异常检测应用,其中,所述异常检测模块适于按照以下公式更新差值序列Xgap在当前时刻的均值meann:
B21:19所述的异常检测应用,其中,所述异常检测模块适于按照以下公式更新差值序列Xgap在当前时刻的标准差stdn:
Sn=Sn-1+(Xgap,n-meann-1)(Xgap,n-meann)
B22:19所述的异常检测应用,其中,所述异常检测模块适于按照以下公式计算临界值λ:
其中,tp,n-2表示自由度为n-2的t分布的第100*p百分位数,其中,p=1-α/(2n)。
B23:B19所述的异常检测应用,其中,所述异常检测模块适于按照以下公式计算离群度G:
B24:B13所述的异常检测应用,其中,还包括结果输出模块,适于将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。
在此处所提供的说明书中,算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中,或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外,所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此,具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外,装置实施例的在此所述的元素是如下装置的例子:该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样,除非另行规定,使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例,并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明,但是受益于上面的描述,本技术领域内的技术人员明白,在由此描述的本发明的范围内,可以设想其它实施例。此外,应当注意,本说明书中使用的语言主要是为了可读性和教导的目的而选择的,而不是为了解释或者限定本发明的主题而选择的。因此,在不偏离所附权利要求书的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围,对本发明所做的公开是说明性的,而非限制性的,本发明的范围由所附权利要求书限定。
Claims (21)
1.一种异常检测方法,在监控设备中执行,适于对被监控设备的一个或多个性能指标进行实时异常检测,所述方法包括:
获取被监控设备的某个性能指标在当前时刻的观测值;
根据前一时刻的预测值和所述当前时刻的观测值确定当前时刻的预测值;
将当前时刻的观测值Xr,n与当前时刻的预测值Xp,n之差记为当前时刻的差值Xgap,n,其中,n为正整数,表示当前时刻;
根据所述当前时刻的差值Xgap,n,采用增量的ESD算法判断所述当前时刻的观测值Xr,n是否为异常值:采用增量的方式更新差值序列Xgap在当前时刻n的均值meann和标准差stdn;在设定的显著性水平α下,计算当前时刻的临界值λ;根据所述当前时刻的差值Xgap,n、所述均值meann和所述标准差stdn确定离群度G;判断离群度G与临界值λ的大小,若G>λ,则Xr,n是异常值,若G≤λ,则Xr,n不是异常值。
2.如权利要求1所述的异常检测方法,其中,所述根据前一时刻的预测值和所述当前时刻的观测值确定当前时刻的预测值的步骤采用卡尔曼滤波算法实现。
3.如权利要求2所述的异常检测方法,其中,所述卡尔曼滤波算法包括:
根据前一时刻的预测值确定当前时刻的学习值;
根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差;
根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益;
根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值;
根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差。
4.如权利要求3所述的异常检测方法,其中,所述根据前一时刻的预测值确定当前时刻的学习值的步骤采用以下公式:
Xs,n=Xp,n-1
所述根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差的步骤采用以下公式:
Ps,n=Pp,n-1+Qn
所述根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益的步骤采用以下公式:
<mrow>
<msub>
<mi>K</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>P</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>R</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
所述根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值的步骤采用以下公式:
Xp,n=Xs,n+Kn(Xr,n-Xs,n)
所述根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差的步骤采用以下公式:
Pp,n=Ps,n(1-Kn)
其中,n为正整数,表示当前时刻,n-1表示前一时刻,Xp,n-1表示前一时刻的预测值,Pp,n-1表示前一时刻的预测值的协方差,Xs,n表示当前时刻的学习值,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Ps,n表示当前时刻的学习值的协方差,Pp,n表示当前时刻的预测值的协方差,Kn表示当前时刻的卡尔曼增益,Qn为观测值序列Xr在当前时刻的标准差,Rn为观测值序列Xr在当前时刻的方差。
5.如权利要求4所述的异常检测方法,其中,将Xp,0设置为0,Pp,0设置为1。
6.如权利要求1所述的异常检测方法,其中,采用以下公式更新差值序列Xgap在当前时刻的均值meann:
<mrow>
<msub>
<mi>mean</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msub>
<mi>mean</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mrow>
<msub>
<mi>X</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>mean</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mi>n</mi>
</mfrac>
</mrow>
其中,n-1表示前一时刻。
7.如权利要求1所述的异常检测方法,其中,采用以下公式更新差值序列Xgap在当前时刻的标准差stdn:
Sn=Sn-1+(Xgap,n-meann-1)(Xgap,n-meann)
<mrow>
<msub>
<mi>std</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msqrt>
<mfrac>
<msub>
<mi>S</mi>
<mi>n</mi>
</msub>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
</msqrt>
</mrow>
其中,n-1表示前一时刻,Sn-1为前一时刻差值序列Xgap的离均差平方和,Sn为当前时刻差值序列Xgap的离均差平方和。
8.如权利要求1所述的异常检测方法,其中,临界值λ按照如下公式计算:
<mrow>
<mi>&lambda;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<msub>
<mi>t</mi>
<mrow>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msub>
</mrow>
<msqrt>
<mrow>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
<mo>+</mo>
<msubsup>
<mi>t</mi>
<mrow>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mfrac>
</mrow>
其中,tp,n-2表示自由度为n-2的t分布的第100*p百分位数,其中,p=1-α/(2n)。
9.如权利要求1所述的异常检测方法,其中,离群度G按照如下公式确定:
<mrow>
<mi>G</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>mean</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
</mrow>
<mrow>
<msub>
<mi>std</mi>
<mi>n</mi>
</msub>
</mrow>
</mfrac>
<mo>.</mo>
</mrow>
10.如权利要求1所述的异常检测方法,其中,在所述采用增量的ESD算法判断所述当前时刻的观测值是否为异常值的步骤之后,还包括:将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。
11.一种异常检测应用,在监控设备中执行,适于对被监控设备的一个或多个性能指标进行实时异常检测,所述应用包括:
数据获取模块,适于获取被监控设备的某个性能指标在当前时刻的观测值;
数据预测模块,适于根据前一时刻的预测值和所述当前时刻的观测值确定当前时刻的预测值;
差值求取模块,适于将当前时刻的观测值Xr,n与当前时刻的预测值Xp,n之差记为当前时刻的差值Xgap,n,其中,n为正整数,表示当前时刻;
异常检测模块,适于根据所述当前时刻的差值Xgap,n,采用增量的ESD算法判断所述当前时刻的观测值Xr,n是否为异常值:采用增量的方式更新差值序列Xgap在当前时刻n的均值meann和标准差stdn;在设定的显著性水平α下,计算当前时刻的临界值λ;根据所述当前时刻的差值Xgap,n、所述均值meann和所述标准差stdn确定离群度G;判断离群度G与临界值λ的大小,若G>λ,则Xr,n是异常值,若G≤λ,则Xr,n不是异常值。
12.如权利要求11所述的异常检测应用,其中,所述数据预测模块进一步适于采用卡尔曼滤波算法来根据前一时刻的预测值和当前时刻的观测值确定当前时刻的预测值。
13.如权利要求12所述的异常检测应用,其中,所述卡尔曼滤波算法包括:
根据前一时刻的预测值确定当前时刻的学习值;
根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差;
根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益;
根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值;
根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差。
14.如权利要求13所述的异常检测应用,其中,所述根据前一时刻的预测值确定当前时刻的学习值的步骤采用以下公式:
Xs,n=Xp,n-1
所述根据前一时刻的预测值的协方差确定当前时刻的学习值的协方差的步骤采用以下公式:
Ps,n=Pp,n-1+Qn
所述根据所述当前时刻的学习值的协方差确定当前时刻的卡尔曼增益的步骤采用以下公式:
<mrow>
<msub>
<mi>K</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<mfrac>
<msub>
<mi>P</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>R</mi>
<mi>n</mi>
</msub>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
所述根据所述当前时刻的观测值、所述当前时刻的学习值和所述当前时刻的卡尔曼增益确定当前时刻的预测值的步骤采用以下公式:
Xp,n=Xs,n+Kn(Xr,n-Xs,n)
所述根据所述当前时刻的学习值的协方差和所述当前时刻的卡尔曼增益确定当前时刻的预测值的协方差的步骤采用以下公式:
Pp,n=Ps,n(1-Kn)
其中,n为正整数,表示当前时刻,n-1表示前一时刻,Xp,n-1表示前一时刻的预测值,Pp,n-1表示前一时刻的预测值的协方差,Xs,n表示当前时刻的学习值,Xr,n表示当前时刻的观测值,Xp,n表示当前时刻的预测值,Ps,n表示当前时刻的学习值的协方差,Pp,n表示当前时刻的预测值的协方差,Kn表示当前时刻的卡尔曼增益,Qn为观测值序列Xr在当前时刻的标准差,Rn为观测值序列Xr在当前时刻的方差。
15.如权利要求14所述的异常检测应用,其中,Xp,0取值为0,Pp,0取值为1。
16.如权利要求11所述的异常检测应用,其中,所述异常检测模块适于按照以下公式更新差值序列Xgap在当前时刻的均值meann:
<mrow>
<msub>
<mi>mean</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msub>
<mi>mean</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mrow>
<msub>
<mi>X</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>mean</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mrow>
<mi>n</mi>
</mfrac>
</mrow>
其中,n-1表示前一时刻。
17.如权利要求11所述的异常检测应用,其中,所述异常检测模块适于按照以下公式更新差值序列Xgap在当前时刻的标准差stdn:
Sn=Sn-1+(Xgap,n-meann-1)(Xgap,n-meann)
<mrow>
<msub>
<mi>std</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<msqrt>
<mfrac>
<msub>
<mi>S</mi>
<mi>n</mi>
</msub>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mfrac>
</msqrt>
</mrow>
其中,n-1表示前一时刻,Sn-1为前一时刻差值序列Xgap的离均差平方和,Sn为当前时刻差值序列Xgap的离均差平方和。
18.如权利要求11所述的异常检测应用,其中,所述异常检测模块适于按照以下公式计算临界值λ:
<mrow>
<mi>&lambda;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
<msub>
<mi>t</mi>
<mrow>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
</msub>
</mrow>
<msqrt>
<mrow>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
<mo>+</mo>
<msubsup>
<mi>t</mi>
<mrow>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
</mfrac>
</mrow>
其中,tp,n-2表示自由度为n-2的t分布的第100*p百分位数,其中,p=1-α/(2n)。
19.如权利要求11所述的异常检测应用,其中,所述异常检测模块适于按照以下公式计算离群度G:
<mrow>
<mi>G</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<msub>
<mi>X</mi>
<mrow>
<mi>g</mi>
<mi>a</mi>
<mi>p</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>mean</mi>
<mi>n</mi>
</msub>
<mo>|</mo>
</mrow>
<mrow>
<msub>
<mi>std</mi>
<mi>n</mi>
</msub>
</mrow>
</mfrac>
<mo>.</mo>
</mrow>
20.如权利要求11所述的异常检测应用,其中,还包括结果输出模块,适于将异常值和各异常值的离群度以文本和/或图形界面的形式在监控设备的屏幕上显示。
21.一种监控设备,包括如权利要求11-20中任一项所述的异常检测应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610460968.1A CN105893213B (zh) | 2016-06-22 | 2016-06-22 | 一种异常检测方法、应用和监控设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610460968.1A CN105893213B (zh) | 2016-06-22 | 2016-06-22 | 一种异常检测方法、应用和监控设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105893213A CN105893213A (zh) | 2016-08-24 |
CN105893213B true CN105893213B (zh) | 2018-04-20 |
Family
ID=56718841
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610460968.1A Active CN105893213B (zh) | 2016-06-22 | 2016-06-22 | 一种异常检测方法、应用和监控设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105893213B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871190B (zh) * | 2016-09-23 | 2021-12-14 | 阿里巴巴集团控股有限公司 | 一种业务指标监控方法及装置 |
CN106771565B (zh) * | 2016-11-29 | 2019-08-02 | 上海申瑞继保电气有限公司 | 异常有功电度量处理方法 |
CN106991034A (zh) * | 2017-04-01 | 2017-07-28 | 奇酷互联网络科技(深圳)有限公司 | 一种监控卡顿的方法和设备以及移动终端 |
JP6824121B2 (ja) * | 2017-07-14 | 2021-02-03 | 株式会社東芝 | 状態検知装置、状態検知方法及びプログラム |
CN108156449A (zh) * | 2017-12-01 | 2018-06-12 | 北京世纪东方通讯设备有限公司 | 一种视频质量诊断处理方法及装置 |
CN108776694A (zh) * | 2018-06-05 | 2018-11-09 | 哈尔滨工业大学 | 一种时间序列异常点检测方法及装置 |
CN109146236A (zh) * | 2018-07-06 | 2019-01-04 | 东软集团股份有限公司 | 指标异常检测方法、装置、可读存储介质及电子设备 |
WO2020082383A1 (zh) * | 2018-10-26 | 2020-04-30 | 深圳市欢太科技有限公司 | 数据处理方法、装置、电子设备及计算机可读取存储介质 |
CN109578090B (zh) * | 2019-01-07 | 2021-09-21 | 北京博力威格智能传控设备有限公司 | 一种透平机械及其转速计算算法 |
CN109990789A (zh) * | 2019-03-27 | 2019-07-09 | 广东工业大学 | 一种飞行导航方法、装置及相关设备 |
CN110890998B (zh) * | 2019-11-06 | 2021-08-27 | 厦门网宿有限公司 | 一种确定阈值的方法及装置 |
CN112733904B (zh) * | 2020-12-30 | 2022-03-25 | 佛山科学技术学院 | 一种水质异常检测方法及电子设备 |
CN112988536B (zh) * | 2021-03-09 | 2023-08-22 | 北京奇艺世纪科技有限公司 | 一种数据异常检测方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101795215A (zh) * | 2010-01-28 | 2010-08-04 | 哈尔滨工程大学 | 网络流量异常检测方法及检测装置 |
CN101826996A (zh) * | 2010-03-19 | 2010-09-08 | 中国科学院计算机网络信息中心 | 域名系统流量检测方法与域名服务器 |
CN102148701A (zh) * | 2011-01-14 | 2011-08-10 | 广东商学院 | 用于监控系统中监控指标的趋势分析方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101360790B1 (ko) * | 2009-04-22 | 2014-02-11 | 한국전력공사 | 발전소 계측기 성능 감시 예측 방법 |
-
2016
- 2016-06-22 CN CN201610460968.1A patent/CN105893213B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101795215A (zh) * | 2010-01-28 | 2010-08-04 | 哈尔滨工程大学 | 网络流量异常检测方法及检测装置 |
CN101826996A (zh) * | 2010-03-19 | 2010-09-08 | 中国科学院计算机网络信息中心 | 域名系统流量检测方法与域名服务器 |
CN102148701A (zh) * | 2011-01-14 | 2011-08-10 | 广东商学院 | 用于监控系统中监控指标的趋势分析方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于网络异常流量的突发毁击事件检测技术研究与应用;曹敏;《中国优秀硕士学位论文全文数据库信息科技辑》;20120215;第41-48页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105893213A (zh) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105893213B (zh) | 一种异常检测方法、应用和监控设备 | |
CN112150311B (zh) | 能耗异常状态检测方法、装置、计算机设备和存储介质 | |
CN112102432B (zh) | 空气质量垂直分布图绘制方法、装置及存储介质 | |
JP6543028B2 (ja) | 異常診断装置及び異常診断方法 | |
WO2022205612A1 (zh) | 时序数据对抗样本生成方法、系统、电子设备及存储介质 | |
CN113837596B (zh) | 一种故障确定方法、装置、电子设备及存储介质 | |
WO2019098226A1 (ja) | 損傷診断装置、損傷診断方法、及び、損傷診断プログラムが格納された記録媒体 | |
CN105488331B (zh) | 数据处理方法及装置 | |
JP2020134300A (ja) | 予測方法、予測プログラム及び情報処理装置 | |
CN115392037A (zh) | 设备故障预测方法、装置、设备及存储介质 | |
CN109711035A (zh) | 城市模型构建方法及装置 | |
CN117458450B (zh) | 电力数据能耗预测分析方法及系统 | |
JP2016081471A (ja) | 消費電力の予測装置および方法 | |
CN114067317A (zh) | 染色体异常事件的检测方法、装置、电子设备及介质 | |
Zhang et al. | Multiscale global and local self-attention-based network for remaining useful life prediction | |
CN117557138A (zh) | 一种生产设备运行状态的评估方法、装置、介质及设备 | |
Rotar et al. | Fault coverage-aware metrics for evaluating the reliability factor of solar tracking systems | |
CN117313533A (zh) | 换流阀组件状态预测方法、装置、设备、介质和产品 | |
CN112665730A (zh) | 震前温度异常检测方法、装置、设备和存储介质 | |
CN112346838A (zh) | 一种基于物联网的智能调度方法及装置 | |
CN116486146A (zh) | 一种旋转机械设备的故障检测方法、系统、装置和介质 | |
CN115641549A (zh) | 一种主推进柴油机组健康监测方法和系统 | |
CN111881259B (zh) | 一种基于文本挖掘的设备故障概率评估方法及系统 | |
JP2019095370A (ja) | 疲労損傷診断方法、疲労損傷診断システム及び疲労損傷診断プログラム | |
CN111988813A (zh) | 移动通信网络中弱覆盖小区的确定方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |