CN104350471B - 在处理环境中实时地检测异常的方法和系统 - Google Patents

在处理环境中实时地检测异常的方法和系统 Download PDF

Info

Publication number
CN104350471B
CN104350471B CN201380027836.4A CN201380027836A CN104350471B CN 104350471 B CN104350471 B CN 104350471B CN 201380027836 A CN201380027836 A CN 201380027836A CN 104350471 B CN104350471 B CN 104350471B
Authority
CN
China
Prior art keywords
value
sequence
ray
normalized
normalized value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380027836.4A
Other languages
English (en)
Other versions
CN104350471A (zh
Inventor
A.E.比姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN104350471A publication Critical patent/CN104350471A/zh
Application granted granted Critical
Publication of CN104350471B publication Critical patent/CN104350471B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577Assessing vulnerabilities and evaluating computer system security
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/552Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了一种用于在处理环境中检测异常的方法。所述方法包括利用处理器获得在处理环境的处理器的处理间隔中采集的值的序列。所述处理器正规化值的这一第一序列以获得正规化的值的第一序列。通过向所述正规化的值的第一序列应用预测滤波器来产生正规化的值的第二序列。通过将所述正规化的值的第一序列与所述正规化的值的第二序列相比较来从正规化的值产生比较分值。所述方法然后确定所述比较分值相对于从在所述处理间隔中采集的值导出的至少一个其它比较分值是否代表异常。

Description

在处理环境中实时地检测异常的方法和系统
相关申请的交叉引用
本申请要求2012年6月28日提交的美国专利申请序列号13/535,743以及2012年7月26日提交的美国专利申请序列号为13/558,727的权益,其每一个的全部内容通过引用结合于此。
技术领域
本技术的一个方面涉及在处理环境中检测异常。
背景技术
大规模主机基础设施和平台形成很多处理环境,包括用于云计算和企业数据中心的计算机系统。这些计算机系统的大小、所述系统执行的事务的数量以及处理的大量数据致使这些系统容易出现异常。异常是在进入的数据中的不期望的改变或进入的数据中的偏离所期望的行为的模式(pattern)。异常由例如瓶颈、内存泄露、硬件故障等引起。
在复杂计算机系统上监视数据以发现异常并且实时地识别异常避免了这样的异常累积和影响系统的效率以及在最差的情况中导致系统或系统的一部分发生故障。
发明内容
通过提供用于在处理环境中检测异常的计算机程序产品,克服了现有技术的缺点并且提供了额外的优点。计算机程序产品例如包括能够由处理电路读取并且存储用于由处理电路执行以执行下述方法的指令的计算机可读存储介质,所述方法包括:由处理器获取在处理环境的处理器的处理间隔中采集的值的序列;由处理器正规化所述值的序列以获得正规化的值的第一序列;通过向所述正规化的值的第一序列应用预测滤波器来产生正规化的值的第二序列;通过将所述正规化的值的第一序列与所述正规化的值的第二序列相比较来产生比较分值;以及确定所述比较分值相对于从在所述处理间隔中采集的值中导出的至少一个其它比较分值是否代表异常。
还描述并且在这里可以要求保护涉及本技术的一个或多个方面的计算机系统和方法。此外,还描述了并且在这里可以要求保护涉及本技术的一个或多个方面的服务。
额外的特征通过本发明的技术实现。这里详细描述了本发明的其它实施例和各个方面,并且本发明的其它实施例和各个方面被视为所要求保护的发明的一部分。
附图说明
在说明书末尾处的权利要求中,本发明的一个或多个方面被具体指出并且作为示例而被明确要求保护。前述以及本发明的一个或多个方面的目标、特征和优点从下述结合附图进行的详细描述中变得清晰,其中:
图1描述了用于执行本发明实施例的一个或多个方面的计算环境的一个示例;
图2描述了用于执行包括本发明实施例的一个或多个方面的过程的逻辑的一个实施例;
图3描述了示出了用于确定比较分值是否代表异常的计算的正常值范围的曲线图;
图4描述了根据本发明的一个或多个方面的用于在处理环境中检测异常的方法的一个实施例的工作流程;
图5描述了包含并且使用本发明的一个或多个方面的单处理器计算环境的一个实施例;以及
图6描述了包含本发明的一个或多个方面的计算机程序产品的一个实施例。
具体实施方式
本技术代表了对先前的用于异常检测的系统和方法的改进,因为本技术实时地检测异常并且不使用诸如预先建立的预测模型和/或训练数据的基础数据。目前的异常检测解决方案在它们能够检测出异常之前需要基础数据。一些检测解决方案需要在该计算机系统内实现定义什么构成异常的模型。其它检测解决方案需要“训练数据,”即教导系统数据中的什么特性构成异常的数据。本发明的方面的自适应特性允许其开始实时地检测异常而不需要基础数据。
图1描述了本技术的实施例的技术架构100。在该实施例中,计算机系统110(可以包括云和/或企业系统)正在被通过网络连接131连接到计算机系统110的服务器120监控。该网络连接131包括但不限于无线和/或有线连接。异常检测软件正在被服务器120上的一个或多个处理器(未画出)执行。在本技术的进一步实施例中,该异常检测软件在计算机系统110自身的资源上被执行。在本技术的进一步实施例中,该软件的执行分布在计算机系统110外部和/或内部的更多资源之一上。在该实施例中,服务器中的至少一个传感器130接收来自计算机系统110中的资源的时间序列中的数据。在计算机系统110是云或企业计算系统的实施例中,至少一个传感器130接收多个时间序列数据,因为该数据是从多于一个资源接收的。在进一步的实施例中,一个或多个传感器130位于计算机系统110内部和/或外部。
参考图2,提供了本技术的异常检测系统的实施例的模块的图200。在该实施例中,采用一系列模块以在处理环境中确定是否存在异常。本技术评估在计算机系统中的时间序列中的给定数据是否包含异常。该模块包括但不限于:1)正规化(normalization)模块210;2)周期性(seasonal)调节模块220;3)多变量变换模块230;4)自适应预测滤波器240;5)分值计算模块250;6)分布间隔模块260;以及7)分类模块270。这些模块一起执行自适应逻辑以判定在序列(时间序列)中的数据是否包含异常。通过在时间序列中建立和调整关键性能指标(KPI),本技术最终确定在时间序列中的数据是否表示系统异常。
本技术最终评估比较分值,即代表在给定时刻处的期望数据值和实际数据值之间的差的分值。通过将该比较分值与在相似的时间段期间在计算机系统中计算出的比较分值比较,本技术确定在该比较分值代表的时间期间是否出现系统异常。
将单独的任务分到图2的实施例中的模块中是过程分布的非限制性示例,并且不表示计算机程序代码的结构或者该代码在哪里执行。本领域的技术人员会认识到,计算机程序代码的功能可以在一个或多个物理模块中实施并且在一个或多个处理器上、在一个或多个计算资源中执行。为说明的目的提供图2以指明本方法中的由特别配置的计算机执行的和/或在计算机程序产品中实施的不同活动。
参考图2,正规化模块210被用于逐步地正规化在预定量的时间内或连续地以时间序列从计算机系统110中的多个源提供的事务数据。时间序列是通常在以均匀的时间间隔隔开的连续的时刻处测量出的数据点的序列。
正规化模块210实时地监控由计算机系统处理的时间序列中的数据以建立平均值以及相对于平均值的标准差,即,关键性能指标(KPI)。每个KPI代表在给定时刻(t)的时间序列中的数据的特性。正规化模块210激活的时间越长,平均值和标准差就变得越准确。
根据本发明的方面,不使用训练数据或数据模型来识别异常。替代地,正规化模块210以及该系统的其它模块是自适应的,自适应是指这些模块根据可用的资源改变它们的行为。因此,当接收到的数据中的模式(pattern)改变时,正规化模块210自适应。当数据随着时间积累时,系统的准确性提高。具体地,当程序启动时被初始地视为异常的内容将在之后被显示为不是异常的偏差。正规化模块210的输出是正规化的KPI。每个正规化的KPI代表与在给定时刻(t)由传感器130接收到的时间序列中的数据有关的值。
在图1的实施例中,一旦数据变得可以从至少一个传感器130获得,正规化处理就在计算机系统110中开始。时间序列由xt=(xt(1)...xt(n))表示,其中t随时间不确定地增加;n的大小表示在给定时刻被监控的时间(time)的总数。当每个传感器从系统的各种部分采集各种数据时,x的分量是不相同的。在本技术的实施例中,数据的时间序列利用下述等式1被正规化为KPI。每个进入样本xt被实时地正规化如下:
在时刻t的平均值μt和协方差矩阵Σt(假设是对角的)也被逐步地估计为:
其中“Diag”指的是对角算符(提取矩阵对角线的算符)并且T是转置算符。在本技术的实施例中,所期望的是,停止在某个指定的时间段的平均值和协方差的逐步估计以避免在异常区域中的正规化。
返回图2,描述了周期性调节模块220。周期性调节模块220当与在不同时刻接收到的时间序列相比时周期性数据模式(pattern)影响所述时间序列中的数据的时候,帮助异常检测。在一些实施例中,用户将周期性的数据模式输入进系统中,使得可以从时间序列数据和KPI提取可归因于这些模式的数据中的任何异常。在周期性因素不影响数据的本技术的实施例中,该模块被排除和/或绕过。
将周期性的数据模式输入进系统中潜在地消除了一些假异常结果。例如,尽管在给定系统中的100个事务在星期日的上午两点可能是正常的,但是这个低的数量可能在星期一的下午两点指示问题。如果被输入,代表这种情况的周期性数据会消除当在星期日早上处理的事务的数量例如远少于星期一下午的预期时的假异常结果。因此,在时间序列数据根据周期性使用模式大幅度变化的计算机系统中,周期性调节模块220是有用的,因为在给定时刻可能被识别为异常数据模式的内容可能由于周期性因素而对于该时刻实际上是正常的。因此,通过包含该模块减少了假异常结果。消除周期性的影响提高了数据的准确性。
连同周期性因素一起,另一个能够影响KPI值的因素是产生了所述时间序列数据的计算机系统110中的资源。KPI的实际值可能是令人误解的,因为计算资源的能力(power)和特征在诸如云或者企业计算环境的计算机系统110上变化。因此,为消除这些外部因素的影响,进一步通过图2的多变量变换模块230中的多变量变换调节KPI。
多变量变换模块230通过应用变换如下所示地将每个KPI转换为多变量KPI(mKPI)。该变换将由正规化模块210计算的每个KPI移动到更能够进行异常追踪的新的空间。多变量变换模块230通过对于时间序列中的每个时刻将原来的度量(metric)变换为mKPI来减小KPI的实际维度(dimension)。
因此,代替使用作为对在从中产生所述时间序列数据的资源的空间中的该时间序列数据的观察(view)的KPI,一旦KPI被转换为mKPI,则该时间序列数据在作为整体的计算机系统110的上下文中被观察和理解。在该空间中,来自给定时间序列的数据的移动和模式更加容易明确,而无论该数据源自的计算机系统110中的资源是什么。
在资源之间没有规格(specification)矛盾的计算机系统中,该模块所寻求消除的外部因素不太可能出现。因此,不具有该模块的本技术的实施例可以在处理环境中用信号通知异常。
从KPI导出mKPI的技术包括但不限于离散余弦变换(DCT)、离散小波变换(DWT)、多维到多维映射和/或诸如主分量分析(PCA)的统计估计变换。类似于KPI,mKPI也代表在给定时刻(t)处的时间序列中的数据的特性。
在多变量变换模块230使用DCT以在时间序列中的每个时刻导出mKPI值的本技术的实施例中,该变换产生以下的值。在该示例中,zt是从等式1导出的正规化的值,yt代表变换后的值。
yt=DCT(zt) (4)
在图2的实施例中,一旦导出mKPI,该多变量变换就被传递给自适应预测滤波器模块240。该模块使用预测滤波器,该预测滤波器也被称为自适应预测滤波器,因为当该滤波器评估来自给定的计算机系统的更多的数据时,智能提高。
通过向mKPI应用逻辑推导,自适应预测滤波器模块240取得给定时刻的mKPI,并且预测时间序列中的下一个时刻处的下一个mKPI。给定第一个时刻(t)的第一个mKPI,自适应预测滤波器模块240预测第二个时刻(例如,t+5分钟)处的mKPI。在第二个时刻处的预测的mKPI与从多变量变换模块230接收的在该第二时刻处的实际mKPI相比较晚。对于每个t和相应的mKPI,自适应预测滤波器模块240计算在下一个时刻(t+x)处的预测的mKPI。如果在给定的时间序列中有十个时刻,并且因此有10个mKPI值,自适应预测滤波器模块240对于这10个mKPI值的每一个预测下一个值。在本技术的一些实施例中,预测滤波器模块240还估计每个预测的值周围的方差。
对于输入到自适应预测滤波器的每个数据点,滤波器可以预测在较晚的时间点处的数据。例如,如果十个值从上午10:00起被输入进预测滤波器,将产生十个结果,即用于较晚的时刻(例如上午10:05)的十个预测的值。
在本技术的各种实施例中的自适应预测滤波器模块240中所使用的滤波器包括但不限于卡尔曼滤波器、衰减多项式存储滤波器(Faded-Polynomial memory filter)、和/或自回归滤波器(AR)、向前一步预测器(one-step ahead predictor)及其变形。滤波器是递归的并且不在批量模式(batch mode)下操作。替代地,每个滤波器使用来自先前预测的mKPI的结果以及新的mKPI预测下一个mKPI。与正规化模块210一样,自适应预测滤波器模块240的预测随着提供更多数据而改善。
本技术的实施例在自适应预测滤波器模块240中使用衰减存储多项式滤波器(Fading-Memory Polynomial Filter)(FMP)。
等式1和4中导出的变量在下述等式中重复。在该实施例中,在FMP中,来自等式4的变换后的值yt代表在时刻t处的多变量向量yt的分量之一,并且是对分量yt在时刻t处测量的预测误差的估计值。
其中是在观察数据直到时刻t–2之后,在时刻t–1处的预测的样本。变量表示的估计的一阶导数并且0是有效定义FMP滤波器的时间常数的参数。在时刻t-1处的期望的样本估计如下:
该滤波器产生期望值的估计值以及在该期望值附近的方差的估计值。
在图2的实施例中,一旦对于具有给定数量的时刻的时间序列了解了在每个时刻(t)处的预测的mKPI与在该t处的实际mKPI之间的方差,就通过分值计算模块250计算出比较分值。该比较分值(也被称为检测分值)是由分值计算模块250根据余差计算的,所述余差是从来自自适应预测滤波器模块240的预测的值和实际的值之间的差在每个mKPI的基础上导出的。本技术的各种实施例利用各种方法计算这些分值,所述方法包括但不限于求余差的平均值、找出余差的中位数、求出余差的几何平均和/或计算任何或所有这些列举的方法的加权值。
本技术的分值计算模块250的实施例使用下述计算来计算比较分值。通常根据x2统计值(statistics)产生比较分值,该x2统计值定义为:
上述等式中的变量从等式1-6中导出和参考(reference)。在本技术的进一步实施例中,使用捕捉在各种维度上的时间序列的行为的变化的计算来计算该比较分值。下面是使得能够捕捉在各种维度上的行为的变化的维度鲁棒统计:
时间序列中的给定时刻处的mKPI的比较分值并不单独地指示相应数据是否代表系统异常。返回图2,在比较分值被计算后,该比较分值被解释以确定这个定量的分值在给定计算机系统110中是否代表数据异常。为辅助该解释,图2的实施例采用分布间隔模块260。所述分布间隔模块260在一时间段上累积比较分值,并且确定什么范围的值构成用于在预定的时间段中产生的比较分值的正常值区域,即,代表正常处理活动的值范围。
在本技术的实施例中,在被分配后,分布间隔模块260将分值分区段存储(bucket)在分布间隔模块260可访问的存储资源中。在相同的区段中组合的分值是在预定时间间隔上被采集的分值。在本技术的实施例中,该区段的大小,或者更确切地说,所述区段将采集比较分值的时间间隔是可以由用户配置的。在本技术的另一个实施例中,区段大小基于该计算机系统的错误容限。
该分布间隔模块260的区段在预定时间间隔的期间上采集分值。例如,在本技术的实施例中,每个区段构成计算机系统启动并运行的半个小时的时间。在预定的时间间隔上采集分值之后,分布间隔模块260实时地计算所述分值的第一四分位数、第二四分位数、第三四分位数和中位数,从而通过随时间的数据采集而在分值中从而在时间序列数据中确定什么是“正常的”和什么是“异常的”。但是,因为计算是实时发生的,所以永远也没有正常值范围不存在的时刻,该范围只是随着更多的数据在预定时间区段期间累积而改变和自适应。当数据进入时,该模块连续地计算第一上异常值(outlier)、下异常值、和四分位数间间隔、四分位数间范围(IQR)、第一和第三四分位数之间的距离。在本技术的实施例中,正常值范围是在最高异常值减去与平均值的标准差和最低异常值加上与平均值的标准差之间的区域。
在本技术的实施例中,当进入的样本落在正常值范围之外时,分类模块270返回指示发生异常的结果,所述正常值范围由在分布间隔模块260中计算的异常值定义。该范围的界限可以被称为阈值。例如,当比较分值落在最高第一异常值之上、最低第一异常值之下、和/或该分值与平均值的距离高于标准差的一点五(1.5)倍时,比较分值可以被标记为指示异常。利用分布间隔模块260建立的这些阈值,分类模块270确定是否存在异常。
图3是在给定间隔中绘制并且与确定的正常值范围的上阈值比较的比较分值的图形表示。如图3所表示,绘制的比较分值是通过将序列中的每个时刻位置处的实际mKPI与在序列中的相同位置处的预测的mKPI比较而导出的。当超过正常值范围的阈值时,对应于该比较分值的序列中的点处的数据构成异常。
返回图2,在本技术的实施例中,分类模块270返回值“1”以代表在数据中发现的异常以及返回值“0”以代表在数据中没有发现异常。
图4是本技术的实施例的工作流程400。该工作流程400包括从数据中移除周期性因素以及使用多变量变换,如之前所述的,移除周期性因素以及使用多变量变换是取决于所监控的处理环境的特性而使用的。
包括了工作流程400以强调包括数据的变换以及对于特定数据是否构成异常的确定的活动并不限制于特定模块。图2是可能的程序模型的示例。工作流程400描述了在非模块化的模型中的本技术的方面的逻辑的实施例。
参考图4,首先,一个或多个传感器130接收时间序列数据(S410)。正规化该数据以对于所述序列中的给定时间点处的数据建立单独的KPI(S420)。将周期性模式从KPI中移除(S430)。一旦移除周期性数据,KPI经历多变量变换,使得数据能够在作为整体的系统的上下文中被看到,而不是在产生所述数据的计算机系统110的单独元件的上下文中被看到。为了将KPI移动到新的空间,将KPI转换为mKPI(S440)。
利用自适应预测滤波器对给定时刻处的mKPI滤波以预测时间序列中的下一个时刻处的mKPI(S450)。自适应滤波器用于对于每个数据点预测下一个mKPI。将用于一时刻的实际mKPI与自适应滤波器对于相同的时刻预测的时刻比较以确定比较分值(S460)。在预定义的时间段上累积比较分值并且在该累积期间,所述分值被分类为属于第一四分位数、第二四分位数和第三四分位数。计算中位数、第一上异常值、下异常值、和四分位数间的间隔(S470)。定义正常区域的条件(S480)。当分值累积进行时,随着所述时间段的过去而利用更多数据建立所述区域的边界和界限。
当分值被累积并且用于建立阈值时,进入的比较分值被分类为正常或者异常。系统的准确性随着累积更多mKPI而提高,但是实时地做出所述确定(determination)。将每个比较分值与正常区域比较(S490)并且如有所述分值落入该区域中,代表该数据为正常的结果被返回。如果所述分值落在该区域之外,代表该数据包含异常的结果被返回。
图5描述了作为本技术的某些实施例的技术架构的一部分的计算机系统110和/或服务器120中的资源500的框图。资源500可以包括电路502,所述电路502在某些实施例中可以包括微处理器504。计算机系统500还可以包括存储器506(如,易失性存储设备)和贮存器508。贮存器508可以包括非易失性存储设备(如,EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、固件、可编程逻辑等)、磁盘驱动器、光盘驱动器、磁带驱动器等。贮存器508可以包括内部贮存设备、附加的贮存设备和/或网络可访问的贮存设备。系统500可以包括包含代码512的程序逻辑510,所述代码512可以被加载进存储器506并由微处理器504或电路502执行。
在某些实施例中,程序逻辑510包括可以被存储在贮存器508或存储器506中的代码512。在某些其它实施例中,程序逻辑510可以在电路502中实现。因此,虽然图5将程序逻辑510与其它元件相分离地示出,程序逻辑510可以在存储器506和/或电路502中实现。
使用资源500的处理资源执行软件、计算机可读的代码或指令并不限制该代码可被存储的位置。参考图6,在一个示例中,计算机程序产品600包括例如一个或多个非瞬时计算机可读存储介质602,以在其上存储计算机可读的程序代码部件或逻辑604以提供和促进本技术的一个或多个方面。
所属技术领域的技术人员知道,本发明的各个方面可以实现为系统、方法或计算机程序产品。因此,本发明的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、驻留软件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。此外,在一些实施例中,本发明的各个方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++等,还包括常规的过程式程序设计语言—诸如“C”语言、汇编语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些计算机程序指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。
也可以把这些计算机程序指令存储在计算机可读介质中,这些指令使得计算机、其它可编程数据处理装置、或其他设备以特定方式工作,从而,存储在计算机可读介质中的指令就产生出包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的指令的制造品(article of manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置或其它设备上,以使得在计算机、其它可编程装置或其它设备上实行一系列操作步骤以产生计算机实现的处理,使得在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图的一个或多个块中指明的功能/动作的处理。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
除了上述内容之外,本技术的一个或多个方面可以由供应客户环境管理的服务提供商提供、供应、部署、管理、服务等。例如,服务提供商可以为一个或多个客户创建、维护、支持等执行本技术的一个或多个方面的计算机代码和/或计算机基础设施。作为回报,例如,服务提供商可以在订购和/或费用约定下收到来自客户的报酬。附加地或者可替代地,服务提供商可以收到来自向一个或多个第三方的广告内容销售的报酬。
在本技术的一个方面中,可以部署用于执行本技术的一个或多个方面的应用。作为一个示例,应用的部署包括提供可操作以执行本技术的一个或多个方面的计算机基础设施。
作为本技术的另一方面,可以部署计算基础设施,包括将计算机可读代码集成进计算系统中,其中与计算系统结合的该代码能够执行本技术的一个或多个方面。
作为本技术的再一方面,可以提供用于集成计算基础设施的处理,包括将计算机可读代码集成进计算机系统。计算机系统包括计算机可读介质,其中该计算机介质包括本技术的一个或多个方面。与计算机系统结合的该代码能够执行本技术的一个或多个方面。
此外,其它类型的计算环境可以从本技术的一个或多个方面受益。作为示例,环境可以包括仿真器(如,软件或者其它仿真机构),其中(例如在具有处理器和存储器的原生计算机系统上)仿真特定的架构(包括例如指令执行、架构化功能(诸如地址转换)和架构化寄存器)或者其子集。在这样的环境中,仿真器的一个或多个仿真功能可以实现本技术的一个或多个方面,即使执行该仿真器的计算机可能具有与所仿真的能力不同的架构。作为一个示例,在仿真模式中,正在被仿真的特定的指令或操作被解码,并且建立适当的仿真功能以实现该单独的指令或操作。
在仿真环境中,主计算机包括例如:存储指令和数据的存储器;从存储器读取指令并且可选地为读取的指令提供本地缓冲的指令读取单元;接收读取的指令并确定已经读取的指令的类型的指令解码单元;以及执行指令的指令执行单元。执行可以包括将数据从存储器加载进寄存器中;将数据从寄存器存储回存储器;或者执行解码单元确定的某种类型的算术或逻辑运算。在一个示例中,每个单元用软件实现。比如,由单元执行的操作被实现为仿真软件中的一个或多个子例程。
此外,适用于存储和/或执行程序代码的数据处理系统是可用的,所述数据处理系统包括直接或通过系统总线间接耦合到存储器元件的至少一个处理器。存储器元件包括例如在实际执行程序代码时所采用的本地存储器、大容量贮存器(bulk storage)以及提供至少某个程序代码的临时贮存以便减少在执行期间必须从大容量贮存器取回代码的次数的高速缓冲存储器(cache memory)。
输入/输出或者I/O设备(包括但不限于键盘、显示器、指示设备、DASD、磁带、CD、DVD、拇指驱动器和其它存储介质等)可以直接或者通过中间的I/O控制器耦合到系统。网络适配器也可以耦合到系统以使得数据处理系统能够变为通过中间的私有或公共网络耦合到其它数据处理系统或远程的打印机或贮存设备。调制解调器、电缆调制解调器和以太网卡仅是可用的类型的网络适配器的几种。
这里所用的术语仅是为了描述特定的实施例的目的并且不意欲限制本发明。如这里所用的,除非上下文中明确地指出其它形式,否则单数形式的“一(a)”、“一个(an)”和“该(the)”意欲也包括复数形式。还应理解的是,术语“包括”和/或“包含”当在本说明书中使用时指明所述的特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组的存在或增加。
所附权利要求中的所有部件或步骤加功能的元素(如果有的话)的对应结构、材料、动作和等同物意欲包括用于与明确要求保护的其他要求保护的元素相结合而执行所述功能的任何结构、材料或动作。为了说明和描述的目的呈现了对本技术的描述,但是对本技术的描述无意是穷举性的或限于所公开的形式的发明。对于本领域普通技术人员来说,在不背离本发明的范围和精神的情况下,很多修改和变化都将是显而易见的。选择和描述所述实施例,以便最好地解释本发明的原理和实际应用,并且使得其他本领域普通技术人员能够对于具有适合于所想到的特定用途的各种修改的各种实施例理解本发明。

Claims (16)

1.一种用于在处理环境中检测异常的方法,所述方法包括:
由处理器获得在处理环境的处理器的处理间隔中采集的值的序列,其中所述值包括在所述处理环境中多个源提供的事务数据;
由处理器正规化所述值的序列以获得正规化的值的第一序列;
通过向所述正规化的值的第一序列应用预测滤波器来产生正规化的值的第二序列,其中所述正规化的值的第二序列的每一个正规化的值包括由所述预测滤波器基于所述第一序列的值在所述处理间隔的下一个时刻处预测的预测值;
通过将所述正规化的值的第一序列与所述正规化的值的第二序列相比较来产生比较分值;以及
确定所述比较分值相对于从在所述处理间隔中采集的值导出的至少一个其它比较分值是否代表异常。
2.根据权利要求1所述的方法,其中所述正规化的值的第一序列和所述正规化的值的第二序列是按时间排序的,并且在所述正规化的值的第二序列中的第一位置具有与在所述正规化的值的第一序列中的第二位置相同的时刻,并且所述第一位置领先所述第二位置一个位置,并且其中所述产生比较分值包括:
将来自所述正规化的值的第一序列的具有给定时刻位置的至少一个值与来自所述正规化的值的第二序列的具有给定时间位置的至少一个其它值相比较。
3.根据权利要求1所述的方法,其中所述确定还包括:
将四分位数间估计器应用到所述比较分值以及所述至少一个其它比较分值;以及
使用来自四分位数间估计器的结果,建立代表正常处理活动的值范围,其中,所述至少一个其它比较分值位于该值范围内。
4.根据权利要求1所述的方法,其中所述比较分值包括以下之一:
所述第一序列和所述第二序列之间的差的平均值、所述第一序列和所述第二序列之间的差的中位数、所述第一序列和所述第二序列之间的几何平均值、所述第一序列和所述第二序列之间的加权平均值。
5.根据权利要求1、2、3或4所述的方法,其中所述方法还包括:
将多变量变换应用到所述正规化的值的第一序列以移除特定于所述处理环境的不需要的特性,其中所述应用将所述正规化的值的第一序列标准化以应用所述预测滤波器。
6.根据权利要求5所述的方法,其中所述多变量变换利用以下之一:
离散余弦变换、离散小波变换、主分量分析的统计估计变换、多维到多维映射。
7.根据权利要求1、2、3或4所述的方法,其中所述预测滤波器包括以下之一:
卡尔曼滤波器、衰减多项式存储滤波器、自回归滤波器、向前一步预测器。
8.根据权利要求1、2、3或4所述的方法,其中所述处理间隔是可配置的。
9.一种用于在处理环境中检测异常的计算机系统,所述计算机系统包括:
存储器;以及
与存储器通信的处理器,其中所述计算机系统被配置为执行方法,所述方法包括:
由处理器获得在处理环境的处理器的处理间隔中采集的值的序列,其中所述值包括在所述处理环境中多个源提供的事务数据;
由处理器正规化所述值的序列以获得正规化的值的第一序列;
通过向所述正规化的值的第一序列应用预测滤波器来产生正规化的值的第二序列,其中所述正规化的值的第二序列的每一个正规化的值包括由所述预测滤波器基于所述第一序列的值在所述处理间隔的下一个时刻处预测的预测值;
通过将所述正规化的值的第一序列与所述正规化的值的第二序列相比较来产生比较分值;以及
确定所述比较分值相对于从在所述处理间隔中采集的值导出的至少一个其它比较分值是否代表异常。
10.根据权利要求9所述的计算机系统,其中所述正规化的值的第一序列和所述正规化的值的第二序列是按时间排序的,并且在所述正规化的值的第二序列中的第一位置具有与在所述正规化的值的第一序列中的第二位置相同的时刻,并且所述第一位置领先所述第二位置一个位置,并且其中所述产生比较分值包括:
将来自所述正规化的值的第一序列的具有给定时刻位置的至少一个值与来自所述正规化的值的第二序列的具有给定时间位置的至少一个其它值相比较。
11.根据权利要求9所述的计算机系统,其中所述确定还包括:
将四分位数间估计器应用到所述比较分值以及所述至少一个其它比较分值;以及
使用来自四分位数间估计器的结果,建立代表正常处理活动的值范围,其中,所述至少一个其它比较分值位于该值范围内。
12.根据权利要求9所述的计算机系统,其中所述比较分值包括以下之一:
所述第一序列和所述第二序列之间的差的平均值、所述第一序列和所述第二序列之间的差的中位数、所述第一序列和所述第二序列之间的几何平均值、所述第一序列和所述第二序列之间的加权平均值。
13.根据权利要求9、10、11或12所述的计算机系统,其中所述方法还包括:
将多变量变换应用到所述正规化的值的第一序列以移除特定于所述处理环境的不需要的特性,其中所述应用将所述正规化的值的第一序列标准化以应用所述预测滤波器。
14.根据权利要求9、10、11或12所述的计算机系统,其中所述预测滤波器包括以下之一:
卡尔曼滤波器、衰减多项式存储滤波器、自回归滤波器、向前一步预测器。
15.根据权利要求9、10、11或12所述的计算机系统,其中所述处理间隔是可配置的。
16.根据权利要求13所述的计算机系统,其中所述多变量变换利用以下之一:
离散余弦变换、离散小波变换、主分量分析的统计估计变换、多维到多维映射。
CN201380027836.4A 2012-06-28 2013-06-11 在处理环境中实时地检测异常的方法和系统 Expired - Fee Related CN104350471B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/535,743 US8914317B2 (en) 2012-06-28 2012-06-28 Detecting anomalies in real-time in multiple time series data with automated thresholding
US13/535,743 2012-06-28
US13/558,727 US8924333B2 (en) 2012-06-28 2012-07-26 Detecting anomalies in real-time in multiple time series data with automated thresholding
US13/558,727 2012-07-26
PCT/US2013/045122 WO2014004073A2 (en) 2012-06-28 2013-06-11 Detecting anomalies in real-time in multiple time series data with automated thresholding

Publications (2)

Publication Number Publication Date
CN104350471A CN104350471A (zh) 2015-02-11
CN104350471B true CN104350471B (zh) 2017-05-03

Family

ID=49779204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380027836.4A Expired - Fee Related CN104350471B (zh) 2012-06-28 2013-06-11 在处理环境中实时地检测异常的方法和系统

Country Status (5)

Country Link
US (2) US8914317B2 (zh)
CN (1) CN104350471B (zh)
DE (1) DE112013003277B4 (zh)
GB (1) GB201500324D0 (zh)
WO (1) WO2014004073A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019224694A1 (en) * 2018-05-24 2019-11-28 International Business Machines Corporation Anomaly detection

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013152402A1 (en) * 2012-04-13 2013-10-17 Blackmagic Design Pty Ltd Camera
US8914317B2 (en) 2012-06-28 2014-12-16 International Business Machines Corporation Detecting anomalies in real-time in multiple time series data with automated thresholding
US9043647B2 (en) * 2013-01-02 2015-05-26 Tata Consultancy Services Limited Fault detection and localization in data centers
US20150073894A1 (en) * 2013-09-06 2015-03-12 Metamarkets Group Inc. Suspect Anomaly Detection and Presentation within Context
US9483377B2 (en) * 2013-12-31 2016-11-01 Teradata Us, Inc. Apparatus and method for enabling a user to monitor skew of resource usage across different components of a large database system
US9652354B2 (en) * 2014-03-18 2017-05-16 Microsoft Technology Licensing, Llc. Unsupervised anomaly detection for arbitrary time series
WO2015140841A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 異常を検知する情報処理装置及び異常検知方法
US11017330B2 (en) * 2014-05-20 2021-05-25 Elasticsearch B.V. Method and system for analysing data
US10409665B2 (en) * 2014-06-09 2019-09-10 Northrup Grumman Systems Corporation System and method for real-time detection of anomalies in database usage
US9804951B2 (en) 2014-10-08 2017-10-31 Signalfx, Inc. Quantization of data streams of instrumented software
US20160149776A1 (en) * 2014-11-24 2016-05-26 Cisco Technology, Inc. Anomaly detection in protocol processes
US9846574B2 (en) * 2014-12-19 2017-12-19 Signalfx, Inc. Representing result data streams based on execution of data stream language programs
US10394692B2 (en) 2015-01-29 2019-08-27 Signalfx, Inc. Real-time processing of data streams received from instrumented software
US20170060652A1 (en) * 2015-03-31 2017-03-02 International Business Machines Corporation Unsupervised multisource temporal anomaly detection
US10733264B2 (en) * 2015-06-17 2020-08-04 Tata Consultancy Services Limited System and method for detecting outliers in real-time for a univariate time-series signal
CN104915846A (zh) * 2015-06-18 2015-09-16 北京京东尚科信息技术有限公司 一种电子商务时间序列数据的异常检测方法及系统
EP3323047A4 (en) * 2015-07-14 2019-03-27 Sios Technology Corporation DISTRIBUTED MACHINE LEARNING ANALYSIS FRAMEWORK FOR ANALYZING STREAMING DATA SETS FROM A COMPUTER ENVIRONMENT
US10373070B2 (en) 2015-10-14 2019-08-06 International Business Machines Corporation Anomaly detection model selection and validity for time series data
US10169719B2 (en) * 2015-10-20 2019-01-01 International Business Machines Corporation User configurable message anomaly scoring to identify unusual activity in information technology systems
WO2017086963A1 (en) * 2015-11-19 2017-05-26 Siemens Aktiengesellschaft Anomaly detection in multiple correlated sensors
US9509710B1 (en) 2015-11-24 2016-11-29 International Business Machines Corporation Analyzing real-time streams of time-series data
US10263833B2 (en) 2015-12-01 2019-04-16 Microsoft Technology Licensing, Llc Root cause investigation of site speed performance anomalies
US10171335B2 (en) * 2015-12-01 2019-01-01 Microsoft Technology Licensing, Llc Analysis of site speed performance anomalies caused by server-side issues
US10504026B2 (en) 2015-12-01 2019-12-10 Microsoft Technology Licensing, Llc Statistical detection of site speed performance anomalies
CN105808368B (zh) * 2016-03-15 2019-04-30 南京联成科技发展股份有限公司 一种基于随机概率分布的信息安全异常检测的方法及系统
US10223191B2 (en) 2016-07-20 2019-03-05 International Business Machines Corporation Anomaly detection in performance management
US10372524B2 (en) * 2016-07-28 2019-08-06 Western Digital Technologies, Inc. Storage anomaly detection
US11074514B2 (en) 2016-08-18 2021-07-27 International Business Machines Corporation Confidence intervals for anomalies in computer log data
CN106682159A (zh) * 2016-12-26 2017-05-17 山东鲁能软件技术有限公司 一种阈值配置方法
CN106649755B (zh) * 2016-12-26 2020-08-25 山东鲁能软件技术有限公司 一种多维度实时变电设备数据的阈值自适应设置异常检测方法
EP3590042B1 (en) 2017-03-01 2021-10-06 Visa International Service Association Predictive anomaly detection framework
EP3376446A1 (en) 2017-03-18 2018-09-19 Tata Consultancy Services Limited Method and system for anomaly detection, missing data imputation and consumption prediction in energy data
JP7017861B2 (ja) * 2017-03-23 2022-02-09 株式会社日立製作所 異常検知システムおよび異常検知方法
US11621969B2 (en) 2017-04-26 2023-04-04 Elasticsearch B.V. Clustering and outlier detection in anomaly and causation detection for computing environments
US11783046B2 (en) * 2017-04-26 2023-10-10 Elasticsearch B.V. Anomaly and causation detection in computing environments
EP3401789B1 (en) * 2017-05-09 2023-07-12 Skyline Communications NV Anomaly detection in time series
EP3625716B1 (en) 2017-05-18 2023-08-02 Technische Universität Wien Method and system to identify irregularities in the distribution of electronic files within provider networks
DE102017215341A1 (de) * 2017-09-01 2019-03-07 Siemens Mobility GmbH Verfahren zur Untersuchung eines Funktionsverhaltens einer Komponente einer technischen Anlage, Computerprogramm und computerlesbares Speichermedium
US11250348B1 (en) * 2017-12-06 2022-02-15 Amdocs Development Limited System, method, and computer program for automatically determining customer issues and resolving issues using graphical user interface (GUI) based interactions with a chatbot
US20190228353A1 (en) * 2018-01-19 2019-07-25 EMC IP Holding Company LLC Competition-based tool for anomaly detection of business process time series in it environments
US11036715B2 (en) 2018-01-29 2021-06-15 Microsoft Technology Licensing, Llc Combination of techniques to detect anomalies in multi-dimensional time series
US11914592B2 (en) 2018-02-27 2024-02-27 Elasticsearch B.V. Systems and methods for processing structured queries over clusters
US11165799B2 (en) 2018-04-05 2021-11-02 Microsoft Technology Licensing, Llc Anomaly detection and processing for seasonal data
US10762444B2 (en) * 2018-09-06 2020-09-01 Quickpath, Inc. Real-time drift detection in machine learning systems and applications
US10684909B1 (en) 2018-08-21 2020-06-16 United States Of America As Represented By Secretary Of The Navy Anomaly detection for preserving the availability of virtualized cloud services
US11157346B2 (en) * 2018-09-26 2021-10-26 Palo Alto Rsearch Center Incorporated System and method for binned inter-quartile range analysis in anomaly detection of a data series
US11061915B2 (en) * 2018-10-25 2021-07-13 Palo Alto Research Center Incorporated System and method for anomaly characterization based on joint historical and time-series analysis
US11320813B2 (en) 2018-10-25 2022-05-03 General Electric Company Industrial asset temporal anomaly detection with fault variable ranking
US11943295B2 (en) 2019-04-09 2024-03-26 Elasticsearch B.V. Single bi-directional point of policy control, administration, interactive queries, and security protections
CN110796366A (zh) * 2019-10-28 2020-02-14 中国联合网络通信集团有限公司 质差小区识别方法和装置
CN112819491B (zh) * 2019-11-15 2024-02-09 百度在线网络技术(北京)有限公司 一种转化数据处理的方法、装置、电子设备及存储介质
CN111694820A (zh) * 2020-04-27 2020-09-22 深圳华工能源技术有限公司 电力异常数据多重过滤方法、装置、电子设备及存储介质
US11265205B2 (en) 2020-07-31 2022-03-01 Verizon Patent And Licensing Inc. System and method for anomaly detection with root cause identification
US20220058174A1 (en) * 2020-08-24 2022-02-24 Microsoft Technology Licensing, Llc System and method for removing exception periods from time series data
US11775654B2 (en) 2020-12-14 2023-10-03 International Business Machines Corporation Anomaly detection with impact assessment
US11947519B2 (en) 2020-12-14 2024-04-02 International Business Machines Corporation Assigning an anomaly level to a non-instrumented object
WO2022169781A1 (en) * 2021-02-03 2022-08-11 Visa International Service Association Time series predictive model for estimating metric for a given entity
US11916940B2 (en) * 2021-04-12 2024-02-27 Ge Infrastructure Technology Llc Attack detection and localization with adaptive thresholding
US20240073720A1 (en) * 2021-06-25 2024-02-29 Telefonaktiebolaget Lm Ericsson (Publ) First node and methods performed thereby for handling anomalous values
US11830113B2 (en) * 2022-02-10 2023-11-28 International Business Machines Corporation Single dynamic image based state monitoring
CN117579400B (zh) * 2024-01-17 2024-03-29 国网四川省电力公司电力科学研究院 一种基于神经网络的工控系统网络安全监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6225942B1 (en) * 1999-07-30 2001-05-01 Litton Systems, Inc. Registration method for multiple sensor radar
CN1591637A (zh) * 2003-09-04 2005-03-09 日立乐金资料储存股份有限公司 光盘装置和光盘装置的控制方法
US7546236B2 (en) * 2002-03-22 2009-06-09 British Telecommunications Public Limited Company Anomaly recognition method for data streams
CN101872418A (zh) * 2010-05-28 2010-10-27 电子科技大学 基于群体环境异常行为的检测方法
US7853433B2 (en) * 2008-09-24 2010-12-14 Siemens Energy, Inc. Combustion anomaly detection via wavelet analysis of dynamic sensor signals

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1191459A1 (en) 2000-09-22 2002-03-27 Nightingale Technologies Ltd. Data clustering methods and applications
EP1665126A2 (en) 2003-08-19 2006-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for automatic online detection and classification of anomalous objects in a data stream
WO2005109893A2 (en) 2004-04-30 2005-11-17 Washington University System and method for detecting anomalies in a video image sequence
WO2007041709A1 (en) 2005-10-04 2007-04-12 Basepoint Analytics Llc System and method of detecting fraud
WO2007147166A2 (en) 2006-06-16 2007-12-21 Quantum Leap Research, Inc. Consilence of data-mining
US7792770B1 (en) 2007-08-24 2010-09-07 Louisiana Tech Research Foundation; A Division Of Louisiana Tech University Foundation, Inc. Method to indentify anomalous data using cascaded K-Means clustering and an ID3 decision tree
US7483934B1 (en) 2007-12-18 2009-01-27 International Busniess Machines Corporation Methods involving computing correlation anomaly scores
GB2465861B (en) 2008-12-03 2011-09-28 Logined Bv Self-improving reasoning tools
EP2284769B1 (en) 2009-07-16 2013-01-02 European Space Agency Method and apparatus for analyzing time series data
US8914317B2 (en) 2012-06-28 2014-12-16 International Business Machines Corporation Detecting anomalies in real-time in multiple time series data with automated thresholding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6225942B1 (en) * 1999-07-30 2001-05-01 Litton Systems, Inc. Registration method for multiple sensor radar
US7546236B2 (en) * 2002-03-22 2009-06-09 British Telecommunications Public Limited Company Anomaly recognition method for data streams
CN1591637A (zh) * 2003-09-04 2005-03-09 日立乐金资料储存股份有限公司 光盘装置和光盘装置的控制方法
US7853433B2 (en) * 2008-09-24 2010-12-14 Siemens Energy, Inc. Combustion anomaly detection via wavelet analysis of dynamic sensor signals
CN101872418A (zh) * 2010-05-28 2010-10-27 电子科技大学 基于群体环境异常行为的检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019224694A1 (en) * 2018-05-24 2019-11-28 International Business Machines Corporation Anomaly detection
US11860971B2 (en) 2018-05-24 2024-01-02 International Business Machines Corporation Anomaly detection

Also Published As

Publication number Publication date
DE112013003277B4 (de) 2021-07-08
US8924333B2 (en) 2014-12-30
CN104350471A (zh) 2015-02-11
DE112013003277T5 (de) 2015-04-16
GB2517644A (en) 2015-02-25
WO2014004073A2 (en) 2014-01-03
WO2014004073A3 (en) 2014-02-27
GB201500324D0 (en) 2015-02-25
US8914317B2 (en) 2014-12-16
US20140006330A1 (en) 2014-01-02
US20140006325A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
CN104350471B (zh) 在处理环境中实时地检测异常的方法和系统
US10452983B2 (en) Determining an anomalous state of a system at a future point in time
CN103354924B (zh) 用于监视性能指标的方法和系统
US9600394B2 (en) Stateful detection of anomalous events in virtual machines
US11902114B2 (en) System and method for predicting and reducing subscriber churn
US9720823B2 (en) Free memory trending for detecting out-of-memory events in virtual machines
US8078913B2 (en) Automated identification of performance crisis
JP7007243B2 (ja) 異常検知システム
CN104516808B (zh) 数据预处理装置及方法
US9286573B2 (en) Cost-aware non-stationary online learning
JP5827425B1 (ja) 予兆診断システム及び予兆診断方法
CN110417610A (zh) 存储系统延迟孤立点检测
WO2012040284A1 (en) System and method for forecasting realized volatility via wavelets and non-linear dynamics
CN112269811A (zh) 一种基于业务量的it容量预测方法和系统
US20210034712A1 (en) Diagnostics framework for large scale hierarchical time-series forecasting models
CA2713889A1 (en) System and method for estimating combined workloads of systems with uncorrelated and non-deterministic workload patterns
US11651271B1 (en) Artificial intelligence system incorporating automatic model updates based on change point detection using likelihood ratios
CN112418534B (zh) 揽件量预测方法及装置、电子设备、计算机可读存储介质
Niknafs et al. Two-phase interarrival time prediction for runtime resource management
JP7154468B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN112445682B (zh) 一种系统监控方法、装置、设备及存储介质
US20240070160A1 (en) Data processing method and electronic device
He et al. Towards evaluating holistic runtime state based on change vector analysis
Cheng et al. RobustTSF: Towards Theory and Design of Robust Time Series Forecasting with Anomalies
CN116628573A (zh) 作业分类方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170503

Termination date: 20200611