CN107636621A - 检测数据中心中的异常资源使用 - Google Patents

检测数据中心中的异常资源使用 Download PDF

Info

Publication number
CN107636621A
CN107636621A CN201680028265.XA CN201680028265A CN107636621A CN 107636621 A CN107636621 A CN 107636621A CN 201680028265 A CN201680028265 A CN 201680028265A CN 107636621 A CN107636621 A CN 107636621A
Authority
CN
China
Prior art keywords
resource
data
abnormal
current
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680028265.XA
Other languages
English (en)
Other versions
CN107636621B (zh
Inventor
H·纽维尔斯-特勒姆
A·希尔布驰
S·B·纳哈姆
Y·芬克尔斯泰恩
D·阿隆
E·勇姆-托维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107636621A publication Critical patent/CN107636621A/zh
Application granted granted Critical
Publication of CN107636621B publication Critical patent/CN107636621B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/006—Identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3082—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved by aggregating or compressing the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/86—Event-based monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了一种用于标识数据中心中的异常资源使用的系统。在一些实施例中，该系统采用异常资源使用准则和多个资源中的每个资源的预测模型。对于数据中心的多个资源中的每个资源，该系统检索该资源在当前时间的当前资源使用数据和过去资源使用数据。该系统然后从该资源的过去资源使用数据中提取特征，使用该资源的预测模型、基于所提取的特征来预测当前时间的资源使用数据，并且确定所预测的资源使用数据与当前资源使用数据之间的误差。在确定资源的误差数据之后，该系统确定误差是否满足异常资源使用准则。如果满足，该系统指示资源使用异常已经发生。

Description

检测数据中心中的异常资源使用
背景技术
公共云计算系统(“云”)提供共享的计算资源用于由客户使用。云的计算资源是硬件和软件资源。硬件资源包括服务器的部件，诸如中央处理单元(CPU)、图形处理单元(GPU)、主存储器、辅助存储装置等的内核。软件资源包括操作系统、数据库系统、会计应用等。典型的云可以在世界各地的不同地点具有若干数据中心。每个数据中心可以托管数万台服务器。
为了使用云，客户通常购买使用云的服务的订阅。当购买订阅时，客户可以提供计费信息并且被提供有账户，该账户可以使用诸如用户名和密码等登录信息来访问。为了鼓励用户成为客户，云提供商可以提供各种激励措施，以允许用户在有限的时间内订阅和使用云。一旦登录，客户可以使用云的服务器来执行计算机程序，以便诸如托管网站、执行会计功能、执行数据分析等。云可以使用各种计费模型，诸如基于内核使用、存储器使用和其他资源使用的量的模型。
像其他计算机系统一样，云易受网络攻击。这些网络攻击可以包括病毒、蠕虫、拒绝服务攻击等。云也易受到在云的订阅过程中由于利用漏洞而造成的资源的欺骗性使用。例如，云可以为新的客户提供30天的免费订阅。在订阅时，用户可以被提供完全自动化的公共图灵测试，以告知“计算机与人类分离”(“CAPTCHA”)测试。如果用户在订阅过程中发现允许用户绕过或总是通过CAPTCHA测试的漏洞，该用户可能能够开发计算机程序来创建成千上万个新的、但未经授权的订阅。作为另一示例，用户可能能够访问有效但已被盗的信用卡号码。这样的用户可以在盗窃被识破之前使用被盗的信用卡号码来创建数百个订阅。这样的未经授权的用户然后可以以过高的速率使用计算机资源，从而导致没有足够的资源满足授权用户的需要。为了帮助减轻这样的未经授权的使用的影响，云可以被设计有超过支持授权用户所需的一定量的容量。购买和维持这样过量的容量的成本可能很高。
发明内容
提供了一种用于标识数据中心中的异常资源使用的系统。在一些实施例中，该系统采用异常资源使用准则和针对多个资源中的每个资源的预测模型。预测模型从数据中心的资源使用数据生成，并且异常资源使用准则基于预测模型的误差统计而被建立。对于数据中心的多个资源中的每个资源，该系统检索该资源在当前时间的当前资源使用数据和过去资源使用数据。该系统然后从该资源的过去资源使用数据中提取特征，使用该资源的预测模型、基于所提取的特征来预测当前时间的使用数据，并且确定所预测的资源使用数据与当前资源使用数据之间的误差。在确定资源的误差数据之后，该系统确定误差是否满足异常资源使用准则。如果满足，该系统指示资源使用异常已经发生。
提供发明内容部分以便以简化的形式介绍概念的选择，这些概念在下面的具体实施方式中进一步描述。本发明内容无意标识要求保护的主题的关键特征或基本特征，也无意限制要求保护的主题的范围。
附图说明
图1是示出在异常活动检测(“AAD”)系统的一些实施例中的分类器的生成的流程图。
图2是示出在AAD系统的一些实施例中的异常资源使用的标识的流程图。
图3是示出在一些实施例中的AAD系统的部件的框图。
图4是示出在一些实施例中的生成分类器部件的处理的流程图。
图5是示出在一些实施例中的生成模型部件的处理的流程图。
图6是示出在一些实施例中的生成误差统计部件的处理的流程图。
图7是示出在一些实施例中的计算误差数据部件的处理的流程图。
图8是示出在一些实施例中的应用分类器部件的处理的流程图。
图9是示出在一些实施例中的生成分类数据部件的处理的流程图。
具体实施方式
在一些实施例中，异常活动检测(“AAD”)系统检测何时数据中心处的资源使用过高以使得该资源使用可能是欺骗性的。这样的欺骗性使用可以被称为数据中心处的“欺骗风暴”，因为突然发生了显著的欺骗性使用。AAD系统使用分类器来检测欺骗风暴，该分类器用于分类当前资源使用是否指示导致数据中心处的异常资源使用的异常活动。为了生成分类器，AAD系统可以为各种资源生成预测模型，用以在给定过去的资源使用的情况下预测正常资源使用。AAD系统使用在欺骗风暴期间可能增加的资源，诸如在使用的内核数目、新的订阅的数目、出站的流量、磁盘使用量等。AAD系统还可以生成误差模型，该误差模型用于基于所预测的资源使用与过去的资源使用的实际资源使用的比较来估计预测模型中的误差。为了确定在当前时间是否正在发生异常活动，AAD系统将分类器应用于过去的资源使用。分类器使用预测模型以基于过去的资源使用来预测针对当前时间的所预测的资源使用，并且然后确定针对每个资源的所预测的资源使用与当前资源使用之间的误差。如果误差满足异常资源使用准则，AAD系统指示正在发生异常活动。当这样的异常活动正在发生时，云的提供商可以采取各种步骤来停止该异常活动，诸如撤销看起来被欺骗性地获取的新的订阅、限制订阅速率、在订阅过程中放置附加的保护、标识和更正导致活动异常的弱点，等等。
在一些实施例中，AAD系统生成分类器，该分类器用于基于在正常活动发生的同时针对各种资源收集的资源使用数据，来标识数据中心中的异常资源使用。对于每个资源，AAD系统以各种时间间隔收集(例如，被提供有由数据中心收集的数据)资源使用数据。例如，该间隔可以是一小时，并且资源使用数据可以包括在这一个小时期间在使用的内核的平均数目以及在这一个小时期间接收到的新的订阅的数目。对于每个间隔，AAD系统标识针对该资源的当前资源使用数据，并且从针对一个或多个资源的过去资源使用数据中提取特征。所提取的特征可以包括在1、2、4和8小时之前的几小时中和在1、2、4、7和14天之前的几小时中的平均资源使用。所提取的特征还可以包括在过去的2、4、8、12、24和48小时内的平均资源使用。从可以指示当前资源使用数据的过去资源使用数据中可以使用其他特征，诸如资源使用数据之间的差异、资源使用数据的变化等。此外，特征还可以包括用于帮助说明季节变化的月度特征和年度特征。
然后，AAD系统从当前资源使用数据和所提取的特征来生成每个资源的预测模型，用于在给定从过去资源使用数据中提取的特征的情况下预测该资源在当前时间的资源使用数据。预测模型可以使用各种回归模型来生成，诸如随机森林回归、k最近邻回归、具有径向基函数(RBF)核的支持向量机(SVM)、线性回归、脊线性回归等。AAD系统还基于从收集到的资源使用数据导出的预测模型中的所估计的误差，来生成误差统计。例如，误差统计可以包括针对每个资源的误差的均值和标准偏差以及资源的误差的协方差。然后，AAD系统从误差统计建立异常资源使用准则，该异常资源使用准则在被满足时指示正在发生异常活动。例如，异常资源使用准则可以基于针对一些显著性级别而确定的p值。AAD系统可以在各种时间、诸如周期性地(例如，每周)或者当某些事件发生时(例如，接收到特定数目的非欺骗性的新的订阅时)重新生成分类器。
在一些实施例中，AAD系统使用预测模型和异常资源使用准则来标识异常资源使用。对于每个资源，AAD系统访问资源在当前时间的当前资源使用数据和过去资源使用数据。AAD系统从这些资源的过去资源使用数据中提取特征(即用于生成分类器的特征)。然后，AAD系统使用该资源的预测模型、基于所提取的特征来预测针对当前时间的所预测的资源使用数据。然后，AAD系统确定所预测的资源使用数据与当前资源使用数据之间的误差。在确定每个资源的误差之后，AAD系统确定所确定的误差是否满足异常资源使用准则。如果满足，AAD系统指示正在发生异常资源使用。
图1是示出在AAD系统的一些实施例中的分类器的生成的流程图。在框101至107中，AAD系统为每个资源生成预测模型。在框101中，AAD系统选择下一资源。在决策框102中，如果已经选择了所有资源，AAD系统在框108处继续，否则AAD系统在框103处继续。在框103中，AAD系统访问所选择的资源在各种时间的资源使用数据。资源使用数据可以由数据中心提供给AAD系统。在框104至106中，部件针对具有窗口(例如，60天)的每个时间间隔(例如，每小时)生成分类数据，分类数据包括该时间间隔的当前资源使用数据和从过去资源使用数据中提取的特征。在框104中，该部件选择下一时间间隔。在判定框105中，如果已经选择了所有时间间隔，AAD系统在框107处继续，否则AAD系统在框106处继续。在框106中，AAD系统标识该时间间隔的当前资源使用数据并且从过去资源使用数据中提取针对所选择的时间间隔的各种特征，并且然后循环到框104以选择下一时间间隔。在一些实施例中，如果AAD系统重新生成分类器，AAD系统仅需要从上一次生成分类器的时间起生成分类数据。在框107中，AAD系统生成所选择的资源的预测模型，并且然后循环到框101以选择下一资源。在框108中，AAD系统生成预测模型的误差统计。在框109中，部件基于误差统计来建立异常资源使用准则，并且然后完成。
图2是示出在AAD系统的一些实施例中的异常资源使用的标识的流程图。AAD系统可以以各种时间间隔(例如，每小时)来执行该标识。在框201中，部件访问数据中心的资源使用数据。在框202中，AAD系统选择下一资源。在决策框203中，如果已经选择了所有资源，AAD系统在框206处继续，否则AAD系统在框204处继续。在框204中，AAD系统使用预测模型和从过去资源使用数据中提取的特征来预测所选择的资源在当前时间间隔的资源使用数据。在框205中，AAD系统确定针对该时间间隔的所预测的资源使用数据与当前资源使用数据之间的误差。然后，部件循环到框202以选择下一资源。在判定框206中，如果所确定的误差满足异常使用准则，AAD系统返回异常资源使用的指示，否则AAD系统返回正常资源使用的指示。
图3是示出在一些实施例中的AAD系统的部件的框图。AAD系统300包括生成分类器部件301、应用分类器部件302、生成模型部件303、生成误差统计部件304、计算误差数据部件305和生成分类数据部件306。生成分类器部件被周期性地调用以基于最近的资源使用数据(例如，过去60天)来生成分类器。应用分类器部件以各种时间间隔被调用以确定是否正在发生异常资源使用。生成模型部件被调用以生成资源的预测模型。生成误差统计部件被调用以生成针对资源的误差统计，用于估计所生成的预测模型中的误差。计算误差数据部件被调用以计算预测模型的误差数据。生成分类数据部件被调用以生成用于在生成分类器和应用分类器时使用的分类数据。AAD系统还包括用于存储预测模型的权重、误差统计和异常资源使用准则的分类器存储装置307。AAD系统从数据中心的资源使用数据存储装置310检索使用数据。ADD系统还可以包括填充间隙部件308和监督分类器部件309，填充间隙部件308用于填充资源使用数据中的间隙，监督分类器部件309用于滤除被错误地标识为异常活动的活动。
可以在其上实现AAD系统的计算设备和系统可以包括中央处理单元、输入设备、输出设备(例如，显示设备和扬声器)、存储设备(例如，存储器和磁盘驱动器)、网络接口、图形处理单元、加速度计、蜂窝无线电链路接口、全球定位系统设备等。输入设备可以包括键盘、指点设备、触摸屏、手势识别设备(例如，用于空中手势)、头部和眼睛跟踪设备、用于语音识别的麦克风等。计算设备可以包括台式计算机、笔记本电脑、平板电脑、电子阅读器、个人数字助理、智能手机、游戏设备、服务器以及诸如大规模并行系统等计算机系统。计算设备可以访问计算机可读介质，包括计算机可读存储介质和数据传输介质。计算机可读存储介质是指不包括暂态传播信号的有形存储装置。计算机可读存储介质的示例包括诸如主存储器、高速缓冲存储器和辅助存储装置(例如，DVD)等存储器以及其他存储装置。计算机可读存储介质可以在其上记录或者可以被编码有实现AAD系统的计算机可执行指令或逻辑。数据传输介质用于经由有线或无线连接并经由暂态传播信号或载波(例如，电磁)来传输数据。
AAD系统可以在由一个或多个计算机、处理器或其他设备执行的计算机可执行指令(诸如程序模块和部件)的一般上下文中被描述。通常，程序模块或部件包括执行特定任务或实现特定数据类型的例程、程序、对象、数据结构等。通常，程序模块的功能可以在各种实施例中根据需要被组合或分发。AAD系统的各方面可以使用例如专用集成电路(ASIC)而以硬件形式来实现。
图4是示出在一些实施例中的生成分类器部件的处理的流程图。生成分类器部件400被调用以生成分类器。在框401中，该部件调用生成模型部件，该生成模型部件针对每个时间间隔传递分类数据，该分类数据包括针对内核资源(Xc)的特征和该时间间隔的对应的当前资源使用数据(yc)，并且该部件接收模型(fc)的特征的权重以作为回报。分类数据的特征的子集可以用下表表示：
时间 0小时 1小时 ... 8小时 1天 ... 14天
0 10000 9500 5500 9750 10500
-1 9500 10250
-2 10250 7500
-3 7500 6500
-4 6500 7000 11000 9000 7000
-5 7000
...
时间列表示每行中的数据的时间。时间0表示当前时间，时间-1表示1小时之前，时间-2表示两小时之前，依此类推。0小时列表示对应时间的当前资源使用数据(yc)。例如，在四小时之前，在使用的内核的平均数目为6500个。其他列表示针对对应时间所提取的特征(Xc)。所提取的特征包括在一小时之前、8小时之前、一天之前和14天之前在使用的内核的数目。例如，在四小时之前，所提取的特征是7000、11000、9000和7000。在框402中，生成分类器部件调用生成模型部件，该生成模型部件针对每个时间间隔传递分类数据，该分类数据包括针对订阅资源(Xn)的特征和该时间间隔的相应的资源使用数据(yn)，并且生成分类器部件接收模型(fn)的特征的权重以作为回报。在框403中，该部件调用生成误差统计部件并且作为回报，接收误差统计，诸如协方差矩阵和每个资源的误差的均值。在框404中，该部件基于阈值显著性级别来将异常资源使用准则建立为多变量正态分布的p值。p值可以基于Mahalanobis距离或基于在高于观测值的值的矩形中的累积分布函数的估计权重而被生成。(参见Genz,A.和Bretz,F.,“Computation of Multivariate Normal and tProbabilities,”Springer Science & Business Media(2009))。然后，该部件完成。
在一些实施例中，在数据中心处收集的资源使用数据可以具有间隙，或者可以在异常活动期间被收集。因为例如负责收集数据的数据中心的部件可能已经发生故障或可能已经被拆卸用于维护，因而可以存在间隙。在异常活动期间收集的资源使用数据在预测正常资源使用数据时可能无用。这样的时期可以被认为是在收集正常资源使用数据时的间隙。为了填充这样的间隙，填充间隙部件可以使用各种插值技术，诸如线性高斯贝叶斯网络或线性插值。通过贝叶斯网络，可以使用具有似然加权的正向采样或使用置信传播来估算丢失的数据。
图5是示出在一些实施例中的生成模型部件的处理的流程图。生成模型部件500被调用，以基于当前使用数据和针对不同的时间间隔的所提取的特征来生成资源的预测模型。该部件使用脊状回归模型，尽管如上所述，可以采用其他模型。该部件生成针对各种脊值的预测模型，并且选择具有最小误差的预测模型。脊值可以是包括值100、101、102、…1012的对数集合。对于每个脊值，该部件使用时间间隔的不同子集来生成各种预测模型，并且从剩余的时间间隔中计算误差。在框501中，该部件选择下一脊值。在判定框502中，如果已经选择了所有脊值，该部件返回预测模型(即，特征的权重)，否则该部件在框503处继续。在框503中，该部件选择下一时间间隔。在判定框504中，如果已经为所选择的脊选择了所有时间间隔，该部件循环到框501以选择下一个脊，否则该部件在框505处继续。在框505中，该部件应用线性回归技术，基于不包括所选择的间隔的间隔子集、使用所选择的脊来生成预测模型。在框506中，该部件使用所生成的模型来预测针对所选择的时间间隔的所预测的资源使用数据。在框507中，该部件计算所预测的资源使用数据与当前资源使用数据之间的误差。在判定框508中，如果误差小于到目前为止遇到的最小误差，该部件在框509处继续，否则该部件循环到框503以选择下一时间间隔。在框509中，该部件将到目前为止遇到的最小误差设置为在框507中计算的误差。在框510中，该部件将预测模型设置为在框505中生成的预测模型。然后，该部件循环到框503以选择下一时间间隔。虽然该部件被示出为针对每个脊值、为每个时间间隔生成预测模型，但是该部件可以针对时间间隔的较大子集而不是针对每个时间间隔生成预测模型，这可以产生使用较少计算资源的可接受的预测模型。
图6是示出在一些实施例中的生成误差统计部件的处理的流程图。生成误差统计部件600使用交叉验证来估计误差，以生成预测模型的误差统计。在框601中，该部件调用计算误差数据部件，该计算误差数据部件传递针对内核资源的当前资源使用数据和针对时间间隔的所提取的特征，并且该部件作为回报接收误差数据(ec)。在框602中，该部件调用计算误差数据部件，该计算误差数据部件传递针对订阅资源的当前资源使用数据和针对时间间隔的所提取的特征，并且该部件作为回报接收误差数据(en)。在框603中，该部件计算内核资源的误差数据的均值。在框604中，该部件计算订阅资源的误差数据的均值。在框605中，该部件基于内核资源和订阅资源的误差数据来计算协方差矩阵，并且然后返回。
图7是示出了在一些实施例中的计算误差数据部件的处理的流程图。计算误差数据部件700基于时间间隔的各种子集来生成预测模型，使用预测模型来预测剩余间隔的预测的资源使用数据，并且计算针对该时间间隔的所预测的资源使用数据与当前资源使用数据之间的误差。该部件可以生成五个预测模型，为每个预测模型保留不同的20％的间隔。在框701中，该部件选择下一交叉验证。在判定框702中，如果已经选择了所有交叉验证，该部件返回，否则该部件在框703处继续。在框703中，该部件选择时间间隔的子集用以保留。在框704中，该部件调用生成模型部件，该生成模型部件传递尚未被保留的当前资源使用数据和特征的指示。在框705-707中，该部件使用所生成的预测模型来计算针对保留间隔的所预测的资源使用数据与当前资源使用数据之间的误差。在框705中，该部件选择下一保留间隔。在判定框706中，如果已经选择了所有保留间隔，该部件循环到框701以选择下一交叉验证，否则该部件在框707处继续。在框707中，该部件计算所选择的间隔的误差，并且然后循环到框705以选择下一交叉验证。
图8是示出了在一些实施例中的应用分类器部件的处理的流程图。应用分类器部件800传递资源的特征的指示，并且确定当与所预测的资源使用数据相比较时当前资源使用数据是否指示异常资源使用。在框801中，该部件将内核资源的预测模型应用于内核资源的特征，以预测资源使用数据。在框802中，该部件将订阅资源的预测模型应用于订阅资源的特征，以预测资源使用数据。在框803中，该部件计算针对内核资源的所预测的资源使用数据与当前资源使用数据之间的误差。在框804中，该部件计算针对订阅的所预测的资源使用数据与当前资源使用数据之间的误差。在判定框805中，如果误差满足异常资源使用准则，该部件返回资源使用异常的指示，否则该部件返回资源使用正常的指示。
在一些实施例中，AAD系统可以生成用于滤除异常资源使用的误差指示的监督分类器。AAD系统可以将以下用作监督分类器的训练数据：已经被指示为异常的资源使用数据以及将资源使用数据标识为正常或异常的标签(例如，手动生成的)。一旦生成训练数据，AAD系统可以使用各种监督训练技术中的任何一种，诸如SVM、决策树、自适应增强等。在AAD系统初始指示异常资源使用数据之后，监督分类器部件可以输入该异常资源使用数据的特征，并且将其分类为正常或异常。
图9是示出在一些实施例中的生成分类数据部件的处理的流程图。生成分类数据部件900生成资源的当前分类数据。在框901中，该部件选择下一资源。在判定框902中，如果已经选择了所有资源，该部件返回，否则该部件在框903处继续。在框903中，该部件检索所选择的资源的当前资源使用数据。在框904中，该部件检索所选择的资源在一小时之前的过去资源使用数据。在框905中，该部件检索所选择的资源在14天之前的过去资源使用数据。框904和框905之间的省略号指示可以针对其他间隔检索过去资源使用数据。在框906中，该部件生成所选择的资源在过去的两小时内的平均资源使用数据。在框907中，该部件生成所选择的资源在过去的48小时的平均资源使用数据，并且然后循环到框901以选择下一资源。
生成分类器
在一些实施例中，提供了一种由计算机系统执行的用于生成分类器以用于标识数据中心中的异常资源使用的方法。对于多个资源中的每个，该方法提供该资源在各个时间的资源使用数据。该方法对于多个时间中的每个时间，标识该资源在该时间的当前资源使用数据，并且从在该时间之前的该资源的过去资源使用数据中提取特征。该方法从当前资源使用数据和针对多个时间的所提取的特征生成该资源的预测模型，以在给定从过去资源使用数据中提取的特征的情况下预测该资源在当前时间的资源使用数据。该方法然后从资源的资源使用数据生成预测模型的误差统计，并且从误差统计建立异常资源使用准则。该方法可以与以下实施例中的任何一种或任何组合结合使用。在一些实施例中，该方法还可以对于多个资源中的每个资源，提供该资源在当前时间的当前资源使用数据和过去资源使用数据，从该资源的过去资源使用数据中提取特征，通过该资源的预测模型生成当前时间的预测的资源使用数据，并且确定所预测的资源使用数据与当前资源使用数据之间的误差。当所确定的误差满足异常资源使用准则时，该方法可以指示异常资源使用已经发生。在一些实施例中，资源可以是数据中心的内核，并且内核的资源使用数据可以是在数据中心处在使用的内核的数目。针对内核数目的所提取的特征可以包括在过去的间隔期间在使用的内核的平均数目。资源也可以是对数据中心的订阅，并且针对订阅的资源使用数据可以是对数据中心的新的订阅的数目。针对订阅的所提取的特征可以是在过去的间隔期间的新的订阅的数目。在一些实施例中，误差统计可以使用预测模型的交叉验证而被生成。在一些实施例中，该方法还可以定期地重新生成分类器。在一些实施例中，误差统计可以包括针对每个资源的误差的均值和每对资源的协方差。在一些实施例中，异常资源使用准则可以基于误差统计的p值。
标识异常资源使用
在一些实施例中，提供了一种存储计算机可执行指令的计算机可读存储介质，计算机可执行指令用于控制计算系统标识数据中心中的异常资源使用。计算机可执行指令包括访问异常资源使用准则和多个资源中的每个的预测模型的指令，其中预测模型可以从数据中心的资源使用数据被生成，并且其中异常资源使用准则可以基于预测模型的误差统计被建立。对于数据中心的多个资源中的每个资源，这些指令还访问该资源在当前时间的当前资源使用数据和过去资源使用数据，从该资源的过去资源使用数据中提取特征，通过该资源的预测模型、基于所提取的特征来预测针对当前时间的所预测的资源使用数据，并且确定所预测的资源使用数据与当前资源使用数据之间的误差。当所确定的误差满足异常资源使用准则时，这些指令还指示异常资源使用已经发生。这些指令可以与以下实施例中的任何一个或任何组合结合使用。在一些实施例中，资源可以是数据中心的内核，并且资源可以是对数据中心的订阅。在一些实施例中，针对内核的数目的所提取的特征可以包括在过去的间隔期间在使用的内核的平均数目，并且针对订阅的所提取的特征可以包括在过去的间隔期间接收到的新的订阅的数目。在一些实施例中，对于数据中心的多个资源中的每个资源，这些指令还收集该资源在多个间隔中的每个间隔的资源使用数据，并且其中所提取的特征包括在当前时间之前的一小时、一天和一周的时间间隔内的资源使用数据。在一些实施例中，当已经指示异常资源使用时，这些指令还可以将监督分类器应用于所提取的特征，以滤除异常资源使用的错误指示。
在一些实施例中，提供了一种标识数据中心中的异常资源使用的计算机系统。该计算机系统可以包括存储计算机可执行指令的一个或多个计算机可读存储介质和用于执行存储在一个或多个计算机可读存储介质中的计算机可执行指令的一个或多个处理器。这些指令可以包括用于以下的指令：访问数据中心的资源在当前时间的当前资源使用数据和过去资源使用数据的特征并且向当前资源使用数据和特征应用分类器，以确定当前资源使用数据是否表示异常资源使用。对于数据中心的多个资源中的每个资源，分类器可以使用该资源的预测模型、基于特征来预测针对当前时间的所预测的资源使用数据，并且确定所预测的资源使用数据与当前资源使用数据之间的误差，当所确定的误差满足异常资源使用准则时，指示异常资源使用已经发生。这些指令可以与以下实施例中的任何一个或任何组合结合使用。在一些实施例中，指令还包括用于生成以下操作的分类器的指令：对于多个资源中的每个资源，对于多个时间中的每个时间，标识该资源在该时间的当前资源使用数据，并且从该资源的过去资源使用数据中提取特征，并且然后从当前资源使用数据和针对多个时间的所提取的特征生成该资源的预测模型，以在给定从过去资源使用数据中提取的特征的情况下预测该资源在当前时间的资源使用数据。在一些实施例中，这些指令还可以包括用于如下的指令：从资源的资源使用数据生成预测模型的误差统计并且从误差统计建立异常资源使用准则。在一些实施例中，分类器在各个时间、使用资源使用数据的资源使用数据被重新生成，这些资源使用数据包括自分类器上一次被生成以来收集到的资源使用数据。在一些实施例中，预测模型可以使用线性回归技术而被生成。在一些实施例中，资源可以是数据中心的内核，并且资源可以是对数据中心的订阅。在一些实施例中，针对内核的数目的所提取的特征可以包括在过去的间隔期间在使用的内核的平均数目，并且针对订阅的所提取的特征可以包括在过去的间隔期间新的订阅的数目。在一些实施例中，进一步，当指示异常资源使用时，这些指令可以将监督分类器应用于所提取的特征，以滤除异常资源使用的错误指示。
尽管已经以结构特征和/或动作特定的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于上述具体特征或动作。相反，上述具体特征和动作被公开作为实现权利要求的示例形式。因此，本发明不受除了所附权利要求之外的其他限制。

Claims (15)

1.一种由计算机系统执行的用于生成分类器以标识数据中心中的异常资源使用的方法，所述方法包括：
提供多个资源在各个时间的资源数据；
对于所述多个资源中的每个资源，
对于多个时间中的每个时间，标识所述资源在该时间的当前资源使用数据并且从在该时间之前的过去资源使用数据中提取特征；以及
从所述当前资源使用数据和针对所述时间的所提取的特征，生成该资源的预测模型，以在给定从过去资源使用数据中提取的特征的情况下预测该资源在当前时间的资源使用数据；
从所述资源的所述资源使用数据生成所述预测模型的误差统计；以及
从所述误差统计建立异常资源使用准则。
2.根据权利要求1所述的方法，还包括：
对于所述多个资源中的每个资源，提供当前时间的当前资源使用数据，从所述过去资源使用数据中提取特征，通过该资源的所述预测模型生成针对所述当前时间的所预测的资源使用数据，并且确定所预测的所述资源使用数据与所述当前资源使用数据之间的误差；以及
当所确定的误差满足所述异常资源使用准则时，指示异常资源使用已经发生。
3.根据权利要求1所述的方法，其中资源是所述数据中心的内核，并且所述内核的所述资源使用数据是在所述数据中心处在使用的内核的数目。
4.根据权利要求1所述的方法，其中资源是对所述数据中心的订阅，并且所述订阅的所述资源使用数据是对所述数据中心的新的订阅的数目。
5.根据权利要求1所述的方法，其中所述误差统计使用预测模型的交叉验证被生成。
6.根据权利要求1所述的方法，其中所述误差统计包括针对每个资源的误差的均值和每对资源的协方差，并且所述异常资源使用准则基于所述误差统计的p值。
7.根据权利要求1所述的方法，还包括标识和填充所提供的资源使用数据中的间隙。
8.一种存储计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于控制计算系统以标识数据中心中的异常资源使用，所述计算机可执行指令包括用于以下操作的指令：
访问异常资源使用准则和多个资源中的每个资源的预测模型，所述预测模型从所述数据中心的资源使用数据被生成，所述异常资源使用准则基于所述预测模型的误差统计被建立；
对于所述数据中心的多个资源中的每个资源，
访问该资源在当前时间的当前资源使用数据；
从一个或多个资源的过去资源使用数据中提取特征；
通过该资源的所述预测模型、基于所提取的特征来预测针对所述当前时间的所预测的资源使用数据；以及
确定所预测的资源使用数据与所述当前资源使用数据之间的误差；以及
当所确定的误差满足所述异常资源使用准则时，指示异常资源使用已经发生。
9.根据权利要求8所述的计算机可读存储介质，其中针对内核的数目的所提取的特征包括在过去的间隔期间在使用的内核的平均数目，并且针对订阅的所提取的特征包括在过去的间隔期间接收到的新的订阅的数目。
10.一种标识数据中心中的异常资源使用的计算机系统，所述计算机系统包括：
存储计算机可执行指令的一个或多个计算机可读存储介质，所述计算机可执行指令用于：
访问所述数据中心的资源在当前时间的当前资源使用数据和过去资源使用数据的特征；以及
向所述当前资源使用数据和所述特征应用分类器，以确定所述当前资源使用数据是否表示异常资源使用，其中所述分类器：
对于所述数据中心的多个资源中的每个资源，使用该资源的预测模型、基于所述特征来预测针对所述当前时间的所预测的资源使用数据，并且确定所预测的资源使用数据与所述当前资源使用数据之间的误差；以及
当所确定的误差满足所述异常资源使用准则时，指示异常资源使用已经发生；以及
一个或多个处理器，用于执行存储在所述一个或多个计算机可读存储介质中的所述计算机可执行指令。
11.根据权利要求10所述的计算机系统，其中计算机可执行指令还包括用于生成用于以下操作的所述分类器的指令：
对于所述多个资源中的每个资源，
对于多个时间中的每个时间，标识该资源在该时间的当前资源使用数据，并且从一个或多个资源的过去资源使用数据中提取特征；以及
从所述当前资源使用数据和针对所述时间的所提取的特征，生成该资源的预测模型，以在给定从过去资源使用数据中提取的特征的情况下预测该资源在当前时间的资源使用数据；
从所述资源的所述资源使用数据生成所述预测模型的误差统计；以及
从所述误差统计建立异常资源使用准则。
12.根据权利要求11所述的计算机系统，其中所述分类器在各个时间、使用资源使用数据被重新生成，所述资源使用数据包括自所述分类器上一次被生成以来收集到的资源使用数据。
13.根据权利要求11所述的计算机系统，其中所述预测模型使用线性回归技术被生成。
14.根据权利要求10所述的计算机系统，其中资源是所述数据中心的内核并且资源是对所述数据中心的订阅，并且针对内核的数目的所提取的特征包括在过去的间隔期间在使用的内核的平均数目，并且针对订阅的所提取的特征包括在过去的间隔期间新的订阅的数目。
15.根据权利要求10所述的计算机系统，其中所述一个或多个计算机可读存储介质还包括标识和填充在所述过去资源使用数据中的间隙的计算机可执行指令。
CN201680028265.XA 2015-05-26 2016-05-20 检测数据中心中的异常资源使用 Active CN107636621B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/721,777 2015-05-26
US14/721,777 US9665460B2 (en) 2015-05-26 2015-05-26 Detection of abnormal resource usage in a data center
PCT/US2016/033390 WO2016191229A1 (en) 2015-05-26 2016-05-20 Detection of abnormal resource usage in a data center

Publications (2)

Publication Number Publication Date
CN107636621A true CN107636621A (zh) 2018-01-26
CN107636621B CN107636621B (zh) 2021-06-25

Family

ID=56084439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680028265.XA Active CN107636621B (zh) 2015-05-26 2016-05-20 检测数据中心中的异常资源使用

Country Status (4)

Country Link
US (2) US9665460B2 (zh)
EP (1) EP3304314B1 (zh)
CN (1) CN107636621B (zh)
WO (1) WO2016191229A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置
CN110865896A (zh) * 2018-08-27 2020-03-06 华为技术有限公司 慢盘检测方法及装置、计算机可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665460B2 (en) * 2015-05-26 2017-05-30 Microsoft Technology Licensing, Llc Detection of abnormal resource usage in a data center
US11237939B2 (en) * 2017-03-01 2022-02-01 Visa International Service Association Predictive anomaly detection framework
KR102339239B1 (ko) 2017-10-13 2021-12-14 후아웨이 테크놀러지 컴퍼니 리미티드 클라우드-디바이스 협업적 실시간 사용자 사용 및 성능 비정상 검출을 위한 시스템 및 방법
CN109947497B (zh) * 2017-12-20 2021-06-08 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及移动终端
CN109960539A (zh) * 2017-12-21 2019-07-02 广东欧珀移动通信有限公司 应用程序预加载方法、装置、存储介质及移动终端
US10706328B2 (en) * 2018-05-07 2020-07-07 Google Llc Focus-weighted, machine learning disease classifier error prediction for microscope slide images
US11061885B2 (en) * 2018-06-15 2021-07-13 Intel Corporation Autonomous anomaly detection and event triggering for data series
US11892933B2 (en) * 2018-11-28 2024-02-06 Oracle International Corporation Predicting application performance from resource statistics
CN110377491A (zh) * 2019-07-10 2019-10-25 中国银联股份有限公司 一种数据异常检测方法及装置
US10686802B1 (en) * 2019-12-03 2020-06-16 Capital One Services, Llc Methods and systems for provisioning cloud computing services
US11544560B2 (en) * 2020-04-10 2023-01-03 Microsoft Technology Licensing, Llc Prefetching and/or computing resource allocation based on predicting classification labels with temporal data
US11994941B2 (en) * 2021-09-23 2024-05-28 Dell Products L.P. Analysis and remediation of alerts

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050120111A1 (en) * 2002-09-30 2005-06-02 Bailey Philip G. Reporting of abnormal computer resource utilization data
CN103262069A (zh) * 2010-12-21 2013-08-21 国际商业机器公司 用于预测建模的方法和系统
CN103428026A (zh) * 2012-05-14 2013-12-04 国际商业机器公司 用于共享动态云中的问题确定和诊断的方法和系统
CN103577268A (zh) * 2012-08-07 2014-02-12 复旦大学 基于应用负载的自适应资源供应方法
CN103986669A (zh) * 2014-05-07 2014-08-13 华东师范大学 一种云计算中资源分配策略的评估方法
CN104184819A (zh) * 2014-08-29 2014-12-03 城云科技（杭州）有限公司 多层级负载均衡云资源监控方法
US20160350198A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Detection of abnormal resource usage in a data center

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668944A (en) * 1994-09-06 1997-09-16 International Business Machines Corporation Method and system for providing performance diagnosis of a computer system
US6574587B2 (en) * 1998-02-27 2003-06-03 Mci Communications Corporation System and method for extracting and forecasting computing resource data such as CPU consumption using autoregressive methodology
US6381735B1 (en) * 1998-10-02 2002-04-30 Microsoft Corporation Dynamic classification of sections of software
US6691067B1 (en) 1999-04-07 2004-02-10 Bmc Software, Inc. Enterprise management system and method which includes statistical recreation of system resource usage for more accurate monitoring, prediction, and performance workload characterization
US6810495B2 (en) * 2001-03-30 2004-10-26 International Business Machines Corporation Method and system for software rejuvenation via flexible resource exhaustion prediction
US7480919B2 (en) * 2003-06-24 2009-01-20 Microsoft Corporation Safe exceptions
US7506215B1 (en) * 2003-12-09 2009-03-17 Unisys Corporation Method for health monitoring with predictive health service in a multiprocessor system
US7254750B1 (en) * 2004-03-30 2007-08-07 Unisys Corporation Health trend analysis method on utilization of network resources
US7286962B2 (en) * 2004-09-01 2007-10-23 International Business Machines Corporation Predictive monitoring method and system
US7818150B2 (en) * 2005-03-11 2010-10-19 Hyperformix, Inc. Method for building enterprise scalability models from load test and trace test data
WO2007041709A1 (en) 2005-10-04 2007-04-12 Basepoint Analytics Llc System and method of detecting fraud
WO2007050667A2 (en) * 2005-10-25 2007-05-03 The Trustees Of Columbia University In The City Of New York Methods, media and systems for detecting anomalous program executions
US7539907B1 (en) * 2006-05-05 2009-05-26 Sun Microsystems, Inc. Method and apparatus for determining a predicted failure rate
US8346691B1 (en) 2007-02-20 2013-01-01 Sas Institute Inc. Computer-implemented semi-supervised learning systems and methods
WO2009082382A1 (en) * 2007-12-20 2009-07-02 Hewlett-Packard Development Company, L.P. Automated model generation for computer based business process
US8260603B2 (en) * 2008-09-30 2012-09-04 Hewlett-Packard Development Company, L.P. Scaling a prediction model of resource usage of an application in a virtual environment
US7818145B2 (en) * 2008-09-30 2010-10-19 Hewlett-Packard Development Company, L.P. Detecting an error in a prediction of resource usage of an application in a virtual environment
US8145456B2 (en) * 2008-09-30 2012-03-27 Hewlett-Packard Development Company, L.P. Optimizing a prediction of resource usage of an application in a virtual environment
US8880682B2 (en) * 2009-10-06 2014-11-04 Emc Corporation Integrated forensics platform for analyzing IT resources consumed to derive operational and architectural recommendations
US8543522B2 (en) 2010-04-21 2013-09-24 Retail Decisions, Inc. Automatic rule discovery from large-scale datasets to detect payment card fraud using classifiers
US20120066554A1 (en) * 2010-09-09 2012-03-15 Microsoft Corporation Application query control with cost prediction
US8595556B2 (en) * 2010-10-14 2013-11-26 International Business Machines Corporation Soft failure detection
US10558544B2 (en) * 2011-02-14 2020-02-11 International Business Machines Corporation Multiple modeling paradigm for predictive analytics
GB201104786D0 (en) 2011-03-22 2011-05-04 Centrix Software Ltd A monitoring system
US20120266026A1 (en) * 2011-04-18 2012-10-18 Ramya Malanai Chikkalingaiah Detecting and diagnosing misbehaving applications in virtualized computing systems
US8412945B2 (en) 2011-08-09 2013-04-02 CloudPassage, Inc. Systems and methods for implementing security in a cloud computing environment
US9015536B1 (en) * 2011-08-31 2015-04-21 Amazon Technologies, Inc. Integration based anomaly detection service
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US8732525B2 (en) 2011-10-11 2014-05-20 International Business Machines Corporation User-coordinated resource recovery
US9367803B2 (en) * 2012-05-09 2016-06-14 Tata Consultancy Services Limited Predictive analytics for information technology systems
JP2015527660A (ja) 2012-07-24 2015-09-17 デロイッテ・ディベロップメント・エルエルシー フロード検出システム方法および装置
US9569785B2 (en) * 2012-11-21 2017-02-14 Marketo, Inc. Method for adjusting content of a webpage in real time based on users online behavior and profile
EP2750432A1 (en) * 2012-12-28 2014-07-02 Telefónica, S.A. Method and system for predicting the channel usage
US9031829B2 (en) 2013-02-08 2015-05-12 Machine Zone, Inc. Systems and methods for multi-user multi-lingual communications
US9122681B2 (en) 2013-03-15 2015-09-01 Gordon Villy Cormack Systems and methods for classifying electronic information using advanced active learning techniques
US20150039333A1 (en) 2013-08-02 2015-02-05 Optum, Inc. Claim-centric grouper analysis
US9628340B2 (en) * 2014-05-05 2017-04-18 Ciena Corporation Proactive operations, administration, and maintenance systems and methods in networks using data analytics
WO2015179778A1 (en) * 2014-05-23 2015-11-26 Datarobot Systems and techniques for predictive data analytics
EP3152697A4 (en) * 2014-06-09 2018-04-11 Northrop Grumman Systems Corporation System and method for real-time detection of anomalies in database usage
US20170078850A1 (en) * 2015-09-14 2017-03-16 International Business Machines Corporation Predicting location-based resource consumption in mobile devices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050120111A1 (en) * 2002-09-30 2005-06-02 Bailey Philip G. Reporting of abnormal computer resource utilization data
CN103262069A (zh) * 2010-12-21 2013-08-21 国际商业机器公司 用于预测建模的方法和系统
CN103428026A (zh) * 2012-05-14 2013-12-04 国际商业机器公司 用于共享动态云中的问题确定和诊断的方法和系统
CN103577268A (zh) * 2012-08-07 2014-02-12 复旦大学 基于应用负载的自适应资源供应方法
CN103986669A (zh) * 2014-05-07 2014-08-13 华东师范大学 一种云计算中资源分配策略的评估方法
CN104184819A (zh) * 2014-08-29 2014-12-03 城云科技（杭州）有限公司 多层级负载均衡云资源监控方法
US20160350198A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Detection of abnormal resource usage in a data center
WO2016191229A1 (en) * 2015-05-26 2016-12-01 Microsoft Technology Licensing, Llc Detection of abnormal resource usage in a data center
US20170161127A1 (en) * 2015-05-26 2017-06-08 Microsoft Technology Licensing, Llc Detection of abnormal resource usage in a data center

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865896A (zh) * 2018-08-27 2020-03-06 华为技术有限公司 慢盘检测方法及装置、计算机可读存储介质
CN110865896B (zh) * 2018-08-27 2021-03-23 华为技术有限公司 慢盘检测方法及装置、计算机可读存储介质
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置

Also Published As

Publication number Publication date
US10402244B2 (en) 2019-09-03
US20170161127A1 (en) 2017-06-08
US9665460B2 (en) 2017-05-30
CN107636621B (zh) 2021-06-25
EP3304314B1 (en) 2020-06-24
US20160350198A1 (en) 2016-12-01
EP3304314A1 (en) 2018-04-11
WO2016191229A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
CN107636621A (zh) 检测数据中心中的异常资源使用
US20220027919A1 (en) Real-time selection of authentication procedures based on risk assessment
US20230360513A1 (en) Adaptive severity functions for alerts
US11151573B2 (en) Intelligent chargeback processing platform
CN106716382B (zh) 用于移动装置行为的聚集多应用程序行为分析的方法和系统
US20200151728A1 (en) Detecting a transaction volume anomaly
US12052321B2 (en) Determining session intent
US9372898B2 (en) Enabling event prediction as an on-device service for mobile interaction
EP3373543A1 (en) Service processing method and apparatus
CN108596616B (zh) 用户数据真实性分析方法及装置、存储介质、电子设备
JP2020516979A (ja) 電力不正使用検出のための新しい非パラメトリック統計的挙動識別エコシステム
CN104424354A (zh) 使用用户操作生成模型检测异常用户行为的方法和系统
CN110929799B (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
US12112369B2 (en) Transmitting proactive notifications based on machine learning model predictions
US20190340614A1 (en) Cognitive methodology for sequence of events patterns in fraud detection using petri-net models
CN116560794A (zh) 虚拟机的异常处理方法和装置、介质和计算机设备
Alzubaidi et al. A data reduction scheme for active authentication of legitimate smartphone owner using informative apps ranking
US20190156160A1 (en) Method for classifying user action sequence
US11991037B2 (en) Systems and methods for reducing a quantity of false positives associated with rule-based alarms
US11811520B2 (en) Making security recommendations
CN113487316B (zh) 分布式支付系统安全处理方法及装置
WO2021086656A1 (en) Admin change recommendation in an enterprise
CN118709187A (zh) 应用安全校验方法、装置、计算机设备和存储介质
CN117495542A (zh) 处置方案确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant