CN102664961A - MapReduce环境下的异常检测方法 - Google Patents

MapReduce环境下的异常检测方法 Download PDF

Info

Publication number
CN102664961A
CN102664961A CN2012101372322A CN201210137232A CN102664961A CN 102664961 A CN102664961 A CN 102664961A CN 2012101372322 A CN2012101372322 A CN 2012101372322A CN 201210137232 A CN201210137232 A CN 201210137232A CN 102664961 A CN102664961 A CN 102664961A
Authority
CN
China
Prior art keywords
cluster
performance index
node
index value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012101372322A
Other languages
English (en)
Other versions
CN102664961B (zh
Inventor
王颖
孟洛明
王凯
陈兴渝
高志鹏
王智立
邱雪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201210137232.2A priority Critical patent/CN102664961B/zh
Publication of CN102664961A publication Critical patent/CN102664961A/zh
Application granted granted Critical
Publication of CN102664961B publication Critical patent/CN102664961B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种MapReduce环境下的异常检测方法，包括以下步骤：S1：采集MapReduce中各从节点的性能指标值，并传递给主节点；S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类；S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；S4：对聚类后的结果进行分析，记录得到的异常结果并输出。本发明的方法算法简单、复杂度低，并且无需等到任务执行完毕，它可以在任务执行过程中即时地对报告上来的数据进行分析处理并即时输出异常结果，可以进行在线检测，实时性高。

Description

MapReduce环境下的异常检测方法
技术领域
本发明涉及信息技术领域，尤其涉及一种MapReduce环境下的异常检测方法。
背景技术
随着虚拟化等关键技术的发展，云计算作为一种新兴的信息技术运用模式得到越来越广泛的关注和普及。通过采用精心设计的系统架构对设备进行组织管理，云计算能够提供十分强大的计算能力。一个著名的云计算架构是Google的MapReduce，它能将任务并行且分布式地运行于大型的集群中。
MapReduce中运行的多是一些耗时较长的任务，不同的任务有不同的需求，同一任务每次执行的时间也不尽相同，一般会相差几分钟甚至更多时间，而且不同的硬件设施也会导致响应时间不同，因此，很难定义一个超时阀值来指示任务是否异常。此外，MapReduce还具有分布式多节点并行运算的特点。由于需要同时检测多个计算节点，且这些节点相互影响，这也增加了异常检测的难度。当系统发生异常时，会导致完成任务所需的时间增加并影响单位时间的数据吞吐量，严重时更会中断任务，这些都会影响运行在云上的企业业务，给企业自身及其客户带来损失。因此需要及时地检测系统异常，以减少和避免损失。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是：提供一种及时检测系统异常、以减少和避免损失的MapReduce环境下的异常检测方法。
(二)技术方案
为解决上述问题，本发明提供了一种MapReduce环境下的异常检测方法，包括以下步骤：
S1：采集MapReduce中各从节点的性能指标值，并传递给主节点；
S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类；
S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；
S4：对聚类后的结果进行分析，记录得到的异常结果并输出。
优选地，所述性能指标为即时的操作系统级别的性能指标。
优选地，所述步骤S3对各从节点的某一类性能指标值进行聚类的步骤具体包括：
S31：输入分类后得到的各从节点的某一类性能指标值；
S32：根据所述各从节点的该类性能指标值的大小将所述各从节点的该类性能指标值分为若干集群；其中，一个从节点的该类性能指标值与所在集群中的至少一个其他从节点的该类性能指标值之差小于设定的阈值；
S33：输出聚类后得到的所有集群。
优选地，所述步骤S32具体包括：
S321：对各从节点的该类性能指标值按照从大到小的顺序进行排序；当然，在本发明的其它实施例中，还可以按照从小到大的顺序进行排列；
S322：建立一个空白集群作为当前集群，并指定所述各从节点的该类性能指标值中最大的一个作为当前指向数据，并将所述当前指向数据加入当前集群；
S323：检测所有集群外是否还有剩余的从节点的该类性能指标值，如果没有，则转到步骤S33；如果有，则转到步骤S324；
S324：判断当前指向数据和下一个从节点的该类性能指标值之间的差值与预先设定的阈值之间的关系，如果所述差值小于等于所述预先设定的阈值，则进入步骤S325；否则，如果所述差值大于所述预先设定的阈值，则进入步骤S326；
S325：将所述下一个从节点的该类性能指标值加入到当前集群中，并将所述下一个从节点的该类性能指标值指定为当前指向数据，然后回到步骤S323；
S326：重新建立新的集群作为当前集群，并将所述下一个从节点的该类性能指标值指定为当前指向数据加入当前集群，然后返回到步骤S323。
优选地，步骤S33中输出的各集群按照建立的先后顺序排列。
优选地，所述步骤S4对聚类后的结果进行的分析包括：
计算各个集群内的从节点的该类性能指标值的个数；
定义含有从节点的该类性能指标值个数最多的集群为正常集群，其它集群为异常集群，其中：位置在正常集群之前的集群为值偏高的集群，位置在正常集群之后的集群为值偏低的集群；
输出异常集群中的各从节点的该类性能指标值所对应的信息。
优选地，所述属于值偏高和偏低的集群中的各从节点的该类性能指标值所对应的信息包括：节点名称、异常时刻、性能指标类别、值偏高还是偏低、以及异常程度。
优选地，所述异常程度通过下面的方法得到：
先计算出正常集群中各从节点的该类性能指标值的平均值，然后计算异常集群中的从节点的该类性能指标值与所述平均值之间的差距作为该从节点的该类性能指标值的异常程度。
(三)有益效果
1、本发明的方法无需等到任务执行完毕，它可以在任务执行过程中即时地对报告上来的数据进行分析处理并即时输出异常结果，可以进行在线检测，实时性高。当然本发明的方法也可以进行离线检测，只需先记录下任务运行过程中各个时间点的性能指标值，然后对每一个时间点进行检测即可。
2、本发明方法的算法复杂度低，仅为O(n)。算法处理过程简单，从最大值开始，遍历一次所有节点即能得出所有的集群以及其他相关信息。
3、本发明最后的得到的异常信息多，包括异常节点名称，异常时刻，异常的性能指标，其值偏高或是偏低以及其异常程度，便于后期处理。
4、本发明采用采用操作系统(OS)级别的性能指标进行检测，操作系统都能通过软件直接获取操作系统级别的性能指标，这些信息表示直观，容易理解。
5、通过观察发现：正常情况下，各个从节点的性能指标值的分布相对集中，而异常状况下，异常节点的值偏离较远，因此本发明通过基于密度的聚类算法来对数据进行聚类，以此来分离出正常和异常的数据，分离方便，复杂度低。
附图说明
图1为根据本发明实施例检测方法的步骤流程示意图；
图2为根据本发明实施例检测方法步骤S3的具体步骤流程示意图；
图3为根据本发明实施例检测方法步骤S32的具体步骤流程示意图；
图4为根据本发明实施例检测方法对六个从节点的CPU利用率数据进行排序后的示意图；
图5为对图4所示数据进行聚类的过程示意图。
具体实施方式
下面结合附图及实施例对本发明进行详细说明如下。
如图1所示，本实施例记载了一种MapReduce环境下的异常检测方法，包括以下步骤：
S1：采集MapReduce中各从节点的性能指标值，并传递给主节点。
在本实施例中，所述性能指标为即时的操作系统级别的性能指标。其能通过操作系统自有的软件直接获取，表示直观，容易理解。当然，在本发明的其它实施例中，所述性能指标还可以为其它容易获取的、常见的性能指标。
在本实施例中，所述性能指标为CPU利用率、和/或内存利用率、和/或磁盘I/O速率。当然，在本发明的其它实施例中，所述性能指标还可以为其它操作系统级别的性能指标。
S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类。
例如，在本实施例中，如果所述性能指标包括CPU利用率和内存利用率，则可以将采集到的各从节点的性能指标值分成CPU利用率类性能指标值和内存利用率类性能指标值。
当然，当性能指标值只有一类时，分类后得到的只有一类各从节点的性能指标值。
S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；
本实施例中，假设MapReduce中的各从节点同构。
其中，如图2所示，所述步骤S3对各从节点的某一类性能指标值进行聚类的步骤具体包括：
S31：输入分类后得到的各从节点的某一类性能指标值。
S32：根据所述各从节点的该类性能指标值的大小将所述各从节点的该类性能指标值分为若干集群；其中，一个从节点的该类性能指标值与所在集群中的至少一个其他从节点的该类性能指标值之差小于设定的阈值。
其中，如图3所示，所述步骤S32具体包括：
S321：对各从节点的该类性能指标值按照从大到小的顺序进行排序；
排序的时候需要同时记录每个性能指标值所对应的从节点，因为不同的从节点的性能指标值可能有相同；并且最后需要输出的异常信息中还包括异常节点名称。
S322：建立一个空白集群作为当前集群，并指定所述各从节点的该类性能指标值中最大的一个作为当前指向数据，并将所述当前指向数据加入当前集群；
S323：检测所有集群外是否还有剩余的从节点的该类性能指标值，如果没有，则转到步骤S33；如果有，则转到步骤S324；
S324：判断当前指向数据和下一个从节点的该类性能指标值之间的差值与预先设定的阈值之间的关系，如果所述差值小于等于所述预先设定的阈值，则进入步骤S325；否则，如果所述差值大于所述预先设定的阈值，则进入步骤S326；
S325：将所述下一个从节点的该类性能指标值加入到当前集群中，并将所述下一个从节点的该类性能指标值指定为当前指向数据，然后回到步骤S323；
S326：重新建立新的集群作为当前集群，并将所述下一个从节点的该类性能指标值指定为当前指向数据加入当前集群，然后返回到步骤S323。
S33：输出聚类后得到的所有集群。
其中，输出的各集群按照建立的先后顺序排列。可以看出，输出的所有集群都不相交。
S4：对聚类后的结果进行分析，记录得到的异常结果并输出。
其中，对聚类后的结果进行的分析包括：
计算各个集群内的从节点的该类性能指标值的个数；
定义含有从节点的该类性能指标值个数最多的集群为正常集群，其它集群为异常集群，其中：位置在正常集群之前的集群为值偏高的集群，位置在正常集群之后的集群为值偏低的集群；在本实施例中，如果同时有多个个数最大的集群，则定义最靠前的一个为正常集群，其它为异常集群；
输出异常集群中的各从节点的该类性能指标值所对应的信息。
在本实施例中，所述信息包括：节点名称、异常时刻、性能指标类别、值偏高还是偏低、以及异常程度。
其中，所述异常程度通过下面的方法得到：
先计算出正常集群中各从节点的该类性能指标值的平均值，然后计算异常集群中的从节点的该类性能指标值与所述平均值之间的差距作为该从节点的该类性能指标值的异常程度。
下面以一个更为具体的实施例来对本发明进行说明：
在本实施例中，实验环境为6个从节点和1个主节点。其中一次实验中收集的某一时刻的6个从节点的CPU利用率，首先对6各从节点的CPU利用率性能指标值进行排序，经过排序后如图4所示，各个从节点命名为node1至node6，每个CPU利用率数据对应了一个节点名。图5表示了对图4所示数据进行聚类的过程。
在本实施例中，步骤S234中预先设定的阈值设置为1。聚类算法首先建立一个集群cluster1作为当前集群，并指定所述各从节点的该类性能指标值中最大的一个——即94.83作为当前指向数据，并将所述当前指向数据加入当前集群cluster1；
检测所有集群(此时即集群cluster1)外有剩余的从节点的该类性能指标值(此时即除了94.83以外的其他所有数据)；
判断当前指向数据94.83和下一个从节点的该类性能指标值94.47之间的差值与预先设定的阈值1之间的关系，得到所述差值小于等于所述预先设定的阈值，则将94.47加入到当前集群cluster1中，并将94.47指定为当前指向数据；
重复上述两段的步骤，直到当前指向数据为92.33；
此时，检测所有集群(此时仍为集群cluster1)外有剩余的从节点的该类性能指标值(此时即85.65)；
判断当前指向数据92.33和下一个从节点的该类性能指标值85.65之间的差值大于预先设定的阈值1，则重新建立新的集群cluster2作为当前集群，并将所述85.65指定为当前指向数据加入当前集群cluster2，然后检测所有集群(此时为集群cluster1和集群cluster2)外已经没有剩余的从节点的该类性能指标值，则输出聚类后得到的所有集群，即集群cluster1和集群cluster2，聚类算法结束。
经过分析后得到，2个集群cluster1和cluster2，其集群大小分别为5和1，因此集群cluster1为正常集群。正常集群cluster1的均值为93.76，通过本方法得到的异常信息为节点85.65所对应的名称为node4的从节点异常，异常性能指标为CPU利用率，异常状况是偏低8.11(93.76-85.65)。
本发明的方法算法简单、复杂度低，并且无需等到任务执行完毕，它可以在任务执行过程中即时地对报告上来的数据进行分析处理并即时输出异常结果，可以进行在线检测，实时性高。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种MapReduce环境下的异常检测方法，其特征在于，包括以下步骤：
S1：采集MapReduce中各从节点的性能指标值，并传递给主节点；
S2：根据性能指标的类别对采集到的各从节点的性能指标值进行分类；
S3：通过基于密度的聚类方法对分类后得到的各从节点的每一类性能指标值进行聚类；
S4：对聚类后的结果进行分析，记录得到的异常结果并输出。
2.如权利要求1所述的MapReduce环境下的异常检测方法，其特征在于，所述性能指标为即时的操作系统级别的性能指标。
3.如权利要求1所述的MapReduce环境下的异常检测方法，其特征在于，所述步骤S3对各从节点的某一类性能指标值进行聚类的步骤具体包括：
S31：输入分类后得到的各从节点的某一类性能指标值；
S32：根据所述各从节点的该类性能指标值的大小将所述各从节点的该类性能指标值分为若干集群；其中，一个从节点的该类性能指标值与所在集群中的至少一个其他从节点的该类性能指标值之差小于设定的阈值；
S33：输出聚类后得到的所有集群。
4.如权利要求3所述的MapReduce环境下的异常检测方法，其特征在于，所述步骤S32具体包括：
S321：对各从节点的该类性能指标值按照从大到小的顺序进行排序；
S322：建立一个空白集群作为当前集群，并指定所述各从节点的该类性能指标值中最大的一个作为当前指向数据，并将所述当前指向数据加入当前集群；
S323：检测所有集群外是否还有剩余的从节点的该类性能指标值，如果没有，则转到步骤S33；如果有，则转到步骤S324；
S324：判断当前指向数据和下一个从节点的该类性能指标值之间的差值与预先设定的阈值之间的关系，如果所述差值小于等于所述预先设定的阈值，则进入步骤S325；否则，如果所述差值大于所述预先设定的阈值，则进入步骤S326；
S325：将所述下一个从节点的该类性能指标值加入到当前集群中，并将所述下一个从节点的该类性能指标值指定为当前指向数据，然后回到步骤S323；
S326：重新建立新的集群作为当前集群，并将所述下一个从节点的该类性能指标值指定为当前指向数据加入当前集群，然后返回到步骤S323。
5.如权利要求4所述的MapReduce环境下的异常检测方法，其特征在于，步骤S33中输出的各集群按照建立的先后顺序排列。
6.如权利要求5所述的MapReduce环境下的异常检测方法，其特征在于，所述步骤S4对聚类后的结果进行的分析包括：
计算各个集群内的从节点的该类性能指标值的个数；
定义含有从节点的该类性能指标值个数最多的集群为正常集群，其它集群为异常集群，其中：位置在正常集群之前的集群为值偏高的集群，位置在正常集群之后的集群为值偏低的集群；
输出异常集群中的各从节点的该类性能指标值所对应的信息。
7.如权利要求6所述的MapReduce环境下的异常检测方法，其特征在于，所述属于值偏高和偏低的集群中的各从节点的该类性能指标值所对应的信息包括：节点名称、异常时刻、性能指标类别、值偏高还是偏低、以及异常程度。
8.如权利要求7所述的MapReduce环境下的异常检测方法，其特征在于，所述异常程度通过下面的方法得到：
先计算出正常集群中各从节点的该类性能指标值的平均值，然后计算异常集群中的从节点的该类性能指标值与所述平均值之间的差距作为该从节点的该类性能指标值的异常程度。
CN201210137232.2A 2012-05-04 2012-05-04 MapReduce环境下的异常检测方法 Expired - Fee Related CN102664961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210137232.2A CN102664961B (zh) 2012-05-04 2012-05-04 MapReduce环境下的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210137232.2A CN102664961B (zh) 2012-05-04 2012-05-04 MapReduce环境下的异常检测方法

Publications (2)

Publication Number Publication Date
CN102664961A true CN102664961A (zh) 2012-09-12
CN102664961B CN102664961B (zh) 2014-08-20

Family

ID=46774370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210137232.2A Expired - Fee Related CN102664961B (zh) 2012-05-04 2012-05-04 MapReduce环境下的异常检测方法

Country Status (1)

Country Link
CN (1) CN102664961B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104536996A (zh) * 2014-12-12 2015-04-22 南京理工大学 一种同构环境下计算节点异常检测方法
CN104657392A (zh) * 2013-11-25 2015-05-27 腾讯科技（深圳）有限公司 一种实现检索异常还原的方法及装置
CN106021852A (zh) * 2016-05-06 2016-10-12 鼎泰生物科技（海南）有限公司 基于密度聚类算法的血糖数据异常值计算方法和装置
CN106254175A (zh) * 2016-07-26 2016-12-21 北京蓝海讯通科技股份有限公司 一种集群异常节点检测方法、应用和计算设备
CN106708016A (zh) * 2016-12-22 2017-05-24 中国石油天然气股份有限公司 故障监控方法和装置
CN107522052A (zh) * 2016-06-16 2017-12-29 浙江新再灵科技股份有限公司 一种电梯异常预警系统和方法
WO2018076571A1 (zh) * 2016-10-28 2018-05-03 南京华苏科技有限公司 Lte网络中的异常值检测方法及系统
WO2018090643A1 (zh) * 2016-11-15 2018-05-24 平安科技（深圳）有限公司 客户分类方法、电子装置及存储介质
CN108280008A (zh) * 2017-10-31 2018-07-13 昆明理工大学 一种针对Hadoop集群异常节点实时监测方法
CN108345529A (zh) * 2018-01-04 2018-07-31 浪潮软件股份有限公司 一种系统性能检测方法和检测装置
CN108664346A (zh) * 2017-03-27 2018-10-16 中国移动通信集团福建有限公司 分布式存储系统的节点异常的定位方法、装置和系统
CN108923952A (zh) * 2018-05-31 2018-11-30 北京百度网讯科技有限公司 基于服务监控指标的故障诊断方法、设备及存储介质
CN109508733A (zh) * 2018-10-23 2019-03-22 北京邮电大学 一种基于分布概率相似度度量的异常检测方法
CN111639006A (zh) * 2020-05-29 2020-09-08 深圳前海微众银行股份有限公司 一种集群的进程管理方法及装置
CN112994960A (zh) * 2019-12-02 2021-06-18 中国移动通信集团浙江有限公司 业务数据异常检测方法、装置及计算设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130950A (zh) * 2011-03-14 2011-07-20 中国科学技术大学苏州研究院 基于Hadoop集群的分布式监控系统及其监控方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130950A (zh) * 2011-03-14 2011-07-20 中国科学技术大学苏州研究院 基于Hadoop集群的分布式监控系统及其监控方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
金欣，王晶，沈奇威: "分布式最小生成树聚类的设计与实现", 《计算机系统应用》, vol. 20, no. 7, 30 December 2011 (2011-12-30), pages 69 - 75 *
黄志兰，丁圣勇，杨国良，罗颂锋: "基于MapReduce的PCA异常流量检测系统实现", 《电信科学》, no. 6, 31 December 2010 (2010-12-31), pages 76 - 80 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657392A (zh) * 2013-11-25 2015-05-27 腾讯科技（深圳）有限公司 一种实现检索异常还原的方法及装置
CN104536996A (zh) * 2014-12-12 2015-04-22 南京理工大学 一种同构环境下计算节点异常检测方法
CN104536996B (zh) * 2014-12-12 2017-12-12 南京理工大学 一种同构环境下计算节点异常检测方法
CN106021852A (zh) * 2016-05-06 2016-10-12 鼎泰生物科技（海南）有限公司 基于密度聚类算法的血糖数据异常值计算方法和装置
CN106021852B (zh) * 2016-05-06 2018-11-06 鼎泰生物科技（海南）有限公司 基于密度聚类算法的血糖数据异常值计算方法和装置
CN107522052B (zh) * 2016-06-16 2020-11-10 浙江新再灵科技股份有限公司 一种电梯异常预警系统和方法
CN107522052A (zh) * 2016-06-16 2017-12-29 浙江新再灵科技股份有限公司 一种电梯异常预警系统和方法
CN106254175A (zh) * 2016-07-26 2016-12-21 北京蓝海讯通科技股份有限公司 一种集群异常节点检测方法、应用和计算设备
WO2018076571A1 (zh) * 2016-10-28 2018-05-03 南京华苏科技有限公司 Lte网络中的异常值检测方法及系统
US11057788B2 (en) 2016-10-28 2021-07-06 Nanjing Howso Technology Co., Ltd Method and system for abnormal value detection in LTE network
WO2018090643A1 (zh) * 2016-11-15 2018-05-24 平安科技（深圳）有限公司 客户分类方法、电子装置及存储介质
CN106708016A (zh) * 2016-12-22 2017-05-24 中国石油天然气股份有限公司 故障监控方法和装置
CN108664346A (zh) * 2017-03-27 2018-10-16 中国移动通信集团福建有限公司 分布式存储系统的节点异常的定位方法、装置和系统
CN108280008A (zh) * 2017-10-31 2018-07-13 昆明理工大学 一种针对Hadoop集群异常节点实时监测方法
CN108345529A (zh) * 2018-01-04 2018-07-31 浪潮软件股份有限公司 一种系统性能检测方法和检测装置
CN108923952A (zh) * 2018-05-31 2018-11-30 北京百度网讯科技有限公司 基于服务监控指标的故障诊断方法、设备及存储介质
CN108923952B (zh) * 2018-05-31 2021-11-30 北京百度网讯科技有限公司 基于服务监控指标的故障诊断方法、设备及存储介质
CN109508733A (zh) * 2018-10-23 2019-03-22 北京邮电大学 一种基于分布概率相似度度量的异常检测方法
CN112994960A (zh) * 2019-12-02 2021-06-18 中国移动通信集团浙江有限公司 业务数据异常检测方法、装置及计算设备
CN111639006A (zh) * 2020-05-29 2020-09-08 深圳前海微众银行股份有限公司 一种集群的进程管理方法及装置

Also Published As

Publication number Publication date
CN102664961B (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
CN102664961B (zh) MapReduce环境下的异常检测方法
US10698777B2 (en) High availability scheduler for scheduling map-reduce searches based on a leader state
US20190377463A1 (en) User interface that facilitates node pinning for a proactive monitoring tree
Lu et al. Stream bench: Towards benchmarking modern distributed stream computing frameworks
US9426045B2 (en) Proactive monitoring tree with severity state sorting
US20160330093A1 (en) User interface that provides a proactive monitoring tree with state distribution ring
Lan et al. Toward automated anomaly identification in large-scale systems
US20160034525A1 (en) Generation of a search query to approximate replication of a cluster of events
US20140195860A1 (en) Early Detection Of Failing Computers
WO2016016926A1 (ja) 管理計算機及び性能閾値の評価方法
US20160055044A1 (en) Fault analysis method, fault analysis system, and storage medium
CN109144813B (zh) 一种云计算系统服务器节点故障监控系统及方法
WO2013074774A4 (en) Data clustering based on variant token networks
CN106126601A (zh) 一种社保大数据分布式预处理方法及系统
Gupta et al. Context-aware time series anomaly detection for complex systems
CN102135932A (zh) 一种监控系统及监控方法
US11347576B2 (en) Root cause analysis of non-deterministic performance anomalies
Xu et al. Distributed maximal clique computation and management
CN109308170A (zh) 一种数据处理方法及装置
US20140269342A1 (en) Scalable Infiniband Interconnect Performance and Diagnostic Tool
CN105678323A (zh) 基于图的分析用户的方法和系统
CN112636942A (zh) 业务主机节点的监测方法及装置
Li et al. Converting unstructured system logs into structured event list for anomaly detection
JP2016224856A (ja) データベース装置、検索装置、部分グラフ構築方法、検索方法
CN112579552A (zh) 日志存储及调用方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140820

Termination date: 20180504