CN106708692B - 建立过滤报警模型的方法和装置以及过滤报警的方法、装置和电子设备 - Google Patents
建立过滤报警模型的方法和装置以及过滤报警的方法、装置和电子设备 Download PDFInfo
- Publication number
- CN106708692B CN106708692B CN201510781774.7A CN201510781774A CN106708692B CN 106708692 B CN106708692 B CN 106708692B CN 201510781774 A CN201510781774 A CN 201510781774A CN 106708692 B CN106708692 B CN 106708692B
- Authority
- CN
- China
- Prior art keywords
- alarm
- filtration
- alarm object
- warning
- alert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/88—Monitoring involving counting
Abstract
本申请提供了一种建立过滤报警模型的方法,包括:抽取发出过报警信息的报警对象,提取每个被抽取的报警对象报警相关历史信息和报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据;对所述被抽取的报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;归属所述被抽取的报警对象到所述报警对象类别;利用归属各个报警对象类别的报警对象的训练数据,进行对各个所述报警对象类别的模型训练,建立过滤报警模型。本申请的技术方案实现了报警的个性化、提高了报警的准确性、也可以感知和适应报警对象的变化。本申请还提供了一种建立过滤报警模型的装置、一种过滤报警的方法、装置和电子设备。
Description
技术领域
本申请涉及计算机技术领域,具体涉及建立过滤报警模型的方法、过滤报警的方法;相应于上述方法,本申请同时涉及建立过滤报警模型的装置、过滤报警的装置以及电子设备。
背景技术
目前,大规模数据交互计算中广泛采用分布式系统。对于包含大量子系统或者独立计算机的分布式系统,经常需要对各个子系统或者独立计算机是否正常运行做出判断,以便及时处理;为此,许多分布式系统设置有专门的报警系统。
现有技术下的分布式系统中的报警系统,通常采用如下方式实现报警。一个统一的报警执行模块集中接收分布式系统中被监测的执行装置——即报警对象——的报警相关参数,并以所述报警相关参数为依据,对报警相关参数超过设定报警阈值的报警对象执行报警。这种报警系统采用的报警方法称为阈值报警方法。
上述现有技术下提供的阈值报警方法尽管简单易行,但对于大规模的分布式系统存在很大缺陷,主要体现在报警阈值选择难以照顾多样性的监测对象上。以下予以详细说明。
上述现有技术下,阈值的选择一般有两种方法,即使用统一的全局阈值或者对每一报警对象使用单独阈值。
使用统一的全局报警阈值时,报警阈值的选择比较容易,但由于分布式系统中的不同监测对象具有异构性,使统一的全局报警阈值难以与所有监测对象适配,造成一些报警对象频繁报警而实际属于正常运行,而另外一些报警对象可能应该报警而实际却不报警。
对每一报警对象使用单独阈值可以有效解决上述使用全局报警阈值造成的问题,但是,这种方式需要分别考察每一个监测对象,并对每一个监测对象设置合适的报警阈值,对于较大规模的分布式系统而言,这种方法使设置报警阈值的工作非常庞杂,工作量过大。另外,分布式系统中连接的监测对象往往是动态变化的,不断有新的监测对象加入,采用此种方法无法一次性完成报警阈值的设定工作。由于上述原因,该方式所耗费的系统运行资源将过高,尤其不适用于对大数量规模的报警对象的报警。
在具有大量具有异构性的监测对象的情况下,如何以合适的方式筛选报警对象,以适配不同异构的监测对象的报警相关参数的不同数据情况,成为一个有待解决的问题。
发明内容
本申请提供建立过滤报警模型的方法和装置、以及过滤报警的方法、装置和电子设备,主要解决阈值报警方法中,使用统一的全局阈值导致的无法进行个性化报警和误报率过高的问题,以及对大数量规模的报警对象使用单独阈值,系统运行资源消耗过高的问题。本申请的技术方案尤其适用于对大规模异构报警对象的报警作进一步的优化筛选。
本申请提供一种建立过滤报警模型的方法,包括:
抽取发出过报警信息的报警对象,提取每个被抽取的报警对象在预定历史时间段内的报警相关历史信息和在报警监测时段的报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据;
以所述报警相关历史信息为依据,对所述被抽取的报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;每一个所述被抽取的报警对象以距离最近的所述聚类中心对应的报警对象类别作为所归属的报警对象类别;
利用归属各个报警对象类别的报警对象的训练数据,进行对各个所述报警对象类别的模型训练,为每个报警对象类别建立对应的过滤报警模型。
可选的,所述预定历史时间段,为一个处于实际发出报警信息的时点之前、规定时长的历史时间段。
可选的,所述报警相关历史信息,包括所述报警对象的下述属性项目中的至少一个:单位时长平均错误量、单位时长平均调用量、平均响应时间。
可选的,所述报警监测时段,为从实际发出报警信息的时点开始向前计算、并具有规定时长的时间段。
可选的,所述报警监测信息,包括所述报警对象的下述属性项目中的至少一个:当前错误率、当前调用量、当前响应时间。
可选的,所述预定历史时间段是以日为单位来计算的;所述报警监测时段是以分钟为单位来计算的。
可选的,所述对所述报警对象发出报警信息是否正确所作的标注,以如下方式获得:检查对所述报警对象发出报警信息是否正确;若是,则对所述报警对象添加名称为报警检查、属性值为正确的属性项目;若否,则对所述报警对象添加名称为报警检查、属性值为不正确的属性项目;所述名称为报警检查,属性值为正确或者不正确的属性项目即为所述对所述报警对象发出报警信息是否正确所作的标注。
可选的,所述对所述被抽取的报警对象进行聚类,具体为对所述被抽取的报警对象进行抽样,对抽样取得的样本进行聚类。
可选的,所述对各个报警对象进行聚类,所采用的聚类算法包括下述所列之一:K均值算法、均值漂移算法。
可选的,所述模型训练,是以所述对所述报警对象发出报警信息是否正确所作的标注来划分正样本和负样本;其中,标注对所述报警对象发出报警信息为正确的样本为正样本,标注对所述报警对象发出报警信息为不正确的样本为负样本。
可选的,所述模型训练,所采用的是机器学习算法。
可选的,所述机器学习算法,包括下述所列之一:C4.5算法、支持向量机算法、贝叶斯算法、极限学习机算法、深度学习算法、随机森林算法。
可选的,每间隔一个规定时长的时间段执行一次所述建立过滤报警模型的方法,并将建立的所述过滤报警模型作为实际过滤报警过程中使用的过滤报警模型。
可选的,所述的报警对象是异构的。
相应的,本申请还提供一种建立过滤报警模型的装置,包括:
训练数据形成单元,用于抽取发出过报警信息的报警对象,提取每个被抽取的报警对象在预定历史时间段内的报警相关历史信息和在报警监测时段的报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据;
报警对象类别建立单元,用于以所述报警相关历史信息为依据,对所述被抽取的报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;每一个所述报警对象以距离最近的所述聚类中心对应的报警对象类别作为所归属的报警对象类别;
过滤报警模型建立单元,用于利用归属各个报警对象类别的报警对象的训练数据,进行对所述报警对象类别的模型训练,为每个报警对象类别建立对应的过滤报警模型。
可选的,所述报警对象类别建立单元,包括:
抽样子单元,用于对所述各个报警对象进行抽样,抽样取得的样本为进行聚类的对象。
可选的,所述报警对象类别建立单元,包括:
报警对象聚类子单元,用于对各个报警对象进行聚类,建立聚类中心;所述对各个报警对象进行聚类所采用的聚类算法包括下述所列之一:K均值算法、均值漂移算法。
可选的,所述过滤报警模型建立单元中所述模型训练,是以所述对所述报警对象发出报警信息是否正确所作的标注来划分正样本和负样本;其中,标注对所述报警对象发出报警信息为正确的样本为正样本,标注对所述报警对象发出报警信息为不正确的样本为负样本。
可选的,所述过滤报警模型建立单元中所述模型训练,所采用的是机器学习算法。
可选的,所述机器学习算法,包括下述所列之一:C4.5算法、支持向量机算法、贝叶斯算法、极限学习机算法、深度学习算法、随机森林算法。
可选的,每间隔一个规定时长的时间段触发一次所述建立过滤报警模型的装置,并将建立的所述过滤报警模型作为实际过滤报警过程中使用的过滤报警模型。
可选的,所述的报警对象是异构的。
本申请还提供的一种过滤报警的方法,使用所述一种建立过滤报警模型的方法所建立的报警对象类别和过滤报警模型,包括:
实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息;
提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到所述一种建立过滤报警模型的方法中建立的报警对象类别中;
根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过所述一种建立过滤报警模型的方法建立的过滤报警模型进行判断,确定是否确实需要发出报警信息;若是,则进入下一步;
发出针对所述报警对象的报警信息。
可选的,所述当前报警监测时段,为一个从预判需要发出报警信息之时点开始向前计算的、并具有规定时长的时间段。
可选的,所述报警监测信息,包括所述报警对象的下述属性项目中的至少一个:当前错误率、当前调用量、当前响应时间。
可选的,所述当前预定时间段,为一个预判需要发出报警信息之时点之前的规定时长的时间段。
可选的,所述报警相关历史信息,包括报警对象的下述属性项目中的至少一个:单位时长平均错误量、单位时长平均调用量、平均响应时间。
可选的,在执行所述提取所述报警对象在当前预定时间段内的报警相关历史信息的步骤之前,执行下述步骤:
判断被监测的报警对象的报警监测信息是否超过了预先设定的全局报警阈值;若是,则判断该被监测的报警对象为所述预判需要发出报警信息的报警对象,并进入下一步。
可选的,所述根据所述报警相关历史信息,将所述报警对象归属到所述权利要求1至14任一项建立报警模型的方法中建立的所述报警对象类别中,包括:
根据所述预判需要发出报警信息的报警对象的报警相关历史信息,计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离;
找出与所述报警对象距离最近的聚类中心;
将所述距离最近的聚类中心对应的报警对象类别作为所述报警对象所归属的报警对象类别。
可选的,所述计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离,所采用的算法,是对应于所述一种建立过滤报警模型的方法中,对各个报警对象进行聚类时采用的算法。
可选的,所述根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过所述一种建立过滤报警模型的方法建立的所述过滤报警模型,确定是否发出报警信息,包括:
以所述报警对象的所述报警监测信息和所述报警相关历史信息为输入,使用所述报警对象所归属的所述报警对象类别所对应的所述过滤报警模型进行计算;
模型计算的结果为报警或不报警;若模型计算的结果为报警,则判断确实需要发出报警信息。
可选的,在执行发出针对所述报警对象的报警信息的步骤之前,执行下述步骤:
根据所述报警对象的所述报警监测信息在当前报警监测时段内的变化趋势的类型,确定所述报警对象是否符合报警的趋势要求;若是,则进行下一步。
可选的,所述变化趋势的类型是通过计算所述报警对象的所述报警监测信息在当前报警监测时段内的时间线图的平均斜率来判定的;所述变化趋势的类型包括下列所述之一:陡升型,陡降型,平衡型,波动型,先升后降型、先降后升型;若所述时间线图的平均斜率小于-0.5,且所述时间线图的时间线的末端数值小于始端数值,则判定所述变化趋势的类型是陡降型或先升后降型;若所述变化趋势的类型不是陡降型或先升后降型,则确定所述报警对象符合所述报警的趋势要求。
可选的,所述的报警对象是异构的。
相应的,本申请还提供的一种过滤报警的装置,使用所述一种建立过滤报警模型的装置所建立的报警对象类别和过滤报警模型,包括:
实时信息提取单元,用于实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息;
报警对象类别归属单元,用于提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到所述一种建立过滤报警模型的装置中建立的报警对象类别中;
过滤报警模型应用单元,用于根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过所述一种建立过滤报警模型的装置建立的过滤报警模型,确定是否确实需要发出报警信息;若是,则发出触发信息,触发后续单元;
报警执行单元,用于接收来自上一级单元的触发信息,实际发出针对所述报警对象的报警信息。
可选的,所述报警对象类别归属单元,包括:
报警对象距离计算子单元,用于根据所述预判需要发出报警信息的报警对象的所述报警相关历史信息,计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离;
聚类中心确定子单元,用于找出与所述报警对象距离最近的聚类中心;
报警对象类别指定子单元,用于根据获取所述聚类中心确定子单元提供的与所述报警对象距离最近的聚类中心,将所述距离最近的聚类中心对应的报警对象类别作为所述报警对象所归属的报警对象类别。
可选的,所述计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离,所采用的算法,是对应于所述一种建立过滤报警模型的装置中,对各个报警对象进行聚类时采用的算法。
可选的,所述过滤报警模型应用单元,包括:
过滤报警模型计算子单元,用于以所述报警对象的所述报警监测信息和所述报警相关历史信息为输入,使用所述报警对象所归属的所述报警对象类别所对应的、通过所述一种建立过滤报警模型的装置建立的过滤报警模型进行计算;模型计算的结果为报警或不报警;
过滤报警触发确定子单元,用于接收所述过滤报警模型计算子单元的计算结果;若所述计算结果为报警,则发出触发信息,触发后续单元。
可选的,所述的报警对象是异构的。
此外,本申请还提供一种过滤报警的电子设备,使用所述一种建立过滤报警模型的方法所建立的报警对象类别和过滤报警模型,包括:
显示器;
处理器;
存储器,用于存储过滤报警的程序,所述程序在被所述处理器读取执行时,执行如下操作:实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息;提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到所述一种建立过滤报警模型的方法中建立的所述报警对象类别中;根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过所述一种建立过滤报警模型的方法建立的过滤报警模型进行判断,确定是否确实需要发出报警信息;若是,则发出针对所述报警对象的报警信息。
与现有技术相比,本申请建立过滤报警模型的方法和配套使用的过滤报警的方法具有以下优点:
本申请的技术方案实现了对报警对象个性化的报警和高准确性的报警。在过滤模型建立时,利用聚类把数量庞大的报警对象归属到相似程度高的报警对象类别,再针对报警对象类别进行过滤模型训练,获得了针对报警对象类别的个性化报警模型;在使用过滤模型时,通过聚类把报警对象归属到对应个性化过滤报警模型的报警对象类别,并使用专门为该报警对象类别涉及的过滤报警模型进行报警过滤,从而实现了对报警对象的再次筛选,在保证对报警对象报警的高准确性基础上,实现个性化与设置复杂程度、计算量等相互矛盾的因素的平衡,并使报警对象实时动态扩展成为可能。此种方法能够满足具有大量异构监测对象的分布式系统的报警需求,也可适应分布式系统的各种动态变化的情况。
附图说明
图1是本申请第一实施例提供的一种建立过滤报警模型的方法的实施例流程图;
图2是本申请第一实施例提供的一种建立过滤报警模型的方法中提供的经过一次模型训练形成的模型示意图;
图3是本申请第二实施例提供的一种建立过滤报警模型的装置的实施例示意图;
图4是本申请第三实施例提供的一种过滤报警方法的实施例流程图;
图5是本申请第四实施例提供的一种过滤报警方法的一种报警监测信息的变化趋势类型示意图;其中,图5-1当前错误率变化趋势为陡升型,图5-2当前错误率变化趋势为陡降型,图5-3当前错误率变化趋势为波动型,图5-4当前错误率变化趋势为平衡型,图5-5当前错误率变化趋势为先升后降型,图5-6当前错误率变化趋势为先降后升型;
图6是本申请第四实施例提供的另一种过滤报警方法的实施例流程图;
图7是本申请第五实施例提供的一种过滤报警的装置的实施例示意图;
图8是本申请第六实施例提供的一种过滤报警的电子设备的实施例示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本申请中,分别提供了一种建立过滤报警模型的方法和装置,以及一种过滤报警的方法、装置和电子设备,在下面的实施例中逐一进行详细说明。为了便于理解本申请的技术方案,首先对提出本申请的背景及本申请的技术方案作简要说明。
例如,某报警系统针对快递、货运和其他物流公司提供的服务接口进行报警,但是这些公司的硬件系统如服务器性能、种类和规模等是各不相同的,所提供的接口也不同的。对这些监测数量大、监测对象为异构的报警,使用阈值报警方法无法进行个性化的报警,也无法保证报警的准确性。同时,新增加监测对象和原监测对象硬件升级等条件变更的情况也会造成监测对象的变化,原报警系统也无法根据这些变化进行动态调整。
本申请的发明人就此发明建立过滤报警模型的方法和装置、以及过滤报警的方法、装置和电子设备以解决上述问题。本申请的技术方案的核心在于:在各个监测对象原有报警的基础上,对产生的报警进行过滤,筛选出真正需要报警的对象。
本申请的技术方案在建立过滤报警模型时,利用聚类把相似程度较高的报警对象归属到同一个报警对象类别;利用历史报警的时间点和时间段的状态信息以及历史报警执行的正确与否来训练建立过滤报警模型;在使用过滤报警模型时,利用实际预判需要报警的时间点和时间段的状态信息,通过报警对象所属的报警类别所对应的报警模型进行计算,确定是否执行报警。这样实现了报警的个性化,增强了报警的准确性,也做到了对报警对象发生变化的感知和对过滤报警模型的自动调整。
本申请的优选方案中,在上述以过滤报警模型为中心的报警过滤方法基础上,进一步增加了统一阈值报警以及变化趋势过滤,形成了多级过滤策略。采用上述策略后,最终形成的报警过滤方法形成了一个漏斗形状的计算模式,并且将计算最简单的阈值过滤最先执行,计算最复杂的变化趋势过滤在最后执行,保证过滤报警有效性与系统的运行资源消耗获得最佳的平衡效果。
本申请还拥有良好的水平可扩展性。可以通过远程过程调用协议框架将每次报警对象的智能过滤分配到各个机器上进行,使系统在大规模数据调用的环境也能够做到高效运行。
下面以下实施例的具体流程来说明本申请的技术方案。
请参考图1,其为本申请第一实施例提供的一种建立过滤报警模型的方法的实施例流程图。具体的,所述建立过滤报警模型的方法包括如下步骤:
步骤S101:抽取发出报警信息的报警对象,提取每个被抽取的报警对象在预定历史时间段内的报警相关历史信息和在报警监测时段的报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据。
抽取每一个在实际报警过程中,曾经发出过报警信息的报警对象。抽取报警对象可以是由手工确定,也可以是由系统自动确定。在本实施例中,这些报警对象都是异构的,即为不同的个体,其属性都是不同的。
所述预定历史时间段,为一个处于实际发出报警信息的时点之前、规定时长的历史时间段;所述报警相关历史信息是可以反映报警对象与报警相关的特性的属性项目,包括单位时长平均错误量、单位时长平均调用量、平均响应时间;所述单位时长一般是指日。例如,本实施例的报警相关历史信息,具体是提取发出报警信息的报警对象在实际发出报警信息之前一个月的历史数据;参见表1,报警相关历史信息包括所述报警对象的下述属性项目:日均错误率、日均调用量、平均响应时间。如果所述报警对象的历史数据时长不足一个月,则可以提取实际发出报警信息之当日的数据。
表1.报警相关历史信息
根据不同的情况和报警过滤要求,也可以从上述报警相关历史信息中选择一个或者两个,当然,也不排除使用其它能够反映报警对象与报警相关的特性的属性项目作为报警相关历史信息。
所述报警监测时段,是从实际发出报警信息的时点开始向前计算、并具有规定时长的时间段;所述报警监测信息可以采用所述报警对象的各种与报警相关的属性项目;可以选取的典型的属性项目为:当前错误率、当前调用量、当前响应时间;当然,不排除仅仅选择其中一个或者两个属性项目;也可以选择其它能够反映报警对象报警相关情况的属性项目;这些属性项目中的“当前”,具体含义是指在所述报警监测时段内。
在本实施例中,具体是提取每个发出报警信息的报警对象在实际发出报警信息之时前5分钟内的历史数据,即采用发出报警信息的报警对象在实际发出报警信息之时前5分钟的相关属性项目数据作为报警监测信息;参见表2,报警监测信息包括所述报警对象的下述属性项目:当前错误率、当前调用量、当前响应时间。
表2.报警监测信息
属性项目 | 含义 | 备注 |
当前错误率 | 5分钟内的当前报警对象的调用错误率 | 判断是否报警的主要影响因素 |
当前响应时间 | 5分钟内当前报警对象的平均响应时间 | |
当前调用量 | 5分钟内当前报警对象的调用数量 |
需要指出的是,提取的报警监测信息和报警相关历史信息分别代表了实际发出报警信息之时报警对象的在具体时间点上和在一段时间段上的情况,两者的结合能够比较准确地反映发出报警信息之时的真实状态。为了达到上述效果,所述报警相关历史信息的预定历史时间段是一个相对较长的时间段,其时间单位以日为单位来计算;所述报警监测时段是一个相对较短的时间段,其时间单位以分钟为单位来计算。
所述对所述报警对象发出报警信息是否正确所作的标注,即检查对所述报警对象发出报警信息是否正确,并根据检查结果对所述报警对象进行标注。本实施例中,具体采用的标注方式是,若检查结果为是,即对所述报警对象发出报警信息正确,则对所述报警对象添加名称为报警检查、属性值为正确的属性项目;若检查结果为否,即对所述报警对象发出报警信息错误,则对所述报警对象添加名称为报警检查、属性值为不正确的属性项目。上述标注一般可以采用人工标注,以反映使用者对报警信息的认可程度,这样在后续的模型训练过程中,就可以获得反映使用者要求的过滤报警模型。
通过上述提取每个被抽取的报警对象在预定历史时间段内的报警相关历史信息和在报警监测时段的报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据。在本实施例中,所述训练数据包括所述报警对象的下述属性项目内容:日均错误量、日均调用量、平均响应时间、当前错误率、当前调用量、当前响应时间、报警检查。
步骤S102:以所述报警相关历史信息为依据,对所述被抽取的报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;每一个所述被抽取的报警对象以距离最近的所述聚类中心对应的报警对象类别作为所归属的报警对象类别。
在本实施例中,根据报警相关历史信息,即发出报警信息的报警对象在实际发出报警信息之前一个月的日均错误量、日均调用量、平均响应时间,对报警对象进行聚类,保存聚类计算产生的聚类中心,对应每一个聚类中心建立一个报警对象类别;计算每一个报警对象距离每一个聚类中心的距离,归属每一个报警对象到其距离最近的聚类中心所对应的报警对象类别。
本实施例中聚类具体采用的算法是K均值算法,也可以采用其他算法如冠层算法、均值漂移算法等。这些具体的聚类算法均属于现有技术下的常用算法。当然,不排除使用其他现有技术下可能的聚类算法,也不排除本申请申请日后由于技术发展产生的更为合理的聚类算法。
通过使用聚类,可以使较为相似的报警对象归为一类,使后续建立的过滤报警模型的特性更能反映相应报警对象的特性,从而提高过滤报警模型的准确程度。
在本步骤之前,还可以对所述被抽取的报警对象进行抽样,将抽样取得的样本作为本步骤进行聚类的对象。采取这种优选步骤的目的,是降低系统资源的消耗。抽样的方式可以使用随机抽样,也可以采用其他抽样的方法。
步骤S103:利用归属各个报警对象类别的报警对象的训练数据,进行对各个所述报警对象类别的模型训练,为每个报警对象类别建立对应的过滤报警模型。
本实施例中,具体的训练数据,即日均错误量、日均调用量、平均响应时间、当前错误率、当前调用量、当前响应时间、报警检查这七个报警对象的属性项目内容;根据这些训练数据,对步骤S102所建立的报警对象类别进行模型训练,为每个报警对象类别建立对应的过滤报警模型。
在本实施例中具体采用的是C4.5决策树算法,也可以采用其他机器学习算法例如:支持向量机算法、贝叶斯算法、极限学习机算法、深度学习算法、随机森林算法等。同样的,不排除使用其他现有技术下可能的机器学习算法,也不排除本申请申请日后由于技术发展产生的更为合理的算法。
对报警对象类别的模型训练,以对报警对象发出报警信息是否正确所作的标注来划分正样本和负样本。在本实施例中,具体标注对报警对象发出报警信息为正确的样本为正样本,标注对所述报警对象发出报警信息为不正确的样本为负样本。
通过模型训练,对每一报警对象类别都建立一个过滤报警模型。在本实施例中,如图2所示,具体通过一次C4.5模型训练所形成的一个模型,即过滤报警模型。所有日均调用量为250000次到350000次之间、日均错误量在1500次到2500次之间、平均响应时间在150ms到250ms之间的报警对象都归属于某一个报警对象类别,图2是针对此报警对象类别使用C4.5算法训练一次形成的过滤报警模型。此模型以报警对象的报警相关历史信息和报警监测信息属性项目为节点,每一个分支代表一个过滤报警模型输出结果:报警或不报警。例如日均调用总量>300000次、日均错误量<2000次、当前调用量>10000次的分支的输出模型结果为报警。
在模型训练完成后,针对每一个报警对象类别都会建立一个过滤报警模型。每个报警对象类别由于数据不相同,通过不同机器学习算法的模型训练所得到的模型具体形状也是不相同的,但每个报警对象类别的过滤报警模型都可以对本类别的数据进行良好的拟合。
在本申请的优选实施例中,还可以每间隔一段时间执行一次步骤S101至S103,重新建立聚类中心、报警对象类别和过滤报警模型,并将建立的所述过滤报警模型作为实际过滤报警过程中使用的过滤报警模型。重新执行步骤S101至S103的时间间隔可以为一个月,一周或者一天;时间间隔越短,建立的过滤报警模型对报警对象的变化感知就越敏感。可以根据具体情况,灵活设置重新执行建立过滤报警模型的时间间隔。
在上述的实施例中,提供了一种建立过滤报警模型的方法,与之相对应的,本申请还提供一种建立过滤报警模型的装置。请参看图3,其为本申请第二实施例提供的一种建立过滤报警模型的装置的实施例示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅为示意性的。
一种建立过滤报警模型的装置,包括:
训练数据形成单元201,用于抽取发出过报警信息的报警对象,提取每个被抽取的报警对象在预定历史时间段内的报警相关历史信息和在报警监测时段的报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据;
报警对象类别建立单元202,用于以所述报警相关历史信息为依据,对所述被抽取的报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;每一个所述报警对象以距离最近的所述聚类中心对应的报警对象类别作为所归属的报警对象类别;
过滤报警模型建立单元203,用于利用归属各个报警对象类别的报警对象的训练数据,进行对所述报警对象类别的模型训练,为每个报警对象类别建立对应的过滤报警模型。
可选的,所述报警对象类别建立单元,包括:
随机抽样子单元,用于对所述各个报警对象进行随机抽样,抽样取得的样本为进行聚类的对象。
可选的,所述报警对象类别建立单元,包括:
报警对象聚类子单元,用于对各个报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;所述对各个报警对象进行聚类所采用的聚类算法包括下述所列之一:K均值算法、均值漂移算法。
可选的,所述过滤报警模型建立单元中所述模型训练,是以所述对所述报警对象发出报警信息是否正确所作的标注来划分正样本和负样本;其中,标注对所述报警对象发出报警信息为正确的样本为正样本,标注对所述报警对象发出报警信息为不正确的样本为负样本。
可选的,所述过滤报警模型建立单元中所述模型训练,所采用的是机器学习算法,具体包括下述所列之一:C4.5算法、支持向量机算法、贝叶斯算法、极限学习机算法、深度学习算法、随机森林算法。
可选的,每间隔一个规定时长的时间段触发一次所述建立过滤报警模型的装置,并将建立的所述过滤报警模型作为实际过滤报警过程中使用的过滤报警模型。
可选的,其特征在于所述的报警对象是异构的。
以上,描述了本申请的一种建立过滤报警模型的方法和装置;以下,对本申请的一种过滤报警的方法、装置和电子设备进行说明。
本申请提供的一种过滤报警的方法,使用所述一种建立过滤报警模型的方法所建立的过滤报警模型,并根据报警对象所属的报警对象类别,使用相应的过滤报警模型,实现过滤报警。
请参考图4,其为本申请第三实施例提供的一种过滤报警的方法的实施例流程图。在具体实施时,可以采用多种方式实现本申请的技术方案,特别是可以使用多重过滤的方法来进一步调高系统性能。具体的,所述过滤报警的方法包括:
步骤S301:实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息。
预判需要发出报警信息的报警对象是由系统自动确定的。在本实施例中,和所述一种建立过滤报警模型的方法相对应,报警对象也都是异构的。
所述当前报警监测时段为一个从预判需要发出报警信息之时点开始向前计算的、并具有规定时长的时间段;所述报警监测信息,可以采用所述报警对象的各种与报警相关的属性项目,包括:当前错误率、当前调用量、当前响应时间。在当前报警监测时段内的报警监测信息主要反映的是报警对象在实时报警监测时间点上的状态,一般报警监测时段以分钟为单位计算。在本实施例中,具体设置当前报警监测时段为5分钟,即实时提取预判需要发出报警信息的报警对象在实际预判需要发出报警信息之时点开始计算、前5分钟内报警对象的下述属性项目内容:当前错误率、当前调用量、当前响应时间。这些属性项目中的“当前”,具体含义是指在所述报警监测时段内、反映实时特性。
在本步骤之后,还可以包括如下步骤实现所述预判:判断被监测的报警对象的报警监测信息是否超过了预先设定的全局报警阈值;若是,则判断该被监测的报警对象为所述预判需要发出报警信息的报警对象。本优选步骤的目的是减少后续步骤进行过滤计算的数量和提高系统运行性能。具体方法是设定一个全局的报警阈值,如当前错误率>15%,当前调用总量>30,当前响应时间>1000ms等较为宽松的约束条件,进行对报警对象的过滤。超过这些全局报警阈值条件的报警对象,才被作为所述预判需要发出报警信息的报警对象,进入下一步骤;对于没有超过这些全局报警阈值条件的报警对象,不需要进入下一个步骤。需要注意该全局报警阈值设定的约束条件应该是比较宽松的,如果过于苛刻,则可能会错误地排除了一些需要报警的报警对象。
步骤S302:提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到所述一种建立过滤报警模型的方法中步骤S102所建立的所述报警对象类别中。
所述当前预定时间段,为一个预判需要发出报警信息之时点之前的规定时长的时间段;所述报警相关历史信息,可以采用所述报警对象的各种与报警相关的属性项目,包括报警对象的下述属性项目:单位时长平均错误量、单位时长平均调用量、平均响应时间。在当前预定时间段内的报警相关历史信息主要反映的是报警对象在预判需要发出报警信息之时点之前一段时间段上的状态,一般当前预定时间段以日为单位计算。在本实施例中,具体提取的是在实际预判需要发出报警信息之前一个月内的报警相关历史信息,即报警对象的下述属性项目内容:日均平均错误量、日均平均调用量、平均响应时间。如果该报警对象为新增加报警对象,则提取实际预判需要发出报警信息之当日的数据。
根据所提取的报警相关历史信息,计算报警对象距每一个所述一种建立过滤报警模型的方法中步骤S102所建立的聚类中心的距离;计算距离所采用的算法,是对应于所述一种建立过滤报警模型的方法中步骤S102对各个报警对象进行聚类时采用的相同的算法。例如所述一种建立过滤报警模型的方法实施例中步骤S102采用的是K均值算法,则本实施例步骤也采用K均值算法。
找出与所述报警对象距离最近的所述聚类中心;在计算报警对象距每一个所述聚类中心的距离完成之后,找出距离最近的所述聚类中心。
将所述距离最近的聚类中心对应的所述一种建立过滤报警模型的方法中步骤S102所建立的报警对象类别作为所述报警对象所归属的报警对象类别。
步骤S303:根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、所述一种建立过滤报警模型的方法中步骤S103建立的过滤报警模型进行判断,确定是否确实需要发出报警信息;若是,则进入下一步骤。
在本实施例中,具体以所述报警对象的所述报警监测信息和所述报警相关历史信息为输入,即以所述报警对象的日均错误量、日均调用量、平均响应时间、当前错误率、当前调用量、当前响应时间为输入,使用所述报警对象所归属的、所述报警对象类别所对应的、建立过滤报警模型的方法中步骤S103所建立的过滤报警模型,进行计算;模型计算的结果为报警或不报警;若模型计算的结果为报警,则确定需要发出报警信息,进入下一步骤;若模型计算结果为不报警,则不需要对该报警对象发出报警信息,即无需进入下一个步骤。
在本步骤之后,还可以根据所述报警对象的报警监测信息在当前报警监测时段内的变化趋势的类型,确定所述报警对象是否符合报警的趋势要求;若是,则进入下一步骤;若否,则结束本次过滤报警方法。
所述变化趋势的类型是通过计算所述报警对象的所述报警监测信息在当前报警监测时段内的时间线图的平均斜率来判定的;所述变化趋势的类型包括下列所述之一:陡升型,陡降型,平衡型,波动型,先升后降型、先降后升型;若所述平均斜率小于-0.5,且所述时间线图上报警监测信息时间线的末端数值小于始端数值,则判定所述变化趋势的类型是陡降型或先升后降型;若所述变化趋势的类型不是陡降型或先升后降型,则确定所述报警对象符合所述报警的趋势要求。
例如,本优选步骤计算报警监测信息在5分钟内的变化趋势,具体计算的是当前错误率在5分钟内时间线图的斜率。请参见图5,其为本申请第四实施例提供的一种过滤报警方法的一种报警监测信息的变化趋势类型示意图。根据计算出的斜率可以把所述当前错误率的变化趋势类型分类为下述类型之一:陡升型(参见图5-1)、陡降型(参见图5-2)、波动型(参见图5-3)、平衡型(参见图5-4)、先升后降型(参见图5-5)和先降后升型(参见图5-6)。本优选步骤具体对第二种陡降型和第五种先升后降型进行过滤排除,因为这两种趋势代表着错误率将会恢复到正常水平。对这两种类型的主要识别的方式是针对每分钟的错误率线段按照下面的公式求斜率Ki,并对斜率求平均值,最终满足条件θ<-0.5并且yn<y1进行过滤排除。
步骤S304.发出针对所述报警对象的报警信息。
对最终过滤出的报警对象,发出相应的报警信息,所述报警信息可以采用多种可能的形式,包括计算机界面的提示信息,也可以使用电子邮件、短信、即时通讯工具等形式发出信息。
请参考图6,其为本申请第四实施例提供的另一种过滤报警的方法的流程图,该实施例为增加了前面提到的一些可能的优选步骤后的优选实施例;对所增加的优选步骤在所述第三实施例中已经做了详细说明,在此不予赘述。
在上述的实施例中,提供了一种过滤报警的方法,与之相对应的,本申请还提供一种过滤报警的装置和电子设备。
请参看图7,其为本申请第五实施例提供的过滤报警的装置的实施例示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅为示意性的。
本申请提供的一种过滤报警装置,使用所述一种建立过滤报警模型的装置所建立的过滤报警模型,并根据报警对象所属的报警对象类别,使用相应的过滤报警模型,实现过滤报警,包括:
实时信息提取单元401,用于实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息;
报警对象类别归属单元402,用于提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到所述建立过滤报警模型的装置中报警对象类别建立单元202所建立的所述报警对象类别中;
过滤报警模型应用单元403,用于根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过所述建立过滤报警模型的装置中过滤报警模型建立单元203所建立的过滤报警模型,确定是否确实需要发出报警信息;若是,则发出触发信息,触发后续单元;
报警执行单元404,用于接收来自上一级单元的触发信息,实际发出针对所述报警对象的报警信息。
可选的,所述报警对象类别归属单元,包括:
报警对象距离计算子单元,用于提取所述预判需要发出报警信息的报警对象的报警相关历史信息并根据所述报警相关历史信息,计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离;
聚类中心确定子单元,用于找出与所述报警对象距离最近的聚类中心;
报警对象类别指定子单元,用于根据获取所述聚类中心确定子单元提供的与所述报警对象距离最近的聚类中心,将所述距离最近的聚类中心对应的报警对象类别作为所述报警对象所归属的报警对象类别。
可选的,所述计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离,所采用的算法,是对应于建立过滤报警模型的装置中报警对象类别建立单元202对各个报警对象进行聚类时采用的算法。
可选的,所述过滤报警模型应用单元,包括:
过滤报警模型计算子单元,用于以所述报警对象的所述报警监测信息和所述报警相关历史信息为输入,使用所述报警对象所归属的所述报警对象类别所对应的、所述一种建立过滤报警模型的装置中过滤报警模型建立单元203所建立的过滤报警模型进行计算;模型计算的结果为报警或不报警;
过滤报警触发确定子单元,用于接收所述过滤报警模型计算子单元的计算结果;若所述计算结果为报警,则发出触发信息,触发后续单元。
可选的,所述的报警对象是异构的。
请参看图8,其为本申请第六实施例提供的过滤报警的电子设备的实施例示意图。由于电子设备实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的电子设备实施例仅为示意性的。
本申请提供的一种过滤报警的电子设备,使用所述一种建立过滤报警模型的方法所建立的过滤报警模型,并根据报警对象所属的报警对象类别,使用相应的过滤报警模型,实现过滤报警,所述电子设备实施例如下:
所述电子设备,包括:显示器501;处理器502;存储器503;
所述存储器503,用于存储过滤报警的程序,所述程序在被所述处理器读取执行时,执行如下操作:实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息;提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到所述一种建立过滤报警模型的方法中步骤S102所建立的所述报警对象类别中;根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、所述一种建立过滤报警模型的方法中步骤S103所建立的过滤报警模型进行判断,确定是否确实需要发出报警信息;若是,则发出针对所述报警对象的报警信息。
本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
Claims (38)
1.一种建立过滤报警模型的方法,其特征在于,包括:
抽取发出过报警信息的报警对象,提取每个被抽取的报警对象在预定历史时间段内的报警相关历史信息和在报警监测时段的报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据,其中,所述报警监测时段为从实际发出报警信息的时点开始向前计算、并具有规定时长的时间段;
以所述报警相关历史信息为依据,对所述被抽取的报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;每一个所述被抽取的报警对象以距离最近的所述聚类中心对应的报警对象类别作为所归属的报警对象类别;
利用归属各个报警对象类别的报警对象的训练数据,进行对各个所述报警对象类别的模型训练,为每个报警对象类别建立对应的过滤报警模型。
2.根据权利要求1所述的建立过滤报警模型的方法,其特征在于,所述预定历史时间段,为一个处于实际发出报警信息的时点之前、规定时长的历史时间段。
3.根据权利要求1或2所述的建立过滤报警模型的方法,其特征在于,所述报警相关历史信息,包括所述报警对象的下述属性项目中的至少一个:单位时长平均错误量、单位时长平均调用量、平均响应时间。
4.根据权利要求1所述的建立过滤报警模型的方法,其特征在于,所述报警监测信息,包括所述报警对象的下述属性项目中的至少一个:当前错误率、当前调用量、当前响应时间。
5.根据权利要求2所述的建立过滤报警模型的方法,其特征在于所述预定历史时间段是以日为单位来计算的;所述报警监测时段是以分钟为单位来计算的。
6.根据权利要求1所述的建立过滤报警模型的方法,其特征在于,所述对所述报警对象发出报警信息是否正确所作的标注,以如下方式获得:检查对所述报警对象发出报警信息是否正确;若是,则对所述报警对象添加名称为报警检查、属性值为正确的属性项目;若否,则对所述报警对象添加名称为报警检查、属性值为不正确的属性项目;所述名称为报警检查,属性值为正确或者不正确的属性项目即为所述对所述报警对象发出报警信息是否正确所作的标注。
7.根据权利要求1所述的建立过滤报警模型的方法,其特征在于,所述对所述被抽取的报警对象进行聚类,具体为对所述被抽取的报警对象进行抽样,对抽样取得的样本进行聚类。
8.根据权利要求1或7所述的建立过滤报警模型的方法,其特征在于,所述对各个报警对象进行聚类,所采用的聚类算法包括下述所列之一:K均值算法、均值漂移算法。
9.根据权利要求1所述的建立过滤报警模型的方法,其特征在于,所述模型训练,是以所述对所述报警对象发出报警信息是否正确所作的标注来划分正样本和负样本;其中,标注对所述报警对象发出报警信息为正确的样本为正样本,标注对所述报警对象发出报警信息为不正确的样本为负样本。
10.根据权利要求1或9所述的建立过滤报警模型的方法,其特征在于,所述模型训练,所采用的是机器学习算法。
11.根据权利要求10所述的建立过滤报警模型的方法,其特征在于,所述机器学习算法,包括下述所列之一:C4.5算法、支持向量机算法、贝叶斯算法、极限学习机算法、深度学习算法、随机森林算法。
12.根据权利要求1所述的建立过滤报警模型的方法,其特征在于,每间隔一个规定时长的时间段执行一次所述建立过滤报警模型的方法,并将建立的所述过滤报警模型作为实际过滤报警过程中使用的过滤报警模型。
13.根据权利要求1所述的建立过滤报警模型的方法,其特征在于,所述的报警对象是异构的。
14.一种建立过滤报警模型的装置,其特征在于,包括:
训练数据形成单元,用于抽取发出过报警信息的报警对象,提取每个被抽取的报警对象在预定历史时间段内的报警相关历史信息和在报警监测时段的报警监测信息,结合对所述报警对象发出报警信息是否正确所作的标注,形成训练数据,其中,所述报警监测时段为从实际发出报警信息的时点开始向前计算、并具有规定时长的时间段;
报警对象类别建立单元,用于以所述报警相关历史信息为依据,对所述被抽取的报警对象进行聚类,建立聚类中心和对应所述聚类中心的报警对象类别;每一个所述报警对象以距离最近的所述聚类中心对应的报警对象类别作为所归属的报警对象类别;
过滤报警模型建立单元,用于利用归属各个报警对象类别的报警对象的训练数据,进行对所述报警对象类别的模型训练,为每个报警对象类别建立对应的过滤报警模型。
15.根据权利要求14所述的建立过滤报警模型的装置,其特征在于,所述报警对象类别建立单元,包括:
抽样子单元,用于对所述各个报警对象进行抽样,抽样取得的样本为进行聚类的对象。
16.根据权利要求14或15所述的建立过滤报警模型的装置,其特征在于,所述报警对象类别建立单元,包括:
报警对象聚类子单元,用于对各个报警对象进行聚类,建立聚类中心;所述对各个报警对象进行聚类所采用的聚类算法包括下述所列之一:K均值算法、均值漂移算法。
17.根据权利要求14所述的建立过滤报警模型的装置,其特征在于,所述过滤报警模型建立单元中所述模型训练,是以所述对所述报警对象发出报警信息是否正确所作的标注来划分正样本和负样本;其中,标注对所述报警对象发出报警信息为正确的样本为正样本,标注对所述报警对象发出报警信息为不正确的样本为负样本。
18.根据权利要求14或17所述的建立过滤报警模型的装置,其特征在于,所述过滤报警模型建立单元中所述模型训练,所采用的是机器学习算法。
19.根据权利要求18所述的建立过滤报警模型的装置,其特征在于,所述机器学习算法,包括下述所列之一:C4.5算法、支持向量机算法、贝叶斯算法、极限学习机算法、深度学习算法、随机森林算法。
20.根据权利要求14所述的建立过滤报警模型的装置,其特征在于,每间隔一个规定时长的时间段触发一次所述建立过滤报警模型的装置,并将建立的所述过滤报警模型作为实际过滤报警过程中使用的过滤报警模型。
21.根据权利要求14所述的建立过滤报警模型的装置,其特征在于所述的报警对象是异构的。
22.一种过滤报警的方法,其特征在于,包括:
实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息,其中,所述当前报警监测时段为一个从预判需要发出报警信息之时点开始向前计算的、并具有规定时长的时间段;提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到权利要求1至13任一项建立过滤报警模型的方法中建立的所述报警对象类别中;
根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过权利要求1至13任一项建立过滤报警模型的方法建立的过滤报警模型进行判断,确定是否确实需要发出报警信息;若是,则进入下一步;
发出针对所述报警对象的报警信息。
23.根据权利要求22所述的过滤报警的方法,其特征在于,所述报警监测信息,包括所述报警对象的下述属性项目中的至少一个:当前错误率、当前调用量、当前响应时间。
24.根据权利要求22所述的过滤报警的方法,其特征在于,所述当前预定时间段,为一个预判需要发出报警信息之时点之前的规定时长的时间段。
25.根据权利要求22或24所述的过滤报警的方法,其特征在于,所述报警相关历史信息,包括报警对象的下述属性项目中的至少一个:单位时长平均错误量、单位时长平均调用量、平均响应时间。
26.根据权利要求22所述的过滤报警的方法,其特征在于,在执行所述提取所述报警对象在当前预定时间段内的报警相关历史信息的步骤之前,执行下述步骤:
判断被监测的报警对象的报警监测信息是否超过了预先设定的全局报警阈值;若是,则判断该被监测的报警对象为所述预判需要发出报警信息的报警对象,并进入下一步。
27.根据权利要求22所述的过滤报警的方法,其特征在于,所述根据所述报警相关历史信息,将所述报警对象归属到所述权利要求1至13任一项建立报警模型的方法中建立的所述报警对象类别中,包括:
根据所述预判需要发出报警信息的报警对象的报警相关历史信息,计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离;
找出与所述报警对象距离最近的聚类中心;
将所述距离最近的聚类中心对应的报警对象类别作为所述报警对象所归属的报警对象类别。
28.根据权利要求27所述的过滤报警的方法,其特征在于,所述计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离,所采用的算法,是对应于根据所述权利要求1至13任一项的建立过滤报警模型的方法中,对各个报警对象进行聚类时采用的算法。
29.根据权利要求22所述的过滤报警的方法,其特征在于,所述根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过所述权利要求1至13任一项建立过滤报警模型的方法建立的所述过滤报警模型,确定是否发出报警信息,包括:
以所述报警对象的所述报警监测信息和所述报警相关历史信息为输入,使用所述报警对象所归属的所述报警对象类别所对应的所述过滤报警模型进行计算;
模型计算的结果为报警或不报警;若模型计算的结果为报警,则判断确实需要发出报警信息。
30.根据权利要求22或者29所述的过滤报警的方法,其特征在于,在执行发出针对所述报警对象的报警信息的步骤之前,执行下述步骤:
根据所述报警对象的所述报警监测信息在当前报警监测时段内的变化趋势的类型,确定所述报警对象是否符合报警的趋势要求;若是,则进行下一步。
31.根据权利要求30所述的过滤报警的方法,其特征在于,所述变化趋势的类型是通过计算所述报警对象的所述报警监测信息在当前报警监测时段内的时间线图的平均斜率来判定的;所述变化趋势的类型包括下列之一:陡升型,陡降型,平衡型,波动型,先升后降型、先降后升型;若所述时间线图的平均斜率小于-0.5,且所述时间线图的时间线的末端数值小于始端数值,则判定所述变化趋势的类型是陡降型或先升后降型;若所述变化趋势的类型不是陡降型或先升后降型,则确定所述报警对象符合所述报警的趋势要求。
32.根据权利要求22所述的过滤报警的方法,其特征在于所述的报警对象是异构的。
33.一种过滤报警的装置,其特征在于,包括:
实时信息提取单元,用于实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息,其中,所述当前报警监测时段为一个从预判需要发出报警信息之时点开始向前计算的、并具有规定时长的时间段;
报警对象类别归属单元,用于提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到所述权利要求14至21任一项建立过滤报警模型的装置中建立的所述报警对象类别中;
过滤报警模型应用单元,用于根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过所述权利要求14至21任一项建立过滤报警模型的装置建立的过滤报警模型,确定是否确实需要发出报警信息;若是,则发出触发信息,触发后续单元;
报警执行单元,用于接收来自上一级单元的触发信息,实际发出针对所述报警对象的报警信息。
34.根据权利要求33所述的过滤报警的装置,其特征在于,所述报警对象类别归属单元,包括:
报警对象距离计算子单元,用于根据所述预判需要发出报警信息的报警对象的所述报警相关历史信息,计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离;
聚类中心确定子单元,用于找出与所述报警对象距离最近的聚类中心;
报警对象类别指定子单元,用于根据获取所述聚类中心确定子单元提供的与所述报警对象距离最近的聚类中心,将所述距离最近的聚类中心对应的报警对象类别作为所述报警对象所归属的报警对象类别。
35.根据权利要求34所述的过滤报警的装置,其特征在于,所述计算所述报警对象距每一个所述报警类别所对应的聚类中心的距离,所采用的算法,是对应于根据所述权利要求14至21任一项的建立过滤报警模型的装置中,对各个报警对象进行聚类时采用的算法。
36.根据权利要求33或35所述的过滤报警的装置,其特征在于,所述过滤报警模型应用单元,包括:
过滤报警模型计算子单元,用于以所述报警对象的所述报警监测信息和所述报警相关历史信息为输入,使用所述报警对象所归属的所述报警对象类别所对应的、通过所述权利要求14至21任一项建立过滤报警模型的装置建立的过滤报警模型进行计算;模型计算的结果为报警或不报警;
过滤报警触发确定子单元,用于接收所述过滤报警模型计算子单元的计算结果;若所述计算结果为报警,则发出触发信息,触发后续单元。
37.根据权利要求33所述的过滤报警的装置,其特征在于所述的报警对象是异构的。
38.一种电子设备,其特征在于,所述电子设备包括:
显示器;
处理器;
存储器,用于存储过滤报警的程序,所述程序在被所述处理器读取执行时,执行如下操作:实时提取预判需要发出报警信息的报警对象在当前报警监测时段内的报警监测信息,其中,所述当前报警监测时段为一个从预判需要发出报警信息之时点开始向前计算的、并具有规定时长的时间段;提取所述报警对象在当前预定时间段内的报警相关历史信息,根据所述报警相关历史信息,将所述报警对象归属到权利要求1至13任一项建立过滤报警模型的方法中建立的所述报警对象类别中;根据所述报警对象的所述报警监测信息和所述报警相关历史信息,使用所述报警对象归属的所述报警对象类别所对应的、通过权利要求1至13任一项建立过滤报警模型的方法建立的过滤报警模型进行判断,确定是否确实需要发出报警信息;若是,则发出针对所述报警对象的报警信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510781774.7A CN106708692B (zh) | 2015-11-13 | 2015-11-13 | 建立过滤报警模型的方法和装置以及过滤报警的方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510781774.7A CN106708692B (zh) | 2015-11-13 | 2015-11-13 | 建立过滤报警模型的方法和装置以及过滤报警的方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106708692A CN106708692A (zh) | 2017-05-24 |
CN106708692B true CN106708692B (zh) | 2019-09-27 |
Family
ID=58930850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510781774.7A Active CN106708692B (zh) | 2015-11-13 | 2015-11-13 | 建立过滤报警模型的方法和装置以及过滤报警的方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106708692B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106997692B (zh) * | 2017-05-26 | 2020-06-12 | 广州数字方舟信息技术股份有限公司 | 一种混合型航标报警智能检测方法 |
CN107526666A (zh) * | 2017-07-17 | 2017-12-29 | 阿里巴巴集团控股有限公司 | 基于深度学习的报警方法、系统、装置以及电子设备 |
CN109427177B (zh) * | 2017-08-25 | 2020-12-22 | 贵州白山云科技股份有限公司 | 一种监控报警方法及装置 |
CN109086187A (zh) * | 2018-07-26 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种性能告警方法和装置 |
CN110176132B (zh) * | 2019-05-27 | 2021-03-16 | 山东科技大学 | 基于贝叶斯网络的逻辑报警根源分析方法及系统 |
CN110851321B (zh) * | 2019-10-10 | 2022-06-28 | 平安科技(深圳)有限公司 | 一种业务告警方法、设备及存储介质 |
CN111538643B (zh) * | 2020-07-07 | 2020-10-16 | 宝信软件(成都)有限公司 | 一种监控系统报警信息过滤方法和系统 |
US11494700B2 (en) * | 2020-09-16 | 2022-11-08 | International Business Machines Corporation | Semantic learning in a federated learning system |
CN112711516B (zh) * | 2021-03-26 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 一种数据处理方法和相关装置 |
CN113643522B (zh) * | 2021-08-31 | 2023-06-06 | 中国银行股份有限公司 | 报警预测方法、装置、设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472916A (zh) * | 2003-06-24 | 2004-02-04 | 北京邮电大学 | 大规模分布式入侵检测系统的数据融合机制 |
CN104123465A (zh) * | 2014-07-24 | 2014-10-29 | 中国软件与技术服务股份有限公司 | 一种基于聚类的大数据交叉分析预警方法及系统 |
CN104281130A (zh) * | 2014-09-22 | 2015-01-14 | 国家电网公司 | 一种基于大数据技术的水电设备监测和故障诊断系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10373065B2 (en) * | 2013-03-08 | 2019-08-06 | Oracle International Corporation | Generating database cluster health alerts using machine learning |
-
2015
- 2015-11-13 CN CN201510781774.7A patent/CN106708692B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472916A (zh) * | 2003-06-24 | 2004-02-04 | 北京邮电大学 | 大规模分布式入侵检测系统的数据融合机制 |
CN104123465A (zh) * | 2014-07-24 | 2014-10-29 | 中国软件与技术服务股份有限公司 | 一种基于聚类的大数据交叉分析预警方法及系统 |
CN104281130A (zh) * | 2014-09-22 | 2015-01-14 | 国家电网公司 | 一种基于大数据技术的水电设备监测和故障诊断系统 |
Non-Patent Citations (1)
Title |
---|
"流程工业分布式智能报警管理系统的研究与开发";胡静弘;《万方数据知识服务平台》;20150925;第3-6章 * |
Also Published As
Publication number | Publication date |
---|---|
CN106708692A (zh) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106708692B (zh) | 建立过滤报警模型的方法和装置以及过滤报警的方法、装置和电子设备 | |
CN102355381B (zh) | 自适应的差分自回归移动平均模型的流量预测方法和系统 | |
CN111324639B (zh) | 数据监测方法、装置及计算机可读存储介质 | |
CN102881125B (zh) | 基于多信息融合集中处理平台的报警监控系统 | |
CN108959034A (zh) | 一种监控报警方法、装置、电子设备及存储介质 | |
US10186146B2 (en) | Abnormality detection device, abnormality detection system, and method | |
CN107566163A (zh) | 一种用户行为分析关联的告警方法及装置 | |
CN106844138A (zh) | 运维报警系统及方法 | |
CN107203450A (zh) | 故障的分类方法和设备 | |
CN104538041A (zh) | 异常声音检测方法及系统 | |
CN108897664A (zh) | 一种信息展示方法及系统 | |
CN108206747A (zh) | 告警生成方法和系统 | |
CN101718634A (zh) | 基于多元概率模型的设备状态综合动态报警方法 | |
CN110046633B (zh) | 一种数据质量检测方法及装置 | |
CN109298959A (zh) | 一种内存异常检测方法及设备 | |
CN107918629A (zh) | 一种告警故障的关联方法和装置 | |
CN106487612A (zh) | 一种服务器节点监控方法、监控服务器及系统 | |
CN110162445A (zh) | 基于主机日志及性能指标的主机健康评价方法及装置 | |
CN106254137A (zh) | 监管系统的告警根源分析系统及方法 | |
CN105743595A (zh) | 中短波发射机故障预警方法及装置 | |
CN106599487A (zh) | 基于arima模型和用户调控的动态方差实时报警方法 | |
CN107276808A (zh) | 一种流量异常监测的优化方法 | |
CN110411554B (zh) | 一种电机设备检测方法、装置及系统 | |
CN105654134B (zh) | 一种基于有监督自反馈的情景感知系统及其工作方法与应用 | |
CN108537243A (zh) | 一种违规告警方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20180420 Address after: Four story 847 mailbox of the capital mansion of Cayman Islands, Cayman Islands, Cayman Applicant after: CAINIAO SMART LOGISTICS HOLDING Ltd. Address before: Cayman Islands Grand Cayman capital building a four storey No. 847 mailbox Applicant before: ALIBABA GROUP HOLDING Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |