CN109857618B - 一种监控方法、装置及系统 - Google Patents
一种监控方法、装置及系统 Download PDFInfo
- Publication number
- CN109857618B CN109857618B CN201910107197.1A CN201910107197A CN109857618B CN 109857618 B CN109857618 B CN 109857618B CN 201910107197 A CN201910107197 A CN 201910107197A CN 109857618 B CN109857618 B CN 109857618B
- Authority
- CN
- China
- Prior art keywords
- real
- value
- data
- time data
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本说明书实施例公开了一种监控方法、装置及系统,所述方法包括获取待监控项的实时数据;根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定,其中,若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;根据所述异常概率值确定所述待监控项是否异常。利用本说明书各实施例,可以大幅度减小误报率、漏报率,并可以提高工作效率。
Description
技术领域
本发明涉及计算机数据处理技术领域,特别地,涉及一种监控方法、装置及系统。
背景技术
目前传统的监控都是基于固定阈值设置的,如果监控值到达或者超过了设置的阈值,则系统发出告警,否则系统不会告警。对于每个需要监控的指标项,比如CPU消耗、内存消耗、网络延时、TPS压力等等,都需要设置固定的监控阈值。对于银行领域的大型系统而言,为确保系统运行安全,监控项总数可能达到数万个。
而传统自动监控往往采用“一刀切”方式设置监控阈值,忽略了每个节点之间的差异,很多阈值设置不符合监控项的实际运行规律。阈值设高了,不能在触发固定阈值之前提前发现异常风险,存在大量漏报;阈值设低了,存在大量误报。同时,如果出现系统资源或者外部环境发生变化导致监控值时序特征发生变化,还必须人工调整现有阈值,成本高、效率低。
发明内容
本说明书实施例的目的在于提供一种监控方法、装置及系统,可以大幅度减小误报率、漏报率以及提高工作效率。
本说明书提供一种监控方法、装置及系统是包括如下方式实现的:
一种监控方法,包括:
获取待监控项的实时数据;
根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定,其中,
若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
根据所述异常概率值确定所述待监控项是否异常。
本说明书提供的所述方法的另一个实施例中,所述第一参考值根据所述待监控项的第一历史数据确定,包括:
将所述待监控项的第一历史数据的分布范围均分为预设段;
获取采样数据点最多的一段,并计算所述采样数据点最多的一段内所有采样点值的均值,获得所述第一历史数据对应的众数,将所述众数作为第一参考值。
本说明书提供的所述方法的另一个实施例中,所述确定所述实时数据的异常概率值,包括:
本说明书提供的所述方法的另一个实施例中,所述根据所述异常概率值确定所述待监控项是否异常,包括:
若所述异常概率值大于异常敏感度,则确定所述待监控项异常,所述异常敏感度根据所述待监控项对应的监控对象的重要程度设置。
本说明书提供的所述方法的另一个实施例中,所述判断所述实时数据相对第一参考值的大小之前,还包括:
对所述待监控项进行周期性采样,将周期性采样获得的数据基于预设的窗口长度进行平滑处理,获得所述待监控项的第一历史数据。
本说明书提供的所述方法的另一个实施例中,所述根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:
判断所述实时数据相对所述实时数据所在时间段的第二参考值的大小,所述第二参考值根据所述实时数据所在时间段的历史数据确定,其中,
若所述实时数据大于所述第二参考值,根据所述实时数据在大于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值;
若所述实时数据小于所述第二参考值,根据所述实时数据在小于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值。
本说明书提供的所述方法的另一个实施例中,所述方法还包括:
计算所述异常概率值在异常状态持续时间内的实时异常概率累积值;
根据历史异常概率累积值计算所述实时异常概率累积值的概率值,所述历史异常概率累积值包括历史数据中任意一段异常状态持续时间内的异常概率值的累积值;
若所述实时异常概率累积值的概率值大于异常容忍度,则发出监控告警。
本说明书提供的所述方法的另一个实施例中,所述异常容忍度根据待监控项对应监控对象的重要程度进行预设设置。
本说明书提供的所述方法的另一个实施例中,所述根据历史异常概率累积值计算所述实时异常概率累积值的概率值,包括:
判断所述实时异常概率累积值相对第三参考值的大小,所述第三参考值包括所述历史概率累积值的众数;
若所述实时异常概率累积值大于所述第三参考值,根据所述实时异常概率累积值在大于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值;
若所述实时异常概率累积值小于所述第三参考值,根据所述实时异常概率累积值在小于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值。
另一方面,本说明书还提供一种监控装置,包括:
数据采集模块,用于获取待监控项的实时数据;
异常概率确定模块,用于根据所述待监控项的历史数据确定所述实时数据的异常概率值,其中,所述异常概率确定模块包括:
第一判断单元,用于判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定;
第一异常概率确定单元,用于若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值,或者,若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
异常确定模块,用于根据所述异常概率值确定所述待监控项是否异常。
本说明书提供的所述装置的另一个实施例中,所述异常概率确定模块包括:
数据划分单元,用于将所述待监控项的第一历史数据的分布范围均分为预设段;
第一参考值确定单元,用于获取采样数据点最多的一段,并计算所述采样数据点最多的一段内所有采样点值的均值所有采样点值的均值,获得所述第一历史数据对应的众数,将所述众数作为第一参考值。
本说明书提供的所述装置的另一个实施例中,所述第一异常概率确定单元包括:
第一异常概率确定子单元,用于若所述实时数据大于所述众数,则将大于众数的第一历史数据按从小到大的顺序进行排序,获取所述实时数据的正序排名n,则将作为异常概率值,其中,m表示大于众数的第一历史数据的总个数;
第二异常概率确定子单元,用于若所述实时数据小于所述众数,则将小于众数的第一历史数据按从小到大的顺序进行排序,获取所述实时数据的正序排名n′,则可以将作为异常概率值,其中,m′表示小于众数的第一历史数据的总个数。
本说明书提供的所述装置的另一个实施例中,所述异常确定模块包括:
异常确定单元,用于如果所述异常概率值大于异常敏感度,则确定所述待监控项异常,所述异常敏感度根据所述待监控项对应的监控对象的重要程度设置。
本说明书提供的所述装置的另一个实施例中,所述装置还包括:
预处理模块,用于对所述待监控项进行周期性采样,将周期性采样获得的数据基于预设的窗口长度进行平滑处理,获得所述待监控项的第一历史数据。
本说明书提供的所述装置的另一个实施例中,所述异常概率确定模块包括:
时间段拆分单元,用于根据所述待监控项的分析周期划分为多个时间段;
第二判断单元,用于判断所述实时数据相对所述实时数据所在时间段的第二参考值的大小,所述第二参考值根据所述实时数据所在时间段的第二历史数据确定;
第二异常概率确定单元,用于当所述实时数据大于所述第二参考值时,根据所述实时数据在大于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值,或者,当所述实时数据小于所述第二参考值时,根据所述实时数据在小于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值。
本说明书提供的所述装置的另一个实施例中,所述装置还包括:
累积值计算模块,用于计算所述异常概率值在异常状态持续时间内的实时异常概率累积值;
概率值计算模块,用于根据历史异常概率累积值计算所述实时累积值的概率值,所述历史异常概率累积值包括历史数据中异常状态持续时间内的异常概率值的累积值;
警告模块,用于判断所述实时异常概率累积值的概率值是否大于异常容忍度,如果是,则发出监控告警。
本说明书提供的所述装置的另一个实施例中,所述概率值计算模块包括:
第三判断单元,用于判断所述实时异常概率累积值相对第三参考值的大小,所述第三参考值包括所述历史概率累积值的众数;
概率值计算单元,用于若所述实时异常概率累积值大于所述第三参考值,根据所述实时异常概率累积值在大于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值,或者,若所述实时异常概率累积值小于所述第三参考值,根据所述实时异常概率累积值在小于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值。
另一方面,本说明书还提供一种监控设备,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括以下步骤:
获取待监控项的实时数据;
根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定,其中,
若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
根据所述异常概率值确定所述待监控项是否异常。
另一方面,本说明书还提供一种监控系统,所述监控系统可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个实施例所述方法的步骤。
本说明书一个或多个实施例提供的监控方法、装置及系统,可以通过分析待监控项的历史数据来自动确定待监控项的异常概率,通过异常概率来判断待监控项是否异常。避免了传统将实时数据与预设阈值比较的方式,从而可以大大减小阈值设置所带来的工作量,并可以大幅度减小误报率以及漏报率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本说明书提供的一种监控方法实施例的流程示意图;
图2为本说明书提供的另一种监控方法实施例的流程示意图;
图3为本说明书提供的另一种监控方法实施例的流程示意图;
图4为本说明书提供的一种监控装置实施例的模块结构示意图;
图5为本说明书提供的另一种监控装置实施例的模块结构示意图;
图6为本说明书提供的另一种监控装置实施例的模块结构示意图;
图7为根据本说明书的一个示例性实施例的服务器的示意结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是说明书一部分实施例,而不是全部的实施例。基于说明书一个或多个实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书实施例方案保护的范围。
目前传统的监控都是基于固定阈值设置的,如果监控值到达或者超过了设置的阈值,则系统发出告警,否则系统不会告警。对于每个需要监控的指标项,比如CPU消耗、内存消耗、网络延时、TPS压力等等,都需要设置固定的监控阈值。对于银行领域的大型系统而言,为确保系统运行安全,监控项总数可能达到数万个。
而传统自动监控往往采用“一刀切”方式设置监控阈值,忽略了每个节点之间的差异,很多阈值设置不符合监控项的实际运行规律。阈值设高了,不能在触发固定阈值之前提前发现异常风险,存在大量漏报;阈值设低了,存在大量误报。同时,如果出现系统资源或者外部环境发生变化导致监控值时序特征发生变化,还必须人工调整现有阈值,成本高、效率低。
相应的,本说明书实施例提供了一种监控方法,可以通过分析待监控项的历史数据来自动确定待监控项的异常概率,通过异常概率来判断待监控项是否异常。避免了传统将实时数据与预设阈值比较的方式,从而可以大大减小阈值设置所带来的工作量,并可以大幅度减小误报率以及漏报率。
图1是本说明书提供的所述一种监控方法实施例流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本说明书实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置、服务器或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境、甚至包括分布式处理、服务器集群的实施环境)。
具体的一个实施例如图1所示,本说明书提供的监控方法的一个实施例中,所述方法可以包括:
S102:获取待监控项的实时数据。
所述待监控项可以包括需要监控的指标项,比如CPU消耗、内存消耗、网络时延、TPS压力等等。
可以获取实际系统运行过程中待监控项的实时数据。一些实施方式中,可以基于预设采样周期进行采样,获得实时采样点所对应的采样值作为待监控项的实时数据。采样周期可以根据实际监控需要进行预先设置。如可以每分钟获取一次CPU的消耗值,获得CPU消耗的实时数据。
S104:根据所述待监控项的历史数据确定所述实时数据的异常概率值。
可以统计待监控项的历史数据,根据待监控项的历史数据确定所述实时数据的异常概率值。
一些实施方式中,所述根据所述待监控项的历史数据确定所述实时数据的异常概率值,可以采用下述方式进行:
S1041:判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的第一历史数据确定;
S1042:若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的第一历史数据中的排名确定所述实时数据的异常概率值;
S1043:若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的第一历史数据中的排名确定所述实时数据的异常概率值。
可以统计预设时间段内待监控项的历史数据,如实时监控之前的三个月或者半年内待监控项的历史数据。历史数据可以为周期性采样后获得一系列的采样值。为了与后续数据分析进行区分描述,可以将本实施例中获取的历史数据定义为第一历史数据。
本说明书的一个实施例中,还可以对预设时间段内的各采样值基于预设的窗口长度进行平滑处理,将平滑处理后的数据作为历史数据。如周期性采样的采样周期为1分钟,可以设定平滑处理所对应的窗口长度为5分钟,计算窗口内的所有采样值的均值,将计算获得均值作为第一历史数据。通过先利用较为密集的方式进行采样,可以提高采样的准确性,然后,进一步对各采样值进行平滑处理,可以降低毛刺等异常数据的影响,进一步提高后续数据处理的准确性。
可以判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的第一历史数据确定。一些实施方式中,可以通过分析历史数据,将第一历史数据中的中位数或者均值作为第一参考值。为了区分表述,可以将本实施例中确定的参考值定义为第第一参考值。
本说明书的一个实施例中,可以将所述待监控项的第一历史数据的众数作为所述第一参考值。一些实施方式中,可以将所述待监控项的第一历史数据的分布范围均分为预设段,获取采样数据点最多的一段,并计算该段内所有采样点值的均值,获得所述第一历史数据对应的众数。
可以获取待监控项的第一历史数据中的最大值以及最下值,将最小值与最大值形成的数值区间作为历史数据的分布范围。如CPU消耗的第一历史数据的最小值为10%,最大值为96%,则CPU消耗的第一历史数据的分布范围为10%-96%。
然后,可以将所述分布范围均匀划分为若干段。如将10%-96%均分为100段。获取包含采样点最多的一段,将该段中所有采样点值(采样值)的均值,将该均值作为所述待监控项的第一历史数据的众数。可以将计算得到的众数作为第一参考值,计算异常概率。
判断所述实时数据相对所述众数的大小,若所述实时数据大于所述众数,根据所述实时数据在大于所述众数的第一历史数据中的排名确定所述实时数据的异常概率值;若所述实时数据小于所述众数,根据所述实时数据在小于所述众数的第一历史数据中的排名确定所述实时数据的异常概率值。
相应的,所述异常概率可以表示比当前实时数据更接近参考值的数据占比。当前实时数据对应的异常概率值越大,则说明比当前实时数据更接近参考值的数据占比越大,而比当前实时数据更远离参考值的数据占比越小,即说明当前实时数据异常的可能性越大。
当然,所述异常概率也可以表示比当前实时数据更远离参考值的数据占比。相应的,异常概率越小,则表示当前实时数据异常的可能性越大。具体实施时,可以自行预先定义,这里不做限定。
需说明的是,本说明书实施例中,为了避免产生理解上的歧义,统一采用异常概率表示比当前实时数据更接近参考值的数据占比的定义形式。
当前实时数据的异常概率可以表征当前实时数据异常的可能性。且当前实时数据的异常概率是通过统计分析历史数据来确定的,从而使得异常概率的确定更符合相应待监控项的实际数据特征,提高了异常监测的误报率以及漏报率。
利用上述实施例的方案,对于系统资源或者外部环境发生变化导致监控项的数据特征发生变化的情况,只需调整历史数据获取的起始点,即可实现待监控项的异常监测对实际数据特征变化的相适应。避免了传统异常监测调整阈值的繁琐过程,降低了成本,并提高了数据处理效率。
上述实施例提供的监控方案,可以大幅度减少人为参与,提高监控的自动化以及自适应性,更加适用于数据处理繁琐、节点众多的分布式系统。
一些实施方式中,若所述实时数据大于所述众数,则可以将大于众数的第一历史数据进行排序,如可以按从小到大的顺序进行排序。然后,可以获取所述实时数据的正序排名,若正序排名为n,则可以将作为异常概率值,其中,m表示大于众数的第一历史数据的总个数。
若所述实时数据小于所述众数,则可以将小于众数的第一历史数据进行排序,如可以按从小到大的顺序进行排序。然后,可以获取所述实时数据的正序排名,若正序排名为n′,则可以将作为异常概率值,其中,m′表示小于众数的第一历史数据的总个数。
通过上述方案可以自动且定量的确定当前实时数据的异常概率,且上述异常概率定量确定的方法简单易行,对数据要求不高,即使出现个别历史数据遗失,也不会对最终结果的准确性造成太大的影响。从而使得利用上述方法训练的监测模型在实际使用过程中具备性能高、耗时短、对训练数据要求不高的优点。
图2是本说明书提供的另一种监控方法实施例流程示意图。如图2所示,本说明书的一个或者多个实施例中,所述根据所述待监控项的历史数据确定所述实时数据的异常概率值,还采用下述方式进行:
S1044:判断所述实时数据相对所述实时数据所在时间段的第二参考值的大小,所述第二参考值根据所述实时数据所在时间段的历史数据确定,其中,
S1045:若所述实时数据大于所述第二参考值,根据所述实时数据在大于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值;
S1046:若所述实时数据小于所述第二参考值,根据所述实时数据在小于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值。
很多系统的监控数据呈现明显和固定的时序规律,如有固定周期,或者,每个周期内监控值时序曲线由明显和固定的趋势特征。比如联机交易系统的TPS、CPU、网站网页的点击量等。周期内趋势特征的改变,意味着出现了异常,包括系统自身异常或者外界干扰等。
本说明书一个实施例中,对于具有明显时序规律的监控数据,可以获取待监控项的分析周期。如对于每个自然日的数据有明显时序特征的数据,则可以将自然日作为分析周期。然后,可以将分析周期划分为若干时间段,统计每个时间段所对应的历史数据。如可以将每个自然日按一小时进行划分,划分为24个时间段。统计过去三个内每个时间段内的历史数据。
一些实施方式中,可以将上述步骤中获得的第一历史数据按时间段进行划分,获得每个时间段所对应的历史数据。为了区分表述,这里将每个时间段所对应的历史数据定义为第二历史数据。
对于任意一个时间段,可以计算其对应的第二历史数据的众数,作为该时间段内实时数据异常概率计算的第二参考值。为了区分表述,这里将每个时间段对应的参考值定义为第二参考值。
可以参考上述方式,获取任意一个时间段对应的第二历史数据的分布范围,并将该分布范围划分为若干段,获取采样点做多的一段,计算该段内所有采样值的均值,获得该时间段对应的第二历史数据的众数。
判断所述实时数据相对所述实时数据所在时间段的众数的大小。假设所述实时数据X所在时间段为Hi,对应的众数为Ki。
若所述实时数据X大于众数Ki,则可以获取时间段Hi中大于众数Ki的历史数据集Ri,并可以将Ri中的数据按从小到大的顺序进行排序。然后,可以获取所述实时数据X在排序后的Ri中的正序排名,若正序排名为ni,则可以将作为异常概率值,其中,mi表示Ri中采样点的总个数。
若所述实时数据X小于众数Ki,则可以获取时间段Hi中小于众数Ki的历史数据集Ri′,并可以将Ri′中的数据按从小到大的顺序进行排序。然后,可以获取所述实时数据X在排序后的Ri′中的正序排名,若正序排名为ni′,则可以将作为异常概率值,其中,mi′表示Ri′中采样点的总个数。
通过将周期性时间进行拆分,基于拆分出的单个时间段内的历史数据,对该时间段内的实时数据异常概率进行分析,可以使得异常概率的确定更准确。
S106:根据所述异常概率值确定所述待监控项是否异常。
可以根据所述异常概率值确定所述待监控项是否异常。如可以预先设定阈值,通过判断异常概率值相对阈值的大小,来确定所述待监控项是否异常,所述阈值可以根据实际需要自行调整设置。
一些实施方式中,可以通过设置异常敏感度,通过判断异常概率值相对异常敏感度的大小,来确定所述待监控项是否异常。所述异常敏感度可以根据系统的重要程度进行设置。越重要的系统,系统对应的各监控项的异常敏感度的值设置的越小,表示系统对异常非常敏感。
图3是本说明书提供的另一种监控方法实施例流程示意图。如图3所示,本说明书另一个实施例中,所述方法还可以包括:
S108:计算所述异常概率值在异常状态持续时间内的实时异常概率累积值;
S110:根据历史异常概率累积值计算所述实时异常概率累积值的概率值,所述历史异常概率累积值包括历史数据中任意一段异常状态持续时间内的异常概率值的累积值;
S112:若所述实时异常概率累积值的概率值大于异常容忍度,则发出监控告警。
对于一待监控项,可以统计历史上每次异常持续的时间以及各异常持续时间内的异常概率值。统计的历史上的异常持续时间可以为出现异常到异常终止的时间。异常终止可以为系统自行终止异常,也可以为人为干涉使得异常终止,这里不做限定。然后,如可以统计历史上某异常持续时间Ti内的异常概率数据,计算异常持续时间Ti内的异常概率的累积值Di。
若实际监控过程中,通过步骤S102-S106判断待监控项出现异常,则可以实时统计异常状态持续时间内异常概率的累积值。此处实时统计的异常状态持续时间为从出现异常至当前时间点的时间T0。只要异常持续进行,则T0是随着实时监控时间的推移在变化的值。可以统计T0时间内的异常概率数据,计算T0时间内的异常概率的累积值D0。为区分表述,本说明书实施例中,将D0定义为实时异常概率累积值,将Di定义为历史异常概率累积值。
然后,可以根据历史异常概率累积值计算所述实时异常概率累积值的概率值。本说明书的一个实施例中,所述根据历史异常概率累积值计算所述实时异常概率累积值的概率值,可以包括:
判断所述实时异常概率累积值相对第三参考值的大小,所述第三参考值包括所述历史概率累积值的众数;
若所述实时异常概率累积值大于所述第三参考值,根据所述实时异常概率累积值在大于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值;
若所述实时异常概率累积值小于所述第三参考值,根据所述实时异常概率累积值在小于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值。
可以计算历史上计算的所有Di的众数。计算众数时,可以参考上述步骤,将所有Di的分布范围均分分为若干段,取包含累积值个数最多的一段中各累积值的均值,作为所有Di的众数D′,将众数D′作为第三参考值。
判断D0相对D′的大小,如果D0大于D′,将大于D′的Di按从小到大的顺序进行排序,并判断D0在排序后的数据中的正序排名,若排名为N,则将作为所述实时异常概率累积值的概率值,其中,M为大于D′的Di数据的数目。
相应的,上述实时异常概率累积值的概率值可以表示比当前实时异常概率累积值更接近第三参考值的数据占比。实时异常概率累积值的概率越大,则说明比当前实时异常概率累积值更接近第三参考值的数据占比越大,比当前实时异常概率累积值更远离第三参考值的数据占比越小。即说明当前异常持续时间或者异常尖锐程度在历史上较少少见,再持续下去出现故障的可能性较大,需及时预警。
一些实施方式中,可以预先设置异常容忍度,所述异常容忍度可以根据待监控项对应监控对象的重要程度进行预设设置。越重要的系统,异常容忍度的值设置的越小,表示系统很难容忍异常持续。若所述实时异常概率累积值的概率值大于异常容忍度,则认为当前系统无法容忍该异常状况的持续进行或者异常的尖锐程度,立即发出监控告警。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。具体的可以参照前述相关处理相关实施例的描述,在此不做一一赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书一个或多个实施例提供的监控方法,可以通过分析待监控项的历史数据来自动确定待监控项的异常概率,通过异常概率来判断待监控项是否异常。避免了传统将实时数据与预设阈值比较的方式,从而可以大大减小阈值设置所带来的工作量,并可以大幅度减小误报率以及漏报率。
基于上述所述的监控方法,本说明书一个或多个实施例还提供一种监控装置。所述的装置可以包括使用了本说明书实施例所述方法的系统、软件(应用)、模块、组件、服务器等并结合必要的实施硬件的装置。基于同一创新构思,本说明书实施例提供的一个或多个实施例中的装置如下面的实施例所述。由于装置解决问题的实现方案与方法相似,因此本说明书实施例具体的装置的实施可以参见前述方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。具体的,图4表示说明书提供的一种监控装置实施例的模块结构示意图,如图4所示,所述装置可以包括:
数据采集模块202,可以用于获取待监控项的实时数据;
异常概率确定模块204,可以用于根据所述待监控项的历史数据确定所述实时数据的异常概率值,其中,所述异常概率确定模块包括:
第一判断单元,可以用于判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定;
第一异常概率确定单元,可以用于若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值,或者,若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
异常确定模块206,可以用于根据所述异常概率值确定所述待监控项是否异常。
利用上述实施例的方案,可以大大减小阈值设置所带来的工作量,并可以大幅度减小误报率以及漏报率。
本说明书的另一个实施例中,所述异常概率确定模块204可以包括:
数据划分单元,可以用于将所述待监控项的第一历史数据的分布范围均分为预设段;
参考值确定单元,可以用于获取采样数据点最多的一段,并计算该段内所有采样点值的均值,获得所述第一历史数据对应的众数,将所述众数作为第一参考值。
本说明书的另一个实施例中,所述第一异常概率确定单元包括:
第一异常概率确定子单元,用于若所述实时数据大于所述众数,则将大于众数的第一历史数据按从小到大的顺序进行排序,获取所述实时数据的正序排名n,则将作为异常概率值,其中,m表示大于众数的第一历史数据的总个数;
第二异常概率确定子单元,用于若所述实时数据小于所述众数,则将小于众数的第一历史数据按从小到大的顺序进行排序,获取所述实时数据的正序排名n′,则可以将作为异常概率值,其中,m′表示小于众数的第一历史数据的总个数。
利用上述实施例的方案,可以自动且定量的确定当前实时数据的异常概率。
本说明书的另一个实施例中,所述异常确定模块206可以包括:
异常确定单元,可以用于如果所述异常概率值大于异常敏感度,则确定所述待监控项异常,所述异常敏感度根据所述待监控项对应的监控对象的重要程度设置。
本说明书的另一个实施例中,所述装置还可以包括:
预处理模块,可以用于对所述待监控项进行周期性采样,将周期性采样获得的数据基于预设的窗口长度进行平滑处理,获得所述待监控项的第一历史数据。
利用上述实施例的方案,可以减小毛刺等异常数据对结果准确性的影响。
图5为本说明书提供的另一种监控装置实施例的模块结构示意图。如图5所示,本说明书的另一个实施例中,所述异常概率确定模块204可以包括:
时间段拆分单元,可以用于根据所述待监控项的分析周期划分为多个时间段;
第二判断单元,可以用于判断所述实时数据相对所述实时数据所在时间段的第二参考值的大小,所述第二参考值根据所述实时数据所在时间段的第二历史数据确定;
第二异常概率确定单元,可以用于当所述实时数据大于所述第二参考值时,根据所述实时数据在大于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值,或者,当所述实时数据小于所述第二参考值时,根据所述实时数据在小于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值。
利用上述实施例的方案,可以使得异常概率的确定更准确。
图6为本说明书提供的另一种监控装置实施例的模块结构示意图。如图6所示,本说明书的另一个实施例中,所述装置还可以包括:
累积值计算模块208,可以用于计算所述异常概率值在异常状态持续时间内的实时异常概率累积值;
概率值计算模块210,可以用于根据历史异常概率累积值计算所述实时累积值的概率值,所述历史异常概率累积值包括历史数据中异常状态持续时间内的异常概率值的累积值;
警告模块212,可以用于判断所述实时异常概率累积值的概率值是否大于异常容忍度,如果是,则发出监控告警。
利用上述实施例的方案,可以进一步判断当前异常的持续时间或者异常尖锐程度。
本说明书的另一个实施例中,所述概率值计算模块210可以包括:
第三判断单元,可以用于判断所述实时异常概率累积值相对第三参考值的大小,所述第三参考值包括所述历史概率累积值的众数;
概率值计算单元,可以用于若所述实时异常概率累积值大于所述第三参考值,根据所述实时异常概率累积值在大于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值,或者,若所述实时异常概率累积值小于所述第三参考值,根据所述实时异常概率累积值在小于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值。
需要说明的,上述所述的装置根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书一个或多个实施例提供的监控装置,可以通过分析待监控项的历史数据来自动确定待监控项的异常概率,通过异常概率来判断待监控项是否异常。避免了传统将实时数据与预设阈值比较的方式,从而可以大大减小阈值设置所带来的工作量,并可以大幅度减小误报率以及漏报率。
本说明书提供的上述实施例所述的方法或装置可以通过计算机程序实现业务逻辑并记录在存储介质上,所述的存储介质可以计算机读取并执行,实现本说明书实施例所描述方案的效果。因此,本说明书还提供一种监控设备,包括处理器及存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括以下步骤:
获取待监控项的实时数据;
根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定,其中,
若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
根据所述异常概率值确定所述待监控项是否异常。
所述存储介质可以包括用于存储信息的物理装置,通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括:利用电能方式存储信息的装置如,各式存储器,如RAM、ROM等;利用磁能方式存储信息的装置如,硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘;利用光学方式存储信息的装置如,CD或DVD。当然,还有其他方式的可读存储介质,例如量子存储器、石墨烯存储器等等。
需要说明的,上述所述的设备根据方法实施例的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本说明书实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例,图7是应用本说明书实施例的监控服务器的硬件结构框图。如图7所示,服务器10可以包括一个或多个(图中仅示出一个)处理器100(处理器100可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器200、以及用于通信功能的传输模块300。本邻域普通技术人员可以理解,图7所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器10还可包括比图7中所示更多或者更少的组件,例如还可以包括其他的处理硬件,如数据库或多级缓存、GPU,或者具有与图7所示不同的配置。
存储器200可用于存储应用软件的软件程序以及模块,如本发明实施例中的搜索方法对应的程序指令/模块,处理器100通过运行存储在存储器200内的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器200可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器200可进一步包括相对于处理器100远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输模块300用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输模块300包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输模块300可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
上述实施例所述的监控设备,可以通过分析待监控项的历史数据来自动确定待监控项的异常概率,通过异常概率来判断待监控项是否异常。避免了传统将实时数据与预设阈值比较的方式,从而可以大大减小阈值设置所带来的工作量,并可以大幅度减小误报率以及漏报率。
本说明书还提供一种监控系统,所述系统可以为单独的监控系统,也可以应用在多种计算机数据处理系统中。所述的系统可以为单独的服务器,也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的服务器集群、系统(包括分布式系统)、软件(应用)、实际操作装置、逻辑门电路装置、量子计算机等并结合必要的实施硬件的终端装置。所述监控系统可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个或者多个实施例中所述方法的步骤。
需要说明的,上述所述的系统根据方法或者装置实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
上述实施例所述的监控系统,可以通过分析待监控项的历史数据来自动确定待监控项的异常概率,通过异常概率来判断待监控项是否异常。避免了传统将实时数据与预设阈值比较的方式,从而可以大大减小阈值设置所带来的工作量,并可以大幅度减小误报率以及漏报率。
需要说明的是,本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照方法实施例的描述,在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于硬件+程序类、存储介质+程序实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
尽管本说明书实施例内容中提到的关键特征提取、数据训练等获取、定义、交互、计算、判断等操作和数据描述,但是,本说明书实施例并不局限于必须是符合标准数据模型/模板或本说明书实施例所描述的情况。某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、存储、判断、处理方式等获取的实施例,仍然可以属于本说明书的可选实施方案范围之内。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。
Claims (17)
1.一种监控方法,其特征在于,包括:
获取待监控项的实时数据;
根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定,其中,
若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
根据所述异常概率值确定所述待监控项是否异常;
其中,所述确定所述实时数据的异常概率值,包括:
2.根据权利要求1所述的方法,其特征在于,所述第一参考值根据所述待监控项的第一历史数据确定,包括:
将所述待监控项的第一历史数据的分布范围均分为预设段;
获取采样数据点最多的一段,并计算所述采样数据点最多的一段内所有采样点值的均值,获得所述第一历史数据对应的众数,将所述众数作为第一参考值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述异常概率值确定所述待监控项是否异常,包括:
若所述异常概率值大于异常敏感度,则确定所述待监控项异常,所述异常敏感度根据所述待监控项对应的监控对象的重要程度设置。
4.根据权利要求1所述的方法,其特征在于,所述判断所述实时数据相对第一参考值的大小之前,还包括:
对所述待监控项进行周期性采样,将周期性采样获得的数据基于预设的窗口长度进行平滑处理,获得所述待监控项的第一历史数据。
5.根据权利要求1所述的方法,其特征在于,所述根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:
判断所述实时数据相对所述实时数据所在时间段的第二参考值的大小,所述第二参考值根据所述实时数据所在时间段的历史数据确定,其中,
若所述实时数据大于所述第二参考值,根据所述实时数据在大于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值;
若所述实时数据小于所述第二参考值,根据所述实时数据在小于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
计算所述异常概率值在异常状态持续时间内的实时异常概率累积值;
根据历史异常概率累积值计算所述实时异常概率累积值的概率值,所述历史异常概率累积值包括历史数据中任意一段异常状态持续时间内的异常概率值的累积值;
若所述实时异常概率累积值的概率值大于异常容忍度,则发出监控告警。
7.根据权利要求6所述的方法,其特征在于,所述异常容忍度根据待监控项对应监控对象的重要程度进行预设设置。
8.根据权利要求6所述的方法,其特征在于,所述根据历史异常概率累积值计算所述实时异常概率累积值的概率值,包括:
判断所述实时异常概率累积值相对第三参考值的大小,所述第三参考值包括所述历史概率累积值的众数;
若所述实时异常概率累积值大于所述第三参考值,根据所述实时异常概率累积值在大于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值;
若所述实时异常概率累积值小于所述第三参考值,根据所述实时异常概率累积值在小于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值。
9.一种监控装置,其特征在于,包括:
数据采集模块,用于获取待监控项的实时数据;
异常概率确定模块,用于根据所述待监控项的历史数据确定所述实时数据的异常概率值,其中,所述异常概率确定模块包括:
第一判断单元,用于判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定;
第一异常概率确定单元,用于若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值,或者,若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;若所述实时数据大于所述历史数据对应的众数,则将大于众数的历史数据按从小到大的顺序进行排序,获取所述实时数据的正序排名n,则将作为异常概率值,其中,m表示大于众数的历史数据的总个数;若所述实时数据小于所述历史数据对应的众数,则将小于众数的历史数据按从小到大的顺序进行排序,获取所述实时数据的正序排名n′,则可以将作为异常概率值,其中,m′表示小于众数的历史数据的总个数;
异常确定模块,用于根据所述异常概率值确定所述待监控项是否异常。
10.根据权利要求9所述的装置,其特征在于,所述异常概率确定模块包括:
数据划分单元,用于将所述待监控项的第一历史数据的分布范围均分为预设段;
第一参考值确定单元,用于获取采样数据点最多的一段,并计算所述采样数据点最多的一段内所有采样点值的均值所有采样点值的均值,获得所述第一历史数据对应的众数,将所述众数作为第一参考值。
11.根据权利要求9所述的装置,其特征在于,所述异常确定模块包括:
异常确定单元,用于如果所述异常概率值大于异常敏感度,则确定所述待监控项异常,所述异常敏感度根据所述待监控项对应的监控对象的重要程度设置。
12.根据权利要求9所述的装置,其特征在于,所述装置还包括:
预处理模块,用于对所述待监控项进行周期性采样,将周期性采样获得的数据基于预设的窗口长度进行平滑处理,获得所述待监控项的第一历史数据。
13.根据权利要求9所述的装置,其特征在于,所述异常概率确定模块包括:
时间段拆分单元,用于根据所述待监控项的分析周期划分为多个时间段;
第二判断单元,用于判断所述实时数据相对所述实时数据所在时间段的第二参考值的大小,所述第二参考值根据所述实时数据所在时间段的第二历史数据确定;
第二异常概率确定单元,用于当所述实时数据大于所述第二参考值时,根据所述实时数据在大于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值,或者,当所述实时数据小于所述第二参考值时,根据所述实时数据在小于所述第二参考值的第二历史数据中的排名确定所述实时数据的异常概率值。
14.根据权利要求9-13任一项所述的装置,其特征在于,所述装置还包括:
累积值计算模块,用于计算所述异常概率值在异常状态持续时间内的实时异常概率累积值;
概率值计算模块,用于根据历史异常概率累积值计算所述实时异常概率累积值的概率值,所述历史异常概率累积值包括历史数据中异常状态持续时间内的异常概率值的累积值;
警告模块,用于判断所述实时异常概率累积值的概率值是否大于异常容忍度,如果是,则发出监控告警。
15.根据权利要求14所述的装置,其特征在于,所述概率值计算模块包括:
第三判断单元,用于判断所述实时异常概率累积值相对第三参考值的大小,所述第三参考值包括所述历史概率累积值的众数;
概率值计算单元,用于若所述实时异常概率累积值大于所述第三参考值,根据所述实时异常概率累积值在大于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值,或者,若所述实时异常概率累积值小于所述第三参考值,根据所述实时异常概率累积值在小于所述第三参考值的历史概率累积值中的排名确定所述实时异常概率累积值的概率值。
16.一种监控设备,其特征在于,包括处理器及用于存储处理器可执行指令的存储器,所述指令被所述处理器执行时实现包括以下步骤:
获取待监控项的实时数据;
根据所述待监控项的历史数据确定所述实时数据的异常概率值,包括:判断所述实时数据相对第一参考值的大小,所述第一参考值根据所述待监控项的历史数据确定,其中,
若所述实时数据大于所述第一参考值,根据所述实时数据在大于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
若所述实时数据小于所述第一参考值,根据所述实时数据在小于所述第一参考值的历史数据中的排名确定所述实时数据的异常概率值;
根据所述异常概率值确定所述待监控项是否异常;
其中,所述确定所述实时数据的异常概率值,包括:
17.一种监控系统,其特征在于,所述监控系统可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现所述权利要求1-8任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910107197.1A CN109857618B (zh) | 2019-02-02 | 2019-02-02 | 一种监控方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910107197.1A CN109857618B (zh) | 2019-02-02 | 2019-02-02 | 一种监控方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109857618A CN109857618A (zh) | 2019-06-07 |
CN109857618B true CN109857618B (zh) | 2022-07-08 |
Family
ID=66897472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910107197.1A Active CN109857618B (zh) | 2019-02-02 | 2019-02-02 | 一种监控方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109857618B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112989327A (zh) * | 2019-12-18 | 2021-06-18 | 拓尔思天行网安信息技术有限责任公司 | 一种窃取网站数据的检测方法、装置、设备及存储介质 |
CN111982522A (zh) * | 2020-09-08 | 2020-11-24 | 潍坊潍柴动力科技有限责任公司 | 发动机性能监测方法、装置、系统及存储介质 |
CN113627627A (zh) * | 2021-08-11 | 2021-11-09 | 北京互金新融科技有限公司 | 异常监控方法、装置、计算机可读介质及处理器 |
CN114924522B (zh) * | 2022-07-20 | 2022-10-28 | 中山清匠电器科技有限公司 | 基于大数据的医用分子筛制氧机远程监控系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066365A (zh) * | 2017-02-20 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 一种系统异常的监测方法及装置 |
CN107844406A (zh) * | 2017-10-25 | 2018-03-27 | 千寻位置网络有限公司 | 分布式系统的异常检测方法及系统、服务终端、存储器 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005309077A (ja) * | 2004-04-21 | 2005-11-04 | Fuji Xerox Co Ltd | 故障診断方法および故障診断装置、並びに搬送装置および画像形成装置、並びにプログラムおよび記憶媒体 |
CN107222497B (zh) * | 2017-06-30 | 2020-03-24 | 联想(北京)有限公司 | 网络流量异常监测方法及电子设备 |
CN108647891B (zh) * | 2018-05-14 | 2020-07-14 | 口口相传(北京)网络技术有限公司 | 数据异常归因分析方法及装置 |
CN109101390B (zh) * | 2018-06-29 | 2021-08-24 | 平安科技(深圳)有限公司 | 基于高斯分布的定时任务异常监控方法、电子装置及介质 |
CN109213654B (zh) * | 2018-07-05 | 2023-01-03 | 北京奇艺世纪科技有限公司 | 一种异常检测方法及装置 |
-
2019
- 2019-02-02 CN CN201910107197.1A patent/CN109857618B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107066365A (zh) * | 2017-02-20 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 一种系统异常的监测方法及装置 |
CN107844406A (zh) * | 2017-10-25 | 2018-03-27 | 千寻位置网络有限公司 | 分布式系统的异常检测方法及系统、服务终端、存储器 |
Also Published As
Publication number | Publication date |
---|---|
CN109857618A (zh) | 2019-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109857618B (zh) | 一种监控方法、装置及系统 | |
CN107528722B (zh) | 一种时间序列中异常点检测方法及装置 | |
CN111064614B (zh) | 一种故障根因定位方法、装置、设备及存储介质 | |
CN110708204A (zh) | 一种基于运维知识库的异常处理方法、系统、终端及介质 | |
CN110928718A (zh) | 一种基于关联分析的异常处理方法、系统、终端及介质 | |
CN106649831B (zh) | 一种数据过滤方法及装置 | |
CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
CN106104496A (zh) | 用于任意时序的不受监督的异常检测 | |
KR20170084445A (ko) | 시계열 데이터를 이용한 이상 감지 방법 및 그 장치 | |
CN109978261A (zh) | 确定负荷预测模型的方法、装置、可读介质及电子设备 | |
CN114444827B (zh) | 一种集群性能的评估方法和装置 | |
CN114595210A (zh) | 一种多维数据的异常检测方法、装置及电子设备 | |
CN111626360A (zh) | 用于检测锅炉故障类型的方法、装置、设备和存储介质 | |
CN115794578A (zh) | 一种电力系统的数据管理方法、装置、设备及介质 | |
CN111858245A (zh) | 一种异常数据的分析方法、装置、电子设备及存储介质 | |
CN114548493A (zh) | 一种电能表电流过载预测方法与系统 | |
CN106847306B (zh) | 一种异常声音信号的检测方法及装置 | |
Lee et al. | Detecting anomaly teletraffic using stochastic self-similarity based on Hadoop | |
CN113468014A (zh) | 一种运维数据的异常检测方法及装置 | |
CN110874601B (zh) | 识别设备运行状态的方法、状态识别模型训练方法及装置 | |
CN109658082B (zh) | 一种计费异常的识别方法及设备 | |
CN115238779B (zh) | 一种云盘的异常检测方法、装置、设备及介质 | |
CN116204522A (zh) | 一种数据稽核方法、装置、电子设备及存储介质 | |
CN115543671A (zh) | 数据分析方法、装置、设备、存储介质及程序产品 | |
CN115470279A (zh) | 基于企业数据的数源转换方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |