CN110995477A - 基于动态阈值的预警处理方法、装置、设备及存储介质 - Google Patents
基于动态阈值的预警处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110995477A CN110995477A CN201911142720.0A CN201911142720A CN110995477A CN 110995477 A CN110995477 A CN 110995477A CN 201911142720 A CN201911142720 A CN 201911142720A CN 110995477 A CN110995477 A CN 110995477A
- Authority
- CN
- China
- Prior art keywords
- early warning
- index
- index data
- data
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Alarm Systems (AREA)
Abstract
本发明实施例公开了一种基于动态阈值的预警处理方法、装置、设备及存储介质,本发明实施例由于根据指标数据在多个历史同比指标周期内的历史数据计算获取下一个指标周期内该指标数据的预警阈值,因此可以避免出现现有技术中使用滑动窗口确定动态阈值不能参考到历史多个周期的同期变化问题。此外,本发明实施例由于直接计算下一个指标周期内的预警阈值,并根据计算得到的预警阈值直接对下一个指标周期内新产生的所述指标数据进行预警,因此,本发明实施例提供的基于动态阈值的预警处理方法,实时性更强,效率更高,适用于大规模实例集群下指标数据的实时有效检测和预警。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种基于动态阈值的预警处理方法、装置、设备及存储介质。
背景技术
目前在运维系统中要想判断一个指标是否异常,需要对指标设定一个正常范围阈值,超出设定的阈值则产生预警。进行异常检测的阈值一般根据运维工程师个人经验来进行定义,或者使用滑动窗口取历史数据运算平均值和标准差,通过使用均值上下浮动三倍标准差来作为动态阈值范围。
然而,目前采用的阈值确定方法存在如下问题:
使用人工定义的单一静态阈值方式很难对每个指标准确的预警,而为每个指标设置对应合理的阈值则需要经验丰富的运维工程师大量的统计和配置工作。此外,使用滑动窗口确定的动态阈值仅能反映近期的变化情况,使得容易受到近期干扰点的影响,并且由于使用滑动窗口计算的是下一个点的阈值范围,在大规模的实例集群下的使用时很难做到实时有效的检测和预警。
发明内容
由于现有方法存在上述问题,本发明实施例提出一种基于动态阈值的预警处理方法及系统、服务器和第一服务器设备。
第一方面,本发明实施例提供了一种基于动态阈值的预警处理方法,包括:
根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;
对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;
根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;
在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
进一步地,所述对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差,具体包括:
根据采集得到的历史数据使用spark计算所述指标数据在多个历史同比指标周期内的平均值和标准差。
进一步地,所述根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值,具体包括:
将所述平均值上下分别浮动三倍的标准差,获取所述指标数据在下一个指标周期内的上限预警阈值和下限预警阈值。
进一步地,所述在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理,具体包括:
在下一个指标周期内,实时获取最新产生的所述指标数据;
将最新产生的所述指标数据与所述上限预警阈值和下限预警阈值进行对比,若最新产生的所述指标数据大于所述上限预警阈值或小于所述下限预警阈值,则对最新产生的所述指标数据进行预警处理。
进一步地,所述基于动态阈值的预警处理方法,还包括:
在对最新产生的所述指标数据进行预警处理时,将所述指标数据、所述指标数据对应的指标周期、所述指标数据对应的生产线、所述指标数据对应的生产线的负责人、所述指标数据的预警等级和所述指标数据的预警时间进行显示;
其中,所述指标数据的预警等级根据所述指标数据与中值阈值c的差值的绝对值确定,当所述差值的绝对值位于(0,2c)区间内时,所述指标数据的预警等级为一级,当所述差值的绝对值位于[2c,4c)区间内时,所述指标数据的预警等级为二级,当所述差值的绝对值位于[4c,+∞)区间内时,所述指标数据的预警等级为三级;所述中值阈值c为所述上限预警阈值和下限预警阈值的平均值。
第二方面,本发明实施例还提供了一种基于动态阈值的预警处理装置,包括:
数据采集模块,用于根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;
第一获取模块,用于对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;
第二获取模块,用于根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;
预警处理模块,用于在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
进一步地,所述第一获取模块,具体用于:
根据采集得到的历史数据使用spark计算所述指标数据在多个历史同比指标周期内的平均值和标准差。
进一步地,所述第二获取模块,具体用于:
将所述平均值上下分别浮动三倍的标准差,获取所述指标数据在下一个指标周期内的上限预警阈值和下限预警阈值。
第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所述的基于动态阈值的预警处理方法。
第四方面,本发明实施例还提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的基于动态阈值的预警处理方法。
由上述技术方案可知,本发明实施例提供的基于动态阈值的预警处理方法、装置、设备及存储介质,由于根据指标数据在多个历史同比指标周期内的历史数据计算获取下一个指标周期内该指标数据的预警阈值,因此可以避免出现现有技术中使用滑动窗口确定动态阈值不能参考到历史多个周期的同期变化问题。本发明实施例由于考虑了多个同比历史周期内的历史数据,结合了指标数据本身的周期性和复杂性,因此得到的用于下一个指标周期的预警阈值更具参考价值,不会像现有技术使用滑动窗口那样容易受到近邻周期内出现的干扰点的影响。此外,本发明实施例由于直接计算下一个指标周期内的预警阈值,并根据计算得到的预警阈值直接对下一个指标周期内新产生的所述指标数据进行预警,因此,本发明实施例可以避免像现有技术那样使用滑动窗口方式依次计算下一个指标周期内产生的每个所述指标数据的阈值,从而可以提高预警处理效率,确保预警处理的实时性。因此,本发明实施例提供的基于动态阈值的预警处理方法,实时性更强,效率更高,适用于大规模实例集群下指标数据的实时有效检测和预警。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的基于动态阈值的预警处理方法的流程图;
图2是本发明一实施例提供的基于动态阈值的预警处理装置的结构示意图;
图3是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明实施例的目的是提供一种基于动态阈值的预警处理方法,根据获取到的指标周期对指标数据进行同比采样,对采样到的数据使用spark计算平均值和标准差,将平均值上下浮动三倍的标准差作为下一个周期的阈值,避免了运维人员手动设置阈值的麻烦,实现了大规模指标数据下动态阈值的提前预算。本发明实施例能够克服采用滑动窗口方式计算得到的阈值考虑不到周期性变化以及不能应用于大规模指标数据的实时预警的问题。下面将通过具体实施例对本发明提供的基于动态阈值的预警处理方法进行详细说明。
图1示出了本发明一实施例提供的基于动态阈值的预警处理方法的流程图,如图1所示,本发明实施例提供的基于动态阈值的预警处理方法,用于大数据的实时预警分析,具体包括如下内容:
步骤101:根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;
在本步骤中,首先确定运维系统中待进行预警处理的指标周期和指标数据,例如,确定运维系统中待进行预警处理的指标数据是设备A消耗的流量数据,待进行预警处理的指标周期为一天中的这个时间段23:00-01:00,此时,根据待进行预警处理的指标周期和指标数据,可以采集该指标数据在多个历史同比指标周期内的历史数据。这里,以上面的例子进行说明,指标数据在多个历史同比指标周期内的历史数据是指:设备A消耗的流量数据(某一指标数据)在历史预设天数(如10天)内位于一天中的这个时间段23:00-01:00内的历史数据,也即需要采集历史10天内每天23:00-01:00这个时间段内设备A消耗的流量数据。
步骤102:对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;
在本步骤中,根据采集的指标数据在多个历史同比指标周期内的历史数据,获取所述指标数据在多个历史同比指标周期内的平均值和标准差。例如,根据上面的例子,假设采集的历史10天内每天23:00-01:00这个时间段内设备A消耗的流量数据分别为1M、1M、1.2M、1.1M、1.5M、1.2M、1.2M、1.8M、1.2M、1.1M,则对这10个历史流量数据进行处理,获取设备A消耗的流量数据的平均值和标准差。
在本步骤中,在计算所述指标数据在多个历史同比指标周期内的平均值和标准差时,可以使用spark计算平均值和标准差。需要说明的是,由于本实施例进行的预警分析针对大数据系统,因此,在对大数据系统进行指标数据分析时,针对的指标数据可能是较大量级级别的,比如,可能同时存在1万个不同的指标数据需要进行预警,那么就需要同步计算1万个不同的指标数据在多个历史同比指标周期内的平均值和标准差,该工作量是相当大的,因此,为提高计算速度和效率,本实施例使用spark计算指标数据的平均值和标准差,由于spark在计算序列数据的平均值和标准差时具有天然的算法优势,因此使用spark可以快速计算得到指标数据在多个历史同比指标周期内的平均值和标准差,从而可以提高整个方法的处理效率和性能。本实施例使用spark可以实现动态阈值预计算,实现了大数据下的实时异常检测。
步骤103:根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;
在本步骤中,考虑到所述指标数据满足正态分布,因此可以将所述平均值上下分别浮动三倍的标准差,获取所述指标数据的上限预警阈值和下限预警阈值,并将所述指标数据的上限预警阈值和下限预警阈值作为在下一个指标周期内所述指标数据的上限预警阈值和下限预警阈值。
在本步骤中,需要说明的是,对于根据平均值和标准差计算预警阈值的方式不作具体限定,除了采用上述计算方式以外,还可以采用其他计算方式,如可以将所述平均值上下分别浮动四倍的标准差,获取所述指标数据的上限预警阈值和下限预警阈值,这样的处理相当于放宽了预警条件,降低了预警的敏感度。如果在实际中需要对某个指标数据进行严格的预警,则可以将所述平均值上下分别浮动两倍的标准差,获取所述指标数据的上限预警阈值和下限预警阈值,这样的处理相当于收紧了预警条件,提高了预警的敏感度。
在本步骤中,由于根据指标数据在多个历史同比指标周期内的历史数据计算获取下一个指标周期内该指标数据的预警阈值,因此可以避免出现现有技术中使用滑动窗口确定动态阈值不能参考到历史多个周期的同期变化问题。本发明实施例由于考虑了多个同比历史周期内的历史数据,结合了指标数据本身的周期性和复杂性,因此得到的用于下一个指标周期的预警阈值更具参考价值,不会像现有技术使用滑动窗口那样容易受到近邻周期内出现的干扰点的影响。
步骤104:在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
在本步骤中,由于直接计算下一个指标周期内的预警阈值,并根据计算得到的预警阈值直接对下一个指标周期内新产生的所述指标数据进行预警,因此,可以避免像现有技术那样使用滑动窗口方式依次逐个计算下一个指标周期内产生的每个所述指标数据的阈值,从而可以提高预警处理效率,确保预警处理的实时性。也即在本步骤中,对于整个指标周期来说,只计算一个预警阈值,并将该阈值存储起来作为整个指标周期内的预警阈值,从而不用在一个指标周期内实时变更和计算预警阈值,从而可以提高预警处理的实时性,因此也更适用于大规模实例集群下指标数据的实时有效检测和预警。
由上述技术方案可知,本发明实施例提供的基于动态阈值的预警处理方法,由于根据指标数据在多个历史同比指标周期内的历史数据计算获取下一个指标周期内该指标数据的预警阈值,因此可以避免出现现有技术中使用滑动窗口确定动态阈值不能参考到历史多个周期的同期变化问题。本发明实施例由于考虑了多个同比历史周期内的历史数据,结合了指标数据本身的周期性和复杂性,因此得到的用于下一个指标周期的预警阈值更具参考价值,不会像现有技术使用滑动窗口那样容易受到近邻周期内出现的干扰点的影响。此外,本发明实施例由于直接计算下一个指标周期内的预警阈值,并根据计算得到的预警阈值直接对下一个指标周期内新产生的所述指标数据进行预警,因此,本发明实施例可以避免像现有技术那样使用滑动窗口方式依次计算下一个指标周期内产生的每个所述指标数据的阈值,从而可以提高预警处理效率,确保预警处理的实时性。因此,本发明实施例提供的基于动态阈值的预警处理方法,实时性更强,效率更高,适用于大规模实例集群下指标数据的实时有效检测和预警。
进一步地,基于上述实施例的内容,在本实施例中,所述步骤102对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差,具体可通过如下方式实现:
根据采集得到的历史数据使用spark计算所述指标数据在多个历史同比指标周期内的平均值和标准差。
在本实施例中,使用spark可以快速计算得到所述指标数据在多个历史同比指标周期内的平均值和标准差,从而可以提高整个方法的处理效率和性能。本实施例使用spark可以实现动态阈值预计算,实现了大数据下的实时异常检测。
进一步地,基于上述实施例的内容,在本实施例中,所述步骤103根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值,具体可通过如下方式实现:
将所述平均值上下分别浮动三倍的标准差,获取所述指标数据在下一个指标周期内的上限预警阈值和下限预警阈值。
在本实施例中,指标数据在独立条件下可认为满足正态分布,因此,在本实施例中可以将所述平均值上下分别浮动三倍的标准差,获取所述指标数据在下一个指标周期内的上限预警阈值和下限预警阈值,当指标数据超过平均值加减三个标准差(99.73%)之外时则可以认为其为异常数据,因此,当判断出现异常数据时,可以进行预警。
进一步地,基于上述实施例的内容,在本实施例中,所述步骤104在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理,具体可通过如下方式实现:
在下一个指标周期内,实时获取最新产生的所述指标数据;
将最新产生的所述指标数据与所述上限预警阈值和下限预警阈值进行对比,若最新产生的所述指标数据大于所述上限预警阈值或小于所述下限预警阈值,则对最新产生的所述指标数据进行预警处理。
在本实施例中,由于已经预先确定好了下一个指标周期内的预警阈值,因此,在下一个指标周期到来时,只需采集该指标周期内产生的相应指标数据即可,也即在下一个指标周期到来时,每产生一个相应指标数据,就将产生的指标数据与预先确定好的预警阈值进行比较,进而根据比较结果确定是否进行预警。
下面结合一个具体的例子对本实施例提供的基于动态阈值的预警处理方法进行解释说明。
本实施例提供的基于动态阈值的预警处理方法包括如下处理过程:
S1、根据指标周期采集历史同比的7个周期的历史值进行汇总;
S2、对采集到的历史值使用spark运算平均值和标准差;
S3、使用S2的运算结果作为该指标下一个周期的阈值进行入库;
S4、由于spark对下一个周期的阈值实现了预计算,因此,在进行运维系统异常检测和预警时,提取相应指标数据在下一个周期内的数据并缓存在内存中,通过将提取的指标数据与平均值上下浮动三倍标准差作对比,确定是否进行预警。需要说明的是,指标数据在独立条件下可认为满足正态分布,当前指标数据超过平均值加减三个标准差(99.73%)之外即认为是异常,因此,当判断出现异常时,则进行预警。
根据上面描述可知,本实施例根据指标周期这一参数提取同比周期的指标数据来进行阈值运算,使得预警阈值的计算结合了指标数据的周期性变化,这是一个较为关键的改进点,这样的处理可以避免出现现有技术中使用滑动窗口确定动态阈值不能参考到历史多个周期的同期变化问题。本发明实施例由于考虑了多个同比历史周期内的历史数据,结合了指标数据本身的周期性和复杂性,因此得到的用于下一个指标周期的预警阈值更具参考价值,不会像现有技术使用滑动窗口那样容易受到近邻周期内出现的干扰点的影响。此外,本实施例使用spark可以实现动态阈值预计算,实现了大数据下的实时异常检测,最后,本实施例避免了异常检测过程中手动配置阈值的大量工作,提高了处理效率。
进一步地,基于上述实施例的内容,在本实施例中,所述基于动态阈值的预警处理方法,还包括:
在对最新产生的所述指标数据进行预警处理时,将所述指标数据、所述指标数据对应的指标周期、所述指标数据对应的生产线、所述指标数据对应的生产线的负责人、所述指标数据的预警等级和所述指标数据的预警时间进行显示;
其中,所述指标数据的预警等级根据所述指标数据与中值阈值c的差值的绝对值确定,当所述差值的绝对值位于(0,2c)区间内时,所述指标数据的预警等级为一级,当所述差值的绝对值位于[2c,4c)区间内时,所述指标数据的预警等级为二级,当所述差值的绝对值位于[4c,+∞)区间内时,所述指标数据的预警等级为三级;所述中值阈值c为所述上限预警阈值和下限预警阈值的平均值。
在本实施例中,在对最新产生的所述指标数据进行预警处理时,将所述指标数据、所述指标数据对应的指标周期、所述指标数据对应的生产线、所述指标数据对应的生产线的负责人、所述指标数据的预警等级和所述指标数据的预警时间进行显示,从而使得相关工作人员可以在收到预警的第一时间确定指标数据(例如为设备A消耗的流量值以及具体值为多少)、指标数据对应的指标周期(例如为一天中的23:00-01:00)、所述指标数据对应的生产线(例如为生产线II)、所述指标数据对应的生产线的负责人(例如为张某)、所述指标数据的预警等级(例如为三级严重预警等级)和所述指标数据的预警时间(例如为20191106),从而使得相关工作人员能够第一时间掌握与本次预警相关的重要信息,便于及时采取应对措施。
在本实施例中,在确定预警等级时,采用了根据指标数据与中值阈值c的差值进行判断的方式,这里的中值阈值c为所述上限预警阈值和下限预警阈值的平均值。采用这种判断方式,将指标数据与中值阈值c的差值,与由中值阈值c确定的不同区间(0,2c)、[2c,4c)和[4c,+∞)进行对比,可以很准确地确定指标数据偏离合理范围的程度,从而便于准确确定预警等级。例如,当指标数据与中值阈值c的差值的绝对值位于(0,2c)区间内时,说明指标数据偏离合理范围的程度不高,偏离情况控制在两倍的中值阈值以内。当指标数据与中值阈值c的差值的绝对值位于[2c,4c)区间内时,说明指标数据偏离合理范围的程度有点高,偏离情况已经处于两倍的中值阈值以及四倍的中值阈值之间,此时实质上已经达到中等级别预警的程度。当指标数据与中值阈值c的差值的绝对值位于[4c,+∞)区间内时,说明指标数据偏离合理范围的程度非常高,偏离情况已经在四倍的中值阈值以上,此时实质上已经达到高级别预警的程度。需要说明的是,提示预警级别,可以有助于相关人员根据预警级别及时采取相应的应对措施。
图2示出了本发明一实施例提供的基于动态阈值的预警处理装置的结构示意图,如图2所示,本发明实施例提供的基于动态阈值的预警处理装置,包括:数据采集模块21、第一获取模块22、第二获取模块23和预警处理模块24,其中:
数据采集模块21,用于根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;
第一获取模块22,用于对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;
第二获取模块23,用于根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;
预警处理模块24,用于在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
进一步地,所述第一获取模块22,具体用于:
根据采集得到的历史数据使用spark计算所述指标数据在多个历史同比指标周期内的平均值和标准差。
进一步地,所述第二获取模块23,具体用于:
将所述平均值上下分别浮动三倍的标准差,获取所述指标数据在下一个指标周期内的上限预警阈值和下限预警阈值。
由于本实施例提供的基于动态阈值的预警处理装置可以用于执行上述实施例提供的基于动态阈值的预警处理方法,其工作原理和有益效果类似,此处不再详述。
基于相同的发明构思,本发明又一实施例提供了一种电子设备,参见图3,所述电子设备具体包括如下内容:处理器301、存储器302、通信接口303和通信总线304;
其中,所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信;所述通信接口303用于实现各设备之间的信息传输;
所述处理器301用于调用所述存储器302中的计算机程序,所述处理器执行所述计算机程序时实现上述基于动态阈值的预警处理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
基于相同的发明构思,本发明又一实施例提供了一种非暂态计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述基于动态阈值的预警处理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的基于动态阈值的预警处理方法。
此外,在本发明中,诸如“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
此外,在本发明中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于动态阈值的预警处理方法,其特征在于,包括:
根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;
对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;
根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;
在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
2.根据权利要求1所述的基于动态阈值的预警处理方法,其特征在于,所述对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差,具体包括:
根据采集得到的历史数据使用spark计算所述指标数据在多个历史同比指标周期内的平均值和标准差。
3.根据权利要求1所述的基于动态阈值的预警处理方法,其特征在于,所述根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值,具体包括:
将所述平均值上下分别浮动三倍的标准差,获取所述指标数据在下一个指标周期内的上限预警阈值和下限预警阈值。
4.根据权利要求3所述的基于动态阈值的预警处理方法,其特征在于,所述在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理,具体包括:
在下一个指标周期内,实时获取最新产生的所述指标数据;
将最新产生的所述指标数据与所述上限预警阈值和下限预警阈值进行对比,若最新产生的所述指标数据大于所述上限预警阈值或小于所述下限预警阈值,则对最新产生的所述指标数据进行预警处理。
5.根据权利要求4所述的基于动态阈值的预警处理方法,其特征在于,所述基于动态阈值的预警处理方法,还包括:
在对最新产生的所述指标数据进行预警处理时,将所述指标数据、所述指标数据对应的指标周期、所述指标数据对应的生产线、所述指标数据对应的生产线的负责人、所述指标数据的预警等级和所述指标数据的预警时间进行显示;
其中,所述指标数据的预警等级根据所述指标数据与中值阈值c的差值的绝对值确定,当所述差值的绝对值位于(0,2c)区间内时,所述指标数据的预警等级为一级,当所述差值的绝对值位于[2c,4c)区间内时,所述指标数据的预警等级为二级,当所述差值的绝对值位于[4c,+∞)区间内时,所述指标数据的预警等级为三级;所述中值阈值c为所述上限预警阈值和下限预警阈值的平均值。
6.一种基于动态阈值的预警处理装置,其特征在于,包括:
数据采集模块,用于根据待进行预警处理的指标周期和指标数据,采集指标数据在多个历史同比指标周期内的历史数据;
第一获取模块,用于对采集得到的历史数据进行处理,获取所述指标数据在多个历史同比指标周期内的平均值和标准差;
第二获取模块,用于根据所述平均值和标准差,获取所述指标数据在下一个指标周期内的预警阈值;
预警处理模块,用于在下一个指标周期内,根据所述预警阈值对所述指标数据进行预警处理。
7.根据权利要求6所述的基于动态阈值的预警处理装置,其特征在于,所述第一获取模块,具体用于:
根据采集得到的历史数据使用spark计算所述指标数据在多个历史同比指标周期内的平均值和标准差。
8.根据权利要求6所述的基于动态阈值的预警处理装置,其特征在于,所述第二获取模块,具体用于:
将所述平均值上下分别浮动三倍的标准差,获取所述指标数据在下一个指标周期内的上限预警阈值和下限预警阈值。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一所述的基于动态阈值的预警处理方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至5任一所述的基于动态阈值的预警处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911142720.0A CN110995477A (zh) | 2019-11-20 | 2019-11-20 | 基于动态阈值的预警处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911142720.0A CN110995477A (zh) | 2019-11-20 | 2019-11-20 | 基于动态阈值的预警处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110995477A true CN110995477A (zh) | 2020-04-10 |
Family
ID=70085397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911142720.0A Pending CN110995477A (zh) | 2019-11-20 | 2019-11-20 | 基于动态阈值的预警处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110995477A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111594979A (zh) * | 2020-05-20 | 2020-08-28 | 中车青岛四方车辆研究所有限公司 | 用于空调运行数据处理的方法及装置 |
CN111785392A (zh) * | 2020-07-01 | 2020-10-16 | 医渡云(北京)技术有限公司 | 人口数量的预警方法、装置、电子设备及计算机可读介质 |
CN111815129A (zh) * | 2020-06-22 | 2020-10-23 | 上海申铁信息工程有限公司 | 一种铁路车站设备运维任务触发信息处理方法和装置 |
CN111897700A (zh) * | 2020-07-15 | 2020-11-06 | 中国工商银行股份有限公司 | 应用指标监控方法及装置、电子设备和可读存储介质 |
CN112070364A (zh) * | 2020-08-19 | 2020-12-11 | 广东信通通信有限公司 | 数据分析预警方法、系统、计算设备及计算机可读存储介质 |
CN112600705A (zh) * | 2020-12-14 | 2021-04-02 | 国网四川省电力公司信息通信公司 | 一种网络设备自动化运维的方法 |
CN112667479A (zh) * | 2020-12-30 | 2021-04-16 | 联想(北京)有限公司 | 一种信息监控方法及装置 |
CN112905419A (zh) * | 2021-03-02 | 2021-06-04 | 广州虎牙科技有限公司 | 指标数据监测阈值范围确定方法、装置和可读存储介质 |
WO2022000398A1 (en) * | 2020-07-02 | 2022-01-06 | Microsoft Technology Licensing, Llc | Detecting metrics indicative of operational characteristics of network and identifying and controlling based on detected anomalies |
CN113970557A (zh) * | 2020-07-23 | 2022-01-25 | 长鑫存储技术有限公司 | 光罩缺陷检测方法及系统 |
CN114595843A (zh) * | 2022-02-25 | 2022-06-07 | 苏州赛美特科技有限公司 | 一种警报提示方法、装置、计算机设备及可读存储介质 |
CN115050155A (zh) * | 2022-04-25 | 2022-09-13 | 苏州光格科技股份有限公司 | 火灾预警方法、装置、计算机设备、存储介质 |
CN115811486A (zh) * | 2022-12-08 | 2023-03-17 | 柳州达迪通信技术股份有限公司 | 一种数据流量异常值监测方法、系统、装置及存储介质 |
CN116095305A (zh) * | 2023-04-12 | 2023-05-09 | 长鑫存储技术有限公司 | 用于对图像采集系统进行监测的方法、设备及介质 |
CN116807467A (zh) * | 2023-07-12 | 2023-09-29 | 徐州市永康电子科技有限公司 | 基于指夹式脉搏血氧仪的血氧饱和度监测预警系统及方法 |
US11988575B2 (en) | 2020-07-23 | 2024-05-21 | Changxin Memory Technologies, Inc. | Reticle defect inspection method and system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103236948A (zh) * | 2013-04-24 | 2013-08-07 | 中国电信股份有限公司重庆分公司 | 一种电信网告警方法及系统 |
US20170187581A1 (en) * | 2015-12-28 | 2017-06-29 | Silver Peak Systems, Inc. | Dynamic Monitoring and Visualization for Network Health Characteristics |
CN109213654A (zh) * | 2018-07-05 | 2019-01-15 | 北京奇艺世纪科技有限公司 | 一种异常检测方法及装置 |
CN110415494A (zh) * | 2019-07-25 | 2019-11-05 | 西安因联信息科技有限公司 | 一种基于历史运行数据的设备报警阈值计算方法 |
-
2019
- 2019-11-20 CN CN201911142720.0A patent/CN110995477A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103236948A (zh) * | 2013-04-24 | 2013-08-07 | 中国电信股份有限公司重庆分公司 | 一种电信网告警方法及系统 |
US20170187581A1 (en) * | 2015-12-28 | 2017-06-29 | Silver Peak Systems, Inc. | Dynamic Monitoring and Visualization for Network Health Characteristics |
CN109213654A (zh) * | 2018-07-05 | 2019-01-15 | 北京奇艺世纪科技有限公司 | 一种异常检测方法及装置 |
CN110415494A (zh) * | 2019-07-25 | 2019-11-05 | 西安因联信息科技有限公司 | 一种基于历史运行数据的设备报警阈值计算方法 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111594979A (zh) * | 2020-05-20 | 2020-08-28 | 中车青岛四方车辆研究所有限公司 | 用于空调运行数据处理的方法及装置 |
CN111815129A (zh) * | 2020-06-22 | 2020-10-23 | 上海申铁信息工程有限公司 | 一种铁路车站设备运维任务触发信息处理方法和装置 |
CN111785392A (zh) * | 2020-07-01 | 2020-10-16 | 医渡云(北京)技术有限公司 | 人口数量的预警方法、装置、电子设备及计算机可读介质 |
CN111785392B (zh) * | 2020-07-01 | 2024-02-09 | 医渡云(北京)技术有限公司 | 人口数量的预警方法、装置、电子设备及计算机可读介质 |
WO2022000398A1 (en) * | 2020-07-02 | 2022-01-06 | Microsoft Technology Licensing, Llc | Detecting metrics indicative of operational characteristics of network and identifying and controlling based on detected anomalies |
CN111897700A (zh) * | 2020-07-15 | 2020-11-06 | 中国工商银行股份有限公司 | 应用指标监控方法及装置、电子设备和可读存储介质 |
CN111897700B (zh) * | 2020-07-15 | 2024-03-08 | 中国工商银行股份有限公司 | 应用指标监控方法及装置、电子设备和可读存储介质 |
CN113970557A (zh) * | 2020-07-23 | 2022-01-25 | 长鑫存储技术有限公司 | 光罩缺陷检测方法及系统 |
US11988575B2 (en) | 2020-07-23 | 2024-05-21 | Changxin Memory Technologies, Inc. | Reticle defect inspection method and system |
CN113970557B (zh) * | 2020-07-23 | 2023-01-24 | 长鑫存储技术有限公司 | 光罩缺陷检测方法及系统 |
CN112070364A (zh) * | 2020-08-19 | 2020-12-11 | 广东信通通信有限公司 | 数据分析预警方法、系统、计算设备及计算机可读存储介质 |
CN112600705A (zh) * | 2020-12-14 | 2021-04-02 | 国网四川省电力公司信息通信公司 | 一种网络设备自动化运维的方法 |
CN112667479A (zh) * | 2020-12-30 | 2021-04-16 | 联想(北京)有限公司 | 一种信息监控方法及装置 |
CN112905419A (zh) * | 2021-03-02 | 2021-06-04 | 广州虎牙科技有限公司 | 指标数据监测阈值范围确定方法、装置和可读存储介质 |
CN112905419B (zh) * | 2021-03-02 | 2022-11-15 | 广州虎牙科技有限公司 | 指标数据监测阈值范围确定方法、装置和可读存储介质 |
CN114595843A (zh) * | 2022-02-25 | 2022-06-07 | 苏州赛美特科技有限公司 | 一种警报提示方法、装置、计算机设备及可读存储介质 |
CN115050155A (zh) * | 2022-04-25 | 2022-09-13 | 苏州光格科技股份有限公司 | 火灾预警方法、装置、计算机设备、存储介质 |
CN115811486A (zh) * | 2022-12-08 | 2023-03-17 | 柳州达迪通信技术股份有限公司 | 一种数据流量异常值监测方法、系统、装置及存储介质 |
CN116095305B (zh) * | 2023-04-12 | 2023-08-25 | 长鑫存储技术有限公司 | 用于对图像采集系统进行监测的方法、设备及介质 |
CN116095305A (zh) * | 2023-04-12 | 2023-05-09 | 长鑫存储技术有限公司 | 用于对图像采集系统进行监测的方法、设备及介质 |
CN116807467A (zh) * | 2023-07-12 | 2023-09-29 | 徐州市永康电子科技有限公司 | 基于指夹式脉搏血氧仪的血氧饱和度监测预警系统及方法 |
CN116807467B (zh) * | 2023-07-12 | 2024-05-14 | 徐州市永康电子科技有限公司 | 基于指夹式脉搏血氧仪的血氧饱和度监测预警系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110995477A (zh) | 基于动态阈值的预警处理方法、装置、设备及存储介质 | |
CN105956734B (zh) | 动态设置it设备的性能的指标阈值的方法及系统 | |
CN107831422B (zh) | 一种gis设备局部放电诊断方法及系统 | |
CN111143102B (zh) | 异常数据检测方法、装置、存储介质及电子设备 | |
CN103716202B (zh) | 一种电力通信智能检修策略管理方法 | |
CN109461142B (zh) | 线路隐患分析方法、装置及电子终端 | |
US20180059628A1 (en) | Information processing apparatus, information processing method, and, recording medium | |
CN104504200B (zh) | 一种用于旋转机械在线振动监测的趋势曲线图显示方法 | |
CN107918579B (zh) | 一种批量生成基线数据的方法和装置 | |
CN116859857A (zh) | 基于远程控制的燃油泵装配生产线智能管理系统 | |
CN110781220A (zh) | 故障预警方法、装置、存储介质和电子设备 | |
CN116896481B (zh) | 一种基于物联网的网络安全数据风险评估系统 | |
EP3927000A1 (en) | Network element health status detection method and device | |
CN111126631A (zh) | 网络健康判定方法及装置 | |
CN112597263A (zh) | 管网检测数据异常判断方法及系统 | |
CN110749532A (zh) | 水利工程渗流智能监测系统及方法 | |
CN106682159A (zh) | 一种阈值配置方法 | |
CN110264055B (zh) | 部件危害性评估方法、装置、设备及计算机可读存储介质 | |
CN114301803B (zh) | 网络质量检测方法、装置、电子设备及存储介质 | |
CN109146177B (zh) | 一种输配电线路树障预测方法及装置 | |
CN113869633A (zh) | 一种配电网多源数据质量管控方法 | |
CN114338348A (zh) | 一种智能告警方法、装置、设备及可读存储介质 | |
JP2018119871A (ja) | 事故予測装置、事故予測装置の制御方法及びプログラム | |
CN113670611A (zh) | 一种轴承早期退化评估方法、系统、介质及电子设备 | |
CN111210599A (zh) | 一种化工指标预警方法、系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |
|
RJ01 | Rejection of invention patent application after publication |