CN106452912A - 一种流量报警方法及装置 - Google Patents
一种流量报警方法及装置 Download PDFInfo
- Publication number
- CN106452912A CN106452912A CN201611025530.7A CN201611025530A CN106452912A CN 106452912 A CN106452912 A CN 106452912A CN 201611025530 A CN201611025530 A CN 201611025530A CN 106452912 A CN106452912 A CN 106452912A
- Authority
- CN
- China
- Prior art keywords
- flow
- ratio
- currently practical
- estimating
- estimate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种流量报警方法及装置,该方法包括:将历史流量作为观测数据;对观测数据进行卡尔曼滤波,获得预估流量,将预估流量与当前实际流量进行对比,当当前实际流量与预估流量的差值超过预设范围时,发出报警。上述技术方案,由于可以动态自动设定报警阈值,从而提高报警的准确率。
Description
技术领域
本发明涉及互联网技术领域,特别涉及一种流量报警方法及装置。
背景技术
在互联网线上服务系统之中,监控是系统稳定性的重要环节。以监控pv次数(pageview,用户访问网页频次,即为流量)为例,当前比较普遍的做法是人工设定阈值,当每分钟pv数小于xx次或大于xx次时发出报警。
然而,现有的技术方案需借助较多工程师经验,不同的系统会存在不同的阈值,同一个系统不同的时段也存在不同的阈值。比如凌晨3点的低峰期和晚上10点的高峰期,pv流量差别很大,想用传统方法解决此问题,还需根据不同时段的历史流量来设定不同阈值,工作量巨大。但是碰到节假日低峰期,双十一高峰期等特殊情况,仍然需要特殊处理。从图1A可以看出,网络流量出现异常时,其流量仍然高于低峰期,所以单一的阈值难以满足监控需求。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种流量报警方法及装置。用以提高报警准确率。
本发明提供一种流量报警方法,包括:
将历史流量作为观测数据;对所述观测数据进行卡尔曼滤波,获得预估流量;
将所述预估流量与当前实际流量进行对比;
当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警。
在一个实施例中,所述当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警,可包括:
当所述当前实际流量高于所述预估流量第一预设比例时,发出报警。
在一个实施例中,所述当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警,可包括:
当所述当前实际流量低于所述预估流量第二预设比例时,发出报警。
在一个实施例中,所述方法还可包括:
将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第一预设比例;
将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第二预设比例。
在一个实施例中,所述方法还可包括:
利用直方图确定所述第一预设比例或者第二预设比例。
本发明还提供一种流量报警装置,其特征在于,包括:
滤波模块,用于将历史流量作为观测数据;对所述观测数据进行卡尔曼滤波,获得预估流量;
对比模块,用于将所述预估流量与当前实际流量进行对比;
报警模块,用于当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警。
在一个实施例中,所述报警模块可包括:
第一报警子模块,用于当所述当前实际流量高于所述预估流量第一预设比例时,发出报警。
在一个实施例中,所述报警模块,可包括:
第二报警子模块,用于当所述当前实际流量低于所述预估流量第二预设比例时,发出报警。
在一个实施例中,所述装置还可包括:
第一确定模块,用于将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第一预设比例;
第二确定模块,用于将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第二预设比例。
在一个实施例中,所述装置还可包括:
第三确定模块,用于利用直方图确定所述第一预设比例或者第二预设比例。
本发明的实施例提供的技术方案可以包括以下有益效果:
上述技术方案,通过将历史流量作为观测数据;对观测数据进行卡尔曼滤波,获得预估流量,将预估流量与当前实际流量进行对比,当当前实际流量与预估流量的差值超过预设范围时,发出报警。由于可以动态自动设定报警阈值,从而提高报警的准确率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1A为监测的网络流量的一个示意图;
图1B为本发明实施例中一种流量报警方法的流程图;
图1C为预估流量与当前实际流量对比示意图;
图2为本发明实施例中另一种流量报警方法的流程图;
图3为本发明实施例中另一种流量报警方法的流程图;
图4为本发明实施例中另一种流量报警方法的流程图;
图5A为本发明实施例中另一种流量报警方法的流程图;
图5B为本发明实施例根据直方图确定报警阈值的示意图;
图6为本发明实施例中一种流量报警装置的框图;
图7为本发明实施例中另一种流量报警装置的框图;
图8为本发明实施例中另一种流量报警装置的框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1B所示为本发明实施例中一种流量报警方法的流程图,如图1B所示,该流量报警方法包括以下步骤S11-S13:
步骤S11,将历史流量作为观测数据;对观测数据进行卡尔曼滤波,获得预估流量。
步骤S12,将预估流量与当前实际流量进行对比。
步骤S13,当当前实际流量与预估流量的差值超过预设范围时,发出报警。
卡尔曼滤波常用于通过观察数据推测实际位置,比如卫星发射中通过对卫星的坐标、加速度等观测数据来推测卫星的实际位置。实际位置需要“推测得出”而不是“观测得出”,这是因为观测数据往往包含噪点,需要用卡尔曼滤波等技术对观测数据进行平滑和修正处理。
本发明利用卡尔曼滤波,把历史流量的统计作为观测数据,来预估当前流量。如当前流量比预估流量低太多,则当前服务很大可能是有问题的。如图1C所示,在正常的流量波动下,实际流量值和预估流量值可以很好的吻合,当流量出现异常波动时,两者会出现较大的差值,此时为异常情况。
本发明实施例的上述方法,通过将历史流量作为观测数据;对观测数据进行卡尔曼滤波,获得预估流量,将预估流量与当前实际流量进行对比,当当前实际流量与预估流量的差值超过预设范围时,发出报警。由于可以动态自动设定报警阈值,从而提高报警的准确率。
在一个实施例中,如图2所示,步骤S13可以实施为如下步骤S131:
步骤S131,当当前实际流量高于预估流量第一预设比例时,发出报警。
第一预设比例例如可以是20%,当当前实际流量高于预估流量20%时发出报警。
在一个实施例中,如图3所示,步骤S13还可以实施为如下步骤S132:
步骤S132,当当前实际流量低于预估流量第二预设比例时,发出报警。
第二预设比例例如可以是10%,当当前实际流量低于预估流量10%时发出报警。
第一预设比例和第二预设比例均为报警阈值,当当前实际流量高于预估流量第一预设比例或当前实际流量低于预估流量第二预设比例时,发出报警。
在一个实施例中,如图4所示,该流量报警方法还可以包括以下步骤S14-S15:
步骤S14,将当前实际流量与预估流量的差值与预估流量的比例低于预设概率时,将比例确定为第一预设比例。
步骤S15,将当前实际流量与预估流量的差值与预估流量的比例低于预设概率时,将比例确定为第二预设比例。
在一个实施例中,如图5A所示,该流量报警方法还可包括以下步骤S16:
步骤S16,利用直方图确定第一预设比例或者第二预设比例。
报警阈值Θ的大小在本方法中至关重要,粗略定义为[-10%,20%]仍会造成误判。本发明利用直方图统计,统计历史分布,从而得出更直观的Θ阈值。比如下图的直方图统计,工程师可以根据直方图和自己系统的实际情况来定义Θ,比如,如图5B所示,图中的纵坐标表示概率;图中的横坐标表示实际流量偏离预估流量的程度;图中的粗横线表示有0.5%的概率实际流量高于预估流量的15%,有0.5%的概率实际流量低于预估流量12.5%。0.5%是常规统计意义上的小概率事件,所以将0.5%确定为预设概率,当然,工程师可以根据系统实际情况自行确定。
本实施例通过直方图统计,直观的让工程师看到流量偏高和偏低的概率,从而更好地定义阈值Θ范围。
基于同一发明构思,本发明实施例还提供了一种流量报警装置,由于该装置所解决问题的原理与前述流量报警方法相似,因此该装置的实施可以参见前述方法的实施,重复之处不再赘述。
图6所示为本发明实施例中一种流量报警装置的框图,如图6所示,该流量报警装置包括:
滤波模块61,用于将历史流量作为观测数据;对观测数据进行卡尔曼滤波,获得预估流量;
对比模块62,用于将预估流量与当前实际流量进行对比;
报警模块63,用于当当前实际流量与预估流量的差值超过预设范围时,发出报警。
在一个实施例中,报警模块63可包括:
第一报警子模块,用于当当前实际流量高于预估流量第一预设比例时,发出报警。
在一个实施例中,报警模块63,可包括:
第二报警子模块,用于当当前实际流量低于预估流量第二预设比例时,发出报警。
在一个实施例中,如图7所示,该流量报警装置还可包括:
第一确定模块64,用于将当前实际流量与预估流量的差值与预估流量的比例低于预设概率时,将比例确定为第一预设比例;
第二确定模块65,用于将当前实际流量与预估流量的差值与预估流量的比例低于预设概率时,将比例确定为第二预设比例。
在一个实施例中,如图8所示,该流量报警装置还可包括:
第三确定模块66,用于利用直方图确定第一预设比例或者第二预设比例。
本发明实施例的上述装置,通过将历史流量作为观测数据;对观测数据进行卡尔曼滤波,获得预估流量,将预估流量与当前实际流量进行对比,当当前实际流量与预估流量的差值超过预设范围时,发出报警。由于可以动态自动设定报警阈值,从而提高报警的准确率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种流量报警方法,其特征在于,包括:
将历史流量作为观测数据;对所述观测数据进行卡尔曼滤波,获得预估流量;
将所述预估流量与当前实际流量进行对比;
当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警。
2.如权利要求1所述的方法,其特征在于,所述当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警,包括:
当所述当前实际流量高于所述预估流量第一预设比例时,发出报警。
3.如权利要求1所述的方法,其特征在于,所述当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警,包括:
当所述当前实际流量低于所述预估流量第二预设比例时,发出报警。
4.如权利要求2或3所述的方法,其特征在于,所述方法还包括:
将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第一预设比例;
将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第二预设比例。
5.如权利要求4所述的方法,其特征在于,所述方法还包括:
利用直方图确定所述第一预设比例或者第二预设比例。
6.一种流量报警装置,其特征在于,包括:
滤波模块,用于将历史流量作为观测数据;对所述观测数据进行卡尔曼滤波,获得预估流量;
对比模块,用于将所述预估流量与当前实际流量进行对比;
报警模块,用于当所述当前实际流量与所述预估流量的差值超过预设范围时,发出报警。
7.如权利要求6所述的装置,其特征在于,所述报警模块包括:
第一报警子模块,用于当所述当前实际流量高于所述预估流量第一预设比例时,发出报警。
8.如权利要求6所述的装置,其特征在于,所述报警模块,包括:
第二报警子模块,用于当所述当前实际流量低于所述预估流量第二预设比例时,发出报警。
9.如权利要求7或8所述的装置,其特征在于,所述装置还包括:
第一确定模块,用于将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第一预设比例;
第二确定模块,用于将当前实际流量与所述预估流量的差值与所述预估流量的比例低于预设概率时,将所述比例确定为第二预设比例。
10.如权利要求9所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于利用直方图确定所述第一预设比例或者第二预设比例。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611025530.7A CN106452912A (zh) | 2016-11-18 | 2016-11-18 | 一种流量报警方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611025530.7A CN106452912A (zh) | 2016-11-18 | 2016-11-18 | 一种流量报警方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106452912A true CN106452912A (zh) | 2017-02-22 |
Family
ID=58221732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611025530.7A Pending CN106452912A (zh) | 2016-11-18 | 2016-11-18 | 一种流量报警方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106452912A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109547283A (zh) * | 2018-10-23 | 2019-03-29 | 日海通信服务有限公司 | 一种智能通信服务方法及系统 |
CN111817923A (zh) * | 2020-07-28 | 2020-10-23 | 城云科技(中国)有限公司 | 交换机端口流量突变的预警分析方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577642A (zh) * | 2008-05-08 | 2009-11-11 | 吴志军 | 一步预测卡尔曼滤波检测LDoS攻击的方法 |
CN103839412A (zh) * | 2014-03-27 | 2014-06-04 | 北京建筑大学 | 一种基于贝叶斯加权的路口动态转向比例组合估计方法 |
-
2016
- 2016-11-18 CN CN201611025530.7A patent/CN106452912A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101577642A (zh) * | 2008-05-08 | 2009-11-11 | 吴志军 | 一步预测卡尔曼滤波检测LDoS攻击的方法 |
CN103839412A (zh) * | 2014-03-27 | 2014-06-04 | 北京建筑大学 | 一种基于贝叶斯加权的路口动态转向比例组合估计方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109547283A (zh) * | 2018-10-23 | 2019-03-29 | 日海通信服务有限公司 | 一种智能通信服务方法及系统 |
CN109547283B (zh) * | 2018-10-23 | 2022-06-14 | 日海通信服务有限公司 | 一种智能通信服务方法及系统 |
CN111817923A (zh) * | 2020-07-28 | 2020-10-23 | 城云科技(中国)有限公司 | 交换机端口流量突变的预警分析方法和装置 |
CN111817923B (zh) * | 2020-07-28 | 2021-09-14 | 城云科技(中国)有限公司 | 交换机端口流量突变的预警分析方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3671466B1 (en) | Unsupervised anomaly detection for arbitrary time series | |
US9952921B2 (en) | System and method for detecting and predicting anomalies based on analysis of time-series data | |
CN106708692B (zh) | 建立过滤报警模型的方法和装置以及过滤报警的方法、装置和电子设备 | |
CN105871634B (zh) | 检测集群异常的方法及应用、管理集群的系统 | |
CN104778111A (zh) | 一种进行报警的方法和装置 | |
CN106210129B (zh) | 一种基于Web服务器配置的限流方法及系统 | |
CN105871581A (zh) | 云计算中报警信息的处理方法及装置 | |
CN106100901B (zh) | 一种流速控制方法及装置 | |
CN106452912A (zh) | 一种流量报警方法及装置 | |
CN112116123A (zh) | 一种基于动态基线的智能告警方法和系统 | |
CN111126631A (zh) | 网络健康判定方法及装置 | |
CN111192130A (zh) | 交易监控中确定故障根源的方法、系统、装置及存储介质 | |
CN107276779A (zh) | 一种监控方法、系统及设备 | |
CN108234266B (zh) | 总线型通讯网络的数据传输方法和装置及存储介质 | |
US20190044797A1 (en) | Method and apparatus of establishing computer network monitoring criteria | |
CN107124290B (zh) | 一种告警阈值生成方法及装置 | |
CN111782488A (zh) | 消息队列监控方法、装置、电子设备和介质 | |
CN103312529B (zh) | 系统功能的监控方法、装置及监控系统 | |
CN114024831B (zh) | 一种异常事件预警方法、装置和系统 | |
CN109981358A (zh) | 一种基于组合模型的自适应网络性能预警方法 | |
CN113760637A (zh) | 用于针对阈值类监控数据确定阈值的方法和装置 | |
CN104980318A (zh) | Idc的网络和服务器的健康度可视化监控方法及装置 | |
CN112838957B (zh) | 一种具备智能调度的流量预测系统 | |
CN112612844B (zh) | 数据处理方法、装置、设备和存储介质 | |
JP2005004336A (ja) | リソース監視方法および装置ならびにリソース監視プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination |