CN108880841A - 一种业务监控系统的阀值设置、异常检测系统及方法 - Google Patents

一种业务监控系统的阀值设置、异常检测系统及方法 Download PDF

Info

Publication number
CN108880841A
CN108880841A CN201710329470.6A CN201710329470A CN108880841A CN 108880841 A CN108880841 A CN 108880841A CN 201710329470 A CN201710329470 A CN 201710329470A CN 108880841 A CN108880841 A CN 108880841A
Authority
CN
China
Prior art keywords
threshold values
achievement data
data
module
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710329470.6A
Other languages
English (en)
Inventor
郑旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Macro Time Data System Co Ltd
Original Assignee
Shanghai Macro Time Data System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Macro Time Data System Co Ltd filed Critical Shanghai Macro Time Data System Co Ltd
Priority to CN201710329470.6A priority Critical patent/CN108880841A/zh
Publication of CN108880841A publication Critical patent/CN108880841A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0681Configuration of triggering conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/16Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种业务监控系统的阀值设置、异常检测系统及方法,包括:指标数据模块,用于获取被监控指标项的指标数据;阀值模型设置模块,用于根据指标数据模块获取的指标项的指标数据,采用特定算法设置成相应的阀值模型;实际指标数据采集模块,用于采集被监控指标项的实时指标数据,并将实时指标数据发送到异常检测模块;异常检测模块,用于检测实时输入的指标数据,是否符合设置的阀值模型;告警模块,用于当实时输入的指标数据不符合阀值模型时发出报警,本申请提供一种智能的业务监控系统的阀值设置、异常检测系统及方法,其阀值设置灵活、精准,带有阀值异常检测及报警功能。

Description

一种业务监控系统的阀值设置、异常检测系统及方法
技术领域
本发明涉及互联网业务系统监控领域,具体涉及一种业务监控系统的阀值设置、异常检测系统及方法。
背景技术
当前,传统业务从线下逐步转移到互联网线上,对于业务系统的运维监控提出了非常高的要求,一方面是给业务系统运维的时间窗口越来越小,甚至是“无感知运维”,另一方面,关键重要业务将对重大故障“零容忍”。
现有的业务监控阀值的配置基本靠工程师经验设置固定阀值,或者一些简单的历史正常数据均值作为阀值设置基准,这种阀值设置方法不仅严重依赖运维工程师的经验,而且还无法解决业务系统指标周期性波动阀值设置无效、恒定阀值无法有效告警、告警误报漏报等问题。
另外现有的业务监控系统大部分都是没有指标历史数据采集模块,只通过设置固定的阀值或阀值区间来作为业务指标的监控,日常运维的业务数据往往会出现一些环比前一天或历史数据均值的明显异常、持续偏离和随时间周期漂移的指标数据等问题,通过现有的固定阀值或固定阀值区间会让业务监控系统不能准确的发现和捕获业务系统问题,阀值或阀值区间设置小了,业务高峰期会产生大量误报事件和误报告警,阀值或阀值区间设置大了,业务系统会漏掉很多异常指标和告警;少部分监控产品会采集被监控对象的历史数据,通过数据计算取正常历史数据的平均值,然后乘以波动系数等一系列通用的数据计算方法设置业务监控的阀值,其设置方法太过笼统,仍存在较大缺陷。
发明内容
针对上述现有技术中的不足与缺陷,本申请提供一种智能的业务监控系统的阀值设置、异常检测系统,同时也提供了一种基于业务监控系统的阀值设置、异常检测系统的阀值设置、异常检测方法,其阀值设置灵活、精准,带有阀值异常检测及报警功能,其技术方案如下;
一种业务监控系统的阀值设置、异常检测系统,包括:
指标数据模块,用于获取被监控指标项的指标数据;
阀值模型设置模块,用于根据指标数据模块获取的指标项的指标数据,采用特定算法设置成相应的阀值模型;
实际指标数据采集模块,用于采集被监控指标项的实时指标数据,并将实时指标数据发送到异常检测模块;
异常检测模块,用于检测实时输入的指标数据,是否符合设置的阀值模型;
告警模块,用于当实时输入的指标数据不符合阀值模型时发出报警。
进一步地,所述指标数据模块包括历史指标数据模块和真实指标数据模块,其对应用于获取历史指标数据和真实指标数据。
一种业务监控系统的阀值设置、异常检测方法,包括:
S1、获取被监控指标项的指标数据;
S2、判断被监控指标项的指标数据是否保存有历史指标数据;
S3、在S1和S2的基础上,阀值模型设置模块对被监控的不同指标项设置成不同的阀值模型;
S4、实际指标数据采集模块采集实时指标数据,根据指标数据的类别进行分类并将实时指标数据发送到异常检测模块;
S5、异常检测模块接收不同类型的实时指标数据进行判断,若符合阀值模型直接结束当前指标项指标数据的检测,若不符合阀值模型,标记为数据异常,并发出报警。
进一步地,步骤S1中的指标数据包括历史指标数据和真实指标数据。
进一步地,所述步骤S3具体包括:
S30、若被监控的指标项的指标数据有历史指标数据,则进行步骤S31判断历史指标数据是否有周期性,否则进行步骤S33;
S31、若历史指标数据有周期性,进行步骤S310,否则进行步骤S32;
S310、若历史指标数据周期性为普通周期性,则阀值模型设置模块设置该指标项阀值模型为周期性动态阀值,并采用动态的时间窗口阀值设定法检测该指标项指标数据的异常;若历史指标数据周期性不是普通周期性,则阀值模型设置模块设置该指标项阀值模型为指数平滑,并增加季节性和趋势线周期检测进行周期性判断,采用三次指数平滑法结合历史指标数据设置动态指数平滑阀值;
S32、若历史指标数据不具有周期性,则采用恒定阀值设置法进行阀值设定;
S33、阀值模型设置模块设置该指标项阀值模型为局部平滑,异常检测模块通过接受来自实际指标数据采集模块采集的实时指标数据并与局部平滑后数据进行对比,若有较大差距,标记为数据异常并发出报警;若正常直接结束当前指标项指标数据的检测。
进一步地,所述恒定阀值设置法具体为基于历史指标数据均值统计和设定上下阈值区间、近似正态分布。
依据上述技术方案,本发明通过设置指标数据模块,可依据指标项情况获取被监控指标项的历史指标数据或真实指标数据,并根据历史指标数据是否有周期性及周期性类型,采用动态的时间窗口阀值设定法、三次指数平滑法、恒定阀值设置法等进行阀值设定,同时对阀值可进行异常检测、报警,相比于靠工程师经验设置固定阀值,或者一些简单的正常历史指标数据均值作为阀值设置基准,其阀值设置灵活、精准。
附图说明
下面通过具体实施方式结合附图对本发明作进一步详细说明。
图1为本发明的结构框图;
图2为本发明的方法流程图。
其中,1、指标数据模块;10、历史指标数据模块;11、真实指标数据模块;2、阀值模型设置模块;3、实际指标数据采集模块;4、异常检测模块;5、告警模块。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。
如图1所示,一种业务监控系统的阀值设置、异常检测系统,包括:
指标数据模块1,用于获取被监控指标项的指标数据;
阀值模型设置模块2,用于根据指标数据模块1获取的指标项的指标数据,采用特定算法设置成相应的阀值模型;
实际指标数据采集模块3,用于采集被监控指标项的实时指标数据,并将实时指标数据发送到异常检测模块4;
异常检测模块4,用于检测实时输入的指标数据,是否符合设置的阀值模型;
告警模块5,用于当实时输入的指标数据不符合阀值模型时发出报警。
进一步地,所述指标数据模块1包括历史指标数据模块10和真实指标数据模块11,其对应用于获取历史指标数据和真实指标数据。
如图2所示,一种业务监控系统的阀值设置、异常检测方法,包括:
S1、获取被监控指标项的指标数据;
S2、判断被监控指标项的指标数据是否保存有历史指标数据;
S3、在S1和S2的基础上,阀值模型设置模块2对被监控的不同指标项设置成不同的阀值模型;
S4、实际指标数据采集模块3采集实时指标数据,根据指标数据的类别进行分类并将实时指标数据发送到异常检测模块4;
S5、异常检测模块4接收不同类型的实时指标数据进行判断,若符合阀值模型直接结束当前指标项指标数据的检测,若不符合阀值模型,标记为数据异常,并发出报警。
进一步地,步骤S1中的指标数据包括历史指标数据和真实指标数据。
进一步地,所述步骤S3具体包括:
S30、若被监控的指标项的指标数据有历史指标数据,则进行步骤S31判断历史指标数据是否有周期性,否则进行步骤S33;
S31、若历史指标数据有周期性,进行步骤S310,否则进行步骤S32;
S310、若历史指标数据周期性为普通周期性,则阀值模型设置模块2设置该指标项阀值模型为周期性动态阀值,并采用动态的时间窗口阀值设定法检测该指标项指标数据的异常;若历史指标数据周期性不是普通周期性,则阀值模型设置模块2设置该指标项阀值模型为指数平滑,并增加季节性和趋势线周期检测进行周期性判断,采用三次指数平滑法结合历史指标数据设置动态指数平滑阀值;
S32、若历史指标数据不具有周期性,则采用恒定阀值设置法进行阀值设定;
S33、阀值模型设置模块2设置该指标项阀值模型为局部平滑,异常检测模块4通过接受来自实际指标数据采集模块3采集的实时指标数据并与局部平滑后数据进行对比,若有较大差距,标记为数据异常并发出报警;若正常直接结束当前指标项指标数据的检测。
进一步地,所述恒定阀值设置法具体为基于历史指标数据均值统计和设定上下阈值区间、近似正态分布。
其中步骤S310的具体内容为:
如果历史指标数据周期性是普通周期性,例如每天的指标数据波动近似,设置阀值模型为周期性动态阀值,周期性动态阀值设置采用动态的时间窗口阀值设定法来处理周期性数据的异常判断,如果不是普通周期性,周期性判断中会增加季节性和趋势线周期检测,例如分工作日、周末、传统假期、双11等时间出现的不同数据特征,设置阀值模型为指数平滑,通过对历史指标数据进行分析,采用三次指数平滑法来设置动态指数平滑阀值。
以上应用了具体个例对本发明进行阐述,只是用于帮助理解本发明,并不用以限制本发明。对于本发明所属技术领域的技术人员,依据本发明的思想,还可以做出若干简单推演、变形或替换。

Claims (6)

1.一种业务监控系统的阀值设置、异常检测系统,其特征在于,包括:
指标数据模块,用于获取被监控指标项的指标数据;
阀值模型设置模块,用于根据指标数据模块获取的指标项的指标数据,采用特定算法设置成相应的阀值模型;
实际指标数据采集模块,用于采集被监控指标项的实时指标数据,并将实时指标数据发送到异常检测模块;
异常检测模块,用于检测实时输入的指标数据,是否符合设置的阀值模型;
告警模块,用于当实时输入的指标数据不符合阀值模型时发出报警。
2.如权利要求1所述的一种业务监控系统的阀值设置、异常检测系统,其特征在于,所述指标数据模块包括历史指标数据模块和真实指标数据模块,其对应用于获取历史指标数据和真实指标数据。
3.基于权利要求1或2所述的一种业务监控系统的阀值设置、异常检测方法,其特征在于,包括:
S1、获取被监控指标项的指标数据;
S2、判断被监控指标项的指标数据是否保存有历史指标数据;
S3、在S1和S2的基础上,阀值模型设置模块对被监控的不同指标项设置成不同的阀值模型;
S4、实际指标数据采集模块采集实时指标数据,根据指标数据的类别进行分类并将实时指标数据发送到异常检测模块;
S5、异常检测模块接收不同类型的实时指标数据进行判断,若符合阀值模型直接结束当前指标项指标数据的检测,若不符合阀值模型,标记为数据异常,并发出报警。
4.如权利要求3所述的一种业务监控系统的阀值设置、异常检测方法,其特征在于,步骤S1中的指标数据包括历史指标数据和真实指标数据。
5.如权利要求3所述的一种业务监控系统的阀值设置、异常检测方法,其特征在于,所述步骤S3具体包括:
S30、若被监控的指标项的指标数据有历史指标数据,则进行步骤S31判断历史指标数据是否有周期性,否则进行步骤S33;
S31、若历史指标数据有周期性,进行步骤S310,否则进行步骤S32;
S310、若历史指标数据周期性为普通周期性,则阀值模型设置模块设置该指标项阀值模型为周期性动态阀值,并采用动态的时间窗口阀值设定法检测该指标项指标数据的异常;若历史指标数据周期性不是普通周期性,则阀值模型设置模块设置该指标项阀值模型为指数平滑,并增加季节性和趋势线周期检测进行周期性判断,采用三次指数平滑法结合历史指标数据设置动态指数平滑阀值;
S32、若历史指标数据不具有周期性,则采用恒定阀值设置法进行阀值设定;
S33、阀值模型设置模块设置该指标项阀值模型为局部平滑,异常检测模块通过接受来自实际指标数据采集模块采集的实时指标数据并与局部平滑后数据进行对比,若有较大差距,标记为数据异常并发出报警;若正常直接结束当前指标项指标数据的检测。
6.如权利要求5所述的一种业务监控系统的阀值设置、异常检测方法,其特征在于,所述恒定阀值设置法具体为基于历史指标数据均值统计和设定上下阈值区间、近似正态分布。
CN201710329470.6A 2017-05-11 2017-05-11 一种业务监控系统的阀值设置、异常检测系统及方法 Pending CN108880841A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710329470.6A CN108880841A (zh) 2017-05-11 2017-05-11 一种业务监控系统的阀值设置、异常检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710329470.6A CN108880841A (zh) 2017-05-11 2017-05-11 一种业务监控系统的阀值设置、异常检测系统及方法

Publications (1)

Publication Number Publication Date
CN108880841A true CN108880841A (zh) 2018-11-23

Family

ID=64319308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710329470.6A Pending CN108880841A (zh) 2017-05-11 2017-05-11 一种业务监控系统的阀值设置、异常检测系统及方法

Country Status (1)

Country Link
CN (1) CN108880841A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714196A (zh) * 2018-12-11 2019-05-03 中国联合网络通信集团有限公司 数据监控方法及平台
CN110032490A (zh) * 2018-12-28 2019-07-19 中国银联股份有限公司 用于检测系统异常的方法及其装置
CN110147935A (zh) * 2019-04-18 2019-08-20 红云红河烟草(集团)有限责任公司 一种烟草卷包车间质量综合决策模型的建立方法
CN110213125A (zh) * 2019-05-23 2019-09-06 南京维拓科技股份有限公司 一种云环境下基于时序数据的异常检测系统
CN110223167A (zh) * 2019-06-19 2019-09-10 中国工商银行股份有限公司 生产交易协同监控方法以及生产交易关联监控方法
CN110362454A (zh) * 2019-06-29 2019-10-22 北京淇瑀信息科技有限公司 一种支持可配置的决策引擎的报警方法、装置和电子设备
CN111106959A (zh) * 2019-12-20 2020-05-05 贵州黔岸科技有限公司 用于运输管理系统的异常监控报警系统及方法
CN111143102A (zh) * 2019-12-13 2020-05-12 东软集团股份有限公司 异常数据检测方法、装置、存储介质及电子设备
CN112188531A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 异常检测方法、装置、电子设备及计算机存储介质
CN112346393A (zh) * 2021-01-08 2021-02-09 睿至科技集团有限公司 基于智能运维的数据全链路异常监测及处理方法和系统
CN112612671A (zh) * 2020-12-16 2021-04-06 深圳前海微众银行股份有限公司 系统监控方法、装置、设备及存储介质
CN113076232A (zh) * 2021-03-30 2021-07-06 深圳供电局有限公司 一种健康数据指标的异常检测方法及系统
CN115858303A (zh) * 2022-12-24 2023-03-28 北京新数科技有限公司 一种基于Zabbix的服务器性能监控方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902366A (zh) * 2009-05-27 2010-12-01 北京启明星辰信息技术股份有限公司 一种业务行为异常检测方法和系统
CN103366091A (zh) * 2013-07-11 2013-10-23 西安交通大学 基于多级阈值指数加权平均的异常报税数据检测方法
CN103888315A (zh) * 2014-03-24 2014-06-25 北京邮电大学 一种自适应的突发流量检测装置及其检测方法
CN104536868A (zh) * 2014-11-26 2015-04-22 北京广通信达科技有限公司 一种it系统运行指标动态阈值分析方法
CN104679970A (zh) * 2013-11-29 2015-06-03 高德软件有限公司 一种数据检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902366A (zh) * 2009-05-27 2010-12-01 北京启明星辰信息技术股份有限公司 一种业务行为异常检测方法和系统
CN103366091A (zh) * 2013-07-11 2013-10-23 西安交通大学 基于多级阈值指数加权平均的异常报税数据检测方法
CN104679970A (zh) * 2013-11-29 2015-06-03 高德软件有限公司 一种数据检测方法及装置
CN103888315A (zh) * 2014-03-24 2014-06-25 北京邮电大学 一种自适应的突发流量检测装置及其检测方法
CN104536868A (zh) * 2014-11-26 2015-04-22 北京广通信达科技有限公司 一种it系统运行指标动态阈值分析方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109714196B (zh) * 2018-12-11 2021-12-14 中国联合网络通信集团有限公司 数据监控方法及平台
CN109714196A (zh) * 2018-12-11 2019-05-03 中国联合网络通信集团有限公司 数据监控方法及平台
CN110032490A (zh) * 2018-12-28 2019-07-19 中国银联股份有限公司 用于检测系统异常的方法及其装置
CN110147935A (zh) * 2019-04-18 2019-08-20 红云红河烟草(集团)有限责任公司 一种烟草卷包车间质量综合决策模型的建立方法
CN110147935B (zh) * 2019-04-18 2022-07-05 红云红河烟草(集团)有限责任公司 一种烟草卷包车间质量综合决策模型的建立方法
CN110213125A (zh) * 2019-05-23 2019-09-06 南京维拓科技股份有限公司 一种云环境下基于时序数据的异常检测系统
CN110223167A (zh) * 2019-06-19 2019-09-10 中国工商银行股份有限公司 生产交易协同监控方法以及生产交易关联监控方法
CN110362454A (zh) * 2019-06-29 2019-10-22 北京淇瑀信息科技有限公司 一种支持可配置的决策引擎的报警方法、装置和电子设备
CN112188531A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 异常检测方法、装置、电子设备及计算机存储介质
CN112188531B (zh) * 2019-07-01 2022-12-27 中国移动通信集团浙江有限公司 异常检测方法、装置、电子设备及计算机存储介质
CN111143102B (zh) * 2019-12-13 2024-01-19 东软集团股份有限公司 异常数据检测方法、装置、存储介质及电子设备
CN111143102A (zh) * 2019-12-13 2020-05-12 东软集团股份有限公司 异常数据检测方法、装置、存储介质及电子设备
CN111106959B (zh) * 2019-12-20 2022-10-14 贵州黔岸科技有限公司 用于运输管理系统的异常监控报警系统及方法
CN111106959A (zh) * 2019-12-20 2020-05-05 贵州黔岸科技有限公司 用于运输管理系统的异常监控报警系统及方法
CN112612671A (zh) * 2020-12-16 2021-04-06 深圳前海微众银行股份有限公司 系统监控方法、装置、设备及存储介质
CN112346393B (zh) * 2021-01-08 2021-04-13 睿至科技集团有限公司 基于智能运维的数据全链路异常监测及处理方法和系统
CN112346393A (zh) * 2021-01-08 2021-02-09 睿至科技集团有限公司 基于智能运维的数据全链路异常监测及处理方法和系统
CN113076232A (zh) * 2021-03-30 2021-07-06 深圳供电局有限公司 一种健康数据指标的异常检测方法及系统
CN115858303A (zh) * 2022-12-24 2023-03-28 北京新数科技有限公司 一种基于Zabbix的服务器性能监控方法及系统
CN115858303B (zh) * 2022-12-24 2023-08-22 北京新数科技有限公司 一种基于Zabbix的服务器性能监控方法及系统

Similar Documents

Publication Publication Date Title
CN108880841A (zh) 一种业务监控系统的阀值设置、异常检测系统及方法
CN105406991A (zh) 基于网络监控指标由历史数据生成业务阈值的方法及系统
JP6318307B2 (ja) 資源消費分析論のためのシステムおよび方法
WO2020063819A1 (zh) 水管网的数据实时分析方法及装置
CN111173565B (zh) 一种矿井监测数据异常波动预警方法和装置
CN105242534B (zh) 基于遥测参数且关联于对卫星控制行为的卫星状态监测方法
CN106996367B (zh) 泵站运行的感知报警系统及感知报警方法
CN104536868A (zh) 一种it系统运行指标动态阈值分析方法
Palem Condition-based maintenance using sensor arrays and telematics
JP6482817B2 (ja) プラント監視支援システム及びプラント監視支援方法
JP2015011027A (ja) 時系列データにおける異常を検出する方法
CN107077135B (zh) 用于识别设备中的干扰的方法和辅助系统
CN108595687A (zh) 用水量异常检测方法和数据库服务器
US20190080590A1 (en) Method for Sensor Maintenance of Redundant Sensor Loops
CN106774187A (zh) 自动监控生产线节拍的系统及其方法
CN114488996A (zh) 一种设备健康监控与预警方法及系统
CN108614544A (zh) 一种工业锅炉系统异常信号值监测方法及其系统
WO2022083375A1 (zh) 人员位置异常监测方法及装置
Chen et al. Design of multivariate alarm systems based on online calculation of variational directions
CN110207827B (zh) 一种基于异常因子提取的电气设备温度实时预警方法
CN117607780A (zh) 一种电能计量装置异常分析系统及其分析方法
CN112228042B (zh) 一种基于云边协同计算的抽油机井工况相似性判别方法
CN109064687A (zh) 一种自助服务终端运行状态检测系统及方法
CN107924185B (zh) 用于维护使用自动化技术的工厂中现场设备的方法和系统
CN105656990A (zh) 一种仪表的监控方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123

RJ01 Rejection of invention patent application after publication