CN108429649A - 基于多次单类型采集结果的综合异常判断的系统 - Google Patents

基于多次单类型采集结果的综合异常判断的系统 Download PDF

Info

Publication number
CN108429649A
CN108429649A CN201810244277.7A CN201810244277A CN108429649A CN 108429649 A CN108429649 A CN 108429649A CN 201810244277 A CN201810244277 A CN 201810244277A CN 108429649 A CN108429649 A CN 108429649A
Authority
CN
China
Prior art keywords
data
type
threshold
collected
gathered data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810244277.7A
Other languages
English (en)
Other versions
CN108429649B (zh
Inventor
王慧
汪立东
王卿
刘春阳
张旭
李雄
王萌
王海洋
刘衍琦
李雪梅
徐健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN201810244277.7A priority Critical patent/CN108429649B/zh
Publication of CN108429649A publication Critical patent/CN108429649A/zh
Application granted granted Critical
Publication of CN108429649B publication Critical patent/CN108429649B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/064Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于多次单类型采集结果的综合异常判断系统,涉及网络预警技术领域。所述系统包括:阈值生成单元和异常判断单元;所述阈值生成单元,在从被采集系统上获取到的采集数据的基础上,计算判断阈值;所述异常判断单元,在所述判断阈值和所述采集数据的基础上,判断被采集系统运行是正常还是异常。本发明所述系统对采集到的数据进行多种方式进行判断,从而在不接触被监测系统后台日志或硬件数据的情况下准确识别出被检测系统的运行状况,解决了因使用平均值计算抗干扰性太弱,固定阈值判断性能太差,阈值波动范围设置方案单一且低效的问题。

Description

基于多次单类型采集结果的综合异常判断的系统
技术领域
本发明涉及网络预警技术领域,尤其涉及一种基于多次单类型采集结果的综合异常判断系统。
背景技术
现有技术中针对重复采集到的单一类型数据的异常判断方法有以下几种:
方法1,使用固定阈值,即由运维人员根据经验给出一个固定的区间作为固定阈值,系统通过与固定阈值的比对决定数据是否异常。方法1实现简单,在数据波动不大或异常判断比较绝对的系统中比较适合,但在存在大范围数据波动的系统中则会曝露出种种问题,当固定阈值设定过高会发生误报,浪费人力物力;设置过低会产生漏报,造成不可预计的后果。
方法2,采用时间分段函数动态阈值,按照预先定义的时间分段设置不同的固定阈值。时间分段考虑因素包括工作日/非工作日、周一-周日、特殊日期、0:00-24:00各时间段等。方法2更适用于大范围时间段使用,在小范围时间段内采用的还是固定阈值,故,方法2在一定程度上继承了固定阈值的缺陷。
方法3,动态阈值为前n个采样点的统计平均值。方法3的缺陷也很明显,众所周知,平均值极易被极端数据所干扰,用于判断的数据本身并不稳定,除去正常大范围波动之外还会不定期产生比较极端的异常数据,在计算时受到干扰过多,易导致结果过大,影响判断的准确性。
方法4,阈值为历史某一周期的统计平均值,如过去n(天/周/月/季/年)的统计平均值,过去时间的采样取值需要区分工作日/非工作日、特殊日期因素。方法4可以看成方法3的补充版本,使用周期更有针对性的获得符合当前实际的阈值,在一定限度上避免因正常数据波动而造成的干扰,但对突如其来的异常数据还是毫无抵抗力可言。
方法5,阈值为n个历史同期数据的统计平均值。方法5基于同期数据的思想本身具有很强的性能,不足之处便是单纯采用了平均值而不加处理,因此平均值所带有的缺陷同样存在,并且方法5对周期性不明显的被检测系统也会产生性能不够的问题。
综上单一类型数据的异常判断方法总有不可避免的缺陷:单纯使用平均值计算抗干扰性太弱,固定阈值判断性能太差,阈值波动范围设置方案单一且低效。
发明内容
本发明的目的在于提供一种基于多次单类型采集结果的综合异常判断系统,从两个方面对现有方案进行整合:第一方面根据算法特性,选择多种算法进行综合判断,互相补足硬性缺陷,第二方面对所选择的单个算法进行升级,使之对当前运行环境的数据特性更具有针对性;从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明所述基于多次单类型采集结果的综合异常判断系统,所述系统包括:阈值生成单元和异常判断单元;
所述阈值生成单元,在从被采集系统上获取到的采集数据的基础上,计算判断阈值;所述采集数据包括:被采集系统的基本信息、被采集系统的当前采集数据、当前采集数据的采集时间和被采集系统历史数据;所述阈值生成单元包括三个阈值生成子单元,分别为曲线拟合阈值生成子单元、同期数据阈值生成子单元和同期振幅阈值生成子单元;每个阈值生成子单元均生成对应的判断阈值;
所述异常判断单元,在所述判断阈值和所述采集数据的基础上,判断被采集系统运行是正常还是异常;所述异常判断单元包括三个异常判断子单元,分别为曲线拟合异常判断子单元、同期数据异常判断子单元和同期振幅异常判断子单元;每个异常判断子单元均生成对应的判断结果,当两个以上异常判断子单元的判断结果为异常时,则被采集系统运行异常;当有一个或没有异常判断子单元的判断结果为异常时,则被采集系统运行正常。
优选地,所述曲线拟合阈值生成子单元生成判断阈值,具体为:
查询不包括被采集系统的当前采集数据在内的过去n天的被采集系统中所有模块的记录,并将该记录作为原始记录M;
将原始记录M按照模块分类保存;
遍历所有模块并按照模块类型分别计算每个模块数据的EWMA,将得到的EWMA作为每个类型模块的最新EWMA,完成判断阈值的生成。
优选地,所述同期数据阈值生成子单元生成判断阈值,具体为:
A1,查询不包括被采集系统的当前采集数据在内的过去n天的被采集系统中所有模块的记录;
A2,将该记录按照分类项分类保存,作为原始数据N;所述分类项包括记录被记载的时间类型、记录被记载的模块类型和记录被记载的小时类型;所述时间类型为工作日/周末;所述小时类型为0:00~23:00中的各个小时;
A3,按小时类型循环遍历,获得每个分类项中各个类型的阈值;
判断小时类型的循环遍历是否结束,如果是,则进入A4;如果否,则继续按小时类型遍历;
A4,按模块类型循环遍历,获得每个分类项中各个类型的阈值;
判断模块类型的循环遍历是否结束,如果是,则进入A5;如果否,则返回A3;
A5,按时间类型循环遍历,获得每个分类项中各个类型的阈值;
判断按时间类型的循环遍历是否结束,如果是,则进入A6;如果否,则返回A3;
A6,分类保存获得的所有阈值;完成所述同期数据阈值生成子单元生成判断阈值的计算;
其中,所述获得每个分类项中各个类型的阈值,具体为:计算原始数据N中过去n天的数据的平均值和标准差σ,依据得到的平均值和标准差删除位于3-sigma之外的数据得到新数据列表,计算所述新数据列表的平均值和标准差σ,计算平均值从而获得每个分类项中各个类型的阈值。
优选地,所述同期振幅阈值生成子单元生成生成判断阈值,具体为:
B1,查询过去n天的被采集系统中所有模块的记录,将所述记录作为原始数据K;
B2,将该记录按照分类项分类保存;所述分类项包括记录被记载的时间类型、记录被记载的模块类型、记录被记载的小时类型和记录被记载的日期;所述时间类型为工作日/周末;所述小时类型为0:00~23:00中的各个小时;
B3,按小时类型循环遍历,获得原始数据K的振幅;
判断小时类型的循环遍历是否结束,如果是,则进入B4;如果否,则继续按小时类型循环遍历;
B4,按日期循环遍历,获得原始数据K的振幅;
判断日期的循环遍历是否结束,如果是,则进入B5;如果否,则返回B3;
B5,按模块类型循环遍历,获得原始数据K的振幅;
判断日期类型的循环遍历是否结束,如果是,则进入B6;如果否,则返回B3;
B6,按时间类型循环遍历,获得原始数据K的振幅,
判断时间类型的循环遍历是否结束,如果是,则进入B7;如果否,则返回B3;
B7,获得每个小时的同期最大振幅;
B8,按照时间类型、模块类型和小时类型分类保存同期最大振幅;完成所述同期振幅阈值生成子单元生成判断阈值的计算。
优选地,在所述判断阈值和所述采集数据的基础上,所述曲线拟合异常判断子单元判断被采集系统运行是正常还是异常,具体为:
获取被采集系统的当前采集数据,并依据所述被采集系统的当前采集数据中的系统数据生成模块;计算所述被采集系统的当前采集数据的EWMA;
获取与所述被采集系统的当前采集数据的采集时间最近的三个历史采集数据,计算三个历史采集数据的标准差;
对各模块类型分别计算EWMA±3×标准差,得到曲线拟合方法的阈值a;
将所述被采集系统的当前采集数据与阈值a比较,得出被采集系统运行是否正常,具体为:其中,若被采集系统的当前采集数据为登录加载时间类型的数据,加载时间小于等于阈值a,则被采集系统运行正常,加载时间大于阈值a,则被采集系统运行常;若被采集系统的当前采集数据为生成数据量类型的数据,数据量大于等于阈值a,则被采集系统运行正常,数据量小于阈值a,则被采集系统运行常。
优选地,在所述判断阈值和所述采集数据的基础上,所述同期数据异常判断子单元判断被采集系统运行是正常还是异常,具体为:
C1,获取被采集系统的当前采集数据;
C2,依据所述被采集系统的当前采集数据中的系统数据生成模块;查询并计算得出当前采集数据的采集时间中的日期和小时;所述日期为工作日或周末;
C3,根据当前采集数据的日期、小时和所属模块查询得到通过同期数据阈值生成子单元计算得到判断阈值;
C4,若被采集系统的当前采集数据为登录加载时间类型的数据,当前采集数据大于C3中生成的判断阈值,则被采集系统运行正常;当前采集数据小于等于C3中生成的判断阈值,则被采集系统运行异常;
若被采集系统的当前采集数据为生成数据量类型的数据,当前采集数据大于等于C3中生成的判断阈值,则被采集系统运行正常;当前采集数据小于C3中生成的判断阈值,则被采集系统运行异常。
优选地,在所述判断阈值和所述采集数据的基础上,所述同期振幅异常判断子单元判断被采集系统运行是正常还是异常,具体为:
D1,获取被采集系统的当前采集数据,并依据所述被采集系统的当前采集数据中的系统数据生成模块,计算所述被采集系统的当前采集数据的振幅;
D2,依据所述被采集系统的当前采集数据中的系统数据生成模块,查询并计算得出当前采集数据的采集时间中的日期和小时;所述日期为工作日或周末;
D3,根据当前采集数据的日期、小时和所属模块查询得到通过同期振幅阈值生成子单元计算得到判断振幅;
D4,
当前采集数据相较于上一次数据的变化振幅若大于D3中生成的判断振幅,则被采集系统运行异常;当前采集数据小于等于D3中生成的判断振幅,则采集系统运行正常。
本发明的有益效果是:
本发明所述系统对采集到的数据进行多种方式进行判断,从而在不接触被监测系统后台日志或硬件数据的情况下准确识别出被检测系统的运行状况,解决了因使用平均值计算抗干扰性太弱,固定阈值判断性能太差,阈值波动范围设置方案单一且低效的问题。
附图说明
图1是阈值生成的流程示意图;
图2是异常判断的流程示意图;
图3是2017/10/22-2017/10/27采集统计图;
图4是当α=0.1时,“数据生成数量”类型模块实际值和EWMA()的关系曲线示意图;
图5是当α=0.5时,“数据生成数量”类型模块实际值和EWMA()的关系曲线示意图;
图6是α=0.5时,“登录加载时间”类型数据实际值与EWMA()关系曲线示意图;
图7是基于曲线拟合的检测方法中α值的计算方法流程示意图;
图8是一个月内每天12点的数据统计示意图;
图9是“数据生成数量”类型模块每天8点采集数量统计图;
图10是“数据生成数量”类型模块每天8:00实际值与阈值关系曲线示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
本发明所述基于多次单类型采集结果的综合异常判断系统对异常监测方法进行研究,通过对现有方法的不足之处进行创造性改进和选择多个不同侧重点的监测方法进行结合,相互补足,实现一个适合项目目标的高性能基于多次单类型采集结果的综合异常判断系统。本发明所述基于多次单类型采集结果的综合异常判断系统的核心思想是对目标网站的登录时间或网站接口的数据通过定期多次采集,并采用多种方式判断时对采集到的数据,从而实现在不接触目标网站的后台日志或硬件数据的情况下能够准确识别出目标网站的运行状况。
本发明所述基于多次单类型采集结果的综合异常判断系统的三个关键点:
关键点1,采用单向判断。即对于某一具体系统在进行判断时只判断大于(或小于)阈值,而不是使用阈值区间。
关键点2,基于同期数据检测方法中使用两步平均值算法,首先通过平均值和标准差基于3-sigma理论去除数值过于异常的数据保留所谓的“正常数据”,然后使用剩下的“正常数据”进行进一步计算,求出平均值。
关键点3,计算标准差时采用最近的部分数据而非全局作为样本,且不考虑本次数据。以此保证一次异常数据对判断能力的影响周期和判断的长期准确。
在本申请所述基于多次单类型采集结果的综合异常判断系统运行过程中,当发生某些特殊情况时,运行结果如下表1所示:
表格1特殊情景运行结果
基于多次单类型采集结果的综合异常判断系统判断方法采用Best Of 3方法,即“三局两胜”。三种方法分别为“基于曲线拟合的检测方法”、“基于同期数据的检测方法”、“基于同期振幅的检测方法”。
1、基于曲线拟合的检测方法
1.1方法设计及原因
基于曲线拟合的监测方法基本公式为:
EWMA(1)=p(1)//有时也会取前若干值的平均值。α越小时EWMA(1)取值越重要。
EWMA(i)=α*p(i)+(1-α)*EWMA(i–1)//α是一个0-1间的小数。
根据被监测模块实际数据,采集类模块(如采集统计)生成数据呈周期性递增,如图3,图3用于说明数据变化特性,所以,此类模块阈值计算方式较为适合曲线拟合的检测方式。
设α=0.1,则实际值与计算出的EWMA统计结果如图4和图5。根据统计结果显示,基于EWMA的曲线拟合检测方式生成的EWMA曲线能很好的体现出数据的曲线变化趋势,α越大时效性越好,越能反映出最近数据状态;α越小越平滑,越能吸收瞬时波动,反映出长期趋势。图4表示,当α=0.1时,“数据生成数量”类型模块实际值和EWMA()的关系示意图;图5是当α=0.5时,“数据生成数量”类型模块实际值和EWMA()的关系示意图。
此外,据统计:登录加载时间类模块的数据并非周期变化,而是呈现为一定范围内的上下波动,此时使用基于EWMA的曲线拟合检测方法生成的EWMA曲线如图6。图6是α=0.5时,“登录加载时间”类型数据实际值与EWMA()关系曲线示意图。
在求出EWMA之后,按照3-sigma理论根据EWMA生成当前值的阈值(阈值是在实际值产生之后生成的)并进行判断。
1.2关于标准差的计算
由于模块生成数据的特性(阶段性平缓,总体波动较大,最大可达到0-30000),总体数据的标准差过大,导致异常监测不够敏感,因此根据表格1中所展示出的数据特性,在计算标准差的时候计算样本只取三个。
同时,因标准差计算样本较小(只有三个)因此计算标准差的抗干扰性比较弱,为避免本次数据为异常数据从而干扰判断的情况发生,在计算标准差的时候所选数据为本次数据前三次数据。
总结:标准差的计算方式为不考虑本次数据,取之前最近的三次数据计算。
1.3关于α的取值
由于α对于EWMA曲线的决定性作用,因此α的取值采用通过机器训练的方式得到,即通过导入一段训练数据,通过二分法不断进行计算,最终确定最符合的值。
导入的训练数据为以15天采集统计的统计记录为基础,经整理,并添加一些特定的异常数据所得;并需统计需要识别出的异常数量。然后使用二分法对数据进行不断的模拟,最终取得识别结果最接近需求结果的α值。α值的计算方法如图7所示。
2、基于同期数据的检测方法
2.1方法设计及原因
基于同期数据的监测方法核心思想是采集过去每天的该时刻的数据,进行平均值计算,然后根据需要乘以一个参数α,以调整最终的阈值的位置和精度。最终阈值越贴近平均值,则精度越高。
对于“登录加载时间”作为采集结果的模块,阈值应该上移,即实际加载时间高于阈值则识别为异常,如图8所示。
同样,该种检测方法对另外2个以“数据生成数量”作为采集结果的模块同样适用。
注意,采以“数据生成数量”作为采集结果的模块阈值应向下调整,即采集数量低于阈值则识别为异常。
2.2平均值的计算
如图9所示计算平均值的过程中为尽可能避免异常值的干扰,采用两段式计算。首先,计算所有数据的平均值,根据α排除离平均值过远的(过大或过小)干扰项;然后对保留下来的数据进行计算,并取最终值作为接下来计算的平均值。
公式如下:
其中,yi∈B,且
2.3α的取值
由表格5、表格6所示,同期数据会在平均值上下一定范围内进行波动,而异常数据则会偏离波动的中心较大距离,因此根据3-sigma理论,数值分布在(μ-3σ,μ+3σ)中的概率为0.9974,分布在(μ-3σ,μ+3σ)之外的数据很大几率为异常数据。因此,在同期数据的监测方法中,α不采用固定值,而是根据历史数据进行动态计算。即α=3σ。生成阈值效果如图10所示。图10为“数据生成数量”类型模块每天8:00实际值与阈值关系曲线示意图,阈值之下则为异常。
计算标准差时使用的数据范围需根据不同模块的数据特点分别设置。
3.基于同期振幅的检测方法
3.1方法设计及原因
基于曲线拟合的方法可以非常敏感的监测出数据的剧烈变化,但数据在规律性正常的陡降或陡升却会被一律判断为异常;基于同期数据的检测方法能够根据同期数据避免数据曲线变化的影响,但如果数据持续高于正常水准(此处举例采用低于阈值为异常的模块),突然发生降低的情况却不能识别。因此需要一种注重变化的检测方法对上述两种方案进行补全。
基于同期振幅的检测方法与之前两种方法不同,该种方法不考虑数据的实际数值,而是根据数据变化的振幅进行判断。
当新数据产生时,首先通过与上一次数据进行计算得出本次数据的振幅,再计算以往n天的同期振幅,并通过比对找出n个同期振幅中绝对值最大的振幅。若本次振幅大于历史同期振幅的最大值,则判断本次数据为异常数据。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:本发明所述系统对采集到的数据进行多种方式进行判断,从而在不接触被监测系统后台日志或硬件数据的情况下准确识别出被检测系统的运行状况,解决了因使用平均值计算抗干扰性太弱,固定阈值判断性能太差,阈值波动范围设置方案单一且低效的问题。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (7)

1.一种基于多次单类型采集结果的综合异常判断系统,其特征在于,所述系统包括:阈值生成单元和异常判断单元;
所述阈值生成单元,在从被采集系统上获取到的采集数据的基础上,计算判断阈值;所述采集数据包括:被采集系统的基本信息、被采集系统的当前采集数据、当前采集数据的采集时间和被采集系统历史数据;所述阈值生成单元包括三个阈值生成子单元,分别为曲线拟合阈值生成子单元、同期数据阈值生成子单元和同期振幅阈值生成子单元;每个阈值生成子单元均生成对应的判断阈值;
所述异常判断单元,在所述判断阈值和所述采集数据的基础上,判断被采集系统运行是正常还是异常;所述异常判断单元包括三个异常判断子单元,分别为曲线拟合异常判断子单元、同期数据异常判断子单元和同期振幅异常判断子单元;每个异常判断子单元均生成对应的判断结果,当两个以上异常判断子单元的判断结果为异常时,则被采集系统运行异常;当有一个或没有异常判断子单元的判断结果为异常时,则被采集系统运行正常。
2.根据权利要求1所述基于多次单类型采集结果的综合异常判断系统,其特征在于,所述曲线拟合阈值生成子单元生成判断阈值,具体为:
查询不包括被采集系统的当前采集数据在内的过去n天的被采集系统中所有模块的记录,并将该记录作为原始记录M;
将原始记录M按照模块分类保存;
遍历所有模块并按照模块类型分别计算每个模块数据的EWMA,将得到的EWMA作为每个类型模块的最新EWMA,完成判断阈值的生成。
3.根据权利要求1所述基于多次单类型采集结果的综合异常判断系统,其特征在于,所述同期数据阈值生成子单元生成判断阈值,具体为:
A1,查询不包括被采集系统的当前采集数据在内的过去n天的被采集系统中所有模块的记录;
A2,将该记录按照分类项分类保存,作为原始数据N;所述分类项包括记录被记载的时间类型、记录被记载的模块类型和记录被记载的小时类型;所述时间类型为工作日/周末;所述小时类型为0:00~23:00中的各个小时;
A3,按小时类型循环遍历,获得每个分类项中各个类型的阈值;
判断小时类型的循环遍历是否结束,如果是,则进入A4;如果否,则继续按小时类型遍历;
A4,按模块类型循环遍历,获得每个分类项中各个类型的阈值;
判断模块类型的循环遍历是否结束,如果是,则进入A5;如果否,则返回A3;
A5,按时间类型循环遍历,获得每个分类项中各个类型的阈值;
判断按时间类型的循环遍历是否结束,如果是,则进入A6;如果否,则返回A3;
A6,分类保存获得的所有阈值;完成所述同期数据阈值生成子单元生成判断阈值的计算;
其中,所述获得每个分类项中各个类型的阈值,具体为:计算原始数据N中过去n天的数据的平均值和标准差σ,依据得到的平均值和标准差删除位于3-sigma之外的数据得到新数据列表,计算所述新数据列表的平均值和标准差σ′,计算平均值从而获得每个分类项中各个类型的阈值。
4.根据权利要求1所述基于多次单类型采集结果的综合异常判断系统,其特征在于,所述同期振幅阈值生成子单元生成生成判断阈值,具体为:
B1,查询过去n天的被采集系统中所有模块的记录,将所述记录作为原始数据K;
B2,将该记录按照分类项分类保存;所述分类项包括记录被记载的时间类型、记录被记载的模块类型、记录被记载的小时类型和记录被记载的日期;所述时间类型为工作日/周末;所述小时类型为0:00~23:00中的各个小时;
B3,按小时类型循环遍历,获得原始数据K的振幅;
判断小时类型的循环遍历是否结束,如果是,则进入B4;如果否,则继续按小时类型循环遍历;
B4,按日期循环遍历,获得原始数据K的振幅;
判断日期的循环遍历是否结束,如果是,则进入B5;如果否,则返回B3;
B5,按模块类型循环遍历,获得原始数据K的振幅;
判断日期类型的循环遍历是否结束,如果是,则进入B6;如果否,则返回B3;
B6,按时间类型循环遍历,获得原始数据K的振幅,
判断时间类型的循环遍历是否结束,如果是,则进入B7;如果否,则返回B3;
B7,获得每个小时的同期最大振幅;
B8,按照时间类型、模块类型和小时类型分类保存同期最大振幅;完成所述同期振幅阈值生成子单元生成判断阈值的计算。
5.根据权利要求1所述基于多次单类型采集结果的综合异常判断系统,其特征在于,在所述判断阈值和所述采集数据的基础上,所述曲线拟合异常判断子单元判断被采集系统运行是正常还是异常,具体为:
获取被采集系统的当前采集数据,并依据所述被采集系统的当前采集数据中的系统数据生成模块;计算所述被采集系统的当前采集数据的EWMA;
获取与所述被采集系统的当前采集数据的采集时间最近的三个历史采集数据,计算三个历史采集数据的标准差;
对各模块类型分别计算EWMA±3×标准差,得到曲线拟合方法的阈值a;
将所述被采集系统的当前采集数据与阈值a比较,得出被采集系统运行是否正常,具体为:其中,若被采集系统的当前采集数据为登录加载时间类型的数据,加载时间小于等于阈值a,则被采集系统运行正常,加载时间大于阈值a,则被采集系统运行常;若被采集系统的当前采集数据为生成数据量类型的数据,数据量大于等于阈值a,则被采集系统运行正常,数据量小于阈值a,则被采集系统运行常。
6.根据权利要求1所述基于多次单类型采集结果的综合异常判断系统,其特征在于,在所述判断阈值和所述采集数据的基础上,所述同期数据异常判断子单元判断被采集系统运行是正常还是异常,具体为:
C1,获取被采集系统的当前采集数据;
C2,依据所述被采集系统的当前采集数据中的系统数据生成模块;查询并计算得出当前采集数据的采集时间中的日期和小时;所述日期为工作日或周末;
C3,根据当前采集数据的日期、小时和所属模块查询得到通过同期数据阈值生成子单元计算得到判断阈值;
C4,若被采集系统的当前采集数据为登录加载时间类型的数据,当前采集数据大于C3中生成的判断阈值,则被采集系统运行正常;当前采集数据小于等于C3中生成的判断阈值,则被采集系统运行异常;
若被采集系统的当前采集数据为生成数据量类型的数据,当前采集数据大于等于C3中生成的判断阈值,则被采集系统运行正常;当前采集数据小于C3中生成的判断阈值,则被采集系统运行异常。
7.根据权利要求1所述基于多次单类型采集结果的综合异常判断系统,其特征在于,在所述判断阈值和所述采集数据的基础上,所述同期振幅异常判断子单元判断被采集系统运行是正常还是异常,具体为:
D1,获取被采集系统的当前采集数据,并依据所述被采集系统的当前采集数据中的系统数据生成模块,计算所述被采集系统的当前采集数据的振幅;
D2,依据所述被采集系统的当前采集数据中的系统数据生成模块,查询并计算得出当前采集数据的采集时间中的日期和小时;所述日期为工作日或周末;
D3,根据当前采集数据的日期、小时和所属模块查询得到通过同期振幅阈值生成子单元计算得到判断振幅;
D4,
当前采集数据相较于上一次数据的变化振幅若大于D3中生成的判断振幅,则被采集系统运行异常;当前采集数据小于等于D3中生成的判断振幅,则采集系统运行正常。
CN201810244277.7A 2018-03-23 2018-03-23 基于多次单类型采集结果的综合异常判断的系统 Expired - Fee Related CN108429649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810244277.7A CN108429649B (zh) 2018-03-23 2018-03-23 基于多次单类型采集结果的综合异常判断的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810244277.7A CN108429649B (zh) 2018-03-23 2018-03-23 基于多次单类型采集结果的综合异常判断的系统

Publications (2)

Publication Number Publication Date
CN108429649A true CN108429649A (zh) 2018-08-21
CN108429649B CN108429649B (zh) 2020-11-06

Family

ID=63158877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810244277.7A Expired - Fee Related CN108429649B (zh) 2018-03-23 2018-03-23 基于多次单类型采集结果的综合异常判断的系统

Country Status (1)

Country Link
CN (1) CN108429649B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408268A (zh) * 2018-10-09 2019-03-01 浪潮软件股份有限公司 一种基于云pos机的新零售扫码数据异常检测方法
CN110264722A (zh) * 2019-07-03 2019-09-20 泰华智慧产业集团股份有限公司 信息采集设备中异常设备的筛选方法及系统
CN111225397A (zh) * 2020-01-18 2020-06-02 温州大学大数据与信息技术研究院 一种基于物联网的企业无线网络优化计算机分析系统
CN111693763A (zh) * 2020-05-22 2020-09-22 科华恒盛股份有限公司 针对模块化电气设备中功率模块的检测系统
CN111967697A (zh) * 2020-10-23 2020-11-20 武汉中电国为技术有限公司 一种在线动态能耗智能预警方法、系统、装置和存储介质
CN112311611A (zh) * 2019-07-29 2021-02-02 中国移动通信集团广东有限公司 数据异常的监测方法、装置和电子设备
CN113091809A (zh) * 2021-03-26 2021-07-09 中国船舶重工集团公司第七一三研究所 一种自动识别设备状态的检测系统
CN115858505A (zh) * 2023-03-03 2023-03-28 天津市伟利达科技发展有限公司 一种用于识别变频器状态异常的数据处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312529A (zh) * 2012-03-12 2013-09-18 腾讯科技(深圳)有限公司 系统功能的监控方法、装置及监控系统
US20130346594A1 (en) * 2012-06-25 2013-12-26 International Business Machines Corporation Predictive Alert Threshold Determination Tool
CN104008275A (zh) * 2014-05-07 2014-08-27 天津大学 一种改进的电力系统动态安全域拟合构造方法
CN105406991A (zh) * 2015-10-26 2016-03-16 上海华讯网络系统有限公司 基于网络监控指标由历史数据生成业务阈值的方法及系统
CN106202389A (zh) * 2016-07-08 2016-12-07 中国银联股份有限公司 一种基于交易数据的异常监测方法及装置
CN107395450A (zh) * 2017-06-15 2017-11-24 腾讯科技(深圳)有限公司 应用登录情况的监测方法和装置、存储介质、电子装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312529A (zh) * 2012-03-12 2013-09-18 腾讯科技(深圳)有限公司 系统功能的监控方法、装置及监控系统
US20130346594A1 (en) * 2012-06-25 2013-12-26 International Business Machines Corporation Predictive Alert Threshold Determination Tool
CN104008275A (zh) * 2014-05-07 2014-08-27 天津大学 一种改进的电力系统动态安全域拟合构造方法
CN105406991A (zh) * 2015-10-26 2016-03-16 上海华讯网络系统有限公司 基于网络监控指标由历史数据生成业务阈值的方法及系统
CN106202389A (zh) * 2016-07-08 2016-12-07 中国银联股份有限公司 一种基于交易数据的异常监测方法及装置
CN107395450A (zh) * 2017-06-15 2017-11-24 腾讯科技(深圳)有限公司 应用登录情况的监测方法和装置、存储介质、电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZVAYIVQT0UFJI: "时间序列异常检测机制的研究", 《CSDN》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109408268A (zh) * 2018-10-09 2019-03-01 浪潮软件股份有限公司 一种基于云pos机的新零售扫码数据异常检测方法
CN109408268B (zh) * 2018-10-09 2021-11-19 浪潮软件股份有限公司 一种基于云pos机的新零售扫码数据异常检测方法
CN110264722A (zh) * 2019-07-03 2019-09-20 泰华智慧产业集团股份有限公司 信息采集设备中异常设备的筛选方法及系统
CN112311611A (zh) * 2019-07-29 2021-02-02 中国移动通信集团广东有限公司 数据异常的监测方法、装置和电子设备
CN112311611B (zh) * 2019-07-29 2022-04-12 中国移动通信集团广东有限公司 数据异常的监测方法、装置和电子设备
CN111225397A (zh) * 2020-01-18 2020-06-02 温州大学大数据与信息技术研究院 一种基于物联网的企业无线网络优化计算机分析系统
CN111693763A (zh) * 2020-05-22 2020-09-22 科华恒盛股份有限公司 针对模块化电气设备中功率模块的检测系统
CN111693763B (zh) * 2020-05-22 2023-06-06 科华恒盛股份有限公司 针对模块化电气设备中功率模块的检测系统
CN111967697A (zh) * 2020-10-23 2020-11-20 武汉中电国为技术有限公司 一种在线动态能耗智能预警方法、系统、装置和存储介质
CN113091809A (zh) * 2021-03-26 2021-07-09 中国船舶重工集团公司第七一三研究所 一种自动识别设备状态的检测系统
CN115858505A (zh) * 2023-03-03 2023-03-28 天津市伟利达科技发展有限公司 一种用于识别变频器状态异常的数据处理方法
CN115858505B (zh) * 2023-03-03 2023-05-05 天津市伟利达科技发展有限公司 一种用于识别变频器状态异常的数据处理方法

Also Published As

Publication number Publication date
CN108429649B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108429649A (zh) 基于多次单类型采集结果的综合异常判断的系统
CN106101102B (zh) 一种基于pam聚类算法的网络异常流量检测方法
CN111614690B (zh) 一种异常行为检测方法及装置
CN109740648B (zh) 电力负荷异常数据识别方法、装置和计算机设备
AU2020101218A4 (en) Method for multi-dimensional identification of flexible load demand response effect
CN103853839A (zh) 一种评测广告页面恶意点击疑似度的方法及装置
US11455640B2 (en) Transaction indicator monitoring methods, apparatuses, and devices
CN102541884B (zh) 数据库优化方法和装置
CN110198302B (zh) 一种针对智能电表数据发布的隐私保护方法及系统
CN106055946A (zh) 一种身份识别系统及方法
CN109857618B (zh) 一种监控方法、装置及系统
CN106452931A (zh) 监控指标及域值发现方法、域值调整方法及自动监控系统
CN116821809B (zh) 基于人工智能的生命体征数据采集系统
CN112398700B (zh) 一种服务降级方法及装置、存储介质、计算机设备
CN108924057A (zh) 一种云上系统的端口流量智能控制系统
CN117611015B (zh) 一种建筑工程质量实时监测系统
Wang et al. ALSR: an adaptive label screening and relearning approach for interval-oriented anomaly detection
CN117172601A (zh) 一种基于残差全卷积神经网络的非侵入式负荷监测方法
CN117614060A (zh) 一种无线充电方法
CN103310088A (zh) 照明电耗异常的自动检测方法
CN117041312A (zh) 基于物联网的企业级信息技术监控系统
Ghosh et al. Towards designing an intelligent experience sampling method for emotion detection
CN113660147B (zh) 一种基于模糊熵的ip会话序列周期性评估方法
WO2022105107A1 (zh) 一种利用智能手表优化电话销售工作绩效的方法
CN114218134A (zh) 一种缓存用户的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201106

Termination date: 20210323