CN113391982B - 一种监控数据的异常检测方法、装置及设备 - Google Patents

一种监控数据的异常检测方法、装置及设备 Download PDF

Info

Publication number
CN113391982B
CN113391982B CN202110939711.5A CN202110939711A CN113391982B CN 113391982 B CN113391982 B CN 113391982B CN 202110939711 A CN202110939711 A CN 202110939711A CN 113391982 B CN113391982 B CN 113391982B
Authority
CN
China
Prior art keywords
processing result
data
processing
sequence
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110939711.5A
Other languages
English (en)
Other versions
CN113391982A (zh
Inventor
朱宏慧
严川
张博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudwise Beijing Technology Co Ltd
Original Assignee
Cloudwise Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudwise Beijing Technology Co Ltd filed Critical Cloudwise Beijing Technology Co Ltd
Priority to CN202110939711.5A priority Critical patent/CN113391982B/zh
Publication of CN113391982A publication Critical patent/CN113391982A/zh
Application granted granted Critical
Publication of CN113391982B publication Critical patent/CN113391982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明的实施例提供一种监控数据的异常检测方法、装置及设备,方法包括:获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;对所述能量序列进行平稳化处理,得到第一处理结果;对所述第一处理结果进行异常点统计分析,得到第二处理结果;根据所述第二处理结果,确定所述原始时间序列数据中的异常点。通过上述方式,本发明对平稳化后的第一处理结果进行异常点的统计,计算时间大大减少,对内存等资源需求也较少,从而提高了运算效率并节省算力,该方法具有较好的通用性和高效性。

Description

一种监控数据的异常检测方法、装置及设备
技术领域
本发明涉及信息处理技术领域,特别是指一种监控数据的异常检测方法、装置及设备。
背景技术
近年来随着数据分析和人工智能领域的蓬勃发展,越来越多时间序列异常检测算法应用到数据监控领域。常见的有统计方法、时间序列分解类方法、预测类方法和深度学习类方法。深度学习类方法基于构建神经网络模型,对历史时间序列数据规律进行学习,从而对未来一段时间的数据进行预测,进而将预测数据与实际数据对比进行异常判断。该类算法具有捕获非线性规律的优点,且能够学习到不同时间点之间的依赖关系。但是其存在输入参数数量较多、由模型得到的结果可解释性差、算法结果鲁棒性较弱的一系列特点(通用性、高效性),因此在实际业务环境的落地过程中难以满足要求,更适于学术研究。在时间序列分解类的算法中,其基本思想是将时间序列分解为多项,其后通过预测的方法进行异常检测,这类算法的结果具有较好的可解释性。分解后各部分间的正交性是时间序列分解类算法的数学前提,这带来了参数数量过多、算法计算时间长的缺点。统计类方法假定数据服从某种分布,根据给定分布下的统计特性对数据异常与否进行判断,该类方法具有计算效率高的优势,但它对数据的统计特性要求较高,通常要求指标数据在时间上是平稳的。其判定异常点的形式与固定阈值相似,在实际生产运用过程中易产生误报和漏报的现象。特征提取类方法通常将时间序列数据映射到频率空间,通过对不同频率成分进行分析,从而判断出异常数据,该类方法更适用于异常检测中的“上下文”异常,由于其需要进行频域分析,对计算机算力要求较高,通常难以在海量指标场景下应用。
发明内容
本发明要解决的技术问题是如何提供一种监控数据的异常检测方法、装置及设备。解决现有技术中基于监控数据下的时间序列数据异常检测的方法通用性差和高效性差的问题。
为解决上述技术问题,本发明的实施例提供以下方案:
一种监控数据的异常检测方法,包括:
获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;
对所述能量序列进行平稳化处理,得到第一处理结果;
对所述第一处理结果进行异常点统计分析,得到第二处理结果;
根据所述第二处理结果,确定所述原始时间序列数据中的异常点。
可选的,获得所述原始时间序列数据的能量序列,包括:
对所述原始时间序列数据中的每个点取平方运算,得到所述原始时间序列数据的能量序列。
可选的,对所述能量序列进行平稳化处理,得到第一处理结果,包括:
对所述能量序列进行趋势性数据去除操作处理,得到中间处理结果;
对所述中间处理结果进行周期性数据去除操作处理,得到第一处理结果。
可选的,对所述能量序列进行趋势性数据去除操作处理,包括:
通过G_t=g_t-g_(t-1)对所述能量序列进行趋势性数据去除操作处理;其中,G_t为所述中间处理结果,g_t为t时刻的能量序列;g_(t-1)为t时刻的前一时刻的能量序列。
可选的,对所述中间处理结果进行周期性数据去除操作处理,包括:
通过s(t)=G_t-MA(G_t)对所述中间处理结果进行周期性数据去除操作处理;其中,s(t)为第一处理结果,MA表示滑动平均操作。
可选的,对所述第一处理结果进行异常点统计分析,得到第二处理结果,包括:
通过公式
Figure 100002_DEST_PATH_IMAGE001
对所述第一处理结果进行异常点统计分析,得到第二处理结果,
其中,R(t+1)为第二处理结果,s(t+1)为t时刻的后一时刻的第一处理结果,L为统计的时间窗长。
可选的,根据所述第二处理结果,确定所述原始时间序列数据中的异常点,包括:
将所述第二处理结果中每个点与目标阈值进行比对,超出所述目标阈值的点,确认为第二处理结果的异常点;
将与所述第二处理结果的异常点对应的原始时间序列数据中的点,确定为所述原始时间序列数据中的异常点。
本发明的实施例还提供一种监控数据的异常检测装置,包括:
获取模块,用于获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;
处理模块,用于对所述能量序列进行平稳化处理,得到第一处理结果;对所述第一处理结果进行异常点统计分析,得到第二处理结果;根据所述第二处理结果,确定所述原始时间序列数据中的异常点。
本发明的实施例还提供一种电子设备,包括:处理器、存储有计算机程序的存储器,所述计算机程序被处理器运行时,执行如上所述的监控数据的异常检测方法。
本发明的实施例还提供一种计算机可读存储介质,存储指令,当所述指令在计算机上运行时,使得计算机执行如上所述的监控数据的异常检测方法。
本发明的上述方案至少包括以下有益效果:
本发明的上述方案,通过获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;对所述能量序列进行平稳化处理,得到第一处理结果;对所述第一处理结果进行异常点统计分析,得到第二处理结果;根据所述第二处理结果,确定所述原始时间序列数据中的异常点。对平稳化后的第一处理结果进行异常点的统计,计算时间大大减少,对内存等资源需求也较少,从而提高了运算效率并节省算力,该方法具有较好的通用性和高效性。
附图说明
图1为本发明实施例的监控数据的异常检测方法的流程示意图;
图2为本发明实施例提供的监控数据的异常检测方法在系统响应耗时指标上的算法检测结果图;
图3为本发明实施例提供的监控数据的异常检测方法在每分钟接口调用次数指标上的算法检测结果图;
图4为本发明实施例提供的监控数据的异常检测方法在每分钟接口调用失败次数指标上的算法检测结果图;
图5为本发明实施例的监控数据的异常检测装置的结构示意图;
图6示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示,本发明提供一种监控数据的异常检测方法,包括:
步骤11,获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;
步骤12,对所述能量序列进行平稳化处理,得到第一处理结果;
步骤13,对所述第一处理结果进行异常点统计分析,得到第二处理结果;
步骤14,根据所述第二处理结果,确定所述原始时间序列数据中的异常点。
该实施例中,通过获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;对所述能量序列进行平稳化处理,得到第一处理结果;对所述第一处理结果进行异常点统计分析,得到第二处理结果;根据所述第二处理结果,确定所述原始时间序列数据中的异常点。对平稳化后的第一处理结果进行异常点的统计,计算时间大大减少,对内存等资源需求也较少,从而提高了运算效率并节省算力,该方法具有较好的通用性和高效性
在本发明的一可选的实施例中,步骤11包括:对所述原始时间序列数据中的每个点取平方运算,得到所述原始时间序列数据的能量序列。
该实施例中,假设给定原始时间序列数据f(t),其具有的噪声为ε(t),且服从正态分布。然后对f(t)中的每个点取平方运算,将变换后的时间序列g(t)视为原始时间序列数据的能量序列。时间序列的异常通常描述为三类,单点的异常、上下文异常和连续性异常。考虑到现实信号中数据点异常通常为单点异常,因此使用能量序列g(t)可以提高信噪比。
在本发明的一可选的实施例中,步骤12可以包括:
步骤121,对所述能量序列进行趋势性数据去除操作处理,得到中间处理结果;
步骤122,对所述中间处理结果进行周期性数据去除操作处理,得到第一处理结果。
在本发明的又一可选的实施例中,步骤121可以包括:
通过G_t=g_t-g_(t-1)对所述能量序列进行趋势性数据去除操作处理,其中,G_t为所述中间处理结果,g_t为t时刻的能量序列;g_(t-1)为t时刻的前一时刻的能量序列。
该实施例中,利用差分运算进行趋势性数据的去除,差分操作可以有效记录突变点的信息,将突变点表达为具有较大差分数值的点,为后续异常检测的开展做好数据准备,记G_t为去趋势后的数据,则有代码:G_t=g_t-g_(t-1),对应的数学公式为G(t)=diff(g(t)),其中diff表示差分操作。
在本发明的又一可选的实施例中,步骤122还可以包括:
通过s(t)=G_t-MA(G_t)对所述中间处理结果进行周期性数据去除操作处理;其中,s(t)为第一处理结果,MA表示滑动平均操作。
该实施例中,在数据的周期性成分中,考虑到一般业务的数据特点,将第一预设时长为周期性的时间窗长,将一个时间窗长内的平均值作为窗外下一个点的周期性数值进行去除,对于一个周期内的数据,运用第二预设时长的数据做滑动窗,直至把所有点的周期性都进行去除。所述第一预设时长通常为7天,所述第二预设时长通常为1天,第一预设时长和第二预设时长可根据实际情况改变,但第二预设时长始终小于第一预设时长。如此便完成了能量序列的平稳化操作。将平稳化后的数据记为s_t,则有代码:s_t=G_t-MA(G,t,l),对应的数学公式为s(t)=G(t)-ma(G(t)),其中ma表示滑动平均操作。
在本发明的又一可选的实施例中,步骤13可以包括:
通过公式
Figure 412243DEST_PATH_IMAGE001
对所述第一处理结果进行异常点统计分析,得到第二处理结果;
其中,
Figure DEST_PATH_IMAGE003
为第二处理结果,
Figure 218132DEST_PATH_IMAGE005
为t时刻的后一时刻的第一处理结果,L为统计的时间窗长。
该实施例中,为了降低局部噪声对异常检测结果的影响,给定时间窗口L,通过公式
Figure 873235DEST_PATH_IMAGE001
得到窗口后数据。
具体实现时,用代码表示为:
R(t)=\frac{s(t)}{\frac{1}{L}\sum_{T=t-L+1}^Ts(t)},其中R(t)为第二处理结果,s(t)为第一处理结果,L为窗长,t为时刻。
本发明的上述实施例,由于运用了基于能量序列的差分平稳化技术,避免了简单将趋势拟合错误和周期拟合错误强加于噪声的情形,并且差分很大程度上避免了突变点带来的问题,从而具有了适用数据类型多和算法效果好的特点。
在本发明的再一可选的实施例中,步骤14可以包括:
步骤141,将所述第二处理结果中每个点与目标阈值T_threshold进行比对,超出所述目标阈值T_threshold的点,确认为第二处理结果的异常点;
步骤142,将与所述第二处理结果的异常点对应的原始时间序列数据中的点,确定为所述原始时间序列数据中的异常点;
具体的,根据第二处理结果的异常点,得到与所述第二处理结果的异常点对应的原始时间序列数据中的点,将该点确定为所述原始时间序列数据中的异常点。
该实施例中,对平稳化后的数据,即上述第一处理结果,进行基于能量比的统计运算,相对于其他类型算法,其计算时间大大减少,对内存等资源需求也较少,从而具有了运算效率高和节省算力的特点。这里,所述“能量比”即给定时间窗口L,将窗口后数据与目标阈值T_threshold进行对比,比值大于目标阈值T_threshold,则窗口后数据确认为异常。R(t)超出阈值T_threshold的点,即为原始时间序列数据的f(t)点为异常点。
在本发明的上述实施例中,对所述监控数据的异常检测方法,在进行算法计算耗时测试实验,实验的运行环境为2.3GHz双核Intel Core i5处理器和8G RAM运行内存。算法在长度为30天,5分钟粒度的指标数据上进行1000次异常检测的平均耗时。实验结果为平均耗时0.014秒、算法检测耗时为0.01秒。通过实验结果,证明所述监控数据的异常检测方法具有低耗时特性。同时所述监控数据的异常检测方法可以在单进程情况下同时支持4000条(粒度为1分钟,长度为7天)指标的实时检测,即在1分钟内输出4000条数据的实时异常检测结果。在如下对所述监控数据的异常检测方法进行算法计算准确性测试实验中,实验结果也表明了所述监控数据的异常检测方法在金融系统数据集上准确性较高,也具有很高的计算效率,因此为开展大规模指标的实时异常检测提供了可能。
如图2-4所示,在本发明的上述实施例中,对所述监控数据的异常检测方法进行算法计算准确性测试实验。为了充分衡量所述监控数据的异常检测方法在真实场景下的效果,使用交行某个真实的受业务活动影响的子系统数据。由于活动当日应用接口访问量激增,系统相关的基础监控指标因此出现了部分异常,表现为每分钟接口调用次数,接口调用失败次数和系统响应耗时的突增。在以上三个指标上使用所述监控数据的异常检测方法验证算法的表现。通过实验结果,证明所述监控数据的异常检测方法可以找到活动当日的异常数值。从准确性看,所述监控数据的异常检测方法是非常准确的;从误告警看,所述监控数据的异常检测方法告警数量也是非常少的。由此以上三点体现了所述监控数据的异常检测方法的通用性和高可用性。
在本发明的实施例提供的对所述监控数据的异常检测方法,进行算法计算准确性测试实验,和对所述监控数据的异常检测方法进行算法计算耗时测试实验中,综合结果表明所述监控数据的异常检测方法运行速度极快,同时能满足1min内4000条指标的实时异常检测和拥有不错的参数鲁棒性。对于非常规时期的异常监控,如因交行4.18营销活动导致的应用访问量突增的运维场景中,也表现出了异常告警早、异常数量少的特点,便于运维人员更早的处理异常事件,减轻运维人员的工作负担和减少经济损失。这也使百万指标下的时间序列实时异常检测成为了可能。
为了有效保障金融系统的稳定运行,且为支持百万级指标数据实时检测,形成领域通用解决方案提供可能。本发明的实施例提供了一种既具有通用性又具有高效性的监控数据的异常检测方法。其中通用性是指:对于全流程监控系统而言,系统监控对象包括交易量、用户量等业务数据和Kafka、数据库等中间件数据以及CPU、内存等基础指标;而不同类型的指标其时序数据特征存在较大差异。银行等行业众多大型行业,业务历史悠久,业务稳定,相关监控指标,如每日访问量等,呈现出稳定的周期。而cpu使用率等指标,针对细粒度对象的监控指标,易受微小波动影响,稳定性差。因此,本发明的实施例提供了一种具有通用性的监控数据的异常检测方法,该方法在大多数指标数据都可以适用。高效性是指:金融业系统风险的影响重大。因此,本发明的实施例提供了一种具有高效性的监控数据的异常检测方法,该方法异常检测算法的实时性极高。
本发明的上述实施例,由于运用了基于能量的差分平稳化技术,避免了简单将趋势拟合错误和周期拟合错误强加于噪声的情形,并且差分很大程度上避免了突变点带来的问题,从而具有了适用数据类型多和算法效果好的特点。对平稳化后的数据进行基于能量比的统计运算,相对于其他类型算法,其计算时间大大减少,对内存等资源需求也较少,从而具有了运算效率高和节省算力的特点。
如图5所示,本发明还提供一种监控数据的异常检测装置50,所述装置包括:
获取模块51,用于获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;
处理模块52,用于对所述能量序列进行平稳化处理,得到第一处理结果;对所述第一处理结果进行异常点统计分析,得到第二处理结果;根据所述第二处理结果,确定所述原始时间序列数据中的异常点。
可选的,所述获取模块51还用于对所述原始时间序列数据中的每个点取平方运算,得到所述原始时间序列数据的能量序列。
可选的,所述处理模块52还用于对所述能量序列进行趋势性数据去除操作处理,得到中间处理结果;对所述中间处理结果进行周期性数据去除操作处理,得到第一处理结果。
可选的,所述处理模块52还用于通过G_t=g_t-g_(t-1)对所述能量序列进行趋势性数据去除操作处理,其中,G_t为所述中间处理结果,g_t为t时刻的能量序列;g_(t-1)为t时刻的前一时刻的能量序列。
可选的,所述处理模块52还用于通过s(t)=G_t-MA(G_t)对所述中间处理结果进行周期性数据去除操作处理;其中,s(t)为第一处理结果,MA表示滑动平均操作。
可选的,所述处理模块52还用于通过公式
Figure 330761DEST_PATH_IMAGE001
对所述第一处理结果进行异常点统计分析,得到第二处理结果,
其中,R(t+1)为第二处理结果,s(t+1)为t时刻的后一时刻的第一处理结果,L为统计的时间窗长。
可选的,所述处理模块52还用于将所述第二处理结果中每个点与目标阈值T_threshold进行比对,超出所述目标阈值T_threshold的点,确认为第二处理结果的异常点;将与所述第二处理结果的异常点对应的原始时间序列数据中的点,确定为所述原始时间序列数据中的异常点。
需要说明的是,该装置是与上述方法对应的装置,上述方法实施例中的所有实现方式均适用于该装置的实施例中,也能达到相同的技术效果。
如图6所示,本发明的实施例还提供一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如上所述的监控数据的异常检测方法对应的操作。
本发明的实施例还提供一种计算机可读存储介质,存储有指令,所述指令在计算机上运行时,使得计算机执行如上所述的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外,需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行,某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种监控数据的异常检测方法,其特征在于,包括:
获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;
对所述能量序列进行平稳化处理,得到第一处理结果;
对所述第一处理结果进行异常点统计分析,得到第二处理结果;
根据所述第二处理结果,确定所述原始时间序列数据中的异常点;
其中,对所述能量序列进行平稳化处理,得到第一处理结果,包括:
对所述能量序列进行趋势性数据去除操作处理,得到中间处理结果;
对所述中间处理结果进行周期性数据去除操作处理,得到第一处理结果;
其中,对所述能量序列进行趋势性数据去除操作处理,包括:
通过G_t=g_t-g_(t-1)对所述能量序列进行趋势性数据去除操作处理;
其中,G_t为所述中间处理结果,g_t为t时刻的能量序列;g_(t-1)为t时刻的前一时刻的能量序列;
其中,对所述中间处理结果进行周期性数据去除操作处理,包括:
通过s(t)=G_t-MA(G_t)对所述中间处理结果进行周期性数据去除操作处理;其中,s(t)为第一处理结果,MA表示滑动平均操作;
其中,对所述第一处理结果进行异常点统计分析,得到第二处理结果,包括:
通过公式
Figure DEST_PATH_IMAGE001
对所述第一处理结果进行异常点统计分析,得到第二处理结果,
其中,R(t+1)为第二处理结果,s(t+1)为t时刻的后一时刻的第一处理结果,L为统计的时间窗长。
2.根据权利要求1所述的监控数据的异常检测方法,其特征在于,获得所述原始时间序列数据的能量序列,包括:
对所述原始时间序列数据中的每个点取平方运算,得到所述原始时间序列数据的能量序列。
3.根据权利要求1所述的监控数据的异常检测方法,其特征在于,根据所述第二处理结果,确定所述原始时间序列数据中的异常点,包括:
将所述第二处理结果中每个点与目标阈值进行比对,超出所述目标阈值的点,确认为第二处理结果的异常点;
将与所述第二处理结果的异常点对应的原始时间序列数据中的点,确定为所述原始时间序列数据中的异常点。
4.一种监控数据的异常检测装置,其特征在于,所述装置包括:
获取模块,用于获得运维系统的监控数据的原始时间序列数据以及所述原始时间序列数据的能量序列;
处理模块,用于对所述能量序列进行平稳化处理,得到第一处理结果;对所述第一处理结果进行异常点统计分析,得到第二处理结果;根据所述第二处理结果,确定所述原始时间序列数据中的异常点;
其中,对所述能量序列进行平稳化处理,得到第一处理结果,包括:
对所述能量序列进行趋势性数据去除操作处理,得到中间处理结果;
对所述中间处理结果进行周期性数据去除操作处理,得到第一处理结果;
其中,对所述能量序列进行趋势性数据去除操作处理,包括:
通过G_t=g_t-g_(t-1)对所述能量序列进行趋势性数据去除操作处理;
其中,G_t为所述中间处理结果,g_t为t时刻的能量序列;g_(t-1)为t时刻的前一时刻的能量序列;
其中,对所述中间处理结果进行周期性数据去除操作处理,包括:
通过s(t)=G_t-MA(G_t)对所述中间处理结果进行周期性数据去除操作处理;其中,s(t)为第一处理结果,MA表示滑动平均操作;
其中,对所述第一处理结果进行异常点统计分析,得到第二处理结果,包括:
通过公式
Figure 986828DEST_PATH_IMAGE001
对所述第一处理结果进行异常点统计分析,得到第二处理结果,
其中,R(t+1)为第二处理结果,s(t+1)为t时刻的后一时刻的第一处理结果,L为统计的时间窗长。
5.一种电子设备,其特征在于,包括:处理器、存储有计算机程序的存储器,所述计算机程序被处理器运行时,执行如权利要求1至3任一项所述的监控数据的异常检测方法。
6.一种计算机可读存储介质,其特征在于,存储有指令,所述指令在计算机上运行时,使得计算机执行如权利要求1至3任一项所述的监控数据的异常检测方法。
CN202110939711.5A 2021-08-17 2021-08-17 一种监控数据的异常检测方法、装置及设备 Active CN113391982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939711.5A CN113391982B (zh) 2021-08-17 2021-08-17 一种监控数据的异常检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939711.5A CN113391982B (zh) 2021-08-17 2021-08-17 一种监控数据的异常检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113391982A CN113391982A (zh) 2021-09-14
CN113391982B true CN113391982B (zh) 2021-11-23

Family

ID=77622584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939711.5A Active CN113391982B (zh) 2021-08-17 2021-08-17 一种监控数据的异常检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113391982B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685750A (zh) * 2015-11-11 2017-05-17 华为技术有限公司 系统异常检测方法和装置
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
CN109697207A (zh) * 2018-12-25 2019-04-30 苏州思必驰信息科技有限公司 时序数据的异常监控方法及系统
CN109784042A (zh) * 2018-12-29 2019-05-21 北京奇安信科技有限公司 时间序列中异常点的检测方法、装置、电子设备及存储介质
CN110889597A (zh) * 2019-11-08 2020-03-17 北京宝兰德软件股份有限公司 业务时序指标异常检测方法及装置
CN112001596A (zh) * 2020-07-27 2020-11-27 北京科技大学 一种时间序列数据异常点检测方法及系统
WO2021072887A1 (zh) * 2019-10-18 2021-04-22 平安科技(深圳)有限公司 异常流量监测方法、装置、设备及存储介质
CN113176962A (zh) * 2021-04-14 2021-07-27 北京中大科慧科技发展有限公司 一种用于数据中心的机房it设备故障精准检测方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107733737A (zh) * 2017-10-10 2018-02-23 国网天津市电力公司 一种监控网络流量异常的方法
CN110909306B (zh) * 2018-09-17 2023-06-16 阿里巴巴集团控股有限公司 业务异常检测方法、装置、电子设备和存储设备
CN109542952A (zh) * 2018-11-23 2019-03-29 中国民用航空上海航空器适航审定中心 一种时间序列异常点的检测方法
WO2021017665A1 (en) * 2019-07-26 2021-02-04 Telefonaktiebolaget Lm Ericsson (Publ) Methods, devices and computer storage media for anomaly detection
US11132342B2 (en) * 2019-12-02 2021-09-28 Alibaba Group Holding Limited Periodicity detection and period length estimation in time series
CN111352971A (zh) * 2020-02-28 2020-06-30 中国工商银行股份有限公司 银行系统监控数据异常检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106685750A (zh) * 2015-11-11 2017-05-17 华为技术有限公司 系统异常检测方法和装置
CN107528722A (zh) * 2017-07-06 2017-12-29 阿里巴巴集团控股有限公司 一种时间序列中异常点检测方法及装置
CN109697207A (zh) * 2018-12-25 2019-04-30 苏州思必驰信息科技有限公司 时序数据的异常监控方法及系统
CN109784042A (zh) * 2018-12-29 2019-05-21 北京奇安信科技有限公司 时间序列中异常点的检测方法、装置、电子设备及存储介质
WO2021072887A1 (zh) * 2019-10-18 2021-04-22 平安科技(深圳)有限公司 异常流量监测方法、装置、设备及存储介质
CN110889597A (zh) * 2019-11-08 2020-03-17 北京宝兰德软件股份有限公司 业务时序指标异常检测方法及装置
CN112001596A (zh) * 2020-07-27 2020-11-27 北京科技大学 一种时间序列数据异常点检测方法及系统
CN113176962A (zh) * 2021-04-14 2021-07-27 北京中大科慧科技发展有限公司 一种用于数据中心的机房it设备故障精准检测方法及系统

Also Published As

Publication number Publication date
CN113391982A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN107528722B (zh) 一种时间序列中异常点检测方法及装置
CN104350471B (zh) 在处理环境中实时地检测异常的方法和系统
US9720823B2 (en) Free memory trending for detecting out-of-memory events in virtual machines
US9424288B2 (en) Analyzing database cluster behavior by transforming discrete time series measurements
CN113518011B (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
Smith et al. An anomaly detection framework for autonomic management of compute cloud systems
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
CN111709765A (zh) 一种用户画像评分方法、装置和存储介质
JPWO2019239542A1 (ja) 異常検知装置、異常検知方法及び異常検知プログラム
CN113344133A (zh) 一种时序行为异常波动检测方法及系统
CN111737099B (zh) 一种基于高斯分布的数据中心异常检测方法及装置
Guan et al. Exploring time and frequency domains for accurate and automated anomaly detection in cloud computing systems
Weiss Predicting telecommunication equipment failures from sequences of network alarms
CN113391982B (zh) 一种监控数据的异常检测方法、装置及设备
CN110413482B (zh) 检测方法和装置
CN113835947A (zh) 一种基于异常识别结果确定异常原因的方法和系统
CN117041017A (zh) 数据中心的智能运维管理方法及系统
CN112417371A (zh) 配网台区智能电能表运行状态监测方法
JP7062505B2 (ja) 設備管理支援システム
CN116842520A (zh) 基于检测模型的异常感知方法、装置、设备及介质
CN113742169A (zh) 一种业务监控告警方法、装置、设备以及存储介质
CN114692987A (zh) 一种时序数据分析方法、装置、设备及存储介质
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
CN114443738A (zh) 异常数据挖掘方法、装置、设备及介质
CN111931798B (zh) 进行冷头状态分类检测和寿命预测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant