CN110750429A - 运维管理系统的异常检测方法、装置、设备及存储介质 - Google Patents

运维管理系统的异常检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110750429A
CN110750429A CN201910844419.8A CN201910844419A CN110750429A CN 110750429 A CN110750429 A CN 110750429A CN 201910844419 A CN201910844419 A CN 201910844419A CN 110750429 A CN110750429 A CN 110750429A
Authority
CN
China
Prior art keywords
indexes
regularity
historical
detection
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910844419.8A
Other languages
English (en)
Inventor
陈桢博
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910844419.8A priority Critical patent/CN110750429A/zh
Publication of CN110750429A publication Critical patent/CN110750429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及系统数据监控领域，公开了一种运维管理系统的异常检测方法、装置、设备及存储介质，所述方法包括：采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据；根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标；根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常；以及根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。进而对运维管理系统进行异常检测。

Description

运维管理系统的异常检测方法、装置、设备及存储介质
技术领域
本申请涉及数据检测领域，尤其涉及一种运维管理系统的异常检测方法、装置、设备及存储介质。
背景技术
目前，在运维管理系统中，随着数据量不断增大，出现异常的概率也越来越大，因此异常检测显得尤为重要。现有的检测方法以非监督学习或统计算法为主，同时也会使用深度学习算法检测异常数据。但是现有的检测方法由于其在进行异常检测时的运算数据量过大，导致异常检测效率低下且不能应用于实时监测。
因此，如何提高运维管理系统的异常检测效率成为亟待解决的问题。
发明内容
本申请提供了一种运维管理系统的异常检测方法、装置、设备及存储介质，以提高运维管理系统的异常检测效率。
第一方面，本申请提供了一种运维管理系统的异常检测方法，所述方法包括：
采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据；
根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标；
根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常；以及
根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。
第二方面，本申请还提供了一种运维管理系统的异常检测装置，所述装置包括：
数据采集模块，用于采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据；
数据分类模块，用于根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标；
第一检测模块，用于根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常；
第二检测模块，用于根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的运维管理系统的异常检测方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的运维管理系统的异常检测方法。
本申请公开了一种运维管理系统的异常检测方法、装置、设备及存储介质，通过运维管理系统的监测数据，其中，监测数据包括多个检测指标对应的时序数据；根据快速傅里叶变换对检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标；最后按照时间序列异常检测算法对规律性指标进行检测，根据时段分割方法对非规律性指标进行检测，以分别确定规律性指标和非规律性指标是否存在异常。预先对需要进行异常检测的检测指标进行分类，根据不同类型的检测指标采用不同的异常检测方法，提高异常检测的效率。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种运维管理系统的异常检测方法的示意流程图；
图2是本申请实施例提供的对所述检测指标对应的时序数据进行分类的步骤示意流程图；
图3是图1中提供的运维管理系统的异常检测方法的子步骤示意流程图；
图4是本申请实施例提供的根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据的步骤示意流程图；
图5是本申请实施例提供的获取与检测时刻对应的历史周期性分量数据的步骤示意流程图；
图6为本申请实施例提供的一种运维管理系统的异常检测装置的示意性框图；
图7为本申请一实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种运维管理系统的异常检测方法、装置、计算机设备及存储介质。运维管理系统的异常检测方法可用于提高运维管理系统的异常检测效率。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请的实施例提供的运维管理系统的异常检测方法的步骤示意流程图。该运维管理系统的异常检测方法是利用快速傅里叶变换对监测数据中的时序数据进行分类，从而按照检测指标的不同类别采用不同的异常检测方法进行检测，以提高异常检测效率。
如图1所示，该运维管理系统的异常检测方法，具体包括以下内容：
S101、采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据。
具体地，可以使用采用采集工具采集运维管理系统内的监测数据。
其中，监测数据包括多个检测指标对应的时序数据，检测指标为检测对象，时序数据为检测指标对应的检测数据值。例如，检测指标可以为网络质量、用户访问行为、服务器运行状况或交换机运行状况等。
S102、根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标。
其中，规律性指标是指时序数据具有规律性特征的检测指标，非规律性指标是指除了规律性指标以外的其他检测指标。根据快速傅里叶变换(FFT)对检测指标对应的时序数据进行分类，以便于根据不同类型的时序数据区分不同类型的检测指标，从而对不同类型的检测指标采取不同的异常检测方法进行检测，提高异常检测效率。
在一些实施例中，请参考图2，对所述检测指标对应的时序数据进行分类，具体地包括步骤S1021和步骤S1022。
S1021、对所述检测指标对应的时序数据分别进行快速傅里叶变换得到与所述时序数据对应的频域信息数据。
具体地，在对所述检测指标对应的时序数据进行快速傅里叶变换后，将时域的时序数据转换为频域信息数据。
S1022、根据所述频域信息数据确定规律性指标和非规律性指标。
具体地，采用频谱分析法，根据所述时序数据对应的频域信息数据确定出规律性指标和非规律性指标。当时序数据对应的频域信息数据在频谱中出现一些规律性的特征时，则判断该时序数据所对应的检测指标为规律性指标，例如，当频谱中出现单一的谱线或者明显的尖峰时，判断该时序数据对应的检测指标为规律性指标。而将除了规律性指标之外的其他检测指标作为非规律性指标。在具体实施过程中，当时序数据对应的频域信息数据具有显著的日周期时，则确定该时序数据所对应的检测指标为规律性指标。
S103、根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常。
具体地，所述时间序列异常检测算法可以是指(Seasonal Hybrid ESD算法)，当利用时间序列异常检测算法对所述规律性指标进行检测所得到的检测结果满足一定条件时，才判断所述规律性指标存在异常，完成规律性指标的异常检测。
在一些实施例中，为了提高异常检测的效率，并保证异常检测准确率，请参考图3，步骤S103具体地包括以下步骤：
S1031、获取所述规律性指标的历史监测数据，根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据。
具体地，首先获取到所述规律性指标的历史监测数据，所述历史监测数据是指在过去某一时段内所述规律性指标的监测数据，例如，当系统日期为2019.08.20时，可以提取从2019.08.06至2019.08.19共14天全时段的所述规律性指标的历史监测数据。在具体实施过程中，在获取到历史监测数据后，为了提高计算得到历史周期性分量数据和残差阈值范围的准确性，还可以对历史监测数据进行缺失值的填充，也即，可以将缺失值进行补0处理。
在一些实施例中，请参考图4，根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据的步骤具体可以包括步骤S1031a至步骤S1031c。
S1031a、采用STL算法对所述规律性指标的历史监测数据进行分解，以得到所述规律性指标的历史全量周期性分量数据。
具体地，在获取到所述规律性指标的历史监测数据后，将所述历史监测数据使用STL算法进行分解，得到历史全量周期性分量数据。其中，STL算法分为内循环和外循环，其中，内循环主要用于进行趋势拟合与周期性分量的计算，外循环主要用于调节鲁棒性权重，经过STL算法分解得到的历史全量周期性分量数据，可以当做是日周期的趋势曲线。
在一些实施例中，为了提高对历史监测数据进行分解得到的历史全量周期性分量数据的真实性和准确性，在步骤S1031a之前，还可以包括：采用移动平均算法，对所述历史监测数据进行噪音剔除处理，得到剔除后的所述历史监测数据；采用趋势检测算法，对剔除后的所述历史监测数据进行趋势检测处理，得到趋势性检测指标的历史监测数据。
具体地，移动平均方法可以为简单移动平均或加权移动平均等，趋势检测方法可以为LOESS局部加权回归算法等。
首先对历史监测数据进行噪音剔除处理，然后针对剔除噪音后的历史监测数据进行趋势检测处理，预先对历史监测数据进行处理，再从中提取历史分量性数据，降低了提取分量数据所需要的运行量，并且提高了历史周期性分量数据的提取效率。
S1031b、对所述规律性指标的历史全量周期性分量数据进行非分量全量提取，以得到多个所述规律性指标的历史周期性分量数据。
具体地，由于在提取所述规律性指标的历史监测数据时，采用的是全时段提取，因此，提取出的数据量较大，为了便于后续的数据处理，以及减少数据的存储量，所以在得到所述规律性指标的历史全量周期性分量数据后，可以对历史全量周期性分量数据进行非全量分量提取处理，以得到若干个历史周期性分量数据，并将得到的多个所述规律性指标的历史周期性分量数据进行保存，其中，多个历史周期性分量数据可以是多个提取时刻的历史周期性分量数据，例如，可以是12:00时刻的历史周期性分量数据，12:15时刻的历史周期性分量数据和12:30时刻的历史周期性分量数据等。
在具体实施过程中，可以预先建立历史周期性分量数据库，以将得到的多个所述规律性指标的历史周期性分量数据保存在所述历史周期性分量数据库中，历史周期性分量数据库可以为SQL数据库或ORACLE数据库等。
在一些实施例中，步骤S1031b还包括以下步骤：
获取相邻的所述规律性指标的多个第一历史周期性分量数据；根据多个所述第一历史周期性分量数据进行均值计算，以得到所述规律性指标的第二历史周期性分量数据，并将所述第二历史周期性分量数据作为历史周期性分量数据。
具体地，为了避免由于某一时刻的历史周期性分量数据存在异常，而导致得到的历史周期性分量数据存在较大的误差，可以根据相邻的所述规律性指标的多个第一历史周期性分量数据进行均值计算，最终得到所述规律性指标的第二历史周期性分量数据，并将第二历史周期性分量数据作为历史周期性分量数据。
其中，进行均值计算的公式可以为：
Figure BDA0002194722690000071
其中，为第n个的历史周期性分量数据，也即第二历史周期性分量数据，kn-1是与kn相邻的第n-1个第一历史周期性分量数据，kn是第n个第一历史周期性分量数据，kn+1是与kn相邻的第n+1个第一历史周期性分量数据。
S1031c、计算所述历史周期性分量数据与所述历史监测数据之间的残差,并确定残差阈值范围。
具体地，由于经过STL算法分解得到的历史周期性分量数据是具有规律性的数据，而在实际规律性指标的监测过程中，所得到的监测数据与计算得到的分量数据之间会存在一定的偏差，而历史周期性分量数据与历史监测数据之间的差值即为残差。在计算所述历史周期性分量数据与所述历史监测数据之间的残差后，采用n-sigma方式确定残差阈值范围。
需要说明的是，所述残差阈值范围可以以日为周期进行更新，以提高异常检测的准确率。也即，例如，当系统日期为2019.08.20，将从2019.08.06至2019.08.19共14天全时段的所述规律性指标的监测数据作为历史监测数据，采用上述步骤S1031a至步骤S1031c计算得到的残差阈值范围为A1至B1。那么在系统日期为2019.08.20时，则以残差阈值范围为A1至B1对所述规律性指标进行异常监测；当系统日期为2019.08.21时，将从2019.08.07至2019.08.20共14天全时段的所述规律性指标的监测数据作为历史监测数据，采用上述步骤S1031a至步骤S1031c计算得到的残差阈值范围为A2至B2。那么在系统日期为2019.08.21时，则以残差阈值范围为A2至B2对所述规律性指标进行异常监测。
S1032、获取与检测时刻对应的历史周期性分量数据。
具体地，与检测时刻对应的历史周期性分量数据也即与检测时刻处于同一时刻的所述历史周期性分量数据。例如，检测时刻为12:10，那么，获取到的历史周期性分量数据也应当为是在12:10时刻的历史周期性分量数据。
在具体实施过程中，可以从历史周期性分量数据库中获取与采集时刻对应的目标时刻的历史周期性分量数据。
在一些实施例中，当历史周期性分量数据库中没有与检测时刻对应的历史周期性分量数据时，为了便于对所述规律性指标进行异常检测，并提高异常检测的准确率，请参考图5，获取与检测时刻对应的历史周期性分量数据可以包括：步骤S1032a和步骤S1032b。
S1032a、获取两个与所述检测时刻相邻的历史周期性分量数据。
具体地，获取的多个与所述检测时刻相邻的目标时刻的历史周期性分量数据可以是位于检测时刻两侧的历史周期性分量数据。例如，当检测时刻为12:10时，可以获取分别位于12:10两侧的两个相邻的历史周期性分量数据，例如12:00和12:15的两个历史周期性分量数据。
S1032b、对两个所述历史周期性分量数据进行插值处理，以得到与所述检测时刻对应的历史周期性分量数据。
其中，在进行插值处理时，可以采用线性插值法、双线性插值法、三线性插值法或其他插值法等，以得到与检测时刻对应的历史周期性分量数据。例如，当检测时刻为12:10时，在获取到12:00和12:15的两个历史周期性分量数据后，根据12:00和12:15的两个历史周期性分量数据进行插值处理得到12:10的历史周期性分量数据。
S1033、根据所述检测时刻所述规律性指标对应的时序数据和与所述采集时刻对应的所述历史周期性分量数据计算当前残差。
具体地，计算当前残差，是指计算检测时刻所述规律性指标对应的时序数据和与采集时刻对应的所述历史周期性分量数据之间的差值，也即计算检测时刻所述规律性指标对应的时序数据与同一时刻的所述历史周期性分量数据之间的差值，并将所述差值作为当前残差。
S1034、若所述当前残差不在所述残差阈值范围内，则确定所述规律性指标存在异常。
具体地，当计算得到的当前残差数值在预先计算的残差阈值范围内时，则确定规律性指标不存在异常；当计算得到的当前残差数值不在预先计算的残差阈值范围内时，则确定规律性指标存在异常。
在一些实施例中，为了提高对规律性指标检测的准确率，降低误报警率，确定规律性指标存在异常的步骤还包括：
若所述当前残差不在所述残差阈值范围内，则判断所述当前残差是否在预设的误差阈值内；若所述残差不在所述预设的误差范围内，则确定所述规律性指标存在异常。
具体地，所述预设的误差阈值可以是由检测人员人工设置的，其目的在于降低误报警率。当所述当前残差不在所述残差阈值范围内，但却在预设的误差阈值内时，则确定所述规律性指标不存在异常；当所述当前残差既不在所述残差阈值范围内，也不在预设的误差阈值内时，则确定所述规律性指标存在异常。
S104、根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。
在一些实施例中，在所述时段分割方法是指在对非规律性指标进行检测时，可以将历史监测数据按照时间段分割为多个滑动窗口，对于每一个滑动窗口而言，采用n-sigma方式计算其第一阈值。并且，基于总的历史监测数据，采用n-sigma方式计算其第二阈值。
若采集到的所述非规律性指标对应的时序数据同时超过了第一阈值和第二阈值，则确定所述非规律性指标存在异常。
需要说明的是，步骤S103和步骤S104并不一定存在顺序关系，也即，对于规律性指标和非规律性指标的异常检测可以同时进行，也可以按照顺序依次进行。
上述实施例利用快速傅里叶变换对检测指标对应的时序数据进行分类，从而得到规律性指标和非规律性指标，并且针对规律性指标和非规律性指标采取不同的异常检测方法，降低了每个异常检测方法中所需要检测的数据量，提高了异常检测的效率和准确率。
请参阅图6，图6是本申请的实施例还提供一种运维管理系统的异常检测装置的示意性框图，该运维管理系统的异常检测装置用于执行前述的运维管理系统的异常检测方法。其中，该运维管理系统的异常检测装置可以配置于服务器或终端中。
其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
如图6所示，运维管理系统的异常检测装置200包括：数据采集模块201、数据分类模块202、第一检测模块203和第二检测模块204。
数据采集模块201，用于采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据。
数据分类模块202，用于根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标。
在一些实施例中，数据分类模块202包括频域信息子模块2021和分类确定子模块2022。
其中，频域信息子模块2021，用于对所述检测指标对应的时序数据分别进行快速傅里叶变换得到与所述时序数据对应的频域信息数据。
分类确定子模块2022，用于根据所述频域信息数据确定规律性指标和非规律性指标。
第一检测模块203，用于根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常。
在一些实施例中，第一检测模块203包括历史监测子模块2031、历史分量子模块2032、当前残差子模块2033和异常判断子模块2034。
其中，历史监测子模块2031，用于获取所述规律性指标的历史监测数据，根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据。
具体地，在一些实施例中，历史监测子模块2031具体用于：采用STL算法对所述规律性指标的历史监测数据进行分解，以得到所述规律性指标的历史全量周期性分量数据；对所述规律性指标的历史全量周期性分量数据进行非分量全量提取，以得到多个所述规律性指标的历史周期性分量数据；计算所述历史周期性分量数据与所述历史监测数据之间的残差,并确定残差阈值范围。
在一些实施例中，历史监测子模块2031还用于：采用移动平均算法，对所述历史监测数据进行噪音剔除处理，得到剔除后的所述历史监测数据；采用趋势检测算法，对剔除后的所述历史监测数据进行趋势检测处理，得到趋势性检测指标的历史监测数据。
历史分量子模块2032，用于获取与检测时刻对应的历史周期性分量数据。
具体地，在一些实施例中，历史分量子模块2032具体用于：获取两个与所述检测时刻相邻的历史周期性分量数据；对两个所述历史周期性分量数据进行插值处理，以得到与所述检测时刻对应的历史周期性分量数据。
当前残差子模块2033，用于根据所述检测时刻所述规律性指标对应的时序数据和与所述采集时刻对应的所述历史周期性分量数据计算当前残差。
异常判断子模块2034，用于若所述当前残差不在所述残差阈值范围内，则确定所述规律性指标存在异常。
在一些实施例中，异常判断子模块2034具体用于：若所述当前残差不在所述残差阈值范围内，则判断所述当前残差是否在预设的误差阈值内；若所述残差不在所述预设的误差范围内，则确定所述规律性指标存在异常。
第二检测模块204，用于根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的运维管理系统的异常检测装置和各模块的具体工作过程，可以参考前述运维管理系统的异常检测方法实施例中的对应过程，在此不再赘述。
上述的运维管理系统的异常检测装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
参阅图7，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种运维管理系统的异常检测方法。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种运维管理系统的异常检测方法。
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据；根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标；根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常；以及根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。
在一个实施例中，所述处理器在实现所述根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标时，用于实现：
对所述检测指标对应的时序数据分别进行快速傅里叶变换得到与所述时序数据对应的频域信息数据；根据所述频域信息数据确定规律性指标和非规律性指标。
在一个实施例中，所述处理器在实现所述根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常时，用于实现：
获取所述规律性指标的历史监测数据，根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据；获取与检测时刻对应的历史周期性分量数据；根据所述检测时刻所述规律性指标对应的时序数据和与所述采集时刻对应的所述历史周期性分量数据计算当前残差；若所述当前残差不在所述残差阈值范围内，则确定所述规律性指标存在异常。
在一个实施例中，所述处理器在实现所述根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据时，用于实现：
采用STL算法对所述规律性指标的历史监测数据进行分解，以得到所述规律性指标的历史全量周期性分量数据；对所述规律性指标的历史全量周期性分量数据进行非分量全量提取，以得到多个所述规律性指标的历史周期性分量数据；计算所述历史周期性分量数据与所述历史监测数据之间的残差,并确定残差阈值范围。
在一个实施例中，所述处理器在实现所述采用STL算法对所述规律性指标的历史监测数据进行分解，以得到所述规律性指标的历史全量周期性分量数据之前，还用于实现：
采用移动平均算法，对所述历史监测数据进行噪音剔除处理，得到剔除后的所述历史监测数据；采用趋势检测算法，对剔除后的所述历史监测数据进行趋势检测处理，得到趋势性检测指标的历史监测数据。
在一个实施例中，所述处理器在实现所述获取与检测时刻对应的历史周期性分量数据时，用于实现：
获取两个与所述检测时刻相邻的历史周期性分量数据；对两个所述历史周期性分量数据进行插值处理，以得到与所述检测时刻对应的历史周期性分量数据。
在一个实施例中，所述处理器在实现所述若所述当前残差不在所述残差阈值范围内，则确定所述规律性指标存在异常时，用于实现：
若所述当前残差不在所述残差阈值范围内，则判断所述当前残差是否在预设的误差阈值内；若所述残差不在所述预设的误差范围内，则确定所述规律性指标存在异常。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项运维管理系统的异常检测方法。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种运维管理系统的异常检测方法，其特征在于，包括：
采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据；
根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标；
根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常；以及
根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。
2.根据权利要求1所述的运维管理系统的异常检测方法，其特征在于，所述根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标，包括：
对所述检测指标对应的时序数据分别进行快速傅里叶变换得到与所述时序数据对应的频域信息数据；
根据所述频域信息数据确定规律性指标和非规律性指标。
3.根据权利要求1所述的运维管理系统的异常检测方法，其特征在于，所述根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常，包括：
获取所述规律性指标的历史监测数据，根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据；
获取与检测时刻对应的历史周期性分量数据；
根据所述检测时刻所述规律性指标对应的时序数据和与所述采集时刻对应的所述历史周期性分量数据计算当前残差；
若所述当前残差不在所述残差阈值范围内，则确定所述规律性指标存在异常。
4.根据权利要求3所述的运维管理系统的异常检测方法，其特征在于，所述根据所述历史监测数据确定残差阈值范围和多个历史周期性分量数据，包括：
采用STL算法对所述规律性指标的历史监测数据进行分解，以得到所述规律性指标的历史全量周期性分量数据；
对所述规律性指标的历史全量周期性分量数据进行非分量全量提取，以得到多个所述规律性指标的历史周期性分量数据；
计算所述历史周期性分量数据与所述历史监测数据之间的残差,并确定残差阈值范围。
5.根据权利要求4所述的运维管理系统的异常检测方法，其特征在于，在所述采用STL算法对所述规律性指标的历史监测数据进行分解，以得到所述规律性指标的历史全量周期性分量数据之前，还包括：
采用移动平均算法，对所述历史监测数据进行噪音剔除处理，得到剔除后的所述历史监测数据；
采用趋势检测算法，对剔除后的所述历史监测数据进行趋势检测处理，得到趋势性检测指标的历史监测数据。
6.根据权利要求3所述的运维管理系统的异常检测方法，其特征在于，所述获取与检测时刻对应的历史周期性分量数据，包括：
获取两个与所述检测时刻相邻的历史周期性分量数据；
对两个所述历史周期性分量数据进行插值处理，以得到与所述检测时刻对应的历史周期性分量数据。
7.根据权利要求3所述的运维管理系统的异常检测方法，其特征在于，所述若所述当前残差不在所述残差阈值范围内，则确定所述规律性指标存在异常，包括：
若所述当前残差不在所述残差阈值范围内，则判断所述当前残差是否在预设的误差阈值内；
若所述残差不在所述预设的误差范围内，则确定所述规律性指标存在异常。
8.一种运维管理系统的异常检测装置，其特征在于，包括：
数据采集模块，用于采集运维管理系统的监测数据，所述监测数据包括多个检测指标对应的时序数据；
数据分类模块，用于根据快速傅里叶变换对所述检测指标对应的时序数据进行分类，得到规律性指标和非规律性指标；
第一检测模块，用于根据时间序列异常检测算法对所述规律性指标进行检测，以确定所述规律性指标是否存在异常；
第二检测模块，用于根据时段分割方法对所述非规律性指标进行检测，以确定所述非规律性指标是否存在异常。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的运维管理系统的异常检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的运维管理系统的异常检测方法。
CN201910844419.8A 2019-09-06 2019-09-06 运维管理系统的异常检测方法、装置、设备及存储介质 Pending CN110750429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910844419.8A CN110750429A (zh) 2019-09-06 2019-09-06 运维管理系统的异常检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910844419.8A CN110750429A (zh) 2019-09-06 2019-09-06 运维管理系统的异常检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110750429A true CN110750429A (zh) 2020-02-04

Family

ID=69276231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910844419.8A Pending CN110750429A (zh) 2019-09-06 2019-09-06 运维管理系统的异常检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110750429A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111444168A (zh) * 2020-03-26 2020-07-24 易电务(北京)科技有限公司 一种配电室变压器日最大负荷异常数据检测处理方法
CN111858231A (zh) * 2020-05-11 2020-10-30 北京必示科技有限公司 一种基于运维监控的单指标异常检测方法
CN112333751A (zh) * 2020-11-23 2021-02-05 广州瀚信通信科技股份有限公司 基于5g核心网的智能运维数据异常检测方法及装置
CN112612671A (zh) * 2020-12-16 2021-04-06 深圳前海微众银行股份有限公司 系统监控方法、装置、设备及存储介质
CN112632127A (zh) * 2020-12-29 2021-04-09 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法
CN112699163A (zh) * 2020-12-25 2021-04-23 创新奇智(青岛)科技有限公司 时间序列异常检测方法、装置、电子设备及存储介质
CN112783744A (zh) * 2021-01-28 2021-05-11 深信服科技股份有限公司 数据检测方法、装置、设备、存储介质
CN113297439A (zh) * 2021-05-31 2021-08-24 中电福富信息科技有限公司 一种时间序列数据特征提取及分类方法
WO2021164267A1 (zh) * 2020-02-21 2021-08-26 平安科技（深圳）有限公司 异常检测方法、装置、终端设备及存储介质
CN113568950A (zh) * 2021-07-29 2021-10-29 北京字节跳动网络技术有限公司 一种指标检测方法、装置、设备及介质
CN113783750A (zh) * 2021-08-25 2021-12-10 南方电网深圳数字电网研究院有限公司 电网指标波动异常的检测方法及装置
CN113780238A (zh) * 2021-09-27 2021-12-10 京东科技信息技术有限公司 多指标时序信号的异常检测方法、装置及电子设备
CN116431369A (zh) * 2022-11-09 2023-07-14 北京新数科技有限公司 一种基于动态场景的数据库运维异常检测方法
CN117851414A (zh) * 2024-03-07 2024-04-09 杭州永德电气有限公司 一种避雷器老化试验数据存储方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283668A (ja) * 2009-06-05 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> トラヒック分類システムと方法およびプログラムならびに異常トラヒック検知システムと方法
CN104792350A (zh) * 2015-04-01 2015-07-22 国网电力科学研究院 一种大坝监测自动化比测方法
US20180324199A1 (en) * 2017-05-05 2018-11-08 Servicenow, Inc. Systems and methods for anomaly detection
CN110008080A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 基于时间序列的业务指标异常检测方法、装置和电子设备
CN110032670A (zh) * 2019-04-17 2019-07-19 腾讯科技（深圳）有限公司 时序数据的异常检测方法、装置、设备及存储介质
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010283668A (ja) * 2009-06-05 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> トラヒック分類システムと方法およびプログラムならびに異常トラヒック検知システムと方法
CN104792350A (zh) * 2015-04-01 2015-07-22 国网电力科学研究院 一种大坝监测自动化比测方法
US20180324199A1 (en) * 2017-05-05 2018-11-08 Servicenow, Inc. Systems and methods for anomaly detection
CN110008080A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 基于时间序列的业务指标异常检测方法、装置和电子设备
CN110032670A (zh) * 2019-04-17 2019-07-19 腾讯科技（深圳）有限公司 时序数据的异常检测方法、装置、设备及存储介质
CN110083507A (zh) * 2019-04-19 2019-08-02 中国科学院信息工程研究所 关键性能指标分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟志浩等: "基于结构特征的时序聚类方法研究", 《中兴通讯技术》, pages 61 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021164267A1 (zh) * 2020-02-21 2021-08-26 平安科技（深圳）有限公司 异常检测方法、装置、终端设备及存储介质
CN111444168A (zh) * 2020-03-26 2020-07-24 易电务(北京)科技有限公司 一种配电室变压器日最大负荷异常数据检测处理方法
CN111444168B (zh) * 2020-03-26 2023-12-22 易电务(北京)科技有限公司 一种配电室变压器日最大负荷异常数据检测处理方法
CN111858231A (zh) * 2020-05-11 2020-10-30 北京必示科技有限公司 一种基于运维监控的单指标异常检测方法
CN112333751A (zh) * 2020-11-23 2021-02-05 广州瀚信通信科技股份有限公司 基于5g核心网的智能运维数据异常检测方法及装置
CN112612671A (zh) * 2020-12-16 2021-04-06 深圳前海微众银行股份有限公司 系统监控方法、装置、设备及存储介质
CN112699163A (zh) * 2020-12-25 2021-04-23 创新奇智(青岛)科技有限公司 时间序列异常检测方法、装置、电子设备及存储介质
CN112632127A (zh) * 2020-12-29 2021-04-09 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法
CN112632127B (zh) * 2020-12-29 2022-07-15 国华卫星数据科技有限公司 设备运行实时数据采集及时序的数据处理方法
CN112783744A (zh) * 2021-01-28 2021-05-11 深信服科技股份有限公司 数据检测方法、装置、设备、存储介质
CN113297439A (zh) * 2021-05-31 2021-08-24 中电福富信息科技有限公司 一种时间序列数据特征提取及分类方法
CN113568950A (zh) * 2021-07-29 2021-10-29 北京字节跳动网络技术有限公司 一种指标检测方法、装置、设备及介质
CN113783750A (zh) * 2021-08-25 2021-12-10 南方电网深圳数字电网研究院有限公司 电网指标波动异常的检测方法及装置
CN113780238A (zh) * 2021-09-27 2021-12-10 京东科技信息技术有限公司 多指标时序信号的异常检测方法、装置及电子设备
CN113780238B (zh) * 2021-09-27 2024-04-05 京东科技信息技术有限公司 多指标时序信号的异常检测方法、装置及电子设备
CN116431369A (zh) * 2022-11-09 2023-07-14 北京新数科技有限公司 一种基于动态场景的数据库运维异常检测方法
CN117851414A (zh) * 2024-03-07 2024-04-09 杭州永德电气有限公司 一种避雷器老化试验数据存储方法及系统
CN117851414B (zh) * 2024-03-07 2024-05-17 杭州永德电气有限公司 一种避雷器老化试验数据存储方法及系统

Similar Documents

Publication Publication Date Title
CN110750429A (zh) 运维管理系统的异常检测方法、装置、设备及存储介质
CN110708204B (zh) 一种基于运维知识库的异常处理方法、系统、终端及介质
CN110807024B (zh) 动态阈值异常检测方法、系统、存储介质及智能设备
US10248528B2 (en) System monitoring method and apparatus
EP3671466B1 (en) Unsupervised anomaly detection for arbitrary time series
CN113518011B (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
CN107766533B (zh) 话务量异常的自动检测方法及系统、存储介质、电子设备
US20190081969A1 (en) Systems And Methods For Anomaly Detection
CN112188531A (zh) 异常检测方法、装置、电子设备及计算机存储介质
CN110083507B (zh) 关键性能指标分类方法及装置
CN109857618B (zh) 一种监控方法、装置及系统
CN110399400B (zh) 检测异常数据的方法、装置、设备以及介质
CN115952062A (zh) 数据异常检测方法、装置、设备及介质
CN115033463B (zh) 一种系统异常类型确定方法、装置、设备和存储介质
CN115454778A (zh) 大规模云网络环境下的时序指标异常智能监控系统
CN110858072B (zh) 设备运行状态的确定方法及装置
CN115659411A (zh) 数据分析的方法和装置
CN112994960A (zh) 业务数据异常检测方法、装置及计算设备
CN112559305B (zh) 不间断电源系统内部关键模块性能预测方法、装置和设备
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN113468014A (zh) 一种运维数据的异常检测方法及装置
JP2022049395A (ja) 異常スコア算出装置、異常スコア算出方法およびプログラム
CN111210070A (zh) 一种数据分析方法、装置、电子设备及可读取存储介质
CN116108376A (zh) 一种反窃电的监测系统、方法、电子设备及介质
CN115794578A (zh) 一种电力系统的数据管理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination