CN109542740A - 异常检测方法及装置 - Google Patents

异常检测方法及装置 Download PDF

Info

Publication number
CN109542740A
CN109542740A CN201710866856.0A CN201710866856A CN109542740A CN 109542740 A CN109542740 A CN 109542740A CN 201710866856 A CN201710866856 A CN 201710866856A CN 109542740 A CN109542740 A CN 109542740A
Authority
CN
China
Prior art keywords
prediction
data
historical data
algorithm
baseline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710866856.0A
Other languages
English (en)
Other versions
CN109542740B (zh
Inventor
朱婉怡
王华锋
夏明�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710866856.0A priority Critical patent/CN109542740B/zh
Publication of CN109542740A publication Critical patent/CN109542740A/zh
Application granted granted Critical
Publication of CN109542740B publication Critical patent/CN109542740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本说明书一个或多个实施例提供一种异常检测方法及装置，该方法可以包括：获取被监控系统中被监控系统的性能指标的实际数据；确定针对所述性能指标的预测基线，所述预测基线由所述性能指标的历史数据进行预测得到；其中，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理而得到所述预测基线；根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点。

Description

异常检测方法及装置
技术领域
本说明书一个或多个实施例涉及异常检测技术领域，尤其涉及一种异常检测方法及装置。
背景技术
通过在数据中心等系统内配置告警机制，可以对系统内的被监控系统的运行状态进行监控，从而及时发现和解决被监控系统可能出现的异常状况。
在相关技术中，通过采集系统内被监控系统的性能指标的数据(即性能数据)，并将性能数据与预定义的性能阈值进行比较，可以在性能数据不符合性能阈值的情况下，判定相应的被监控系统可能存在异常。
发明内容
有鉴于此，本说明书一个或多个实施例提供一种异常检测方法及装置。
为实现上述目的，本说明书一个或多个实施例提供技术方案如下：
根据本说明书一个或多个实施例的第一方面，提出了一种异常检测方法，包括：
获取被监控系统中被监控系统的性能指标的实际数据；
确定针对所述性能指标的预测基线，所述预测基线由所述性能指标的历史数据进行预测得到；其中，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理而得到所述预测基线；
根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点。
根据本说明书一个或多个实施例的第二方面，提出了一种异常检测装置，包括：
获取单元，获取被监控系统中被监控系统的性能指标的实际数据；
基线确定单元，确定针对所述性能指标的预测基线，所述预测基线由所述性能指标的历史数据进行预测得到；其中，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理而得到所述预测基线；
异常确定单元，根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点。
附图说明
图1是一示例性实施例提供的一种数据中心的结构示意图。
图2是一示例性实施例提供的一种异常检测方法的流程图。
图3是一示例性实施例提供的一种告警系统针对数据中心实施异常检测的流程图。
图4是一示例性实施例提供的一种数据准备的流程图。
图5是一示例性实施例提供的一种模型选取的流程图。
图6是一示例性实施例提供的一种将低阶微分应用于异常监控的流程图。
图7是一示例性实施例提供的一种对数据中心的吞吐量进行异常监控的示意图。
图8是一示例性实施例提供的一种电子设备的结构示意图。
图9是一示例性实施例提供的一种异常检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
为对本说明书进行说明，提供下列实施例：
图1是一示例性实施例提供的一种数据中心的结构示意图。如图1所示，在数据中心中配置有应用程序11、应用程序12、应用程序13等若干应用程序，以及告警系统14。
告警系统14通过监测数据中心的性能指标(可以应用程序11-13(以及其他应用程序，此处以应用程序11-13为例)，以确定该数据中心所处的运行状况。其中，该性能指标可以来自于应用程序11-13或其他应用程序，也可以来自数据中心的硬件设备或其他来源，本说明书并不对此进行限制。通过对性能指标进行监测，告警系统14可以及时发现数据中心的运行状况；例如，当应用程序11对应的性能指标出现数值异常时，告警系统14可以向预设对象发出提示或告警，以便于及时诊断、分析或处理该异常情况，其中该预设对象可以包括数据中心的工作人员或自动化处理系统等，本说明书并不对此进行限制。
在本说明书的实施例中，通过对告警系统14的异常检测方案予以优化和改进，可使监测操作更为准确、灵敏，避免对异常的误报而导致工作人员的人力资源或其他资源的浪费，确保数据中心的正常运行。其中，数据中心仅为本说明书中提供的异常检测方案的一种应用对象；实际上，除了数据中心之外，本说明书的异常检测方案还可以应用于其他任何电子设备、结构或系统，本说明书并不对此进行限制。
图2是一示例性实施例提供的一种异常检测方法的流程图。如图2所示，该方法可以包括以下步骤：
步骤202，获取被监控系统中被监控系统的性能指标的实际数据。
在一实施例中，性能指标可以包括用于反映被监控系统的运行状况的任意参数，比如吞吐量、事件计数、操作持续时间、内存或存储大小等，本说明书并不对此进行限制。
步骤204，确定针对所述性能指标的预测基线。
在一实施例中，所述预测基线包括动态基线，而区别于相关技术中的静态基线，使得该预测基线可以感知人员、材料、机器和处理过程等因素所带来的变化，从而适应于突发性任务或随时间变化的工作流。由于动态基线能够用于识别波动幅度非恒定的异常，因而可以避免造成对异常的误报或漏报。同时，动态基线能够更好地适应于数据变化，因而无需针对数据峰值设置过高的容忍度，可以避免由此造成对异常的漏报。
在一实施例中，所述预测基线由所述被监控系统的性能指标的历史数据进行预测得到。例如，当被监控系统为数据中心时，可以采用ETL(Extract-Transform-Load，抽取-转换-加载)技术实施对历史数据的采集。
在一实施例中，通过使得采集到每一性能指标对应的历史数据在时间序列上保持完整性，有助于确保基于该历史数据获得的预测基线的准确度。
在一实施例中，可以采集被监控系统中的多个被监控系统的多个性能指标的历史数据，然后通过统计聚合实现数据降维，并分别获得每一被监控系统对应的每一性能指标的历史数据。
在一实施例中，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理，得到所述预测基线。其中，数据变化规律可以包括以下至少之一：时序周期性、统计分布规律、与所述被监控系统的其他性能指标的历史数据之间的关联情况、是否包含已标注数据，当然本说明书并不对此进行限制。当历史数据仅符合每一数据变化规律时，可以仅通过该数据变化规律对应的预测算法处理该历史数据；当历史数据同时符合多个数据变化规律时，可以将该历史数据分配至每一数据变化规律对应的预测算法、由这些预测算法分别处理被分配的历史数据，并按照每一预测算法所占权重，将这些预测算法分别得到的预测结果处理为最终的预测基线。
在一实施例中，当所述数据变化规律包括时序周期性时，所述预测算法包括以下至少之一：ARIMA(Autoregressive Integrated Moving Average Model，自回归积分滑动平均模型)、STL LOESS(Seasonal and Trend decomposition using Loess，基于局部加权回归散点平滑法的时间序列分解；其中，Loess即locally weighted scatterplotsmoothing，局部加权回归散点平滑法)、EMA(Exponential Moving Average，指数平均数指标)等，本说明书并不对此进行限制。
在一实施例中，当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间存在关联，所述预测算法包括：回归算法等，本说明书并不对此进行限制。
在一实施例中，当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间不存在关联，所述预测算法包括：基于MAD(Median Absolute Deviation，绝对中位差)的Z-score(也称Standard Score，即标准分数)修正模型等，本说明书并不对此进行限制。
其中，在通过Z-score模型计算出各个历史数据对应的标准分数时，区别于标准Z-score模型采用的“three-sigma”规则(即第i个历史数据对应的标注分数zi的绝对值大于3时，该第i个历史数据被标记为异常)，本说明书中可以将异常判定值设定为3.5，即第i个历史数据对应的标注分数zi的绝对值大于3.5时，该第i个历史数据被标记为异常，从而提升对预测基线的预测准确度。当然，在其他实施例中，本说明书中仍然可以采用“three-sigma”规则，或者将异常判定值设定为其他任意数值，本说明书并不对此进行限制。
在一实施例中，当所述数据变化规律包括是否包含已标注数据(比如已知部分数据为正常数据或异常数据时，将这些数据标注为异常或正常)时，若包含已标注数据，所述预测算法包括监督学习算法，比如分类算法等，本说明书并不对此进行限制。例如，分类算法可以包括KNN(K Nearest Neighbor，临近算法)算法等。
在一实施例中，当所述数据变化规律包括是否包含已标注数据时，若不包含已标注数据，所述预测算法包括无监督学习算法，比如聚类算法等，本说明书并不对此进行限制。例如，聚类算法可以包括DBSCAN(Density-Based Spatial Clustering ofApplications with Noise，具有噪声的基于密度的聚类方法)、K-means算法、SVM(SupportVector Machines，支持向量机)等。
在一实施例中，所述历史数据对应的任一类别的预测算法可以包括多个算法，且所述多个算法之间存在多种算法组合(每一算法组合包括所述多个算法中的一个或多个算法)，那么可以从多种算法组合中选取一算法组合，并通过被选取的算法组合对所述历史数据进行预测处理。
其中，可以通过多种方式确定被选取的算法组合。一实施例中，可以分别确定各个算法组合对所述性能指标的历史预测精度，并确保所述被选取的算法组合对所述性能指标的历史预测精度高于其他算法组合对应的历史预测精度。例如，该历史预测精度可以采用MAPE(Mean Absolute Percentage Error，平均绝对值百分比误差)或其他参数，本说明书并不对此进行限制。
步骤206，根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点。
在一实施例中，可以计算所述实际数据与针对所述性能指标的预测基线之间的二阶导数的绝对差值，并根据所述绝对差值确定所述被监控系统在时间序列上的异常点。
在一实施例中，可以比较所述被监控系统在时间序列上的任一时刻对应的绝对差值与预测曲率阈值之间的数值大小；其中，当所述任一时刻对应的绝对差值大于相应的预测曲率阈值时，判定所述任一时刻为所述被监控系统在时间序列上的异常点。
在一实施例中，可以通过下述方式确定所述预测曲率阈值：获取所述被监控系统的性能指标的历史数据；确定第一预设长度的滑动窗口，在所述时间序列上对所述滑动窗口进行移动，并对所述滑动窗口内的历史数据进行二阶多项式的拟合；对所述二阶多项式求解，以得到所述预测曲率阈值。通过基于二阶多项式的拟合，可以对历史数据进行平滑处理，以过滤历史数据中的噪声(如不合理的突变点等)，从而避免噪声在后续分析中造成对异常情况的误判。
其中，将滑动窗口移动至时间序列上的某一位置后，可以根据该滑动窗口的第一预设长度对拟合的二阶多项式进行求解，以得到该滑动窗口的中心处的时间点的取值；然后，通过在时间序列上移动该滑动窗口，将滑动窗口的中心处的时间点变更为另一尚未处理的点，并重复上述拟合与求解过程，直至所有时间点相对其相邻时间点均为最优解，从而完成对所有时间点的处理、得到所有时间点对应的预测曲率阈值。
在一实施例中，可以通过局部最小二乘法对所述滑动窗口内的历史数据进行拟合。
在一实施例中，可以通过下述滤波器中至少之一，对所述历史数据进行拟合：Savitzky-Golay滤波器(即S-G滤波器)、Kalman滤波器、移动窗口平均滤波器、Butterworth滤波器等，本说明书并不对此进行限制。其中，当采用S-G滤波器时，由于S-G滤波器在平滑数据、过滤噪声的同时，可以保留其高统计矩的特性不变，因而可以确保实际数据可以与预测基线之间实现更为可靠的对比，以提升对异常监测的准确度。
在一实施例中，可以确定所述预测基线中的峰值区域，以避免对所述峰值区域对应的实际数据进行监测，从而避免峰值区域的动态或随机性造成过多的异常误报。
在一实施例中，可以确定第二预设长度的滑动窗口，并在时间序列上对所述滑动窗口进行移动；然后，通过局部最大法确定所述滑动窗口内的预测基线的峰值，其中所述峰值区域包括所述峰值附近预设范围内的区域。当然，还可以通过其他方式确定该峰值区域，本说明书并不对此进行限制。
为了便于理解，下面以告警系统对数据中心实施异常检测为例，对本说明书的技术方案进行详细说明。
图3是一示例性实施例提供的一种告警系统针对数据中心实施异常检测的流程图。如图3所示，该监控流程可以包括以下步骤：
步骤302，告警系统采集历史数据。
在一实施例中，告警系统可以配置有ETL模块，并通过该ETL模块对数据中心实施数据采集。例如，ETL模块可以针对数据中心中处于运行态的应用程序的性能指标的历史数据进行采集，该历史数据可以包括全量历史数据，也可以包括一历史时间段内的历史数据，本说明书并不对此进行限制。
其中，ETL模块通过保证各个性能指标对应的历史数据在时间序列上的完整性，有助于提升告警系统对相应性能指标的监控准确度，避免造成对异常时间点的误报或漏报。
步骤304，告警系统针对采集到的历史数据进行后续数据处理的准备工作。
在一实施例中，告警系统通过数据准备，可使得到的历史数据便于后续处理。下文将结合图4对告警系统实施的数据准备操作进行详细描述，此处暂不赘述。
步骤306，告警系统针对历史数据实施模型选取与基线预测。
在一实施例中，告警系统提供了集成多种机器学习方法实现动态基线预测的方案，并由告警系统从该多种机器学习方法中选取恰当的机器学习方法、作为预测模型，以对历史数据进行处理并预测出相应的动态基线，有助于提升对动态基线的预测准确度。下文将结合图5对告警系统选取模型及预测动态基线进行详细描述，此处暂不赘述。
在其他实施例中，告警系统可以采用预设的预测模型对历史数据进行处理，而无需对预测模型进行选取，即可采用该预设的预测模型生成相应的动态基线。
步骤308，告警系统对历史数据实施平滑与微分处理。
在一实施例中，告警系统通过结合平滑与微分处理，可以实现对数据中心的实际数据与动态基线之间的可靠对比，并基于预估的最佳拐点准确识别出可能的异常时间点。下文将结合图6对告警系统实施平滑与微分处理、识别异常时间点的过程进行详细描述，此处暂不赘述。
步骤310，告警系统识别异常时间点。
图4是一示例性实施例提供的一种数据准备的流程图。如图4所示，告警系统实施的数据准备操作可以包括以下步骤：
步骤402，加载历史数据。
在一实施例中，加载的历史数据包括告警系统在图3所示实施例中的步骤302采集到的历史数据。
步骤404，数据清洗。
在一实施例中，告警系统对加载的历史数据实施数据清洗，以使其满足后续处理过程的需求。
在一实施例中，在数据清洗过程中，告警系统可以确定出历史数据在时间序列上的缺失值，并对缺失值予以补全；其中，补全的缺失值可以采用默认值，或者可以采用相邻时间点的数值，或者可以采用附近预设时间段内的数据均值等，本说明书并不对此进行限制。
在一实施例中，在数据清洗过程中，告警系统可以对历史数据实施基于统计的噪声过滤，以消除历史数据中明显的噪声数据，避免对后续的异常监控造成干扰和影响。
步骤406，数据标准化。
在一实施例中，告警系统可以对历史数据进行标准化处理，以满足后续的数据处理需求。
步骤408，数据聚合。
在一实施例中，告警系统可以通过对历史数据进行统计聚合，以实现数据降维，分别得到数据中心中的各个应用程序或硬件设备对应于各个性能指标的历史数据，从而据此实现对各个应用程序或硬件设备的异常监控。
图5是一示例性实施例提供的一种模型选取的流程图。如图5所示，告警系统实施模型选取的过程可以包括以下步骤：
步骤502，告警系统对数据准备得到的整洁数据(Tidy Data)进行频率统计及相关性分析。
在一实施例中，告警系统通过对历史数据进行频率统计，可以确定历史数据是否存在时间依赖，即历史数据的数值变化是否与时间存在一定关联，比如按照特定周期发生规律性变化等。
在一实施例中，告警系统通过对历史数据进行相关性分析，可以确定历史数据是否符合单变特性或关联特性。
在一实施例中，历史数据可以完全符合于时间依赖、单变特性或关联特性，告警系统可以将历史数据完全赋予相应的算法或模型进行处理。在另一实施例中，历史数据可以包括多个部分，这些部分的数据分别符合于时间依赖、单变特性或关联特性，告警系统可以按照每一部分的历史数据对应的特性，将历史数据分别赋予相应特性对应的算法或模型进行处理，并最终按照各个模型或算法所占权重，对各个模型或算法输出的处理结果进行综合处理。
步骤504，告警系统确定历史数据是否存在时间依赖(Time Dependency)性；若存在，转入步骤506，否则转入步骤510。
步骤506，告警系统选取时间序列挖掘算法，对存在时间依赖性的历史数据进行处理。
步骤508，当时间序列挖掘算法包括多个算法时，告警系统确定该多个算法构成的多种算法组合，并基于历史预测精度确定被选取的算法组合。
在一实施例中，当仅存在一种预设的时间序列挖掘算法时，告警系统可以通过该时间序列挖掘算法对存在时间依赖性的历史数据进行处理。
在一实施例中，当同时存在多种预设的时间序列挖掘算法时，告警系统可以从中选取一种算法组合。例如，假定预先设置有ARIMA模型、STL LOESS分解算法、EMA算法等多种模型或算法，可以组合为ARIMA+STL LOESS、ARIMA+EMA、STL LOESS+EMA、ARIMA+STL LOESS+EMA等多种算法组合。那么，告警系统可以根据这些算法组合对应的历史预测精度，选取历史预测精度最高的算法组合，以用于对存在时间依赖性的历史数据进行处理。
其中，告警系统可以采用多种参数来表征各个算法组合的历史预测精度。举例而言，告警系统可以分别确定各个算法组合对应的MAPE值，并将MAPE值最小的算法组合确定为被选取的算法组合。
假定选取ARIMA+STL LOESS+EMA的算法组合，可以分别由这些算法对存在时间依赖性的历史数据进行处理；然后，根据ARIMA、STL LOESS、EMA分别对应的权重值，对三种算法分别输出的处理结果进行综合处理，从而最终得到ARIMA+STL LOESS+EMA算法组合的最终处理结果。
步骤510，告警系统确定历史数据是否符合单变(Univariate)特性；若符合，转入步骤512，否则转入步骤514。
步骤512，告警系统选取修正的Z-score模型，对符合单变特性的历史数据进行处理。
在一实施例中，当任一性能指标的历史数据符合单变特性时，表明该性能指标的历史数据与其他性能指标之间不存在显著相关性。
在一实施例中，告警系统采用的Z-score模型可以由下述公式定义：
其中为采样中位数、Mi为时间点i对应的得分。
其中，本说明书对相关技术中的Z-score模型提出修正，以通过修正的Z-score模型对历史数据进行处理。该修正可以包括：针对相关技术中的Z-score模型采用的“three-sigma”规则，将异常判定阈值由“3”调整为“3.5”，即当任一时间点i对应的得分Mi的绝对值大于3.5(即|Mi|>3.5)时，可以将该时间点i标记为异常，可以提升绝对中位数(MAD)对极端点的消除效果，避免极端点对数据统计分布造成的负面影响，有助于提升对动态基线的预测准确度。
步骤514，告警系统选取回归模型，对符合关联(Interdependency)特性的历史数据进行处理。
在一实施例中，当任一性能指标的历史数据符合关联特性时，表明该性能指标的历史数据与至少一种其他性能指标之间存在显著相关性，可以采用回归模型对符合关联特性的历史数据进行处理。
在一实施例中，基于上述模型或算法对历史数据的处理，可以准确预测出数据中心的各个性能指标对应的动态基线，以及相应的置信度。
图6是一示例性实施例提供的一种将低阶微分应用于异常监控的流程图。如图6所示，告警系统将低阶微分应用于异常监控的过程可以包括以下步骤：
步骤602，告警系统确定窗口长度m和平滑阶数p。
在一实施例中，告警系统可以通过S-G滤波器对历史数据进行平滑和微分处理，以确定出时间序列上各个时间点对应的曲率阈值Tr，供告警系统确定这些时间点是否存在异常。
步骤604，告警系统根据窗口长度m和平滑阶数p，获得修正的S-G微分器。
在一实施例中，告警系统通过将低阶微分应用于S-G滤波器、以实现对相关技术中S-G滤波器的修正，得到修正的S-G微分器。在其他实施例中，也可以采用Kalman滤波器、移动窗口平均滤波器、Butterworth滤波器等平滑或低通滤波器替代S-G滤波器，本说明书并不对此进行限制。
步骤606，告警系统通过S-G微分器获得平滑多项式，并求解得到曲率阈值Tr。
在一实施例中，针对按照时间序列依次排列的历史数据，告警系统将上述长度为m个窗口在时间序列上移动，以使得S-G微分器可以通过局部最小二乘法(LS)重复对窗口内的历史数据实施局部多项式拟合，且该多项式的阶数即上述的平滑阶数p；由于在拟合过程中，可以实现对历史数据的平滑处理，因而得到的局部多项式可称为平滑多项式。
在一实施例中，假定该平滑多项式对应于时间序列中的第(i-k)至第(i+k)个时间点(其中，m＝2k+1)，通过对该平滑多项式进行求解，可以得到时间点i(即窗口的中心位置的点)对应的预估值；其中，当平滑阶数被设定为p＝2时，该预估值为时间点i对应的曲率阈值Tr(i)。类似地，通过移动窗口将每一时间点分别置于该窗口的中心位置，并通过S-G微分器对窗口内的历史数据实施局部多项式拟合、对拟合得到的局部多项式进行求解，可以得到各个时间点对应的曲率阈值Tr。
在一实施例中，通过引入S-G微分器对历史数据进行拟合，可以实现对历史数据的平滑与微分处理，从而一方面可以平滑性能指标的历史数据中的突变数据(即过滤噪声)，减少噪声对后续分析的干扰，另一方面可以通过多项式求解的方式确定各个时间点对应的曲率阈值Tr，以用于后续的异常识别。其中，由于S-G滤波器在实施噪声过滤的过程中，可以保留历史数据的高统计矩的特性不变，因而有助于动态基线与实际数据之间实现更为可靠的比较。
在一实施例中，上述的曲率阈值Tr可以为一种时间分层阈值，比如该曲率阈值Tr在不同时间段内可以采用不同的缩放因子，以适应于不同时间段的性能状况与实际需求。
步骤608，告警系统获取动态基线与实际数据的二阶导数的绝对差值Differ_sg，并通过将该绝对差值Differ_sg与曲率阈值Tr进行数值比较，以识别出异常的时间点。
在一实施例中，动态基线的二阶导数即动态基线上对应于各个时间点的基线值的二阶导数。实际数据的二阶导数即实际数据上对应于各个时间点的实际数值的二阶导数。绝对差值Differ_sg用于表示动态基线与实际数据之间的曲率差异。
步骤610，当时间点i对应的绝对差值Differ_sg(i)大于相应的曲率阈值Tr(i)时，告警系统将时间点i标记为异常；否则，告警系统继续对其他时间点进行异常判断。
在一实施例中，告警系统可以识别并排除动态基线中的峰值区域，避免在步骤610中对峰值区域实施异常判断，防止峰值区域的高动态或随机性对判断结果造成影响。
在一实施例中，告警系统可以将预设长度的滑动窗口在时间序列上移动，并针对动态基线中处于该滑动窗口内的基线值实施局部最大方法，确定出该滑动窗口内的局部最大值、以作为局部峰值；类似地，通过在时间序列上移动该滑动窗口，可以重复利用局部最大方法确定处于该滑动窗口内的基线值中的局部峰值。然后，告警系统可以将每一局部峰值附近的预设区域作为峰值区域，比如该预设区域可以包括相邻时间点、间隔不大于预设间隔的时间点等，本说明书并不对此进行限制。
图7是一示例性实施例提供的一种对数据中心的吞吐量进行异常监控的示意图。如图7所示，通过采用本说明书的异常监控方案，可以对数据中心的吞吐量实现准确的异常监控。例如在下表1中，样本1、样本2、样本3为采用本说明书的异常监控方案对数据中心的吞吐量进行异常监控的三个样本，每一样本包含1440个实际数值；其中，表1分别从精度、召回率、误报率和综合评价指标(如F1-score，即F1得分)等多个维度对异常监控的效果予以评判，可以看出本说明书的异常监控方案不但能够有效识别异常，还能够维持较低的误报率，符合数据中心的实际监控需求。
样本 异常点数量 精度 召回率 误报率 综合评价指标
样本1 50 93.33％ 52.83％ 3.77％ 64.47％
样本2 48 92.11％ 71.43％ 6.12％ 80.46％
样本3 9 100.00％ 77.78％ 0.00％ 87.50％
表1
图8是一示例性实施例提供的一种电子设备的示意结构图。请参考图8，在硬件层面，该电子设备包括处理器802、内部总线804、网络接口806、内存808以及非易失性存储器810，当然还可能包括其他业务所需要的硬件。处理器802从非易失性存储器810中读取对应的计算机程序到内存808中然后运行，在逻辑层面上形成异常检测装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
请参考图9，在软件实施方式中，该异常检测装置可以包括：
获取单元91，获取被监控系统中被监控系统的性能指标的实际数据；
基线确定单元92，确定针对所述性能指标的预测基线，所述预测基线由所述性能指标的历史数据进行预测得到；其中，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理而得到所述预测基线；
异常确定单元93，根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点。
可选的，所述预测基线包括动态基线。
可选的，所述预测基线由所述被监控系统的性能指标的历史数据进行预测得到。
可选的，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理，得到所述预测基线。
可选的，所述数据变化规律包括以下至少之一：时序周期性、统计分布规律、与所述被监控系统的其他性能指标的历史数据之间的关联情况、是否包含已标注数据。
可选的，
当所述数据变化规律包括时序周期性时，所述预测算法包括以下至少之一：ARIMA自回归积分滑动平均模型、STL LOESS基于局部加权回归散点平滑法的时间序列分解、EMA指数平滑方法；
当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间存在关联，所述预测算法包括：回归算法；
当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间不存在关联并且没有显著时序周期性，所述预测算法包括：基于MAD绝对中位差的Z-score修正分数模型；
当所述数据变化规律包括是否包含已标注数据时，若包含已标注数据，所述预测算法包括：分类算法；
当所述数据变化规律包括是否包含已标注数据时，若不包含已标注数据，所述预测算法包括：聚类算法。
可选的，当所述预测算法包括Z-score修正分数模型时，所述Z-score修正分数模型将计算出的标准分数的数值大于3.5的历史数据标记为异常状态。
可选的，当所述历史数据对应的任一类别的预测算法包括多个算法时，所述多个算法存在多种算法组合，所述历史数据由被选取的算法组合进行预测处理；其中，所述被选取的算法组合对所述性能指标的历史预测精度高于其他算法组合对应的历史预测精度。
可选的，所述异常确定单元具体用于：
计算所述实际数据与针对所述性能指标的预测基线之间的二阶导数的绝对差值；
根据所述绝对差值确定所述被监控系统在时间序列上的异常点。
可选的，所述异常确定单元93通过下述方式，实现根据所述绝对差值确定所述被监控系统在时间序列上的异常点：
比较所述被监控系统在时间序列上的任一时刻对应的绝对差值与预测曲率阈值之间的数值大小；
当所述任一时刻对应的绝对差值大于相应的预测曲率阈值时，判定所述任一时刻为所述被监控系统在时间序列上的异常点。
可选的，所述异常确定单元93通过下述方式确定所述预测曲率阈值：获取所述被监控系统的性能指标的历史数据；确定第一预设长度的滑动窗口，在所述时间序列上对所述滑动窗口进行移动，并对所述滑动窗口内的历史数据进行二阶多项式的拟合；对所述二阶多项式求解，以得到所述预测曲率阈值。
可选的，所述异常确定单元93通过局部最小二乘法对所述滑动窗口内的历史数据进行拟合。
可选的，所述异常确定单元93通过下述滤波器中至少之一，对所述历史数据进行拟合：Savitzky-Golay滤波器、Kalman卡尔曼滤波器、移动窗口平均滤波器、Butterworth巴特沃斯滤波器。
可选的，还包括：
峰值区域确定单元94，确定所述预测基线中的峰值区域，以避免对所述峰值区域对应的实际数据进行监测。
可选的，峰值区域确定单元94具体用于：
确定第二预设长度的滑动窗口，并在时间序列上对所述滑动窗口进行移动；
通过局部最大法确定所述滑动窗口内的预测基线的峰值，其中所述峰值区域包括所述峰值附近预设范围内的区域。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (26)

1.一种异常检测方法，其特征在于，包括：
获取被监控系统的性能指标的实际数据；
确定针对所述性能指标的预测基线，所述预测基线由所述性能指标的历史数据进行预测得到；其中，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理而得到所述预测基线；
根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点。
2.根据权利要求1所述的方法，其特征在于，所述预测基线包括动态基线。
3.根据权利要求1所述的方法，其特征在于，所述数据变化规律包括以下至少之一：时序周期性、统计分布规律、与所述被监控系统的其他性能指标的历史数据之间的关联情况、是否包含已标注数据。
4.根据权利要求3所述的方法，其特征在于，
当所述数据变化规律包括时序周期性时，所述预测算法包括以下至少之一：ARIMA自回归积分滑动平均模型、STL LOESS基于局部加权回归散点平滑法的时间序列分解、EMA指数平滑方法；
当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间存在关联，所述预测算法包括：回归算法；
当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间不存在关联并且没有显著时序周期性，所述预测算法包括：基于MAD绝对中位差的Z-score修正分数模型；
当所述数据变化规律包括是否包含已标注数据时，若包含已标注数据，所述预测算法包括：分类算法；
当所述数据变化规律包括是否包含已标注数据时，若不包含已标注数据，所述预测算法包括：聚类算法。
5.根据权利要求4所述的方法，其特征在于，当所述预测算法包括Z-score修正分数模型时，所述Z-score修正分数模型将计算出的标准分数的数值大于3.5的历史数据标记为异常状态。
6.根据权利要求3所述的方法，其特征在于，当所述历史数据对应的任一类别的预测算法包括多个算法时，所述多个算法存在多种算法组合，所述历史数据由被选取的算法组合进行预测处理；其中，所述被选取的算法组合对所述性能指标的历史预测精度高于其他算法组合对应的历史预测精度。
7.根据权利要求1所述的方法，其特征在于，所述根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点，包括：
计算所述实际数据与针对所述性能指标的预测基线之间的二阶导数的绝对差值；
根据所述绝对差值确定所述被监控系统在时间序列上的异常点。
8.根据权利要求7所述的方法，其特征在于，所述根据所述绝对差值确定所述被监控系统在时间序列上的异常点，包括：
比较所述被监控系统在时间序列上的任一时刻对应的绝对差值与预测曲率阈值之间的数值大小；
当所述任一时刻对应的绝对差值大于相应的预测曲率阈值时，判定所述任一时刻为所述被监控系统在时间序列上的异常点。
9.根据权利要求8所述的方法，其特征在于，通过下述方式确定所述预测曲率阈值：获取所述被监控系统的性能指标的历史数据；确定第一预设长度的滑动窗口，在所述时间序列上对所述滑动窗口进行移动，并对所述滑动窗口内的历史数据进行二阶多项式的拟合；对所述二阶多项式求解，以得到所述预测曲率阈值。
10.根据权利要求9所述的方法，其特征在于，通过局部最小二乘法对所述滑动窗口内的历史数据进行拟合。
11.根据权利要求9所述的方法，其特征在于，通过下述滤波器中至少之一，对所述历史数据进行拟合：Savitzky-Golay滤波器、Kalman卡尔曼滤波器、移动窗口平均滤波器、Butterworth巴特沃斯滤波器。
12.根据权利要求1所述的方法，其特征在于，还包括：
确定所述预测基线中的峰值区域，以避免对所述峰值区域对应的实际数据进行监测。
13.根据权利要求12所述的方法，其特征在于，所述确定所述预测基线中的峰值区域，包括：
确定第二预设长度的滑动窗口，并在时间序列上对所述滑动窗口进行移动；
通过局部最大法确定所述滑动窗口内的预测基线的峰值，其中所述峰值区域包括所述峰值附近预设范围内的区域。
14.一种异常检测装置，其特征在于，包括：
获取单元，获取被监控系统中被监控系统的性能指标的实际数据；
基线确定单元，确定针对所述性能指标的预测基线，所述预测基线由所述性能指标的历史数据进行预测得到；其中，所述历史数据被按照符合的数据变化规律划分至相应类别的预测算法，以由所述预测算法对被划分的历史数据进行预测处理而得到所述预测基线；
异常确定单元，根据所述实际数据与所述预测基线，确定所述被监控系统在时间序列上的异常点。
15.根据权利要求14所述的装置，其特征在于，所述预测基线包括动态基线。
16.根据权利要求15所述的装置，其特征在于，所述数据变化规律包括以下至少之一：时序周期性、统计分布规律、与所述被监控系统的其他性能指标的历史数据之间的关联情况、是否包含已标注数据。
17.根据权利要求16所述的方法，其特征在于，
当所述数据变化规律包括时序周期性时，所述预测算法包括以下至少之一：ARIMA自回归积分滑动平均模型、STL LOESS基于局部加权回归散点平滑法的时间序列分解、EMA指数平滑方法；
当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间存在关联，所述预测算法包括：回归算法；
当所述数据变化规律包括与所述被监控系统的其他性能指标的历史数据之间的关联情况时，若与所述被监控系统的其他性能指标的历史数据之间不存在关联并且没有显著时序周期性，所述预测算法包括：基于MAD绝对中位差的Z-score修正分数模型；
当所述数据变化规律包括是否包含已标注数据时，若包含已标注数据，所述预测算法包括：分类算法；
当所述数据变化规律包括是否包含已标注数据时，若不包含已标注数据，所述预测算法包括：聚类算法。
18.根据权利要求17所述的装置，其特征在于，当所述预测算法包括Z-score修正分数模型时，所述Z-score修正分数模型将计算出的标准分数的数值大于3.5的历史数据标记为异常状态。
19.根据权利要求16所述的装置，其特征在于，当所述历史数据对应的任一类别的预测算法包括多个算法时，所述多个算法存在多种算法组合，所述历史数据由被选取的算法组合进行预测处理；其中，所述被选取的算法组合对所述性能指标的历史预测精度高于其他算法组合对应的历史预测精度。
20.根据权利要求14所述的装置，其特征在于，所述异常确定单元具体用于：
计算所述实际数据与针对所述性能指标的预测基线之间的二阶导数的绝对差值；
根据所述绝对差值确定所述被监控系统在时间序列上的异常点。
21.根据权利要求20所述的装置，其特征在于，所述异常确定单元通过下述方式，实现根据所述绝对差值确定所述被监控系统在时间序列上的异常点：
比较所述被监控系统在时间序列上的任一时刻对应的绝对差值与预测曲率阈值之间的数值大小；
当所述任一时刻对应的绝对差值大于相应的预测曲率阈值时，判定所述任一时刻为所述被监控系统在时间序列上的异常点。
22.根据权利要求21所述的装置，其特征在于，所述异常确定单元通过下述方式确定所述预测曲率阈值：获取所述被监控系统的性能指标的历史数据；确定第一预设长度的滑动窗口，在所述时间序列上对所述滑动窗口进行移动，并对所述滑动窗口内的历史数据进行二阶多项式的拟合；对所述二阶多项式求解，以得到所述预测曲率阈值。
23.根据权利要求22所述的装置，其特征在于，所述异常确定单元通过局部最小二乘法对所述滑动窗口内的历史数据进行拟合。
24.根据权利要求22所述的装置，其特征在于，所述异常确定单元通过下述滤波器中至少之一，对所述历史数据进行拟合：Savitzky-Golay滤波器、Kalman卡尔曼滤波器、移动窗口平均滤波器、Butterworth巴特沃斯滤波器。
25.根据权利要求14所述的装置，其特征在于，还包括：
峰值区域确定单元，确定所述预测基线中的峰值区域，以避免对所述峰值区域对应的实际数据进行监测。
26.根据权利要求25所述的装置，其特征在于，峰值区域确定单元具体用于：
确定第二预设长度的滑动窗口，并在时间序列上对所述滑动窗口进行移动；
通过局部最大法确定所述滑动窗口内的预测基线的峰值，其中所述峰值区域包括所述峰值附近预设范围内的区域。
CN201710866856.0A 2017-09-22 2017-09-22 异常检测方法及装置 Active CN109542740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710866856.0A CN109542740B (zh) 2017-09-22 2017-09-22 异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710866856.0A CN109542740B (zh) 2017-09-22 2017-09-22 异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN109542740A true CN109542740A (zh) 2019-03-29
CN109542740B CN109542740B (zh) 2022-05-27

Family

ID=65828189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710866856.0A Active CN109542740B (zh) 2017-09-22 2017-09-22 异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN109542740B (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108572905A (zh) * 2018-04-23 2018-09-25 中国农业银行股份有限公司 一种基于分布式计算的监控方法及系统
CN109416534A (zh) * 2016-05-04 2019-03-01 Abb瑞士股份有限公司 工厂过程自动化中的报警处置系统和方法
CN109936487A (zh) * 2019-04-19 2019-06-25 浙江中烟工业有限责任公司 一种网络广播包的实时分析与监测方法及系统
CN110032670A (zh) * 2019-04-17 2019-07-19 腾讯科技（深圳）有限公司 时序数据的异常检测方法、装置、设备及存储介质
CN110362612A (zh) * 2019-07-19 2019-10-22 中国工商银行股份有限公司 由电子设备执行的异常数据检测方法、装置和电子设备
CN110379511A (zh) * 2019-05-27 2019-10-25 夏茂 一种关于体质监测数据的分析及预警方法
CN110543965A (zh) * 2019-07-19 2019-12-06 中国工商银行股份有限公司 基线预测方法、基线预测装置、电子设备和介质
CN110569166A (zh) * 2019-08-19 2019-12-13 阿里巴巴集团控股有限公司 异常检测方法、装置、电子设备及介质
CN110728458A (zh) * 2019-10-18 2020-01-24 支付宝(杭州)信息技术有限公司 一种目标对象的风险监测方法、装置及电子设备
CN110888788A (zh) * 2019-10-16 2020-03-17 平安科技（深圳）有限公司 异常检测方法、装置、计算机设备及存储介质
CN111104736A (zh) * 2019-12-13 2020-05-05 北京瑞莱智慧科技有限公司 基于时间序列的异常数据检测方法、装置、介质和设备
CN111143169A (zh) * 2019-12-30 2020-05-12 杭州迪普科技股份有限公司 异常参数检测方法及装置、电子设备、存储介质
CN111338837A (zh) * 2020-03-02 2020-06-26 支付宝(杭州)信息技术有限公司 数据处理方法、装置、设备及介质
CN111447193A (zh) * 2020-03-23 2020-07-24 网宿科技股份有限公司 一种针对实时数据流进行异常检测的方法及装置
CN111464390A (zh) * 2020-03-31 2020-07-28 中国建设银行股份有限公司 网络应用系统监控预警方法及系统
CN111506672A (zh) * 2020-03-24 2020-08-07 平安国际智慧城市科技股份有限公司 实时分析环保监测数据的方法、装置、设备及存储介质
CN111563022A (zh) * 2020-05-12 2020-08-21 中国民航信息网络股份有限公司 一种集中式存储器监控方法和装置
CN111650345A (zh) * 2020-07-14 2020-09-11 中科三清科技有限公司 大气环境污染检测数据的处理方法、装置、设备及介质
CN111858231A (zh) * 2020-05-11 2020-10-30 北京必示科技有限公司 一种基于运维监控的单指标异常检测方法
CN111866924A (zh) * 2019-04-25 2020-10-30 中国移动通信集团安徽有限公司 性能指标监控方法、装置、计算设备及计算机存储介质
CN111860897A (zh) * 2020-08-05 2020-10-30 青岛特来电新能源科技有限公司 一种异常检测方法、装置、设备及计算机可读存储介质
CN112104503A (zh) * 2020-09-17 2020-12-18 成都思维世纪科技有限责任公司 一种基于流转模型的数据异常流转的监测分析系统及方法
CN112148722A (zh) * 2020-10-14 2020-12-29 四川长虹电器股份有限公司 一种监测数据异常的识别及处理方法和系统
CN112149860A (zh) * 2019-06-28 2020-12-29 中国电力科学研究院有限公司 一种自动异常检测方法和系统
CN112436968A (zh) * 2020-11-23 2021-03-02 恒安嘉新（北京）科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN112712113A (zh) * 2020-12-29 2021-04-27 广州品唯软件有限公司 一种基于指标的告警方法、装置及计算机系统
CN112732983A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 基于人工智能的数据检测方法、装置、服务器及存储介质
CN112817955A (zh) * 2021-02-02 2021-05-18 中国人民解放军海军航空大学青岛校区 基于回归模型的数据清洗方法
CN112862019A (zh) * 2021-04-25 2021-05-28 北京必示科技有限公司 一种动态筛选非周期性异常方法
CN113407371A (zh) * 2020-12-03 2021-09-17 腾讯科技（深圳）有限公司 数据异常监测方法、装置、计算机设备和存储介质
CN113495909A (zh) * 2020-04-06 2021-10-12 中信百信银行股份有限公司 客诉单量预警方法、装置、电子设备及存储介质
CN113656174A (zh) * 2021-08-18 2021-11-16 河北幸福消费金融股份有限公司 资源分配方法、系统、计算机设备和存储介质
US20210374755A1 (en) * 2020-05-29 2021-12-02 Sap Se Unsupervised universal anomaly detection for situation handling
CN113849333A (zh) * 2021-09-26 2021-12-28 中国地质大学（武汉） 一种基于WN-Spline基线域算法的数据中心自驱排障方法及系统
CN113850418A (zh) * 2021-09-02 2021-12-28 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置
CN115081969A (zh) * 2022-08-23 2022-09-20 中国中金财富证券有限公司 异常数据确定方法及相关装置
CN115454778A (zh) * 2022-09-27 2022-12-09 浙江大学 大规模云网络环境下的时序指标异常智能监控系统
CN116662864A (zh) * 2023-06-14 2023-08-29 同济大学 一种面向在线水质、水动力监测数据的滚动数据清洗方法
EP4261689A1 (en) * 2022-04-16 2023-10-18 Juniper Networks, Inc. Machine learning for rule evaluation
US12007865B2 (en) 2022-04-16 2024-06-11 Juniper Networks, Inc. Machine learning for rule evaluation
CN113850418B (zh) * 2021-09-02 2024-07-02 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369689A (zh) * 2011-08-11 2012-03-07 华为技术有限公司 一种网络流量的长期预测方法及装置
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
CN104899405A (zh) * 2014-03-04 2015-09-09 携程计算机技术（上海）有限公司 数据预测方法和系统以及报警方法和系统
US20150269050A1 (en) * 2014-03-18 2015-09-24 Microsoft Corporation Unsupervised anomaly detection for arbitrary time series
CN105676670A (zh) * 2014-11-18 2016-06-15 北京翼虎能源科技有限公司 用于处理能源数据的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102369689A (zh) * 2011-08-11 2012-03-07 华为技术有限公司 一种网络流量的长期预测方法及装置
CN103716180A (zh) * 2013-12-04 2014-04-09 国网上海市电力公司 基于网络流量实际预测的网络异常预警方法
CN104899405A (zh) * 2014-03-04 2015-09-09 携程计算机技术（上海）有限公司 数据预测方法和系统以及报警方法和系统
US20150269050A1 (en) * 2014-03-18 2015-09-24 Microsoft Corporation Unsupervised anomaly detection for arbitrary time series
CN105676670A (zh) * 2014-11-18 2016-06-15 北京翼虎能源科技有限公司 用于处理能源数据的方法和系统

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109416534A (zh) * 2016-05-04 2019-03-01 Abb瑞士股份有限公司 工厂过程自动化中的报警处置系统和方法
CN108572905B (zh) * 2018-04-23 2021-07-23 中国农业银行股份有限公司 一种基于分布式计算的监控方法及系统
CN108572905A (zh) * 2018-04-23 2018-09-25 中国农业银行股份有限公司 一种基于分布式计算的监控方法及系统
CN110032670A (zh) * 2019-04-17 2019-07-19 腾讯科技（深圳）有限公司 时序数据的异常检测方法、装置、设备及存储介质
CN110032670B (zh) * 2019-04-17 2022-11-29 腾讯科技（深圳）有限公司 时序数据的异常检测方法、装置、设备及存储介质
CN109936487A (zh) * 2019-04-19 2019-06-25 浙江中烟工业有限责任公司 一种网络广播包的实时分析与监测方法及系统
CN111866924A (zh) * 2019-04-25 2020-10-30 中国移动通信集团安徽有限公司 性能指标监控方法、装置、计算设备及计算机存储介质
CN110379511B (zh) * 2019-05-27 2022-03-11 康岁医院投资管理有限公司 一种关于体质监测数据的分析及预警方法
CN110379511A (zh) * 2019-05-27 2019-10-25 夏茂 一种关于体质监测数据的分析及预警方法
CN112149860A (zh) * 2019-06-28 2020-12-29 中国电力科学研究院有限公司 一种自动异常检测方法和系统
CN110362612A (zh) * 2019-07-19 2019-10-22 中国工商银行股份有限公司 由电子设备执行的异常数据检测方法、装置和电子设备
CN110543965A (zh) * 2019-07-19 2019-12-06 中国工商银行股份有限公司 基线预测方法、基线预测装置、电子设备和介质
CN110543965B (zh) * 2019-07-19 2023-01-06 中国工商银行股份有限公司 基线预测方法、基线预测装置、电子设备和介质
CN110569166A (zh) * 2019-08-19 2019-12-13 阿里巴巴集团控股有限公司 异常检测方法、装置、电子设备及介质
CN110888788A (zh) * 2019-10-16 2020-03-17 平安科技（深圳）有限公司 异常检测方法、装置、计算机设备及存储介质
CN110728458A (zh) * 2019-10-18 2020-01-24 支付宝(杭州)信息技术有限公司 一种目标对象的风险监测方法、装置及电子设备
CN110728458B (zh) * 2019-10-18 2022-07-29 支付宝(杭州)信息技术有限公司 一种目标对象的风险监测方法、装置及电子设备
CN111104736A (zh) * 2019-12-13 2020-05-05 北京瑞莱智慧科技有限公司 基于时间序列的异常数据检测方法、装置、介质和设备
CN111104736B (zh) * 2019-12-13 2021-07-13 北京瑞莱智慧科技有限公司 基于时间序列的异常数据检测方法、装置、介质和设备
CN111143169A (zh) * 2019-12-30 2020-05-12 杭州迪普科技股份有限公司 异常参数检测方法及装置、电子设备、存储介质
CN111143169B (zh) * 2019-12-30 2024-02-27 杭州迪普科技股份有限公司 异常参数检测方法及装置、电子设备、存储介质
CN111338837A (zh) * 2020-03-02 2020-06-26 支付宝(杭州)信息技术有限公司 数据处理方法、装置、设备及介质
CN111338837B (zh) * 2020-03-02 2023-08-25 支付宝(杭州)信息技术有限公司 数据处理方法、装置、设备及介质
CN111447193A (zh) * 2020-03-23 2020-07-24 网宿科技股份有限公司 一种针对实时数据流进行异常检测的方法及装置
CN111506672B (zh) * 2020-03-24 2024-05-07 平安国际智慧城市科技股份有限公司 实时分析环保监测数据的方法、装置、设备及存储介质
CN111506672A (zh) * 2020-03-24 2020-08-07 平安国际智慧城市科技股份有限公司 实时分析环保监测数据的方法、装置、设备及存储介质
CN111464390A (zh) * 2020-03-31 2020-07-28 中国建设银行股份有限公司 网络应用系统监控预警方法及系统
CN111464390B (zh) * 2020-03-31 2022-06-10 中国建设银行股份有限公司 网络应用系统监控预警方法及系统
CN113495909A (zh) * 2020-04-06 2021-10-12 中信百信银行股份有限公司 客诉单量预警方法、装置、电子设备及存储介质
CN111858231A (zh) * 2020-05-11 2020-10-30 北京必示科技有限公司 一种基于运维监控的单指标异常检测方法
CN111563022B (zh) * 2020-05-12 2023-09-05 中国民航信息网络股份有限公司 一种集中式存储器监控方法和装置
CN111563022A (zh) * 2020-05-12 2020-08-21 中国民航信息网络股份有限公司 一种集中式存储器监控方法和装置
US20210374755A1 (en) * 2020-05-29 2021-12-02 Sap Se Unsupervised universal anomaly detection for situation handling
US11455639B2 (en) * 2020-05-29 2022-09-27 Sap Se Unsupervised universal anomaly detection for situation handling
CN111650345A (zh) * 2020-07-14 2020-09-11 中科三清科技有限公司 大气环境污染检测数据的处理方法、装置、设备及介质
CN111860897A (zh) * 2020-08-05 2020-10-30 青岛特来电新能源科技有限公司 一种异常检测方法、装置、设备及计算机可读存储介质
CN112104503A (zh) * 2020-09-17 2020-12-18 成都思维世纪科技有限责任公司 一种基于流转模型的数据异常流转的监测分析系统及方法
CN112104503B (zh) * 2020-09-17 2022-08-16 成都思维世纪科技有限责任公司 一种基于流转模型的数据异常流转的监测分析系统及方法
CN112148722B (zh) * 2020-10-14 2022-06-03 四川长虹电器股份有限公司 一种监测数据异常的识别及处理方法和系统
CN112148722A (zh) * 2020-10-14 2020-12-29 四川长虹电器股份有限公司 一种监测数据异常的识别及处理方法和系统
CN112436968B (zh) * 2020-11-23 2023-10-17 恒安嘉新（北京）科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN112436968A (zh) * 2020-11-23 2021-03-02 恒安嘉新（北京）科技股份公司 一种网络流量的监测方法、装置、设备及存储介质
CN113407371B (zh) * 2020-12-03 2024-05-10 腾讯科技（深圳）有限公司 数据异常监测方法、装置、计算机设备和存储介质
CN113407371A (zh) * 2020-12-03 2021-09-17 腾讯科技（深圳）有限公司 数据异常监测方法、装置、计算机设备和存储介质
CN112712113B (zh) * 2020-12-29 2024-04-09 广州品唯软件有限公司 一种基于指标的告警方法、装置及计算机系统
CN112712113A (zh) * 2020-12-29 2021-04-27 广州品唯软件有限公司 一种基于指标的告警方法、装置及计算机系统
CN112732983A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 基于人工智能的数据检测方法、装置、服务器及存储介质
CN112732983B (zh) * 2020-12-31 2023-09-12 平安科技（深圳）有限公司 基于人工智能的数据检测方法、装置、服务器及存储介质
CN112817955A (zh) * 2021-02-02 2021-05-18 中国人民解放军海军航空大学青岛校区 基于回归模型的数据清洗方法
CN112817955B (zh) * 2021-02-02 2022-07-01 中国人民解放军海军航空大学青岛校区 基于回归模型的数据清洗方法
CN112862019A (zh) * 2021-04-25 2021-05-28 北京必示科技有限公司 一种动态筛选非周期性异常方法
CN113656174A (zh) * 2021-08-18 2021-11-16 河北幸福消费金融股份有限公司 资源分配方法、系统、计算机设备和存储介质
CN113850418B (zh) * 2021-09-02 2024-07-02 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置
CN113850418A (zh) * 2021-09-02 2021-12-28 支付宝(杭州)信息技术有限公司 时间序列中异常数据的检测方法和装置
CN113849333A (zh) * 2021-09-26 2021-12-28 中国地质大学（武汉） 一种基于WN-Spline基线域算法的数据中心自驱排障方法及系统
EP4261689A1 (en) * 2022-04-16 2023-10-18 Juniper Networks, Inc. Machine learning for rule evaluation
US12007865B2 (en) 2022-04-16 2024-06-11 Juniper Networks, Inc. Machine learning for rule evaluation
CN115081969A (zh) * 2022-08-23 2022-09-20 中国中金财富证券有限公司 异常数据确定方法及相关装置
CN115454778B (zh) * 2022-09-27 2023-08-08 浙江大学 大规模云网络环境下的时序指标异常智能监控系统
CN115454778A (zh) * 2022-09-27 2022-12-09 浙江大学 大规模云网络环境下的时序指标异常智能监控系统
CN116662864A (zh) * 2023-06-14 2023-08-29 同济大学 一种面向在线水质、水动力监测数据的滚动数据清洗方法
CN116662864B (zh) * 2023-06-14 2024-04-23 同济大学 一种面向在线水质、水动力监测数据的滚动数据清洗方法

Also Published As

Publication number Publication date
CN109542740B (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN109542740A (zh) 异常检测方法及装置
CN107528722B (zh) 一种时间序列中异常点检测方法及装置
Goebel et al. A comparison of three data-driven techniques for prognostics
dos Santos Lima et al. Predicting failures in hard drives with LSTM networks
CN105871634B (zh) 检测集群异常的方法及应用、管理集群的系统
JP6869347B2 (ja) リスク制御イベント自動処理の方法および装置
CN110874674A (zh) 一种异常检测方法、装置及设备
CN110858072B (zh) 设备运行状态的确定方法及装置
JP2012226511A (ja) 歩留まり予測システムおよび歩留まり予測プログラム
Gensler et al. Novel Criteria to Measure Performance of Time Series Segmentation Techniques.
Baba et al. Spatiotemporal data cleansing for indoor RFID tracking data
Senvar et al. Supply chain performance measurement: an integrated DEMATEL and Fuzzy-ANP approach
CN109976986B (zh) 异常设备的检测方法及装置
CN110458581B (zh) 商户业务周转异常的识别方法及装置
Rosswog et al. Efficiently detecting clusters of mobile objects in the presence of dense noise
IDRI et al. Software cost estimation by fuzzy analogy for ISBSG repository
Bhattacharya et al. Fuzzy data mining: a literature survey and classification framework
Haque et al. Contextual outlier detection in sensor data using minimum spanning tree based clustering
Last et al. Condition-based maintenance with multi-target classification models
Pancerz et al. Ant-based clustering in delta episode information systems based on temporal rough set flow graphs
Navin et al. A classification framework using filter–wrapper based feature selection approach for the diagnosis of congenital heart failure
Urbanek et al. On the value of parameters of use case points method
Kumar et al. Outlier detection and removal: an efficient and effective concept in healthcare sector
US20200005910A1 (en) Data folding and unfolding
CN109656737A (zh) 异常信息的统计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant