CN112818066A - 一种时序数据异常检测方法、装置及电子设备和存储介质 - Google Patents

一种时序数据异常检测方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN112818066A
CN112818066A CN201911120538.5A CN201911120538A CN112818066A CN 112818066 A CN112818066 A CN 112818066A CN 201911120538 A CN201911120538 A CN 201911120538A CN 112818066 A CN112818066 A CN 112818066A
Authority
CN
China
Prior art keywords
data
time sequence
detected
sequence data
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911120538.5A
Other languages
English (en)
Inventor
陈晓帆
翟云箭
冯都升
古亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN201911120538.5A priority Critical patent/CN112818066A/zh
Publication of CN112818066A publication Critical patent/CN112818066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Fuzzy Systems (AREA)
  • Algebra (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本申请公开了一种时序数据异常检测方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。本申请提供的时序数据异常检测方法，对于不同类型的时序数据均采用多种不同的算法得出结果，既能保证算法的检测准确度，也可以提高系统的健壮性和普适性。

Description

一种时序数据异常检测方法、装置及电子设备和存储介质
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种时序数据异常检测方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
运维数据的体量随着运维规模的快速扩张呈现出爆发式地增长，在相关技术中，可以采用基于机器学习的异常检测方案，使用有标签的数据进行监督学习，进行特征工程和数据预处理，使用有监督算法对这些数据进行数据的训练与建模。
可见，上述方案需要大量的带有标注的历史数据，数据标注需要业务人员操作，这里会耗费很多的人力和时间。另外，有监督的算法对数据建模以后，只能对检测一部分的时序数据，具有普适性，当数据特征改变或者有很多不同的时序数据时，需要改变算法，重新建模。
因此，如何提高数据异常检测算法的普适性是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种时序数据异常检测方法、装置及一种电子设备和一种计算机可读存储介质，提高了数据异常检测算法的普适性。
为实现上述目的，本申请提供了一种时序数据异常检测方法，包括：
获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；
基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；
当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
其中，对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型，包括：
对所述待检测时序数据进行预处理得到目标时序数据；
对所述目标时序数据进行连续差分计算得到所述目标时序数据的差分均值；
判断所述差分均值是否小于预设值；若是，则判定所述待检测时序数据的类型为周期性数据，若否，则判定所述待检测时序数据的类型为非周期性数据。
其中，对所述待检测时序数据进行预处理得到目标时序数据，包括：
对所述待检测时序数据进行平滑处理得到中间时序数据；
对所述中间时序数据进程归一化处理得到所述目标时序数据。
其中，所述判定所述待检测时序数据异常之后，还包括：
确定所述待检测时序数据中异常数据的时间点，在所述历史数据中确定与所述时间点相同时间点的候选数据，并利用所述候选数据更新所述异常数据。
其中，所述周期性数据对应的算法包括同比算法、同比振幅算法和EWMA+Nsigma算法中的任一项或任几项的组合；
所述非周期性数据对应的算法包括非监督的孤立森林算法、Nsigma算法、最小二乘算法、概率分布算法中的任一项或任几项的组合。
其中，还包括：
获取目标主机中多个所述监控项的检测结果；
基于所有所述监控项的历史数据利用目标算法对所有监控项进行分类；
若同一类别下的所有监控项的检测结果均为异常，则判定所述目标主机异常。
其中，所述目标算法包括DTW算法或Kmeans算法。
为实现上述目的，本申请提供了一种时序数据异常检测装置，包括：
第一分类模块，用于获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；
检测模块，用于基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；
第一判定模块，用于当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述时序数据异常检测方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述时序数据异常检测方法的步骤。
通过以上方案可知，本申请提供的一种时序数据异常检测方法，包括：获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
本申请提供的时序数据异常检测方法，对于不同类型的时序数据采用不同的算法进行检测，面对多样化的数据达到良好的检测效果。另外，采用统计投票的方式，对于不同类型的时序数据均采用多种不同的算法得出结果，既能保证算法的检测准确度，也可以提高系统的健壮性和普适性。本申请还公开了一种时序数据异常检测装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种时序数据异常检测方法的流程图；
图2为根据一示例性实施例示出的另一种时序数据异常检测方法的流程图；
图3为根据一示例性实施例示出的又一种时序数据异常检测方法的流程图；
图4为根据一示例性实施例示出的一种时序数据异常检测装置的结构图；
图5为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种时序数据异常检测方法，提高了数据异常检测算法的普适性。
参见图1，根据一示例性实施例示出的一种时序数据异常检测方法的流程图，如图1所示，包括：
S101：获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；
本实施例的目的为基于时序数据对系统进行异常检测，执行主体可以为监控系统，其中，每一个监控项对应一组时序数据。在本步骤中，获取一个或多个监控项的待检测时序数据和历史数据，对每个监控项对应的待检测时序数据进行分别处理。当然还可以获取监控系统的系统信息，系统信息记录监控项的一些标签信息等，如该监控项属于的主机。
对于待检测时序数据进行周期性判断，从而对于不同监控项的时序数据进行分类处理，达到更好的检测效果。对于历史数据，可以对其进行预处理，例如缺少数据的补偿，重复数据的去重等。
S102：基于所述历史数据，利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；
在本步骤中，对于不同类型的时序数据采用多种不同的算法进行检测，既能保证算法的检测准确度，也可以提高系统的健壮性和普适性。其中，周期性数据对应的算法包括同比算法、同比振幅算法和EWMA+Nsigma算法等，非周期性数据对应的算法包括非监督的孤立森林算法、Nsigma算法、最小二乘算法、概率分布算法等。
其中，同比算法：对于待检测时序数据中的每个时间点，利用历史数据中相同时间点的值与其进行比较，进而得到当前时间点是否为异常行为。同比振幅算法：对于待检测时序数据中的每个时间点计算振幅，即计算当前时间点与上一时间点的时序值的差值与当前时间点的时序值的比值，比较当前时间点是振幅与历史数据中相同时间的振幅，从而得到当前时间点是否为异常行为。
EWMA(中文全称：指数加权移动平均，英文全称：Exponential Weighted MovingAverage)算法为对历史数据中不同的观察值分别给予不同的权数，按不同权数求得移动平均值，并以最后的移动平均值为基础，确定预测值的方法。Nsigma：假设待检测时序数据中只存在随机误差，依据历史数据计算得到标准偏差，按一定概率确定一个区间，若待检测时序数据超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除，N为一个误差阈值的设置。
孤立森林为检测分布稀疏且离密度高的群体较远的离群异常点的一种无监督机器学习方法。最小二乘是一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合，来判断时序数据异常点。概率分布用于表述随机变量取值的概率规律，事件的概率表示了一次试验中某一个结果发生的可能性大小。若要全面了解试验，则必须知道试验的全部可能结果及各种可能结果发生的概率，即随机试验的概率分布。
S103：当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
在本实例中，采用统计投票的方式，每个算法的检测检测结果为一票，可以设置判定监控项异常的预设条件，例如异常结果的数量超过预设值或异常结果超过预设比例等。采用统计投票的方式，不仅可以提高异常检测的准确度，还可以提升系统的健壮性，符合复杂监控系统的要求。在判定监控项异常时，可以对发送告警进行延时抑制，保证运维人员不会受到太多的告警。
本申请实施例提供的时序数据异常检测方法，对于不同类型的时序数据采用不同的算法进行检测，面对多样化的数据达到良好的检测效果。另外，采用统计投票的方式，对于不同类型的时序数据均采用多种不同的算法得出结果，既能保证算法的检测准确度，也可以提高系统的健壮性和普适性。
本申请实施例公开了一种时序数据异常检测方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图2，根据一示例性实施例示出的另一种时序数据异常检测方法的流程图，如图2所示，包括：
S201：获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行预处理得到目标时序数据；
本实施例提供的一种具体的周期性判断方法，首先在本步骤中对获取的待检测时序数据进行预处理得到目标时序数据。具体的，对所述待检测时序数据进行预处理得到目标时序数据的步骤包括：对所述待检测时序数据进行平滑处理得到中间时序数据；对所述中间时序数据进程归一化处理得到所述目标时序数据。在具体实施中，首先对数据进行平滑处理消除毛刺对于周期判定的影响，然后进行周期时间归一化的操作，这样可以尽大可能的保留数据的趋势特征。
S202：对所述目标时序数据进行连续差分计算得到所述目标时序数据的差分均值；
在本步骤中，计算目标时序数据的差分序列，即计算目标时序数据中的所有差分至St-St-1，St为t时刻的时序值，并将所有St-St-1的均值作为差分均值。
S203：判断所述差分均值是否小于预设值；若是，则判定所述待检测时序数据的类型为周期性数据，若否，则判定所述待检测时序数据的类型为非周期性数据。
在具体实施中，若差分均值小于预设值，则待检测时序数据为周期性数据，否则为非周期性数据。可见，本实施例提供的周期性判断方法，准确度高且抗干扰性强。
S204：基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；
S205：当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
S206：确定所述待检测时序数据中异常数据的时间点，在所述历史数据中确定与所述时间点相同时间点的候选数据，并利用所述候选数据更新所述异常数据。
在本实施例中，若判定待检测时序数据中某一时间的时序数据异常，则利用历史数据中相同时间的候选数据进行替换。可以理解的是，此时的历史数据包括待检测时序数据，因此存在异常数据，需要对其进行更新。历史数据中存在多个与异常数据的时间点相同的时间点，这些时间点对应的数据为本步骤中的候选数据。在具体实施中，可以任选其中一个候选数据对异常数据进行替换，也可以将异常数据替换为所有候选数据的平均值，在此不进行具体限定。
由此可见，在本实施例中对待检测时序数据进行平滑处理和归一化处理，消除毛刺对于周期判定的影响并尽大可能的保留数据的趋势特征，周期性判断的准确度较高且抗干扰性强，进而提高了异常检测的准确度。
优选的，本申请还可以对多个监控项进行关联分析，以提高异常检测的准确度。具体的，如图3所示，本实施例提供的时序数据异常检测方法，还包括：
S301：获取目标主机中多个所述监控项的检测结果；
在实际应用中，监控系统的某台主机上存在多个监控项是一个常见的事情，由于某个监控项的异常会影响其他的监控项，因此在本实施例中对同一台主机的多个监控项进行关联分析检测，以提高整个系统的异常检测准确度。
S302：基于所有所述监控项的历史数据利用目标算法对所有监控项进行分类；
在本步骤中，利用目标算法对目标主机内的所有监控项进行分类，即检测多个监控项之间是否存在关联性。此处的目标算法可以包括DTW算法、Kmeans算法等，Keams是一种无监督的按照距离聚类的机器学习方法，可以按照输入的类别个数自动聚类，DTW(中文全称：动态时间归整算法，英文全称：Dynamic Time Warping)是一种判断不同时序数据相似性的一个算法。利用目标算法可以计算每两个监控项之间的距离值，将距离值小于预设值的监控项归为一类，同一类别下的监控项可以相互影响。
S303：若同一类别下的所有监控项的检测结果均为异常，则判定所述目标主机异常。
在本步骤中，若同一类别下的所有监控项的检测结果均为异常，则判定目标主机异常，这样可以减少误判，提高准确度，提高算法智能程度的鲁棒性。
下面对本申请实施例提供的一种时序数据异常检测装置进行介绍，下文描述的一种时序数据异常检测装置与上文描述的一种时序数据异常检测方法可以相互参照。
参见图4，根据一示例性实施例示出的一种时序数据异常检测装置的结构图，如图4所示，包括：
第一分类模块401，用于获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；
检测模块402，用于基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；
第一判定模块403，用于当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
本申请实施例提供的时序数据异常检测装置，对于不同类型的时序数据采用不同的算法进行检测，面对多样化的数据达到良好的检测效果。另外，采用统计投票的方式，对于不同类型的时序数据均采用多种不同的算法得出结果，既能保证算法的检测准确度，也可以提高系统的健壮性和普适性。
在上述实施例的基础上，作为一种优选实施方式，所述第一分类模块401包括：
获取单元，用于获取监控项的待检测时序数据和历史数据；
预处理单元，用于对所述待检测时序数据进行预处理得到目标时序数据；
计算单元，用于对所述目标时序数据进行连续差分计算得到所述目标时序数据的差分均值；
判断单元，用于判断所述差分均值是否小于预设值；若是，则判定所述待检测时序数据的类型为周期性数据，若否，则判定所述待检测时序数据的类型为非周期性数据。
在上述实施例的基础上，作为一种优选实施方式，所述预处理单元具体为对所述待检测时序数据进行平滑处理得到中间时序数据，对所述中间时序数据进程归一化处理得到所述目标时序数据的单元。
在上述实施例的基础上，作为一种优选实施方式，还包括：
更新模块，用于确定所述待检测时序数据中异常数据的时间点，在所述历史数据中确定与所述时间点相同时间点的候选数据，并利用所述候选数据更新所述异常数据。
在上述实施例的基础上，作为一种优选实施方式，所述周期性数据对应的算法包括同比算法、同比振幅算法和EWMA+Nsigma算法中的任一项或任几项的组合；所述非周期性数据对应的算法包括非监督的孤立森林算法、Nsigma算法、最小二乘算法、概率分布算法中的任一项或任几项的组合。
在上述实施例的基础上，作为一种优选实施方式，还包括：
获取模块，用于获取目标主机中多个所述监控项的检测结果；
第二分类模块，用于基于所有所述监控项的历史数据利用目标算法对所有监控项进行分类；
第二判定模块，用于若同一类别下的所有监控项的检测结果均为异常，则判定所述目标主机异常。
在上述实施例的基础上，作为一种优选实施方式，所述目标算法包括DTW算法或Kmeans算法。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请还提供了一种电子设备，参见图5，本申请实施例提供的一种电子设备500的结构图，如图5所示，可以包括处理器11和存储器12。该电子设备500还可以包括多媒体组件13，输入/输出(I/O)接口14，以及通信组件15中的一者或多者。
其中，处理器11用于控制该电子设备500的整体操作，以完成上述的时序数据异常检测方法中的全部或部分步骤。存储器12用于存储各种类型的数据以支持在该电子设备500的操作，这些数据例如可以包括用于在该电子设备500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件13可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器12或通过通信组件15发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口14为处理器11和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件15用于该电子设备500与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件15可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的时序数据异常检测方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述时序数据异常检测方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器12，上述程序指令可由电子设备500的处理器11执行以完成上述的时序数据异常检测方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种时序数据异常检测方法，其特征在于，包括：
获取监控项的待检测时序数据和历史数据，对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；
基于所述历史数据，利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；
当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
2.根据权利要求1所述时序数据异常检测方法，其特征在于，对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型，包括：
对所述待检测时序数据进行预处理得到目标时序数据；
对所述目标时序数据进行连续差分计算得到所述目标时序数据的差分均值；
判断所述差分均值是否小于预设值；若是，则判定所述待检测时序数据的类型为周期性数据，若否，则判定所述待检测时序数据的类型为非周期性数据。
3.根据权利要求2所述时序数据异常检测方法，其特征在于，对所述待检测时序数据进行预处理得到目标时序数据，包括：
对所述待检测时序数据进行平滑处理得到中间时序数据；
对所述中间时序数据进程归一化处理得到所述目标时序数据。
4.根据权利要求1所述时序数据异常检测方法，其特征在于，所述判定所述待检测时序数据异常之后，还包括：
确定所述待检测时序数据中异常数据的时间点，在所述历史数据中确定与所述时间点相同时间点的候选数据，并利用所述候选数据更新所述异常数据。
5.根据权利要求1所述时序数据异常检测方法，其特征在于，所述周期性数据对应的算法包括同比算法、同比振幅算法和EWMA+Nsigma算法中的任一项或任几项的组合；
所述非周期性数据对应的算法包括非监督的孤立森林算法、Nsigma算法、最小二乘算法、概率分布算法中的任一项或任几项的组合。
6.根据权利要求1至5中任一项所述时序数据异常检测方法，其特征在于，还包括：
获取目标主机中多个所述监控项的检测结果；
基于所有所述监控项的历史数据，利用目标算法对所有监控项进行分类；
若同一类别下的所有监控项的检测结果均为异常，则判定所述目标主机异常。
7.根据权利要求6所述时序数据异常检测方法，其特征在于，所述目标算法包括DTW算法或Kmeans算法。
8.一种时序数据异常检测装置，其特征在于，包括：
第一分类模块，用于获取监控项的待检测时序数据和历史数据，并对所述待检测时序数据进行周期性分类得到所述待检测时序数据的类型；其中，所述类型包括周期性数据和非周期性数据；
检测模块，用于基于所述历史数据利用所述类型对应的算法对所述待检测时序数据进行检测，得到每个所述算法对应的检测结果；
第一判定模块，用于当所有所述检测结果中异常结果的数量满足预设条件时，判定所述监控项的检测结果为异常。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述时序数据异常检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述时序数据异常检测方法的步骤。
CN201911120538.5A 2019-11-15 2019-11-15 一种时序数据异常检测方法、装置及电子设备和存储介质 Pending CN112818066A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911120538.5A CN112818066A (zh) 2019-11-15 2019-11-15 一种时序数据异常检测方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911120538.5A CN112818066A (zh) 2019-11-15 2019-11-15 一种时序数据异常检测方法、装置及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112818066A true CN112818066A (zh) 2021-05-18

Family

ID=75851688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911120538.5A Pending CN112818066A (zh) 2019-11-15 2019-11-15 一种时序数据异常检测方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112818066A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093985A (zh) * 2021-06-09 2021-07-09 中国南方电网有限责任公司超高压输电公司广州局 传感器数据链路异常检测方法、装置和计算机设备
CN113254253A (zh) * 2021-07-14 2021-08-13 云智慧（北京）科技有限公司 一种数据处理方法、系统及设备
CN113915153A (zh) * 2021-09-30 2022-01-11 山东浪潮通软信息科技有限公司 一种矿用通风机异常检测的方法、系统、设备和存储介质
CN114547145A (zh) * 2022-02-21 2022-05-27 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN114726749A (zh) * 2022-03-02 2022-07-08 阿里巴巴（中国）有限公司 数据异常检测模型获取方法、装置、设备、介质及产品
CN114722972A (zh) * 2022-06-01 2022-07-08 新华三人工智能科技有限公司 一种异常检测的方法及装置
CN114997313A (zh) * 2022-06-07 2022-09-02 厦门大学 一种海洋在线监测数据的异常检测方法
CN115473789A (zh) * 2022-09-16 2022-12-13 深信服科技股份有限公司 告警处理方法以及相关设备
CN116010485A (zh) * 2023-03-28 2023-04-25 杭州比智科技有限公司 一种动态周期时序的无监督异常检测方法
CN117272292A (zh) * 2023-10-26 2023-12-22 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563548A (zh) * 2018-03-19 2018-09-21 阿里巴巴集团控股有限公司 异常检测方法及装置
CN109978379A (zh) * 2019-03-28 2019-07-05 北京百度网讯科技有限公司 时序数据异常检测方法、装置、计算机设备和存储介质
CN110059775A (zh) * 2019-05-22 2019-07-26 湃方科技(北京)有限责任公司 旋转型机械设备异常检测方法及装置
CN110213125A (zh) * 2019-05-23 2019-09-06 南京维拓科技股份有限公司 一种云环境下基于时序数据的异常检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563548A (zh) * 2018-03-19 2018-09-21 阿里巴巴集团控股有限公司 异常检测方法及装置
CN109978379A (zh) * 2019-03-28 2019-07-05 北京百度网讯科技有限公司 时序数据异常检测方法、装置、计算机设备和存储介质
CN110059775A (zh) * 2019-05-22 2019-07-26 湃方科技(北京)有限责任公司 旋转型机械设备异常检测方法及装置
CN110213125A (zh) * 2019-05-23 2019-09-06 南京维拓科技股份有限公司 一种云环境下基于时序数据的异常检测系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093985A (zh) * 2021-06-09 2021-07-09 中国南方电网有限责任公司超高压输电公司广州局 传感器数据链路异常检测方法、装置和计算机设备
CN113254253A (zh) * 2021-07-14 2021-08-13 云智慧（北京）科技有限公司 一种数据处理方法、系统及设备
CN113254253B (zh) * 2021-07-14 2021-11-02 云智慧（北京）科技有限公司 一种数据处理方法、系统及设备
CN113915153A (zh) * 2021-09-30 2022-01-11 山东浪潮通软信息科技有限公司 一种矿用通风机异常检测的方法、系统、设备和存储介质
CN114547145B (zh) * 2022-02-21 2024-01-26 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN114547145A (zh) * 2022-02-21 2022-05-27 苏州浪潮智能科技有限公司 一种时序数据异常检测方法、系统、存储介质及设备
CN114726749A (zh) * 2022-03-02 2022-07-08 阿里巴巴（中国）有限公司 数据异常检测模型获取方法、装置、设备、介质及产品
CN114726749B (zh) * 2022-03-02 2023-10-31 阿里巴巴（中国）有限公司 数据异常检测模型获取方法、装置、设备及介质
CN114722972A (zh) * 2022-06-01 2022-07-08 新华三人工智能科技有限公司 一种异常检测的方法及装置
CN114997313A (zh) * 2022-06-07 2022-09-02 厦门大学 一种海洋在线监测数据的异常检测方法
CN114997313B (zh) * 2022-06-07 2024-05-07 厦门大学 一种海洋在线监测数据的异常检测方法
CN115473789A (zh) * 2022-09-16 2022-12-13 深信服科技股份有限公司 告警处理方法以及相关设备
CN115473789B (zh) * 2022-09-16 2024-02-27 深信服科技股份有限公司 告警处理方法以及相关设备
CN116010485A (zh) * 2023-03-28 2023-04-25 杭州比智科技有限公司 一种动态周期时序的无监督异常检测方法
CN117272292A (zh) * 2023-10-26 2023-12-22 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及计算机可读存储介质
CN117272292B (zh) * 2023-10-26 2024-02-27 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN112818066A (zh) 一种时序数据异常检测方法、装置及电子设备和存储介质
US10257211B2 (en) Method, apparatus, and computer-readable medium for detecting anomalous user behavior
US20210334656A1 (en) Computer-implemented method, computer program product and system for anomaly detection and/or predictive maintenance
Qahtan et al. A pca-based change detection framework for multidimensional data streams: Change detection in multidimensional data streams
US9842302B2 (en) Population-based learning with deep belief networks
US9661010B2 (en) Security log mining devices, methods, and systems
CN113518011B (zh) 异常检测方法和装置、电子设备及计算机可读存储介质
TW201933189A (zh) 無須先備領域知識建立活動或行為模型及自動偵測目標系統異常活動或行為之偵測方法及系統
CN112148768A (zh) 一种指标时间序列异常检测方法、系统及存储介质
CN112188531A (zh) 异常检测方法、装置、电子设备及计算机存储介质
US20210158161A1 (en) Methods and Systems for Detecting Spurious Data Patterns
CN110717509B (zh) 基于树分裂算法的数据样本分析方法及装置
US20230176562A1 (en) Providing an alarm relating to anomaly scores assigned to input data method and system
CN112348261A (zh) 一种交易量预测方法、设备、装置及存储介质
Tran et al. Change detection in streaming data in the era of big data: models and issues
US11698628B2 (en) System, method, and computer program product for optimizing a manufacturing process
CN113284002A (zh) 用电数据异常检测方法、装置、计算机设备和存储介质
CN108399115B (zh) 一种运维操作检测方法、装置及电子设备
CN117094184B (zh) 基于内网平台的风险预测模型的建模方法、系统及介质
CN115769235A (zh) 提供与训练函数的准确度有关的警报的方法和系统
US9865158B2 (en) Method for detecting false alarm
Mejri et al. A new time adjusting control limits chart for concept drift detection
US20140188772A1 (en) Computer-implemented methods and systems for detecting a change in state of a physical asset
Wang et al. Adaptive change detection for long-term machinery monitoring using incremental sliding-window
CN114385472A (zh) 一种异常数据的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination