CN112685273A - 异常检测方法、装置、计算机设备和存储介质 - Google Patents
异常检测方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112685273A CN112685273A CN202011596685.2A CN202011596685A CN112685273A CN 112685273 A CN112685273 A CN 112685273A CN 202011596685 A CN202011596685 A CN 202011596685A CN 112685273 A CN112685273 A CN 112685273A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- threshold
- prediction model
- historical
- target time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000012544 monitoring process Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000009499 grossing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 32
- 230000005856 abnormality Effects 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 19
- 230000000737 periodic effect Effects 0.000 claims description 15
- 230000002159 abnormal effect Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 21
- 230000003287 optical effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请提出一种异常检测方法、装置、计算机设备和存储介质，其中，方法包括：获取历史时间序列，对历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列，根据目标时间序列的周期性，确定预测模型，采用预测模型对目标时间序列进行预测，以确定阈值时间序列，根据阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测，基于历史时间序列中的数据，以及数据的周期性特点，确定动态阈值，以实现自适应不同的监控数据，提高了异常检测的准确性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种异常检测方法、装置、计算机设备和存储介质。
背景技术
随着信息技术应用的快速渗透，以及大数据和人工智能的普及，业务系统已广泛部署应用在各行各业尤其是医疗、大型企业、金融、教育等，用户对业务系统的使用不断增加，依赖性越来越高，业务系统已经不再仅作为当后台支持功能，而成为了企业业务发展的直接驱动力，尤其是大中型企业和国家机构的业务系统建设已经形成体系规模，成为企业运作不可获取的一部分。
然而，在对企业业务、设备性能和网络流量管理的过程中，业务系统在日常的运行中，存在运行趋势的动态变化，现有的异常检测的方式，无法满足不同业务场景的需求，导致异常无法及时发现和预警。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种异常检测方法，基于历史数据，以及数据的周期性特点，确定动态阈值，以实现自适应不同的监控数据，提高了异常检测的准确性。
本申请的第二个目的在于提出一种异常检测装置。
本申请的第三个目的在于提出一种计算机设备。
本申请的第四个目的在于提出一种非临时性计算机可读存储介质。
本申请的第五个目的在于提出一种计算机程序产品。
为达上述目的，本申请第一方面实施例提出了一种异常检测方法，包括：
获取历史时间序列；
对所述历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列；
根据所述目标时间序列的周期性，确定预测模型；
采用所述预测模型对所述目标时间序列进行预测，以确定阈值时间序列；
根据所述阈值时间序列，对所述历史时间序列之后采集的监测数据进行异常检测。
为达上述目的，本申请第二方面实施例提出了一种异常检测装置，包括：
获取模块，用于获取历史时间序列；
处理模块，用于对所述历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列；
确定模块，用于根据所述目标时间序列的周期性，确定预测模型；
预测模块，用于采用所述预测模型对所述目标时间序列进行预测，以确定阈值时间序列；
识别模块，用于根据所述阈值时间序列，对所述历史时间序列之后采集的监测数据进行异常检测。
为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如第一方面所述的异常检测方法。
为达上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的异常检测方法。
为了实现上述目的，本申请第五方面实施例提出了一种非临时性计算机可读存储介质，当所述计算机程序产品中的指令由处理器执行时，执行如第一方面所述的异常检测方法。
本申请实施例所提供的技术方案可以包含吐下的有益效果：
获取历史时间序列，对历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列，根据目标时间序列的周期性，确定预测模型，采用预测模型对目标时间序列进行预测，以确定阈值时间序列，根据阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测，基于历史数据，以及数据的周期性特点，确定动态阈值，以实现自适应不同的监控数据，提高了异常检测的准确性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种异常检测方法的流程示意图；
图2为本申请实施例提供的另一种异常检测方法的流程示意图；
图3为本申请实施例提供的另一种异常检测方法的流程示意图；
图4为本申请实施例提供的一种异常检测装置的结构示意图；
图5示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的异常检测方法、装置、计算机设备和存储介质。
图1为本申请实施例所提供的一种异常检测方法的流程示意图。
如图1所示，该方法包括以下步骤：
步骤101，获取历史时间序列。
本实施例的一个示例中，采用设定的时间窗采集处于时间窗内的历史时间序列。
本实施例中，历史时间序列，包含多个历史数据，每个历史数据具有对应的时间。历史时间序列中的数据和业务检测场景具有对应关系，例如，业务检测场景为，监测电脑中央处理器CPU的使用率的异常情况。
步骤102，对历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列。
本实施例中，通过平滑处理，去除历史时间序列中的多个历史数据中的噪声数据，因为，在正常情况下，历史时间序列中的多个历史数据的分布是较为均匀的，不是出现过大值或过小值，从而，通过平滑处理，将历史数据中的极大值和极小值去除，其中，极大值和极小值可能为异常时刻对应的异常值，从而去除了异常值的干扰，得到目标时间序列。
步骤103，根据目标时间序列的周期性，确定预测模型。
本实施例中，目标时间序列可以呈现周期性或非周期性。而目标时间序列呈现周期性时对应的预测模型和呈现非周期性时对应的模型并不相同。目标时间序列呈现周期性时，可采用线性模型作为预测模型，以对目标时间序列呈现的各个周期性间的线性特点进行拟合，以确定数据的变化趋势；在目标时间序列呈现非周期性时，由于不存在线性特性，从而可采用神经网络模型作为预测模型，以确定数据的变化趋势。
步骤104，采用预测模型对目标时间序列进行预测，以确定阈值时间序列。
其中，阈值时间序列中，包含各个时刻对应的用于对监测值的异常情况进行识别的阈值。
本实施例中，目标时间序列是根据一定时间跨度内的历史数据，采用相应的预测模型对变化趋势进行预测，可自适应不同的数据，以实现动态确定阈值时间序列，相比与相关技术中，采用人工凭借经验确定静态阈值的方式，满足了不同业务场景的数据变化需求，提高了阈值时间序列确定的准确性。
步骤105，根据阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测。
在本实施例的一种实现方式中，将历史时间序列之后采集的监测数据与确定的阈值时间序列进行对比，若监测数据大于或等于阈值时间序列中对应的阈值，则识别为异常；若监测数据小于阈值时间序列中对应的阈值，则识别为正常。
在本实施例的另一种时间方式中，将历史时间序列之后采集的监测数据与确定的阈值时间序列进行对比，若监测数据未处于阈值时间序列中对应阈值的范围内，则识别为异常；若监测数据处于阈值时间序列中对应阈值的范围内，则识别为正常。
在本申请实施例的一种实现方式中，可以绘制出历史时间序列之后采集的监测数据，与阈值时间序列对应的数据，以使得用户可以直观查看监测数据与阈值时间序列的差值关系，以识别出异常的数据。
本实施例的异常监测方法中，获取历史时间序列，对历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列，根据目标时间序列的周期性，确定预测模型，采用预测模型对目标时间序列进行预测，以确定阈值时间序列，根据阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测，基于历史数据，以及数据的周期性特点，确定动态阈值，以实现自适应不同的监控数据，提高了异常检测的准确性。
基于上一实施例，本实施例提供了另一种异常检测方法，说明了根据目标时间序列中数据自身变化特点，区分出周期型和非周期型这两种不同形态的数据，并采用不同的预测模型进行预测，提高了模型预测的准确性。图2为本申请实施例提供的另一种异常检测方法的流程示意图。
如图2所示，步骤103可以包括以下步骤：
步骤201，确定目标时间序列是否呈周期性。
步骤202，确定目标时间序列的周期性，若目标时间序列呈现周期性，则将自回归模型作为预测模型。
其中，自回归模型，是一种拟合模型，例如为Holt-Winter(Triple/Three OrderExponential Smoothing，三次指数平滑)模型，该模型可以是采用L-BFJS方式进行训练得到的，以便模型参数快速收敛。其中，L-BFGS算法是有限内存中进行BFGS算法，L是有限内存limited memory。
作为本申请实施例的一种实现方式，目标时间序列具有多个子时间序列，分别对应不同周期，也就是说若目标时间序列呈现周期性，即目标时间序列中的多个子时间序列是呈现周期性的，根据不同周期内对应的子目标时间序列的相似度，确定所属的类别，其中，子目标时间序列的相似度指示了不同子目标时间序列中数据分布的相似性，根据类别，确定预测模型所采用的目标函数。
本实施例中子目标时间序列基于相似度确定的所属的类别不同，则预测模型采用的目标函数则不同，以提高预测的准确度，作为一种实现方式，类别包括强周期类别和弱周期类别。
若确定类别为强周期类别，确定预测模型所采用的目标函数为贝叶斯回归函数；若确定类别为弱周期类别，确定预测模型所采用的目标函数为鲁棒回归函数，例如，Huber损失函数。
步骤203，若目标时间序列呈现非周期性，则将神经网络模型作为预测模型。
本实施例中，确定目标时间序列呈现非周期性，也就是说目标时间序列中的多个数据的分布不具有周期性分布的特点，无法分离出周期性因子，则采用神经网络模型作为预测模型，例如，LSTM(long-short term memory，长短期记忆模型)模型、深度自回归模型DeepAR(Autoregressive model，简称AR)等神经网络模型，这是因为神经网络模型可学习到随机分布的数据的特征，以提高基于历史数据对未来数据分布预测的效果。
本实施例的异常监测方法中，根据目标时间序列中数据的分布特点，确定目标时间序列呈现周期性或非周期性，并根据呈现的周期性特点和非周期性特定，分别确定对应的预测模型，提高了针对不同数据进行预测以得到阈值时间序列的准确性。
基于上一实施例，本实施例提供了另一种异常检测方法，图3为本申请实施例提供的另一种异常检测方法的流程示意图。
如图3所示，步骤104可以包括以下步骤：
步骤301，对目标时间序列采用降维和/或傅里叶变换的方式进行量纲变换。
本实施例中，对目标时间序列采用降维和/或傅里叶变换方式，实现下采样以降低目标时间序列中包含的数据量，以实现通过数据变化的方式消除量纲的影响，同时降低预测模型进行预测时的运算量。
步骤302，将进行量纲变换后的目标时间序列，输入预测模型。
步骤303，对预测模型输出的时间序列进行逆变换，以得到阈值时间序列。
本实施例中，对量纲变换后的目标时间序列，输入对应的预测模型，以基于目标时间序列当前已有的数据来预测其在之后的走势，得到模型输出的时间序列。对预测模型输出的时间序列进行逆变换，通过逆变换使得得到的阈值时间序列和目标时间序列的数值保持相同的量纲，由于目标时间序列是基于历史时间序列得到的相同量纲的序列，以便于基于阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测，以提高异常检测识别的准确性。
基于上述实施例，本实施例提供了一种异常检测方法的可能的实现方式，在根据阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测之后，根据异常的识别情况，还需要对用于获取历史数据的时间窗的长度进行调整，以提高阈值时间序列确定的准确性。下面采用两种实现方式分别进行说明。
在本申请实施例的一种实现方式中，将阈值时间序列中各阈值分别与对应的监测数据比较差值，根据差值，调整时间窗的长度，其中，差值越大，说明阈值设置的不合理，需要增大设定时间窗的长度，即差值和时间窗的长度成正比，以通过增长历史时间序列，以增加基于的历史数据的数量，提高预测的准确性。
在本申请实施例的另一种实现方式中，监测数据为多个，根据多个监测数据中识别为异常的监测数据占比，调整时间窗的长度，其中，识别为异常的监测数据的占比越大，时间窗的长度约长，即占比的大小和时间窗的长度成正比，以通过增长历史时间序列，以增加基于的历史数据的数量，提高预测的准确性。
为了实现上述实施例，本申请还提出一种异常检测装置。
图4为本申请实施例提供的一种异常检测装置的结构示意图。
如图4所示，该装置包括：
获取模块41，用于获取历史时间序列。
处理模块42，用于对历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列。
确定模块43，用于根据目标时间序列的周期性，确定预测模型。
预测模块44，用于采用预测模型对目标时间序列进行预测，以确定阈值时间序列。
识别模块45，用于根据阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测。
进一步地，在本申请实施例的一种可能的实现方式中，确定模块43，具体用于：
若所述目标时间序列呈现周期性，则将自回归模型作为所述预测模型；若所述目标时间序列呈现非周期性，则将神经网络模型作为所述预测模型。
在本申请实施例的一种可能的实现方式中，所述目标时间序列具有多个子时间序列，分别对应不同周期，确定模块43，具体还用于：
根据不同周期内的子时间序列的相似度，确定所属的类别；根据所述类别，确定所述预测模型所采用的目标函数。
在本申请实施例的一种可能的实现方式中，类别包括强周期类别和弱周期类别；确定模块43，具体还用于：
若为强周期类别，采用的目标函数为贝叶斯回归函数；若为弱周期类别，采用的目标函数为鲁棒回归函数。
在本申请实施例的一种可能的实现方式中，预测模块44，具体用于：
对所述目标时间序列采用降维和/或傅里叶变换的方式进行量纲变换；
将进行量纲变换后的所述目标时间序列，输入预测模型；
对预测模型输出的时间序列进行逆变换，以得到阈值时间序列。
在本申请实施例的一种可能的实现方式中，获取模块41，包括：
采用设定的时间窗采集处于所述时间窗内的所述历史时间序列。
在本申请实施例的一种可能的实现方式中，该装置，还包括：
调整模块，用于将阈值时间序列中各阈值分别与对应的监测数据比较差值；根据差值，调整时间窗的长度。
在本申请实施例的一种可能的实现方式中，上述调整模块，还用于根据多个监测数据中识别为异常的监测数据占比，调整时间窗的长度。
在本申请实施例的一种可能的实现方式中，识别模块45，具体用于：
根据阈值时间序列中的各阈值，确定阈值时间序列中各阈值对应的范围；
若监测数据处于阈值时间序列中对应阈值的范围内，则识别为正常；
若监测数据未处于阈值时间序列中对应阈值的范围内，则识别为异常。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本申请实施例的异常检测装置中，获取历史时间序列，对历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列，根据目标时间序列的周期性，确定预测模型，采用预测模型对目标时间序列进行预测，以确定阈值时间序列，根据阈值时间序列，对历史时间序列之后采集的监测数据进行异常检测，基于历史数据，以及数据的周期性特点，确定动态阈值，以实现自适应不同的监控数据，提高了异常检测的准确性。
为了实现上述实施例，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述方法实施例所述的异常检测方法。
为了实现上述实施例，本申请实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述方法实施例所述的异常检测方法。
为了实现上述目的，本申请实施例提出了一种非临时性计算机可读存储介质，当所述计算机程序产品中的指令由处理器执行时，执行如前述方法实施例所述的异常检测方法。
图5示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图5显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (17)
1.一种异常检测方法，其特征在于，包括以下步骤：
获取历史时间序列；
对所述历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列；
根据所述目标时间序列的周期性，确定预测模型；
采用所述预测模型对所述目标时间序列进行预测，以确定阈值时间序列；
根据所述阈值时间序列，对所述历史时间序列之后采集的监测数据进行异常检测。
2.根据权利要求1所述的异常检测方法，其特征在于，所述根据所述目标时间序列的周期性，确定预测模型，包括：
若所述目标时间序列呈现周期性，则将自回归模型作为所述预测模型；
若所述目标时间序列呈现非周期性，则将神经网络模型作为所述预测模型。
3.根据权利要求2所述的异常检测方法，其特征在于，所述目标时间序列具有多个子时间序列，分别对应不同周期，所述若所述目标时间序列呈现周期性，则将自回归模型作为所述预测模型，包括：
根据不同周期内的子时间序列的相似度，确定所属的类别；
根据所述类别，确定所述预测模型所采用的目标函数。
4.根据权利要求3所述的异常检测方法，其特征在于，所述类别包括强周期类别和弱周期类别；所述根据所述类别，确定所述预测模型所采用的目标函数，包括：
若为所述强周期类别，采用的目标函数为贝叶斯回归函数；
若为所述弱周期类别，采用的目标函数为鲁棒回归函数。
5.根据权利要求1-4任一项所述的异常检测方法，其特征在于，所述采用所述预测模型对所述目标时间序列进行预测，以确定阈值时间序列，包括：
对所述目标时间序列采用降维和/或傅里叶变换的方式进行量纲变换；
将进行量纲变换后的所述目标时间序列，输入所述预测模型；
对所述预测模型输出的时间序列进行逆变换，以得到所述阈值时间序列。
6.根据权利要求1-4任一项所述的异常检测方法，其特征在于，所述获取历史时间序列，包括：
采用设定的时间窗采集处于所述时间窗内的所述历史时间序列。
7.根据权利要求6所述的异常检测方法，其特征在于，所述根据所述阈值时间序列，对所述历史时间序列之后采集的监测数据进行异常检测之后，还包括：
将所述阈值时间序列中各阈值分别与对应的监测数据比较差值；
根据所述差值，调整所述时间窗的长度。
8.根据权利要求6所述的异常检测方法，其特征在于，所述监测数据为多个，所述根据所述阈值时间序列，对所述历史时间序列之后采集的监测数据进行异常检测之后，还包括：
根据多个所述监测数据中识别为异常的监测数据占比，调整所述时间窗的长度。
9.根据权利要求1-4任一项所述的异常检测方法，其特征在于，所述根据所述阈值时间序列，对所述历史时间序列之后采集的监测数据进行异常检测，包括：
根据所述阈值时间序列中的各阈值，确定所述阈值时间序列中各阈值对应的范围；
若所述监测数据处于所述阈值时间序列中对应阈值的范围内，则识别为正常；
若所述监测数据未处于所述阈值时间序列中对应阈值的范围内，则识别为异常。
10.一种异常检测装置，其特征在于，包括：
获取模块，用于获取历史时间序列；
处理模块，用于对所述历史时间序列中的多个历史数据进行平滑处理，以得到对应的目标时间序列；
确定模块，用于根据所述目标时间序列的周期性，确定预测模型；
预测模块，用于采用所述预测模型对所述目标时间序列进行预测，以确定阈值时间序列；
识别模块，用于根据所述阈值时间序列，对所述历史时间序列之后采集的监测数据进行异常检测。
11.根据权利要求10所述的异常检测装置，其特征在于，所述确定模块，具体用于：
若所述目标时间序列呈现周期性，则将自回归模型作为所述预测模型；
若所述目标时间序列呈现非周期性，则将神经网络模型作为所述预测模型。
12.根据权利要求11所述的异常检测装置，其特征在于，所述目标时间序列具有多个子时间序列，分别对应不同周期，所述确定模块，具体还用于：
根据不同周期内的子时间序列的相似度，确定所属的类别；
根据所述类别，确定所述预测模型所采用的目标函数。
13.根据权利要求12所述的异常检测装置，其特征在于，所述类别包括强周期类别和弱周期类别；所述确定模块，具体还用于：
若为所述强周期类别，采用的目标函数为贝叶斯回归函数；
若为所述弱周期类别，采用的目标函数为鲁棒回归函数。
14.根据权利要求10-13任一项所述的异常检测装置，其特征在于，所述预测模块，具体用于：
对所述目标时间序列采用降维和/或傅里叶变换的方式进行量纲变换；
将进行量纲变换后的所述目标时间序列，输入所述预测模型；
对所述预测模型输出的时间序列进行逆变换，以得到所述阈值时间序列。
15.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-9中任一所述的异常检测方法。
16.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的异常检测方法。
17.一种计算机程序产品，其特征在于，当所述计算机程序产品中的指令由处理器执行时，执行如权利要求1-9中任一所述的异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011596685.2A CN112685273A (zh) | 2020-12-29 | 2020-12-29 | 异常检测方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011596685.2A CN112685273A (zh) | 2020-12-29 | 2020-12-29 | 异常检测方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112685273A true CN112685273A (zh) | 2021-04-20 |
Family
ID=75454142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011596685.2A Pending CN112685273A (zh) | 2020-12-29 | 2020-12-29 | 异常检测方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112685273A (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112995195A (zh) * | 2021-03-17 | 2021-06-18 | 北京安天网络安全技术有限公司 | 一种异常行为预测方法和装置 |
| CN113283501A (zh) * | 2021-05-24 | 2021-08-20 | 平安国际融资租赁有限公司 | 基于深度学习的设备状态检测方法、装置、设备和介质 |
| CN113407554A (zh) * | 2021-06-28 | 2021-09-17 | 武汉黎赛科技有限责任公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN113554229A (zh) * | 2021-07-23 | 2021-10-26 | 国网青海省电力公司信息通信公司 | 三相电压不平衡异常检测方法及装置 |
| CN113688929A (zh) * | 2021-09-01 | 2021-11-23 | 睿云奇智(重庆)科技有限公司 | 预测模型确定方法、装置、电子设备及计算机存储介质 |
| CN113852603A (zh) * | 2021-08-13 | 2021-12-28 | 京东科技信息技术有限公司 | 网络流量的异常检测方法、装置、电子设备和可读介质 |
| CN114579554A (zh) * | 2022-03-08 | 2022-06-03 | 京东科技信息技术有限公司 | 运维时间序列数据处理方法及装置、存储介质及电子设备 |
| CN114710369A (zh) * | 2022-06-06 | 2022-07-05 | 山东云天安全技术有限公司 | 一种异常数据检测方法、装置、计算机设备及存储介质 |
| CN114978956A (zh) * | 2022-04-11 | 2022-08-30 | 北京邮电大学 | 智慧城市网络设备性能异常突变点检测方法及装置 |
| CN115408449A (zh) * | 2022-10-28 | 2022-11-29 | 支付宝(杭州)信息技术有限公司 | 一种用户行为的处理方法、装置及设备 |
| CN115424368A (zh) * | 2022-08-25 | 2022-12-02 | 武汉迪昌科技有限公司 | 一种动车组无动力编组测试方法及装置 |
| CN115495274A (zh) * | 2022-11-15 | 2022-12-20 | 阿里云计算有限公司 | 基于时序数据的异常处理方法、网络设备和可读存储介质 |
| CN116112271A (zh) * | 2023-02-13 | 2023-05-12 | 山东云天安全技术有限公司 | 一种会话数据处理方法、电子设备及存储介质 |
| CN116304913A (zh) * | 2023-04-07 | 2023-06-23 | 中国长江三峡集团有限公司 | 基于贝叶斯模型的水质状态监测方法及装置、电子设备 |
| CN115150159B (zh) * | 2022-06-30 | 2023-11-10 | 深信服科技股份有限公司 | 一种流量检测方法、装置、设备及可读存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005216066A (ja) * | 2004-01-30 | 2005-08-11 | Internatl Business Mach Corp <Ibm> | 異常検出システム及びその方法 |
| WO2010037261A1 (zh) * | 2008-09-26 | 2010-04-08 | 中联绿盟信息技术(北京)有限公司 | 网络异常流量分析设备和方法 |
| JP2010283668A (ja) * | 2009-06-05 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | トラヒック分類システムと方法およびプログラムならびに異常トラヒック検知システムと方法 |
| WO2018103453A1 (zh) * | 2016-12-07 | 2018-06-14 | 华为技术有限公司 | 检测网络的方法和装置 |
| US20180219889A1 (en) * | 2017-01-31 | 2018-08-02 | Splunk Inc. | Anomaly detection based on relationships between multiple time series |
| EP3379360A2 (en) * | 2017-03-23 | 2018-09-26 | Hitachi, Ltd. | Anomaly detection system and anomaly detection method |
| US20180324199A1 (en) * | 2017-05-05 | 2018-11-08 | Servicenow, Inc. | Systems and methods for anomaly detection |
| CN109214601A (zh) * | 2018-10-31 | 2019-01-15 | 四川长虹电器股份有限公司 | 家电行业大数据销量预测方法 |
| WO2019231659A1 (en) * | 2018-05-29 | 2019-12-05 | Microsoft Technology Licensing, Llc | Data anomaly detection |
| CN110807024A (zh) * | 2019-10-12 | 2020-02-18 | 广州市申迪计算机系统有限公司 | 动态阈值异常检测方法、系统、存储介质及智能设备 |
| EP3623964A1 (en) * | 2018-09-14 | 2020-03-18 | Verint Americas Inc. | Framework for the automated determination of classes and anomaly detection methods for time series |
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
| CN111130940A (zh) * | 2019-12-26 | 2020-05-08 | 众安信息技术服务有限公司 | 异常数据检测方法、装置及服务器 |
| CN111582600A (zh) * | 2020-05-15 | 2020-08-25 | 中国银行股份有限公司 | 行为周期确定方法及装置 |
| US20200293653A1 (en) * | 2019-03-13 | 2020-09-17 | International Business Machines Corporation | Recurrent Neural Network Based Anomaly Detection |
-
2020
- 2020-12-29 CN CN202011596685.2A patent/CN112685273A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005216066A (ja) * | 2004-01-30 | 2005-08-11 | Internatl Business Mach Corp <Ibm> | 異常検出システム及びその方法 |
| WO2010037261A1 (zh) * | 2008-09-26 | 2010-04-08 | 中联绿盟信息技术(北京)有限公司 | 网络异常流量分析设备和方法 |
| JP2010283668A (ja) * | 2009-06-05 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | トラヒック分類システムと方法およびプログラムならびに異常トラヒック検知システムと方法 |
| WO2018103453A1 (zh) * | 2016-12-07 | 2018-06-14 | 华为技术有限公司 | 检测网络的方法和装置 |
| US20180219889A1 (en) * | 2017-01-31 | 2018-08-02 | Splunk Inc. | Anomaly detection based on relationships between multiple time series |
| EP3379360A2 (en) * | 2017-03-23 | 2018-09-26 | Hitachi, Ltd. | Anomaly detection system and anomaly detection method |
| US20180324199A1 (en) * | 2017-05-05 | 2018-11-08 | Servicenow, Inc. | Systems and methods for anomaly detection |
| WO2019231659A1 (en) * | 2018-05-29 | 2019-12-05 | Microsoft Technology Licensing, Llc | Data anomaly detection |
| EP3623964A1 (en) * | 2018-09-14 | 2020-03-18 | Verint Americas Inc. | Framework for the automated determination of classes and anomaly detection methods for time series |
| CN109214601A (zh) * | 2018-10-31 | 2019-01-15 | 四川长虹电器股份有限公司 | 家电行业大数据销量预测方法 |
| US20200293653A1 (en) * | 2019-03-13 | 2020-09-17 | International Business Machines Corporation | Recurrent Neural Network Based Anomaly Detection |
| CN110807024A (zh) * | 2019-10-12 | 2020-02-18 | 广州市申迪计算机系统有限公司 | 动态阈值异常检测方法、系统、存储介质及智能设备 |
| CN111130940A (zh) * | 2019-12-26 | 2020-05-08 | 众安信息技术服务有限公司 | 异常数据检测方法、装置及服务器 |
| CN111061620A (zh) * | 2019-12-27 | 2020-04-24 | 福州林科斯拉信息技术有限公司 | 一种混合策略的服务器异常智能检测方法及检测系统 |
| CN111582600A (zh) * | 2020-05-15 | 2020-08-25 | 中国银行股份有限公司 | 行为周期确定方法及装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112995195A (zh) * | 2021-03-17 | 2021-06-18 | 北京安天网络安全技术有限公司 | 一种异常行为预测方法和装置 |
| CN112995195B (zh) * | 2021-03-17 | 2023-01-31 | 北京安天网络安全技术有限公司 | 一种异常行为预测方法和装置 |
| CN113283501A (zh) * | 2021-05-24 | 2021-08-20 | 平安国际融资租赁有限公司 | 基于深度学习的设备状态检测方法、装置、设备和介质 |
| CN113407554A (zh) * | 2021-06-28 | 2021-09-17 | 武汉黎赛科技有限责任公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN113554229A (zh) * | 2021-07-23 | 2021-10-26 | 国网青海省电力公司信息通信公司 | 三相电压不平衡异常检测方法及装置 |
| CN113852603A (zh) * | 2021-08-13 | 2021-12-28 | 京东科技信息技术有限公司 | 网络流量的异常检测方法、装置、电子设备和可读介质 |
| CN113852603B (zh) * | 2021-08-13 | 2023-11-07 | 京东科技信息技术有限公司 | 网络流量的异常检测方法、装置、电子设备和可读介质 |
| CN113688929A (zh) * | 2021-09-01 | 2021-11-23 | 睿云奇智(重庆)科技有限公司 | 预测模型确定方法、装置、电子设备及计算机存储介质 |
| CN113688929B (zh) * | 2021-09-01 | 2024-02-23 | 睿云奇智(重庆)科技有限公司 | 预测模型确定方法、装置、电子设备及计算机存储介质 |
| CN114579554A (zh) * | 2022-03-08 | 2022-06-03 | 京东科技信息技术有限公司 | 运维时间序列数据处理方法及装置、存储介质及电子设备 |
| CN114978956B (zh) * | 2022-04-11 | 2024-04-09 | 北京邮电大学 | 智慧城市网络设备性能异常突变点检测方法及装置 |
| CN114978956A (zh) * | 2022-04-11 | 2022-08-30 | 北京邮电大学 | 智慧城市网络设备性能异常突变点检测方法及装置 |
| CN114710369B (zh) * | 2022-06-06 | 2022-08-16 | 山东云天安全技术有限公司 | 一种异常数据检测方法、装置、计算机设备及存储介质 |
| CN114710369A (zh) * | 2022-06-06 | 2022-07-05 | 山东云天安全技术有限公司 | 一种异常数据检测方法、装置、计算机设备及存储介质 |
| CN115150159B (zh) * | 2022-06-30 | 2023-11-10 | 深信服科技股份有限公司 | 一种流量检测方法、装置、设备及可读存储介质 |
| CN115424368A (zh) * | 2022-08-25 | 2022-12-02 | 武汉迪昌科技有限公司 | 一种动车组无动力编组测试方法及装置 |
| CN115408449A (zh) * | 2022-10-28 | 2022-11-29 | 支付宝(杭州)信息技术有限公司 | 一种用户行为的处理方法、装置及设备 |
| CN115408449B (zh) * | 2022-10-28 | 2023-03-07 | 支付宝(杭州)信息技术有限公司 | 一种用户行为的处理方法、装置及设备 |
| CN115495274B (zh) * | 2022-11-15 | 2023-03-07 | 阿里云计算有限公司 | 基于时序数据的异常处理方法、网络设备和可读存储介质 |
| CN115495274A (zh) * | 2022-11-15 | 2022-12-20 | 阿里云计算有限公司 | 基于时序数据的异常处理方法、网络设备和可读存储介质 |
| CN116112271A (zh) * | 2023-02-13 | 2023-05-12 | 山东云天安全技术有限公司 | 一种会话数据处理方法、电子设备及存储介质 |
| CN116112271B (zh) * | 2023-02-13 | 2024-02-20 | 山东云天安全技术有限公司 | 一种会话数据处理方法、电子设备及存储介质 |
| CN116304913A (zh) * | 2023-04-07 | 2023-06-23 | 中国长江三峡集团有限公司 | 基于贝叶斯模型的水质状态监测方法及装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112685273A (zh) | 异常检测方法、装置、计算机设备和存储介质 | |
| CN109978379B (zh) | 时序数据异常检测方法、装置、计算机设备和存储介质 | |
| CN113344295B (zh) | 基于工业大数据的设备剩余寿命预测方法、系统及介质 | |
| CN108009692A (zh) | 设备维修信息处理方法、装置、计算机设备和存储介质 | |
| EP3343376B1 (en) | Disk capacity prediction method, device and apparatus | |
| CN113671917B (zh) | 针对多模态工业过程异常状态的检测方法、系统、设备 | |
| CN111160959B (zh) | 一种用户点击转化预估方法及装置 | |
| Chen et al. | Optimal variability sensitive condition-based maintenance with a Cox PH model | |
| Bogojeska et al. | Classifying server behavior and predicting impact of modernization actions | |
| CN111125529A (zh) | 产品匹配方法、装置、计算机设备及存储介质 | |
| CN110907207A (zh) | 非标机械设备的运行状态检测方法及装置 | |
| CN112506752A (zh) | 基于时序数据趋势预测的运维方法、装置及设备 | |
| CN112631881A (zh) | 基于时序数据趋势预测的运维方法、装置及设备 | |
| CN113849374B (zh) | 中央处理器占用率预测方法、系统、电子设备及存储介质 | |
| JP5771317B1 (ja) | 異常診断装置及び異常診断方法 | |
| CN107562608B (zh) | 资源指标重要度评估方法及装置 | |
| CN117688342A (zh) | 一种基于模型的设备状态预测方法、电子设备及存储介质 | |
| CN111858267B (zh) | 预警方法、装置、电子设备及存储介质 | |
| CN117251114A (zh) | 模型训练方法、磁盘寿命预测方法、相关装置及设备 | |
| CN112016800A (zh) | 一种基于有效性指标的特征选择方法与系统 | |
| US20230161653A1 (en) | Method of managing system health | |
| CN116186603A (zh) | 异常用户的识别方法及装置、计算机存储介质、电子设备 | |
| CN115841343A (zh) | 一种销售额度的确定方法及装置 | |
| CN110018843B (zh) | 应用程序运行策略的测试方法和装置 | |
| CN114328127A (zh) | 软件性能异常情况的检测方法及检测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176 Applicant before: Jingdong Digital Technology Holding Co., Ltd |
|
| CB02 | Change of applicant information |