CN115328723A - 一种自适应基带优化的时序异常检测方法及系统 - Google Patents
一种自适应基带优化的时序异常检测方法及系统 Download PDFInfo
- Publication number
- CN115328723A CN115328723A CN202210468917.9A CN202210468917A CN115328723A CN 115328723 A CN115328723 A CN 115328723A CN 202210468917 A CN202210468917 A CN 202210468917A CN 115328723 A CN115328723 A CN 115328723A
- Authority
- CN
- China
- Prior art keywords
- data set
- baseband
- data
- fitting
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种自适应基带优化的时序异常检测方法及系统,包括以下步骤:获取待检测的单维时间序列,构成数据集;确认所述数据集是否具有统计学特性,其中,统计学特性包括周期性和平稳性;根据确认结果选择不同的拟合方式对所述数据集进行拟合;计算拟合后的数据集的基带缩放因子,并根据所述基带缩放因子确定上下基带范围;根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点;本发明的有益效果为:通过根据待检测的单维时间序列具有的统计学特性来选择不同的拟合方式对该数据集进行拟合,本发明能够自动判断数据集类型,根据不同类型的数据集采用不同的算法模型进行拟合,从而能够捕获时序数据在时间与空间维度的异常。
Description
技术领域
本发明涉及时序异常检测技术领域,特别是涉及一种自适应基带优化的时序异常检测方法及系统。
背景技术
AIops即智能运维指采用机器学习、数据挖掘或深度学习等方法,来解决KPI异常检测、故障根因分析、容量预测等运维领域中的关键问题,KPI异常检测是在运维领域中非常重要的一个环节,KPI指的是对服务、系统等运维对象的监控指标,其存储的形式是按其发生的时间先后顺序排列而成的数列,通过算法分析KPI的时间序列数据,判断其是否出现异常点,常见的时序数据包含周期数据、周期闲忙数据、周期趋势、趋势数据、平稳数据及无规律数据共6种类型时间序列数据,时序数据异常点是指序列中模式存在不一致的点(如突然的上升或下降、趋势改变、层级变换、超出历史最大值/最小值等),时序数据的异常检测旨在快速准确的找到这些异常点。
目前时序异常检测面临的挑战如下所示,由于存在以下挑战,导致现有的异常检测算法的准确率和召回率低,存在大量的误报和漏报,具体如下:第一为KPI数据类型多样且数据量大,算法不能够自适应各类型KPI数据;第二为KPI数据中包含的时序信息,经常无法捕获;第三为KPI数据是否异常对于不同量纲数据有不同的标准,算法需要解决同一置信区间下,对不同量纲数据有不同波动范围,对于时序预测方法的异常检测,常见的算法有ARIMA、holt-winter、fb-prophet、TCN+AE,LSTM+AE、Bi-LSTM+AE等,将历史数据训练的模型预测当前时刻的幅值,通过与真实值的差异来判断此刻的异常程度,这类算法可以捕获数据中时间维度上的特征,但是训练时遵循全局最优化策略,在预测当前值时无法保证当前值是单点最优,无法自适应时序数据形态变化。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种自适应基带优化的时序异常检测方法及系统,用于解决现有技术中异常检测算法的准确率低、召回率低和存在大量的误报和漏报的问题。
本发明的实施方式提供了一种自适应基带优化的时序异常检测方法,包括以下步骤:获取待检测的单维时间序列,构成数据集;确认所述数据集是否具有统计学特性,其中,统计学特性包括周期性和平稳性;根据确认结果选择不同的拟合方式对所述数据集进行拟合;计算拟合后的数据集的基带缩放因子,并根据所述基带缩放因子确定上下基带范围;根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点。
本发明的实施方式还提供了一种自适应基带优化的时序异常检测系统,包括:数据获取模块,用于获取待检测的单维时间序列,构成数据集;周期性/平稳性确认模块,用于确认所述数据集是否具有统计学特性,其中,统计学特性包括周期性和平稳性,根据确认结果选择不同的拟合方式对所述数据集进行拟合;异常检测模块:用于计算拟合后的数据集的基带缩放因子,并根据所述基带缩放因子确定上下基带范围,根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点。
本发明的实施方式还提供了一种服务器,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述的自适应基带优化的时序异常检测方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上述的自适应基带优化的时序异常检测方法。
本发明实施方式相对于现有技术而言,主要区别及其效果在于:通过确认待检测的单维时间序列构成的数据集内是否具有统计学特性,根据确认结果选择不同的拟合方式对该数据集进行拟合,然后计算拟合后的数据集的基带缩放因子,并确定出上下基带范围,再根据上下基带范围和结合该领域的知识确定出数据集中的异常点,本发明能够自动判断数据集类型,根据不同类型的数据集采用不同的算法模型进行拟合,从而避免人工干预,能够捕获时序数据在时间与空间维度的异常,并且有相对较快的运行速度。
作为进一步改进,在所述获取待检测的单维时间序列,构成数据集之后,所述提取所述数据集内的不同类别的特征之前,包括:对所述数据集进行预处理,其中,所述预处理包括至少一项以下信息:数据异常值的判断、缺失值的填充和数据的截断。
作为进一步改进,所述确认所述数据集是否具有统计学特性,包括:使用傅里叶变换或者自相关系数方法确认所述数据集是否存在周期和使用ADF检验确认所述数据集是否平稳。
作为进一步改进,所述根据确认结果选择不同的拟合方式对所述数据集进行拟合,包括:若所述数据集存在周期,则计算出所述数据集的具体周期值,根据所述周期值选取四个窗口的周期数据,并利用线性拟合的方式对所述周期数据进行拟合;若所述数据集不存在周期,且所述数据集平稳,则使用指数移动加权平均模型对所述数据集进行拟合;若所述数据集不存在周期,且所述数据集不平稳,则使用二次指数平滑模型对所述数据集进行拟合。
上述方案根据确认结果可以选择不同的拟合方式对数据集进行拟合,如果数据集存在周期,则可以选择利用线性拟合的方式对提取的对应窗口的周期数据进行拟合,如果数据集不存在周期,且数据集平稳,则使用指数移动加权平均模型对数据集进行拟合,如果数据集不存在周期,且数据集不平稳,则使用二次指数平滑的方式对数据集进行拟合,从而可以根据时序数据的统计学特征自动选择不同的算法模型进行拟合,避免人工手动选取。
作为进一步改进,所述使用指数移动加权平均模型对所述数据集进行拟合,包括:根据以下公式对所述数据集进行拟合:si=αxi+(1-α)si-1;其中,si为i时刻指数移动加权平均模型的值,xi为当前时刻实际值,系数1α表示加权下降的速率。
作为进一步改进,所述使用二次指数平滑模型对所述数据集进行拟合,包括:根据以下公式对所述数据集进行拟合:si=αxi+(1-α)(si-1+ti-1);ti=β(si-si-1)+(1-β)ti-1其中,t表示平滑后的趋势,二次指数平滑在一次指数平滑的基础上能够保留时序数据趋势信息。
作为进一步改进,所述确定拟合后的数据集的基带缩放因子,包括:根据以下公式确定拟合后的数据集的基带缩放因子:factor=1-1/(1+base-x′);factor为基带缩放因子,base值基于实验结果设置为1.25,x归一化到x′∈[0,10]。
附图说明
图1显示为本发明第一实施方式中的自适应基带优化的时序异常检测方法流程图;
图2显示为本发明第二实施方式中的自适应基带优化的时序异常检测方法流程图;
图3显示为本发明第三实施方式中的自适应基带优化的时序异常检测系统示意图;
图4显示为本发明第四实施方式中的电子设备示意图;
图5显示为本发明中四个窗口周期数据的示意图;
图6显示为本发明中不同base值对应的sigmoid函数图像的曲线图;
图7显示为本发明中有周期的待检测的单维时间序列的曲线图;
图8显示为本发明中有周期的待检测的单维时间序列预处理后的曲线图;
图9显示为本发明中有周期的待检测的单维时间序列的异常判定结果曲线图;
图10显示为本发明中无周期的待检测的单维时间序列的曲线图;
图11显示为本发明中无周期的待检测的单维时间序列预处理后的曲线图;
图12显示为本发明中无周期的待检测的单维时间序列的异常判定结果曲线图;
图13显示为本发明中CPU使用率异常检测的曲线图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
AIops(Artificial Intelligence for IT Operations,智能运维):指采用机器学习、数据挖掘或深度学习等方法,来解决KPI异常检测、故障根因分析、容量预测等运维领域中的关键问题;KPI(Key performance indicators,关键性能指标):指对服务、系统等运维对象的监控指标;FFT(Fast Fourier transform):快速傅里叶变换;ACF(Autocorrelation function):自相关函数;ADF(Augmented Dickey–Fuller test):扩展迪基-福勒检验;EWMA(Exp onentially Weighted Moving-Average):指数加权移动平均;基带:基于预测值及置信系数动态计算预测值的上下线。
本发明的第一实施方式涉及一种自适应基带优化的时序异常检测方法。流程如图1所示,具体如下:
步骤101,获取待检测的单维时间序列,构成数据集;
具体的说,待检测的单维时间序列为某个时间段内的待检测的单维时间序列。
步骤102,确认该数据集是否具有统计学特性。
具体的说,其中,统计学特性包括周期性和平稳性,使用傅里叶变换或者自相关系数方法确认该数据集是否存在周期和使用ADF检验确认该数据集是否平稳。
步骤103,根据确认结果选择不同的拟合方式对该数据集进行拟合。
具体的说,若该数据集存在周期,则计算出数据集的具体周期值,根据该周期值选取四个窗口的周期数据,并利用线性拟合的方式对该周期数据进行拟合;若该数据集不存在周期,且该数据集平稳,则使用指数移动加权平均模型对该数据集进行拟合;若该数据集不存在周期,且该数据集不平稳,则使用二次指数平滑模型对该数据集进行拟合。
步骤104,计算拟合后的数据集的基带缩放因子,并根据该基带缩放因子确定上下基带范围。
具体的说,根据以下公式确定拟合后的数据集的基带缩放因子:factor=1-1/(1+base-x′);其中,factor为基带缩放因子,base值基于实验结果设置为1.25,base值也可以设置为其他数值,x归一化到x′∈[0,10],具体请参阅图6。
步骤106,根据该上下基带范围和结合该领域的知识确定该数据集中的异常点。
具体的说,获取人为设置的固定上下阈值,对每个数据点首先判断其是否处于上下基带范围之间,如果处于上下基带范围之间,则该数据点无异常;如果不处于上下基带范围之间,但在固定上下阈值之间,则该数据点无异常;否则异常,此外异常判断时不局限于固定上下阈值等规则的方式,还可以采用其他方法对该数据集进行异常判断。
本实施方式通过确认待检测的单维时间序列构成的数据集内是否具有统计学特性,根据确认结果选择不同的拟合方式对该数据集进行拟合,然后计算拟合后的数据集的基带缩放因子,并确定出上下基带范围,再根据上下基带范围和结合该领域的知识确定出数据集中的异常点,本发明能够自动判断数据集类型,根据不同类型的数据集采用不同的算法模型进行拟合,从而避免人工干预,能够捕获时序数据在时间与空间维度的异常,并且有相对较快的运行速度。
本发明的第二实施方式涉及一种自适应基带优化的时序异常检测方法,第二实施方式是对第一实施方式的详细论述,主要详细的论述在于:在第一实施方式中并没有对根据确认结果选择不同的拟合方式对该数据集进行拟合进行详细的论述,而在本发明的第二实施方式中,详细的论述根据确认结果选择不同的拟合方式对该数据集进行拟合的过程。
本实施方式请参阅图2,包括以下步骤,进行如下说明:
步骤201与第一实施方式中的步骤101相类似,在此不再赘述。
步骤202,对该数据集进行预处理。
具体的说,预处理包括至少一项以下信息:数据异常值的判断、缺失值的填充和数据的截断,数据异常值的判断采用箱型图方法,利用已知数据的分位数计算出最小、最大估计值,小于最小估计值或大于最大估计值则该值为异常,数据异常值的判断除采用箱型图外,还可以采用绝对中位差的方法和k倍标准差阈值的方法进行异常值判断;存在数据缺失,采用线性插值的方法填充缺失值,线性插值指通过拟合线性函数,对缺失值进行填充,数据缺失值的填充除采用线性插值的方法,还可以采用样条插值、前向插值、后向插值、均值、众数、中位数填充以及周期填充等方法进行填充;数据的截断指某些情况下用户仅关心某些时间段的数据,则根据设置的时间范围截取有效数据进行异常检测。
步骤203,使用傅里叶变换或者自相关系数方法确认该数据集是否存在周期
具体的说,傅里叶变换就是把时域上的信号变换到频域上用很多正弦波来合成时域信号,并把局部增幅最大的那个正弦波的频率作为周期,对于具体周期值的计算也可以采用自相关系数的方法,自相关系数方法是采用自相关函数对该数据集进行计算。
步骤204,若该数据集存在周期,则计算出该数据集的具体周期值,根据该周期值选取四个窗口的周期数据,并利用线性拟合的方式对该周期数据进行拟合。
具体的说,利用傅里叶变换或者自相关系数方法计算出数据的周期值,根据计算的周期值及设定的窗口选取历史四个窗口周期数据,具体如图5所示,建立线性模型来拟合周期与趋势,该取数方式及拟合方式对周期数据、周期闲忙数据及周期趋势具有准确的检测效果。
实际应用中,获取待检测的单维时间序列,单维时间序列的时间跨度为2016-10-1500:00:00~2016-10-2822:02:00,时间颗粒度为1min,利用前7天的数据作为训练数据,其余数据作为测试数据,此时数据的形态请参阅图7,首先对训练数据进行数据预处理,数据预处理包含数据异常值的判断、缺失值的填充和数据的截断,利用箱型图剔除训练数据中的异常值,并利用线性插值填充数据中的缺失值,预处理后的训练数据效果请参阅图8,数据预处理完成后,利用数据傅里叶变换判断该数据是否存在周期,并计算数据具体周期为1440,该时序数据具有周期性特征,则选取对应四个窗口的周期数据并利用线性拟合的方式进行模型拟合,并计算基带的缩放因子,给出最终异常判定结果,具体判定结果参阅图9。
步骤205,若该数据集不存在周期,则使用ADF检验确认该数据集是否平稳。
具体的说,其中,时间序列的平稳性是指一组数据看起来平坦,各阶统计特征(如均值、方差、协方差等)不随时间的变化而变化,简单理解就是一个看起来平坦的序列,没有趋势,随时间变化的方差不变,随时间变化的自相关结构不变,也没有季节性波动,采用ADF检验进行平稳性检测,ADF检验的原假设是存在单位根,因为存在单位根就是非平稳时间序列了,只要这个统计值是小于1%水平下的数字就可以极显著的拒绝原假设,认为数据平稳。
步骤206,若该数据集平稳,则使用指数移动加权平均模型对该数据集进行拟合。
具体的说,其中,指数移动加权平均是指各数值的加权系数随时间呈指数式递减,越靠近当前时刻的数值加权系数就越大,根据以下公式对该数据集进行拟合:si=αxi+(1-α)si-1;其中,si为i时刻指数移动加权平均模型的值,xi为当前时刻实际值,系数1α表示加权下降的速率,此外还可以采用一次指数平滑模型对该数据集进行拟合。
实际应用中,获取待检测的单维时间序列,单维时间序列的时间跨度为2018-08-0106:03:00~2018-09-0106:04:00,时间颗粒度为1min,利用前7天的数据作为训练数据,其余数据作为测试数据,此时数据的形态请参阅图10,首先对数据进行数据预处理,对于该指标用户仅关心08:00~18:00的数据,则利用数据中的截断功能截取所需检测的数据段,具体请参阅图11,数据预处理完成后,利用数据傅里叶变换,判断该数据是否存在周期,该时序数据不具有周期特征,接下来利用ADF判断数据是否平稳,result=(-5.335794353527996,4.614277774560022e-06,31,4169,{'1%':-3.4319195204978277,'5%':-2.8622335279191637,'10%':-2.567139170972099},24983.512941488603),从结果中可以看出该数据为平稳数据,接下来采用EWMA模型对数据拟合与建模,并计算基带的缩放因子,给出最终异常判定结果,判定的结果具体请参阅图12。
步骤207,若该数据集不平稳,则使用二次指数平滑模型对该数据集进行拟合。
具体的说,若该数据集不平稳说明此时序数据无周期但带有趋势,则利用二次指数平滑模型该数据集进行拟合,根据以下公式对该数据集进行拟合:si=αxi+(1-α)(si-1+ti-1);ti=β(si-si-1)+(1-β)ti-1;其中,t表示平滑后的趋势,二次指数平滑在一次指数平滑的基础上能够保留时序数据趋势信息。
步骤208至步骤209与第一实施方式中的步骤104至步骤105相类似,在此不再赘述。
实际应用中,本发明能够自动判断时序数据类型,根据不同类型的时序数据采用不同的模型,能够捕获时序数据在时间与空间维度的异常,并且有相对较快的运行速度,CPU使用率异常检测检测效果如图12所示,响应时间异常检测效果如图13所示,表1是各种算法对cpu使用率异常检测结果,从表中可以看出本发明(AntMonitor)在准确率、精确率、f1值以及消耗时间上具有较大优势,
表1:CPU使用率异常检测结果
本实施方式通过确认结果可以选择不同的拟合方式对数据集进行拟合,如果数据集存在周期,则可以选择利用线性拟合的方式对提取的对应窗口的周期数据进行拟合,如果数据集不存在周期,且数据集平稳,则使用指数移动加权平均模型对数据集进行拟合,如果数据集不存在周期,且数据集不平稳,则使用二次指数平滑的方式对数据集进行拟合,从而可以根据时序数据的统计学特征自动选择不同的算法模型进行拟合,避免人工手动选取。
本发明的第三实施方式涉及一种自适应基带优化的时序异常检测系统,请参阅图3,包括:
数据获取模块,用于获取待检测的单维时间序列,构成数据集;
周期性/平稳性确认模块,用于确认数据集是否具有统计学特性,其中,统计学特性包括周期性和平稳性,根据确认结果选择不同的拟合方式对数据集进行拟合;
异常检测模块:用于计算拟合后的数据集的基带缩放因子,并根据基带缩放因子确定上下基带范围,根据上下基带范围和结合该领域的知识确定数据集中的异常点。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种服务器,请参阅图4,包括:
至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上的自适应基带优化的时序异常检测方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第五实施方式涉及一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本发明通过确认待检测的单维时间序列构成的数据集内是否具有统计学特性,根据确认结果选择不同的拟合方式对该数据集进行拟合,然后计算拟合后的数据集的基带缩放因子,并确定出上下基带范围,再根据上下基带范围和结合该领域的知识确定出数据集中的异常点,本发明能够自动判断数据集类型,根据不同类型的数据集采用不同的算法模型进行拟合,从而避免人工干预,能够捕获时序数据在时间与空间维度的异常,并且有相对较快的运行速度。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种自适应基带优化的时序异常检测方法,其特征在于,包括以下步骤:
获取待检测的单维时间序列,构成数据集;
确认所述数据集是否具有统计学特性,其中,统计学特性包括周期性和平稳性;
根据确认结果选择不同的拟合方式对所述数据集进行拟合;
计算拟合后的数据集的基带缩放因子,并根据所述基带缩放因子确定上下基带范围;
根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点。
2.根据权利要求1所述的一种自适应基带优化的时序异常检测方法,其特征在于:在所述获取待检测的单维时间序列,构成数据集之后,所述提取所述数据集内的不同类别的特征之前,包括:
对所述数据集进行预处理,其中,所述预处理包括至少一项以下信息:数据异常值的判断、缺失值的填充和数据的截断。
3.根据权利要求1所述的一种自适应基带优化的时序异常检测方法,其特征在于:所述确认所述数据集是否具有统计学特性,包括:
使用傅里叶变换或者自相关系数方法确认所述数据集是否存在周期和使用ADF检验确认所述数据集是否平稳。
4.根据权利要求3所述的一种自适应基带优化的时序异常检测方法,其特征在于:所述根据确认结果选择不同的拟合方式对所述数据集进行拟合,包括:
若所述数据集存在周期,则计算出所述数据集的具体周期值,根据所述周期值选取四个窗口的周期数据,并利用线性拟合的方式对所述周期数据进行拟合;
若所述数据集不存在周期,且所述数据集平稳,则使用指数移动加权平均模型对所述数据集进行拟合;
若所述数据集不存在周期,且所述数据集不平稳,则使用二次指数平滑模型对所述数据集进行拟合。
5.根据权利要求4所述的一种自适应基带优化的时序异常检测方法,其特征在于:所述使用指数移动加权平均模型对所述数据集进行拟合,包括:
根据以下公式对所述数据集进行拟合:
si=αxi+(1-α)si-1;
其中,si为i时刻指数移动加权平均模型的值,xi为当前时刻实际值,系数1- α表示加权下降的速率。
6.根据权利要求4所述的一种自适应基带优化的时序异常检测方法,其特征在于:所述使用二次指数平滑模型对所述数据集进行拟合,包括:
根据以下公式对所述数据集进行拟合:
si=αxi+(1-α)(si-1+ti-1);
ti=β(si-si-1)+(1-β)ti-1;
其中,t表示平滑后的趋势,二次指数平滑在一次指数平滑的基础上能够保留时序数据趋势信息。
7.根据权利要求1所述的一种自适应基带优化的时序异常检测方法,其特征在于:所述确定拟合后的数据集的基带缩放因子,包括:
根据以下公式确定拟合后的数据集的基带缩放因子:
factor=1-1/(1+base-x′);
其中,factor为基带缩放因子,base值基于实验结果设置为1.25,x归一化到x'∈[0,10]。
8.一种自适应基带优化的时序异常检测系统,其特征在于:包括:
数据获取模块,用于获取待检测的单维时间序列,构成数据集;
周期性/平稳性确认模块,用于确认所述数据集是否具有统计学特性,其中,统计学特性包括周期性和平稳性,根据确认结果选择不同的拟合方式对所述数据集进行拟合;
异常检测模块:用于计算拟合后的数据集的基带缩放因子,并根据所述基带缩放因子确定上下基带范围,根据所述上下基带范围和结合该领域的知识确定所述数据集中的异常点。
9.一种服务器,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任一所述的自适应基带优化的时序异常检测方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一所述的自适应基带优化的时序异常检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210468917.9A CN115328723A (zh) | 2022-04-29 | 2022-04-29 | 一种自适应基带优化的时序异常检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210468917.9A CN115328723A (zh) | 2022-04-29 | 2022-04-29 | 一种自适应基带优化的时序异常检测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115328723A true CN115328723A (zh) | 2022-11-11 |
Family
ID=83915722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210468917.9A Pending CN115328723A (zh) | 2022-04-29 | 2022-04-29 | 一种自适应基带优化的时序异常检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115328723A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115495274A (zh) * | 2022-11-15 | 2022-12-20 | 阿里云计算有限公司 | 基于时序数据的异常处理方法、网络设备和可读存储介质 |
CN116720753A (zh) * | 2023-08-07 | 2023-09-08 | 浙江鹏信信息科技股份有限公司 | 水文数据的处理方法、系统及可读存储介质 |
CN117350508A (zh) * | 2023-10-31 | 2024-01-05 | 深圳市黑云精密工业有限公司 | 基于生产产线采集器实时采集数据的生产工单分配系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860897A (zh) * | 2020-08-05 | 2020-10-30 | 青岛特来电新能源科技有限公司 | 一种异常检测方法、装置、设备及计算机可读存储介质 |
CN112149860A (zh) * | 2019-06-28 | 2020-12-29 | 中国电力科学研究院有限公司 | 一种自动异常检测方法和系统 |
CN112311611A (zh) * | 2019-07-29 | 2021-02-02 | 中国移动通信集团广东有限公司 | 数据异常的监测方法、装置和电子设备 |
CN112380044A (zh) * | 2020-12-04 | 2021-02-19 | 腾讯科技(深圳)有限公司 | 数据异常检测方法、装置、计算机设备和存储介质 |
WO2021056724A1 (zh) * | 2019-09-23 | 2021-04-01 | 平安科技(深圳)有限公司 | 异常检测方法、装置、电子设备及存储介质 |
-
2022
- 2022-04-29 CN CN202210468917.9A patent/CN115328723A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112149860A (zh) * | 2019-06-28 | 2020-12-29 | 中国电力科学研究院有限公司 | 一种自动异常检测方法和系统 |
CN112311611A (zh) * | 2019-07-29 | 2021-02-02 | 中国移动通信集团广东有限公司 | 数据异常的监测方法、装置和电子设备 |
WO2021056724A1 (zh) * | 2019-09-23 | 2021-04-01 | 平安科技(深圳)有限公司 | 异常检测方法、装置、电子设备及存储介质 |
CN111860897A (zh) * | 2020-08-05 | 2020-10-30 | 青岛特来电新能源科技有限公司 | 一种异常检测方法、装置、设备及计算机可读存储介质 |
CN112380044A (zh) * | 2020-12-04 | 2021-02-19 | 腾讯科技(深圳)有限公司 | 数据异常检测方法、装置、计算机设备和存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115495274A (zh) * | 2022-11-15 | 2022-12-20 | 阿里云计算有限公司 | 基于时序数据的异常处理方法、网络设备和可读存储介质 |
CN115495274B (zh) * | 2022-11-15 | 2023-03-07 | 阿里云计算有限公司 | 基于时序数据的异常处理方法、网络设备和可读存储介质 |
CN116720753A (zh) * | 2023-08-07 | 2023-09-08 | 浙江鹏信信息科技股份有限公司 | 水文数据的处理方法、系统及可读存储介质 |
CN116720753B (zh) * | 2023-08-07 | 2023-10-31 | 浙江鹏信信息科技股份有限公司 | 水文数据的处理方法、系统及可读存储介质 |
CN117350508A (zh) * | 2023-10-31 | 2024-01-05 | 深圳市黑云精密工业有限公司 | 基于生产产线采集器实时采集数据的生产工单分配系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115328723A (zh) | 一种自适应基带优化的时序异常检测方法及系统 | |
Ferreira et al. | Modelling distributions of significant wave height | |
CN112685273A (zh) | 异常检测方法、装置、计算机设备和存储介质 | |
CN115412455B (zh) | 一种基于时间序列的服务器多性能指标异常检测方法及装置 | |
CN107992447A (zh) | 一种应用于河流水位预测数据的特征选择分解方法 | |
CN110532119B (zh) | 动力系统运行异常点检测方法 | |
CN112380044B (zh) | 数据异常检测方法、装置、计算机设备和存储介质 | |
CN109840671B (zh) | 运行改进效果计算设备、运行改进效果计算方法和记录介质 | |
CN107516279A (zh) | 一种网络舆情自动预警的方法 | |
CN115409153A (zh) | 一种基于注意力lstm的畜牧指标预测方法及预测系统 | |
CN109065176B (zh) | 一种血糖预测方法、装置、终端和存储介质 | |
CN111830481B (zh) | 雷达回波单分量幅度分布模型参数估计方法及装置 | |
CN113918433A (zh) | 一种自适应的智慧网络设备性能指标异常检测装置及方法 | |
CN117421994A (zh) | 一种边缘应用健康度的监测方法和监测系统 | |
Yao et al. | A framework via impulses-oriented Gini index and extreme value distribution for rolling bearing dynamic fault alarm and identification | |
CN110956675B (zh) | 技术成熟度曲线自动生成方法及装置 | |
CN115278757A (zh) | 一种检测异常数据的方法、装置及电子设备 | |
CN110134575B (zh) | 一种服务器集群的服务能力计算方法及装置 | |
CN114328078A (zh) | 一种阈值动态计算方法、装置及计算机可读存储介质 | |
Linder et al. | Evaluating statistical models to measure environmental change: A tidal turbine case study | |
US20150370682A1 (en) | Data-agnostic adjustment of hard thresholds based on user feedback | |
Majumder et al. | Time Series Clustering of Energy Meter Data | |
Chen et al. | An adaptive method for threshold of recurrence quantification analysis based on SAX | |
CN117349734B (zh) | 水表设备识别方法、装置、电子设备及存储介质 | |
CN116432518B (zh) | 一种畸形波发生概率的快速预报方法、系统、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |