CN111241208A - 一种周期性时序数据的异常监测方法及装置 - Google Patents
一种周期性时序数据的异常监测方法及装置 Download PDFInfo
- Publication number
- CN111241208A CN111241208A CN201911416370.2A CN201911416370A CN111241208A CN 111241208 A CN111241208 A CN 111241208A CN 201911416370 A CN201911416370 A CN 201911416370A CN 111241208 A CN111241208 A CN 111241208A
- Authority
- CN
- China
- Prior art keywords
- time period
- data
- training data
- threshold
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000000737 periodic effect Effects 0.000 title claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 40
- 230000002159 abnormal effect Effects 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims description 35
- 238000010276 construction Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 239000003016 pheromone Substances 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000006386 neutralization reaction Methods 0.000 description 2
- 241000720945 Hosta Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种周期性时序数据的异常监测方法及装置,属于计算机技术领域,包括:获取属于正常状态的时序数据建立训练数据集,按照训练数据的数值变化特征,得到各多维时间段区间;利用训练数据集在各维度时间段的数值变化范围,获得各时间段的上界阈值和下界阈值;利用各多维时间段的上界阈值和下界阈值,对当前待监测数据进行异常监测。本发明利用多维度时间段的自适应阈值对数据进行监测,改变了传统的固定阈值的方式,更加适用于呈周期性变化的时序数据的异常监测。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种周期性时序数据的异常监测方法及装置。
背景技术
目前,针对时序数据的异常检测经常基于领域专家给定的规则,例如按照专家经验和日常监测值,规定各项技术指标的正常区间,在正常区间内的数据判定为正常,不在正常区间内的数据判定为异常。这种方法灵活性以及准确性欠佳,特别不适用具有周期性的变化的时序数据,比如在数据中心对外提供服务时,各类资源的使用具有明显的周期性(高峰期、平稳期和低谷期),对资源的使用情况进行监控时,如果在高峰期,较高的资源占有率是正常的,但是如果在低谷期,不太高的资源占有率也是异常的,上述固定阈值的方式则无法适用。
近期来,机器学习技术被应用于异常检测,如标准差法、基于密度的聚类、孤立森林、多元高斯分布、支持向量机等。这些并不考虑时间因素,因此对时间序列数据的异常检测效果欠佳。为此,有人提出利用滑动窗口技术,将最近一段时间的数据最为分析对象,然后用上述异常检测方法,或者几种方法投票统计数据异常评分。此方法虽然能动态获取最近一段时间的数据特点,但仍然无法有效地发现时间序列的内部规律,特别是对周期性变化的时序数据很难有效处理。
有研究者利用小波分析的方法获取时间序列在频率域上的信息,从而判断序列是否异常;也有人利用历史数据建立时间序列的预测模型,通过比较预测数据和实际数据的差异,以判断是否出现异常。这些方法能够分析出时序数据的周期性变化,但是这类方法计算量通常较大,对于大规模对象的实时性监测效果欠佳。
发明内容
本发明的目的在于克服上述背景技术中的不足,提高周期性变化的时序数据的异常检测结果的准确性。
为实现以上目的,一方面,提出一种周期性时序数据的异常监测方法,包括如下步骤:
获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
进一步地,所述获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的多维时间段,包括:
按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类;
以所述训练数据集中数据的采集时间为统计对象,统计所述训练数据集的值变化范围;
将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间;
根据基本时间段区间和各维度分析,得到所述训练数据集对应的各多维时间段。
进一步地,所述将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间,包括:
将数据值变化范围区间差值小于设定的差值阈值的连续时间段合并,获得K个基本时间段区间。
进一步地,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度中的至少一个。
进一步地,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度。
其中,节假日维度分析:将国家法定的七类节假日(元旦、春节、清明节、劳动节、端午节、国庆节、中秋节)、传统节日(立春、元宵节、中和节、上已节、天贶节、夏至节、七夕节、重阳节、冬至节、腊八节、祭灶节)、外来节日(圣诞节,情人节,感恩节,父亲节,母亲节,狂欢节、愚人节)作为的时间节点,统计节假日的各个时间段的数据变化范围,以及工作日的各个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加节假日维度,维度值为(F1,F2,…,Fk,NF),其中,F1,F2,…,Fk为数据范围有明显减小的k个节日,NF为非上述节日;
周维度分析:以天为单位,以周(星期)为周期,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加周维度,维度值为(W1,W2,…,W7);
季度维度分析:以季度为单位,以年为周期,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加季度维度,维度值为(S1,S2,S3,S4);
年维度分析:以年为单位,以年代为周期,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加年维度,维度值为(Y0,Y1,…,Y9);
自由维度分析:以专家经验的时间段为单位,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加该自由维度,维度值为(E1,E2,…,El)。
进一步地,在所述按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类之前,还包括:
对所述训练数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集。
进一步地,所述利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值,包括:
根据所述各时间段区间确定训练数据对应的时间段区间,对于t时刻的训练数据xt,假设其处于第i个基本时间段(Hi,Hi+1],在多维空间里编号为d,将时间段区间表示为此时其变化范围上下界的阈值TLi d(t)和TUi d(t),对于初始的t=1的时刻,令TLi d(t)和TUi d(t)的值均为 x1;
上界阈值TUi d(t)和下界阈值TLi d(t)之间的差值⊿T:
其中,xt为训练数据;
进一步地,所述采用蚁群算法信息素更新机制,利用⊿T对上界阈值TUi d(t)和下界阈值TLi d(t)进行更新,以获得各多维时间段的上界阈值和下界阈值,包括:
在训练数据xt小于下界阈值TLi d(t)时,更新TLi d(t),公式如下:
TLi d(t+1)=(1-ρ)TLi d(t)+δΔT
TUi d(t+1)=(1-ρ)TUi d(t)+δΔT
其中,ρ和δ均为常数。
进一步地,所述利用各时间段区间的上界阈值和下界阈值,对当前待监测时序数据进行异常监测,包括:
判断当前待监测时序数据是否处于所属多维时间段的上界阈值和下界阈值之内;
若是,则确定当前待监测时序数据为正常状态;
若否,则确定当前待监测时序数据为异常状态。
进一步地,还包括:利用所述当前待监测时序数据的监测结果反馈,重新训练所述各时间段的上界阈值TUi d(t)和下界阈值TLi d(t)。
另一方面,提出一种周期性时序数据的异常监测装置,包括:时间段构建模块、自适应阈值训练模块和监测模块;
时间段构建模块用于将属于正常状态的时序数据集合作为训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的多维时间段;
自适应阈值训练模块用于利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
监测模块用于利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
与现有技术相比,本发明存在以下技术效果:本发明根据时序数据本身的分布特点,自动产生多个维度的时间段,建立多个维度下多个时间段构成的时间模型。再以多维时间段为单位,依据时序数据的数值变化范围,自动生成各个时间段的自适应上下界阈值。利用自适应阈值对不同时段的数据进行监测,改变了传统的固定阈值的方式,更加适用于呈周期性变化的时序数据的异常监测。
附图说明
下面结合附图,对本发明的具体实施方式进行详细描述:
图1是一种周期性时序数据的异常监测方法的流程示意图;
图2是一种周期性时序数据的异常监测方法的原理框图;
图3是构建时间段区间的流程示意图;
图4是24小时为周期,某时序数据的值的变化范围示意图;
图5是多维时间段的阈值示意图;
图6是一种周期性时序数据的异常监测装置的结构示意图。
具体实施方式
为了更进一步说明本发明的特征,请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用,并非用来对本发明的保护范围加以限制。
如图1至图2所示,本实施例公开了一种周期性时序数据的异常监测方法,包括如下步骤S1至S3:
S1、获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
S2、利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
S3、利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
具体来说,如图3所示,上述步骤S1:获取属于正常状态的时序数据建立训练数据集,按照训练数据集的数值特征,基于设定的分析维度得到训练数据集对应的各时间段区间,具体包括如下细分步骤S11至S14:
S11、按照所述训练数据集的数值大小,将区间按照长度等分成m 个等价类;
需要说明的是,本实施例中按照训练数据集的数值大小,按照设定的长度,将区间等分成Z1、Z2、Z3、……、Zm等m个等价类。通过等价类操作可减少数据的复杂度。
S12、以所述训练序数据的采集时间单位为统计对象,统计所述训练数据集的值变化范围;
需要说明的是,时序数据的采集时间单位可根据具体情况而定,比如每间隔1分钟采集一次,则采集时间单位为1分钟。
S13、将数据值变化范围区间符合设定条件的连续时间段合并,获得K个基本时间段区间;
具体地,本实施例中是将数据变化范围区间基本相似的连续时间段进行合并,得到基本时间段区间。这里判断数据变化范围区间是否相似的方法可采用数据变化范围区间的差值是否小于某阈值,并将数据变化范围区间的差值小于某阈值的连续时间段进行合并。
需要说明的是,这里的阈值是预先给定的用于与数据变化范围区间的差值进行比较的某个值。
S14、根据基本时间段和各维度分析结果,得到所述训练数据集对应的各维度时间段。
需要说明的是,利用基本时间段结合多个分析维度,对于每个维度值下的基本时间段内的数据变化进行分析,将整个空间分为多个时间段区间。
具体来说,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度中的至少一个。
需要说明的是,节假日维度分析是将国家法定的七类节假日(元旦、春节、清明节、劳动节、端午节、国庆节、中秋节)、传统节日(立春、元宵节、中和节、上已节、天贶节、夏至节、七夕节、重阳节、冬至节、腊八节、祭灶节)、外来节日(圣诞节、情人节、感恩节、父亲节、母亲节、狂欢节、愚人节)作为的时间节点,统计节假日的各个时间段的数据变化范围,以及工作日的各个时间段的数据变化范围。
如果在节假日维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加节假日维度,节假日维度值为(F1,F2,…,Fk,NF),其中,F1,F2,…,Fk为数据范围有明显减小的k个节日,NF为非上述节日。
周维度分析是指以天为单位,以周(星期)为周期,统计该维度下每个基本时间段区间的数据变化范围。如果周维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加周维度,维度值为(W1, W2,…,W7)。
季度维度分析是指以季度为单位,以年为周期,统计该维度下每个基本时间段区间的数据变化范围。如果季度维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加季度维度,维度值为(S1, S2,S3,S4)。
年维度分析是指以年为单位,以年代为周期,统计该维度下每个基本时间段区间的数据变化范围。如果年维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加年维度,维度值为(Y0,Y1,…, Y9)。
自由维度分析是指以专家经验的时间段为单位,统计该维度下每个基本时间段区间的数据变化范围。如果自由维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加该自由维度,维度值为(E1, E2,…,El)。
需要说明的是,本领域技术人员也可根据实际情况的不同,设置不同的分析维度,来构建时序数据的时间段区间。
进一步地,在上述步骤S11:按照所述训练数据集的数值大小,将区间按照长度等分成m个等价类之前,还包括:
对所述训练数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集。
需要说明的是,在对时序数据构建时间段区间之前,还需对时序数据进行预处理,预处理过程包括去除噪声数据、缺失值数据等。另外,时序数据中部分可能存在异常状态的数据,也需将其删除,只保留正常数据。
具体来说,上述步骤S2:利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值,包括如下细分步骤S21至S23:
S22、更新数据xt所属时间段上午上下界的阈值TLi d(t)和TUi d(t),对于初始的t=1的时刻,令TLi d(t)和TUi d(t)的值均为x1;
计算xt与上界阈值TUi d(t)和下界阈值TLi d(t)之间的差值⊿T:
S23、采用蚁群算法信息素更新机制,对上界阈值TUi d(t)和下界阈值TLi d(t)进行更新。
具体来说,上述步骤S23包括如下细分步骤S231至S233:
S232、在训练数据xt小于下界阈值TLi d(t)时,更新TLi d(t),公式如下:
TLi d(t+1)=(1-ρ)TLi d(t)+δΔT
TUi d(t+1)=(1-ρ)TUi d(t)+δΔT
其中,ρ和δ均为常数,分别用于调节衰减速度和新信息影响系数。
本实施例通过利用属于正常状态的时序数据集,按照上述确定的多维时间段,确定训练数据对应的时间段,并对该时间段的上下界阈值采用蚁群算法信息素更新机制,更新当前时间段区间的上下界阈值,以实现上下界阈值的动态更新,从而适用状态变化的时序数据的异常监测。
具体来说,上述步骤S3:利用各维度时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测,包括如下细分步骤S31至S33:
S31、判断当前待监测时序数据是否处于所属多维时间段的上界阈值和下界阈值之内,若是则执行步骤S32,若否则执行步骤S33;
S32、确定当前待监测时序数据为正常状态;
S33、确定当前待监测时序数据为异常状态。
优选地,本实施例中还利用当前待监测时序数据的监测结果,重新分析所述训练数据集对应的各时间段区间,以动态更新时间段区间。
优选地,本实施例中时间段区间的构建以及时间段区间的上下界阈值的训练过程可根据业务需求和系统硬件条件,进行在线训练或离线训练实现。
以下通过一个具体实例对本实施例方案进行详细解释如下:
对于给定一个用于训练的时序数据集合X={X1,X2,…,Xn},n 为数据个数,每一条数据Xi是一个包括j个分量的向量,记为(xi1,xi2,…, xij),其中至少有一个分量表示监测时间。下面为了便于表述,我们假设只有一个分量需要检测,时序数据集合X可以简化表示为 {(t1,x1),(t2,x2),…,(tn,xn)}。对于多个分量需要监测时,只要将待检测时序数据分为多个子时序数据,每一个子时序数据均包括一个时间分量和一个待检测分量即可。
1)对数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集;
2)构造等价类:按照{x1,x2,…,xn}数值的大小,假设取值范围为 [a,b],将区间按照长度(b-1)/m等分成Z1、Z2、Z3、……、Zm等m个等价类;
3)原始时间统计:以训练数据集采集时间为统计对象,以24小时为周期,统计时序数据中的值变化范围如图4所示;
4)构造时间段区间:根据上述时序数据的统计,将数据变化范围区间基本相似的连续时间段合并,将1天时间构造成9个基本时间段,假设为[0:00,7:30],(7:30,8:00],(8:00,9:00],…,(22:00,24:00];
5)以上述9个时间段为单位,统计时序数据中每个时间段的数据变化范围[TL1,TU1],[TL2,TU2],[TL3,TU3],…,[TL9,TU9];
6)节假日维度分析:将国家法定的七类节假日、传统节日、外来节日作为的时间节点,统计节假日的各个时间段的数据变化范围,以及非上述节日的各个时间段的数据变化范围。统计发现七类节假日和传统节日的4个的时间段的数据变化范围减小,故增加节假日维度,维度值为(F1,F2,…,F11,NF),其中,F1,F2,…,F11分别表示元旦、春节、元宵节、清明节、劳动节、端午节、七夕节、国庆节、中秋节、重阳节、祭灶节,NF表示非上述11个节日;
7)周维度分析:对于非节日的时序数据,以天为单位,以周(星期)为周期,统计各个时间段的数据变化范围。统计发现有较多的时间段的数据变化范围减小,则增加周维度,维度值为(W1,W2,…,W7),分别表示一周的7天;
8)季度维度分析:以季度为单位,以年为周期,统计每个时间段的数据变化范围。统计发现时间段的数据变化范围不明显,不增加季度维度;
9)年维度分析:以年为单位,以年代为周期,统计每个时间段的数据变化范围。统计发现时间段的数据变化范围不明显,不增加年维度;
10)自由维度分析:没有专家经验的时间周期,故不增加自由维度。
通过上述训练,得到基本时间段维度、假日维度、周维度3个维度。其中基本时间段9个(维度值为[0,H1],(H1,H2],(H2,H3],…,(H9,24]);节假日维度(维度值为F1,F2,…,F11,NF);周维度(维度值为W1,W2,…, W7)。因此将整个空间分为162个时间段区间((11+1*7)*9),分别表示为:{[H0 1,H1 1],(H1 1,H2 1],…,(H8 1,H9 1]},{[H0 2,H1 2],(H1 2,H2 2],…, (H8 2,H9 2]},…,{[H0 18,H1 18],(H1 18,H2 18],…,(H8 18,H9 18]}。
11)对于t时刻属于正常状态的时序数据xt,确定其对应的时间段区间,假设为此时间段的上下界的阈值TLi d(t)和TUi d(t),对于初始的t=1的时刻,令TLi d(t)和TUi d(t)的值均为x1;
12)采用蚁群算法信息素更新机制,对当前时间段区间的上下界阈值进行更新。
13)对训练数据集的所有元素,重复上述11)12),最终可得到所有时间段的上下界阈值,得到的时间段区间的阈值如图5所示。
14)利用得到的不同时间段的上下界阈值,检查当前监测数据是否处于上下界阈值之内:
例如,对于实时监测数据(2019-10-31 00:07:20,0.59),时间上属于非节日的周四,按照上述时间段区间的构造,其所属区域为[H0 15,H1 15],对应的上下界阈值分别为:TL0 15(t)=0.45,TU0 15(t)=0.60,为正常状态;
例如,对于实时监测数据(2018-09-13 12:01:40,0.48),时间上属于中秋节、周五,按照上述时间段区间的构造,其所属区域为[H0 91,H1 91],对应的上下界阈值分别为:TL5 9(t)=0.50,TU5 9(t)=0.65,为异常状态,发出警示信息。
如图6所示,本实施例还公开了一种周期性时序数据的异常监测装置,包括:时间段构建模块10、自适应阈值训练模块20和监测模块30;
时间段构建模块10用于获取多维时间段模型,将属于正常状态的时序数据集合作为训练数据集,按照训练数据集的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
自适应阈值训练模块20用于利用各时间段区间确定训练数据的区间,以获得各时间段区间的上界阈值和下界阈值;
监测模块30用于利用各时间段区间的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
具体来说,时间段构建模块10包括等价类构造单元、时间统计单元、基本时间段区间构造单元和维度空间构造单元:
等价类构造单元用于按照所述训练数据的数值大小,将数值按照大小等分成m个等价类;
时间统计单元用于以所述训练序数据的采集时间为统计对象,统计所述训练数据集的值变化范围;
基本时间段区间构造单元用于将数据值变化范围区间符合设定条件的连续时间段合并,获得K个基本时间段区间;
维度空间构造单元用于根据基本时间段区间和各维度分析,得到所述训练数据集对应的多维度时间段。
具体来说,自适应阈值训练模块20包括时间段区间确定单元、阈值训练单元:
时间段区间确定单元用于根据所述多维时间段区间确定训练数据对应的时间段;
阈值训练单元用于根据训练数据所属的时间段的上界阈值TLi d(t)和下界阈值TUi d(t),定义差值为:
其中,xt为训练数据;
采用蚁群算法信息素更新机制,对上界阈值TLi d(t)和下界阈值TUi d(t) 进行更新,以获得各时间段区间的上界阈值和下界阈值。
具体来说,监测模块30包括判断单元和确定单元:
判断单元用于判断当前待监测时序数据是否处于所属时间段的上界阈值和下界阈值之内;
确定单元用于在判断单元输出结果为是时,确定当前待监测时序数据为正常状态;
确定单元用于在判断单元输出结果为否时,确定当前待监测时序数据为异常状态。
需要说明的是,本实施例公开的一种周期性时序数据的异常监测装置对应与上述实施例公开的时序数据的异常监测方法,其具有相应的技术特征,实现相同或相应的技术效果,该处不再赘述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种周期性时序数据的异常监测方法,其特征在于,包括:
获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
2.如权利要求1所述的周期性时序数据的异常监测方法,其特征在于,所述获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段,包括:
按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类;
以所述训练数据集中数据的采集时间为统计对象,统计所述训练数据集的值变化范围;
将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间;
根据基本时间段区间和各维度分析,得到所述训练数据集对应的各多维时间段。
3.如权利要求2所述的周期性时序数据的异常监测方法,其特征在于,所述将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间,包括:
将数据值变化范围区间差值小于设定的差值阈值的连续时间段合并,获得K个基本时间段区间。
4.如权利要求2所述的周期性时序数据的异常监测方法,其特征在于,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度中的至少一个。
5.如权利要求2所述的周期性时序数据的异常监测方法,其特征在于,在所述按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类之前,还包括:
对所述训练数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集。
8.如权利要求1所述的周期性时序数据的异常监测方法,其特征在于,所述利用各维度时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测,包括:
判断当前待监测时序数据是否处于所属多维时间段的上界阈值和下界阈值之内;
若是,则确定当前待监测时序数据为正常状态;
若否,则确定当前待监测时序数据为异常状态。
9.如权利要求8所述的周期性时序数据的异常监测方法,其特征在于,还包括:利用所述当前待监测时序数据的监测结果,重新分析所述训练数据集的各多维时间段区间。
10.一种周期性时序数据的异常监测装置,其特征在于,包括:时间段构建模块、自适应阈值训练模块和监测模块;
时间段构建模块用于将属于正常状态的时序数据集合作为训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
自适应阈值训练模块用于利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
监测模块用于利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911416370.2A CN111241208B (zh) | 2019-12-31 | 2019-12-31 | 一种周期性时序数据的异常监测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911416370.2A CN111241208B (zh) | 2019-12-31 | 2019-12-31 | 一种周期性时序数据的异常监测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111241208A true CN111241208A (zh) | 2020-06-05 |
CN111241208B CN111241208B (zh) | 2024-03-29 |
Family
ID=70871878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911416370.2A Active CN111241208B (zh) | 2019-12-31 | 2019-12-31 | 一种周期性时序数据的异常监测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111241208B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800068A (zh) * | 2021-02-22 | 2021-05-14 | 首钢京唐钢铁联合有限责任公司 | 一种能源计量数据自动处理的方法及装置 |
CN114500315A (zh) * | 2021-12-31 | 2022-05-13 | 深圳云天励飞技术股份有限公司 | 设备状态监控方法、装置、计算机设备及存储介质 |
CN114935721A (zh) * | 2022-05-30 | 2022-08-23 | 深圳先进技术研究院 | 一种基于光纤光栅传感器的锂离子电池荷电状态估计方法 |
CN116401568A (zh) * | 2023-02-02 | 2023-07-07 | 道枢(上海)数字技术有限公司 | 一种基于密度聚类的事件多发区域智能划分方法 |
CN117370898A (zh) * | 2023-12-08 | 2024-01-09 | 钛合联(深圳)科技有限公司 | 一种电子数据安全管控系统 |
CN118134266A (zh) * | 2024-05-08 | 2024-06-04 | 国网山东省电力公司巨野县供电公司 | 一种基于大数据的电网电力数据异常检测方法和系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007147166A2 (en) * | 2006-06-16 | 2007-12-21 | Quantum Leap Research, Inc. | Consilence of data-mining |
WO2015030804A1 (en) * | 2013-08-30 | 2015-03-05 | Hewlett-Packard Development Company, L.P. | Identifying anomalous behavior of a monitored entity |
CN105302848A (zh) * | 2014-10-11 | 2016-02-03 | 山东鲁能软件技术有限公司 | 一种设备智能预警系统的评估值校准方法 |
US20160219067A1 (en) * | 2015-01-28 | 2016-07-28 | Korea Internet & Security Agency | Method of detecting anomalies suspected of attack, based on time series statistics |
US20180046926A1 (en) * | 2014-05-23 | 2018-02-15 | DataRobot, Inc. | Systems for time-series predictive data analytics, and related methods and apparatus |
US20190025813A1 (en) * | 2016-05-09 | 2019-01-24 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for intelligent collection and analysis of vehicle data |
CN109615226A (zh) * | 2018-12-12 | 2019-04-12 | 焦点科技股份有限公司 | 一种运营指标异常监测方法 |
US20190379589A1 (en) * | 2018-06-12 | 2019-12-12 | Ciena Corporation | Pattern detection in time-series data |
-
2019
- 2019-12-31 CN CN201911416370.2A patent/CN111241208B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007147166A2 (en) * | 2006-06-16 | 2007-12-21 | Quantum Leap Research, Inc. | Consilence of data-mining |
WO2015030804A1 (en) * | 2013-08-30 | 2015-03-05 | Hewlett-Packard Development Company, L.P. | Identifying anomalous behavior of a monitored entity |
US20180046926A1 (en) * | 2014-05-23 | 2018-02-15 | DataRobot, Inc. | Systems for time-series predictive data analytics, and related methods and apparatus |
CN105302848A (zh) * | 2014-10-11 | 2016-02-03 | 山东鲁能软件技术有限公司 | 一种设备智能预警系统的评估值校准方法 |
US20160219067A1 (en) * | 2015-01-28 | 2016-07-28 | Korea Internet & Security Agency | Method of detecting anomalies suspected of attack, based on time series statistics |
US20190025813A1 (en) * | 2016-05-09 | 2019-01-24 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for intelligent collection and analysis of vehicle data |
US20190379589A1 (en) * | 2018-06-12 | 2019-12-12 | Ciena Corporation | Pattern detection in time-series data |
CN109615226A (zh) * | 2018-12-12 | 2019-04-12 | 焦点科技股份有限公司 | 一种运营指标异常监测方法 |
Non-Patent Citations (1)
Title |
---|
熊鹏;李鑫;时亚松;杨国杰;刘明;刘秀玲;: "基于稀疏降噪自动编码机的心律失常自动分类" * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112800068A (zh) * | 2021-02-22 | 2021-05-14 | 首钢京唐钢铁联合有限责任公司 | 一种能源计量数据自动处理的方法及装置 |
CN112800068B (zh) * | 2021-02-22 | 2023-05-12 | 首钢京唐钢铁联合有限责任公司 | 一种能源计量数据自动处理的方法及装置 |
CN114500315A (zh) * | 2021-12-31 | 2022-05-13 | 深圳云天励飞技术股份有限公司 | 设备状态监控方法、装置、计算机设备及存储介质 |
CN114935721A (zh) * | 2022-05-30 | 2022-08-23 | 深圳先进技术研究院 | 一种基于光纤光栅传感器的锂离子电池荷电状态估计方法 |
CN116401568A (zh) * | 2023-02-02 | 2023-07-07 | 道枢(上海)数字技术有限公司 | 一种基于密度聚类的事件多发区域智能划分方法 |
CN117370898A (zh) * | 2023-12-08 | 2024-01-09 | 钛合联(深圳)科技有限公司 | 一种电子数据安全管控系统 |
CN117370898B (zh) * | 2023-12-08 | 2024-03-12 | 钛合联(深圳)科技有限公司 | 一种电子数据安全管控系统 |
CN118134266A (zh) * | 2024-05-08 | 2024-06-04 | 国网山东省电力公司巨野县供电公司 | 一种基于大数据的电网电力数据异常检测方法和系统 |
CN118134266B (zh) * | 2024-05-08 | 2024-07-05 | 国网山东省电力公司巨野县供电公司 | 一种基于大数据的电网电力数据异常检测方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111241208B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111241208A (zh) | 一种周期性时序数据的异常监测方法及装置 | |
CN110865929B (zh) | 异常检测预警方法及系统 | |
CN108197845B (zh) | 一种基于深度学习模型lstm的交易指标异常的监测方法 | |
US11836162B2 (en) | Unsupervised method for classifying seasonal patterns | |
Li et al. | Trend modeling for traffic time series analysis: An integrated study | |
CN109587713B (zh) | 一种基于arima模型的网络指标预测方法、装置及存储介质 | |
CN108965055B (zh) | 一种基于历史时间取点法的网络流量异常检测方法 | |
US10331802B2 (en) | System for detecting and characterizing seasons | |
US10699211B2 (en) | Supervised method for classifying seasonal patterns | |
CN111783953A (zh) | 一种基于优化lstm网络的24点电力负荷值7日预测方法 | |
CN110889088A (zh) | 一种应用电力模型辅助的企业排污监管方法 | |
CN112640380A (zh) | 用于对事件的输入流进行异常检测的设备和方法 | |
CN105071983A (zh) | 一种面向云计算在线业务的异常负载检测方法 | |
CN111310139B (zh) | 行为数据识别方法、装置及存储介质 | |
CN111275255A (zh) | 一种混凝土坝变形监测预报模型的构建方法 | |
CN108415884B (zh) | 一种结构模态参数实时追踪方法 | |
CN110334105B (zh) | 一种基于Storm的流数据异常检测方法 | |
CN113157663B (zh) | 基于数据重建和混合预测的网络流量预测方法及装置 | |
CN110991477A (zh) | 一种识别电力系统异常行业用户和异常用电行为的方法和系统 | |
CN106600076B (zh) | 一种转塔式rto废气处理设备的监控数据分析与预警方法 | |
CN106980906B (zh) | 一种基于spark的Ftrl电压预测方法 | |
Li et al. | Traffic prediction, data compression, abnormal data detection and missing data imputation: An integrated study based on the decomposition of traffic time series | |
Da Silva et al. | A clustering approach for sampling data streams in sensor networks | |
Bobulski et al. | A method of cleaning data from IoT devices in Big data systems | |
Gao et al. | Redundancy-reducing and holiday speed prediction based on highway traffic speed data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210916 Address after: 230088 Second and Fourth Floors of Zheng Building, Kedao, West Second Road, Yulan Avenue, Hefei High-tech Zone, Anhui Province Applicant after: HEFEI CITY CLOUD DATA CENTER Co.,Ltd. Address before: 230088 Zheng Building, Zhongke Dalian, 767 Yulan Avenue, Hefei High-tech Zone, Anhui Province Applicant before: USTC-GZ INFORMATION TECHNOLOGY Co.,Ltd. Applicant before: HEFEI University |
|
GR01 | Patent grant | ||
GR01 | Patent grant |