CN111241208A - 一种周期性时序数据的异常监测方法及装置 - Google Patents

一种周期性时序数据的异常监测方法及装置 Download PDF

Info

Publication number
CN111241208A
CN111241208A CN201911416370.2A CN201911416370A CN111241208A CN 111241208 A CN111241208 A CN 111241208A CN 201911416370 A CN201911416370 A CN 201911416370A CN 111241208 A CN111241208 A CN 111241208A
Authority
CN
China
Prior art keywords
time period
data
training data
threshold
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911416370.2A
Other languages
English (en)
Other versions
CN111241208B (zh
Inventor
陈圣兵
谢飞
屠菁
刘宇
张琛
丁正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei City Cloud Data Center Co ltd
Original Assignee
Ustc Gz Information Technology Co ltd
Hefei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ustc Gz Information Technology Co ltd, Hefei University filed Critical Ustc Gz Information Technology Co ltd
Priority to CN201911416370.2A priority Critical patent/CN111241208B/zh
Publication of CN111241208A publication Critical patent/CN111241208A/zh
Application granted granted Critical
Publication of CN111241208B publication Critical patent/CN111241208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种周期性时序数据的异常监测方法及装置,属于计算机技术领域,包括:获取属于正常状态的时序数据建立训练数据集,按照训练数据的数值变化特征,得到各多维时间段区间;利用训练数据集在各维度时间段的数值变化范围,获得各时间段的上界阈值和下界阈值;利用各多维时间段的上界阈值和下界阈值,对当前待监测数据进行异常监测。本发明利用多维度时间段的自适应阈值对数据进行监测,改变了传统的固定阈值的方式,更加适用于呈周期性变化的时序数据的异常监测。

Description

一种周期性时序数据的异常监测方法及装置
技术领域
本发明涉及计算机技术领域,特别涉及一种周期性时序数据的异常监测方法及装置。
背景技术
目前,针对时序数据的异常检测经常基于领域专家给定的规则,例如按照专家经验和日常监测值,规定各项技术指标的正常区间,在正常区间内的数据判定为正常,不在正常区间内的数据判定为异常。这种方法灵活性以及准确性欠佳,特别不适用具有周期性的变化的时序数据,比如在数据中心对外提供服务时,各类资源的使用具有明显的周期性(高峰期、平稳期和低谷期),对资源的使用情况进行监控时,如果在高峰期,较高的资源占有率是正常的,但是如果在低谷期,不太高的资源占有率也是异常的,上述固定阈值的方式则无法适用。
近期来,机器学习技术被应用于异常检测,如标准差法、基于密度的聚类、孤立森林、多元高斯分布、支持向量机等。这些并不考虑时间因素,因此对时间序列数据的异常检测效果欠佳。为此,有人提出利用滑动窗口技术,将最近一段时间的数据最为分析对象,然后用上述异常检测方法,或者几种方法投票统计数据异常评分。此方法虽然能动态获取最近一段时间的数据特点,但仍然无法有效地发现时间序列的内部规律,特别是对周期性变化的时序数据很难有效处理。
有研究者利用小波分析的方法获取时间序列在频率域上的信息,从而判断序列是否异常;也有人利用历史数据建立时间序列的预测模型,通过比较预测数据和实际数据的差异,以判断是否出现异常。这些方法能够分析出时序数据的周期性变化,但是这类方法计算量通常较大,对于大规模对象的实时性监测效果欠佳。
发明内容
本发明的目的在于克服上述背景技术中的不足,提高周期性变化的时序数据的异常检测结果的准确性。
为实现以上目的,一方面,提出一种周期性时序数据的异常监测方法,包括如下步骤:
获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
进一步地,所述获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的多维时间段,包括:
按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类;
以所述训练数据集中数据的采集时间为统计对象,统计所述训练数据集的值变化范围;
将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间;
根据基本时间段区间和各维度分析,得到所述训练数据集对应的各多维时间段。
进一步地,所述将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间,包括:
将数据值变化范围区间差值小于设定的差值阈值的连续时间段合并,获得K个基本时间段区间。
进一步地,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度中的至少一个。
进一步地,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度。
其中,节假日维度分析:将国家法定的七类节假日(元旦、春节、清明节、劳动节、端午节、国庆节、中秋节)、传统节日(立春、元宵节、中和节、上已节、天贶节、夏至节、七夕节、重阳节、冬至节、腊八节、祭灶节)、外来节日(圣诞节,情人节,感恩节,父亲节,母亲节,狂欢节、愚人节)作为的时间节点,统计节假日的各个时间段的数据变化范围,以及工作日的各个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加节假日维度,维度值为(F1,F2,…,Fk,NF),其中,F1,F2,…,Fk为数据范围有明显减小的k个节日,NF为非上述节日;
周维度分析:以天为单位,以周(星期)为周期,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加周维度,维度值为(W1,W2,…,W7);
季度维度分析:以季度为单位,以年为周期,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加季度维度,维度值为(S1,S2,S3,S4);
年维度分析:以年为单位,以年代为周期,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加年维度,维度值为(Y0,Y1,…,Y9);
自由维度分析:以专家经验的时间段为单位,统计每个时间段的数据变化范围。如果有2个以上时间段的数据变化范围减小,则增加该自由维度,维度值为(E1,E2,…,El)。
进一步地,在所述按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类之前,还包括:
对所述训练数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集。
进一步地,所述利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值,包括:
根据所述各时间段区间确定训练数据对应的时间段区间,对于t时刻的训练数据xt,假设其处于第i个基本时间段(Hi,Hi+1],在多维空间里编号为d,将时间段区间表示为
Figure RE-RE-GDA0002419717070000041
此时其变化范围上下界的阈值TLi d(t)和TUi d(t),对于初始的t=1的时刻,令TLi d(t)和TUi d(t)的值均为 x1
上界阈值TUi d(t)和下界阈值TLi d(t)之间的差值⊿T:
Figure RE-RE-GDA0002419717070000048
其中,xt为训练数据;
采用蚁群算法的信息素更新机制,利用⊿T对上述上界阈值
Figure RE-RE-GDA0002419717070000051
和下界阈值TLi d(t)进行更新,以获得各多维时间段的上界阈值和下界阈值。
进一步地,所述采用蚁群算法信息素更新机制,利用⊿T对上界阈值TUi d(t)和下界阈值TLi d(t)进行更新,以获得各多维时间段的上界阈值和下界阈值,包括:
在训练数据
Figure RE-RE-GDA0002419717070000055
时,不对上、下界阈值进行更新;
在训练数据xt小于下界阈值TLi d(t)时,更新TLi d(t),公式如下:
TLi d(t+1)=(1-ρ)TLi d(t)+δΔT
在训练数据xt大于上界阈值
Figure RE-RE-GDA0002419717070000059
时,更新
Figure RE-RE-GDA00024197170700000510
公式如下:
TUi d(t+1)=(1-ρ)TUi d(t)+δΔT
其中,ρ和δ均为常数。
进一步地,所述利用各时间段区间的上界阈值和下界阈值,对当前待监测时序数据进行异常监测,包括:
判断当前待监测时序数据是否处于所属多维时间段的上界阈值和下界阈值之内;
若是,则确定当前待监测时序数据为正常状态;
若否,则确定当前待监测时序数据为异常状态。
进一步地,还包括:利用所述当前待监测时序数据的监测结果反馈,重新训练所述各时间段的上界阈值TUi d(t)和下界阈值TLi d(t)。
另一方面,提出一种周期性时序数据的异常监测装置,包括:时间段构建模块、自适应阈值训练模块和监测模块;
时间段构建模块用于将属于正常状态的时序数据集合作为训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的多维时间段;
自适应阈值训练模块用于利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
监测模块用于利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
与现有技术相比,本发明存在以下技术效果:本发明根据时序数据本身的分布特点,自动产生多个维度的时间段,建立多个维度下多个时间段构成的时间模型。再以多维时间段为单位,依据时序数据的数值变化范围,自动生成各个时间段的自适应上下界阈值。利用自适应阈值对不同时段的数据进行监测,改变了传统的固定阈值的方式,更加适用于呈周期性变化的时序数据的异常监测。
附图说明
下面结合附图,对本发明的具体实施方式进行详细描述:
图1是一种周期性时序数据的异常监测方法的流程示意图;
图2是一种周期性时序数据的异常监测方法的原理框图;
图3是构建时间段区间的流程示意图;
图4是24小时为周期,某时序数据的值的变化范围示意图;
图5是多维时间段的阈值示意图;
图6是一种周期性时序数据的异常监测装置的结构示意图。
具体实施方式
为了更进一步说明本发明的特征,请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用,并非用来对本发明的保护范围加以限制。
如图1至图2所示,本实施例公开了一种周期性时序数据的异常监测方法,包括如下步骤S1至S3:
S1、获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
S2、利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
S3、利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
具体来说,如图3所示,上述步骤S1:获取属于正常状态的时序数据建立训练数据集,按照训练数据集的数值特征,基于设定的分析维度得到训练数据集对应的各时间段区间,具体包括如下细分步骤S11至S14:
S11、按照所述训练数据集的数值大小,将区间按照长度等分成m 个等价类;
需要说明的是,本实施例中按照训练数据集的数值大小,按照设定的长度,将区间等分成Z1、Z2、Z3、……、Zm等m个等价类。通过等价类操作可减少数据的复杂度。
S12、以所述训练序数据的采集时间单位为统计对象,统计所述训练数据集的值变化范围;
需要说明的是,时序数据的采集时间单位可根据具体情况而定,比如每间隔1分钟采集一次,则采集时间单位为1分钟。
S13、将数据值变化范围区间符合设定条件的连续时间段合并,获得K个基本时间段区间;
具体地,本实施例中是将数据变化范围区间基本相似的连续时间段进行合并,得到基本时间段区间。这里判断数据变化范围区间是否相似的方法可采用数据变化范围区间的差值是否小于某阈值,并将数据变化范围区间的差值小于某阈值的连续时间段进行合并。
需要说明的是,这里的阈值是预先给定的用于与数据变化范围区间的差值进行比较的某个值。
S14、根据基本时间段和各维度分析结果,得到所述训练数据集对应的各维度时间段。
需要说明的是,利用基本时间段结合多个分析维度,对于每个维度值下的基本时间段内的数据变化进行分析,将整个空间分为多个时间段区间。
具体来说,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度中的至少一个。
需要说明的是,节假日维度分析是将国家法定的七类节假日(元旦、春节、清明节、劳动节、端午节、国庆节、中秋节)、传统节日(立春、元宵节、中和节、上已节、天贶节、夏至节、七夕节、重阳节、冬至节、腊八节、祭灶节)、外来节日(圣诞节、情人节、感恩节、父亲节、母亲节、狂欢节、愚人节)作为的时间节点,统计节假日的各个时间段的数据变化范围,以及工作日的各个时间段的数据变化范围。
如果在节假日维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加节假日维度,节假日维度值为(F1,F2,…,Fk,NF),其中,F1,F2,…,Fk为数据范围有明显减小的k个节日,NF为非上述节日。
周维度分析是指以天为单位,以周(星期)为周期,统计该维度下每个基本时间段区间的数据变化范围。如果周维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加周维度,维度值为(W1, W2,…,W7)。
季度维度分析是指以季度为单位,以年为周期,统计该维度下每个基本时间段区间的数据变化范围。如果季度维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加季度维度,维度值为(S1, S2,S3,S4)。
年维度分析是指以年为单位,以年代为周期,统计该维度下每个基本时间段区间的数据变化范围。如果年维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加年维度,维度值为(Y0,Y1,…, Y9)。
自由维度分析是指以专家经验的时间段为单位,统计该维度下每个基本时间段区间的数据变化范围。如果自由维度下的基本时间段区间中有较多的时间段的数据变化范围减小,则增加该自由维度,维度值为(E1, E2,…,El)。
需要说明的是,本领域技术人员也可根据实际情况的不同,设置不同的分析维度,来构建时序数据的时间段区间。
进一步地,在上述步骤S11:按照所述训练数据集的数值大小,将区间按照长度等分成m个等价类之前,还包括:
对所述训练数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集。
需要说明的是,在对时序数据构建时间段区间之前,还需对时序数据进行预处理,预处理过程包括去除噪声数据、缺失值数据等。另外,时序数据中部分可能存在异常状态的数据,也需将其删除,只保留正常数据。
具体来说,上述步骤S2:利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值,包括如下细分步骤S21至S23:
S21、根据所述各时间段区间确定训练数据对应的时间段,对于数据xt,假设其处于第i个基本时间段(Hi,Hi+1],在多维空间里编号为d,将时间段区间表示为
Figure RE-RE-GDA0002419717070000101
S22、更新数据xt所属时间段上午上下界的阈值TLi d(t)和TUi d(t),对于初始的t=1的时刻,令TLi d(t)和TUi d(t)的值均为x1
计算xt与上界阈值TUi d(t)和下界阈值TLi d(t)之间的差值⊿T:
Figure RE-RE-GDA0002419717070000108
S23、采用蚁群算法信息素更新机制,对上界阈值TUi d(t)和下界阈值TLi d(t)进行更新。
具体来说,上述步骤S23包括如下细分步骤S231至S233:
S231、在训练数据
Figure RE-RE-GDA00024197170700001011
时,不对上、下界阈值进行更新;
S232、在训练数据xt小于下界阈值TLi d(t)时,更新TLi d(t),公式如下:
TLi d(t+1)=(1-ρ)TLi d(t)+δΔT
S233、在训练数据xt大于上界阈值
Figure RE-RE-GDA0002419717070000111
时,更新
Figure RE-RE-GDA0002419717070000112
公式如下:
TUi d(t+1)=(1-ρ)TUi d(t)+δΔT
其中,ρ和δ均为常数,分别用于调节衰减速度和新信息影响系数。
本实施例通过利用属于正常状态的时序数据集,按照上述确定的多维时间段,确定训练数据对应的时间段,并对该时间段的上下界阈值采用蚁群算法信息素更新机制,更新当前时间段区间的上下界阈值,以实现上下界阈值的动态更新,从而适用状态变化的时序数据的异常监测。
具体来说,上述步骤S3:利用各维度时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测,包括如下细分步骤S31至S33:
S31、判断当前待监测时序数据是否处于所属多维时间段的上界阈值和下界阈值之内,若是则执行步骤S32,若否则执行步骤S33;
S32、确定当前待监测时序数据为正常状态;
S33、确定当前待监测时序数据为异常状态。
优选地,本实施例中还利用当前待监测时序数据的监测结果,重新分析所述训练数据集对应的各时间段区间,以动态更新时间段区间。
优选地,本实施例中时间段区间的构建以及时间段区间的上下界阈值的训练过程可根据业务需求和系统硬件条件,进行在线训练或离线训练实现。
以下通过一个具体实例对本实施例方案进行详细解释如下:
对于给定一个用于训练的时序数据集合X={X1,X2,…,Xn},n 为数据个数,每一条数据Xi是一个包括j个分量的向量,记为(xi1,xi2,…, xij),其中至少有一个分量表示监测时间。下面为了便于表述,我们假设只有一个分量需要检测,时序数据集合X可以简化表示为 {(t1,x1),(t2,x2),…,(tn,xn)}。对于多个分量需要监测时,只要将待检测时序数据分为多个子时序数据,每一个子时序数据均包括一个时间分量和一个待检测分量即可。
1)对数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集;
2)构造等价类:按照{x1,x2,…,xn}数值的大小,假设取值范围为 [a,b],将区间按照长度(b-1)/m等分成Z1、Z2、Z3、……、Zm等m个等价类;
3)原始时间统计:以训练数据集采集时间为统计对象,以24小时为周期,统计时序数据中的值变化范围如图4所示;
4)构造时间段区间:根据上述时序数据的统计,将数据变化范围区间基本相似的连续时间段合并,将1天时间构造成9个基本时间段,假设为[0:00,7:30],(7:30,8:00],(8:00,9:00],…,(22:00,24:00];
5)以上述9个时间段为单位,统计时序数据中每个时间段的数据变化范围[TL1,TU1],[TL2,TU2],[TL3,TU3],…,[TL9,TU9];
6)节假日维度分析:将国家法定的七类节假日、传统节日、外来节日作为的时间节点,统计节假日的各个时间段的数据变化范围,以及非上述节日的各个时间段的数据变化范围。统计发现七类节假日和传统节日的4个的时间段的数据变化范围减小,故增加节假日维度,维度值为(F1,F2,…,F11,NF),其中,F1,F2,…,F11分别表示元旦、春节、元宵节、清明节、劳动节、端午节、七夕节、国庆节、中秋节、重阳节、祭灶节,NF表示非上述11个节日;
7)周维度分析:对于非节日的时序数据,以天为单位,以周(星期)为周期,统计各个时间段的数据变化范围。统计发现有较多的时间段的数据变化范围减小,则增加周维度,维度值为(W1,W2,…,W7),分别表示一周的7天;
8)季度维度分析:以季度为单位,以年为周期,统计每个时间段的数据变化范围。统计发现时间段的数据变化范围不明显,不增加季度维度;
9)年维度分析:以年为单位,以年代为周期,统计每个时间段的数据变化范围。统计发现时间段的数据变化范围不明显,不增加年维度;
10)自由维度分析:没有专家经验的时间周期,故不增加自由维度。
通过上述训练,得到基本时间段维度、假日维度、周维度3个维度。其中基本时间段9个(维度值为[0,H1],(H1,H2],(H2,H3],…,(H9,24]);节假日维度(维度值为F1,F2,…,F11,NF);周维度(维度值为W1,W2,…, W7)。因此将整个空间分为162个时间段区间((11+1*7)*9),分别表示为:{[H0 1,H1 1],(H1 1,H2 1],…,(H8 1,H9 1]},{[H0 2,H1 2],(H1 2,H2 2],…, (H8 2,H9 2]},…,{[H0 18,H1 18],(H1 18,H2 18],…,(H8 18,H9 18]}。
11)对于t时刻属于正常状态的时序数据xt,确定其对应的时间段区间,假设为
Figure RE-RE-GDA0002419717070000131
此时间段的上下界的阈值TLi d(t)和TUi d(t),对于初始的t=1的时刻,令TLi d(t)和TUi d(t)的值均为x1
12)采用蚁群算法信息素更新机制,对当前时间段区间的上下界阈值进行更新。
13)对训练数据集的所有元素,重复上述11)12),最终可得到所有时间段的上下界阈值,得到的时间段区间的阈值如图5所示。
14)利用得到的不同时间段的上下界阈值,检查当前监测数据是否处于上下界阈值之内:
例如,对于实时监测数据(2019-10-31 00:07:20,0.59),时间上属于非节日的周四,按照上述时间段区间的构造,其所属区域为[H0 15,H1 15],对应的上下界阈值分别为:TL0 15(t)=0.45,TU0 15(t)=0.60,为正常状态;
例如,对于实时监测数据(2018-09-13 12:01:40,0.48),时间上属于中秋节、周五,按照上述时间段区间的构造,其所属区域为[H0 91,H1 91],对应的上下界阈值分别为:TL5 9(t)=0.50,TU5 9(t)=0.65,为异常状态,发出警示信息。
如图6所示,本实施例还公开了一种周期性时序数据的异常监测装置,包括:时间段构建模块10、自适应阈值训练模块20和监测模块30;
时间段构建模块10用于获取多维时间段模型,将属于正常状态的时序数据集合作为训练数据集,按照训练数据集的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
自适应阈值训练模块20用于利用各时间段区间确定训练数据的区间,以获得各时间段区间的上界阈值和下界阈值;
监测模块30用于利用各时间段区间的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
具体来说,时间段构建模块10包括等价类构造单元、时间统计单元、基本时间段区间构造单元和维度空间构造单元:
等价类构造单元用于按照所述训练数据的数值大小,将数值按照大小等分成m个等价类;
时间统计单元用于以所述训练序数据的采集时间为统计对象,统计所述训练数据集的值变化范围;
基本时间段区间构造单元用于将数据值变化范围区间符合设定条件的连续时间段合并,获得K个基本时间段区间;
维度空间构造单元用于根据基本时间段区间和各维度分析,得到所述训练数据集对应的多维度时间段。
具体来说,自适应阈值训练模块20包括时间段区间确定单元、阈值训练单元:
时间段区间确定单元用于根据所述多维时间段区间确定训练数据对应的时间段;
阈值训练单元用于根据训练数据所属的时间段的上界阈值TLi d(t)和下界阈值TUi d(t),定义差值为:
Figure RE-RE-GDA0002419717070000152
其中,xt为训练数据;
采用蚁群算法信息素更新机制,对上界阈值TLi d(t)和下界阈值TUi d(t) 进行更新,以获得各时间段区间的上界阈值和下界阈值。
具体来说,监测模块30包括判断单元和确定单元:
判断单元用于判断当前待监测时序数据是否处于所属时间段的上界阈值和下界阈值之内;
确定单元用于在判断单元输出结果为是时,确定当前待监测时序数据为正常状态;
确定单元用于在判断单元输出结果为否时,确定当前待监测时序数据为异常状态。
需要说明的是,本实施例公开的一种周期性时序数据的异常监测装置对应与上述实施例公开的时序数据的异常监测方法,其具有相应的技术特征,实现相同或相应的技术效果,该处不再赘述。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种周期性时序数据的异常监测方法,其特征在于,包括:
获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
2.如权利要求1所述的周期性时序数据的异常监测方法,其特征在于,所述获取属于正常状态的时序数据建立训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段,包括:
按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类;
以所述训练数据集中数据的采集时间为统计对象,统计所述训练数据集的值变化范围;
将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间;
根据基本时间段区间和各维度分析,得到所述训练数据集对应的各多维时间段。
3.如权利要求2所述的周期性时序数据的异常监测方法,其特征在于,所述将数据值变化范围符合设定条件的连续时间段合并,获得K个基本时间段区间,包括:
将数据值变化范围区间差值小于设定的差值阈值的连续时间段合并,获得K个基本时间段区间。
4.如权利要求2所述的周期性时序数据的异常监测方法,其特征在于,所述分析维度包括节假日维度、周维度、季度维度、年维度以及自由维度中的至少一个。
5.如权利要求2所述的周期性时序数据的异常监测方法,其特征在于,在所述按照所述训练数据集的数值大小,将数值按照大小等分成m个等价类之前,还包括:
对所述训练数据集进行预处理,剔除异常状态的数据,得到由正常状态的数据组成的训练数据集。
6.如权利要求1所述的周期性时序数据的异常监测方法,其特征在于,所述利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值,包括:
根据所述多维时间段确定训练数据所属的时间段;
计算训练数据与其所属多维时间段的上界阈值TUi d(t)和下界阈值TLi d(t)之间的差值⊿T为:
Figure RE-FDA0002419717060000021
其中,xt为训练数据;
采用蚁群算法信息素更新机制,利用⊿T对所述上界阈值TUi d(t)和下界阈值TLi d(t)进行更新,以获得各多维时间段的上界阈值和下界阈值。
7.如权利要求6所述的周期性时序数据的异常监测方法,其特征在于,所述采用蚁群算法信息素更新机制,利用⊿T对所述上界阈值TUi d(t)和下界阈值TLi d(t)进行更新,以获得各多维时间段的上界阈值和下界阈值,包括:
在训练数据
Figure RE-FDA0002419717060000031
时,不对上、下界阈值进行更新;
在训练数据xt小于下界阈值TLi d(t)时,更新TLi d(t),公式如下:
TLi d(t+1)=(1-ρ)TLi d(t)+δ⊿T
在训练数据xt大于上界阈值
Figure RE-FDA0002419717060000032
时,更新
Figure RE-FDA0002419717060000033
公式如下:
TUi d(t+1)=(1-ρ)TUi d(t)+δ⊿T
其中,ρ和δ均为常数。
8.如权利要求1所述的周期性时序数据的异常监测方法,其特征在于,所述利用各维度时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测,包括:
判断当前待监测时序数据是否处于所属多维时间段的上界阈值和下界阈值之内;
若是,则确定当前待监测时序数据为正常状态;
若否,则确定当前待监测时序数据为异常状态。
9.如权利要求8所述的周期性时序数据的异常监测方法,其特征在于,还包括:利用所述当前待监测时序数据的监测结果,重新分析所述训练数据集的各多维时间段区间。
10.一种周期性时序数据的异常监测装置,其特征在于,包括:时间段构建模块、自适应阈值训练模块和监测模块;
时间段构建模块用于将属于正常状态的时序数据集合作为训练数据集,按照训练数据集中数据的数值变化特征,基于设定的分析维度得到训练数据集对应的各多维时间段;
自适应阈值训练模块用于利用训练数据集的每一条数据,与该条数据所属多维时间段的原上、下界阈值的差值,更新该多维时间段的上下界阈值,以获得各个多维时间段的上界阈值和下界阈值;
监测模块用于利用各多维时间段的上界阈值和下界阈值,对当前待监测时序数据进行异常监测。
CN201911416370.2A 2019-12-31 2019-12-31 一种周期性时序数据的异常监测方法及装置 Active CN111241208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911416370.2A CN111241208B (zh) 2019-12-31 2019-12-31 一种周期性时序数据的异常监测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416370.2A CN111241208B (zh) 2019-12-31 2019-12-31 一种周期性时序数据的异常监测方法及装置

Publications (2)

Publication Number Publication Date
CN111241208A true CN111241208A (zh) 2020-06-05
CN111241208B CN111241208B (zh) 2024-03-29

Family

ID=70871878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416370.2A Active CN111241208B (zh) 2019-12-31 2019-12-31 一种周期性时序数据的异常监测方法及装置

Country Status (1)

Country Link
CN (1) CN111241208B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800068A (zh) * 2021-02-22 2021-05-14 首钢京唐钢铁联合有限责任公司 一种能源计量数据自动处理的方法及装置
CN114500315A (zh) * 2021-12-31 2022-05-13 深圳云天励飞技术股份有限公司 设备状态监控方法、装置、计算机设备及存储介质
CN114935721A (zh) * 2022-05-30 2022-08-23 深圳先进技术研究院 一种基于光纤光栅传感器的锂离子电池荷电状态估计方法
CN116401568A (zh) * 2023-02-02 2023-07-07 道枢(上海)数字技术有限公司 一种基于密度聚类的事件多发区域智能划分方法
CN117370898A (zh) * 2023-12-08 2024-01-09 钛合联(深圳)科技有限公司 一种电子数据安全管控系统
CN118134266A (zh) * 2024-05-08 2024-06-04 国网山东省电力公司巨野县供电公司 一种基于大数据的电网电力数据异常检测方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007147166A2 (en) * 2006-06-16 2007-12-21 Quantum Leap Research, Inc. Consilence of data-mining
WO2015030804A1 (en) * 2013-08-30 2015-03-05 Hewlett-Packard Development Company, L.P. Identifying anomalous behavior of a monitored entity
CN105302848A (zh) * 2014-10-11 2016-02-03 山东鲁能软件技术有限公司 一种设备智能预警系统的评估值校准方法
US20160219067A1 (en) * 2015-01-28 2016-07-28 Korea Internet & Security Agency Method of detecting anomalies suspected of attack, based on time series statistics
US20180046926A1 (en) * 2014-05-23 2018-02-15 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus
US20190025813A1 (en) * 2016-05-09 2019-01-24 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
CN109615226A (zh) * 2018-12-12 2019-04-12 焦点科技股份有限公司 一种运营指标异常监测方法
US20190379589A1 (en) * 2018-06-12 2019-12-12 Ciena Corporation Pattern detection in time-series data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007147166A2 (en) * 2006-06-16 2007-12-21 Quantum Leap Research, Inc. Consilence of data-mining
WO2015030804A1 (en) * 2013-08-30 2015-03-05 Hewlett-Packard Development Company, L.P. Identifying anomalous behavior of a monitored entity
US20180046926A1 (en) * 2014-05-23 2018-02-15 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus
CN105302848A (zh) * 2014-10-11 2016-02-03 山东鲁能软件技术有限公司 一种设备智能预警系统的评估值校准方法
US20160219067A1 (en) * 2015-01-28 2016-07-28 Korea Internet & Security Agency Method of detecting anomalies suspected of attack, based on time series statistics
US20190025813A1 (en) * 2016-05-09 2019-01-24 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US20190379589A1 (en) * 2018-06-12 2019-12-12 Ciena Corporation Pattern detection in time-series data
CN109615226A (zh) * 2018-12-12 2019-04-12 焦点科技股份有限公司 一种运营指标异常监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊鹏;李鑫;时亚松;杨国杰;刘明;刘秀玲;: "基于稀疏降噪自动编码机的心律失常自动分类" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800068A (zh) * 2021-02-22 2021-05-14 首钢京唐钢铁联合有限责任公司 一种能源计量数据自动处理的方法及装置
CN112800068B (zh) * 2021-02-22 2023-05-12 首钢京唐钢铁联合有限责任公司 一种能源计量数据自动处理的方法及装置
CN114500315A (zh) * 2021-12-31 2022-05-13 深圳云天励飞技术股份有限公司 设备状态监控方法、装置、计算机设备及存储介质
CN114935721A (zh) * 2022-05-30 2022-08-23 深圳先进技术研究院 一种基于光纤光栅传感器的锂离子电池荷电状态估计方法
CN116401568A (zh) * 2023-02-02 2023-07-07 道枢(上海)数字技术有限公司 一种基于密度聚类的事件多发区域智能划分方法
CN117370898A (zh) * 2023-12-08 2024-01-09 钛合联(深圳)科技有限公司 一种电子数据安全管控系统
CN117370898B (zh) * 2023-12-08 2024-03-12 钛合联(深圳)科技有限公司 一种电子数据安全管控系统
CN118134266A (zh) * 2024-05-08 2024-06-04 国网山东省电力公司巨野县供电公司 一种基于大数据的电网电力数据异常检测方法和系统
CN118134266B (zh) * 2024-05-08 2024-07-05 国网山东省电力公司巨野县供电公司 一种基于大数据的电网电力数据异常检测方法和系统

Also Published As

Publication number Publication date
CN111241208B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN111241208A (zh) 一种周期性时序数据的异常监测方法及装置
CN110865929B (zh) 异常检测预警方法及系统
CN108197845B (zh) 一种基于深度学习模型lstm的交易指标异常的监测方法
US11836162B2 (en) Unsupervised method for classifying seasonal patterns
Li et al. Trend modeling for traffic time series analysis: An integrated study
CN109587713B (zh) 一种基于arima模型的网络指标预测方法、装置及存储介质
CN108965055B (zh) 一种基于历史时间取点法的网络流量异常检测方法
US10331802B2 (en) System for detecting and characterizing seasons
US10699211B2 (en) Supervised method for classifying seasonal patterns
CN111783953A (zh) 一种基于优化lstm网络的24点电力负荷值7日预测方法
CN110889088A (zh) 一种应用电力模型辅助的企业排污监管方法
CN112640380A (zh) 用于对事件的输入流进行异常检测的设备和方法
CN105071983A (zh) 一种面向云计算在线业务的异常负载检测方法
CN111310139B (zh) 行为数据识别方法、装置及存储介质
CN111275255A (zh) 一种混凝土坝变形监测预报模型的构建方法
CN108415884B (zh) 一种结构模态参数实时追踪方法
CN110334105B (zh) 一种基于Storm的流数据异常检测方法
CN113157663B (zh) 基于数据重建和混合预测的网络流量预测方法及装置
CN110991477A (zh) 一种识别电力系统异常行业用户和异常用电行为的方法和系统
CN106600076B (zh) 一种转塔式rto废气处理设备的监控数据分析与预警方法
CN106980906B (zh) 一种基于spark的Ftrl电压预测方法
Li et al. Traffic prediction, data compression, abnormal data detection and missing data imputation: An integrated study based on the decomposition of traffic time series
Da Silva et al. A clustering approach for sampling data streams in sensor networks
Bobulski et al. A method of cleaning data from IoT devices in Big data systems
Gao et al. Redundancy-reducing and holiday speed prediction based on highway traffic speed data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210916

Address after: 230088 Second and Fourth Floors of Zheng Building, Kedao, West Second Road, Yulan Avenue, Hefei High-tech Zone, Anhui Province

Applicant after: HEFEI CITY CLOUD DATA CENTER Co.,Ltd.

Address before: 230088 Zheng Building, Zhongke Dalian, 767 Yulan Avenue, Hefei High-tech Zone, Anhui Province

Applicant before: USTC-GZ INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: HEFEI University

GR01 Patent grant
GR01 Patent grant