CN110895598A - 基于多源预测的实时异常检测并行化方法 - Google Patents
基于多源预测的实时异常检测并行化方法 Download PDFInfo
- Publication number
- CN110895598A CN110895598A CN201911010101.6A CN201911010101A CN110895598A CN 110895598 A CN110895598 A CN 110895598A CN 201911010101 A CN201911010101 A CN 201911010101A CN 110895598 A CN110895598 A CN 110895598A
- Authority
- CN
- China
- Prior art keywords
- frame
- time
- formula
- sequence
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于多源预测的实时异常检测并行化方法,实现了通用场景下针对多通道时间序列的无监督异常检测,底层的门控循环单元网络模型经训练后能够连续做出准确的序列推理,即预测给定帧的后续序列取值。采用多源预测的方式一方面提高了时序异常检测的鲁棒性,另一方面为上层检测算法的高度并行化提供支撑。其完全基于矩阵运算的、可高度并行化的、以多源预测结果为基础的时间序列异常检测算法,算法的输入、中间结果以矩阵形式存储,计算过程基于矩阵运算进行,适用于多线程的计算场景,结合现有的矩阵计算并行化方法容易实现高加速比,可大大降低复杂时间序列的异常检测开销。
Description
技术领域
本发明涉及监控异常检测技术领域,具体涉及一种基于多源预测的实时异常检测并行化方法。
背景技术
异常检测是生产环境安全防护的基础,不仅在在系统安全监控、网络安全监控等IT运维工作中尤为重要,更是作为重要模块普遍存在于时间序列场景中,如灾害预警、医疗监控和智能交通。以服务器/网络异常检测为例,长期实践表明恶意攻击和安全异常的出现往往具有不规律性,攻击/异常产生的效果具有不可预测性,导致安全监控中对它们的侦测十分困难。
目前有非常多的异常/攻击(以下统称异常)判定技术被运用在各类监控场景中,典型如基于绝对阈值的异常侦测方法、基于相对变化的异常侦测方法、基于序列比对的异常侦测方法,但均存在一些问题,主要表现在:
a)基于绝对阈值的异常侦测方法和基于相对变化的异常侦测方法实现简单、运用广泛,虽然具有漏报率低的特点,但相应的误报率较高,导致监控系统产生过多冗余警报信息,带来不必要的人力和物力资源开销。
b)基于序列比对的异常侦测方法的基本原理是挖掘正常序列的模式并存储,进而比照正常模式和目标事件的时间序列片段来实现异常判定;该类方法普遍存在的问题是时间开销大,因为模式挖掘和序列比对两个环节均具有高时间复杂度;同时现存的序列比对算法大多仅适用单通道序列并且依赖基准序列的有效性,不能用于多通道安全事件的实时异常侦测。
发明内容
本发明为了克服以上技术的不足,提供了一种利用门控循环单元网络的时间序列预测模型实现可高度并行化的时间序列异常检测的方法。
本发明克服其技术问题所采用的技术方案是:
一种基于多源预测的实时异常检测并行化方法,包括如下步骤:
a)通过公式构建非线性函数φ(x(t),θ(t);L)功能的循环神经网络,式中t为该时刻对应的时间帧,x(t)为t时刻的时间帧向量,θ(t)为网络状态,L为探测距离,式中为t时刻之后下一帧向量取值的预测,为t时刻之后的第2帧的向量取值的预测,为t时刻之后第L帧的向量取值的预测;
e)通过公式k=t-L+1,2,...,t,将集合Z中每一个预测序列进行矩阵存储,提取以k时刻的帧为左端点,t时刻的帧为右端点的目标序列S(k,t)=(x(k),...,x(t)),其中x(i)=(x(1)(i),x(2)(i),...,x(m)(i)),i=k,k+1,...,t,通过公式
k=t-L+1,2,...,t,将集合Z中局部序列S(k,t)进行矩阵存储;
g)通过公式Q={D(t-L+1,t),D(t-L+2,t),...,D(t,t)}得到一组距离集合Q,D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算方式采用并行计算;
i)利用公式p(t)=PG计算得到检测结果,p(t)即帧t的异常概率。
优选的,还包括将步骤h)中基于行做并行化,将集合Q中的每一个元素的计算分配给一个CPU的线程
本发明的有益效果是:实现了通用场景下针对多通道时间序列的无监督异常检测,底层的门控循环单元网络模型经训练后能够连续做出准确的序列推理,即预测给定帧的后续序列取值。采用多源预测的方式一方面提高了时序异常检测的鲁棒性,另一方面为上层检测算法的高度并行化提供支撑。其完全基于矩阵运算的、可高度并行化的、以多源预测结果为基础的时间序列异常检测算法,算法的输入、中间结果以矩阵形式存储,计算过程基于矩阵运算进行,适用于多线程的计算场景,结合现有的矩阵计算并行化方法容易实现高加速比,可大大降低复杂时间序列的异常检测开销。
具体实施方式
下面对本发明做进一步说明。
一种基于多源预测的实时异常检测并行化方法,包括如下步骤:
a)根据时间序列的特征维度(即通道数),构建并训练以序列的任一帧为输入,以下一帧为起始点,具有指定长度的局部序列(即预测序列)为输出的门控循环单元(GRU)网络模型,用于实现技术框架中的多源预测功能,使用循环神经网络(GRU是一种循环神经网络)建立预测模型的基本原理是将多通道序列的预测值构建为一个非线性函数。通过公式构建非线性函数φ(x(t),θ(t);L)功能的循环神经网络,式中t为该时刻对应的时间帧,x(t)为t时刻的时间帧向量,θ(t)为网络状态,L为探测距离,式中为t时刻之后下一帧向量取值的预测,为t时刻之后的第2帧的向量取值的预测,以此类推,为t时刻之后第L帧的向量取值的预测。
b)在训练集上完成底层GRU网络模型的训练后,将目标时间序列上的帧逐个输入GRU网络模型中以获得连续的局部序列预测,即多源序列预测。具体的而言,设L为探测距离(由用户指定),需要将帧t之前的L个帧(即x(t-L)到x(t-1))输入GRU网络模型,将输出序列均截取至从而获得一组局部序列预测的集合Z,即:
其中
…
或可以将其统一表示为:
为t时刻的时间帧向量预测,为k时刻的时间帧向量预测。即预期集合Z包含了一组局部序列预测,这些预测有L个前继帧(即帧x(t-L)到x(t-1))做出。预期集合Z即所提出技术框架所需的多源预测结果,用于支撑下一步的并行化异常检测算法。
其中q为第k时刻的前一帧,即q≡k-1。
e)通过公式k=t-L+1,2,...,t,将集合Z中每一个预测序列进行矩阵存储,提取以k时刻的帧为左端点,t时刻的帧为右端点的目标序列S(k,t)=(x(k),...,x(t)),其中x(i)=(x(1)(i),x(2)(i),...,x(m)(i)),i=k,k+1,...,t,通过公式
k=t-L+1,2,...,t,将集合Z中局部序列S(k,t)进行矩阵存储。
f)使用一种维度、长度无关的平方欧氏距离(Dimension-and-length-independent Square Euclidean Distance)量化真实局部序列S(k,t)与局部预测的差异,记为D(k,t),显然D(k,t)∈[0,1]。具体的计算方法为:通过公式
g)对于局部预期集合Z,其中包含的每一个局部预测都可以利用上述矩阵运算求得其与真实序列的维度无关平方欧氏距离D(k,t)。由此,根据用户给定的探测距离L,可以进而通过公式Q={D(t-L+1,t),D(t-L+2,t),...,D(t,t)}得到一组距离集合Q,该集合大小亦为L,程序在实际运行过程中,集合Q中的每一个元素的计算可以分配给一个线程(逻辑核心),D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算方式采用并行计算,该过程理想加速比为L。
i)以这一组概率作为权重,对集合G各元素做加权求和操作,得到p(t),矩阵运算为利用公式p(t)=PG计算得到检测结果p(t),输出p(t)即为异常检测算法的检测结果,即帧t的异常概率。
使用了一种应用在多通道时间序列数据上的“帧-序列”预测模型,该模型基于门控循环单元网络实现,以时间序列的任一帧为输入,输出以下一帧为起始点、具有指定长度的局部序列(即预测序列),用于实现技术框架中的多源预测功能。实现了一种基于局部预期不一致性的异常检测算法及其并行化方法,该算法根据已知的历史序列产生的多源序列预测,评估当前(待测)目标帧窗口内序列走势与这些预期的不一致程度,进而估计帧的异常概率;检测算法的流程完全基于矩阵运算进行,实现了可有效提高算法加速比的一种并行化方法。
通过本专利的基于多源预测的实时异常检测并行化方法,实现了通用场景下针对多通道时间序列的无监督异常检测,底层的门控循环单元网络模型经训练后能够连续做出准确的序列推理,即预测给定帧的后续序列取值。采用多源预测的方式一方面提高了时序异常检测的鲁棒性,另一方面为上层检测算法的高度并行化提供支撑。其完全基于矩阵运算的、可高度并行化的、以多源预测结果为基础的时间序列异常检测算法,算法的输入、中间结果以矩阵形式存储,计算过程基于矩阵运算进行,适用于多线程的计算场景,结合现有的矩阵计算并行化方法容易实现高加速比,可大大降低复杂时间序列的异常检测开销。
进一步的,还包括将步骤f)中的公式转化为公式式中为与S(k,t)差的Frobenius范数,其定义为矩阵所有元素的平方之和,结果为标量。D(k,t)的计算完全基于矩阵进行,计算时中每一行分配给一个CPU的线程,计算D(k,t)的加速比与与S(k,t)的维度有关(二者的维度均为(t-k+1)×m),理论值区间为[1,L])。
进一步优选的,还包括将步骤h)中基于行做并行化,将集合Q中的每一个元素的计算分配给一个CPU的线程(即逻辑核心)。即并行化D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算过程,改过程理想加速比为L。
Claims (3)
1.一种基于多源预测的实时异常检测并行化方法,其特征在于,包括如下步骤:
a)通过公式构建非线性函数φ(x(t),θ(t);L)功能的循环神经网络,式中t为该时刻对应的时间帧,x(t)为t时刻的时间帧向量,θ(t)为网络状态,L为探测距离,式中 为t时刻之后下一帧向量取值的预测,为t时刻之后的第2帧的向量取值的预测,为t时刻之后第L帧的向量取值的预测;
e)通过公式k=t-L+1,2,...,t,将集合Z中每一个预测序列进行矩阵存储,提取以k时刻的帧为左端点,t时刻的帧为右端点的目标序列S(k,t)=(x(k),...,x(t)),其中x(i)=(x(1)(i),x(2)(i),...,x(m)(i)),i=k,k+1,...,t,通过公式k=t-L+1,2,...,t,将集合Z中局部序列S(k,t)进行矩阵存储;
g)通过公式Q={D(t-L+1,t),D(t-L+2,t),...,D(t,t)}得到一组距离集合Q,D(t-L+1,t),D(t-L+2,t),...,D(t,t)的计算方式采用并行计算;
i)利用公式p(t)=PG计算得到检测结果,p(t)即帧t的异常概率。
3.根据权利要求1所述的基于多源预测的实时异常检测并行化方法,其特征在于:还包括将步骤h)中基于行做并行化,将集合Q中的每一个元素的计算分配给一个CPU的线程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911010101.6A CN110895598B (zh) | 2019-10-23 | 2019-10-23 | 基于多源预测的实时异常检测并行化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911010101.6A CN110895598B (zh) | 2019-10-23 | 2019-10-23 | 基于多源预测的实时异常检测并行化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110895598A true CN110895598A (zh) | 2020-03-20 |
CN110895598B CN110895598B (zh) | 2021-09-14 |
Family
ID=69785850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911010101.6A Active CN110895598B (zh) | 2019-10-23 | 2019-10-23 | 基于多源预测的实时异常检测并行化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110895598B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106656637A (zh) * | 2017-02-24 | 2017-05-10 | 国网河南省电力公司电力科学研究院 | 一种异常检测方法及装置 |
CN108846199A (zh) * | 2018-06-12 | 2018-11-20 | 华能澜沧江水电股份有限公司 | 基于时空一体化的特高拱坝变形时空序列预测方法 |
CN108900546A (zh) * | 2018-08-13 | 2018-11-27 | 杭州安恒信息技术股份有限公司 | 基于lstm的时间序列网络异常检测的方法与装置 |
CN109272157A (zh) * | 2018-09-12 | 2019-01-25 | 中交信息技术国家工程实验室有限公司 | 一种基于门控神经网络的高速公路交通流参数预测方法及系统 |
CN109299646A (zh) * | 2018-07-24 | 2019-02-01 | 北京旷视科技有限公司 | 人群异常事件检测方法、装置、系统和存储介质 |
CN109858244A (zh) * | 2019-01-16 | 2019-06-07 | 四川大学 | 一种容器内进程异常行为检测方法与系统 |
CN109889391A (zh) * | 2019-03-13 | 2019-06-14 | 南京理工大学 | 一种基于组合模型的网络短时流量预测方法 |
CN109960631A (zh) * | 2019-03-19 | 2019-07-02 | 山东九州信泰信息科技股份有限公司 | 一种安全事件异常的实时侦测方法 |
US20190228155A1 (en) * | 2018-11-01 | 2019-07-25 | Abhishek Basak | Methods and apparatus of anomalous memory access pattern detection for translational lookaside buffers |
CN110071913A (zh) * | 2019-03-26 | 2019-07-30 | 同济大学 | 一种基于无监督学习的时间序列异常检测方法 |
CN110168520A (zh) * | 2016-12-30 | 2019-08-23 | 同济大学 | 一种智能化道路交通异常检测方法 |
-
2019
- 2019-10-23 CN CN201911010101.6A patent/CN110895598B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110168520A (zh) * | 2016-12-30 | 2019-08-23 | 同济大学 | 一种智能化道路交通异常检测方法 |
CN106656637A (zh) * | 2017-02-24 | 2017-05-10 | 国网河南省电力公司电力科学研究院 | 一种异常检测方法及装置 |
CN108846199A (zh) * | 2018-06-12 | 2018-11-20 | 华能澜沧江水电股份有限公司 | 基于时空一体化的特高拱坝变形时空序列预测方法 |
CN109299646A (zh) * | 2018-07-24 | 2019-02-01 | 北京旷视科技有限公司 | 人群异常事件检测方法、装置、系统和存储介质 |
CN108900546A (zh) * | 2018-08-13 | 2018-11-27 | 杭州安恒信息技术股份有限公司 | 基于lstm的时间序列网络异常检测的方法与装置 |
CN109272157A (zh) * | 2018-09-12 | 2019-01-25 | 中交信息技术国家工程实验室有限公司 | 一种基于门控神经网络的高速公路交通流参数预测方法及系统 |
US20190228155A1 (en) * | 2018-11-01 | 2019-07-25 | Abhishek Basak | Methods and apparatus of anomalous memory access pattern detection for translational lookaside buffers |
CN109858244A (zh) * | 2019-01-16 | 2019-06-07 | 四川大学 | 一种容器内进程异常行为检测方法与系统 |
CN109889391A (zh) * | 2019-03-13 | 2019-06-14 | 南京理工大学 | 一种基于组合模型的网络短时流量预测方法 |
CN109960631A (zh) * | 2019-03-19 | 2019-07-02 | 山东九州信泰信息科技股份有限公司 | 一种安全事件异常的实时侦测方法 |
CN110071913A (zh) * | 2019-03-26 | 2019-07-30 | 同济大学 | 一种基于无监督学习的时间序列异常检测方法 |
Non-Patent Citations (1)
Title |
---|
沈旭东: "基于深度学习的时间序列算法综述", 《计算机应用技术》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110895598B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huong et al. | Detecting cyberattacks using anomaly detection in industrial control systems: A federated learning approach | |
US10628701B2 (en) | System and method for improved general object detection using neural networks | |
WO2022160902A1 (zh) | 面向云环境下大规模多元时间序列数据异常检测方法 | |
Guan et al. | Ensemble of Bayesian predictors and decision trees for proactive failure management in cloud computing systems. | |
CN110580496A (zh) | 一种基于熵最小化的深度迁移学习系统及方法 | |
Fu et al. | Spatiotemporal attention networks for wind power forecasting | |
CN110222592B (zh) | 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法 | |
CN114021811B (zh) | 基于注意力改进的交通预测方法及计算机介质 | |
CN105279485B (zh) | 激光夜视下监控目标异常行为的检测方法 | |
CN111160620A (zh) | 一种基于端到端记忆网络的短期风电功率预测方法 | |
CN108986143B (zh) | 一种视频中目标检测跟踪方法 | |
CN111597175B (zh) | 融合时空信息的传感器缺失值的填充方法 | |
CN110084201A (zh) | 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法 | |
CN112131929A (zh) | 一种基于区块链的跨摄像机行人跟踪系统及方法 | |
CN112163020A (zh) | 一种多维时间序列异常检测方法及检测系统 | |
Zhang et al. | Urban traffic dynamics prediction—a continuous spatial-temporal meta-learning approach | |
CN116844041A (zh) | 一种基于双向卷积时间自注意力机制的耕地提取方法 | |
Tang et al. | Short-term travel speed prediction for urban expressways: Hybrid convolutional neural network models | |
CN116630748A (zh) | 一种基于熔盐图像特征的稀土电解槽状态多参数监测方法 | |
CN115329799A (zh) | 桥梁安全状态监测方法、装置、计算机设备和存储介质 | |
CN104794726A (zh) | 一种水下图像并行分割方法及装置 | |
CN110895598B (zh) | 基于多源预测的实时异常检测并行化方法 | |
CN113053536B (zh) | 一种基于隐马尔科夫模型的传染病预测方法、系统和介质 | |
Wen et al. | Abnormal event detection via adaptive cascade dictionary learning | |
CN116501444A (zh) | 智能网联汽车域控制器虚拟机异常云边协同监测和恢复系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |