CN114386601A - 一种面向服务器负载数据的htm高效异常检测方法 - Google Patents
一种面向服务器负载数据的htm高效异常检测方法 Download PDFInfo
- Publication number
- CN114386601A CN114386601A CN202210035627.5A CN202210035627A CN114386601A CN 114386601 A CN114386601 A CN 114386601A CN 202210035627 A CN202210035627 A CN 202210035627A CN 114386601 A CN114386601 A CN 114386601A
- Authority
- CN
- China
- Prior art keywords
- active
- microcolumn
- server load
- load data
- htm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims abstract description 8
- 210000004027 cell Anatomy 0.000 claims description 89
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 15
- 230000002688 persistence Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 210000000225 synapse Anatomy 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 2
- 230000001934 delay Effects 0.000 abstract description 2
- 239000000284 extract Substances 0.000 abstract 1
- 238000013461 design Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001423 neocortical effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
- G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种面向服务器负载数据的HTM高效异常检测方法,提高了HTM面对海量服务器负载数据时的训练效率,增加模型的在线工作能力。系统通过编码散列了服务器负载数据的空间特征,通过空间池训练形成了服务器负载数据的微柱稀疏分布表征,借助于基于活跃微柱的时间池训练,对服务器负载数据模式进行抽取和记忆,为后续的异常判定提供上下文环境的支持。本发明提出的基于活跃微柱的时间池训练算法,延迟了预测功能发生的时间,缩小了预测的范围,大幅度提高了系统的训练速度,同时提出的学习细胞生成规则,能够让时间池训练算法不仅可以对历史模式进行强化记忆,而且对当前时刻的数据模式也能形成有效记忆。
Description
技术领域
本发明涉及人工智能深度学习领域,尤其涉及一种面向服务器负载数据的 HTM高效异常检测方法。
背景技术
随着Internet的快速发展和业务量的不断提高,基于网络的数据访问流量迅速增长,特别是对数据中心、大型企业以及门户网站等的访问,其访问流量甚至达到了10Gb/s的级别;同时,服务器网站借助HTTP、FTP、SMTP等应用程序,为访问者提供了越来越丰富的内容和信息,服务器逐渐被数据淹没;另外,大部分网站(尤其电子商务等网站)都需要提供不间断24小时服务,若服务器负载异常引起的任何服务中断或通信中的关键数据丢失都会造成直接的商业损失。因此高效地服务器负载异常判定是保证系统服务性能稳定的重要手段之一。
近年来,深度学习算法在图像处理、语音处理、自然语言处理等多个领域得到广泛的应用并产生巨大的影响,这在很大程度上归功于各种新型神经网络模型以及高效的模型训练方法。随着生物神经科学的进步,越来越多的新型神经网络正在被研究。HTM(Hierarchical Temporal Memory)是一种模仿人脑中处理高级认知功能的新皮质部分运作原理的新型人工神经网络,其将接受到的各种模式与记忆中的模式进行匹配,并对下一刻将会出现的信息作出预测与反应,若下一时刻的输入远超预测的范围,则可判定出现异常,从而体现时效性(Temporal)。
现有的HTM在做预测时,会对输入的所有后继内容进行预测,而异常检测是在输入发生之后,通过对比当前输入和上一时刻的预测内容是否重合来判定当前的输入是否为异常,为此,调整HTM的预测机制,延迟预测发生的时间以及缩小预测内容的范围,则可大幅度提高HTM的训练效率,使模型更能适应分析海量数据的时效要求。
发明内容
本发明的目的在于提供一种面向服务器负载数据的HTM高效异常检测系统,提高HTM面对海量服务器负载数据时的训练效率,增加模型的在线工作能力。
本发明的技术方案为:一种面向服务器负载数据的HTM高效异常检测方法,包括如下步骤:
步骤1,在线采集服务器负载分段统计数据,使其包含服务器负载和时间两方面的特性,构成具有时序特征的服务器负载据流;
步骤2,利用编码器对服务器负载数据进行编码,通过HTM空间池训练算法形成服务器负载数据的微柱稀疏分布表征;
步骤3,使用基于活跃微柱的HTM时间池训练算法对服务器负载规律进行学习和记忆,在该过程中,通过延迟模型的预测功能,缩小预测的范围,提高模型的训练效率;
步骤4,完成对历史服务器负载数据训练和分析,输出在在线服务器当前时刻负载数据是否处于异常状态。
进一步,基于活跃微柱的HTM时间池训练算法中的时间池训练规则为:
步骤3.2,根据t时刻输入激活的微柱集合Wt,在活跃微柱上检查能够被上一时刻活跃细胞集Φt-1所能够预测的预测细胞集Πt-1;
步骤3.3,根据步骤3.2计算出的预测细胞集Πt-1,生成t时刻活跃微柱上的活跃细胞集Φt,计算方法如下:
步骤3.5,更新树突分支的持久值。
进一步,步骤3.2预测细胞集Πt-1的计算方法如下:
其中表示在t-1时刻第j个微柱上的第i个细胞是否能够被t-1时刻的活跃细胞预测激活,表示第j个微柱上的第i个细胞上的第k个树突分支对应的连通矩阵,如果树突分支中突触持久值大于阈值,该矩阵中对应位置的值被置为1,否则置为0,θ为激活阈值,°表示矩阵内积运算。
步骤3.4.2如果某个活跃微柱上具有因被预测而活跃的细胞,但活跃的细胞中都不能被上一时刻的学习细胞所预测,即下式被满足;
步骤3.4.3如果活跃的微柱上没有因被预测而活跃的细胞,即下式被满足:
对应步骤3.4.2和步骤3.4.3中的情况,需要重新在该微柱上选择最少使用的细胞,即具有树突分支最少的细胞作为当前微柱的学习细胞,计算方法如下式所示:
其中minj函数括号内指代能够根据第j个微柱上每一个细胞的树突分支数量,找到具有最少树突分支的细胞i。
进一步,步骤3.5中,更新树突分支的持久值,分两种情况进行,计算方法如下:
步骤3.5.1预测活跃的树突分支进行突触持久值调整,调整方法如下:
步骤3.5.2对应步骤3.4.2和步骤3.4.3中的生成的学习细胞,增加新的树突分支,创建的方式如下所示:
本发明的有益效果:
1、本发明设计了一种面向服务器负载数据的HTM高效异常检测系统,调整了现有HTM的训练规则,实现对服务器负载数据规律的更高效训练。
2、本发明使用基于活跃微柱的HTM时间池训练算法中,延迟了预测功能的发生时间,并将预测的内容限定在当前时刻活跃的微柱上,避免了对模型中所有细胞的预测活跃性检查,大幅度提高了HTM时间池的训练效率。
3、本发明使用基于活跃微柱的HTM时间池训练算法中,改进了HTM时间池学习细胞的生成规则,在每个时刻挑选出的学习细胞既能够对历史模式进行强化记忆,也能够对当前时刻的规律模式进行学习,进而能够获取规则模式的完整特征。
附图说明
图1面向服务器负载数据的HTM高效异常检测系统的结构图;
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
实施例1:
如图1展示了面向服务器负载数据的HTM高效异常检测系统的结构图,该系统可以对服务器负载数据进行异常检测。服务器负载数据通过编码将数据特征分散到一个二值一维向量中的不同有效位中,增加了系统对数据噪声的抗干扰能力;数据的编码通过空间池训练,形成了HTM微柱的系数分布表征,利用系数分布的数学特征,可以很方便地区分不同、相似和相同的输入数据;借助于基于微柱的时间池训练算法,在HTM中记忆了服务器负载数据所形成的序列中的稳定模式,为后续的输入提供历史规律的场景支持;借助于异常判定模块,系统可以给出当前负载数据是否异常,并给出数据异常的概率。
实施例2:
以一个具体面向服务器负载数据的HTM高效异常检测过程为例说明系统的工作流程。假设系统的模型中设定2048个微柱,每个微柱上具有16个神经元,输入数据通过编码之后形成一个1000个分量的二值向量,其中具有20个有效位,通过空间池之后,每个输入会激活40个微柱来表达输入数据。
t时刻输入数据进入系统进行训练,通过编码和空间池训练,激活40个微柱Wt来表达t时刻数据的内容信息。利用t-1时刻的活跃细胞集Φt-1对该40个微柱上的细胞进行预测激活,形成t-1时刻在该40个微柱上的预测细胞集Πt-1。计算方法如下:
这种预测的方式,推迟了预测功能发生的时间,将本应对2048*16个细胞检查是否预测激活,缩减到40*16个细胞上,大幅度提升了计算效率。
接下来利用t-1时刻的预测细胞集Πt-1和当前时刻的活跃微柱Wt,生成t 时刻对应的活跃细胞集Φt,计算方法如下:
接下来生成t时刻输入数据对应的学习细胞集,计算过程分为三种情况进行。
1)如果某个活跃微柱上具有因被预测而活跃的细胞,且该细胞中存在树突分支能够被上一时刻的学习细胞所激活,则该细胞可以成为该微柱上的学习细胞,计算方法如下:
2)如果某个活跃微柱上具有因被预测而活跃的细胞,但活跃的细胞中都不能被上一时刻的学习细胞所预测,即下式被满足。
3)如果活跃的微柱上没有因被预测而活跃的细胞,即下式被满足。
对应2)和3)两种情况,需要重新在该微柱上选择最少使用的细胞,即具有树突分支最少的细胞作为当前微柱的学习细胞。计算方法如下式所示。
接下来更新活跃细胞和学习细胞上的树突分支持久值,分为两种情况进行。
1)预测活跃的树突分支进行突触持久值调整,调整方法如下:
2)对应步骤3.4.2和步骤3.4.3中的生成的学习细胞,增加新的树突分支,创建的方式如下所示。
最后根据下面的规则判定在线服务器当前时刻负载数据是否处于异常状态,给出负载数据的异常概率:
综上,本发明提出的一种面向服务器负载数据的HTM高效异常检测系统,调整了现有HTM的训练规则,设计了一种基于活跃微柱的时间池训练算法,通过延迟预测功能发生的时间和所需预测的范围,大幅度提高了系统的训练效率,使得系统能够应对海量数据带来的时效性要求。其次通过调整学习细胞的生成规则,使得时间池的训练过程不仅可以强化历史模式的记忆,还可以对当前的序列模型进行学习,提高HTM时间池的训练效果。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围。
Claims (5)
1.一种面向服务器负载数据的HTM高效异常检测方法,其特征在于,包括如下步骤:
步骤1,在线采集服务器负载分段统计数据,使其包含服务器负载和时间两方面的特性,构成具有时序特征的服务器负载据流;
步骤2,利用编码器对服务器负载数据进行编码,通过HTM空间池训练算法形成服务器负载数据的微柱稀疏分布表征;
步骤3,使用基于活跃微柱的HTM时间池训练算法对服务器负载规律进行学习和记忆,在该过程中,通过延迟模型的预测功能,缩小预测的范围,提高模型的训练效率;
步骤4,完成对历史服务器负载数据训练和分析,输出在在线服务器当前时刻负载数据是否处于异常状态。
步骤3.4.2如果某个活跃微柱上具有因被预测而活跃的细胞,但活跃的细胞中都不能被上一时刻的学习细胞所预测,即下式被满足;
步骤3.4.3如果活跃的微柱上没有因被预测而活跃的细胞,即下式被满足:
对应步骤3.4.2和步骤3.4.3中的情况,需要重新在该微柱上选择最少使用的细胞,即具有树突分支最少的细胞作为当前微柱的学习细胞,计算方法如下式所示:
其中minj函数括号内指代能够根据第j个微柱上每一个细胞的树突分支数量,找到具有最少树突分支的细胞i。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210035627.5A CN114386601B (zh) | 2022-01-13 | 2022-01-13 | 一种面向服务器负载数据的htm高效异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210035627.5A CN114386601B (zh) | 2022-01-13 | 2022-01-13 | 一种面向服务器负载数据的htm高效异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114386601A true CN114386601A (zh) | 2022-04-22 |
CN114386601B CN114386601B (zh) | 2024-08-20 |
Family
ID=81201545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210035627.5A Active CN114386601B (zh) | 2022-01-13 | 2022-01-13 | 一种面向服务器负载数据的htm高效异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114386601B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180349168A1 (en) * | 2017-05-30 | 2018-12-06 | Magalix Corporation | Systems and methods for managing a cloud computing environment |
CN109829543A (zh) * | 2019-01-31 | 2019-05-31 | 中国科学院空间应用工程与技术中心 | 一种基于集成学习的数据流在线异常检测方法 |
CN111612125A (zh) * | 2020-04-13 | 2020-09-01 | 江苏大学 | 一种面向在线学习的新型htm时间池方法及其系统 |
CN112269729A (zh) * | 2020-11-04 | 2021-01-26 | 江苏瑞祥科技集团有限公司 | 面向网络购物平台大规模服务器集群的负载智能分析方法 |
US20210168164A1 (en) * | 2017-08-02 | 2021-06-03 | British Telecommunications Public Limited Company | Detecting malicious configuration change for web applications |
-
2022
- 2022-01-13 CN CN202210035627.5A patent/CN114386601B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180349168A1 (en) * | 2017-05-30 | 2018-12-06 | Magalix Corporation | Systems and methods for managing a cloud computing environment |
US20210168164A1 (en) * | 2017-08-02 | 2021-06-03 | British Telecommunications Public Limited Company | Detecting malicious configuration change for web applications |
CN109829543A (zh) * | 2019-01-31 | 2019-05-31 | 中国科学院空间应用工程与技术中心 | 一种基于集成学习的数据流在线异常检测方法 |
CN111612125A (zh) * | 2020-04-13 | 2020-09-01 | 江苏大学 | 一种面向在线学习的新型htm时间池方法及其系统 |
CN112269729A (zh) * | 2020-11-04 | 2021-01-26 | 江苏瑞祥科技集团有限公司 | 面向网络购物平台大规模服务器集群的负载智能分析方法 |
Non-Patent Citations (2)
Title |
---|
DYKES, SANDRA GOLES: "Cooperative web caching: A viability study and design analysis", THE UNIVERSITY OF TEXAS AT SAN ANTONIO, 31 December 2020 (2020-12-31) * |
王宇鹏;朱诗兵;李长青;: "基于改进HTM模型的时间序列异常检测", 计算机应用与软件, no. 08, 12 August 2020 (2020-08-12) * |
Also Published As
Publication number | Publication date |
---|---|
CN114386601B (zh) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jia et al. | A novel optimized GA–Elman neural network algorithm | |
Xu et al. | Evolutionary extreme learning machine–based on particle swarm optimization | |
CN112488183B (zh) | 一种模型优化方法、装置、计算机设备及存储介质 | |
CN113344615B (zh) | 一种基于gbdt和dl融合模型的营销活动预测方法 | |
CN114863226A (zh) | 一种网络物理系统入侵检测方法 | |
CN112765894B (zh) | 一种基于k-lstm的铝电解槽状态预测方法 | |
CN112131578A (zh) | 攻击信息预测模型的训练方法、装置、电子设备及存储介质 | |
Loni et al. | Learning activation functions for sparse neural networks | |
Guo et al. | Dynamic neural network structure: A review for its theories and applications | |
CN117131428A (zh) | 一种自适应营销事件风险识别方法和系统 | |
Bajaj et al. | Nature-inspired approaches to test suite minimization for regression testing | |
CN116629324A (zh) | 一种面向模型生成文本重复退化现象的优化生成方法 | |
Zhao et al. | Gradient-based adaptive particle swarm optimizer with improved extremal optimization | |
CN114386601A (zh) | 一种面向服务器负载数据的htm高效异常检测方法 | |
CN116165886A (zh) | 多传感器智能协同控制方法、装置、设备及介质 | |
Wei et al. | A self-adaptive intrusion detection model based on bi-LSTM-CRF with historical access logs | |
Al-Betar et al. | Equilibrium optimizer: a comprehensive survey | |
CN114386602B (zh) | 一种面向多路服务器负载数据的htm预测分析方法 | |
Galván et al. | Evolutionary multi-objective optimisation in neurotrajectory prediction | |
Yumoto et al. | Selective classification considering time series characteristics for spiking neural networks | |
CN118133905B (zh) | 一种轻量级目标检测神经网络的实现方法 | |
Etefaghi et al. | AdaInNet: an adaptive inference engine for distributed deep neural networks offloading in IoT-FOG applications based on reinforcement learning | |
Sun et al. | Hypothesis testing-based adaptive PSO | |
Song et al. | An Empirical Analysis of Proximal Policy Optimization with Kronecker-factored Natural Gradients | |
CN113570040B (zh) | 一种基于进化策略的多域行动序列智能优化系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CB03 | Change of inventor or designer information |
Inventor after: Zhu Bo Inventor after: Yuan Yunyan Inventor after: Zuo Yi Inventor before: Zhu Bo Inventor before: Yuan Yunyan Inventor before: Zuo Yi Inventor before: Zhang Yuzhao |