CN113722094A - 基于神经网络算法的应用主机资源预测方法 - Google Patents
基于神经网络算法的应用主机资源预测方法 Download PDFInfo
- Publication number
- CN113722094A CN113722094A CN202110910259.XA CN202110910259A CN113722094A CN 113722094 A CN113722094 A CN 113722094A CN 202110910259 A CN202110910259 A CN 202110910259A CN 113722094 A CN113722094 A CN 113722094A
- Authority
- CN
- China
- Prior art keywords
- data
- neuron
- application host
- processing
- output value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 22
- 210000002569 neuron Anatomy 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000007689 inspection Methods 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000009499 grossing Methods 0.000 claims abstract description 14
- 238000012986 modification Methods 0.000 claims abstract description 13
- 230000004048 modification Effects 0.000 claims abstract description 13
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 230000005856 abnormality Effects 0.000 claims abstract description 4
- 238000003672 processing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 4
- 230000000946 synaptic effect Effects 0.000 claims description 4
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了基于神经网络算法的应用主机资源预测方法，包括以下步骤；数据采集，所述数据采集包括对应用主机关键资源实时数据、主机访问数据以及运检信息数据的历史数据的采集；数据处理：对数据采集中采集的历史数据，分别通过平滑、找异常以及聚合的处理；特征工程：针对处理后的历史数据，依次利用时间滞后处理方法和数据归一化处理进行特征工程的处理，而运检信息数据则还需要通过标记方法进行标记；基础预测算法通过训练样本集，通过计算得到神经元输出值；迭代：根据消耗函数和动量因子，得到修改权值，得到迭代后的神经元输出值；应用主机资源的预测：重复迭代步骤，以符合要求的神经元输出值为应用主机资源的预测值。
Description
技术领域
本发明属于应用主机资源中流量的计算技术领域，尤其涉及基于神经网络算法的应用主机资源预测方法。
背景技术
随着大数据时代的到来，越来越多的应用主机得到畅销，提升了其销量；然而，由于大数据中数据较多，资源较多，如何确定相关资源的大小以及应用，相关领域并没有进行相关的预测，进而容易导致后期主机资源过多，应用比较卡，甚至容易因为资源多，造成主机运行问题，故急需一种对于应用主机资源进行预测的方法。
发明内容
本发明的目的在于提供基于神经网络算法的应用主机资源预测方法，其通过历史数据，形成对应的算法，然后通过历史数据进行验证，实现算法的正确性推断，以此来实现后期应用主机资源的预测。
为了实现上述技术效果，本发明通过以下技术方案予以实现。
基于神经网络算法的应用主机资源预测方法，包括以下步骤；
数据采集，所述数据采集包括对应用主机关键资源实时数据、主机访问数据以及运检信息数据的历史数据的采集；
数据处理：对数据采集中采集的历史数据，分别通过平滑、找异常以及聚合的处理；
特征工程：针对处理后的历史数据，依次利用时间滞后处理方法和数据归一化处理进行特征工程的处理，而运检信息数据则还需要通过标记方法进行标记；
基础预测算法：以部分采集到的历史数据为训练样本集，通过计算得到神经元输出值；
迭代：根据消耗函数和动量因子，得到修改权值，以修改权值为新的权值，修改神经元输出值，得到迭代后的神经元输出值；
应用主机资源的预测：重复迭代步骤，至输出的神经元输出值符合要求，则以符合要求的神经元输出值为应用主机资源的预测值。
本技术方案中，通过对于现有历史数据的采集处理，进而以历史数据为依据，验证算法，能够看出算法或者设计，是否符合要求，是否能够推算出后期的资源，确保整个的预测。
本技术方案中，分别从内存、CPU及磁盘使用率数据、主机访问数据及运检信息角度进行数据的采集，能够将应用主机的资源的核心数据进行采集，确保全面衡量到对于主机资源应用的影响因素。
本技术方案中，增加迭代步骤，进而使得整个的权值是处于变动的，进而当影响主机资源的因素侧重点发生改变时，预测的计算方法能够及时迭代，进行相关数据的更新和替换，确保准确率。
作为本发明的进一步改进，所述数据采集步骤中，所述应用主机关键资源实时数据具体为内存、CPU及磁盘使用率数据；所述主机访问数据具体为应用主机所接收的访问与连接次数；所述运检信息数据具体为对采集到的与主机相关的数据进行标记和处理的数据。
本技术方案中，主机的核心包括内存、访问以及运检等几个方面，贯穿主机的自身、与外界以及运行检修等等，故通过这几个关键因素的考虑，充分确保预测的精准度。
作为本发明的进一步改进，所述数据处理步骤中，所述平滑具体为：通过滤波算法对采集的数据进行平滑处理。
本技术方案中，相比于其它数据资源，由于网络流量具有波动性和瞬时性，从而对模型训练及精准度影响比较大，因此需要采用滤波算法对其进行平滑处理，如卡尔曼滤波算法。
作为本发明的进一步改进，所述数据处理步骤中，所述找异常处理为：采用3sigma准则和/或分位数法识别出异常数据。
本技术方案中，与主机应用相关的异常数主要是缺失值、缺少值以及不处于正常范围内的数据，进而需要通过对其进行识别，以确保数据的准确性，减少预测的误差。
作为本发明的进一步改进，所述数据处理步骤中，所述聚合具体为：利用较大值，对采集到的数据中，频度高于其他值的数据进行稀疏处理。
本技术方案中，主要是针对采集到的高频度数据进行稀疏处理，以确保所有数据的公平性，避免带来的偏差等。
作为本发明的进一步改进，所述特征工程步骤中，所述标记方法具体为：根据设定的运检时间对硬件使用率数据进行标记，如果在设定时间段处于运检状态，则标记为1，相反则标记为0。
本技术方案中，由于运检时间是持续的，为了避免不同时间段的数据互相干扰，导致数据的错乱等，容易实现数据的时间错乱，故需要针对是否不同时间段的数据进行标记。
作为本发明的进一步改进，所述基础预测算法包括以下步骤：
1)初始化：将所有的突触权重和阈值设为最小的随机数，选取均值是零的均匀部分，初始化网络中的权值和阈值。
2)根据表达式(1)输入训练样本集：
表达式(1)中，样本集含有的数据项数目是N，输入向量x(1),x(2),…,x(n)，Pin代表中的向量；d(1),d(2),…,d(n)代表Pout中的向量；
3)根据输入的样本数据，根据公式(1)计算出隐含层和输出层中每个神经元的输出值；
公式(1)中，wji(n)表示神经元i与神经元j之间的权值，yi(n)表示神经元i的输出，vj(n)表示神经元j的局部感应；
根据公式(2)以及vj(n)得出神经元j的输出值：
本技术方案中，基础预测算法，主要是为了实现数据的基础化，尤其是先通过初始化，然后进行一系列处理，最终初始基础的输出数据，实现每个神经元的数据输出。
作为本发明的进一步改进，所述初始化步骤中，定义ml表示网络中第l层的神经元的个数，其中l∈[0,L]，定义m0代表输入层的神经元数目，ml代表第一隐层的神经元数目，mL代表输出层的神经元数目。
本技术方案中，初始化阶段中，约定各种神经层的个数等，进而确保每个隐层的数据输出。
作为本发明的进一步改进，所述迭代步骤中，还包括根据公式(3)计算出消耗函数：
将神经元j的误差信号定义为ej(n)，整个网络的误差瞬时值定义为ε(n)，所述误差瞬时值即为消耗函数，如公式(3)：
本技术方案中，通过相关数据的消耗函数，进而能够根据消耗函数，计算消耗掉的神经元，计算相关的损失，确保整个过程的持续性，更新性，消除损失，提高效率。
作为本发明的进一步改进，所述迭代步骤中，还包括通过动量因子的引入，来实现权值的修改。
为了改善传统BPNN收敛速度慢的缺点，引入动量因子来改变权值。
附图说明
图1为本发明提供的基于神经网络算法的应用主机资源预测方法的流程图；
图2为本发明提供的神经网络中信号传输的流程图；
图3为本发明提供的神经网络中训练的流程图；
图4为本发明提供的实施例4中基于神经网络算法的应用主机资源预测模型的构建流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的说明。
实施例1
本实施例中，主要介绍核心的流程。
参照附图1所示，本实施例中，基于神经网络算法的应用主机资源预测方法，包括以下步骤：
首先，数据采集：所述数据采集包括对应用主机关键资源实时数据、主机访问数据以及运检信息数据的历史数据的采集；
数据处理：对数据采集中采集的历史数据，分别通过平滑、找异常以及聚合的处理；
特征工程：针对处理后的历史数据，依次利用时间滞后处理方法和数据归一化处理进行特征工程的处理，而运检信息数据则还需要通过标记方法进行标记；
基础预测算法：以部分采集到的历史数据为训练样本集，通过计算得到神经元输出值；
迭代：根据消耗函数和动量因子，得到修改权值，以修改权值为新的权值，修改神经元输出值，得到迭代后的神经元输出值；
应用主机资源的预测：重复迭代步骤，至输出的神经元输出值符合要求，则以符合要求的神经元输出值为应用主机资源的预测值。
本实施例中，通过对于现有历史数据的采集处理，进而以历史数据为依据，验证算法，能够看出算法或者设计，是否符合要求，是否能够推算出后期的资源，确保整个的预测。
本实施例中，分别从内存、CPU及磁盘使用率数据、主机访问数据及运检信息角度进行数据的采集，能够将应用主机的资源的核心数据进行采集，确保全面衡量到对于主机资源应用的影响因素。
本实施例中，增加迭代步骤，进而使得整个的权值是处于变动的，进而当影响主机资源的因素侧重点发生改变时，预测的计算方法能够及时迭代，进行相关数据的更新和替换，确保准确率。
实施例2
本实施例中，主要介绍数据采集以及数据处理。
参照附图所示，所述数据采集步骤中，所述应用主机关键资源实时数据具体为内存、CPU及磁盘使用率数据；所述主机访问数据具体为应用主机所接收的访问与连接次数；所述运检信息数据具体为对采集到的与主机相关的数据进行标记和处理的数据。
本实施例中，主机的核心包括内存、访问以及运检等几个方面，贯穿主机的自身、与外界以及运行检修等等，故通过这几个关键因素的考虑，充分确保预测的精准度。
进一步地，所述数据处理步骤中，所述平滑具体为：通过滤波算法对采集的数据进行平滑处理。
本实施例中，相比于其它数据资源，由于网络流量具有波动性和瞬时性，从而对模型训练及精准度影响比较大，因此需要采用滤波算法对其进行平滑处理，如卡尔曼滤波算法。
进一步地，所述数据处理步骤中，所述找异常处理为：采用3sigma准则和/或分位数法识别出异常数据。
本实施例中，与主机应用相关的异常数主要是缺失值、缺少值以及不处于正常范围内的数据，进而需要通过对其进行识别，以确保数据的准确性，减少预测的误差。
进一步地，所述数据处理步骤中，所述聚合具体为：利用较大值，对采集到的数据中，频度高于其他值的数据进行稀疏处理。
本实施例中，主要是针对采集到的高频度数据进行稀疏处理，以确保所有数据的公平性，避免带来的偏差等。
更进一步地，所述特征工程步骤中，所述标记方法具体为：根据设定的运检时间对硬件使用率数据进行标记，如果在设定时间段处于运检状态，则标记为1，相反则标记为0。
本实施例中，由于运检时间是持续的，为了避免不同时间段的数据互相干扰，导致数据的错乱等，容易实现数据的时间错乱，故需要针对是否不同时间段的数据进行标记。
实施例3
本实施例中，结合数据的计算等进行介绍。
具体地，所述基础预测算法包括以下步骤：
1)初始化：将所有的突触权重和阈值设为最小的随机数，选取均值是零的均匀部分，初始化网络中的权值和阈值。
2)根据表达式(1)输入训练样本集：
表达式(1)中，样本集含有的数据项数目是N，输入向量x(1),x(2),…,x(n)，Pin代表中的向量；d(1),d(2),…,d(n)代表Pout中的向量；
3)根据输入的样本数据，根据公式(1)计算出隐含层和输出层中每个神经元的输出值；
公式(1)中，wji(n)表示神经元i与神经元j之间的权值，yi(n)表示神经元i的输出，vj(n)表示神经元j的局部感应；
根据公式(2)以及vj(n)得出神经元j的输出值：
本实施例中，基础预测算法，主要是为了实现数据的基础化，尤其是先通过初始化，然后进行一系列处理，最终初始基础的输出数据，实现每个神经元的数据输出。
进一步地，所述初始化步骤中，定义ml表示网络中第l层的神经元的个数，其中l∈[0,L]，定义m0代表输入层的神经元数目，ml代表第一隐层的神经元数目，mL代表输出层的神经元数目。
本实施例中，初始化阶段中，约定各种神经层的个数等，进而确保每个隐层的数据输出。
进一步地，所述迭代步骤中，还包括根据公式(3)计算出消耗函数：
将神经元j的误差信号定义为ej(n)，整个网络的误差瞬时值定义为ε(n)，所述误差瞬时值即为消耗函数，如公式(3)：
本实施例中，通过相关数据的消耗函数，进而能够根据消耗函数，计算消耗掉的神经元，计算相关的损失，确保整个过程的持续性，更新性，消除损失，提高效率。
进一步地，所述迭代步骤中，还包括通过动量因子的引入，来实现权值的修改。
为了改善传统BPNN收敛速度慢的缺点，引入动量因子来改变权值。
具体地，所述迭代步骤中，修改权值的计算具体通过公式(4)计算；
(4)
公式(4)中，表示修订后的神经元i与神经元j之间的修改权值。
本实施例中，通过已有数据，结合动量因子等，充分考虑权值修改后的计算等，确保数据的持续更新等。
实施例4
本实施例中，主要介绍实际的计算应用以及模型的构建。
参照附图1-4所示，具体包括以下内容。
模型构建主要包括以下步骤：
步骤1：数据准备
构建该模型主要所需的数据集包括3类，分别为内存、CPU及磁盘使用率数据、主机访问数据及运检信息数据。其中，内存、CPU及磁盘使用率数据主要来源于对应用主机关键资源实时采集到的数据；主机访问数据为应用主机所接收的访问与连接次数；运检信息数据主要用来对采集到的数据进行标记和处理，排除外在因素对应用主机资源预测精准的影响。
步骤2：数据处理
数据处理阶段主要工作包括数据平滑处理、异常值缺失值识别与处理以及数据较大值聚合。由网络流量具有波动性和瞬时性，从而对模型训练及精准度影响比较大，因此需要采用滤波算法对其进行平滑处理，如卡尔曼滤波算法；异常值识别常用的方法包括3sigma准则和分位数法(箱形图)；数据较大值聚合主要是针对采集到的高频度数据进行稀疏处理，而应用服务器资源最真实的需求主要体现在其高使用情况下当前资源的使用情况，因此采用较大值进行聚合。
步骤3：特征工程
特征工程过程主要包括3部分内容：时间滞后处理、运检信息标记和数据归一化处理。其中，由于应用主机关键硬件使用率数据为时序数据，且该资源总需求在时间轴上具有连续性，对此，在特征计算过程中采取时间滞后的方式进行表达；运检信息主要记录了应用主机的运检时间段，因此需要根据运检时间对硬件使用率数据进行标记，如果在该时间段处于运检状态，则标记为1，相反则标记为0；不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，一般会对数据进行归一化处理，但并非所有的模型均需要归一化处理。
步骤4：模型构建
对于应用主机资源的预测，本项目BP神经网络算法。
参照附图2所示，在BP神经网络中，神经元之间传递两种信号：信息信号和误差信号。通过这两种信号的协同作用和反复修正，得以越来越逼近目标函数。如图2所示，信息信号从先前的层向后一层正向传输。误差信号由后一层向前一层反向传播，逐层传递逐层反馈。
简单来说，BP神经网络有两个过程：前向数据计算过程与误差反馈流程。首先，训练集的输入数据流通过网络层层传播，传输方向为输入层－隐层－输出层，直至输出层获得网络输出。对权向量空间执行误差函数梯度下降策略，动态调整神经元之间的连接权值。这两个过程不断地交替进行，权值的不断变化使得实际输出逼近期望值，误差函数结果值达到最小。
过程如图4所示：
在RPPG模型中，引入动量因子对原始的BP算法进行了改进，加快其收敛速度，具体分为六个步骤。
1)初始化。将所有的突触权重和阈值设置为最小的随机数。在没有先验知识的情况下，我们选择一个均值是零的均匀分布，来初始化网络中的权值和阈值。
在此，约定所述ml表示网络中第l层的神经元的个数，其中l∈[0,L]，所述m0代表输入层的神经元数目，ml代表第一隐层的神经元数目，mL代表输出层的神经元数目。
2)输入训练样本集。训练样本集的表述如下式所示：
样本集含有的数据项数目是N，输入向量x(1),x(2),…,x(n)，Pin代表中的向量。d(1),d(2),…,d(n)代表Pout中的向量。
3)计算神经元输出值。根据输入的样本数据，可以按照下式计算隐含层和输出层中每个神经元的输出值。
如上所示，wji(n)表示神经元i与神经元j之间的权值，yi(n)表示神经元i的输出，vj(n)表示神经元j的局部感应。根据vj(n)得出神经元j的输出值：
4)计算消耗函数。将神经元j的误差信号定义为ej(n)，整个网络的误差瞬时值定义为ε(n)，它也被称为消耗函数，如公式：
5)根据消耗函数修改权值。普通的权值修改公式如下式：
wji(n+1)＝wji(n)+Δwji(ε(n))
为了改善传统BPNN收敛速度慢的缺点，引入动量因子来改变权值：
其中，a称为动量因子，且a∈[0,1]。当a为0时，该算法就是经典的BP算法。可见，引入动量因子后，权值变化量与上一次迭代的权值变化量有关。
6)不断迭代，直到满足停止规则。令n做自增操作，即n＝n+1，如果没有到达最大迭代次数，或精度未达标，则转至步骤3)，否则停止训练。
步骤5：模型评估与持久化
参考行业和学术界对回归预测模型评价标准，针对回归预测模型的评价指标包括：
(1)均方误差(MSE)：
(2)均方根误差(RMSE)：
(3)平均绝对误差(MAE)：
模型训练过程中，按照8:2的比例将数据集划分为训练集和验证集，即使用训练集先对模型进行训练，训练完成后使用验证集对模型效果进行测试，并使用上述评估指标进行评价，若各评价指标符合要求后将该模型进行持久化保存，以备后续应用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.基于神经网络算法的应用主机资源预测方法，其特征在于，包括以下步骤；
数据采集，所述数据采集包括对应用主机关键资源实时数据、主机访问数据以及运检信息数据的历史数据的采集；
数据处理：对数据采集中采集的历史数据，分别通过平滑、找异常以及聚合的处理；
特征工程：针对处理后的历史数据，依次利用时间滞后处理方法和数据归一化处理进行特征工程的处理，而运检信息数据则还需要通过标记方法进行标记；
基础预测算法：以部分采集到的历史数据为训练样本集，通过计算得到神经元输出值；
迭代：根据消耗函数和动量因子，得到修改权值，以修改权值为新的权值，修改神经元输出值，得到迭代后的神经元输出值；
应用主机资源的预测：重复迭代步骤，至输出的神经元输出值符合要求，则以符合要求的神经元输出值为应用主机资源的预测值。
2.根据权利要求1所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述数据采集步骤中，所述应用主机关键资源实时数据具体为内存、CPU及磁盘使用率数据；所述主机访问数据具体为应用主机所接收的访问与连接次数；所述运检信息数据具体为对采集到的与主机相关的数据进行标记和处理的数据。
3.根据权利要求1所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述数据处理步骤中，所述平滑具体为：通过滤波算法对采集的数据进行平滑处理。
4.根据权利要求3所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述数据处理步骤中，所述找异常处理为：采用3sigma准则和/或分位数法识别出异常数据。
5.根据权利要求4所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述数据处理步骤中，所述聚合具体为：利用较大值，对采集到的数据中，频度高于其他值的数据进行稀疏处理。
6.根据权利要求1所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述特征工程步骤中，所述标记方法具体为：根据设定的运检时间对硬件使用率数据进行标记，如果在设定时间段处于运检状态，则标记为1，相反则标记为0。
7.根据权利要求1所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述基础预测算法包括以下步骤：
1)初始化：将所有的突触权重和阈值设为最小的随机数，选取均值是零的均匀部分，初始化网络中的权值和阈值。
2)根据表达式(1)输入训练样本集：
表达式(1)中，样本集含有的数据项数目是N，输入向量x(1),x(2),…,x(n)，Pin代表中的向量；d(1),d(2),…,d(n)代表Pout中的向量；
3)根据输入的样本数据，根据公式(1)计算出隐含层和输出层中每个神经元的输出值；
公式(1)中，wji(n)表示神经元i与神经元j之间的权值，yi(n)表示神经元i的输出，vj(n)表示神经元j的局部感应；
根据公式(2)以及vj(n)得出神经元j的输出值：
8.根据权利要求7所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述初始化步骤中，定义ml表示网络中第l层的神经元的个数，其中l∈[0,L]，定义m0代表输入层的神经元数目，ml代表第一隐层的神经元数目，mL代表输出层的神经元数目。
9.根据权利要求8所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述迭代步骤中，还包括根据公式(3)计算出消耗函数：
将神经元j的误差信号定义为ej(n)，整个网络的误差瞬时值定义为ε(n)，所述误差瞬时值即为消耗函数，如公式(3)：
10.根据权利要求9所述的基于神经网络算法的应用主机资源预测方法，其特征在于，所述迭代步骤中，还包括通过动量因子的引入，来实现权值的修改。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110910259.XA CN113722094A (zh) | 2021-08-09 | 2021-08-09 | 基于神经网络算法的应用主机资源预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110910259.XA CN113722094A (zh) | 2021-08-09 | 2021-08-09 | 基于神经网络算法的应用主机资源预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113722094A true CN113722094A (zh) | 2021-11-30 |
Family
ID=78675231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110910259.XA Pending CN113722094A (zh) | 2021-08-09 | 2021-08-09 | 基于神经网络算法的应用主机资源预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113722094A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
| CN106874581A (zh) * | 2016-12-30 | 2017-06-20 | 浙江大学 | 一种基于bp神经网络模型的建筑空调能耗预测方法 |
| CN109714395A (zh) * | 2018-12-10 | 2019-05-03 | 平安科技（深圳）有限公司 | 云平台资源使用预测方法及终端设备 |
| US20200074323A1 (en) * | 2016-12-26 | 2020-03-05 | Morgan Stanley Services Group Inc. | Predictive asset optimization for computer resources |
| CN113139700A (zh) * | 2020-11-30 | 2021-07-20 | 中科三清科技有限公司 | 一种河流流量预测方法、装置、设备及存储介质 |
-
2021
- 2021-08-09 CN CN202110910259.XA patent/CN113722094A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105323111A (zh) * | 2015-11-17 | 2016-02-10 | 南京南瑞集团公司 | 一种运维自动化系统及方法 |
| US20200074323A1 (en) * | 2016-12-26 | 2020-03-05 | Morgan Stanley Services Group Inc. | Predictive asset optimization for computer resources |
| CN106874581A (zh) * | 2016-12-30 | 2017-06-20 | 浙江大学 | 一种基于bp神经网络模型的建筑空调能耗预测方法 |
| CN109714395A (zh) * | 2018-12-10 | 2019-05-03 | 平安科技（深圳）有限公司 | 云平台资源使用预测方法及终端设备 |
| CN113139700A (zh) * | 2020-11-30 | 2021-07-20 | 中科三清科技有限公司 | 一种河流流量预测方法、装置、设备及存储介质 |
Non-Patent Citations (5)
| Title |
|---|
| 吴俊伟等: "一种BP神经网络和遗传算法混合的云平台负载 预测方法", 《软件》 * |
| 崔桂梅等: "基于支持向量机的高炉向凉、向热炉况预测", 《钢铁研究学报》 * |
| 张少辉: "基于BP算法的动态负载平衡预测", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
| 陈亮等: "基于LSTM的大棚环境变量预测", 《沈阳理工大学学报》 * |
| 陈海龙等: "改进BP神经网络在交通事故预测中的研究", 《华东师范大学学报(自然科学版)》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| Singh et al. | Software effort estimation by genetic algorithm tuned parameters of modified constructive cost model for nasa software projects | |
| CN108052387B (zh) | 一种移动云计算中的资源分配预测方法及系统 | |
| CN110708318A (zh) | 基于改进的径向基神经网络算法的网络异常流量预测方法 | |
| CN107045569B (zh) | 基于聚类多目标分布估计算法的齿轮减速器优化设计方法 | |
| CN115577789B (zh) | 量子纠缠程度确定方法、装置、设备及存储介质 | |
| CN112418987B (zh) | 交通运输单位信用评级方法、系统、电子设备及存储介质 | |
| CN111079788A (zh) | 一种基于密度Canopy的K-means聚类方法 | |
| Singh et al. | Ensemble learning for large-scale workload prediction | |
| CN116663419A (zh) | 一种基于优化的Elman神经网络的无传感器设备故障预测方法 | |
| CN116187835A (zh) | 一种基于数据驱动的台区理论线损区间估算方法及系统 | |
| CN105046203B (zh) | 基于夹角dtw距离的卫星遥测数据自适应层次聚类方法 | |
| CN115051929A (zh) | 基于自监督目标感知神经网络的网络故障预测方法及装置 | |
| Li et al. | Improved LSTM-based prediction method for highly variable workload and resources in clouds | |
| Radiuk et al. | A framework for exploring and modeling neural architecture search methods | |
| CN110889493A (zh) | 针对关系网络添加扰动的方法及装置 | |
| Zhang et al. | A network traffic prediction model based on quantum inspired PSO and neural network | |
| CN114139593A (zh) | 一种去偏差图神经网络的训练方法、装置和电子设备 | |
| Guo et al. | Data mining and application of ship impact spectrum acceleration based on PNN neural network | |
| CN117473430A (zh) | 一种非侵入式负荷分类方法及装置 | |
| CN107766887A (zh) | 一种局部加权的不完整数据混杂聚类方法 | |
| Liu et al. | Optimizing non-orthogonal space distance using pso in software cost estimation | |
| CN113722094A (zh) | 基于神经网络算法的应用主机资源预测方法 | |
| CN116992935A (zh) | 基于改进随机配置算法的神经网络模型训练方法及系统 | |
| CN110942346A (zh) | 一种基于粒子群算法的建筑工程造价动态化估算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211130 |
|
| RJ01 | Rejection of invention patent application after publication |