CN112269729A - 面向网络购物平台大规模服务器集群的负载智能分析方法 - Google Patents

面向网络购物平台大规模服务器集群的负载智能分析方法 Download PDF

Info

Publication number
CN112269729A
CN112269729A CN202011218994.6A CN202011218994A CN112269729A CN 112269729 A CN112269729 A CN 112269729A CN 202011218994 A CN202011218994 A CN 202011218994A CN 112269729 A CN112269729 A CN 112269729A
Authority
CN
China
Prior art keywords
htm
neurons
server cluster
time
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011218994.6A
Other languages
English (en)
Inventor
朱博
袁云燕
左翌
张雨钊
蔡文华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Ruixiang Technology Group Co ltd
Original Assignee
Jiangsu Ruixiang Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Ruixiang Technology Group Co ltd filed Critical Jiangsu Ruixiang Technology Group Co ltd
Priority to CN202011218994.6A priority Critical patent/CN112269729A/zh
Publication of CN112269729A publication Critical patent/CN112269729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及人工智能深度学习技术领域，尤其是一种面向网络购物平台大规模服务器集群的负载智能分析方法。实现对蕴含时间跨度较短和较长规律的大规模服务器集群负载规律的更好学习；利用对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据等较强学习能力的循环神经元，构建了新的能工作于HTM中的循环神经元；利用循环神经元在多个时间步上对序列的学习和反馈能力，改变现有HTM仅使用相邻两个时间步信息进行学习的机制，提高HTM对长序列的学习能力，利用HTM的输入和对预测出循环神经元是否被激活的反馈训练循环神经元，增强HTM对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据的学习和异常检查能力。

Description

面向网络购物平台大规模服务器集群的负载智能分析方法
技术领域
本发明涉及人工智能深度学习技术领域，尤其是一种面向网络购物平台大规模服务器集群的负载智能分析方法。
背景技术
网络购物平台的访问量不断提高，其访问流量甚至达到了10Gb/s以上。支撑网络购物平台所需的服务器集群规模也越来越庞大，对服务质量的要求也非常高；大规模服务器集群的异常及易引起网络购物平台的服务或通信中断与异常，造成关键数据的丢失，给网络购物平台的信誉和效益带来极大的影响。因此高效地分析大规模服务器集群的负载是保证网络购物平台服务性能稳定的重要手段之一。
近年来，深度学习算法在图像处理、语音处理、自然语言处理等多个领域得到广泛的应用并产生巨大的影响，这在很大程度上归功于各种新型神经网络模型以及高效的模型训练方法。随着生物神经科学的进步，越来越多的新型神经网络正在被研究。HTM(Hierarchical Temporal Memory)是一种模仿人脑中处理高级认知功能的新皮质部分运作原理的新型人工神经网络，其将接受到的各种模式与记忆中的模式进行匹配，并对下一刻将会出现的信息作出预测与反应，若下一时刻的输入远超预测的范围，则可判定出现异常，从而体现时效性(Temporal)。
当前训练HTM的方法还比较简单，通常使用Hebbian规则修改前后两次激活神经元之间的连接值，以此训练HTM；这种方法在分析同时蕴含时间跨度较短和较长大规模服务器集群负载规律时难以获得理想的结果；因此需要针对大规模服务器集群负载数据中同时蕴含时间跨度较短和较长规律的特点，提出新的基于HTM负载智能分析方法，提高HTM对服务器异常判定的能力。
发明内容
本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种改进的面向网络购物平台大规模服务器集群的负载智能分析方法，以解决现有HTM对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据学习能力较差的问题。
本发明解决其技术问题所采用的技术方案是：一种面向网络购物平台大规模服务器集群的负载智能分析方法，包括以下步骤：
步骤1，采集某个较长时间内大规模服务器集群负载分段统计数据，使其包含大规模服务器集群的负载和时间两方面的特性，构成具有时序特性的大规模服务器集群负载据流；
步骤2，针对大规模服务器集群负载规律分析应用，将具有时序特性的大规模服务器集群负载数据流作为基于HTM分析方法的输入；
步骤3，使用面向网络购物平台大规模服务器集群负载分析的基于循环神经元时间池方法，利用循环神经元代替现有的HTM神经元，将HTM时间池和循环神经元学习序列数据的能力相互结合，加强HTM对同时蕴含时间跨度较短和较长大规模服务器集群负载规律的学习功能；
步骤4，通过循环神经元的训练方法，使得循环神经元能学习大规模服务器集群负载数据中包含的特性，实现HTM对蕴含时序跨度大大规模服务器集群负载规律的更强学习能力；
步骤5，完成对历史大规模服务器集群负载数据分析，输出在某种条件下大规模服务器集群负载是否处于异常状态。
所述步骤3中，使用面向网络购物平台大规模服务器集群负载分析的基于循环神经元时间池方法主要包括以下步骤：
步骤3.1，找出HTM时间池中t时刻处于激活状态的循环神经元；
步骤3.2，使用这些循环神经元与HTM时间池中t-1时刻激活态循环神经元之间的树突连接值、以及循环神经元中上一时刻的隐藏层
Figure BDA0002761410720000031
作为当前循环神经元的输入；
步骤3.3，计算循环神经元在t时刻的隐藏层
Figure BDA0002761410720000032
计算方法如下：
Figure BDA0002761410720000033
Figure BDA0002761410720000034
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环神经元中隐藏层神经元的激活值；
Figure BDA0002761410720000035
表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环神经元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤3.4，计算循环神经元在t时刻的输出
Figure BDA0002761410720000036
计算方法如下：
Figure BDA0002761410720000037
σ表示循环神经元输出层的激活函数，Wyh表示循环神经元中隐藏层和输出层之间的权重矩阵；
步骤3.5，计算循环神经元在t时刻的预测值
Figure BDA0002761410720000038
计算方法如下：
Figure BDA0002761410720000039
步骤3.6，找出HTM在t时刻对t+1时刻的预测循环神经元
Figure BDA00027614107200000310
计算方法如下：
Figure BDA0002761410720000041
Figure BDA0002761410720000042
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
所述步骤4中，循环神经元的训练方法主要包括以下步骤：
步骤4.1，找出HTM时间池中t-1时刻处于预测状态的循环神经元和t时刻处于激活状态的循环神经元；
步骤4.2，使用HTM时间池中t时刻这些循环神经元是否被激活来计算循环神经元的误差E，计算方法如下：
Figure BDA0002761410720000043
步骤4.3，调整循环神经元中的权重和偏置参数，计算方法如下：
Figure BDA0002761410720000044
其中,θ为[Whx，Whh，Wyh，bh],θnew表示θ经过训练后最小误差处理后的新值,λ是学习率,
Figure BDA0002761410720000045
表示对函数的某个变量求偏导数。
本发明的有益效果是：
1、本发明使用一种面向网络购物平台大规模服务器集群的基于HTM负载智能分析方法，改进现有HTM，实现对蕴含时间跨度较短和较长规律的大规模服务器集群负载规律的更好学习；
2、本发明利用对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据等较强学习能力的循环神经元，替换HTM中现有的神经元，构建了能工作于HTM中的循环神经元，改变现有HTM仅依靠调整HTM神经元中突触值学习的方式；与现有HTM在基本的构成方面存在不同；
3、利用循环神经元在多个时间步上对序列的学习和反馈能力，改变现有HTM仅使用相邻两个时间步信息进行学习的机制，提高HTM对长序列的学习能力。给出了HTM中循环神经元的学习过程，利用HTM的输入和对预测出循环神经元是否被激活的反馈训练循环神经元，增强HTM对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据的学习和异常检查能力。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明中面向网络购物平台大规模服务器集群的融和式HTM的结构图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1所示的面向网络购物平台大规模服务器集群的负载智能分析方法，包括以下步骤：
步骤1，采集某个较长时间内大规模服务器集群负载分段统计数据，使其包含大规模服务器集群的负载和时间两方面的特性，构成具有时序特性的大规模服务器集群负载据流；
步骤2，针对大规模服务器集群负载规律分析应用，将具有时序特性的大规模服务器集群负载数据流作为基于HTM分析方法的输入；
步骤3，使用面向网络购物平台大规模服务器集群负载分析的基于循环神经元时间池方法，利用循环神经元代替现有的HTM神经元，将HTM时间池和循环神经元学习序列数据的能力相互结合，加强HTM对同时蕴含时间跨度较短和较长大规模服务器集群负载规律的学习功能；
步骤4，通过循环神经元的训练方法，使得循环神经元能学习大规模服务器集群负载数据中包含的特性，实现HTM对蕴含时序跨度大大规模服务器集群负载规律的更强学习能力；
步骤5，完成对历史大规模服务器集群负载数据分析，输出在某种条件下大规模服务器集群负载是否处于异常状态。
所述步骤3中，使用面向网络购物平台大规模服务器集群负载分析的基于循环神经元时间池方法主要包括以下步骤：
步骤3.1，找出HTM时间池中t时刻处于激活状态的循环神经元；
步骤3.2，使用这些循环神经元与HTM时间池中t-1时刻激活态循环神经元之间的树突连接值、以及循环神经元中上一时刻的隐藏层
Figure BDA0002761410720000061
作为当前循环神经元的输入；
步骤3.3，计算循环神经元在t时刻的隐藏层
Figure BDA0002761410720000062
计算方法如下：
Figure BDA0002761410720000063
Figure BDA0002761410720000064
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环神经元中隐藏层神经元的激活值；
Figure BDA0002761410720000065
表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环神经元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤3.4，计算循环神经元在t时刻的输出
Figure BDA0002761410720000066
计算方法如下：
Figure BDA0002761410720000071
σ表示循环神经元输出层的激活函数，Wyh表示循环神经元中隐藏层和输出层之间的权重矩阵；
步骤3.5，计算循环神经元在t时刻的预测值
Figure BDA0002761410720000072
计算方法如下：
Figure BDA0002761410720000073
步骤3.6，找出HTM在t时刻对t+1时刻的预测循环神经元
Figure BDA0002761410720000074
计算方法如下：
Figure BDA0002761410720000075
Figure BDA0002761410720000076
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
所述步骤4中，循环神经元的训练方法主要包括以下步骤：
步骤4.1，找出HTM时间池中t-1时刻处于预测状态的循环神经元和t时刻处于激活状态的循环神经元；
步骤4.2，使用HTM时间池中t时刻这些循环神经元是否被激活来计算循环神经元的误差E，计算方法如下：
Figure BDA0002761410720000077
步骤4.3，调整循环神经元中的权重和偏置参数，计算方法如下：
Figure BDA0002761410720000078
其中,θ为[Whx，Whh，Wyh，bh],θnew表示θ经过训练后最小误差处理后的新值,λ是学习率,
Figure BDA0002761410720000079
表示对函数的某个变量求偏导数。
实施例1：
如图1所示，一种面向网络购物平台大规模服务器集群的融和式HTM的结构图，该方法总体思路是利用循环神经元代替现有HTM神经元，利用循环神经元在多个时间步上对序列的学习和反馈能力，实现HTM对序列数据更强的学习能力。图1中右侧所示即为循环神经元，其中包括输入单元(xij)、输出单元(yij)、隐藏单元(hij)。由图1可知，有一条单向流动的信息流是从输入单元到达隐藏单元的。与此同时，另一条单向流动的信息流从隐藏单元到达输出单元。即HTM中循环神经元突触的连通值作为循环神经元每一时刻的输入，循环神经元隐藏层的输入还包含上一时刻隐藏层的状态，从而计算
Figure BDA0002761410720000081
和
Figure BDA0002761410720000082
最终训练并得到模型。
实施例2：
以一个HTM中循环神经元的完整计算过程为例，它由多个时序关联的不同计算部分组成。首先，在输入时刻t，对于处于激活态的循环神经元以及t-1时刻与之相连接的处于激活态的循环神经元之间突触连通数值，其组成的向量为
Figure BDA0002761410720000083
即为各个时刻HTM微柱上处于不同位置的循环神经元的输入。
根据提出的HTM设计方法中，首先需要确定出各个时刻处于激活态循环神经元。现假设j＝{1，2，3，..，m}表示的是HTM中的微柱编号，i＝{1，2，3，..，n}表示的是微柱中的循环神经元编号。例如，使用c1，2表示第2微柱中第1个循环神经元，HTM神经元微柱有10个，经过HTM空间池计算过程后得到激活微柱3个，其中位于微柱2上的第1个循环神经元(c1，2)处于激活状态。另外确定出与之相连的激活循环神经元有c2，2和c3，1，在实时接收到当前t时刻的他们之前的连通值组成的向量(0.4，0.6，0.3)和t-1时刻此循环神经元的隐藏层输出结果带入公式中依次计算并最终得到此t刻输出为0.5。然后根据该循环神经元输出预测值是否达到实验中设定的阈值(0.6)作为判断出t+1时刻预测循环神经元。
具体而言，按照图1所示的基于循环神经元的HTM结构图，根据输入编码
Figure BDA0002761410720000091
和上一时刻隐藏层的输出
Figure BDA0002761410720000092
计算循环神经元的当前隐藏层输入
Figure BDA0002761410720000093
输出
Figure BDA0002761410720000094
和最终预测
Figure BDA0002761410720000095
循环神经元的训练过程在于最小化损失函数E,可采用随机梯度下降法更新参数。计算方法分别如下所示：
Figure BDA0002761410720000096
Figure BDA0002761410720000097
Figure BDA0002761410720000098
Figure BDA0002761410720000099
其中，
Figure BDA00027614107200000910
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环神经元中隐藏层神经元的激活值。Whx和Whh分别表示循环神经元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数。
Figure BDA00027614107200000911
表示循环神经元在t时刻的输出，
Figure BDA00027614107200000912
表示循环神经元在t时刻的预测值。
Figure BDA00027614107200000913
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
最后，循环神经元的训练过程在于最小化损失函数E，然后基于损失函数的梯度在循环神经元中进行反向传播更新网络各层权值参数，正向输出和反向传播在训练数据上迭代进行，每个循环神经元会采用随机梯度下降(SGD)修正参数，直到所有参数收敛或达到某些预设的终止条件为止。根据HTM时间池中t时刻这些循环神经元是否被激活的信息，使用下面公式计算循环神经元的误差值E。计算方法如下公式：
Figure BDA0002761410720000101
从而由下面公式调整循环神经元中的权重和偏置参数。
Figure BDA0002761410720000102
其中,θ为[Whx，Whh，Wyh，bh]是需要优化的参数,λ是循环神经元的学习率，
Figure BDA0002761410720000103
表示求偏导数。
综上，本发明的一种面向网络购物平台大规模服务器集群的负载智能分析方法，利用循环神经元代替现有的HTM神经元，将HTM时间池和循环神经元对序列数据的学习能力相互结合，加强HTM对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据的学习功能；通过循环神经元的训练方法，使得循环神经元能学习大规模服务器集群负载数据中包含的特性，实现HTM对同时蕴含时间跨度较短和较长大规模服务器集群负载规律的更强学习能力；本发明将对生物大脑新皮质功能的模拟和传统循环神经网络机制相结合，提高了HTM对同时蕴含时间跨度较短和较长大规模服务器集群负载特性的学习功能，从而保证了在处理同时蕴含时间跨度较短和较长大规模服务器集群负载规律时HTM的有效性和实用性。
本发明与现有分析大规模服务器集群负载的方法不同，使用一种面向网络购物平台大规模服务器集群的基于HTM负载智能分析方法，改进现有HTM，实现对蕴含时间跨度较短和较长规律的大规模服务器集群负载规律的更好学习；本发明与现有HTM在基本的构成方面存在不同，利用对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据等较强学习能力的循环神经元，替换HTM中现有的神经元，构建了能工作于HTM中的循环神经元，改变现有HTM仅依靠调整HTM神经元中突触值学习的方式；与现有HTM在基本的构成方面存在不同；利用循环神经元在多个时间步上对序列的学习和反馈能力，改变现有HTM仅使用相邻两个时间步信息进行学习的机制，提高HTM对长序列的学习能力。
给出了HTM中循环神经元的学习过程，利用HTM的输入和对预测出循环神经元是否被激活的反馈训练循环神经元，增强HTM对同时蕴含时间跨度较短和较长规律的大规模服务器集群负载数据的学习和异常检查能力。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种面向网络购物平台大规模服务器集群的负载智能分析方法，其特在于：包括以下步骤：
步骤1，采集某个较长时间内大规模服务器集群负载分段统计数据，使其包含大规模服务器集群的负载和时间两方面的特性，构成具有时序特性的大规模服务器集群负载据流；
步骤2，针对大规模服务器集群负载规律分析应用，将具有时序特性的大规模服务器集群负载数据流作为基于HTM分析方法的输入；
步骤3，使用面向网络购物平台大规模服务器集群负载分析的基于循环神经元时间池方法，利用循环神经元代替现有的HTM神经元，将HTM时间池和循环神经元学习序列数据的能力相互结合，加强HTM对同时蕴含时间跨度较短和较长大规模服务器集群负载规律的学习功能；
步骤4，通过循环神经元的训练方法，使得循环神经元能学习大规模服务器集群负载数据中包含的特性，实现HTM对蕴含时序跨度大大规模服务器集群负载规律的更强学习能力；
步骤5，完成对历史大规模服务器集群负载数据分析，输出在某种条件下大规模服务器集群负载是否处于异常状态。
2.根据权利要求1所述的面向网络购物平台大规模服务器集群的负载智能分析方法，其特征是：所述步骤3中，使用面向网络购物平台大规模服务器集群负载分析的基于循环神经元时间池方法主要包括以下步骤：
步骤3.1，找出HTM时间池中t时刻处于激活状态的循环神经元；
步骤3.2，使用这些循环神经元与HTM时间池中t-1时刻激活态循环神经元之间的树突连接值、以及循环神经元中上一时刻的隐藏层
Figure FDA0002761410710000011
作为当前循环神经元的输入；
步骤3.3，计算循环神经元在t时刻的隐藏层
Figure FDA0002761410710000021
计算方法如下：
Figure FDA0002761410710000022
Figure FDA0002761410710000023
表示t时刻HTM中第j个微柱中第i个HTM神经元对应的循环神经元中隐藏层神经元的激活值；
Figure FDA0002761410710000024
表示由HTM中第j个微柱中第i个HTM神经元上的突触连通数值组成的向量；Whx和Whh分别表示循环神经元中输入层和隐藏层、隐藏层和隐藏层之间的权值矩阵，bh是隐藏层的偏置矩阵，f是使用双曲正切函数tanh构造的非线性激活函数；
步骤3.4，计算循环神经元在t时刻的输出
Figure FDA0002761410710000025
计算方法如下：
Figure FDA0002761410710000026
σ表示循环神经元输出层的激活函数，Wyh表示循环神经元中隐藏层和输出层之间的权重矩阵；
步骤3.5，计算循环神经元在t时刻的预测值
Figure FDA0002761410710000027
计算方法如下：
Figure FDA0002761410710000028
步骤3.6，找出HTM在t时刻对t+1时刻的预测循环神经元
Figure FDA0002761410710000029
计算方法如下：
Figure FDA00027614107100000210
Figure FDA00027614107100000211
表示在t时刻是HTM神经元处于激活态，1代表激活，0代表未激活；μ是设定的超参数。
3.根据权利要求1所述的面向网络购物平台大规模服务器集群的负载智能分析方法，其特征是：所述步骤4中，循环神经元的训练方法主要包括以下步骤：
步骤4.1，找出HTM时间池中t-1时刻处于预测状态的循环神经元和t时刻处于激活状态的循环神经元；
步骤4.2，使用HTM时间池中t时刻这些循环神经元是否被激活来计算循环神经元的误差E，计算方法如下：
Figure FDA0002761410710000031
步骤4.3，调整循环神经元中的权重和偏置参数，计算方法如下：
Figure FDA0002761410710000032
其中,θ为[Whx，Whh，Wyh，bh],θnew表示θ经过训练后最小误差处理后的新值,λ是学习率,
Figure FDA0002761410710000033
表示对函数的某个变量求偏导数。
CN202011218994.6A 2020-11-04 2020-11-04 面向网络购物平台大规模服务器集群的负载智能分析方法 Pending CN112269729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011218994.6A CN112269729A (zh) 2020-11-04 2020-11-04 面向网络购物平台大规模服务器集群的负载智能分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011218994.6A CN112269729A (zh) 2020-11-04 2020-11-04 面向网络购物平台大规模服务器集群的负载智能分析方法

Publications (1)

Publication Number Publication Date
CN112269729A true CN112269729A (zh) 2021-01-26

Family

ID=74344706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011218994.6A Pending CN112269729A (zh) 2020-11-04 2020-11-04 面向网络购物平台大规模服务器集群的负载智能分析方法

Country Status (1)

Country Link
CN (1) CN112269729A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387028A (zh) * 2022-01-13 2022-04-22 瑞祥全球购超市有限公司 一种面向网络购物平台的商品需求量的智能分析方法
CN114387030A (zh) * 2022-01-13 2022-04-22 瑞祥全球购超市有限公司 一种面向网络购物平台的在线用户量的智能分析方法
CN114386601A (zh) * 2022-01-13 2022-04-22 江苏瑞祥科技集团有限公司 一种面向服务器负载数据的htm高效异常检测方法
CN114386602A (zh) * 2022-01-13 2022-04-22 江苏瑞祥科技集团有限公司 一种面向多路服务器负载数据的htm预测分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172560A1 (zh) * 2014-05-16 2015-11-19 华南理工大学 基于bp神经网络的中央空调冷负荷的预测方法
US20170161606A1 (en) * 2015-12-06 2017-06-08 Beijing University Of Technology Clustering method based on iterations of neural networks
CN111382840A (zh) * 2020-02-25 2020-07-07 江苏大学 一种面向自然语言处理的基于循环学习单元的htm设计方法
CN111401547A (zh) * 2020-02-25 2020-07-10 江苏大学 一种面向乘客流分析的基于循环学习单元的htm设计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015172560A1 (zh) * 2014-05-16 2015-11-19 华南理工大学 基于bp神经网络的中央空调冷负荷的预测方法
US20170161606A1 (en) * 2015-12-06 2017-06-08 Beijing University Of Technology Clustering method based on iterations of neural networks
CN111382840A (zh) * 2020-02-25 2020-07-07 江苏大学 一种面向自然语言处理的基于循环学习单元的htm设计方法
CN111401547A (zh) * 2020-02-25 2020-07-10 江苏大学 一种面向乘客流分析的基于循环学习单元的htm设计方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114387028A (zh) * 2022-01-13 2022-04-22 瑞祥全球购超市有限公司 一种面向网络购物平台的商品需求量的智能分析方法
CN114387030A (zh) * 2022-01-13 2022-04-22 瑞祥全球购超市有限公司 一种面向网络购物平台的在线用户量的智能分析方法
CN114386601A (zh) * 2022-01-13 2022-04-22 江苏瑞祥科技集团有限公司 一种面向服务器负载数据的htm高效异常检测方法
CN114386602A (zh) * 2022-01-13 2022-04-22 江苏瑞祥科技集团有限公司 一种面向多路服务器负载数据的htm预测分析方法
CN114386602B (zh) * 2022-01-13 2024-02-20 江苏瑞祥科技集团有限公司 一种面向多路服务器负载数据的htm预测分析方法
CN114387028B (zh) * 2022-01-13 2024-02-23 瑞祥全球购超市有限公司 一种面向网络购物平台的商品需求量的智能分析方法
CN114387030B (zh) * 2022-01-13 2024-03-15 瑞祥全球购超市有限公司 一种面向网络购物平台的在线用户量的智能分析方法

Similar Documents

Publication Publication Date Title
CN110070183B (zh) 一种弱标注数据的神经网络模型训练方法及装置
US11461654B2 (en) Multi-agent cooperation decision-making and training method
CN112269729A (zh) 面向网络购物平台大规模服务器集群的负载智能分析方法
US10956815B2 (en) Killing asymmetric resistive processing units for neural network training
Garro et al. Designing artificial neural networks using particle swarm optimization algorithms
Suliman et al. A review on back-propagation neural networks in the application of remote sensing image classification
Kasabov On-line learning, reasoning, rule extraction and aggregation in locally optimized evolving fuzzy neural networks
Almeida et al. A multi-objective memetic and hybrid methodology for optimizing the parameters and performance of artificial neural networks
Zamfirache et al. Neural network-based control using actor-critic reinforcement learning and grey wolf optimizer with experimental servo system validation
CN111401547B (zh) 一种面向乘客流分析的基于循环学习单元的htm设计方法
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
Azzouz et al. Steady state IBEA assisted by MLP neural networks for expensive multi-objective optimization problems
Zhao et al. Tuning the structure and parameters of a neural network using cooperative binary-real particle swarm optimization
Jeong et al. Ladder capsule network
Ramchoun et al. New modeling of multilayer perceptron architecture optimization with regularization: an application to pattern classification
US11625589B2 (en) Residual semi-recurrent neural networks
Zhao et al. Spiking capsnet: A spiking neural network with a biologically plausible routing rule between capsules
CN111382840A (zh) 一种面向自然语言处理的基于循环学习单元的htm设计方法
Anochi et al. Self-configuring two types of neural networks by mpca
Ettaouil et al. Neural architectures optimization and Genetic algorithms
Kim et al. Exploring temporal information dynamics in spiking neural networks
Bauer et al. Exodus: Stable and efficient training of spiking neural networks
Ma et al. Temporal dependent local learning for deep spiking neural networks
Gabrijel et al. On-line identification and reconstruction of finite automata with generalized recurrent neural networks
Harikrishnan et al. Handwritten digit recognition with feed-forward multi-layer perceptron and convolutional neural network architectures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination