CN110784555A - 一种基于深度学习的智能监控及负载调度方法 - Google Patents

一种基于深度学习的智能监控及负载调度方法 Download PDF

Info

Publication number
CN110784555A
CN110784555A CN201911080999.4A CN201911080999A CN110784555A CN 110784555 A CN110784555 A CN 110784555A CN 201911080999 A CN201911080999 A CN 201911080999A CN 110784555 A CN110784555 A CN 110784555A
Authority
CN
China
Prior art keywords
server
deep learning
information
weight
reverse proxy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911080999.4A
Other languages
English (en)
Inventor
郑炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Fufu Mdt Infotech Ltd
Original Assignee
China Electric Fufu Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Fufu Mdt Infotech Ltd filed Critical China Electric Fufu Mdt Infotech Ltd
Priority to CN201911080999.4A priority Critical patent/CN110784555A/zh
Publication of CN110784555A publication Critical patent/CN110784555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer And Data Communications (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开一种基于深度学习的智能监控及负载调度方法，实时采集所有在用的服务器信息，并将信息汇总到中央服务器，中央服务器将这些信息通过深度学习模型进行分析，对这些在用服务器的情况进行评估，从而估算出每个服务器的权值。中央服务实时估算出的在用服务器的权值，发送给反向代理服务器。每个客户端请求上来；反向代理服务根据当前的权值信息计算出最优解的服务器地址。反向代理服务器根据最优的服务器地址在客户端与该地址的服务器之间建立业务通信通道。本发明结合了深度学习对服务器的负载更精确的评估，使得反向代理更准确和智能的将客户端的请求负载到各个服务器上，从而解决的传统的负载均衡模式的瓶颈。

Description

一种基于深度学习的智能监控及负载调度方法
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于深度学习的智能监控及负载调度方法。
背景技术
目前市面上的负载均衡实现的方式都是简单的以流量或者业务复杂程度来将客户端的请求分配到不同的服务器。常见的分配方式有轮询分配，普通的哈希算法分配，一致性哈希算法分配等。以上的负载分配方式里只有一致性哈希算法分配方式考虑到服务器宕机时的情况，但是只是考虑服务器宕机的情况是远远不够的。因为实际的生产环境下服务器宕机的情况比起服务器本身的硬件配置和软件运行情况不同而造成的实际性能不同而不能真正的达到负载的目的来说，是比较少见的。实际的情况是某些的服务器硬件配置比起其他的服务器来说性能较为强劲，空闲的资源也较多，但是却和其他的服务器处理相同的并发压力，而不能充分发挥其性能优势，而那些性能较差，剩余资源较少的服务器满负荷地处理着大量的并发。进而造成一部分服务器资源吃紧一部分的服务器资源空闲，从而达不到实际的负载均衡（负载失衡）。
发明内容
本发明的目的在于提供一种基于深度学习的智能监控及负载调度方法。
本发明采用的技术方案是：
一种基于深度学习的智能监控及负载调度方法，其包括以下步骤：
步骤1，实时采集所有在用的服务器信息并汇总到中央服务器；
步骤2，中央服务器将服务器信息通过深度学习模型进行分析，对在用服务器进行评估算出每个服务器的权值，即调度优先级；
步骤3，中央服务器将实时算出的在用服务器的权值发送给反向代理服务器；
步骤4，客户端向反向代理服务器发起请求；
步骤5，反向代理服务根据当前的权值信息计算选择出最优的服务器地址；
步骤6，反向代理服务器根据最优服务器地址建立客户端与该地址的服务器之间的业务通信通道。
进一步地，服务器信息包括硬件信息与实时的资源信息，具体包括内存、CPU、流量。
进一步地，步骤2中深度学习模型的输入条件的项数根据服务器信息项数设置。
进一步地，步骤2的权值的计算步骤如下：
步骤2-1，深度学习模型对每台在用服务器的服务器信息进行分析得到预测评分值P；
步骤2-2，中央服务器会对每台负载服务器上的评分值P计算出对应的权值T，权值T计算公式为：T=P/ΣPn。
进一步地，步骤5中的最优解按照当前的权值比率来分配反向代理的概率。
进一步地，步骤5中三台服务器的权值分别是是0.2，0.4和0.4，即三台服务器负载分摊各占20%，40%和40%。
本发明采用以上技术方案，从监控出发，实时采集所有在用的服务器信息，并将信息汇总到中央服务器，中央服务器将这些信息通过深度学习模型进行分析，对这些在用服务器的情况进行评估，从而估算出每个服务器的权值（调度优先级）。每个客户端请求上来的时候都会先请求到中央服务器，由中央服务器根据中央服务实时估算出的在用服务器的权值，发送给反向代理服务器。反向代理服务根据当前的权值信息计算出最优解的服务器地址。反向代理服务器根据最优的服务器地址在客户端与该地址的服务器之间建立业务通信通道。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为本发明的系统架构示意图；
图2为本发明的深度学习模型的架构示意图。
具体实施方式
如图1或2所示，本发明公开了一种基于深度学习的智能监控及负载调度方法，其包括以下步骤：
步骤1，实时采集所有在用的服务器信息并汇总到中央服务器；
步骤2，中央服务器将服务器信息通过深度学习模型进行分析，对在用服务器进行评估算出每个服务器的权值，即调度优先级；
步骤3，中央服务器将实时算出的在用服务器的权值发送给反向代理服务器；
步骤4，客户端向反向代理服务器发起请求；
步骤5，反向代理服务根据当前的权值信息计算选择出最优的服务器地址；
步骤6，反向代理服务器根据最优服务器地址建立客户端与该地址的服务器之间的业务通信通道。
进一步地，服务器信息包括硬件信息与实时的资源信息，具体包括内存、CPU、流量。
对于深度学习部分的算法下面做下简单的说明，如图2所示的神经网络模型，其中输入神经元也就是输入条件不止下面列出的4项，因为篇幅有限不可能列出所有的因素，具体的考虑因素可以根据实际情况自行添加）：
【输入神经元】CPU使用率：X1
【输入神经元】内存使用率：X2
【输入神经元】网络带宽使用率：X3
【输入神经元】磁盘IO使用率：X4
【输入神经元权值】：Wmn（m∈[1,4]，n∈[1,6]）
【输入神经元偏置值】：B
【隐藏层神经元】：Hn（n∈[1,6]）
【隐藏层神经元权值】：Vn（n∈[1,6]）
【隐藏层神经元偏置值】：C
【输出神经元】服务器当前可用性能预测评分：Y
数学模型构建：
矩阵：
Xn=[[X1,X2,X3,X4]]
Wmn=[[W11,W12,…,W16],
[W21,W22,…,W26],
[W31,W32,…,W36],
[W41,W42,…,W46]]
B=[[B1,B2,…,B6]]
Hn=[[H1,H2,…,H6]]
Vn=[[V1],
[V2],
…,
[V6]]
C=[[C1]]
Y=[[Y1]]
样本需求：
样本字段信息：
1.CPU使用率
2.内存使用率
3.网络带宽使用率
4.磁盘IO使用率
5.服务器当前可用性能预测评分
样本分类及样本数量：
1.训练样本（1000以上）
2.验证样本（200以上）
训练过程：
循环迭代将训练样本输入至神经网络，采用GradientDescent对预测值Y与样本数据的实际值y'的方差进行最小化（方差算法：S^2=Σ(Y-y)^2/n）后通过BP算法反向传导优化权值Vn，Wmn和偏置值C，B得到训练模型。
进一步地，步骤2中深度学习模型的输入条件的项数根据服务器信息项数设置。
进一步地，步骤2的权值的计算步骤如下：
步骤2-1，深度学习模型对每台在用服务器的服务器信息进行分析得到预测评分值P；
步骤2-2，中央服务器会对每台负载服务器上的评分值P计算出对应的权值T，权值T计算公式为：T=P/ΣPn。
进一步地，步骤5中的最优解按照当前的权值比率来分配反向代理的概率。
进一步地，步骤5中三台服务器的权值分别是是0.2，0.4和0.4，即三台服务器负载分摊各占20%，40%和40%。
本发明采用以上技术方案，从监控出发，实时采集所有在用的服务器信息，并将信息汇总到中央服务器，中央服务器将这些信息通过深度学习模型进行分析，对这些在用服务器的情况进行评估，从而估算出每个服务器的权值（调度优先级）。每个客户端请求上来的时候都会先请求到中央服务器，由中央服务器根据中央服务实时估算出的在用服务器的权值，发送给反向代理服务器。反向代理服务根据当前的权值信息计算出最优解的服务器地址。反向代理服务器根据最优的服务器地址在客户端与该地址的服务器之间建立业务通信通道。本发明加入了对服务器性能的采集分析，结合了深度学习领域，对服务器的负载做到了更精确的评估，使得反向代理更加的准确和智能的将客户端的请求负载到各个服务器上，从而解决的传统的负载均衡模式的瓶颈。极大的提高了服务器集群的吞吐量以及业务处理效率。

Claims (6)

1.一种基于深度学习的智能监控及负载调度方法，其特征在于：其包括以下步骤：
步骤1，实时采集所有在用的服务器信息并汇总到中央服务器；
步骤2，中央服务器将服务器信息通过深度学习模型进行分析，对在用服务器进行评估算出每个服务器的权值，即调度优先级；
步骤3，中央服务器将实时算出的在用服务器的权值发送给反向代理服务器；
步骤4，客户端向反向代理服务器发起请求；
步骤5，反向代理服务根据当前的权值信息计算选择出最优的服务器地址；
步骤6，反向代理服务器根据最优服务器地址建立客户端与该地址的服务器之间的业务通信通道。
2.根据权利要求1所述的一种基于深度学习的智能监控及负载调度方法，其特征在于：服务器信息包括硬件信息与实时的资源信息。
3.根据权利要求1所述的一种基于深度学习的智能监控及负载调度方法，其特征在于：步骤2中深度学习模型的输入条件的项数根据服务器信息项数设置。
4.根据权利要求1所述的一种基于深度学习的智能监控及负载调度方法，其特征在于：步骤2的权值的计算步骤如下：
步骤2-1，深度学习模型对每台在用服务器的服务器信息进行分析得到预测评分值P；
步骤2-2，中央服务器会对每台负载服务器上的评分值P计算出对应的权值T，权值T计算公式为：T=P/ΣPn。
5.根据权利要求1所述的一种基于深度学习的智能监控及负载调度方法，其特征在于：步骤5中的最优解按照当前的权值比率来分配反向代理的概率。
6.根据权利要求1所述的一种基于深度学习的智能监控及负载调度方法，其特征在于：步骤5中三台服务器的权值分别是是0.2，0.4和0.4，即三台服务器负载分摊各占20%，40%和40%。
CN201911080999.4A 2019-11-07 2019-11-07 一种基于深度学习的智能监控及负载调度方法 Pending CN110784555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911080999.4A CN110784555A (zh) 2019-11-07 2019-11-07 一种基于深度学习的智能监控及负载调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911080999.4A CN110784555A (zh) 2019-11-07 2019-11-07 一种基于深度学习的智能监控及负载调度方法

Publications (1)

Publication Number Publication Date
CN110784555A true CN110784555A (zh) 2020-02-11

Family

ID=69390120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911080999.4A Pending CN110784555A (zh) 2019-11-07 2019-11-07 一种基于深度学习的智能监控及负载调度方法

Country Status (1)

Country Link
CN (1) CN110784555A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114138463A (zh) * 2021-11-04 2022-03-04 中国电力科学研究院有限公司 基于深度神经网络的现货系统应用层负载均衡预测方法
CN114765625A (zh) * 2020-12-31 2022-07-19 新智云数据服务有限公司 基于联合学习的信息交互方法、装置和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550323A (zh) * 2015-12-15 2016-05-04 北京国电通网络技术有限公司 一种分布式数据库负载均衡预测方法和预测分析器
CN107196869A (zh) * 2017-07-14 2017-09-22 北京知道创宇信息技术有限公司 基于主机实际负载的自适应负载均衡方法、设备和系统
CN108632384A (zh) * 2018-05-15 2018-10-09 西安电子科技大学 基于视频请求数预测的负载均衡方法
CN110046048A (zh) * 2019-04-18 2019-07-23 杭州电子科技大学 一种基于工作量自适应快速重分配的负载均衡方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105550323A (zh) * 2015-12-15 2016-05-04 北京国电通网络技术有限公司 一种分布式数据库负载均衡预测方法和预测分析器
CN107196869A (zh) * 2017-07-14 2017-09-22 北京知道创宇信息技术有限公司 基于主机实际负载的自适应负载均衡方法、设备和系统
CN108632384A (zh) * 2018-05-15 2018-10-09 西安电子科技大学 基于视频请求数预测的负载均衡方法
CN110046048A (zh) * 2019-04-18 2019-07-23 杭州电子科技大学 一种基于工作量自适应快速重分配的负载均衡方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
吴长伟: "基于BP神经网络的负载均衡技术的研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *
梁锐: "基于Web服务器集群的负载均衡系统研究与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *
胡杨: "虚实结合框架下负载均衡服务集群的研究与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *
陈骏: "虚实结合网络实验服务端负载均衡的改进研究与实现", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114765625A (zh) * 2020-12-31 2022-07-19 新智云数据服务有限公司 基于联合学习的信息交互方法、装置和系统
CN114138463A (zh) * 2021-11-04 2022-03-04 中国电力科学研究院有限公司 基于深度神经网络的现货系统应用层负载均衡预测方法
CN114138463B (zh) * 2021-11-04 2024-03-26 中国电力科学研究院有限公司 基于深度神经网络的现货系统应用层负载均衡预测方法

Similar Documents

Publication Publication Date Title
Yu et al. Intelligent edge: Leveraging deep imitation learning for mobile edge computation offloading
CN107871164B (zh) 一种雾计算环境个性化深度学习方法
CN105550323B (zh) 一种分布式数据库负载均衡预测方法和预测分析器
CN110851429B (zh) 一种基于影响力自适应聚合的边缘计算可信协同服务方法
Zhang et al. Blockchain-based collaborative edge intelligence for trustworthy and real-time video surveillance
CN104580538A (zh) 一种提高Nginx服务器负载均衡效率的方法
CN113691594B (zh) 一种基于二阶导数解决联邦学习中数据不平衡问题的方法
CN110784555A (zh) 一种基于深度学习的智能监控及负载调度方法
CN113316116B (zh) 一种车辆计算任务卸载方法
CN116471286A (zh) 基于区块链及联邦学习的物联网数据共享方法
Peng et al. High concurrency massive data collection algorithm for IoMT applications
CN109375999A (zh) 一种基于贝叶斯网络的mec随机任务迁移方法
Cui et al. Multi-Agent Reinforcement Learning Based Cooperative Multitype Task Offloading Strategy for Internet of Vehicles in B5G/6G Network
Liu et al. Hastening stream offloading of inference via multi-exit dnns in mobile edge computing
CN113435125A (zh) 一种面向联邦物联网系统的模型训练加速方法与系统
Zhang et al. An Adaptive Resource Allocation Approach Based on User Demand Forecasting for E-Healthcare Systems
Deng et al. HSFL: Efficient and privacy-preserving offloading for split and federated learning in IoT services
Zhang et al. RTCoInfer: Real-Time Collaborative CNN Inference for Stream Analytics on Ubiquitous Images
Zhang et al. Cooperative task offloading in cybertwin-assisted vehicular edge computing
Latif et al. Cloudlet Federation Based Context-Aware Federated Learning Approach
CN114139688A (zh) 基于马尔可夫链共识的工业物联网分布式联邦学习方法
Wagle et al. Embedding alignment for unsupervised federated learning via smart data exchange
Zhu et al. Load balancing algorithm for web server based on weighted minimal connections
Jabour et al. An optimized approach for efficient-power and low-latency fog environment based on the PSO algorithm
CN102123053A (zh) 水平分解的多类闭合分叉-汇集排队网络性能分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200211