CN114978951A - 一种云平台负载均衡方法 - Google Patents

一种云平台负载均衡方法 Download PDF

Info

Publication number
CN114978951A
CN114978951A CN202210635189.6A CN202210635189A CN114978951A CN 114978951 A CN114978951 A CN 114978951A CN 202210635189 A CN202210635189 A CN 202210635189A CN 114978951 A CN114978951 A CN 114978951A
Authority
CN
China
Prior art keywords
node
load balancing
load
information
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210635189.6A
Other languages
English (en)
Other versions
CN114978951B (zh
Inventor
张万顺
彭虹
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
China Institute of Water Resources and Hydropower Research
Original Assignee
Wuhan University WHU
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU, China Institute of Water Resources and Hydropower Research filed Critical Wuhan University WHU
Priority to CN202210635189.6A priority Critical patent/CN114978951B/zh
Publication of CN114978951A publication Critical patent/CN114978951A/zh
Application granted granted Critical
Publication of CN114978951B publication Critical patent/CN114978951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1012Server selection for load balancing based on compliance of requirements or conditions with available server resources
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种云平台负载均衡方法,用于数字信息化技术领域,包括以下内容:采用主动获取、分布式汇报两种方式调整主动获取的频率;其中,通过所述主动句获取方式获取网络响应延时值;其中,所述分布式汇报方式基于所述网络响应延时值获取节点负载信息,并调用命令字交互协议,连接负载均衡服务器;将所述节点负载信息进行处理,得到可识别负载信息,并发送至所述负载均衡服务器,完成节点负载信息的监控和获取。本发明的方法可以在获取集群的动态实时信息,不影响集群的正常工作任务;并将获取的实时信息收集起来,发送到负载均衡服务器上。

Description

一种云平台负载均衡方法
技术领域
本发明涉及数字信息化技术领域,特别涉及一种云平台负载均衡方法。
背景技术
负载均衡是云计算模式中最重要的技术之一,大量服务器能协同工作并表现出强大的计算能力需要负载均衡技术的支撑。负载均衡技术在平衡云计算操作系统负载分布、提高节点计算效率、减小任务响应时间、提高操作系统鲁棒性等方面发挥了重要作用。由于现有流域水环境水生态操作系统架构存在数据传输效率低、模型运算速度慢、资源重复建设浪费及决策支撑能力不够等问题。现阶段将地面监测、空间遥感监测、多尺度模型模拟、环境分析等多种手段和信息有机融合为一体的信息操作系统仍十分缺乏,很难真正实现空天地一体化的水环境综合调控与管理,制约了决策的效率和效能。具体的:如何获取集群的动态实时信息,而不影响集群的正常工作任务;如何把获取的实时信息收集起来,发送到负载均衡服务器上。这就需要负载均衡技术提供解决方法,但是现有技术中的负载均衡方法还无法做到解决上述问题。
因此,本领域技术人员亟需提供一种新的应用于云平台的负载均衡方法以解决上述问题。
发明内容
本发明的目的在于,提供一种云平台负载均衡方法,解决现有技术中如何获取集群的动态实时信息,而不影响集群的正常工作任务;如何把获取的实时信息收集起来,发送到负载均衡服务器上的技术问题。
为了实现上述目的,本发明提供了如下技术方案:
一种云平台负载均衡方法,包括以下内容:
通过主动获取方式获取网络响应延时值;
利用分布式汇报方式基于所述网络响应延时值获取节点负载信息,并调用命令字交互协议,连接负载均衡服务器;
将所述节点负载信息进行处理,得到可识别负载信息,并发送至所述负载均衡服务器,完成节点负载信息的监控和获取。
可选的,所述节点负载信息包括:实时CPU使用状况、实时网络使用状况、实时磁盘占用状况、实时内存占用状况。
可选的,所述主动获取方式为主动获取网络响应延时的方法,具体实现路径如下:
设置执行所述主动获取代码的入口链接,使用操作系统定期执行命令crontab命令,curl周期性请求所述入口链接;
根据URL路由进入控制器的方法;
读取数据库配置,获得所有所述节点的地址列表,并遍历所述地址列表,对每个节点地址进行网络诊断,根据所述网络诊断的结果记录延时信息;
获取当前所述节点历史n次有效延时,使用负载均衡预测算法得到当前平均延时值;
S5.将所述节点地址、所述当前平均延时值以及所述延时信息插入到所述数据库往返延时监测表,完成对全部所述节点地址的遍历。
可选的,所述延时信息包括:所述节点当前延时值、记录时间。
可选的,所述分布式汇报方式为分布式部署监控脚本获取负载信息的方法,其具体实现路径如下:
在所述负载均衡服务器平台上开启MySQL的远程访问;
编写所述shell脚本,并部署到所有所述节点上,使用所述命令crontab,周期性运行所述shell脚本;
在运行所述shell脚本时,依次根据所述操作系统提供的命令和接口,获取所述操作系统当前所述节点负载信息;
将当前所述节点负载负载信息通过命令字交互协议,插入到所述延时监测表,完成当前节点的负载监控和上报。
可选的,使用所述负载均衡预测算法获取平均延时值的具体步骤如下;
基于所述数据库内所述节点的信息,查询所述节点最近n次历史延时;
基于所述数据库配置信息获取所述节点最近n次历史延时的加权参数,并进行滑动加权计算,得到优化最终值。
可选的,还包括请求获取当前最佳节点连接地址方法;
根据所述负载均衡预测算法获取的所述平均延时值,查询所述数据库中最新插入节点的平均延时值,按平均延时顺序排列,获得负载最低的节点进行连接。
经由上述的内容可知与现有技术相比,本发明的有益效果在于:
基于负载监控提供的节点负载实时数据,负载均衡技术根据CPU、网络占用、磁盘、内存信息,对各个节点的负载情况进行综合评分,最后通过滑动平均算法,选取最近若干次负载评分,给每次的评分赋予一定的权重评分时间越近,权重越高,给客户端提供了实时获取最佳连接的数据节点的地址。这一过程对客户端是透明的,客户端只需要通过一个HTTP请求就能获取到当前最佳节点连接地址,大大简化了客户端面对集群多节点情况下无法知晓选择哪个节点进行连接,提升了系统资源分配的高效性。更进一步,本发明方法相比于传统的负载均衡方法在计算效率上也具有显著进步,具体的,本发明计算时间按分钟计算,但现有负载均衡方法的计算时间是按月/时计算,其计算效率远低于本发明的方法。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为主动获取网络相应延时流程图;
图2为负载均衡滑动算法获取平均延时值流程图;
图3为基于负载均衡算法获取最佳节点地址流程图;
图4为本发明方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
本实施例公开了一种应用于云平台的负载均衡方法,包括以下内容:
通过主动获取方式获取网络响应延时值;
利用分布式汇报方式基于所述网络响应延时值获取节点负载信息,并调用命令字交互协议,连接负载均衡服务器;
将所述节点负载信息进行处理,得到可识别负载信息,并发送至所述负载均衡服务器,完成节点负载信息的监控和获取。
具体的:
节点负载信息包括:实时CPU使用状况、实时网络使用状况、实时磁盘占用状况、实时内存占用状况。
主动获取方式为主动获取网络响应延时的方法,具体实现路径如下:
设置执行主动获取代码的入口链接/monit/cron-fetch-network,使用操作系统定期执行命令crontab命令,curl周期性请求入口链接;
根据URL路由进入控制器的方法cron_fetch_networkAction;
读取数据库配置,获得所有节点的地址列表,并遍历地址列表,对每个节点地址进行网络诊断,根据网络诊断的结果记录延时信息;延时信息包括:节点当前延时值、记录时间。
获取当前节点历史n次有效延时,使用负载均衡预测算法得到当前平均延时值;具体在本实施例中设置获取5次有效延时;
将节点地址、当前平均延时值以及延时信息插入到数据库往返延时监测表,完成对全部节点地址的遍历。
在本实施例中,HDFS的各个节点均运行在Linux操作系统上,因此本系统部署了一套基于Shell的脚本到所有节点;具体如下:
分布式汇报方式为分布式部署监控脚本获取负载信息的方法,其具体实现路径如下:
在负载均衡服务器平台上开启MySQL的远程访问;
编写shell脚本,并部署到所有节点上,使用命令crontab,周期性运行shell脚本;具体在本实施例1中,使用命令crontab,设定每1分钟运行一次shell脚本。
在运行shell脚本时,依次根据操作系统提供的命令和接口,获取操作系统当前节点负载信息;
将当前节点负载负载信息通过命令字交互协议,插入到延时监测表,完成当前节点的负载监控和上报。
另外,由于在本实施例中负载均衡服务器部署在基于PHP+MySQL的Web集成管理平台上,因此在步骤s4.考虑通过PHP提供HTTP的RESTful接口,制定私有格式的API供shell脚本上报负载数据,但在实际操作中需要由shell脚本在各个节点上通过调用MySQL提供的命令字交互协议,连接到负载均衡服务器,插入数据,从而高效完成负载信息的上报。
使用负载均衡预测算法获取平均延时值的具体步骤如下;
基于数据库内节点的信息,查询节点最近n次历史延时;
基于数据库配置信息获取节点最近n次历史延时的加权参数,并进行滑动加权计算,得到优化最终值。
还包括请求获取当前最佳节点连接地址方法;
根据负载均衡预测算法获取的平均延时值,查询数据库中最新插入节点的平均延时值,按平均延时顺序排列,获得负载最低的节点进行连接。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种云平台负载均衡方法,其特征在于,包括以下内容:
通过主动获取方式获取网络响应延时值;
利用分布式汇报方式基于所述网络响应延时值获取节点负载信息,并调用命令字交互协议,连接负载均衡服务器;
将所述节点负载信息进行处理,得到可识别负载信息,并发送至所述负载均衡服务器,完成节点负载信息的监控和获取。
2.根据权利要求1所述的一种云平台负载均衡方法,其特征在于,所述节点负载信息包括:实时CPU使用状况、实时网络使用状况、实时磁盘占用状况、实时内存占用状况。
3.根据权利要求1所述的一种云平台负载均衡方法,其特征在于,所述主动获取方式为主动获取网络响应延时的方法,具体实现路径如下:
设置执行所述主动获取代码的入口链接,使用操作系统定期执行命令crontab命令,curl周期性请求所述入口链接;
根据URL路由进入控制器的方法;
读取数据库配置,获得所有所述节点的地址列表,并遍历所述地址列表,对每个节点地址进行网络诊断,根据所述网络诊断的结果记录延时信息;
获取当前所述节点历史n次有效延时,使用负载均衡预测算法得到当前平均延时值;
将所述节点地址、所述当前平均延时值以及所述延时信息插入到所述数据库往返延时监测表,完成对全部所述节点地址的遍历。
4.根据权利要求3所述的一种云平台负载均衡方法,其特征在于,所述延时信息包括:所述节点当前延时值、记录时间。
5.根据权利要求1所述的一种云平台负载均衡方法,其特征在于,所述分布式汇报方式为分布式部署监控脚本获取负载信息的方法,其具体实现路径如下:
在所述负载均衡服务器平台上开启MySQL的远程访问;
编写shell脚本,并部署到所有所述节点上,使用所述命令crontab,周期性运行所述shell脚本;
在运行所述shell脚本时,依次根据所述操作系统提供的命令和接口,获取所述操作系统当前所述节点负载信息;
将当前所述节点负载负载信息通过命令字交互协议,插入到所述延时监测表,完成当前节点的负载监控和上报。
6.根据权利要求3所述的一种云平台负载均衡方法,其特征在于,使用所述负载均衡预测算法获取平均延时值的具体步骤如下;
基于所述数据库内所述节点的信息,查询所述节点最近n次历史延时;
基于所述数据库配置信息获取所述节点最近n次历史延时的加权参数,并进行滑动加权计算,得到优化最终值。
7.根据权利要求1所述的一种云平台负载均衡方法,其特征在于,还包括请求获取当前最佳节点连接地址方法;
根据所述负载均衡预测算法获取的所述平均延时值,查询所述数据库中最新插入节点的平均延时值,按平均延时顺序排列,获得负载最低的节点进行连接。
CN202210635189.6A 2022-06-07 2022-06-07 一种云平台负载均衡方法 Active CN114978951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210635189.6A CN114978951B (zh) 2022-06-07 2022-06-07 一种云平台负载均衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210635189.6A CN114978951B (zh) 2022-06-07 2022-06-07 一种云平台负载均衡方法

Publications (2)

Publication Number Publication Date
CN114978951A true CN114978951A (zh) 2022-08-30
CN114978951B CN114978951B (zh) 2023-08-18

Family

ID=82958961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210635189.6A Active CN114978951B (zh) 2022-06-07 2022-06-07 一种云平台负载均衡方法

Country Status (1)

Country Link
CN (1) CN114978951B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447624A (zh) * 2011-11-23 2012-05-09 成都市华为赛门铁克科技有限公司 在服务器集群上实现负载均衡的方法、节点服务器及集群
CN104954189A (zh) * 2015-07-07 2015-09-30 上海斐讯数据通信技术有限公司 一种服务器集群的自动检测方法和系统
CN105791166A (zh) * 2016-04-14 2016-07-20 北京思特奇信息技术股份有限公司 一种负载均衡分配的方法及系统
CN107968801A (zh) * 2016-10-20 2018-04-27 长沙云昊信息科技有限公司 一种云计算集群服务器对监控系统技术研究方法
CN108289033A (zh) * 2017-01-10 2018-07-17 湖南易分销电子商务有限公司 一种云计算对监控系统方法
US10026007B1 (en) * 2017-05-17 2018-07-17 Steven Gregory Morton Video surveillance camera system with integrated time-lapse videos with multiple levels of temporal detail
CN109495542A (zh) * 2018-10-16 2019-03-19 深圳壹账通智能科技有限公司 基于性能监控的负载分配方法及终端设备
CN111274026A (zh) * 2020-01-08 2020-06-12 北京月新时代科技股份有限公司 负载均衡方法、装置及电子设备
WO2020211365A1 (zh) * 2019-04-19 2020-10-22 平安科技(深圳)有限公司 流量均衡负载方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447624A (zh) * 2011-11-23 2012-05-09 成都市华为赛门铁克科技有限公司 在服务器集群上实现负载均衡的方法、节点服务器及集群
CN104954189A (zh) * 2015-07-07 2015-09-30 上海斐讯数据通信技术有限公司 一种服务器集群的自动检测方法和系统
CN105791166A (zh) * 2016-04-14 2016-07-20 北京思特奇信息技术股份有限公司 一种负载均衡分配的方法及系统
CN107968801A (zh) * 2016-10-20 2018-04-27 长沙云昊信息科技有限公司 一种云计算集群服务器对监控系统技术研究方法
CN108289033A (zh) * 2017-01-10 2018-07-17 湖南易分销电子商务有限公司 一种云计算对监控系统方法
US10026007B1 (en) * 2017-05-17 2018-07-17 Steven Gregory Morton Video surveillance camera system with integrated time-lapse videos with multiple levels of temporal detail
CN109495542A (zh) * 2018-10-16 2019-03-19 深圳壹账通智能科技有限公司 基于性能监控的负载分配方法及终端设备
WO2020211365A1 (zh) * 2019-04-19 2020-10-22 平安科技(深圳)有限公司 流量均衡负载方法、装置、计算机设备和存储介质
CN111274026A (zh) * 2020-01-08 2020-06-12 北京月新时代科技股份有限公司 负载均衡方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANSHUN ZHANG: "A integrated water quality-quantity method for water resource management", 2009 INTERNATIONAL CONFERENCE ON ENVIRONMENTAL SCIENCE AND INFORMATION APPLICATION TECHNOLOGY *
彭虹等: "流域突发水污染云溯源体系构建与应用", 水资源保护 *
董波;沈青;肖德宝;: "云计算集群服务器系统监控方法的研究", 计算机工程与科学, no. 10 *

Also Published As

Publication number Publication date
CN114978951B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN108829494B (zh) 基于负载预测的容器云平台智能资源优化方法
CN110519365B (zh) 一种变更设备业务的方法和业务变更系统
TW201835787A (zh) 雲端資源之管理系統及其管理方法
US20210065083A1 (en) Method for changing device business and business change system
CN108920153A (zh) 一种基于负载预测的Docker容器动态调度方法
CN112764920B (zh) 一种边缘应用部署方法、装置、设备和存储介质
CN111355606A (zh) 面向web应用的容器集群自适应扩缩容系统和方法
CN111026553A (zh) 离线混部作业的资源调度方法及服务器系统
CN111966289A (zh) 基于Kafka集群的分区优化方法和系统
CN112698952A (zh) 计算资源统一管理方法、装置、计算机设备及存储介质
CN112131004A (zh) 基于物联网通信的数据处理方法及云计算服务器
CN105022823B (zh) 一种基于数据挖掘的云服务性能预警事件生成方法
CN116700920A (zh) 云原生混合部署集群资源调度方法及装置
CN117751567A (zh) 公用设施通信网络的动态处理分发
CN114666335A (zh) 一种基于dds的分布式系统负载均衡装置
CN113050955A (zh) 一种自适应ai模型部署方法
CN114978951A (zh) 一种云平台负载均衡方法
CN110347502A (zh) 云主机服务器的负载均衡调度方法、装置及电子设备
CN113055126B (zh) 一种飞行数据译码方法、装置及终端设备
CN114997574A (zh) 一种基于业务中台的配电台区弹性资源管理方法及装置
CN113190403A (zh) 大数据平台运行状态的监控系统、计算机设备、终端、介质
CN110932926A (zh) 一种容器集群的监控方法、系统及装置
CN112965795B (zh) 集群调度方法、电子设备及存储介质
CN117579626B (zh) 基于分布式实现边缘计算下的优化方法及系统
CN117149099B (zh) 一种计算存储分体式服务器系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant