CN109933431B - 一种智能的客户端负载均衡方法及系统 - Google Patents
一种智能的客户端负载均衡方法及系统 Download PDFInfo
- Publication number
- CN109933431B CN109933431B CN201910180733.0A CN201910180733A CN109933431B CN 109933431 B CN109933431 B CN 109933431B CN 201910180733 A CN201910180733 A CN 201910180733A CN 109933431 B CN109933431 B CN 109933431B
- Authority
- CN
- China
- Prior art keywords
- service
- application server
- load balancing
- service provider
- intelligent client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种智能的客户端负载均衡方法及系统,属于计算机领域,本发明要解决的技术问题为如何根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡,技术方案为:①一种智能的客户端负载均衡方法,步骤如下:S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;S3、异步服务负载均衡策略。②、一种智能的客户端负载均衡系统,包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置。
Description
技术领域
本发明涉及计算机技术领域,具体地说是一种智能的客户端负载均衡方法及系统。
背景技术
在微服务架构下,为了实现性能的最大化,应用服务器横向扩展是常见的部署方式,同一个服务有多个提供者。当客户端调用微服务时,就有应用服务器选择问题,客户端服务均衡即提供了这种能力,能够根据配置的策略选择一个应用服务器,业界有多种负载均衡策略,比如随机、轮询、权重、响应时间等,每种策略都有局限性,比如由于每个服务提供者的硬件可能不尽相同,随机和轮询无法识别这种不同,虽然权重可以识别硬件性能的差异,但是每个服务所消耗的性能也有很大差异,甚至不是一个数量级上,响应时间可能对部分同步服务有效,异步的服务则不使用,故如何根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡是目前现有技术中急需解决的技术问题。
专利号为CN103957251A的专利文献公开了一种实现服务器负载均衡的方法,该方法主要包括:设定服务器的初始能力值,并根据初始能力值分配客户端的认证业务访问请求;根据客户端认证业务访问请求的交互时间长短,设定服务器的自学习能力值,并进行动态调整;当客户端向服务器端发起认证业务访问请求时,根据各个服务器的初始能力值和自学习能力值的相加总和,将客户端发起的认证业务访问请求分配到对应的服务器。该技术方案引入服务器能力值的概念来智能地分配业务访问流量,解决了传统固定的主备模式下单台服务器负荷过重,不能合理地分配业务数据流量的问题,使得服务器能长时间处于平稳高效的工作状态,保证用户业务正常运转;但是该技术方案不能根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡。
专利号为CN102404390B的专利文献公开了一种高速实时数据库的智能化动态负载均衡方法,本方法包括如下步骤:在每个客户端和集群服务器节点中配置内容一致的集群仲裁表;将后台数据存储模块划分为不同的物理存储分区;将客户端与每个集群服务器节点建立通讯连接;各个集群服务器节点维护各个集群服务器节点上的服务器端集群仲裁表内容一致;接收并处理客户端发送过来的任务;客户端对全局的虚拟IP地址发起数据读写的请求;网络通讯管理模块最终发送往目地集群服务器节点;目标集群服务器节点在接收到客户端提交来的请求后,进行必要的校验,然后对合法的请求进行处理。但是该技术方案不能根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡。
发明内容
本发明的技术任务是提供一种智能的客户端负载均衡方法及系统,来解决如何根据每个服务的特点进行综合考虑,做到恰当的选择负载均衡的问题。
本发明的技术任务是按以下方式实现的,一种智能的客户端负载均衡方法,步骤如下:
S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;
S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;
S3、异步服务负载均衡策略:根据应用服务器的能力值和对应的并发数得到权值。
作为优选,所述服务响应时间的信息包括服务提供者ID、服务ID、服务耗时以及服务调用时间。
更优地,所述服务响应性能评价的具体方法如下:
S101、计算出服务提供者ID的服务集群平均响应时间T1和服务ID的平均响应时间T2;
S102、计算出服务提供者的得分T的计算公式:
T=T1-T2;
其中,服务提供者的得分T值越大,说明服务提供者的性能越好。
更优地,所述步骤S2中性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率越高。
更优地,所述步骤S3异步服务负载均衡策略的具体步骤如下:
S301、每个服务请求后,记录并发数到内存;
S302、每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数;
S303、根据应用服务器的能力值和对应的并发数得到权值,能力越大且并发数越小,权重越高,被选择到的概率越高。
更优地,所述同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
一种智能的客户端负载均衡系统,该系统包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置,服务并发数统计分析中心定时拉取服务调用者服务器的信息,同时服务调用者应用服务器定时上报信息到服务并发数统计分析中心;服务调用者服务器传送路由策略到服务提供者应用服务器。
作为优选,该系统的实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;
(3)、设置服务消费端平均响应事件统计周期;
(4)、设置并发数统计上报、拉取周期。
更优地,所述步骤(1)中服务类型默认为异步服务。
更优地,所述步骤(2)中应用服务器硬件配置包括内存(G)、CPU颗数以及硬盘是否为固态硬盘。
本发明的智能的客户端负载均衡方法及系统具有以下优点:
(一)本发明在微服务架构下,客户端调用微服务时,负载均衡策略被固定,不能根据实际情况动态的选择合适的负载策略,而采用本发明负载策略不再被固定,可以根据实时服务特点及性能数据,智能地选择合适的负载策略,进而提高了系统的吞吐量和性能,具有很好地推广应用价值;
(二)、本发明的同步服务负载均衡策略是采用同步服务根据响应性能作为负载依据,根据性能得分分配权值,性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率就越高;
(三)、异步服务的并发度指标是并发量/CPU的颗数,并发量越高,被分配的概率越小,公式也可以自定义;
(四)、服务负载均衡为客户端负载均衡,同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
附图说明
下面结合附图对本发明进一步说明。
附图1为智能的客户端负载均衡系统的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种智能的客户端负载均衡方法及系统作以下详细地说明。
实施例1:
本发明的智能的客户端负载均衡方法,步骤如下:
S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;其中,服务响应时间的信息包括服务提供者ID、服务ID、服务耗时以及服务调用时间。
服务响应性能评价的具体方法如下:
S101、计算出服务提供者ID的服务集群平均响应时间T1和服务ID的平均响应时间T2;
S102、计算出服务提供者的得分T的计算公式:
T=T1-T2;
其中,服务提供者的得分T值越大,说明服务提供者的性能越好。
S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率越高。
S3、异步服务负载均衡策略:根据应用服务器的能力值和对应的并发数得到权值;其中,异步服务负载均衡策略的具体步骤如下:
S301、每个服务请求后,记录并发数到内存;
S302、每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数;
S303、根据应用服务器的能力值和对应的并发数得到权值,能力越大且并发数越小,权重越高,被选择到的概率越高。
其中,异步服务由于在响应时间上差异不大,不能再以响应时间作为负载依据,本发明根据应用服务器的能力值及并发数的大小作为依据,比如应用服务器硬件配置为CPU为2核、内存为8G,根据计算公式得出能力值;每个服务请求后,首先记录并发数到内存,然后每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数,再根据应用服务器的能力值和对应的并发数得到权值,能力越大、并发数越小,权重越高,被选择到的概率越高。
其中,同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
实施例2:
本发明的智能的客户端负载均衡系统,该系统包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置,服务并发数统计分析中心定时拉取服务调用者服务器的信息,同时服务调用者应用服务器定时上报信息到服务并发数统计分析中心;服务调用者服务器传送路由策略到服务提供者应用服务器。
实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;服务类型默认为异步服务。
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;应用服务器硬件配置包括内存(G)、CPU颗数以及硬盘是否为固态硬盘。
(3)、设置服务消费端平均响应事件统计周期;
(4)、设置并发数统计上报、拉取周期。
实施例3:
如附图1所示,本发明的智能的客户端负载均衡系统,该系统包括服务并发数统计分析中心、服务调用者应用服务器一、服务调用者应用服务器二、服务提供者应用服务器一和服务提供者应用服务器二,服务并发数统计分析中心定时拉取服务调用者应用服务器一和服务调用者应用服务器二的信息,同时服务调用者应用服务器一和、服务调用者应用服务器二定时上报信息到服务并发数统计分析中心;服务调用者应用服务器一和服务调用者应用服务器二传送路由策略到服务提供者应用服务器一和服务提供者应用服务器二。
实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;服务类型默认为异步服务。
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;应用服务器硬件配置包括内存(G)、CPU颗数以及硬盘是否为固态硬盘。
(3)、设置服务消费端平均响应事件统计周期,默认为2秒;
(4)、设置并发数统计上报、拉取周期,默认为2秒。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种智能的客户端负载均衡方法,其特征在于,步骤如下:
S1、服务响应性能评价:每次服务调用时记录服务响应时间,根据服务响应时间计算出服务提供者的得分;具体方法如下:
S101、计算出服务提供者ID的服务集群平均响应时间T1和服务ID的平均响应时间T2;
S102、计算出服务提供者的得分T的计算公式:
T= T1- T2;
其中,服务提供者的得分T值越大,说明服务提供者的性能越好;
S2、同步服务负载均衡策略:同步服务根据响应性能作为负载依据,根据性能得分分配权值;其中,性能得分越高,权值越大,反之权值越小;权值越大,被选中的概率越高;
S3、异步服务负载均衡策略:根据应用服务器的能力值和对应的并发数得到权值;具体步骤如下:
S301、每个服务请求后,记录并发数到内存;
S302、每隔指定的时间上报到统计中心,调用端每隔指定时间定期从统计中心拉取并发数;
S303、根据应用服务器的能力值和对应的并发数得到权值,能力越大且并发数越小,权重越高,被选择到的概率越高。
2.根据权利要求1所述的智能的客户端负载均衡方法,其特征在于,所述服务响应时间的信息包括服务提供者ID、服务ID、服务耗时以及服务调用时间。
3.根据权利要求1或2所述的智能的客户端负载均衡方法,其特征在于,所述同步服务根据响应时间的指标分配权值,异步服务根据并发度指标分配权值。
4.一种智能的客户端负载均衡系统,其特征在于,该系统是采用权利要求1-3任一项所述的智能的客户端负责均衡方法,该系统包括服务并发数统计分析中心、服务调用者应用服务器和服务提供者应用服务器,服务调用者应用服务器和服务提供者应用服务器一一对应设置,服务并发数统计分析中心定时拉取服务调用者服务器的信息,同时服务调用者应用服务器定时上报信息到服务并发数统计分析中心;服务调用者服务器传送路由策略到服务提供者应用服务器;该系统的实施过程具体如下:
(1)、设置服务类型:设置服务为同步服务或者异步服务;
(2)、设置每个应用服务器硬件配置或直接设置硬件配置分数;
(3)、设置服务消费端平均响应事件统计周期;
(4)、设置并发数统计上报、拉取周期。
5.根据权利要求4所述的智能的客户端负载均衡系统,其特征在于,步骤(1)中服务类型默认为异步服务。
6.根据权利要求4或5所述的智能的客户端负载均衡系统,其特征在于,步骤(2)中应用服务器硬件配置包括内存、CPU颗数以及硬盘是否为固态硬盘。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910180733.0A CN109933431B (zh) | 2019-03-11 | 2019-03-11 | 一种智能的客户端负载均衡方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910180733.0A CN109933431B (zh) | 2019-03-11 | 2019-03-11 | 一种智能的客户端负载均衡方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109933431A CN109933431A (zh) | 2019-06-25 |
CN109933431B true CN109933431B (zh) | 2023-04-04 |
Family
ID=66986742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910180733.0A Active CN109933431B (zh) | 2019-03-11 | 2019-03-11 | 一种智能的客户端负载均衡方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109933431B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110389841A (zh) * | 2019-07-25 | 2019-10-29 | 中南民族大学 | 一种服务器负载均衡方法、装置和存储介质 |
CN110691118A (zh) * | 2019-08-30 | 2020-01-14 | 许昌许继软件技术有限公司 | 一种微服务集群中的服务选择方法及装置 |
CN110839086A (zh) * | 2019-12-23 | 2020-02-25 | 吉林省民航机场集团公司 | 一种高并发负载均衡处理方法 |
CN113542325A (zh) * | 2020-04-17 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 分布式服务调度方法、装置、电子设备和存储介质 |
CN112532743B (zh) * | 2020-12-18 | 2021-11-30 | 上海安畅网络科技股份有限公司 | 一种智能负载均衡方法、装置及存储介质 |
CN114048046B (zh) * | 2021-11-08 | 2022-10-11 | 马上消费金融股份有限公司 | 一种服务的调用方法、装置及负载均衡设备 |
CN114567637A (zh) * | 2022-03-01 | 2022-05-31 | 浪潮云信息技术股份公司 | 一种智能设置负载均衡后端服务器权重的方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050027862A1 (en) * | 2003-07-18 | 2005-02-03 | Nguyen Tien Le | System and methods of cooperatively load-balancing clustered servers |
CN103049245A (zh) * | 2012-10-25 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种基于cpu多核平台的软件性能优化方法 |
CN103945005A (zh) * | 2014-05-06 | 2014-07-23 | 江苏物联网研究发展中心 | 基于多评价指标的动态负载均衡框架 |
CN104579996A (zh) * | 2013-10-17 | 2015-04-29 | 中国电信股份有限公司 | 一种集群负载均衡方法和系统 |
CN108121312A (zh) * | 2017-11-29 | 2018-06-05 | 南瑞集团有限公司 | 基于一体化水电管控平台的arv负载均衡系统及方法 |
CN108494868A (zh) * | 2018-03-30 | 2018-09-04 | 三盟科技股份有限公司 | 一种基于云业务系统下的负载均衡方法及系统 |
-
2019
- 2019-03-11 CN CN201910180733.0A patent/CN109933431B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050027862A1 (en) * | 2003-07-18 | 2005-02-03 | Nguyen Tien Le | System and methods of cooperatively load-balancing clustered servers |
CN103049245A (zh) * | 2012-10-25 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种基于cpu多核平台的软件性能优化方法 |
CN104579996A (zh) * | 2013-10-17 | 2015-04-29 | 中国电信股份有限公司 | 一种集群负载均衡方法和系统 |
CN103945005A (zh) * | 2014-05-06 | 2014-07-23 | 江苏物联网研究发展中心 | 基于多评价指标的动态负载均衡框架 |
CN108121312A (zh) * | 2017-11-29 | 2018-06-05 | 南瑞集团有限公司 | 基于一体化水电管控平台的arv负载均衡系统及方法 |
CN108494868A (zh) * | 2018-03-30 | 2018-09-04 | 三盟科技股份有限公司 | 一种基于云业务系统下的负载均衡方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109933431A (zh) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933431B (zh) | 一种智能的客户端负载均衡方法及系统 | |
CN109218355B (zh) | 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法 | |
CN110266716B (zh) | 电网统一服务平台系统 | |
JP5654022B2 (ja) | 企業ネットワーク内の割り当てられたクラウドリソースの動的な負荷分散およびスケーリング | |
CN110602156A (zh) | 一种负载均衡调度方法及装置 | |
CN109831524B (zh) | 一种负载均衡处理方法及装置 | |
CN102281190A (zh) | 负载均衡装置组网方法以及服务器、客户端接入方法 | |
US20130007253A1 (en) | Method, system and corresponding device for load balancing | |
WO2011000199A1 (zh) | 集群服务器智能调度的方法及系统 | |
CN109672711B (zh) | 一种基于反向代理服务器Nginx的http请求处理方法及系统 | |
US20200050479A1 (en) | Blockchain network and task scheduling method therefor | |
CN109510878B (zh) | 一种长连接会话保持方法和装置 | |
US8356098B2 (en) | Dynamic management of workloads in clusters | |
CN112825527A (zh) | 基于mec的服务节点分配方法、装置及相关服务器 | |
CN102577241A (zh) | 分布式缓存资源调度的方法、装置及系统 | |
CN101808119A (zh) | 一种多存储阵列负载均衡的方法和设备 | |
US20120233313A1 (en) | Shared scaling server system | |
CN107426323A (zh) | 一种基于分布式的资源服务与可视化监控系统及方法 | |
CN110515728B (zh) | 服务器调度方法、装置、电子设备及机器可读存储介质 | |
CN101308467A (zh) | 一种任务处理的方法和装置 | |
CN114168312A (zh) | 一种分布式集群负载均衡方法、装置及存储介质 | |
CN114003337A (zh) | 访问请求的分配方法及装置 | |
CN112616143B (zh) | 一种分配通信号码的方法、装置、电子设备及存储介质 | |
CN115941604A (zh) | 一种流量分配方法、装置、设备、存储介质和程序产品 | |
EP3675461B1 (en) | Electronic communication node load balancing system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |