CN113055479A - 分布式服务集群负载自适应处理方法、装置及系统 - Google Patents
分布式服务集群负载自适应处理方法、装置及系统 Download PDFInfo
- Publication number
- CN113055479A CN113055479A CN202110284730.9A CN202110284730A CN113055479A CN 113055479 A CN113055479 A CN 113055479A CN 202110284730 A CN202110284730 A CN 202110284730A CN 113055479 A CN113055479 A CN 113055479A
- Authority
- CN
- China
- Prior art keywords
- load
- distributed service
- service cluster
- node
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 230000003044 adaptive effect Effects 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 30
- 238000012544 monitoring process Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 12
- 238000011144 upstream manufacturing Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 230000008859 change Effects 0.000 abstract description 5
- 230000004044 response Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000002159 abnormal effect Effects 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
Landscapes
- Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例提供一种分布式服务集群负载自适应处理方法、装置及系统,也可用于金融领域,方法包括:接收分布式服务集群中各服务节点的节点运行状态信息;根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级;根据所述负载风险等级更新所述分布式服务集群的负载权重;本申请能够根据生产环境实时状态变化,动态自适应调整集群负载压力,使集群状态达到最优,提高系统可用率。
Description
技术领域
本申请涉及分布式领域,也可用于金融领域,具体涉及一种分布式服务集群负载自适应处理方法、装置及系统。
背景技术
随着互联网的普及,互联网用户的急速增长,分布式服务架构已经成为主流架构。现有的分布式服务框架在运行时会订阅多个注册中心集群上的相同服务,当一个注册中心集群上的服务节点异常时,能切换至另一个注册中心集群上的服务,例如,默认根据园区优先的原则,客户端优先调用本园区注册中心集群上的服务,但是当本园区服务节点发生故障时,需服务的所有服务端节点均不可用时,才会切换调用另一个园区注册中心的服务节点,这就存在该园区部分节点宕机,但未所有宕机的时候,是不会发生园区切换,这时如果剩余的节点容量顶不住流量压力,就可能把该园区剩余节点也彻底压垮,造成雪崩。再例如,也可以对所有园区随机负载均衡,这就无法对流量进行精确性管控,比如有的集群物理地址远,网络耗时久,但是也平均负载了流量,拉高了整体的请求响应时间,无法精细化的进行管控,对集群性能差的少负载流量,对性能好的集群自动负载多的流量,达到最佳比例。
综上,目前没有方式解决分布式服务框架运行时,根据运行实时情况,自适应调整各集群负载权重,因此,如何提供一种新的方案,解决上述技术问题是本领域亟待解决的技术难题。
发明内容
针对现有技术中的问题,本申请提供一种分布式服务集群负载自适应处理方法、装置及系统,能够根据生产环境实时状态变化,动态自适应调整集群负载压力,使集群状态达到最优,提高系统可用率。
为了解决上述问题中的至少一个,本申请提供以下技术方案:
第一方面,本申请提供一种分布式服务集群负载自适应处理方法,包括:
接收分布式服务集群中各服务节点的节点运行状态信息;
根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级;
根据所述负载风险等级更新所述分布式服务集群的负载权重。
进一步地,所述分布式服务集群中各服务节点的节点运行状态信息是通过监控系统实时采集得到,并根据预设时间维度和服务集群维度聚合汇总后发送来的。
进一步地,所述根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级,包括:
根据所述分布式服务集群中各服务节点的节点环境数据和节点运行数据分别与预设环境风险阈值和运行风险阈值的数值比较关系,确定所述分布式服务集群的负载风险等级。
进一步地,所述根据所述负载风险等级更新所述分布式服务集群的负载权重,包括:
确定与所述负载风险等级对应的分布式服务集群的负载权重;
将所述负载权重发送至配置中心,以使所述配置中心将所述分布式服务集群的负载权重发送至于所述分布式服务集群对应的上游客户端节点,并使所述上游客户端节点根据所述负载权重调整所述分布式服务集群的输入流量。
第二方面,本申请提供一种分布式服务集群负载自适应处理装置,包括:
节点运行状态信息采集模块,用于接收分布式服务集群中各服务节点的节点运行状态信息;
负载风险等级确定模块,用于根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级;
负载权重调整模块,用于根据所述负载风险等级更新所述分布式服务集群的负载权重。
进一步地,还包括:
节点运行状态监控单元,用于通过监控系统实时采集分布式服务集群中各服务节点的节点运行状态信息,并根据预设时间维度和服务集群维度进行聚合汇总。
进一步地,所述负载风险等级确定模块包括:
风险阈值比较单元,用于根据所述分布式服务集群中各服务节点的节点环境数据和节点运行数据分别与预设环境风险阈值和运行风险阈值的数值比较关系,确定所述分布式服务集群的负载风险等级。
第三方面,本申请提供一种分布式服务集群负载自适应处理系统,包括:
第四方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的分布式服务集群负载自适应处理方法的步骤。
第五方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的分布式服务集群负载自适应处理方法的步骤。
由上述技术方案可知,本申请提供一种分布式服务集群负载自适应处理方法、装置及系统,通过智能决策系统实时监控分布式服务框架在系统运行过程中各分布式服务集群的负载风险等级,并根据所述负载风险等级更新所述分布式服务集群的负载权重,实时动态自适应调整服务集群负载权重,使系统能在不同环境中都能达到最优状态,提高了系统效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中的分布式服务集群负载自适应处理方法的流程示意图之一;
图2为本申请实施例中的分布式服务集群负载自适应处理方法的流程示意图之二;
图3为本申请实施例中的分布式服务集群负载自适应处理装置的结构图之一;
图4为本申请实施例中的分布式服务集群负载自适应处理装置的结构图之二;
图5为本申请一具体实施例中的监控系统实时采集节点运行状态数据的示意图;
图6为本申请一具体实施例中的智能决策系统评估负载风险等级的示意图;
图7为本申请一具体实施例中的分布式服务集群负载自适应处理系统结构示意图;
图8为本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
考虑到现有技术中没有方式解决分布式服务框架运行时,根据运行实时情况,自适应调整各集群负载权重的问题,本申请提供一种分布式服务集群负载自适应处理方法、装置及系统,通过智能决策系统实时监控分布式服务框架在系统运行过程中各分布式服务集群的负载风险等级,并根据所述负载风险等级更新所述分布式服务集群的负载权重,实时动态自适应调整服务集群负载权重,使系统能在不同环境中都能达到最优状态,提高了系统效率。
为了能够根据生产环境实时状态变化,动态自适应调整集群负载压力,使集群状态达到最优,提高系统可用率,本申请提供一种分布式服务集群负载自适应处理方法的实施例,参见图1,所述分布式服务集群负载自适应处理方法具体包含有如下内容:
步骤S101:接收分布式服务集群中各服务节点的节点运行状态信息。
可选的,本申请可以在分布式服务节点的运行过程中通过分布式服务框架实时收集该框架下各分布式服务集群中各服务节点的节点运行状态信息,所述节点运行状态信息包括但不限于:成功率、响应时间、线程池可用率、CPU使用率、内存等等。
可选的,本申请还可以通过各服务节点定期上报节点运行状态信息至一预设监控系统,或通过监控系统主动采集各服务节点的节点运行状态信息。
举例来说,本申请的各服务节点运行时,应用程序和其基础分布式服务框运行在同一进程中,对外暴露微服务,在运行过程中,间隔每分钟(可自定义)发送当前微服务进程的运行状况给监控系统。
可选的,上报内容可以分为节点环境数据(例如CPU等)和节点运行数据(例如当前响应时间、等待队列长度等)。
可选的,本申请的监控系统在采集到/接收到所述节点运行状态信息后,还可以按服务集群维度和时间维度聚合各分布式节点传来的数据,例如,按照时间的维度聚合成时序数据,如每分钟各服务集群的成功率、响应时间、线程池可用率、CPU、内存等等。
步骤S102:根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级。
可选的,本申请可以通过预设负载风险评价规则从多个维度(如集群的CPU、内存、当前响应平均耗时等等)对各服务集群进行综合打分,由此根据打分得到的分数确定对应的分布式服务集群的负载风险等级,例如得分大于80分,则判定其负载风险等级为低,得分小于60分,则判定其负载风险等级为高,具体的打分过程例如:各项分值规则根据平均值的倍数打分,具体范围为(0.9倍<结果值<1.1倍=100分,1.1倍<结果值<1.2倍=80分,1.2倍<结果值<1.3倍=60分,1.3倍<结果值<1.4倍=40分,1.4倍<结果值<1.5倍=20分,结果值>1.5倍=0分)。如设置平均响应时间为优先指标,占比40%,等待队列、异常比例、系统基线为次优先指标,分别占比20%。被打分集群业务平均响应时间超过所有集群1.5倍时,平均响应指标得分为0分。该集群节点平均等待队列、业务异常比例、系统基线(cpu、内存等)略大于其他集群总平均值,约为其他集群总平均值的1.25倍。则该几项分别得分60分。最后计算结果0*40%+60*20%+60*20%+60*20%=36分,得分小于60分,为负载高风险。
步骤S103:根据所述负载风险等级更新所述分布式服务集群的负载权重。
可以理解的是,本申请对各服务集群打分并确定对应的负载风险等级后,可以根据负载风险等级的高低,自适应调整上游客户端节点对下游服务集群负载权重,如下游某集群负载压力较大或网络延迟长时,该集群处理交易的平均耗时超过了所有集群处理交易的平均耗时,本申请可以降低该集群负载权重,减少该集群负载压力,降低整体系统的响应时间。
可选的,本申请对各服务集群打分并确定对应的负载风险等级后,可以按服务维度根据每个集群的分数或负载风险等级,调参各服务集群的提供方集群负载权重值,例如通过一配置中心实时下发更新后的权重策略,业务服务的框架接收到更新的策略后,动态实时更新框架集群负载均衡策略,调整对下游集群负载权重值,如下游某服务的A集群负载压力较大时,开始由于处理不过来而平均响应时间上升,集群系统指标值上涨,通过监控反馈给智能负载系统后,经过综合打分后,降低该集群负载权重,降低负载压力,从而降低全系统总体响应时间。
从上述描述可知,本申请实施例提供的分布式服务集群负载自适应处理方法,能够通过智能决策系统实时监控分布式服务框架在系统运行过程中各分布式服务集群的负载风险等级,并根据所述负载风险等级更新所述分布式服务集群的负载权重,实时动态自适应调整服务集群负载权重,使系统能在不同环境中都能达到最优状态,提高了系统效率。
为了能够准确监测各服务节点的节点运行状态信息,在本申请的分布式服务集群负载自适应处理方法的一实施例中,还可以具体包含如下内容:
所述分布式服务集群中各服务节点的节点运行状态信息是通过监控系统实时采集得到,并根据预设时间维度和服务集群维度聚合汇总后发送来的。
可选的,本申请还可以通过各服务节点定期上报节点运行状态信息至一预设监控系统,或通过监控系统主动采集各服务节点的节点运行状态信息,本申请的监控系统在采集到/接收到所述节点运行状态信息后,还可以按服务集群维度和时间维度聚合各分布式节点传来的数据,例如,按照时间的维度聚合成时序数据,如每分钟各服务集群的成功率、响应时间、线程池可用率、CPU、内存等等。
为了能够准确评估各分布式服务集群的负载状态,在本申请的分布式服务集群负载自适应处理方法的一实施例中,上述步骤S102还可以具体包含如下内容:
根据所述分布式服务集群中各服务节点的节点环境数据和节点运行数据分别与预设环境风险阈值和运行风险阈值的数值比较关系,确定所述分布式服务集群的负载风险等级。
可选的,本申请的节点运行状态信息可以分为节点环境数据(例如CPU等)和节点运行数据(例如当前响应时间、等待队列长度等),通过预设负载风险评价规则从多个维度(如集群的CPU、内存、当前响应平均耗时等等)对各服务集群进行综合打分,由此根据打分得到的分数确定对应的分布式服务集群的负载风险等级,例如得分大于80分,则判定其负载风险等级为低,得分小于60分,则判定其负载风险等级为高,具体的打分过程例如:各项分值规则根据平均值的倍数打分,具体范围为(0.9倍<结果值<1.1倍=100分,1.1倍<结果值<1.2倍=80分,1.2倍<结果值<1.3倍=60分,1.3倍<结果值<1.4倍=40分,1.4倍<结果值<1.5倍=20分,结果值>1.5倍=0分)。如设置平均响应时间为优先指标,占比40%,等待队列、异常比例、系统基线为次优先指标,分别占比20%。被打分集群业务平均响应时间超过所有集群1.5倍时,平均响应指标得分为0分。该集群节点平均等待队列、业务异常比例、系统基线(cpu、内存等)略大于其他集群总平均值,约为其他集群总平均值的1.25倍。则该几项分别得分60分。最后计算结果0*40%+60*20%+60*20%+60*20%=36分,得分小于60分,为负载高风险。
为了能够自适应调整各分布式服务集群的负载权重,在本申请的分布式服务集群负载自适应处理方法的一实施例中,参见图2,上述步骤S103还可以具体包含如下内容:
步骤S201:确定与所述负载风险等级对应的分布式服务集群的负载权重。
步骤S202:将所述负载权重发送至配置中心,以使所述配置中心将所述分布式服务集群的负载权重发送至于所述分布式服务集群对应的上游客户端节点,并使所述上游客户端节点根据所述负载权重调整所述分布式服务集群的输入流量。
可选的,本申请对各服务集群打分并确定对应的负载风险等级后,可以按服务维度根据每个集群的分数或负载风险等级,调参各服务集群的提供方集群负载权重值,例如通过一配置中心实时下发更新后的权重策略,业务服务的框架接收到更新的策略后,动态实时更新框架集群负载均衡策略,调整对下游集群负载权重值,如下游某服务的A集群负载压力较大时,开始由于处理不过来而平均响应时间上升,集群系统指标值上涨,通过监控反馈给智能负载系统后,经过综合打分后,降低该集群负载权重,降低负载压力,从而降低全系统总体响应时间。
为了能够根据生产环境实时状态变化,动态自适应调整集群负载压力,使集群状态达到最优,提高系统可用率,本申请提供一种用于实现所述分布式服务集群负载自适应处理方法的全部或部分内容的分布式服务集群负载自适应处理装置的实施例,参见图3,所述分布式服务集群负载自适应处理装置具体包含有如下内容:
节点运行状态信息采集模块10,用于接收分布式服务集群中各服务节点的节点运行状态信息。
负载风险等级确定模块20,用于根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级。
负载权重调整模块30,用于根据所述负载风险等级更新所述分布式服务集群的负载权重。
从上述描述可知,本申请实施例提供的分布式服务集群负载自适应处理装置,能够通过智能决策系统实时监控分布式服务框架在系统运行过程中各分布式服务集群的负载风险等级,并根据所述负载风险等级更新所述分布式服务集群的负载权重,实时动态自适应调整服务集群负载权重,使系统能在不同环境中都能达到最优状态,提高了系统效率。
为了能够准确监测各服务节点的节点运行状态信息,在本申请的分布式服务集群负载自适应处理装置的一实施例中,还具体包含有如下内容:
节点运行状态监控单元,用于通过监控系统实时采集分布式服务集群中各服务节点的节点运行状态信息,并根据预设时间维度和服务集群维度进行聚合汇总。
为了能够准确评估各分布式服务集群的负载状态,在本申请的分布式服务集群负载自适应处理装置的一实施例中,参见图4,所述负载风险等级确定模块20包括:
风险阈值比较单元21,用于根据所述分布式服务集群中各服务节点的节点环境数据和节点运行数据分别与预设环境风险阈值和运行风险阈值的数值比较关系,确定所述分布式服务集群的负载风险等级。
为了更进一步说明本方案,本申请还提供一种应用上述分布式服务集群负载自适应处理装置实现分布式服务集群负载自适应处理方法的具体应用实例,具体包含有如下内容:
参见图7,分布式服务节点在运行过程中,通过分布式服务框架会实时收集当前运行状态(线程池使用率、响应时间、系统参数)。同时会定期上报监控数据至监控系统。
参见图5,是本发明分布式节点运行时,应用程序和其基础分布式服务框运行在同一进程中,对外暴露微服务,在运行过程中,间隔每分钟(可配)发送当前微服务进程的运行状况给监控系统。上报内容分为基础环境数据(CPU等)和当前节点业务环境数据(当前响应时间、等待队列长度等).
参见图6,数据上报到监控系统后,监控系统定期汇总,按集群和服务的维度聚合各分布式节点传来的数据,按照时间的维度聚合成时序数据,如每分钟各集群服务成功率、响应时间、线程池可用率、cpu、内存等等,然后推送给智能负载系统(即图7中所示智能调参系统),智能负载系统根据每个集群聚合后的监控数据,进行多个维度综合打分,从而根据得分确定对应的负载风险等级。
如根据优先级设置最优先指标,然后其余指标动态调整比例,如最优先指标为平均响应时间,如果集群平均响应时间大于所有集群平均响应时间的2倍则为0分,等待队列,响应时间,基础环境为次级指标,分别占比一部分权重,对所有集群进行综合打分。打分策略能通过智能负载系统动态调整,根据环境运行时情况,调整最优。
智能负载系统打完分后,再按服务维度根据每个集群的分数,调参各服务的提供方集群负载权重值。
参见图7,更新后的权重策略,通过配置中心实时下发,业务服务的框架接收到更新的策略后,动态实时更新框架集群负载均衡策略,调整对下游集群负载权重值,如下游某服务的A集群负载压力较大时,开始由于处理不过来而平均响应时间上升,集群系统指标值上涨,通过监控反馈给智能负载系统后,经过综合打分后,降低该集群负载权重,降低负载压力,从而降低全系统总体响应时间。
由此,该系统对能在运行过程中,动态自适应调整分布式系统中服务集群负载权重值,在消费方路由流量时,会根据节点当前运行状况(压力),自适应调整对下游集群的负载权重值,降低系统总体响应时间,提升系统整体效率。
有上述内容可知,本申请至少还可以实现如下技术效果:
1、根据生产环境实时运行状况,对一些负载压力大,或者网络延迟大的集群,能动态自适应降低权重,整体调优各集群的负载值,使系统达到最优。
2、通过测试环境调优的框架集群负载策略,由于测试环境和生产环境存在差异,测试环境的策略不一定适用于生产环境,能根据当前环境自适应调优集群负载策略。
从硬件层面来说,为了能够根据生产环境实时状态变化,动态自适应调整集群负载压力,使集群状态达到最优,提高系统可用率,本申请提供一种用于实现所述分布式服务集群负载自适应处理方法中的全部或部分内容的电子设备的实施例,所述电子设备具体包含有如下内容:
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述通信接口用于实现分布式服务集群负载自适应处理装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输;该逻辑控制器可以是台式计算机、平板电脑及移动终端等,本实施例不限于此。在本实施例中,该逻辑控制器可以参照实施例中的分布式服务集群负载自适应处理方法的实施例,以及分布式服务集群负载自适应处理装置的实施例进行实施,其内容被合并于此,重复之处不再赘述。
可以理解的是,所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中,所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中,分布式服务集群负载自适应处理方法的部分可以在如上述内容所述的电子设备侧执行,也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力,以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成,所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元),可以与远程的服务器进行通信连接,实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器,其他的实施场景中也可以包括中间平台的服务器,例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备,也可以包括多个服务器组成的服务器集群,或者分布式装置的服务器结构。
图8为本申请实施例的电子设备9600的系统构成的示意框图。如图8所示,该电子设备9600可以包括中央处理器9100和存储器9140;存储器9140耦合到中央处理器9100。值得注意的是,该图8是示例性的;还可以使用其他类型的结构,来补充或代替该结构,以实现电信功能或其他功能。
一实施例中,分布式服务集群负载自适应处理方法功能可以被集成到中央处理器9100中。其中,中央处理器9100可以被配置为进行如下控制:
步骤S101:接收分布式服务集群中各服务节点的节点运行状态信息。
步骤S102:根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级。
步骤S103:根据所述负载风险等级更新所述分布式服务集群的负载权重。
从上述描述可知,本申请实施例提供的电子设备,通过智能决策系统实时监控分布式服务框架在系统运行过程中各分布式服务集群的负载风险等级,并根据所述负载风险等级更新所述分布式服务集群的负载权重,实时动态自适应调整服务集群负载权重,使系统能在不同环境中都能达到最优状态,提高了系统效率。
在另一个实施方式中,分布式服务集群负载自适应处理装置可以与中央处理器9100分开配置,例如可以将分布式服务集群负载自适应处理装置配置为与中央处理器9100连接的芯片,通过中央处理器的控制来实现分布式服务集群负载自适应处理方法功能。
如图8所示,该电子设备9600还可以包括:通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是,电子设备9600也并不是必须要包括图8中所示的所有部件;此外,电子设备9600还可以包括图8中没有示出的部件,可以参考现有技术。
如图8所示,中央处理器9100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中,存储器9140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序,以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143,该数据存储部9143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块9110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132,以经由扬声器9131提供音频输出,并接收来自麦克风9132的音频输入,从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器9130还耦合到中央处理器9100,从而使得可以通过麦克风9132能够在本机上录音,且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的分布式服务集群负载自适应处理方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的分布式服务集群负载自适应处理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
步骤S101:接收分布式服务集群中各服务节点的节点运行状态信息。
步骤S102:根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级。
步骤S103:根据所述负载风险等级更新所述分布式服务集群的负载权重。
从上述描述可知,本申请实施例提供的计算机可读存储介质,通过智能决策系统实时监控分布式服务框架在系统运行过程中各分布式服务集群的负载风险等级,并根据所述负载风险等级更新所述分布式服务集群的负载权重,实时动态自适应调整服务集群负载权重,使系统能在不同环境中都能达到最优状态,提高了系统效率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种分布式服务集群负载自适应处理方法,其特征在于,所述方法包括:
接收分布式服务集群中各服务节点的节点运行状态信息;
根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级;
根据所述负载风险等级更新所述分布式服务集群的负载权重。
2.根据权利要求1所述的分布式服务集群负载自适应处理方法,其特征在于,所述分布式服务集群中各服务节点的节点运行状态信息是通过监控系统实时采集得到,并根据预设时间维度和服务集群维度聚合汇总后发送来的。
3.根据权利要求1所述的分布式服务集群负载自适应处理方法,其特征在于,所述根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级,包括:
根据所述分布式服务集群中各服务节点的节点环境数据和节点运行数据分别与预设环境风险阈值和运行风险阈值的数值比较关系,确定所述分布式服务集群的负载风险等级。
4.根据权利要求1所述的分布式服务集群负载自适应处理方法,其特征在于,所述根据所述负载风险等级更新所述分布式服务集群的负载权重,包括:
确定与所述负载风险等级对应的分布式服务集群的负载权重;
将所述负载权重发送至配置中心,以使所述配置中心将所述分布式服务集群的负载权重发送至于所述分布式服务集群对应的上游客户端节点,并使所述上游客户端节点根据所述负载权重调整所述分布式服务集群的输入流量。
5.一种分布式服务集群负载自适应处理装置,其特征在于,包括:
节点运行状态信息采集模块,用于接收分布式服务集群中各服务节点的节点运行状态信息;
负载风险等级确定模块,用于根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级;
负载权重调整模块,用于根据所述负载风险等级更新所述分布式服务集群的负载权重。
6.根据权利要求5所述的分布式服务集群负载自适应处理装置,其特征在于,还包括:
节点运行状态监控单元,用于通过监控系统实时采集分布式服务集群中各服务节点的节点运行状态信息,并根据预设时间维度和服务集群维度进行聚合汇总。
7.根据权利要求5所述的分布式服务集群负载自适应处理装置,其特征在于,所述负载风险等级确定模块包括:
风险阈值比较单元,用于根据所述分布式服务集群中各服务节点的节点环境数据和节点运行数据分别与预设环境风险阈值和运行风险阈值的数值比较关系,确定所述分布式服务集群的负载风险等级。
8.一种分布式服务集群负载自适应处理系统,其特征在于,包括:包含多个分布式服务集群的分布式服务框架、用于实时采集所述分布式服务集群中各服务节点的节点运行状态信息的监控系统、智能决策系统以及根据所述智能决策系统发送的负载权重调整所述分布式服务框架中各分布式服务集群负载权重的配置中心;
所述智能决策系统包括:
节点运行状态信息采集模块,用于接收所述监控系统发送的分布式服务集群中各服务节点的节点运行状态信息;
负载风险等级确定模块,用于根据所述节点运行状态信息和预设负载风险评价规则确定所述分布式服务集群的负载风险等级;
负载权重调整模块,用于根据所述负载风险等级更新所述分布式服务集群的负载权重。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4任一项所述的分布式服务集群负载自适应处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至4任一项所述的分布式服务集群负载自适应处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110284730.9A CN113055479A (zh) | 2021-03-17 | 2021-03-17 | 分布式服务集群负载自适应处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110284730.9A CN113055479A (zh) | 2021-03-17 | 2021-03-17 | 分布式服务集群负载自适应处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113055479A true CN113055479A (zh) | 2021-06-29 |
Family
ID=76512920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110284730.9A Pending CN113055479A (zh) | 2021-03-17 | 2021-03-17 | 分布式服务集群负载自适应处理方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113055479A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113992685A (zh) * | 2021-10-26 | 2022-01-28 | 新华三信息安全技术有限公司 | 一种服务控制器确定方法、系统及装置 |
CN114598743A (zh) * | 2022-03-17 | 2022-06-07 | 上海小度技术有限公司 | 一种服务发现方法、装置、电子设备及存储介质 |
CN114866614A (zh) * | 2022-05-05 | 2022-08-05 | 浙江工业大学 | 基于网络环境和服务器负载的服务自适应弹性调整的方法 |
CN116319480A (zh) * | 2023-05-22 | 2023-06-23 | 圣麦克思智能科技(江苏)有限公司 | 一种基于数据处理的idc运维系统及方法 |
CN116418603A (zh) * | 2023-06-12 | 2023-07-11 | 华能信息技术有限公司 | 一种工业互联网的安全综合管理方法及系统 |
CN114448850B (zh) * | 2021-12-21 | 2023-11-03 | 天翼云科技有限公司 | 拨测控制方法、电子设备及拨测系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105763636A (zh) * | 2016-04-15 | 2016-07-13 | 北京思特奇信息技术股份有限公司 | 一种分布式系统中最优主机的选择方法及系统 |
US20170192824A1 (en) * | 2015-12-30 | 2017-07-06 | Palo Alto Research Center Incorporated | Pervasive state estimation and an application to distributed systems |
CN110213358A (zh) * | 2019-05-23 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 集群资源调度的方法、节点、设备及存储介质 |
CN111277648A (zh) * | 2020-01-19 | 2020-06-12 | 北京工业大学 | 基于Nginx的动态权重负载均衡系统和方法 |
CN112506643A (zh) * | 2020-10-12 | 2021-03-16 | 苏州浪潮智能科技有限公司 | 一种分布式系统的负载均衡方法、装置及电子设备 |
-
2021
- 2021-03-17 CN CN202110284730.9A patent/CN113055479A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170192824A1 (en) * | 2015-12-30 | 2017-07-06 | Palo Alto Research Center Incorporated | Pervasive state estimation and an application to distributed systems |
CN105763636A (zh) * | 2016-04-15 | 2016-07-13 | 北京思特奇信息技术股份有限公司 | 一种分布式系统中最优主机的选择方法及系统 |
CN110213358A (zh) * | 2019-05-23 | 2019-09-06 | 深圳壹账通智能科技有限公司 | 集群资源调度的方法、节点、设备及存储介质 |
CN111277648A (zh) * | 2020-01-19 | 2020-06-12 | 北京工业大学 | 基于Nginx的动态权重负载均衡系统和方法 |
CN112506643A (zh) * | 2020-10-12 | 2021-03-16 | 苏州浪潮智能科技有限公司 | 一种分布式系统的负载均衡方法、装置及电子设备 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113992685A (zh) * | 2021-10-26 | 2022-01-28 | 新华三信息安全技术有限公司 | 一种服务控制器确定方法、系统及装置 |
CN113992685B (zh) * | 2021-10-26 | 2023-09-22 | 新华三信息安全技术有限公司 | 一种服务控制器确定方法、系统及装置 |
CN114448850B (zh) * | 2021-12-21 | 2023-11-03 | 天翼云科技有限公司 | 拨测控制方法、电子设备及拨测系统 |
CN114598743A (zh) * | 2022-03-17 | 2022-06-07 | 上海小度技术有限公司 | 一种服务发现方法、装置、电子设备及存储介质 |
CN114866614A (zh) * | 2022-05-05 | 2022-08-05 | 浙江工业大学 | 基于网络环境和服务器负载的服务自适应弹性调整的方法 |
CN116319480A (zh) * | 2023-05-22 | 2023-06-23 | 圣麦克思智能科技(江苏)有限公司 | 一种基于数据处理的idc运维系统及方法 |
CN116319480B (zh) * | 2023-05-22 | 2023-08-08 | 圣麦克思智能科技(江苏)有限公司 | 一种基于数据处理的idc运维系统及方法 |
CN116418603A (zh) * | 2023-06-12 | 2023-07-11 | 华能信息技术有限公司 | 一种工业互联网的安全综合管理方法及系统 |
CN116418603B (zh) * | 2023-06-12 | 2023-08-11 | 华能信息技术有限公司 | 一种工业互联网的安全综合管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113055479A (zh) | 分布式服务集群负载自适应处理方法、装置及系统 | |
CN113032233A (zh) | 分布式服务集群运行时参数自适应处理方法、装置及系统 | |
US10491535B2 (en) | Adaptive data synchronization | |
CN111694663B (zh) | 服务器集群的负载均衡方法、装置及系统 | |
CN104243405A (zh) | 一种请求处理方法、装置及系统 | |
US20240289827A1 (en) | Market segment analysis of product or service offerings | |
CN113055483A (zh) | 消息中间件数据处理方法、装置及系统 | |
CN112764919A (zh) | 分布式服务自适应负载均衡方法及装置 | |
CN113504974A (zh) | 一种服务数据负载均衡方法及装置 | |
CN114237896A (zh) | 分布式节点资源动态调度方法及装置 | |
CN114257532B (zh) | 服务端状态探测方法及装置 | |
CN111338905A (zh) | 应用节点数据处理方法及装置 | |
CN112396511B (zh) | 分布式风控变量数据处理方法、装置及系统 | |
CN113467525A (zh) | 接口调用流量控制方法及装置 | |
CN116954926A (zh) | 服务器资源分配方法及装置 | |
CN116185755A (zh) | 分布式负载均衡系统数据处理方法及装置 | |
CN115914375A (zh) | 分布式消息平台容灾处理方法及装置 | |
CN110809050A (zh) | 基于流式计算的个性化推送系统及方法 | |
CN115880067A (zh) | 交易异常数据处理方法及装置 | |
CN112905358B (zh) | 分布式系统的软件分发方法、装置及系统 | |
CN114003388A (zh) | 大数据计算引擎任务参数确定方法及装置 | |
CN112035324A (zh) | 批量作业执行情况监控方法及装置 | |
CN112116402A (zh) | 信用风险客户级违约率确定方法及装置 | |
CN111737299A (zh) | 缓存数据处理方法及装置 | |
CN112732525B (zh) | 分布式存储系统的故障检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210629 |