CN110716808A - 业务处理方法、装置、计算机设备和存储介质 - Google Patents
业务处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110716808A CN110716808A CN201910976855.0A CN201910976855A CN110716808A CN 110716808 A CN110716808 A CN 110716808A CN 201910976855 A CN201910976855 A CN 201910976855A CN 110716808 A CN110716808 A CN 110716808A
- Authority
- CN
- China
- Prior art keywords
- service processing
- weight
- target
- node
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 923
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000011156 evaluation Methods 0.000 claims description 47
- 230000004044 response Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 13
- 238000013441 quality evaluation Methods 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 230000003247 decreasing effect Effects 0.000 description 5
- 239000013585 weight reducing agent Substances 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
- G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种业务处理方法、装置、计算机设备和存储介质,所述方法包括:确定业务处理集群中待确定处理权重的目标业务处理节点,获取所述目标业务处理节点对应的当前负载,所述业务处理集群包括多个业务处理节点;获取所述业务处理集群对应的综合负载;根据所述目标业务处理节点对应的当前负载以及所述综合负载确定所述目标业务处理节点对应的处理权重调整参数;获取所述目标业务处理节点对应的当前业务处理权重;根据所述处理权重调整参数对所述当前业务处理权重进行调整,得到所述目标业务处理节点对应的更新业务处理权重。上述方法可以提高业务处理效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及业务处理方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术以及互联网的日益发展,计算机设备例如服务器所要处理的业务的规模越来越大,为了减轻服务器的处理负担,往往需要多个服务器来处理业务请求,例如,可以利用上千台服务器来对图片存储节点存储的图片进行图片压缩。
目前,业务处理请求往往是按照请求的顺序依次分给每个处理节点的,例如,将第一个业务处理请求发送到第一个业务处理节点进行处理,将第二个业务处理请求发送到第二个业务处理节点进行处理,导致处理节点中经常积压大量未处理的请求,业务处理效率低。
发明内容
基于此,有必要针对上述业务处理效率低的问题,提供一种业务处理方法、装置、计算机设备和存储介质。
一种业务处理方法,所述方法包括:确定业务处理集群中待确定处理权重的目标业务处理节点,获取所述目标业务处理节点对应的当前负载,所述业务处理集群包括多个业务处理节点;获取所述业务处理集群对应的综合负载;根据所述目标业务处理节点对应的当前负载以及所述综合负载确定所述目标业务处理节点对应的处理权重调整参数;获取所述目标业务处理节点对应的当前业务处理权重;根据所述处理权重调整参数对所述当前业务处理权重进行调整,得到所述目标业务处理节点对应的更新业务处理权重。
一种业务处理装置,所述装置包括:当前负载确定模块,用于确定业务处理集群中待确定处理权重的目标业务处理节点,获取所述目标业务处理节点对应的当前负载,所述业务处理集群包括多个业务处理节点;综合负载确定模块,用于获取所述业务处理集群对应的综合负载;处理权重调整参数确定模块,用于根据所述目标业务处理节点对应的当前负载以及所述综合负载确定所述目标业务处理节点对应的处理权重调整参数;当前业务处理权重获取模块,用于获取所述目标业务处理节点对应的当前业务处理权重;调整模块,用于根据所述处理权重调整参数对所述当前业务处理权重进行调整,得到所述目标业务处理节点对应的更新业务处理权重。
在一些实施例中,所述处理权重调整参数确定模块包括:负载差异得到单元,用于根据所述目标业务处理节点对应的当前负载以及所述综合负载得到所述目标业务处理节点对应的负载差异;处理权重调整参数确定单元,用于根据所述目标业务处理节点对应的负载差异确定所述目标业务处理节点对应的处理权重调整参数。
在一些实施例中,所述处理权重调整参数包括处理权重调整值,所述处理权重调整参数确定单元用于:确定所述目标业务处理节点对应的目标权重调整方向,获取所述目标权重调整方向对应的目标权重调整因子;根据所述目标业务处理节点对应的负载差异以及所述目标权重调整因子确定所述目标业务处理节点对应的处理权重调整值。
在一些实施例中,所述处理权重调整参数确定单元用于:获取方向调整评价参数以及候选权重调整方向对应的参数条件,所述方向调整评价参数包括所述目标业务处理节点对应的业务响应质量评价参数或者所述目标业务处理节点对应的当前负载中的至少一个;确定所述方向调整评价参数满足对应的参数条件的候选权重调整方向,作为目标权重调整方向。
在一些实施例中,所述负载差异得到单元用于:计算所述综合负载占所述目标业务处理节点对应的当前负载的比例,得到所述目标业务处理节点对应的负载差异。
在一些实施例中,所述综合负载确定模块用于:对所述业务处理集群中各个业务处理节点对应的当前负载进行统计,得到负载统计值;根据所述负载统计值以及所述业务处理集群中的业务处理节点数量计算得到所述业务处理集群对应的负载均值,作为所述业务处理集群对应的综合负载。
在一些实施例中,所述装置还包括:参考业务处理权重确定模块,用于当所述目标业务处理节点为所述业务处理集群中的新增节点时,获取所述目标业务处理节点对应的参考业务处理权重,所述参考业务处理权重根据所述目标业务处理节点对应的性能确定;综合业务处理权重获取模块,用于获取所述业务处理集群对应的综合业务处理权重;初始业务处理权重确定模块,用于根据所述参考业务处理权重以及所述综合业务处理权重确定所述目标业务处理节点对应的初始业务处理权重。
在一些实施例中,所述参考业务处理权重确定模块用于:获取所述目标业务处理节点对应的目标性能评价分数,所述目标性能评价分数用于评价所述目标业务处理节点的性能;获取基准性能评价分数,根据所述目标性能评价分数以及所述基准性能评价分数确定所述目标业务处理节点对应的参考业务处理权重。
在一些实施例中,所述参考业务处理权重确定模块用于:获取所述参考业务处理权重以及所述综合业务处理权重中的较小值,作为所述目标业务处理节点对应的初始业务处理权重。
在一些实施例中,所述装置还包括:预设权重调整参数获取模块,用于当确定所述目标业务处理节点对应的当前负载大于预设负载时,获取预设权重调整参数;更新业务处理权重得到模块,用于根据所述预设权重调整参数对所述当前业务处理权重进行调整,得到所述目标业务处理节点对应的更新业务处理权重。
在一些实施例中,所述装置还包括:统计权重得到模块,用于从所述业务处理集群中获取目标业务处理请求对应的候选业务处理节点,对所述候选业务处理节点对应的业务处理权重进行统计,得到统计权重;处理请求分发概率得到模块,用于计算所述候选业务处理节点对应的业务处理权重占所述统计权重的比例,作为所述候选业务处理节点对应的处理请求分发概率;筛选模块,用于根据各个所述候选业务处理节点对应的处理请求分发概率,从所述候选业务处理节点中筛选得到处理所述目标业务处理请求的业务处理节点。
在一些实施例中,所述统计权重得到模块用于:数据量获取所述目标业务处理请求对应的待处理数据对应的数据量;当所述数据量大于预设数据量时,从所述业务处理集群中获取业务处理权重大于预设业务处理权重或者权重排序在预设排序之前的业务处理节点,作为候选业务处理节点。
一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述业务处理方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行上述业务处理方法的步骤。
上述业务处理方法、装置、计算机设备和存储介质,可以通过目标业务处理节点对应的当前负载以及业务处理集群的综合负载确定目标业务处理节点对应的处理权重调整参数,利用该处理权重调整参数调整目标业务处理节点的当前业务处理权重,使得目标业务处理节点所处理的业务处理请求量能够灵活根据目标业务处理节点当前负载情况以及集群的整体负载情况进行调整,提高了业务处理效率。
附图说明
图1为一个实施例中提供的业务处理方法的应用环境图;
图2为一个实施例中业务处理方法的流程图;
图3为一个实施例中业务处理方法的流程图;
图4为一个实施例中业确定候选业务处理节点的示意图;
图5为一个实施例中业务处理方法的流程图;
图6为一个实施例中确定目标业务处理节点对应的业务处理权重的示意图;
图7为一个实施例中业务处理方法的应用场景图;
图8为一个实施例中业务处理装置的结构框图;
图9为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一权重称为第二权重,且类似地,可将第二权重称为第一权重。
图1为一个实施例中提供的业务处理方法的应用环境图,如图1所示,在该应用环境中,包括业务处理集群102、控制节点104以及业务请求节点106。业务处理集群102中可以包括多个业务处理节点,例如业务处理节点102a、102b、102c和102d等。业务请求节点106也可以有多个。控制节点104、业务请求节点106以及业务处理节点之间可以通过网络等通讯连接方式进行连接,本申请在此不做限制。
业务处理节点可以向控制节点发送当前负载,控制节点104确定业务处理集群102中待确定处理权重的目标业务处理节点,获取目标业务处理节点对应的当前负载;获取业务处理集群对应的综合负载;根据目标业务处理节点对应的当前负载以及综合负载确定目标业务处理节点对应的处理权重调整参数;获取目标业务处理节点对应的当前业务处理权重;根据处理权重调整参数对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。控制节点可以将目标业务处理节点对应的更新业务处理权重发送到业务请求节点106中,以使得业务请求节点106根据各个业务处理节点对应的业务处理权重确定业务处理请求所要发送的业务处理节点中。
在一些实施例中,控制节点104、业务处理节点以及业务请求节点106可以是服务器。例如,业务请求节点106可以是存储用户图片的图片存储服务器,业务处理节点可以是对图片进行压缩的图片压缩服务器,图片存储服务器可以向图片压缩服务器发送请求对图片进行压缩的图片压缩请求。
在一些实施例中,可以由控制节点104根据业务处理权重对业务处理请求进行分发。例如业务请求节点106可以将业务处理请求发送到控制节点104,由控制节点104根据各个业务处理节点对应的业务处理权重分发业务处理请求。
如图2所示,在一个实施例中,提出了一种业务处理方法,本实施例主要以该方法应用于上述图1中的控制节点104来举例说明。具体可以包括以下步骤:
步骤S202,确定业务处理集群中待确定处理权重的目标业务处理节点,获取目标业务处理节点对应的当前负载,业务处理集群包括多个业务处理节点。
具体地,业务处理集群是用于对业务处理请求进行处理的集群,可以包括多个业务处理节点,业务处理节点的个数可以根据需要设置,例如可以有50个服务器。业务处理请求根据具体业务确定,例如可以是图片压缩请求或者视频转码请求等。视频转码可以是指对视频的格式进行转换。
处理权重用于表示该业务处理节点处理的业务请求的权重,即业务处理节点对业务处理的贡献度。权重与业务请求的处理量成正相关关系,权重高,则该业务处理节点处理的业务请求的数量高,即访问量高。例如,假设一个业务处理集群有3个节点:a,b以及c。a,b以及c对应的权重分别为2、3、5。则a业务处理节点大概会处理2/(2+3+5)*100%=20%的业务处理请求,b业务处理节点大概会处理3/(2+3+5)*100%=30%的业务处理请求,c业务处理节点大概会处理5/(2+3+5)*100%=50%的业务处理请求。可以理解,权重与实际处理的业务处理请求的比例可能并不是一一对应的。例如,对于一个业务处理请求而言,权重表示的可以是一种概率,表示该业务处理请求有20%的概率是发送到a业务处理节点,有30%的概率是发送到b业务处理节点,有50%的概率是发送到c业务处理节点。但当有100个业务处理请求时,根据概率进行分发时,则可以是有19个业务处理请求发送到a业务处理节点,有35个业务处理请求发送到b业务处理节点,有46个业务处理请求发送到c业务处理节点。
负载是对节点的资源占用情况的度量,负载过高则节点会由于资源占用过大导致节点的运行系统崩溃。资源可以包括内存以及CPU(Central Processing Unit,中央处理器)中的至少一个。负载可以用各个节点的CPU使用率或者内存使用率的至少一种表示。当前负载是当前时间段对应的负载。当前时间段的长度可以根据要求设置,当希望权重调整的次数越多,以及时根据负载调整处理权重时,则长度越短,例如可以是10秒。可以获取该目标业务处理节点在过去的10秒内对应的负载,作为当前负载。10秒内对应的负载可以是10秒内对应的平均负载或者这10秒内对应的负载中的任一个,例如可以是这10秒内的最大负载也可以是最小负载。举个实际的例子,可以利用部署在业务处理节点的程序实时采集业务处理节点的CPU使用率,每2秒采集一次CPU使用率,10秒内共采集得到5个CPU使用率,并将这5个CPU使用率中的最大值上报到控制节点中。
在一些实施例中,当业务处理节点为服务器时,对于只是CPU型号不同,但内存相同或者差异小于预设值的服务器,可以用CPU使用率表示业务处理节点的负载。
在一些实施例中,可以将业务处理集群中的每个业务处理节点均作为待确定处理权重的目标业务处理节点。即可以是每隔预设时长例如10秒则对业务处理集群中的各个业务处理节点的处理权重进行调整。也可以是将业务处理集群中的部分业务处理节点作为待确定处理权重的目标业务处理节点。例如,可以根据业务处理节点的业务响应质量评价参数或者业务处理节点对应的当前负载中的至少一个确定要调整业务处理权重的目标业务处理节点。例如,可以是将当前负载大于第一预设阈值以及将当前负载小于第二预设阈值的节点作为待确定处理权重的节点。可以是将业务响应质量评价参数大于第三预设阈值的业务处理节点作为待处理节点。其中业务响应质量评价参数用于对业务处理节点对业务请求的响应质量进行评价,例如可以包括响应时延或者响应成功率的至少一个。
举个实际的例子,可以是将业务处理集群中业务请求响应成功率大于预设阈值例如99.999%且当前CPU使用率小于40%的业务处理节点作为目标业务处理节点。这样,通过筛选部分满足调整条件的业务处理节点进行业务处理权重的调整,可以减少需要更新业务处理权重的业务节点的数量。
在一些实施例中,可以在业务处理节点上安装进行负载监控的客户端程序(agent),并采用容器隔离方法隔离业务处理节点的基础资源,例如业务处理节点的CPU、内存和磁盘等基础资源,客户端监控容器内资源的负载信息并定时上报给控制节点。
步骤S204,获取业务处理集群对应的综合负载。
具体地,综合负载用于表示该业务处理集群在整体上的负载,例如可以是该业务处理集群对应的负载均值,反映业务处理集群的负载情况。可以综合业务处理节点对应的负载确定业务处理集群对应的综合负载。业务处理集群对应的综合负载可以是当前时间段业务处理集群对应的综合负载。也可以是其他时间段对应的综合负载。例如假设当前时间段是指10秒内。则综合负载可以是过去的一个小时对应的负载。
在一些实施例中,获取业务处理集群对应的综合负载包括:对业务处理集群中各个业务处理节点对应的当前负载进行统计,得到负载统计值;根据负载统计值以及业务处理集群中的业务处理节点数量计算得到业务处理集群对应的负载均值,作为业务处理集群对应的综合负载。
具体地,可以获取业务处理集群中各个业务处理节点对应的当前负载,然后对这些当前负载进行求和计算,得到负载统计值,然后利用负载统计值除以业务处理节点数量,得到负载均值。举个实际的例子,假设业务处理集群中有3个业务处理节点a、b以及c。a、b以及c在过去10秒内的最大CPU使用率分别为60%、50%以及40%。则负载均值为(60%+50%+40%)/3=50%。
步骤S206,根据目标业务处理节点对应的当前负载以及综合负载确定目标业务处理节点对应的处理权重调整参数。
具体地,处理权重调整参数可以是具体的权重值,也可以是系数。例如,可以利用综合负载除以当前负载,得到权重调整系数。也可以是利用综合负载除以当前负载,得到权重调整值。也可以是利用综合负载除以当前负载,再与预设的权重因子相乘,得到权重调整值。
在一些实施例中,根据目标业务处理节点对应的当前负载以及综合负载确定目标业务处理节点对应的处理权重调整参数包括:根据目标业务处理节点对应的当前负载以及综合负载得到目标业务处理节点对应的负载差异;根据目标业务处理节点对应的负载差异确定目标业务处理节点对应的处理权重调整参数。
具体地,负载差异表示当前负载与综合负载的差别,可以用比例值表示,也可以差值表示。例如可以计算综合负载占目标业务处理节点对应的当前负载的比例,得到目标业务处理节点对应的负载差异,即可以将综合负载除以当前负载,将得到的比例值作为负载差异。也可以将综合负载减去当前负载,将得到的差值作为负载差异。可以预先设置负载差异与处理权重调整参数的对应关系。例如,可以将负载差异作为处理权重调整参数,也可以是将负载差异与预设值相乘,得到处理权重调整参数。
在一些实施例中,处理权重调整参数包括处理权重调整值,根据目标业务处理节点对应的负载差异确定目标业务处理节点对应的处理权重调整参数包括:确定目标业务处理节点对应的目标权重调整方向,获取目标权重调整方向对应的目标权重调整因子;根据目标业务处理节点对应的负载差异以及目标权重调整因子确定目标业务处理节点对应的处理权重调整值。
具体地,权重调整方向可以是权重增加方向或者权重减少方向。权重增加方向用于使权重增加,权重减少方向用于使权重减少。目标权重调整方向可以根据负载确定,例如根据当前负载的大小,确定是需要增加权重还是减少权重。当当前负载高于第一预设值时,则可以减少权重,以通过调整权重减少该业务请求节点对应的业务访问量。当当前负载低于第二预设值时,则可以增加权重,以通过调整权重增加该业务请求节点对应的业务访问量。
可以为不同的权重调整方向设置不同的目标权重调整因子。例如,当权重调整方向为权重增加方向时,则对应的权重调整因子为正数,当权重调整方向为权重减少方向时,则对应的权重调整因子为负数。
当得到负载差异以及目标权重调整因子时,可以将负载差异与目标权重调整因子相乘,得到对应的权重调整值。例如,对于权重增加方向,则确定对应的处理权重调整值的公式可以为:T=(AL/CL)*FI。对于权重减少方向,则确定对应的处理权重调整值的公式可以为:T=(CL/AL)*FH。其中,AL表示综合负载,CL表示目标处理节点对应的当前负载,FI表示权重增加方向对应的权重调整因子,具体数值可以根据需要设置,例如可以为0.1。FH表示权重减少方向对应的权重调整因子,具体数值可以根据需要设置,例如可以为0.2。T表示处理权重调整值。
在一些实施例中,当负载利用多个负载信息表示时,例如用CPU使用率以及内存使用率表示时,则可以利用上述计算处理权重调整值的公式分别计算得到各个负载信息对应的处理权重调整值。
在一些实施例中,可以获取方向调整评价参数以及候选权重调整方向对应的参数条件;确定方向调整评价参数满足对应的参数条件的候选权重调整方向,作为目标权重调整方向。其中,方向调整评价参数包括目标业务处理节点对应的业务响应质量评价参数或者目标业务处理节点对应的当前负载中的至少一个。
具体地,候选权重调整方向可以包括权重增加方向以及权重减少方向。当满足候选权重调整方向对应的参数条件时,则将该候选权重调整方向作为目标权重调整方向。参数条件可以根据需要设置,可以是当当前负载大于第一预设阈值时,则为权重减少方向。当当前负载小于第二预设阈值则为权重增加方向。第一预设阈值以及第二预设阈值可以根据需要设置,第一预设阈值大于第二预设阈值,这样,可以不对负载为第二预设阈值到第一预设阈值之间的业务处理节点的权重进行调整。还可以是业务响应质量评价参数对应的业务响应质量优于第一预设响应质量时,则为权重增加方向,当业务响应质量评价参数对应的业务响应质量差于第二预设响应质量,则为权重减少方向。其中第一预设响应质量优于第二预设响应质量。例如可以是当响应成功率小于第一预设成功率时,则为权重减少方向。当响应成功率大于第二预设成功率时,则为权重增加方向。第一预设成功率以及第二预设成功率可以根据需要设置,第二预设成功率大于第一预设成功率。
在一些实施例中,当目标权重调整方向为权重增加方向时,则负载差异与处理权重调整参数可以是正相关关系,即负载差异越大,则处理权重调整参数越大。通过对负载差异越大的处理节点增加越多的权重,可以使得当前负载相对于负载均值越小的业务处理节点处理更多的业务处理请求。例如,假设负载差异为2,则处理权重调整值可以为0.3,表示在当前业务处理权重的基础上增加0.3。假设负载差异为3,则处理权重调整值可以为0.5,表示在当前业务处理权重的基础上增加0.5。
在一些实施例中,可以根据权重调整方向得到确定处理权重调整参数的方式。例如,如果权重调整方向为增加权重,则可以利用综合负载除以当前负载,得到权重调整值。当权重调整方向为减少权重时,则利用当前负载除以综合负载,得到权重调整值。
步骤S208,获取目标业务处理节点对应的当前业务处理权重。
具体地,当前业务处理权重是指目标业务处理节点在当前时间段对应的业务处理权重。例如过去10秒内所对应的业务处理权重。
步骤S210,根据处理权重调整参数对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。
具体地,更新业务处理权重是指更新后的当前业务处理权重,当得到更新业务处理权重后,可以指示分发业务处理请求的请求分发节点根据该更新业务处理权重分发业务处理请求。如果处理权重调整参数为处理权重调整值,则可以将当前业务处理权重与处理权重调整值相加,得到更新业务处理权重,用公式可以表示如下:W更=W当+T。其中,W当表示当前业务处理权重,W更表示更新业务处理权重,T表示处理权重调整值。当处理权重调整参数为调整系数时,则可以将当前业务处理权重与调整系数相乘,得到更新业务处理权重。
在一些实施例中,请求分发节点可以根据业务处理集群中,各个业务处理节点对应的更新业务处理权重分发业务处理请求。例如可以根据业务处理节点对应的更新业务权重计算得到业务处理节点对应的分发概率,当接收到业务处理请求时,可以根据各个业务处理节点对应的分发概率从中选取处理该业务处理请求的业务处理节点,将该业务处理请求分发到该业务处理节点进行处理。
上述业务处理方法,可以通过目标业务处理节点对应的当前负载以及业务处理集群的综合负载确定处理权重调整参数,利用该处理权重调整参数调整目标业务处理节点的当前业务处理权重,使得目标业务处理节点所处理的业务处理请求量能够灵活根据目标业务处理节点当前负载情况以及集群的整体负载情况进行调整,提高了业务处理效率。进一步地,上述业务处理方法,提供的可以是资源层的负载均衡解决方案,因此可以最大化利用业务处理资源,方便业务透明接入。
在一些实施例中,可以是每隔预设时长确定是否需要调整业务处理节点的当前业务处理权重。例如可以是每隔10秒获取一次当前负载。确定是否需要根据本申请实施例提供的方法调整业务处理权重。例如,对于业务处理节点,由于CPU型号或者安装的程序不同,业务处理能力也不尽相同,因此可以定时监控各个业务处理节点的当前负载,并计算相应的业务处理权重,从而自动并动态调整业务处理节点的访问量。因此可以方便业务处理集群方便快速扩容,在业务处理节点的型号不同导致业务处理能力不同时,也能够实现对业务处理节点的资源最大化利用,且降低了节点的运维成本。进一步地,由于不同的业务处理节点可以配置不同的权重,从而差异化请求量,实现了节点资源细粒度的尽得其用。
在一些实施例中,当当前负载用CPU使用率表示时,还可以参考其他信息对当前业务处理权重进行调整。其他信息可以包括磁盘I/O(input/out)对应的性能以及网络流量信息等。例如可以根据磁盘I/O(input/out)对应的性能确定对应的处理权重调整参数,结合两个处理权重参数对当前业务处理权重进行调整。
在一些实施例中,得到更新业务处理权重后,控制节点可以利用更新业务处理权重替换之前的当前业务处理权重,根据更新业务处理权重分发业务处理请求。
在一些实施例中,控制节点将目标业务处理节点对应的更新业务处理权重发送至业务请求节点,以指示业务请求节点根据目标业务处理节点对应的更新业务处理权重分发业务处理请求。由于是将更新业务处理权重发送到业务请求节点,由业务请求节点根据权重分发业务处理请求的,因此业务处理请求不用发送到控制节点进行分发,因此减少了控制节点的压力,减少了业务处理请求分发的时间,使得业务请求节点能够及时的将业务处理请求发送至根据权重确定的业务处理节点中。
在一些实施例中,得到更新业务处理权重后,还根据更新业务处理权重进行业务处理请求的分发。因此如图3所示,业务处理方法还可以包括如下步骤:
步骤S302,从业务处理集群中获取目标业务处理请求对应的候选业务处理节点,对候选业务处理节点对应的业务处理权重进行统计,得到统计权重。
具体地,候选业务处理节点可以是业务处理集群中的所有业务处理节点,也可以是部分业务处理节点。例如当需要发送业务处理请求时,可以确定此时业务处理集群中存在异常的业务处理节点,过滤掉存在异常的业务处理节点,将剩下的业务处理节点作为候选业务处理节点。业务处理请求中还可以携带待处理数据,可以根据待处理数据对应的数据量确定候选业务处理节点。例如,可以预先设置将待处理数据的数据量大于预设数据量的业务处理请求发送到预设的多个业务处理节点中的一个。因此在当目标数据的数据量大于预设数据量时,获取预设的多个业务处理节点,作为候选业务处理节点。
候选业务处理节点对应的业务处理权重是该业务处理节点当前对应的业务处理权重。例如,当目标业务处理节点为候选业务处理节点中的一个时,则目标业务处理节点对应的业务处理权重为根据本申请实施例得到的更新业务处理权重。得到各个候选业务处理节点对应业务处理权重后,可以将各个候选业务处理节点对应的业务处理权重进行相加,得到的和作为统计权重。
步骤S304,计算候选业务处理节点对应的业务处理权重占统计权重的比例,作为候选业务处理节点对应的处理请求分发概率。
具体地,处理请求分发概率用于表示业务处理请求分发到该候选业务处理节点的概率。例如,假设候选业务处理节点有3个:c、d以及e,对应的权重分别为9、12以及13,则c节点对应的处理请求分发概率为9/(9+12+13)≈26.5%,d节点对应的处理请求分发概率为12/(9+12+13)≈35.3%,e节点对应的处理请求分发概率为13/(9+12+13)≈38.2%。
步骤S306,根据各个候选业务处理节点对应的处理请求分发概率,从候选业务处理节点中筛选得到处理目标业务处理请求的业务处理节点。
具体地,得到处理请求分发概率后,则可以根据各个候选业务处理节点对应的处理请求分发概率得到目标业务处理请求所要发送至的业务处理节点中。
在一些实施例中,业务处理请求的分发过程即步骤S302至S306可以是在控制节点中进行的,也可以是在业务请求节点进行的。例如控制节点可以将各个业务处理节点的权重发送到每一个业务请求节点,由业务请求节点根据处理请求分发概率确定要发送的业务处理请求所要发送到的业务处理节点。
在一些实施例中,业务处理请求中也可以携带业务处理请求对应的服务标识,业务请求节点或者控制节点中可以设置有名字化服务工具,名字化服务工具中设置有服务标识与业务处理节点的访问地址例如域名的对应关系,因此可以利用名字化服务工具获取提供服务标识对应服务的业务处理集群,利用业务处理节点的业务处理权重确定业务处理请求所要发送至的业务处理节点。其中,业务处理节点所提供的服务可以根据时间变化,例如可以按照时间进行切片,得到多个时间段,设置每个时间段该业务处理节点所提供的服务,例如可以是9点到10点提供图片压缩服务,10点到11点提供视频转码服务。
在一些实施例中,从业务处理集群中获取目标业务处理请求对应的候选业务处理节点包括:获取目标业务处理请求对应的待处理数据对应的数据量;当数据量大于预设数据量时,从业务处理集群中获取业务处理权重大于预设业务处理权重或者权重排序在预设排序之前的业务处理节点,作为候选业务处理节点。
具体地,待处理数据是目标业务处理请求对应的需要处理的数据。可以是目标业务处理请求携带的数据,也可以是存储在其他节点中的数据。当待处理数据是存储在其他节点中的数据时。目标业务处理请求中可以携带待处理数据对应的数据标识,业务请求节点可以向其他节点发送携带数据标识的数据量获取请求,其他节点向业务请求节点返回待处理数据的数据量。
预设数据量可以根据需要设置,例如可以是1024MB(MByte,兆字节)。预设业务处理权重也可以根据需要设置,例如可以是10。权重排序是按照从大到小的顺序排序的。权重越大,则排序越前。例如,假设有5个业务处理节点:a、b、c、d以及e,对应的权重分别为4、8、9、12以及13。如果预设排序为3,则候选业务处理节点可以为c、d以及e。本申请实施例中,在待处理数据的数据量比较大时,确定的该业务处理请求对应的候选业务处理节点为业务处理权重较大的业务处理节点,即处理数据量大的待处理数据的业务处理节点是从权重较大的节点中选取的,数据量大的待处理数据优先访问权重高的业务处理节点,因此可以在保证数据量大的待处理数据时延和成功率的前提下,避免拉低业务处理权重低节点的权重。
在一些实施例中,对于待处理数据的数据量差异大的场景,例如对于视频压缩场景,有些视频数据量大,有些视频数据量小,则可以采用对于数据量大的待处理数据优先访问权重高的业务处理节点的方法。如图4所示,对于图片压缩场景,由于图片文件的数据量差异比较小(也称为文件差异小),则对于图片压缩请求,可以将业务处理集群中所有的业务处理节点(即图4中的计算节点)作为候选业务处理节点。而对于视频转码请求,视频文件的数据量差异比较大。因此当视频数据量大于预设数据量时,则可以将业务处理权重大于预设权重阈值例如100的业务处理节点作为候选业务处理节点。当视频数据量小于预设数据量时,则可以将业务处理集群中所有的业务处理节点作为候选业务处理节点。这样,对于视频数据量大的视频转码请求,是从业务处理权重较大的业务处理节点中,根据概率选择其中的一个业务处理节点对该视频进行转码处理。
在一些实施例中,如图5所示,获取目标业务处理节点对应的当前负载的步骤之前,还包括:
步骤S502,当目标业务处理节点为业务处理集群中的新增节点时,获取目标业务处理节点对应的参考业务处理权重,参考业务处理权重根据目标业务处理节点对应的性能确定。
具体地,新增节点是指业务处理集群中新上线的节点。当业务处理的规模不断增大,或者当确定有业务处理节点存在异常不能继续提供服务时,则可能需要在集群中新增加业务处理节点。目标业务处理节点对应的性能可以根据业务处理节点的资源配置信息确定。资源配置信息可以包括软件资源配置信息或者硬件资源配置信息中的至少一种,软件资源可包括操作系统资源,如集群中配置的操作系统的版本以及处理查询请求的程序的处理能力等。硬件资源可包括内存以及处理器等资源,例如内存的容量以及处理器的处理能力等。资源配置信息可以用于评价节点的运行能力。性能与参考业务处理权重成正相关关系,即性能越好,则对应的参考业务处理权重越大,这样可以使得性能好的业务处理节点承担更大的业务处理请求量,以充分利用业务处理节点的资源。例如可以设置内存容量与参考业务处理权重的对应关系。设置当内存容量为1024000MB时,对应的参考业务处理权重为100。当内存容量为102400MB时,对应的参考业务处理权重为10。
在一些实施例中,获取目标业务处理节点对应的参考业务处理权重包括:获取目标业务处理节点对应的目标性能评价分数,目标性能评价分数用于评价目标业务处理节点的性能;获取基准性能评价分数,根据目标性能评价分数以及基准性能评价分数确定目标业务处理节点对应的参考业务处理权重。
具体地,目标性能评价分数可以是利用性能评分工具进行评分得到的。可以利用性能评分工具例如AI benchmark跑分工具对业务处理节点的性能进行评分,得到目标性能评价分数,其中性能评价分数用于评价目标业务处理节点的性能,分数越高,代表性能越好。
基准性能评价分数是确定参考处理权重的基准分数,可以是预先设定的固定值,例如可以是80分。也可以是获取业务处理集群中各个业务处理节点对应的性能评价分数,从中选出出现次数最多的性能评价参数,作为基准性能评价参数。例如,假设有1000个业务处理节点,其中有560个业务处理节点的分数都为89分,则可以将89分作为基准评价分数。
得到目标性能评价分数以及基准性能评价分数后,可以计算目标性能评价分数除以基准性能评价分数得到的比值,作为参考业务处理权重。
步骤S504,获取业务处理集群对应的综合业务处理权重。
具体地,业务处理集群对应的综合业务处理权重是综合业务处理集群中各个业务处理节点的业务处理权重得到的。例如可以是业务处理节点的业务处理权重的均值,也可以是业务处理权重的中位数。
步骤S506,根据参考业务处理权重以及综合业务处理权重确定目标业务处理节点对应的初始业务处理权重。
具体地,初始业务处理权重是指目标业务处理节点作为新增节点,上线时对应的业务处理权重。初始业务处理权重是根据参考业务处理权重以及综合业务处理权重确定的。例如可以是参考业务处理权重与综合业务处理权重的均值。通过参考业务处理权重以及综合业务处理权重确定目标业务处理节点对应的初始业务处理权重,能够使得业务处理节点对应的初始业务处理权重符合业务处理节点的性能情况或者业务处理集群的整体负载情况。
在一些实施例中,可以获取参考业务处理权重以及综合业务处理权重中的较小值,作为目标业务处理节点对应的初始业务处理权重。这样,当参考业务处理权重小于综合业务处理权重时,初始业务处理权重为参考业务处理权重,使得目标业务处理节点对应的业务处理权重符合其对应的性能。当综合业务处理权重小于参考业务处理权重时,则初始业务处理权重为综合业务处理权重,以避免目标业务处理节点独立承担过多的业务请求量。
在一些实施例中,获取业务处理集群对应的综合负载的步骤之前,还包括:当确定目标业务处理节点对应的当前负载大于预设负载时,获取预设权重调整参数;根据预设权重调整参数对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。
具体地,预设负载可根据需要设置,例如CPU使用率为90%。预设权重调整参数是预先设置的,可以是具体的权重调整值例如30,将当前业务处理权重减去该权重调整值,得到更新业务处理权重,用公式表示为:W更=W当-FR,其中FR表示预设权重调整参数。预设权重调整参数也可以是一个小于1的比例系数,将该比例系数与当前业务处理权重相乘,得到更新业务处理权重。由于当当前负载大于预设负载时,表示该目标业务处理节点的负载过高,因此需要迅速的减少目标业务处理节点的业务请求量,避免节点由于负载继续升高导致系统崩溃。因此可以直接获取预设的权重调整参数,利用预设权重调整参数对当前业务处理权重进行调整,以提高确定目标业务处理节点对应的更新业务处理权重的速度,即提高更新当前业务处理权重的速度,使得目标业务处理节点的业务请求量能够快速减少,从而减少业务处理节点由于负载较高导致异常的情况发生。
在一些实施例中,如图6所示,为一些实施例中确定目标业务处理节点对应的业务处理权重的示意图。当目标业务处理节点为新上线的节点时,则可以利用步骤S502至S506获取该节点的初始业务处理权重,具体可以用公式W初=min(综合业务处理权重,参考业务处理权重)表示,min表示求最小值,W初表示初始业务处理权重,即可以获取综合业务处理权重与参考业务处理权重中的最小值作为初始处理权重。当上线后,可以每隔预设时长确定是否需要调整权重。例如可以获取方向调整评价参数以及候选权重调整方向对应的参数条件,确定方向调整评价参数满足对应的参数条件的候选权重调整方向,作为目标权重调整方向。当权重调整方向为增加权重(即调高权重值)时,则可以采用公式W更=W当+(AL/CL)*FI计算得到更新业务处理权重。当权重调整方向为减少权重(即调低权重值)时,例如可以采用公式W更=W当-FR,计算得到更新业务处理权重。
在一些实施中,以下结合图7,对本申请实施例提供的业务处理方法进行说明,可以包括以下步骤:
1、控制节点获取业务集群中待确定处理权重的目标业务处理节点,获取目标业务处理节点对应的当前负载。
具体地,控制节点104可以将业务集群中各个业务处理节点均作为目标业务处理节点,获取各个业务处理节点对应的当前负载。如图7所示,业务处理节点也可以称为计算节点,可以包括3个计算节点:702a、702b以及702c。各个计算节点上设置有监控负载的监控程序(agent),用于获取计算节点的当前负载,并上报到控制节点104。
2、控制节点确定目标业务处理节点对应的目标权重调整方向。
具体地,对于CPU使用率大于90%的计算节点,确定权重调整方向为权重减少方向,对于CPU使用率小于30%的计算节点,确定权重调整方向为权重增加方向。假设计算节点a、b以及c对应的当前CPU使用率分别为92%、60%以及25%,则计算节点a对应的权重调整方向为权重减少方向,进入步骤7。计算节点c对应的权重调整方向为权重增加方向,进入步骤3,执行步骤3~6,再进入步骤8。计算节点b的权重可以不作调整。
3、控制节点获取业务处理集群对应的综合负载。
具体地,可以对业务处理集群中各个业务处理节点对应的当前负载进行统计,得到负载统计值,根据负载统计值以及业务处理集群中的业务处理节点数量计算得到业务处理集群对应的负载均值。例如,负载均值可以为(92%+60%+25%)/3=59%。
4、控制节点获取权重增加方向对应的目标权重调整因子,根据目标业务处理节点对应的当前负载以及综合负载计算得到目标业务处理节点对应的负载差异。
具体地,权重增加方向对应的目标权重调整因子可以为0.1。可以用业务处理集群对应的负载均值除以计算节点c的当前负载,得到负载差异59%/25=2.36。
5、控制节点根据目标业务处理节点对应的负载差异以及目标权重调整因子确定目标业务处理节点对应的处理权重调整值。
例如,计算节点c对应的处理权重调整值为2.36*0.1=0.236。
6、控制节点根据处理权重调整值对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。
例如,对于计算节点c,假设当前权重为2.5,则更新业务处理权重为2.5+0.236=2.736。
7、控制节点获取预设权重调整参数,根据预设权重调整参数对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。
例如,预设权重调整值为2。假设计算节点a对应的当前业务处理权重为10,则更新业务处理权重为10-2=8。
其中,如图7所示,控制节点可以利用权重调整模型执行确定更新业务权重的步骤。
8、控制节点向名字化服务客户端发送更新业务处理权重。
其中,名字化服务客户端704可以设置在各个业务请求节点中,例如图片存储节点706中以及视频存储节点708中。
9、业务请求节点在发送业务请求前,请求名字化服务客户端根据各个计算节点的业务处理权重确定处理业务处理请求所要发送至的计算节点,并发送业务处理请求至对应的计算节点。
具体地,名字化服务客户端可以采用随机权重算法确定业务处理请求所要发送至的计算节点。如图7所示,业务处理请求可以是图片存储节点706发送的图片压缩请求,也可以是视频存储节点708发送的视频转码请求。其中,图7中,实线箭头表示服务控制数据流,即确定业务处理权重的数据流。虚线箭头表示数据访问数据流,即业务处理请求对应的数据流。
如图8所示,在一个实施例中,提供了一种业务处理装置,该业务处理装置可以集成于上述的控制节点104中,具体可以包括当前负载确定模块802、综合负载确定模块804、处理权重调整参数确定模块806、当前业务处理权重获取模块808以及调整模块810。
当前负载确定模块802,用于确定业务处理集群中待确定处理权重的目标业务处理节点,获取目标业务处理节点对应的当前负载,业务处理集群包括多个业务处理节点;
综合负载确定模块804,用于获取业务处理集群对应的综合负载;
处理权重调整参数确定模块806,用于根据目标业务处理节点对应的当前负载以及综合负载确定目标业务处理节点对应的处理权重调整参数;
当前业务处理权重获取模块808,用于获取目标业务处理节点对应的当前业务处理权重;
调整模块810,用于根据处理权重调整参数对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。
在一些实施例中,处理权重调整参数确定模块806包括:
负载差异得到单元,用于根据目标业务处理节点对应的当前负载以及综合负载得到目标业务处理节点对应的负载差异。
处理权重调整参数确定单元,用于根据目标业务处理节点对应的负载差异确定目标业务处理节点对应的处理权重调整参数。
在一些实施例中,处理权重调整参数包括处理权重调整值,处理权重调整参数确定单元用于:确定目标业务处理节点对应的目标权重调整方向,获取目标权重调整方向对应的目标权重调整因子;根据目标业务处理节点对应的负载差异以及目标权重调整因子确定目标业务处理节点对应的处理权重调整值。
在一些实施例中,处理权重调整参数确定单元用于:获取方向调整评价参数以及候选权重调整方向对应的参数条件,方向调整评价参数包括目标业务处理节点对应的业务响应质量评价参数或者目标业务处理节点对应的当前负载中的至少一个;确定方向调整评价参数满足对应的参数条件的候选权重调整方向,作为目标权重调整方向。
在一些实施例中,负载差异得到单元用于:计算综合负载占目标业务处理节点对应的当前负载的比例,得到目标业务处理节点对应的负载差异。
在一些实施例中,综合负载确定模块804用于:对业务处理集群中各个业务处理节点对应的当前负载进行统计,得到负载统计值;根据负载统计值以及业务处理集群中的业务处理节点数量计算得到业务处理集群对应的负载均值,作为业务处理集群对应的综合负载。
在一些实施例中,业务处理装置还包括:
参考业务处理权重确定模块,用于当目标业务处理节点为业务处理集群中的新增节点时,获取目标业务处理节点对应的参考业务处理权重,参考业务处理权重根据目标业务处理节点对应的性能确定。
综合业务处理权重获取模块,用于获取业务处理集群对应的综合业务处理权重。
初始业务处理权重确定模块,用于根据参考业务处理权重以及综合业务处理权重确定目标业务处理节点对应的初始业务处理权重。
在一些实施例中,参考业务处理权重确定模块用于:
获取目标业务处理节点对应的目标性能评价分数,目标性能评价分数用于评价目标业务处理节点的性能。
获取基准性能评价分数,根据目标性能评价分数以及基准性能评价分数确定目标业务处理节点对应的参考业务处理权重。
在一些实施例中,参考业务处理权重确定模块用于:获取参考业务处理权重以及综合业务处理权重中的较小值,作为目标业务处理节点对应的初始业务处理权重。
在一些实施例中,业务处理装置还包括:
预设权重调整参数获取模块,用于当确定目标业务处理节点对应的当前负载大于预设负载时,获取预设权重调整参数。
更新业务处理权重得到模块,用于根据预设权重调整参数对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。
在一些实施例中,业务处理装置还包括:
统计权重得到模块,用于从业务处理集群中获取目标业务处理请求对应的候选业务处理节点,对候选业务处理节点对应的业务处理权重进行统计,得到统计权重。
处理请求分发概率得到模块,用于计算候选业务处理节点对应的业务处理权重占统计权重的比例,作为候选业务处理节点对应的处理请求分发概率。
筛选模块,用于根据各个候选业务处理节点对应的处理请求分发概率,从候选业务处理节点中筛选得到处理目标业务处理请求的业务处理节点。
在一些实施例中,统计权重得到模块用于:数据量获取目标业务处理请求对应的待处理数据对应的数据量;当数据量大于预设数据量时,从业务处理集群中获取业务处理权重大于预设业务处理权重或者权重排序在预设排序之前的业务处理节点,作为候选业务处理节点。
图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是控制节点104。如图9所示,该计算机设备包括通过系统总线连接的处理器、存储器以及网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现业务处理方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行业务处理方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,本申请提供的业务处理装置可以实现为一种计算机程序的形式,计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该业务处理装置的各个程序模块,比如,图8所示的当前负载确定模块802、综合负载确定模块804、处理权重调整参数确定模块806、当前业务处理权重获取模块808以及调整模块810。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的业务处理方法中的步骤。
例如,图9所示的计算机设备可以通过如图8所示的业务处理装置中的当前负载确定模块802确定业务处理集群中待确定处理权重的目标业务处理节点,获取目标业务处理节点对应的当前负载,业务处理集群包括多个业务处理节点;通过综合负载确定模块804,用于获取业务处理集群对应的综合负载;通过处理权重调整参数确定模块806根据目标业务处理节点对应的当前负载以及综合负载确定目标业务处理节点对应的处理权重调整参数;通过当前业务处理权重获取模块808获取目标业务处理节点对应的当前业务处理权重;通过调整模块810根据处理权重调整参数对当前业务处理权重进行调整,得到目标业务处理节点对应的更新业务处理权重。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述业务处理方法的步骤。此处业务处理方法的步骤可以是上述各个实施例的业务处理方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述业务处理方法的步骤。此处业务处理方法的步骤可以是上述各个实施例的业务处理方法中的步骤。
应该理解的是,虽然本申请各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种业务处理方法,所述方法包括:
确定业务处理集群中待确定处理权重的目标业务处理节点,获取所述目标业务处理节点对应的当前负载,所述业务处理集群包括多个业务处理节点;
获取所述业务处理集群对应的综合负载;
根据所述目标业务处理节点对应的当前负载以及所述综合负载确定所述目标业务处理节点对应的处理权重调整参数;
获取所述目标业务处理节点对应的当前业务处理权重;
根据所述处理权重调整参数对所述当前业务处理权重进行调整,得到所述目标业务处理节点对应的更新业务处理权重。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标业务处理节点对应的当前负载以及所述综合负载确定所述目标业务处理节点对应的处理权重调整参数包括:
根据所述目标业务处理节点对应的当前负载以及所述综合负载得到所述目标业务处理节点对应的负载差异;
根据所述目标业务处理节点对应的负载差异确定所述目标业务处理节点对应的处理权重调整参数。
3.根据权利要求2所述的方法,其特征在于,所述处理权重调整参数包括处理权重调整值,所述根据所述目标业务处理节点对应的负载差异确定所述目标业务处理节点对应的处理权重调整参数包括:
确定所述目标业务处理节点对应的目标权重调整方向,获取所述目标权重调整方向对应的目标权重调整因子;
根据所述目标业务处理节点对应的负载差异以及所述目标权重调整因子确定所述目标业务处理节点对应的处理权重调整值。
4.根据权利要求3所述的方法,其特征在于,所述确定所述目标业务处理节点对应的目标权重调整方向包括:
获取方向调整评价参数以及候选权重调整方向对应的参数条件,所述方向调整评价参数包括所述目标业务处理节点对应的业务响应质量评价参数或者所述目标业务处理节点对应的当前负载中的至少一个;
确定所述方向调整评价参数满足对应的参数条件的候选权重调整方向,作为目标权重调整方向。
5.根据权利要求2所述的方法,其特征在于,所述根据所述目标业务处理节点对应的当前负载以及所述综合负载得到所述目标业务处理节点对应的负载差异包括:
计算所述综合负载占所述目标业务处理节点对应的当前负载的比例,得到所述目标业务处理节点对应的负载差异。
6.根据权利要求1所述的方法,其特征在于,所述获取所述业务处理集群对应的综合负载包括:
对所述业务处理集群中各个业务处理节点对应的当前负载进行统计,得到负载统计值;
根据所述负载统计值以及所述业务处理集群中的业务处理节点数量计算得到所述业务处理集群对应的负载均值,作为所述业务处理集群对应的综合负载。
7.根据权利要求1所述的方法,其特征在于,所述获取所述目标业务处理节点对应的当前负载的步骤之前,还包括:
当所述目标业务处理节点为所述业务处理集群中的新增节点时,获取所述目标业务处理节点对应的参考业务处理权重,所述参考业务处理权重根据所述目标业务处理节点对应的性能确定;
获取所述业务处理集群对应的综合业务处理权重;
根据所述参考业务处理权重以及所述综合业务处理权重确定所述目标业务处理节点对应的初始业务处理权重。
8.根据权利要求7所述的方法,其特征在于,所述获取所述目标业务处理节点对应的参考业务处理权重包括:
获取所述目标业务处理节点对应的目标性能评价分数,所述目标性能评价分数用于评价所述目标业务处理节点的性能;
获取基准性能评价分数,根据所述目标性能评价分数以及所述基准性能评价分数确定所述目标业务处理节点对应的参考业务处理权重。
9.根据权利要求7所述的方法,其特征在于,所述根据所述参考业务处理权重以及所述综合业务处理权重确定所述目标业务处理节点对应的初始业务处理权重包括:
获取所述参考业务处理权重以及所述综合业务处理权重中的较小值,作为所述目标业务处理节点对应的初始业务处理权重。
10.根据权利要求1所述的方法,其特征在于,所述获取所述业务处理集群对应的综合负载的步骤之前,还包括:
当确定所述目标业务处理节点对应的当前负载大于预设负载时,获取预设权重调整参数;
根据所述预设权重调整参数对所述当前业务处理权重进行调整,得到所述目标业务处理节点对应的更新业务处理权重。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从所述业务处理集群中获取目标业务处理请求对应的候选业务处理节点,对所述候选业务处理节点对应的业务处理权重进行统计,得到统计权重;
计算所述候选业务处理节点对应的业务处理权重占所述统计权重的比例,作为所述候选业务处理节点对应的处理请求分发概率;
根据各个所述候选业务处理节点对应的处理请求分发概率,从所述候选业务处理节点中筛选得到处理所述目标业务处理请求的业务处理节点。
12.根据权利要求11所述的方法,其特征在于,所述从所述业务处理集群中获取目标业务处理请求对应的候选业务处理节点包括:
获取所述目标业务处理请求对应的待处理数据对应的数据量;
当所述数据量大于预设数据量时,从所述业务处理集群中获取业务处理权重大于预设业务处理权重或者权重排序在预设排序之前的业务处理节点,作为候选业务处理节点。
13.一种业务处理装置,所述装置包括:
当前负载确定模块,用于确定业务处理集群中待确定处理权重的目标业务处理节点,获取所述目标业务处理节点对应的当前负载,所述业务处理集群包括多个业务处理节点;
综合负载确定模块,用于获取所述业务处理集群对应的综合负载;
处理权重调整参数确定模块,用于根据所述目标业务处理节点对应的当前负载以及所述综合负载确定所述目标业务处理节点对应的处理权重调整参数;
当前业务处理权重获取模块,用于获取所述目标业务处理节点对应的当前业务处理权重;
调整模块,用于根据所述处理权重调整参数对所述当前业务处理权重进行调整,得到所述目标业务处理节点对应的更新业务处理权重。
14.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1至12中任一项权利要求所述业务处理方法的步骤。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至12中任一项权利要求所述业务处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910976855.0A CN110716808B (zh) | 2019-10-15 | 2019-10-15 | 业务处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910976855.0A CN110716808B (zh) | 2019-10-15 | 2019-10-15 | 业务处理方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110716808A true CN110716808A (zh) | 2020-01-21 |
CN110716808B CN110716808B (zh) | 2023-10-31 |
Family
ID=69211618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910976855.0A Active CN110716808B (zh) | 2019-10-15 | 2019-10-15 | 业务处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110716808B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111416869A (zh) * | 2020-03-26 | 2020-07-14 | 华泰证券股份有限公司 | 一种分布式集群中节点权重调整的方法 |
CN111459677A (zh) * | 2020-04-01 | 2020-07-28 | 北京顺达同行科技有限公司 | 请求分配方法、装置、计算机设备和存储介质 |
CN111930516A (zh) * | 2020-09-17 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 一种负载均衡方法及相关装置 |
CN112559179A (zh) * | 2020-12-15 | 2021-03-26 | 建信金融科技有限责任公司 | 一种作业处理方法和装置 |
CN114640516A (zh) * | 2022-03-09 | 2022-06-17 | 平安科技(深圳)有限公司 | 存储集群的访问控制方法和装置、电子设备、存储介质 |
CN115114012A (zh) * | 2021-08-12 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 一种任务分配方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103401939A (zh) * | 2013-08-08 | 2013-11-20 | 中国航天科工集团第三研究院第八三五七研究所 | 一种采用混合调度策略的负载均衡方法 |
CN107124472A (zh) * | 2017-06-26 | 2017-09-01 | 杭州迪普科技股份有限公司 | 负载均衡方法及装置、计算机可读存储介质 |
US20180267831A1 (en) * | 2017-03-15 | 2018-09-20 | Fujitsu Limited | Information processing apparatus, stage-out processing method and recording medium recording job management program |
-
2019
- 2019-10-15 CN CN201910976855.0A patent/CN110716808B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103401939A (zh) * | 2013-08-08 | 2013-11-20 | 中国航天科工集团第三研究院第八三五七研究所 | 一种采用混合调度策略的负载均衡方法 |
US20180267831A1 (en) * | 2017-03-15 | 2018-09-20 | Fujitsu Limited | Information processing apparatus, stage-out processing method and recording medium recording job management program |
CN107124472A (zh) * | 2017-06-26 | 2017-09-01 | 杭州迪普科技股份有限公司 | 负载均衡方法及装置、计算机可读存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111416869A (zh) * | 2020-03-26 | 2020-07-14 | 华泰证券股份有限公司 | 一种分布式集群中节点权重调整的方法 |
CN111459677A (zh) * | 2020-04-01 | 2020-07-28 | 北京顺达同行科技有限公司 | 请求分配方法、装置、计算机设备和存储介质 |
CN111930516A (zh) * | 2020-09-17 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 一种负载均衡方法及相关装置 |
CN112559179A (zh) * | 2020-12-15 | 2021-03-26 | 建信金融科技有限责任公司 | 一种作业处理方法和装置 |
CN115114012A (zh) * | 2021-08-12 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 一种任务分配方法、装置、电子设备及存储介质 |
CN114640516A (zh) * | 2022-03-09 | 2022-06-17 | 平安科技(深圳)有限公司 | 存储集群的访问控制方法和装置、电子设备、存储介质 |
CN114640516B (zh) * | 2022-03-09 | 2023-10-20 | 平安科技(深圳)有限公司 | 存储集群的访问控制方法和装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110716808B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110716808B (zh) | 业务处理方法、装置、计算机设备和存储介质 | |
US7953843B2 (en) | System and method for evaluating a heterogeneous cluster for supporting expected workload in compliance with at least one service parameter | |
CN109194984B (zh) | 一种基于边缘计算的视频帧调度方法 | |
US7882230B2 (en) | Method and system for dynamically allocating servers to compute-resources using capacity thresholds | |
US7890620B2 (en) | Monitoring system and monitoring method | |
CN112073542B (zh) | 雾节点调度方法、装置、计算机设备和存储介质 | |
WO2017166803A1 (zh) | 一种资源调度方法及装置 | |
CN110858161A (zh) | 资源分配方法、装置、系统、设备和介质 | |
JP2017126975A (ja) | データセンターのネットワークトラフィックスケジューリング方法及び装置 | |
US20120221730A1 (en) | Resource control system and resource control method | |
CN108023759B (zh) | 自适应的资源调度方法和装置 | |
CN105657449A (zh) | 一种视频转码分配方法、装置及视频转码系统 | |
CN110545258A (zh) | 流媒体服务器资源配置方法、装置和服务器 | |
CN112165436A (zh) | 流量控制方法、装置及系统 | |
KR101630125B1 (ko) | 클라우드 컴퓨팅 자원관리 시스템에서의 자원 요구량 예측 방법 | |
CN106464733A (zh) | 一种调整云计算中虚拟资源的方法及装置 | |
CN103248622B (zh) | 一种自动伸缩的在线视频服务质量保障方法及系统 | |
CN112003790B (zh) | 智能学校使用网络流量的分配方法 | |
CN115562841B (zh) | 一种云视频服务自适应资源调度系统和方法 | |
CN115168017B (zh) | 一种任务调度云平台及其任务调度方法 | |
CN114936089A (zh) | 资源调度方法、系统、设备及存储介质 | |
CN113315836B (zh) | 文件访问请求的调度方法、装置、电子设备、存储介质 | |
CN113329050B (zh) | 内容分发方法及系统 | |
CN114650297A (zh) | 一种多微服务调用环境下自适应自动缩放方法及系统 | |
CN109739513B (zh) | 一种多边缘云下服务请求动态调度方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40019603 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |