CN110120973A - 一种请求控制方法、相关设备及计算机存储介质 - Google Patents
一种请求控制方法、相关设备及计算机存储介质 Download PDFInfo
- Publication number
- CN110120973A CN110120973A CN201910359633.4A CN201910359633A CN110120973A CN 110120973 A CN110120973 A CN 110120973A CN 201910359633 A CN201910359633 A CN 201910359633A CN 110120973 A CN110120973 A CN 110120973A
- Authority
- CN
- China
- Prior art keywords
- period
- server
- load
- load condition
- request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 100
- 230000001934 delay Effects 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 230000001052 transient effect Effects 0.000 claims 1
- 230000003068 static effect Effects 0.000 abstract description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 2
- 206010015856 Extrasystoles Diseases 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 208000000418 Premature Cardiac Complexes Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请提供一种过载保护请求控制方法及相关设备,其中方法包括:请求控制装置获取服务端处理业务请求的处理参数,根据处理参数确定服务端在第一周期内的负载参数;根据所述负载参数确定所述服务端接收业务请求的目标增量;然后根据目标请求量与目标增量,确定第二周期的过载保护(即流控)阈值,其中,流控阈值为服务端在一个周期内允许接收的业务请求的数量,目标请求量为第一周期内成功处理的业务请求的数量或者第一周期的流控阈值。通过获取处理业务请求的时延以及错误率等数据,可以根据预设的算法确定所述服务端的负载状态,并根据负载状态动态调整流控阈值,能够解决设置静态阈值时服务端过载或者资源利用率低、业务成功率低的问题。
Description
技术领域
本发明涉及计算机领域,尤其涉及一种请求控制方法、相关设备及计算机存储介质。
背景技术
随着云计算的不断发展,云服务提供商通过各自的云服务平台给用户提供不同的云服务,在公有云及私有云的架构中,一般都是基于应用程序编程接口(applicationprogramming interface,API)开发用户界面(user interface,UI),通过UI对外提供服务,用户通过API向服务端发送业务请求。每个服务端在单位时间内可以承载的请求是有限的,当前云服务端中,为避免业务量过大导致服务端过载影响业务成功率以及用户体验,通过设置过载保护(即流量控制,以下简称流控)阈值的方式对业务请求进行控制,但是,阈值设置过大容易导致服务端过载,阈值设置过小会导致服务端资源利用率低、业务成功率低以及用户体验差的问题。
发明内容
本申请实施例公开了一种请求控制方法、相关设备及计算机存储介质,通过获取服务端处理业务请求的时延以及错误率等处理参数,请求控制装置可以根据处理参数以及预设的算法确定所述服务端的负载状态,并根据负载状态动态调整流控阈值,从而能够根据动态流控阈值控制服务端接收业务请求,解决设置静态阈值时服务端过载或者资源利用率低、业务成功率低的问题。
第一方面,本申请提供一种流控请求控制方法,包括:
确定所述服务端在第一周期内的负载参数;
根据所述负载参数确定所述服务端接收业务请求的目标增量,所述业务请求用于指示所述服务端根据所述业务请求进行数据处理;
获取目标请求量,根据所述目标请求量与所述目标增量,确定第二周期的流控阈值,其中,所述第二周期的流控阈值为允许所述服务端在所述第二周期内接收的业务请求的数量,所述第二周期在所述第一周期之后,所述目标请求量为所述服务端在所述第一周期内成功处理的业务请求的数量或者所述服务端在所述第一周期的流控阈值。
通过实施本申请实施例提供的请求控制方法,请求控制装置可以周期性的获取所述服务端处理业务请求的时延、超时错误率等相关参数,以确定所述服务端的负载状态,然后根据所述负载状态调整服务端的流控阈值,达到动态调整流控阈值的目的,从而能够根据动态流控阈值控制服务端接收业务请求,解决服务端采用静态阈值时,阈值设置过大容易导致服务端过载,阈值设置过小会导致服务端资源利用率低、业务请求成功率低以及用户体验差的问题。
在一种具体的实现方式中,所述根据所述负载参数确定接收业务请求的目标增量包括:
根据所述负载参数与各负载参数匹配的预设区间,确定所述服务端的负载状态;
根据所述负载状态确定所述目标增量。
在一种具体的实现方式中,所述负载参数包括负载状态值,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
获取所述服务端在预设时间段内处理业务请求的多个时延,根据所述预设时间段内的多个时延确定所述预设时间段内多个时延对应的目标函数,其中,所述预设时间段在所述第一周期之前;
获取所述服务端在所述第一周期内处理业务请求的多个时延,根据所述第一周期内的多个时延确定所述第一周期内处理业务请求的平均时延;
根据所述目标函数与所述平均时延确定所述负载状态值。
在一种具体的实现方式中,所述负载参数包括负载状态值,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
获取所述服务端在预设时间段内处理业务请求的多个时延,根据所述预设时间段内的多个时延确定所述预设时间段内多个时延的目标概率密度函数,其中,所述预设时间段在所述第一周期之前;
获取所述服务端在所述第一周期内处理业务请求的多个时延,根据所述第一周期内的多个时延确定所述第一周期内处理业务请求的平均时延;
根据所述目标概率密度函数确定小于所述平均时延的目标概率,将所述目标概率作为所述负载状态值。
在一种具体的实现方式中,所述负载参数包括负载状态值,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
在预设时间段内每隔第一预设时长获取队列的长度,得到所述预设时间段内所述队列的多个长度,根据所述预设时间段内所述队列的多个长度确定所述预设时间段内所述队列的多个长度对应的目标函数,其中,所述队列存储等待所述服务端处理的业务请求,所述预设时间段在所述第一周期之前;
在所述第一周期内每隔第二预设时长获取队列的长度,得到所述第一周期内所述队列的多个长度,根据所述第一周期内所述队列的多个长度确定所述第一周期内所述队列的平均长度;
根据所述目标函数与所述队列的平均长度确定所述负载状态值。
在一种具体的实现方式中,所述负载参数包括负载状态值,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
在预设时间段内每隔第一预设时长获取队列的长度,得到所述预设时间段内所述队列的多个长度,根据所述预设时间段内所述队列的多个长度确定所述预设时间段内所述队列的多个长度对应的目标概率密度函数,其中,所述队列存储等待所述服务端处理的业务请求,所述预设时间段在所述第一周期之前;
在所述第一周期内每隔第二预设时长获取队列的长度,得到所述第一周期内所述队列的多个长度,根据所述第一周期内所述队列的多个长度确定所述第一周期内所述队列的平均长度;
根据所述目标概率函数与所述队列的平均长度确定所述负载状态值。
在一种具体的实现方式中,所述根据所述负载参数与各负载参数匹配的预设区间,确定所述服务端的负载状态,包括:
在所述负载状态值处于第一负载区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间的情况下,确定所述负载状态为第二负载状态;
其中,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态。
通过采集服务端在预设时间段内的队列长度或者处理业务请求的时延等处理参数,通过拟合的方式得到各类参数符合的目标函数,然后根据第一周期内服务端的平均队列长度或者所述服务端处理业务请求的平均时延等数据,结合所述目标函数确定指示所述服务端负载状态的负载状态值,从而根据所述负载状态值确定所述目标增量,进而能够根据所述目标增量确定下一个周期的流控阈值。
在一种具体的实现方式中,所述负载参数包括超时错误率,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
获取所述第一周期内所述服务端接收的业务请求的第一请求数量;
获取所述第一周期内接收的业务请求中由于超时而请求失败的第二请求数量;
根据所述第一请求数量与所述第二请求数量,确定所述第一周期内的超时错误率。
在一种具体的实现方式中,所述负载参数包括负载状态值和超时错误率,所述根据所述负载参数与各负载参数对应的预设区间,确定所述服务端的负载状态,包括:
在所述负载状态值处于第一负载区间且所述超时错误率处于第一错误率区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间且所述超时错误率处于第二错误率区间的情况下,确定所述负载状态为第二负载状态,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态下所述服务端的负载程度。
通过在上述服务端接收的业务请求的队列长度或者所述服务端处理业务请求的时延的基础上,增加服务端处理业务请求时的超时错误率,能够更加准确的反映服务端在所述第一周期内的负载状态,从而更加准确的确定所述目标增量以及第二周期的流控阈值。
第二方面,一种请求控制装置,其特征在于,所述装置包括:
过载控制模块,用于确定所述服务端在第一周期内的负载参数;
所述过载控制模块,还用于根据所述负载参数确定服务端接收业务请求的目标增量,所述业务请求用于指示所述服务端根据所述业务请求进行数据处理;
所述过载控制模块,还用于获取目标请求量,根据所述目标请求量与所述目标增量,确定第二周期的流控阈值,其中,所述流控阈值为允许所述服务端在一个周期内接收的业务请求的数量,所述目标请求量为所述服务端在所述第一周期内成功处理的业务请求的数量或者所述服务端在所述第一周期的流控阈值;
流控模块,用于根据所述第二周期的流控阈值处理所述第二周期内接收的指向所述服务端的业务请求。
在一种具体的实现方式中,所述过载控制模块具体用于:
根据所述负载参数与各负载参数匹配的预设区间,确定所述服务端的负载状态;
根据所述负载状态确定所述目标增量。
在一种具体的实现方式中,所述负载参数包括负载状态值,
所述流控模块具体用于获取所述服务端在预设时间段内处理业务请求的多个时延,其中,所述预设时间段在所述第一周期之前;
所述过载控制模块具体用于根据所述预设时间段内的多个时延确定所述预设时间段内多个时延对应的目标函数;
所述流控模块,还用于获取所述服务端在所述第一周期内处理业务请求的多个时延;
所述过载控制模块,还用于根据所述第一周期内的多个时延确定所述第一周期内处理业务请求的平均时延,并根据所述目标函数与所述平均时延确定所述负载状态值。
在一种具体的实现方式中,所述负载参数包括负载状态值,
所述流控模块具体用于获取所述服务端在预设时间段内处理业务请求的多个时延,其中,所述预设时间段在所述第一周期之前;
所述过载控制模块具体用于根据所述预设时间段内的多个时延确定所述预设时间段内多个时延的目标概率密度函数;
所述流控模块还用于获取所述服务端在所述第一周期内处理业务请求的多个时延;
所述过载控制模块还用于根据所述第一周期内的多个时延确定所述第一周期内处理业务请求的平均时延;根据所述目标概率密度函数确定小于所述平均时延的目标概率,将所述目标概率作为所述负载状态值。
在一种具体的实现方式中,所述负载参数包括负载状态值,
所述流控模块具体用于在预设时间段内每隔第一预设时长获取队列的长度,得到所述预设时间段内的所述队列的多个长度,其中,所述队列存储等待所述服务端处理的业务请求,所述预设时间段在所述第一周期之前;
所述过载控制模块具体用于根据所述预设时间段内所述队列的多个长度确定所述预设时间段内所述队列的多个长度对应的目标函数;
所述流控模块还用于,在所述第一周期内每隔第二预设时长获取队列的长度,得到所述第一周期内所述队列的多个长度;
所述过载控制模块还用于,根据所述第一周期内所述队列的多个长度确定所述第一周期内所述队列的平均长度;并根据所述目标函数与所述队列的平均长度确定所述负载状态值。
在一种具体的实现方式中,所述负载参数包括负载状态值,
所述流控模块具体用于在预设时间段内每隔第一预设时长获取队列的长度,得到所述预设时间段内所述队列的多个长度,其中,所述队列存储等待所述服务端处理的业务请求,所述预设时间段在所述第一周期之前;
所述过载控制模块具体用于根据所述预设时间段内所述队列的多个长度确定所述预设时间段内所述队列的多个长度对应的目标概率密度函数;
所述流控模块还用于,在所述第一周期内每隔第二预设时长获取队列的长度,得到所述第一周期内所述队列的多个长度;
所述过载控制模块还用于,根据所述第一周期内所述队列的多个长度确定所述第一周期内所述队列的平均长度;根据所述目标概率函数与所述队列的平均长度确定所述负载状态值。
在一种具体的实现方式中,所述过载控制模块具体用于:
在所述负载状态值处于第一负载区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间的情况下,确定所述负载状态为第二负载状态;其中,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态。
在一种具体的实现方式中,所述负载参数包括超时错误率,
所述流控模块,还用于获取所述第一周期内接收的业务请求的第一请求数量以及所述第一周期内接收的业务请求中由于超时而请求失败的第二请求数量;
所述过载控制模块,还用于根据所述第一请求数量与所述第二请求数量,确定所述第一周期内的超时错误率。
在一种具体的实现方式中,所述负载参数包括负载状态值和超时错误率,所述过载控制模块具体用于:
在所述负载状态值处于第一负载区间且所述超时错误率处于第一错误率区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间且所述超时错误率处于第二错误率区间的情况下,确定所述负载状态为第二负载状态,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态。
第三方面,本申请实施例提供一种计算设备,包括处理器、通信接口以及存储器;所述存储器用于存储指令,所述处理器用于执行所述指令,所述通信接口用于接收或者发送数据;其中,所述处理器执行所述指令时执行如上述第一方面或者第一方面的任意具体实现方式中所描述方法。
第四方面,本申请提供一种非瞬态计算机存储介质,所述计算机介质存储有用于网络故障定位的计算机程序,所述计算机程序被处理器执行时实现如上述第一方面或者第一方面的任意具体实现方式中所描述方法。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种采用turnstile实现流量控制的示意图;
图2是本申请实施例提供的一种通过应用程序编程接口网关实现流量控制的示意图;
图3是本申请实施例提供的一种实现请求控制的系统示意图;
图4是本申请实施例提供的一种请求控制方法的流程示意图;
图5是本申请实施例提供的一种请求控制装置的结构示意图;
图6是本申请实施例提供的另一种请求控制装置的结构示意图;
图7是本申请实施例提供的一种计算设备的结构示意图;
图8是本申请实施例提供的一种请求控制系统示意图。
具体实施方式
下面结合附图对本申请实施例进行详细的阐述。
在云服务中,用户通过API向服务端发送业务请求,服务端承载的业务请求越多,服务端响应会越慢,在用户的业务请求量未超过服务端能够处理的容量时,业务请求能够得到及时处理,服务端能够根据所述业务请求及时向各个业务请求的发送方提供对应的服务,当用户请求量超过服务端的处理能力时,用户的业务请求会出现拥塞,服务端对业务请求的响应会变慢甚至会由于请求超时导致请求失败,此时服务端处于过载状态,会启动过载控制(即流量控制)机制,过载控制是指在服务端出现过载时,服务端会拒绝部分用户的业务请求以使服务端恢复正常状态。
具体的,如图1所示,图1是采用turnstile实现流量控制的示意图。图1中,用户终端通过API向OpenStack云计算管理平台的服务端发起业务请求时,业务请求在经过滤波器(turnstile filter)时,turnstile filter会将此次请求累加并存储在Redis中的全局请求计数器中。当一个周期内全局请求计数器计数达到设置的流控阈值时,服务端会拒绝该周期内后续的请求,从而能够实现在一个周期内服务端接收的请求总数不超过设置的流控阈值。又例如,如图2所示,图2是通过API网关(application programming interfacegateway,api-gateway)实现流量控制的示意图。图2中,用户终端发送的业务请求在经过API网关时,API网关会将请求转发给服务端,请求在通过API网关转发至服务端时会进行计数,当一个周期内全局请求计数器计数达到设置的流控阈值时,API网关会拒绝该周期内后续的请求,从而能够实现在一个周期内服务端接收的请求总数不超过设置的流控阈值。
但是,上述两种方案中,服务端中设置的阈值均是静态阈值,静态阈值不会跟随服务端的负载或者可用资源的变化而变化,如果静态阈值设置过大,可能会出现服务端在资源不足时继续接收用户的请求,容易导致服务端过载。而如果静态阈值设置过小,则会导致业务请求成功率低、用户体验差以及资源利用率不足等问题。
为了解决上述问题,本申请实施例提供一种请求控制方法,如图3所示,图3是本申请实施例提供的一种实现请求控制的系统示意图,其中,所述服务端可以是包括多台服务器的服务器集群,请求控制装置通过采集服务端处理业务请求的时延、所述服务端在一个周期内接收的业务请求数量与由于超时而未处理的业务请求数量以及所述服务端中的队列的长度等处理参数,基于上述处理参数并根据预设的评估服务端负载状态的方法评估服务端的负载状态,根据服务端的负载状态动态调整服务端的流控阈值,其中,所述流控阈值为允许所述服务端在一个周期内接收的业务请求的数量,所述服务端在一个周期内接收的业务请求数量在达到所述流控阈值之后,所述请求控制装置会拒绝该周期内发送给所述服务端的业务请求。具体的,如图4所示,图4是本申请实施例提供的一种请求控制方法的流程示意图,所述方法包括:
S102、获取服务端处理业务请求的处理参数,根据所述处理参数确定所述服务端在第一周期内的负载参数。
本申请实施例中,所述业务请求用于指示所述服务端根据所述业务请求进行数据处理,所述处理参数包括所述服务端处理每个业务请求的时延、所述服务端在一个周期内接收的业务请求数量与由于超时而未处理的业务请求数量、所述服务端中队列的长度中的任意一种或者多种,其中,所述队列存储等待所述服务端处理的业务请求。所述负载参数包括负载状态值和/或超时错误率,所述负载状态值越小,表示所述服务端在所述第一周期内负载越轻;所述超时错误率小,表示所述服务端在所述第一周期内负载越轻。
所述请求控制装置根据采集的处理参数确定对应的负载参数,例如,所述请求控制装置可以获取预设时间段内所述服务端处理业务请求的多个时延,通过预设的算法确定所述预设时间段内多个时延符合的目标函数,然后所述请求控制装置可以通过采集所述第一周期内所述服务端成功处理的业务请求的多个时延,计算得到所述第一周期内服务端处理业务请求的平均时延,然后根据所述目标函数与所述平均时延确定所述第一周期内服务端的负载状态值,其中,所述预设时间段在所述第一周期之前。又例如,所述请求控制装置可以采集所述服务端在所述第一周期内接收的业务请求中,未被所述服务端处理的业务请求数量与所述服务端在所述第一周期内接收的业务请求总量,根据未被处理的业务请求数量与所述业务请求总量确定所述超时错误率。
S104、根据所述负载参数确定所述服务端接收业务请求的目标增量。
本申请实施例中,所述负载参数能够指示所述服务端的负载状态,所述服务端在不同的负载状态下,能够接收并响应的业务请求的数量不同,因此所述请求控制装置可以根据当前第一周期内所述服务端的负载状态情况,确定所述服务端在下一个周期能够接收的业务请求的数量是需要增加还是降低,即所述请求控制装置可以根据所述负载参数确定所述服务端下个周期接收业务的目标增量,其中,所述目标增量可以是正值,也可以是负值。
本申请实施例中,每种负载参数对应设置有多个预设阈值,每两个相邻的预设阈值确定一个预设区间,每个预设区间对应一种服务端的负载状态。举例来讲,若所述负载参数只包括所述负载状态值,所述负载状态值对应的三个预设负载阈值a1、a2以及a3,其中,a1与a2确定第一负载区间(a1,a2],a2与a3确定第二负载区间(a2,a3]。在所述负载状态值处于所述第一负载区间的情况下,所述服务端确定负载状态为第一负载状态;在所述负载状态值处于第二负载区间的情况下,所述服务端确定所述负载状态为第二负载状态;其中,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态。
在所述负载状态值处于所述第一负载区间的情况下,即所述服务端负载状态为第一负载状态,所述请求控制装置确定所述业务请求的目标增量为第一增量值;在所述负载状态值处于所述第二负载区间的情况下,即所述服务端负载状态为第二负载状态,所述请求控制装置确定所述业务请求的目标增量为第二增量值。由于负载状态值越小表示所述服务端在所述第一周期内的负载越小,所述服务端在负载较小时能够增加的目标增量越大,而在所述第一负载区间中负载状态值均小于所述第二负载区间的负载状态值,因此所述第一负载区间对应的第一增量值大于所述第二负载区间对应的第二增量值,其中,所述目标增量可以为正实数,可以为0,也可以为负实数,本申请实施例不做具体限定。
可以理解,所述服务端可以根据所述负载状态值与所述预设负载阈值确定所述负载状态,也可以根据所述负载状态值与所述预设负载阈值以及所述超时错误率与预设错误率阈值确定所述负载状态,还可以根据所述超时错误率与预设错误率阈值确定所述负载状态。
S106、获取目标请求量,根据所述目标请求量与所述目标增量,确定第二周期的流控阈值。
其中,所述流控阈值为所述服务端在一个周期内允许接收的业务请求的数量,所述目标请求量为所述服务端在所述第一周期内成功处理的业务请求的数量或者所述服务端在所述第一周期的流控阈值。
所述请求控制装置在确定所述目标增量之后,获取所述目标请求量,在所述目标请求量的基础上加上所述目标增量作为所述第二周期的流控阈值。具体的,若所述目标增量为百分数,将所述第二周期的流控阈值称为目标流控阈值,则所述目标流控阈值TH为:
TH=preth(1+x)
其中,preth为所述目标请求量,x为所述目标增量,x为大于-1的实数。
所述请求控制装置在确定所述第二周期的流控阈值之后,在所述第二周期内,所述请求控制装置在接收用户终端发送给所述服务端的业务请求时,会统计所述服务端接收的业务请求的数量,在所述服务端接收的业务请求的数量达到所述第二周期的流控阈值之后,所述请求控制装置拒绝所述第二周期内发送给所述服务端的业务请求,从而控制所述服务端接收的业务请求数量。
在一种具体的实现方式中,所述负载参数仅包括负载状态值,上述S102中确定服务端的负载状态值时,所述请求控制装置可以采集所述服务端在所述预设时间段内成功处理的各个业务请求的时延,对采集到的多个时延进行概率分布拟合,得到所述多个时延符合的目标概率密度函数,其中,所述预设时间段为所述第一周期之前的一个时间段;然后采集所述服务端在所述第一周期内成功处理的各个业务请求的时延,计算得到所述第一周期内所述服务端处理业务请求的平均时延t;最后根据所述目标概率密度函数与所述平均时延,计算在所述预设时间段内,所述服务端处理业务的时延小于所述平均时延的目标概率,将所述目标概率作为所述负载状态值。例如,所述预设时间段内的多个时延符合高斯分布,对所述预设时间段内采集的多个时延拟合得到所述高斯分布对应的目标概率密度函数为f(x),则可以通过如下公式得到所述目标概率:
计算得到的F(t)的值即为所述负载状态值。可以理解,所述预设时间段内采集的多个时延还可能符合其它分布,本申请实施例不做具体限定。
在一种具体的实施方式中,上述S102中确定服务端的负载状态值时,所述请求控制装置可以采集所述服务端在所述预设时间内成功处理的各个业务请求的时延,对采集到的多个时延划分多个区间范围,每个区间范围对应一个负载状态值;然后所述请求控制装置确定所述第一周期内处理业务请求的平均时延;最后根据所述平均时延所处的区间范围确定所述第一周期的负载状态值。例如,若采集到的时延数量为100个,将这100个时延平均分为五组,每一组20个,每一组的最大值与最小值作为一个区间范围的,每个区间范围对应一个负载状态值,则可以得到如下公式:
其中,t为所述第一周期内的处理业务请求的平均时延,a、b、c、d与e均为负载状态值。
在一种具体的实施方式中,上述S102中确定服务端的负载状态值时,可以指定所述预设时间段内所述服务端处理各个业务请求的时延所符合的概率分布,例如,通过对所述服务端处理业务请求的时延的长期历史数据进行分析,可以确定所述服务端处理业务请求的时延符合正态分布。则可以通过计算得到所述服务端在所述第一周期内处理各个业务请求的平均时延t;然后计算所述服务端在所述预设时间段内处理业务请求对应的时延均值μ以及标准差σ,根据所述时延均值μ、所述标准差σ与所述平均时延t即可确定服务端的负载状态值,其中,所述时延均值μ为所述第一周期之前的预设时间段内服务端处理业务请求的时延均值,所述预设时间段可以为1小时、2小时、5小时、一天或者一周,本申请实施例不做具体限定。
具体的,若所述预设时间段内服务端处理业务请求的时延满足期望值为μ,标准差为σ的正态分布,则服务端处理业务请求的时延X满足分布函数F(X),对于任意给定的时延T,若满足:
则表示所述预设时间段内时延X中小于T的所有变量的概率为p。将所述第一周期内的平均时延t带入上述公式1中,求得F(t),将F(t)的值作为所述第一周期内服务端的负载状态值L,其中,所述L为小于1的正实数。
在一种具体的实施方式中,所述服务端在确定所述负载状态值之后,上述S104中所述请求控制装置确定所述负载状态时,若所述负载参数只包括所述负载状态值,所述请求控制装置获取预设的多个预设负载阈值,根据所述负载状态值与所述多个预设负载阈值确定所述负载状态。
具体的,以6个预设负载阈值为例对确定所述目标增量的方法进行详细阐述,所述6个预设负载阈值分别为0.7、0.75、0.8、0.85、0.9以及0.95,这6个预设负载阈值可以划分出7个数值区间,每个数值区间对应一个负载状态,例如,将服务端的负载状态分为7个等级,分别为1级-7级,级数越低,表示负载越轻。如表1所示,表1中是负载状态值L所属数值区间与负载状态之间的关系表。
表1
L≤0.7 | 0.7<L≤0.75 | 0.75<L≤0.8 | 0.8<L≤0.85 | 0.85<L≤0.9 | 0.9<L≤0.95 | 0.95<L | |
负载状态级别 | 1级 | 2级 | 3级 | 4级 | 5级 | 6级 | 7级 |
在确定所述负载状态级别之后,所述请求控制装置可以根据负载状态级别确定服务端接收业务请求的目标增量,最后根据所述目标增量与所述目标业务请求量确定目标流控阈值,将所述目标流控阈值作为第二周期内服务端允许接收的业务数量的最大值,所述第二周期是所述第一周期之后的一个周期,所述第二周期的时长与所述第一周期的时长相同。如表2所示,表2中是负载状态值L所属数值区间、所述负载状态与目标增量之间的关系表。
表2
L≤0.7 | 0.7<L≤0.75 | 0.75<L≤0.8 | 0.8<L≤0.85 | 0.85<L≤0.9 | 0.9<L≤0.95 | 0.95<L | |
负载状态级别 | 1级 | 2级 | 3级 | 4级 | 5级 | 6级 | 7级 |
目标增量 | +20% | +10% | +5% | 0 | -5% | -10% | -15% |
其中,所述目标增量x为在所述目标请求量preth的基础上增加的百分比,即所述目标流控阈值为TH=preth(1+x)。由上表1可以得到,在所述负载状态值小于或者等于0.8时,所述目标流控阈值需要在所述目标请求量的基础上增加一定的数量;在所述负载状态值大于0.8且小于或者等于0.85的情况下,所述目标增量为0,所述目标流控阈值等于所述目标请求量;在所述负载状态值大于0.85的情况下,所述目标流控阈值需要在所述目标请求量的基础上减少一定的数量。
举例来讲,若所述目标请求量preth为所述第一周期内服务端实际成功处理的业务请求数量,且所述目标请求量preth=5000,所述第一周期内的负载状态值L为0.65,即负载状态级别为1级,则所述目标增量为20%,所述目标流控阈值TH=5000(1+0.2)=6000,即第二周期内服务端允许接收的业务请求为6000个,第6000个业务请求之后的请求均会被拒绝。若所述第二周期内服务端成功处理的业务请求数量为5800,所述第二周期内的负载状态值L为0.81,即负载状态级别为4级,则所述目标增量为0,所述目标流控阈值仍然为6000,即第三周期内服务端允许接收的业务请求为6000个。若所述第三周期内服务端成功处理的业务数量为5900个,所述第三周期内的负载状态值L为0.86,即负载状态级别为5级,则所述目标增量为-5%,所述目标流控阈值为TH=5900(1-0.05)=5605,即第四周期内服务端允许接收的业务请求数量为5605。其中,所述第三周期为所述第二周期之后的一个周期,所述第四周期为所述第三周期之后的一个周期,所述第三周期的时长、所述第四周期的时长以及所述第二周期的时长均相同。
可以理解,上述预设负载阈值、预设负载阈值的数量、所述负载状态级别的数量以及每个区间范围对应的目标增量仅用作举例,所述预设负载阈值的数量还可以为4个、7个等其他数量,每个预设负载阈值的值以及每个目标增量的值也可以为其他数值,本申请实施例不做具体限制。
在一种具体的实现方式中,所述负载参数包括所述负载状态值以及所述超时错误率,上述S104中所述请求控制装置确定所述负载状态时,所述请求控制装置获取预设的多个预设负载阈值以及多个预设错误率阈值,所述请求控制装置根据所述负载状态值与所述多个预设负载阈值,结合所述超时错误率与所述多个预设错误率阈值确定所述负载状态,然后根据负载状态确定服务端接收业务请求的目标增量,进而根据所述目标增量与所述目标业务请求量确定目标流控阈值。
具体的,以6个预设负载阈值、3个预设错误率阈值为例对确定所述负载状态的方法进行详细阐述,所述6个预设负载阈值分别为0.7、0.75、0.8、0.85、0.9以及0.95,所述3个预设错误率阈值分别为1.5%、3%以及5%,如表3所示,表3是负载状态值L所属区间范围以及所述超时错误率r所属区域范围与负载状态级别以及目标增量之间的关系表。
表3
由上述表3中的数据可以得到,在所述超时错误率r小于或者等于1.5%的情况下,所述目标增量为正值,即所述目标流控阈值需要在所述目标请求量的基础上增加一定的值,且所述目标增量的大小只与所述负载状态值的大小有关。在所述超时错误率大于1.5%的情况下,所述目标增量均为负值,即所述目标流控阈值需要在所述目标请求量的基础上降低,且所述目标增量的大小只与所述超时错误率的大小有关。
举例来讲,若所述目标请求量preth为所述第一周期内服务端的流控阈值,且所述目标请求量preth=6000,即所述第一周期内所述服务端最多接收6000个业务请求,超过第6000个之后的业务请求都会被直接拒绝。所述第一周期内的负载状态值L为0.72,超时错误率为1.3%,即负载状态级别为2级,则所述目标增量为10%,所述目标流控阈值TH=6000(1+0.1)=6600,即第二周期内服务端允许接收的业务请求最多为6000个,第6000个业务请求之后的请求均会被所述请求控制装置拒绝。若所述第二周期内服务端成功处理的业务请求数量为5800,所述第二周期内的负载状态值L为0.81,超时错误率为1.35%,即负载状态级别为4级,则所述目标增量为0,所述目标流控阈值仍然为6000,即第三周期内服务端允许接收的业务请求为6000个。若所述第三周期内服务端成功处理的业务数量为6000个,所述第三周期内的负载状态值L为0.83,超时错误率为3.2%,即负载状态级别为6级,则所述目标增量为-10%,所述目标流控阈值为TH=6000(1-0.1)=5400,即第四周期内服务端允许接收的业务请求数量为5400。其中,所述第三周期为所述第二周期之后的一个周期,所述第四周期为所述第三周期之后的一个周期,所述第三周期、所述第四周期以及所述第二周期的时长均相同。
可以理解,上述预设负载阈值、预设负载阈值的数量、预设错误率阈值、预设错误率阈值的数量以及每个区间范围对应的目标增量仅用作举例,预设负载阈值的数量以及预设错误率阈值的数量还可以为其他数量,每个预设负载阈值的值、每个预设错误率阈值的值以及每个目标增量的值也可以为其他数值,本申请实施例不做具体限制。
在一种具体的实施方式中,所述负载参数还可以只包括所述超时错误率,例如,如上述表2中所示,3个预设错误率阈值分别为1.5%、3%以及5%,则所述超时错误率r所属区域范围与负载状态级别以及目标增量之间的关系可以如下表4所示。所述请求控制装置在确定第一周期内的超时错误率之后,根据所述超时错误率所属的区间范围确定所述负载状态以及目标增量,进而确定所述第二周期的流控阈值。可以理解,表4中预设错误率阈值、预设错误率阈值的数量以及每个区间范围对应的目标增量仅用作举例,预设错误率阈值的数量还可以为其他数量,每个预设错误率阈值的值以及每个目标增量的值也可以为其他数值,本申请实施例不做具体限制。
表4
r≤1.5% | 1.5%<r≤3% | 3%<r≤5% | r>5% | |
负载状态级别 | 1级 | 2级 | 3级 | 4级 |
目标增量 | +10% | -5% | -10% | -15% |
本申请实施例中,所述流控阈值可以是所述服务端在一个周期内允许接收的所有类别业务请求的数量,也可以是所述服务端在一个周期内允许接收一种类别的业务请求的数量,本申请实施例不做具体限制。在所述流控阈值为一种类别的业务请求的数量阈值的情况下,上述实施例中的平均时延t与超时错误率r均为服务端在所述第一周期内处理该类别的业务请求对应的平均时延与超时错误率,所述目标请求量为所述服务端在所述第一周期内成功处理的该类别业务请求的数量或者所述第一周期该类别业务请求的流控阈值。在所述流控阈值为所述服务端在一个周期内允许接收的所有类别业务请求的数量的情况下,上述实施例中的平均时延t与超时错误率r均为服务端在所述第一周期内处理所有类别的业务请求对应的平均时延与超时错误率,所述目标请求量为所述服务端在所述第一周期内成功处理的所有类别业务请求的数量或者所述第一周期所有业务请求的流控阈值。
在一种具体的实施方式中,所述请求控制装置设置有目标流控阈值的最小值THmin与最大值THmax,所述目标流控阈值的最小值为服务端在一个周期内最低能够接收的业务请求数量,所述目标流控阈值的最大值为服务端在一个周期内最多能够接收的业务请求数量。在服务端运行的过程中,若计算得到的目标流控阈值超过所述目标流控阈值的最大值THmax,则将所述最大值THmax作为下一个周期内所述服务端允许接收的业务请求的数量;若计算得到的目标流控阈值小于所述最小值THmin,则将所述最小值THmin作为下一个周期内所述服务端允许接收的业务请求的数量。
在一种具体的实施方式中,上述S102中确定服务端的负载状态值时,所述请求控制装置还可以采集所述预设时间段内所述服务端中队列的多个长度,以及所述第一周期内所述服务端中队列的多个长度的平均长度,根据所述预设时间段内队列的多个长度以及所述第一周期内的队列的平均长度确定所述负载状态值,其中,所述队列存储等待所述服务端处理的业务请求。
可以理解,所述服务端可以是包括多台服务器的集群,所述服务端中可能包括一个或者多个队列,在所述服务端中只包括一个队列的情况下,所述服务端接收的业务请求均在一个队列中等待分配给不同的服务器处理,则所述请求控制装置在所述预设时间段内或所述第一周期内每隔预设时长采集一次这一个队列的长度,最终得到所述预设时间段内或所述第一周期内服务端中队列的多个长度。例如,所述预设时间段的时长为5秒,所述请求控制装置每隔100毫秒采集一次队列的长度,得到所述预设时间段内的所述队列的50个长度;所述第一周期的时长为1秒,所述请求控制装置每隔100毫秒采集一次所述队列的长度,得到第一周期内所述队列的10个长度,根据这10个长度计算得到所述第一周期内所述队列的平均长度。
在所述服务端中包括多个队列的情况下,例如集群中每台服务器对应有一个队列,所述请求控制装置可以在所述预设时间段内或所述第一周期内每隔预设时长采集一次这多个队列中每个队列的长度,最终得到所述预设时间段内或所述第一周期内服务端中队列的多个长度,例如,所述服务端中有5个队列,所述预设时间段的时长为5秒,所述请求控制装置每隔100毫秒采集一次这5个队列的长度,得到所述预设时间段内队列的250个长度;所述第一周期的时长为1秒,所述服务端每隔100毫秒采集一次这5个队列的长度,得到第一周期内所述队列的50个长度,根据这50个长度计算得到所述第一周期内所述队列的平均长度。所述请求控制装置还可以在每次采集这多个队列的长度之后,计算这多个队列长度的平均值作为本次采集时服务端中的队列长度,例如,所述服务端中有5个队列,所述请求控制装置采集一次这5个队列的长度之后,计算这五个长度的平均值作为本次采集的长度。若所述预设时间段的时长为5秒,所述请求控制装置每隔100毫秒采集一次这5个队列的长度,最终得到所述预设时间段内队列的50个长度。
所述采集控制装置在得到所述预设时间段内的多个队列长度以及所述平均长度之后,所述请求控制装置采用与根据所述预设时间段内的多个时延以及所述第一周期内的平均时延计算负载状态值相同的方法,根据所述预设时间段内的所述队列的多个长度以及所述第一周期内所述队列的平均长度确定所述负载状态值,在此不再赘述。
通过实施本申请实施例提供的请求控制方法,请求控制装置可以周期性的获取所述服务端接收的业务请求的队列长度、所述服务端处理业务请求的时延或者所述服务端接收的业务请求的超时错误率中的任意一种或者多种,确定所述服务端的负载状态,然后根据所述负载状态调整服务端的流控阈值,从而能够根据动态流控阈值控制服务端接收业务请求,能够克服服务端采用静态阈值时,阈值设置过大容易导致服务端过载,阈值设置过小会导致服务端资源利用率低、业务请求成功率低以及用户体验差的问题。
上述详细阐述了本申请实施例的方法,为了便于更好的实施本申请实施例的上述方案,相应地,下面还提供用于配合实施上述方案的相关设备。请参见图5,图5本申请实施例提供的一种请求控制装置的结构示意图。所述装置100包括:过载控制模块101以及流控模块102,其中,
所述流控模块102用于获取服务端处理业务请求的处理参数,所述过载控制模块101根据所述处理参数确定所述服务端第一周期内的负载参数,所述处理参数包括负载状态值和/或超时错误率;然后根据所述负载参数与各负载参数对应的预设区间,确定业务请求的目标增量;最后获取目标请求量,根据所述目标请求量与所述目标增量,确定第二周期的流控阈值,其中,所述流控阈值为所述服务端在一个周期内允许接收的业务请求的数量,所述目标请求量为所述服务端在所述第一周期内成功处理的业务请求的数量或者所述服务端在所述第一周期的流控阈值。
所述过载控制模块101在确定所述负载状态值之前,所述负载需要获取用于确定所述负载状态值的相关参数。在一种可能的实现方式中,所述流控模块102获取预设时间段内所述服务端处理业务请求的多个时延;所述过载控制模块101确定所述预设时间段内的多个时延所符合的目标函数;然后所述流控模块102获取所述第一周期内所述服务端处理业务请求的多个时延;所述过载控制模块101还用于确定所述第一周期内处理业务请求的多个时延的平均时延,并根据所述目标函数与所述平均时延确定所述负载状态值。
在一种可能的实现方式中,所述流控模块102所述流控模块具体用于在预设时间段内每隔第一预设时长获取队列的长度,得到所述预设时间段内的所述队列的多个长度,其中,所述队列的长度为所述服务端中等待处理的业务请求的数量,所述预设时间段为所述第一周期之前的一段时间;所述过载控制模块101,还用于根据所述预设时间段内所述队列的多个长度确定所述预设时间段内所述队列的多个长度对应的目标函数;所述流控模块102,还用于在所述第一周期内每隔第二预设时长获取队列的长度,得到所述第一周期内所述队列的多个长度;所述过载控制模块101,还用于根据所述第一周期内所述队列的多个长度确定所述第一周期内所述队列的平均长度;并根据所述目标函数与所述队列的平均长度确定所述负载状态值。
在一种可能的实现方式中,所述负载参数还包括超时错误率,所述超时错误率指示所述服务端接收的业务请求中由于超时而请求失败的概率;所述流控模块102获取所述第一周期内接收的业务请求的总数以及所述第一周期内接收的业务请求中由于超时而请求失败的业务请求数量;所述过载控制模块101根据所述业务请求的总数以及所述超时而请求失败的业务请求数量,确定所述第一周期内的超时错误率。
所述过载控制模块101根据所述负载参数与各负载参数对应的预设区间,确定业务请求的目标增量,包括:在所述负载状态值处于第一负载区间且所述超时错误率处于第一错误率区间的情况下,确定所述目标增量为第一增量值;在所述负载状态值处于第二负载区间且所述超时错误率处于第二错误率区间的情况下,确定所述目标增量为第二增量值。
所述过载控制模块102在确定第二周期的流控阈值之后,将第二周期的流控阈值发送给所述流控模块101,所述流控模块102在接收用户终端发送的业务请求之后,判断第二周期内接收的业务请求数量是否超过所述第二周期的流控阈值,若没有超过,则将所述业务请求转发至服务端,若超过,则拒绝所述业务请求。
可以理解,所述过载控制模块可以是处理器或控制器,例如可以是中央处理器(central processing unit,CPU)、通用处理器以及数字信号处理器(digital signalprocessor,DSP),也可以是其他具有计算处理功能的模块。
如图6所示,图6是本申请实施例提供的另一种请求控制装置的结构示意图,所述请求控制装置可以包括多个流控模块102,所述过载控制模块101与所述多个流控模块102通信连接,每个流控模块连接一处服务端,每个流控模块采集与其连接的服务端的处理参数,然后发送给所述过载控制模块,由所述过载控制模块101通过计算得到每个服务端对应的流控阈值,并将计算得到的流控阈值发送给对应的流控模块。
具体地,所述流控模块102用于执行上述方法实施例S102中获取服务端处理业务请求的处理参数的操作、S106中对接收的业务请求进行计数和/或其他相关操作,例如,获取服务端处理业务请求时延、所述服务端成功处理的业务请求的数量等。所述过载控制模块101用于执行上述方法实施例S102中根据所述处理参数计算目标函数、S104中根据第一周期的负载状态值确定目标增量、S106中确定目标流控阈值和/或其他操作,所述请求控制装置100执行各种操作的具体实现可参照上述方法实施例中的具体操作,在此不再赘述。
请参见7,图7为本申请实施例提供的一种计算设备的结构示意图。所述计算设备200至少包括:处理单元210以及通信接口220,所述处理单元210、通信接口220以及存储器230通过总线240相互连接,其中,
所述处理单元210执行各种操作的具体实现可参照上述方法实施例中以请求控制装置为执行主体的具体操作。处理单元210可以有多种具体实现形式,例如处理单元210可以包括处理器211和存储单元,存储单元可以是内存212,处理器211根据内存212中存储的程序单元执行相关的操作,程序单元可以是指令,或称计算机指令。程序单元可以包括图5或图6中任意一个或多个模块。处理器211可以为中央处理器(central processing unit,CPU)或图像处理器(graphics processing unit,GPU),处理器211可以是单核处理器或多核处理器。所述处理器211可以由CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmablelogic device,PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gatearray,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。处理器211也可以单独采用内置处理逻辑的逻辑器件来实现,例如FPGA或数字信号处理器(digital signalprocessor,DSP)等。
通信接口220可以为有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口),用于与其他模块或设备进行通信。例如,本申请实施例中通信接口220具体可用于接收用户设备发送的业务请求等。可选地,该计算设备还可以包括输入/输出接口250,输入/输出接口250连接有输入/输出设备,用于接收输入的信息,输出操作结果,输入/输出接口250可以为鼠标、键盘、显示器或者光驱等。
总线240可以是外设部件互连标准(peripheral component interconnect,PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。所述总线240可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,该计算设备还可以包括辅助存储器230,一般也称为外存,辅助存储器230的存储介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如光盘)、或者半导体介质(例如固态硬盘)等。辅助存储器230也可用于存储程序代码和数据,以便于处理器210调用存储器230中存储的程序代码和数据以实现上述通信模块和/或过载控制模块的功能。此外,网络设备可能包含相比于图6展示的更多或者更少的组件,或者有不同的组件配置方式。
所述处理器211用于读取内存212中的相关指令执行以下操作:
所述处理器控制所述通信接口获取服务端处理业务请求的处理参数;
所述处理器根据所述处理参数确定所述服务端在第一周期内的负载参数;
所述处理器根据所述负载参数确定所述服务端接收业务请求的目标增量;
所述处理器获取目标请求量,根据所述目标请求量与所述目标增量,确定第二周期的流控阈值,其中,所述流控阈值为允许所述服务端在一个周期内接收的业务请求的数量,所述目标请求量为所述服务端在所述第一周期内成功处理的业务请求的数量或者所述服务端在所述第一周期的流控阈值。
可以理解,如图8所示,图8是本申请实施例提供的一种请求控制系统示意图,所述计算设备200可以连接一个或多个服务器,所述计算设备可以分别获取多个服务端中每个服务端的处理参数,然后分别计算出每个服务端在下一个周期的流控阈值,然后根据每个服务端的流控阈值对每个服务端的接收业务请求进行控制,每个服务器的程序单元可以包括图5或图6的一部分或全部模块。。
具体地,上述计算设备200执行各种操作的具体实现可参照上述方法实施例中以请求控制装置为执行主体的具体操作,在此不再赘述。
本发明实施例还提供一种非瞬态计算机存储介质,所述计算机存储介质中存储有指令,当其在处理器上运行时,可以实现上述方法实施例中的方法步骤,所述计算机存储介质的处理器在执行上述方法步骤的具体实现可参照上述方法实施例的具体操作,在此不再赘述。
本发明实施例还提供一种计算机程序,该计算机程序包括指令,当该计算机程序被计算机执行时,使得计算机可以执行任意一种发送数据的方法的部分或全部步骤。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
在上述实施例中,可以全部或部分地通过软件、硬件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如SSD)等。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并或删减;本申请实施例装置中的模块可以根据实际需要进行划分、合并或删减。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (16)
1.一种请求控制方法,其特征在于,包括:
确定所述服务端在第一周期内的负载参数;
根据所述负载参数确定所述服务端接收业务请求的目标增量,所述业务请求用于指示所述服务端根据所述业务请求进行数据处理;
获取目标请求量,根据所述目标请求量与所述目标增量,确定第二周期的流控阈值,其中,所述第二周期的流控阈值为允许所述服务端在所述第二周期内接收的业务请求的数量,所述第二周期在所述第一周期之后,所述目标请求量为所述服务端在所述第一周期内成功处理的业务请求的数量或者所述服务端在所述第一周期的流控阈值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述负载参数确定所述服务端接收业务请求的目标增量包括:
根据所述负载参数与各负载参数匹配的预设区间,确定所述服务端的负载状态;
根据所述负载状态确定所述目标增量。
3.根据权利要求2所述的方法,其特征在于,所述负载参数包括负载状态值,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
获取所述服务端在预设时间段内处理业务请求的多个时延,根据所述预设时间段内的多个时延确定所述预设时间段内多个时延对应的目标函数,其中,所述预设时间段在所述第一周期之前;
获取所述服务端在所述第一周期内处理业务请求的多个时延,根据所述第一周期内的多个时延确定所述服务端在所述第一周期内处理业务请求的平均时延;
根据所述目标函数与所述平均时延确定所述负载状态值。
4.根据权利要求2所述的方法,其特征在于,所述负载参数包括负载状态值,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
在预设时间段内每隔第一预设时长获取队列的长度,得到所述预设时间段内所述队列的多个长度,根据所述预设时间段内所述队列的多个长度确定所述预设时间段内所述队列的多个长度对应的目标函数,其中,所述队列存储等待所述服务端处理的业务请求,所述预设时间段在所述第一周期之前;
在所述第一周期内每隔第二预设时长获取队列的长度,得到所述第一周期内所述队列的多个长度,根据所述第一周期内所述队列的多个长度确定所述第一周期内所述队列的平均长度;
根据所述目标函数与所述队列的平均长度确定所述负载状态值。
5.根据权利要求3或4所述的方法,其特征在于,所述根据所述负载参数与各负载参数匹配的预设区间,确定所述服务端的负载状态,包括:
在所述负载状态值处于第一负载区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间的情况下,确定所述负载状态为第二负载状态;
其中,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态。
6.根据权利要求1或2所述的方法,其特征在于,所述负载参数包括超时错误率,所述根据所述处理参数确定所述服务端在第一周期内的负载参数,包括:
获取所述第一周期内所述服务端接收的业务请求的第一请求数量;
获取所述第一周期内接收的业务请求中由于超时而请求失败的第二请求数量;
根据所述第一请求数量与所述第二请求数量,确定所述第一周期内的超时错误率。
7.根据权利要求3或4所述的方法,其特征在于,所述负载参数包括负载状态值和超时错误率,所述根据所述负载参数与各负载参数对应的预设区间,确定所述服务端的负载状态,包括:
在所述负载状态值处于第一负载区间且所述超时错误率处于第一错误率区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间且所述超时错误率处于第二错误率区间的情况下,确定所述负载状态为第二负载状态,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态下所述服务端的负载程度。
8.一种请求控制装置,其特征在于,所述装置包括:
过载控制模块,用于确定所述服务端在第一周期内的负载参数;
所述过载控制模块,还用于根据所述负载参数确定服务端接收业务请求的目标增量,所述业务请求用于指示服务端根据所述业务请求进行数据处理;
所述过载控制模块,还用于获取目标请求量,根据所述目标请求量与所述目标增量,确定第二周期的流控阈值,其中,所述流控阈值为允许所述服务端在一个周期内接收的业务请求的数量,所述目标请求量为所述服务端在所述第一周期内成功处理的业务请求的数量或者所述服务端在所述第一周期的流控阈值;
流控模块,用于根据所述第二周期的流控阈值处理所述第二周期内接收到的指向所述服务端的业务请求。
9.根据权利要求8所述的装置,其特征在于,所述过载控制模块具体用于:
根据所述负载参数与各负载参数匹配的预设区间,确定所述服务端的负载状态;
根据所述负载状态确定所述目标增量。
10.根据权利要求9所述的装置,其特征在于,所述负载参数包括负载状态值,
所述流控模块具体用于获取所述服务端在预设时间段内处理业务请求的多个时延,其中,所述预设时间段在所述第一周期之前;
所述过载控制模块具体用于根据所述预设时间段内的多个时延确定所述预设时间段内多个时延对应的目标函数;
所述流控模块,还用于获取所述服务端在所述第一周期内处理业务请求的多个时延;
所述过载控制模块,还用于根据所述第一周期内的多个时延确定所述第一周期内处理业务请求的平均时延,并根据所述目标函数与所述平均时延确定所述负载状态值。
11.根据权利要求9所述的装置,其特征在于,所述负载参数包括负载状态值,
所述流控模块具体用于在预设时间段内每隔第一预设时长获取队列的长度,得到所述预设时间段内的所述队列的多个长度,其中,所述队列存储等待所述服务端处理的业务请求,所述预设时间段在所述第一周期之前;
所述过载控制模块,还用于根据所述预设时间段内所述队列的多个长度确定所述预设时间段内所述队列的多个长度对应的目标函数;
所述流控模块,还用于在所述第一周期内每隔第二预设时长获取队列的长度,得到所述第一周期内所述队列的多个长度;
所述过载控制模块,还用于根据所述第一周期内所述队列的多个长度确定所述第一周期内所述队列的平均长度;并根据所述目标函数与所述队列的平均长度确定所述负载状态值。
12.根据权利要求10或11所述的装置,其特征在于,所述过载控制模块具体用于:
在所述负载状态值处于第一负载区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间的情况下,确定所述负载状态为第二负载状态;其中,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态。
13.根据权利要求8或9所述的装置,其特征在于,所述负载参数包括超时错误率,
所述流控模块,还用于获取所述第一周期内接收的业务请求的第一请求数量以及所述第一周期内接收的业务请求中由于超时而请求失败的第二请求数量;
所述过载控制模块,还用于根据所述第一请求数量与所述第二请求数量,确定所述第一周期内的超时错误率。
14.根据权利要求10或11所述的装置,其特征在于,所述负载参数包括负载状态值和超时错误率,所述过载控制模块具体用于:
在所述负载状态值处于第一负载区间且所述超时错误率处于第一错误率区间的情况下,确定所述负载状态为第一负载状态;
在所述负载状态值处于第二负载区间且所述超时错误率处于第二错误率区间的情况下,确定所述负载状态为第二负载状态,所述第一负载区间中的最大值小于所述第二负载区间中的最小值,所述第一负载状态下所述服务端的负载程度低于所述第二负载状态。
15.一种计算设备,其特征在于,包括处理器以及存储器;所述存储器用于存储指令,所述处理器用于执行所述指令;以执行如上权利要求1至7任一项所述的方法。
16.一种非瞬态的计算机存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行以实现如权利要求1至7任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910359633.4A CN110120973A (zh) | 2019-04-28 | 2019-04-28 | 一种请求控制方法、相关设备及计算机存储介质 |
PCT/CN2020/070573 WO2020220739A1 (zh) | 2019-04-28 | 2020-01-07 | 一种请求控制方法、相关设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910359633.4A CN110120973A (zh) | 2019-04-28 | 2019-04-28 | 一种请求控制方法、相关设备及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110120973A true CN110120973A (zh) | 2019-08-13 |
Family
ID=67520320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910359633.4A Pending CN110120973A (zh) | 2019-04-28 | 2019-04-28 | 一种请求控制方法、相关设备及计算机存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110120973A (zh) |
WO (1) | WO2020220739A1 (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110572299A (zh) * | 2019-08-30 | 2019-12-13 | 北京奇艺世纪科技有限公司 | 设备测试方法、系统、装置、网络节点、终端及存储介质 |
CN110690980A (zh) * | 2019-09-19 | 2020-01-14 | 深圳证券通信有限公司 | 一种行情数据的发送算法 |
CN110719337A (zh) * | 2019-10-23 | 2020-01-21 | 北京悠易网际科技发展有限公司 | 业务系统、业务请求处理方法、装置及服务器 |
CN110780989A (zh) * | 2019-08-29 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种过载保护方法、装置、设备及介质 |
CN110851250A (zh) * | 2019-10-17 | 2020-02-28 | 上海易点时空网络有限公司 | 用于树莓派的任务派发方法及装置、存储介质 |
CN110971697A (zh) * | 2019-12-06 | 2020-04-07 | 深圳市网心科技有限公司 | Redis单实例保护处理方法、装置、计算机设备及存储介质 |
CN111831443A (zh) * | 2020-07-01 | 2020-10-27 | Oppo广东移动通信有限公司 | 处理器状态调整方法、装置、存储介质及电子设备 |
WO2020220739A1 (zh) * | 2019-04-28 | 2020-11-05 | 华为技术有限公司 | 一种请求控制方法、相关设备及计算机存储介质 |
CN112165436A (zh) * | 2020-10-15 | 2021-01-01 | 腾讯科技(深圳)有限公司 | 流量控制方法、装置及系统 |
CN112527524A (zh) * | 2020-12-09 | 2021-03-19 | 北京百度网讯科技有限公司 | 动态限流方法、装置以及电子设备 |
CN112769657A (zh) * | 2020-12-26 | 2021-05-07 | 上海优扬新媒信息技术有限公司 | 一种流量控制方法及装置 |
CN113037862A (zh) * | 2021-03-30 | 2021-06-25 | 北京三快在线科技有限公司 | 业务请求的处理方法、装置、设备及存储介质 |
CN113094160A (zh) * | 2021-03-22 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 业务调度方法、装置、电子设备和存储介质 |
CN113360277A (zh) * | 2021-05-25 | 2021-09-07 | 网银在线(北京)科技有限公司 | 业务请求的流量控制方法及装置 |
CN113438375A (zh) * | 2021-05-24 | 2021-09-24 | 商客通尚景科技(上海)股份有限公司 | 保持坐席状态的方法 |
CN114124820A (zh) * | 2021-11-15 | 2022-03-01 | 京东科技控股股份有限公司 | 流量控制方法、装置、电子设备及存储介质 |
CN115002225A (zh) * | 2022-05-07 | 2022-09-02 | 阿里巴巴(中国)有限公司 | 一种请求处理方法、装置及可读介质 |
CN115174411A (zh) * | 2022-07-29 | 2022-10-11 | 北京达佳互联信息技术有限公司 | 跨地域带宽的确定方法、装置、设备及存储介质 |
CN115348157A (zh) * | 2021-05-14 | 2022-11-15 | 中国移动通信集团浙江有限公司 | 分布式存储集群的故障定位方法、装置、设备及存储介质 |
CN115643309A (zh) * | 2022-10-27 | 2023-01-24 | 极道科技(北京)有限公司 | 一种基于请求调度队列长度的动态流控方法和系统 |
CN116016675A (zh) * | 2022-11-29 | 2023-04-25 | 北京奇艺世纪科技有限公司 | 一种服务请求处理方法、装置、网关设备及存储介质 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114520808A (zh) * | 2020-11-19 | 2022-05-20 | 南京亚信软件有限公司 | 请求处理方法、装置、电子设备及计算机可读存储介质 |
CN113268329B (zh) * | 2021-05-31 | 2023-09-01 | 北京奇艺世纪科技有限公司 | 一种请求调度方法、装置及存储介质 |
CN113596109B (zh) * | 2021-07-07 | 2024-04-30 | 上海浦东发展银行股份有限公司 | 业务请求运行方法、系统、装置、设备和存储介质 |
CN113868053A (zh) * | 2021-09-26 | 2021-12-31 | 海光信息技术股份有限公司 | 任务延迟确定方法、装置、系统及相关设备 |
CN114500382B (zh) * | 2022-04-06 | 2022-07-15 | 浙江口碑网络技术有限公司 | 客户端限流方法和装置、电子设备 |
CN115037789B (zh) * | 2022-06-09 | 2024-03-26 | 中国工商银行股份有限公司 | 限流方法、装置、设备、存储介质和程序产品 |
CN115242718B (zh) * | 2022-06-21 | 2024-01-30 | 平安科技(深圳)有限公司 | 集群限流方法、装置、设备及介质 |
CN116260875A (zh) * | 2022-09-09 | 2023-06-13 | 中国人民财产保险股份有限公司 | 服务请求的限流方法、限流装置及电子设备 |
CN115580580B (zh) * | 2022-10-12 | 2024-05-17 | 中国平安人寿保险股份有限公司 | 流量控制方法、流量控制装置、计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188345A (zh) * | 2013-03-01 | 2013-07-03 | 北京邮电大学 | 分布式动态负载管理系统和方法 |
CN104753805A (zh) * | 2013-12-31 | 2015-07-01 | 腾讯科技(深圳)有限公司 | 分布式流量控制方法、服务器和系统 |
CN106059940A (zh) * | 2016-05-25 | 2016-10-26 | 杭州昆海信息技术有限公司 | 一种流量控制方法及装置 |
US20170272371A1 (en) * | 2016-03-21 | 2017-09-21 | Alibaba Group Holding Limited | Flow control in connection with an access request |
CN107920027A (zh) * | 2016-10-08 | 2018-04-17 | 腾讯科技(深圳)有限公司 | 一种流量控制方法及装置 |
CN108111433A (zh) * | 2016-11-25 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 一种业务动态流控方法、装置以及电子设备 |
CN108959399A (zh) * | 2018-06-04 | 2018-12-07 | 平安科技(深圳)有限公司 | 分布式数据删除流控方法、装置、电子设备及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104982061B (zh) * | 2013-01-31 | 2020-01-03 | 苹果公司 | 业务不活动定时器的动态适配 |
CN104092650B (zh) * | 2013-12-04 | 2018-04-03 | 腾讯数码(天津)有限公司 | 一种分配业务请求的方法和装置 |
CN106817424B (zh) * | 2017-01-23 | 2019-08-27 | 杭州云纪网络科技有限公司 | 用于控制访问流量的方法及系统 |
CN108804039B (zh) * | 2018-06-04 | 2021-01-29 | 平安科技(深圳)有限公司 | 自适应的数据恢复流控方法、装置、电子设备及存储介质 |
CN108762684B (zh) * | 2018-06-04 | 2021-03-05 | 平安科技(深圳)有限公司 | 热点数据迁移流控方法、装置、电子设备及存储介质 |
CN109257294B (zh) * | 2018-09-07 | 2022-04-12 | 武汉斗鱼网络科技有限公司 | 基于redis的服务动态降级方法、装置、服务器及存储介质 |
CN110120973A (zh) * | 2019-04-28 | 2019-08-13 | 华为技术有限公司 | 一种请求控制方法、相关设备及计算机存储介质 |
-
2019
- 2019-04-28 CN CN201910359633.4A patent/CN110120973A/zh active Pending
-
2020
- 2020-01-07 WO PCT/CN2020/070573 patent/WO2020220739A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103188345A (zh) * | 2013-03-01 | 2013-07-03 | 北京邮电大学 | 分布式动态负载管理系统和方法 |
CN104753805A (zh) * | 2013-12-31 | 2015-07-01 | 腾讯科技(深圳)有限公司 | 分布式流量控制方法、服务器和系统 |
US20170272371A1 (en) * | 2016-03-21 | 2017-09-21 | Alibaba Group Holding Limited | Flow control in connection with an access request |
CN106059940A (zh) * | 2016-05-25 | 2016-10-26 | 杭州昆海信息技术有限公司 | 一种流量控制方法及装置 |
CN107920027A (zh) * | 2016-10-08 | 2018-04-17 | 腾讯科技(深圳)有限公司 | 一种流量控制方法及装置 |
CN108111433A (zh) * | 2016-11-25 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 一种业务动态流控方法、装置以及电子设备 |
CN108959399A (zh) * | 2018-06-04 | 2018-12-07 | 平安科技(深圳)有限公司 | 分布式数据删除流控方法、装置、电子设备及存储介质 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020220739A1 (zh) * | 2019-04-28 | 2020-11-05 | 华为技术有限公司 | 一种请求控制方法、相关设备及计算机存储介质 |
CN110780989B (zh) * | 2019-08-29 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 一种过载保护方法、装置、设备及介质 |
CN110780989A (zh) * | 2019-08-29 | 2020-02-11 | 腾讯科技(深圳)有限公司 | 一种过载保护方法、装置、设备及介质 |
CN110572299A (zh) * | 2019-08-30 | 2019-12-13 | 北京奇艺世纪科技有限公司 | 设备测试方法、系统、装置、网络节点、终端及存储介质 |
CN110690980A (zh) * | 2019-09-19 | 2020-01-14 | 深圳证券通信有限公司 | 一种行情数据的发送算法 |
CN110851250A (zh) * | 2019-10-17 | 2020-02-28 | 上海易点时空网络有限公司 | 用于树莓派的任务派发方法及装置、存储介质 |
CN110719337A (zh) * | 2019-10-23 | 2020-01-21 | 北京悠易网际科技发展有限公司 | 业务系统、业务请求处理方法、装置及服务器 |
CN110971697A (zh) * | 2019-12-06 | 2020-04-07 | 深圳市网心科技有限公司 | Redis单实例保护处理方法、装置、计算机设备及存储介质 |
CN110971697B (zh) * | 2019-12-06 | 2022-08-16 | 深圳市网心科技有限公司 | Redis单实例保护处理方法、装置、计算机设备及存储介质 |
CN111831443A (zh) * | 2020-07-01 | 2020-10-27 | Oppo广东移动通信有限公司 | 处理器状态调整方法、装置、存储介质及电子设备 |
CN112165436A (zh) * | 2020-10-15 | 2021-01-01 | 腾讯科技(深圳)有限公司 | 流量控制方法、装置及系统 |
CN112165436B (zh) * | 2020-10-15 | 2024-02-20 | 腾讯科技(深圳)有限公司 | 流量控制方法、装置及系统 |
CN112527524A (zh) * | 2020-12-09 | 2021-03-19 | 北京百度网讯科技有限公司 | 动态限流方法、装置以及电子设备 |
CN112769657A (zh) * | 2020-12-26 | 2021-05-07 | 上海优扬新媒信息技术有限公司 | 一种流量控制方法及装置 |
CN112769657B (zh) * | 2020-12-26 | 2022-07-26 | 度小满科技(北京)有限公司 | 一种流量控制方法及装置 |
CN113094160A (zh) * | 2021-03-22 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 业务调度方法、装置、电子设备和存储介质 |
CN113037862B (zh) * | 2021-03-30 | 2022-07-29 | 北京三快在线科技有限公司 | 业务请求的处理方法、装置、设备及存储介质 |
CN113037862A (zh) * | 2021-03-30 | 2021-06-25 | 北京三快在线科技有限公司 | 业务请求的处理方法、装置、设备及存储介质 |
CN115348157B (zh) * | 2021-05-14 | 2023-09-05 | 中国移动通信集团浙江有限公司 | 分布式存储集群的故障定位方法、装置、设备及存储介质 |
CN115348157A (zh) * | 2021-05-14 | 2022-11-15 | 中国移动通信集团浙江有限公司 | 分布式存储集群的故障定位方法、装置、设备及存储介质 |
CN113438375A (zh) * | 2021-05-24 | 2021-09-24 | 商客通尚景科技(上海)股份有限公司 | 保持坐席状态的方法 |
CN113438375B (zh) * | 2021-05-24 | 2022-09-27 | 商客通尚景科技(上海)股份有限公司 | 保持坐席状态的方法 |
CN113360277A (zh) * | 2021-05-25 | 2021-09-07 | 网银在线(北京)科技有限公司 | 业务请求的流量控制方法及装置 |
CN114124820A (zh) * | 2021-11-15 | 2022-03-01 | 京东科技控股股份有限公司 | 流量控制方法、装置、电子设备及存储介质 |
CN115002225A (zh) * | 2022-05-07 | 2022-09-02 | 阿里巴巴(中国)有限公司 | 一种请求处理方法、装置及可读介质 |
CN115174411A (zh) * | 2022-07-29 | 2022-10-11 | 北京达佳互联信息技术有限公司 | 跨地域带宽的确定方法、装置、设备及存储介质 |
CN115174411B (zh) * | 2022-07-29 | 2024-05-07 | 北京达佳互联信息技术有限公司 | 跨地域带宽的确定方法、装置、设备及存储介质 |
CN115643309A (zh) * | 2022-10-27 | 2023-01-24 | 极道科技(北京)有限公司 | 一种基于请求调度队列长度的动态流控方法和系统 |
CN116016675A (zh) * | 2022-11-29 | 2023-04-25 | 北京奇艺世纪科技有限公司 | 一种服务请求处理方法、装置、网关设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020220739A1 (zh) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110120973A (zh) | 一种请求控制方法、相关设备及计算机存储介质 | |
US11411825B2 (en) | In intelligent autoscale of services | |
CN107872402A (zh) | 全局流量调度的方法、装置及电子设备 | |
JP2022549055A (ja) | ノードの速度制限方法、装置、電子デバイス及び記憶媒体 | |
CN114500339B (zh) | 一种节点带宽监测方法、装置、电子设备及存储介质 | |
US11190581B1 (en) | Job allocation support system and method | |
WO2017151510A1 (en) | A method and device for scheduling resources | |
CN114730277A (zh) | 多租户提取变换加载资源共享 | |
CN113553160A (zh) | 用于人工智能物联网的边缘计算节点任务调度方法及系统 | |
CN112506619A (zh) | 作业处理方法、装置、电子设备、存储介质和程序产品 | |
CN112565391A (zh) | 调整工业互联网平台中实例的方法、装置、设备和介质 | |
CN117785465A (zh) | 一种资源调度方法、装置、设备及存储介质 | |
CN114742237A (zh) | 联邦学习模型聚合方法、装置、电子设备及可读存储介质 | |
CN112468573A (zh) | 数据推送方法、装置、设备及存储介质 | |
CN116382892B (zh) | 一种基于多云融合以及云服务的负载均衡方法及装置 | |
CN112561301A (zh) | 工单分配方法、装置、设备和计算机可读介质 | |
CN112308378A (zh) | 调度设备控制方法、装置、电子设备和计算机可读介质 | |
CN110083485A (zh) | 分流方法、数据服务系统及其前端、存储介质 | |
CN110311810A (zh) | 一种服务器资源配置方法、装置、电子设备及存储介质 | |
CN113626282B (zh) | 云计算物理节点负载监控方法、装置、终端及存储介质 | |
KR20240009915A (ko) | 일괄 처리 주문들에 대한 배달 시간을 예측하기 위한시스템 및 방법 | |
CN108900865A (zh) | 服务器、转码任务的调度方法及执行方法 | |
CN114675973A (zh) | 资源管理方法、设备、存储介质及程序产品 | |
CN116614379B (zh) | 迁移服务的带宽调整方法、装置及相关设备 | |
CN114125066A (zh) | 一种处理业务请求的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220209 Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province Applicant after: Huawei Cloud Computing Technologies Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190813 |
|
RJ01 | Rejection of invention patent application after publication |