CN105335231B - 一种服务端线程的动态分配方法和设备 - Google Patents

一种服务端线程的动态分配方法和设备 Download PDF

Info

Publication number
CN105335231B
CN105335231B CN201410404765.1A CN201410404765A CN105335231B CN 105335231 B CN105335231 B CN 105335231B CN 201410404765 A CN201410404765 A CN 201410404765A CN 105335231 B CN105335231 B CN 105335231B
Authority
CN
China
Prior art keywords
interface
server
time period
request message
threads
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410404765.1A
Other languages
English (en)
Other versions
CN105335231A (zh
Inventor
湛滨瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201410404765.1A priority Critical patent/CN105335231B/zh
Publication of CN105335231A publication Critical patent/CN105335231A/zh
Application granted granted Critical
Publication of CN105335231B publication Critical patent/CN105335231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种服务端线程的动态分配方法和设备,该方法包括:服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量;所述服务器在接收到RPC请求消息之后,确定所述RPC请求消息对应的接口当前已经启动的第二服务端线程数量;如果所述第二服务端线程数量小于所述接口对应的第一服务端线程数量,则所述服务器为所述RPC请求消息启动服务端线程;如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则所述服务器拒绝为所述RPC请求消息启动服务端线程。本申请实施例中,服务器可以合理的为各接口分配服务端线程,最大程度的提高服务端线程的利用率,并实现服务端线程的最优化分配以及服务器性能的最大化。

Description

一种服务端线程的动态分配方法和设备
技术领域
本申请涉及互联网领域,尤其是一种服务端线程的动态分配方法和设备。
背景技术
RPC(Remote Procedure Call,远程过程调用)协议是一种进程之间的通信协议,客户端可以通过RPC协议请求服务器所提供的服务。
具体的,服务器发布一个服务之后,客户端根据调用参数向服务器发送RPC请求消息,服务器在收到RPC请求消息之后,为该RPC请求消息启动一个服务端线程,并通过该服务端线程为客户端提供服务,即服务端线程利用RPC请求消息中携带的调用参数为客户端提供服务,并通过RPC应答消息将服务结果返回给客户端。客户端在收到RPC应答消息后,可以调用相应的服务。
通常情况下,服务器会对外提供多个接口,每个接口对应一个服务,例如,服务器对外提供接口1和接口2,客户端可以通过接口1调用服务器提供的服务1(如订单查询服务),且客户端可以通过接口2调用服务器提供的服务2(如订单支付服务)。进一步的,在同一时间段内,通常会有大量客户端向服务器发送RPC请求消息,即服务器将收到大量的RPC请求消息。基于此,由于服务器上能够分配的服务端线程的数量有限,因此,服务器在收到RPC请求消息后,首先判断本服务器上是否有能够分配的服务端线程;如果有,则为RPC请求消息启动一个服务端线程,并在RPC请求消息被该服务端线程处理完成之后,由服务器释放该服务端线程;如果没有,则直接丢弃RPC请求消息。
在上述方式下,如果接口1对应的接口响应时间很长,而接口2对应的接口响应时间很短,且接口1对应有大量的RPC请求消息,则大量的服务端线程将用于处理接口1对应的RPC请求消息,服务端线程无法被及时释放,继而导致接口2对应的RPC请求消息也无法及时得到处理,即导致接口响应时间很短的接口2也无法分配到更多的服务端线程,其服务端线程的利用率很低。
发明内容
本申请实施例提供一种服务端线程的动态分配方法和设备,以合理的为各接口分配服务端线程,并提高服务端线程的利用率,提高消息处理效率。
本申请实施例提供一种服务端线程的动态分配方法,所述方法包括:
服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量;
所述服务器在接收到远程过程调用RPC请求消息之后,确定所述RPC请求消息对应的接口当前已经启动的第二服务端线程数量;
如果所述第二服务端线程数量小于所述接口对应的第一服务端线程数量,则所述服务器为所述RPC请求消息启动服务端线程;
如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则所述服务器拒绝为所述RPC请求消息启动服务端线程。
所述各接口对应的接口信息具体包括:所述各接口在指定时间段内对应的平均接口响应时间,和/或,所述各接口在指定时间段内对应的RPC请求消息接收数量。
所述服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,具体包括:
所述服务器利用预设第一分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第一分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小时,则所述服务器为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大时,则所述服务器为所述接口分配的第一服务端线程数量越少;或者,
所述服务器利用预设第二分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第二分配策略具体为:当接口在指定时间段内对应的RPC请求消息接收数量越多时,则所述服务器为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的RPC请求消息接收数量越少时,则所述服务器为所述接口分配的第一服务端线程数量越少;或者,
所述服务器利用预设第三分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第三分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小,且所述接口在指定时间段内对应的RPC请求消息接收数量越多时,为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大,且所述接口在指定时间段内对应的RPC请求消息接收数量越少时,为所述接口分配的第一服务端线程数量越少。
当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,具体包括:
所述服务器利用如下公式为接口分配所述接口的第一服务端线程数量:
Figure BDA0000554822450000031
其中,所述N为所述服务器能够分配的服务端线程总数,所述C为所述服务器提供的接口总数,所述Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,所述Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,所述Tn为所述接口在指定时间段内对应的平均接口响应时间,所述Tx为第x个接口在指定时间段内对应的平均接口响应时间。
当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,具体包括:
当服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程时,所述服务器利用如下公式为接口分配所述接口的第一服务端线程数量:
Figure BDA0000554822450000041
其中,N为所述服务器能够分配的服务端线程总数,S为能够竞争的服务端线程的总数量,C为所述服务器提供的接口总数,Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,Tn为所述接口在指定时间段内对应的平均接口响应时间,Tx为第x个接口在指定时间段内对应的平均接口响应时间。
所述方法进一步包括:
当所述服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程,且能够竞争的服务端线程的总数量为S时,如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则所述服务器确定当前已经启动的能够竞争的服务端线程的第三服务端线程数量;
如果所述第三服务端线程数量小于所述S,则所述服务器从能够竞争的服务端线程中为所述RPC请求消息启动服务端线程;如果所述第三服务端线程数量等于所述S,则所述服务器拒绝为所述RPC请求消息启动服务端线程。
本申请实施例提供一种服务器,所述服务器具体包括:
分配模块,用于利用各接口对应的接口信息分配所述各接口对应的第一服务端线程数量;
确定模块,用于在接收到远程过程调用RPC请求消息之后,确定所述RPC请求消息对应的接口当前已经启动的第二服务端线程数量;
处理模块,用于当所述第二服务端线程数量小于所述接口对应的第一服务端线程数量时,则为所述RPC请求消息启动服务端线程;
当所述第二服务端线程数量等于所述接口对应的第一服务端线程数量时,则拒绝为所述RPC请求消息启动服务端线程。
所述各接口对应的接口信息具体包括:所述各接口在指定时间段内对应的平均接口响应时间,和/或,所述各接口在指定时间段内对应的RPC请求消息接收数量。
所述分配模块,具体用于利用预设第一分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第一分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大时,则为所述接口分配的第一服务端线程数量越少;或者,利用预设第二分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第二分配策略具体为:当接口在指定时间段内对应的RPC请求消息接收数量越多时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的RPC请求消息接收数量越少时,则为所述接口分配的第一服务端线程数量越少;或者,利用预设第三分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第三分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小,且所述接口在指定时间段内对应的RPC请求消息接收数量越多时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大,且所述接口在指定时间段内对应的RPC请求消息接收数量越少时,则为所述接口分配的第一服务端线程数量越少。
当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述分配模块,具体用于利用如下公式为接口分配所述接口的第一服务端线程数量:
Figure BDA0000554822450000061
其中,所述N为所述服务器能够分配的服务端线程总数,所述C为所述服务器提供的接口总数,所述Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,所述Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,所述Tn为所述接口在指定时间段内对应的平均接口响应时间,所述Tx为第x个接口在指定时间段内对应的平均接口响应时间。
当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述分配模块,具体用于当服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程时,利用如下公式为接口分配所述接口的第一服务端线程数量:
Figure BDA0000554822450000062
其中,N为所述服务器能够分配的服务端线程总数,S为能够竞争的服务端线程的总数量,C为所述服务器提供的接口总数,Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,Tn为所述接口在指定时间段内对应的平均接口响应时间,Tx为第x个接口在指定时间段内对应的平均接口响应时间。
所述确定模块,还用于当所述服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程,且能够竞争的服务端线程的总数量为S时,如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则确定当前已经启动的能够竞争的服务端线程的第三服务端线程数量;
所述处理模块,进一步用于当所述第三服务端线程数量小于所述S时,从能够竞争的服务端线程中为所述RPC请求消息启动服务端线程;当所述第三服务端线程数量等于所述S时,拒绝为所述RPC请求消息启动服务端线程。
与现有技术相比,本申请实施例至少具有以下优点:本申请实施例中,服务器可以利用各接口对应的接口信息分配各接口的第一服务端线程数量,并在接收到RPC请求消息之后,确定RPC请求消息对应的接口当前已经启动的第二服务端线程数量,如果第二服务端线程数量小于接口对应的第一服务端线程数量,则为RPC请求消息启动服务端线程,如果第二服务端线程数量等于接口对应的第一服务端线程数量,则拒绝为RPC请求消息启动服务端线程。基于上述方式,服务器可以合理的为各接口分配服务端线程,最大程度的提高服务端线程的利用率,并提高消息处理效率,并实现服务端线程的最优化分配以及服务器性能的最大化,并可以解决接口间的隔离性问题,避免了因为一个接口响应慢且请求高时,导致所有接口响应都变慢的问题。
附图说明
为了更加清楚地说明本申请实施例的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请实施例一提供的一种服务端线程的动态分配方法流程图;
图2是本申请实施例二提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一
针对现有技术中存在的问题,本申请实施例一提供一种服务端线程的动态分配方法,该方法应用于包括服务器和多个客户端的系统中,且该系统可以为分布式系统。如图1所示,该服务端线程的动态分配方法包括以下步骤:
步骤101,服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量。其中,各接口对应的接口信息具体包括但不限于:各接口在指定时间段内(如从当前时间之前的第100ms至当前时间)对应的平均接口响应时间,和/或,各接口在指定时间段内对应的RPC请求消息接收数量。
通常情况下,服务器会对外提供多个接口,每个接口对应一个服务,例如,服务器对外提供接口1和接口2,客户端可以通过接口1调用服务器提供的服务1(如订单查询服务),且客户端可以通过接口2调用服务器提供的服务2(如订单支付服务)。基于此,接口1对应的接口信息具体包括但不限于:接口1在指定时间段内对应的平均接口响应时间,和/或,接口1在指定时间段内对应的RPC请求消息接收数量。接口2对应的接口信息具体包括但不限于:接口2在指定时间段内对应的平均接口响应时间,和/或,接口2在指定时间段内对应的RPC请求消息接收数量。例如,在指定时间段内共收到100个客户端通过接口1调用服务器提供的服务2的RPC请求消息,则接口1在指定时间段内对应的RPC请求消息接收数量为100。例如,在指定时间段内共完成50个对应接口1的RPC请求消息的处理,则接口1在指定时间段内对应的平均接口响应时间为这50个RPC请求消息的平均处理时间。
本申请实施例中,服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,具体包括但不限于如下分配方式:
方式一、当各接口对应的接口信息为各接口在指定时间段内对应的平均接口响应时间时,服务器利用预设第一分配策略为各接口分配对应的第一服务端线程数量。其中,预设第一分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小时,服务器为接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大时,服务器为接口分配的第一服务端线程数量越少。基于此,当接口在指定时间段内对应的平均接口响应时间相对于总响应时间越小,分配到的第一服务端线程数量越多。
方式二、当各接口对应的接口信息为各接口在指定时间段内对应的RPC请求消息接收数量时,服务器利用预设第二分配策略为各接口分配对应的第一服务端线程数量。预设第二分配策略为:当接口在指定时间段内对应的RPC请求消息接收数量越多时,服务器为接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的RPC请求消息接收数量越少时,服务器为接口分配的第一服务端线程数量越少。基于此,当接口在指定时间段内对应的RPC请求消息接收数量相对于总请求数越多,分配到的第一服务端线程数量越多。
方式三、当各接口对应的接口信息具体为各接口在指定时间段内对应的平均接口响应时间,以及,各接口在指定时间段内对应的RPC请求消息接收数量时,则服务器利用预设第三分配策略为各接口分配对应的第一服务端线程数量。其中,预设第三分配策略具体包括但不限于:当接口在指定时间段内对应的平均接口响应时间越小,且该接口在指定时间段内对应的RPC请求消息接收数量越多时,则服务器为接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大,且该接口在指定时间段内对应的RPC请求消息接收数量越少时,则服务器为接口分配的第一服务端线程数量越少。基于此,当接口在指定时间段内对应的平均接口响应时间相对于总响应时间越小,且接口在指定时间段内对应的RPC请求消息接收数量相对于总请求数越多,则分配到的第一服务端线程数量越多。
本申请实施例中,当各接口对应的接口信息具体为:各接口在指定时间段内对应的平均接口响应时间以及各接口在指定时间段内对应的RPC请求消息接收数量时(即针对方式三),服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,还具体包括但不限于如下方式:
服务器利用如下公式为接口(如接口1)分配接口的第一服务端线程数量:
Figure BDA0000554822450000101
其中,N为服务器能够分配的服务端线程总数(如服务器提供服务端线程总数200),C为服务器提供的接口总数,Rn为接口(如接口1)在指定时间段内对应的RPC请求消息接收数量,Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,Tn为接口(如接口1)在指定时间段内对应的平均接口响应时间,Tx为第x个接口在指定时间段内对应的平均接口响应时间。
假设接口1在指定时间段内对应的平均接口响应时间小于接口2在指定时间段内对应的平均接口响应时间,则服务器可以为接口1分配第一服务端线程数量为150,且服务器可以为接口2分配第一服务端线程数量为50。
步骤102,服务器在接收到来自客户端的RPC请求消息之后,确定该RPC请求消息对应的接口当前已经启动的第二服务端线程数量。
具体的,服务器在发布一个服务之后,客户端可以根据调用参数向服务器发送RPC请求消息,且在同一时间段内,通常会有大量客户端向服务器发送RPC请求消息,即服务器将收到大量的RPC请求消息。服务器在收到RPC请求消息之后,针对每个RPC请求消息,服务器确定该RPC请求消息对应的接口当前已经启动的第二服务端线程数量。例如,如果RPC请求消息为客户端通过接口1调用服务器提供的服务1的RPC请求消息,则该RPC请求消息对应的接口为接口1,服务器确定接口1当前已经启动的第二服务端线程数量。
例如,服务器上已经启动的服务端线程为150个,且150个服务端线程中有100个服务端线程正在利用接口1对应的RPC请求消息中携带的调用参数为客户端提供服务,则接口1当前已经启动的第二服务端线程数量为100。
步骤103,服务器比较第二服务端线程数量与接口(即RPC请求消息对应的接口)对应的第一服务端线程数量(步骤101中分配);如果第二服务端线程数量小于该接口对应的第一服务端线程数量,则执行步骤104;如果第二服务端线程数量等于该接口对应的第一服务端线程数量,则执行步骤105。
步骤104,服务器为RPC请求消息启动服务端线程。
具体的,服务器为RPC请求消息启动一个服务端线程,并通过该服务端线程为客户端提供服务,即该服务端线程利用RPC请求消息中携带的调用参数为客户端提供服务,并通过RPC应答消息将服务结果返回给客户端。客户端在收到RPC应答消息后,可以调用相应的服务。进一步的,在RPC请求消息被该服务端线程处理完成之后,可以由服务器释放该服务端线程。
步骤105,服务器拒绝为RPC请求消息启动服务端线程。
具体的,服务器直接丢弃RPC请求消息,而不再为该RPC请求消息启动服务端线程。进一步的,客户端在预设时间内没有收到RPC应答消息时,会重新向服务器发送RPC请求消息,后续处理与上述流程类似,在此不再赘述。
综上所述,本申请实施例至少具有以下优点:本申请实施例中,服务器可以利用各接口对应的接口信息分配各接口的第一服务端线程数量,并在接收到RPC请求消息之后,确定RPC请求消息对应的接口当前已经启动的第二服务端线程数量,如果第二服务端线程数量小于接口对应的第一服务端线程数量,则为RPC请求消息启动服务端线程,如果第二服务端线程数量等于接口对应的第一服务端线程数量,则拒绝为RPC请求消息启动服务端线程。基于上述方式,服务器可以合理的为各接口分配服务端线程,最大程度的提高服务端线程的利用率,并提高消息处理效率,并实现服务端线程的最优化分配以及服务器性能的最大化,并可以解决接口间的隔离性问题,避免了因为一个接口响应慢且请求高时,导致所有接口响应都变慢的问题。
本申请实施例中,当服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程时,例如,能够分配的服务端线程为200个,且服务器从200个服务端线程中选取出40个服务端线程作为各接口能够竞争的服务端线程,则本申请实施例中提出的服务端线程的动态分配方法还包括以下过程:
针对步骤101,当各接口对应的接口信息具体为:各接口在指定时间段内对应的平均接口响应时间以及各接口在指定时间段内对应的RPC请求消息接收数量时(即针对方式三),服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,还具体包括但不限于如下方式:
服务器利用如下公式为接口(如接口1)分配接口的第一服务端线程数量:
Figure BDA0000554822450000121
其中,N为服务器能够分配的服务端线程总数(如服务器提供服务端线程总数200),S为能够竞争的服务端线程的总数量(能够竞争的服务端线程的总数量40),C为服务器提供的接口总数,Rn为接口(如接口1)在指定时间段内对应的RPC请求消息接收数量,Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,Tn为接口(如接口1)在指定时间段内对应的平均接口响应时间,Tx为第x个接口在指定时间段内对应的平均接口响应时间。
例如,设N为200,S为40,C为2,R1为接口1在指定时间段内对应的RPC请求消息接收数量(100),R1为接口2在指定时间段内对应的RPC请求消息接收数量(1000),T1为接口1在指定时间段内对应的平均接口响应时间(100ms),T2为接口2在指定时间段内对应的平均接口响应时间(50ms)。
服务器在利用上述公式为接口1分配接口1的第一服务端线程数量时,接口1的第一服务端线程数量为:[(200-40)/2]*[100/(100+1000)+1-100/(100+50)],即接口1的第一服务端线程数量为34(对计算值四舍五入)。
服务器在利用上述公式为接口2分配接口2的第一服务端线程数量时,接口2的第一服务端线程数量为:[(200-40)/2]*[1000/(100+1000)+1-50/(100+50)],即接口2的第一服务端线程数量为126(对计算值四舍五入)。
进一步的,当服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程,且能够竞争的服务端线程的总数量为S时,则针对步骤103,服务器在比较第二服务端线程数量与接口对应的第一服务端线程数量之后,如果第二服务端线程数量等于接口对应的第一服务端线程数量,则服务器不执行步骤105,而是由服务器确定当前已经启动的能够竞争的服务端线程的第三服务端线程数量。进一步的,如果第三服务端线程数量小于S,则服务器直接从能够竞争的服务端线程中为RPC请求消息启动服务端线程;如果第三服务端线程数量等于S,则服务器进一步拒绝为RPC请求消息启动服务端线程。
基于上述技术方案,本申请实施例至少具有以下优点:本发明实施例中,通过设置服务端线程竞争区域(如40个服务端线程),实现在给接口动态分配服务端线程的同时,保留接口之间通过资源竞争实现服务端线程的合理分配,并可以通过服务端线程竞争区域的占用量来动态监控服务器的健康状况。如果服务端线程竞争区域使用过半,则说明此时服务器的负载已经过高,可以考虑通过增加服务器或其它方式来降低单台服务器的负载。
实施例二
基于与上述方法同样的申请构思,本申请实施例中还提供了一种服务器,如图2所示,所述服务器具体包括:分配模块11,用于利用各接口对应的接口信息分配所述各接口对应的第一服务端线程数量;确定模块12,用于在接收到远程过程调用RPC请求消息之后,确定所述RPC请求消息对应的接口当前已经启动的第二服务端线程数量;处理模块13,用于当所述第二服务端线程数量小于所述接口对应的第一服务端线程数量时,则为所述RPC请求消息启动服务端线程;当所述第二服务端线程数量等于所述接口对应的第一服务端线程数量时,则拒绝为所述RPC请求消息启动服务端线程。
本申请实施例中,所述各接口对应的接口信息具体包括:所述各接口在指定时间段内对应的平均接口响应时间,和/或,所述各接口在指定时间段内对应的RPC请求消息接收数量。
所述分配模块11,具体用于利用预设第一分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第一分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大时,则为所述接口分配的第一服务端线程数量越少;或者,利用预设第二分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第二分配策略具体为:当接口在指定时间段内对应的RPC请求消息接收数量越多时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的RPC请求消息接收数量越少时,则为所述接口分配的第一服务端线程数量越少;或者,利用预设第三分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第三分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小,且所述接口在指定时间段内对应的RPC请求消息接收数量越多时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大,且所述接口在指定时间段内对应的RPC请求消息接收数量越少时,则为所述接口分配的第一服务端线程数量越少。
本申请实施例中,当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述分配模块11,具体用于利用如下公式为接口分配所述接口的第一服务端线程数量:
其中,所述N为所述服务器能够分配的服务端线程总数,所述C为所述服务器提供的接口总数,所述Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,所述Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,所述Tn为所述接口在指定时间段内对应的平均接口响应时间,所述Tx为第x个接口在指定时间段内对应的平均接口响应时间。
本申请实施例中,当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述分配模块11,具体用于当服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程时,利用如下公式为接口分配所述接口的第一服务端线程数量:
Figure BDA0000554822450000152
其中,N为所述服务器能够分配的服务端线程总数,S为能够竞争的服务端线程的总数量,C为所述服务器提供的接口总数,Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,Tn为所述接口在指定时间段内对应的平均接口响应时间,Tx为第x个接口在指定时间段内对应的平均接口响应时间。
所述确定模块12,还用于当所述服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程,且能够竞争的服务端线程的总数量为S时,如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则确定当前已经启动的能够竞争的服务端线程的第三服务端线程数量;
所述处理模块13,进一步用于当所述第三服务端线程数量小于所述S时,从能够竞争的服务端线程中为所述RPC请求消息启动服务端线程;当所述第三服务端线程数量等于所述S时,拒绝为所述RPC请求消息启动服务端线程。
其中,本申请装置的各个模块可以集成于一体,也可以分离部署。上述模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。本领域技术人员可以理解附图只是一个优选实施例的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中,也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。以上公开的仅为本申请的几个具体实施例,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (8)

1.一种服务端线程的动态分配方法,其特征在于,所述方法包括:
服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量;
所述服务器在接收到远程过程调用RPC请求消息之后,确定所述RPC请求消息对应的接口当前已经启动的第二服务端线程数量;
如果所述第二服务端线程数量小于所述接口对应的第一服务端线程数量,则所述服务器为所述RPC请求消息启动服务端线程;
如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则所述服务器拒绝为所述RPC请求消息启动服务端线程;
其中,所述各接口对应的接口信息具体包括:所述各接口在指定时间段内对应的平均接口响应时间,和/或,所述各接口在指定时间段内对应的RPC请求消息接收数量;
当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,具体包括:
所述服务器利用如下公式为接口分配所述接口的第一服务端线程数量:
Figure FDA0002172125050000011
其中,所述N为所述服务器能够分配的服务端线程总数,所述C为所述服务器提供的接口总数,所述Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,所述Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,所述Tn为所述接口在指定时间段内对应的平均接口响应时间,所述Tx为第x个接口在指定时间段内对应的平均接口响应时间。
2.如权利要求1所述的方法,其特征在于,所述服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,具体包括:
所述服务器利用预设第一分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第一分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小时,则所述服务器为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大时,则所述服务器为所述接口分配的第一服务端线程数量越少;或者,
所述服务器利用预设第二分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第二分配策略具体为:当接口在指定时间段内对应的RPC请求消息接收数量越多时,则所述服务器为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的RPC请求消息接收数量越少时,则所述服务器为所述接口分配的第一服务端线程数量越少;或者,
所述服务器利用预设第三分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第三分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小,且所述接口在指定时间段内对应的RPC请求消息接收数量越多时,为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大,且所述接口在指定时间段内对应的RPC请求消息接收数量越少时,为所述接口分配的第一服务端线程数量越少。
3.如权利要求1所述的方法,其特征在于,当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述服务器利用各接口对应的接口信息分配各接口的第一服务端线程数量的过程,具体包括:
当服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程时,所述服务器利用如下公式为接口分配所述接口的第一服务端线程数量:
其中,N为所述服务器能够分配的服务端线程总数,S为能够竞争的服务端线程的总数量,C为所述服务器提供的接口总数,Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,Tn为所述接口在指定时间段内对应的平均接口响应时间,Tx为第x个接口在指定时间段内对应的平均接口响应时间。
4.如权利要求1所述的方法,其特征在于,所述方法进一步包括:
当所述服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程,且能够竞争的服务端线程的总数量为S时,如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则所述服务器确定当前已经启动的能够竞争的服务端线程的第三服务端线程数量;
如果所述第三服务端线程数量小于所述S,则所述服务器从能够竞争的服务端线程中为所述RPC请求消息启动服务端线程;如果所述第三服务端线程数量等于所述S,则所述服务器拒绝为所述RPC请求消息启动服务端线程。
5.一种服务器,其特征在于,所述服务器具体包括:
分配模块,用于利用各接口对应的接口信息分配所述各接口对应的第一服务端线程数量;
确定模块,用于在接收到远程过程调用RPC请求消息之后,确定所述RPC请求消息对应的接口当前已经启动的第二服务端线程数量;
处理模块,用于当所述第二服务端线程数量小于所述接口对应的第一服务端线程数量时,则为所述RPC请求消息启动服务端线程;
当所述第二服务端线程数量等于所述接口对应的第一服务端线程数量时,则拒绝为所述RPC请求消息启动服务端线程;
其中,所述各接口对应的接口信息具体包括:所述各接口在指定时间段内对应的平均接口响应时间,和/或,所述各接口在指定时间段内对应的RPC请求消息接收数量;
当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述分配模块,具体用于利用如下公式为接口分配所述接口的第一服务端线程数量:
Figure FDA0002172125050000041
其中,所述N为所述服务器能够分配的服务端线程总数,所述C为所述服务器提供的接口总数,所述Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,所述Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,所述Tn为所述接口在指定时间段内对应的平均接口响应时间,所述Tx为第x个接口在指定时间段内对应的平均接口响应时间。
6.如权利要求5所述的服务器,其特征在于,
所述分配模块,具体用于利用预设第一分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第一分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大时,则为所述接口分配的第一服务端线程数量越少;或者,利用预设第二分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第二分配策略具体为:当接口在指定时间段内对应的RPC请求消息接收数量越多时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的RPC请求消息接收数量越少时,则为所述接口分配的第一服务端线程数量越少;或者,利用预设第三分配策略为各接口分配对应的第一服务端线程数量;其中,所述预设第三分配策略具体为:当接口在指定时间段内对应的平均接口响应时间越小,且所述接口在指定时间段内对应的RPC请求消息接收数量越多时,则为所述接口分配的第一服务端线程数量越多;当接口在指定时间段内对应的平均接口响应时间越大,且所述接口在指定时间段内对应的RPC请求消息接收数量越少时,则为所述接口分配的第一服务端线程数量越少。
7.如权利要求5所述的服务器,其特征在于,当所述各接口对应的接口信息具体为:所述各接口在指定时间段内对应的平均接口响应时间以及所述各接口在指定时间段内对应的RPC请求消息接收数量时,所述分配模块,具体用于当服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程时,利用如下公式为接口分配所述接口的第一服务端线程数量:
其中,N为所述服务器能够分配的服务端线程总数,S为能够竞争的服务端线程的总数量,C为所述服务器提供的接口总数,Rn为所述接口在指定时间段内对应的RPC请求消息接收数量,Rx为第x个接口在指定时间段内对应的RPC请求消息接收数量,Tn为所述接口在指定时间段内对应的平均接口响应时间,Tx为第x个接口在指定时间段内对应的平均接口响应时间。
8.如权利要求5所述的服务器,其特征在于,
所述确定模块,还用于当所述服务器从能够分配的服务端线程中为各接口分配能够竞争的服务端线程,且能够竞争的服务端线程的总数量为S时,如果所述第二服务端线程数量等于所述接口对应的第一服务端线程数量,则确定当前已经启动的能够竞争的服务端线程的第三服务端线程数量;
所述处理模块,进一步用于当所述第三服务端线程数量小于所述S时,从能够竞争的服务端线程中为所述RPC请求消息启动服务端线程;当所述第三服务端线程数量等于所述S时,拒绝为所述RPC请求消息启动服务端线程。
CN201410404765.1A 2014-08-15 2014-08-15 一种服务端线程的动态分配方法和设备 Active CN105335231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410404765.1A CN105335231B (zh) 2014-08-15 2014-08-15 一种服务端线程的动态分配方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410404765.1A CN105335231B (zh) 2014-08-15 2014-08-15 一种服务端线程的动态分配方法和设备

Publications (2)

Publication Number Publication Date
CN105335231A CN105335231A (zh) 2016-02-17
CN105335231B true CN105335231B (zh) 2020-01-31

Family

ID=55285786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410404765.1A Active CN105335231B (zh) 2014-08-15 2014-08-15 一种服务端线程的动态分配方法和设备

Country Status (1)

Country Link
CN (1) CN105335231B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402810B (zh) * 2016-05-20 2020-07-14 阿里巴巴集团控股有限公司 线程分配方法及装置
CN108153584B (zh) * 2016-12-02 2021-11-09 百度在线网络技术(北京)有限公司 一种用于确定目标网络设备需分配的线程数的方法与设备
CN107678861B (zh) * 2017-10-16 2020-11-24 广州酷狗计算机科技有限公司 处理功能执行请求的方法和装置
CN109117280B (zh) * 2018-06-29 2020-10-02 Oppo(重庆)智能科技有限公司 电子装置及其限制进程间通信的方法、存储介质
CN109032813B (zh) * 2018-06-29 2021-01-26 Oppo(重庆)智能科技有限公司 一种移动终端及其进程间通信的限制方法、存储介质
CN109062706B (zh) * 2018-06-29 2021-03-05 Oppo(重庆)智能科技有限公司 电子装置及其限制进程间通信的方法、存储介质
CN109343955B (zh) * 2018-09-14 2021-03-16 阿里巴巴(中国)有限公司 推荐服务调用方法、介质、装置和计算设备
CN112631770A (zh) * 2020-12-18 2021-04-09 平安普惠企业管理有限公司 服务接口资源隔离配置方法、装置及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938396A (zh) * 2009-06-30 2011-01-05 华为技术有限公司 数据流控制方法及装置
CN102393822A (zh) * 2011-11-30 2012-03-28 中国工商银行股份有限公司 批量调度系统及方法
CN102594891A (zh) * 2012-02-17 2012-07-18 中国科学院计算技术研究所 用于处理远程过程调用请求的方法及系统
CN103516536A (zh) * 2012-06-26 2014-01-15 重庆新媒农信科技有限公司 基于线程数量限制的服务器业务请求并行处理方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7363369B2 (en) * 2003-10-16 2008-04-22 International Business Machines Corporation Monitoring thread usage to dynamically control a thread pool

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938396A (zh) * 2009-06-30 2011-01-05 华为技术有限公司 数据流控制方法及装置
CN102393822A (zh) * 2011-11-30 2012-03-28 中国工商银行股份有限公司 批量调度系统及方法
CN102594891A (zh) * 2012-02-17 2012-07-18 中国科学院计算技术研究所 用于处理远程过程调用请求的方法及系统
CN103516536A (zh) * 2012-06-26 2014-01-15 重庆新媒农信科技有限公司 基于线程数量限制的服务器业务请求并行处理方法及系统

Also Published As

Publication number Publication date
CN105335231A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN105335231B (zh) 一种服务端线程的动态分配方法和设备
CN107800768B (zh) 开放平台控制方法和系统
CN105897836A (zh) 一种回源请求处理方法及装置
EP3547625B1 (en) Method and system for sending request for acquiring data resource
CN110958281B (zh) 基于物联网的数据传输方法及通信装置
CN110995617B (zh) 基于mqtt的数据报送方法、装置、计算机设备和存储介质
CN106648900B (zh) 基于智能电视的超算方法及系统
CN111651246A (zh) 终端和服务器之间的任务调度方法、装置和调度器
WO2016188282A1 (zh) 一种消息处理方法、装置及系统
CN112134964B (zh) 控制器分配方法、计算机设备、存储介质及网络业务系统
CN105262826A (zh) 接口处理数量的调整方法及系统
CN111506443A (zh) 服务调用方法、装置、设备和存储介质
CN110007867B (zh) 一种缓存空间分配方法、装置、设备及存储介质
EP3672203A1 (en) Distribution method for distributed data computing, device, server and storage medium
CN108965364B (zh) 资源配置方法、装置及系统
CN117354312A (zh) 访问请求处理方法、装置、系统、计算机设备和存储介质
CN111209098A (zh) 一种智能渲染调度方法、服务器、管理节点及存储介质
CN112188500A (zh) 一种频谱资源动态分配方法及装置
CN114168312A (zh) 一种分布式集群负载均衡方法、装置及存储介质
CN109995577B (zh) 一种更新策略的方法、装置及系统
EP2159985A1 (en) Method, apparatus and system for scheduling contents
CN114490071A (zh) 一种基于云游戏的资源调度方法、装置、设备及介质
CN112118634B (zh) 通信方法、装置、系统以及基站和终端
CN111309467A (zh) 任务分发方法及装置、电子设备及存储介质
CN112243101A (zh) 一种视频组呼方法及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201009

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right