CN112783639B - 一种应用于服务重启后的流量调度方法和装置 - Google Patents

Abstract

本发明公开了一种应用于服务重启后的流量调度方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：调用后端应用的接口，获取所述后端应用的重启时间点；若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；获取流量分发总占比与所述流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比。该实施方式提供一种基于接入层高并发流量情况下，通过弹性流量调度和弹性自动失败机制，缓解后端应用重启问题的方法。通过在接入层进行后端应用存活探测，保证服务最大化可用。

Description

一种应用于服务重启后的流量调度方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种应用于服务重启后的流量调度方法和装置。

背景技术

在电商平台业务的发展期间，经常会因为系统设计不完善，导致并发流量过大引发系统不可用的情况。现有通常先重启系统以临时恢复服务，但是重启后仍然持续的高并发流量还会导致系统不可用，因此服务恢复后还需尽早定位问题或瓶颈所在，然后进行优化升级。

在实现本发明的过程中，发明人发现现有技术至少存在如下问题：

1、Java语言是解释性语言，所以其代码最终编译后不是本地代码，而是二进制字节码，需要通过解释器解释执行。因此对Java代码的执行速度较慢，导致高并发流量下重启完系统还是不可用；

2、为提高热代码的执行效率，在系统运行时(虚拟机)会将其编译为与本地平台相关的机器码。但热代码是在系统启动一段时间后才发现的，这段时间内Java后端应用的执行速度仍较慢；

3、系统重启会导致Java后端应用与数据库重新建立链接。当重启速度过快过多时，会导致数据库的连接被频繁建立和释放，从而出现数据库的连接用尽、数据库无法连接的问题，最终导致Java后端应用不可用；

4、对于用户而言，高并发情况下系统需要经常重启，而当系统重启失败会导致长时间的无反应，引发用户流失的问题。

发明内容

有鉴于此，本发明实施例提供一种应用于服务重启后的流量调度方法和装置，至少能够解决现有技术中高并发情况下服务提供不理想的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种应用于服务重启后的流量调度方法，包括：

调用后端应用的接口，获取所述后端应用的重启时间点；

若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

获取流量分发总占比与所述流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比。

可选的，所述接口还用于获取所述后端应用的重启时长；

在所述确定所述后端应用的流量分发占比之后，还包括：若所述重启时长大于或等于预定时长，则利用预定衰减比例对所述流量分发占比进行衰减，得到衰减后的第一流量分发占比。

可选的，在所述确定所述后端应用的流量分发占比之后，还包括：在所述后端应用运行的过程中，按照预定递增速率对所述流量分发占比进行递增处理，得到递增后的第二流量分发占比。

可选的，在所述得到各个剩余后端应用的流量分发占比之后，还包括：

接收请求，根据预定历史时长内各个后端应用处理请求的总量和失败量，确定所有后端应用处理请求的总成功率；

若所述总成功率小于预定成功率，则将预定比例的请求确定为处理失败并返回；

对于剩余请求，按照各个后端应用的流量分发占比进行请求分发，得到各个后端应用的请求分发量。

可选的，还包括：通过端口探测方式对后端应用进行探测，将探测结果为端口不通的后端应用确定不可用后端应用，并从后端应用集群中剔除所述不可用后端应用。

为实现上述目的，根据本发明实施例的另一方面，提供了一种应用于服务重启后的流量调度装置，包括：

获取模块，用于调用后端应用的接口，获取所述后端应用的重启时间点；

确定模块，用于若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

均衡模块，用于获取流量分发总占比与所述流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比。

可选的，所述接口还用于获取所述后端应用的重启时长；

所述确定模块，还用于：若所述重启时长大于或等于预定时长，则利用预定衰减比例对所述流量分发占比进行衰减，得到衰减后的第一流量分发占比。

可选的，所述确定模块，还用于：在所述后端应用运行的过程中，按照预定递增速率对所述流量分发占比进行递增处理，得到递增后的第二流量分发占比。

可选的，还包括分发模块，用于：

接收请求，根据预定历史时长内各个后端应用处理请求的总量和失败量，确定所有后端应用处理请求的总成功率；

若所述总成功率小于预定成功率，则将预定比例的请求确定为处理失败并返回；

对于剩余请求，按照各个后端应用的流量分发占比进行请求分发，得到各个后端应用的请求分发量。

可选的，还包括探测模块，用于：通过端口探测方式对后端应用进行探测，将探测结果为端口不通的后端应用确定不可用后端应用，并从后端应用集群中剔除所述不可用后端应用。

为实现上述目的，根据本发明实施例的再一方面，提供了一种应用于服务重启后的流量调度电子设备。

本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的应用于服务重启后的流量调度方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的应用于服务重启后的流量调度方法。

根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：提供一种基于接入层高并发流量情况下，通过弹性流量调度和弹性自动失败机制缓解Java后端应用重启问题的方法。通过在接入层进行Java后端应用存活探测，启动时流量调度、大流量情况下自动失败等策略保证服务最大化可用。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种应用于服务重启后的流量调度方法的主要流程示意图；

图2是本发明实施例的组成部分示意图；

图3根据本发明实施例的一种可选的应用于服务重启后的流量调度方法的流程示意图；

图4是根据本发明实施例的另一种可选的应用于服务重启后的流量调度方法的流程示意图；

图5是根据本发明实施例的一种具体地应用于服务重启后的流量调度方法的流程示意图；

图6是根据本发明实施例的一种应用于服务重启后的流量调度装置的主要模块示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

对于本发明所涉及的词语，做解释如下：

解释性语言：计算机不能直接理解任何除机器语言以外的语言，所以必须要把程序员所写的程序语言翻译成机器语言，计算机才能执行程序。

热代码：当发现某个方法或代码块运行较为频繁时，会将这些代码认定为热代码。

吞吐量：指系统在单位时间内处理请求的数量。

参见图1，示出的是本发明实施例提供的一种应用于服务重启后的流量调度方法的主要流程图，包括如下步骤：

S101：调用后端应用的接口，获取所述后端应用的重启时间点；

S102：若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

S103：获取流量分发总占比与所述流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比。

本发明主要有两部分组成：Nginx接入层和Java后端应用，具体参见图2所示。Nginx接入层用以接收所有用户的请求，并在确定处理该请求的Java后端应用后，将该请求转发转移该Java后端应用。

需要说明的是，本发明实施例不限于适用Java后端应用，但考虑到重启问题分析通常是从Java语言的原理入手的，因此本发明主要针对Nginx进行说明。

上述实施方式中，对于步骤S101，本发明主要针对于重启后Java后端应用的流量分配。

Nginx接入层调用Java后端应用的一个http接口，用以获取该Java后端应用的重启时间点。这里的http接口，可以是在开发Java后端应用过程中专门设置的，用以记录并返回Java后端应用的重启时间点，与该Java后端应用相应的服务启动时也需要编写代码记录这个时间点。

对于步骤S102，考虑刚重启的Java后端应用，其Java代码执行效率相对于稳定运行的Java后端应用稍慢，为提高请求处理效率，可以适量减少对刚重启Java后端应用的请求分发量。

对于Java后端应用是否刚重启的判断，主要是确定其重启时间点与当前时间点的时间差是否在预定范围内，例如最近10s内重启。

假若当前有N个Java后端应用可用，对于刚重启Java后端应用的流量分配占比确定方式：

1、先按照负载均衡方式分配，之后再根据Java后端应用是否重启分配；其中，如果按照默认的轮询方式做负载均衡，每个Java后端应用所分发到的流量相同(流量/N)且占比为100％

1)按照(1/N*100)％流量进行分发，且所有占比之和为Java后端应用的总数量

①若仅有2台服务器、且Java后端应用1刚刚重启，则Java后端应用1只按照原流量的50％分发；假若请求量共1200个，负载均衡的分配量为600个，则分配至Java后端应用1的请求量为50％*600＝300个。

②若当前有3台服务器，则Java后端应用1按照原流量的33.3％分发；假若请求量共1200个，负载均衡的分配量为1200/3＝400个，此时分配至Java后端应用1的请求量为33.3％*400＝132个。

2)按照[1/(lnN+1)]*100％流量进行分发

当N数值较大时，1/N接近0，可以选用取对数方式避免该情况。整个系统第一次启动时不按照重启时间做流量衰减，可只按照Nginx正常的负载均衡策略转发。

2、不考虑负载均衡方式，直接按照1/(N*N)确定占比，且所有占比之和为1

以上述①为例，刚重启Java后端应用的流量分发占比实际为1/(2*2)＝25％，且请求分配量为1200*25％＝300个，计算结果相同。

对于步骤S103，在确定刚重启Java后端应用的流量分发占比后，对于剩余Java后端应用的流量分发占比确定，可以采用负载均衡方式实现工作压力均衡化。同样以上述①②方式：

①Java后端应用2多分担50％流量，呈现分担原流量的150％，即为(100％+50％)*600＝900个请求量；

②剩余2台服务器各自多分担33.3％，即各自在原流量的基础上分担133.3％的流量，即为(100％+33.3％)*400＝534个请求量。

以上方式基于所有Java后端应用的流量分配占比和为Java后端应用总数量，例如2/3。除了上述计算方式外，还可以基于占比和为1进行计算，同样以上述①②方式为例：

①Java后端应用1的流量分发占比为1/(2*2)＝25％，则Java后端应用2的流量分发占比为1-25％＝75％，且所分配的请求量为1200*75％＝900个，计算结果与上述方式相同；

②Java后端应用1的流量分发占比为1/(3*3)＝11.1％，则剩余Java后端应用各自的流量分发占比为(1-11.1％)/2＝44.45％，且所分配的请求量均为1200*44.45％＝533，计算结果与上述方式相同。

上述实施例所提供的方法，在接入层高并发流量的情况下，通过对Java后端应用重启时间点的判断进行弹性流量调度，实现对Java后端应用的流量控制，保障了Java后端应用重启处理请求时能更加平稳和安全。

参见图3，示出了根据本发明实施例的一种可选的应用于服务重启后的流量调度方法流程示意图，包括如下步骤：

S301：调用后端应用的接口，获取所述后端应用的重启时间点和重启时长；

S302：若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

S303：若所述重启时长大于或等于预定时长，则利用预定衰减比例对所述流量分发占比进行衰减，得到衰减后的第一流量分发占比；

S304：在所述后端应用运行的过程中，按照预定递增速率对所述第一流量分发占比进行递增处理，得到递增后的第二流量分发占比；

S305：获取流量分发总占比与所述第二流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比。

上述实施方式中，对于步骤S302可参见图1所示步骤S102的描述，在此不再赘述。

上述实施方式中，对于步骤S301和S303，http接口除了用于获取Java后端应用的重启时间点之外，还可以获取其重启时长。如果重启时长大于或等于预定时长，则在所确定的流量分发占比的基础上再衰减一定比例。

例如，重启时长大于1分钟：

1)第一种(1/N*100)％方式：在原50％的基础上再衰减10％，即(1-10％)*50％＝45％，对于1200个请求总量，其负载均衡的分配量为600个，衰减后则为45％*600＝270个；

2)第二种1/(N*N)方式：在25％的基础上再衰减10％，即(1-10％)*25％＝22.5％，对于1200个请求总量，所分配的请求量同样为270个。

对于步骤S304，对于刚重启的Java后端应用，在其处理请求/运行的过程中，其Java代码的执行效率逐渐提升并趋近于稳定运行的Java代码执行效率。

若继续使用原确定的流量分发占比或第一流量分发占比，对于该Java后端应用可能出现“空闲”，而其他Java后端应用处理压力较大的情况，为此可以将原分配至其他Java后端应用的流量，按照一定比例逐渐返回给该Java后端应用。

例如共有2个Java后端应用和1200个请求量，按照每10s递增20％流量进行增加：

1)第一种(1/N*100)％方式：第一次递增后的流量分发占比为(1+20％)*50％＝60％、第二次递增后的流量分发占比为(1+20％)*60％＝72％，所分配的请求量分别为360和432个；

2)第二种1/(N*N)方式：第一次递增后的流量分发占比为(1+20％)*25％＝30％、第二次递增后的流量分发占比为(1+20％)*30％＝36％，所分配的请求量同样为360和432个。

对于步骤S305，在Java后端应用的流量分配占比逐渐递增后，剩余Java后端应用的流量分别占比会逐渐递减，但总数量仍为Java后端应用的总数量或1(两种不同计算方式)。

例如共有2个Java后端应用和1200个请求量，Java后端应用1刚重启时，按照25％的占比进行300个请求分发，占比第一次递增后分发量为360，占比第二次递增后分发量为432，相应Java后端应用2的分配占比为75％、70％、66％，相应请求分发量则为900、840、780。

上述实施例所提供的方法，除了Java后端应用的重启时间点外，还可以考虑其重启时长、运行时长，以弹性调整流量分发占比，保障了Java后端应用重启处理请求时能更加平稳和安全，保证服务效率最大化。

参见图4，示出了根据本发明实施例的另一种可选的应用于服务重启后的流量调度方法流程示意图，包括如下步骤：

S401：调用后端应用的接口，获取所述后端应用的重启时间点；

S402：若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

S403：获取流量分发总占比与所述流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比；

S404：接收请求，根据预定历史时长内各个后端应用处理请求的总量和失败量，确定所有后端应用处理请求的总成功率；

S405：若所述总成功率小于预定成功率，则将预定比例的请求确定为处理失败并返回；

S406：对于剩余请求，按照各个后端应用的流量分发占比进行请求分发，得到各个后端应用的请求分发量。

上述实施方式中，对于步骤S401～S403可参见图1所示步骤S101～S103的描述，在此不再赘述。

上述实施方式中，对于步骤S404，Nginx会建立两个滑动窗口：

1)其中一个记录最近一定时长内(例如10s)，每个Java后端应用的吞吐量，如QPS(Queries Per Second，每秒查询率)；

2)另一个记录该时长内每个Java后端应用处理失败的请求量；

3)将两个滑动窗口所得数据进行对比，可以算出所有Java后端应用处理请求的总成功率/总失败率。

假若有4个Java后端应用，10s内的吞吐量分别为100/200/100/150个，处理失败的请求量分别为20/30/40/50个，则所有Java后端应用处理请求的总成功率为：1-(20+30+40+50)/(100+200+100+150)＝74.5％。

对于步骤S405，当该预定时长内所有Java后端应用处理请求的总成功率低于一定阈值(例如90％)，此时会随机将一定比例的请求直接返回失败。例如，总成功率低于90％时，将5％的请求确认为处理失败。

在Java后端应用处理请求的过程中，Nginx接入层周期性检测所有Java后端应用的总成功率，每当成功率再降低一定值，则继续将一定比例的请求直接返回失败，以弹性保护Java后端应用。例如，每当成功率再降10％，系统随机再追加5％请求直接失败返回。

对于步骤S406，在得到所需处理的请求总量以及各个Java后端应用对请求的分发占比后，可以确定对各个Java后端应用的请求分发量。例如1200*25％＝300个。

上述实施例所提供的方法，在后端应用总成功率较低时，可以按照一定比例将部分请求直接返回失败，以防止因流量过大导致系统不可用的情况。

参见图5，示出了根据本发明实施例的一具体地应用于服务重启后的流量调度方法流程示意图，包括如下步骤：

S501：通过端口探测方式对后端应用进行探测，将探测结果为端口不通的后端应用确定不可用后端应用，并从后端应用集群中剔除所述不可用后端应用；

S502：调用后端应用的接口，获取所述后端应用的重启时间点和重启时长；

S503：若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

S504：若所述重启时长大于或等于预定时长，则利用预定衰减比例对所述流量分发占比进行衰减，得到衰减后的第一流量分发占比；

S505：在所述后端应用运行的过程中，按照预定递增速率对所述第一流量分发占比进行递增处理，得到递增后的第二流量分发占比；

S506：获取流量分发总占比与所述第二流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比；

S507：接收请求，根据预定历史时长内各个后端应用处理请求的总量和失败量，确定所有后端应用处理请求的总成功率；

S508：若所述总成功率低于预定成功率阈值，则将预定比例的请求确定为处理失败并返回；

S509：对于剩余请求，按照各个后端应用的流量分发占比进行请求分发，得到各个剩余后端应用的请求分发量。

上述实施方式中，对于步骤S502～S506可参见图1和图3所示描述，步骤S507～S509可参见图4所示步骤S404～S406所示描述，在此不再赘述。

上述实施方式中，对于步骤S501，Nginx会定期探测Java后端应用是否存活：

1)Nginx有一种健康检查机制是直接转发请求，如果Java后端应用返回异常的数量满足配置的阈值(一般为1)后不再转发到该Java后端应用，每个失败的请求都会转发到其他Java后端应用重试；

2)上述1)增加了请求转发的次数，本发明提供了一种通过网络端口探测应用是否启动的方式，其中，端口检测是一种主动探测，可以定期检查端口存活，不需要真正转发请求到Java后端应用。

如果端口不通，表示Java后端应用没有启动，此时会从负载均衡集群中剔除掉该Java后端应用，避免请求转发无响应的情况。

因此，Nginx接入层对于所接收到的请求转发，可以首先对负载均衡集群中的Java后端应用进行更新，之后再进行Java后端应用确定以及请求转发。

需要说明的是，对于Java后端应用是否存活是周期性探测的，不仅仅是位于调用接口之前。当探测到不可用Java后端应用时进行摘除，但下次探测若恢复可用则需将其加入负载均衡集群中，避免资源浪费。

上述实施例所提供的方法，在接入层高并发流量的情况下，通过弹性流量调度和弹性自动失败机制，实现对Java后端应用的流量控制，保障了Java后端应用重启处理请求时能更加平稳和安全；且通过在接入层进行Java后端应用存活探测，剔除不可用Java后端应用，保证服务效率最大化。

参见图6，示出了本发明实施例提供的一种应用于服务重启后的流量调度装置600的主要模块示意图，包括：

获取模块601，用于调用后端应用的接口，获取所述后端应用的重启时间点；

确定模块602，用于若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

均衡模块603，用于获取流量分发总占比与所述流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比。

本发明实施装置中，所述接口还用于获取所述后端应用的重启时长；

所述确定模块602，还用于：若所述重启时长大于或等于预定时长，则利用预定衰减比例对所述流量分发占比进行衰减，得到衰减后的第一流量分发占比。

本发明实施装置中，所述确定模块602，还用于：在所述后端应用运行的过程中，按照预定递增速率对所述流量分发占比进行递增处理，得到递增后的第二流量分发占比。

本发明实施装置还包括分发模块604(图中未标出)，用于：

接收请求，根据预定历史时长内各个后端应用处理请求的总量和失败量，确定所有后端应用处理请求的总成功率；

若所述总成功率小于预定成功率，则将预定比例的请求确定为处理失败并返回；

对于剩余请求，按照各个后端应用的流量分发占比进行请求分发，得到各个后端应用的请求分发量。

本发明实施装置还包括探测模块605(图中未标出)，用于：

通过端口探测方式对后端应用进行探测，将探测结果为端口不通的后端应用确定不可用后端应用，并从后端应用集群中剔除所述不可用后端应用。

另外，在本发明实施例中所述装置的具体实施内容，在上面所述方法中已经详细说明了，故在此重复内容不再说明。

本发明实施所提供的装置，在接入层高并发流量的情况下，通过弹性流量调度和弹性自动失败机制，实现对Java后端应用的流量控制，保障了Java后端应用重启处理请求时能更加平稳和安全；且通过在接入层进行Java后端应用存活探测，剔除不可用Java后端应用，保证服务效率最大化。

图7示出了可以应用本发明实施例的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705(仅仅是示例)。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。

需要说明的是，本发明实施例所提供的方法一般由服务器705执行，相应地，装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、确定模块、均衡模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取重启时间点的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

调用后端应用的接口，获取所述后端应用的重启时间点；

若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；

获取流量分发总占比与所述流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比。

根据本发明实施例的技术方案，在接入层高并发流量的情况下，通过弹性流量调度和弹性自动失败机制，实现对Java后端应用的流量控制，保障了Java后端应用重启处理请求时能更加平稳和安全；且通过在接入层进行Java后端应用存活探测，剔除不可用Java后端应用，保证服务效率最大化。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种应用于服务重启后的流量调度方法，其特征在于，包括：

调用后端应用的接口，获取所述后端应用的重启时间点和重启时长；

若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；其中，所述后端应用的流量分发占比为重启后端应用的流量分发占比；

若所述重启时长大于或等于预定时长，则利用预定衰减比例对所述流量分发占比进行衰减，得到衰减后的第一流量分发占比；

获取流量分发总占比与所述第一流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比；其中，剩余后端应用的流量分发占比为非重启后端应用的流量分发占比，流量分发总占比为重启后端应用和非重启后端应用的流量分发占比之和。

2.根据权利要求1所述的方法，其特征在于，在所述获取流量分发总占比与所述第一流量分发占比的差值之前，还包括：

在所述后端应用运行的过程中，按照预定递增速率对所述第一流量分发占比进行递增处理，得到递增后的第二流量分发占比。

3.根据权利要求1所述的方法，其特征在于，在所述得到各个剩余后端应用的流量分发占比之后，还包括：

接收请求，根据预定历史时长内各个后端应用处理请求的总量和失败量，确定所有后端应用处理请求的总成功率；

若所述总成功率小于预定成功率，则将预定比例的请求确定为处理失败并返回；

对于剩余请求，按照各个后端应用的流量分发占比进行请求分发，得到各个后端应用的请求分发量。

4.根据权利要求1所述的方法，其特征在于，还包括：

通过端口探测方式对后端应用进行探测，将探测结果为端口不通的后端应用确定不可用后端应用，并从后端应用集群中剔除所述不可用后端应用。

5.一种应用于服务重启后的流量调度装置，其特征在于，包括：

获取模块，用于调用后端应用的接口，获取所述后端应用的重启时间点和重启时长；

确定模块，用于若所述重启时间点与当前时间点的时间差在预定时间差范围内，则根据后端应用的数量，确定所述后端应用的流量分发占比；其中，所述后端应用的流量分发占比为重启后端应用的流量分发占比；

若所述重启时长大于或等于预定时长，则利用预定衰减比例对所述流量分发占比进行衰减，得到衰减后的第一流量分发占比；

均衡模块，用于获取流量分发总占比与所述第一流量分发占比的差值，将所述差值均分至剩余后端应用，得到各个剩余后端应用的流量分发占比；其中，剩余后端应用的流量分发占比为非重启后端应用的流量分发占比，流量分发总占比为重启后端应用和非重启后端应用的流量分发占比之和。

6.根据权利要求5所述的装置，其特征在于，所述确定模块，还用于：

在所述后端应用运行的过程中，按照预定递增速率对所述第一流量分发占比进行递增处理，得到递增后的第二流量分发占比。

7.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。