CN111431813A - 访问限流方法、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种访问限流方法、设备及存储介质。在本申请实施例中，将指定粒度的时间单位，例如1秒钟，预先切分成多个时间点存放至时间点池中，并设置时间点池中各时间点可以处理访问请求数量的上限值，从而可将来自该指定粒度的时间单位内的访问请求分散到时间粒度更小的多个时间点上，相比于单纯根据每个时间单位对应的限流阈值拒绝访问请求的方案，本申请实施例可以降低被拒绝的访问请求数量，有利于缓解服务器的压力，降低服务器由于压力过大而发生崩溃的概率，提高了服务器资源的利用率。

Description

访问限流方法、设备及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种访问限流方法、设备及存储介质。

背景技术

在提供网络服务的应用系统中，用户向服务器发送访问请求，用以访问该服务器所提供的服务，因为用户发送访问请求的时间不确定，所以会出现同一时间内有较多访问请求的情况。为了解决同一时间内较多访问请求造成服务器压力过大的问题，现有技术中通过限制同一时间内的访问请求数量，拒绝超过限流阈值的访问请求，来保证服务器平稳的运行，这种方法会出现较多的服务请求被拒绝的情况，服务资源利用率低。

发明内容

本申请的多个方面提供一种访问限流方法、设备及存储介质，用以缓解服务器的压力，降低服务器由于压力过大而发生崩溃的概率。

本申请实施例提供一种访问限流方法，适用于限流服务器，包括：接收用户发送的访问目标服务的访问请求，目标服务由至少一个服务器来提供；从与至少一个服务器对应的至少一个时间点池中，获取可处理访问请求的目标时间点；其中，每个时间点池中包括由指定粒度的时间单位切分出的若干个可用时间点及每个可用时间点能够处理的访问请求数量上限值；若从至少一个时间点池中获取到目标时间点，则在目标时间点将访问请求发送给与目标时间点所属时间点池对应的目标服务器，以供目标服务器为用户提供目标服务。

本申请实施例还提供一种限流服务器，包括：存储器、处理器和通信组件；存储器用于存储计算机程序；处理器与存储器耦合，用于执行计算机程序，以用于：通过通信组件接收用户发送的访问目标服务的访问请求，目标服务由至少一个服务器来提供；从与至少一个服务器对应的至少一个时间点池中，获取可处理访问请求的目标时间点；其中，每个时间点池中包括由指定粒度的时间单位切分出的若干个可用时间点及每个可用时间点能够处理的访问请求数量上限值；若从至少一个时间点池中获取到目标时间点，则在目标时间点将访问请求发送给与目标时间点所属时间点池对应的目标服务器，以供目标服务器为用户提供目标服务。

本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本申请实施例中任一项访问限流方法中的步骤。

本申请实施例提供一种访问限流方法、设备及存储介质。在本申请实施例中，将指定粒度的时间单位，例如1秒钟，预先切分成多个时间点存放至时间点池中，并设置时间点池中各时间点可以处理访问请求数量的上限值，从而可将来自该指定粒度的时间单位内的访问请求分散到时间粒度更小的多个时间点上，相比于单纯根据每个时间单位对应的限流阈值拒绝访问请求的方案，本申请实施例可以降低被拒绝的访问请求数量，有利于缓解服务器的压力，降低服务器由于压力过大而发生崩溃的概率，提高了服务器资源的利用率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请示例性实施例提供的一种分布式应用系统的结构示意图；

图1b为本申请示例性实施例提供的一种访问限流方法的流程示意图；

图2为本申请示例性实施例提供的一种限流服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

针对现有技术中同一时间内有较多访问请求造成服务器压力过大的问题，在本申请实施例中，将指定粒度的时间单位，例如1秒钟，预先切分成多个时间点存放至时间点池中，并设置时间点池中各时间点可以处理访问请求数量的上限值，从而可将来自该指定粒度的时间单位内的访问请求分散到时间粒度更小的多个时间点上，相比于单纯根据每个时间单位对应的限流阈值拒绝访问请求的方案，本申请实施例可以降低被拒绝的访问请求数量，有利于缓解服务器的压力，降低服务器由于压力过大而发生崩溃的概率，提高了服务器资源的利用率。

在此说明，本申请实施例中，面向用户提供网络服务的应用系统可以是使用网络通信协议提供分布式服务的应用系统，也可以是非分布式的应用系统。其中网络通信协议可以是传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol,TCP/IP)，网际包交换/顺序包交换(Internetwork Packet Exchange/Sequences PacketExchange，IPX/SPX)等协议。另外，在本申请实施例中，并不限定应用系统面向用户提供的网络服务的类型或内容，例如可以是在线支付服务、在线教育服务、在线直播服务、在线游戏服务、线上购物服务等等。为便于描述和区分，在下面实施例中，将分布式系统提供的网络服务称为目标服务。在应用系统采用非分布式部署方式时，该目标服务可以部署在一个服务器上，由该服务器为用户提供相应服务。在应用系统采用分布式部署方式时，该目标服务可以部署在多个服务器，由多个服务器为用户提供相应服务。需要说明的是，本申请实施例以服务器为例，对提供目标服务的设备形态进行说明，但本领域技术人员应该理解，可提供目标服务的设备形态并不限于服务器，还可以是机柜、机房、集群或普通的计算机设备等。在图1a中以分布式应用系统为例进行图示，但在后续方法实施例中并未限定于分布式应用系统，但并不限于此。

如图1a所示，在本实施例中，分布式应用系统100中包含多个服务器101，每个服务器101上有各种资源，例如CPU、GPU等计算资源，内存、硬盘等存储资源，带宽等网络资源等，多个服务器101可以接收用户的访问请求，并利用这些资源为用户提供服务。根据多个服务器101上包含资源的不同，多个服务器101可以接收访问请求的数量也有所不同。例如拥有CPU核数越多，内存容量越大，带宽越宽的服务器，可以接收的访问请求数量就越多。

进一步如图1a所示，为了将来自用户的访问请求合理地分散到多个服务器101上，并且针对各服务器101进行合理地限流控制，本实施例的分布式应用系统100中还包括：限流服务器102。限流服务器102介于用户与多个服务器101之间，用户可以将访问请求发送至限流服务器102，由限流服务器102将用户的访问请求分散到多个服务器101上，同时对多个服务器101进行限流控制，缓解多个服务器101的压力，提高了服务器101上资源的利用率，保障了分布式应用系统100的可用性。其中，限流服务器102进行限流控制的详细实施过程可参见下述实施例。

图1b为本申请示例性实施例提供的一种访问限流方法的流程示意图，适用于上述系统中的限流服务器，如图1b所示，该方法包括：

11、接收用户发送的访问目标服务的访问请求，目标服务由至少一个服务器来提供；

12、从与至少一个服务器对应的至少一个时间点池中，获取可处理访问请求的目标时间点；其中，每个时间点池中包括由指定粒度的时间单位切分出的若干个可用时间点及每个可用时间点能够处理的访问请求数量上限值；

13、若从至少一个时间点池中获取到目标时间点，则在目标时间点将访问请求发送给与目标时间点所属时间点池对应的目标服务器，以供目标服务器为用户提供目标服务。

在本实施例中，用户可以安装于目标服务对应的客户端、app 或浏览器，通过这些向目标服务发送访问请求，在本实施例中，访问请求会被重定向到限流服务器。

在本实施例中，为每个服务器配置一个时间点池，即一个服务器对应一个时间点池，每个时间点池中包含由指定粒度的时间单位切分出的若干个可用时间点及每个可用时间点能够处理的访问请求数量上限值，其中可用时间点指的是可以处理访问请求的时间点。需要说明的是，本实施例中指定粒度的时间单位仅是一个时间粒度，随着时间的推移，每个时间单位都会被切分成若干个时间点并被存储至时间点池中，也就是说，时间点池中的时间点是不断更新的，并且会随着时间的流失而过期或失效。另外，指定粒度的时间单位可以是但不限于1us、1ms、0.5s等，对此不做限定。时间点是由时间单位切分出的，相比于时间单位，时间点的时间粒度更小。根据时间单位或时间点粒度的不同，切分出时间点的数量也有所不同，例如，若时间单位的粒度为1s，时间点的粒度为1ms，则最多可切分出的时间点的数量为1s/1ms=1000。又例如，若时间单位的粒度为2s，时间点的粒度为0.5s的时间点数据，则最多可切分出的时间点的数量为2s/0.5s=4。可用时间点的数量可以是最多切分出的时间点数量，也可以小于最多切分出的时间点数量，对此不做限定。例如，若时间单位的粒度为1s，时间点的粒度为1ms，则最多可切分出的时间点的数量为1s/1ms=1000，可用的时间点可以是全部的1000个时间点，也可以是1000个节点中的部分时间点，例如4个、100个、500个时间点等。

以单个时间单位为粒度，不同服务器对应的时间点池中可用时间点的数量以及每个可用时间点能够处理的访问请求数量的上限值会有所不同。例如，服务器D1对应的时间点池d1中包含可用时间点的数量为1000，每个可用时间点可以处理访问请求的数量为2；服务器D2对应的时间点池d2中包含可用时间点的数量为500，每个可用时间点可以处理访问请求的数量为3。另外，对于同一时间点池的不同可用时间点来说，其对应的能够处理的访问请求数量的上限值可以相同，也可以不同，对此不做限定。例如，时间点池E1中包含500个可用时间点，每个可用时间点可以处理的访问请求数量的上限值可以均为2，也可以是前200个可用时间点可以处理访问请求数量的上限值为2，后300个可用时间点可以处理访问请求数量的上限值为3。

可选地，时间点池中以键、值的方式存储可用时间点和该可用时间点可以处理的访问请求数量，键为可用时间点的时间值，值为服务请求数量的上限值，可以用“键—>值”表示。在本实施例中，并不限定可用时间点以及其对应可以处理访问请求数量的上限值在时间点池中的表示方法。例如，可以是用18:01:01:100、18:01:01:101、18:01:01:102表示18点1分1秒下的前三个时间点；相应地，时间点池中的时间点以及该时间点可以处理的访问请求数量可以用18:01:01:100—>5个、18:01:01:101—>7个、18:01:01:102—>3个等来表示。又例如，也可以用18点1分1秒的第1ms、第2ms、第3ms表示18点1分1秒的前三个可用时间点；相应地，时间点池中的可用时间点以及该可用时间点可以处理的访问请求数量可以用第1ms—>5个、第5ms—>7个、第9ms—>3个等来表示，对此不做限定。

其中，每个服务器对应时间点池中可用时间点的数量以及每个可用时间点能够处理的访问请求数量上限值与该服务器对应的限流阈值有关，限流阈值可以是单位时间内允许用户发起访问请求的数量阈值，例如可以采用QPS阈值或QTS阈值进行衡量。限流阈值由至少一个服务器的性能决定，衡量至少一个服务性能的参数可以是但不限于CPU、GPU等计算能力，内存、硬盘等存储能力，网络带宽等网络能力等。例如CPU核数为8，内存为8GB的服务器A，在单位时间内（如1s）可处理的访问请求为2000，即服务器A的限流阈值为2000 QPS。又例如，CPU核数为4的服务器B，在网络不佳的情况下，单位时间内（如1s）可处理的访问请求为500 QPS。关于根据限流阈值计算时间点池中时间点的数量以及每个时间点能够处理的访问请求数量上限值的过程，可参见下述实施例，在此暂不详述。

基于上述时间点池，可以将指定粒度的时间单位内的访问请求分散到时间粒度更细的时间点上，例如将1s内的访问请求分散到1000个ms级的时间点上进行处理，这样如果在前面ms级的时间点上接收到大量访问请求，且在该ms级的时间点上未能及时处理掉，可分散到后续ms级的时间点上进行处理，而不会直接被拒绝，有利于提高至少一个服务器能够处理的访问请求的数量。

基于上述分析，限流服务器接收到用户发送的访问目标服务的访问请求之后，可以从至少一个服务器对应的至少一个时间点池中，获取可处理访问请求的目标时间点；若未从至少一个时间点池中获取到目标时间点，则拒绝该访问请求。在本实施例中，每个服务器对应时间点池中可用时间点的数量以及每个可用时间点可以处理的访问请求数量上限值是根据该服务器对应的限流阈值确定的，若访问请求的数量超过该服务器限流阈值，则限流服务器不会在该服务器对应的时间点池中获取到目标时间点，进一步，限流服务器可以去其他服务器对应的其他时间点池获取目标时间点，若限流服务端从其他时间点池也未获取到目标时间点，则拒绝该访问请求。本实施例提供的方法可以将至少一个服务器的访问请求数量限制在限流阈值内，有利于缓解至少一个服务器的压力，降低服务器由于压力过大而发生崩溃的概率，提高了服务资源的利用率。

若从至少一个时间点池中获取到目标时间点，则在目标时间点将访问请求发送给与目标时间点所属时间点池对应的目标服务器，以供目标服务器为用户提供目标服务。在本实施例中，应用系统会维护一个系统时间，当系统时间达到目标时间时，限流服务器将访问请求发送给与目标时间点所属时间点池对应的目标服务器。

进一步地，随着系统时间的流逝，时间点池中的可用时间点会过期或失效，若限流服务器获取到的目标时间点是过期或失效的可用时间点，则系统时间将无法到达过期或失效的可用时间点，用户的访问请求也就无法被处理。鉴于此，本实施例提供一种获取目标时间点的实施方式包括：判断至少一个时间点池中是否存在晚于或等于访问请求的接收时间点的可用时间点；若存在，从至少一个时间点池中存在的晚于或等于接收时间点的可用时间点中，获取目标时间点。

优选地，从至少一个时间点池中存在的晚于或等于接收时间点的可用时间点中，选择最接近接收访问请求时间点的可用时间点，作为目标时间点。例如访问请求的接收时间点为第1ms，则晚于或等于访问请求的接收时间点的可用时间点可以是第2ms、第5ms、第200ms等，对此不做限定。若在时间点第2ms和第5ms均可以处理访问请求数量，则优选地选择最接近第1ms的时间点作为目标时间点，即将第2ms作为目标时间点。

在上述实施例中，并不限定目标时间点来自哪个时间点池，可以按照设定的顺序依次去每个时间点池中查找晚于或等于访问请求的接收时间点的可用时间点，将查找到的晚于或等于且最接近访问请求的接收时间点的可用时间点作为目标时间点。或者，每次也可以随机对各时间点池进行排序，按照随机排列的顺序，依次到各时间点池中查找晚于或等于访问请求的接收时间点的可用时间点，将查找到的晚于或等于且最接近访问请求的接收时间点的可用时间点作为目标时间点。

进一步可选地，判断至少一个时间点池中是否存在晚于或等于访问请求的接收时间点的可用时间点，包括：根据至少一个时间点池中各可用时间点能够处理的访问请求数量上限值和各可用时间点当前已负责处理的访问请求数量，依次判断至少一个时间点池中是否存在晚于或等于接收时间点且尚能够处理访问请求的可用时间点；将首个判断出的存在晚于或等于接收时间点且尚能够处理访问请求的可用时间点的时间点池作为目标时间点池；相应地，从至少一个时间点池中存在的晚于或等于接收时间点的可用时间点中，获取目标时间点，包括：从目标时间点池中存在的晚于或等于接收时间点且尚能够处理访问请求的可用时间点中，获取目标时间点。其中，时间点池中各可用时间点能够处理的访问请求数量上限值是一个固定值，是时间点池对应的服务器在各可用时间点可以处理的访问请求数量的最大值。当前可用时间点已负责处理的访问请求数量是指已经分配到该时间点有待处理的访问请求数量，每个可用时间点当前已负责处理的访问请求数量小于或等于该时间点能够处理的访问请求数量上限值。对一个可用时间点来说，若其当前已负责处理的访问请求数量小于该时间点能够处理的访问请求数量上限值，则该时间点是尚能处理访问请求的时间点。对于尚能处理访问请求的可用时间点来说，在该时间点可以处理的访问请求数量为大于0。对于时间点池中的每个可用时间点来说，在一个可用时间点已负责处理的访问请求数量与该时间点尚能处理的访问请求数量之和为该时间点能够处理的访问请求数量上限值。

例如，假设应用系统有两个服务器，分别为服务器M1、服务器M2，每个服务器对应有一个时间点池，服务器M1对应时间点池m1，服务器M2对应时间点池m2。其中，时间点池m1中有2个可用时间点，可用时间点与在该时间点可以处理的服务请求数量的对应关系为：第5ms—>2个；第10ms—>2个。时间点池m2中有3个可用时间点，可用时间点与在该时间点可以处理的服务请求数量的对应关系为：第6ms—>5个；第8ms—>4个；第9ms—>4个。

若接收用户访问请求的时间点是第1ms，在第1ms有5个不同的用户同时发起了访问请求，限流服务器当前需要处理5个访问请求。首先判断出时间点池m1和时间点池m2中，均有晚于第1ms且尚能处理访问请求的的可用时间点，接着判断时间点池m1中第5ms可以处理访问请求的上限值2个，当前已负责处理的访问请求数量为0个，将时间点池m1作为目标时间点池，从目标时间点池m1选择第5ms作为目标时间点，限流服务器在第5ms负责处理的访问请求个数为2，当前限流服务器还需要处理的访问请求数量为3，则继续根据时间点池m1和时间点池m2中的中各可用时间点能够处理的访问请求数量上限值和各可用时间点当前已负责处理的访问请求数量，依次判断时间点池m1和时间点池m2存在晚于或等于接收时间点且尚能够处理访问请求的可用时间点，接着判断时间点池m2中第6ms可以处理访问请求的上限值5个，当前已负责处理的访问请求数量为0个，将时间点池m2作为目标时间点池，从目标时间点池m2选择第6ms作为目标时间点，限流服务器在第6ms负责处理的访问请求个数为3，第6ms尚能处理的访问请求数量为2个，至此限流服务器为第1ms接收的5个访问请求获取到目标时间点。

为了保证用户访问请求的时效性，若某一时间点访问请求数量过多，限流服务器不会无限制的在该接收时间点后寻找时间点池中的可用时间点。可选地，从目标时间点池中存在的晚于或等于接收时间点且尚能够处理访问请求的可用时间点中，获取目标时间点，包括：从目标时间点池中，自接收时间点开始之后一个时间单位内包含的可用时间点中，获取目标时间点。假设时间单位的粒度为1s，时间点的粒度为1ms，则最多可切分出的时间点的数量为1s/1ms=1000，若接收时间点为第500ms，限流服务端可在自接收时间点（第500ms）开始之后一个时间单位（1s）内包含的可用时间点中，即第500ms-1500ms时间内包含的可用时间点中，获取目标时间点。

在本实施例中，限流服务器获取到目标时间点后，会在系统时间到达目标时间点时，将访问请求发送给与目标时间点所属时间点池对应的目标服务器。为了将访问请求准确地分配到目标服务器上，在一可选实施例中，限流服务器还维护有服务池，服务池用于维护至少一个服务器的服务信息，每个服务器对应一个服务信息，该服务信息包括但不限于：服务器的服务标识、服务器的服务地址、服务器的服务有效期、服务器的服务请求阈值等。其中，服务器的标识可以是能够唯一识别该服务器的信息，例如服务器的ID、MAC地址、名称等。服务器的服务地址是可以访问该服务器的网址、地址等。服务器的服务请求阈值指的是服务器在单位时间可以处理的访问请求数量，可以用QPS或TPS来衡量，例如请求阈值可以是1000 QPS、2004 TPS等。服务器的服务有效期指的是服务器可以提供服务的时间期限，例如可以是5分钟、1小时、5小时等，对此不做限定。

另外，服务池维护的每条服务信息中还包括：服务器的服务标识与服务地址、服务有效期、服务请求阈值之间的对应关系。可选地，服务池以键，值的方式存储该对应关系，表示为：键—>值，键为服务标识，值为服务请求阈值、服务地址和服务有效期等。限流服务器可以根据服务标识，获取服务器的服务请求阈值、服务地址和服务有效期等信息。

限流服务器会定期对服务池进行更新，将服务有效期到期的服务器的服务信息从服务池中删除。另外，除了删除过期的服务信息，在更新服务池时，也会添加新的服务信息。进一步可选地，限流服务器还维护有服务注册表，至少一个服务器会向服务注册表中增加或者删除服务信息，即将服务器的服务标识、服务地址、服务有效期、服务请求阈值存储到服务注册表中。如果至少一个服务器没有在有效期内更新服务注册表，限流服务器会定期把过期的服务器的服务信息从服务注册表中删除，保证用户的访问请求可以有效的访问服务器。进一步，限流服务器可以根据服务注册表中的服务信息定期更新服务池中的数据，更新时，如果服务池中的服务信息在服务注册表中不存在，则会从服务池中删除该服务信息。

基于上述，可选地，一种具体的将访问请求发送给目标时间点所属时间点池对应的目标服务器的实施方式包括：判断服务池中是否存在目标服务器的服务标识，服务池用于维护至少一个服务器的服务信息，服务信息至少包括服务器的服务标识与服务地址之间的对应关系；若存在，从服务池中获取与目标服务器的服务标识对应的目标服务地址；根据目标服务地址，在目标时间点将访问请求发送给目标服务器。

在一可选实施例中，为了将至少一个服务器的访问请求数量限制在限流阈值内，有利于缓解至少一个服务器的压力，降低服务器由于压力过大而发生崩溃的概率，提高了服务资源的利用率。基于此，限流服务器从服务注册表或者服务池维护的至少一个服务器的服务信息中，选择没有超过服务有效期的服务请求阈值，作为至少一个服务器的限流阈值。进一步，限流服务器可以根据至少一个服务器的限流阈值，确定至少一个服务器各自对应的时间点池中可用时间点的数量以及各可用时间点可以处理的访问请求数量。

下面提供一种具体的根据服务器的限流阈值，确定服务器对应的时间点池中可用时间点的数量以及各可用时间点可以处理的访问请求数量上限值的实施方式，包括：对至少一个服务器中的每个服务器，将服务器对应的限流阈值K与设定的时间点数边界值M进行比较；若限流阈值K大于或等于时间点数边界值M，则确定服务器对应的时间点池中可用时间点的数量为M，并将限流阈值K分配到M个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值；若限流阈值K小于时间点数边界值M，则确定服务器对应的时间点池中可用时间点的数量为K，并将限流阈值K分配到K个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值。

其中，时间点数边界值M是按照指定粒度的时间单位切分出的时间点数量的边界值，是时间点池中可用时间点数量的上限值，实际时间点池中可用时间点的数量是小于或者等于该边界值的。

进一步，将限流阈值K分配到M个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值，包括：若K是M的整数倍，则将K与M的比值作为每个可用时间点能够处理的访问请求数量上限值；若K不是M的整数倍，则计算K与M相除的商L和余数P，从K个可用时间点中选择P个可用时间点，将L+1作为P个可用时间点能够处理的访问请求数量上限值，将L作为剩余（K-P）个可用时间点能够处理的访问请求数量上限值。

例如，若时间点数边界值M为1000，服务器的限流阈值K为2004，则判断结果为K>M，则确定服务器对应的时间点池中可用时间点的数量为1000，进一步，将限流阈值K分配到M个可用时间点上，判断K（即2004）不是M（即1000）的整数倍，则计算K与M相除的商L为2，余数P为4，将L+1=3作为4个可用时间点能够处理的访问请求数量的上限值，将L=2作为剩余K-P=996个可用时间点能够处理的访问请求数量上限值。又例如，若时间点池的边界值M为1000，服务器的限流阈值K为4，判断K<M，则确定服务器对应的时间点池中可用时间点的数量为4，进一步，将限流阈值K分配到4个时间点上，即每个可用时间点能够处理的访问请求数量的上限值为1。

随着至少一个服务器的升级、老化或者网络状况的变化，至少一个服务器处理访问请求的能力可能会有变化。例如，服务器升级后，CPU、内存等能力会提升，该服务器处理访问请求的能力会提升，服务器的限流阈值会增加。又例如，服务器使用年限增加，服务器老化，服务器处理访问请求的能力会降低，服务器的限流阈值会减小。又例如，当前服务器的网络状况不佳，该服务器处理访问请求的能力降低，服务器的限流阈值也会降低。因此，限流服务器可以根据服务器的限流阈值更新该服务器对应的时间点池，即根据限流阈值计算时间点池中可用时间点的数量以及每个可用时间点可以处理的访问请求数量的上限值，存储到时间点池中。需要说明的是，限流阈值没有变化时，限流服务器也可以定期更新时间点池，更新的周期不做限定，例如可以是0.5s、1s、2s等，对此不做限定。更新前先删除小于当前系统时间点的可用时间点，然后再根据服务器的限流阈值计算时间点池中可用时间点的数量以及每个可用时间点可以处理访问请求数量的上限值。

在本申请实施例中，将指定粒度的时间单位，例如1秒钟，预先切分成多个时间点存放至时间点池中，并设置时间点池中各时间点可以处理访问请求数量的上限值，从而可将来自该指定粒度的时间单位内的访问请求分散到时间粒度更小的多个时间点上，相比于单纯根据每个时间单位对应的限流阈值拒绝访问请求的方案，本申请实施例可以降低被拒绝的访问请求数量，有利于缓解服务器的压力，降低服务器由于压力过大而发生崩溃的概率，提高了服务资源的利用率。

需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤11至步骤13的执行主体可以为设备A；又比如，步骤11和12的执行主体可以为设备A，步骤13的执行主体可以为设备B；等等。

另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如11、12等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图2为本申请示例性实施例提供的一种限流服务器的结构示意图。如图2所示，该限流服务器包括：存储器24、处理器25和通信组件26。

存储器24，用于存储计算机程序，并可被配置为存储其它各种数据以支持在限流服务器上的操作。这些数据的示例包括用于在限流服务器上操作的任何应用程序或方法的指令等。

存储器24可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。

处理器25，与存储器24耦合，用于执行存储器24中的计算机程序，以用于：通过通信组件26接收用户发送的访问目标服务的访问请求，目标服务由至少一个服务器来提供；从与至少一个服务器对应的至少一个时间点池中，获取可处理访问请求的目标时间点；其中，每个时间点池中包括由指定粒度的时间单位切分出的若干个可用时间点及每个可用时间点能够处理的访问请求数量上限值；若从至少一个时间点池中获取到目标时间点，则在目标时间点将访问请求发送给与目标时间点所属时间点池对应的目标服务器，以供目标服务器为用户提供目标服务。

在一可选实施例中，处理器25在从与至一个服务器对应的至少一个时间点池中，获取可处理访问请求的目标时间点时，具体用于：判断至少一个时间点池中是否存在晚于或等于访问请求的接收时间点的可用时间点；若存在，从至少一个时间点池中存在的晚于或等于接收时间点的可用时间点中，获取目标时间点。

在一可选实施例中，处理器25在判断至少一个时间点池中是否存在晚于或等于访问请求的接收时间点的可用时间点时，具体用于：根据至少一个时间点池中各可用时间点能够处理的访问请求数量上限值和各可用时间点当前已负责处理的访问请求数量，依次判断至少一个时间点池中是否存在晚于或等于接收时间点且尚能够处理访问请求的可用时间点；将首个判断出的存在晚于或等于接收时间点且尚能够处理访问请求的可用时间点的时间点池作为目标时间点池；从至少一个时间点池中存在的晚于或等于接收时间点的可用时间点中，获取目标时间点，包括：从目标时间点池中存在的晚于或等于接收时间点且尚能够处理访问请求的可用时间点中，获取目标时间点。

在一可选实施例中，处理器25在从目标时间点池中存在的晚于或等于接收时间点且尚能够处理访问请求的可用时间点中，获取目标时间点时，具体用于：从目标时间点池中，自接收时间点开始之后一个时间单位内包含的可用时间点中，获取目标时间点。

在一可选实施例中，处理器25在在目标时间点将访问请求发送给与目标时间点所属时间点池对应的目标服务器时，具体用于：判断服务池中是否存在目标服务器的服务标识，服务池用于维护至少一个服务器的服务信息，服务信息至少包括服务器的服务标识与服务地址之间的对应关系；若存在，从服务池中获取与目标服务器的服务标识对应的目标服务地址；根据目标服务地址，在目标时间点将访问请求发送给目标服务器。

在一可选实施例中，服务信息还包括服务器的服务有效期，处理器25还用于：定期对服务池进行更新，将服务有效期到期的服务器的服务信息从服务池中删除。

在一可选实施例中，处理器25还用于：对至少一个服务器中的每个服务器，将服务器对应的限流阈值K与设定的时间点数边界值M进行比较；若限流阈值K大于或等于时间点数边界值M，则确定服务器对应的时间点池中可用时间点的数量为M，并将限流阈值K分配到M个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值；若限流阈值K小于时间点数边界值M，则确定服务器对应的时间点池中可用时间点的数量为K，并将限流阈值K分配到K个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值。

在一可选实施例中，处理器25在将限流阈值K分配到M个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值时，具体用于：若K是M的整数倍，则将K与M的比值作为每个可用时间点能够处理的访问请求数量上限值；若K不是M的整数倍，则计算K与M相除的商L和余数P，从K个可用时间点中选择P个可用时间点，将L+1作为P个可用时间点能够处理的访问请求数量上限值，将L作为剩余（K-P）个可用时间点能够处理的访问请求数量上限值。

进一步，如图2所示，该限流服务器还包括：显示器27、电源组件28、音频组件29等其它组件。图2中仅示意性给出部分组件，并不意味着限流服务器只包括图2所示组件。另外，图2中虚线框所示组件为可选组件，而非必选组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述访问限流方法实施例中可由限流服务器执行的各步骤。

上述图2中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信（NFC）模块，以促进短程通信。例如，在NFC模块可基于射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术和其他技术来实现。

上述图2中的显示器包括屏幕，其屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

上述图2中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。

上述图2中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（MIC），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种访问限流方法，其特征在于，适用于限流服务器，包括：

接收用户发送的访问目标服务的访问请求，所述目标服务由至少一个服务器来提供；

从与所述至少一个服务器对应的至少一个时间点池中，获取可处理所述访问请求的目标时间点；其中，每个时间点池中包括由指定粒度的时间单位切分出的若干个可用时间点及每个可用时间点能够处理的访问请求数量上限值；

若从所述至少一个时间点池中获取到所述目标时间点，则在所述目标时间点将所述访问请求发送给与所述目标时间点所属时间点池对应的目标服务器，以供所述目标服务器为所述用户提供所述目标服务。

2.根据权利要求1所述的方法，其特征在于，从与所述至少一个服务器对应的至少一个时间点池中，获取可处理所述访问请求的目标时间点，包括：

判断所述至少一个时间点池中是否存在晚于或等于所述访问请求的接收时间点的可用时间点；

若存在，从所述至少一个时间点池中存在的晚于或等于所述接收时间点的可用时间点中，获取所述目标时间点。

3.根据权利要求2所述的方法，其特征在于，判断所述至少一个时间点池中是否存在晚于或等于所述访问请求的接收时间点的可用时间点，包括：

根据所述至少一个时间点池中各可用时间点能够处理的访问请求数量上限值和各可用时间点当前已负责处理的访问请求数量，依次判断至少一个时间点池中是否存在晚于或等于所述接收时间点且尚能够处理访问请求的可用时间点；

将首个判断出的存在晚于或等于所述接收时间点且尚能够处理访问请求的可用时间点的时间点池作为目标时间点池；

从所述至少一个时间点池中存在的晚于或等于所述接收时间点的可用时间点中，获取所述目标时间点，包括：

从所述目标时间点池中存在的晚于或等于所述接收时间点且尚能够处理访问请求的可用时间点中，获取所述目标时间点。

4.根据权利要求3所述的方法，其特征在于，从所述目标时间点池中存在的晚于或等于所述接收时间点且尚能够处理访问请求的可用时间点中，获取所述目标时间点，包括：

从所述目标时间点池中，自所述接收时间点开始之后一个时间单位内包含的可用时间点中，获取目标时间点。

5.根据权利要求1所述的方法，其特征在于，在所述目标时间点将所述访问请求发送给与所述目标时间点所属时间点池对应的目标服务器，包括：

判断服务池中是否存在所述目标服务器的服务标识，所述服务池用于维护所述至少一个服务器的服务信息，所述服务信息至少包括服务器的服务标识与服务地址之间的对应关系；

若存在，从所述服务池中获取与所述目标服务器的服务标识对应的目标服务地址；

根据所述目标服务地址，在所述目标时间点将所述访问请求发送给所述目标服务器。

6.根据权利要求5所述的方法，其特征在于，所述服务信息还包括服务器的服务有效期，所述方法还包括：

定期对所述服务池进行更新，将服务有效期到期的服务器的服务信息从所述服务池中删除。

7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：

对所述至少一个服务器中的每个服务器，将所述服务器对应的限流阈值K与设定的时间点数边界值M进行比较；

若所述限流阈值K大于或等于所述时间点数边界值M，则确定所述服务器对应的时间点池中可用时间点的数量为M，并将所述限流阈值K分配到所述M个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值；

若所述限流阈值K小于所述时间点数边界值M，则确定所述服务器对应的时间点池中可用时间点的数量为K，并将所述限流阈值K分配到所述K个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值。

8.根据权利要求7所述的方法，其特征在于，将所述限流阈值K分配到所述M个可用时间点上，得到每个可用时间点能够处理的访问请求数量上限值，包括：

若K是M的整数倍，则将K与M的比值作为每个可用时间点能够处理的访问请求数量上限值；

若K不是M的整数倍，则计算K与M相除的商L和余数P，从所述K个可用时间点中选择P个可用时间点，将L+1作为所述P个可用时间点能够处理的访问请求数量上限值，将L作为剩余（K-P）个可用时间点能够处理的访问请求数量上限值。

9.一种限流服务器，其特征在于，包括：存储器、处理器和通信组件；

所述存储器，用于存储计算机程序；

所述处理器，与所述存储器耦合，用于执行计算机程序，以用于：

通过通信组件接收用户发送的访问目标服务的访问请求，所述目标服务由至少一个服务器来提供；

从与所述至少一个服务器对应的至少一个时间点池中，获取可处理所述访问请求的目标时间点；其中，每个时间点池中包括由指定粒度的时间单位切分出的若干个可用时间点及每个可用时间点能够处理的访问请求数量上限值；

若从所述至少一个时间点池中获取到所述目标时间点，则在所述目标时间点将所述访问请求发送给与所述目标时间点所属时间点池对应的目标服务器，以供所述目标服务器为所述用户提供所述目标服务。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-8任一项所述方法中的步骤。

Images