CN110780989A - 一种过载保护方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种过载保护方法、装置、设备及介质，该方法包括接收第二待处理请求；在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于第二待处理请求的请求时间；基于请求通过率和后台设备的负载反馈数据，动态调整所述请求通过率的大小；基于调整后的请求通过率，确定是否拒绝第二待处理请求进入请求处理队列。本申请能够根据后台设备的负载反馈数据动态调整请求通过率的大小，进而根据调整后的请求通过率拒绝一定比例的待处理请求进入请求处理队列以实现对后台设备的过载保护，无需配置最大的并发连接数以及队列的耗时阈值，提高了对后台设备的过载保护效果。

Description

一种过载保护方法、装置、设备及介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种过载保护方法、装置、设备及介质。

背景技术

在服务器的运行过程中，由于受到服务器自身处理能力的限制，任何一台服务器在一定时间内可处理的客户端请求的数量是有限的。当服务器连接的客户端请求量超过一定数量时却无法有效地处理，将导致服务器过载甚至可能产生宕机等后果。因此，为了预防上述情况发生，需要采用对服务器执行过载保护。

现有的针对服务器的过载保护并没有通用的保护策略，一般情况下，通过限制最大的请求并发连接数来避免过载，或者通过判断请求在请求队列中的等待耗时是否超过某个耗时阈值来确定是否需要拒绝或者丢弃该请求。然而现有的最大的并发连接数以及队列的耗时阈值如何配置，是一个难点。例如，若队列的耗时阈值配置得太长，则无法生效，而配置得太短，则可能拒绝过量的请求。这是由于每个后台设备或者处理模块的实际情况都可能不一样，很难给出一个通配的数值，从而导致对服务器过载保护效果不理想。

发明内容

本申请提供了一种过载保护方法、装置、设备及介质，以解决以上至少一种技术问题。

一方面，本申请提供了一种过载保护方法，包括：

接收第二待处理请求；

在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于所述第二待处理请求的请求时间；

基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；

基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列。

另一方面，本申请还提供一种过载保护装置，包括：

请求接收模块，用于接收第二待处理请求；

通过率获取模块，用于在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于所述第二待处理请求的请求时间；

通过率调整模块，用于基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；

请求拒绝判断模块，用于基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列。

另一方面还提供一种过载保护设备，所述过载保护设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一所述的过载保护方法。

另一方面还提供一种计算机存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任一所述的过载保护方法。

本申请提供的一种过载保护方法、装置、设备及介质，具有如下技术效果：

本申请实施例通过在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于第二待处理请求的请求时间；基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；基于调整后的请求通过率，确定是否拒绝所接收的第二待处理请求进入请求处理队列。从而能够根据后台设备的负载反馈数据动态调整请求通过率的大小，进而根据调整后的请求通过率拒绝一定比例的待处理请求进入请求处理队列以实现对后台设备的过载保护，无需配置最大的并发连接数以及队列的耗时阈值，提高了对后台设备的过载保护效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种实施环境的示意图；

图2是本申请实施例提供的一种过载保护方法的流程示意图；

图3是本申请实施例提供的另一种过载保护方法的部分流程示意图；

图4是本申请实施例提供的又一种过载保护方法的部分流程示意图；

图5是本申请实施例提供的一种过载保护方法的时序示意图；

图6是本申请实施例提供的另一种过载保护方法的时序示意图；

图7是本申请实施例提供的一种过载保护方法的过程示意图；

图8是本申请实施例提供的一种过载保护装置的结构框图；

图9是本申请实施例提供的另一种过载保护装置的结构框图；

图10是本申请提供的一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，其示出了本申请实施例提供的一种实施环境的示意图。该实施环境可以包括：终端10、与所述终端10通过网络连接的过载保护服务器20以及与所述过载保护服务器20网络连接的后台设备30。

终端10具体可以包括运行于实体设备中的软体，例如安装在设备上的应用等，也可以包括安装有应用的智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备中至少一种。具体的，终端10上运行有操作系统，该操作系统可以是视窗(Windows)操作系统或Linux操作系统或者Mac OS(苹果桌面操作系统)等桌面操作系统，也可以是iOS(苹果移动终端操作系统)或者安卓(Android)操作系统等移动操作系统。

过载保护服务器20可以是独立的服务器，也可以是由多个独立服务器组成的服务器集群，或者是一个云计算服务中心。

后台设备30可以为图1中示出的由多个服务器组成的后台服务器集群，也可以为独立的服务器。若后台设备30为后台服务器集群，在后台服务器集群中的每个服务器31可以作为一个计算节点，用于处理由终端10上客户端或者应用程序发送的且通过过载保护服务器20的处理请求。

应理解，图1中示出的实施环境仅仅是与本申请方案一种应用环境，并不构成对本申请方案应用环境的限定，其他的应用环境还可以包括比图中所示更多或更少的计算机设备，或者计算机设备网络连接关系。

以下介绍本申请一种过载保护方法的具体实施例，图2是本申请实施例提供的一种过载保护方法的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。如图2所示，该方法的执行主体可以为图1中的过载保护服务器20，该方法可以包括：

S201：接收第二待处理请求。

其中，第二待处理请求可以是终端向过载保护服务器发送的处理要求，具体包括但不限于为业务处理请求、通信处理请求、访问请求等。第二待处理请求的请求数量可以为一个或多个。

S203：在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于所述第二待处理请求的请求时间。

其中，这里的后台设备可以为由多个服务器组成的后台服务器集群，也可为其他类型的用于处理请求的后台装置。第一待处理请求可以是终端向过载保护服务器发送的处理要求，具体包括但不限于为业务处理请求、通信处理请求等。第一待处理请求的请求数量也可以为一个或多个，优选为多个。每个待处理请求都有发起请求时间，越先发起的请求其对应的处理事件通常情况下会优先处理。在本申请实施例，第一待处理请求的请求时间早于第二待处理请求的请求时间，则第一待处理请求先于第二待处理请求进行优先处理。

请求处理队列用于存放终端发送的且将要投递至后台设备进行处理的请求。这里的请求处理队列的数量可以是一个或多个。若第一待处理请求的请求数量和请求处理队列的数量均为多个时，在条件允许的情况下，特定数量的待处理请求可以进入对应的请求处理队列中。

请求通过率是表征待处理请求请求进入请求处理队列的概率。若请求通过率越高，则待处理请求进入请求处理队列的概率越高，也即被拒接的待处理请求的数量越少；反之，概率越低，被拒绝的待处理请求的数量越多。该请求通过率的取值范围可以为[0,1]。

通常服务器的自身处理能力有限，若服务器的负载超过服务器最大的处理能力，则会产生服务器过载，进而带来网络请求失败(比如连接失败、读写超时等)等后果。在一实施例，可通过获取后台设备的负载状态数据(比如后台设备的平均CPU状态数据、后台设备的平均内存状态数据等)，之后若该负载状态数据中存在至少一个状态数据超过预设阈值，则确定该后台设备为过载状态；反之，则确定该后台设备为非过载状态，进而无需执行后续过载保护步骤。

在一实施例，为了简化计算量，可以设置第一待处理请求进入请求处理队列的请求通过率为1(即100％)。此时，在判断后台设备过载的情况下，所获取的第一待处理请求进入请求处理队列的请求通过率即为100％。当然，也可以通过获取第一待处理请求所对应的时间的后台设备的负载状态来确定对应的请求通过率。若在处理第一待处理请求时，后台设备为非负载状态，则此时对应的请求通过率即可设置为100％。

在另一实施例，所述第一待处理请求进入请求处理队列的请求通过率可以是基于后台设备的负载状态数据和历史请求在请求队列处理中的平均等待耗时来确定。

在本申请实施例，图3是本申请实施例提供的另一种过载保护方法的部分流程示意图。如图3所示，所述步骤S201之前，所述方法还可包括：

S301：接收第一待处理请求。

其中，第一待处理请求可以是终端向过载保护服务器发送的处理要求，具体包括但不限于为业务处理请求、通信处理请求、访问请求等。第一待处理请求的请求数量可以为一个或多个。第一待处理请求的请求时间早于第二待处理请求的请求时间。

S303：基于后台设备的负载状态数据，判断所述后台设备是否过载。

其中，后台设备的负载状态数据可以包括但不限于为以下至少一种：后台设备的平均CPU状态数据(比如，平均CPU使用率等)、后台设备的平均内存状态数据(比如，平均内存使用率等)等。若其中任一种负载状态数据超过预设的阈值，则判断后台设备当前处于过载状态。示例的，若平均CPU使用率超过90％和/或平均内存使用率超过90％，则确定后台设备当前为过载。

S305：若判断所述后台设备过载，则基于所述负载状态数据和在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，确定所述第一待处理请求进入请求处理队列的请求通过率。

其中，历史请求的请求时间是早于第一处理请求的请求时间的上一预设时间，该上一预设时间可以为上一预设统计周期，历史请求的数量优选为多个。平均等待耗是上一预设时间的历史请求在请求处理队列的平均停留时间，也即历史请求从进入队列到出队列的平均等待时间。

在一具体实施例，所述基于所述负载状态数据和在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，确定所述第一待处理请求进入请求处理队列的请求通过率，可以包括：

S3051：基于所述后台设备的负载状态数据，确定所述后台设备的第一整体资源使用率。

具体的，第一整体资源使用率是用于表征后台设备中所有服务器的平均资源使用情况。负载状态数据可以包括后台设备的平均CPU状态数据(比如，平均CPU使用率等)、后台设备的平均内存状态数据(比如，平均内存使用率等)。其中，利用负载状态数据中的平均CPU使用率和平均内存使用率来计算第一整体资源使用率。示例的，可以分别为平均CPU使用率和平均内存使用率配置权重(比如0.5/0.5、0.6/0.4、0.3/0.5等)，之后基于平均CPU使用率和平均内存使用率以及各自配置的权重，计算得到第一整体资源使用率。

S3053：获取在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，并确定预设平均耗时阈值与所述平均等待耗时的耗时比值。

具体的，平均等待耗时可通过对历史请求中每个请求进入请求处理队列和离开请求处理队列的时长进行统计并取其平均值而得到。预设平均耗时阈值可以为例如25毫秒。在确定了预设平均耗时阈值和平均等待耗时，则可计算两者的比值，得到两者的耗时比值。通常情况下，由于后台设备为过载，平均等待耗时会大于预设平均耗时阈值，则此时的耗时比值应该小于1。

S3055：基于所述第一整体资源使用率和所述耗时比值，确定待处理请求进入请求处理队列的初始请求通过率。

具体的，可以预先建立第一整体资源使用率和/或耗时比值与通过率映射关系表，之后通过查表来确定第一整体资源使用率和/或耗时比值对应的通过率，即得待处理请求进入请求处理队列的初始请求通过率。

示例的，若分别建立第一整体资源使用率与通过率的映射关系表、以及耗时比值与通过率映射关系表，通过分别查表，得到第一整体资源使用率对应的第一通过率和耗时比值对应的第二通过率，之后可以基于第一通过率和第二通过率进行加权计算，得到该初始请求通过率。具体的，根据第一整体资源使用率和耗时比值对请求通过率的影响程度，分别确定第一整体资源使用率对应的第一权重和耗时比值对对应的第二权重。具体的，可以设置第一权重和第二权重分别为0.5/0.5、0.4/0.6、0.5/0.2等。之后根据第一通过率、第二通过率、第一权重和第二权重进行加权求和，确定待处理请求进入请求处理队列的初始请求通过率。

S3057：将所述初始请求通过率作为所述第一待处理请求进入请求处理队列的请求通过率。

S307：基于所述请求通过率，确定是否拒绝所述第一待处理请求进入请求处理队列。

在一实施例，可以基于所述请求通过率并利用随机拒绝策略，确定是否拒绝所述第一待处理请求进入请求处理队列。具体的，可以预先为第一待处理请求分配随机数，之后，基于请求通过率和所述请求通过率对应的倍率，确定请求通过率对应的请求通过阈值，之后比较该随机数与该请求通过率对应的请求通过阈值的大小，若确定该随机数大于该请求通过阈值，则拒绝第一待处理请求进入请求处理队列。

在实际应用中，若随机数的取值为[1,100]，则确定请求通过率对应的倍率为100。将请求通过率乘以该倍率100，即得到请求通过率对应的请求通过阈值；之后将该请求通过阈值与随机数进行比较进而确定是否拒绝该待处理请求。

具体的，若请求通过率为85％，则请求通过率对应的请求通过阈值为85，当收到第一待处理请求后，生成一个随机数。若生成的随机数为15，则将该随机数15分配给该第一待处理请求，由于随机数15小于请求通过阈值85，则放行该第一待处理请求，并将该第一待处理请求加入请求处理队列中。若生成的随机数为90，则将该随机数90分配给该第一待处理请求，由于随机数90大于请求通过阈值85，则拒绝该第一待处理请求加入请求处理队列中。由于随机数是等概论均匀的，所以最终的请求通过率在大样本量情况下就是85％。

S205：基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小。

其中，负载反馈数据是后台设备在进行针对第一待处理请求的拒绝操作后所反馈的状态数据。该负载反馈数据可以包括后台资源使用率(比如平均CPU使用率和/或平均内存使用率)、请求在各队列中的等待耗时、网络处理耗时、请求在后台设备中的逻辑耗时等。

在一实施例，可以基于请求通过率和所述后台设备的负载反馈数据，确定通过率调整幅值；基于通过率调整幅值对请求通过率进行动态调整，得到调整后的请求通过率。

具体的，该负载反馈数据为后台资源使用率。所述基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小，可以包括：

S2051：若确定后台资源使用率大于等于预设使用率阈值、且所述请求通过率大于等于第一阈值，按第一预设比例下调所述请求通过率，得到调整后的请求通过率。

S2053：若确定后台资源使用率大于等于预设使用率阈值、且所述请求通过率小于第一阈值，按第二预设比例下调所述请求通过率，得到调整后的请求通过率。

S2055：若确定后台资源使用率小于预设使用率阈值，按第三预设比例上调所述请求通过率，得到调整后的请求通过率。

在统计周期内，若确定后台资源使用率中的平均CPU使用率和平均内存使用率中至少一项指标超过预设使用率阈值(比如90％)，则确定后台设备过载，根据请求通过率与第一阈值的大小来确定通过率下调的比例，继而根据第一预设比例或第二预设比例确定调整后的请求通过率，得到调整后的请求通过率。

在实际应用中，若第一阈值设置为25％，则对应的第一预设比例可为5％，对应的第二预设比例可为2％。示例的，若请求通过率(85％)大于该第一阈值(25％)，则以第一预设比例(5％)动态下调每次请求对应的请求通过率；若请求通过率(15％)小于该第一阈值(25％)，则以第二预设比例(2％)动态下调每次请求对应的请求通过率。若后台设备持续过载，则持续下调请求通过率，被拒绝的请求的比例也会不断增加。

在统计周期内，若确定后台资源使用率中的平均CPU使用率和平均内存使用率均小于预设使用率阈值(比如90％)，则确定后台设备不过载，可以按照预设的第三预设比例(比如1％)通过率上调，得到调整后的请求通过率。若后台设备持续不过载，则持续上调请求通过率，被拒绝的请求的比例也会不断减少，直至无需拒绝请求。

S207：基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列。

在本申请实施例，可以基于所述调整后的请求通过率并利用随机拒绝策略，确定是否拒绝所述第二待处理请求进入请求处理队列。

在一具体实施例，所述基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列，可以包括：

S2071：为所述第二待处理请求分配随机数。

其中，随机数的取值范围包括但不限于为[1,100]、[1,10]等。

过载保护服务器在接收到第二待处理请求后，可以生成一个随机数，并将该随机数分配给该第二待处理请求。若第二待处理请求的请求数量为多个时，可以生成多个随机数，并将所生成的多个随机数随机分配给每个第二待处理请求。

S2073：基于所述调整后的请求通过率和所述随机数，确定所述调整后的请求通过率对应的倍率。

具体的，通常调整后的请求通过率小于1，若随机数的取值范围的[1,100]，则调整后的请求通过率对应的倍率为100；若随机数的取值范围的[1,10]，则调整后的请求通过率对应的倍率为10。

S2075：基于所述调整后的请求通过率和所述倍率，确定所述调整后的请求通过率对应的请求通过阈值。

具体的，通过所确定的倍率得到调整后的请求通过率对应的请求通过阈值，从而将调整后的请求通过率和随机数的数值统一到相同的数值范围，便于比较两者的数值大小。

S2077：比较所述随机数与所述请求通过阈值的大小。

S2079：若确定所述随机数大于所述请求通过阈值，则拒绝所述第二待处理请求进入请求处理队列。

在实际应用中，若调整后的请求通过率为75％，随机数范围的[1,100]，则调整后的请求通过率对应的请求通过阈值为75，当收到第二待处理请求后，生成至少一个随机数。若生成的随机数为15，则将该随机数15分配给该第二待处理请求，由于随机数15小于请求通过阈值75，则放行该随机数对应的第二待处理请求，并将该第二待处理请求加入请求处理队列中。若生成的随机数为80，则将该随机数80分配给该第二待处理请求，由于随机数80大于请求通过阈值75，则拒绝该该随机数对应的第二待处理请求加入请求处理队列中。由于随机数是等概论均匀的，所以最终的调整后的请求通过率在大样本量情况下就是75％。

本申请实施例通过在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于第二待处理请求的请求时间；基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；基于调整后的请求通过率，确定是否拒绝所接收的第二待处理请求进入请求处理队列。从而能够根据后台设备的负载反馈数据和上一次请求的请求通过率动态调整请求通过率的大小，根据调整后的请求通过率拒绝一定比例的待处理请求进入请求处理队列以实现对后台设备的过载保护，无需配置最大的并发连接数以及队列的耗时阈值，提高了对后台设备的过载保护效果。

此外，由于根据调整后的请求通过率拒绝一定比例的待处理请求进入请求处理队列，即改变了输入的请求数量，进而影响整个后台设备的输出，反过来又会影响整个后台设备的状态数据，从而对下一次是否拒绝待处理请求的判断造成一定影响，如此实现了基于负反馈的过载保护策略。

此外，在后台设备过载的时候，后台服务能够返回的有效请求数是一定的，因此调整后的请求通过率最终会稳定在一个数值上下，呈现波动的状态。通过这种逐步调整请求通过率的策略，还可以避免后台设备的处理能力产生非常大的波动，减少了后台设备不稳定的因素。

在一些情况下，除了由于请求数量超过后台设备的处理能力而引起的后台设备的整体过载的情况，还可能出现针对预定数量的单台服务器自身的错误(单点过载)，或是共享资源竞争处理变慢而导致后台设备的处理能力下降而产生的过载。针对这种问题，本申请还提供了另一种过载保护方法。图4是本申请实施例提供的又一种过载保护方法的部分流程示意图。如图4所示，在上述实施例的基础上，所述方法还可以包括：

S401：基于后台设备中每台设备的负载状态数据，确定当前处于过载状态的目标设备。

具体的，可通过获取后台设备中每台设备的负载状态数据，确定当前处于过载状态的目标设备。其中，每台设备的负载状态数据可以包括单台设备的CPU状态数据(比如，CPU使用率等)、单台设备的内存状态数据(比如，内存使用率等)、总的每秒收到的请求数(QPS)，成功处理的QPS，成功处理的请求平均耗时，请求超时的请求次数，请求处理失败的次数，请求被拒绝连接的次数等。若其中至少一种负载状态数据指标超过预设的阈值，则判断该单台设备为当前处于过载状态的目标设备。示例的，若平均CPU使用率超过90％和/或平均内存使用率超过90％，则确定该单台设备当前为过载。

S403：若确定所述目标设备的负载状态数据满足预设调整条件，则动态调整所述目标设备对应的请求处理权重。

其中，所述请求处理权重表征单台设备处理的请求数量在后台设备处理的总请求数量所占的比重。

具体的，所述若确定所述目标设备的负载状态数据满足预设调整条件，则动态调整所述目标设备对应的请求处理权重，可以包括：

S4031：若确定所述目标设备每秒收到的请求数大于预设数量阈值，且成功处理的请求数量在总请求数量中数量占比小于第一占比阈值，则将所述目标设备的请求处理权重调整为零。

S4033：若确定所述目标设备所成功处理的请求的平均耗时大于预设耗时阈值，则按照预设权重比例下调所述目标设备对应的请求处理权重。

S4035：若确定所述目标设备所成功处理的请求的平均耗时小于预设耗时阈值，则按照预设权重比例上调所述目标权重对应的请求处理权重。

在实际应用中，针对后台设备中的每台服务器分配的初始请求处理权重为100，每隔固定时间(比如3s)，计算每台服务器的负载状态数据包括但不限于为：总的QPS(每秒收到的请求数)，成功处理的QPS，成功处理的请求平均耗时，请求超时的请求次数，请求处理失败的次数和请求被拒绝连接的次数。通过调整每个服务器的权重，使得请求可以根据各服务器负载状态，均匀的分配到后端设备中的每个服务器，从而影响了整个后台设备的负载状态数据(比如平均CPU使用率、平均内存使用率)，进而反过来影响整个系统的过载保护，进一步提高对服务器的过载保护效果。

在一具体实施例，权重动态调整可以为：

若目标服务器的总的QPS大于预设数量阈值(比如30)时，且其成功处理的请求数量在总请求数量中数量占比小于第一占比阈值(比如50％)，也即(请求超时的请求次数+请求处理失败的次数+请求被拒绝连接的次数)/总请求次数超过50％，则确定该目标服务器发生了不可恢复的错误，此时直接将该目标服务器的请求处理权重降为零。

若目标设备所成功处理的请求的平均耗时大于预设耗时阈值(比如400ms)，则认为该目标设备发生了可恢复的错误，则在每个统计周期内，下降预设权重比例(比如20)的权重，直至请求处理权重下降为零。

若目标设备所成功处理的请求的平均耗时小于预设耗时阈值(比如400ms)，则认为该目标设备正在恢复，则在每个统计周期内，上调预设权重比例(比如20)的权重，直至请求处理权重恢复至100。

图5是本申请实施例提供的一种过载保护方法的时序示意图。如图5所示，该方法可以包括：

S501：终端向过载服务器发送第一待处理请求；

S502：后台设备向过载保护服务器上报负载状态数据以及上一预设时间内的历史请求在请求处理队列中的平均等待耗时；

S503：过载保护服务器基于后台设备的负载状态数据，判断所述后台设备是否过载；

S504：过载保护服务器若判断所述后台设备过载，则基于所述负载状态数据和所述平均等待耗时，确定所述第一待处理请求进入请求处理队列的请求通过率；

S505：过载保护服务器基于所述请求通过率，确定是否拒绝所述第一待处理请求进入请求处理队列；

S506：过载保护服务器若确定为是，则拒绝第一待处理请求进入请求处理队列；

S507：终端向过载保护服务器发送第二待处理请求；

S508：过载保护服务器在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；

S509：后台设备向过载保护服务器上报负载反馈数据；

S510：过载保护服务器基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；

S511：过载保护服务器基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列。

S512：过载保护服务器若确定为是，则拒绝第二待处理请求进入请求处理队列。

在一些实施例，所述步骤S511，可以包括：

S5111：过载保护服务器为所述第二待处理请求分配随机数；

S5113：过载保护服务器基于所述调整后的请求通过率和所述随机数，确定所述调整后的请求通过率对应的倍率；

S5115：过载保护服务器基于所述调整后的请求通过率和所述倍率，确定所述调整后的请求通过率对应的请求通过阈值；

S5117：过载保护服务器比较所述随机数与所述请求通过阈值的大小；

S5119：过载保护服务器若确定所述随机数大于所述请求通过阈值，则拒绝所述第二待处理请求进入请求处理队列。

在一些实施例，所述方法还可以包括：

S513：基于后台设备中每台设备的负载状态数据，确定当前处于过载状态的目标设备。

S514：若确定所述目标设备的负载状态数据满足预设调整条件，则动态调整所述目标设备对应的请求处理权重。

需要说明的是，上述步骤S501-步骤S514的具体实现方式可以参见上述实施例对应的步骤的描述，这里不再进行赘述。

图6是本申请实施例提供的另一种过载保护方法的时序示意图。图7是本申请实施例提供的另一种过载保护方法的过程示意图。过载保护服务器可以包括过载保护模块和决策控制模块，如图6和7所示，该方法可以包括：

S601：终端向过载保护模块发送第一待处理请求；

S602：过载保护模块向决策控制模块发送第一控制触发指令；

S603：后台设备向决策控制模块上报负载状态数据以及上一预设时间内的历史请求在请求处理队列中的平均等待耗时；

S604：决策控制模块响应于所述第一控制触发指令，基于后台设备的负载状态数据，判断所述后台设备是否过载；

S605：决策控制模块若判断所述后台设备过载，则基于所述负载状态数据和所述平均等待耗时，确定所述第一待处理请求进入请求处理队列的请求通过率；

S606：决策控制模块向过载保护模块下发请求通过率；

S607：过载保护模块基于所述请求通过率，确定是否拒绝所述第一待处理请求进入请求处理队列；若确定为是，则拒绝第一待处理请求进入请求处理队列；

S608：终端向过载保护模块发送第二待处理请求；

S609：过载保护模块向决策控制模块发送第二控制触发指令；

S610：决策控制模块响应于所述第二控制触发指令，在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；

S611：后台设备向决策控制模块上报负载反馈数据；

S612：决策控制模块基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；

S613：决策控制模块向过载保护模块下发调整后的请求通过率；

S614：过载保护模块基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列；若确定为是，则拒绝第二待处理请求进入请求处理队列。

在一些实施例，进一步的，若确定不拒绝所述第二待处理请求进入请求处理队列，则可以接受第二待处理请求进入请求处理队列。

在一些实施例，所述步骤S614，可以包括：

S6141：过载保护模块为所述第二待处理请求分配随机数；

S6143：过载保护模块基于所述调整后的请求通过率和所述随机数，确定所述调整后的请求通过率对应的倍率；

S6145：过载保护模块基于所述调整后的请求通过率和所述倍率，确定所述调整后的请求通过率对应的请求通过阈值；

S6147：过载保护模块比较所述随机数与所述请求通过阈值的大小；

S6149：过载保护模块若确定所述随机数大于所述请求通过阈值，则拒绝所述第二待处理请求进入请求处理队列。

在一些实施例，所述方法还可以包括：

S615：基于后台设备中每台设备的负载状态数据，确定当前处于过载状态的目标设备。

S616：若确定所述目标设备的负载状态数据满足预设调整条件，则动态调整所述目标设备对应的请求处理权重。

需要说明的是，上述步骤S601-步骤S616的具体实现方式可以参见上述实施例对应的步骤的描述，这里不再进行赘述。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

请参考图8，其示出了本申请实施例提供的一种过载保护装置的结构框图。该装置具有实现上述方法示例中服务器侧的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述装置80可以包括：

第一请求接收模块801，用于接收第二待处理请求；

通过率获取模块802，用于在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于所述第二待处理请求的请求时间；

通过率调整模块803，用于基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；

第一请求拒绝判断模块804，用于基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列。

在一些实施例中，如图9所示，所述第一请求接收模块801和所述第一请求拒绝判断模块804可以集成为过载保护模块81，所述通过率获取模块802和所述通过率调整模块803可以集成为决策控制模块82。此时，所述装置80可以包括过载保护模块81和决策控制模块82，其中，决策控制模块82还用于向所述过载保护模块81下发调整后的请求通过率。

在一些实施例，所述装置80还包括：

第二请求接收模块，用于接收第一待处理请求；

过载判断模块，用于基于后台设备的负载状态数据，判断所述后台设备是否过载；

通过率确定模块，用于若判断所述后台设备过载，则基于所述负载状态数据和在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，确定所述第一待处理请求进入请求处理队列的请求通过率；

第二请求拒绝判断模块，用于基于所述请求通过率，确定是否拒绝所述第一待处理请求进入请求处理队列。

在一些实施例，所述通过率确定模块包括：

第一确定单元，用于基于所述后台设备的负载状态数据，确定所述后台设备的第一整体资源使用率；

第二确定单元，用于获取在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，并确定预设平均耗时阈值与所述平均等待耗时的耗时比值；

权重获取单元，用于获取所述第一整体资源使用率对应的第一权重和所述耗时比值对应的第二权重；

初始通过率确定单元，用于基于所述第一整体资源使用率、所述耗时比值、所述第一权重和所述第二权重，确定待处理请求进入请求处理队列的初始请求通过率；

通过率确定单元，用于将所述初始请求通过率作为所述第一待处理请求进入请求处理队列的请求通过率。

在一些实施例，所述通过率调整模块803包括：

第一调整单元，用于若确定后台资源使用率大于等于预设使用率阈值、且所述请求通过率大于等于第一阈值，按第一预设比例下调所述请求通过率，得到调整后的请求通过率；

第二调整单元，用于若确定后台资源使用率大于等于预设使用率阈值、且所述请求通过率小于第一阈值，按第二预设比例下调所述请求通过率，得到调整后的请求通过率；

第三调整单元，用于若确定后台资源使用率小于预设使用率阈值，按第三预设比例上调所述请求通过率，得到调整后的请求通过率。

在一些实施例，所述第一请求拒绝判断模块804包括：

随机数分配单元，用于为所述第二待处理请求分配随机数；

倍率确定单元，用于基于所述调整后的请求通过率和所述随机数，确定所述调整后的请求通过率对应的倍率；

阈值确定单元，用于基于所述调整后的请求通过率和所述倍率，确定所述调整后的请求通过率对应的请求通过阈值；

比较单元，用于比较所述随机数与所述请求通过阈值的大小；

请求拒绝单元，用于若确定所述随机数大于所述请求通过阈值，则拒绝所述第二待处理请求进入请求处理队列。

在一些实施例，所述装置80还可包括：

目标设备确定模块，用于基于后台设备中每台设备的负载状态数据，确定当前处于过载状态的目标设备；

权重调整模块，用于若确定所述目标设备的负载状态数据满足预设调整条件，则动态调整所述目标设备对应的请求处理权重，所述请求处理权重表征单台设备处理的请求数量在后台设备处理的总请求数量所占的比重。

本申请实施例提供了一种过载保护设备，该过载保护设备可以包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的过载保护方法。

本申请实施例还提供了一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行上述任一所述的过载保护方法。

进一步地，图10示出了一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图，所述设备可以为计算机终端、移动终端或其它设备，所述设备还可以参与构成或包含本申请实施例所提供的装置。如图10所示，计算机终端10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种神经网络处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种过载保护方法，其特征在于，包括：

接收第二待处理请求；

在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于所述第二待处理请求的请求时间；

基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；

基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列。

2.根据权利要求1所述的方法，其特征在于，所述接收第二待处理请求之前，所述方法还包括：

接收第一待处理请求；

基于后台设备的负载状态数据，判断所述后台设备是否过载；

若判断所述后台设备过载，则基于所述负载状态数据和在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，确定所述第一待处理请求进入请求处理队列的请求通过率；

基于所述请求通过率，确定是否拒绝所述第一待处理请求进入请求处理队列。

3.根据权利要求2所述的方法，其特征在于，所述基于所述负载状态数据和在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，确定第一待处理请求进入请求处理队列的请求通过率，包括：

基于所述后台设备的负载状态数据，确定所述后台设备的第一整体资源使用率；

获取在上一预设时间内的历史请求在请求处理队列中的平均等待耗时，并确定预设平均耗时阈值与所述平均等待耗时的耗时比值；

基于所述第一整体资源使用率和所述耗时比值，确定待处理请求进入请求处理队列的初始请求通过率；

将所述初始请求通过率作为所述第一待处理请求进入请求处理队列的请求通过率。

4.根据权利要求1-3任一所述的方法，其特征在于，所述负载反馈数据包括后台资源使用率；所述基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小，包括：

若确定后台资源使用率大于等于预设使用率阈值、且所述请求通过率大于等于第一阈值，按第一预设比例下调所述请求通过率，得到调整后的请求通过率；

若确定后台资源使用率大于等于预设使用率阈值、且所述请求通过率小于第一阈值，按第二预设比例下调所述请求通过率，得到调整后的请求通过率；

若确定后台资源使用率小于预设使用率阈值，按第三预设比例上调所述请求通过率，得到调整后的请求通过率。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于后台设备中每台设备的负载状态数据，确定当前处于过载状态的目标设备；

若确定所述目标设备的负载状态数据满足预设调整条件，则动态调整所述目标设备对应的请求处理权重，所述请求处理权重表征单台设备处理的请求数量在后台设备处理的总请求数量所占的比重。

6.根据权利要求5所述的方法，其特征在于，所述若确定所述目标设备的负载状态数据满足预设调整条件，则动态调整所述目标设备对应的请求处理权重，包括：

若确定所述目标设备每秒收到的请求数大于预设数量阈值，且成功处理的请求数量在总请求数量中数量占比小于第一占比阈值，则将所述目标设备的请求处理权重调整为零；

若确定所述目标设备所成功处理的请求的平均耗时大于预设耗时阈值，则按照预设权重比例下调所述目标设备对应的请求处理权重；

若确定所述目标设备所成功处理的请求的平均耗时小于预设耗时阈值，则按照预设权重比例上调所述目标权重对应的请求处理权重。

7.根据权利要求1-3、5和6任一所述的方法，其特征在于，所述基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列，包括：

为所述第二待处理请求分配随机数；

基于所述调整后的请求通过率和所述随机数，确定所述调整后的请求通过率对应的倍率；

基于所述调整后的请求通过率和所述倍率，确定所述调整后的请求通过率对应的请求通过阈值；

比较所述随机数与所述请求通过阈值的大小；

若确定所述随机数大于所述请求通过阈值，则拒绝所述第二待处理请求进入请求处理队列。

8.一种过载保护装置，其特征在于，包括：

请求接收模块，用于接收第二待处理请求；

通过率获取模块，用于在判断后台设备过载的情况下，获取第一待处理请求进入请求处理队列的请求通过率；所述第一待处理请求的请求时间早于所述第二待处理请求的请求时间；

通过率调整模块，用于基于所述请求通过率和所述后台设备的负载反馈数据，动态调整所述请求通过率的大小；

第一请求拒绝判断模块，用于基于调整后的请求通过率，确定是否拒绝所述第二待处理请求进入请求处理队列。

9.一种过载保护设备，其特征在于，所述过载保护设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的过载保护方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1至7任一所述的过载保护方法。

Images