CN108255599A - 基于大量请求的处理方法和装置 - Google Patents

Abstract

本发明提供了一种基于大量请求的处理方法和装置，其中，所述方法包括：在处理服务请求时，对处理服务请求的超时次数进行计数，并对处理服务请求的处理时间进行计时；在处理时间小于阈值T时，当超时次数n大于或等于预设的次数阈值N_c时，暂停服务，在达到预定的时间C时，继续处理服务请求，并重新对超时次数进行计数，重新对处理时间进行计时。本发明在处理大量服务请求时，由于设置了超时次数及处理时间阈值，当超时次数超过了超时次数阈值时，暂停服务，从而使服务器的CPU和内存得以恢复正常，从而缓解了服务器压力，避免了系统宕机，在服务器恢复正常后，可以继续处理服务请求，不会出现严重的超时，从而提升了用户体验。

Description

基于大量请求的处理方法和装置

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种基于大量请求的处理方法和装置。

背景技术

随着电子商务系统的发展，为了促进商品销售，通常会组织各种抢购活动，例如现在很流行的“秒杀活动”，持续时间只有数分钟，但是可以销售掉大量的商品。

在“秒杀活动”中，每分钟会有几亿次请求，在用户轻轻点击鼠标的瞬间，后台系统面对大量用户、大量并发的访问及各种复杂的业务规则运算，并在1秒内返回抢购结果。在用户看来，只是简单的点击鼠标，而后台系统需要依赖各种优秀的算法、性能优越的服务器及其他复杂资源才能成功为用户返回抢购结果。由于请求量过大，在一次大型秒杀活动中，经常会遇到线上请求超时、宕机等故障。

解决上述问题的方案之一是：提供大批量、高配置、高性能的服务器，并将各优秀服务器部署在同一机房。在遇到性能瓶颈时不停的扩容，更换机器配置，即通过高性能的硬件来满足大量请求的处理要求。然而，这种方案会导致大量的资源浪费。这是因为，秒杀活动持续时间短，一场活动一般在10分钟以内完成，热门限量商品不到一分钟就抢购完，百分之九十时间线上服务器资源完全没有被使用。

另一种处理方式是：提前将活动商品库存分摊到每台服务器。然而这种方式在秒杀库存量很小的时候，或者服务器性能不一致时会出现部分机器上该秒杀商品很快被消耗完，其他机器还有大量库存，导致没有库存的机器在接受到请求时不会秒杀成功。当处理该用户请求的服务器中的库存消耗完后，会向用户返回抢购失败，提示抢购已经结束的结果，但是当用户继续请求时又有可能成功。这种处理方式缺乏公平性，随机性较大，给用户带来不好的体验。

发明内容

本发明针对现有技术的不足，提供一种基于大量请求的处理方法和装置，用以解决在处理大量请求时出现的处理超时严重、宕机等问题。

为解决上述技术问题，根据本发明的一个方面，提供了一种基于大量请求的处理方法，其中，在处理大量服务请求时，包括以下步骤：

对处理服务请求的超时次数进行计数，并对处理服务请求的处理时间进t₂行计时；

在处理时间t₂小于阈值T时，当超时次数n大于或等于预设的次数阈值N_c时，暂停服务，在达到预设的暂停服务时间C时，继续处理服务请求，并重新对超时次数n进行计数，重新对处理时间t₂进行计时。

优选地，所述对处理所述服务请求的超时次数进行计数的步骤包括：

在处理一个服务请求时，对处理所述服务请求的服务时间t_r进行计时；

比较所述服务时间t_r与预定的服务时间阈值T_r的大小；

如果所述处理所述服务请求的服务时间t_r大于或等于所述服务时间阈值T_r时，对超时次数n加1。

优选地，在处理时间t₂达到阈值T，且超时次数n小于预设的次数阈值N_c时，继续处理服务请求，并重新对超时次数n进行计数，重新对处理时间t₂进行计时。

为解决上述技术问题，根据本发明的另一个方面，提供了一种基于大量请求的处理装置，其中，包括：

计数模块，用于对处理所述服务请求的超时次数n进行计数；

第一计时模块，用于对处理服务请求的处理时间t₂进行计时；和

处理模块，与所述第一计时模块和计数模块相连接，用于接收超时次数n和处理时间t₂，在t₂<T，n＝N_c时，发送暂停处理服务请求的指令和暂停服务计时指令；在暂停服务计时结束后，将超时次数和处理时间置O后，发送继续处理服务请求的指令，并向所述第一计时模块发送重新计时指令、向所述计数模块发送重新计数指令；

在t₂＝T，n<N_c时，发送继续处理服务请求的指令，并将超时次数和处理时间置O后，向所述第一计时模块发送重新计时指令、向所述计数模块发送重新计数指令；

其中，所述T为处理阈值，N_c为次数阈值。

优选地，所述处理装置还包括：

第二计时模块，用于对处理服务请求的服务时间t_r进行计时，并确定处理所述服务请求是否超时。

优选地，所述第二计时模块包括：

计时单元，用于对处理服务请求的服务时间t_r进行计时，和

比较单元，用于比较所述服务时间t_r与预定的服务时间阈值T_r的大小；如果所述请求处理的服务时间t_r大于或等于所述服务阈值时间T_r时，发送超时信息给所述的计数模块；

所述计数模块根据所述比较单元发送的超时信息进行计数。

优选地，所述处理装置还包括：第三计时模块，用于根据所述处理模块的计时指令，计时预设的暂停服务时间C，并在计时结束后，向所述处理模块发送计时结束消息。

优选地，所述处理装置还包括：配置模块，用于配置次数阈值N_c、处理时间阈值T、服务阈值时间T_r和暂停服务时间C。

为解决上述技术问题，根据本发明的另一个方面，提供了一种基于大量请求的处理装置，包括存储器和处理器，所述存储器用于存储数据和指令，所述处理器根据所述指令执行以下步骤：

对处理服务请求的超时次数进行计数，并对处理服务请求的处理时间进t₂行计时；

在处理时间t₂小于阈值T时，当超时次数n大于或等于预设的次数阈值N_c时，暂停服务，在达到预设的暂停服务时间C时，继续处理服务请求，并重新对超时次数n进行计数，重新对处理时间t₂进行计时。

本发明在处理大量服务请求时，由于设置了超时次数及处理时间阈值，当超时次数超过了超时次数阈值时，暂停服务，从而使服务器的CPU和内存得以恢复正常，从而缓解了服务器压力，避免了系统宕机，在服务器恢复正常后，可以继续处理服务请求，不会出现严重的超时，提升了用户体验。

附图说明

通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1为本发明所述基于大量请求的处理方法的简要流程图；

图2为本发明所述对超时次数进行一次计数的简要流程图；

图3为本发明所述基于大量请求的处理方法实施例一的处理过程示意图；

图4为本发明所述基于大量请求的处理方法实施例二的处理过程示意图；

图5为本发明所述基于大量请求的处理装置实施例的原理框图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

如图1所示，为本发明所述基于大量请求的处理方法实施例的简要流程图。本发明所述方法包括以下步骤：

步骤S1，开始处理服务请求，针对服务请求提供相应的服务。例如对于一次抢购服务，当接收到商品抢购请求时，查询库存，确定该商品是否存在，如果存在，根据商品抢购请求，预定所述商品，为用户返回结果等。

步骤S2，在开始处理所述服务请求的同时，开始对计数时间t2进行计时。

步骤S3，在处理服务请求过程中，对处理服务请求超时的次数n进行计数。在处理服务请求时，如果处理一个服务请求的时间超过了规定的时间，则认为对该服务请求的处理超时。本发明对这种情况进行的计数。本发明设定了计数次数阈值、处理时间阈值，和暂停服务的时间。其中，所述计数次数阈值是指允许超时次数的最大值，当超过该最大值，则重新对超时次数进行计数。本发明中的处理时间阈值是指，可以进行计数的时间最大值，当到达该最大值，则对超时次数置0，重新计数，同时重新计时。在该段时间内，可能会有多次超时发生。

如图2所示，为本发明所述对超时次数进行一次计数的简要流程图。

步骤S31,对处理所述服务请求的服务时间t_r进行计时。

步骤S32,比较所述服务时间t_r与预定的服务时间阈值T_r的大小。

步骤S33,判断服务时间t_r是否大于或等于服务时间阈值T_r，如果不大于，则转向步骤S35,如果大于或等于，则转向步骤S34。

步骤S34,对超时次数加1，结束一次计数。

步骤S35，判断该服务请求是否处理完成，如果处理完成，则结束本次计数。如果没有处理完成，转向步骤S31继续计时。

返回图1，在步骤S4，判断处理时间是否达到处理时间阈值T，如果达到了，则执行步骤S5，如果没达到，则转向步骤S6。

步骤S5，对处理时间置0，对计数次数置0，回到步骤S2，重新开始对处理服务请求的处理时间进行计时及步骤3对超时进行计数的过程。

步骤S6，判断超时次数n是否达到了计数次数阈值N_c，如果达到了，执行步骤S7，如果没有达到，回到步骤S3，继续进行超时次数的计数。

步骤S7，暂停服务，以便服务器的CPU和内存恢复正常。

步骤S8，对暂停服务的时间进行计时。

步骤S9，判断是到达设定的暂停服务时间C，如果达到了，执行步骤S10，对处理时间置0，对计数次数置0，而后回到步骤S1，重新开始新的服务请求的处理过程。如果没有达到暂停服务时间C，返回步骤S8，继续对暂停服务的时间进行计时。其中，所述的暂停服务时间C的设置可根据经验来设置具体的时间段。

从上述过程可见，在处理大量服务请求时，由于设置了超时次数及处理时间阈值，当超时次数过了一定的次数，则暂停服务，从而缓解了服务压力，不需要对服务器进行扩容，因而避免了扩容引起的资源浪费的问题。在暂停服务后，用户的请求没有成功，用户可以再次尝试，不会出现由于预分配库存而造成用户在抢购不成功后又能抢购成功的情况，因而提升了用户体验。如果在处理时间阈值内，超时次数没有达到阈值，则正常提供服务，在处理时间达到阈值后，重新计数、计时，不会影响正常功能。

如图3所示，为本发明所述基于大量请求的处理方法实施例一的处理过程示意图，如图4所示，为本发明所述基于大量请求的处理方法实施例二的处理过程示意图。

为了对超时次数进行计数，并对处理时间进行计时，在本实施例中设置一计数器，用于记录在处理服务请求时的超时次数n。

具体地，在一定时间间隔(t₀,t₀+t)内的耗时超时次数n如公式1-1：

其中，t_i：第i次请求服务耗时时间。T_r：耗时阈值，也称为针对一次服务请求提供服务的服务时间阈值。

计数器的寿命L为公式1-2：

其中，为满足f(x)＝a的x的值。

T：计数器的时间寿命，为计数器生成的时间长度，即计数器存活时可以进行计数的时间最大值，也就是前述的处理时间阈值，当到达该值时，计数器自然死亡，系统继续提供服务，同时，对超时次数置0，重新计数、计时。

N_c：计数器最大的记录值，即前面所述的计数阈值。当计数器的计数次数n达到阈值时，计数器被动死亡,计数清零，系统暂停服务。

通过以上公式可知，计数器寿命L由两个参数来决定，分别为次数寿命和时间寿命(N_c,T)，取其小为实际的计数器寿命。

在图3、图4所示的实施例中，计数器寿命为(5,100)，即计数阈值N_c＝5，处理时间阈值T＝100s。计数器实际的寿命或者为最长的时间寿命T，或者为达到次数寿命N_c时的实际时间长度。

如图3所示，以时间为轴，t₀为计数器为0的任意时刻。T为处理时间阈值。图中的数字1，2，3和4为计数器记录的超时次数。由于在第一个处理时间阈值内T＝100s，超时次数n＝4,小于计数阈值5，因而系统正常提供服务，如处理服务请求，查询，返回结果等。在t＝t₀+100s＝t₀+T时，计数器清0，重新开始计数、计时。在第二个处理时间阈值内,T＝100s,超时次数n＝3,小于计数阈值5，因而系统仍然正常提供服务。

在图4中，时间从t₀开始，在未到时t₀+T时，即在时间寿命还未到时，共有5次超时，则该计数器的达到了计数寿命，此时，计数器清0，同时暂停服务一段时间C，然后再重新提供服务，重新开始计数、计时。

从图3和图4中可见，当计数器自然死亡时，立刻新生成新的计数器，系统持续对外服务；当计数器被动死亡时，系统停止对外提供服务一段时间后，计数器重新生成。

如图5所示，为本发明所述基于大量请求的处理装置实施例的原理框图。在本实施例中，所述基于大量请求的处理装置包括：计数模块1、第一计时模块2和处理模块3，其中，所述计数模块1对处理所述服务请求的超时次数n进行计数；所述第一计时模块2对所述计数模块的处理时间t₂进行计时；处理模块3与所述第一计时模块和计数模块相连接，用于接收超时次数n和处理时间t₂。在t₂＝T，n<N_c时，发送继续处理服务请求的指令，并将超时次数和处理时间置O后，分别向所述第一计时模块2和计数模块1发送重新计时和计数的指令。在t₂≤T，n＝N_c时，发送暂停处理服务请求的指令和计时指令；计时结束后，将第一计时模块2和计数模块1置O后，发送继续处理服务请求的指令，并向所述第一计时模块2、计数模块1发送重新计时和计数的指令。其中，所述T为前述的处理时间阈值，N_c为前述的次数阈值。在本实施例中，所述第一计时模块2和计数模块1分别用已完成前述计时器的功能。

更好地，还包括第二计时模块4，用于对处理服务请求的服务时间t_r进行计时，并确定处理所述服务请求是否超时。具体地，所述第二计时模块4包括计时单元和比较单元，所述计时单元用于对处理服务请求的服务时间t_r进行计时，所述比较单元，用于比较所述服务时间t_r与预定的服务时间阈值T_r的大小；如果所述请求处理的服务时间t_r大于或等于所述服务阈值时间T_r时，发送超时信息给所述的计数模块1；所述计数模块1根据所述比较单元发送的超时信息进行计数。

为了对暂停服务时间C进行计时，还包括第三计时模块5，用于根据所述处理模块的计时指令，对暂停服务时间计时，并在达到预设的时间C后，计时结束，向所述处理模块发送计时结束消息。

本发明设有配置模块6用于配置次数阈值N_c、处理时间阈值T、服务阈值时间T_r和暂停服务时间C等参数，用于实现前述方法和系统。

本发明还提供一种基于大量请求的处理装置，其中，还包括存储器和处理器，所述存储器用于存储数据和指令，所述处理器根据所述指令执行以下步骤：

在处理服务请求时，对处理所述服务请求的超时次数进行计数；

在计数阈值时间T内，当超时次数n大于或等于预设的次数阈值N_c时，暂停服务，在达到预定的时间C时，继续处理服务请求，并重新对超时次数进行计数；

在处理时间达到处理时间阈值T时，重新对超时次数进行计数。

通过存储器存储前述的各种配置参数，如次数阈值N_c、处理时间阈值T、服务阈值时间T_r和暂停服务时间C等，所述处理器通过执行指令，实现计数、计时等功能。

以上所述仅为优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于大量请求的处理方法，其中，在处理大量服务请求时，包括以下步骤：

对处理服务请求的超时次数进行计数，并对处理服务请求的处理时间t₂进行计时；

在处理时间t₂小于阈值T、且超时次数n大于或等于预设的次数阈值N_c时，暂停服务，在达到预设的暂停服务时间C时，继续处理服务请求，并重新对超时次数n进行计数，重新对处理时间t₂进行计时。

2.如权利要求1所述的基于大量请求的处理方法，其中，所述对处理所述服务请求的超时次数进行计数的步骤包括：

在处理一个服务请求时，对处理所述服务请求的服务时间t_r进行计时；

比较所述服务时间t_r与预定的服务时间阈值T_r的大小；

如果所述处理所述服务请求的服务时间t_r大于或等于所述服务时间阈值T_r时，对超时次数n加1。

3.如权利要求1或2所述的基于大量请求的处理方法，其中，在处理时间t₂达到阈值T，且超时次数n小于预设的次数阈值N_c时，继续处理服务请求，并重新对超时次数n进行计数，重新对处理时间t₂进行计时。

4.一种基于大量请求的处理装置，其中，包括：

计数模块，用于对处理所述服务请求的超时次数n进行计数；

第一计时模块，用于对处理服务请求的处理时间t₂进行计时；和

处理模块，与所述第一计时模块和计数模块相连接，用于接收超时次数n和处理时间t₂，在t₂<T，n＝N_c时，发送暂停处理服务请求的指令和暂停服务计时指令；在暂停服务计时结束后，将超时次数和处理时间置O后，发送继续处理服务请求的指令，并向所述第一计时模块发送重新计时指令、向所述计数模块发送重新计数指令；

其中，所述T为处理阈值，N_c为次数阈值。

5.如权利要求4所述的基于大量请求的处理装置，其中，在t₂＝T，n<N_c时，所述处理模块发送继续处理服务请求的指令，并将超时次数和处理时间置O，向所述第一计时模块发送重新计时指令、向所述计数模块发送重新计数指令。

6.如权利要求4所述的基于大量请求的处理装置，其中，还包括：

第二计时模块，用于对处理服务请求的服务时间t_r进行计时，并确定处理所述服务请求是否超时。

7.如权利要求6所述的基于大量请求的处理装置，其中，所述第二计时模块包括：

计时单元，用于对处理服务请求的服务时间t_r进行计时，和

比较单元，用于比较所述服务时间t_r与预定的服务时间阈值T_r的大小；如果所述请求处理的服务时间t_r大于或等于所述服务阈值时间T_r时，发送超时信息给所述的计数模块；

所述计数模块根据所述比较单元发送的超时信息进行计数。

8.如权利要求4-7任一所述的基于大量请求的处理装置，其中，还包括：

第三计时模块，用于根据所述处理模块的计时指令，计时预设的暂停服务时间C，并在计时结束后，向所述处理模块发送计时结束消息。

9.如权利要求7所述的基于大量请求的处理装置，其中，还包括：配置模块，用于配置次数阈值N_c、处理时间阈值T、服务阈值时间T_r和暂停服务时间C。

10.一种基于大量请求的处理装置，其中，包括存储器和处理器，所述存储器用于存储数据和指令，所述处理器根据所述指令执行以下步骤：

对处理服务请求的超时次数进行计数，并对处理服务请求的处理时间进t₂行计时；

在处理时间t₂小于阈值T时，当超时次数n大于或等于预设的次数阈值N_c时，暂停服务，在达到预设的暂停服务时间C时，继续处理服务请求，并重新对超时次数n进行计数，重新对处理时间t₂进行计时。