CN107577529A - 一种请求处理方法及装置 - Google Patents

Abstract

本发明提供了一种请求处理方法及装置，该方法包括：确定包括有至少一个连接项的连接队列，各连接项均对应有请求队列；针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定连接队列中的一处于空闲状态的目标连接项；利用当前线程处理目标连接项对应的请求队列，以及标记当前线程和目标连接项均处于非空闲状态。任一线程均可以处理一请求队列，从而各线程无需从同一请求队列中顺序获取请求，故本方案能够提高请求处理效率。

Description

一种请求处理方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种请求处理方法及装置。

背景技术

随着互联网的普遍运用，大规模并发场景越来越普通。各用户经登录浏览器客户端，可以向服务器端发起请求。

目前，任一线程可以加锁请求队列以从中获取一请求，并于请求获取后解锁，解锁后的请求队列可以再次被加锁，如此循环，以使各线程均获取到请求。各线程获取到请求后，可以于后端处理请求。

由于各线程需要顺序获取请求，故现有实现方式的请求处理效率不高。

发明内容

本发明提供了一种请求处理方法及装置，能够提高请求处理效率。

为了达到上述目的，本发明是通过如下技术方案实现的：

一方面，本发明提供了一种请求处理方法，确定包括有至少一个连接项的连接队列，其中，每一个所述连接项均对应有请求队列；还包括：

针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定所述连接队列中的一处于空闲状态的目标连接项；

利用所述当前线程处理所述目标连接项对应的目标请求队列，以及标记所述当前线程和所述目标连接项均处于非空闲状态。

进一步地，每一个所述请求队列均对应有第一计数器；

该方法还包括：在确定出所述当前线程的请求处理数量达到预设第一阈值时，控制所述目标请求队列对应的第一计数器的计数数值减去所述预设第一阈值；在确定出所述目标请求队列中新增一请求时，控制所述目标请求队列对应的第一计数器的计数数值加1。

进一步地，每一个所述请求队列均对应有第二计数器；

该方法还包括：在确定出所述当前线程完成处理所述目标请求队列中的一请求时，控制所述目标请求队列对应的第二计数器的计数数值加1；在监测到所述目标请求队列对应的第二计数器的计数数值达到预设第二阈值时，控制所述当前线程停止处理所述目标请求队列，以及标记所述当前线程和所述目标连接项均处于空闲状态。

进一步地，该方法还包括：记录所述连接队列中每一个连接项对应的空闲起始时间；

所述确定所述连接队列中的一处于空闲状态的目标连接项，包括：根据记录的每一个所述空闲起始时间，确定时间值最早的目标空闲起始时间；确定所述目标空闲起始时间对应的连接项为目标连接项；

在所述标记所述目标连接项均处于非空闲状态时，进一步包括：清空记录的所述目标连接项对应的空闲起始时间。

进一步地，所述请求队列包括：包括有至少一个http(HyperText TransferProtocol，超文本传输协议)请求的环形请求队列。

另一方面，本发明提供了一种请求处理装置，包括：

确定单元，用于确定包括有至少一个连接项的连接队列，其中，每一个所述连接项均对应有请求队列；

处理单元，用于针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定所述连接队列中的一处于空闲状态的目标连接项；利用所述当前线程处理所述目标连接项对应的目标请求队列，以及标记所述当前线程和所述目标连接项均处于非空闲状态。

进一步地，每一个所述请求队列均对应有第一计数器；

该请求处理装置还包括：第一计数单元，用于在确定出所述当前线程的请求处理数量达到预设第一阈值时，控制所述目标请求队列对应的第一计数器的计数数值减去所述预设第一阈值；在确定出所述目标请求队列中新增一请求时，控制所述目标请求队列对应的第一计数器的计数数值加1。

进一步地，每一个所述请求队列均对应有第二计数器；

该请求处理装置还包括：第二计数单元，用于在确定出所述当前线程完成处理所述目标请求队列中的一请求时，控制所述目标请求队列对应的第二计数器的计数数值加1；在监测到所述目标请求队列对应的第二计数器的计数数值达到预设第二阈值时，触发所述处理单元；

所述处理单元，具体用于在接收到所述第二计数单元的触发信号时，控制所述当前线程停止处理所述目标请求队列，以及标记所述当前线程和所述目标连接项均处于空闲状态。

进一步地，所述确定单元，还用于记录所述连接队列中每一个连接项对应的空闲起始时间；在接收到所述处理单元的触发信号时，清空记录的所述目标连接项对应的空闲起始时间；

所述处理单元，具体用于根据记录的每一个所述空闲起始时间，确定时间值最早的目标空闲起始时间；确定所述目标空闲起始时间对应的连接项为目标连接项；以及在执行所述标记所述目标连接项均处于非空闲状态时，触发所述确定单元。

进一步地，所述请求队列包括：包括有至少一个http请求的环形请求队列。

本发明提供了一种请求处理方法及装置，该方法包括：确定包括有至少一个连接项的连接队列，各连接项均对应有请求队列；针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定连接队列中的一处于空闲状态的目标连接项；利用当前线程处理目标连接项对应的请求队列，以及标记当前线程和目标连接项均处于非空闲状态。任一线程均可以处理一请求队列，从而各线程无需从同一请求队列中顺序获取请求，故本发明能够提高请求处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种请求处理方法的流程图；

图2是本发明一实施例提供的另一种请求处理方法的流程图；

图3是本发明一实施例提供的一种请求处理装置的示意图；

图4是本发明一实施例提供的另一种请求处理装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种请求处理方法，可以包括以下步骤：

步骤101：确定包括有至少一个连接项的连接队列，其中，每一个所述连接项均对应有请求队列。

步骤102：针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定所述连接队列中的一处于空闲状态的目标连接项。

步骤103：利用所述当前线程处理所述目标连接项对应的目标请求队列，以及标记所述当前线程和所述目标连接项均处于非空闲状态。

本发明实施例提供了一种请求处理方法，确定包括有至少一个连接项的连接队列，各连接项均对应有请求队列；针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定连接队列中的一处于空闲状态的目标连接项；利用当前线程处理目标连接项对应的请求队列，以及标记当前线程和目标连接项均处于非空闲状态。任一线程均可以处理一请求队列，从而各线程无需从同一请求队列中顺序获取请求，故本发明实施例能够提高请求处理效率。

在本发明的一个实施例中，连接队列可以位于连接池中，各请求队列可以位于请求池中。本发明实施例可以对连接池、请求池和线程池进行高效组合使用，以均衡高效的处理请求，从而可以应对大规模并发的互联网需求。

通常情况下，一个连接项对应有一个请求队列。

详细地，线程池中任一线程当前未处理请求时，可以认为该线程处于空闲状态，即为空闲线程。同理，连接队列中任一连接项对应的请求队列当前未被处理时，可以认为该连接项处于空闲状态，即为空闲连接项。

如此，可以利用一空闲线程处理一空闲连接项对应的请求队列，当然，在这一请求处理过程中，该线程和该连接项均处于非空闲状态。

在本发明的一个实施例中，每一个所述请求队列均对应有第一计数器；

该方法进一步包括：在确定出所述当前线程的请求处理数量达到预设第一阈值时，控制所述目标请求队列对应的第一计数器的计数数值减去所述预设第一阈值；在确定出所述目标请求队列中新增一请求时，控制所述目标请求队列对应的第一计数器的计数数值加1。

详细地，通过各请求队列对应的第一计数器，可以对请求队列中包括的请求的个数进行统计。

详细地，当前线程处理目标请求队列的过程中，可以顺序处理目标请求队列中的每一个请求，当请求处理数量达到相应预设阈值时，该目标请求队列对应的第一计数器减去这一阈值。比如，目标请求队列包括1000个请求，则其对应的第一计数器的计数数值为1000，假设上述预设第一阈值为100，故当前线程处理完成100个请求时，这一第一计数器的计数数值减去100，即为900。

在本发明的一个实施例中，当用户经用户客户端向服务器端发送请求时，发来的请求可以位于请求池中。通常情况下，发来的各请求中可以携带有连接项标识。如此，对于任一请求，根据其携带的连接项标识，可以将其加入至具有该连接项标识的连接项对应的请求队列中。当然，各请求队列中加入一请求时，相应第一计数器自加1。

详细地，基于第一计数器的计数数值的增加和减少，可以明确各请求队列所包括的请求个数，从而可以避免请求队列过满所造成的请求覆盖情况。比如，一请求队列的容量为2000，当该请求队列对应的第一计数器的计数数值达到2000时，可以认为该请求队列已满，故可以执行异常处理以进行报警提醒。

在本发明的一个实施例中，每一个所述请求队列均对应有第二计数器；

该方法进一步包括：在确定出所述当前线程完成处理所述目标请求队列中的一请求时，控制所述目标请求队列对应的第二计数器的计数数值加1；在监测到所述目标请求队列对应的第二计数器的计数数值达到预设第二阈值时，控制所述当前线程停止处理所述目标请求队列，以及标记所述当前线程和所述目标连接项均处于空闲状态。

通常情况下，上述预设第一阈值与上述预设第二阈值相等。如此，对于任一请求队列，当其对应的第二计数器的计数数值达到阈值时，可以控制其对应的第一计数器的计数数值减去该阈值。

通常情况下，各请求队列对应的第一计数器和第二计数器可以为不同的计数器。详细地，请求队列中的全部请求可以顺序排列，故线程可以顺序处理请求队列中的每一个请求，且每处理完成一个请求，请求队列对应的第二计数器自加1。

通常情况下，连接队列中连接项的个数不小于线程池中线程的个数，以避免线程资源的浪费。

详细地，各请求队列中的请求个数通常较多，当连接队列中连接项的个数大于线程池中线程的个数时，可以对同一请求处理阶段中的请求处理个数进行限定，以保证请求的及时处理。

在本发明的一个实施例中，该方法进一步包括：记录所述连接队列中每一个连接项对应的空闲起始时间；

所述确定所述连接队列中的一处于空闲状态的目标连接项，包括：根据记录的每一个所述空闲起始时间，确定时间值最早的目标空闲起始时间；确定所述目标空闲起始时间对应的连接项为目标连接项；

在所述标记所述目标连接项均处于非空闲状态时，进一步包括：清空记录的所述目标连接项对应的空闲起始时间。

详细地，当存在多个处于空闲状态的连接项时，由于各连接项的空闲起始时间不同，为保证请求的及时处理，可以根据空闲起始时间从早到晚的顺序，依次执行各处于空闲状态的连接项。

举例来说，连接队列中包括10个连接项，分别为连接项1～连接项10，且各连接项对应的请求队列依次为请求队列1～请求队列10，各请求队列中均包括有顺序排列的1000个请求。线程池中包括4个线程，分别为线程1～线程4。假设各连接项对应的空闲起始时间，按从早至晚的时间顺序分别为T₁～T₁₀。

起初，可以利用线程1处理请求队列1、线程2处理请求队列2、线程3处理请求队列3、线程4处理请求队列4。此时，这4个线程均处于非空闲状态，连接项1～连接项4均处于非空闲状态，连接项5～连接项10均处于空闲状态。

假设预定阈值为100，当任一线程处理请求的个数达到100时，可以停止请求处理。比如，线程2已处理完成请求队列2中的100个请求时，可以停止请求处理，此时，线程2和连接项2均处于空闲状态。同时，可以记录当前时间T₁₁为连接项2的新的空闲起始时间。

如此，线程2可以处理另一处于空闲状态的连接项对应的请求队列。由于当前处于空闲状态的连接项包括连接项1，以及连接项5～连接项10。明显地，连接项5对应的空闲起始时间的时间值最早，故可以利用线程2继续处理连接项5对应的请求队列5。基于上述内容，如此循环，以利用上述4个线程处理请求池中的上述10个请求队列。

在本发明的一个实施例中，所述请求队列包括：包括有至少一个http请求的环形请求队列。

详细地，可以利用一个入队游标和一个出队游标来定制一个数组而构造一个环形请求队列。通过判断队列为空还是为满，能够以很快的速度来存取数据。

如图2所示，本发明一个实施例提供了另一种请求处理方法，该方法以处理http请求为例，具体包括以下步骤：

步骤201：确定包括有6个连接项的连接队列，其中，每一个连接项均对应有一http请求队列，每一个http请求队列均对应有计数器A。

本发明实施例中，连接池中的连接队列可以包括6个连接项，各连接项均对应有一个http请求队列。

详细地，任一线程完成处理一http请求队列中的一个http请求时，该http请求队列对应的计数器A自加1，以对当前处理过程的请求处理量进行记录。

详细地，该http请求队列可以为环形http请求队列。

步骤202：针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，根据预先记录的每一个连接项对应的空闲起始时间，确定时间值最早的目标空闲起始时间。

假设线程池中的线程A处于空闲状态，故可以控制线程A处理一个http请求队列。假设连接池中，仅连接项A和连接项B空闲，且连接项A对应的空闲起始时间T_A晚于连接项B对应的空闲起始时间T_B。

步骤203：确定目标空闲起始时间对应的连接项为目标连接项。

基于上述内容，可以确定连接项B为线程A待处理的目标连接项。

步骤204：利用当前线程处理目标连接项对应的目标http请求队列，以及标记当前线程和目标连接项均处于非空闲状态，清空记录的目标连接项对应的空闲起始时间。

基于上述内容，可以利用线程A处理连接项B对应的http请求队列。由于线程A已开始处理连接项B，故可以标记线程A和连接项B均处于非空闲状态，以及清空上述连接项B的空闲起始时间T_B。

步骤205：在监测到目标http请求队列对应的计数器A的计数数值达到预设阈值时，控制当前线程停止处理目标http请求队列，以及标记当前线程和目标连接项均处于空闲状态，记录当前时间为目标连接项对应的空闲起始时间。

详细地，线程A处理请求过程中，每处理一个http请求，相应http请求队列对应的计数器A自加1。假设预设阈值为50，故当线程A处理完成50个http请求时，相应计数器A的计数数值可以为50，此时，线程A可以停止处理请求。

线程A停止处理请求时处于空闲状态，故可以标记线程A、连接项B均处于空闲状态。同时，可以记录当前时间为连接项B对应的空闲起始时间。

当然，由于线程A处于空闲状态，如此可以循环执行上述步骤202至步骤205，以利用线程池中的各线程处理请求池中的各http请求队列。

此外，在本发明一个实施例中，各http请求队列还可以对应有计数器B，计数器B可以用于记录相应http请求队列中的请求总个数。其中，http请求队列中新增一http请求时，相应计数器B自加1。

如图3所示，本发明一个实施例提供了一种请求处理装置，包括：

确定单元301，用于确定包括有至少一个连接项的连接队列，其中，每一个所述连接项均对应有请求队列；

处理单元302，用于针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定所述连接队列中的一处于空闲状态的目标连接项；利用所述当前线程处理所述目标连接项对应的目标请求队列，以及标记所述当前线程和所述目标连接项均处于非空闲状态。

在本发明一个实施例中，每一个所述请求队列均对应有第一计数器；

请参考图4，该请求处理装置还可以包括：第一计数单元401，用于在确定出所述当前线程的请求处理数量达到预设第一阈值时，控制所述目标请求队列对应的第一计数器的计数数值减去所述预设第一阈值；在确定出所述目标请求队列中新增一请求时，控制所述目标请求队列对应的第一计数器的计数数值加1。

在本发明一个实施例中，每一个所述请求队列均对应有第二计数器；

请参考图4，该请求处理装置还可以包括：第二计数单元402，用于在确定出所述当前线程完成处理所述目标请求队列中的一请求时，控制所述目标请求队列对应的第二计数器的计数数值加1；在监测到所述目标请求队列对应的第二计数器的计数数值达到预设第二阈值时，触发所述处理单元302；

所述处理单元302，具体用于在接收到所述第二计数单元402的触发信号时，控制所述当前线程停止处理所述目标请求队列，以及标记所述当前线程和所述目标连接项均处于空闲状态。

在本发明一个实施例中，所述确定单元301，还用于记录所述连接队列中每一个连接项对应的空闲起始时间；在接收到所述处理单元302的触发信号时，清空记录的所述目标连接项对应的空闲起始时间；

所述处理单元302，具体用于根据记录的每一个所述空闲起始时间，确定时间值最早的目标空闲起始时间；确定所述目标空闲起始时间对应的连接项为目标连接项；以及在执行所述标记所述目标连接项均处于非空闲状态时，触发所述确定单元301。

在本发明一个实施例中，所述请求队列包括：包括有至少一个http请求的环形请求队列。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上所述，本发明的各个实施例至少具有如下有益效果：

1、本发明实施例中，确定包括有至少一个连接项的连接队列，各连接项均对应有请求队列；针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定连接队列中的一处于空闲状态的目标连接项；利用当前线程处理目标连接项对应的请求队列，以及标记当前线程和目标连接项均处于非空闲状态。任一线程均可以处理一请求队列，从而各线程无需从同一请求队列中顺序获取请求，故本发明实施例能够提高请求处理效率。

2、本发明实施例中，连接队列可以位于连接池中，各请求队列可以位于请求池中。本发明实施例可以对连接池、请求池和线程池进行高效组合使用，以均衡高效的处理请求，从而可以应对大规模并发的互联网需求。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种请求处理方法，其特征在于，确定包括有至少一个连接项的连接队列，其中，每一个所述连接项均对应有请求队列；还包括：

针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定所述连接队列中的一处于空闲状态的目标连接项；

利用所述当前线程处理所述目标连接项对应的目标请求队列，以及标记所述当前线程和所述目标连接项均处于非空闲状态。

2.根据权利要求1所述的方法，其特征在于，

每一个所述请求队列均对应有第一计数器；

进一步包括：在确定出所述当前线程的请求处理数量达到预设第一阈值时，控制所述目标请求队列对应的第一计数器的计数数值减去所述预设第一阈值；

在确定出所述目标请求队列中新增一请求时，控制所述目标请求队列对应的第一计数器的计数数值加1。

3.根据权利要求1所述的方法，其特征在于，

每一个所述请求队列均对应有第二计数器；

进一步包括：在确定出所述当前线程完成处理所述目标请求队列中的一请求时，控制所述目标请求队列对应的第二计数器的计数数值加1；

在监测到所述目标请求队列对应的第二计数器的计数数值达到预设第二阈值时，控制所述当前线程停止处理所述目标请求队列，以及标记所述当前线程和所述目标连接项均处于空闲状态。

4.根据权利要求1所述的方法，其特征在于，

进一步包括：记录所述连接队列中每一个连接项对应的空闲起始时间；

所述确定所述连接队列中的一处于空闲状态的目标连接项，包括：根据记录的每一个所述空闲起始时间，确定时间值最早的目标空闲起始时间；确定所述目标空闲起始时间对应的连接项为目标连接项；

在所述标记所述目标连接项均处于非空闲状态时，进一步包括：清空记录的所述目标连接项对应的空闲起始时间。

5.根据权利要求1至4中任一所述的方法，其特征在于，

所述请求队列包括：包括有至少一个超文本传输协议http请求的环形请求队列。

6.一种请求处理装置，其特征在于，包括：

确定单元，用于确定包括有至少一个连接项的连接队列，其中，每一个所述连接项均对应有请求队列；

处理单元，用于针对预设线程池中的每一个线程均执行：在确定出当前线程处于空闲状态时，确定所述连接队列中的一处于空闲状态的目标连接项；利用所述当前线程处理所述目标连接项对应的目标请求队列，以及标记所述当前线程和所述目标连接项均处于非空闲状态。

7.根据权利要求6所述的请求处理装置，其特征在于，

每一个所述请求队列均对应有第一计数器；

还包括：第一计数单元，用于在确定出所述当前线程的请求处理数量达到预设第一阈值时，控制所述目标请求队列对应的第一计数器的计数数值减去所述预设第一阈值；在确定出所述目标请求队列中新增一请求时，控制所述目标请求队列对应的第一计数器的计数数值加1。

8.根据权利要求6所述的请求处理装置，其特征在于，

每一个所述请求队列均对应有第二计数器；

还包括：第二计数单元，用于在确定出所述当前线程完成处理所述目标请求队列中的一请求时，控制所述目标请求队列对应的第二计数器的计数数值加1；在监测到所述目标请求队列对应的第二计数器的计数数值达到预设第二阈值时，触发所述处理单元；

所述处理单元，具体用于在接收到所述第二计数单元的触发信号时，控制所述当前线程停止处理所述目标请求队列，以及标记所述当前线程和所述目标连接项均处于空闲状态。

9.根据权利要求6所述的请求处理装置，其特征在于，

所述确定单元，还用于记录所述连接队列中每一个连接项对应的空闲起始时间；在接收到所述处理单元的触发信号时，清空记录的所述目标连接项对应的空闲起始时间；

所述处理单元，具体用于根据记录的每一个所述空闲起始时间，确定时间值最早的目标空闲起始时间；确定所述目标空闲起始时间对应的连接项为目标连接项；以及在执行所述标记所述目标连接项均处于非空闲状态时，触发所述确定单元。

10.根据权利要求6至9中任一所述的请求处理装置，其特征在于，

所述请求队列包括：包括有至少一个超文本传输协议http请求的环形请求队列。