CN105159774B - 一种api请求保序处理方法及系统 - Google Patents

Abstract

本发明提供一种API请求保序处理方法及系统，所述方法包括：主线程判断当前处理的API请求是否包括IO操作；若主线程确定当前处理的API请求包括IO操作，则创建与该API请求对应的请求回复队列和请求回复线程，以及主线程将API请求中的四元组信息加入到请求调度队列中，以使调度线程处理该请求调度队列中四元组信息对应的任务，且请求回复线程阻塞等待该API请求对应的执行结果；请求调度队列和调度线程为在API进程启动时创建的；主线程执行下一个需要处理的API请求。上述方法能够实现预先创建的多个线程并发处理API请求，并实现API请求的保序处理。

Description

一种API请求保序处理方法及系统

技术领域

本发明涉及网络通信领域，尤其涉及一种API请求保序处理方法及系统。

背景技术

大型软件系统为了实现扩展性、模块解耦和代码重用，一般采用面向服务的架构，即整个软件系统由提供各种不同服务的API模块组成。最初的API服务架构由单进程单线程实现。为了提高服务的并发能力，通常会使用多进程、多线程或协程的方式实现。

多进程架构的问题在于进程间通信的复杂性，且难以维护全局资源锁。多线程架构的问题在于线程上下文切换带来的资源开销。此外，多进程和多线程架构都面临无法保序响应API请求的问题。举例来说，当对于同一个对象obj的不同API请求先后到达时，API服务端由于缺乏排队机制，进程及线程完全由CPU随机调度，可能导致后到达的API先执行或并发交替执行，执行结果违背API调用者的初衷。协程架构由程序员控制操作逻辑的切换，但当异步IO较多时，精细控制切换逻辑对程序员的要求很高，容易出错。另外，已有的大量代码、程序、第三方库等并不支持异步IO，不能被协程调用，也使得协程架构经常丧失并发能力。

因此，如果在保证API服务并发能力的同时，支持对API请求的保序处理成为当前亟需解决的问题。

发明内容

本发明提供一种API请求保序处理方法及系统，实现预先创建的多个线程并发处理API请求，并实现API请求的保序处理。

第一方面，本发明提供一种API请求保序处理方法，包括：

主线程判断当前处理的API请求是否包括IO操作；

若主线程确定当前处理的API请求包括IO操作，则创建与该API请求对应的请求回复队列和请求回复线程，以及

所述主线程将所述API请求中的四元组信息加入到请求调度队列中，以使调度线程处理该请求调度队列中四元组信息对应的任务，且所述请求回复线程阻塞等待该API请求对应的执行结果；所述请求调度队列和调度线程为在API进程启动时创建的；

所述主线程执行下一个需要处理的API请求。

可选地，所述主线程判断当前处理的API请求是否包括IO操作的步骤之前，所述方法还包括：

在API进程启动时，该API进程创建用于将请求调度队列中的任务分配到对应的请求等待队列的调度线程，创建用于处理请求等待队列中的任务的一个以上的请求处理线程，以及创建用于处理回调等待队列中的任务的一个以上的回调线程。

可选地，所述主线程将所述API请求中的四元组信息加入到请求调度队列中的步骤之后，所述方法还包括：

所述调度线程从所述请求调度队列中依次获取待执行的四元组信息的任务，按照预设分配策略将待执行的四元组信息的任务分配到对应的请求等待队列，每一请求等待队列对应一请求处理线程；

所述请求处理线程依次获取各自对应的请求等待队列中四元组信息的任务并执行，获得执行结果，并将执行结果加入到请求回复队列中；以及，所述请求处理线程判断执行结果中的回调函数是否为空，若不是，则将该执行结果加入到请求回复队列的同时加入到回调等待队列中；

与当前处理的API请求对应请求回复线程获取该API请求依序处理的执行结果，处理后并同步返回API调用模块；

相应地，回调线程依次执行回调等待队列中的执行结果中的回调处理函数，处理后并异步回复API调用模块。

可选地，所述调度线程按照预设分配策略将待执行的四元组信息分配到对应的请求等待队列的步骤包括：

若某个请求等待队列的四元组信息中存在API保序标识符等于待执行四元组信息中的API保序标识符，则将四元组信息的任务分配到该请求等待队列；

否则，将四元组信息的任务分配到所有请求等待队列的长度最短的一个请求等待队列中。

可选地，所述四元组信息包括：API请求处理过程func、请求回复队列、回调函数、API保序标识符aid。

第二方面，本发明还提供一种API请求保序处理系统，包括：

主线程处理模块，用于判断当前处理的API请求是否包括IO操作；在确定当前处理的API请求包括IO操作时，创建与该API请求对应的请求回复队列和请求回复线程，以及

主线程处理模块，还用于将所述API请求中的四元组信息加入到请求调度队列中，并执行下一个需要处理的API请求。

可选地，所述系统还包括：

线程创建模块，用于在API进程启动时，该API进程创建用于将请求调度队列中的任务分配到对应的请求等待队列的调度线程，创建用于处理请求等待队列中的任务的一个以上的请求处理线程，以及创建用于处理回调等待队列中的任务的一个以上的回调线程。

可选地，线程创建模块：

调度线程处理单元，用于从所述请求调度队列中依次获取待执行的四元组信息，按照预设分配策略将待执行的四元组信息分配到对应的请求等待队列，每一请求等待队列对应一请求处理线程；

请求处理线程处理单元，用于依次获取各自对应的请求等待队列中的四元组信息并执行，获得执行结果，并将执行结果加入到请求回复队列中；以及，判断执行结果中的回调函数是否为空，若不是，则将该执行结果加入到请求回复队列的同时加入到回调等待队列中；

回调线程处理单元，用于依次执行回调等待队列中的执行结果中的回调处理函数，处理后并异步回复API调用模块；

所述主线程处理模块包括：请求回复线程处理单元，该请求回复线程处理单元用于获取该API请求依序处理的执行结果，处理后并同步返回API调用模块。

可选地，所述调度线程处理单元，具体用于

在某个请求等待队列的四元组信息中存在API保序标识符等于待执行四元组信息中的API保序标识符，则将四元组信息的任务分配到该请求等待队列；

否则，将四元组信息的任务分配到所有请求等待队列的长度最短的一个请求等待队列中。

可选地，所述四元组信息包括：API请求处理过程func、请求回复队列、回调函数、API保序标识符aid。

由上述技术方案可知，本发明的API请求保序处理方法及系统，使用多个请求处理线程响应API，能实现对API的并发服务，进一步将同一操作对象的aid的不同API请求放置于同一请求等待队列中先进先出处理，能实现对API请求的保序服务。

附图说明

图1为本发明一实施例提供的API请求保序处理方法的流程示意图；

图2为本发明一实施例提供的API请求保序处理方法的流程示意图；

图3为本发明一实施例中API请求保序处理过程的示意图；

图4为本发明一实施例提供的API请求保序处理系统的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1示出了本发明一实施例提供的API请求保序处理方法的流程示意图，如图1所示，本实施例的API请求保序处理方法如下所述。

101、主线程判断当前处理的API请求是否包括IO操作；

102、若主线程确定当前处理的API请求包括IO操作，则创建与该API请求对应的请求回复队列和请求回复线程。

当然，在主线程确定当前处理的API请求不包括任何的IO操作时，可由主线程执行该API请求，在主线程执行完成该API请求之后处理下一个API请求，即将下一个API请求作为当前处理的API请求，重复上述的步骤101。

103、主线程将所述API请求中的四元组信息加入到请求调度队列中，以使调度线程处理该请求调度队列中四元组信息对应的任务，且所述请求回复线程阻塞等待该API请求对应的执行结果；所述请求调度队列和调度线程为在API进程启动时创建的；

104、主线程执行下一个需要处理的API请求，即将下一个需要处理的API请求作为主线程当前处理的API请求。

本实施例的API请求保序处理方法可实现预先创建的多个线程并发处理API请求，并实现API请求的保序处理。

图2示出了本发明一实施例提供的API请求保序处理方法的流程示意图，图3示出了本发明一实施例中API请求保序处理过程的示意图，结合图2和图3所示，本实施例的API请求保序处理方法如下所述。

201、在API进程启动时，该API进程创建用于将请求调度队列中的任务分配到对应的请求等待队列的调度线程，创建用于处理请求等待队列中的任务的一个以上的请求处理线程，以及创建用于处理回调等待队列中的任务的一个以上的回调线程。

可理解的是，在实际应用中，进程可创建多个线程池，例如，一个调度线程池，一个请求处理线程池、一个回调线程池等。通常，调度线程池中有一个调度线程，请求处理线程池中有4个请求处理线程，回调线程池中有2个回调线程。

202、主线程判断当前处理的API请求是否包括IO操作。

本实施例中，的IO操作可包括：文件读写、数据库读写、网络读写等等。

当然，如果当前处理的API请求中不包括任何的IO操作，则由主线程执行该API请求处理过程，执行完成后跳转执行下一个需要处理的API请求即重复上述的步骤202。

203、若主线程确定当前处理的API请求包括IO操作，则创建与该API请求对应的请求回复队列和请求回复线程。

204、主线程将所述API请求中的四元组信息加入到请求调度队列中。

204a、执行下一个需要处理的API请求即针对下一个API请求，可重复上述的步骤202。

205、调度线程从所述请求调度队列中依次获取待执行的四元组信息的任务，按照预设分配策略将待执行的四元组信息的任务分配到对应的请求等待队列，每一请求等待队列对应一请求处理线程。

举例来说，四元组信息可包括：API请求处理过程(func)、请求回复队列、回调函数、API保序标识符(aid)。例如四元组<API请求处理过程(func)、请求结果队列(retq)、回调函数(cb)、API保序标识符(aid)>。

进而，上述步骤205中按照预设分配策略将待执行的四元组信息分配到对应的请求等待队列可包括：

若某个请求等待队列的四元组信息中存在API保序标识符等于待执行四元组信息中的API保序标识符，则将四元组信息的任务分配到该请求等待队列；

否则，将四元组信息的任务分配到所有请求等待队列的长度最短的一个请求等待队列中。

206、请求处理线程依次获取各自对应的请求等待队列中的四元组信息的任务并执行，获得执行结果，并将执行结果加入到请求回复队列中；以及，所述请求处理线程判断执行结果中的回调函数是否为空，若不是，则将该执行结果加入到请求回复队列的同时加入到回调等待队列中；

207、与当前处理的API请求对应请求回复线程获取该API请求依序处理的执行结果，处理后并同步返回API调用模块；

208、回调线程依次执行回调等待队列中的执行结果中的回调处理函数，处理后并异步回复API调用模块。

上述实施例可使用多个请求处理线程响应API，能实现对API的并发服务。进一步地，API保序标识符可设置为操作对象的标识，进而将同一操作对象的aid的不同API请求放置于同一请求等待队列中先进先出处理，能实现对API请求的保序服务。

图3中所示的支持保序的并发API服务架构，通过创建多个线程的方式实现并发，利用对象标识排队实现保序。

图4示出了本发明一实施例提供的API请求保序处理系统的结构示意图，如图4所示，本实施例的API请求保序处理系统包括：线程创建模块41、主线程处理模块42；该线程创建模块41包括：调度线程处理单元43、请求处理线程处理单元44和回调线程处理单元46；所述主线程处理模块42包括：请求回复线程处理单元45。

其中，主线程处理模块42用于判断当前处理的API请求是否包括IO操作；在确定当前处理的API请求包括IO操作时，创建与该API请求对应的请求回复队列和请求回复线程，以及

主线程处理模块42还用于将所述API请求中的四元组信息加入到请求调度队列中，并执行下一个需要处理的API请求。

线程创建模块41，用于在API进程启动时，该API进程创建用于将请求调度队列中的任务即API请求分配到对应的请求等待队列的调度线程，创建用于处理请求等待队列中的任务的一个以上的请求处理线程，以及创建用于处理回调等待队列中的任务的一个以上的回调线程。

调度线程处理单元43，用于从所述请求调度队列中依次获取待执行的四元组信息的任务，按照预设分配策略将待执行的四元组信息的任务分配到对应的请求等待队列，每一请求等待队列对应一请求处理线程；

请求处理线程处理单元44，用于依次获取各自对应的请求等待队列中四元组信息的任务并执行，获得执行结果，并将执行结果加入到请求回复队列中；以及，判断执行结果中的回调函数是否为空，若不是，则将该执行结果加入到请求回复队列的同时加入到回调等待队列中；

请求回复线程处理单元45，用于获取该API请求依序处理的执行结果，处理后并同步返回API调用模块(图中未示出)；

回调线程处理单元46，用于依次执行回调等待队列中的执行结果中的回调处理函数，处理后并异步回复API调用模块(图中未示出)。

可选地，所述调度线程处理单元43可具体用于，

在某个请求等待队列的四元组信息中存在API保序标识符等于待执行四元组信息中的API保序标识符，则将四元组信息的任务分配到该请求等待队列；

否则，将四元组信息的任务分配到所有请求等待队列的长度最短的一个请求等待队列中。

本实施例中的四元组信息可包括：API请求处理过程、请求回复队列、回调函数、API保序标识符aid。

上述系统可利用多线程方式实现对API请求的并发处理，在保持API服务并发特性的前提下，实现了一种保序处理API请求。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种API请求保序处理方法，其特征在于，包括：

主线程判断当前处理的API请求是否包括IO操作；

若主线程确定当前处理的API请求包括IO操作，则创建与该API请求对应的请求回复队列和请求回复线程，以及

所述主线程将所述API请求中的四元组信息加入到请求调度队列中，以使调度线程处理该请求调度队列中四元组信息对应的任务，且所述请求回复线程阻塞等待该API请求对应的执行结果；所述请求调度队列和调度线程为在API进程启动时创建的；

所述主线程执行下一个需要处理的API请求；

所述主线程判断当前处理的API请求是否包括IO操作的步骤之前，所述方法还包括：

在API进程启动时，该API进程创建用于将请求调度队列中的任务分配到对应的请求等待队列的调度线程，创建用于处理请求等待队列中的任务的一个以上的请求处理线程，以及创建用于处理回调等待队列中的任务的一个以上的回调线程；

所述主线程将所述API请求中的四元组信息加入到请求调度队列中的步骤之后，所述方法还包括：

所述调度线程从所述请求调度队列中依次获取待执行的四元组信息的任务，按照预设分配策略将待执行的四元组信息的任务分配到对应的请求等待队列，每一请求等待队列对应一请求处理线程；

所述请求处理线程依次获取各自对应的请求等待队列中四元组信息的任务并执行，获得执行结果，并将执行结果加入到请求回复队列中；以及，所述请求处理线程判断执行结果中的回调函数是否为空，若不是，则将该执行结果加入到请求回复队列的同时加入到回调等待队列中；

与当前处理的API请求对应请求回复线程获取该API请求依序处理的执行结果，处理后并同步返回API调用模块；

相应地，回调线程依次执行回调等待队列中的执行结果中的回调处理函数，处理后并异步回复API调用模块。

2.根据权利要求1所述的方法，其特征在于，所述调度线程按照预设分配策略将待执行的四元组信息分配到对应的请求等待队列的步骤包括：

若某个请求等待队列的四元组信息中存在API保序标识符等于待执行四元组信息中的API保序标识符，则将四元组信息的任务分配到该请求等待队列；

否则，将四元组信息的任务分配到所有请求等待队列的长度最短的一个请求等待队列中。

3.根据权利要求1或2所述的方法，其特征在于，所述四元组信息包括：API请求处理过程func、请求回复队列、回调函数、API保序标识符aid。

4.一种API请求保序处理系统，其特征在于，包括：

主线程处理模块，用于判断当前处理的API请求是否包括IO操作；在确定当前处理的API请求包括IO操作时，创建与该API请求对应的请求回复队列和请求回复线程，以及

主线程处理模块，还用于将所述API请求中的四元组信息加入到请求调度队列中，并执行下一个需要处理的API请求；

线程创建模块，用于在API进程启动时，该API进程创建用于将请求调度队列中的任务分配到对应的请求等待队列的调度线程，创建用于处理请求等待队列中的任务的一个以上的请求处理线程，以及创建用于处理回调等待队列中的任务的一个以上的回调线程；

其中，所述线程创建模块，包括：

调度线程处理单元，用于从所述请求调度队列中依次获取待执行的四元组信息的任务，按照预设分配策略将待执行的四元组信息的任务分配到对应的请求等待队列，每一请求等待队列对应一请求处理线程；

请求处理线程处理单元，用于依次获取各自对应的请求等待队列中四元组信息的任务并执行，获得执行结果，并将执行结果加入到请求回复队列中；以及，判断执行结果中的回调函数是否为空，若不是，则将该执行结果加入到请求回复队列的同时加入到回调等待队列中；

回调线程处理单元，用于依次执行回调等待队列中的执行结果中的回调处理函数，处理后并异步回复API调用模块；

所述主线程处理模块包括：请求回复线程处理单元，该请求回复线程处理单元用于获取该API请求依序处理的执行结果，处理后并同步返回API调用模块。

5.根据权利要求4所述的系统，其特征在于，所述调度线程处理单元，具体用于

在某个请求等待队列的四元组信息中存在API保序标识符等于待执行四元组信息中的API保序标识符，则将四元组信息的任务分配到该请求等待队列；

否则，将四元组信息的任务分配到所有请求等待队列的长度最短的一个请求等待队列中。

6.根据权利要求4或5所述的系统，其特征在于，所述四元组信息包括：API请求处理过程func、请求回复队列、回调函数、API保序标识符aid。