CN110177146A - 一种基于异步事件驱动的非阻塞Restful通信方法、装置和设备 - Google Patents

Abstract

本申请公开了一种基于异步事件驱动的非阻塞Restful通信方法、装置和设备，方法包括：101、构建Reactor多线程模型；102、在Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件；103、根据请求事件生成若干个处理任务，将若干个处理任务同时分发到若干个不同的业务逻辑单元，使得业务逻辑单元完成对处理任务的处理。解决了现有的Restful服务通信方式在处理高并发数据时，需要创建大量的线程来处理连接，系统资源占用较大，存在内存溢出导致系统崩溃的风险的技术问题。

Description

一种基于异步事件驱动的非阻塞Restful通信方法、装置和 设备

技术领域

本申请涉及通信网技术领域，尤其涉及一种基于异步事件驱动的非阻塞Restful通信方法、装置和设备。

背景技术

REST(Representation State Transfer的简称)是一组架构约束条件和原则，满足这些约束和原则的应用程序或涉及就是Restful。目前主流的三种Web服务交互方案中，REST相比于SOAP(Simple Object Access protocol，简单对象访问协议)以及XML-RPC更加简单明了，无论是对URL的处理还是对Payload的编码，REST都倾向于用更加简单轻量的方法设计和实现。

目前，Restful服务实现方式是通过struts、spring MVC等Web框架部署到tomcat容器，现有的Restful框架的处理流程图如图1所示，在图1中，客户端向服务端发送服务请求，服务端接收到客户端的请求后，依次执行读取用户请求服务相关数据，解码数据，处理业务逻辑，编码数据，写相应数据，相应客户端请求的处理，一个用户请求需要一条线程处理，并且整个交互过程在线程上串行执行，如果执行过程中任何一个任务出现阻塞，这个线程将会被挂起，如果用于高并发的系统中，将启动大量线程来处理诸多的用户请求，由于系统的资源是有限的，在系统的线程数达到一定数量时，将出现内存溢出，导致系统崩溃的问题。

发明内容

本申请提供了一种基于异步事件驱动的非阻塞Restful通信方法、装置和设备，用于解决现有的Restful服务通信方式在处理高并发数据时，需要创建大量的线程来处理连接，系统资源占用较大，存在内存溢出导致系统崩溃的风险的技术问题。

有鉴于此，本申请第一方面提供了一种基于异步事件驱动的非阻塞Restful通信方法，包括以下步骤：

101、构建Reactor多线程模型；

102、在所述Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件；

103、根据所述请求事件生成若干个处理任务，将所述若干个处理任务同时分发到若干个不同的业务逻辑单元，使得所述业务逻辑单元完成对所述处理任务的处理。

优选地，步骤103具体包括：

1031、根据所述请求事件生成读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务；

1032、分别将所述读取数据任务、所述解码数据任务、所述处理业务逻辑任务、所述编码数据任务和所述写响应数据任务同时分发到对应的业务逻辑单元；

1033、获取每个所述业务逻辑单元的任务处理结果。

优选地，在处理所述解码数据和所述编码数据时，通过过滤器实现对数据的反序列化与序列化。

优选地，所述在处理所述解码数据和所述编码数据时，通过过滤器实现对数据的反序列化与序列化具体包括：

在处理所述解码数据时，通过所述过滤器将JSON数据转化成业务处理数据对象，在处理所述编码数据时，通过所述过滤器将所述业务处理数据对象序列化成JSON数据格式的字符串。

本申请第二方面还提供了一种基于异步事件驱动的非阻塞Restful通信装置，包括以下模块：

建模模块，用于构建Reactor多线程模型；

监听模块，用于在所述Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件；

并发处理模块，用于根据所述请求事件生成若干个处理任务，将所述若干个处理任务同时分发到若干个不同的业务逻辑单元，使得所述业务逻辑单元完成对所述处理任务的处理。

优选地，所述并发处理模块具体包括：

第一处理子模块，用于根据所述请求事件生成读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务；

第二处理子模块，用于分别将所述读取数据任务、所述解码数据任务、所述处理业务逻辑任务、所述编码数据任务和所述写响应数据任务同时分发到对应的业务逻辑单元；

第三处理子模块，用于获取每个所述业务逻辑单元的任务处理结果。

优选地，所述第二处理子模块包括：过滤模块；

所述过滤模块，用于在处理所述解码数据和所述编码数据时，对所述解码数据和所述编码数据进行反序列化与序列化。

优选地，所述过滤模块具体用于：

在处理所述解码数据时，将JSON数据转化成业务处理数据对象，在处理所述编码数据时，将所述业务处理数据对象序列化成JSON数据格式的字符串。

本申请第三方面还提供了一种基于异步事件驱动的非阻塞Restful通信设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的基于异步事件驱动的非阻塞Restful通信方法。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的基于异步事件驱动的非阻塞Restful通信方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了一种基于异步事件驱动的非阻塞Restful通信方法，包括以下步骤：101、构建Reactor多线程模型；102、在Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件；103、根据请求事件生成若干个处理任务，将若干个处理任务同时分发到若干个不同的业务逻辑单元，使得业务逻辑单元完成对处理任务的处理。本申请提供的基于异步事件驱动的肺阻塞Restful通信方法，在构建的Reactor多线程模型中分配一个线程，实时监听用户的连接请求，在接收到客户端发动的请求事件后，将客户端的请求拆分成多个子任务，分别使用不同的线程执行，所有客户端的请求均通过同一条线程进行处理，不需要对每个客户端的请求都使用一个线程进行处理，节省了系统资源；每个线程处理客户端请求的任务也由串行处理转为并行处理，能够提高系统的并发量；解决了现有的Restful服务通信方式在处理高并发数据时，需要创建大量的线程来处理连接，系统资源占用较大，存在内存溢出导致系统崩溃的风险的技术问题。

附图说明

图1为现有技术中的Restful框架的处理流程图；

图2为本申请提供的一种基于异步事件驱动的非阻塞Restful通信方法的一个实施例的流程示意图；

图3为本申请提供的一种基于异步事件驱动的非阻塞Restful通信方法的另一个实施例的流程示意图；

图4为本申请提供的一种基于异步事件驱动的非阻塞Restful通信装置的一个实施例的结构示意图；

图5为本申请提供的一种基于异步事件驱动的非阻塞Restful通信框架图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图2，本申请提供的一种基于异步事件驱动的非阻塞Restful通信方法的一个实施例，包括以下步骤：

步骤101、构建Reactor多线程模型。

需要说明的是，本申请实施例中，首先需要构建Reactor多线程模型。

步骤102、在Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件。

需要说明的是，本申请实施例中，在Reactor多线程模型分配一个线程，即Acceptor线程，用于监听服务端，接收客户端的Http连接请求，如图5所示，Acceptor线程可同时接收若干个客户端发送的请求事件。

步骤103、根据请求事件生成若干个处理任务，将若干个处理任务同时分发到若干个不同的业务逻辑单元，使得业务逻辑单元完成对处理任务的处理。

需要说明的是，本申请实施例中，将客户端的请求事件拆分成若干个处理任务，每个处理任务的处理过程都启用一个线程处理，并且每个任务之间的通信通过事件驱动模型完成，事件驱动模型包括事件队列、事件分发其和事件处理器，事件队列是接收事件的入口，用于存储处理事件；事件分发器用于将不同的事件分发到不同的业务逻辑单元；事件处理器用于实现业务逻辑，处理完成后会发生事件，触发下一步操作，因此，每一个客户端的请求事件都能够拆分成多个不同的子任务，同样的子任务可以在同一个线程中执行，实现了任务的并发处理，有利于提高系统的并发量。

本申请实施例中提供的基于异步事件驱动的肺阻塞Restful通信方法，在构建的Reactor多线程模型中分配一个线程，实时监听用户的连接请求，在接收到客户端发动的请求事件后，将客户端的请求拆分成多个子任务，分别使用不同的线程执行，所有客户端的请求均通过同一条线程进行处理，不需要对每个客户端的请求都使用一个线程进行处理，节省了系统资源；每个线程处理客户端请求的任务也由串行处理转为并行处理，能够提高系统的并发量；解决了现有的Restful服务通信方式在处理高并发数据时，需要创建大量的线程来处理连接，系统资源占用较大，存在内存溢出导致系统崩溃的风险的技术问题。

为了便于理解，请参阅图3，本申请提供的一种基于异步事件驱动的肺阻塞Restful通信方法的另一个实施例，包括以下步骤：

步骤201、构建Reactor多线程模型。

步骤202、在Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件。

步骤203、根据请求事件生成读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务。

步骤204、分别将读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务同时分发到对应的业务逻辑单元。

进一步地，在处理解码数据和编码数据时，通过过滤器实现对数据的反序列化与序列化。

需要说明的是，本申请实施例中，在数据加码与数据编码阶段可以增加过滤器，通过过滤器实现对数据的反序列化与序列化，可以规范代码结构以及减少程序员的代码量，提高开发效率。

进一步地，在处理解码数据时，通过过滤器将JSON数据转化成业务处理数据对象，在处理所述编码数据时，通过过滤器将业务处理数据对象序列化成JSON数据格式的字符串。

需要说明的是，本申请实施例中，客户端与服务端通过JSON数据格式通信，在解码阶段，过滤器可以将JSON数据转化成业务处理数据对象，在编码阶段，过滤器将业务处理数据对象序列化成JSON数据格式的字符串。

步骤205、获取每个业务逻辑单元的任务处理结果。

标准的web应用是基于Tomcat容器，通过Strust、Spring MVC框架即可嵌入业务逻辑，再在前面配置Nginx做负载均衡或转发实现Restful服务，这样的流程标准化，有利于开发和运维，但却存在以下弊端：必须依赖于Tomcat容器才能运行，不利于调试与本地测试；当并发数较大时，需要创建大量线程来处理连接，系统资源占用较大；连接建立后，如果当前线程暂时没有数据可读，则线程就阻塞在Read操作上，造成线程资源浪费。而本申请实施例中提供的基于异步事件驱动的肺阻塞Restful通信方法，具有高并发的效果，测试结果表示并发率高达4w QPS，而传统的方法最多只能做到2w QPS；项目可以独立运行与linux、windows各种操作系统，并且不需要依赖于Tomcat等web容器；调试测试方便，启动时间仅需要1～2秒。

为了便于理解，请参阅图4，本申请中提供的基于异步事件驱动的非阻塞Restful通信装置，包括以下模块：

建模模块301，用于构建Reactor多线程模型。

监听模块302，用于在Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件。

并发处理模块303，用于根据请求事件生成若干个处理任务，将若干个处理任务同时分发到若干个不同的业务逻辑单元，使得业务逻辑单元完成对所述处理任务的处理。

进一步地，并发处理模块303具体包括：

第一处理子模块3031，用于根据请求事件生成读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务。

第二处理子模块3032，用于分别将读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务同时分发到对应的业务逻辑单元。

第三处理子模块3033，用于获取每个业务逻辑单元的任务处理结果。

第二处理子模块3032包括：过滤模块；

过滤模块，用于在处理解码数据和所述编码数据时，对解码数据和编码数据进行反序列化与序列化。

过滤模块具体用于：

在处理解码数据时，将JSON数据转化成业务处理数据对象，在处理编码数据时，将业务处理数据对象序列化成JSON数据格式的字符串。

本申请还提供了一种基于异步事件驱动的非阻塞Restful通信设备的实施例，基于异步事件驱动的非阻塞Restful通信设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行前述的基于异步事件驱动的非阻塞Restful通信方法实施例中的任一种基于异步事件驱动的非阻塞Restful通信方法。

本申请还提供了一种计算机可读存储介质的实施例，计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述的基于异步事件驱动的非阻塞Restful通信方法实施例中的基于异步事件驱动的非阻塞Restful通信方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于异步事件驱动的非阻塞Restful通信方法，其特征在于，包括以下步骤：

101、构建Reactor多线程模型；

102、在所述Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件；

103、根据所述请求事件生成若干个处理任务，将所述若干个处理任务同时分发到若干个不同的业务逻辑单元，使得所述业务逻辑单元完成对所述处理任务的处理。

2.根据权利要求1所述的基于异步事件驱动的非阻塞Restful通信方法，其特征在于，步骤103具体包括：

1031、根据所述请求事件生成读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务；

1032、分别将所述读取数据任务、所述解码数据任务、所述处理业务逻辑任务、所述编码数据任务和所述写响应数据任务同时分发到对应的业务逻辑单元；

1033、获取每个所述业务逻辑单元的任务处理结果。

3.根据权利要求2所述的基于异步事件驱动的非阻塞Restful通信方法，其特征在于，在处理所述解码数据和所述编码数据时，通过过滤器实现对数据的反序列化与序列化。

4.根据权利要求3所述的基于异步事件驱动的非阻塞Restful通信方法，其特征在于，所述在处理所述解码数据和所述编码数据时，通过过滤器实现对数据的反序列化与序列化具体包括：

在处理所述解码数据时，通过所述过滤器将JSON数据转化成业务处理数据对象，在处理所述编码数据时，通过所述过滤器将所述业务处理数据对象序列化成JSON数据格式的字符串。

5.一种基于异步事件驱动的非阻塞Restful通信装置，其特征在于，包括以下模块：

建模模块，用于构建Reactor多线程模型；

监听模块，用于在所述Reactor多线程模型中分配一个线程，用于接收若干个客户端发送的请求事件；

并发处理模块，用于根据所述请求事件生成若干个处理任务，将所述若干个处理任务同时分发到若干个不同的业务逻辑单元，使得所述业务逻辑单元完成对所述处理任务的处理。

6.根据权利要求5所述的一种基于异步事件驱动的非阻塞Restful通信装置，其特征在于，所述并发处理模块具体包括：

第一处理子模块，用于根据所述请求事件生成读取数据任务、解码数据任务、处理业务逻辑任务、编码数据任务和写响应数据任务；

第二处理子模块，用于分别将所述读取数据任务、所述解码数据任务、所述处理业务逻辑任务、所述编码数据任务和所述写响应数据任务同时分发到对应的业务逻辑单元；

第三处理子模块，用于获取每个所述业务逻辑单元的任务处理结果。

7.根据权利要求6所述的一种基于异步事件驱动的非阻塞Restful通信装置，其特征在于，所述第二处理子模块包括：过滤模块；

所述过滤模块，用于在处理所述解码数据和所述编码数据时，对所述解码数据和所述编码数据进行反序列化与序列化。

8.根据权利要求7所述的一种基于异步事件驱动的非阻塞Restful通信装置，其特征在于，所述过滤模块具体用于：

在处理所述解码数据时，将JSON数据转化成业务处理数据对象，在处理所述编码数据时，将所述业务处理数据对象序列化成JSON数据格式的字符串。

9.一种基于异步事件驱动的非阻塞Restful通信设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的基于异步事件驱动的非阻塞Restful通信方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-8任一项所述的基于异步事件驱动的非阻塞Restful通信方法。