CN104065706A - 处理服务请求的方法和装置 - Google Patents

Abstract

本发明提供了处理服务请求的方法和装置，该方法包括，在Jetty Continuation的请求处理中建立异步层次结构，包括传输层，转换内部数据层，转换外部数据层，接出层；利用Continuation异步处理请求；在所述异步层次结构中逐级异步发送请求，并异步返回处理结果，并通知释放请求。本发明层次结构简单和清晰，易于和维护，最大程度降低了耦合，提高了系统性能。

Description

处理服务请求的方法和装置

技术领域

本发明涉及网络计算领域，特别涉及一种异步处理API服务请求的方法和装置。

背景技术

作为开源的servlet容器，Jetty为基于Java的web内容提供运行环境。Jetty的API以一组JAR包的形式发布。开发人员可以将Jetty容器实例化成一个对象，可以迅速为一些独立运行的Java应用提供网络和web连接。在服务器客户端架构中，所有的请求都接入到Jetty的servlet中，如果后端处理速度慢，则导致大量的请求会超时。常规的程序遇到这种情况(假设没有设置超时)通常会等待，此时线程会白白浪费时间，一旦请求增多，线程池及等待队列会变满，从而导致网站无法服务。目前已有程序使用future task来解决该问题，但future task带有轮询的性质，并发处理请求能力有限，无论怎样或多或少会带有阻塞。

Continuation是一种可以使HTTP请求可以被暂时挂起，并且当挂起超时或非同步的事件发生时，被挂起的HTTP请求可以被重新恢复的机制。这个机制的实现主要在SelectChannelConnector类中。SelectChannelConnector允许维持每个连接开放而不用消耗一个线程。当连接挂起时，Connector将请求维持在未决Continuations队列里，用来服务请求的线程返回给TheadPool，这样，该线程又可以服务于其他请求。暂停的请求停留在未决Continuations队列里直到指定的过期时间，或者在它的Continuation上调用resume()方法。Continuation.suspend()会抛出一个特殊的运行时异常：RetryRequest。这个异常将传播到servlet以外，然后通过过滤器传回，再由SelectChannelConnector捕获，将请求放入处于等待状态的Continuation队列中，此时HTTP连接并不关闭，而当前的线程却可以被放回线程池，供别的请求使用。Continuation机制实际就是对HTTP协议执行NIO(非阻塞I/O)。每个环节都是异步处理，这样极大的提高了请求的TPS(每秒能够处理的事务量)以及并发的性能。

然而，Jetty continuation需要在应用中使用应用级的线程池来完成一些IO任务，这个在普通的web编程并不常见。在应用的第一次请求中，需要调用AsyncContinuation.suspend,完成一个状态的转换，以及产生一个超时任务,将超时任务派发给应用线程池完毕后，Jetty回收该请求，线程IO任务在应用线程中完成后，然后通过AsyncContinuation.resume或者complete等方法通知Jetty任务完成Jetty然后会再次分配一个worker线程处理该请求，如果逻辑复杂，如并行的多次IO会分配多个worker线程。引入Jetty continuation带来的负面作用是需要仔细的切割各类IO任务，编程模型因而会变得复杂。

针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种处理服务请求的方法和装置。本发明首先提出了一种处理服务请求的方法，包括：

步骤一，在Jetty Continuation的请求处理中建立异步层次结构，包括传输层，转换内部数据层，转换外部数据层，接出层；

步骤二，利用Continuation异步处理请求；

步骤三，在所述异步层次结构中逐级异步发送请求，并异步返回处理结果，并通知释放请求。

优选地，所述步骤二进一步包括：

获取当前请求的Continuation对象，

设置监听器，

在处理请求后挂起并释放线程。

优选地，该方法基于JSR315规范特性来处理异步请求。

优选地，所述请求的接入方式包括DHReqContinuationServletHandler和DHReqAsynServletHandler,均抽象为AbstractDHReqServletHandler。

优选地，所述请求接入方式基于servlet3.0和Jetty8的continuation的挂起/消费策略来实现，这针对不同的servlet容器来切换不同的异步请求处理机制。

优选地，所述步骤三进一步包括：

所述接出层收到该请求后，进行服务化API调用，将处理结果逐步返回至转换外部数据层，转换内部数据层，和传输层，通知Continuation释放请求，返回处理数据至servlet。

优选地，该方法还包括，当某一时刻请求大量接入时，不需要等待线程释放，而是将线程挂起，处理完毕后通知Jetty,此时Jetty再启用一个新的线程再次处理请求。

根据本发明的另一方面，提供了一种处理服务请求的装置，其特征在于，包括：

模型建立模块，用于在Jetty Continuation的请求处理中建立异步层次结构，包括传输层，转换内部数据层，转换外部数据层，接出层；

Continuation模块，用于利用Continuation异步处理请求；

发送和返回模块，用于在所述异步层次结构中逐级异步发送请求，并异步返回处理结果，并通知释放请求。

优选地，所述Continuation模块进一步包括：

获取子模块，用于获取当前请求的Continuation对象，

监听子模块，用于设置监听器，

挂起子模块，用于在处理请求后挂起并释放线程。

优选地，所述发送和返回模块进一步包括：

调用子模块，用于在所述接出层收到该请求后，进行服务化API调用，

返回子模块，用于将处理结果逐步返回至转换外部数据层，转换内部数据层，和传输层，

释放子模块，用于通知Continuation释放请求，返回处理数据至servlet。

相比于现有技术，本发明的技术方案的具有以下优点：

层次结构简单和清晰可见，每一层对应的代码均具有语义，易于和维护，最大程度降低了耦合。由于每层都是异步处理，系统性能被提升，具有应对未来大并发处理的能力，提高请求访问的TPS并发。

附图说明

图1是根据本发明实施例的处理服务请求的方法的流程图。

图2是根据本发明实施例的异步层次结构的示意图。

图3是两种接入方式的对象和方法的示意图。

图4是根据本发明实施例的异步处理服务请求的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且脱离这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

图1是根据本发明实施例的处理服务请求的方法的流程图。本发明提供的方法包括：

1、在Jetty Continuation的请求处理中建立异步层次结构，包括传输层，转换内部数据层，转换外部数据层，接出层。

图2是根据本发明实施例的异步层次结构的示意图。其中该异步化层次结构的每一层都代表一个语义，对应的代码都和该语义一致。

2.利用Continuation异步处理请求。

具体地，该步骤包括，获取当前请求的Continuation对象，设置监听器，在处理请求后挂起并释放线程。

本发明基于servlet3.0异步(JSR315)规范特性来处理异步请求。目前Jetty8.*+,tomcat7.*+以及glassfish支持servlet3.0规范的servlet异步规范特性。该特性同样是将HTTP的请求接入的同时采用新的线程来执行，异步等待执行完成。

请求接入方式支持DHReqContinuationServletHandler和DHReqAsynServletHandler两种方式,均抽象为AbstractDHReqServletHandler。

图3是两种接入方式的对象和方法的示意图。该请求接入方式是基于servlet3.0和Jetty8的continuation的挂起/消费策略来实现的，这样可以针对不同的servlet容器来切换不同的异步请求处理机制。

3.利用所述异步层次结构，逐级异步发送请求并异步返回结果，并通知释放请求。

当然，异步化并不是独立的，本发明的异步化将结合开放平台的动态模块化API来结合使用。

图4是根据本发明实施例的异步处理服务请求的流程图。具体地，传输层将请求异步发送至转换内部数据层，转换内部数据层将请求异步发送至转换外部数据层，转换外部数据层将请求异步发送至接出层。

接出层进行服务化API调用，然后将处理结果异步返回至转换外部数据层，转换外部数据层将处理结果异步返回至转换内部数据层，转换内部数据层将处理结果异步返回至传输层。

然后通知Continuation释放请求，返回处理数据至servlet。

当某一时刻请求大量接入时，则不需要等待线程释放，而是将线程挂起，这样不影响其它的请求接入，这样将极大的提升了TPS，并且降低了超时处理。

本发明对Jetty continuation进一步改进，采用事件驱动的方式来通知请求完成，没有浪费IO时间，一旦遇到阻塞，当前worker线程会结束，这样就可以服务其他请求，等耗时操作处理完毕通知Jetty,此时Jetty会再启用一个新的worker线程再次处理请求。

根据本发明的另一方面，提供了一种处理服务请求的装置，包括：

模型建立模块，用于在Jetty Continuation的请求处理中建立异步层次结构，包括传输层，转换内部数据层，转换外部数据层，接出层；

Continuation模块，用于利用Continuation异步处理请求；

发送和返回模块，用于在所述异步层次结构中逐级异步发送请求，并异步返回处理结果，并通知释放请求。

其中，所述Continuation模块进一步包括：

获取子模块，用于获取当前请求的Continuation对象，

监听子模块，用于设置监听器，

挂起子模块，用于在处理请求后挂起并释放线程。

其中，所述发送和返回模块进一步包括：

调用子模块，用于在所述接出层收到该请求后，进行服务化API调用，

返回子模块，用于将处理结果逐步返回至转换外部数据层，转换内部数据层，和传输层，

释放子模块，用于通知Continuation释放请求，返回处理数据至servlet。

综上所述，本发明提出的处理服务请求的方法和装置，层次结构简单并且清晰可见，易于和维护，最大程度降低了耦合，提升了系统性能，提高请求访问的TPS并发。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种处理服务请求的方法，其特征在于，包括：

步骤一，在Jetty Continuation的请求处理中建立异步层次结构，包括传输层，转换内部数据层，转换外部数据层，接出层；

步骤二，利用Continuation异步处理请求；

步骤三，在所述异步层次结构中逐级异步发送请求，并异步返回处理结果，并通知释放请求。

2.根据权利要求1所述的方法，其特征在于，所述步骤二进一步包括：

获取当前请求的Continuation对象，

设置监听器，

在处理请求后挂起并释放线程。

3.根据权利要求2所述的方法，其特征在于，

该方法基于JSR315规范特性来处理异步请求。

4.根据权利要求3所述的方法，其特征在于，所述请求的接入方式包括DHReqContinuationServletHandler和DHReqAsynServletHandler,均抽象为AbstractDHReqServletHandler。

5.根据权利要求4所述的方法，其特征在于，所述请求接入方式基于servlet3.0和Jetty8的continuation的挂起/消费策略来实现，这针对不同的servlet容器来切换不同的异步请求处理机制。

6.根据权利要求1所述的方法，其特征在于，所述步骤三进一步包括：

所述接出层收到该请求后，进行服务化API调用，将处理结果逐步返回至转换外部数据层，转换内部数据层，和传输层，通知Continuation释放请求，返回处理数据至servlet。

7.根据权利要求1所述的方法，其特征在于，该方法还包括，当某一时刻请求大量接入时，不需要等待线程释放，而是将线程挂起，处理完毕后通知Jetty,此时Jetty再启用一个新的线程再次处理请求。

8.一种处理服务请求的装置，其特征在于，包括：

模型建立模块，用于在Jetty Continuation的请求处理中建立异步层次结构，包括传输层，转换内部数据层，转换外部数据层，接出层；

Continuation模块，用于利用Continuation异步处理请求；

发送和返回模块，用于在所述异步层次结构中逐级异步发送请求，并异步返回处理结果，并通知释放请求。

9.根据权利要求8所述的装置，其特征在于，所述Continuation模块进一步包括：

获取子模块，用于获取当前请求的Continuation对象，

监听子模块，用于设置监听器，

挂起子模块，用于在处理请求后挂起并释放线程。

10.根据权利要求9所述的方法，其特征在于，所述发送和返回模块进一步包括：

调用子模块，用于在所述接出层收到该请求后，进行服务化API调用，

返回子模块，用于将处理结果逐步返回至转换外部数据层，转换内部数据层，和传输层，

释放子模块，用于通知Continuation释放请求，返回处理数据至servlet。