CN105187519A - 一种基于AIO的socket传输系统 - Google Patents

Abstract

本发明提供一种基于AIO的socket传输系统，所述系统包括数据传输模块、数据拦截器模块以及消息处理模块，所述数据传输模块接收客户端连接请求，在收到连接请求后，系统会新建一个Server？ChannelInfo通道，将通道Server？ChannelInfo中消息数据发送给数据拦截器模块；数据拦截器模块在消息数据到达消息处理模块中的消息处理器和离开消息处理器时进行消息的拦截和过滤；所述消息处理模块通过消息处理器处理消息，负责消息数据的分发，系统中线程池资源的准备。本发明充分利用了AIO的系统读写能力，可以在单台机器上，通过线程池管理数以万计的连接。实现了底层TCP协议和上层的完全解耦，使得API接口更简单，客户端无需提供任何东西进行操作。

Description

一种基于AIO的socket传输系统

技术领域

本发明涉及Java应用远程调用技术领域，尤其涉及一种基于AIO的socket传输系统。

背景技术

Java发布AIO(异步输入/输出)之后，因为AIO提供的强大性能，所以成为socket编程(套接字编程)的首选。但由于AIO的应用程序编程接口API相对复杂，并且在多线程编程情况下，需要考虑的应用场景比较复杂。现有的RPC(RemoteProcedureCallProtocol——远程过程调用协议)调用基本都是在Tcp协议上进行，需要服务端提供socket监听。而大多数RPC框架仍然是基于原始的线程式socket服务器实现，难以在单机上提供数以万计的连接能力。所以推出一个基于AIO的socket传输系统，旨在为用户提供强大的底层通讯功能，而让用户只关注业务，无需面对任何socket编程。并且尽可能的做到轻量化，对外只暴露一个业务接口和一个拦截器接口，使用户不再需要关心底层数据传输。只需要专注在业务上即可。

发明内容

本发明要解决的技术问题，在于提供一种基于AIO的socket传输系统，本发明充分利用了AIO的系统读写能力，可以在单台机器上，通过线程池管理数以万计的连接。实现了底层TCP协议和上层的完全解耦，使得API接口更简单，客户端无需提供任何东西进行操作。

本发明是这样实现的：一种基于AIO的socket传输系统，所述系统包括数据传输模块、数据拦截器模块以及消息处理模块，所述数据传输模块接收客户端连接请求，在收到连接请求后，系统新建一个ServerChannelInfo通道，该通道对象持有了当前连接过来的socket通道，并且会获取在服务器启动的时候设置的参数，将参数设置到ServerChannelInfo通道之中，将通道ServerChannelInfo中消息数据发送给数据拦截器模块；所述数据拦截器模块在消息数据到达消息处理模块中的消息处理器和离开消息处理器时进行消息的拦截和过滤；所述消息处理模块通过消息处理器处理消息，负责消息数据的分发，系统中线程池资源的准备。

进一步地，所述数据传输模块包括socket连接响应器、通道读取响应器以及消息写出响应器；所述socket连接响应器负责接收客户端的socket连接请求，所述通道读取响应器负责从ServerChannelInfo通道中读取消息数据，所述消息写出响应器，负责将消息数据从通道发送。

进一步地，所述消息处理模块包括消息动作类单元、消息请求处理接口单元以及消息处理器；所述消息动作类单元用于给线程池提供消息动作类，并提供调用，负责消息的入口拦截、请求处理、出口拦截以及通道写出操作；所述消息请求处理接口单元，为用户提供消息请求处理接口，使得用户能完成感兴趣的消息的处理，所述消息处理器，负责消息的分发，线程池资源的准备以及消息的处理。

进一步地，所述ServerChannelInfo通道读取使用的是AIO中的异步读取方式，由实现ComplteHandler接口的通道读取响应类ChannelReadHandler来负责；该接口能对消息数据进行分析，以确定是否符合格式的报文文本；并且确定需要读取的大小，将需要读取的数据进行读取；在读取的过程中发生读取缓存大小不足时，此时会自动扩容；以及发生粘包，此时类会将粘包中的数据，读取完整的业务数据的部分，并且将这部分数据组装成抽象消息Message投递到消息处理器，剩余的数据则继续读取直到完整后重复读取流程；在数据读取完毕并且也投递完毕后，通道读取响应器会继续在ServerChannelInfo通道上监听直到通道关闭或者发生异常为止。

进一步地，消息写出采用的是AIO中的异步写出，由实现了CompletionHandler接口的消息写出响应类MessageWriteHandler来负责；通过将抽象消息Message中组装好的WriteBuffer写出到通道中；一旦所有的数据都写出完成，则会将当前的抽象消息Message内的资源进行释放，并且尝试获取下一个代写的消息，继续进行写出。

进一步地，所述数据拦截器模块的信息注册是在服务器一开始启动的时候，通过扫描，发现实现了数据拦截器模块接口的类，将所有这样的类集合在一起，并且进行排序；收到消息时进行入口拦截，而消息发出时在对应的位置进行出口拦截；当消息从通道读取监听器获取并组装完毕后就进入消息处理器中等待分配线程资源进行处理，一旦获取到资源就开始执行。

进一步地，数据拦截器模块处理的规则是一层处理完了交给下一层，入口和出口的位置是相反的；即如果入口的时候是第一个处理，则出口的时候是最后一个处理；数据拦截器模块能返回信息停止后续的拦截处理，直接进入消息处理器，或者能直接中断整个流程，将消息放弃并且关闭通道。

进一步地，消息处理模块主要由用户实现接口MessageHandler来注册对某一类型感兴趣的消息；其中消息动作类单元作为线程资源执行的载体，执行消息上的入口拦截，消息处理，出口拦截，以及消息的尝试写出；

而抽象消息Message作为消息的载体，承载了消息当前所在的通道，消息中的业务数据，以及写出所需的缓存buffer。

本发明具有如下优点：本发明系统包括数据传输模块、数据拦截器模块以及消息处理模块，所述数据传输模块接收客户端连接请求，在收到连接请求后，系统会新建一个ServerChannelInfo通道，将通道ServerChannelInfo中消息数据发送给数据拦截器模块；数据拦截器模块在消息数据到达消息处理模块中的消息处理器和离开消息处理器时进行消息的拦截和过滤；所述消息处理模块通过消息处理器处理消息，负责消息数据的分发，系统中线程池资源的准备。本发明充分利用了AIO的系统读写能力，可以在单台机器上，通过线程池管理数以万计的连接。实现了底层TCP协议和上层的完全解耦，使得API接口更简单，客户端无需提供任何东西进行操作。

附图说明

图1为本发明系统的框架原理图。

图2为本发明数据拦截器模块对消息进入和写出的处理流程图。

图3为本发明系统处理消息的一实施例的原理框图。

图4为本发明系统处理消息的流程示意图。

具体实施方式

请参阅图1至图4所示，本发明的一种基于AIO的socket传输系统，所述系统包括数据传输模块、数据拦截器模块以及消息处理模块，所述数据传输模块接收客户端连接请求，在收到连接请求后，系统新建一个ServerChannelInfo通道，该通道对象持有了当前连接过来的socket通道，并且会获取在服务器启动的时候设置的参数，将参数设置到ServerChannelInfo通道之中，将通道ServerChannelInfo中消息数据发送给数据拦截器模块；所述数据拦截器模块在消息数据到达消息处理模块中的消息处理器和离开消息处理器时进行消息的拦截和过滤；所述消息处理模块通过消息处理器处理消息，负责消息数据的分发，系统中线程池资源的准备。其中，传输系统的底层(即数据传输模块)是为AIO的读写接口，采用响应器的模式，即为异步操作模式，通过多线程的方式，最大程度释放系统性能。其中数据传输模块、数据拦截器模块以及消息处理模块中与使用者相关的只有数据拦截器模块和消息处理模块。用户通过实现一个消息处理的接口，来处理用户感兴趣的信息；通过实现拦截接口，实现对消息的拦截，从而方便进行横向编程。而系统中的类以及用户继承接口的类，都通过注解，被IOC(控制反转InversionofControl，英文缩写为IoC是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。)容器识别以及管理。

在数据传输模块、数据拦截器模块以及消息处理模块中，贯穿始终的是ServerChannelInfo通道和抽象消息Message。前者代表着通道对象，只要socket通道不关闭，就会持续存在。后者表示单次业务数据的消息对象，会经历从数据传输模块传递到消息处理模块再到数据传输模块写出，然后被销毁。

其中，所述数据传输模块包括socket连接响应器、通道读取响应器以及消息写出响应器；所述socket连接响应器负责接收客户端的socket连接请求，所述通道读取响应器负责从ServerChannelInfo通道中读取消息数据，所述消息写出响应器，负责将消息数据从通道发送。

所述消息处理模块包括消息动作类单元、消息请求处理接口单元以及消息处理器；所述消息动作类单元用于给线程池提供消息动作类，并提供调用，负责消息的入口拦截、请求处理、出口拦截以及通道写出操作；所述消息请求处理接口单元，为用户提供消息请求处理接口，使得用户能完成感兴趣的消息的处理，所述消息处理器，负责消息的分发，线程池资源的准备以及消息的处理。

另外，所述ServerChannelInfo通道读取使用的是AIO中的异步读取方式，由实现ComplteHandler接口的通道读取响应类ChannelReadHandler来负责；该接口能对消息数据进行分析，以确定是否符合格式的报文文本；并且确定需要读取的大小，将需要读取的数据进行读取；在读取的过程中发生读取缓存大小不足时，此时会自动扩容；以及发生粘包，此时类会将粘包中的数据，读取完整的业务数据的部分，并且将这部分数据组装成抽象消息Message投递到消息处理器，剩余的数据则继续读取直到完整后重复读取流程；在数据读取完毕并且也投递完毕后，通道读取响应器会继续在ServerChannelInfo通道上监听直到通道关闭或者发生异常为止。

消息写出采用的是AIO中的异步写出，由实现了CompletionHandler接口的消息写出响应类MessageWriteHandler来负责；通过将抽象消息Message中组装好的WriteBuffer写出到通道中；一旦所有的数据都写出完成，则会将当前的抽象消息Message内的资源进行释放，并且尝试获取下一个代写的消息，继续进行写出。

在本发明中，所述数据拦截器模块的信息注册是在服务器一开始启动的时候，通过扫描，发现实现了数据拦截器模块接口的类，将所有这样的类集合在一起，并且进行排序；收到消息时进行入口拦截，而消息发出时在对应的位置进行出口拦截；如图2数据拦截器模块对消息进入和写出的处理流程；

当消息从通道读取监听器获取并组装完毕后就进入消息处理器中等待分配线程资源进行处理，一旦获取到资源就开始执行。

数据拦截器模块处理的规则是一层处理完了交给下一层，入口和出口的位置是相反的；即如果入口的时候是第一个处理，则出口的时候是最后一个处理；数据拦截器模块能返回信息停止后续的拦截处理，直接进入消息处理器，或者能直接中断整个流程，将消息放弃并且关闭通道。

在本发明中，消息处理模块主要由用户实现接口MessageHandler来注册对某一类型感兴趣的消息；其中消息动作类单元作为线程资源执行的载体，执行消息上的入口拦截，消息处理，出口拦截，以及消息的尝试写出；

而抽象消息Message作为消息的载体，承载了消息当前所在的通道，消息中的业务数据，以及写出所需的缓存buffer。

下面结合一具体实施例对本发明作进一步说明。如图3为本发明系统处理消息的一实施例的原理框图。

数据传输模块中的通道读取响应器ChannelReadHandler从通道读取到足够的字节后，便会新建一个抽象消息Message实例，将完整的业务数据放入抽象消息message中。并且将新建的抽象消息message对象投递到消息处理器中进行处理。

一旦消息处理器有可用的线程资源时便会将抽象消息message放入线程执行资源消息动作类MessageAction中，执行消息的入口拦截，处理，出口拦截过程，之后会尝试将消息进行写出处理。

消息在消息写出响应器MessageWriteHandler中进行写出监听，直到写出完毕，就会尝试将继续获取当前通道内的待写出消息，执行继续写出。

值得一提的是：本发明的整个消息的接收和发送流程都是异步并发并行的。由于消息处理是在线程池中进行处理，虽然先到达的消息会先分配资源，但是不一定代表就能先完成。这就导致消息的允许发送时间可能和消息到达的先后顺序不一致。所以本发明系统还要在于如何维持消息的有序到达和有序发送。

首先，保证消息的处理资源分配顺序和接收顺序一致是比较容易的。在通道读取响应器ChannelReadHandler收到消息时，由于是TCP连接，报文的到达必然是有序的。而在报文到达后，会将符合格式要求的报文组装成抽象消息Message对象，发送到消息处理器MessageHandlerCenter中。消息处理器有一个线程安全的队列用于存储消息，这样就保证了同一通道的消息在资源分配上是先后有序的。除了发送到消息处理器中外，也会发送到通道对象ServerChannelInfo的等待队列中。该队列用来保证消息在写出时是有序的。

消息在处理完毕后，执行写出尝试。此时，为了保证应答消息的返回和收到是同一顺序的，在消息尝试写出时判断该消息是否位于ServerChannelInfo发送队列的出口处。如果是的话，则尝试进行写出。此时该操作是在业务处理线程中执行。

而消息写出监听器则会消息写出完毕后，尝试取出当前通道内的下一个待写消息，尝试进行写出努力。此时该才做是在通讯线程中执行。

由于业务线程和通讯线程都有可能对消息执行写出尝试。故而在执行写出尝试的时候首先需要判断该消息是否已经被写出，抽象消息message中有一个状态writed用于该表示。如果writed为false，则还未写出，将writed更新为true。注意，由于多线程存在竞争，这一步操作需要使用同步语义。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于AIO的socket传输系统，其特征在于：所述系统包括数据传输模块、数据拦截器模块以及消息处理模块，所述数据传输模块接收客户端连接请求，在收到连接请求后，系统新建一个ServerChannelInfo通道，该通道对象持有了当前连接过来的socket通道，并且会获取在服务器启动的时候设置的参数，将参数设置到ServerChannelInfo通道之中，将通道ServerChannelInfo中消息数据发送给数据拦截器模块；所述数据拦截器模块在消息数据到达消息处理模块中的消息处理器和离开消息处理器时进行消息的拦截和过滤；所述消息处理模块通过消息处理器处理消息，负责消息数据的分发，系统中线程池资源的准备。

2.根据权利要求1所述的一种基于AIO的socket传输系统，其特征在于：所述数据传输模块包括socket连接响应器、通道读取响应器以及消息写出响应器；所述socket连接响应器负责接收客户端的socket连接请求，所述通道读取响应器负责从ServerChannelInfo通道中读取消息数据，所述消息写出响应器，负责将消息数据从通道发送。

3.根据权利要求1所述的一种基于AIO的socket传输系统，其特征在于：所述消息处理模块包括消息动作类单元、消息请求处理接口单元以及消息处理器；所述消息动作类单元用于给线程池提供消息动作类，并提供调用，负责消息的入口拦截、请求处理、出口拦截以及通道写出操作；所述消息请求处理接口单元，为用户提供消息请求处理接口，使得用户能完成感兴趣的消息的处理，所述消息处理器，负责消息的分发，线程池资源的准备以及消息的处理。

4.根据权利要求2所述的一种基于AIO的socket传输系统，其特征在于：所述ServerChannelInfo通道读取使用的是AIO中的异步读取方式，由实现ComplteHandler接口的通道读取响应类ChannelReadHandler来负责；该接口能对消息数据进行分析，以确定是否符合格式的报文文本；并且确定需要读取的大小，将需要读取的数据进行读取；在读取的过程中发生读取缓存大小不足时，此时会自动扩容；以及发生粘包，此时类会将粘包中的数据，读取完整的业务数据的部分，并且将这部分数据组装成抽象消息Message投递到消息处理器，剩余的数据则继续读取直到完整后重复读取流程；在数据读取完毕并且也投递完毕后，通道读取响应器会继续在ServerChannelInfo通道上监听直到通道关闭或者发生异常为止。

5.根据权利要求4所述的一种基于AIO的socket传输系统，其特征在于：消息写出采用的是AIO中的异步写出，由实现了CompletionHandler接口的消息写出响应类MessageWriteHandler来负责；通过将抽象消息Message中组装好的WriteBuffer写出到通道中；一旦所有的数据都写出完成，则会将当前的抽象消息Message内的资源进行释放，并且尝试获取下一个代写的消息，继续进行写出。

6.根据权利要求1所述的一种基于AIO的socket传输系统，其特征在于：所述数据拦截器模块的信息注册是在服务器一开始启动的时候，通过扫描，发现实现了数据拦截器模块接口的类，将所有这样的类集合在一起，并且进行排序；收到消息时进行入口拦截，而消息发出时在对应的位置进行出口拦截；当消息从通道读取监听器获取并组装完毕后就进入消息处理器中等待分配线程资源进行处理，一旦获取到资源就开始执行。

7.根据权利要求6所述的一种基于AIO的socket传输系统，其特征在于：数据拦截器模块处理的规则是一层处理完了交给下一层，入口和出口的位置是相反的；即如果入口的时候是第一个处理，则出口的时候是最后一个处理；数据拦截器模块能返回信息停止后续的拦截处理，直接进入消息处理器，或者能直接中断整个流程，将消息放弃并且关闭通道。

8.根据权利要求4所述的一种基于AIO的socket传输系统，其特征在于：消息处理模块主要由用户实现接口MessageHandler来注册对某一类型感兴趣的消息；其中消息动作类单元作为线程资源执行的载体，执行消息上的入口拦截，消息处理，出口拦截，以及消息的尝试写出；

而抽象消息Message作为消息的载体，承载了消息当前所在的通道，消息中的业务数据，以及写出所需的缓存buffer。