CN104219284A - 基于半同步半异步和管道过滤器模式的服务器设计方法 - Google Patents

Abstract

本发明提供一种基于半同步半异步和管道过滤器模式的服务器设计方法，所述方法包括：步骤1、将所述半同步层设计成包括复数个数据处理模块；步骤2、将管道过滤器模式应用到半同步层的数据处理模块中；步骤3、将所述复数个数据处理模块通过一链表顺序地链接在一起；步骤4、将二进制指数退避策略应用到所述客户端的应用层中。采用本设计方法后，整个服务器体系将具备以下优点：系统的并发性得到了很大的提高，且具有良好的扩展性；可以动态添加或者删除数据处理模块，使数据处理更具高效性、灵活性；可以通过二进制指数退避策略有效缓解服务器压力，同时也提高了服务器的运行能力。

Description

基于半同步半异步和管道过滤器模式的服务器设计方法

技术领域

本发明涉及一种服务器设计方法，特别涉及基于半同步半异步和管道过滤器模式的服务器设计方法。 

背景技术

随着信息技术的不断发展，新兴的电脑，手机及各种媒体终端也不断涌现，这也使如何让这些不同的终端相互通信与协作成为一个挑战。网络服务器作为分布式应用的核心部件，其设计的好坏将直接影响到整个分布式应用的性能。虽然目前已经有一些较为成熟的设计模式已被应用到网络服务器中，并在一定程度上提高了服务器的性能，比如半同步半异步模式等，但当前使用的网络服务器仍然存在有这样或者那样的问题，这些网络服务器的结构和缺点如下： 

(1)一个客户端连接一个线程/进程的网络服务器 

如图1所示，图中每一虚线框内的曲线均代表一个线程/进程；在该网络服务器模型中，当一个新的网络连接请求到达的时候，一个新的线程/进程将被创建并与这个新的网络连接请求关联。这个新创建的线程/进程不仅要负责建立新的连接，接收网络连接上的数据，而且要负责处理网络数据，发送处理结果到客户端，处理中间出现的各种错误及关闭网络连接。所以该服务器模型存在以下缺点：a、业务逻辑和网络逻辑没有被分离开来，两者之间会相互影响，这也会增加系统出错的概率；b、当大量的网络连接请求同时到达时，将会创建与网络连接请求数目相同的线程，这会占用大量的系统资源，在最坏情况下可能会导致系统瘫痪；c、业务逻辑和网络逻辑之间存在耦合，一旦业务逻辑发生变化，系统需要进行较大改动，这会增加系统维护的难度；d、如果所有的线程是在同一个进程中创建的，当其中任何一 个线程出错，整个应用程序就会发生崩溃；e、进程间会发生频繁通信，这会耗费大量的系统资源，导致系统性能低下。 

(2)基于线程池的网络服务器 

如图2所示，图中虚线椭圆代表一个线程池，虚线椭圆内的一条曲线代表一个线程；该模型中，在网络连接请求到达之前，网络服务器便会创建固定数目的线程等待网络连接请求的到达，当网络连接请求到达的时候，网络服务器就从线程池中选择一个空闲的线程来处理该网络连接请求。在该模型中，线程池中线程的数量是固定的，且一个线程可以在不同时间，为不同的网络连接提供服务，同时这种网络服务器只会占用固定的系统资源，不会给系统带来过大的负荷，但是它的缺点是：当并发的网络连接请求数目大于线程池中线程数目的时候，它将不能同时处理所有的网络连接请求，这会使一些网络连接请求被阻塞一定时间。 

(3)基于领导者跟随者的网络服务器 

基于领导者跟随者的网络服务器提供了一个高效的并发模型，其中多个线程轮流共用一组事件源，以便及时发现活跃的网络连接并处理它们。但是这种模型中没有使用消息队列，因此这种服务器不能同时处理大量的并发网络连接请求。 

(4)基于半同步半异步设计模式的网络服务器 

如图3所示，基于半同步半异步设计模式的网络服务器分为三个层次，从上往下分别是半异步层，排队层和半同步层。在半异步层使用单个线程来监听网络端口并建立网络连接；在排队层使用一个队列来缓冲已经建立的连接；在半同步层用一个线程池来处理网络连接请求，这样设计可以将网络逻辑和业务逻辑分离开来，同时，排队层的存在也可以将大量的连接缓冲一段时间，避免了网络连接的丢失和阻塞。但是这种网络服务器也存在以下缺点：a、当业务逻辑比较复杂的时候(比如要处理较复杂的网络应用协议)，半同步层的线程池策略不够灵活；b、并发层次比较单一；c、不能动态的增加和减少业务处理逻辑模块。 

发明内容

本发明要解决的技术问题，在于提供一种基于半同步半异步和管道过滤器模式的服务器设计方法，通过使用管道过滤器模式与数据处理模块的线程池相结合的方式来设计服务器的半同步层，并可动态添加或删除数据处理模块，增加了系统的并发性、灵活性，且具有良好的扩展性。 

本发明是这样实现的：基于半同步半异步和管道过滤器模式的服务器设计方法，所述基于半同步半异步模式的服务器包括半异步层、排队层及半同步层，所述半异步层接收客户端的网络连接数据后，便将网络连接数据通过所述排队层传递给所述半同步层，所述方法包括以下步骤： 

步骤1、将所述半同步层设计成包括复数个数据处理模块，且每一所述数据处理模块均包括一线程池以及一与之关联的消息队列； 

步骤2、将管道过滤器模式应用到半同步层的数据处理模块中，利用管道过滤器模式将一个复杂的任务分解为复数个连续的分任务，并将每一所述分任务均交由一对应数据处理模块进行处理，处理的最终结果则通过所述排队层及半异步层返回给客户端。 

进一步的，所述方法还包括如下步骤： 

步骤3、将所述复数个数据处理模块通过一链表顺序地链接在一起，且每个数据处理模块均对应链表上的一个节点，同时该链表还支持数据处理模块的添加或删除。 

进一步的，所述方法还包括如下步骤： 

步骤4、将二进制指数退避策略应用到所述客户端的应用层中。 

进一步的，所述步骤2具体为:将管道过滤器模式应用到半同步层的数据处理模块中，利用管道过滤器模式将一个复杂的任务分解为复数个连续的分任务，当一个数据处理模块的线程池从自身的消息队列中取出数据，并处理完一个分任务后，得到的处理结果将被放入下一个相邻的数据处理模块的消息队列中，该相邻的数据处理模块的线程池又会对下一个分任务进行处理，得到的处理结果又将被放入下一个相邻的数据处理模块的消息队列中，如此循环执行下去，直到经过最后一个数据处理模块处理后，将得到一个最 终结果，该最终结果又将通过所述排队层及半异步层返回给客户端。 

进一步的，所述数据处理模块的添加或删除具体为：当要添加一个数据处理模块时，首先创建一个新的数据处理模块，然后对链表进行加锁，最后调用链表插入函数将数据处理模块插入到链表中，并将锁释放；当要删除一个数据处理模块时，则先对链表进行加锁，然后调用链表删除函数将要删除的数据处理模块从链表中删除，之后将锁释放。 

进一步的，所述二进制指数退避策略步骤如下： 

①定义初始化网络连接超时时间，即第一次网络连接超时时间t； 

②定义进行一次网络连接失败后，需要重新尝试进行网络连接的次数n； 

③设定新的网络连接超时时间等于前一次网络连接超时时间乘以N，且N大于零； 

④若网络连接成功，则将数据发送到网络；若尝试了n次网络连接后仍然失败，则生成一个数据连接失败的错误并报告给上层应用。 

本发明具有如下优点：1、可以并发的发送、接收及处理数据，具有良好的可扩展性及并发性；2、可以动态的添加或删除数据处理模块，具有较强的灵活性；3、在客户端的应用层采用了二进制指数退避策略，可以有效缓解服务器压力，并提高整个服务器的运行能力。 

附图说明

下面参照附图结合实施例对本发明作进一步的说明。 

图1为现有技术中一个客户端连接一个线程或进程的网络服务器体系结构图。 

图2为现有技术中基于线程池的网络服务器体系结构图。 

图3为现有技术中基于半同步半异步模式的网络服务器体系结构图。 

图4为管道过滤器模式的一典型模型示意图。 

图5为本发明服务器的体系结构图。 

图6为本发明中添加数据处理模块的流程图。 

图7为本发明服务器运行流程图。 

具体实施方式

请参照图4至图7所示，一种基于半同步半异步和管道过滤器模式的服务器设计方法，所述基于半同步半异步模式的服务器包括半异步层、排队层及半同步层，所述方法包括以下步骤： 

步骤1、将所述半同步层设计成包括复数个数据处理模块，且每一所述数据处理模块均包括一线程池以及一与之关联的消息队列； 

步骤2、将管道过滤器模式应用到半同步层的数据处理模块中，利用管道过滤器模式将一个复杂的任务分解为复数个连续的分任务，当一个数据处理模块的线程池从自身的消息队列中取出数据，并处理完一个分任务后，得到的处理结果将被放入下一个相邻的数据处理模块的消息队列中，该相邻的数据处理模块的线程池又会对下一个分任务进行处理，得到的处理结果又将被放入下一个相邻的数据处理模块的消息队列中，如此执行下去，直到经过最后一个数据处理模块处理后，将得到一个最终结果，该最终结果又将通过所述排队层及半异步层返回给客户端。其中，管道过滤器模式的一典型模型如图4所示，所述典型模型包括一数据源、第一过滤器、第二过滤器及处理结果槽，所述数据源通过第一管道连接所述第一过滤器，该第一过滤器通过第二管道连接所述第二过滤器，所述第二过滤器又通过第三管道连接所述处理结果槽，且在该模型中的数据传输需要满足以下要求：所述数据源的输出必须与所述第一过滤器的输入兼容，所述第一过滤器的输出必须与所述第二过滤器的输入兼容，所述第二过滤器的输出必须与所述处理结果槽的输入兼容；本发明就是通过将该管道过滤器模式应用到半同步层的数据处理模块中，实现对复杂任务的分解及处理，从而提高系统的并发性。 

如图5所示，将管道过滤器模式应用到半同步层的数据处理模块后，网络服务器的每个层次职责如下： 

半异步层：使用一个线程或线程池来监听网络端口，等客户端网络连接请求到达时，便建立网络连接，并将获取的网络连接数据放入网络套接字队列(排队层)中； 

排队层：负责缓冲网络连接数据，提供半异步层与半同步层之间的通信，使半异步层与半同步层之间解耦。 

半同步层：将排队层的网络连接数据分解成复数个(这里用自然数N表示)连续的分任务并对各分任务进行处理，之后将最终结果返回给客户端。例如图5中，线程池A从自己的消息队列A中取出数据并对一个分任务进行处理后，相应的处理结果就会被放入下一个相邻的消息队列B中供线程池B继续进行处理，线程池B处理完一个分任务后，相应的处理结果又会被放入下一个相邻的消息队列中供对应的线程池取出继续处理；接下来的线程池都会对各自的分任务进行处理，并将相应处理结果放入下一个相邻的消息队列中，直到经过最后一个线程池N处理后，放入消息队列N的最终结果将被返回给客户端。 

优选的，所述方法还包括如下步骤： 

步骤3、将所述复数个数据处理模块通过一链表顺序地链接在一起，且每个数据处理模块均对应链表上的一个节点，同时该链表还支持数据处理模块的添加或删除，当要添加一个数据处理模块时，首先创建一个新的数据处理模块，然后对链表进行加锁以保证同一时刻只有一个线程操作链表，最后调用链表插入函数将数据处理模块插入到链表中，并将锁释放；当要删除一个数据处理模块时，则先对链表进行加锁，然后调用链表删除函数将要删除的数据处理模块从链表中删除，之后将锁释放。其中，所述数据处理模块均处于闲置状态、活跃状态、不活跃状态、运行状态中的一个状态，且各状态间的转换过程如下：当创建一个新的数据处理模块时，该数据处理模块处于空闲状态；当获得锁并将新创建的数据处理模块插入链表时，该数据处理模块便由空闲状态变为活跃状态；当释放锁时，该数据处理模块便由活跃状态变为运行状态，在进行处理数据时，该数据处理模块仍处于运行状态；当为了将另一个新创建的数据处理模块插入链表而获取锁时，该数据处理模块便 由运行状态变为活跃状态；当暂停数据处理时，该数据处理模块便由运行状态变为不活跃状态；当恢复数据处理时，该数据处理模块便由不活跃状态变为运行状态。 

如图6所示，该链表包括链表头、节点a、节点b及节点c，我们要在节点a与节点b对应的数据处理模块之间添加一个新的数据处理模块；首先创建一个新的数据处理模块(该新的数据处理模块对应的节点为新模块节点)；然后对整个未获得锁的链表加锁以保证同一时刻只有一个线程操作链表；最后调用链表的插入函数将新模块节点插入到节点a与节点b之间(在链表断开时可以创建一个临时指针指向节点b)，即将新的数据处理模块插入到节点a与节点b对应的数据处理模块之间，同时将锁释放，这样一个新的数据处理模块就添加完成了。 

其中，将所述复数个数据处理模块通过一链表顺序地链接在一起，主要是因为当前的分布式应用要处理各种复杂的业务逻辑和解析多种应用层协议，而传统的静态数据处理显得不够灵活和高效，例如，当我们想要添加或删除一些数据处理模块时，我们必须先停止整个系统，然后重新编写整个数据处理流程或做大量的改变以及重新编译源代码获得可执行文件，这不仅会花费大量的时间，且会让系统变得不稳定。而使用一个链表将所有的数据处理模块顺序地链接在一起后，我们就可以在不停止整个系统运行的情况下进行数据处理模块的添加或者删除，这大大增加了系统的灵活性，且添加或删除一个数据处理模块不是一个非常频繁的操作，并经常在凌晨进行(网络服务器的维护和升级一般都在凌晨进行)，因此，在添加或者删除过程中持有的系统开销也是可以接受的。 

优选的，所述方法还包括如下步骤： 

步骤4、将二进制指数退避策略应用到所述客户端的应用层中。所述二进制指数退避策略的具体实施步骤如下： 

①使用参数initialDelayTime定义初始化的网络连接超时时间，即第一次网络连接超时时间t； 

②使用参数NumberOfReconnect定义进行一次网络连接失败后，需要重新尝试进行网络连接的次数n； 

③设定新的网络连接超时时间等于前一次网络连接超时时间乘以N，其中N大于零； 

④若网络连接成功，则将数据发送到网络；若尝试n次网络连接后仍然失败，则生成一个数据连接失败的错误并报告给上层应用。 

之所以使用二进制指数退避策略，是因为在网络通信系统中，可能存在多个客户端同时向网络服务器发起网络连接请求，但是网络服务器的处理能力又是有限的，为了防止网络服务器承载过多的连接请求，我们在客户端应用层使用了二进制指数退避策略，从而缓解了网络服务器的压力。 

具体实施例： 

如图7所示，图中黑色实心圆圈代表网络端口；空心圆圈代表节点；虚线椭圆代表线程池；包含多个小矩形的矩形框代表消息队列。该网络服务器使用一个单独的线程来监听网络端口，且每一个数据处理模块都拥有独立的线程池和消息队列来处理网络信息和缓冲处理结果，实现各个线程池之间的解耦。每个线程池中线程的数量可以根据具体情况来指定，设计完成后，网络服务器的运行过程如下： 

(1)客户端向网络服务器发起网络连接请求，在网络连接建立后便向服务器发送数据； 

(2)网络服务器监听指定端口的线程，在收到网络连接请求以后便建立网络连接，并将建立好的网络连接(建立好的网络连接在系统中实际为一个socket)放入输入队列； 

(3)半异步层的线程池从输入队列中取出一个socket连接并调用select函数在该socket上等待网络事件的发生。其中，select函数可以同时等待多个socket连接上的网络事件，在select的机制中还提供了fd_set的数据结构，它实际上是一个long类型的数组，每一个数组元素都能与一个socket连接关联起来(关联的工作由程序员完成)，当调用select函数时，由内核根据IO状态修改fd_set的内容，用此来通知调用了select函数的进程哪一 个socket连接上有网络事件发生；当网络数据到达时，线程会接收并处理网络数据，同时得到一个处理结果； 

(4)半异步层的线程池将(3)中得到的处理结果放入到链表中节点a对应的数据处理模块的消息队列中，在图7中，链表的节点a对应的数据处理模块是模块A； 

(5)模块A的线程池从自己的消息队列中取出待处理的数据并进行处理，得到一个处理结果，之后根据节点a指向的下一个节点为节点b，模块A得到的处理结果又会被放入下一个数据处理模块的消息队列中，图中模块A的下一个数据处理模块为模块B； 

(6)模块B以及之后的模块均会依次对前一模块传来的处理结果做进一步处理，直到遇见链表的最后一个模块，图中链表的最后一个模块是模块C； 

(7)链表的最后一个模块(模块C)的线程池从自己的消息队列中取出待处理的数据并进行处理，之后将处理的最终结果放入半异步层的输出队列中； 

(8)半异步层的线程池会从输出队列中取出处理的最终结果并通过网络端口发送给客户端。 

综上所述，我们可以发现，本发明具有以下优点：可以并发的发送、接收及处理数据，具有良好的可扩展性及并发性；可以动态的添加或删除数据处理模块，具有较强的灵活性；在客户端的应用层采用了二进制指数退避策略，可以有效缓解服务器压力，并提高整个服务器的运行能力。 

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。 

Claims (6)

1.一种基于半同步半异步和管道过滤器模式的服务器设计方法，所述基于半同步半异步模式的服务器包括半异步层、排队层及半同步层，所述半异步层接收客户端的网络连接数据后，便将网络连接数据通过所述排队层传递给所述半同步层，其特征在于：所述方法包括以下步骤：

步骤1、将所述半同步层设计成包括复数个数据处理模块，且每一所述数据处理模块均包括一线程池以及一与之关联的消息队列；

步骤2、将管道过滤器模式应用到半同步层的数据处理模块中，利用管道过滤器模式将一个复杂的任务分解为复数个连续的分任务，并将每一所述分任务均交由一对应数据处理模块进行处理，处理的最终结果则通过所述排队层及半异步层返回给客户端。

2.根据权利要求1所述的基于半同步半异步和管道过滤器模式的服务器设计方法，其特征在于：所述方法还包括如下步骤：

步骤3、将所述复数个数据处理模块通过一链表顺序地链接在一起，且每个数据处理模块均对应链表上的一个节点，同时该链表还支持数据处理模块的添加或删除。

3.根据权利要求1或2所述的基于半同步半异步和管道过滤器模式的服务器设计方法，其特征在于：所述方法还包括如下步骤：

步骤4、将二进制指数退避策略应用到所述客户端的应用层中。

4.根据权利要求1所述的基于半同步半异步和管道过滤器模式的服务器设计方法，其特征在于：所述步骤2具体为:将管道过滤器模式应用到半同步层的数据处理模块中，利用管道过滤器模式将一个复杂的任务分解为复数个连续的分任务，当一个数据处理模块的线程池从自身的消息队列中取出数据，并处理完一个分任务后，得到的处理结果将被放入下一个相邻的数据处理模块的消息队列中，该相邻的数据处理模块的线程池又会对下一个分任务进行处理，得到的处理结果又将被放入下一个相邻的数据处理模块的消息队列中，如此循环执行下去，直到经过最后一个数据处理模块处理后，将得到一个最终结果，该最终结果又将通过所述排队层及半异步层返回给客户端。

5.根据权利要求2所述的基于半同步半异步和管道过滤器模式的服务器设计方法，其特征在于：所述数据处理模块的添加或删除具体为：当要添加一个数据处理模块时，首先创建一个新的数据处理模块，然后对链表进行加锁，最后调用链表插入函数将数据处理模块插入到链表中，并将锁释放；当要删除一个数据处理模块时，则先对链表进行加锁，然后调用链表删除函数将要删除的数据处理模块从链表中删除，之后将锁释放。

6.根据权利要求3所述的基于半同步半异步和管道过滤器模式的服务器设计方法，其特征在于：所述二进制指数退避策略步骤如下：

①定义初始化网络连接超时时间，即第一次网络连接超时时间t；

②定义进行一次网络连接失败后，需要重新尝试进行网络连接的次数n；

③设定新的网络连接超时时间等于前一次网络连接超时时间乘以N，且N大于零；

④若网络连接成功，则将数据发送到网络；若尝试了n次网络连接后仍然失败，则生成一个数据连接失败的错误并报告给上层应用。