CN1859318A - 消息传输系统及其消息缓冲装置及方法 - Google Patents

Abstract

本发明公开一种消息缓冲装置，用于实现发方和收方之间的消息的缓冲；包括：消息缓冲区，用于存放所述发方发送给收方的数据；收方通知单元，用于在所述消息缓冲区收到发方放入的数据后向收方发送信号，通知收方收取数据；缓冲区空间检测单元，用于在所述发方发送数据时检测缓冲区已占用的空间；发方速度控制单元，用于根据缓冲区的空间占用情况来调节发方的速度。本发明还公开一种采用该消息缓冲装置的消息传输系统以及一种消息缓冲方法。本发明使得发方具有足够的弹性，且整体工作效率得以提高。

Description

消息传输系统及其消息缓冲装置及方法

技术领域

本发明涉及网络通信过程的消息缓冲技术，特别是涉及一种消息传输系统及其缓冲装置及方法。

背景技术

随着信息技术的发展，越来越多的信息通过网络实现传输。请参阅图1，是现有技术中第一设备100与第二设备200之间通过网络进行消息收发的示意图。

第一设备100的本机程序向第二设备200发送消息时，考虑到网络通信较慢，出于易于管理的原因，通常由一个单独的进程或线程，即网络收发线(进)程120完成网络间的通信，而本地处理线(进)程110通过某种方式与网络收发线(进)程120通信，实现消息的收发。整个过程需要调度程序130的参与。所述调度程序130指的是操作系统的调度程序，通常按时间片调度线(进)程执行。

由于本地处理线(进)程110通常较快，而网络收发线(进)程120通常较慢，必然导致要使用中间层对收发消息方进行缓冲，以使得收发方的速度得到协调。

请参阅图2，现有技术中，常用的对消息进行缓冲的方法是使用缓冲区140，包括发送缓冲区141，用于对本地处理线(进)程110发往网络收发线(进)程120的消息进行缓冲；接收缓冲区142，用于对网络收发线(进)程120发往本地处理线(进)程110的消息进行缓冲。

请参阅图3，对于作为中间件的缓冲区140来说，总是存在相互配合的发方310和收方320。

所述发方310是指往缓冲区140中放入消息的一方；所述收方320是指从缓冲区140中取出消息的一方。发方310与收方320可以是在一个进程中的不同线程，也可以是操作系统中的不同进程(此时缓冲区使用共享内存)。

目前，缓冲区140实现数据通知的方式是：收到发方310放入的数据后，立即给收方320信号，收方320立即收取数据。

此种数据通知方式在收方320的收取速度大于发方310的速度时是没有问题的，因为收方320在没有消息时处于等待状态。

但是，在发方310的速度大于收方320的速度的情况下，此种通知方式存在一定的问题：缓冲区140会由于收方320的速度不够快而逐渐被占满，最终导致消息的丢失；虽然设置足够大的缓冲区可以起到一定的缓解作用，但是，如果发方310的速度一直比收方320的速度快，再大的缓冲区也无济于事；并且缓冲区140的大小难以设置，过大会浪费空间，过小则不能较好地实现消息缓冲的效果。

目前，解决此问题的通常方法是为缓冲区配置流控(流量控制)功能，在收方速度较慢时，控制发方在缓冲区中存放消息的速度，以使收方发的速度得到协调。

现有技术中，一种缓冲区的流控方法包括：在缓冲区的空闲空间不足以放下发方要存放的数据时，通知发方等待；在收方收取消息后，缓冲区判断新的剩余空间是否能满足发方需要的空间大小，如果能够满足，则立即通知发方存放数据。

但是，该现有技术的流控方法存在一些不足之处：

1、缺乏弹性。在缓冲区满时，收方的速度对发方的执行速度影响较大，收方如果此时正在执行费时的操作，发方将随之一起等待。

2、效率不够高。由于采用立即通知，在缓冲区满时调度程序易于陷入如下状态：消息缓冲满->调度收方接收数据->判断空间够，通知发方放入数据->发方放入数据->消息缓冲满……(下一循环)……。由于调度程序执行的花费较大，这必然导致整体的效率不高。

3、发方等待的超时时间难以设定。由于收方可能确实由于某种原因不工作，导致缓冲区满，发方没有判断的依据，只能等待最长的超时时间。

发明内容

本发明解决的技术问题是提供一种消息传输系统及其缓冲装置及方法，使得发方具有足够的弹性，且整体工作效率得以提高。

为此，本发明解决技术问题的技术方案是：提供一种消息缓冲装置，用于实现发方和收方之间的消息的缓冲；包括：

消息缓冲区，用于存放所述发方发送给收方的数据；

收方通知单元，用于在所述消息缓冲区收到发方放入的数据后向收方发送信号，通知收方收取数据；

缓冲区空间检测单元，用于在所述发方发送数据时检测缓冲区已占用的空间；

发方速度控制单元，用于根据缓冲区的空间占用情况来调节发方的速度。

优选地，当已占用的空间达到预定的大小时，所述发方速度控制单元限制发方的速度；否则不限制发方的速度。

优选地，所述发方速度控制单元在消息缓冲区的空间已被全部占用时通知发方进行错误处理。

优选地，所述发方速度控制单元采用通知发方主动睡眠预定时间的方式来限制其速度。

优选地，所述消息缓冲区包括具预定空间百分比PU的快速区域和至少一控速区域。

优选地，所述至少一控速区域分别对应预定的睡眠时间；所述睡眠时间根据最小等待时间和最大等待时间采用等分法或指数法进行设置。

优选地，进一步包括参数配置单元，用于实现对消息缓冲区的参数的配置。

优选地，还包括参数验证单元，用于在消息缓冲区初始化时对配置的参数的值进行验证。

本发明还提供一种消息传输系统，包括发方、收方和设置在所述发方和收方之间的消息缓冲装置，所述消息缓冲装置是前述的消息缓冲装置。

本发明还提供一种消息传输系统中的消息缓冲方法，包括步骤：

1)在发方发送消息时，获取消息缓冲区的空间的占用程度；

2)根据该占用程度，对发方的速度进行控制；包括：

21)如果空间占用的百分比未达到预定值，则发方以正常速度发送数据；

22)如果空间占用的百分比达到预定值，则限制发方的速度。

优选地，所述步骤2)还包括：如果空间被完全占用，则通知发方丢弃消息。

优选地，在所述步骤1)之前还包括将消息缓冲区划分成空间百分比PU为前述预定值的快速区域和至少一控速区域。

优选地，在划分消息缓冲区时还包括根据最小等待时间和最大等待时间采用等分法或指数法设置各控速区域对应的睡眠时间。

优选地，所述睡眠最小时间与PU的取值间的约束关系满足：

(PU*缓冲区大小)/收方最快速度≥睡眠最小时间。

优选地，所述睡眠最小时间为调度程序分给各程序的时间片T。

优选地，所述PU的取值与最大消息大小间的关系满足：

缓冲区大小*(1-PU)＞最大消息大小。

优选地，所述至少一控速区域中的各控速区域的大小不小于最大消息大小。

相对于现有技术，本发明的有益效果是：首先，由于本发明根据消息缓冲区的空间占用情况来控制发方的速度，因此相当于发方在匹配收方速度时有一个缓冲功能，收方的速度并不直接影响发方的速度，从而具有足够的弹性。其次，由于本发明中发方无需事件通知，相对于现有技术减少了事件通知的开销；并且由于发方的速度由消息缓冲区的空间占用情况来调节，因此调度程序不需要不停地切换发方与收方线(进)程，从而提高了整体性能。

在本发明的优选方案中，将消息缓冲区划分为快速区域和控速区域，相当于发方在匹配收方速度时有一个缓冲功能，使得收方的速度并不直接影响发方的速度。

此外，在消息缓冲区满时，缓冲区直接通知发方进行错误处理，而不用让发方继续等待，因此发方能够确认收方的工作状态，从而更为合理地进行工作。

附图说明

图1是现有技术中设备之间通过网络进行消息收发的示意图；

图2是现有技术中的对消息进行缓冲时使用的缓冲区的示意图；

图3是缓冲区与发方和收方相互配合的示意图；

图4是本发明的消息传输系统的框图；

图5是本发明中的消息缓冲区的示意图；

图6是本发明中的消息缓冲区的一个实施例的示意图；

图7是本发明中的消息缓冲装置的一个实施例的示意图；

图8是本发明的消息传输系统中的消息缓冲方法的流程图。

具体实施方式

请参阅图4，本发明的消息传输系统中，消息缓冲装置400用于实现对发方800发送给收方900的数据的缓冲，并且实现流控功能。

该消息缓冲装置400包括消息缓冲区410、收方通知单元420、缓冲区空间检测单元430、发方速度控制单元440。

其中，消息缓冲区410用于存放发方800发送给收方900的数据。

收方通知单元420用于在消息缓冲区410收到发方800放入的数据后立即向收方900发送信号，通知收方900收取数据。

缓冲区空间检测单元430用于在发方800发送数据时检测缓冲区已占用的空间。

发方速度控制单元440用于根据缓冲区的空间占用情况来调节发方800的速度，当已占用的空间达到预定的大小时限制发方800的速度；否则不限制发方800的速度。

请一并参阅图5，是本发明中的消息缓冲区的示意图。

该消息缓冲区410包括快速区域411和控速区域412。

该实施例中，消息缓冲区410的划分是通过使用百分比来划分的，该百分比简记为PU，并且据此来判断发方800的速度是否需要调节。

发方800发送消息时，如果消息缓冲区410已使用的空间占消息缓冲区空间的百分比大于PU，则认为发方800在控速区域412中存放消息；否则认为发方800在快速区域411中存放消息。发方800在快速区域411中存放消息时，不会被限制速度，而在控速区域412中存放消息时，将被限制发送速度。

由于消息缓冲区410中设置控速区域412，因而相当于发方800在匹配收方900的速度时有缓冲功能，收方900的速度并不直接影响发方800的速度。因此即使收方900此时在执行费时的操作，发方800也仅按控速区域412的要求进行发送速度的延缓。

此外，如果消息缓冲区410的空间已被全部占用，则直接丢弃来自发方800的消息。

由于发方800在向控速区域412中存放消息时已经进行限速，而此时消息缓冲区410仍然被全部占用，所以基本上可以认为收方900处于不工作状态。则消息缓冲装置400直接通知发方800有错误产生，无需继续等待。因此发方800可以及时地做出相应的错误处理。这实际上相当于消息缓冲装置400能提供相对更准确的判断条件，使得发方800能够基本上确定收方900的工作状态。

请一并参阅图6，是本发明中的消息缓冲区的一个实施例的示意图。

该实施例中，采用如下方式实现对发方的限速：发方800发送数据后，根据消息缓冲区410的空间被占用的程度，判断当前的空间所属的区域，缓冲装置400控制发方800主动睡眠相应的时间。

图6中，消息缓冲区410划分为快速区域411、第一控速区域4121、第二控速区域4122和第三控速区域4123。

其中，各控速区域对应的睡眠时间的划分可以采用等分法。例如，假设发方800的最小等待时间为20ms，而其最大等待时间为60毫秒，则三个控速区域可以分别对应20毫秒、40毫秒、60毫秒。在消息传输过程中，根据发方800写完数据后的消息缓冲区410的空间占用程度来对发方800的速度实行相应的限制。

假设第一控速区域4121对应的空间百分比是70％；第二控速区域4122对应的空间百分比是85％。则当缓冲区70％都有数据时，通知发方800主动睡眠20毫秒；当发方800写完数据后缓冲区85％都有数据时，则发方睡眠40毫秒。

需要说明的是，本实施例描述的数值只是为了便于理解起见，并不是用于对本发明进行限制。

本领域的技术人员可以理解，由于本发明中，发方不需要事件通知，减少了事件通知的开销；并且由于本发明中快速区域的缓冲，使得睡眠的唤醒并不要求很实时，从而调度程序不需要频繁地在发方与收方之间切换，进而提高整体性能。

本发明中，PU的取值与消息缓冲区的大小和睡眠时间、最大消息大小等因素有关。

其中，睡眠最小时间与PU的取值间的约束关系是：

(PU*缓冲区大小)/收方最快速度≥睡眠最小时间。

即，睡眠最小时间应该小于消息全部从快速区域取走的时间。否则发方的睡眠会导致收方收不到数据，导致性能下降。如果能够满足上面的关系，收方的速度理论上不会受发方影响。

考虑到现实应用中调度程序常按时间片来进行调度，假设调度程序分给每个程序的时间片是T，则满足下面的关系时，能使发方与收方速度得到充分协调：

(PU*缓冲区大小)/收方最快速度≥T。

其中，PU取值与最大消息大小间的关系是：

缓冲区大小*(1-PU)＞最大消息大小。

PU与最大消息大小应满足该关系，否则过大的消息会由于无法放入缓冲区，则根本不进行流控就被丢弃。

进一步，控速区域中每一个小区域的大小应该不小于最大消息大小，如此才能起到相应的流控作用，避免流控的时间过久，从而达到较好的效果。

请参阅图7，该消息缓冲装置400进一步包括参数配置单元450。该参数配置单元450用于实现对消息缓冲区410的参数的配置。缓冲区的配置参数包括收方最快速度、时间片T、平均消息包长度、最大等待时间、PU、缓冲区大小、最大消息包长度等。

上述配置参数的值通过下述方法获得：

其中，收方最快速度通过测量得到；时间片T可根据调度程序的实现得到；最大等待时间根据具体应用的要求得到。

睡眠最小时间不作为控制参数，在缓冲区的内部实现，可通过计算出收方收取一条消息的平均时间得到。需要说明的是，如果睡眠最小时间较小，睡眠频繁开销大且难以做到精确，此时应取睡眠最小时间为T。

此外，本发明的消息缓冲装置400还可以进一步包括参数验证单元(图未示)，用于在缓冲区初始化时对配置的值进行验证，配置的值不够好时给出相应的告警，但不强制修改其值。这是因为该参数可能是配置人员出于内存占用或是其它方面的考虑而设置的，不一定就是配置错误。

本领域的技术人员可以理解，消息缓冲装置的各个单元在具体实现时，可以源码的方式嵌在程序中，也可以作为一个独立的中间件，比如动态库，供收发方调用。

请参阅图8，是本发明的消息传输系统中的消息缓冲方法的流程图。

步骤S810，在发方发送消息时，消息缓冲装置获取空间的占用程度。

步骤S820，消息缓冲装置根据该占用程度，对发方的速度进行控制。具体包括：

步骤S821，如果空间占用的百分比未达到预定值，则发方以正常速度发送数据；

步骤S822，如果空间占用的百分比达到预定值，则限制发方的速度；

步骤S823，如果空间被完全占用，则通知发方丢弃消息。

如前所述，所述步骤S822的限制可以通过控制发方主动睡眠相应的时间来实现，此不赘述。

此外，在步骤S810之前，还包括为消息缓冲区配置参数的步骤。

为了便于对本发明的理解，下面结合两个具体的应用举例来对本发明进行说明。

具体应用举例一：

收方最快速度为10MB/s，T为10ms，平均消息包长度为100B，最大等待时间为500ms，最大消息包大小10KB。

则：

睡眠最小时间＝100/(10MB/s)＝10微秒。考虑到此值较小，取睡眠最小时间为T即10ms。

快速区域大小＝10MB/s*T＝100KB。

如果PU定为80％，则缓冲区大小≥125KB，可取150KB。

由于睡眠最小时间到最大等待时间间隔较大，此时缓冲区实现控速区域划分采用指数划分法。将控速区域分为10ms、20ms、40ms、80ms、160ms、320ms、500ms这七个同样大小的区域。

要达到较好的效果(1-PU)*缓冲区大小/7≥10KB，即缓冲区大小≥350KB，因而在PU取值为80％时，综合上面的分析，缓冲区大小取值应为350KB。实际配置时，如果对内存要求较高，可取150KB至350KB间的一个值。

具体应用举例二：

收方最快速度为100MB/s，T为10ms，平均消息包长度为100B，最大等待时间为50ms，最大消息包大小30KB

则：

睡眠最小时间＝100/(100MB/s)＝1微秒。考虑到此值较小，取睡眠最小时间为T即10ms。

快速区域大小＝100MB/s*T＝1000KB。

如果PU定为80％，则缓冲区大小≥1250KB，可取1500KB。

由于睡眠最小时间到最大等待时间间隔不大，此时缓冲区实现控速区域划分采用平均划分法。将控速区域分为10ms、20ms、30ms、40ms、50ms这五个同样大小的区域。

要达到较好的效果(1-PU)*缓冲区大小/5≥30KB，即缓冲区大小≥750KB，因而在PU取值为80％时，综合上面的分析，缓冲区大小取值应为1500KB。

综上所述，本发明的核心思想是以空间换取时间，采用预先推算的方式简化应用程序的处理。本发明的技术方案有利于简化发送程序的处理，并有利于提高整体工作效率。

其中，简化发送程序的处理体现在：由于消息缓冲区中有控速区域，因而相当于发方在匹配收方速度时有一个缓冲功能，收方的速度并不直接影响发方的速度；而且在消息缓冲区满时，由于发方在之前已等待了最长的等待时间，缓冲区直接通知发方一个错误，而发方无需继续等待。

提高整体工作效率体现在：由于发方不需要事件通知，减少了事件通知的开销；由于快速区域的缓冲，使得睡眠的唤醒并不要求很实时，这样调度程序不需要不停地切换发方与收方线(进)程。从而提高整体性能。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种消息缓冲装置，用于实现发方和收方之间的消息的缓冲；其特征在于，包括：

消息缓冲区，用于存放所述发方发送给收方的数据；

收方通知单元，用于在所述消息缓冲区收到发方放入的数据后向收方发送信号，通知收方收取数据；

缓冲区空间检测单元，用于在所述发方发送数据时检测缓冲区已占用的空间；

发方速度控制单元，用于根据缓冲区的空间占用情况来调节发方的速度。

2.根据权利要求1所述的消息缓冲装置，其特征在于，当已占用的空间达到预定的大小时，所述发方速度控制单元限制发方的速度；否则不限制发方的速度。

3.根据权利要求2所述的消息缓冲装置，其特征在于，所述发方速度控制单元在消息缓冲区的空间已被全部占用时通知发方进行错误处理。

4.根据权利要求2所述的消息缓冲装置，其特征在于，所述发方速度控制单元采用通知发方主动睡眠预定时间的方式来限制其速度。

5.根据权利要求1所述的消息缓冲装置，其特征在于，所述消息缓冲区包括具预定空间百分比PU的快速区域和至少一控速区域。

6.根据权利要求5所述的消息缓冲装置，其特征在于，所述至少一控速区域分别对应预定的睡眠时间；所述睡眠时间根据最小等待时间和最大等待时间采用等分法或指数法进行设置。

7.根据权利要求1所述的消息缓冲装置，其特征在于，进一步包括参数配置单元，用于实现对消息缓冲区的参数的配置。

8.根据权利要求1所述的消息缓冲装置，其特征在于，还包括参数验证单元，用于在消息缓冲区初始化时对配置的参数的值进行验证。

9.一种消息传输系统，包括发方、收方和设置在所述发方和收方之间的消息缓冲装置，其特征在于，所述消息缓冲装置是如权利要求1至权利要求8任一项所述的消息缓冲装置。

10.一种消息传输系统中的消息缓冲方法，其特征在于，包括步骤：

1)在发方发送消息时，获取消息缓冲区的空间的占用程度；

2)根据该占用程度，对发方的速度进行控制；包括：

21)如果空间占用的百分比未达到预定值，则发方以正常速度发送数据；

22)如果空间占用的百分比达到预定值，则限制发方的速度。

11.根据权利要求10所述的消息缓冲方法，其特征在于，所述步骤2)还包括：如果空间被完全占用，则通知发方丢弃消息。

12.根据权利要求10所述的消息缓冲方法，其特征在于，在所述步骤1)之前还包括将消息缓冲区划分成空间百分比PU为前述预定值的快速区域和至少一控速区域。

13.根据权利要求12所述的消息缓冲方法，其特征在于，在划分消息缓冲区时还包括根据最小等待时间和最大等待时间采用等分法或指数法设置各控速区域对应的睡眠时间。

14.根据权利要求13所述的消息缓冲方法，其特征在于，所述睡眠最小时间与PU的取值间的约束关系满足：

(PU*缓冲区大小)/收方最快速度≥睡眠最小时间。

15.根据权利要求14所述的消息缓冲方法，其特征在于，所述睡眠最小时间为调度程序分给各程序的时间片T。

16.根据权利要求15所述的消息缓冲方法，其特征在于，所述PU的取值与最大消息大小间的关系满足：

缓冲区大小*(1-PU)＞最大消息大小。

17.根据权利要求16所述的消息缓冲方法，其特征在于，所述至少一控速区域中的各控速区域的大小不小于最大消息大小。

Images