CN101212401B - 面向网格的可配置数据传输方法及系统 - Google Patents

Abstract

本发明公开了一种面向网格的可配置数据传输系统，解决了现有协议可靠性不足，系统运行开销高的问题。包括：在通信双方之间采用三次握手方式建立一条数据通信连接；当出现错误时关闭永久连接的链路；通过滑动窗口进行消息的收发同步以及流量控制；在数据传输协议中，为保证数据可靠传输采用确认技术。本发明通过滑动窗口进行消息的收发同步以及流量控制，从而实现稳定速率，丢包重发，以及按序传输等功能。协议实现了流量控制，在大流量时接收窗口可能会长时间为零的情况下，接收方只有在接收窗口增大到一个合适的值时，才向发送方发送窗口通告。通过这样有效的对发送方的发送速度进行控制，可以防止在大流量时出现网络过度拥塞的现象。

Description

面向网格的可配置数据传输方法及系统

技术领域

本发明涉及一种数据传输方法及系统，尤其涉及网格计算环境下，可以满足网格应用各种通信需求的高效可配置数据传输方法及系统。

背景技术

随着尖端高速通信网络和强大廉价计算终端的出现，全球计算领域正在经历着异常深刻的变革，这些技术的融合导致了先进高性能网格计算的出现。网格计算是一套全新的技术，它通过极高性能的互连网络将地理上分布的计算资源构建为大规模分布式计算系统。新兴的高性能网格涵盖了范围广泛的网络基础设施和通信方式，以及不同类型的网络应用，包括大规模分布式协作；远程千兆科学数据集可视化；大型科学模拟；网络电话；多媒体应用等等。所有这些因素使得网格环境下的数据通信产生了一些新的发展趋势：首先，网络技术不断发展将高带宽、长延时的网络，如LambdaGrid(Lambda Grid-Lambada网格)、OptIPuter(Optical networking，Internet protocol，Computer Storage-光网络，网际协议，计算机存储)、Canarie网络，以及无线传感器网络结合在一起；其次，应用的通信模式正在从点到点通信向多点到点和多点到多点通信方式转变；前者主要应用于从多个远端数据源获取呈现数据，而后者主要应用于P2P(Peer to Peer-对等连接)网络；第三，每个网格应用都有其独特的，跨越多种传输特征的通信需求，比如传输速率，延时，丢包率等。

对于这些新兴的网格计算情景，标准的数据传输协议如TCP(Transmission ControlProtocol-传输层控制协议)和UDP(User Datagram Protocol-用户数据报协议)已经无法满足需要。TCP协议会随着带宽和延时的增长产生相反的作用，从而导致了高带宽长延时网络的低性能；而UDP不关心网络数据传输的一系列状态，虽然可以获得较高的传输性能，支持海量并发连接，但基本上是一个没有保证的最小传输协议。此外，每个网格应用都有其独特的通信Qos(Quality of Service-服务质量)需求，比如；远程可视化应用可能需要不可靠的固定速率的数据传送；快速消息传递应用可能需要最小延时的可靠数据传输；而一个传感器网格应用则可能需要尽可能小的数据通信量以延长电池的使用寿命。由于TCP和UDP协议被设计为通用传输协议，它们不可能为每个网格应用都提供最佳的通信服务。

目前，针对网格环境下数据传输协议的研究已经展开，一些协议TCP的升级版本被提出，以支持共享的包交换网络；还有一些新的用户层协议，比如GridFTP(Grid File TransferProtocol-网格文件传输协议)，RBUDP(Reliable Blast User Datagram Protocol-可靠海量用户数据报协议)，以及GTP(Group Transport Protocol-组播协议)，虽然可以获得比较高的可用带宽，但是，这些协议都是针对特定的网络情景和通信模式，有些甚至没有拥塞控制机制，无法满足不同网格应用的需求。同时，这些协议往往是从最基础的部分开始设计和实现，花费了大量的开发精力。另外两个研究方向是Globus XIO(Globus eXtensibleInput/Output System-Globus可扩展输入输出系统)和H-CTP(High PerformanceConfigurable Transport Protocol-高性能可配置传输协议)，它们解决了在不同网格环境下协议可配置问题，然而，Globus XIO库是通过可配置驱动栈来支持可配置性和代码重用的，它对Globus的依赖性将它限制在基于Globus平台开发的应用中，而且，XIO将不同的传输/转换驱动器按从上到下的顺序组织，这限制了驱动器配置的灵活性和驱动器之间的交互；H-CTP则建立在自定义的应用层协议CTP基础之上，数据流需要经过多层协议处理和格式协商方能进行传输，这大大增加了系统的运行开销和附加延时。

发明内容

本发明的目的是提出一种面向网格的可配置数据传输方法及系统。所述协议基于标准的UDP协议，在保证高效通信的前提下，解决UDP可靠性不足的缺陷；同时，通过可配置的功能模块，所述协议能够满足不同网格应用的传输需求。本发明所述协议可以独立于任何特定的网格平台并支持细粒度模块非等级组合，系统运行开销非常低，以获得最大的灵活性。

为达到上述目的，本发明采用以下技术方案：本发明面向网格的可配置数据传输方法，通过滑动窗口进行消息的收发同步以及流量控制；其中，通过滑动窗口进行消息的收发同步以及流量控制的具体步骤为：

步骤1，建立接收方滑动窗口，包括接收窗口、乱序队列和按序队列，窗口内对应设有：1、已接收的最大消息序号；2、可接收的最大消息序号；3、最大按序到达消息序号；

步骤2，建立发送方滑动窗口，包括发送窗口、发送队列和重发队列，窗口内对应设有：1、已发送的最大消息序号；2、可发送的最大消息序号；3、最大按序被应答序号；

步骤3，接收方滑动窗口和发送方滑动窗口按顺时针方向运动，当接收方可接收的最大消息序号和已接收的最大消息序号重合的时候，接收窗口停止转动，最终导致发送窗口也停止转动；

步骤4，当接收和发送窗口都不运动时，双方可以进行消息的重发、窗口探测和链路保活这三种动作；

步骤5，当接收方接收到一条消息之后就将接收窗口大小减一；

步骤6，应用层将这条消息处理后，将接收窗口的大小增加，接收方的协议处理任务在发现了接收窗口增大后，向发送方发送窗口增大的通告，发送方收到通告后调整自己的发送窗口大小。

优选的：在所述的面向网格的可配置数据传输方法中，还包括：在通信双方之间采用三次握手方式建立一条数据通信连接。

优选的：在所述的面向网格的可配置数据传输方法中，还包括：当出现错误时，关闭永久连接的链路。

优选的：在所述的面向网格的可配置数据传输方法中，还包括：在数据传输协议中为保证数据可靠传输采用确认技术。

优选的：在所述的面向网格的可配置数据传输方法中，在数据通信连接的建立过程中，若出现通信双方同时发起连接的情况，则根据比较双方IP地址大小的原则，放弃IP地址小的一方发起的连接请求，而只接受IP地址大的一方发起的连接请求。

优选的：在所述的面向网格的可配置数据传输方法中，关闭永久连接的链路的具体步骤为：

步骤1，当错误出现后，发现错误的一方立即停止接收上层数据，并将自己的重传队列中的数据进行快速重传并向对方发送一个关闭请求数据包；

步骤2，发现错误的一方启动一个超时定时器，定时器超时之后立即关闭本端的连接并释放连接的资源；

步骤3，另一方在收到主动关闭的一方发来的关闭请求后，也按照上述的方式关闭自己的连接。

优选的：在所述的面向网格的可配置数据传输方法中，所述的确认技术包括：捎带确认、累计确认、超时确认和扩展确认。

优选的：在所述的面向网格的可配置数据传输方法中，所述扩展确认包括如下步骤：

步骤1，在接收方收到对端的失序数据包时，将其存储在本地的失序缓冲队列中，并设置失序包计数器；

步骤2，接收方在计数器超过阈值或者确认定时器超时后，向发送方发送扩展确认数据包；该数据包中携带本端已经收到的最大按序包序号和收到的所有失序包的序号信息；

步骤3，发送端收到由接收端传来的扩展确认数据包后，将根据最大确认序号和对端收到的失序包的序号计算出应该重传的数据包序号，并从重传队列中取出相应的数据包进行快速重传。

本发明面向网格的可配置数据传输系统，包括TCP/IP协议传输层和应用层，其特征在于，在所述TCP/IP协议传输层和应用层之间置有协议功能配置模块，该协议功能配置模块包括：滑动窗口模块，用于消息的收发同步和流量控制；该滑动窗口模块包括接收方滑动窗口和发送方滑动窗口，接收方滑动窗口和发送方滑动窗口按顺时针方向运动，当接收方可接收的最大消息序号和已接收的最大消息序号重合的时候，接收方滑动窗口停止转动，最终导致发送方滑动窗口也停止转动；当接收方和发送方滑动窗口都不运动的时，双方可以进行消息的重发、窗口探测和链路保活。

优选的：在所述的面向网格的可配置数据传输系统中，当接收方接收到一条消息之后就将接收方滑动窗口大小减一；应用层将这条消息处理后，接收方滑动窗口的大小才增加，接收方的协议处理任务在发现了接收方滑动窗口增大后，向发送方发送窗口增大的通告，发送方收到通告后，调整自己的发送方滑动窗口大小。

优选的：在所述的面向网格的可配置数据传输系统中，所述协议功能配置模块还包括通信连接建立模块，用于通过三次握手方式在发送方和接收方建立数据通信连接，当出现错误时，关闭永久连接的链路。

优选的：在所述的面向网格的可配置数据传输系统中，所述协议功能配置模块还包括：扩展确认模块，用于数据的可靠传输；该扩展确认模块包括失序包计数器、扩展确认单元、快速重传单元，在接收方收到对端的失序数据包时，将其存储在本地的失序缓冲队列中，并设置失序包计数器；接收方在计数器超过阈值或者确认定时器超时后，扩展确认单元向发送方发送扩展确认数据包；该数据包中携带本端已经收到的最大按序包序号和所有失序包的序号信息；发送端收到扩展确认数据包后，快速重传单元根据最大确认序号和对端收到的失序包的序号，计算出应该重传的数据包序号，并从重传队列中取出相应的数据包进行快速重传。

本发明通过滑动窗口进行消息的收发同步以及流量控制，从而实现稳定速率，丢包重发，以及按序传输等功能。利用滑动窗口所述协议实现了流量控制，实现流量控制的原则就是指在大流量时接收窗口可能会长时间为零的情况下，接收方只有在接收窗口增大到一个合适的值时才向发送方发送窗口通告。通过这样有效的对发送方的发送速度进行控制，可以防止在大流量时出现网络过度拥塞的现象。

采用本发明所述协议，与现有技术相比，通过应用接口对协议各功能模块进行配置，不仅可以满足不同网格应用的传输要求，还保持了传输的高性能，有效地解决了现有技术的缺陷。同时，所述协议基于UDP，大大节省了设计和开发时间，可独立于任何特定的网格平台并支持细粒度模块非等级组合，系统运行开销非常低，获得了最大的灵活性。本发明所述协议在下一代网络和网格计算领域都将有着很高的实用性和推广价值。

附图说明

图1是本发明面向网格的可配置数据传输系统的结构图；

图2是本发明面向网格的可配置数据传输方法的建立连接的过程图；

图3是本发明面向网格的可配置数据传输方法中滑动窗口模型的示意图；

图4是本发明面向网格的可配置数据传输方法软件实现结构图。

具体实施方式

下面结合附图，基本按照附图的顺序对技术方案的实施作进一步的详细描述：

参照附图1，本发明面向网格的可配置数据传输系统，包括TCP/IP协议传输层和应用层，在所述TCP/IP协议传输层和应用层之间置有协议功能配置模块，该协议功能配置模块包括：滑动窗口模块，用于消息的收发同步和流量控制；该滑动窗口模块包括接收方滑动窗口和发送方滑动窗口，接收方滑动窗口和发送方滑动窗口按顺时针方向运动，当接收方可接收的最大消息序号和已接收的最大消息序号重合的时候，接收方滑动窗口停止转动，最终导致发送方滑动窗口也停止转动；当接收方和发送方滑动窗口都不运动的时，双方可以进行消息的重发、窗口探测和链路保活。当接收方接收到一条消息之后就将接收方滑动窗口大小减一；应用层将这条消息处理后，接收方滑动窗口的大小才增加，接收方的协议处理任务在发现了接收方滑动窗口增大后，向发送方发送窗口增大的通告，发送方收到通告后，调整自己的发送方滑动窗口大小。

本发明面向网格的可配置数据传输系统，所述协议功能配置模块还包括通信连接建立模块，用于通过三次握手方式在发送方和接收方建立数据通信连接，当出现错误时，关闭永久连接的链路。

本发明面向网格的可配置数据传输系统，所述协议功能配置模块还包括：扩展确认模块，用于数据的可靠传输；该扩展确认模块包括失序包计数器、扩展确认单元、快速重传单元，在接收方收到对端的失序数据包时，将其存储在本地的失序缓冲队列中，并设置失序包计数器；接收方在计数器超过阈值或者确认定时器超时后，扩展确认单元向发送方发送扩展确认数据包；该数据包中携带本端已经收到的最大按序包序号和所有失序包的序号信息；发送端收到扩展确认数据包后，快速重传单元根据最大确认序号和对端收到的失序包的序号，计算出应该重传的数据包序号，并从重传队列中取出相应的数据包进行快速重传。

参见附图2，作为一个可提供面向连接功能的协议，在进行数据通信之前首先要在通信双方之间建立一条连接。本数据传输协议采用了三次握手方式实现了面向连接功能。本发明所述协议在一般的情况下仿照TCP在关闭连接时的四次握手方法进行链路的关闭，但是在永久连接的链路中正常情况下是不需要关闭连接的，只有在出现错误的情况下才会进行关闭操作。具体步骤为：

当错误出现后，发现错误的一方立即停止接收上层数据，并将自己的重传队列中的数据进行快速重传并向对方发送一个关闭请求数据包；

发现错误的一方启动一个超时定时器，定时器超时之后立即关闭本端的连接并释放连接的资源；

另一方在收到主动关闭的一方发来的关闭请求后，也按照上述的方式关闭自己的连接。连接一旦被关闭之后，只有到下次双方要重新进行数据通信之前再次建立连接。

需要说明的是在连接的建立过程中，若出现双方同时发起连接的情况，则根据比较双方IP地址大小的原则，放弃IP地址小的一方发起的连接请求，而只接受IP地址大的一方发起的连接请求。在通信的双方建立好连接后，任何的连接请求都将不加考虑地予以丢弃。

在一般的情况下可以仿照TCP在关闭连接时的四次握手方法进行链路的关闭设计。但是在永久连接的链路中正常情况下是不需要关闭连接的，只有在出现错误的情况下才会进行关闭操作。连接一旦被关闭之后，只有到下次双方要重新进行数据通信之前再次建立连接。

图3介绍了滑动窗口的设计模型，其中：

协议传递的序号采用两个字节无符号整数表示，以数据包为单位，取值范围是0～65535，相当于一个非常大的循环，对应图中的大循环；接收和发送方的缓冲区大小相同，也组织成环形队列的形式，对应图中的小循环。如果将输入的消息流看成推动模型运动的动力，则这三个循环同步运动。接收方的滑动窗口由接收窗口、乱序队列和按序队列这三部分组成，窗口内的三个箭头分别表示：1、已接收的最大消息序号；2、可接收的最大消息序号；3、最大按序到达消息序号。类似，发送方的滑动窗口由发送窗口，发送队列、和重发队列这三部分组成，窗口内的三个箭头分别表示：1、已发送的最大消息序号；2、可发送的最大消息序号；3、最大按序被应答序号。两个循环都按照顺时针方向运动，运动的规则是：当接收方可接收的最大消息序号和已接收的最大消息序号重合的时候，接收窗口就停止转动，最终导致发送窗口也停止转动。在接收和发送窗口都不运动的情况下，双方可以进行消息的重发、窗口探测和链路保活这三种动作。

本发明所述的数据传输协议利用滑动窗口实现了流量控制，实现流量控制的原则就是指在大流量时接收窗口可能会长时间为零的情况下，接收方只有在接收窗口增大到一个合适的值时才向发送方发送窗口通告。通过这样有效的对发送方的发送速度进行控制，可以防止在大流量时出现网络过度拥塞的现象。具体的设计策略是，每当接收方接收到一条消息之后就将接收窗口大小减一。只有在上层应用将这条消息处理后才将接收窗口的大小增加，接收方的协议处理任务在发现了接收窗口增大后会按照流量控制的原则在恰当的时候向发送方发送窗口增大的通告，以便发送方调整自己的发送窗口大小。

在数据传递协议中保证数据可靠传输的基础就是使用确认技术。本发明为了更好地进行控制流量，达到最大限度的利用网络资源的目的，采用的是捎带确认、累计确认和超时确认以及扩展确认这几种方式结合来实现确队。前三种确认方式和TCP中的用法一致。扩展确认的具体使用步骤是：

1、在接收方收到对端的失序数据包时，为了最大限度地减少重传，并不是简单将其丢弃，而是将其存储在本地的失序缓冲队列中，并设置失序包计数器。

2、接收方在计数器超过阈值或者确认定时器超时后向发送方发送扩展确认数据包。该数据包中携带本端已经收到的最大按序包序号和收到的所有失序包的序号信息。

3、发送端收到由接收端传来的扩展确认数据包后，将根据最大确认序号和对端收到的失序包的序号计算出应该重传的数据包序号，并从重传队列中取出相应的数据包进行快速重传。

图4介绍了本发明所述的数据传输协议软件实现模型，协议底层采用UDP作为承载协议，根据配置增加了相关的功能模块，在满足各种网格应用的前提下，保证数据高效可靠地传输。协议主要包括三部分：可靠传输；保活控制(定时探测连接有效性)；高效数据传输。为了提高通信效率和实时性能，在操作系统中利用两个任务模块实现了本发明所述的协议软件，软件结构如图4所示。两个任务一个作为通信守护任务，负责从UDP套接口接收数据并进行网络字节序处理后派发到协议处理任务；一个作为协议处理任务，负责处理接收到的数据和发送端的数据发送以及整个网络连接维护等操作。组播和单播功能则可以通过UDP特性实现。

协议软件主要是通过通信守护、通信处理、包接收；包发送等过程完成了大部分协议功能。主要过程描述如下：

通信守护，网络套接口需要持续地侦听和维护，通信守护的主要功能是：(1)判断套接口上的状态，如果套接口可操作则发送消息给通信处理任务；(2)查找关闭的套接口并创建套接口。

通信处理，通信处理过程首先判断消息处理任务接收到的消息类型，消息类型包括：套接口可操作；重传数据包定时器超时；重传检查包定时器超时；服务器保活定时器超时；客户端保活定时器超时。然后根据套接口的状态进行相应的处理(收包、发包或套接口异常处理)，包括异常处理和收包、发包。最后根据是否定时超时的类型进行相应的处理。

数据包接收，当接收端接收到数据包后，首先根据功能配置进行确认处理，然后将接收来的数据包进行拆分，把包内的用户消息和数据送至其指定的目的进程中。

数据包发送，发包处理使用洗衣通信处理模块传输用户消息时，通信处理模块按照功能配置决定是否将用户待传输消息进行编号(即序列号)，然后打包装入数据包，最后通过UDP套接口发出。如果一定时间内接收不到该数据包的确认则按功能配置进行重发。

Claims (12)

1.一种面向网格的可配置数据传输方法，其特征在于：通过滑动窗口进行消息的收发同步以及流量控制；其中，通过滑动窗口进行消息的收发同步以及流量控制的具体步骤为：

步骤1，建立接收方滑动窗口，包括接收窗口、乱序队列和按序队列，窗口内对应设有：1、已接收的最大消息序号；2、可接收的最大消息序号；3、最大按序到达消息序号；

步骤2，建立发送方滑动窗口，包括发送窗口、发送队列和重发队列，窗口内对应设有：1、已发送的最大消息序号；2、可发送的最大消息序号；3、最大按序被应答序号；

步骤3，接收方滑动窗口和发送方滑动窗口按顺时针方向运动，当接收方可接收的最大消息序号和已接收的最大消息序号重合的时候，接收窗口停止转动，最终导致发送窗口也停止转动；

步骤4，当接收和发送窗口都不运动时，双方可以进行消息的重发、窗口探测和链路保活这三种动作；

步骤5，当接收方接收到一条消息之后就将接收窗口大小减一；

步骤6，应用层将该条消息处理后，将接收窗口的大小增加，接收方的协议处理任务在发现了接收窗口增大后，向发送方发送窗口增大的通告，发送方收到通告后调整自己的发送窗口大小。

2.根据权利要求1所述的面向网格的可配置数据传输方法，其特征在于还包括：在通信双方之间采用三次握手方式建立一条数据通信连接。

3.根据权利要求2所述的面向网格的可配置数据传输方法，其特征在于还包括：当出现错误时，关闭永久连接的链路。

4.根据权利要求1所述的面向网格的可配置数据传输方法，其特征在于还包括：在数据传输协议中为保证数据可靠传输采用确认技术。

5.根据权利要求2所述的面向网格的可配置数据传输方法，其特征在于：在数据通信连接的建立过程中，若出现通信双方同时发起连接的情况，则比较双方IP地址大小，放弃IP地址小的一方发起的连接请求，而只接受IP地址大的一方发起的连接请求。

6.根据权利要求3所述的面向网格的可配置数据传输方法，其特征在于关闭永久连接的链路的具体步骤为：

步骤1，当错误出现后，发现错误的一方立即停止接收上层数据，并将自己的重传队列中的数据进行快速重传，并向对方发送一个关闭请求数据包；

步骤2，发现错误的一方启动一个超时定时器，该定时器超时之后立即关闭本端的连接并释放连接的资源；

步骤3，另一方在收到主动关闭的一方发来的关闭请求后，也按照上述的方式关闭自己的连接。

7.根据权利要求4所述的面向网格的可配置数据传输方法，其特征在于所述的确认技术包括：捎带确认、累计确认、超时确认和扩展确认。

8.根据权利要求7所述的面向网格的可配置数据传输方法，其特征在于所述扩展确认包括如下步骤：

步骤1，在接收方收到对端的失序数据包时，将其存储在本地的失序缓冲队列中，并设置失序包计数器；

步骤2，接收方在计数器超过阈值或者确认定时器超时后，向发送方发送扩展确认数据包；该数据包中携带本端已经收到的最大按序包序号和收到的所有失序包的序号信息；

步骤3，发送端收到由接收端传来的扩展确认数据包后，将根据最大确认序号和对端收到的失序包的序号计算出应该重传的数据包序号，并从重传队列中取出相应的数据包进行快速重传。

9.一种面向网格的可配置数据传输系统，包括TCP/IP协议传输层和应用层，其特征在于，在所述TCP/IP协议传输层和应用层之间置有协议功能配置模块，该协议功能配置模块包括：滑动窗口模块，用于消息的收发同步和流量控制；该滑动窗口模块包括接收方滑动窗口和发送方滑动窗口，接收方滑动窗口和发送方滑动窗口按顺时针方向运动，当接收方可接收的最大消息序号和已接收的最大消息序号重合的时候，接收方滑动窗口停止转动，最终导致发送方滑动窗口也停止转动；当接收方和发送方滑动窗口都不运动的时，双方可以进行消息的重发、窗口探测和链路保活。

10.根据权利要求9所述的面向网格的可配置数据传输系统，其特征在于：当接收方接收到一条消息之后就将接收方滑动窗口大小减一；应用层将这条消息处理后，接收方滑动窗口的大小才增加，接收方的协议处理任务在发现了接收方滑动窗口增大后，向发送方发送窗口增大的通告，发送方收到通告后，调整自己的发送方滑动窗口大小。

11.根据权利要求9所述的面向网格的可配置数据传输系统，其特征在于：所述协议功能配置模块还包括通信连接建立模块，用于通过三次握手方式在发送方和接收方建立数据通信连接，当出现错误时，关闭永久连接的链路。

12.根据权利要求9所述的面向网格的可配置数据传输系统，其特征在于：所述协议功能配置模块还包括：扩展确认模块，用于数据的可靠传输；该扩展确认模块包括失序包计数器、扩展确认单元、快速重传单元，在接收方收到对端的失序数据包时，将其存储在本地的失序缓冲队列中，并设置失序包计数器；接收方在计数器超过阈值或者确认定时器超时后，扩展确认单元向发送方发送扩展确认数据包；该数据包中携带本端已经收到的最大按序包序号和所有失序包的序号信息；发送端收到扩展确认数据包后，快速重传单元根据最大确认序号和对端收到的失序包的序号，计算出应该重传的数据包序号，并从重传队列中取出相应的数据包进行快速重传。

Images