CN101436922A - 一种基于udp协议传输大量数据的方法 - Google Patents

Abstract

本发明涉及一种基于UDP协议传输大量数据传输的方法，包括发送方法和接收方法。由于以太网的数据传输有包大小限制，因此，便会出现数据量过大而使得一个数据包不适合传输甚至无法传输的情况。本文提出的一种基于UDP协议传输大量数据的方法将压缩算法和拆分数据包的方法进行了有效的结合，发送大量数据按照“拆包——压缩——拆包”的原则进行；接收大量数据的时候按照“合并——解压——合并”的原则进行。以上所述的发送端流程和接收端流程均涉及到压缩/非压缩数据包的私有协议。本发明方法流程清晰，协议格式参数简洁，可扩展性强，适用范围广，可有效应用于基于UDP协议传输大量数据的场景，提高传输效率和可靠性。

Description

一种基于UDP协议传输大量数据的方法

技术领域

本发明涉及以太网通信领域，特别涉及一种基于UDP协议采用压缩算法的大量数据传输方法。

背景技术

UDP协议是英文User Datagram Protocol的缩写，即用户数据报协议，是ISO参考模型中一种无连接的传输层协议，提供面向操作的简单不可靠信息传送服务，主要用来支持那些需要在计算机之间传输数据的网络应用。

UDP并不提供对IP协议的可靠机制、流控制以及错误恢复功能等。UDP是一个无连接协议，传输数据之前发送端和接收端不建立连接，当发送端想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。在发送端，UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制；在接收端，UDP把每个消息段放在队列中，应用程序每次从队列中读一个消息段。

UDP适用于不需要TCP可靠机制的情形，比如，当高层协议或应用程序提供错误和流控制功能的时候。UDP是传输层协议，服务于很多知名应用层协议，包括网络文件系统(NFS)、简单网络管理协议(SNMP)、域名系统(DNS)以及简单文件传输系统(TFTP)。

理论上，IP数据报的最大长度是65535字节，这是由IP首部中16比特总长度字段所限制的。去除20字节的IP首部和8个字节的UDP首部，UDP数据报中用户数据的最长长度为65507字节。但是，大多数实现所提供的长度比这个最大值小，限制主要来自以下两个方面：

1.以上理论数据长度是在假设IP支持分片的情况下计算出来的，如果IP不支持分片，则最大的IP报文受MTU限制，例如以太网上是1500字节。

2.应用程序可能会受到其程序接口的限制。socket API提供了一个可供应用程序调用的函数，以设置接收和发送缓存的长度。对于UDP socket，这个长度与应用程序可以读写的最大UDP数据报的长度直接相关。现在的大部分系统都默认提供了可读写大于8192字节的UDP数据报。

由于以太网的数据传输有包大小限制，因此，便会出现数据量过大而使得一个数据包不适合传输甚至无法传输的情况。

对于传输过长数据包，通常的解决方法有两种：

1.采用压缩算法：选择合适的压缩算法将原本大量的数据进行压缩，以降低网络传输数据量。这种方法需要接收端运行相应的解压缩算法以正确解析接收到的数据。

2.采用拆包的方法：采用某种策略将原本大量的数据拆分成多个小量数据包，通过多次网络传输完成一份大数据。这种方法需要接收端将所有拆分之后的数据包拼接起来之后才能正确解析接收到的数据。

方法1在大多数情况下是可以满足需要的，而且避免了拆分多个数据包导致网络传输过程中不可靠性的累加。但是这种方法会增大算法的复杂度，需要接收端运行相应的解压缩算法以正确解析接收到的数据，并且还需要考虑到压缩/解压缩所需要的空间开销，以及压缩之后的数据长度仍然超过一个数据包的长度限制的情况。

方法2的优点是算法简单，且适用于所有情况。但是这种方法会导致网络传输不可靠性的倍数增长：在拆分的多个数据包中只要一个出现错误，则所有数据传输都是无效的。

发明内容

本发明的目的在于克服现有技术中两种方法的缺陷，将两种解决方法结合使用，各取所长。

本发明提供了一种基于UDP协议传输大量数据的方法，适用于基于不可靠协议——UDP协议传输大量数据的情况，其包括发送方法和接收方法。

其中发送大量数据的方法包括以下步骤：

1、将一个超大数据包按照一定预定大小进行拆分，拆分成n个数据包，其中第1个数据包至第n-1个数据包大小都等于所述预定大小，第n个数据包的大小则小于等于所述预定大小；

2、将拆分之后的前n-1个数据包进行压缩；

3、第n个数据包则根据数据包长度判断是否需要压缩：如果长度小于一个数据包长度限制值，则不需要压缩，直接进入步骤D；否则需要压缩，压缩后进入步骤D；

4、根据压缩之后数据包的长度不同进行不同的处理：

4.1、如果压缩包长度大于一个数据包长度限制值，则该压缩包将拆分成m个小数据包，其中第1个小数据包至第m-1个小数据包的大小都等于所述数据包长度限制值，第m个数据包的大小则小于等于所述数据包长度限制值；

4.2、如果压缩包长度小于等于一个数据包长度限制值，则该压缩包独立成一个数据包，不需要拆分；

5、将步骤D输出的数据包按照私有协议格式依次发送给接收方。

其中，可以根据实际需要在应用程序中预先设定所述预定大小。

优选地，所述预定大小为50K。

优选地，所述数据包长度限制值为1K。

其中接收大量数据的方法包括以下步骤：

1、接收小数据包，直到结束标志；

2、根据数据包中的私有协议格式包头判断该数据包是否是发送端压缩之后拆分的数据包，如果是，则将所有拆分的压缩包拼接起来形成一个完整的压缩包；如果否，则不需要拼接；

3、将步骤B输出的所有完整压缩包进行解压缩；

4、如果最后一个数据包不需解压缩，则将所有解压缩之后的数据包以及最后一个不需要解压缩的数据包拼接起来形成完整的数据；如果最后一个数据包需要解压缩，则将所有解压缩之后的数据包拼接起来形成完整的数据。

优选地，步骤A中获取到空包则表示结束。

优选地，发送大量数据的方法和接收大量数据的方法均应用到压缩/非压缩数据包的私有协议格式，该协议格式能够用于标志数据包的序号，并且判断拆分之后的数据包是否收齐，以保证数据的完整性，其包括如下字段：

1)压缩报文包长度，其等于该字段之后所有数据的长度，不包含压缩报文包长度的字段长度；

2)压缩标志位，其是接收端和发送端约定的一个数值，如果数据包中标志位等于该约定数值，则表示该数据包为压缩包，否则为非压缩包；

3)本压缩包分包个数和本压缩包分包序号，它们是针对压缩之后还需要拆分的情况，本压缩包分包个数是指压缩之后拆分成多少个包，如果该值为1，则表示本压缩包没有被拆包；本压缩包分包序号是指本数据包处在本次压缩拆分多个包中的第几个；

4)协议包头中的保留字节，它们用于以后扩展；

5)净荷长度，其代表净荷字段的长度，不包括本身长度；

6)净荷，用来存储需要传输的数据

本发明方法流程清晰，协议格式参数简洁，可扩展性强，适用范围广，可有效应用于基于UDP协议传输大量数据的场景，提高传输效率和可靠性。

附图说明

图1示出了UDP数据报文头格式；

图2示出了大数据的发送流程；

图3示出了大数据的接收流程；

图4示出了压缩/非压缩数据包的私有协议格式。

具体实施方式

本发明方法分为发送和接收两个流程。

发送大数据按照“拆包——压缩——拆包”的原则进行，即首先将一个大数据包拆分成多个稍小的数据包，然后进行压缩；如果压缩之后的数据包还是过大，则再次执行拆分的操作。

接收大数据的时候按照“合并——解压——合并”的原则进行，即首先将拆分的压缩包进行合并形成完整的压缩包，然后解压缩所有的压缩包，最后将解压之后的数据再次合并起来形成一个大数据包。

以下结合附图详细说明本发明的具体实施方式。

图2给出了发送端流程，包括如下步骤：

A、将一个超大数据包按照一定大小(比如50K)进行拆分，拆分成n个数据包，其中第1个数据包至第n-1个数据包大小都为50K，第n个数据包的大小小于等于50K；

B、将拆分之后的前n-1个数据包进行压缩；

C、第n个数据包则根据数据包长度判断是否需要压缩：如果长度小于一个数据包长度限制(比如1K)，则不需要压缩，否则需要压缩；

D、根据压缩之后数据包的长度不同进行不同的处理：

D1、如果压缩包长度(比如2.5K)大于一个数据包长度限制(比如1K)，则该压缩包将拆分成3个小数据包，长度分别为1K，1K，0.5K。

D2、如果压缩包长度(比如0.5K)小于等于一个数据包长度限制(比如1K)，则该压缩包独立成一个数据包，不需要拆分。

E、将步骤D输出的数据包依次发送给接收方。

图3给出了接收端流程，包括如下步骤：

A、接受小数据包，直到结束标志(比如获取到空包则结束)；

B、根据数据包中的私有协议包头判断该数据包是否是发送端压缩之后拆分的数据包，如果是，则将所有拆分的压缩包拼接起来形成一个完整的压缩包；

C、将步骤B输出的所有完整压缩包进行解压缩；

D、将所有解压缩之后的数据包以及最后一个可能不需要解压缩的数据包拼接起来形成完整的数据。

以上所述的发送端流程和接收端流程均涉及到压缩/非压缩数据包的私有协议，该协议可用于标志数据包的序号，并且判断拆分之后的数据包是否收齐，以保证数据的完整性。本发明提出了一种压缩/非压缩数据包的私有协议格式，如图4所示，包括如下字段：

1)压缩报文包长度等于该字段之后所有数据的长度，不包含压缩报文包长度的字段长度；

2)压缩标志位是接收端和发送端约定的一个数值，如果数据包中标志位等于该约定数值，则表示该数据包为压缩包，否则为非压缩包；

3)本压缩包分包个数和本压缩包分包序号是针对压缩之后还需要拆分的情况，本压缩包分包个数是指压缩之后拆分成多少个包，如果该值为1，则表示本压缩包没有被拆包；

4)本压缩包分包序号是指本数据包处在本次压缩拆分多个包中的第几个；

5)协议包头中的保留字节用于以后扩展；

6)净荷长度和净荷是用来存储需要传输的数据，净荷长度代表净荷字段的长度，不包括本身长度。

以上所述仅为本发明的较佳实施例，并不用于限制本发明，凡在本发明精神和原则之内所做的任何修改、等同替换和改进等，均含于本发明的保护范围之内。

Claims (8)

1、一种基于UDP协议发送大量数据的方法，其特征在于包括以下步骤：

A、将一个超大数据包按照一定预定大小进行拆分，拆分成n个数据包，其中第1个数据包至第n-1个数据包大小都等于所述预定大小，第n个数据包的大小则小于等于所述预定大小；

B、将拆分之后的前n-1个数据包进行压缩；

C、第n个数据包则根据数据包长度判断是否需要压缩：如果长度小于一个数据包长度限制值，则不需要压缩，直接进入步骤D；否则需要压缩，压缩后进入步骤D；

D、根据压缩之后数据包的长度不同进行不同的处理：

D1、如果压缩包长度大于一个数据包长度限制值，则该压缩包将拆分成m个小数据包，其中第1个小数据包至第m-1个小数据包的大小都等于所述数据包长度限制值，第m个数据包的大小则小于等于所述数据包长度限制值；

D2、如果压缩包长度小于等于一个数据包长度限制值，则该压缩包独立成一个数据包，不需要拆分；

E、将步骤D输出的数据包按照私有协议格式依次发送给接收方。

2、如权利要求1所述的方法，其特征在于：根据实际需要在应用程序中预先设定所述预定大小。

3、如权利要求2所述的方法，其特征在于：预先设定所述预定大小为50K。

4、如权利要求1-3中任一项所述的方法，其特征在于：所述数据包长度限制值为1K。

5、一种基于UDP协议接收大量数据的方法，其特征在于包括以下步骤：

A、接收小数据包，直到结束标志；

B、根据数据包中的私有协议格式包头判断该数据包是否是发送端压缩之后拆分的数据包，如果是，则将所有拆分的压缩包拼接起来形成一个完整的压缩包；如果否，则不需要拼接；

C、将步骤B输出的所有完整压缩包进行解压缩；

D、如果最后一个数据包不需解压缩，则将所有解压缩之后的数据包以及最后一个不需要解压缩的数据包拼接起来形成完整的数据；如果最后一个数据包需要解压缩，则将所有解压缩之后的数据包拼接起来形成完整的数据。

6、如权利要求5所述的方法，其特征在于：步骤A中获取到空包则表示结束。

7、一种基于UDP协议传输大量数据的方法，其特征在于发送方应用权利要求1—4中任一项所述的方法发送大量数据，接收方应用权利要求5或6所述的方法接收大量数据。

8、如权利要求1—7中任一项所述的方法，其特征在于：发送大量数据的方法和接收大量数据的方法均应用到压缩/非压缩数据包的私有协议格式，该协议格式能够用于标志数据包的序号，并且判断拆分之后的数据包是否收齐，以保证数据的完整性，其包括如下字段：

1)压缩报文包长度，其等于该字段之后所有数据的长度，不包含压缩报文包长度的字段长度；

2)压缩标志位，其是接收端和发送端约定的一个数值，如果数据包中标志位等于该约定数值，则表示该数据包为压缩包，否则为非压缩包；

3)本压缩包分包个数和本压缩包分包序号，它们是针对压缩之后还需要拆分的情况，本压缩包分包个数是指压缩之后拆分成多少个包，如果该值为1，则表示本压缩包没有被拆包；本压缩包分包序号是指本数据包处在本次压缩拆分多个包中的第几个；

4)协议包头中的保留字节，它们用于以后扩展；

5)净荷长度，其代表净荷字段的长度，不包括本身长度；

6)净荷，用来存储需要传输的数据。

Images