CN102487353A

CN102487353A - 一种数据传输方法

Info

Publication number: CN102487353A
Application number: CN2010105710884A
Authority: CN
Inventors: 李升林; 廖炳才; 阮宇; 胡建平; 朱章厚
Original assignee: Aspire Digital Technologies Shenzhen Co Ltd
Current assignee: Aspire Digital Technologies Shenzhen Co Ltd
Priority date: 2010-12-02
Filing date: 2010-12-02
Publication date: 2012-06-06
Anticipated expiration: 2030-12-02
Also published as: CN102487353B

Abstract

本发明构造一种数据传输方法，实现发送机与接收机之间的数据传输，包括：发送机根据传输协议，对至少一元素分别生成包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值的信息包；发送机将信息包发送给接收机；接收机解析信息包，各信息包分别对应一元素结构树，顺序解析各元素对应的元素序号、元素类型、元素个数、各元素的值长度和\或元素值，并将这些信息保存到元素对象中，得到至少一元素。本发明可快速可靠地传输数据，又具有高效率的解析算法，对于网络系统性能有着实质性的提高。另外信息包中的元素不需要固定顺序，即使新增或删除元素，业务系统也能正常解析，前后协议版本的兼容性好。

Description

一种数据传输方法

技术领域

本发明涉及通信领域，更具体地说，涉及一种数据传输方法。

背景技术

大部分业务系统采用自定义的报文数据格式，用于传输某些特殊信息，满足特定应用的需要。数据交互在业务系统中处于核心的地位，因此制定高效、可扩展、可兼容的自定义协议，特别是对于传输数据过于复杂的大型系统来说，尤其重要。目前各业务系统自定义协议格式主要有两种方式：

采用XML格式制定协议：利用XML良好的格式规范，通过标签来定义协议的字段名和字段值。这种方式灵活并且有良好的扩展性。但是XML的文本表现手法，标记的符号化会导致XML数据比二进制表现数据量增加，尤其当数据量很大的时候，效率就成为很大的问题。一方面每个字段需要标签化，需要额外的标签头部和标签尾部，因此占用了很多冗余的字节；XML还不能直接在标签内包含二进制数据，如图片内容必须转换为base64等可见字符格式，整形数据必须转换为ASCII码，这种转换一般都会大大增加协议包的字节数。对于数组元素，每个元素都需要相同的标签头和标签尾，这些标签是冗余的，也增加了协议包的大小。另一方面，解析XML要比解析普通数据要复杂，解析效率不高，无法满足数据吞吐量大的系统中，特别是对性能要求高的情况下的应用。

固定字节序的二进制协议：把协议的每个字段，按照固定数量的字节数串行化成一个二进制字节流的格式，传输、顺序解析出数据并进行相应处理。它由多个字段组成，每个字段表示特定含义，并且字段之间的顺序在设计时已经固定，不可调换。由于每个字段在制定的时候已经是定长的，并且顺序也是固定的，因此解析数据的效率要比采用XML格式高很多。其字段定义不需要额外的描述信息，空间体积要比XML格式小很多。这种方式是采用固定字节序，且字段的顺序也是固定的，因此增加、修改协议字段都可能会导致前后版本不兼容，可扩展性差。固定字节序对于变长字段需要按照字段最大长度进行定义，在实际字段取值没有达到最大长度时，需要增加多余的字节。而对于数组元素来说，其元素数量是可变的，因此采用固定字节序也不好处理。

发明内容

本发明要解决的技术问题在于，针对上述现有技术存在的不足，本发明提供数据传输方法。

本发明解决其技术问题所采用的技术方案是构造一种数据传输方法，实现发送机与接收机之间的数据传输，包括：发送机根据传输协议，对至少一元素分别生成包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值的信息包；发送机将信息包发送给接收机；接收机解析信息包，各信息包分别对应一元素结构树，顺序解析每个元素对应的元素序号、元素类型、元素个数、各元素的值长度和\或元素值，并将这些信息保存到元素对象中，得到上述至少一元素。

上述生成信息包的步骤包括：将元素序号转换为网络字节序写入数据流；将元素类型写入数据流；将元素个数写入数据流；根据元素类型将元素的值长度转化为网络字节序，写入数据流；将元素值写入数据流，生成信息包。

上述解析信息包的步骤包括：读取字节转化为本地字节序，保存为元素序号；顺序读取下一字节，保存为元素类型；顺序读取下一字节，保存为元素个数；根据元素类型顺序读取字节并转化为本地字节序，作为元素的值长度；根据元素值长度顺序读取相应字节并保存为元素值。

上述元素个数为信息包中包含元素的个数，对于单个元素，元素个数取值为1；对于数组元素，元素个数取值为数组中的元素的个数。

对于元素类型为int或short的元素，将其元素值解析为网络字节序；对于元素类型为binary的元素，将其元素值解析为二进制数据；对于元素类型为string的元素，将其元素值解析为字符串包含结束符；对于元素类型为item的元素，将其元素值解析为取值为整个元素的内容，包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值。

对于元素类型为int或short的元素，其元素长度为空；对于元素类型为binary、string或item的元素，其元素长度不为空，表示元素值的长度。

上述元素是嵌套元素，嵌套元素包含多个子元素；嵌套元素的元素类型为item，包含子元素的个数由元素个数指定。

对于嵌套元素采用进出栈的方式实现解析。

接收机解析信息包的步骤还包括：接收机每解析完一子元素就输出上述子元素的内容，并从栈中弹出释放上述子元素占用的资源。

接收机解析信息包的步骤包括：创建元素结构树的根节点的步骤；将节点压栈的步骤；取栈顶节点设置为当前节点的步骤；对于当前节点为数组节点的首个元素的，解析元素序号，保存到当前节点，再判断当前节点类型是否为int的步骤；对于当前节点非数组节点的首个元素的，判断当前节点类型是否为int的步骤；对于当前节点类型为int的，确定当前节点的元素长度为4字节；否则解析元素长度，将解析结果保存到当前节点的步骤；判断当前节点类型是否为item，对于节点类型是item的，创建新节点，返回到将节点压栈的步骤；对于节点类型非item的，根据元素长度解析元素值，保存到当前节点的步骤；将当前节点退栈，判断堆栈是否已经遍历完毕，对于已遍历完毕的，判断堆栈是否为空，若堆栈为空则完成解析的步骤；若堆栈尚未遍历完毕则取堆栈中上一级节点，将当前遍历节点解析过的值长度加上前一个子节点的所有字节长度的步骤；判断当前遍历的节点解析过的长度是否与元素长度相等，对于不相等的回到判断堆栈是否为空的步骤；对于当前遍历的节点解析过的长度与元素长度相等的，判断当前遍历节点是否为数组节点，且没有解析到最后一个元素，若是则返回到取栈顶节点设置为当前节点的步骤；若否则将当前遍历节点退栈，返回到判断堆栈是否已遍历完毕的步骤。

本发明提出的数据传输方法采用一种自描述结构化的二进制报文传输协议，既包含了XML格式协议的良好扩展性和高兼容性，又包含固定字节序二进制协议的程序处理方便性，没有冗余数据。本发明可快速可靠地传输数据，又具有高效率的解析算法，对于网络系统性能有着实质性的提高。另外信息包中的元素不需要固定顺序，即使新增或删除元素，业务系统也能正常解析，解析算法只需要对解析出来的新增字段数据进行保存就行，使得前后协议版本的兼容性好。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明一实施例数据传输结构示意图；

图2是本发明一实施例数据传输方法流程示意图；

图3是本发明另一实施例生成信息包的流程示意图；

图4是本发明另一实施例解析信息包的流程示意图；

图5是本发明又一实施例数据解析方法流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种数据传输方法，参照图1发送机10与接收机20之间的数据传输结构为发送机10向接收机20发送信息包。参照图2所示的数据传输方法流程图，本实施例的数据传输方法包括：

步骤S1，发送机10根据传输协议，对至少一元素分别生成包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值的信息包；

步骤S2，发送机10将信息包发送给接收机20；

步骤S3，接收机20解析信息包，对各信息包分别对应一元素结构树，顺序解析每个元素对应的元素序号、元素类型、元素个数、各元素的值长度和\或元素值，并将这些信息保存到元素对象中，得到至少一元素。

本实施例中，传输协议为自描述结构化二进制传输协议，这是一种类似xm1的自描述、支持元素嵌套、平台无关、扩展性好的用于通信协议、数据存储的二进制方式的结构化数据串行化方法，但是相比xm1协议包更小、打解包更快、更简单。其格式如表一描述：

表一传输协议格式示意

上述元素序号为无符号整数，信息包至少包括一根元素，根元素的元素序号为0。

根据不同的元素类型，可确定对元素值的解析方案：

对于元素类型为int或short的元素，将其元素值解析为网络字节序；

对于元素类型为binary的元素，将其元素值解析为二进制数据；

对于元素类型为string的元素，将其元素值解析为字符串包含结束符；

对于元素类型为item的元素，将其元素值解析为元素取值为整个元素的内容，包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值。

本发明出另一实施例，信息包中的元素不需要固定顺序，可新增或删除元素。参照图3所示的生成信息包的流程示意图，本实施例生成信息包的流程包括：

步骤S11，将元素序号转换为网络字节序，向数据流中写入四个字节；

步骤S12，将元素类型向数据流中写入一个字节；

步骤S13，将元素个数向数据流中写入一个字节；

步骤S14，判断元素类型，如果元素类型为binary、string或item，则将元素的值长度转化为网络字节序，往数据流中写入四个字节；

步骤S15，将元素值写入数据流，写入的字节数为元素值长度；如果元素类型为int，需要将元素值转换为网络字节序，并写入4个字节；如果元素类型为short，需要将元素值转换为网络字节序，并写入2个字节。

参照图4所示的解析信息包的流程示意图，本实施例解析信息包的流程包括：

步骤S31，读取信息包中前四字节，转化为本地字节序，保存为元素序号；

步骤S32，顺序读取一字节，保存为元素类型；

步骤S33，顺序读取一字节，保存为元素个数；

步骤S34，判断元素类型，如果元素类型为binary、string或item，则顺序读取四字节并转化为本地字节序，作为元素的值长度；如果元素类型为int，则元素值长度取为4；如果元素类型为short则元素值长度取为2；

步骤S35，根据元素值长度顺序读取相应字节并保存为元素值，如果元素类型为int或short，则将元素值转换为本地字节序。

基于上述实施例，本发明提出又一实施例，信息包中可以包含嵌套元素。

本实施例中的元素是嵌套元素，包含多个子元素；嵌套元素的元素类型为item，包含子元素的个数由元素个数指定。

本实施例对于嵌套元素采用进出栈的方式实现解析。接收机20每解析完一子元素就输出所述子元素的内容，并从栈中弹出释放所述子元素占用的资源。

本实施例解析数据的流程包括：各信息包分别对应一元素结构树，顺序解析每个元素对应的元素序号、元素类型、元素个数、各元素的值长度和\或元素值，并将这些信息保存到元素对象中，得到所述至少一元素。对于元素类型为item的元素认为是嵌套元素，采用进出栈的方式实现解析。

为了达到解析效率最大化和内存使用最小化，接收机20每解析完一子元素就输出所述子元素的内容，并从栈中弹出释放所述子元素占用的资源。

本实施例的传输协议和数据传输方法，信息包的每个字段不需要额外的结束标志，只需要根据信息包头部的长度来确定信息包的结束。由于整形数据有固定的长度，因此不需要定义元素的长度，可以节省不少的冗余字节。对于string、binary等不定长的元素，信息包头部有其实际的长度，元素值只保存实际的数据值，不添加额外的字节。对于二进制数据如图片，元素值保存实际的字节，不需要进行base64转换，因此可以节省信息包的字节数。对于数组类型的元素，只有第一个元素需要定义类型及长度，其余元素只需要保存元素值，这样也可以节省协议包的字节数。

基于上述传输协议，本实施例实现数据传输的示例如下。

发送机10根据传输协议，根据二元素生成信息包：

00 00 05 01 00 00 00 27 00 01 01 03 00 00 00 01 00 00 00 0A 00 00 00 64 00 0501 00 00 00 0F 00 01 02 04 01 00 00 00 07 61 73 70 69 72 65 00

发送机10将该信息包发送给接收机20；

接收机20解析信息包，对各信息包分别对应一元素结构树，顺序解析每个元素对应的元素序号、元素类型、元素个数、各元素的值长度和\或元素值，并将这些信息分别保存到元素对象中，得到元素如下：

00 00：根节点ID，取值为0

05 01：根节点元素类型为Item类型，元素个数为1，即只有一个根元素

00 00 00 27：根节点元素的元素长度为39个字节

00 01：第一个元素序号为1

01 03：第一个元素的元素类型为Int，包含子元素个数为3

00 00 00 01：第一个子元素取值为1，由于其元素类型是Int，元素长度为空

00 00 00 0A：第二个子元素取值为10

00 00 00 64：第三个子元素取值为100

00 02：第二个元素序号为2

05 01：第二个元素类型为Item类型(嵌套元素)，元素个数为1

00 00 00 0F：第二个元素长度为15个字节

00 01：第一个子元素序号为1

04 01：第一个子元素的元素类型为String，包含子元素个数为1

00 00 00 07：第一个子元素的元素长度为7个字节

61 3 70 69 72 65 00：第一个子元素的元素值为aspire，包含结束符。

参照图3所示的数据解析流程示意图，接收机20解析数据过程包括：

S301，创建元素结构树的根节点；

S302，将节点压栈；

S303，取栈顶节点设置为当前节点；

S304，判断当前节点是否为数组节点的首个元素，如果是则进行步骤

S305，否则进行步骤S306；

S305，解析元素序号，保存到当前节点；

S306，判断当前节点类型是否为int，如果是则进行步骤S307，否则进行步骤S308；

S307，确定当前节点的元素长度为4字节；

S308，解析元素长度，将解析结果保存到当前节点；

S309，判断当前节点类型是否为item，如果是则进行步骤S310，否则进行步骤S311；

S310，创建新节点，进行步骤S302；

S311，根据元素长度解析元素值，保存到当前节点；

S312，将当前节点退栈；

S313，判断堆栈是否已经遍历完毕，如果是则进行步骤S319，否则进行步骤S314；

S314，取堆栈中上一级节点；

S315，将当前遍历节点解析过的值长度加上前一个子节点的所有字节长度；

S316，判断当前遍历的节点解析过的长度是否与元素长度相等，如果是则进行步骤S317，否则进行步骤S319；

S317，判断当前遍历节点是否为数组节点，且没有解析到最后一个元素，如果是则进行步骤S303，否则进行S318；

S318，将当前遍历节点退栈，进行步骤S313；

S319，判断堆栈是否为空，若堆栈不为空则进行步骤S310，否则解析流程结束，完成对信息包的解析。

本实施例的数据传输方法由于对数据定义了“item”元素类型，可以如XML一样嵌套包含schema，给数据传输带来极大的灵活性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据传输方法，实现发送机与接收机之间的数据传输，包括：

发送机根据传输协议，对至少一元素分别生成包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值的信息包；

发送机将信息包发送给接收机；

接收机解析信息包，顺序解析各元素对应的元素序号、元素类型、元素个数、各元素的值长度和\或元素值，并将这些信息保存到元素对象中，得到所述至少一元素。

2.根据权利要求1所述的数据传输方法，其特征在于，所述发送机根据传输协议，对至少一元素分别生成包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值的信息包的步骤包括：

将元素序号转换为网络字节序写入数据流；

将元素类型写入数据流；

将元素个数写入数据流；

根据元素类型将元素的值长度转化为网络字节序，写入数据流；

将元素值写入数据流，生成信息包。

3.根据权利要求1所述的数据传输方法，其特征在于，所述接收机解析信息包，顺序解析各元素对应的元素序号、元素类型、元素个数、各元素的值长度和\或元素值，并将这些信息保存到元素对象中，得到所述至少一元素的步骤包括：

读取字节转化为本地字节序，保存为元素序号；

顺序读取下一字节，保存为元素类型；

顺序读取下一字节，保存为元素个数；

根据元素类型顺序读取字节并转化为本地字节序，作为元素的值长度；

根据元素值长度顺序读取相应字节并保存为元素值。

4.根据权利要求至3任意一项所述的数据传输方法，其特征在于，所述元素个数为信息包中包含元素的个数，对于单个元素，元素个数取值为1；对于数组元素，元素个数取值为数组中的元素的个数。

5.根据权利要求至3任意一项所述的数据传输方法，其特征在于：

对于元素类型为item的元素，将其元素值解析为取值为整个元素的内容，包括元素序号、元素类型、元素个数、各元素的值长度和\或元素值。

6.根据权利要求5所述的数据传输方法，其特征在于：

7.根据权利要求6所述的数据传输方法，其特征在于：

所述元素是嵌套元素，嵌套元素包含多个子元素；嵌套元素的元素类型为item，包含子元素的个数由元素个数指定。

8.根据权利要求7任意一项所述的数据传输方法，其特征在于：对于嵌套元素采用进出栈的方式实现解析。

9.根据权利要求8所述的数据传输方法，其特征在于，接收机解析信息包的步骤还包括：

接收机每解析完一子元素就输出所述子元素的内容，并从栈中弹出释放所述子元素占用的资源。

10.根据权利要求1至3任意一项所述的数据传输方法，其特征在于，接收机解析信息包的步骤包括：

创建元素结构树的根节点的步骤；

将节点压栈的步骤；

取栈顶节点设置为当前节点的步骤；

对于当前节点为数组节点的首个元素的，解析元素序号，保存到当前节点，再判断当前节点类型是否为int的步骤；

对于当前节点非数组节点的首个元素的，判断当前节点类型是否为int；

对于当前节点类型为int的，确定当前节点的元素长度为4字节；否则解析元素长度，将解析结果保存到当前节点的步骤；

判断当前节点类型是否为item，对于节点类型是item的，创建新节点，返回到将节点压栈的步骤；对于节点类型非item的，根据元素长度解析元素值，保存到当前节点的步骤；

将当前节点退栈，判断堆栈是否已经遍历完毕，对于已遍历完毕的，判断堆栈是否为空，若堆栈为空则完成解析的步骤；

若堆栈尚未遍历完毕则取堆栈中上一级节点，将当前遍历节点解析过的值长度加上前一个子节点的所有字节长度的步骤；

判断当前遍历的节点解析过的长度是否与元素长度相等，对于不相等的回到判断堆栈是否为空的步骤；

对于当前遍历的节点解析过的长度与元素长度相等的，判断当前遍历节点是否为数组节点，且没有解析到最后一个元素，若是则返回到取栈顶节点设置为当前节点的步骤；若否则将当前遍历节点退栈，返回到判断堆栈是否已遍历完毕的步骤。