CN105868364B

CN105868364B - 一种基于字节流的结构化数据表示方法

Info

Publication number: CN105868364B
Application number: CN201610189288.0A
Authority: CN
Inventors: 张煜; 荀智德; 端木竹筠; 赵克俭; 徐慧
Original assignee: CETC 28 Research Institute
Current assignee: CETC 28 Research Institute
Priority date: 2016-03-29
Filing date: 2016-03-29
Publication date: 2020-06-12
Anticipated expiration: 2036-03-29
Also published as: CN105868364A

Abstract

本发明公开了一种基于字节流的结构化数据表示方法，包括如下步骤：步骤1，约定结构化数据表示的范围；步骤2，建立对单一结构化数据的通用表示方式，对单一结构化数据进行统一建模，规定单一结构化数据的字段名称和字段内容表示方式；步骤3，对单一结构化数据的附加属性进行形式化规范；步骤4，建立单一结构化数据内容的数据类型规范，枚举单一结构化数据的所有的数据类型，对数据类型进行限定，并建立复杂数据类型的表示规范；步骤5，建立统一的基于字节流的结构化数据表示规范；步骤6，对统一的基于字节流的结构化数据表示规范进行简化和约定；步骤7，对基于字节流的结构化数据包在网络上传输的收发过程进行规定。

Description

一种基于字节流的结构化数据表示方法

技术领域

本发明属于计算机软件技术领域，尤其涉及是一种基于字节流的结构化数据表示方法。

背景技术

在当今的互联网应用中，对结构化数据的表示通常采用XML(Extensible MarkupLanguage)和JSON(JavaScript Object Notation)规范。

XML以其丰富的可扩展性和易于理解的语法结构，被广泛用于数据交换、集成和管理，然而，在提高了灵活性的同时，XML以文档为中心的结构也同时带来了一些不足：

第一，XML成对标签式的结构，造成了内容的冗余，使得XML在通信信道中传输时，有很多不必要的带宽占用；

第二，主流XML解析器对XML的解析一般过程为先建立XML文档树，再根据标签名称查找文档树的相应叶子节点，从而获取数据内容，这一过程本质上是对“树形”数据结构的“增删改查”，涉及大量对零散内存块的操作，相对于对“流式”数据结构的处理效率较低，在XML文档体积较大时尤为明显。

JSON以“键-值”对的方式描述结构化数据，并通过成对花括号描述数据从属关系，很好的解决了XML内容冗余的问题，然而相对于XML，“键-值”对的数据表示方式造成其可扩展性较差，难以表示具有紧密和复杂逻辑关系的结构化数据。

在现有大型分布式软件系统中，经常涉及到主机间结构化数据传输的问题，传统的对结构化数据的传输一般采用基于数据库触发器的方法，该方法当数据传输量变大时，容易使数据库成为系统瓶颈，另一方面也不利于结构化数据具体数据结构的灵活扩展。

发明内容

本发明的目的在于提供一种可扩展的基于字节流的紧凑式结构化数据表示框架，实现结构化数据的通用字节流表示方法，通过字节流压缩结构化数据的体积，优化结构化数据传输和解析的效率，同时亦保证对结构化数据的可扩展性。

实现本发明目的的技术解决方案为：提供基于字节流的结构化数据表示方法，建立基于字节流的结构化数据表示框架，具体包括以下步骤：

步骤1，定义结构化数据表示的范围；

步骤2，建立对单一结构化数据的通用表示方式，对单一结构化数据进行统一建模，规定单一结构化数据的字段名称和字段内容表示方式；

步骤3，对单一结构化数据的附加属性进行形式化规范；

步骤4，建立单一结构化数据内容的数据类型规范，枚举单一结构化数据的所有的数据类型，对数据类型进行限定，并建立复杂数据类型的表示规范；

步骤5，建立统一的基于字节流的结构化数据表示规范，即如何将多个单一结构化数据组织在一起，形成完整的基于字节流的结构化数据包；

步骤6，对统一的基于字节流的结构化数据表示规范进行简化和定义，简化的目的是进一步压缩字节流数据包的体积，提升其传输效率；定义即对数据表示规范进行若干强制性限定；

步骤7，对基于字节流的结构化数据包在网络上传输的收发过程进行规定。

步骤1中，对结构化数据表示范围做如下定义：

数据包由单一结构化数据组织形成，单一结构化数据的每一种排列组合方式定义为一种数据包，赋予全局唯一的数据格式代码，该代码用2个字节短整型数表示；

每个单一结构化数据代表一个变量，具有相应的变量名、变量类型和变量值；

每个单一结构化数据都能够附加一个以上属性，属性由属性名和属性值组成；

单一数据之间具有层次化的从属关系。

步骤2中，对于单一结构化数据，采用五个子项进行描述，包括数据ID、数据名称、数据类型、数据值和附加属性，其中数据ID用两个字节短整形数表示，数据名称使用不定长度的字符串表示，数据类型使用1个字节ASC II字符代码表示。

步骤3中，属性采用属性键和属性值对的方式表示，用以对单一结构化数据进行扩展，其中属性键采用不定长度的字符串表示，属性键和属性值之间用1个字节特殊字符#分隔。

步骤5包括对单一结构化数据的排列顺序和从属关系进行表示，以及对单一结构化数据组成的数据包结构进行表示；其中，对单一结构化数据的排列顺序和从属关系进行表示包括如下步骤：

步骤5-1，用两个字节短整型数描述该数据包的数据格式类型，将根节点单一结构化数据的数据ID按其出现顺序依次打包压入内存，然后以第一分隔符#分隔；

步骤5-2，将第一层至最后一层子节点的单一结构化数据的数据ID按其出现顺序依次打包压入内存，并以第一分隔符#分隔，对单一结构化数据的排列顺序表示过程完毕；

步骤5-3，以第二分隔符$分隔数据包，将具有父子关系的单一结构化数据按子ID在前、父ID在后的顺序依次打包压入内存，对单一结构化数据的从属关系表示完毕；

对单一结构化数据组成的数据包结构进行表示包括：

当成员数据全部由基本类型且长度固定的单一结构化数据组成时，用两个字节短整型数描述数据包的数据格式类型代码，再直接将所有成员数据顺序打包压入内存即可；

当成员数据中含有不定长度基本类型或复杂类型的单一结构化数据时，用两字节短整型数描述数据包的数据格式类型代码，将各成员数据的长度值顺序打包压入内存，每个长度值用两个字节短整型数表示，最后再将所有成员数据顺序打包压入内存即可。

步骤6中，对基于字节流的结构化数据表示规范做如下定义：

由于数据包中使用了特殊字符“$和#”作为分隔符，因此，对单一结构化数据的数据内容，不能出现第二分隔符$和特殊字符#；

数据包中的单一结构化数据可以有两个以上平级的根节点，根节点没有父节点，且不进行从属关系描述；

一个完整的数据包中，单一结构化数据的ID不能重复出现，但数据名称能够相同；单一结构化数据内容的取值范围以32位操作系统的字长为准，用于避免数据包跨32位和64位操作系统传输，以免数据丢失。

有益效果：

本发明通过定义一种通用的字节流以表示结构化数据，对结构化数据进行基于紧凑式可扩展的数据包形式进行表示，考虑到现有很多分布式系统向无线通信领域的延伸，为提升结构化数据的传输效率，对其数据包格式进行一定的压缩，减少对通信带宽的占用率，另一方面，需要考虑结构化数据中各类数据成员的顺序、依赖和从属关系，适应结构化数据的可扩展性。本发明通过建立标准的基于字节流的模板，对结构化数据进行统一建模描述，通过紧凑式字节流的表示方式显著压缩结构化数据的数据包体积，优化结构化数据在通信信道上传输时对通信带宽的占用率，提升其传输效能。

附图说明

图1是单一结构化数据的通用表示方法原理图。

图2是单一结构化数据的附加属性表示方法原理图。

图3是描述复杂数据类型的数据结构。

图4a和图4b是对单一结构化数据排列顺序和从属关系的表示方法原理图。

图5a和图5b是基于字节流的结构化数据统一表示方法原理图。

图6a和图6b是结构化数据包在网络上传输时的收发过程示意。

图7为虚拟服务器租赁业务中租赁请求结构示意图。

图8为本发明方法流程示意图。

具体实施方式

下面结合附图，对发明内容中的每一项步骤进行详细解释，如图8所示，本发明包括如下步骤：

步骤1，定义结构化数据表示的范围；

步骤3，对单一结构化数据的附加属性进行形式化规范；

步骤1中，对结构化数据表示范围做如下定义：

单一数据之间具有层次化的从属关系。

步骤2中，对单一结构化数据的通用表示方式如图1所示，对于单一结构化数据，采用五个子项进行描述，包括数据ID、数据名称、数据类型、数据值和附加属性，其中数据ID用两个字节短整形数表示，数据名称使用不定长度的字符串表示，数据类型使用1字节ASC II字符代码表示。数据类型和数据值按表1所示的数据类型表组织。其中，数据名称、数据内容和每个附加属性之间用1个字节特殊符号“$”分隔，在上述字段中，除数据类型和数据值必填外，其它字段可选填。

表1单一结构化数据类型和数据内容

步骤3中，对单一结构化数据的附加属性的描述规范如图2所示，属性采用属性键和属性值对的方式表示，用以对单一结构化数据进行扩展，其中属性键采用不定长度的字符串表示，属性值按表1所示的数据类型表组织，其中，属性键和属性值之间用1个字节特殊字符#分隔。

步骤4中，对单一结构化数据内容的数据类型的规范如表1所示，其中，表1所列出的数据类型都为基本数据类型，通过对基本数据类型的组合，可以形成复杂数据类型，如结构体，本发明采用如图3所示的数据结构描述复杂数据类型。

步骤5包括对单一结构化数据的排列顺序和从属关系进行表示，以及对单一结构化数据组成的数据包结构进行表示；其中，对单一结构化数据的排列顺序和从属关系进行表示如图4a所示，包括如下步骤：

步骤5-1，用两个字节短整型数描述该数据包的数据格式类型，将根节点单一结构化数据的数据ID按其出现顺序依次打包压入内存，然后以分隔符#分隔；

步骤5-2，将第一层至最后一层子节点的单一结构化数据的数据ID按其出现顺序依次打包压入内存，并以分隔符#分隔，对单一结构化数据的排列顺序表示过程完毕；

步骤5-3，以分隔符$分隔数据包，将具有父子关系的单一结构化数据按子ID在前、父ID在后的顺序依次打包压入内存，对单一结构化数据的从属关系表示完毕；图4b给出了一个具有3层父子关系的结构化数据排列顺序和从属关系的表示示例。

对单一结构化数据组成的数据包结构进行表示包括：

当成员数据全部由基本类型且长度固定的单一结构化数据组成时，用两个字节短整型数描述数据包的数据格式类型代码，再直接将所有成员数据顺序打包压入内存即可；如图5a所示；

当成员数据中含有不定长度基本类型或复杂类型的单一结构化数据时，用两字节短整型数描述数据包的数据格式类型代码，将各成员数据的长度值顺序打包压入内存，每个长度值用2字节短整型数表示，最后再将所有成员数据顺序打包压入内存即可，如图5b所示。

步骤6中，对基于字节流的结构化数据表示规范做如下定义：

由于数据包中使用了特殊字符“$和#”作为分隔符，因此，对单一结构化数据的数据内容，不能出现分隔符$和特殊字符#；

一个完整的数据包中，单一结构化数据的ID不能重复出现，但数据名称能够相同；

单一结构化数据内容的取值范围以32位操作系统的字长为准，用于避免数据包跨32位和64位操作系统传输，以免数据丢失。

对于步骤7，本发明对基于字节流的结构化数据包在网络上传输的收发过程如图6a和图6b所示。

对数据的传输分为两个步骤进行，第一步：若某一种数据包为通信的双方首次使用，或该数据包中单一结构化数据的排列顺序/从属关系发生变化，则由发送方先按图4a和图4b所示的结构向接收方发送数据包结构，接收方解析并在本地更新相应数据包的结构，若收发的数据包非首次发送或首次发送后没有变化，省略第一步；第二步：由发送方按图5a和图5b所示的结构向接收方发送数据包；

下面以一个虚拟机租用服务的请求为例，给出本发明在实际生产环境中的应用过程。

假设某公司提供基于云计算的虚拟服务器租赁业务，用户可以通过互联网向该公司租赁服务器，其中，租赁请求需描述租赁虚拟机的基本硬件性能，同时，该公司还支持在部分虚拟化硬件上为用户预先安装操作系统和常用软件，具体安装的内容由用户指定，现约定，一个租赁请求由一段网络报文数据包组成，其结构如图7所示，所有需要描述的数据和对应的数据类型均以黑底白色序号的圆状图标标出。

采用本发明给出的方法，首先，客户端向服务端传输一次数据结构规范，按图4a所示的方法组织数据，其长度共20字节，其次，按图5b所示的方法传输具体数据，其长度共72字节，其具体数据组织方式如表2所示，

表2

		描述各字段长度
						11×2＝22字节
		$'分隔符1字节
				ID	类型	长度(字节数)	值
1	string	3	"x86"
				2	short	2	4
3	short	2	4096
				4	short	2	1000
5	string	4	"scsi"
				6	string	7	"Linux64"
7	string	8	"debian8.3"
				8	string	6	"Docker"
9	string	6	"1.10.3"
				10	string	5	"Mesos"
11	string	4	"0.27"
						Total＝72

而相同的数据内容采用传统xml格式传输，其长度共419字节，如下所示：

对比可见，采用本发明所给出的方法组织结构化数据，可以有效的压缩数据包体积，这一特性在低带宽网络下可显著节约网络带宽。

本发明提供了一种基于字节流的结构化数据表示方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims

1.一种用于虚拟服务器租赁业务的基于字节流的结构化数据表示方法，其特征在于，包括如下步骤：

步骤1，定义结构化数据表示的范围；

步骤3，对单一结构化数据的附加属性进行形式化规范；

步骤5，建立统一的基于字节流的结构化数据表示规范；

步骤6，对统一的基于字节流的结构化数据表示规范进行简化和定义；

步骤7，对基于字节流的结构化数据包在网络上传输的收发过程进行规定；

步骤1中，对结构化数据表示范围做如下定义：

单一数据之间具有层次化的从属关系；

步骤2中，对于单一结构化数据，采用五个子项进行描述，包括数据ID、数据名称、数据类型、数据值和附加属性，其中数据ID用两个字节短整形数表示，数据名称使用不定长度的字符串表示，数据类型使用1个字节ASC II字符代码表示；

步骤3中，属性采用属性键和属性值对的方式表示，用以对单一结构化数据进行扩展，其中属性键采用不定长度的字符串表示，属性键和属性值之间用1个字节特殊字符分隔；

步骤5-1，用两个字节短整型数描述该数据包的数据格式类型，将根节点单一结构化数据的数据ID按其出现顺序依次打包压入内存，然后以第一分隔符分隔；

步骤5-2，将第一层至最后一层子节点的单一结构化数据的数据ID按其出现顺序依次打包压入内存，并以第一分隔符分隔，对单一结构化数据的排列顺序表示过程完毕；

步骤5-3，以第二分隔符分隔数据包，将具有父子关系的单一结构化数据按子ID在前、父ID在后的顺序依次打包压入内存，对单一结构化数据的从属关系表示完毕；

对单一结构化数据组成的数据包结构进行表示包括：

当成员数据全部由基本类型且长度固定的单一结构化数据组成时，用两个字节短整型数描述数据包的数据格式类型代码，再直接将所有成员数据顺序打包压入内存；

当成员数据中含有不定长度基本类型或复杂类型的单一结构化数据时，用两个字节短整型数描述数据包的数据格式类型代码，将各成员数据的长度值顺序打包压入内存，每个长度值用两个字节短整型数表示，最后再将所有成员数据顺序打包压入内存；步骤6中，对基于字节流的结构化数据表示规范做如下定义：

对单一结构化数据的数据内容，不能出现第二分隔符和特殊字符；

数据包中的单一结构化数据能够有两个以上平级的根节点，根节点没有父节点，且不进行从属关系描述；

一个完整的数据包中，单一结构化数据的ID不能重复出现，数据名称能够相同；

单一结构化数据内容的取值范围以32位操作系统的字长为准，用于避免数据包跨32位和64位操作系统传输；

应用于一公司提供基于云计算的虚拟服务器租赁业务，用户能够通过互联网向该公司租赁服务器，一个租赁请求由一段网络报文数据包组成，该网络报文数据包即为所述的由单一结构化数据组织形成的数据包，首先，客户端向服务端传输一次数据结构规范，其长度共20字节，其次，传输具体数据，其长度共72字节。