CN104113390A - 一种移动网络数据序列化方法 - Google Patents

Abstract

本发明提供了一种移动网络数据序列化方法，其特征在于，包括：对移动网络数据进行定义数据包数据项，定义数据项的数据类型、长度；对数据项进行序列化处理；对数据项进行null bitmap映射操作；对有符号整型数据项进行varint编码；对无符号整型数据项进行zigzag编码；对消息头进行封装处理，对消息记录进行CRC16容错校验操作；把消息记录的CRC16容错校验码、消息记录序列号、消息记录命令字、消息长度数据项进行消息头封装处理；将序列化完成的消息数据传输到网络对端；对数据项进行反序列化操作。通过本方法可以使数据包更小、解析速度更快、兼容性更强、安全性更高。

Description

一种移动网络数据序列化方法

技术领域

本发明涉及网络数据处理领域，具体是一种移动网络数据序列化方法。

背景技术

序列化是将数据对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化，它将流转换为数据对象。这两个过程结合起来，可以轻松地存储和传输数据。

今天，移动互联网迅猛发展，信息交互终端由以前的单一PC终端发展为手机，PAD，PC等多终端载体，各终端的系统标准，终端的硬件及其运算能力差异巨大，再加上复杂的互联网和移动互联网，使情况变得更为复杂。在移动终端上网络数据交互过程中变得吃力缓慢。

为了适应各种复杂情况的网络传输，我们提出一种快速微小的网络数据系列化的方法，针对性解决在移动终端上的数据序列化操作。

不难看出，现有技术还存在一定的缺陷。

发明内容

本发明所要解决的技术问题是提供一种数据包更小、解析速度更快、兼容性更强、安全性更高的移动网络数据序列化方法。

为达到上述目的，本发明提供如下的技术方案：

一种移动网络数据序列化方法，包括：

对移动网络数据进行定义数据包数据项，定义数据项的数据类型、长度；

对数据项进行序列化处理；

对数据项进行null bitmap映射操作；

对有符号整型数据项进行varint编码；对无符号整型数据项进行zigzag编码；

对消息头进行封装处理，对消息记录进行CRC16容错校验操作；

把消息记录的CRC16容错校验码、消息记录序列号、消息记录命令字、消息长度数据项进行消息头封装处理；

将序列化完成的消息数据传输到网络对端；

对数据项进行反序列化操作。

进一步的，所述数据类型包括整型数据和字符数据：

所述整型数据包括：

8位、16位、32位和64位有符号整型类型；8位、16位、32位和64位无符号整型类型；

所述字符数据包括：

字符串类型；以NULL结尾的字符串指针。

进一步的，所述映射操作中，每一条数据项都由一个单独的nullbitmap进行记录，bitmap以位为单位进行记录，数据项的内容为空则记录为1，反之记录为0。

进一步的，所述反序列化操作包括：

提取消息头数据，对消息体进行解析判断；

通过null bitmap的位映射关系，提取非NULL的数据项，一一对应到各消息结构体字段；

提取相应的数据项数据，对整型数据进行zigzag、varint的反向操作，字符数据则直接提取出来。

本发明所提供的一种移动网络数据序列化方法，通过对数据项进行格式化处理，对于每一个数据项采用独立的封装，数据描述采用C语言结构体或者等同的字段描述方法对每一项数据进行字段类型及其字段长度描述。数据以数组方式组织，以最基本最快速的动态数组进行组织，数据字段采用null bitmap记录头标注字段是否为NULL空，整型数据采用VARINT方式压缩处理，无符号整型数据再加以zigzag处理，数据完整性采用crc16进行验证，数据安全采用异或方式快速安全处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种移动网络数据序列化方法的流程图。

图2为本发明实施例提供的一种移动网络数据序列化方法中对数据进行反序列化操作的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参阅图1，本发明提供的一种移动网络数据序列化方法，包括：

对移动网络数据进行定义数据包数据项，定义数据项的数据类型、长度。

作为优选，所述数据类型包括整型数据和字符数据：

所述整型数据包括：8位、16位、32位和64位有符号整型类型；8位、16位、32位和64位无符号整型类型；所述字符数据包括：字符串类型；以NULL结尾的字符串指针。

对数据项进行序列化处理；

对数据项进行null bitmap映射操作；作为优选，所述映射操作中，每一条数据项都由一个单独的null bitmap进行记录，bitmap以位为单位进行记录，数据项的内容为空则记录为1，反之记录为0。

对有符号整型数据项进行varint编码；对无符号整型数据项进行zigzag编码；

对消息头进行封装处理，对消息记录进行CRC16容错校验操作；

把消息记录的CRC16容错校验码、消息记录序列号、消息记录命令字、消息长度数据项进行消息头封装处理；

将序列化完成的消息数据传输到网络对端；

对数据项进行反序列化操作。

如图2所示，作为优选，所述反序列化操作包括：

提取消息头数据，对消息体进行解析判断；

通过null bitmap的位映射关系，提取非NULL的数据项，一一对应到各消息结构体字段；

提取相应的数据项数据，对整型数据进行zigzag、varint的反向操作，字符数据则直接提取出来。

本发明所提供的一种移动网络数据序列化方法，通过对数据项进行格式化处理，对于每一个数据项采用独立的封装，数据描述采用C语言结构体或者等同的字段描述方法对每一项数据进行字段类型及其字段长度描述。数据以数组方式组织，以最基本最快速的动态数组进行组织，数据字段采用null bitmap记录头标注字段是否为NULL空，整型数据采用VARINT方式压缩处理，无符号整型数据再加以zigzag处理，数据完整性采用crc16进行验证，数据安全采用异或方式快速安全处理。

本发明提供的实施例相对于现有的数据序列化方法，有如下特点：在可选数据项上面，我们采用了更为灵活的null bitmap方式，在代码实现过程中可以不用再单独的编写数据项描述文件；数据安全性更高，本发明提供的实施例对数据项进行了crc16校验，消息体仅需要增加2个字节；数据类型进行了精简，只保留了整型和字符型，数据处理更为快速。

以上所述实施例仅表达了本发明的一种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种移动网络数据序列化方法，其特征在于，包括： 

对移动网络数据进行定义数据包数据项，定义数据项的数据类型、长度； 

对数据项进行序列化处理； 

对数据项进行null bitmap映射操作； 

对有符号整型数据项进行varint编码；对无符号整型数据项进行zigzag编码； 

对消息头进行封装处理，对消息记录进行CRC16容错校验操作； 

把消息记录的CRC16容错校验码、消息记录序列号、消息记录命令字、消息长度数据项进行消息头封装处理； 

将序列化完成的消息数据传输到网络对端； 

对数据项进行反序列化操作。 

2.根据权利要求1所述的移动网络数据序列化方法，其特征在于，所述数据类型包括整型数据和字符数据： 

所述整型数据包括： 

8位、16位、32位和64位有符号整型类型；8位、16位、32位和64位无符号整型类型； 

所述字符数据包括： 

字符串类型；以NULL结尾的字符串指针。 

3.根据权利要求1所述的移动网络数据序列化方法，其特征在于，所述映射操作中，每一条数据项都由一个单独的null bitmap进行记录，bitmap以位为单位进行记录，数据项的内容为空则记录为1，反之记录为0。 

4.根据权利要求1所述的移动网络数据序列化方法，其特征在于，所述反序列化操作包括： 

提取消息头数据，对消息体进行解析判断； 

通过null bitmap的位映射关系，提取非NULL的数据项，一一对应到各消息结构体字段； 

提取相应的数据项数据，对整型数据进行zigzag、varint的反向操作，字符数据则直接提取出来。