CN103036641A

CN103036641A - 数据交换方法、系统及反序列化方法

Info

Publication number: CN103036641A
Application number: CN2011102997904A
Authority: CN
Inventors: 李凯; 刘李进
Original assignee: Beijing Feinno Communication Technology Co Ltd
Current assignee: Beijing Feinno Communication Technology Co Ltd
Priority date: 2011-09-29
Filing date: 2011-09-29
Publication date: 2013-04-10
Anticipated expiration: 2031-09-29
Also published as: CN103036641B

Abstract

本发明公开了一种数据交换方法，数据源端对原始数据采用Protobuffer数据交换方式进行序列化，得到二进制流，应用端获取经序列化的二进制流，解析二进制流，获取二进制流中的类型特征比特，根据类型特征比特判断二进制流的序列类型，根据得到的序列类型对二进制流进行对应的反序列处理，得到原始数据。本发明还公开了一种数据交换系统和反序列化方法。采用本发明公开的数据交换方法、系统和反序列化方法，能够提高反序列化的应用灵活性并拓宽应用范围。

Description

数据交换方法、系统及反序列化方法

技术领域

本发明涉及互联网通信技术，特别是涉及一种数据交换方法和系统，以及一种反序列化方法。

背景技术

在网络间数据传输和应用中，通常需要将信息转换成二进制文件，实现数据传输和应用。目前，通常采用Protobuffer数据交换格式实现二进制文件的序列化和反序列化。Protobuffer是一种数据交换格式，将现有的信息根据不同的类型，按照相应的编码方式序列化为二进制流，用于保存信息或者数据传输。在读取该二进制信息或者接收该二进制信息时，对经序列化的二进制流进行反序列化，获取原始信息或数据，以便进一步应用。Protobuffer方式序列化得到的二进制流的数据量小，序列化与反序列化操作的速度快，是一种较优秀的序列化方法。因此，Protobuffer方式得到了广泛的应用。

原始数据经Protobuffer方式序列化之后，接收端对序列化的二进制流进行还原，得到原始数据的过程，即反序列化。目前的反序列化方法中，除了获取二进制流外，还需要获知序列化时采用的类型，进而根据类型进行相应的反序列化。由于获知序列化时采用的序列类型后的二进制流以及其对应的类型过程复杂，导致才能够正确反序列化解析出原始数据的序列化的内容，因此实现方法复杂，并且该反序列化方法的应用范围也受到局限。

发明内容

本发明提供了一种数据交换方法和系统，采用该方法和系统能够提高反序列化方法应用的灵活性，拓宽应用范围。

本发明还提供了一种反序列化方法，采用该方法能够提高反序列化方法应用的灵活性，拓宽应用范围。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种数据交换方法，包括：

数据源端对原始数据采用Protobuffer数据交换方式进行序列化，得到二进制流；

应用端获取经序列化的二进制流；

解析所述二进制流，获取所述二进制流中的类型特征比特；

根据所述类型特征比特判断所述二进制流的序列类型；

根据得到的序列类型对所述二进制流进行对应的反序列处理，得到原始数据。

本发明公开了一种反序列化方法，包括：

获取经序列化的二进制流；

解析所述二进制流，获取所述二进制流中的类型特征比特；

根据所述类型特征比特判断所述二进制流的序列类型；

本发明还公开了一种数据交换系统，包括：

数据源端，用于对原始数据采用Protobuffer数据交换方式进行序列化，得到二进制流；

应用端，用于获取经序列化的二进制流，解析所述二进制流，获取所述二进制流中的类型特征比特，根据所述类型特征比特判断所述二进制流的序列类型，根据得到的序列类型对所述二进制流进行对应的反序列处理，得到原始数据。

由上述发明内容可见，对于序列化之后的二进制流，解析获得其类型特征比特，根据该类型特征比特以及预设规则判断该二进制流的类型，采用该类型对应的解析方法进行解析，获得反序列化的解析结果。从而能够根据解析获知二进制流的类型，而不必在反序列化之前预先获知其类型，因此，不必要求在解析之前必须获知该类型，本发明提出的反序列化方法比现有的反序列化方法的灵活性强，应用范围广。

附图说明

图1是本发明实施例一的数据交换方法的流程图；

图2是非嵌套类型的长度限定型二进制码流的结构示意图；

图3是嵌套类型的长度限定型二进制码流的结构示意图；

图4是本发明实施例二的反序列化方法的流程图；

图5是本发明实施例三的数据交换系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明的基本思想是：对序列化之后的二进制流进行解析，获得其类型特征比特，根据该类型特征比特以及预设规则判断该二进制流的类型，采用该类型对应的解析方法解析获得反序列化结果。

图1是本发明实施例一的数据交换方法的流程图。如图1所示，该方法包括如下过程。

步骤10：数据源端对原始数据采用Protobuffer数据交换方式进行序列化，得到二进制流。

步骤11：应用端获取经序列化的二进制流。

在本步骤中，具体地，获取的二进制流为经过序列化之后的二进制流。

步骤12：解析二进制流，获取二进制流中的类型特征比特。

在本步骤中，具体方法为：解析二进制流，得到二进制流的第一个字节，读取二进制流的第一个字节的第0至2个比特的值，作为二进制流中的类型特征比特。

步骤13：根据类型特征比特判断二进制流的序列类型。

在本步骤中，根据类型特征比特判断二进制流的序列类型的具体方法为：将类型特征值与预置二进制流类型相匹配，按匹配结果确定二进制流对应的类型。

在步骤13之后，根据得到的序列类型对二进制流进行对应的反序列处理，得到原始数据。具体地，根据得到的序列类型对二进制流进行对应的反序列处理的具体过程包括如下过程：

如果步骤13判断二进制流的类型为变体型(Varint)，执行步骤14；如果步骤13判断二进制流的类型为64比特型，执行步骤15；如果步骤13判断二进制流的类型为32比特型，执行步骤16；如果步骤13判断二进制流的类型为长度限定型(Length-delimited)，对二进制流采用长度限定型反序列处理方式进行反序列处理，得到原始数据，具体可以执行步骤17至步骤19。

在本发明实施例中，类型特征比特标识的是Protobuffer序列化协议定义的类型编号，该协议将不同类型的信息通过特征比特进行编码来标识。在本步骤中，根据类型特征比特的值来判断二进制流的类型。具体地，如果步骤12获取的类型特征比特为000，则判断二进制流的类型为变体型。如果步骤12获取的类型特征比特为001，则判断二进制流的类型为64比特型。如果步骤12获取的类型特征比特为010，则判断二进制流的类型为长度限定型。如果步骤12获取的类型特征比特为101，则判断二进制流的类型为32比特型。

步骤14：对二进制流采用变体型反序列处理方式进行反序列处理，得到原始数据。

在本步骤中，不限制对二进制流进行变体型反序列处理的具体方法，现有的一切可以实现变体型解析的方法均可适用。在多种解析方法中的一个具体实例为：首先，解析二进制流，获取二进制流的第二个字节和第三个字节。判断每个字节的按照从左至右顺序的最高位是1或0。如果是1，获取字节，并继续获取其它字节。如果是0，获取字节，并以字节作为变体型编码的最后一个字节。然后，获取变体型编码的全部字节后，去掉全部字节的最高位，将去掉最高位的全部字节按照从右至左的顺序排列，获得变体型解析结果。

步骤15：对二进制流采用64比特型反序列处理方式进行反序列处理，得到原始数据。

步骤16：对二进制流采用32比特型反序列处理方式进行反序列处理，得到原始数据。

步骤17：根据预设规则判断二进制流是否属于嵌套类型。

如果是，执行步骤18；否则，执行步骤19。

图2是非嵌套类型的长度限定型二进制码流的结构示意图。图3是嵌套类型的长度限定型二进制码流的结构示意图。如图2所示，非嵌套类型包括字符串类型和数组类型。其中，第一个字节均代表位置和类型。对于数组类型，所有元素对应的位置和类型相同。内容是相应的数组内位置的值。对于字符串类型，第二个字节代表的是长度，采用Varint格式。后续的字节代表内容，该内容的长度为第二字节指示的长度。采用万国码(简称UTF-8)编码格式可以解析出相应的字符串的内容。如图3所示，对于嵌套类型，与字符串类型类似地，第一个字节代表位置和类型，第二个字节代表长度。后续字节代表嵌套类型内部的内容，可以按照该内容的具体的类型进行解析。嗯，如果能在飞信上说清楚，我写也行，

在本步骤中，需要对上述嵌套类型与非嵌套类型进行区分，从而确定正确的解析方法。具体过程包括：首先判断二进制流的第1个位置对应的内容是否有值。具体地，判断二进制流的第1个位置对应的内容是否有值的方法包括：获取二进制流中第3至7个比特为00001的字节，参见图3，通常二进制流中第3至7个比特为00001的字节为第三个字节。判断二进制流中第3至7个比特为00001的字节对应的内容是否为空或0。如果是，二进制流中第3至7个比特为00001的字节对应的内容为空或0，则二进制流的第1个位置对应的内容没有值。否则，二进制流中第3至7个比特为00001的字节对应的内容不为空也不为0，二进制流的第1个位置对应的内容有值。如果二进制流的第1个位置对应的内容有值，则判断二进制流属于嵌套类型；否则，二进制流的第1个位置对应的内容没有值，判断二进制流不属于嵌套类型。其中，第一个位置，就是在各种类型的二进制流中，标识的位置为1的位置，第一个位置对应的字节，就是00001xxx这个字节，不是指第一个字节，而是指其指示的位置为1的那个字节，该字节不是第一个字节，通常为第三个字节。

步骤18：对二进制流采用嵌套类型反序列处理方式进行反序列处理，得到原始数据。

在本步骤中，具体地，在对二进制流采用字符串类型反序列处理方式进行反序列处理时，从第三个字节开始获取嵌套的内容，解析该内容。

步骤19：判断二进制流是数组类型或字符串类型。

如果是数组类型，以数组中每一个数据的内容作为二进制流，返回步骤12。如果是字符串类型，对二进制流采用字符串类型反序列处理方式进行反序列处理，得到原始数据。

具体地，在对二进制流采用字符串类型反序列处理方式进行反序列处理时，根据第二个字节代表的长度，从后续的字节中获取长度为第二字节指示的长度的内容，采用UTF-8编码格式解析出该内容。

在本步骤中，判断非嵌套的二进制流是数组类型还是字符串类型的具体方法如下：根据该非嵌套的二进制流中字节代表的位置和该位置对应的内容进行判断，如果存在至少两个代表位置的字节的数值相同，则属于数组类型，否则，属于字符串类型。

由于数组中存储的数据可以包括上述各种类型，因此，对数据的解析可以针对该数组中的每个数据单独进行解析，具体的解析方法可以采用上述步骤11至步骤19的过程，具体地，将数组中的每一个数据的内容作为步骤11中获取到的二进制流，在步骤12中对其进行解析，并继续按照上述方法执行到步骤19。循环执行上述过程，对数组中的每一个数据对应的内容均进行解析。

在上述本发明实施例一中，对上述变体型解析、64比特型解析、32比特型解析、嵌套类型解析和字符串类型解析的具体方法不做限制，现有的任何能够实现相应类型解析的方法均可适用。

以下介绍采用上述方法的一个具体实例。例如，在步骤11中获取二进制流为：00001000，10010110，00000001。则在步骤12中，计息上述二进制流，获取其第一个字节00001000。该字节标明了该二进制流的位置和类型。其中，第0至2个比特为二进制流中的类型特征比特，即代表类型。第3至7个比特代表该比特是该类型中的第几个序列，即代表位置。根据第0至2个比特为000，步骤13中可以获知该二进制流的类型为变体型。根据第3至7个比特为00001，可以获知该字节为位置为1的字节。在步骤14中，获取第二个字节10010110和第三个字节00000001。第二个字节的最高位为1，第三个字节的最高位为0，说明第三个字节是该变体型二进制流反序列化后的最后一个字节。然后，去掉全部字节的最高位，获得去掉最高位之后的第二个字节0010110和去掉最高位之后的第三个字节0000001。对去掉全部字节的最高位的全部字节从右向左排列，得到反序列化的结果：0000001，0010110，将其转换为整型数据，128+16+4+2＝150，从而获得该二进制码流的内容信息为150。

图4是本发明实施例二的反序列化方法的流程图。如图4所示，该反序列化方法包括如下过程。

步骤41：获取经序列化的二进制流。

步骤42：解析二进制流，获取二进制流中的类型特征比特。

步骤43：根据类型特征比特判断二进制流的序列类型。

步骤44：根据得到的序列类型对二进制流进行对应的反序列处理，得到原始数据。

其中，步骤41至步骤43的具体过程可以参见图1所示的本发明实施例一的步骤11至步骤13，步骤44可以包括图1所示的本发明实施例一的步骤14至步骤19，在此不再赘述。

图5是本发明实施例三的数据交换系统的结构示意图。如图5所示，该装置包括：数据源端51和应用端52。

其中，数据源端51对原始数据采用Protobuffer数据交换方式进行序列化，得到二进制流。

应用端52获取经序列化的二进制流，解析二进制流，获取二进制流中的类型特征比特，根据类型特征比特判断二进制流的序列类型，根据得到的序列类型对二进制流进行对应的反序列处理，得到原始数据。

在上述技术方案的基础上，具体地，应用端52解析二进制流，得到二进制流的第一个字节，读取二进制流的第一个字节的第0至2个比特的值，得到二进制流中的类型特征比特。

在上述技术方案的基础上，具体地，应用端52将类型特征值与预置二进制流类型相匹配，按匹配结果确定二进制流对应的类型。

在上述技术方案的基础上，具体地，当序列类型为变体型时，应用端52对二进制流采用变体型反序列处理方式进行反序列处理，得到原始数据。当序列类型为64比特型时，应用端52对二进制流采用64比特型反序列处理方式进行反序列处理，得到原始数据。当系列类型为32比特型时，应用端52对二进制流采用32比特型反序列处理方式进行反序列处理，得到原始数据。当序列类型为长度限定型时，应用端52对二进制流采用长度限定型反序列处理方式进行反序列处理，得到原始数据。

具体地，当序列类型为长度限定型时，应用端52根据预设规则判断二进制流是否属于嵌套类型。是则对二进制流采用嵌套类型反序列处理方式进行反序列处理，得到原始数据。否则判断二进制流是数组类型或字符串类型。如果二进制流是数组类型，以数组中每一个数据的内容作为二进制流，解析二进制流，获取二进制流中的类型特征比特的步骤。如果二进制流是字符串类型，对二进制流采用字符串类型反序列处理方式进行反序列处理，得到原始数据。

应用端52根据预设规则判断二进制流是否属于嵌套类型时，应用端52判断二进制流的第1个位置对应的内容是否有值。具体地，应用端52获取二进制流中第3至7个比特为00001的字节。判断二进制流中第3至7个比特为00001的字节对应的内容是否为空或0。如果是，则二进制流的第1个位置对应的内容没有值。否则，二进制流的第1个位置对应的内容有值。如果二进制流的第1个位置对应的内容有值，则二进制流属于嵌套类型。否则，如果二进制流的第1个位置对应的内容没有值，二进制流不属于嵌套类型。

根据上述本发明具体实施方式可见，通过对序列化之后的二进制流进行解析，获得其类型特征比特，根据该类型特征比特以及预设规则判断该二进制流的类型，从而不必预先获知二进制流的类型，就可以根据判断获得的类型对应的解析方法解析获得反序列化结果。因为能够根据解析获知二进制流的类型，所以不必在反序列化之前预先获知其类型，因此，本发明提出的反序列化方法比现有的反序列化方法的灵活性更强，应用范围更广。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种数据交换方法，其特征在于，所述方法包括：

应用端获取经序列化的二进制流；

解析所述二进制流，获取所述二进制流中的类型特征比特；

根据所述类型特征比特判断所述二进制流的序列类型；

2.根据权利要求1所述的方法，其特征在于，所述解析所述二进制流，获取所述二进制流中的类型特征比特包括：

解析所述二进制流，得到所述二进制流的第一个字节；

读取所述二进制流的第一个字节的第0至2个比特的值，得到所述二进制流中的类型特征比特。

3.根据权利要求2所述的方法，其特征在于，所述根据所述类型特征比特判断所述二进制流的类型包括：

将所述类型特征值与预置二进制流类型相匹配，按匹配结果确定二进制流对应的类型。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据得到的序列类型对所述二进制流进行对应的反序列处理，得到原始数据包括：

当所述序列类型为变体型时，对所述二进制流采用变体型反序列处理方式进行反序列处理，得到原始数据；

当所述序列类型为64比特型时，对所述二进制流采用64比特型反序列处理方式进行反序列处理，得到原始数据；

当所述系列类型为32比特型时，对所述二进制流采用32比特型反序列处理方式进行反序列处理，得到原始数据；

当所述序列类型为长度限定型时，对所述二进制流采用长度限定型反序列处理方式进行反序列处理，得到原始数据。

5.根据权利要求4所述的方法，其特征在于，所述对所述二进制流采用长度限定型反序列处理方式进行反序列处理，得到原始数据包括：

根据预设规则判断所述二进制流是否属于嵌套类型；

是则，对所述二进制流采用嵌套类型反序列处理方式进行反序列处理，得到原始数据；

否则，判断所述二进制流是数组类型或字符串类型；

如果所述二进制流是数组类型，以数组中每一个数据的内容作为二进制流，执行所述解析所述二进制流，获取所述二进制流中的类型特征比特的步骤；

如果所述二进制流是字符串类型，对所述二进制流采用字符串类型反序列处理方式进行反序列处理，得到原始数据。

6.根据权利要求5所述的方法，其特征在于，所述根据所述预设规则判断所述二进制流是否属于嵌套类型包括：

判断所述二进制流的第1个位置对应的内容是否有值；

如果是，则所述二进制流属于嵌套类型；

否则，所述二进制流不属于嵌套类型。

7.根据权利要求6所述的方法，其特征在于，所述判断所述二进制流的第1个位置对应的内容是否有值包括：

获取所述二进制流中第3至7个比特为00001的字节；

判断所述二进制流中第3至7个比特为00001的字节对应的内容是否为空或0；

如果是，则所述二进制流的第1个位置对应的内容没有值；

否则，所述二进制流的第1个位置对应的内容有值。

8.一种反序列化方法，其特征在于，所述方法包括：

获取经序列化的二进制流；

解析所述二进制流，获取所述二进制流中的类型特征比特；

根据所述类型特征比特判断所述二进制流的序列类型；

9.一种数据交换系统，其特征在于，包括：

10.根据权利要求9所述的系统，其特征在于，

所述应用端具体用于获取经序列化的二进制流，解析所述二进制流，得到所述二进制流的第一个字节，读取所述二进制流的第一个字节的第0至2个比特的值，得到所述二进制流中的类型特征比特；将所述类型特征值与预置二进制流类型相匹配，按匹配结果确定二进制流对应的类型；根据得到的序列类型对所述二进制流进行对应的反序列处理，得到原始数据。