CN107229670A

CN107229670A - 基于Avro的通用数据序列化及反序列化方法

Info

Publication number: CN107229670A
Application number: CN201710229253.XA
Authority: CN
Inventors: 木伟民; 李春阳; 李名扬; 王伟平
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2017-04-10
Filing date: 2017-04-10
Publication date: 2017-10-03

Abstract

本发明公开了基于Avro的通用数据序列化及反序列化方法。该方法使用统一的数据格式，从而保证不同表的数据均可用这种方式进行存储，降低不同表的数据与系统之间的耦合度；支持数据的打包存储，可以提供数据的批量传输，大大的提高了传输效率，此外，本发明使用Avro技术对数据进行校验，避免生成错误数据。

Description

基于Avro的通用数据序列化及反序列化方法

技术领域

本发明属于网络数据处理技术领域，涉及基于Avro的通用数据序列化及反序列化方法。

背景技术

序列化是将数据对象状态转换为可存储或传输的格式的过程，与序列化相反的是反序列化，它将流转换为数据对象，这两个过程结合起来，可以轻松地存储和传输数据。

随着云计算、社交网络、移动互联网的快速发展，数据量以前所未有的速度增长，人们也越来越深的认识到数据传输格式的重要性。

由于对象序列化技术使用的广泛性，很多计算机语言都在语言层面，通过标准库的方式，提供对象序列化的功能的支持，Java，C#，Python等。标准库都仅仅是实现了对象的序列化功能，开发人员如果要使用这些库，必须自己去设计对象具体的外部表现形式。

现阶段，基于互联网云技术的发展，大数据越来越受到关注。结构化数据的数据量爆炸性增长，因此如何将数据快速而又稳定的传输是我们需要解决的问题。在实际过程中，面对海量的有价值结构化数据，格式的不同是令人头疼的问题，并且传输的效率很低下。目前已有的序列化方法(如专利申请201210475914.4公开的通用的对象序列化的实现方法)，很难满足一些比较灵活的应用场景。并且，目前对C语言的接口过于繁琐，开发人员使用不方便。

发明内容

本发明的目的在于提供基于Avro的通用数据序列化及反序列化方法。该方法使用统一的结构保证可以适用数据库中任何的表，降低不同表的数据与系统之间的耦合度。同时，可以提供数据的批量传输，大大的提高了传输效率。

为了实现上述目的，本发明提供以下技术方案：

基于Avro的通用数据序列化方法，包括如下步骤：

1-1)基于待序列化数据定义Avro模式的doc消息格式文件。

1-2)使用步骤1-1)中定义的doc消息格式文件将每条待序列化的数据转换为与其一一对应的doc格式文件对象，然后将doc格式文件对象用docs格式文件对象进行封装。

1-3)使用Avro技术实现对步骤1-2)封装得到的docs格式文件对象的序列化。

进一步地，步骤1-1)中基于待序列化数据中的内容字段所包含的字段类型通过Json定义Avro模式的doc消息格式文件。

进一步地，步骤1-1)中定义的doc消息格式文件包含基本类型(含整型，浮点型，布尔型等)和构造类型(包含数据类型和构造类型等)。

进一步地，步骤1-1)中，所述doc消息格式文件用于存储不同的表的数据。

进一步地，所述doc消息格式文件以map形式存储不同的表的数据。

进一步地，步骤1-2)中，还包括使用Avro技术将每条待序列化的数据的doc格式文件转换为Avro的doc格式文件对象，再将每条待序列化的数据放入相应位置。

进一步地，步骤1-2)中，还包括使用Avro技术将待序列化的数据的docs格式文件转换为Avro的docs格式文件对象，再将单条或多条doc格式文件对象转换成二进制放入docs格式文件对象中的doc_set中以实现封装，其中，doc_set中为阵列数组，用于存储doc格式文件对象。

进一步地，步骤1-3)还包括对进行序列化的docs格式文件对象进行校验，当docs格式文件对象中封装的字段的值与类型不匹配时，无法实现序列化。

基于Avro对上述方法得到的序列化数据进行反序列化的方法，包括如下步骤：

2-1)使用Avro技术对序列化数据进行反序列化，得到docs格式文件对象。

2-2)将反序列化出的docs格式文件对象内的doc文件对象逐条取出，完成数据的反序列化。

进一步地，步骤2-1)中，所述序列化数据为二进制数据。

进一步地，步骤2-1)还包括将序列化数据使用步骤1-1)中定义的doc消息格式文件以Avro技术转换为doc格式文件对象。

本发明具有以下优点：

1、使用统一的数据格式。不同表的数据均可用这种方式进行存储。

2、而且支持数据的打包存储。例如将N条数据打包成一条数据，并以二进制的方式传输，极大的提高了传输效率。

3、使用Avro技术对数据进行校验，避免生成错误数据。

附图说明

图1为本发明的序列化方法以及基于该序列化方法进行网络通信的流程图。

具体实施方式

为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。

实施例

如图1所示，根据本发明的优选实施例包括：

第一步骤S1：按照常规结构体定义的方式，根据需要序列化的字段所包含的类型通过Json定义成Avro模式的doc消息格式文件。

例如数据库中某一张表字段名与字段类型如下表1所示：

表1.数据库中某一张表的字段名与字段类型列表

对于上表中的数据就可以通过Json定义成以下doc消息格式文件，

其中"protocol":"doc"为模板名，"types"中为自定义的类型，以"types"中的"record"类型为例，"int_s"存储表中int类型数据，"string_s"存储表中的string类型的数据，数据以map形式进行存储，key为字段名，value为字段的值。(int_a、string_a分别表示int类型和string类型的数组，此处不做详述。)

Docs格式文件如下：

其中，"name":"doc_schema_name"为数据库所对应的库表，例：db.table，即此次批量的数据需为同一张表，doc_set中为array数组，这里可以将doc数据格式文件放入，此处仅为一个示例，如需要其他内容可自行定义。

第二步骤S2：使用Avro技术将doc格式文件转换为Avro的doc格式文件对象，将表中数据放入第一步骤S1中的相应位置，如果需要批量发送则重复第二步骤S2。

第三步骤S3：使用Avro技术将docs格式文件转换为Avro的docs格式文件对象，将第二步骤S2中的单条或多条数据转换成二进制数据放入docs格式文件对象中的doc_set中。

第四步骤S4：使用公知的Avro技术对第三步骤S3中的docs格式文件对象进行序列化，由此可以对数据进行校验，如值与类型放入不匹配时，将无法序列化，亦可保证数据的完整性。

第五步骤S5：将序列化的二进制数据进行传输。

将序列化的二进制数据使用第一步骤中定义的Avro模式的doc消息格式文件以Avro技术转换为doc文件格式对象，此时可以将数据取出并使用。例如：可以从数据库中获取表结构，根据获取的表结构从doc文件格式对象中获取相应类型的数据，便于操作。此处使用的Avro模式的doc消息格式文件之所以与序列化方法中第一步骤S1中定义的Avro模式的doc消息格式文件保持一致，同样是为了对数据进行校验以及确保数据的完整性。

本发明提供了一个成熟的易于使用的序列化及反序列化方法。序列化及反序列化方法使用Json格式表示对象的序列化数据，可读性强，方便编辑。

本发明并不限于上文讨论的实施方式。以上对具体实施方式的描述旨在于为了描述和说明本发明涉及的技术方案。基于本发明启示的显而易见的变换或替代也应当被落为本发明的保护范围。以上的具体实施方式用来揭示本发明的最佳实施方案，以使得本领域的普通技术人员能够应用本发明的多种实施方式以及多种替代方式来达到本发明的目的。

Claims

1.基于Avro的通用数据序列化方法，包括如下步骤：

1-1)基于待序列化数据定义Avro模式的doc消息格式文件；

1-2)使用步骤1-1)中定义的doc消息格式文件将每条待序列化的数据转换为与其一一对应的doc格式文件对象，然后将doc格式文件对象用docs格式文件对象进行封装；

2.如权利要求1所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-1)中定义的doc消息格式文件包含基本类型和构造类型。

3.如权利要求1所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-1)中，所述doc消息格式文件用于存储不同的表的数据。

4.如权利要求3所述的基于Avro的通用数据序列化方法，其特征在于，所述doc消息格式文件以map形式存储不同的表的数据。

5.如权利要求1所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-2)中，还包括使用Avro技术将每条待序列化的数据的doc格式文件转换为Avro的doc格式文件对象，再将每条待序列化的数据放入相应位置。

6.如权利要求5所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-2)中，还包括使用Avro技术将待序列化的数据的docs格式文件转换为Avro的格式文件对象，再将单条或多条doc格式文件对象转换成二进制放入docs格式文件对象中的doc_set中以实现封装，其中，doc_set中为阵列数组，用于存储doc格式文件对象。

7.如权利要求1所述的基于Avro的通用数据序列化方法，其特征在于，步骤1-3)还包括对进行序列化的docs格式文件对象进行校验，当docs格式文件对象中封装的字段的值与类型不匹配时，无法实现序列化。

8.基于Avro对权利要求1-7任一所述方法得到的序列化数据进行反序列化的方法，包括如下步骤：

2-1)使用Avro技术对序列化数据进行反序列化，得到docs格式文件对象；

9.如权利要求8所述的进行反序列化的方法，其特征在于，步骤2-1)中，所述序列化数据为二进制数据。

10.如权利要求8所述的进行反序列化的方法，其特征在于，步骤2-1)还包括将序列化数据使用步骤1-1)中定义的doc消息格式文件以Avro技术转换为doc格式文件对象。