CN105808612A - 用于迁移数据库的数据的方法及设备 - Google Patents

Abstract

本发明的实施例公开了一种用于迁移数据库的数据的方法及设备。该方法包括：将数据库的数据存储到多个文件中；将该多个文件分别通过多个进程进行解析；以及基于解析的结果和迁移后的数据库的数据，对数据库的数据的迁移进行验证。本发明的实施例可以实现数据迁移过程中的数据验证，从而避免数据迁移不完整和数据丢失等问题。同时，这个实施例还采用了通过多进程来解析多个文件，从而能够有效提高数据验证的效率。

Description

用于迁移数据库的数据的方法及设备

技术领域

本发明的实施例涉及数据库领域，具体涉及一种用于迁移数据库的数据的方法及设备。

背景技术

随着互联网的迅猛发展，各个互联网企业每天都会产生海量业务数据。通过对这些业务数据进行数据应用，例如数据收集、数据解析和数据分析等操作，互联网企业能够有效进行企业战略决策。

进而，随着业务数据的数据量持续增长，业务系统的负载容量也持续增长，从而需要例如从旧数据库向新数据库进行数据迁移。

然而，根据相关技术的数据迁移经常出现以下问题：

1、数据迁移不完整；

2、数据丢失并且不知道哪部分数据丢失；

3、数据存在字符集方面的问题。

发明内容

本发明的实施例旨在提供一种用于迁移数据库的数据的方法，能够解决相关技术中存在的问题。

根据本发明的一个方面，提供了一种用于迁移数据库的数据的方法。该方法包括：将数据库的数据存储到多个文件中；将该多个文件分别通过多个进程进行解析；以及基于解析的结果和迁移后的该数据库的数据，对该数据库的数据的迁移进行验证。

根据本发明的另一个方面，提供了一种用于迁移数据库的数据的设备，该设备包括：存储装置，用于将数据库的数据存储到多个文件中；解析装置，用于将该多个文件分别通过多个进程进行解析；以及验证装置，用于基于解析的结果和迁移后的该数据库的数据，对该数据库的数据的迁移进行验证。

本发明的实施例能够准确、高效地完成数据迁移，有效保证数据迁移的正确性、完整性和一致性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:

图1是图示了本发明的实施例可实现于其中的网络架构100的图；

图2是根据本发明的实施例的用于迁移数据库的数据的方法200的流程图；

图3是根据本发明的实施例的用于迁移数据库的数据的方法的示意图；以及

图4是根据本发明的实施例的用于迁移数据库的数据的设备300的结构框图。

具体实施方式

下面将参考附图中示出的若干示例性实施方式来描述本发明的原理和精神。应当理解，描述这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

参考图1，其图示了本发明的实施例可实现于其中的网络架构100的图。该网络架构100包括由网络120连接的多个服务器102、104、106、112、114和116。这些服务器中的每个服务器都可以包括处理设备和数据库，该数据库用来存储相应的计算机指令和业务数据，例如，服务器102、104和106可以分别用来存储用于出租车业务、专车业务和其他业务的数据，服务器112、114和116可以相应地用来存储将这些数据迁移后的数据；该处理设备用于执行在相应的数据库中所存储的计算机指令以执行例如根据本发明的实施例的迁移数据库的数据的功能。另外，该网络架构100还可以包括用于迁移数据库的数据的数据迁移服务器122。

本领域技术人员可以理解，上述服务器既可以代表比如计算机服务器的单个计算设备，也可以代表一起工作以执行功能的多个计算设备(例如云服务器hadoop)。同时，上述网络120既可以是公用通信网络(例如因特网、蜂窝数据网络、通过电话的拨号调制解调器网络)，也可以是私有通信网络(例如私有局域网、专线)。

应当理解，图1中的网络架构100仅仅用于说明目的，并非旨在限制本发明的实施例的范围。在某些情况下，某些组件可以按照具体需要而增加或者减少。

图2是根据本发明的实施例的用于迁移数据库的数据的方法200的流程图。本领域技术人员可以理解，该方法200可以由参考图1所示的服务器中的处理设备来执行。为讨论方便，下文将参考图1所示的网络结构100来描述该方法200。

在方法200开始之后，在步骤S202，将数据库的数据存储到多个文件中。

其中，这些数据可以分别获取自例如服务器102、104和106，这种获取既可以由该服务器内部的处理设备来执行，也可以由该服务器外部的处理设备来执行。本领域技术人员可以理解，由该服务器内部的处理设备来执行是简便地从而是可选地，这可以减少在网络中的数据传输量。

此外，这些多个文件可以位于例如数据迁移服务器122中，并且分别用于存储用于出租车业务、专车业务和其他业务的数据。例如，通过文件A1、A2和A3来存储用于出租车业务的数据，并且通过文件B1、B2和B3来存储用于专车业务的数据。

接下来，该方法200进行到步骤S204，将该多个文件分别通过多个进程进行解析。例如，通过进程A来解析文件A1、A2和A3，并且通过进程B来解析文件B1、B2和B3。本领域技术人员能够理解，这个实施例中所描述的进程A与多个文件的对应关系仅仅作为举例而非限制，实际应用中，还可以采用其它对应关系，例如采用6个进程，其中每个进程对应文件A1、A2、A3、B1、B2和B3中的一个文件，其均应当纳入本发明的保护范围。

该方法200继而进行到步骤S206，基于解析的结果和迁移后的数据库的数据，对数据库的数据的迁移进行验证。例如，本发明可以从所解析的结果中获取数据标识信息和数据内容信息，其中该数据标识信息可以是针对该数据预先设定的标识(ID)；基于该数据标识信息查询迁移后的数据库的数据，得到该迁移后的数据库的数据的数据内容信息；以及基于所获取的数据内容信息和所查询的数据内容信息，对数据库的数据的迁移进行验证。

本领域技术人员能够理解，采用通过方法200所描述的实施例，可以实现数据迁移过程中的数据验证，从而避免数据迁移不完整和数据丢失等问题。同时，这个实施例还采用了通过多进程来解析多个文件，从而能够有效提高数据验证的效率。

根据本发明的实施例，这些多个文件可以被划分为多个文件组并且分别通过该多个进程并行地进行解析。例如，文件A1、A2和A3可以被划分为文件组A并且通过进程A来解析，文件B1、B2和B3可以被划分为文件组B并且并行地通过进程B来解析。本领域技术人员能够理解，这个实施例采用多进程并行批量地来解析多个文件，从而能够更有效提高数据验证的效率。

根据本发明的实施例，对数据库的数据的迁移进行验证可以例如采用如下各种验证方式或其组合。

第一，将所获取的数据内容信息和所查询的数据内容信息进行逐行比较。具体来说，如果比较结果指示所获取的数据内容信息和所查询的数据内容信息不一致，则记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行修改。在这个实施例中，通过逐行比较，能够确保迁移前后的数据完全一致，完全避免数据迁移不完整和数据丢失等问题。

第二，将所获取的数据内容信息的数据量和所查询的数据内容信息的数据量进行比较。具体来说，如果比较结果指示所获取的数据内容信息的数据量和所查询的数据内容信息的数据量不一致，则记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行补充。在这个实施例中，通过比较数据量，能够确保迁移前后的数据量完全一致，从而以较高效率在较大程度上避免数据迁移不完整和数据丢失等问题。

第三，将用于存储所获取的数据内容信息的存储类型和用于存储所查询的数据内容信息的存储类型进行比较。具体来说，如果比较结果指示所获取的数据内容信息的存储类型和所查询的数据内容信息的存储类型不一致，则记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息的存储类型进行修改。在这个实施例中，通过比较存储类型，能够确保迁移前后的存储类型完全一致，从而以较高效率在较大程度上避免数据迁移不完整和数据丢失等问题。

图3是根据本发明的实施例的用于迁移数据库的数据的方法的示意图。其中，迁移前的关系型数据库302采用分布式部署，数据存储容量约4至5亿条。为了将这些数据迁移至数据库集群304，根据本发明的实施例的用于迁移数据库的数据的方法包括如下步骤：

1、查询关系型数据库302中的数据。

2、将所查询的数据存储到分批数据存储结果集，该存储结果集可以包括上述多个文件或者文件组。

3、采用多进程分批执行所存储的数据和迁移后的数据库集群304中的数据之间的验证。该验证可以采用上述三种验证方式中的一种或多种，例如，逐行对比数据并且验证数据字符集是否一致。

4、记录验证结果，该结果可以包括如下结果中的一种或多种：数据不一致结果、数据字符问题数据结果、数据一致结果以及验证数据耗时等。

经过实际验证，本发明的实施例如果采用10个进程，则能够实现每秒约4000条的验证速度，从而对于每月约4至5亿条的数据存储容量，只需要约27.8-34.8小时就可以完成数据验证。因此，本发明的实施例，既能够避免数据迁移不完整和数据丢失等问题，又能够有效提高数据验证的效率。

图4是根据本发明的实施例的用于迁移数据库的数据的设备400的结构框图。如图4所示，该设备400包括：存储装置402，用于将数据库的数据存储到多个文件中；解析装置404，用于将该多个文件分别通过多个进程进行解析；以及验证装置406，用于基于解析的结果和迁移后的数据库的数据，对数据库的数据的迁移进行验证。

根据本发明的实施例，解析装置404包括：划分单元，用于将多个文件划分为多个文件组，其中该多个文件组与该多个进程一一对应；以及解析单元，用于将该多个文件组分别通过该多个进程并行地进行解析。

根据本发明的实施例，验证装置406包括：获取单元，用于从该解析的结果中获取数据标识信息和数据内容信息；查询单元，用于基于该数据标识信息查询迁移后的该数据库的数据，得到迁移后的该数据库的数据的数据内容信息；以及验证单元，用于基于所获取的数据内容信息和所查询的数据内容信息，对该数据库的数据的迁移进行验证。

根据本发明的实施例，验证单元包括：第一比较模块，用于将所获取的数据内容信息和所查询的数据内容信息进行逐行比较；以及第一验证模块，用于基于比较的结果，对该数据库的数据的迁移进行验证。

根据本发明的实施例，第一验证模块包括第一确定子模块，用于确定该比较的结果指示所获取的数据内容信息和所查询的数据内容信息不一致；以及第一记录子模块，用于在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行修改。

根据本发明的实施例，第一验证模块还包括：第二记录子模块，用于在验证的结果中记录所获取的数据内容信息和所查询的数据内容信息之间的差异，以便对所查询的数据内容信息进行修改。

根据本发明的实施例，验证单元包括：第二比较模块，用于将所获取的数据内容信息的数据量和所查询的数据内容信息的数据量进行比较；以及第二验证模块，用于基于比较的结果，对该数据库的数据的迁移进行验证。

根据本发明的实施例，第二验证模块包括：第二确定子模块，用于确定该比较的结果指示所获取的数据内容信息的数据量和所查询的数据内容信息的数据量不一致；以及第三记录子模块，用于在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行补充。

根据本发明的实施例，验证单元包括：第三比较模块，用于将用于存储所获取的数据内容信息的存储类型和用于存储所查询的数据内容信息的存储类型进行比较；以及第三验证模块，用于基于比较的结果，对该数据库的数据的迁移进行验证。

根据本发明的实施例，第三验证模块包括：第三确定子模块，用于确定该比较的结果指示用于存储所获取的数据内容信息的存储类型和用于存储所查询的数据内容信息的存储类型不一致；以及第四记录子模块，用于在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对用于存储所查询的数据内容信息的存储类型进行修改。

综上所述，根据上述本发明的实施例，提供了一种用于迁移数据库的数据的方法及设备。该方法包括：将数据库的数据存储到多个文件中；将该多个文件分别通过多个进程进行解析；以及基于解析的结果和迁移后的数据库的数据，对数据库的数据的迁移进行验证。本发明的实施例可以实现数据迁移过程中的数据验证，从而避免数据迁移不完整和数据丢失等问题。同时，这个实施例还采用了通过多进程来解析多个文件，从而能够有效提高数据验证的效率。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明可选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等效替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种用于迁移数据库的数据的方法，包括：

将数据库的数据存储到多个文件中；

将所述多个文件分别通过多个进程进行解析；以及

基于解析的结果和迁移后的所述数据库的数据，对所述数据库的数据的迁移进行验证。

2.根据权利要求1所述的方法，其中将所述多个文件分别通过多个进程进行解析包括：

将所述多个文件划分为多个文件组，其中所述多个文件组与所述多个进程一一对应；以及

将所述多个文件组分别通过所述多个进程并行地进行解析。

3.根据权利要求1所述的方法，其中基于解析的结果和迁移后的所述数据库的数据，对所述数据库的数据的迁移进行验证包括：

从所述解析的结果中获取数据标识信息和数据内容信息；

基于所述数据标识信息查询迁移后的所述数据库的数据，得到迁移后的所述数据库的数据的数据内容信息；以及

基于所获取的数据内容信息和所查询的数据内容信息，对所述数据库的数据的迁移进行验证。

4.根据权利要求3所述的方法，其中基于所获取的数据内容信息和所查询的数据内容信息，对所述数据库的数据的迁移进行验证包括：

将所获取的数据内容信息和所查询的数据内容信息进行逐行比较；以及

基于比较的结果，对所述数据库的数据的迁移进行验证。

5.根据权利要求4所述的方法，其中基于比较的结果，对所述数据库的数据的迁移进行验证包括：

确定所述比较的结果指示所获取的数据内容信息和所查询的数据内容信息不一致；以及

在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行修改。

6.根据权利要求5所述的方法，在确定所述比较的结果指示所获取的数据内容信息和所查询的数据内容信息不一致之后，还包括：

在验证的结果中记录所获取的数据内容信息和所查询的数据内容信息之间的差异，以便对所查询的数据内容信息进行修改。

7.根据权利要求3所述的方法，其中基于所获取的数据内容信息和所查询的数据内容信息，对所述数据库的数据的迁移进行验证包括：

将所获取的数据内容信息的数据量和所查询的数据内容信息的数据量进行比较；以及

基于比较的结果，对所述数据库的数据的迁移进行验证。

8.根据权利要求7所述的方法，其中基于比较的结果，对所述数据库的数据的迁移进行验证包括：

确定所述比较的结果指示所获取的数据内容信息的数据量和所查询的数据内容信息的数据量不一致；以及

在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行补充。

9.根据权利要求3所述的方法，其中基于所获取的数据内容信息和所查询的数据内容信息，对所述数据库的数据的迁移进行验证包括：

将用于存储所获取的数据内容信息的存储类型和用于存储所查询的数据内容信息的存储类型进行比较；以及

基于比较的结果，对所述数据库的数据的迁移进行验证。

10.根据权利要求9所述的方法，其中基于比较的结果，对所述数据库的数据的迁移进行验证包括：

确定所述比较的结果指示用于存储所获取的数据内容信息的存储类型和用于存储所查询的数据内容信息的存储类型不一致；以及

在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对用于存储所查询的数据内容信息的存储类型进行修改。

11.一种用于迁移数据库的数据的设备，包括：

存储装置，用于将数据库的数据存储到多个文件中；

解析装置，用于将所述多个文件分别通过多个进程进行解析；以及

验证装置，用于基于解析的结果和迁移后的所述数据库的数据，对所述数据库的数据的迁移进行验证。

12.根据权利要求11所述的设备，其中所述解析装置包括：

划分单元，用于将所述多个文件划分为多个文件组，其中所述多个文件组与所述多个进程一一对应；以及

解析单元，用于将所述多个文件组分别通过所述多个进程并行地进行解析。

13.根据权利要求11所述的设备，其中所述验证装置包括：

获取单元，用于从所述解析的结果中获取数据标识信息和数据内容信息；

查询单元，用于基于所述数据标识信息查询迁移后的所述数据库的数据，得到迁移后的所述数据库的数据的数据内容信息；以及

验证单元，用于基于所获取的数据内容信息和所查询的数据内容信息，对所述数据库的数据的迁移进行验证。

14.根据权利要求13所述的设备，其中所述验证单元包括：

第一比较模块，用于将所获取的数据内容信息和所查询的数据内容信息进行逐行比较；以及

第一验证模块，用于基于比较的结果，对所述数据库的数据的迁移进行验证。

15.根据权利要求14所述的设备，其中所述第一验证模块包括：

第一确定子模块，用于确定所述比较的结果指示所获取的数据内容信息和所查询的数据内容信息不一致；以及

第一记录子模块，用于在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行修改。

16.根据权利要求15所述的设备，其中所述第一验证模块还包括：

第二记录子模块，用于在验证的结果中记录所获取的数据内容信息和所查询的数据内容信息之间的差异，以便对所查询的数据内容信息进行修改。

17.根据权利要求13所述的设备，其中所述验证单元包括：

第二比较模块，用于将所获取的数据内容信息的数据量和所查询的数据内容信息的数据量进行比较；以及

第二验证模块，用于基于比较的结果，对所述数据库的数据的迁移进行验证。

18.根据权利要求17所述的设备，其中所述第二验证模块包括：

第二确定子模块，用于确定所述比较的结果指示所获取的数据内容信息的数据量和所查询的数据内容信息的数据量不一致；以及

第三记录子模块，用于在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对所查询的数据内容信息进行补充。

19.根据权利要求13所述的设备，其中所述验证单元包括：

第三比较模块，用于将用于存储所获取的数据内容信息的存储类型和用于存储所查询的数据内容信息的存储类型进行比较；以及

第三验证模块，用于基于比较的结果，对所述数据库的数据的迁移进行验证。

20.根据权利要求19所述的设备，其中所述第三验证模块包括：

第三确定子模块，用于确定所述比较的结果指示用于存储所获取的数据内容信息的存储类型和用于存储所查询的数据内容信息的存储类型不一致；以及

第四记录子模块，用于在验证的结果中记录与所获取的数据内容信息对应的数据标识信息，以便对用于存储所查询的数据内容信息的存储类型进行修改。