CN102495906A - 一种实现断点续传的增量式数据迁移方法 - Google Patents

Abstract

本发明涉及一种实现断点续传的增量式数据迁移方法，该方法类似于文件传输的断点续传，实现以表对象和纪录为单位的断点续迁。当数据迁移的过程中发生系统死机、停电、网络断开、系统或者应用程序崩溃等情况而导致迁移失败，重新执行迁移过程时，基于该方法的迁移工具能够自动识别已完成和未完成的迁移任务，从中断点开始继续迁移。本发明的断点续传的迁移方法主要包括两方面：基于迁移计划的迁移中断状态保存和迁移中断状态恢复。采用本发明的数据迁移方法能够保证每次迁移的有效性和连续性，在迁移中断发生时，再次执行同样的迁移任务能够在原有的基础上进行增量迁移，从而避免不必要的数据重复迁移；同时该方法也可免除人工对中断点进行识别然后手工调整迁移任务的繁琐性，大大提升了数据迁移的效率。尤其在海量数据的迁移中，该方法为迁移的连续性、可靠性和高效性提供了有力的保障。

Description

一种实现断点续传的增量式数据迁移方法

技术领域

本发明涉及数据库系统数据迁移技术，尤其是涉及一种实现断点续传机制的增量式数据迁移方法。

背景技术

随着企业信息化的发展，原有的数据库系统可能不能满足企业当前的需要，旧的数据库系统需要转换到新的数据库系统，通常是异构的数据库系统。为了有效地利用旧系统的历史数据，旧数据库中的各种对象，尤其是表对象和数据需要移植到另外一种目标数据库中。这就必不可少的涉及到数据库系统的数据迁移问题。数据迁移是指在不同数据库之间将源数据库中的数据迁移到目标数据库中。迁移的质量和效率往往是新系统成功上线的重要前提，也是新系统今后稳定运行的有力保障。

现有的数据迁移工具和方法一般先制定好本次迁移的任务，视整个的迁移任务为一个整体，对迁移中断的情况不做考虑。虽然商业上的迁移工具一般都提供迁移日志，会给用户提供哪些数据库对象迁移成功，哪些迁移失败的信息，但是不会在迁移的机制中考虑和利用这些信息。

已有的迁移工具和方法存在着如下两个问题：

1、未能考虑到迁移中断的情况。

用户的业务涉及的数据量往往是巨大的，尤其对于海量数据库，其中的表可能会有几万张，每张表的记录数可能达到上亿条。这就导致迁移的过程耗时会很长，过程中出现网络中断、系统或应用程序崩溃等异常情况的可能性因素大大增加，而万一发生这些异常情况而导致迁移中断，用户或者整体重新迁移一遍，覆盖掉以前的迁移成果，导致上一次的迁移前功尽弃；或者用户手工筛选出还未完成迁移的任务，改变下次迁移任务的范围，而对于海量数据库，手工筛选任务费时费力，出错几率增加，正确性难以保证。

2、个别方法和工具考虑到了迁移中断和断点续传的情况，但是方案过于简单，局限性较大。

文献“异构数据库迁移的设计和实现，计算机应用研究，2006年第12期”给出了一种简单的断点续传的数据迁移方法，如果迁移中断，目的表中的数据肯定比源端表的数据少，当再次迁移时，该方法从源端数据库中取得源端表的结果集，以目的端的行数为基准，移动源端结果集的游标到一位置A，则从游标位置A到结果集末尾的所有记录即是本次需要继续迁移的对象。

该方法的局限性体现在：

第一：该方法以源端表和目的端表的记录数为依据，断点续传的迁移只能作用于表的内部，而未能考虑到表对象级别的续传。如果迁移发生中断，该方法不能直接判断出是哪张表发生了迁移中断，此次迁移任务中，哪些表已经成功迁移，哪些表未能迁移，需要从哪里开始。当然也可将该方法作用于所有表的迁移，但是已经成功迁移的表也需要做大量判断，迁移效率将大大降低。

第二：该方法严格要求在被中断的迁移和和下一次的断点续传的迁移之间，迁移任务涉及的目的端的表对象的记录数必须保持不变。万一发生变化，比如在被中断的迁移和断点续传的迁移之间，用户在目的端表插入了新的一行记录，则该方法不再适用。

第三：未能考虑和不适用于索引、序列等其它数据库对象。例如，对于数据量较大的表，索引的建立也可能耗费相当长的时间，如果迁移发生中断，则该方法不能判断出哪些索引已经建立，哪些还未建立，如果要得到答案，可能需要人工查找目标库或者迁移日志，费时费力，降低了迁移效率。

发明内容

针对上述迁移中断时重复迁移数据和简单的基于行数的表内部的断点续传的问题，本发明提供了一种全新的实现断点续传的数据迁移方法，该方法能够实现表对象、索引、序列的断点续迁；对于记录级别的断点续迁，也有较高的可靠性和效率。

本发明所述的数据迁移的断点续传不同于文件传输的断点续传，文件传输往往以字节为单位进行操作的，因此，它的传输可以从每个字节重新传输。而本发明所涉及的数据库迁移的断点续传是以如表对象、记录、索引为单位的。重新执行迁移任务时，从中断点继续迁移，只迁移未完成的表、记录和索引。本发明所涉及的断点续传的迁移方法主要包括两方面：基于迁移任务的迁移中断状态保存和迁移中断状态恢复。该方法所实现的数据迁移采用下列步骤：

A、建立和保存迁移项目：包括迁移的项目名称和本次的迁移任务(或称迁移计划)。具体的操作为：连接源数据库和目的数据库，选择要迁移的表对象、索引。迁移任务的内容包括：源数据库、目的数据库、迁移状态、表对象、索引。其中表对象是按表名排序保存的。保存迁移项目的状态设置为“未完成”。

B、开始迁移，实时保存迁移状态：以迁移表为例，迁移过程中，将当前正在迁移表以及下一个等待迁移的表保存到“未完成迁移”文件中。如果当前正在迁移的表迁移完成，就将该表从“未完成迁移”文件中删除。“未完成迁移”文件中的内容随着迁移过程的进行是动态变化的，始终记录的是当前正在迁移表以及下一个等待迁移的表。同时，对每张表而言，“未完成迁移”文件中要登记正在迁移的一批数据记录的标识信息。标识信息是记录的标识列的特征信息。一般来讲，标识列的值最好是唯一的。如果有主键，标识列优先选取主键；如果没有，可以任意选取一个列。而对于Oracle数据库而言，Oracle 8i后每行记录都提供了rowid，我们可以选取rowid作为标识列。首先根据标识列，对源表的记录进行一次从小到大的排序操作来取得源表的结果集。由于每张表的数据记录数可能很多，出于效率的考虑，我们可以在一个事务中每次取一定数量的记录，比如1000行记录，在目的端表进行批量装载和插入。这1000行数据作为一个整体，或者都迁移成功，或者都失败。因此，对于这一批要迁移的记录来说，我们可以只记录最后一条记录的标识信息。如果标识列的值唯一，则标识信息就是记录的标识列的值，如果不唯一，则标识信息是一个长整形数值，代表记录的位置信息，如成功迁移了5000条记录，则该值取5000。

C、如果迁移任务成功完成，就将“迁移任务”文件中的该任务的状态置为“已完成”。如果迁移发生中断，需要重新开始迁移，就从“迁移任务”文件和“未完成迁移”文件获取被中断的表对象，开始迁移未完成的表对象。而对于迁移时被中断的那张表，可以在“未完成迁移”文件中取得已经迁移完成的标识信息。继续迁移时只要取大于该标示列的值的记录继续就可以了。

所述步骤中的步骤A和B是数据迁移中断状态的保存，当数据迁移发生中断之前，迁移的状态已经提前保存到文件中。步骤C是迁移中断状态的恢复，当重新迁移时，将中断点的迁移信息恢复出来，能够从中断点继续迁移。为了恢复中断点状态，步骤C进一步包括：

C1、判断“迁移任务”文件中的状态，如果是“已完成”，则结束；如果是“未完成”，则读取“未完成迁移”文件中的内容，获得“当前正在迁移表”以及“下一个等待迁移的表”信息。

C2、由于“当前正在迁移表”在中断发生之前，是正在进行迁移的，说明这些表还未迁移完成，将这些表加入到需要继续的迁移任务中。

C3、对于“当前正在迁移表”，要取出最后完成迁移的记录标识。再次迁移时，对该表按照标识字段(包括标识字段名称、标识字段是否唯一和标示字段的值)对源端表的记录进行过滤，去除掉已经完成迁移的记录，只迁移未完成的记录。

C4、“下一个等待迁移的表”是未开始迁移的，由于“迁移任务”文件中的表对象是顺序记录的，则“下一个等待迁移的表”标记了所有未开始迁移的表在“迁移任务”文件中的起始位置，将这个位置及其之后的表对象加入到迁移任务中。然后，开始下一次迁移。

附图说明

图1为本发明涉及的数据迁移系统结构图。

图2为本发明的断点续传的迁移方法的原理图。

图3是本发明的实施例的系统结构图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细描述，描述下本发明的具体原理。

传统的数据迁移系统，如Oracle和微软、IBM的Oracle、SQL Server、DB2提供的商业数据迁移工具，都没有中断处理功能，不能做到断点续传。虽然文献“异构数据库迁移的设计和实现，计算机应用研究，2006年第12期”给出了一种简单的断点续传的数据迁移方法，但有着较大的局限性。本发明所涉及的数据迁移系统，不同于传统的数据迁移系统，其结构如图1所示，其中，数据库访问接口是操作源数据库和目的数据库，进行数据的取出和导入的模块；数据转换模块是完成数据从源端迁移到目的端的类型和格式的转换；断点续传中断处理模块实现了断点续传功能，包括中断状态保存和中断状态恢复。下面结合图2详细介绍本发明的断点续传方法的流程：

S1、连接源数据库和目的数据库，可以使用数据库通用访问接口如ODBC/JDBC驱动连接。

S2、选择本次要从源数据库迁移的表对象，获取表的元数据信息。在启用断点续传机制的情况下，缺省的本次要迁移的表是上一次的被中断的迁移任务中未能完成迁移的表。

S3、将迁移任务保存到“迁移任务”文件MigrationTask.xml中。文件内容包括：源数据库、目的数据库、状态、表对象、索引，以XML格式保存这些信息。其中表对象是按表名排序保存的，状态字段设置为“未完成”。下面以迁移表和记录为例介绍，索引的中断续迁情况与表类似。

S4、开始迁移表对象，可以并发同时迁移多个表。

S5、先处理迁移被中断的表，即找到UnfinishedTables.xml中的CurTables内的表。如果当前CurTables不为空，则说明此前迁移发生过中断，依次取得CurTables中被中断的表和该表的标示字段，按照标识字段对源表数据进行排序和过滤，取得所有未完成迁移的记录，进行续迁；否则说明没有发生过中断，正常进行迁移。在迁移过程中，将当前正在迁移表CurTables以及下一个等待迁移的表WaitingTable保存到“未完成迁移”文件UnfinishedTables.xml中。当正在迁移的表迁移完成，就将该表从UnfinishedTables.xml中删除，然后将新的开始迁移的表名记录到UnfinishedTables.xml的CurTables中，同时将WaitTable修改为新的等待迁移的表。UnfinishedTables.xml中的内容随着迁移过程的进行是动态变化的，始终记录的是当前正在迁移表以及下一个等待迁移的表。

同时，对正在迁移的表，从源端查询结果集时，表记录要按照标识字段排序，如rowid或者主键列或者其它任意一列。正在迁移表CurTables有关标识列的子节点信息叫IdentityColumn、unique和LastFinishedRow，分别代表标识列名称、值是否唯一及最后完成迁移的记录的标识列的值信息。迁移的时候，按照批量迁移策略，在一个事务中每次取一定数量的记录，比如1000行记录，在目的端表进行批量装载和插入。随着每一批次记录迁移完成，都要更新LastFinishedRow的值为这个批次成功完成迁移的记录中最后一条记录的标识列的值。

S6、如果迁移过程正常结束，所有的表对象迁移完成，就将MigrationTask.xml中的状态设置为“已完成”。

S7、如果迁移过程发生中断，需要重新迁移任务，首先，判断MigrationTask.xml中的状态，如果是“已完成”，则结束；如果是“未完成”，则读取UnfinishedTables.xml中的内容，获得CurTables、被中断表的标识字段(包含IdentityColumn、unique、LastFinishedRow)以及WaitingTable信息。

S8、由于CurTables在中断发生之前，是正在进行迁移的，说明这些表还未迁移完成，将这些表加入到需要继续的迁移任务中。另外，WaitingTable是还未开始迁移的，根据MigrationTask.xml记录的表对象的顺序，则WaitingTable标记了所有其它未开始迁移的表在MigrationTask.xml中的起始位置，将这个位置及其之后的表加入到迁移任务中。然后，执行步骤S1，继续迁移过程。

本发明的方法实现了数据迁移过程中的断点续传，当在数据迁移的过程中发生死机、停电、网络断开、系统或者应用程序崩溃等情况，导致迁移失败时，迁移的状态会自动保存下来，重新执行迁移过程时，会从中断点开始迁移，只迁移未完成的表对象、记录和索引，跳过已迁移完成的表对象、记录和索引，避免重复迁移。例如，为了移植数据库系统，需要迁移10000个表对象，在迁移第8001个表对象时，迁移发生中断，这时第8001张表迁移已经完成了其总共1000万行中的800万行记录。基于本发明的方法，重新开始迁移时，会自动的从第8001个表的第8000001行记录开始进行增量式迁移。这样就避免了不必要的重复迁移或者人工识别的繁琐工作，保证了每次迁移的有效性，提升了数据迁移的效率。

通过本发明，可以最大程度的避免数据迁移时发生的中断带来的损失，保证每次迁移的有效性和整体迁移的连续性。

例如，某南方国有大型电力单位的某电力信息系统原先采用Oracle数据库，现由于某种需求要迁移到神通海量数据库KSTORE中。该电力系统业务逻辑较复杂，系统中的表有上万张而且有些表的数据量非常巨大，可达上亿条记录。利用原有的神通数据库的迁移工具实施迁移数据时，发生过网络中断的情况导致迁移被中断，而迁移操作人员一般会删掉目标库中的数据，再执行一遍迁移任务，导致大量数据重复迁移，相当的耗费时间。虽然迁移操作人员可选择根据迁移日志来判断哪些表执行了成功的迁移，从而筛选出哪些表还未迁移，进一步修改迁移任务。但表对象有上万张，同样，索引信息也是成千上万，人工的筛选费时费力且非常容易犯错误。

在基于断点续传的数据库迁移的思路基础上，在原有的神通数据库的迁移工具中加入了本发明所述的断点续传的机制。整个实例的系统结构图如附图3所示。

在迁移系统中加入本发明所述的断点续传的机制后，系统在表、索引对象级别和记录级别实现了断点续传。一张涉及主要业务的数据表，有上亿条记录，发生中断时，已经接近迁移完成。利用原有迁移工具，只能删除重来，而利用加入本文发明的迁移方法的迁移工具，迁移任务可多次执行增量式的迁移而决不会重复迁移，而且整个迁移过程对操作人员是透明的。

通过本发明技术的应用，该迁移工具成功实施了Oracle和神通KSTORE数据库间海量数据的迁移，保证了迁移的质量和效率，且整个断点续传机制不需要用户任何干预，对用户完全透明。用户只需要制定好一次的迁移任务，发生中断时再次执行即可。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但是这些改变和变形均应包含在本发明的保护范围之内。

Claims (6)

1.一种实现断点续传的增量式数据迁移方法，其特征在于，该方法包括以下步骤：

A、连接源数据库和目的数据库，选择要迁移的表对象，保存本次迁移任务到“迁移任务”文件中，并将状态设置为“未完成”；

B、开始迁移表对象，可以同时迁移多个表对象，迁移过程中，将当前正在迁移的表以及下一个等待迁移的表保存到“未完成迁移”文件中；迁移时，每张表的记录要按照该表的标识列进行排序，同时对正在迁移的表，登记该表的标识列的名称、标识列是否唯一到“未完成迁移”文件中，随着迁移的进行，不断更新表的标识列的值，该值代表最新已经完成迁移的记录的特征，当正在迁移的表迁移完成，就将该表从“未完成迁移”文件中删除，“未完成迁移”文件中的内容随着迁移过程的进行是动态变化的，始终记录的是当前正在迁移表以及下一个等待迁移的表，同时，对正在迁移的表，登记和更新该表的标识列的值；

C、如果迁移任务成功完成，就将“迁移任务”文件中的状态置为“已完成”，如果迁移发生中断，需要重新开始迁移，就从“迁移任务”文件和“未完成迁移”文件获取被中断的表对象，开始迁移未完成的表对象，对迁移恰好被中断的表，读取标识列的信息，对源表的记录进行过滤，去除已经完成迁移的记录，从中断点开始继续迁移。

2.根据权利要求1所述的方法，其特征在于：所述“迁移任务”文件的内容包括：迁移任务名称、源数据库、目的数据库、时间、状态、表对象，所述文件中的时间是迁移任务开始执行迁移的时间，状态是指迁移是否完成，表对象包括以表名排序的所有表。

3.根据权利要求1或2所述的方法，其特征在于：所述“未完成迁移”文件中保存了两部分内容：当前正在迁移表和下一个等待迁移的表；其中，对应并发迁移，所述当前正在迁移表可以是多个表，并且其具有标识列的名称、标识列的值是否唯一、标识列的值三个信息。

4.根据权利要求3所述的方法，其特征在于：所述标识列的名称是从表的所有列中选取的一列具有标识特征的列的名称；所述标识列的值是否唯一是布尔值，代表该表中该标识列的值是否有重复；所述标识列的值，代表已经完成迁移的记录的特征信息，当所述标识列的值唯一，则该值即为已经完成迁移的按照标识字段排序的最后一条记录所在标识列的值，如果不唯一，该值是一个长整数，代表已经完成迁移的记录的位置信息。

5.根据权利要求1或2所述的方法，其特征在于，所述“迁移任务”文件和“未完成迁移”文件用于中断状态的保存，当迁移过程发生中断时，将中断点的迁移状态信息记录下来。

6.根据上述权利要求中任意一个所述的方法，其特征在于，在步骤C中，重新开始迁移时，需要进行中断状态的恢复，将中断点的迁移状态信息获取出来，才能在中断点继续迁移；为了恢复中断点状态，则步骤C进一步包括：

C1、判断“迁移任务”文件中的状态，如果是“已完成”，则结束；如果是“未完成”，则读取“未完成迁移”文件中的内容，获得“当前正在迁移表”以及“下一个等待迁移的表”信息；

C2、由于“当前正在迁移表”在中断发生之前，是正在进行迁移的，说明这些表还未迁移完成，将这些表加入到需要继续的迁移任务中；

C3、对于“当前正在迁移表”，要取出标识列的名称、标识列的值是否唯一和标识列的值信息，再次迁移时，对该表按照标识列的信息对源端表的记录进行过滤，去除已经完成迁移的记录，只迁移未完成的记录；

C4、“下一个等待迁移的表”是未开始迁移的，由于“迁移任务”文件中的表对象是顺序记录的，则“下一个等待迁移的表”标记了所有未开始迁移的表在“迁移任务”文件中的起始位置，将这个位置及其之后的表对象加入到迁移任务中，然后，开始迁移任务。

Images