CN113127412A - 一种数据迁移方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据迁移方法、装置、计算机设备及存储介质。该方法包括：配置任务参数，任务参数包括数据迁移的数据源以及目标位置；根据任务参数生成任务请求，以触发迁移任务启动，从数据源获取待迁移数据并迁移到目标位置；在执行迁移任务的过程中，实时监控任务状态，若出现异常，则中断迁移任务，并记录当前任务信息，当前任务信息包括异常位置；对异常进行处理，并根据当前任务信息重新启动迁移任务，以从异常位置继续执行。本发明实施例所提供的技术方案，在发生数据异常导致迁移中断时可以及时的定位问题，并在问题处理后无需重新跑批已成功迁移的数据，大大的提高了数据迁移的效率，也节约了相应的资源。

Description

一种数据迁移方法、装置、计算机设备及存储介质

技术领域

本发明实施例涉及数据迁移技术领域，尤其涉及一种数据迁移方法、装置、计算机设备及存储介质。

背景技术

随着web系统开发技术的不断优化升级，数据迁移应用场景越来越广泛，高效准确地完成数据迁移工作也是每个系统升级的必经之路。

现有的数据迁移技术一般是通过sql脚本或者普通应用程序来实现的，无法实现数据迁移过程的追踪，数据丢失时无法及时精准定位原因，也没有一个完整的流程体系，在迁移失败的情况下，通常需要重新进行数据迁移，效率十分低下，对计算机资源也造成了极大的浪费。

发明内容

本发明实施例提供一种数据迁移方法、装置、计算机设备及存储介质，以在发生数据异常导致迁移中断时可以及时定位问题，并在问题处理后无需重新跑批已成功迁移的数据。

第一方面，本发明实施例提供了一种数据迁移方法，该方法包括：

配置任务参数，所述任务参数包括数据迁移的数据源以及目标位置；

生成任务请求，以触发迁移任务启动，从所述数据源获取待迁移数据并迁移到所述目标位置；

在执行所述迁移任务的过程中，实时监控任务状态，若出现异常，则中断所述迁移任务，并记录当前任务信息，所述当前任务信息包括异常位置；

对所述异常进行处理，并根据所述当前任务信息重新启动所述迁移任务，以从所述异常位置继续执行。

第二方面，本发明实施例还提供了一种数据迁移装置，该装置包括：

参数配置模块，用于配置任务参数，所述任务参数包括数据迁移的数据源以及目标位置；

任务触发模块，用于生成任务请求，以触发迁移任务启动，从所述数据源获取待迁移数据并迁移到所述目标位置；

异常监控模块，用于在执行所述迁移任务的过程中，实时监控任务状态，若出现异常，则中断所述迁移任务，并记录当前任务信息，所述当前任务信息包括异常位置；

异常处理模块，用于对所述异常进行处理，并根据所述当前任务信息重新启动所述迁移任务，以从所述异常位置继续执行。

第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的数据迁移方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的数据迁移方法。

本发明实施例提供了一种数据迁移方法，在每次需要进行数据迁移时，首先配置任务参数，该任务参数包括数据迁移过程对应的数据源以及目标位置，然后根据配置的任务参数生成任务请求，以触发迁移任务启动，从而从数据源获取待迁移数据并迁移到目标位置，在执行该迁移任务的过程中，实时监控任务状态，若出现异常，则中断该迁移任务，并记录当前任务信息，当前任务信息包括异常位置，然后对该异常进行处理，并根据记录的当前任务信息重新启动迁移任务，以从该异常位置继续执行。本发明实施例所提供的数据迁移方法，通过根据配置的任务参数生成对应的任务请求，实现了多种数据类型的数据迁移，无需重复开发，同时通过在迁移过程中出现异常时，记录当前任务信息，并在异常恢复后重启迁移任务从记录的异常位置继续执行，避免了每次异常过后的重新执行，在发生数据异常导致迁移中断时可以及时的定位问题，并在问题处理后无需重新跑批已成功迁移的数据，大大的提高了数据迁移的效率，也节约了相应的资源。

附图说明

图1为本发明实施例一提供的数据迁移方法的流程图；

图2为本发明实施例二提供的数据迁移装置的结构示意图；

图3为本发明实施例三提供的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的数据迁移方法的流程图。本实施例可适用于对多种数据类型的数据进行数据迁移的情况，该方法可以由本发明实施例所提供的数据迁移装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中。如图1所示，具体包括如下步骤：

S11、配置任务参数，任务参数包括数据迁移的数据源以及目标位置。

其中，数据源为待迁移数据原本处于的位置，目标位置为需要将待迁移数据迁移到的位置。可以在web客户端为用户提供可交互的操作界面，并通过接收用户的设定来配置任务参数，则可以根据用户的需要确定当前迁移任务的数据源以及目标位置。可选的，数据源的数据类型为数据文件、关系型数据库、非关系型数据库或消息队列中的一种，目标位置的数据类型为数据文件、关系型数据库、非关系型数据库或消息队列中的一种。即本实施例所提供的数据迁移方法可以实现上述任意两种数据类型之间的数据迁移。

S12、根据任务参数生成任务请求，以触发迁移任务启动，从数据源获取待迁移数据并迁移到目标位置。

具体的，在完成了任务参数的配置之后，可以通过操作界面上的按钮实现手动触发，即当用户点击了该按钮时，根据配置的任务参数生成对应的任务请求，也可以通过配置定时器来实现自动触发，即当定时器倒计时结束时自动的根据配置的任务参数生成对应的任务请求。在生成了任务请求之后，即可触发当前的迁移任务启动，从而开始执行将待迁移数据从数据源迁移到目标位置的过程。可选的，在迁移任务完成后，可以对本次迁移的数据信息、不达标被过滤的数据以及最终迁移到目标位置的数据量进行追踪，从而保证数据迁移的准确性。

S13、在执行迁移任务的过程中，实时监控任务状态，若出现异常，则中断迁移任务，并记录当前任务信息，当前任务信息包括异常位置。

具体的，在执行迁移任务的过程中，可以设置各类监听器实时监控任务状态，当出现异常时，中断迁移任务，并记录当前任务信息，任务信息包括异常位置，以便后续根据该异常位置重新启动迁移任务继续执行，而非从头执行。当前任务信息还可以包括报错信息、当前任务状态、版本信息、读取的数据、过滤数据次数、写入数据次数、事务提交次数以及数据跳过次数等等，以便于迁移任务可以根据当前任务信息进行恢复。

S14、对异常进行处理，并根据当前任务信息重新启动迁移任务，以从异常位置继续执行。

具体的，当发生异常时，可以根据记录的报错信息对该异常进行处理，排查并解决异常后即可再次启动迁移任务，并接着上一次跑批达到的位置，即异常位置根据所记录的当前任务信息继续进行跑批，同时也可以根据需要清除数据以重新进行跑批。

可选的，本实施例所提供的数据迁移方法还包括：基于SpringBatch框架执行迁移任务，迁移任务包括至少一个迁移步骤，每个迁移步骤包括：通过数据读取器获取数据源，并读入待迁移数据；通过数据处理器根据目标位置的数据类型对待迁移数据进行处理；通过数据写入器将处理后的待迁移数据写入目标位置。

其中，SpringBatch框架可以提供大量可重用的组件，包括日志、追踪、事务、任务作业统计、任务重启、跳过、重复以及资源管理等功能。SpringBatch框架包括任务启动器Job Launcher、任务Job以及步骤Step。Job Launcher可以看作程序的入口，可用来启动任务，具体可以将生成的任务请求发送到Job Launcher以触发启动迁移任务。每个Job可以包括一个或多个Step，多个Step之间可以串行执行也可以并行执行，则对应迁移任务，可以包括至少一个迁移步骤。每个Step都有一个数据读取器ItemReader、数据处理器ItemProcessor和数据写入器ItemWriter，则基于SpringBatch框架执行迁移任务，对应每个迁移步骤，可以包括通过数据读取器获取数据源并读入待迁移数据，通过数据处理器根据目标位置的数据类型对待迁移数据进行处理，通过数据写入器将处理后的待迁移数据写入目标位置。其中，对待迁移数据的处理可以包括数据转换、加工和过滤等等，转换过程可以是将待迁移数据转换为目标位置对应的数据类型，加工过程可以是根据用户需要对待迁移数据进行修改，过滤过程可以忽略待迁移数据中的一些错误或无效的数据。可选的，在处理Step的过程中，可以根据需要忽略掉一些错误或者无效的数据，那么在配置Step时，可以开启数据跳过的配置，并设置跳过数据的最大次数限制。Step也可以开启任务重试功能，并设置重试次数的上限，在程序的执行过程中即可根据配置的信息判断是否中断程序，并可将迁移任务更新为失败状态，从而排查处理系统或者数据问题。

示例性的，以数据源和目标位置的数据类型均为关系型数据库为例进行说明，即将第一关系型数据库(如DB2)中的数据迁移到第二关系型数据库(如MySQL)。首先可以定义一些通用字段列对象用于封装第一关系型数据库的数据，选择基于数据库游标的reader读取器，利用它可以记录执行的位置。如果在迁移的过程中，由于某一行数据异常导致程序中断，则可以在数据库中记录当前的Job以及Step执行的位置，并在Step信息表中记录下当前任务信息，当下次再启动时读取该当前任务信息，即可接着上一次的异常位置进行第二次处理。

示例性的，当对数据文件进行迁移时，可以从web页面将数据文件(如csv文件)导入数据库，并将数据文件加工后转换为目标位置的数据类型后写入目标位置。当对消息队列进行迁移时，同样可以将其进行加工处理后同步到目标位置。

示例性的，当将关系型数据库迁移到非关系型数据库时，如将第三关系型数据库(如MySQL)中的数据迁移到第一非关系型数据库(如MongoDB)，可以首先在配置文件中配置相应的数据库连接信息，在程序启动后即可加载多个数据连接池，从中选定第三关系型数据库和第一非关系型数据库的连接池后，即可读取第三关系型数据库的数据，再经过字段以及数据结构的转换，将转换后的数据写入第一非关系型数据库中。

可选的，迁移任务包括多个迁移步骤；相应的，方法还包括：基于SpringBatch框架将多个迁移步骤进行封装，并按照预设执行顺序执行多个迁移步骤。即当迁移任务包括多个迁移步骤时，可以利用SpringBatch框架提供的流Flow将多个迁移步骤进行封装，并可由用户设定多个迁移步骤之间的预设执行顺序，则在执行迁移任务时，可以读取到这些信息，从而将多个迁移步骤按照预设执行顺序执行，即可实现程序的有序执行。示例性的，如需要将上述的第一关系型数据库中的第一张表先插入第二关系型数据库，再将第一关系型数据库中的第二张表插入第二关系型数据库，则可以使用上述的有序执行方法。

可选的，本实施例所提供的数据迁移方法还包括：多线程处理迁移步骤，并将多线程的各个结果进行汇集。具体的，针对每个迁移步骤，可以开启多线程进行处理，并最终将处理的结果汇集到一起。通过多线程并发的处理数据，可以提高处理的效率，也可以灵活的根据系统硬件情况匹配当前的最优线程数，从而实现对资源的最佳利用。

可选的，异常包括全局捕获异常、迁移任务启动异常、数据读取器异常、数据处理器异常和数据写入器异常。具体的，可以为每个部分设置监听器来记录异常，在生成任务请求阶段，可以监听系统是否将任务请求成功发送到Job Launcher，若失败，则可以触发全局捕获异常，在启动Job阶段，可以通过Job监听器监听是否成功启动，若失败，则记录迁移任务启动异常，在ItemReader读取源数据阶段，可以通过Reader监听器监听是否成功读取，若失败，则记录数据读取器异常，在ItemProcessor处理数据阶段，可以通过Processor监听器监听是否成功处理，若失败，则记录数据处理器异常，在ItemWriter写入数据阶段，可以通过Writer监听器监听是否成功写入，若失败，则记录数据写入器异常。当发生任意一种异常时，则中断迁移任务，对异常进行处理，并在处理完毕后重新启动迁移任务。

可选的，本实施例所提供的数据迁移方法还包括：对待迁移数据进行分块；通过主节点将每个分块结果分发到各个子节点，并分别执行对应的迁移任务；通过主节点接收各个子节点的任务完成信息。具体的，如果迁移任务的处理时间会比较久，则可以首先将待迁移数据进行分块，并启动多个迁移任务进行处理，还可以使用远程分区跑批。具体可以配置一个主节点和多个子节点，通过主节点可以将待迁移数据的分块结果通过消息队列分发到各个子节点，由各个子节点分别执行对应的迁移任务，子节点执行完毕后，可以通过消息队列将任务完成信息发回主节点以由主节点确认任务状态。从而可以提高数据迁移的速度和效率。

本发明实施例所提供的任意数据迁移方法可以由数据迁移系统来实现，数据迁移系统主要可以分为四层架构，包括展现层、业务服务层、基础服务层和数据交互层。展现层主要实现了可视化配置任务功能，统计了当前的任务数据、任务执行状态、任务失败率等信息当前的任务数据，以及任务的迁移方式等信息。业务服务层主要提供了任务管理、跑批任务异常等信息、以及任务的统计看板服务。基础服务层可以包括数据解析转换处理模块、用户中心模块、任务中心模块和文件服务模块。其中，数据解析转换处理模块为系统的核心，底层框架为SpringBatch，数据解析转换处理模块主要为使用者提供了一种便捷的获取源的方式，可以为sql脚本，也可以为其他格式的文件数据，通过指定对应的Job即可完成源数据的指定，获取数据源之后可以进行数据的读入，数据的转换、加工处理、过滤，将数据写入到目标位置。用户中心模块提供了用户菜单权限资源的管理，任务中心模块提供了自动触发迁移任务的功能，文件服务模块主要用于迁移或导出文件。数据交互层主要提供数据源与目标位置的相关服务，可以支持数据库、文件、消息队列服务等等。

本发明实施例所提供的技术方案，在每次需要进行数据迁移时，首先配置任务参数，该任务参数包括数据迁移过程对应的数据源以及目标位置，然后根据配置的任务参数生成任务请求，以触发迁移任务启动，从而从数据源获取待迁移数据并迁移到目标位置，在执行该迁移任务的过程中，实时监控任务状态，若出现异常，则中断该迁移任务，并记录当前任务信息，当前任务信息包括异常位置，然后对该异常进行处理，并根据记录的当前任务信息重新启动迁移任务，以从该异常位置继续执行。通过根据配置的任务参数生成对应的任务请求，实现了多种数据类型的数据迁移，无需重复开发，同时通过在迁移过程中出现异常时，记录当前任务信息，并在异常恢复后重启迁移任务从记录的异常位置继续执行，避免了每次异常过后的重新执行，在发生数据异常导致迁移中断时可以及时的定位问题，并在问题处理后无需重新跑批已成功迁移的数据，大大的提高了数据迁移的效率，也节约了相应的资源。

实施例二

图2为本发明实施例二提供的数据迁移装置的结构示意图，该装置可以由硬件和/或软件的方式来实现，一般可集成于计算机设备中，用于执行本发明任意实施例所提供的数据迁移方法。如图2所示，该装置包括：

参数配置模块21，用于配置任务参数，任务参数包括数据迁移的数据源以及目标位置；

任务触发模块22，用于根据任务参数生成任务请求，以触发迁移任务启动，从数据源获取待迁移数据并迁移到目标位置；

异常监控模块23，用于在执行迁移任务的过程中，实时监控任务状态，若出现异常，则中断迁移任务，并记录当前任务信息，当前任务信息包括异常位置；

异常处理模块24，用于对异常进行处理，并根据当前任务信息重新启动迁移任务，以从异常位置继续执行。

本发明实施例所提供的技术方案，在每次需要进行数据迁移时，首先配置任务参数，该任务参数包括数据迁移过程对应的数据源以及目标位置，然后根据配置的任务参数生成任务请求，以触发迁移任务启动，从而从数据源获取待迁移数据并迁移到目标位置，在执行该迁移任务的过程中，实时监控任务状态，若出现异常，则中断该迁移任务，并记录当前任务信息，当前任务信息包括异常位置，然后对该异常进行处理，并根据记录的当前任务信息重新启动迁移任务，以从该异常位置继续执行。通过根据配置的任务参数生成对应的任务请求，实现了多种数据类型的数据迁移，无需重复开发，同时通过在迁移过程中出现异常时，记录当前任务信息，并在异常恢复后重启迁移任务从记录的异常位置继续执行，避免了每次异常过后的重新执行，在发生数据异常导致迁移中断时可以及时的定位问题，并在问题处理后无需重新跑批已成功迁移的数据，大大的提高了数据迁移的效率，也节约了相应的资源。

在上述技术方案的基础上，可选的，该数据迁移装置，还包括：

任务执行模块，用于基于SpringBatch框架执行迁移任务，迁移任务包括至少一个迁移步骤，每个迁移步骤包括：

通过数据读取器获取数据源，并读入待迁移数据；

通过数据处理器根据目标位置的数据类型对待迁移数据进行处理；

通过数据写入器将处理后的待迁移数据写入目标位置。

在上述技术方案的基础上，可选的，迁移任务包括多个迁移步骤；

相应的，该数据迁移装置，还包括：

顺序执行模块，用于基于SpringBatch框架将多个迁移步骤进行封装，并按照预设执行顺序执行多个迁移步骤。

在上述技术方案的基础上，可选的，该数据迁移装置，还包括：

多线程处理模块，用于多线程处理迁移步骤，并将多线程的各个结果进行汇集。

在上述技术方案的基础上，可选的，异常包括全局捕获异常、迁移任务启动异常、数据读取器异常、数据处理器异常和数据写入器异常。

在上述技术方案的基础上，可选的，该数据迁移装置，还包括：

数据分块模块，用于对待迁移数据进行分块；

任务分发模块，用于通过主节点将每个分块结果分发到各个子节点，并分别执行对应的迁移任务；

信息接收模块，用于通过主节点接收各个子节点的任务完成信息。

在上述技术方案的基础上，可选的，数据源的数据类型为数据文件、关系型数据库、非关系型数据库或消息队列中的一种，目标位置的数据类型为数据文件、关系型数据库、非关系型数据库或消息队列中的一种。

本发明实施例所提供的数据迁移装置可执行本发明任意实施例所提供的数据迁移方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，在上述数据迁移装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例三

图3为本发明实施例三提供的计算机设备的结构示意图，示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图3显示的计算机设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。如图3所示，该计算机设备包括处理器31、存储器32、输入装置33及输出装置34；计算机设备中处理器31的数量可以是一个或多个，图3中以一个处理器31为例，计算机设备中的处理器31、存储器32、输入装置33及输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据迁移方法对应的程序指令/模块(例如，数据迁移装置中的参数配置模块21、任务触发模块22、异常监控模块23及异常处理模块24)。处理器31通过运行存储在存储器32中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的数据迁移方法。

存储器32可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可用于获取用户输入的任务参数配置信息以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置34可包括显示屏等设备，可用于向用户展示数据迁移的情况。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种数据迁移方法，该方法包括：

配置任务参数，任务参数包括数据迁移的数据源以及目标位置；

根据任务参数生成任务请求，以触发迁移任务启动，从数据源获取待迁移数据并迁移到目标位置；

在执行迁移任务的过程中，实时监控任务状态，若出现异常，则中断迁移任务，并记录当前任务信息，当前任务信息包括异常位置；

对异常进行处理，并根据当前任务信息重新启动迁移任务，以从异常位置继续执行。

存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据迁移方法中的相关操作。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：

配置任务参数，所述任务参数包括数据迁移的数据源以及目标位置；

根据所述任务参数生成任务请求，以触发迁移任务启动，从所述数据源获取待迁移数据并迁移到所述目标位置；

在执行所述迁移任务的过程中，实时监控任务状态，若出现异常，则中断所述迁移任务，并记录当前任务信息，所述当前任务信息包括异常位置；

对所述异常进行处理，并根据所述当前任务信息重新启动所述迁移任务，以从所述异常位置继续执行。

2.根据权利要求1所述的数据迁移方法，其特征在于，所述方法还包括：

基于SpringBatch框架执行所述迁移任务，所述迁移任务包括至少一个迁移步骤，每个所述迁移步骤包括：

通过数据读取器获取所述数据源，并读入所述待迁移数据；

通过数据处理器根据所述目标位置的数据类型对所述待迁移数据进行处理；

通过数据写入器将处理后的所述待迁移数据写入所述目标位置。

3.根据权利要求2所述的数据迁移方法，其特征在于，所述迁移任务包括多个所述迁移步骤；

相应的，所述方法还包括：

基于所述SpringBatch框架将多个所述迁移步骤进行封装，并按照预设执行顺序执行多个所述迁移步骤。

4.根据权利要求2所述的数据迁移方法，其特征在于，所述方法还包括：

多线程处理所述迁移步骤，并将多线程的各个结果进行汇集。

5.根据权利要求2所述的数据迁移方法，其特征在于，所述异常包括全局捕获异常、迁移任务启动异常、数据读取器异常、数据处理器异常和数据写入器异常。

6.根据权利要求1所述的数据迁移方法，其特征在于，所述方法还包括：

对所述待迁移数据进行分块；

通过主节点将每个分块结果分发到各个子节点，并分别执行对应的所述迁移任务；

通过所述主节点接收各个所述子节点的任务完成信息。

7.根据权利要求1所述的数据迁移方法，其特征在于，所述数据源的数据类型为数据文件、关系型数据库、非关系型数据库或消息队列中的一种，所述目标位置的数据类型为数据文件、关系型数据库、非关系型数据库或消息队列中的一种。

8.一种数据迁移装置，其特征在于，包括：

参数配置模块，用于配置任务参数，所述任务参数包括数据迁移的数据源以及目标位置；

任务触发模块，用于根据所述任务参数生成任务请求，以触发迁移任务启动，从所述数据源获取待迁移数据并迁移到所述目标位置；

异常监控模块，用于在执行所述迁移任务的过程中，实时监控任务状态，若出现异常，则中断所述迁移任务，并记录当前任务信息，所述当前任务信息包括异常位置；

异常处理模块，用于对所述异常进行处理，并根据所述当前任务信息重新启动所述迁移任务，以从所述异常位置继续执行。

9.一种计算机设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据迁移方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据迁移方法。

Images