CN114201275A - 数据迁移方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据迁移方法、装置、设备及存储介质。其中，该方法包括：根据预设的任务执行周期，确定目标数据迁移任务；其中，目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；根据迁移方身份信息，确定目标发送方和目标接收方；根据目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。本申请实施例实现了在复杂多样的迁移需求下对数据的迁移，提高了数据迁移的效率。

Description

数据迁移方法、装置、设备及存储介质

技术领域

本申请实施例涉及大数据处理技术领域，尤其涉及一种数据迁移方法、装置、设备及存储介质。

背景技术

目前，随着大数据时代的来临，需要存储和处理的数据量不断提升，传统的数据库已经难以满足对海量数据的存储和处理，需要将海量数据迁移到大数据平台进行存储和处理。在数据迁移的过程中，通常会涉及到大量的复杂多样的数据迁移需求，而现有技术通常无法满足数据迁移过程中所涉及到的复杂多样的迁移需求，降低了数据迁移的效率，减小了用户在进行数据迁移过程中的使用体验感。

发明内容

本申请实施例提供一种数据迁移方法、装置、设备及存储介质，以实现在复杂多样的迁移需求下对数据的迁移。

第一方面，本申请实施例提供了一种数据迁移方法，该方法包括：

根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；

根据所述迁移方身份信息，确定目标发送方和目标接收方；

根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；

根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

第二方面，本申请实施例还提供了数据迁移装置，该装置包括：

迁移任务确定模块，用于根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；

收发方确定模块，用于根据所述迁移方身份信息，确定目标发送方和目标接收方；

传输通道建立模块，用于根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；

迁移数据发送模块，用于根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

第三方面，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如本申请实施例中任一所述的数据迁移方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如本申请实施例中任一所述的数据迁移方法。

本申请实施例通过根据预设的任务执行周期，确定目标数据迁移任务；根据迁移方身份信息，确定目标发送方和目标接收方；根据目标发送方和目标接收方的通道连接参数，建立数据迁移管理系统与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。上述方案通过预先配置任务配置参数，将目标发送方的待迁移数据发送至目标接收方，实现了在复杂多样化迁移需求下，对数据进行迁移。根据自身实际需求，在任务配置参数中配置待迁移数据，满足了数据迁移多样化需求的同时，提高了数据迁移效率，以及增强了对数据迁移的管理强度。

附图说明

图1是本申请实施例一中的一种数据迁移方法的流程示意图；

图2是本申请实施例二中的一种数据迁移方法的流程示意图；

图3是本申请实施例三中的一种数据迁移方法的流程示意图；

图4是本申请实施例四中的一种数据迁移装置的结构框图；

图5是本申请实施例五中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

实施例一

图1为本申请实施例一提供的一种数据迁移方法的流程示意图，本实施例可适用于数据库与文件系统之间进行数据迁移的情况，该方法可以由配置于数据迁移管理系统的数据迁移装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：

S110、根据预设的任务执行周期，确定目标数据迁移任务；其中，目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数。

任务执行周期可以是执行数据迁移任务的时间周期，例如，任务执行周期可以是1天、1周、1月或1年等，具体可以由相关技术人员根据实际需求进行设定，不同数据迁移任务的任务执行周期可以相同或不同。示例性的，若存在数据迁移任务的任务执行周期为1天，且每天的任务开始时间为9:00，则每天9:00自动执行该数据迁移任务。

目标数据迁移任务可以是根据预设的任务执行周期确定的，在当前时间下所要执行的数据迁移任务。数据迁移任务的数量可以为至少一个，且数据迁移任务的任务执行周期可以相同或不同，因此，根据数据迁移任务的执行周期可以确定，在当前时间下，可以存在至少一个目标数据迁移任务。目标数据迁移任务中可以包括迁移方身份信息、通道连接参数和任务配置参数。其中，迁移方身份信息用于确定目标发送方和目标接收方，迁移方身份信息具体可以是能够表明发送方和接收方身份信息的标识信息；通道连接参数用于建立与目标发送方和目标接收方的数据传输通道，通道连接参数具体可以是能够使得数据迁移管理系统分别与目标发送方和目标接收方建立通讯关系的连接参数；任务配置参数用于确定待迁移数据，具体可以是待迁移数据的源地址等参数。

示例性的，根据数据迁移任务预设的任务执行周期，在当前时间下，可以确定至少一个数据迁移任务，将至少一个数据迁移任务作为目标数据迁移任务。

S120、根据迁移方身份信息，确定目标发送方和目标接收方。

发送方可以是数据库或文件系统，文件系统可以是本地文件系统或分布式文件系统，相应的，接收方也可以是数据库或文件系统。示例性的，若发送方为数据库，则接收方可以为文件系统；若发送方为文件系统，则接收方可以为数据库，具体可以根据实际迁移需求对发送方和接收方进行确定。

目标发送方可以是从至少一个发送方中确定的用于进行数据发送的一方；目标接收方可以是从至少一个接收方中确定的用于进行数据接收的一方。迁移方身份信息可以包括目标发送方身份信息和目标接收方身份信息。以目标发送方为数据库，目标接收方为文件系统为例，目标发送方身份信息可以包括目标数据库名称或目标数据库用户名等，目标接收方身份信息可以包括文件系统类型或文件系统名称等。

S130、根据目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道。

通道连接参数可以是用于连接目标发送方和连接目标接收方的数据传输通道时，所需要的连接参数。示例性的，若目标发送方或目标接收方为数据库时，通道连接参数可以包括数据库用户名、数据库用户名对应的用户名密码和数据库服务器IP(InternetProtocol，互联网协议)地址等。若目标发送方或目标接收方为文件系统时，通道连接参数可以包括文件系统关联主节点服务器的IP地址和端口号等。第一数据传输通道可以是用于接收目标发送方发送的迁移数据的传输通道；第二数据传输通道可以是用于向目标接收方发送所接收到的迁移数据的传输通道。

示例性的，若目标发送方为数据库，目标接收方为文件系统时，则根据数据库对应的通道连接参数，建立与数据库之间的第一数据传输通道，根据文件系统对应的通道连接参数，建立与文件系统之间的第二数据传输通道。

S140、根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。

待迁移数据可以是目标发送方需要向目标接收方发送的迁移数据。任务配置参数可以是针对数据迁移任务预先配置的参数。例如，任务配置参数可以包括待迁移数据在目标发送方的目标数据位置信息参数，以及待迁移数据在目标接收方中待存储的目标数据位置信息参数。其中，目标发送方的目标数据位置信息参数可以是用于确定待迁移数据迁移之前的存储位置信息。目标接收方的目标数据位置信息参数可以是用于确定待迁移数据待迁移至目标接收方的存储位置信息。示例性的，若目标发送方或目标接收方为数据库，则目标数据位置信息可以包括待迁移数据所在数据库的端口信息，以及待迁移数据所在数据库的表信息，例如，表名称等；若目标发送发或目标接收方为文件系统，则目标数据位置信息可以包括文件系统的集群信息和文件目录信息等，例如，集群信息可以包括集群主节点对应的IP地址和端口号等。

需要说明的是，可以由相关技术人员根据实际需求对任务配置参数进行预先设定，例如，还可以在任务配置参数中配置数据迁移量等相关参数，根据预先设定的任务配置参数确定待迁移数据。

在一个可选实施例中，任务配置参数包括目标数据位置信息参数和数据迁移量配置参数；相应的，根据任务配置参数，确定待迁移数据，包括：根据目标数据位置信息参数，从目标发送方中确定目标迁移数据；根据数据迁移量配置参数，确定是否对目标迁移数据进行全量传输；若否，根据预设的数据筛选规则，从目标迁移数据中确定待迁移数据。

其中，目标数据位置信息参数可以包括待迁移数据迁移之前在目标发送方的存储位置信息，以及待迁移数据待迁移至目标接收方的存储位置信息。目标迁移数据是根据目标数据位置信息参数所确定的全部迁移数据，待迁移数据可以是全部的目标迁移数据，也可以是从目标迁移数据中确定的部分迁移数据。

数据迁移量配置参数可以包括全量传输数据和增量传输数据。其中，全量传输数据可以是将根据目标数据位置信息参数确定的目标位置下的目标迁移数据作为待迁移数据；例如，可以是根据目标数据位置信息参数确定数据库的至少一个待迁移表信息，并将至少一个待迁移表下的目标迁移数据作为待迁移数据。

增量传输数据可以是根据预设筛选规则从目标迁移数据中确定待迁移数据，其中，预设筛选规则可以是根据数据库表的自增序列从目标迁移数据中确定待迁移数据，或者，由用户或相关技术人员自定义目标迁移数据的迁移范围条件，根据迁移范围条件，从目标迁移数据中确定待迁移数据。

可以根据实际需求，预先设置默认的数据迁移量配置参数，例如，默认的数据迁移量配置参数可以为全量迁移。根据目标数据位置参数，从目标发送方中确定目标迁移数据；根据数据迁移量配置参数，确定是否对目标迁移数据进行全量传输；若是，则根据目标数据位置信息，将目标迁移数据作为待迁移数据进行全量传输；若否，则根据增量传输对应的数据筛选规则，从目标迁移数据中确定待迁移数据进行增量传输。

本可选实施例方案通过根据目标数据位置信息参数和数据迁移量配置参数，确定是否对目标数据进行全量传输的方式，实现了对目标数据迁移任务的灵活配置，更加丰富了数据迁移过程中的多样化迁移需求。

根据任务配置参数，确定待迁移数据；基于第一数据传输通道，以及目标发送方的目标数据位置信息，获取目标发送方的待迁移数据；根据目标接收方的目标数据位置信息，将待迁移数据通过第二传输通道发送至目标接收方。

在一个具体实施方式中，可以通过数据迁移管理平台确定目标数据迁移任务，具体可以是在数据迁移管理平台中预先配置目标迁移任务的任务配置参数，确定迁移方身份信息和通道连接参数。数据迁移管理平台根据迁移方身份信息确定目标发送方和目标接收方。根据目标发送方和目标接收方的通道连接参数，数据迁移管理平台建立与目标发送发之间的第一传输通道，以及与目标接收方之间的第二数据传输通道。数据管理平台根据任务配置参数，确定待迁移数据。

数据迁移管理系统基于第一数据传输通道获取目标发送方中的待迁移数据，并将待迁移数据通过第二数据传输通道发送至目标接收方。

可选的，以目标发送方为数据库，目标接收方为文件系统为例，进行举例说明。数据迁移管理系统基于预先设定的数据库驱动，建立与数据库的第一传输通道，根据任务配置参数中待迁移数据的目标数据位置信息，读取指定分库的分表中的待迁移数据，将待迁移数据写入预先设定的本地临时目录中，并将写入本地临时目录中的待迁移数据通过第二数据传输通道发送至目标接收方。通过将待迁移数据在本地临时目录中进行存储的方式，避免了接收与发送待迁移数据时，与第一数据传输通道和/或与第二数据传输通道断开造成数据丢失的情况，提高数据迁移的效率和精度。

可选的，数据迁移管理系统在数据库中获取的待迁移数据可以是通过多个分库获取的多个分表数据，则在本地临时目录中可以对待迁移数据进行多个分表的数据合并操作，并将合并后的待迁移数据通过第二数据传输通道发送至目标接收方。此外，通过在本地临时目录中对多个分表数据进行合并操作后，将合并后的迁移数据发送至文件系统，提高了数据迁移的迁移效率，避免了需要在文件系统中对多个分表数据进行处理时，对数据整合错误的情况发生。

需要说明的是，为便于相关工作人员能够实时获取到目标数据迁移任务的相关迁移信息，并根据迁移信息有针对性的对目标数据迁移任务进行控制操作，还可以对目标数据迁移任务进行实时监控。

在一个可选实施例中，实时监控目标数据迁移任务的迁移信息，其中，迁移信息包括当前时间下的当前迁移状态；根据迁移信息，生成目标迁移任务的监控日志。

迁移信息可以包括当前时间下正在执行的数据迁移任务的当前迁移状态；当前迁移状态可以是当前执行数据迁移任务的任务信息，以及执行数据迁移过程中的迁移完成度等，迁移完成度可以包括任务执行过程信息和任务执行结果等。根据迁移信息，生成目标迁移任务的监控日志。监控日志可以包括正在执行的至少一个数据迁移任务的当前迁移状态等。其中，任务信息可以包括任务对应的目标发送方信息、目标接收方信息、任务开始时间和任务预计完成时间等中的至少一种。任务执行过程信息可以包括从任务开始时间到当前时间，从目标发送方已迁移至目标接收方的迁移数据量等执行情况。任务执行结果可以包括任务执行成功和任务执行失败，若任务执行失败，任务执行结果还可以包括任务执行失败原因。

需要说明的是，为避免内存空间的占用，目标迁移任务的监控日志可以在预设查看周期内进行临时存储，其中，预设查看周期可以是7天，相关技术人员可以在预设周期内查看目标迁移任务对应的监控日志。

可选的，可以根据对目标数据迁移任务的实时监控情况，根据实际需求控制停止或开始相应的目标数据迁移任务，或修改目标数据迁移任务的任务配置参数，以供在目标数据迁移任务执行过程中遇到紧急情况时，能够灵活的对目标数据迁移任务进行控制。

本可选实施例通过实时监控目标数据迁移任务的迁移信息，根据迁移信息，生成目标迁移任务的监控日志；通过查询目标迁移任务的监控日志可以获取目标迁移任务的具体执行情况，并可以根据具体执行情况实时对目标迁移任务进行控制，便于相关技术人员能够根据监控日志对目标迁移任务进行维护和优化。

本申请实施例通过根据预设的任务执行周期，确定目标数据迁移任务；根据迁移方身份信息，确定目标发送方和目标接收方；根据目标发送方和目标接收方的通道连接参数，建立数据迁移管理系统与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。上述方案通过预先配置任务配置参数，将目标发送方的待迁移数据发送至目标接收方，实现了在复杂多样化迁移需求下，对数据进行迁移。根据自身实际需求，在任务配置参数中配置待迁移数据，满足了数据迁移多样化需求的同时，提高了数据迁移效率，以及增强了对数据迁移的管理强度。

实施例二

图2为本申请实施例二提供的一种数据迁移方法的流程示意图，本实施例在上述各技术方案的基础上，进行了优化改进。

进一步的，将“根据预设的任务执行周期，确定目标数据迁移任务”，细化为“获取当前时间；根据当前时间和预设的候选数据迁移任务对应的任务执行周期，确定目标数据迁移任务。”以完善对目标数据迁移任务的确定方式。

进一步的，在步骤“根据目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道”之后，添加步骤“向目标发送方和目标接收方发送文本信息获取指令；判断是否获取到目标发送方和目标接收方的文本信息，若是，则确定第一数据传输通道和第二数据传输通道建立成功。”

如图2所示，该方法包括以下具体步骤：

S210、获取当前时间，根据当前时间和预设的候选数据迁移任务对应的任务执行周期，确定目标数据迁移任务；其中，目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数。

候选数据迁移任务可以是根据实际数据迁移需求，预先设定的数据迁移任务，候选数据迁移任务的数量可以为至少一个。候选数据迁移任务对应的任务执行周期可以相同或不同，例如，任务执行周期的时间单位可以为日、周、月或年等。任务执行周期可以是候选数据迁移任务的任务执行时间，例如，可以是每日9:00执行数据迁移任务，也可以是每周三9:00执行数据迁移任务。候选数据迁移任务的任务执行时间还可以根据实际需求进行自定义设置，例如，候选数据迁移任务的执行时间可以是2021/11/20/9:00。

示例性的，可以通过预先设定的时间获取程序，获取当前时间，根据候选数据迁移任务对应的任务执行周期，或候选数据迁移任务对应的自定义执行时间。判断当前时间下，是否存在待执行的候选数据迁移任务，若是，则将待执行的候选数据迁移任务作为目标数据迁移任务。

S220、根据迁移方身份信息，确定目标发送方和目标接收方。

S230、根据目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道。

S240、向目标发送方和目标接收方发送文本信息获取指令。

文本信息获取指令可以是获取数据库的库信息指令或表信息指令，还可以是获取文件系统的集群信息指令或文件目录信息指令。在建立第一数据传输通道和第二数据传输通道后，将文本信息获取指令通过第一数据通道发送给目标发送方，以及通过第二数据传输通道发送给目标接收方。便于数据迁移管理系统能够通过文本信息获取指令查看是否能够获取到目标发送方和目标接收方的文本信息。

S250、判断是否获取到目标发送方和目标接收方的文本信息，若是，则确定第一数据传输通道和第二数据传输通道建立成功。

在将文本信息获取指令发送给目标发送方和目标接收方后，若传输通道建立成功，则数据迁移管理系统可以主动查看到目标发送方和目标接收方的文件目录等文本信息，或者目标发送方和目标接收方接收到文本信息获取指令后，可以通过传输通道向数据迁移管理系统反馈文本信息。

判断是否能够获取到目标发送方的文本信息，若是，则确定第一数据传输通道建立成功；若否，则确定第一数据传输通道建立失败，可以向相关工作人员发送第一数据传输通道建立失败的信息提醒，以提示相关工作人员确定通道建立失败原因，并根据通道建立失败原因重新建立第一数据传输通道。

判断是否能够获取到目标接收方的文本信息，若是，则确定第二数据传输通道建立成功；若否，则确定第二数据传输通道建立失败，可以向相关工作人员发送第二数据传输通道建立失败的信息提醒，以提示相关工作人员确定通道建立失败原因，并根据通道建立失败原因重新建立第二数据传输通道。

S260、根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。

本实施例方案通过根据当前时间和预设的候选数据迁移任务对应的任务执行周期的方式，实现了对目标数据迁移任务的确定。通过向目标发送方和目标接收方发送文本信息获取指令；判断是否获取到目标发送方和目标接收方的文本信息，若是，则确定第一数据传输通道和第二数据传输通道建立成功，提高了确定第一数据传输通道和第二数据传输通道是否建立成功的准确性，避免了数据传输通道未建立成功影响数据的接收和发送的情况发生。根据自身实际需求，在任务配置参数中配置待迁移数据，满足了数据迁移多样化需求的同时，提高了数据迁移效率，以及增强了对数据迁移的管理强度。

实施例三

图3为本申请实施例三提供的一种数据迁移方法的流程示意图，本实施例在上述各技术方案的基础上，进行了优化改进。

进一步的，任务配置参数包括数据压缩配置参数；相应的，在步骤“基于第一数据传输通道获取所述目标发送方中的待迁移数据”之后，添加步骤“根据数据压缩配置参数，判断是否对待迁移数据进行压缩；若是，则对待迁移数据进行压缩，并将压缩后的待迁移数据通过第二数据传输通道发送至目标接收方。”以完善对待迁移数据的后续处理方式。

进一步的，在步骤“将待迁移数据通过第二数据传输通道发送至目标接收方”之后，添加步骤“获取目标发送方的待迁移数据的第一数据信息，以及获取目标接收方接收到的待迁移数据的第二数据信息；判断第一数据信息和第二数据信息是否一致，若是，则确定目标数据迁移任务迁移成功。”以完善对待迁移数据的校验过程。

如图3所示，该方法包括以下具体步骤：

S310、根据预设的任务执行周期，确定目标数据迁移任务；其中，目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数。

S320、根据迁移方身份信息，确定目标发送方和目标接收方。

S330、根据目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道。

S340、根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据。

任务配置参数还可以包括数据压缩配置参数。数据压缩配置参数用于确定是否需要对待迁移数据进行压缩操作。

S350、根据数据压缩配置参数，判断是否对待迁移数据进行压缩。

其中，数据压缩配置参数可以包括压缩待迁移数据和无压缩待迁移数据，用户可以根据实际需求，选择是否对待迁移数据进行压缩。可选的，可以预先设置默认的数据压缩配置参数，例如，默认的数据压缩配置参数为无压缩待迁移数据。

S360、若是，则对待迁移数据进行压缩，并将压缩后的待迁移数据通过第二数据传输通道发送至目标接收方。

若选择对待迁移数据进行压缩，则根据预设的压缩算法对待迁移数据进行压缩，将压缩后的待迁移数据通过第二数据传输通道发送至目标接收方；若选择无需对待迁移数据进行压缩，则直接将待迁移数据通过第二传输通道发送至目标接收方。

S370、获取目标发送方的待迁移数据的第一数据信息，以及获取目标接收方接收到的待迁移数据的第二数据信息。

其中，第一数据信息可以是目标发送方的待迁移数据的第一数据量和第一数据内容；第二数据信息可以是目标接收方接收到的待迁移数据的第二数据量和第二数据内容。

其中，第一数据量可以通过在目标发送方发送待迁移数据之前，预先统计待迁移数据的数据行数信息确定；第二数据量可以通过在目标接收方接收成功待迁移数据之后，统计待迁移数据的数据行数信息确定。第一数据内容可以是待迁移数据在目标发送方的主键信息，以及主键对应的值信息；第二数据内容可以是待迁移数据在目标接收方接收到待迁移数据后，确定的待迁移数据的主键信息，以及主键对应的值信息。

S380、判断第一数据信息和第二数据信息是否一致，若是，则确定目标数据迁移任务迁移成功。

判断第一数据信息和第二数据信息是否一致，可以是判断第一数据量和第二数据量是否一致，和/或判断第一数据内容和第二数据内容是否一致。判断第一数据量和第二数据量是否一致，若是，则确定目标数据迁移任务的数据量校验成功；若否，则确定目标数据迁移任务的数据量校验失败，并向相关人员发送数据量校验失败通知，以供相关人员及时对目标数据迁移任务进行优化和修复。示例性的，可以预先确定待迁移数据在目标发送方发送之前的数据行数，例如，待迁移数据在目标发送方发送之前的数据行数可以是100行；确定待迁移数据发送至目标接收方之后，待迁移数据在目标接收方的数据行数，若待迁移数据在目标接收方的数据行数同为100行，则可以确定数据量的校验成功，反之，则确定数据量的校验失败。

判断第一数据内容和第二数据内容是否一致，若是，则确定目标数据迁移任务的数据内容校验成功；若否，则确定目标数据迁移任务的数据内容校验失败，并向相关人员发送数据内容校验失败通知，以供相关人员及时对目标数据迁移任务进行优化和修复。示例性的，可以在目标发送方发送待迁移数据之前，预先随机确定待迁移数据的至少一个主键信息，以及至少一个主键对应的值信息。例如，主键信息可以是“唯一编码”、“身份证号”等唯一标识数据记录的字段，主键对应的值信息分别可以是“张三”、“男”和“16岁”。待迁移数据发送至目标接收方之后，确定在目标接收方的待迁移数据中，是否存在与预先在目标接收方中随机确定的主键信息相同的主键，若不存在，则可以确定目标数据迁移任务的数据内容校验失败；若存在，则确定目标接收方接收的待迁移数据的主键对应的值信息，与目标发送方的待迁移数据的主键对应的值信息是否一致，若是，则可以确定目标数据迁移任务的数据内容校验成功；若否，则可以确定目标数据迁移任务的数据内容校验失败。

若目标接收方是文件系统，则待迁移数据需要存储在文件目录中，由于待迁移数据在文件目录中的存储形式为无字段名称和主键名称的字符串，不便于对文件目录中的数据进行数据校验或数据查询工作，导致效率较低。因此，可选的，若目标发送方为数据库，目标接收方为文件系统，则可以将任务配置参数中目标接收方的目标数据位置信息参数配置为元数据库管理组件的位置信息。元数据库管理组件使得对迁移数据的管理更加清晰，例如，待迁移数据所属表中字段的名称、主键和主键对应的数据内容等。并且，相关人员能够通过元数据库管理组件清楚直观的检索或查询数据。此外，在元数据管理库中对待迁移数据进行数据校验，能够提高数据校验的效率。其中，元数据库管理组件可以是Hive(数据仓库工具)或Impala(新型查询系统)。

本实施例方案通过根据数据压缩配置参数，判断是否对待迁移数据进行压缩的方式，实现了在复杂多样化的迁移需求下对数据进行迁移。通过获取目标发送方的待迁移数据的第一数据信息，以及获取目标接收方接收到的待迁移数据的第二数据信息；判断第一数据信息和第二数据信息是否一致，若是，则确定目标数据迁移任务迁移成功。实现了对迁移数据的数据量校验和数据内容校验，便于相关工作人员能够根据校验结果对迁移数据进行优化和维护。根据自身实际需求，在任务配置参数中配置待迁移数据，满足了数据迁移多样化需求的同时，提高了数据迁移效率，以及增强了对数据迁移的管理强度。

在一个具体实施方案中，以数据迁移管理系统为执行主体，实现数据库和文件系统之间的数据迁移和对数据迁移过程的管理，本实施方案的数据迁移管理系统包括数据迁移任务管理功能、数据迁移任务监控功能和迁移数据校验功能。本实施例以数据库为目标发送方，以文件系统为目标接收方为例，进行举例说明。

数据迁移任务管理功能包括数据源配置子功能和数据迁移任务创建子功能。数据源配置子功能用于配置数据库的数据源和文件系统的数据源。其中，数据库的数据源需配置可以包括数据库连接字符串、数据库用户名、用户名密码和一些可选的连接参数等；文件系统数据源配置需要配置文件系统的集群信息和文件目录等。

其中，数据库数据源配置完成后可以测试连接是否正常，若是，则可以查看该数据源下有哪些库、表以及表的数据结构。文件系统数据源配置完成后可以查看文件系统的目录是否存在，若是，则表示文件系统连接正常；若连接正常，还可以在该目录下查看有哪些文件。

在数据迁移任务创建子功能中，首先可以选择来源数据源，即目标发送方和目标数据源，即目标接收方。其次，可以选择是否进行增量数据迁移，默认是全量迁移，如果是增量数据迁移则需要配置增量条件；增量数据迁移的条件可以是根据自增序列或者用户自定义数据范围条件进行筛选增量数据。还可以在任务创建单元中配置数据是否压缩，默认是无压缩的文本格式。最后，可以对数据迁移任务周期进行配置，周期性可以选择日、周、月和年等，还可以是具体的任务执行时间。周期性数据迁移任务到预定的时间点就会执行，非周期性数据迁移任务可以随时进行下发执行。数据迁移任务中的配置项包括但不限于以上提到的配置项。

数据迁移任务监控功能包括任务状态监控子功能和任务日志生成子功能。数据迁移任务配置成功后可以根据数据迁移任务监控功能进行查看。其中，数据迁移的过程中，首先，数据迁移管理系统预先配置好的任务执行程序通过数据库驱动连接指定的数据库。其次，读取数据库指定分库的分表中的指定范围的数据。再次，将这些数据根据在数据源配置单元中的配置参数写入本地临时目录，在本地临时目录中可以进行包括但不限于将多个分库和分表的数据进行合并或压缩的操作。最后，将这些本地临时目录的文件上传到目标数据源，即目标接收方的指定文件目录中。

根据任务状态监控子功能可以查看所有配置好的数据迁移任务，并可以执行下发、终止数据迁移任务等操作，也可以根据实际需求修改数据迁移任务的相关配置参数；通过任务日志生成子功能可以查看数据迁移任务的执行日志，便于相关工作人员跟踪数据迁移任务执行情况，及时对数据迁移任务进行维护和优化。

迁移数据校验功能包括迁移数据量校验子功能和迁移数据内容校验子功能。数据迁移任务执行成功后，自动进行数据校验，包括数据量校验和数据内容校验。其中，通过迁移数据量校验单元完成数据量校验。查询数据库中指定的数据范围的数据量；将文件系统的数据导入到元数据管理组件中，通过查询引擎Hive、Spark或Impala查询数据量。

其中，通过迁移数据内容校验单元完成数据内容校验，从数据库的迁移数据中随机挑选几个主键，分别在文件系统的元数据库管理组件中查询主键对应的迁移数据，通过结果比对判断数据内容是否一致。

若数据量校验和/或数据内容校验的数据结果不一致，会通过邮件通知任务所有人，及时让相关人员进行修复和优化数据迁移任务。

本实施方案公开的一种数据库和文件系统之间的数据迁移管理系统，提供了一种支持数据库和文件系统之间进行周期性或非周期性、增量或全量数据迁移等功能；提供了数据迁移任务监控功能，通过查看任务执行状态和执行日志，使用户方便及时地关注任务的执行情况并进行维护和优化；提供了数据校验功能，使用户及时发现数据的不一致性问题并进行修复和优化，能够避免后续数据应用出现问题的情况发生。同时，本实施例提供的数据迁移管理系统能够应对繁杂多样的数据迁移需求，简化和减少了进行数据迁移的工作量。

实施例四

图4为本申请实施例四提供的一种数据迁移装置的结构示意图。本申请实施例所提供的一种数据迁移装置，该装置可适用于数据库与文件系统之间进行数据迁移的情况，该装置可采用软件和/或硬件的方式实现。如图4所示，该装置具体包括：迁移任务确定模块401、收发方确定模块402、传输通道建立模块403和迁移数据发送模块404。其中，

迁移任务确定模块401，用于根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；

收发方确定模块402，用于根据所述迁移方身份信息，确定目标发送方和目标接收方；

传输通道建立模块403，用于根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；

迁移数据发送模块404，用于根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

本申请实施例通过根据预设的任务执行周期，确定目标数据迁移任务；根据迁移方身份信息，确定目标发送方和目标接收方；根据目标发送方和目标接收方的通道连接参数，建立数据迁移管理系统与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据任务配置参数，确定待迁移数据，基于第一数据传输通道获取目标发送方中的待迁移数据，将待迁移数据通过第二数据传输通道发送至目标接收方。上述方案通过预先配置任务配置参数，将目标发送方的待迁移数据发送至目标接收方，实现了在复杂多样化迁移需求下，对数据进行迁移。根据自身实际需求，在任务配置参数中配置待迁移数据，满足了数据迁移多样化需求的同时，提高了数据迁移效率，以及增强了对数据迁移的管理强度。

可选的，迁移数据发送模块，包括：

当前时间获取单元，用于获取当前时间；

迁移任务确定单元，用于根据所述当前时间和预设的候选数据迁移任务对应的任务执行周期，确定目标数据迁移任务。

可选的，该装置还包括：

指令发送模块，用于在根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道之后，向所述目标发送方和所述目标接收方发送文本信息获取指令；

信息判断模块，用于判断是否获取到所述目标发送方和所述目标接收方的文本信息，若是，则确定所述第一数据传输通道和所述第二数据传输通道建立成功。

可选的，所述任务配置参数包括目标数据位置信息参数和数据迁移量配置参数；

相应的，迁移数据发送模块，包括：

第一迁移数据确定单元，用于根据所述目标数据位置信息参数，从所述目标发送方中确定所述目标迁移数据；

全量传输确定单元，用于根据所述数据迁移量参数，确定是否对所述目标迁移数据进行全量传输；

第二迁移数据确定单元，用于若确定对所述目标迁移数据进行增量传输，根据预设的数据筛选规则，从所述目标迁移数据中确定待迁移数据。

可选的，所述任务配置参数包括数据压缩配置参数；

相应的，该装置还包括：

数据压缩判断模块，用于在基于第一数据传输通道获取所述目标发送方中的待迁移数据之后，根据数据压缩配置参数，判断是否对所述待迁移数据进行压缩；

压缩数据发送模块，用于若对所述待迁移数据进行压缩，则对所述待迁移数据进行压缩，并将压缩后的所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

可选的，该装置还包括：

迁移任务监控模块，用于实时监控所述目标数据迁移任务的迁移信息，其中，所述迁移信息包括当前时间下的当前迁移状态；

监控日志生成模块，用于根据所述迁移信息，生成目标迁移任务的监控日志。

可选的，该装置还包括：

数据信息获取模块，用于在将所述待迁移数据通过第二数据传输通道发送至所述目标接收方之后，获取所述目标发送方的所述待迁移数据的第一数据信息，以及获取所述目标接收方接收到的所述待迁移数据的第二数据信息；

数据信息判断模块，用于判断所述第一数据信息和所述第二数据信息是否一致，若是，则确定所述目标数据迁移任务迁移成功。

上述数据迁移装置可执行本申请任意实施例所提供的数据迁移方法，具备执行各迁移数据方法相应的功能模块和有益效果。

实施例五

图5是本申请实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本申请实施方式的示例性电子设备500的框图。图5显示的电子设备500仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。

总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。电子设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本申请所描述的实施例中的功能和/或方法。

电子设备500也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，电子设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器512通过总线503与电子设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的一种数据迁移的方法。

实施例六

本申请实施例六还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所提供的数据迁移方法，包括：根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；根据所述迁移方身份信息，确定目标发送方和目标接收方；根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据迁移方法，其特征在于，由数据迁移管理系统执行，所述方法包括：

根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；

根据所述迁移方身份信息，确定目标发送方和目标接收方；

根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；

根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

2.根据权利要求1所述的方法，其特征在于，根据预设的任务执行周期，确定目标数据迁移任务，包括：

获取当前时间；

根据所述当前时间和预设的候选数据迁移任务对应的任务执行周期，确定目标数据迁移任务。

3.根据权利要求1所述的方法，其特征在于，在根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道之后，还包括：

向所述目标发送方和所述目标接收方发送文本信息获取指令；

判断是否获取到所述目标发送方和所述目标接收方的文本信息，若是，则确定所述第一数据传输通道和所述第二数据传输通道建立成功。

4.根据权利要求1所述的方法，其特征在于，所述任务配置参数包括目标数据位置信息参数和数据迁移量配置参数；

相应的，根据所述任务配置参数，确定待迁移数据，包括：

根据所述目标数据位置信息参数，从所述目标发送方中确定所述目标迁移数据；

根据所述数据迁移量配置参数，确定是否对所述目标迁移数据进行全量传输；

若否，根据预设的数据筛选规则，从所述目标迁移数据中确定待迁移数据。

5.根据权利要求1所述的方法，其特征在于，所述任务配置参数包括数据压缩配置参数；

相应的，在基于第一数据传输通道获取所述目标发送方中的待迁移数据之后，还包括：

根据数据压缩配置参数，判断是否对所述待迁移数据进行压缩；

若是，则对所述待迁移数据进行压缩，并将压缩后的所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

实时监控所述目标数据迁移任务的迁移信息，其中，所述迁移信息包括当前时间下的当前迁移状态；

根据所述迁移信息，生成目标迁移任务的监控日志。

7.根据权利要求1所述的方法，其特征在于，在将所述待迁移数据通过第二数据传输通道发送至所述目标接收方之后，还包括：

获取所述目标发送方的所述待迁移数据的第一数据信息，以及获取所述目标接收方接收到的所述待迁移数据的第二数据信息；

判断所述第一数据信息和所述第二数据信息是否一致，若是，则确定所述目标数据迁移任务迁移成功。

8.一种数据迁移装置，其特征在于，包括：

迁移任务确定模块，用于根据预设的任务执行周期，确定目标数据迁移任务；其中，所述目标数据迁移任务中包括迁移方身份信息、通道连接参数和任务配置参数；

收发方确定模块，用于根据所述迁移方身份信息，确定目标发送方和目标接收方；

传输通道建立模块，用于根据所述目标发送方和目标接收方的通道连接参数，建立与目标发送方之间的第一数据传输通道，以及与目标接收方之间的第二数据传输通道；

迁移数据发送模块，用于根据所述任务配置参数，确定待迁移数据，基于第一数据传输通道获取所述目标发送方中的待迁移数据，将所述待迁移数据通过第二数据传输通道发送至所述目标接收方。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的数据迁移方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据迁移方法。

Images