CN117271474A - 数据迁移方法、装置、存储介质以及电子设备 - Google Patents

Abstract

本申请公开了一种数据迁移方法、装置、存储介质以及电子设备。涉及大数据领域。该方法包括：获取任务列表中的目标传输任务中包含的M个待迁移表格，获取数据库的数据筛选策略；通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并生成P个第一文件；确定目标传输任务的任务类型；在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中的目标存储表；在任务类型为临时任务的情况下，将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表。通过本申请，解决了相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题。

Description

数据迁移方法、装置、存储介质以及电子设备

技术领域

本申请涉及大数据领域、金融科技领域及其他相关领域，具体而言，涉及一种数据迁移方法、装置、存储介质以及电子设备。

背景技术

随着金融机构中的业务数据逐渐增多，会出现将数据表从业务系统存储至数据湖中的场景，例如，将Oracle数据库的数据迁移到Hadoop数据仓库，从而达到对数据进行长期存储的效果。

当前在进行数据迁移的时候，通常以批量文件传输的方式。但是，批量入湖的方法无法将实时产生的数据及时入湖，导致各下游数据使用者无法获取最新数据，从而影响数据的及时使用。

针对相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供一种数据迁移方法、装置、存储介质以及电子设备，以解决相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题。

根据本申请的一个方面，提供了一种数据迁移方法。该方法包括：获取任务列表中的目标传输任务中包含的M个待迁移表格，并从M个待迁移表格所属的数据库中获取数据库的数据筛选策略，其中，M为正整数，每个待迁移表格中均存在数据；通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件；确定目标传输任务的任务类型，其中，任务类型包括临时任务和定时任务；在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中第一文件的目标存储表；在任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表，其中，N为正整数。

可选地，在依次根据每个候选表格中的数据生成第一文件，得到P个第一文件之前，该方法还包括：获取目标传输任务的预设文件生成时刻，并获取当前时刻，其中，当前时刻为执行获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻；判断预设文件生成时刻与当前时刻是否相同；在预设文件生成时刻与当前时刻相同的情况下，执行依次根据每个候选表格中的数据生成第一文件，得到P个第一文件的步骤；在预设文件生成时刻与当前时刻不相同的情况下，暂停执行目标传输任务，直至当前时刻与预设文件生成时刻相同。

可选地，在依次根据每个候选表格中的数据生成第一文件，得到P个第一文件之后，该方法还包括：依次对每个第一文件进行校验，根据校验结果确认P个第一文件中是否存在异常文件；在P个第一文件中不存在异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并执行确定M个待迁移表格的传输任务的任务类型的步骤；在P个第一文件中存在异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并将异常文件发送至服务端，并根据剩余非异常的第一文件执行确定目标传输任务的任务类型的步骤。

可选地，该方法还包括：检测数据库中存储的多个初始表格中是否存在发生表结构变更的目标表格；在存在目标表格的情况下，获取目标表格的表结构变更内容，将表结构变更内容发送至目标数据湖，并在目标表格中记录第一预设时刻，其中，目标表格对应的目标存储表的表结构根据表结构变更内容进行变更，第一预设时刻表征目标表格对应的目标存储表的最晚变更时刻。

可选地，在获取目标表格的表结构变更内容之后，该方法还包括：从数据筛选策略中获取与目标表格相关的筛选内容，并判断目标表格的表结构发生变更是否影响筛选内容，其中，筛选内容指示用于生成第一文件的数据内容；在表结构发生变更不影响筛选内容的情况下，取消执行将表结构变更内容发送至目标数据湖，并在目标表格中记录第一预设时刻的步骤。

可选地，在任务类型为定时任务的情况下，依次根据每个候选表格中的数据生成第一文件，得到P个第一文件包括：对于每个候选表格，判断候选表格对应的第一待迁移表格的表结构是否发生变更；在表结构发生变更的情况下，判断当前时刻是否早于候选表格中记录的第二预设时刻，其中，当前时刻为执行获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻，第二预设时刻表征候选表格对应的目标存储表的最晚变更时刻；在当前时刻未早于第二预设时刻的情况下，根据候选表格中的数据生成第一文件；在当前时刻早于第二预设时刻的情况下，获取第一待迁移表格的变更内容，并根据变更内容将第一待迁移表格进行还原，得到第二待迁移表格；通过第二待迁移表格重新生成候选表格，并根据重新生成的候选表格中的数据生成第一文件。

可选地，在表结构发生变更的情况下，方法还包括：从数据筛选策略中获取与候选表格相关的筛选内容，并判断候选表格的表结构发生变更是否影响筛选内容，其中，筛选内容指示用于生成第一文件的数据内容；在表结构发生变更不影响筛选内容的情况下，执行根据候选表格中的数据生成第一文件的步骤。

根据本申请的另一方面，提供了一种数据迁移装置。该装置包括：第一获取单元，用于获取任务列表中的目标传输任务中包含的M个待迁移表格，并从M个待迁移表格所属的数据库中获取数据库的数据筛选策略，其中，M为正整数，每个待迁移表格中均存在数据；去除单元，用于通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件；确定单元，用于确定目标传输任务的任务类型，其中，任务类型包括临时任务和定时任务；第一发送单元，用于在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中第一文件的目标存储表；第二发送单元，用于在任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表，其中，N为正整数。

根据本发明的另一方面，还提供了一种计算机存储介质，计算机存储介质用于存储程序，其中，程序运行时控制计算机存储介质所在的设备执行一种数据迁移方法。

根据本发明的另一方面，还提供了一种电子设备，包含一个或多个处理器和存储器；存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据迁移方法。

通过本申请，采用以下步骤：获取任务列表中的目标传输任务中包含的M个待迁移表格，并从M个待迁移表格所属的数据库中获取数据库的数据筛选策略，其中，每个待迁移表格中均存在数据；通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件；确定目标传输任务的任务类型，其中，任务类型包括临时任务和定时任务；在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中第一文件的目标存储表；在任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表。解决了相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题。通过对获取到的传输任务中的数据进行筛选，得到需要进行传输的数据，并根据传输任务的任务类型确定此次传输任务是定时任务还是临时任务，在定时任务的情况下，由于文件为表格中的大文件，因此可以直接进行传输，在任务为临时任务的情况下，将多个小文件进行合并，从而减少文件的数量，将定时任务和临时任务分开处理，进而达到了提高数据传输时效性的效果，并且将多个小文件合并成大文件，降低了接收端的文件接收压力的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的数据迁移方法的流程图；

图2是根据本申请实施例提供的可选的数据迁移方法的流程图；

图3是根据本申请实施例提供的可选的临时任务的执行流程图；

图4是根据本申请实施例提供的数据迁移装置的示意图；

图5为根据本申请实施例提供的一种电子设备的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。

需要说明的是，本公开所确定的数据迁移方法、装置、存储介质以及电子设备可用于大数据领域，也可用于除大数据领域之外的任意领域，本公开所确定的数据迁移方法、装置、存储介质以及电子设备的应用领域不做限定。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关规定和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：

Oracle数据库：一种关系数据库管理系统。

Hadoop系统：一种分布式系统基础架构构建的系统。

数据湖：一种集中式存储库，可以容纳来自各种数据源的任何格式的关系数据。

根据本申请的实施例，提供了一种数据迁移方法。

图1是根据本申请实施例提供的数据迁移方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取任务列表中的目标传输任务中包含的M个待迁移表格，并从M个待迁移表格所属的数据库中获取数据库的数据筛选策略，其中，M为正整数，每个待迁移表格中均存在数据。

具体的，本申请的执行主体可以为Hadoop平台，Hadoop平台中的数据传输调度程序会获取任务列表中的目标传输任务，其中，任务列表中可以存在多个传输任务，在任务列表中新增传输任务后，数据传输调度程序会先获取该任务中的M个待迁移表格，并获取与Hadoop平台连接的业务系统中的数据筛选策略，从而可以根据数据筛选策略对表格中的数据进行处理。

需要说明的是，每个Hadoop平台可以与一个业务系统连接，也可以与多个业务系统连接，但是，一个传输任务中的多个待迁移表格属于同一个业务系统，每个传输任务中的多个待迁移表格均为业务系统中的Oracle数据库发送至Hadoop平台，或是通过手动输入的方式添加至传输任务中。

需要说明的是，数据筛选策略用于将待迁移表格中无需进行数据迁移的数据进行删除，从而减少传输的数据量。同时，数据筛选策略可以包含在预设参数表中，预设参数表可用于控制整个传输流程，例如，预设参数表中可以包括：数据筛选策略、存储文件的目标存储表、数据类型、传输批次等信息，进而Hadoop平台可以通过预设参数表中的信息进行数据迁移操作。

步骤S102，通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件。

具体的，在得到数据筛选策略后，可以根据数据筛选策略去除每个待迁移表格中需要删除的数据，得到更新后的表格，也即候选表格，并根据候选表格中的数据生成第一文件，从而可以以第一文件的封装形式和数据格式进行数据迁移。

例如，待迁移表格A中包括10列数据，数据筛选策略中显示需要将待迁移表格A中的a、b、c、d、e这5列进行迁移，此时，可以将剩余5列进行删除，得到候选表格A。

需要说明的是，在通过表格生成文件的时候，一个表格中的数据可能生成一个文件，同时也可能生成多个文件，也可能不生成对应文件，因此，P和M之间并无固定的数量对应关系。

步骤S103，确定目标传输任务的任务类型，其中，任务类型包括临时任务和定时任务。

具体的，在完成文件生成后，可以确定目标传输任务的任务类型，并根据任务类型确定传输方式。

需要说明的是，确定目标传输任务的任务类型的步骤可以在生成文件之后，也可以在获取任务列表中的目标传输任务中包含的M个待迁移表格之后，在任务类型为定时任务，并且未到任务执行时间的情况下，可以先不制作第一文件，得到达到执行时间后再进行制作。

步骤S104，在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中第一文件的目标存储表。

具体的，在任务类型为定时任务的情况下，若当前时刻与任务的定时时刻相同，则可以开始将多个第一文件进行传输，传输到的目标存储表为每个第一文件所属的待迁移表格在数据湖中对应的目标存储表，从而完成数据传输。

在未达到定时时刻的情况下，表征当前时刻不能执行该数据迁移任务，因此需要进行等待，在达到定时时刻的情况下，才可以进行数据传输。其中，定时时刻可以为系统空闲时刻，例如02:00，12:00，18:00等，从而保证数据迁移操作对系统的影响较小。

步骤S105，在任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表，其中，N为正整数。

具体的，在任务类型为临时任务的情况下，表征此时的数据为工作人员手动输入的较为紧急的数据，此时，需要立即将该数据进行传输，但是，由于临时任务可能由多个小数据组成，不同的小数据可能属于相同的表，因此，在生成多个第一文件后，可以根据文件名称确定哪些文件属于相同表格，并将其进行合并，并将合并后的多个第二文件进行传输，从而降低临时任务中的文件数量，并且保证了文件传输的时效性。

本申请实施例提供的数据迁移方法，通过获取任务列表中的目标传输任务中包含的M个待迁移表格，并从M个待迁移表格所属的数据库中获取数据库的数据筛选策略，其中，每个待迁移表格中均存在数据；通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件；确定目标传输任务的任务类型，其中，任务类型包括临时任务和定时任务；在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中第一文件的目标存储表；在任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表。解决了相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题。通过对获取到的传输任务中的数据进行筛选，得到需要进行传输的数据，并根据传输任务的任务类型确定此次传输任务是定时任务还是临时任务，在定时任务的情况下，由于文件为表格中的大文件，因此可以直接进行传输，在任务为临时任务的情况下，将多个小文件进行合并，从而减少文件的数量，将定时任务和临时任务分开处理，进而达到了提高数据传输时效性的效果，并且将多个小文件合并成大文件，降低了接收端的文件接收压力的效果。

可选地，在本申请实施例提供的数据迁移方法中，在依次根据每个候选表格中的数据生成第一文件，得到P个第一文件之前，该方法还包括：获取目标传输任务的预设文件生成时刻，并获取当前时刻，其中，当前时刻为执行获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻；判断预设文件生成时刻与当前时刻是否相同；在预设文件生成时刻与当前时刻相同的情况下，执行依次根据每个候选表格中的数据生成第一文件，得到P个第一文件的步骤；在预设文件生成时刻与当前时刻不相同的情况下，暂停执行目标传输任务，直至当前时刻与预设文件生成时刻相同。

具体的，在任务类型为定时任务的情况下，目标传输任务中会设置一个预设文件生成时刻，预设文件生成时刻也即将目标传输任务中的表格生成文件的时候，在接收到目标传输任务的时刻未达到预设文件生成时刻的情况下，例如，获取任务列表中的目标传输任务中包含的M个待迁移表格的时刻为15:00，该任务的预设文件生成时刻为18:00，此时，未达到预设文件生成时刻，因此，可以搁置目标传输任务，直至达到18:00，并在达到18:00的时候，对目标传输任务中的表格执行文件生成并发送的操作，从而保证定时任务可以在预设的空闲时刻进行执行。

需要说明的是，由于根据表格生成文件后，会立即将文件进行发送，因此，生成文件的时刻与发送文件的时刻可以看做相同时刻。如果在当前时刻未达到预设文件生成的情况下，误生成了文件，则在文件发送的时刻，也需要再次确定当前时刻是否为预设文件生成时刻，并在不是的情况下，暂停文件的发送操作，从而保证文件在正确的时间进行发送。

为了保证文件的准确性，可选地，在本申请实施例提供的数据迁移方法中，在依次根据每个候选表格中的数据生成第一文件，得到P个第一文件之后，该方法还包括：依次对每个第一文件进行校验，根据校验结果确认P个第一文件中是否存在异常文件；在P个第一文件中不存在异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并执行确定M个待迁移表格的传输任务的任务类型的步骤；在P个第一文件中存在异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并将异常文件发送至服务端，并根据剩余非异常的第一文件执行确定目标传输任务的任务类型的步骤。

具体的，在生成第一文件后，由于任务中存在多个待迁移表格，每个表格均对应一个第一文件，因此，为了保证第一文件的准确性，需要对每个第一文件进行校验，从而保证第一文件的正确。

在进行校验后，如果存在异常文件，则在文件执行明细表中记录每个文件的生成结果，同时将异常文件发送至服务端，并将其余正常文件正常进行传输，运维人员可以通过服务端对异常文件的异常原因进行确认，判断异常原因为待迁移表格存在异常，还是文件生成的时候存在异常。

需要说明的是，无论是否存在异常文件，均需要将每个文件的生成结果添加至文件执行明细表中，从而将全部文件的生成结果进行记录，便于后续进行查阅。

可选地，在本申请实施例提供的数据迁移方法中，该方法还包括：检测数据库中存储的多个初始表格中是否存在发生表结构变更的目标表格；在存在目标表格的情况下，获取目标表格的表结构变更内容，将表结构变更内容发送至目标数据湖，并在目标表格中记录第一预设时刻，其中，目标表格对应的目标存储表的表结构根据表结构变更内容进行变更，第一预设时刻表征目标表格对应的目标存储表的最晚变更时刻。

具体的，由于业务系统中的待迁移表格的表结构可能会随着业务需要以及数据量的增加发生改变，同时由于数据湖中的目标存储表的表结构需要与对应的待迁移表格的表结构一致，才能正确的存储数据，因此，在目标表格的表结构发生变更的时候，需要将变更内容发送至数据湖中，使得数据湖中对应的目标存储表进行根据变更内容进行相同的变更，从而使得传输的数据可以正确的存储在目标存储表中。

需要说明的是，业务系统的数据库中存储多个初始表格，在初始表格中的数据发生变更，从而需要进行迁移的时候，初始表格则被称为待迁移表格。

需要说明的是，由于业务系统与数据湖之间存在时间差，也即业务系统中的表结构发生改变，而数据湖中的表结构未发生改变，此时，如果进行数据迁移，则会导致数据无法正确的写入目标存储表中，因此，需要根据时间差设置第一预设时刻，第一预设时刻为目标存储表最晚完成表结构变更的时刻，在达到第一预设时刻的时候，目标存储表必定能够完成对表结构的变更，因此，需要根据业务系统与数据湖之间存在时间差进行第一预设时刻的设置，并将第一预设时刻存储在目标表格中，进而在根据目标表格生成文件的时候，可以根据第一预设时刻判断是否可以根据目标表格的当前表结构进行第一文件的生成。

可选地，在本申请实施例提供的数据迁移方法中，在获取目标表格的表结构变更内容之后，该方法还包括：从数据筛选策略中获取与目标表格相关的筛选内容，并判断目标表格的表结构发生变更是否影响筛选内容，其中，筛选内容指示用于生成第一文件的数据内容；在表结构发生变更不影响筛选内容的情况下，取消执行将表结构变更内容发送至目标数据湖，并在目标表格中记录第一预设时刻的步骤。

具体的，由于业务系统中的目标表格的表结构的变更频率较高，会导致数据湖中的目标存储表发生变更的频率较高，因此，为了降低数据湖中的目标存储表的结构的变更频率，可以在待迁移表格的表结构变更后，根据从数据筛选策略中获取与目标表格相关的筛选内容，判断表结构发生变更是否影响筛选内容，在变更内容不影响筛选内容的情况下，可以不对数据湖中的目标存储表的表结构进行变更，从而降低目标存储表的表结构的变更频率。

例如，目标表格B中包括10行10列数据，目标表格B在进行表结构变更后，变更为10行20列数据，此时，目标表格B的数据筛选策略为保留1-5行的数据，删除剩余数据的情况下，将变更前的目标表格B和变更后的目标表格B进行数据去除后，得到的候选表格仍是相同的，此时，无需对目标表格B在数据湖中对应的目标存储表的表结构进行修改。

可选地，在本申请实施例提供的数据迁移方法中，在任务类型为定时任务的情况下，依次根据每个候选表格中的数据生成第一文件，得到P个第一文件包括：对于每个候选表格，判断候选表格对应的第一待迁移表格的表结构是否发生变更；在表结构发生变更的情况下，判断当前时刻是否早于候选表格中记录的第二预设时刻，其中，当前时刻为执行获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻，第二预设时刻表征候选表格对应的目标存储表的最晚变更时刻；在当前时刻未早于第二预设时刻的情况下，根据候选表格中的数据生成第一文件；在当前时刻早于第二预设时刻的情况下，获取第一待迁移表格的变更内容，并根据变更内容将第一待迁移表格进行还原，得到第二待迁移表格；通过第二待迁移表格重新生成候选表格，并根据重新生成的候选表格中的数据生成第一文件。

具体的，在生成文件的时候，首先需要确定该文件对应的第一待迁移表格在上次迁移数据与本次迁移数据之间的时间范围内是否发生过表结构变更，在未发生过的情况下，可以直接进行文件生成，在发生过表结构变更的情况下，需要获取待迁移表格中的第二预设时刻，并判断当前需要进行文件生成的时刻是否早于第二预设时刻，在早于第二预设时刻的情况下，表明与第一待迁移表格对应的目标存储表的表结构未完成变更，此时，需要将第一待迁移表格的表结构还原至变更前，得到第二待迁移表格，并根据第二待迁移表格生成第一文件，从而保证目标存储表可以正确的接收到第一文件，并将文件中的数据入表。

可选地，在本申请实施例提供的数据迁移方法中，在表结构发生变更的情况下，该方法还包括：从数据筛选策略中获取与候选表格相关的筛选内容，并判断候选表格的表结构发生变更是否影响筛选内容，其中，筛选内容指示用于生成第一文件的数据内容；在表结构发生变更不影响筛选内容的情况下，执行根据候选表格中的数据生成第一文件的步骤。

具体的，在表结构发生变更的情况下，如果候选表格的表结构发生变更未影响筛选内容，则表征在数据去除后，得到的文件与表结构变更前的文件相同，此时，无需确定当前时刻是否早于第二预设时刻，可直接生成第一文件，此时得到的第一文件可被目标存储表正常接收。

图2是根据本申请实施例提供的可选的数据迁移方法的流程图，如图2所示，先获取任务列表中的目标传输任务，并在该任务为定时任务的情况下，通过参数表中的数据筛选策略对目标传输任务中的每个待迁移表格中的数据进行去除，得到多个候选表格。

对于任意一个候选表格，并判断候选表格是否发生表结构变更，在发生表结构变更的情况下，判断当前时刻是否早于预设时刻，在早于预设时刻的情况下，表征目标存储表未完成表结构变更，此时，需要将候选表格对应的待迁移表格根据变更内容进行恢复，并由恢复后的表格重新生成候选表格，并根据重新生成的候选表格生成文件，在当前时刻未早于预设时刻的情况下，可直接根据当前候选表格生成文件，在成功生成文件后，在任务执行明细表中记录，并将文件发送至数据湖中的目标存储表中，在未成功生成文件的情况下，在任务执行明细表中记录，并将异常文件发送至服务端。从而完成定时任务下的文件迁移操作。

图3是根据本申请实施例提供的可选地临时任务的执行流程图，如图3所示，在获取到目标传输任务后，并在该任务为定时任务的情况下，根据多个待迁移表格生成第一文件，在成功生成第一文件后，在任务执行明细表中记录，并将同名小文件进行合并，调用联机接口将合并后的文件同步至数据湖中的目标存储表中，从而完成临时任务的执行。

从而通过上述两部分流程，对获取到的传输任务中的数据进行筛选，得到需要进行传输的数据，并根据传输任务的任务类型确定此次传输任务是定时任务还是临时任务，在定时任务的情况下，由于文件为表格中的大文件，因此可以直接进行传输，在任务为临时任务的情况下，将多个小文件进行合并，从而减少文件的数量，将定时任务和临时任务分开处理，进而达到了提高数据传输时效性的效果，并且将多个小文件合并成大文件，降低了接收端的文件接收压力的效果。

需要说明的是，定时任务传输的数据可以存储在数据湖中的公有库中的目标存储表中，临时任务传输的数据可以存储在数据湖中的私有库中的目标存储表中，数据湖可定时将公有库和私有库中相对应的两个目标存储表中的数据进行合并，并设置访问权限，从而可以通过预设访问方式对表格中的数据进行访问。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种数据迁移装置，需要说明的是，本申请实施例的数据迁移装置可以用于执行本申请实施例所提供的用于数据迁移方法。以下对本申请实施例提供的数据迁移装置进行介绍。

图4是根据本申请实施例提供的数据迁移装置的示意图。如图4所示，该装置包括：第一获取单元41，去除单元42，确定单元43，第一发送单元44，第二发送单元45。

第一获取单元41，用于获取任务列表中的目标传输任务中包含的M个待迁移表格，并从M个待迁移表格所属的数据库中获取数据库的数据筛选策略，其中，M为正整数，每个待迁移表格中均存在数据。

去除单元42，用于通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件。

确定单元43，用于确定目标传输任务的任务类型，其中，任务类型包括临时任务和定时任务。

第一发送单元44，用于在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中第一文件的目标存储表。

第二发送单元45，用于在任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表，其中，N为正整数。

本申请实施例提供的数据迁移装置，通过第一获取单元41获取任务列表中的目标传输任务中包含的M个待迁移表格，并从M个待迁移表格所属的数据库中获取数据库的数据筛选策略，其中，M为正整数，每个待迁移表格中均存在数据；去除单元42通过数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件；确定单元43确定目标传输任务的任务类型，其中，任务类型包括临时任务和定时任务；第一发送单元44在任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中第一文件的目标存储表；第二发送单元45在任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中第一文件的目标存储表，其中，N为正整数。解决了相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题。通过对获取到的传输任务中的数据进行筛选，得到需要进行传输的数据，并根据传输任务的任务类型确定此次传输任务是定时任务还是临时任务，在定时任务的情况下，由于文件为表格中的大文件，因此可以直接进行传输，在任务为临时任务的情况下，将多个小文件进行合并，从而减少文件的数量，将定时任务和临时任务分开处理，进而达到了提高数据传输时效性的效果，并且将多个小文件合并成大文件，降低了接收端的文件接收压力的效果。

可选地，在本申请实施例提供的数据迁移装置中，该装置还包括：第二获取单元，用于获取目标传输任务的预设文件生成时刻，并获取当前时刻，其中，当前时刻为执行获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻；第一判断单元，用于判断预设文件生成时刻与当前时刻是否相同；第一执行单元，用于在预设文件生成时刻与当前时刻相同的情况下，执行依次将每个第一文件发送至目标数据湖中第一文件的目标存储表的步骤；存储单元，用于在预设文件生成时刻与当前时刻不相同的情况下，将P个第一文件存储至缓存区，直至当前时刻与预设文件生成时刻相同。

可选地，在本申请实施例提供的数据迁移装置中，该装置还包括：校验单元，用于依次对每个第一文件进行校验，根据校验结果确认P个第一文件中是否存在异常文件；第二执行单元，用于在P个第一文件中不存在异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并执行确定M个待迁移表格的传输任务的任务类型的步骤；第三发送单元，用于在P个第一文件中存在异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并将异常文件发送至服务端，并根据剩余非异常的第一文件执行确定目标传输任务的任务类型的步骤。

可选地，在本申请实施例提供的数据迁移装置中，该装置还包括：检测单元，用于检测数据库中存储的多个初始表格中是否存在发生表结构变更的目标表格；第三获取单元，用于在存在目标表格的情况下，获取目标表格的表结构变更内容，将表结构变更内容发送至目标数据湖，并在目标表格中记录第一预设时刻，其中，目标表格对应的目标存储表的表结构根据表结构变更内容进行变更，第一预设时刻表征目标表格对应的目标存储表的最晚变更时刻。

可选地，在本申请实施例提供的数据迁移装置中，该装置还包括：第二判断单元，用于从数据筛选策略中获取与目标表格相关的筛选内容，并判断目标表格的表结构发生变更是否影响筛选内容，其中，筛选内容指示用于生成第一文件的数据内容；取消单元，用于在表结构发生变更不影响筛选内容的情况下，取消执行将表结构变更内容发送至目标数据湖，并在目标表格中记录第一预设时刻的步骤。

可选地，在本申请实施例提供的数据迁移装置中，去除单元42包括：第一判断模块，用于对于每个候选表格，判断候选表格对应的第一待迁移表格的表结构是否发生变更；第二判断模块，用于在表结构发生变更的情况下，判断当前时刻是否早于候选表格中记录的第二预设时刻，其中，当前时刻为执行获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻，第二预设时刻表征候选表格对应的目标存储表的最晚变更时刻；第一生成模块，用于在当前时刻未早于第二预设时刻的情况下，根据候选表格中的数据生成第一文件；获取模块，用于在当前时刻早于第二预设时刻的情况下，获取第一待迁移表格的变更内容，并根据变更内容将第一待迁移表格进行还原，得到第二待迁移表格；第二生成模块，用于通过第二待迁移表格重新生成候选表格，并根据重新生成的候选表格中的数据生成第一文件。

可选地，在本申请实施例提供的数据迁移装置中，该装置还包括：第四获取单元，用于从数据筛选策略中获取与候选表格相关的筛选内容，并判断候选表格的表结构发生变更是否影响筛选内容，其中，筛选内容指示用于生成第一文件的数据内容；第三执行单元，用于在表结构发生变更不影响筛选内容的情况下，执行根据候选表格中的数据生成第一文件的步骤。

上述数据迁移装置包括处理器和存储器，上述第一获取单元41，去除单元42，确定单元43，第一发送单元44，第二发送单元45等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决了相关技术中使用批量文件传输方式进行数据传输的传输时效性差的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述数据迁移方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述数据迁移方法。

图5为根据本申请实施例提供的一种电子设备的示意图，如图5所示，本发明实施例提供了一种电子设备，电子设备50包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述数据迁移方法的步骤。本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述数据迁移方法的步骤的程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：

获取任务列表中的目标传输任务中包含的M个待迁移表格，并从所述M个待迁移表格所属的数据库中获取所述数据库的数据筛选策略，其中，M为正整数，每个待迁移表格中均存在数据；

通过所述数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件，其中，P为正整数；

确定所述目标传输任务的任务类型，其中，所述任务类型包括临时任务和定时任务；

在所述任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中所述第一文件的目标存储表；

在所述任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将所述文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中所述第一文件的目标存储表，其中，N为正整数。

2.根据权利要求1所述的方法，其特征在于，在依次根据每个候选表格中的数据生成第一文件，得到P个第一文件之前，所述方法还包括：

获取所述目标传输任务的预设文件生成时刻，并获取当前时刻，其中，所述当前时刻为执行所述获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻；

判断所述预设文件生成时刻与所述当前时刻是否相同；

在所述预设文件生成时刻与所述当前时刻相同的情况下，执行所述依次根据每个候选表格中的数据生成第一文件，得到P个第一文件的步骤；

在所述预设文件生成时刻与所述当前时刻不相同的情况下，暂停执行所述目标传输任务，直至所述当前时刻与所述预设文件生成时刻相同。

3.根据权利要求1所述的方法，其特征在于，在依次根据每个候选表格中的数据生成第一文件，得到P个第一文件之后，所述方法还包括：

依次对每个第一文件进行校验，根据校验结果确认所述P个第一文件中是否存在异常文件；

在所述P个第一文件中不存在所述异常文件的情况下，在文件执行明细表中记录每个文件的生成结果，并执行确定所述M个待迁移表格的传输任务的任务类型的步骤；

在所述P个第一文件中存在所述异常文件的情况下，在所述文件执行明细表中记录每个文件的生成结果，并将所述异常文件发送至服务端，并根据剩余非异常的第一文件执行所述确定所述目标传输任务的任务类型的步骤。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述数据库中存储的多个初始表格中是否存在发生表结构变更的目标表格；

在存在所述目标表格的情况下，获取所述目标表格的表结构变更内容，将所述表结构变更内容发送至所述目标数据湖，并在所述目标表格中记录第一预设时刻，其中，所述目标表格对应的目标存储表的表结构根据所述表结构变更内容进行变更，所述第一预设时刻表征所述目标表格对应的目标存储表的最晚变更时刻。

5.根据权利要求4所述的方法，其特征在于，在获取所述目标表格的表结构变更内容之后，所述方法还包括：

从所述数据筛选策略中获取与所述目标表格相关的筛选内容，并判断所述目标表格的表结构发生变更是否影响所述筛选内容，其中，所述筛选内容指示用于生成所述第一文件的数据内容；

在表结构发生变更不影响所述筛选内容的情况下，取消执行所述将所述表结构变更内容发送至所述目标数据湖，并在所述目标表格中记录第一预设时刻的步骤。

6.根据权利要求1所述的方法，其特征在于，在所述任务类型为定时任务的情况下，依次根据每个候选表格中的数据生成第一文件，得到P个第一文件包括：

对于每个候选表格，判断所述候选表格对应的第一待迁移表格的表结构是否发生变更；

在所述表结构发生变更的情况下，判断当前时刻是否早于所述候选表格中记录的第二预设时刻，其中，所述当前时刻为执行所述获取任务列表中的目标传输任务中包含的M个待迁移表格的步骤的时刻，所述第二预设时刻表征所述候选表格对应的目标存储表的最晚变更时刻；

在所述当前时刻未早于所述第二预设时刻的情况下，根据所述候选表格中的数据生成第一文件；

在所述当前时刻早于所述第二预设时刻的情况下，获取所述第一待迁移表格的变更内容，并根据变更内容将所述第一待迁移表格进行还原，得到第二待迁移表格；

通过所述第二待迁移表格重新生成候选表格，并根据重新生成的候选表格中的数据生成第一文件。

7.根据权利要求6所述的方法，其特征在于，在所述表结构发生变更的情况下，所述方法还包括：

从所述数据筛选策略中获取与所述候选表格相关的筛选内容，并判断所述候选表格的表结构发生变更是否影响所述筛选内容，其中，所述筛选内容指示用于生成所述第一文件的数据内容；

在表结构发生变更不影响所述筛选内容的情况下，执行所述根据所述候选表格中的数据生成第一文件的步骤。

8.一种数据迁移装置，其特征在于，包括：

第一获取单元，用于获取任务列表中的目标传输任务中包含的M个待迁移表格，并从所述M个待迁移表格所属的数据库中获取所述数据库的数据筛选策略，其中，M为正整数，每个待迁移表格中均存在数据；

去除单元，用于通过所述数据筛选策略依次对每个待迁移表格中的部分数据进行去除，得到M个候选表格，并依次根据每个候选表格中的数据生成第一文件，得到P个第一文件；

确定单元，用于确定所述目标传输任务的任务类型，其中，所述任务类型包括临时任务和定时任务；

第一发送单元，用于在所述任务类型为定时任务的情况下，依次将每个第一文件发送至目标数据湖中所述第一文件的目标存储表；

第二发送单元，用于在所述任务类型为临时任务的情况下，获取每个第一文件的文件名称，并将所述文件名称相同的第一文件进行合并，得到N个第二文件，并依次将每个第二文件发送至目标数据湖中所述第一文件的目标存储表，其中，N为正整数。

9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序，其中，所述程序运行时控制所述计算机存储介质所在的设备执行权利要求1至7中任意一项所述的数据迁移方法。

10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据迁移方法。