CN116107992A - 数据迁移方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请涉及一种数据迁移方法、装置、电子设备及存储介质，所述数据迁移方法在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据，并确定数据迁移任务对应的迁移模式，在迁移模式属于预设的目标迁移模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件，通过目标迁移组件对数据迁移任务对应的目标迁移数据进行迁移，得到数据迁移任务对应的数据迁移结果；解决了现有迁移过程中存在数据迁移过程中迁移组件固定不灵活的问题，实现了在对执行数据迁移任务的过程中可以对预设迁移组件进行适应性调整的效果。

Description

数据迁移方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机领域，尤其涉及一种数据迁移方法、装置、电子设备及存储介质。

背景技术

随着数据库的不断发展，根据不同的需求很多数据库存在迁移转换的需求，将数据库中的数据有源端数据库转移至目标端数据的过程称为数据迁移。

由于数据迁移一般是在不停止业务的情况下直接进行的，因此数据库上的业务压力以及数据量的波动对迁移任务的效率有着明显的影响；而目前迁移过程中的迁移组件的配置和规格通常都是固定的，只能保持相同的迁移效率，此外，大多数情况下迁移工具的配置和数量布局较为依赖人工配置和迁移经验，因此存在数据迁移过程中迁移组件固定不灵活的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据迁移方法、装置、电子设备及存储介质。

第一方面，本申请提供了一种数据迁移方法，包括：

在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据；

确定所述数据迁移任务对应的迁移模式；

在所述迁移模式属于预设的目标迁移模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件；

通过所述目标迁移组件，对所述数据迁移任务对应的目标迁移数据进行迁移，得到所述数据迁移任务对应的数据迁移结果。

可选的，所述获取数据迁移任务对应的资源监控数据之前，还包括：

获取配置信息；

基于所述配置信息确定所述预设迁移组件；

其中，确定所述数据迁移任务对应的迁移模式，包括：基于所述配置信息确定所述迁移模式。

可选的，所述目标迁移模式包含业务模式，在所述迁移模式属于预设的目标迁移模式的情况下，依据所述预设迁移组件对应的组件参数进行调整，得到目标迁移组件，包括：

从所述资源监控数据提取资源占用率；

在所述资源占用率高于第一占用率阈值的情况下，判断所述迁移模式是否属于所述业务模式；

在所述迁移模式属于所述业务模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件。

可选的，所述目标迁移模式包含迁移优先模式，在所述迁移模式属于预设的目标迁移模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件，包括：

从所述资源监控数据提取待迁移数据量；

在所述待迁移数据量大于第一数据量阈值的情况下，判断所述迁移模式是否属于所述迁移优先模式；

在所述迁移模式属于所述迁移优先模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件。

可选的，所述组件参数包括组件数量和组件配置信息，所述依据所述预设迁移组件对应的组件参数进行调整，得到所述目标迁移组件，包括：

减少所述预设迁移组件对应的组件数量，得到第一迁移组件；

基于所述第一迁移组件执行数据迁移任务，获取数据迁移任务对应的资源监控数据；

在所述资源占用率高于第二占用率阈值的情况下，调整所述第一迁移组件的组件配置信息，得到第二迁移组件；

将所述第二迁移组件作为所述目标迁移组件。

可选的，所述组件参数包括组件数量和组件配置信息，所述依据所述预设迁移组件对应的组件参数进行调整，得到所述目标迁移组件，包括：

增加所述预设迁移组件对应的组件数量，得到第三迁移组件；

基于所述第三迁移组件执行数据迁移任务，获取待迁移数据量；

在所述待迁移数据量大于第二数据量阈值的情况下，调整所述第三迁移组件的组件配置信息，得到第四迁移组件；

将所述第四迁移组件作为所述目标迁移组件可选的，所述方法还包括：

在所述资源监控数据为预设资源监控数据的情况下，通过所述预设迁移组件，对所述数据迁移任务对应的目标迁移数据进行迁移，得到所述数据迁移任务对应的数据迁移结果。

第二方面，本申请提供了一种数据迁移装置，包括：

获取模块，用于在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据；

确定模块，用于确定所述数据迁移任务对应的迁移模式；

调整模块，用于在所述迁移模式属于预设的目标迁移模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件；

迁移模块，用于通过所述目标迁移组件，对所述数据迁移任务对应的目标迁移数据进行迁移，得到所述数据迁移任务对应的数据迁移结果。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例所述的据迁移方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的据迁移方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据，并确定数据迁移任务对应的迁移模式，在迁移模式属于预设的目标迁移模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件，通过目标迁移组件对数据迁移任务对应的目标迁移数据进行迁移，得到数据迁移任务对应的数据迁移结果；以此起到了在执行数据迁移任务的过程中根据资源监控数据对预设迁移组件进行调整的作用，解决了现有迁移过程中存在数据迁移过程中迁移组件固定不灵活的问题，实现了在对执行数据迁移任务的过程中可以对预设迁移组件进行适应性调整的效果。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据迁移方法的流程示意图；

图2为本申请另一实施例提供的一种数据迁移方法的流程示意图；

图3为本申请实施例提供的一种数据迁移装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

数据迁移指的是将源端数据库的数据转移至目标端数据库中，其中必不可能的则是三个环节、采集、转换、回放，通常情况是由迁移组件完成，迁移组件包括采集组件、分析/转换组件、回放组件；其中，采集组件负责采集源端数据库的数据，分析&转换组件负责将源端数据库的数据类型转换为目标端数据库的数据类型，回放组件负责将分析/转换组件转换后的数据输入值目标端数据库，以此完成数据的迁移；其中迁移组件的配置过程包括采集组件和回放组件的申请和施放，以及采集组件、分析/转换组件和回放组件的组件参数设置等；采集组件和回放组件的申请和施放起到改变参与迁移任务的采集组件和回放组件的数量的作用，而采集组件、分析/转换组件和回放组件的组件参数设置起到改变迁移组件的效率的作用。

目前，现有迁移方式中大部分都是在上述迁移组件的基础上进行线程调度优化与同类型组件间的负载均衡优化等，也即对迁移组件的配置；但是即使在迁移任务开始前完成迁移组件的配置，在迁移任务进行中参与任务的迁移组件和组件参数会保持固定，此时当迁移组件与数据库的配合度低，且无法根据迁移压力大小、迁移数据量大小、可用资源情况等对组件进行动态调整，无法应对数据库数据量或资源突变的情况，容易造成资源浪费或者争抢等现象，影响迁移效率。另外，在迁移组件配置过程中，迁移组件选择与配置依赖人工与操作人员经验值，对操作人员要求高，适应性性不强等问题。

图1为本申请实施例提供的一种数据迁移方法的流程示意图。

如图1所示的，本申请公开一实施例，提供了一种数据迁移方法，包括：

S110：在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据；

S120：确定数据迁移任务对应的迁移模式；

S130：在迁移模式属于预设的目标迁移模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件；

S140：通过目标迁移组件，对数据迁移任务对应的目标迁移数据进行迁移，得到数据迁移任务对应的数据迁移结果。

本实施例中的数据迁移方法应用于数据迁移的过程中，例如数据库的数据迁移，数据迁移过程由预设迁移组件对目标迁移数据进行迁移，数据迁移任务用于表示将目标迁移数据由源端数据库迁移至目标端数据库，例如将目标迁移数据从集中式数据库迁移至分布式数据库中或者从分布式数据库迁移至另一分布式数据库中，数据迁移任务对应的数据迁移结果用于表示将目标迁移数据由源端数据库迁移至目标端数据库的结果；在数据迁移过程中需要使用到多个组件例如采集组件、分析/转换组件、回放组件以及控制/配置管理组件，其中采集组件、分析/转换组件、回放组件作用如前述，控制/配置管理组件集成了数据迁移任务相关的配置管理以及实时资源监控数据，负责根据数据迁移任务配置其他组件与源端数据库、目标数据库的资源利用情况，调度采集组件、分析/转换组件、回放组件的并发使用情况，以及实时调整采集件和回放件的配置参数控制单个组件的使用情况；进一步的，采集组件可以集中于采集组件池中，回放组件可以集中于采集组件池中；现有的迁移方式主要是在数据迁移任务执行前对控制/配置管理组件进行配置，例如选择的采集组件和回放组件的组件数量，采集组件、分析/转换组件、回放组件的具体配置信息等，接着由控制/配置管理组件调取各组件执行数据迁移任务；因此现有的迁移方式在数据迁移任务执行的过程中，无法对各组件进行适应性调整，也即导致两个问题，一个是，在各组件和参数相对固定的情况下，迁移组件与数据库的配合度低无法根据迁移压力大小、迁移数据量大小、可用资源情况等对组件进行动态调整，无法应对数据库数据量或资源突变的情况，容易造成资源浪费或者争抢等现象，影响迁移效率的问题；另一个是，该迁移方式对于迁移组件选择与配置主要依赖人工与操作人员的经验值，对操作人员要求高，易操作性不强的问题。

而本实施例通过，在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据，因此在执行数据迁移任务之前需要配置生成预设迁移组件，也即步骤S110之前还可以包括：

S101：获取配置信息；

S102：基于配置信息确定预设迁移组件；

其中，确定数据迁移任务对应的迁移模式，包括：基于配置信息确定迁移模式。

本实施例中的配置信息可以为用户输入的配置信息，也可以是默认的配置信息，基于配置信息确定预设迁移组件和迁移模式，预设迁移组件用于表示执行数据迁移任务的若干个组件，迁移模式用于表示当前执行数据迁移任务的模式，迁移模式可以包括业务模块和迁移优先模式，业务模块用于表示以源端数据库或者目标端数据的业务完成优先，使得执行数据迁移任务的优先级低于执行业务的优先级，以起到保证源端数据库或者目标端数据的业务提供能力的作用，而迁移优先模式则与业务模型相反，用于表示以数据迁移任务优先，使得执行数据迁移任务的优先级高于执行业务的优先级，以起到保持数据迁移任务执行效率的作用，以此根据用户的不同需求，或者根据源端数据库或者目标端数据的具体情况确定合适的迁移模式。

因此，只有在步骤S110获取数据迁移任务对应的资源监控数据之后，才需要获取此时数据迁移任务对应的迁移模式，也即基于配置信息，结合资源监控数据确定迁移模式，只有在获取了资源监控数据的情况下，才需要确定迁移模式，所以此处的结合资源监控数据确定迁移模式仅仅是用于确定资源监控数据已被获取的状态，接着确定出数据迁移任务的迁移模式。

在数据迁移任务开始执行时以预设迁移组件进行执行，而在数据迁移任务执行的过程中会出现源端数据库或者目标端数据的业务波动或者是待迁移数据量的波动等情况，不同情况对于数据迁移任务的执行效率存在不同的影响，而要使得数据迁移任务保持最佳的执行效率，则需要对当前源端数据库或者目标端数据的实时状态进行监测，因此在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据，其中资源监控数据用于表示源端数据库或者目标端数据的实时数据；资源监控数据包括资源占用率和待迁移数据量，资源占用率用于表示源端数据库或目标端数据库的资源占用情况，资源占用率越高说明源端数据库或目标端数据库当前的执行业务较多，占用的数据资源较多，因此资源占用率用于表示源端数据库或目标端数据库的内存、中央处理器(centralprocessing unit，CPU)、io、网络带宽等资源的使用情况；待迁移数据量用于表示待迁移数据的大小。

S120：确定数据迁移任务对应的迁移模式；

本实施例中确定数据迁移任务对应的迁移模式，由于迁移模式用于表示当前数据迁移任务执行过程中源端数据库或者目标端数据更为侧重的执行方向，也即迁移模式可以包括业务模块和迁移优先模式，因此通过确定数据迁移任务对应的迁移模式，明确当前数据迁移任务执行过程中源端数据库或者目标端数据更为侧重的执行方向是执行业务还是执行数据迁移任务，起到为后续对于预设迁移组件提供调整基础的作用。

S130：在迁移模式属于预设的目标迁移模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件。

本实施例中在获取资源监控数据以及确定数据迁移任务对应的迁移模式后，判断迁移模式是否属于预设的目标迁移模式，在迁移模式属于预设的目标迁移模式的情况下，依据资源监控数据对预设迁移组件对应的组件参数进行调整，得到目标迁移组件，其中，目标迁移模式用于表示当前资源监控数据下需要调整预设迁移组件的迁移模式；具体的，步骤S130可以包括：

S131：从资源监控数据中提取资源占用率；

S132：在资源占用率高于第一占用率阈值的情况下，判断迁移模式是否属于业务模式；

S133：在迁移模式属于业务模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件。

如图2所示的，本实施例中在首先判断资源监控数据的资源占用率是否高于第一占用阈值，通过第一占用阈值用于判断源端数据库或者目标端数据的业务情况，资源占用率高于第一占用阈值时表示源端数据库或者目标端数据的业务较多，资源占用率低于第一占用阈值时表示源端数据库或者目标端数据的业务较少，因此，在资源监控数据的资源占用率低于第一占用阈值的情况下，此时说明源端数据库和目标端数据的业务较少可以维持当前的预设迁移组件执行数据迁移任务，因此无需对预设迁移组件进行调整；而在资源监控数据的资源占用率高于第一占用阈值的情况下，说明源端数据库和目标端数据的业务较多，可能难以维持当前的预设迁移组件执行数据迁移任务，也即数据迁移任务的执行效率会较低而源端数据库和目标端数据的业务执行需求较高，因此此时需要集合迁移模式进行确定是否需要对预设迁移组件进行调整，迁移模式为迁移优先模式时则无需对预设迁移组件进行调整，因此迁移模式为迁移任务优先需要以数据迁移任务的执行效率为主，所以此时需要保持以预设迁移组件执行数据迁移任务；而迁移模式为业务模式时因为需要源端数据库和目标端数据库以响应业务为主，所以为了提高响应业务的执行效率需要对预设迁移组件进行调整，以此提高响应业务的执行效率，因此此时的目标迁移模式为业务模式，也即在迁移模式为预设的业务模式的情况下，依据资源监控数据对预设迁移组件对应的组件参数进行调整，得到目标迁移组件。

在资源监控数据的资源占用率高于第一占用阈值的情况下，说明源端数据库和目标端数据库的资源占用率较高，而此时若迁移模式为业务模式则为了保证源端数据库和目标端数据库响应业务的效率，需要对预设迁移组件进行调整，使得预设迁移组件占用的资源减低，以此提高源端数据库和目标端数据库执行业务的资源，因此S13:3中对应的组件参数进行调整需要减低预设迁移组件的资源占用，因此步骤S132还可以包括：

S1331：减少预设迁移组件对应的组件数量，得到第一迁移组件；

S1332：基于第一迁移组件执行数据迁移任务，获取数据迁移任务对应的资源监控数据；

S1333：在资源占用率高于第二占用率阈值的情况下，调整第一迁移组件的组件配置信息，得到第二迁移组件；

S1334：将第二迁移组件作为目标迁移组件。

本实施例中需要降低预设迁移组件的资源占用，存在两种方式，一种是减少预设迁移组件对应的组件数量，通过减少组件的数量起到减低预设迁移组件的资源占用的作用，另一种是调整预设迁移组件的组件配置信息，使得预设迁移组件中的各组件运行效率减低以此起到减低预设迁移组件的资源占用的作用；因为减少预设迁移组件对应的组件数量对于调整预设迁移组件的组件配置信息更容易减低预设迁移组件的资源占用，所以会首先减少预设迁移组件对应的组件数量，得到第一迁移组件，接着基于第一迁移组件执行数据迁移任务，获取数据迁移任务对应的资源监控数据，继续判断资源监控数据是否高于第二占用率阈值，此处的第二占用率阈值用于表示第一迁移组件执行数据迁移任务是否能够达到期望的阈值，因此第二占用率阈值会比第一占用阈值低，在资源占用率低于第二占用率阈值时，说明此时第一迁移组件的资源占用较小，使得源端数据库和目标端数据库有足够的资源执行响应业务，因此此时可以将第一迁移组件作为目标迁移组件；而在资源占用率高于第二占用率阈值的情况下，说明此时第一迁移组件的资源占用仍然较大，无法使源端数据库和目标端数据库有足够的资源执行响应业务，因此此时可以继续减少预设迁移组件对应的组件数量，直至资源占用率低于第二占用率阈值，但是因为预设迁移组件通常存在一个最少组件数量，低于最少组件数量则无法数据迁移任务，因此在减少预设迁移组件对应的组件数量后，需要判断当前组件数量是否等于预设组件数量，若大于预设组件数量则可以继续减少组件数量，若等于预设组件数量则此时组件数量为最少组件数，此时则无法减少组件数量，因此此时需要调整第一迁移组件的组件配置信息，得到第二迁移组件，通过调整组件配置信息使得预设迁移组件中的各组件运行效率减低以此起到减低预设迁移组件的资源占用的作用。

以上为需要降低预设迁移组件的资源占用的情况，与之对应的提高预设迁移组件的资源占用情况则是在待迁移数据量过大时，因为待迁移数据量过大时基于当前的预设迁移组件执行数据迁移任务存在效率低下的问题，所以通过调高预设迁移组件的资源占用以实现提高数据迁移任务效率的效果；因此步骤S130还可以包括：

S134：从资源监控数据提取待迁移数据量；

S135：在待迁移数据量大于第一数据量阈值的情况下，判断迁移模式是否属于迁移优先模式；

S136：在迁移模式属于迁移优先模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件。

如图2所示的，本实施例中首先判断资源监控数据的待迁移数据量是否高于第一数据量阈值，通过第一数据量阈值用于判断源端数据库的待迁移数据情况，待迁移数据量高于第一数据量阈值时表示源端数据库的待迁移数据的数据量较大，待迁移数据量低于第一数据量阈值时表示源端数据库的待迁移数据的数据量较小，因此在待迁移数据量高于第一数据量阈值的情况下，无需预设迁移组件进行调整，因为此时源端数据库的待迁移数据的数据量较小，所以维持当前的预设迁移组件执行数据迁移任务既可以有效完成数据迁移任务；而在待迁移数据量高于第一数据量阈值的情况下，需要对预设迁移组件进行调整，因为此时源端数据库的待迁移数据的数据量较大，若持续以预设迁移组件执行数据迁移任务会存在效率低下的问题，因此此时需要通过调整预设迁移组件进行提高执行数据迁移任务的效率，

因此此时需要集合迁移模式进行确定是否能够对预设迁移组件进行调整，迁移模式为业务模式时则无需对预设迁移组件进行调整，因此需要以源端数据库和目标端数据库以响应业务为主，所以即时当前以预设迁移组件执行数据迁移任务会存在效率低下也只能保持不变；而当迁移模式为迁移优先模式时因为以执行数据迁移任务的效率为主，所以为了提高迁移组件执行数据迁移任务的效率需要对预设迁移组件进行调整，以此提高执行数据迁移任务的效率，因此此时的目标迁移模式为迁移优先模式，也即在迁移模式为预设的迁移优先模式的情况下，依据资源监控数据对预设迁移组件对应的组件参数进行调整，得到目标迁移组件。

在资源监控数据的待迁移数据量高于第一数据量阈值的情况下，说明源端数据库的待迁移数据量较大，而此时若迁移模式为迁移优先模式则为了保证执行数据迁移任务的效率，需要对预设迁移组件进行调整，使得迁移组件执行数据迁移任务的效率提高，因此步骤S133还可以包括：

S1331：增加预设迁移组件对应的组件数量，得到第三迁移组件；

S1332：基于第三迁移组件执行数据迁移任务，获取待迁移数据量；

S1333：在待迁移数据量大于第二数据量阈值的情况下，调整第三迁移组件的组件配置信息，得到第四迁移组件；

S1334：将第四迁移组件作为目标迁移组件。

本实施例中需要提高执行数据迁移任务的效率，存在两种方式，一种是增加预设迁移组件对应的组件数量，通过增加组件的数量提高执行数据迁移任务的效率，另一种是调整预设迁移组件的组件配置信息，使得预设迁移组件中的各组件运行效率提高以此起到提高执行数据迁移任务效率的作用；因为增加预设迁移组件对应的组件数量对于调整预设迁移组件的组件配置信息更容易提高执行数据迁移任务的效率，所以会首先增加预设迁移组件对应的组件数量，得到第三迁移组件，接着基于第三迁移组件执行数据迁移任务，获取待迁移数据量，继续判断获取待迁移数据量是否大于第二数据量阈值，此处的第二数据量阈值用于表示第三迁移组件执行数据迁移任务是否能够达到效率期望的阈值，因此第二数据量阈值会低于第一数据量阈值，在待迁移数据量小于第二数据量阈值的情况下，说明此时第一迁移组件的资源占用较小，使得源端数据库和目标端数据库有足够的资源执行响应业务，因此此时可以将第一迁移组件作为目标迁移组件；而在资源占用率高于第二占用率阈值的情况下，说明此时第一迁移组件的资源占用仍然较大，无法使源端数据库和目标端数据库有足够的资源执行响应业务，因此此时可以继续减少预设迁移组件对应的组件数量，直至资源占用率低于第二占用率阈值，但是因为预设迁移组件通常存在一个最少组件数量，低于最少组件数量则无法数据迁移任务，因此在减少预设迁移组件对应的组件数量后，需要判断当前组件数量是否等于预设组件数量，若大于预设组件数量则可以继续减少组件数量，若等于预设组件数量则此时组件数量为最少组件数，此时则无法减少组件数量，因此此时需要调整第一迁移组件的组件配置信息，得到第二迁移组件，通过调整组件配置信息使得预设迁移组件中的各组件运行效率减低以此起到减低预设迁移组件的资源占用的作用。

前述实施例中是在于资源监控数据的资源占用率高于第一占用阈值或者是资源监控数据的待迁移数据量大于第一数据量阈值的情况需要进行适应的调整预设迁移组件，也即在上述情况之外，例如资源监控数据的资源占用率低于第一占用阈值、资源监控数据的待迁移数据量小于第一数据量阈值的情况下，或者是在资源监控数据的资源占用率高于第一占用阈值或者是资源监控数据的待迁移数据量大于第一数据量阈值的情况下调整了预设迁移组件后基于目标迁移组件执行数据迁移任务一段时间后，资源监控数据的资源占用率由高于第一占用阈值转换为低于第一占用阈值或者是资源监控数据的待迁移数据量由大于第一数据量阈值转换为了小于第一数据量阈值，此时则无需基于目标迁移组件执行数据迁移任务，继续基于预设迁移组件执行数据迁移任务即可，也即恢复至配置信息对应的运行状态即可。

在一实施例中方法还包括：

S150：在资源监控数据为预设资源监控数据的情况下，通过预设迁移组件，对数据迁移任务对应的目标迁移数据进行迁移，得到数据迁移任务对应的数据迁移结果。

本实施例中的预设资源监控数据用于表示资源监控数据的资源占用率高于第一占用阈值或者是资源监控数据的待迁移数据量大于第一数据量阈值之外的情况，例如资源监控数据的资源占用率低于第一占用阈值、资源监控数据的待迁移数据量小于第一数据量阈值的情况下等情况，此时基于预设迁移组件执行数据迁移任务即可满足数据迁移任务的需求，因此仅需通过预设迁移组件，对数据迁移任务对应的目标迁移数据进行迁移，得到数据迁移任务对应的数据迁移结果；需要说明的是，此处通过预设迁移组件，对数据迁移任务对应的目标迁移数据进行迁移可以用于表示持续基于预设迁移组件执行数据迁移任务也可以用于表示由目标迁移组件转换为预设迁移组件执行数据迁移任务；实现了数据迁移过程中适应性采用更为合适的迁移组件进行数据迁移的效果。

如图3所示的，本申请还公开一实施例，提供了一种数据迁移装置，包括：

获取模块310，用于在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据；

确定模块320，用于确定数据迁移任务对应的迁移模式；

调整模块330，用于在迁移模式属于预设的目标迁移模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件；

迁移模块340，用于通过目标迁移组件，对数据迁移任务对应的目标迁移数据进行迁移，得到数据迁移任务对应的数据迁移结果。

在一实施例中，装置还包括：

配置模块，用于获取配置信息；

组件模块，用于基于配置信息确定预设迁移组件和迁移模式，迁移模式包括业务模块和迁移优先模式；

其中确定模块320可以包括：

确定单元，用于基于配置信息确定迁移模式。

在一实施例中，目标迁移模式包含业务模式，调整模块330可以包括：

第一提取单元，用于从资源监控数据提取资源占用率；

第一判断单元，用于在资源占用率高于第一占用率阈值的情况下，判断迁移模式是否属于业务模式；

第一调整单元，用于在迁移模式属于业务模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件。

在一实施例中，目标迁移模式包含迁移优先模式，调整模块330可以包括：

第二提取单元，用于从资源监控数据提取待迁移数据量；

第二判断单元，用于在待迁移数据量大于第一数据量阈值的情况下，判断迁移模式是否属于迁移优先模式；

第二调整单元，用于在迁移模式属于迁移优先模式的情况下，依据资源监控数据对预设迁移组件的组件参数进行调整，得到目标迁移组件。

在一实施例中，组件参数包括组件数量和组件配置信息，第一调整单元可以包括：

第一数量子单元，用于减少预设迁移组件对应的组件数量，得到第一迁移组件；

第一执行子单元，用于基于第一迁移组件执行数据迁移任务，获取数据迁移任务对应的资源监控数据；

第一调整子单元，用于在资源占用率高于第二占用率阈值的情况下，调整第一迁移组件的组件配置信息，得到第二迁移组件；

第一确定子单元，用于将第二迁移组件作为目标迁移组件。

在一实施例中，组件参数包括组件数量和组件配置信息，第二调整单元可以包括：

第二数量子单元，用于增加预设迁移组件对应的组件数量，得到第三迁移组件；

第二执行子单元，用于基于第三迁移组件执行数据迁移任务，获取待迁移数据量；

第二调整子单元，用于在待迁移数据量大于第二数据量阈值的情况下，调整第三迁移组件的组件配置信息，得到第四迁移组件；

第二确定子单元，用于将第四迁移组件作为目标迁移组件。

在一实施例中，装置还可以包括：

预设执行模块，用于在资源监控数据为预设资源监控数据的情况下，通过预设迁移组件，对数据迁移任务对应的目标迁移数据进行迁移，得到数据迁移任务对应的数据迁移结果。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

如图4所示，本申请实施例提供了一种电子设备，包括处理器410、通信接口420、存储器430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信，

存储器430，用于存放计算机程序；

在本申请一个实施例中，处理器410，用于执行存储器430上所存放的程序时，实现前述任意一个方法实施例提供的数据迁移方法，包括：

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的数据迁移的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

上述对本说明书实施例特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据迁移方法，其特征在于，包括：

在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据；

确定所述数据迁移任务对应的迁移模式；

在所述迁移模式属于预设的目标迁移模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件；

通过所述目标迁移组件，对所述数据迁移任务对应的目标迁移数据进行迁移，得到所述数据迁移任务对应的数据迁移结果。

2.根据权利要求1所述的方法，其特征在于，所述获取数据迁移任务对应的资源监控数据之前，还包括：

获取配置信息；

基于所述配置信息确定所述预设迁移组件；

其中，确定所述数据迁移任务对应的迁移模式，包括：基于所述配置信息确定所述迁移模式。

3.根据权利要求1所述的方法，其特征在于，所述目标迁移模式包含业务模式，在所述迁移模式属于预设的目标迁移模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件，包括：

从所述资源监控数据提取资源占用率；

在所述资源占用率高于第一占用率阈值的情况下，判断所述迁移模式是否属于所述业务模式；

在所述迁移模式属于所述业务模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件。

4.根据权利要求1所述的方法，其特征在于，所述目标迁移模式包含迁移优先模式，在所述迁移模式属于预设的目标迁移模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件，包括：

从所述资源监控数据提取待迁移数据量；

在所述待迁移数据量大于第一数据量阈值的情况下，判断所述迁移模式是否属于所述迁移优先模式；

在所述迁移模式属于所述迁移优先模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件。

5.根据权利要求3所述的方法，其特征在于，所述组件参数包括组件数量和组件配置信息，所述依据所述预设迁移组件对应的组件参数进行调整，得到所述目标迁移组件，包括：

减少所述预设迁移组件对应的组件数量，得到第一迁移组件；

基于所述第一迁移组件执行数据迁移任务，获取数据迁移任务对应的资源监控数据；

在所述资源占用率高于第二占用率阈值的情况下，调整所述第一迁移组件的组件配置信息，得到第二迁移组件；

将所述第二迁移组件作为所述目标迁移组件。

6.根据权利要求4所述的方法，其特征在于，所述组件参数包括组件数量和组件配置信息，所述依据所述预设迁移组件对应的组件参数进行调整，得到所述目标迁移组件，包括：

增加所述预设迁移组件对应的组件数量，得到第三迁移组件；

基于所述第三迁移组件执行数据迁移任务，获取待迁移数据量；

在所述待迁移数据量大于第二数据量阈值的情况下，调整所述第三迁移组件的组件配置信息，得到第四迁移组件；

将所述第四迁移组件作为所述目标迁移组件。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述资源监控数据为预设资源监控数据的情况下，通过所述预设迁移组件，对所述数据迁移任务对应的目标迁移数据进行迁移，得到所述数据迁移任务对应的数据迁移结果。

8.一种数据迁移装置，其特征在于，包括：

获取模块，用于在基于预设迁移组件执行数据迁移任务的情况下，获取数据迁移任务对应的资源监控数据；

确定模块，用于确定所述数据迁移任务对应的迁移模式；

调整模块，用于在所述迁移模式属于预设的目标迁移模式的情况下，依据所述资源监控数据对所述预设迁移组件的组件参数进行调整，得到目标迁移组件；

迁移模块，用于通过所述目标迁移组件，对所述数据迁移任务对应的目标迁移数据进行迁移，得到所述数据迁移任务对应的数据迁移结果。

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的数据迁移方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的数据迁移方法的步骤。

Images