CN116340288A - 数据迁移方法、装置、计算机设备及计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种数据迁移方法、装置、计算机设备及计算机可读存储介质。所述方法包括：响应于启动指令获取配置信息与调度信息，所述配置信息包括待迁移数据位置信息与目标迁移位置信息，所述调度信息包括目标分割速率与目标读取速率，所述目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；根据所述目标分割速率对所述待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；根据所述目标读取速率与所述目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。采用本方法能够有效提高数据迁移效率。

Description

数据迁移方法、装置、计算机设备及计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据迁移方法、装置、计算机设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，计算机设备所存储数据的规模也来越大，单库单表的数据存储架构难以满足业务运行效率的需求，而对数据库中的数据进行数据迁移操作对于实现数据的分库分表存储具有十分重要的应用价值。

传统技术中，在进行数据迁移时，是直接将数据库文件拷贝到新的数据库环境中，会占用较多系统资源，不能有效兼顾其他业务运行，数据迁移的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种数据迁移方法、装置、计算机设备及计算机可读存储介质，能够有效提高数据迁移效率。

第一方面，本申请提供了一种数据迁移方法，包括：

响应于启动指令获取配置信息与调度信息，配置信息包括待迁移数据位置信息与目标迁移位置信息，调度信息包括目标分割速率与目标读取速率，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；

根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；

根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

在一个实施例中，还包括：

获取历史数据迁移的特征数据，特征数据包括数据迁移的耗时以及成功率；

根据耗时以及成功率确定历史数据迁移对应的时段特征数据，时段特征数据用于表征各个时段对应的数据迁移效率；

基于时段特征数据确定待迁移数据在各个时段对应的目标分割速率与目标读取速率。

在一个实施例中，根据耗时以及成功率确定历史数据迁移对应的时段特征数据，包括：

计算历史数据迁移在每个单位时段内耗时均值与成功率均值，并将成功率均值与耗时均值进行比例计算得到迁移效率参考值；

将迁移效率参考值与第一阈值进行比较，得到目标单位时间段对应的迁移类别标签，迁移类别标签用于表征目标单位时间段对应的数据迁移效率等级；

根据各个迁移类别标签对各个单位时段进行分类聚合，得到时段特征数据；

基于时段特征数据确定待迁移数据在各个时段对应的目标分割速率与目标读取速率，包括：

获取时段特征数据中各个时段对应的预设分割速率值与预设读取速率值，并将预设分割速率值与预设读取速率值分别作为对应的目标分割速率与目标读取速率。

在一个实施例中，还包括：

获取历史数据迁移的特征数据，特征数据包括各个时段对应的数据迁移的耗时以及成功率；

对每个时段对应的成功率与耗时进行比例计算处理，得到对应的迁移效率参考值；

根据各个迁移效率参考值确定各个时段对应的目标分割速率与目标读取速率，目标分割速率与目标读取速率与对应时段的迁移效率参考值成正比例关系。

在一个实施例中，根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包之后，还包括：

将各个子数据包存入目标阻塞队列，目标阻塞队列的规模大小是根据配置信息确定的；

根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移，包括：

根据目标读取速率在目标阻塞队列中读取对应数量的子数据包；

确定目标迁移位置信息中与每个子数据包对应的子迁移位置信息；

根据每个子数据包与对应的子迁移位置信息建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

在一个实施例中，还包括：

对各个子数据迁移任务的数据迁移状态进行实时监测，数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败；

删除数据迁移状态为迁移失败或迁移超时的目标子数据迁移任务，并重新生成目标子数据迁移任务对应的目标子数据包；

根据目标子数据包与对应的目标子迁移位置信息生成对应的目标子数据迁移任务。

在一个实施例中，根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移之后，还包括：

对各个子数据迁移任务的数据迁移状态以及对应的时段信息进行记录和统计，生成迁移参考信息，数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败；

根据迁移参考信息生成参考调度信息，参考调度信息包括参考分割速率与参考读取速率；

将参考分割速率作为目标分割速率，将参考读取速率作为目标读取速率，并返回根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包的步骤。

第二方面，本申请还提供了一种数据迁移装置，包括：

获取模块，用于响应于启动指令获取配置信息与调度信息，配置信息包括待迁移数据位置信息与目标迁移位置信息，调度信息包括目标分割速率与目标读取速率，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；

分割模块，用于根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；

迁移模块，用于根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

第三方面，本申请还提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：

响应于启动指令获取配置信息与调度信息，配置信息包括待迁移数据位置信息与目标迁移位置信息，调度信息包括目标分割速率与目标读取速率，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；

根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；

根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

第四方面，本申请还提供了一种计算机可读存储介质，计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

响应于启动指令获取配置信息与调度信息，配置信息包括待迁移数据位置信息与目标迁移位置信息，调度信息包括目标分割速率与目标读取速率，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；

根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；

根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

上述数据迁移方法、装置、计算机设备及计算机可读存储介质，通过历史数据迁移的特征数据来确定出目标分割速率与目标读取速率，再根据目标分割速率来将待迁移数据进行分割处理，生成多个子数据包，最后再根据目标读取速率以及目标迁移位置信息来对读取到的各个子数据包分别建立子数据迁移任务，利用多任务线程池完成相应的子数据包的迁移，使得在数据迁移的过程中，能够根据历史数据迁移活动所反映出来的历史活动特征，准确调控当前数据迁移过程中的迁移速率以及所占用的系统资源，进而使得数据迁移任务对系统资源进行有效利用，从而有效提高数据迁移效率。

附图说明

图1为一个实施例中数据迁移方法的应用环境图；

图2为一个实施例中数据迁移方法的流程示意图；

图3为一个实施例中确定目标分割速率与目标读取速率方法的流程示意图；

图4为一个实施例中确定目标分割速率与目标读取速率方法的流程示意图；

图5为一个实施例中确定目标分割速率与目标读取速率方法的流程示意图；

图6为一个实施例中建立子数据迁移任务方法的流程示意图；

图7为一个实施例中生成目标子数据迁移任务方法的流程示意图；

图8为一个实施例中根据数据迁移状态对数据迁移进行调度的流程示意图；

图9为一个实施例中数据迁移装置的结构框图；

图10为一个实施例中计算机设备的内部结构图；

图11为一个实施例中数据迁移装置中各个工作模块示意框图；

图12为一个实施例中数据迁移方法的工作流程图；

图13为一个实施例中数据迁移中生产者工作示意图；

图14为一个实施例中数据迁移中消费者工作示意图；

图15为一个实施例中多线程数据迁移方法的工作示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的数据迁移方法，可以应用于如图1所示的应用环境中。如图1所示，计算机设备102响应于启动指令获取配置信息与调度信息，配置信息包括待迁移数据位置信息与目标迁移位置信息，调度信息包括目标分割速率与目标读取速率，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。其中，计算机设备102可以但不限于是各种个人计算机、服务器、笔记本电脑、智能手机、平板电脑、物联网设备以及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。

在一个实施例中，如图2所示，提供了一种数据迁移方法，以该方法应用于图1中的计算机设备102为例进行说明，包括以下步骤：

步骤S202，响应于启动指令获取配置信息与调度信息，配置信息包括待迁移数据位置信息与目标迁移位置信息，调度信息包括目标分割速率与目标读取速率，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的。

其中，配置信息用于在数据迁移过程中提供基础性的配置文件，包括待迁移数据位置信息、目标迁移位置信息等，例如待迁移数据所在存储区域的地址或数据库地址等以及将要迁移的目标存储区域或数据库地址等，调度信息用于调整数据迁移过程中数据迁移的快慢以及所占用资源大小的，包括目标分割速率与目标读取速率，其中目标分割速率与目标读取速率可以用于表征数据迁移的快慢，目标分割速率与目标读取速率越大，则对应着数据迁移所需要占用的系统资源越多，迁移的速度越快，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的，目标分割速率与目标读取速率间的关系可以是大于、小于或等于中的任意一种。

具体地，计算机设备获取到数据迁移指令后，开始读取系统中对应的配置文件，进而根据配置文件得到对应的配置信息，并接收与数据迁移对应的调度信息。

步骤S204，根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包。

其中，各个子数据包是待迁移数据对应的最小数据单元，目标分割速率可以用于表征预定时间段内根据待迁移数据生成子数据包的个数。

具体地，计算机设备根据前述步骤中获取的调度信息确定了目标分割速率的大小，根据目标分割速率的大小对待迁移数据位置信息对应的待迁移数据进行划分，生成各个子数据包。

步骤S206，根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

其中，目标读取速率用于表征在预定时段内所读取子数据包的数量。

具体地，计算机设备根据前述步骤获得调度信息确定了目标读取速率，再根据目标读取速率读取前述步骤中生成的子数据包，再根据目标迁移位置信息对每个子数据包都建立一个数据迁移任务，组成多个子数据迁移任务线程池，进而完成对相应的子数据包的迁移任务。

上述数据迁移方法、装置、计算机设备及计算机可读存储介质，通过历史数据迁移的特征数据来确定出目标分割速率与目标读取速率，再根据目标分割速率来将待迁移数据进行分割处理，生成多个子数据包，最后再根据目标读取速率以及目标迁移位置信息来对读取到的各个子数据包分别建立子数据迁移任务，利用多任务线程池完成相应的子数据包的迁移，使得在数据迁移的过程中，能够根据历史数据迁移活动所反映出来的历史活动特征，准确调控当前数据迁移过程中的迁移速率以及所占用的系统资源，进而使得数据迁移任务对系统资源进行有效利用，从而有效提高数据迁移效率。

在一个实施中，如图3所示，数据迁移方法还包括：

步骤S302，获取历史数据迁移的特征数据，特征数据包括数据迁移的耗时以及成功率。

其中，历史数据迁移的特征数据为计算机设备以往进行数据迁移时各个子数据迁移任务在各个时间对应的数据迁移特征，包括数据迁移的效率、对系统中其他正在运行的业务的影响的大小、对系统资源的占用情况以及数据迁移的耗时以及成功率等信息。

步骤S304，根据耗时以及成功率确定历史数据迁移对应的时段特征数据，时段特征数据用于表征各个时段对应的数据迁移效率。

其中，时段特征数据为至少包含两个子时段的时段数据，并且其包含的子时段的长度可以相等也可以不相等，并且每个子时段都对应一个子时段数据迁移效率，每个子时段所对应的子时段数据迁移效率可以相等也可以不相等，其中每个子时段所对应的子时段数据迁移效率是根据历史数据迁移时各个子数据迁移任务在各个时刻对应的耗时以及成功率等特征参数所确定的，各个时段的耗时与子时段数据迁移效率成负相关，各个时段的成功率与子时段数据迁移效率成正相关。

具体地，计算机设备根据历史数据迁移在各个时刻对应的历史数据迁移耗时及成功率来各个子时段的大小以及对应的子时段数据迁移效率，进而确定历史数据迁移对应的时段特征数据。

步骤S306，基于时段特征数据确定待迁移数据在各个时段对应的目标分割速率与目标读取速率。

具体地，计算机设备根据前述步骤中确定的时段特征数据，确定历史数据迁移对应在各个子时段的子时段数据迁移效率，再根据每个子时段数据迁移效率确定对应的目标分割速率与目标读取速率，直到确定待迁移数据在各个时段对应的目标分割速率与目标读取速率，其中目标分割速率与目标读取速率都和对应的子时段数据迁移效率成正相关。

本实施例中，通过获取历史数据迁移的特征数据，根据耗时以及成功率确定历史数据迁移对应的时段特征数据，基于时段特征数据确定待迁移数据在各个时段对应的目标分割速率与目标读取速率，这种对历史数据迁移活动对应的特征数据进行信息的挖掘，再据此确定各个时段对应的目标分割速率与目标读取速率的方法，有效提高了确定目标分割速率与目标读取速率的准确性。

在一个实施例中，如图4所示，根据耗时以及成功率确定历史数据迁移对应的时段特征数据，包括：

步骤S402，计算历史数据迁移在每个单位时段内耗时均值与成功率均值，并将成功率均值与耗时均值进行比例计算得到迁移效率参考值。

其中，单位时间段的长度可以是事先由技术人员灵活设置，可以是1秒、5秒、10秒等，具体不做限制。

具体地，计算机设备获取历史数据迁移对应的各个单位时间段信息，计算历史数据迁移在每个单位时段内耗时均值与成功率均值，再将成功率均值与耗时均值进行融合得到对应单位时段的迁移效率参考值，融合的方式可以是将成功率均值与耗时均值进行比例计算或加权融合等方式，具体不做限制。

步骤S404，将迁移效率参考值与第一阈值进行比较，得到目标单位时间段对应的迁移类别标签，迁移类别标签用于表征目标单位时间段对应的数据迁移效率等级。

具体地，计算机设备将目标单位时间段对应的迁移效率参考值分别与第一阈值、第二阈值等多个阈值进行比较，具体阈值数量不限，其中第一阈值大于第二阈值，得到目标单位时间段对应的迁移类别标签，例如，当迁移效率参考值大于第一阈值时，确定目标单位时间段对应的迁移类别标签为第一效率时段，当迁移效率参考值大于第二阈值且小于第一阈值时，确定目标单位时间段对应的迁移类别标签为第二效率时段，当迁移效率参考值小于第二阈值时，确定目标单位时间段对应的迁移类别标签为第三效率时段，其中第一效率时段对应的目标分割速率与目标读取速率大于第二效率时段对应的目标分割速率与目标读取速率，第二效率时段对应的目标分割速率与目标读取速率大于第三效率时段对应的目标分割速率与目标读取速率。

步骤S406，根据各个迁移类别标签对各个单位时段进行分类聚合，得到时段特征数据。

其中，分类聚合指的是将各个单位时段按照迁移类别标签进行分类，并且将迁移类别标签相同且在时间线上处于相邻的单位时间段进行拼接和合并。

具体地，计算机设备根据前述步骤确定了各个单位时间段对应的迁移类别标签，再将迁移类别标签相同且在时间线上处于相邻的单位时间段进行拼接和合并，从而得到历史数据迁移对应的时段特征数据。

基于时段特征数据确定待迁移数据在各个时段对应的目标分割速率与目标读取速率，包括：

步骤S408，获取时段特征数据中各个时段对应的预设分割速率值与预设读取速率值，并将预设分割速率值与预设读取速率值分别作为对应的目标分割速率与目标读取速率。

具体地，计算机设备根据前述步骤得到时段特征数据后，获取时段特征数据中各个时段对应的迁移类别标签，再根据迁移类别标签查找目标类别速率配对表，进而获取到预设分割速率值与预设读取速率值，并将预设分割速率值与预设读取速率值分别作为对应的目标分割速率与目标读取速率。

本实施例中，通过计算历史数据迁移在每个单位时段内耗时均值与成功率均值，并将成功率均值与耗时均值进行比例计算得到迁移效率参考值，将迁移效率参考值与第一阈值进行比较，得到目标单位时间段对应的迁移类别标签，根据各个迁移类别标签对各个单位时段进行分类聚合，得到时段特征数据，获取时段特征数据中各个时段对应的预设分割速率值与预设读取速率值，并将预设分割速率值与预设读取速率值分别作为对应的目标分割速率与目标读取速率，从而实现根据历史数据迁移在每个单位时段内数据特征(耗时、成功率等)来对不同时段设置合理的目标分割速率与目标读取速率，有效提高了确定目标分割速率与目标读取速率的准确性。

在一个实施例中，如图5所示，数据迁移方法还包括：

步骤S502，获取历史数据迁移的特征数据，特征数据包括各个时段对应的数据迁移的耗时以及成功率。

其中，特征数据所包括的各个时段的长度，可以由技术人员根据实际情况灵活设置，例如可以是1分钟或5分钟或10分钟等，具体不作限制，每个时段的长度可以相等也可以不等。

步骤S504，对每个时段对应的成功率与耗时进行比例计算处理，得到对应的迁移效率参考值。

具体地，计算机设备获取每个时段对应的成功率与耗时，再分别计算每个时段的成功率均值与耗时均值，也可以是计算每个时段的成功率最大值/最小值与耗时最大值/最小值，再将每个时段对应的成功率的均值/最大值/最小值与耗时的均值/最大值/最小值进行比例计算，得到对应的迁移效率参考值。

步骤S506，根据各个迁移效率参考值确定各个时段对应的目标分割速率与目标读取速率，目标分割速率与目标读取速率与对应时段的迁移效率参考值成正比例关系。

具体地，计算机设备将步骤S504中的每个时段对应的成功率的均值/最大值/最小值与耗时的均值/最大值/最小值的比值作为各个时段对应的目标分割速率与目标读取速率。

本实施例中，获取历史数据迁移的特征数据，对每个时段对应的成功率与耗时进行比例计算处理，得到对应的迁移效率参考值，根据各个迁移效率参考值确定各个时段对应的目标分割速率与目标读取速率，从而实现根据历史数据迁移在每个单位时段内数据特征来对不同时段设置合理的目标分割速率与目标读取速率，有效提高了确定目标分割速率与目标读取速率的准确性。

在一个实施例中，如图6所示，根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包之后，还包括：

步骤S602，将各个子数据包存入目标阻塞队列，目标阻塞队列的规模大小是根据配置信息确定的。

其中，阻塞队列是队列的一种，普通队列是一种先进先出(FIFO)的数据结构，与普通队列不同的是，阻塞队列支持两个附加操作，即阻塞插入和阻塞移除，当队列为满的时候，队列会阻塞插入元素的线程，直到队列不满，当队列为空的时候，获取元素的线程会等待队列变为非空。

具体地，计算机设备将前述步骤中生成的各个子数据包依次存放进阻塞队列中，直到阻塞队列处于充满状态。

根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移，包括：

步骤S604，根据目标读取速率在目标阻塞队列中读取对应数量的子数据包。

步骤S606，确定目标迁移位置信息中与每个子数据包对应的子迁移位置信息。

具体地，计算机设备获取目标迁移位置信息中与每个子数据包对应的子迁移位置信息，其中子迁移位置信息包括对应子数据包与待迁移数据之间的相对位置关系以及目标存储地址或目标设备的数据库地址。

步骤S608，根据每个子数据包与对应的子迁移位置信息建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

具体地，计算机设备根据每个子数据包与对应的子迁移位置信息建立子数据迁移任务，构建多个子数据迁移任务线程池，利用线程池并发数据迁移优势完成待迁移数据的迁移操作。

本实施例中，将各个子数据包存入目标阻塞队列，目标阻塞队列的规模大小是根据配置信息确定的，根据目标读取速率在目标阻塞队列中读取对应数量的子数据包，确定目标迁移位置信息中与每个子数据包对应的子迁移位置信息，根据每个子数据包与对应的子迁移位置信息建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移，利用了阻塞队列的阻塞插入和阻塞移除的特性以及多任务线程池的优点完成数据的迁移，有效提高了数据迁移的效率。

在一个实施例中，如图7所示，数据迁移方法还包括：

步骤S702，对各个子数据迁移任务的数据迁移状态进行实时监测，数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败。

具体地，计算机设备对各个子数据迁移任务的数据迁移状态进行实时检测或监测，实时读取各个子数据迁移任务的数据迁移状态；

步骤S704，删除数据迁移状态为迁移失败或迁移超时的目标子数据迁移任务，并重新生成目标子数据迁移任务对应的目标子数据包。

具体地，计算机设备根据前述步骤中监测到的各个子数据迁移任务的数据迁移状态，当数据迁移状态为迁移失败或迁移超时时，删除对应的目标子数据迁移任务。

步骤S706，根据目标子数据包与对应的目标子迁移位置信息生成对应的目标子数据迁移任务。

具体地，计算机设备根据目标子数据包与对应的子迁移位置信息建立子数据迁移任务，构建多个子数据迁移任务线程池，利用线程池并发数据迁移优势完成待迁移数据的迁移操作。

本实施例中，通过对各个子数据迁移任务的数据迁移状态进行实时监测，及时删除数据迁移状态为迁移失败或迁移超时的目标子数据迁移任务，并重新生成目标子数据迁移任务对应的目标子数据包，根据目标子数据包与对应的目标子迁移位置信息生成对应的目标子数据迁移任务，从而避免了无法正常迁移的子数据迁移任务对系统资源的占用，有效节省了系统资源。

在一个实施例中，如图8所示，根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移之后，还包括：

步骤S802，对各个子数据迁移任务的数据迁移状态以及对应的时段信息进行记录和统计，生成迁移参考信息，数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败。

其中，迁移参考信息包括各个历史子数据迁移任务对应在各个相应时段的迁移状态，例如历史子数据迁移任务A在对应某个时段S中的数据迁移状态为迁移失败，则迁移参考信息中就会记录一条子参考信息：[A：S：Failure]。

步骤S804，根据迁移参考信息生成参考调度信息，参考调度信息包括参考分割速率与参考读取速率。

具体地，计算机设备根据迁移参考信息确定了各个历史子数据迁移任务对应在各个子时段内的迁移状态，再根据迁移状态生成当前各个子数据迁移任务对应的参考调度信息，例如当迁移参考信息中记录有大量历史子数据迁移任务在X时段出现普遍的迁移失败或迁移超时，则所生成的参考调度信息中对应在X时段的参考分割速率与参考读取速率相对其他时段就更小。

步骤S806，将参考分割速率作为目标分割速率，将参考读取速率作为目标读取速率，并返回根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包的步骤。

本实施例中，通过对各个子数据迁移任务的数据迁移状态以及对应的时段信息进行记录和统计，生成迁移参考信息，再根据迁移参考信息生成参考调度信息，以调节当前数据迁移在各个子时段的目标分割速率与目标读取速率，实现对目标分割速率与目标读取速率科学合理调控，有效提高数据迁移的效率。

本申请还提供了一种应用场景，该应用场景应用上述的数据迁移方法，该方法应用于将单库单表架构的数据库变更为分库分表架构中的数据迁移的场景。具体地，该数据迁移方法在该应用场景的应用如下：

计算机设备包括实现数据迁移方法的装置按功能划分为三大类，如图11所示，分为核心处理、配置管理以及统计分析。其中核心处理类别中包含生产者模块、消费者模块、迁移模块以及调度器模块，生产者模块是将需要迁移的数据以最小的单位进行划分，并将最小单位放进阻塞队列供消费者消费；消费者模块是从阻塞队列中获取迁移数据最小单位，然后将任务提交到线程池，由线程池来处理迁移任务；迁移模块是由多个表的迁移组成，实现主要的数据迁移逻辑，采用可插拔设计并且可进行二次定制化开发；调度器模块用于负责方案的整体调度，如任务的启停、线程的限制和手动迁移数据等，该模块通过定时任务平台实现，可以智能地调节数据迁移任务的并行数，在计算机设备业务高峰期可以降低迁移线程数，在夜间或业务低峰期可以增加数据迁移任务线程，实现非人工干预的动态调控。日志模块用于记录数据迁移的进度、结果、耗时以及成功或失败状态等信息；统计模块用于对日志记录进行统计分析，掌握整体迁移进度和稳定性。配置模块用于配置一些项目初始化值，以及指定待迁移数据的位置与数据迁移目的地位置信息。

具体地，数据迁移过程如图12所示：

启动迁移任务，通过定时任务调度器唤醒迁移任务相关模块，程序开始初始化数据迁移；由程序开始初始化生产者模块，生产者模块将需要迁移的数据最小单元入队至阻塞队列，供消费者获取进行消费，当队列已满时，生产者将阻塞等待，如图13所示；消费者负责从阻塞队列中获取需要迁移的数据最小单元(子数据包)，然后提交给迁移模块进行数据迁移，当阻塞队列为空时，消费者将阻塞等待获取队列的新数据，如图14所示；读取配置文件，获取其他模块对应的基础配置，以及指定待迁移数据的位置与数据迁移目的地位置信息；分别向生产者模块与消费者模块发送生产者调度指令与消费者调度指令，分别用于调控生产者模块对应的目标分割速率以及消费者模块对应的目标读取速率；消费者模块将读取到的各个数据最小单元(子数据包)提交给迁移模块，进行数据的迁移，迁移模块根据子数据包的数量构建多个子数据迁移任务，具体为，对每一个子数据包都建立一个对应的子数据迁移任务，进而构建多个子数据迁移任务线程池，从而利用多线程的方法完成数据迁移，如图15所示；在利用多任务线程池对数据进行迁移时实时记录和统计各个子数据迁移任务的迁移状态，并且记录和统计迁移成功、迁移失败、迁移超时的数量及其对应的时段，数据迁移状态包括迁移完成、迁移失败、迁移进行中等状态；根据前述步骤中所统计的各个子数据迁移任务的迁移状态及其对应的迁移时段，输出整个待迁移数据的迁移日志以及异常信息等供开发人员进行分析和修复。

上述数据迁移方法，通过获取数据迁移启动指令，开始读取配置文件，进而获知各个模块的初始配置参数，实时接收调度器模块发送过来的调度指令，对生产者模块的目标分割速率与消费者模块的目标读取速率进行实时调控，最后再根据目标读取速率以及目标迁移位置信息来对读取到的各个子数据包分别建立子数据迁移任务，利用多任务线程池完成相应的子数据包的迁移，使得在数据迁移的过程中，能够根据历史数据迁移活动所反映出来的历史活动特征，准确调控当前数据迁移过程中的迁移速率以及所占用的系统资源，进而使得数据迁移任务对系统资源进行有效利用，从而有效提高数据迁移效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种数据迁移装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块902、分割模块904、迁移模块906，其中：

获取模块902，用于响应于启动指令获取配置信息与调度信息，配置信息包括待迁移数据位置信息与目标迁移位置信息，调度信息包括目标分割速率与目标读取速率，目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；

分割模块904，用于根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；

迁移模块906，用于根据目标读取速率与目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

在一个实施例中，获取模块902还用于获取历史数据迁移的特征数据，特征数据包括数据迁移的耗时以及成功率；根据耗时以及成功率确定历史数据迁移对应的时段特征数据，时段特征数据用于表征各个时段对应的数据迁移效率；基于时段特征数据确定待迁移数据在各个时段对应的目标分割速率与目标读取速率。

在一个实施例中，获取模块902还用于计算历史数据迁移在每个单位时段内耗时均值与成功率均值，并将成功率均值与耗时均值进行比例计算得到迁移效率参考值；将迁移效率参考值与第一阈值进行比较，得到目标单位时间段对应的迁移类别标签，迁移类别标签用于表征目标单位时间段对应的数据迁移效率等级；根据各个迁移类别标签对各个单位时段进行分类聚合，得到时段特征数据；获取时段特征数据中各个时段对应的预设分割速率值与预设读取速率值，并将预设分割速率值与预设读取速率值分别作为对应的目标分割速率与目标读取速率。

在一个实施例中，获取模块902还用于获取历史数据迁移的特征数据，特征数据包括各个时段对应的数据迁移的耗时以及成功率；对每个时段对应的成功率与耗时进行比例计算处理，得到对应的迁移效率参考值；根据各个迁移效率参考值确定各个时段对应的目标分割速率与目标读取速率，目标分割速率与目标读取速率与对应时段的迁移效率参考值成正比例关系。

在一个实施例中，分割模块904还用于将各个子数据包存入目标阻塞队列，目标阻塞队列的规模大小是根据配置信息确定的；

在一个实施例中，迁移模块906还用于根据目标读取速率在目标阻塞队列中读取对应数量的子数据包；确定目标迁移位置信息中与每个子数据包对应的子迁移位置信息；根据每个子数据包与对应的子迁移位置信息建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

在一个实施例中，迁移模块906还用于对各个子数据迁移任务的数据迁移状态进行实时监测，数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败；删除数据迁移状态为迁移失败或迁移超时的目标子数据迁移任务，并重新生成目标子数据迁移任务对应的目标子数据包；根据目标子数据包与对应的目标子迁移位置信息生成对应的目标子数据迁移任务。

在一个实施例中，迁移模块906还用于对各个子数据迁移任务的数据迁移状态以及对应的时段信息进行记录和统计，生成迁移参考信息，数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败；根据迁移参考信息生成参考调度信息，参考调度信息包括参考分割速率与参考读取速率；将参考分割速率作为目标分割速率，将参考读取速率作为目标读取速率，并返回根据目标分割速率对待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包的步骤。

上述数据迁移装置，通过历史数据迁移的特征数据来确定出目标分割速率与目标读取速率，再根据目标分割速率来将待迁移数据进行分割处理，生成多个子数据包，最后再根据目标读取速率以及目标迁移位置信息来对读取到的各个子数据包分别建立子数据迁移任务，利用多任务线程池完成待迁移数据的迁移，使得在数据迁移的过程中，能够根据历史数据迁移活动所反映出来的历史活动特征，准确调控当前数据迁移过程中的迁移速率以及所占用的系统资源，进而使得数据迁移任务对系统资源进行有效利用，从而有效提高数据迁移效率。

关于数据迁移装置的具体限定可以参见上文中对于数据迁移方法的限定，在此不再赘述。上述数据迁移装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储历史数据迁移对应的特征数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据迁移方法，其特征在于，所述方法包括：

响应于启动指令获取配置信息与调度信息，所述配置信息包括待迁移数据位置信息与目标迁移位置信息，所述调度信息包括目标分割速率与目标读取速率，所述目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；

根据所述目标分割速率对所述待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；

根据所述目标读取速率与所述目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取历史数据迁移的特征数据，所述特征数据包括数据迁移的耗时以及成功率；

根据所述耗时以及成功率确定所述历史数据迁移对应的时段特征数据，所述时段特征数据用于表征各个时段对应的数据迁移效率；

基于所述时段特征数据确定所述待迁移数据在各个时段对应的目标分割速率与目标读取速率。

3.根据权利要求2所述的方法，其特征在于，所述根据所述耗时以及成功率确定所述历史数据迁移对应的时段特征数据，包括：

计算所述历史数据迁移在每个单位时段内耗时均值与成功率均值，并将所述成功率均值与耗时均值进行比例计算得到迁移效率参考值；

将所述迁移效率参考值与第一阈值进行比较，得到目标单位时间段对应的迁移类别标签，所述迁移类别标签用于表征所述目标单位时间段对应的数据迁移效率等级；

根据各个迁移类别标签对各个单位时段进行分类聚合，得到所述时段特征数据；

基于所述时段特征数据确定所述待迁移数据在各个时段对应的目标分割速率与目标读取速率，包括：

获取所述时段特征数据中各个时段对应的预设分割速率值与预设读取速率值，并将所述预设分割速率值与预设读取速率值分别作为对应的目标分割速率与目标读取速率。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取历史数据迁移的特征数据，所述特征数据包括各个时段对应的数据迁移的耗时以及成功率；

对每个时段对应的成功率与耗时进行比例计算处理，得到对应的迁移效率参考值；

根据各个迁移效率参考值确定所述各个时段对应的目标分割速率与目标读取速率，所述目标分割速率与目标读取速率与对应时段的迁移效率参考值成正比例关系。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标分割速率对所述待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包之后，还包括：

将所述各个子数据包存入目标阻塞队列，所述目标阻塞队列的规模大小是根据所述配置信息确定的；

根据所述目标读取速率与所述目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移，包括：

根据所述目标读取速率在所述目标阻塞队列中读取对应数量的子数据包；

确定所述目标迁移位置信息中与所述每个子数据包对应的子迁移位置信息；

根据所述每个子数据包与对应的子迁移位置信息建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

对所述各个子数据迁移任务的数据迁移状态进行实时监测，所述数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败；

删除所述数据迁移状态为迁移失败或迁移超时的目标子数据迁移任务，并重新生成所述目标子数据迁移任务对应的目标子数据包；

根据所述目标子数据包与对应的目标子迁移位置信息生成对应的目标子数据迁移任务。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标读取速率与所述目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移之后，还包括：

对所述各个子数据迁移任务的数据迁移状态以及对应的时段信息进行记录和统计，生成迁移参考信息，所述数据迁移状态包括迁移开始、迁移完成、迁移超时以及迁移失败；

根据所述迁移参考信息生成参考调度信息，所述参考调度信息包括参考分割速率与参考读取速率；

将所述参考分割速率作为所述目标分割速率，将所述参考读取速率作为目标读取速率，并返回所述根据所述目标分割速率对所述待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包的步骤。

8.一种数据迁移装置，其特征在于，所述装置包括：

获取模块，用于响应于启动指令获取配置信息与调度信息，所述配置信息包括待迁移数据位置信息与目标迁移位置信息，所述调度信息包括目标分割速率与目标读取速率，所述目标分割速率与目标读取速率是根据历史数据迁移的特征数据确定的；

分割模块，用于根据所述目标分割速率对所述待迁移数据位置信息对应的待迁移数据进行分割处理，得到各个子数据包；

迁移模块，用于根据所述目标读取速率与所述目标迁移位置信息对每个子数据包建立子数据迁移任务，并基于各个子数据迁移任务对相应的子数据包进行迁移。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images