CN109558089A

CN109558089A - 一种数据迁移方法、装置、设备及可读存储介质

Info

Publication number: CN109558089A
Application number: CN201811468324.2A
Authority: CN
Inventors: 戴跃峰; 胡正军; 谭清明; 杨浩源
Original assignee: Hunan Yujia Technology Co ltd
Current assignee: Hunan Yujia Technology Co ltd
Priority date: 2018-12-03
Filing date: 2018-12-03
Publication date: 2019-04-02

Abstract

本发明公开了一种数据迁移方法，包括：根据预设的配置信息确定待迁移数据；获取待迁移数据的迁移策略，并按照迁移策略生成待迁数据的待迁移任务；将待迁移任务上报至服务端，以使服务端按照待迁移任务携带的执行参数启动待迁移任务，迁移待迁移数据；其中，迁移策略和执行参数预设于配置信息中。该方法无需针对需要迁移的数据编写迁移代码，从而避免了繁重的开发工作，且由于待迁移任务的执行参数也预设于配置信息中，从而实现了完全自动化的数据迁移，提高了数据迁移效率。相应地，本发明公开的一种数据迁移装置、设备及可读存储介质，也同样具有上述技术效果。

Description

一种数据迁移方法、装置、设备及可读存储介质

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种数据迁移方法、装置、设备及可读存储介质。

背景技术

数据迁移是一种将离线存储与在线存储融合的技术。在现有技术中，数据迁移应用在方方面面，例如：当磁盘内的数据达到上限时，可将其上的数据迁移至下一级磁盘；当使用全新的设备时，可将旧系统上的操作系统、应用程序等迁移至新的设备；对于提供各种微服务的企业，各个微服务会产生大量的服务数据，为了保障微服务的服务质量和效率，需要将历史微服务数据迁移出来存储，节约当前服务端的计算机资源。

当需要迁移的数据量较少时，可以人工进行手动迁移；当需要迁移的数据量较大时，例如需要迁移各个微服务产生的服务数据，手动迁移的方式明显不实用。为了应对此种情况，一般针对服务数据的数据表编写代码，利用代码实现数据表的自动迁移。但是，由于服务数据的数据量非常大，企业提供的微服务的数量较多，每个微服务下又具有多个数据表，若针对每个数据表编写迁移代码，则无疑增大了开发人员的工作量，从而影响历史服务数据的迁移效率。

因此，如何提高数据迁移效率，减少开发工作量，是本领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种数据迁移方法、装置、设备及可读存储介质，以提高数据迁移效率，减少开发工作量。

为实现上述目的，本发明实施例提供了如下技术方案：

一种数据迁移方法，包括：

根据预设的配置信息确定待迁移数据；

获取所述待迁移数据的迁移策略，并按照所述迁移策略生成所述待迁数据的待迁移任务；

将所述待迁移任务上报至服务端，以使所述服务端按照所述待迁移任务携带的执行参数启动所述待迁移任务，迁移所述待迁移数据；

其中，所述迁移策略和所述执行参数预设于所述配置信息中。

其中，所述根据预设的配置信息确定待迁移数据之后，还包括：

判断当前历史数据中是否存在所述待迁移数据的关联数据；

若是，则将所述关联数据添加至所述待迁移数据，并执行所述获取所述待迁移数据的迁移策略的步骤。

其中，还包括：

检测是否存在待迁移任务；

若是，则检测所述待迁移任务是否已上报至所述服务端。

其中，当所述待迁移数据迁移完成后，还包括：

将当前迁移结果上报至所述服务端。

其中，所述服务端按照所述待迁移任务携带的执行参数启动所述待迁移任务，包括：

服务端遍历待迁移任务列表，并按照每个待迁移任务携带的执行参数逐一启动每个待迁移任务。

其中，还包括：

按照预设的扩展策略迁移目标数据。

一种数据迁移装置，包括：

确定模块，用于根据预设的配置信息确定待迁移数据；

生成模块，用于获取所述待迁移数据的迁移策略，并按照所述迁移策略生成所述待迁数据的待迁移任务；

迁移模块，用于将所述待迁移任务上报至服务端，以使所述服务端按照所述待迁移任务携带的执行参数启动所述待迁移任务，迁移所述待迁移数据；

其中，还包括：

判断模块，用于判断当前历史数据中是否存在所述待迁移数据的关联数据；

添加模块，用于当存在所述待迁移数据的关联数据时，将所述关联数据添加至所述待迁移数据，并执行所述获取所述待迁移数据的迁移策略的步骤。

一种数据迁移设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一项所述的数据迁移方法的步骤。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据迁移方法的步骤。

通过以上方案可知，本发明实施例提供的一种数据迁移方法，包括：根据预设的配置信息确定待迁移数据；获取所述待迁移数据的迁移策略，并按照所述迁移策略生成所述待迁数据的待迁移任务；将所述待迁移任务上报至服务端，以使所述服务端按照所述待迁移任务携带的执行参数启动所述待迁移任务，迁移所述待迁移数据；其中，所述迁移策略和所述执行参数预设于所述配置信息中。

可见，为了减少开发工作量，预先为待迁移数据设置配置信息，配置信息包括哪些数据符合迁移要求、待迁移数据的迁移策略和迁移执行参数。当依据配置信息确定出待迁移数据后，获取待迁移数据的迁移策略，并生成待迁移任务上报至服务端，以使服务端按照迁移执行参数执行待迁移任务，从而完成待迁移数据的迁移。该方法无需针对需要迁移的数据编写迁移代码，从而避免了繁重的开发工作，且由于待迁移任务的执行参数也预设于配置信息中，从而实现了完全自动化的数据迁移，提高了数据迁移效率。

相应地，本发明实施例提供的一种数据迁移装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种数据迁移方法流程图；

图2为本发明实施例公开的另一种数据迁移方法流程图；

图3为本发明实施例公开的一种数据迁移装置示意图；

图4为本发明实施例公开的一种数据迁移设备示意图；

图5为本发明实施例公开的一种数据迁移过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种数据迁移方法、装置、设备及可读存储介质，以提高数据迁移效率，减少开发工作量。

参见图1，本发明实施例提供的一种数据迁移方法，包括：

S101、根据预设的配置信息确定待迁移数据；

S102、获取待迁移数据的迁移策略，并按照迁移策略生成待迁数据的待迁移任务；

S103、将待迁移任务上报至服务端，以使服务端按照待迁移任务携带的执行参数启动待迁移任务，迁移待迁移数据。

在本实施例中，所述配置信息以注解的形式预先设置在运行微服务的客户端，设置的注解为jar包，jar包中配置了迁移执行器，即执行参数，即什么时候执行待迁移任务；迁移策略，即一次迁移多少数据；迁移要求，即确定什么样的数据需要迁移。

其中，迁移要求可以按照天数或数据条数(数据量)进行设置。例如：在当前客户端保留两年内产生的服务数据，那么两年前的服务数据即为符合迁移要求的数据；或者在当前客户端保留10000条数据，若当前客户端的数据量超过10000条时，按照数据的时间顺序，迁移时间最久的数据。当然，这些信息也可以设置在迁移策略中。

需要说明的是，设置注解时，可以按照下述方式进行实施，注解以“@HistoryEntity”开头，例如：

用“@History Entity(reserve Days＝365，policy＝History PolicyEnum.DAYS)”表示客户端的数据保留365天，具体为：

@History Entity(reserve Days＝365，policy＝History Policy Enum.DAYS)

public class Demo{

private String key；

private String value；

}

例如：History Entity注解定义可以为：

public@interface History Entity{

int reserveDays()default Integer.MAX_VALUE；//数据保留天数

int reserveSize()default Integer.MAX_VALUE；//数据保留条数

History Policy Enum policy()default History Policy Enum.DAYS；//迁移策略，丢弃，保留天数，保留条数

String customPolicy()default""；//扩展策略

String field()default"createDate"；//数据过滤的字段，默认是创建时间

String condition()default""；//过滤的其他条件，默认没有，条件格式举例：status＝0

}

可见，本实施例提供了一种数据迁移方法，为了减少开发工作量，预先为待迁移数据设置配置信息，配置信息包括哪些数据符合迁移要求、待迁移数据的迁移策略和迁移执行参数。当依据配置信息确定出待迁移数据后，获取待迁移数据的迁移策略，并生成待迁移任务上报至服务端，以使服务端按照迁移执行参数执行待迁移任务，从而完成待迁移数据的迁移。该方法无需针对需要迁移的数据编写迁移代码，从而避免了繁重的开发工作，且由于待迁移任务的执行参数也预设于配置信息中，从而实现了完全自动化的数据迁移，提高了数据迁移效率。

本发明实施例公开了另一种数据迁移方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。

参见图2，本发明实施例提供的另一种数据迁移方法，包括：

S201、根据预设的配置信息确定待迁移数据；

S202、判断当前历史数据中是否存在待迁移数据的关联数据；若是，则执行S203；若否，则执行S204；

S203、将关联数据添加至待迁移数据，并执行S204；

S204、获取待迁移数据的迁移策略，并按照迁移策略生成待迁数据的待迁移任务，并执行S205；

S205、将待迁移任务上报至服务端，以使服务端按照待迁移任务携带的执行参数启动待迁移任务，迁移待迁移数据。

在本实施例中，当待迁移数据存在关联数据时，则将关联数据添加至待迁移数据，在迁移待迁移数据时，将关联数据一同进行迁移。该步骤利用领域驱动设计理念，把聚合根的子数据一并迁移。比如迁移订单数据，订单数据包括订单数据和订单明细，那么订单是一个聚合根，订单明细即为其子数据，因此在迁移订单数据时会把对应订单明细数据一并进行迁移。

基于上述描述，在本实施例中，当待迁移数据为订单数据时，其关联数据可以为订单明细，由于订单数据与订单明细一一对应，因此需要将订单明细添加在订单数据中，一起进行迁移。

可见，本实施例提供了另一种数据迁移方法，为了减少开发工作量，预先为待迁移数据设置配置信息，配置信息包括哪些数据符合迁移要求、待迁移数据的迁移策略和迁移执行参数。当依据配置信息确定出待迁移数据后，获取待迁移数据的迁移策略，并生成待迁移任务上报至服务端，以使服务端按照迁移执行参数执行待迁移任务，从而完成待迁移数据的迁移。其中，当待迁移数据存在关联数据时，生成包含关联数据和待迁移数据的待迁移任务。该方法无需针对需要迁移的数据编写迁移代码，从而避免了繁重的开发工作，且由于待迁移任务的执行参数也预设于配置信息中，从而实现了完全自动化的数据迁移，提高了数据迁移效率。

基于上述任意实施例，需要说明的是，还包括：检测是否存在待迁移任务；

若是，则检测所述待迁移任务是否已上报至所述服务端。

当客户端的微服务启动时，检测自身是否存在待迁移任务；若是，则检测待迁移任务是否已上报至所述服务端；当未上报时，则及时上报待迁移任务至服务端，以便服务端收集该待迁移任务至待迁移任务列表；当已上报时，则等待该待迁移任务的执行。当客户端自身不存在待迁移任务时，根据预设的配置信息确定是否存在待迁移数据，若是，则按照S101至S103，或S201至S205提供的方法迁移待迁移数据。

基于上述任意实施例，需要说明的是，所述服务端按照所述待迁移任务携带的执行参数启动所述待迁移任务，包括：

具体的，服务端的迁移任务列表中存有多个待迁移任务，服务端按照每个待迁移任务携带的执行参数逐一启动每个待迁移任务，以完成数据迁移。

其中，当所述待迁移数据迁移完成后，还包括：将当前迁移结果上报至所述服务端。

当待迁移任务执行完成时，上报迁移结果至服务端，以使服务端管理、监控各个客户端上的数据迁移任务。其中，可以为迁移数据预设历史数据库或历史数据表，将待迁移数据迁移至其中进行存储。

基于上述任意实施例，需要说明的是，还包括：按照预设的扩展策略迁移目标数据。

当客户端预设的配置信息无法覆盖全部待迁移数据时，可通过预设扩展策略迁移需要迁移的目标数据。例如：使用“custom Policy”表示扩展策略的实现类，则有：

String custom Policy()default""；

String field()default"create Date"；

String condition()default""；

其中，field为时间条件判断字段，默认是创建时间(createDate)，condition相当于sql中的where条件，可以更进一步过滤数据，比如status＝0表示status为0的数据才迁移。

需要说明的是，客户端还可能存在一些冗余的日志数据，这些数据大部分为无用数据，即没有必要进行迁移，那么可以丢弃这部分数据，丢弃删除策略可以按照天数或数据条数进行设置。例如：History Policy Enum policy()default History PolicyEnum.DAYS。

下面对本发明实施例提供的一种数据迁移装置进行介绍，下文描述的一种数据迁移装置与上文描述的一种数据迁移方法可以相互参照。

参见图3，本发明实施例提供的一种数据迁移装置，包括：

确定模块301，用于根据预设的配置信息确定待迁移数据；

生成模块302，用于获取所述待迁移数据的迁移策略，并按照所述迁移策略生成所述待迁数据的待迁移任务；

迁移模块303，用于将所述待迁移任务上报至服务端，以使所述服务端按照所述待迁移任务携带的执行参数启动所述待迁移任务，迁移所述待迁移数据；其中，所述迁移策略和所述执行参数预设于所述配置信息中。

其中，还包括：

检测模块，用于检测是否存在待迁移任务；

上报检测模块，用于当存在待迁移任务时，检测所述待迁移任务是否已上报至所述服务端。

其中，还包括：

迁移结果上报模块，用于将当前迁移结果上报至所述服务端。

其中，所述迁移模块具体用于：

其中，还包括：

扩展模块，用于按照预设的扩展策略迁移目标数据。

可见，本实施例提供了一种数据迁移装置，包括：确定模块、生成模块以及迁移模块。首先由确定模块根据预设的配置信息确定待迁移数据；进而生成模块获取待迁移数据的迁移策略，并按照迁移策略生成待迁数据的待迁移任务；最后迁移模块将待迁移任务上报至服务端，以使服务端按照待迁移任务携带的执行参数启动待迁移任务，迁移待迁移数据。如此各个模块之间分工合作，各司其职，从而避免了繁重的开发工作，实现了完全自动化的数据迁移，提高了数据迁移效率。

下面对本发明实施例提供的一种数据迁移设备进行介绍，下文描述的一种数据迁移设备与上文描述的一种数据迁移方法及装置可以相互参照。

参见图4，本发明实施例提供的一种数据迁移设备，包括：

存储器401，用于存储计算机程序；

处理器402，用于执行所述计算机程序时实现上述任意实施例所述的数据迁移方法的步骤。

下面对本发明实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种数据迁移方法、装置及设备可以相互参照。

一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意实施例所述的数据迁移方法的步骤。

基于本说明书提供的数据迁移方法，可按照下述方式进行实施，请参见图5。客户端的微服务启动时，检查迁移任务是否在历史数据迁移平台上有注册，如果没有则会自动创建迁移任务。启动时还会扫描类路径下的所有含有@History Entity注解的模型对象，把模型对象和注解的参数一起构造迁移参数对象，保存到本地内存的history Entity List里面，并把这个列表自动上报历史数据迁移平台(即服务端)。其中，模型对象即为待迁移数据，注解的参数即为注解中的配置信息，迁移参数对象即为待迁移任务。

在历史数据迁移平台中，任务调度器根据上报的迁移参数对象进行调度；当微服务收到调度请求后，启动迁移任务，客户端遍历history Entity List，对每个模型对象进行数据迁移，最后将迁移结果上报至历史数据迁移平台，方便统一监控。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种数据迁移方法，其特征在于，包括：

根据预设的配置信息确定待迁移数据；

2.根据权利要求1所述的数据迁移方法，其特征在于，所述根据预设的配置信息确定待迁移数据之后，还包括：

判断当前历史数据中是否存在所述待迁移数据的关联数据；

3.根据权利要求1所述的数据迁移方法，其特征在于，还包括：

检测是否存在待迁移任务；

若是，则检测所述待迁移任务是否已上报至所述服务端。

4.根据权利要求1所述的数据迁移方法，其特征在于，当所述待迁移数据迁移完成后，还包括：

将当前迁移结果上报至所述服务端。

5.根据权利要求1所述的数据迁移方法，其特征在于，所述服务端按照所述待迁移任务携带的执行参数启动所述待迁移任务，包括：

6.根据权利要求1-5任意一项所述的数据迁移方法，其特征在于，还包括：

按照预设的扩展策略迁移目标数据。

7.一种数据迁移装置，其特征在于，包括：

确定模块，用于根据预设的配置信息确定待迁移数据；

8.根据权利要求7所述的数据迁移装置，其特征在于，还包括：

9.一种数据迁移设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1-6任意一项所述的数据迁移方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任意一项所述的数据迁移方法的步骤。