CN113342781B - 一种数据迁移的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种数据迁移的方法、数据迁移的装置、数据迁移的设备及计算机可读存储介质，其中，方法包括：获取全局命名服务对应的动态每秒事务处理量阈值；基于动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点；若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值，其中，m、r为大于1的正整数，n为大于等于2的正整数；基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点；将源数据中心节点的数据迁移到候选数据中心节点的数据库中。

Description

一种数据迁移的方法、装置、设备及存储介质

技术领域

本申请实施例涉及金融科技(Fintech)的数据处理技术领域，涉及但不限于一种数据迁移的方法、数据迁移的装置、数据迁移的设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，然而，由于金融行业的安全性、实时性要求，金融科技也对技术提出了更高的要求。

金融科技领域下，目前针对海量数据采用的是不停服迁移方案，该方案为“在线双写机制”，即在写原有的数据库的同时也写一份数据到新的库表中。因此写一个后台迁移数据的程序，将旧库的数据通过数据库中间件迁移到新的多库表中。然而，数据库中间件只能基于数据中心节点(Data Center Node，DCN)固定的搬迁数据权重进行数据迁移，一旦权重配置错了，由于无法在搬迁过程中修改，会造成系统不可用的风险。

发明内容

本申请实施例提供一种数据迁移的方法、数据迁移的装置、数据迁移的设备及计算机可读存储介质，以解决相关技术中数据库中间件只能基于DCN固定的搬迁数据权重进行数据迁移，一旦权重配置错了，由于无法在搬迁过程中修改，会造成系统不可用的风险的问题，实现了源数据库数据搬迁到目标数据库的权重动态调整，提升系统的稳定性。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种数据迁移的方法，包括：

获取全局命名服务对应的动态每秒事务处理量阈值；

基于所述动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，其中，所述s个源数据中心节点包括第m个源数据中心节点，所述s为大于等于所述m的正整数，所述S为大于等于所述s的正整数；

若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与所述第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值，其中，所述m、r为大于1的正整数，所述n为大于等于2的正整数；

基于n个目标数据中心节点的当前动态调度权值，从所述n个目标数据中心节点中选择一个候选数据中心节点；

将所述源数据中心节点的数据迁移到所述候选数据中心节点的数据库中。

一种数据迁移的装置，包括：

处理模块，用于若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与所述第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值，其中，所述m、r为大于1的正整数，所述n为大于等于2的正整数；

所述处理模块，用于基于n个目标数据中心节点的当前动态调度权值，从所述n个目标数据中心节点中选择一个候选数据中心节点；

迁移模块，用于将所述源数据中心节点的数据迁移到所述候选数据中心节点的数据库中。

本申请实施例提供一种设备，包括：

存储器，用于存储可执行指令；处理器，用于执行存储器中存储的可执行指令时，实现上述的方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的方法。

本申请实施例具有以下有益效果：

通过获取全局命名服务对应的动态每秒事务处理量阈值；基于动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，其中，s个源数据中心节点包括第m个源数据中心节点，s为大于等于m的正整数，S为大于等于s的正整数；若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值，其中，m、r为大于1的正整数，n为大于等于2的正整数；即在第r次数据迁移请求到来时，采用轮训加权算法，确定与第r次数据迁移请求匹配的n个目标数据中心节点的当前动态调度权值，从而基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点；将源数据中心节点的数据迁移到候选数据中心节点的数据库中，可见，本申请的n个目标数据中心节点的调度权值是在接收到第r次数据迁移请求后实时确定的，变化的调度权值支持轮训调用不同的目标数据中心节点，从而不会造成单个目标数据中心节点请求服务压力过大，解决相关技术中数据库中间件只能基于DCN固定的搬迁数据权重进行数据迁移，一旦权重配置错了，由于无法在搬迁过程中修改，会造成系统不可用的风险的问题，实现了基于动态每秒事务处理量阈值，灵活确定待搬迁的源数据中心节点，并且实现了源数据库数据搬迁到目标数据库的权重动态调整，提升系统的稳定性。

附图说明

图1是本申请实施例提供的一种服务器的一个可选的架构示意图；

图2是本申请实施例提供的数据迁移的方法的一个可选的流程示意图；

图3是本申请实施例提供的分布式架构中部署有共享层系统的示意图；

图4是本申请实施例提供的数据迁移的方法的一个可选的流程示意图；

图5是本申请实施例提供的源DCN与目标DCN的映射关系示意图；

图6是本申请实施例提供的数据迁移的方法的一个可选的流程示意图；

图7是本申请实施例提供的采用spring-batch将源DCN的数据迁移到目标DCN的数据库的场景示意图；

图8是本申请实施例提供的迁移完成后核心系统交易请求目标DCN的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。除非另有定义，本申请实施例所使用的所有的技术和科学术语与属于本申请实施例的技术领域的技术人员通常理解的含义相同。本申请实施例所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

下面说明本申请实施例提供的数据迁移的设备的示例性应用，本申请实施例提供的数据迁移的设备可以实施为笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)，智能机器人等任意具有屏幕显示功能的终端，也可以实施为服务器。下面，将说明数据迁移的设备实施为服务器时的示例性应用。

参见图1，图1是本申请实施例提供的服务器100的结构示意图，图1所示的服务器100包括：至少一个处理器110、至少一个网络接口120、用户接口130和存储器150。服务器100中的各个组件通过总线系统140耦合在一起。可理解，总线系统140用于实现这些组件之间的连接通信。总线系统140除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图1中将各种总线都标为总线系统140。

处理器110可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口130包括使得能够呈现媒体内容的一个或多个输出装置131，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口130还包括一个或多个输入装置132，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器150可以是可移除的，不可移除的或其组合。示例性地硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器150可选地包括在物理位置上远离处理器110的一个或多个存储设备。存储器150包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(Read Only Memory，ROM)，易失性存储器可以是随机存取存储器(Random Access Memory，RAM)。本申请实施例描述的存储器150旨在包括任意适合类型的存储器。在一些实施例中，存储器150能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统151，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块152，用于经由一个或多个(有线或无线)网络接口120到达其他计算设备，示例性地网络接口120包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(Universal Serial Bus，USB)等；

输入处理模块153，用于对一个或多个来自一个或多个输入装置132之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图1示出了存储在存储器150中的一种数据迁移的装置154，该数据迁移的装置154可以是服务器100中的数据迁移的装置，其可以是程序和插件等形式的软件，包括以下软件模块：处理模块1541、迁移模块1542，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的数据迁移的方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(Application Specific Integrated Circuit，ASIC)、DSP、可编程逻辑器件(Programmable Logic Device，PLD)、复杂可编程逻辑器件(Complex ProgrammableLogic Device，CPLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或其他电子元件。

下面将结合本申请实施例提供的服务器100的示例性应用和实施，说明本申请实施例提供的数据迁移的方法。参见图2，图2是本申请实施例提供的数据迁移的方法的一个可选的流程示意图，将结合图2示出的步骤进行说明，

步骤S201，获取全局命名服务对应的动态每秒事务处理量阈值。

本申请实施例中，用户的交易发生在一个数据中心节点中，核心系统请求共享层系统时，需要查询全局命名服务(Global Naming Services，GNS)路由，即路由系统，根据用户信息可以定位到目前用户在共享层哪个DCN中，由于GNS是全行服务，本申请提供的数据迁移的方法采用了背包算法动态规划求解，实现在最快时间内完成搬迁又不把GNS服务拖垮。

示例性的，假定GNS可提供的每秒事务处理量(Transaction Per Second，TPS)阈值是1700，即此次搬迁任务每秒只能调用1700次GNS服务。

步骤S202，基于动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点。

其中，s个源数据中心节点包括第m个源数据中心节点，s为大于等于m的正整数，S为大于等于s的正整数。

本申请实施例中，结合TPS阈值从待搬迁的S个源数据中心节点中确定s个源数据中心节点，即确定与TPS阈值匹配的最优搬迁组合。前述第m个源数据中心节点为确定出的s个源数据中心节点中的一个数据中心节点，结合前述映射关系的示例，s个源数据中心节点中每一源数据中心节点对应于四个目标数据中心节点。

步骤S203，若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值。

其中，m、r为大于1的正整数，n为大于等于2的正整数。

在实际应用中，参见图3所示，微众银行多条线多产品间数据需要共享，比如微粒贷核心系统对应的产品、分期贷核心系统对应的产品、信保贷核心系统对应的产品之间数据共享等；共享后，如果用户的A产品例如微粒贷核心系统对应的产品存在风险，则可以在其它产品条线予以风险控制。因此共享层系统的概念被提出并予以实施，对接产品的交易需要上报/查询共享层系统用户信息。微众银行的分布式架构中服务与数据库(Database，DB)对应关系如图3所示，分布式架构中的共享层系统301会部署在多个DCN区；每个DCN会承载一定的客户数据，这些数据的交易会由多台应用容器引擎(docker)服务器支持，但共享一个分布式数据库如关系数据库管理系统(MySQL)。

最初共享层系统设计的单个DCN对应的数据库容量，与它最早服务的产品微粒贷一致，即每个DCN存储2000W用户数据，但随着业务的快速增长，以及对接的产品越来越多，底层的分布式数据库已达到性能瓶颈，且用户数据的集中度过高也存在风险，因此数据迁移迫在眉睫。

本申请实施例中，为共享层系统中的每一个源数据中心节点建立n个目标数据中心节点，n个目标数据中心节点的服务保持与源数据中心节点一致。也就是说，源数据中心节点和目标数据中心节点有映射关系，且各个目标数据中心节点具有动态变化的调度权值；本申请提供的数据迁移的方法，将每个源数据中心节点中的数据例如近2000W数据按规则分配到n个目标数据中心节点中，这里采用轮训加权算法实现此动态调度需求，避免单个目标数据中心节点请求服务压力过大，提升系统的稳定性。

步骤S204，基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点。

本申请实施例中，在接收到第r次数据迁移请求后，实时确定n个目标数据中心节点的当前动态调度权值，进而基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点作为第r次数据迁移请求对应的迁移数据的迁移目的地。

步骤S205，将源数据中心节点的数据迁移到候选数据中心节点的数据库中。

本申请实施例中，从n个目标数据中心节点中选择一个候选数据中心节点后，将源数据中心节点的数据迁移到候选数据中心节点的数据库中，实现海量高并发应用的数据缩容且实现服务高可用。

本申请提供一种数据迁移的方法，通过获取全局命名服务对应的动态每秒事务处理量阈值；基于动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，其中，s个源数据中心节点包括第m个源数据中心节点，s为大于等于m的正整数，S为大于等于s的正整数；若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值，其中，m、r为大于1的正整数，n为大于等于2的正整数；即在第r次数据迁移请求到来时，采用轮训加权算法，确定与第r次数据迁移请求匹配的n个目标数据中心节点的当前动态调度权值，从而基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点；将源数据中心节点的数据迁移到候选数据中心节点的数据库中，可见，本申请的n个目标数据中心节点的调度权值是在接收到第r次数据迁移请求后实时确定的，变化的调度权值支持轮训调用不同的目标数据中心节点，从而不会造成单个目标数据中心节点请求服务压力过大，解决相关技术中数据库中间件只能基于DCN固定的搬迁数据权重进行数据迁移，一旦权重配置错了，由于无法在搬迁过程中修改，会造成系统不可用的风险的问题，实现了基于动态每秒事务处理量阈值，灵活确定待搬迁的源数据中心节点，并且实现了源数据库数据搬迁到目标数据库的权重动态调整，提升系统的稳定性。

参见图4，图4是本申请实施例提供的数据迁移的方法的一个可选的流程示意图，将结合图4示出的步骤进行说明，

步骤S401，若接收到第r次数据迁移请求，获取第r-1次数据迁移请求对应的n个目标数据中心节点的历史动态调度权值。

本申请实施例中，若接收到第r次数据迁移请求，获取第r-1次即上一轮数据迁移时n个目标数据中心节点的历史动态调度权值，这n个目标数据中心节点的历史动态调度权值作为动态调整调度权值的参考因素，实现对n个目标数据中心节点的当前动态调度权值的准确调整。

示例性的，参照图5所示，本申请为共享层系统的每一个源数据中心节点源DCN建立四组对应的待迁移目标数据中心节点，待迁移目标数据中心节点包括目标DCN1、目标DCN2、目标DCN3和目标DCN4，每个目标数据中心节点按500W用户容量设计，服务保持与源数据中心节点一致。这里，多个核心产品如产品A核心系统、产品B核心系统以及产品C核心系统与共享层系统的交易，继续发往源DCN，源DCN将交易转发给上述的目标数据中心节点，交易的返回以源DCN的应用返回为准，该模式定义为转发模式。

从图5可以看出，源数据中心节点和目标数据中心节点有映射关系，且目标数据中心节点之间的数据权重不一样；需要把每个源数据中心节点中的近2000W数据按规则分配到N个目标数据中心节点中，采用轮训加权算法实现此需求：假定源数据中心节点有1700W数据，则程序中初始化配置4个目标数据中心节点DCN1、DCN2、DCN3以及DCN4的权重配置为[5,5,5,2]，得到初始化动态调度权值。示例性的，x表示权重，A表示本次请求到来时，选择的目标数据中心节点的索引，初始值为-1，current_x表示当前调度的权值即参考调度权值，参考调度权值的初始值为max(x)＝5。

这里，若接收到第r-1次数据迁移请求，示例性的，以第r-1次为第一次数据迁移请求为例进行举例说明，首先计算所有目标数据中心节点权重的最大值max(x)＝5，以及所有权重的最大公约数gcd(x)＝1。示例性的，目标DCN1、目标DCN2、目标DCN3以及目标DCN4之间的索引关系用于指示目标DCN1、目标DCN2、目标DCN3以及目标DCN4的排序为从前到后。针对第r-1次数据迁移请求，从A+1开始轮询目标数据中心节点，此时A初始值为-1，则A+1为0，因此从DCN1开始轮询，找到其中权重大于等于current_x的第一个目标数据中心节点如目标DCN1，用于处理第r次数据迁移请求，记录其索引到结果序列中。

步骤S402，基于n个目标数据中心节点的历史动态调度权值、n个目标数据中心节点之间的索引关系和第r次数据迁移请求对应的参考调度权值，确定n个目标数据中心节点的当前动态调度权值。

本申请实施例中，每次数据迁移请求到来时，基于上一轮的n个目标数据中心节点的历史动态调度权值、n个目标数据中心节点之间的索引关系和这一轮数据迁移请求对应的参考调度权值，重新确定n个目标数据中心节点的当前动态调度权值。采用上述方式动态调整调度权值，实现把交易打散请求到4个目标数据中心节点，且权重为5：5：5：2，轮训调用也不会造成单数据中心节点请求服务压力过大。需要说明的是，基于本申请提供的数据迁移的方法，经过17次调用之后，每个目标数据中心节点被选中的次数正好是其初始化动态调度权值，实现多个目标数据中心节点之间的灵活调用。

在一些实施例中，步骤S402基于n个目标数据中心节点的历史动态调度权值、n个目标数据中心节点之间的索引关系和第r次数据迁移请求对应的参考调度权值，确定n个目标数据中心节点的当前动态调度权值，可以通过如下步骤实现：

A1，若n个目标数据中心节点的历史动态调度权值表征n个目标数据中心节点均已按照索引关系被轮训调度，获取n个目标数据中心节点的初始化动态调度权值。

本申请实施例中，在轮询目标数据中心节点时，如果到达了目标DCN1、目标DCN2、目标DCN3以及目标DCN4的排序的末尾，即n个目标数据中心节点均已按照索引关系被轮训调度的情况下，则重新从头开始搜索，并且减小curren t_x的值：current_x-＝gcd(x)＝4，如果current_weight等于0，则将其重置为max(x)＝5，同时，针对n个目标数据中心节点进行调度权值初始化。

A2，基于n个目标数据中心节点的初始化动态调度权值、索引关系和第r次数据迁移请求对应的参考调度权值，确定n个目标数据中心节点的当前动态调度权值。

本申请实施例中，针对n个目标数据中心节点的动态调度权值和第r次数据迁移请求对应的参考调度权值进行重置后，按照目标DCN1、目标DCN2、目标DCN3以及目标DCN4的排序从头开始搜索，执行循环轮询操作，即按照上述排序重新从头开始搜索第r次数据迁移请求对应的目标数据中心节点。

A3，基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点。

A4，将源数据中心节点的数据迁移到候选数据中心节点的数据库中。

步骤S403，基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点。

步骤S404，将源数据中心节点的数据迁移到候选数据中心节点的数据库中。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

参见图6，图6是本申请实施例提供的数据迁移的方法的一个可选的流程示意图，将结合图6示出的步骤进行说明，

步骤S501，获取全局命名服务对应的每秒事务处理量阈值。

步骤S502，基于每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点。

其中，s个源数据中心节点包括第m个源数据中心节点，s为大于等于m的正整数，S为大于等于s的正整数。

在一些实施例中，步骤S502基于动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，可以通过如下步骤实现：

B1，获取S个源数据中心节点中每一源数据中心节点搬迁所需的每秒事务处理量和每一源数据中心节点对应的数据价值。

示例性的，假定目前待搬迁的s个源数据中心节点为4个源DCN，各个源DCN分别对应的是移动分期用户DCN10，微粒贷手管用户DCN20，手Q用户DCN30，微信用户DCN40，4个源DCN对应的数据价值分别为[4,5,10,11]，4个源DCN对应的搬迁所需GNS的TPS分别为[300,400,700,800]。

B2，基于每一源数据中心节点搬迁所需的每秒事务处理量和每一源数据中心节点对应的数据价值，确定动态每秒事务处理量阈值对应的最大搬迁数据价值。

本申请实施例中，定义dp[i][j]表示：考虑将前i个源DCN执行搬迁所获得的最大价值又称为最大搬迁数据价值，其中，j即最大TPS。这里，考虑是否执行第i个源DCN搬迁的情况分为执行与不执行，在计算执行与不执行时，当前搬迁数据的最大价值：dp[i][j]＝Math.max(dp[i-1][j],dp[i-1][j-C[i]]+W[i])，其中，C[i]指第i个源DCN搬迁所需的TPS，W[i]指第i个源DCN搬迁数据的价值。这里，(dp[i-1][j]为搬迁前i-1个源数据中心节点对应的最大搬迁数据价值对应于不搬迁第i个源数据中心节点，dp[i-1][j-C[i]]+W[i])为搬迁前i个源数据中心节点对应的最大搬迁数据价值对应于搬迁第i个源数据中心节点。

B3，基于最大搬迁数据价值，从待搬迁的S个源数据中心节点中确定动态每秒事务处理量阈值对应的s个源数据中心节点。

本申请实施例中，基于预估的最大搬迁数据价值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点即确定与TPS阈值匹配的最优搬迁组合，之后基于轮训加权算法，实现将最优搬迁组合中每一源数据中心节点的数据迁移到相应的候选数据中心节点的数据库中，提升数据搬迁价值。

在一个可实现的场景中，针对前述的确定与TPS阈值匹配的最优搬迁组合的实现过程进行举例说明，

step1，从DCN10开始递归，如表1所示，DCN10执行搬迁调用GNS需要300TPS，当TPS为300时，搬迁数据的价值为4，

源DCN\TPS	0	100	200	300	400	500	600	700	800	900	1000	1100	1200	1300	1400	1500	1600	1700
																			DCN10	0	0	0	4	4	4	4	4	4	4	4	4	4	4	4	4	4	4

表1

Step2，递归DCN20，如表2所示，DCN20执行搬迁需要400TPS，当TPS介于400～600间时，由于搬迁DCN20的价值高于DCN10，所以需动态将搬迁DCN10的数据调整为搬迁DCN20的数据。当TPS递增到700时，可以同时搬迁DCN10+DCN20，搬迁数据价值为9。

源DCN\TPS	0	100	200	300	400	500	600	700	800	900	1000	1100	1200	1300	1400	1500	1600	1700
																			DCN10	0	0	0	4	4	4	4	4	4	4	4	4	4	4	4	4	4	4
DCN20	0	0	0	4	5	5	5	9	9	9	9	9	9	9	9	9	9	9

表2

Step3，递归DCN30，如表3所示，DCN30执行搬迁需要700TPS，当TPS＝700时，只搬迁DCN30的价值要大于之前的组合，需要动态调整；当TPS达到1000时，搬迁组合应调整为DCN30+DCN10(价值为4+10)，当TPS达到1400时，搬迁最优组合为DCN10+DCN20+DCN30(价值为4+5+10)。

源DCN\TPS	0	100	200	300	400	500	600	700	800	900	1000	1100	1200	1300	1400	1500	1600	1700
																			DCN10	0	0	0	4	4	4	4	4	4	4	4	4	4	4	4	4	4	4
DCN20	0	0	0	4	5	5	5	9	9	9	9	9	9	9	9	9	9	9
																			DCN30	0	0	0	4	5	5	5	10	10	10	14	14	14	14	19	19	19	19

表3

Step3，递归DCN40，如表4所示，DCN40执行搬迁需要800TPS，当TPS达到1100时，调整搬迁组合为DCN10+DCN40(价值为4+11)，当TPS达到1200时，搬迁组合为DCN20+DCN40(价值为5+11)，当TPS达到1400时，搬迁组合调整为DCN10+DCN20+DCN30(数据价值为4+5+10)，当TPS达到1500时，搬迁最优组合为DCN30+DCN40(数据价值为10+11)。

源DCN\TPS	0	100	200	300	400	500	600	700	800	900	1000	1100	1200	1300	1400	1500	1600	1700
																			DCN10	0	0	0	4	4	4	4	4	4	4	4	4	4	4	4	4	4	4
DCN20	0	0	0	4	5	5	5	9	9	9	9	9	9	9	9	9	9	9
																			DCN30	0	0	0	4	5	5	5	10	10	10	14	14	14	14	19	19	19	19
DCN40	0	0	0	4	5	5	5	10	11	11	14	15	16	16	19	21	21	21

表4

循环4个源DCN后，算出最优搬迁组合为DCN30+DCN40同时搬迁，数据价值为21；若其中一个源DCN搬迁完成，则继续按照上述算法递归剩余的3个源DCN。

上述举例以4个源DCN进行说明，实际生产搬迁可能会有N个源DCN，当某一个源DCN搬迁完成后，程序会智能决策出下一组最优搬迁组合；直到最后一个源DCN搬迁完成。

步骤S503，若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值。

其中，m、r为大于1的正整数，n为大于等于2的正整数。这里，第m个源数据中心节点为从待搬迁的S个源数据中心节点中确定的s个源数据中心节点中的一个源数据中心节点。

步骤S504，基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点。

步骤S505，将源数据中心节点的数据迁移到候选数据中心节点的数据库中。

本申请实施例中，在确定与TPS阈值匹配的最优搬迁组合的情况下，针对最优搬迁组合中任一源DCN的搬迁，均采用步骤S503-步骤S505涉及的数据迁移的方法进行数据搬迁。

在一个可实现的场景中，参照图7所示，上述步骤S505将源数据中心节点的数据迁移到候选数据中心节点的数据库中，可以采用图7所示的批处理框架(spring-batch)601将源DCN的数据迁移到目标DCN的数据库。spring-batch是一个批处理应用框架,结合本申请前述提供的动态调度权值的调整方式即调度框架，来构建批处理任务，实现数据快速、稳定地迁移。

步骤S506，获取交易对应的灰度比例。

本申请实施例中，灰度比例用于指示交易的返回的一方。

步骤S507，若第m个源数据中心节点获取到交易请求，接收灰度比例对应的候选数据中心节点或第m个源数据中心节点返回的交易结果。

本申请实施例中，假设灰度比例用于指示100个交易中10笔交易以候选数据中心节点为准，90笔交易以第m个源数据中心节点为准，那么，在第m个源数据中心节点获取到交易请求时，按照灰度比例，逐渐以候选数据中心节点返回的交易结果为准；也就是说，交易的返回不再以源DCN为准，而是按灰度比例，逐渐以候选数据中心节点的程序返回为准，该模式定义为透传模式。本申请中的灰度比例可以根据实际需求灵活设置，这里不作具体限定。

进一步地，参见图8所示，验证候选数据中心节点的程序返回符合预期后，核心系统交易不再请求源DCN上的服务，而且直接请求与源DCN具有映射关系的目标数据中心节点例如目标DCN1。完成切换后，整体迁移完成。

本申请其他实施例中，本申请提供的数据迁移的方法，还包括如下步骤：

第一步，获取产品核心系统上报至第m个源数据中心节点的联机交易数据。其中，联机交易数据具有数据版本号；数据版本号是产品核心系统基于联机交易数据的上报时间戳和第m个源数据中心节点的节点标识生成的。

第二步，若数据版本号符合版本号条件，将联机交易数据更新到第m个源数据中心节点的数据记录中。

示例性的，在批量搬迁的同时，正常的业务联机交易也在同时进行，高并发场景，本申请提出基于数据版本号，保证最新的交易数据可以保存到业务系统中，进而保证服务高可用。

这里，各产品核心系统需要上报共享层的数据在生成与更新时，按照“时间戳+第m个源数据中心节点的节点标识”的格式加工出最新的数据版本号，并更新到对应的数据记录中。同时各产品核心系统上报联机交易数据到共享层时，上报数据版本号，共享层保存数据版本号，并且判断数据版本号符合版本号条件例如判断数据版本号大于本地的版本号才会触发更新联机交易数据至第m个源数据中心节点的数据记录中。其中，时间戳可以是各产品核心系统的操作系统上报联机交易数据的时刻。第m个源数据中心节点的节点标识用于唯一的标识第m个源数据中心节点。如此，批量迁移和联机交易更新同一笔数据时，共享层可以保证数据是最新的。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

下面继续说明本申请实施例提供的数据迁移的装置154实施为软件模块的示例性结构，在一些实施例中，如图1所示，存储在存储器150的数据迁移的装置154中的软件模块可以是服务器100中的数据迁移的装置，包括：

处理模块1541，用于获取全局命名服务对应的动态每秒事务处理量阈值；

基于动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，其中，s个源数据中心节点包括第m个源数据中心节点，s为大于等于m的正整数，S为大于等于s的正整数；若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值，其中，m、r为大于1的正整数，n为大于等于2的正整数；

处理模块1541，用于基于n个目标数据中心节点的当前动态调度权值，从n个目标数据中心节点中选择一个候选数据中心节点；

迁移模块1542，用于将源数据中心节点的数据迁移到候选数据中心节点的数据库中。

本申请一些实施例中，处理模块1541，用于若接收到第r次数据迁移请求，获取第r-1次数据迁移请求对应的n个目标数据中心节点的历史动态调度权值；基于n个目标数据中心节点的历史动态调度权值、n个目标数据中心节点之间的索引关系和第r次数据迁移请求对应的参考调度权值，确定n个目标数据中心节点的当前动态调度权值。

本申请一些实施例中，处理模块1541，用于若n个目标数据中心节点的历史动态调度权值表征n个目标数据中心节点均已按照索引关系被轮训调度，获取n个目标数据中心节点的初始化动态调度权值；基于n个目标数据中心节点的初始化动态调度权值、索引关系和第r次数据迁移请求对应的参考调度权值，确定n个目标数据中心节点的当前动态调度权值

本申请一些实施例中，处理模块1541，用于获取S个源数据中心节点中每一源数据中心节点搬迁所需的每秒事务处理量和每一源数据中心节点对应的数据价值；基于每一源数据中心节点搬迁所需的每秒事务处理量和每一源数据中心节点对应的数据价值，确定动态每秒事务处理量阈值对应的最大搬迁数据价值；基于最大搬迁数据价值，从待搬迁的S个源数据中心节点中确定动态每秒事务处理量阈值对应的s个源数据中心节点。

本申请一些实施例中，处理模块1541，用于按照S个源数据中心节点之间的排序，从排序1的源数据中心节点至排序S的源数据中心节点进行递归，确定动态每秒事务处理量阈值下，搬迁S个源数据中心节点中第i个源数据中心节点搬迁时对应的最大搬迁数据价值dp[i][j]；其中，dp[i][j]＝Math.max(dp[i-1][j],dp[i-1][j-C[i]]+W[i])，(dp[i-1][j]为搬迁前i-1个源数据中心节点对应的最大搬迁数据价值，dp[i-1][j-C[i]]+W[i])为搬迁前i个源数据中心节点对应的最大搬迁数据价值，C[i]指第i个源数据中心节点搬迁所需的每秒事务处理量，W[i]指第i个源数据中心节点搬迁数据的价值。

本申请一些实施例中，处理模块1541，用于获取交易对应的灰度比例；若第m个源数据中心节点获取到交易请求，接收灰度比例对应的候选数据中心节点或第m个源数据中心节点返回的交易结果。

需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

本申请实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图1、图4和图5示出的方法。

在一些实施例中，存储介质可以是计算机可读存储介质，例如，铁电存储器(FRAM，Ferromagnetic Random Access Memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM，Electrically Erasable Programmable Read Only Memory)、闪存、磁表面存储器、光盘、或光盘只读存储器(CD-ROM，Compact Disk-Read Only Memory)等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(超文本标记语言，Hyper Text Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (7)

1.一种数据迁移的方法，其特征在于，包括：

获取全局命名服务对应的动态每秒事务处理量阈值；

基于所述动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，其中，所述s个源数据中心节点包括第m个源数据中心节点，所述s为大于等于所述m的正整数，所述S为大于等于所述s的正整数；

若接收到针对所述第m个源数据中心节点的第r次数据迁移请求，采用轮训加权算法，基于所述第m个源数据中心节点和n个目标数据中心节点的映射关系，确定n个目标数据中心节点的当前动态调度权值，其中，所述m、r为大于1的正整数，所述n为大于等于2的正整数；

基于n个目标数据中心节点的当前动态调度权值，从所述n个目标数据中心节点中选择一个候选数据中心节点；

将所述源数据中心节点的数据迁移到所述候选数据中心节点的数据库中；

其中，所述基于所述动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，包括：基于预估的最大搬迁数据价值，确定与所述动态每秒事务处理量阈值匹配的源数据中心节点的最优搬迁组合；

其中，所述预估的最大搬迁数据价值通过如下步骤确定：

获取所述S个源数据中心节点中每一源数据中心节点搬迁所需的每秒事务处理量和所述每一源数据中心节点对应的数据价值；

按照所述S个源数据中心节点之间的排序，从排序1的源数据中心节点至排序S的源数据中心节点进行递归，确定所述动态每秒事务处理量阈值下，搬迁所述S个源数据中心节点中第i个源数据中心节点搬迁时对应的最大搬迁数据价值dp[i][j]；

其中，dp[i][j]=Math.max(dp[i-1][j],dp[i-1][j-C[i]]+W[i])，(dp[i-1][j]为搬迁前i-1个源数据中心节点对应的最大搬迁数据价值，dp[i-1][j-C[i]]+W[i])为搬迁前i个源数据中心节点对应的最大搬迁数据价值，所述C[i]指第i个源数据中心节点搬迁所需的每秒事务处理量，W[i]指第i个源数据中心节点搬迁数据的价值；

其中，所述若接收到针对第m个源数据中心节点的第r次数据迁移请求，基于轮训加权算法，确定与所述第m个源数据中心节点具有映射关系的n个目标数据中心节点的当前动态调度权值，包括：

若接收到所述第r次数据迁移请求，获取第r-1次数据迁移请求对应的所述n个目标数据中心节点的历史动态调度权值；

基于所述n个目标数据中心节点的历史动态调度权值、所述n个目标数据中心节点之间的索引关系和所述第r次数据迁移请求对应的参考调度权值，确定所述n个目标数据中心节点的当前动态调度权值；

其中，所述将所述源数据中心节点的数据迁移到所述候选数据中心节点的数据库中之后，所述方法包括：

获取交易对应的灰度比例；

若所述第m个源数据中心节点获取到交易请求，接收所述灰度比例对应的所述候选数据中心节点或所述第m个源数据中心节点返回的交易结果。

2.根据权利要求1中所述的方法，其特征在于，所述基于所述n个目标数据中心节点的历史动态调度权值、所述n个目标数据中心节点之间的索引关系和所述第r次数据迁移请求对应的参考调度权值，确定所述n个目标数据中心节点的当前动态调度权值，包括：

若所述n个目标数据中心节点的历史动态调度权值表征所述n个目标数据中心节点均已按照所述索引关系被轮训调度，获取所述n个目标数据中心节点的初始化动态调度权值；

基于所述n个目标数据中心节点的初始化动态调度权值、所述索引关系和所述第r次数据迁移请求对应的参考调度权值，确定所述n个目标数据中心节点的当前动态调度权值。

3.根据权利要求1中所述的方法，其特征在于，所述基于预估的最大搬迁数据价值，确定与所述动态每秒事务处理量阈值匹配的源数据中心节点的最优搬迁组合，包括：

基于所述最大搬迁数据价值，从所述待搬迁的S个源数据中心节点中确定所述动态每秒事务处理量阈值对应的所述s个源数据中心节点。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

获取产品核心系统上报至所述第m个源数据中心节点的联机交易数据，其中，所述联机交易数据具有数据版本号；所述数据版本号是所述产品核心系统基于所述联机交易数据的上报时间戳和所述第m个源数据中心节点的节点标识生成的；

若所述数据版本号符合版本号条件，将所述联机交易数据更新到所述第m个源数据中心节点的数据记录中。

5.一种数据迁移的装置，其特征在于，包括：

处理模块，用于获取全局命名服务对应的动态每秒事务处理量阈值；基于所述动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，其中，所述s个源数据中心节点包括第m个源数据中心节点，所述s为大于等于所述m的正整数，所述S为大于等于所述s的正整数；

所述处理模块，用于若接收到针对第m个源数据中心节点的第r次数据迁移请求，采用轮训加权算法，根据所述第m个源数据中心节点与n个目标数据中心节点的映射关系，确定n个目标数据中心节点的当前动态调度权值，其中，所述m、r为大于1的正整数，所述n为大于等于2的正整数；

所述处理模块，用于基于n个目标数据中心节点的当前动态调度权值，从所述n个目标数据中心节点中选择一个候选数据中心节点；

迁移模块，用于将所述源数据中心节点的数据迁移到所述候选数据中心节点的数据库中；

所述处理模块，用于基于所述动态每秒事务处理量阈值，从待搬迁的S个源数据中心节点中确定s个源数据中心节点，包括：基于预估的最大搬迁数据价值，确定与所述动态每秒事务处理量阈值匹配的源数据中心节点的最优搬迁组合；

所述处理模块，用于获取所述S个源数据中心节点中每一源数据中心节点搬迁所需的每秒事务处理量和所述每一源数据中心节点对应的数据价值；按照所述S个源数据中心节点之间的排序，从排序1的源数据中心节点至排序S的源数据中心节点进行递归，确定所述动态每秒事务处理量阈值下，搬迁所述S个源数据中心节点中第i个源数据中心节点搬迁时对应的最大搬迁数据价值dp[i][j]；其中，dp[i][j]=Math.max(dp[i-1][j],dp[i-1][j-C[i]]+W[i])，(dp[i-1][j]为搬迁前i-1个源数据中心节点对应的最大搬迁数据价值，dp[i-1][j-C[i]]+W[i])为搬迁前i个源数据中心节点对应的最大搬迁数据价值，所述C[i]指第i个源数据中心节点搬迁所需的每秒事务处理量，W[i]指第i个源数据中心节点搬迁数据的价值；

所述处理模块，用于若接收到所述第r次数据迁移请求，获取第r-1次数据迁移请求对应的所述n个目标数据中心节点的历史动态调度权值；基于所述n个目标数据中心节点的历史动态调度权值、所述n个目标数据中心节点之间的索引关系和所述第r次数据迁移请求对应的参考调度权值，确定所述n个目标数据中心节点的当前动态调度权值；

所述处理模块，用于获取交易对应的灰度比例；若所述第m个源数据中心节点获取到交易请求，接收所述灰度比例对应的所述候选数据中心节点或所述第m个源数据中心节点返回的交易结果。

6.一种数据迁移的设备，其特征在于，包括：

存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至4任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至4任一项所述的方法。

Images