CN111475483A - 数据库迁移方法、装置及计算设备 - Google Patents

Abstract

本发明实施例公开了一种数据库迁移方法，包括：创建数据同步任务；从源数据库所包括的各源数据分片读取数据，并写入目标数据库的相应目标数据分片中，以执行数据同步任务；记录执行数据同步任务的过程中各源数据分片到相应目标数据分片的数据读写状态，以监测数据同步任务的进度；当监测到数据同步任务的进度到达预定进度时，向存储有源数据分片的存储节点发送禁止写入指令，以禁止对源数据库进行写入操作；以及当监测到数据同步任务的进度为完成时，以目标数据库替代源数据库。本发明实施例还公开了相应的数据库迁移装置、系统和计算设备。

Description

数据库迁移方法、装置及计算设备

技术领域

本发明涉及计算机技术领域，尤其是一种数据库迁移方法、装置及计算设备。

背景技术

随着互联网的发展，网络上产生的数据量日益增多，数据类型也越来越复杂。传统的关系型数据库，例如mySQL和oracle等数据库系统已无法满足互联网海量高并发服务对性能、可用性、伸缩性、可扩展性的需求。非关系型数据库(NoSQL)，例如Mongodb和CouchDB等数据库系统以其非关系型的、分布式的、开源的和水平可扩展的特点被更广泛地使用。

由于系统备份、升级、数据交换或者数据共享等需求，有时需要在各种数据库之间进行数据迁移。例如，数据库需要随业务从一个地理区域迁移到另一个地理区域；数据库需要从容量型集群迁移到高性能集群等等。然而，数据库通常处于服务的关键路径，除了承担非常频繁的读写操作还会承担一些增量数据处理的任务，因此任何导致较长时间数据库不可读写或任务中断甚至终止的运维操作对数据库的用户来说都是不可接受的。

因此，需要提供一种更先进的数据库迁移方案，以便在用户无感知的情况下实现迁移。

发明内容

为此，本发明实施例提供了一种数据库迁移方法、装置及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明实施例的一个方面，提供了一种数据库迁移方法，该方法包括步骤：创建数据同步任务，数据同步任务指示将源数据库的数据同步至目标数据库；从源数据库所包括的各源数据分片读取数据，并写入目标数据库的相应目标数据分片中，以执行数据同步任务；记录执行数据同步任务的过程中各源数据分片到相应目标数据分片的数据读写状态，以监测数据同步任务的进度；当监测到数据同步任务的进度到达预定进度时，向存储有源数据分片的存储节点发送禁止写入指令，以禁止对源数据库进行写入操作；以及当监测到数据同步任务的进度为完成时，以目标数据库替代源数据库。

可选地，在根据本发明实施例的数据库迁移方法中，还包括步骤：创建增量处理任务，增量处理任务指示对源数据库的相关增量数据进行处理；确定源数据库所包括的与增量处理任务相关的增量相关数据分片；读取增量相关数据分片中的增量数据，以执行数据处理任务；记录执行增量处理任务的过程中增量相关数据分片的数据读取状态。

可选地，在根据本发明实施例的数据库迁移方法中，在以目标数据库替代源数据库之后，方法还包括步骤：判断是否正在执行增量处理任务；如果正在执行增量处理任务，则根据执行增量处理任务的过程中所记录的增量相关数据分片的数据读取状态，判断源数据库的相关增量数据是否读取完毕；如果读取完毕，确定目标数据库所包括的与增量处理任务相关的目标增量相关数据分片；读取目标增量相关数据分片中的增量数据，以执行增量处理任务。

可选地，在根据本发明实施例的数据库迁移方法中，数据同步任务指示将源数据库的全量数据和增量数据同步至目标数据库，从各源数据分片读取数据并写入相应目标数据分片中的步骤包括：读取各源数据分片中的全量数据，并写入相应目标数据分片中；读取各源数据分片中的增量数据，并写入相应目标数据分片中。

可选地，在根据本发明实施例的数据库迁移方法中，记录执行数据同步任务的过程中各源数据分片到相应目标数据分片的数据读写状态的步骤包括：记录执行数据同步任务的过程中各源数据分片到相应目标数据分片的全量数据读写状态和增量数据读写状态。

可选地，在根据本发明实施例的数据库迁移方法中，数据读写状态至少包括最新次读写的数据读写状态，监测数据同步任务的进度的步骤包括：对于各源数据分片，至少根据对应的最新次读写的数据读写状态，确定数据同步任务中该源数据分片的进度；在各源数据分片的进度均到达预定进度的情况下，确定数据同步任务的进度到达预定进度；以及在各源数据分片的进度为完成的情况下，确定数据同步任务的进度为完成。

可选地，在根据本发明实施例的数据库迁移方法中，每次读写的数据读写状态指示该次读写是否读取到数据，确定数据同步任务中该源数据分片的进度的步骤包括：在最新次读写的数据读写状态指示读取到数据的情况下，获取该次读写所读取到的数据的时间戳与当前时间的时间差；根据时间差判断数据同步任务中该源数据分片的进度是否到达预定进度。

可选地，在根据本发明实施例的数据库迁移方法中，确定数据同步任务中该源数据分片的进度的步骤包括：在最新次读写的数据读写状态指示没有读取到数据的情况下，获取该次读写的数据读取时间与当前时间的时间差；根据时间差判断数据同步任务中该数据分片的进度是否到达预定进度。

可选地，在根据本发明实施例的数据库迁移方法中，确定数据同步任务中该数据分片的进度的步骤还包括：在禁止对源数据库进行写入操作之后，如果连续多次读写的数据读写状态均指示没有读取到数据，则确定数据同步任务中该数据分片的进度为完成。

可选地，在根据本发明实施例的数据库迁移方法中，每次读取的数据读取状态指示该次读取是否读取到数据，判断源数据库的相关增量数据是否读取完毕的步骤包括：如果连续多次读取的数据读取状态均指示没有读取到数据，则确定源数据库的相关增量数据读取完毕。

可选地，在根据本发明实施例的数据库迁移方法中，以目标数据库替代源数据库的步骤包括：将访问源数据库的网络请求路由到目标数据库。

可选地，在根据本发明实施例的数据库迁移方法中，各源数据分片的数据并行地同步至相应目标数据分片。

根据本发明实施例的另一方面，提供了一种数据库迁移装置，包括：任务创建模块，适于创建数据同步任务，数据同步任务指示将源数据库的数据同步至目标数据库；任务执行模块，适于从源数据库所包括的各源数据分片读取数据，并写入目标数据库的相应目标数据分片中，以执行数据同步任务；进度监测模块，适于记录执行数据同步任务的过程中各源数据分片到相应目标数据分片的数据读写状态，以监测数据同步任务的进度；任务执行模块还适于当进度监测模块监测到数据同步任务的进度到达预定进度时，向存储有源数据分片的存储节点发送禁止写入指令，以禁止对源数据库进行写入操作；以及当进度监测模块监测到数据同步任务的进度为完成时，以目标数据库替代源数据库。

根据本发明实施例的另一方面，提供了一种数据库迁移系统，包括：代理组件，驻留在存储有数据库所包括的数据分片的存储节点中，并适于控制对数据分片的读取和写入；根据本发明实施例的数据库迁移装置，适于经由代理组件对数据分片进行读取和写入。

根据本发明实施例的又一方面，提供了一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行根据本发明实施例的数据库迁移方法的指令。

根据本发明实施例的又一方面，提供了一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行根据本发明实施例的数据库迁移方法。

本发明实施例的数据库迁移方案实现了对数据库的自动化任务管理，例如数据同步任务管理、数据迁移任务管理和增量处理任务管理等等。其中，通过监测任务中各个数据分片的数据读取/读写情况，可以对用户读写无影响、对增量处理任务无影响地完成数据库迁移，避免了传统的数据库迁移方案需要先中断增量处理任务再重建的繁杂操作，极大地简化了操作、节省了时间。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的数据库迁移系统100的示意图；

图2示出了根据本发明一个实施例的数据库迁移装置200的结构框图；

图3示出了根据本发明一个实施例的计算设备300的示意图；

图4示出了根据本发明一个实施例的数据库迁移方法400的流程图；以及

图5示出了应用根据本发明一个实施例的数据库迁移方法400的数据库迁移示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的数据库迁移系统100的示意图。如图1所示，数据库迁移系统100包括至少一个代理组件120和数据库迁移装置200。

通常地，数据库可以为诸如MongoDB、Redis等数据库系统之类的非关系型数据库，以及诸如Oracle、MySQL等数据库系统之类的关系型数据库。数据库可以根据划分规则(例如基于数据范围来分片、基于哈希来分片等等)被划分为多个数据分片(Sharding或者Partition)。这些数据分片分布式地存储在不同的存储节点中，以实现负载均衡和规模水平扩展。此外，随着数据的增长，当数据分片的数据量或访问量超过了特定阈值，那么数据分片可以分裂为两个子分片。每个子分片各包含原数据分片的一部分数据。后续数据将写入相应子分片，不再写入原数据分片。代理组件120驻留在存储有上述数据分片的存储节点中，并适于控制对该数据分片的读取和写入。

数据库迁移装置200可以通过诸如局域网(LAN)或者如互联网的广域网(WAN)的一个或多个网络140与代理组件120相耦接，并可以经由该代理组件120来对该代理组件120对应的数据分片进行数据读取和写入。

数据库迁移装置200可以接收来自用户的数据迁移请求，数据迁移请求请求将数据库的数据迁移至其他数据库。数据库迁移装置200可以响应于该数据迁移请求，将数据库的数据迁移至其他数据库，以便可以使用其他数据替代原先的数据库来对用户提供服务。

此外，数据库迁移装置200还可以接收来自用户的增量处理请求，增量处理请求请求对数据库的相关增量数据进行处理(例如订阅或者消费)。数据库迁移装置200可以响应于该增量处理请求，提供相关的增量数据。

其中，数据库迁移装置200可以通过向相应存储节点120发送指令来对相应数据分片进行数据读写。

图2示出了根据本发明一个实施例的数据库迁移装置200的结构框图。如图2所示，数据库迁移装置200包括任务创建模块220、任务执行模块240和进度监测模块260。

任务创建模块220适于创建数据同步任务，该数据同步任务指示将源数据库的数据同步至目标数据库。在一些实施方式中，数据库迁移装置还可以包括通信模块280(图2未示出)。通信模块280可以接收来自用户的数据迁移请求。任务创建模块220与通信模块280相连接，并可以根据该数据迁移请求创建相应的数据同步任务。

任务执行模块240与任务创建模块220相连接，并适于执行所创建的数据同步任务。具体地，任务执行模块240可以从源数据库所包括的各源数据分片读取数据，并写入目标数据库的相应目标数据分片中，以执行数据同步任务。

进度监测模块260与任务执行模块240相连接，并适于在执行数据同步任务的过程中记录各源数据分片到相应目标数据分片的数据读写状态，以监测数据同步任务的进度。

其中，当进度监测模块260监测到数据同步任务的进度到达预定进度时，任务执行模块240可以向存储有源数据分片的存储节点发送禁止写入指令，以禁止对源数据库进行写入操作。在根据本发明的一些实施方式中，任务执行模块240可以经由通信模块260来发送该禁止写入指令。

接着，当进度监测模块260监测到数据同步任务的进度为完成时，任务执行模块240可以以目标数据库替代源数据库。

此外，任务创建模块220还适于创建增量处理任务，该增量处理任务指示对源数据库的相关增量数据进行处理。在根据本发明的一些实施方式中，通信模块280可以接收来自用户的增量处理请求，任务创建模块220可以根据该增量处理请求创建相应的增量处理任务。

任务执行模块240还适于执行所创建的增量处理任务。具体地，任务执行模块240可以先确定源数据库所包括的与该增量处理任务相关的增量相关数据分片，而后读取所确定的增量相关数据分片中的增量数据，以执行数据处理任务。

相应地，进度监测模块260还适于在执行增量处理任务的过程中记录增量相关数据分片的数据读取状态。

下文将结合附图描述上文所提及的各个装置和模块等的具体结构以及各个装置和模块所执行的方法。

根据本发明的实施方式，上述数据库迁移系统100中的各种部件，如各种装置和模块等均可以通过如下所述的计算设备300来实现。

图3示出了根据本发明一个实施例的计算设备300的示意图。如图3所示，在基本的配置302中，计算设备300典型地包括系统存储器306和一个或者多个处理器304。存储器总线308可以用于在处理器304和系统存储器306之间的通信。

取决于期望的配置，处理器304可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器304可以包括诸如一级高速缓存310和二级高速缓存312之类的一个或者多个级别的高速缓存、处理器核心314和寄存器316。示例的处理器核心314可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器318可以与处理器304一起使用，或者在一些实现中，存储器控制器318可以是处理器304的一个内部部分。

取决于期望的配置，系统存储器306可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器306可以包括操作系统320、一个或者多个应用322以及程序数据324。在一些实施方式中，应用322可以布置为在操作系统上由一个或多个处理器304利用程序数据324执行指令。

计算设备300还可以包括有助于从各种接口设备(例如，输出设备342、外设接口344和通信设备346)到基本配置302经由总线/接口控制器330的通信的接口总线340。示例的输出设备342包括图形处理单元348和音频处理单元350。它们可以被配置为有助于经由一个或者多个A/V端口352与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口344可以包括串行接口控制器354和并行接口控制器356，它们可以被配置为有助于经由一个或者多个I/O端口358和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备346可以包括网络控制器360，其可以被布置为便于经由一个或者多个通信端口364与一个或者多个其他计算设备362通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

计算设备300可以实现为服务器，例如数据库服务器、应用程序服务器和WEB服务器等，也可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备300也可以实现为小尺寸便携(或者移动)电子设备的一部分。

在根据本发明的实施例中，计算设备300被实现为数据库迁移装置200，并被配置为执行根据本发明实施例的数据库迁移方法。其中，计算设备300的应用322中包含执行根据本发明实施例的数据库迁移方法的多条程序指令，而程序数据324还可以存储数据库迁移系统100的配置信息等。

图4示出了根据本发明一个实施例的数据库迁移方法400的流程图。如图4所示，数据库迁移方法400始于步骤S410。

在步骤S410中，创建数据同步任务，数据同步任务指示将源数据库的数据同步至目标数据库。在一些实施方式中，该数据同步任务可以响应于所接收到的来自用户的数据迁移请求而创建，并包括源数据库的服务地址、目标数据库的服务地址。此处服务地址可以为域名或者IP地址，用户可以通过服务地址来访问具有该服务地址的数据库。

在根据本发明的实施方式中，基于数据迁移请求而创建的数据同步任务通常指示将源数据库的全量数据和增量数据同步至目标数据库。当然，数据同步任务也可以基于数据同步请求而创建，指示将源数据库的全量数据或者增量数据同步至目标数据库。

需要说明的是，全量数据和增量数据可以根据开始执行数据同步任务的时刻来确定。在开始执行数据同步任务的时刻，数据库所包含的数据为该数据库的全量数据。数据库在开始执行数据同步任务的时刻之后新增或修改的数据为该数据库的增量数据。具体到各数据分片，即，在开始执行数据同步任务的时刻，数据分片所包含的数据为该数据分片的全量数据。数据分片在开始执行数据同步任务的时刻之后新增或修改的数据为该数据分片的增量数据。

而后在步骤S420中，执行该数据同步任务。具体地，可以从源数据库所包括的各源数据分片读取数据，并写入目标数据库的相应目标数据分片中。

根据本发明的实施方式，源数据分片中的数据具有时间戳，该时间戳指示数据写入源数据分片的时间。因此，对于各源数据分片，可以按照数据的时间戳来逐次逐条地读取数据。其中，写入源数据分片的时间在前的数据先读取，写入源数据分片的时间在后的数据后读取。

在一些实施方式中，可以通过向存储有数据分片的存储节点发送数据读取指令来从该数据分片读取数据。数据库迁移装置200向存储有源数据分片的存储节点发送数据读取指令，存储节点在接收到数据读取指令之后，经由代理组件从源数据分片读取数据并返回给数据库迁移装置200。如果存储节点所存储的数据分片当前没有新数据可供读取，那么存储节点可以经由代理组件返回指示没有读取到数据的消息。

同样地，可以通过向存储节点发送数据写入指令来将数据写入数据分片。数据库迁移装置200在接收到存储节点返回的源数据分片的数据之后，可以向存储有相应目标数据分片的存储节点发送数据写入指令。存储节点在接收到数据写入指令之后，经由代理组件写入数据到该存储节点所存储的目标数据分片中。

由于数据同步任务指示将源数据库的全量数据和增量数据同步至目标数据库，可以先将源数据库的全量数据同步至目标数据库，再将源数据库的增量数据同步至目标数据库。也就是说，先读取源数据库所包括的各源数据分片的全量数据，并写入目标数据库的相应目标数据分片中。在源数据库的全量数据同步至目标数据库之后，再读取源数据库所包括的各源数据分片的增量数据，并写入目标数据库的相应目标数据分片中。

优选地，上述各源数据分片的数据(全量数据或者增量数据)可以并行地同步至相应目标数据分片。以全量数据为例，可以并行地读取各源数据分片的全量数据、写入目标数据库的相应目标数据分片中。

在执行数据同步任务的过程中，可以在步骤S430中监测数据同步任务的进度。具体地，可以记录各源数据分片到相应目标数据分片的数据读写状态(即，从各源数据分片读取数据并写入相应目标数据分片的数据读写状态)，以监测数据同步任务的进度。

可以理解地，从源数据分片读取一条数据并写入相应目标数据分片可以认为是一次读写。数据读取状态至少可以包括最新次读写(也就是当前次读写)的数据读写状态。在一些实施方式中，数据读写状态可以包括每次读写的数据读写状态，也可以仅包括最新次读写的数据读写状态。

每次读写的数据读写状态可以指示该次读写是否读取到数据。例如，每次读写的数据读写状态可以包括该次从源数据分片读取数据的数据读取状态和该次将数据写入相应目标数据分片的数据写入状态，其中数据读取状态可以指示该次是否从源数据分片读取到数据，数据写入状态可以指示该次是否将数据写入到相应目标数据分片。

对每次读写来说，如果源数据分片当前有新数据可供读取，即该次读写可以读取到数据，那么该次读写的数据读写状态指示读取到数据，并可以记录有从源数据分片读取并写入相应目标数据分片的该数据和数据的时间戳，还可以记录有该次读写的数据读取时间和/或数据写入时间。数据读取时间为从源数据分片读取数据的时间，数据写入时间为将数据写入相应目标数据分片的时间。

如果源数据分片当前没有新数据可供读取，即从源数据分片没有读取到数据，那么该次读写的数据读写状态指示没有读取到数据。此时，该次读写的数据读写状态仅记录该次读写的数据读取时间以表示发送数据读取指令的时间，而不记录数据写入时间。

以下是一个源数据分片到目标数据分片的数据读写状态的示例：

其中，数据读写状态包括多次读写的数据读写状态。显然地，每个条目代表一次读写的数据读写状态，位于末尾的条目即为最新次读写的数据读写状态。条目的数据标识项、时间戳项和数据读取时间项可以表征数据读取状态，数据标识项、时间戳项和数据写入时间项可以表征数据写入状态。如果数据标识项和/或时间戳项不为空，则指示该次读写从源数据分片读取到数据。如果数据标识项和/或时间戳项为空，则指示该次读写从源数据分片没有读取到数据。

由于数据同步任务指示将源数据库的全量数据和增量数据同步至目标数据库，那么可以记录执行数据同步任务的过程中各源数据分片到相应目标数据分片的全量数据读写状态和增量数据读写状态。

在一些实施方式中，可以先至少根据各源数据分片到相应目标数据分片的数据读写状态确定数据同步任务中各源数据分片到相应目标数据分片的进度(即，各源数据分片的数据同步到相应目标数据分片的进度)，再根据数据同步任务中各源数据分片到相应目标数据分片的进度来确定数据同步任务的进度。

其中，可以在步骤S440中监测数据同步任务的进度是否到达预定进度。预定进度可以理解为未完成但接近完成。具体地，在数据同步任务中各源数据分片到相应目标数据分片的进度均到达预定进度的情况下，可以确定数据同步任务的进度到达预定进度。

在一些实施例中，对于各源数据分片，在最新次读写的数据读写状态指示读取到数据的情况下，可以从最新次读写的数据读写状态获取该最新次读写读取到的数据的时间戳，再可以获取该最新次读写读取到的数据的时间戳与当前时间的时间差，最后根据时间差判断数据同步任务中该源数据分片到相应目标数据分片的进度是否到达预定进度。数据的时间戳与当前时间的时间差可以通过将当前时间减去时间戳来得到。

在最新次读写的数据读写状态指示没有读取到数据的情况下，可以从最新次读写的数据读写状态获取该最新次读写的数据读取时间，再可以获取该最新次读写的数据读取时间与当前时间的时间差，最后根据时间差判断数据同步任务中该源数据分片到相应目标数据分片的进度是否到达预定进度。该次读写的数据读取时间与当前时间的时间差可以通过将当前时间减去该次读写的数据读取时间来得到。

根据本发明的一个实施例，可以判断上述时间差是否小于预定时差阈值(例如60秒)。如果小于，则确定数据同步任务中该源数据分片到相应目标数据分片的进度到达预定进度，否则确定数据同步任务中该源数据分片到相应目标数据分片的进度尚未到达预定进度。

当监测到数据同步任务的进度到达预定进度时，可以在步骤S450中，向存储有源数据分片的存储节点发送禁止写入指令，以禁止对源数据库进行写入操作。存储节点接收到该禁止写入指令之后，可以经由代理组件拒绝后续对其存储的数据分片的数据写入。

而后在步骤S460中，监测数据同步任务的进度是否为完成。具体地，在数据同步任务中各源数据分片到相应目标数据分片的进度均为完成的情况下，确定数据同步任务的进度为完成。

在一些实施例中，对于各源数据分片，在禁止对源数据库进行写入操作之后，如果连续多次读写(例如连续3次读写)的数据读写状态均指示没有读取到数据，即表示该源数据分片没有新数据可供读取，该源数据分片的所有数据已同步至相应目标数据分片。那么，可以确定数据同步任务中该源数据分片到相应目标数据分片的进度为完成，否则为没有完成。

当监测到数据同步任务的进度为完成时，可以在步骤S470中，以目标数据库替代源数据库。在一些实施方式中，可以将访问源数据库的网络请求路由到目标数据库，这样目标数据库即可替代源数据库来对用户提供服务。

根据本发明的一个实施方式，在以目标数据库替代源数据库之后，还可以判断是否正在执行增量处理任务。增量处理任务可以指示对源数据库的相关增量数据进行处理。

应当理解，在创建数据同步任务之前，数据库迁移装置300可以响应于指示对源数据库的相关增量数据进行处理的增量处理请求，创建并执行增量处理任务。具体地，可以先确定源数据库所包括的与增量处理任务相关的增量相关数据分片(所有增量相关数据分片中的增量数据即为源数据库的相关增量数据)，再读取该增量相关数据分片中的增量数据，以执行数据处理任务。优选地，上述各增量相关数据分片中的增量数据可以并行地读取。

与数据同步任务类似地，可以记录执行该增量处理任务的过程中增量相关数据分片的数据读取状态。从源数据分片读取一条数据可以认为是一次读取。数据读取状态至少可以包括最新次读取(也就是当前次读取)的数据读取状态。在一些实施方式中，数据读取状态可以包括每次读取的数据读取状态，也可以仅包括最新次读取的数据读取状态。

每次读取的数据读取状态可以指示该次读取是否读取到数据。对每次读取来说，如果源数据分片当前有新数据可供读取，即该次读取可以读取到数据，那么该次读取的数据读取状态指示读取到数据，并可以记录有该次读取从源数据分片读取到的数据和数据的时间戳，还可以记录有该次读取的数据读取时间。如果源数据分片当前没有新数据可供读取，即从源数据分片没有读取到数据，那么该次读取的数据读取状态指示没有读取到数据。

以下是一个源数据分片的数据读取状态的示例：

其中，数据读取状态包括多次读取的数据读写状态。显然地，每个条目代表一次读取的数据读取状态，位于末尾的条目即为最新次读取的数据读取状态。如果数据标识项和/或时间戳项不为空，则指示该次读取从源数据分片读取到数据。如果数据标识项和/或时间戳项为空，则指示该次读取从源数据分片没有读取到数据。

如果正在执行增量处理任务，那么可以根据执行该增量处理任务的过程中所记录的增量相关数据分片的数据读取状态，判断源数据库的相关增量数据是否读取完毕。具体地，在以目标数据库替代源数据库之后，如果增量相关数据分片的连续多次读取(例如3次读取)的数据读取状态均指示没有读取到数据，则表明该增量相关数据分片没有新增量数据可供读取，可以确定该增量相关数据分片的增量数据读取完毕。在各增量相关数据分片的增量数据均读取完毕的情况下，可以确定源数据库的相关增量数据读取完毕，否则确定没有读取完毕。

如果源数据库的相关增量数据读取完毕，则可以确定目标数据库所包括的与上述增量处理任务相关的目标增量相关数据分片，而后读取该目标增量相关数据分片中的增量数据，以执行增量处理任务。

至此，即实现了源数据库到目标数据库的迁移，整个迁移过程对用户的读写无影响，对原有的增量处理任务无影响，且增量处理任务读取增量数据的时间顺序没有被打乱。

图5示出了应用根据本发明一个实施例的数据库迁移方法400的数据库迁移示意图。

假设需要将第一数据库迁移至第二数据库，则数据库迁移装置创建并执行相应的数据同步任务510，该数据同步任务510指示将第一数据库的全量数据和增量数据同步至第二数据库。同时，数据库迁移装置还执行至少一个针对第一数据库的增量处理任务520，增量处理任务520指示对第一数据库的相关相关增量数据进行处理。

为简化描述，将第一数据库的数据分片称为第一数据分片，将第一数据库中与增量处理任务相关的数据分片称为第一相关数据分片，将第二数据库的数据分片称为第二数据分片，将第一数据库中与增量处理任务相关的数据分片称为第二相关数据分片。其中，对于数据同步任务510，数据库迁移装置可以并行地从各个第一数据分片读取数据并写入相应的第二数据分片。对于增量处理任务520，数据库迁移装置可以并行地从各个第一相关数据分片读取增量数据。

对于数据同步任务510，通过监测从各第一数据分片读取数据并写入相应的第二数据分片的数据读写状态来监测各第一数据分片的数据同步到相应的第二数据分片的进度，最后根据各第一数据分片的数据同步到相应的第二数据分片的进度来得到数据同步任务410的进度。在监测到数据同步任务410的进度到达预定进度时，禁止向第一数据库写入数据。在监测到数据同步任务410的进度为完成时，将对第一数据库的访问请求路由至第二数据库，这样对第一数据库的数据写入和读取都可以在第二数据库上完成。

对于增量处理任务520，监测从各第一数据分片读取数据的数据读取状态，以便在禁止向第一数据库写入数据之后判断该第一数据库的相关增量数据是否读取完毕。如果第一数据库的相关增量数据读取完毕了，再从第二数据库读取相关增量数据。同样地，并行地从各个第二相关数据分片读取增量数据。

上述数据库迁移过程中的具体步骤以及实施例，在结合图1～图4对数据库迁移系统100的描述中已经详细公开，此处不再赘述。

综上所述，本发明实施例的数据库迁移方案实现了对数据库的自动化任务管理，例如数据同步任务管理、数据迁移任务管理和增量处理任务管理等等。其中，通过监测任务中各个数据分片的数据读取/读写情况，可以对用户读写无影响、对增量处理任务无影响地完成数据库迁移，避免了传统的数据库迁移方案需要先中断增量处理任务再重建的繁杂操作，极大地简化了用户操作、节省了操作时间。此外，在源数据库中的相关增量数据读取完毕之后读取目标数据库中的相关增量数据，保证了增量处理任务读取增量数据的时间顺序没有被打乱。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (16)

1.一种数据库迁移方法，所述方法包括步骤：

创建数据同步任务，所述数据同步任务指示将源数据库的数据同步至目标数据库；

从所述源数据库所包括的各源数据分片读取数据，并写入所述目标数据库的相应目标数据分片中，以执行所述数据同步任务；

记录执行所述数据同步任务的过程中各源数据分片到相应目标数据分片的数据读写状态，以监测所述数据同步任务的进度；

当监测到所述数据同步任务的进度到达预定进度时，向存储有所述源数据分片的存储节点发送禁止写入指令，以禁止对所述源数据库进行写入操作；以及

当监测到所述数据同步任务的进度为完成时，以所述目标数据库替代所述源数据库。

2.如权利要求1所述的方法，其中，所述方法还包括步骤：

创建增量处理任务，所述增量处理任务指示对所述源数据库的相关增量数据进行处理；

确定所述源数据库所包括的与所述增量处理任务相关的增量相关数据分片；

读取所述增量相关数据分片中的增量数据，以执行所述数据处理任务；

记录执行增量处理任务的过程中所述增量相关数据分片的数据读取状态。

3.如权利要求2所述的方法，其中，在以所述目标数据库替代所述源数据库之后，所述方法还包括步骤：

判断是否正在执行所述增量处理任务；

如果正在执行所述增量处理任务，则根据执行所述增量处理任务的过程中所记录的增量相关数据分片的数据读取状态，判断所述源数据库的相关增量数据是否读取完毕；

如果读取完毕，确定所述目标数据库所包括的与所述增量处理任务相关的目标增量相关数据分片；

读取所述目标增量相关数据分片中的增量数据，以执行所述增量处理任务。

4.如权利要求1所述的方法，其中，所述数据同步任务指示将源数据库的全量数据和增量数据同步至所述目标数据库，所述从各源数据分片读取数据并写入相应目标数据分片中的步骤包括：

读取所述各源数据分片中的全量数据，并写入相应目标数据分片中；

读取所述各源数据分片中的增量数据，并写入相应目标数据分片中。

5.如权利要求4所述的方法，其中，所述记录执行数据同步任务的过程中各源数据分片到相应目标数据分片的数据读写状态的步骤包括：

记录执行所述数据同步任务的过程中所述各源数据分片到相应目标数据分片的全量数据读写状态和增量数据读写状态。

6.如权利要求5所述的方法，其中，所述数据读写状态至少包括最新次读写的数据读写状态，所述监测数据同步任务的进度的步骤包括：

对于所述各源数据分片，至少根据对应的最新次读写的数据读写状态，确定所述数据同步任务中该源数据分片的进度；

在各源数据分片的进度均到达预定进度的情况下，确定所述数据同步任务的进度到达预定进度；以及在各源数据分片的进度为完成的情况下，确定所述数据同步任务的进度为完成。

7.如权利要求6所述的方法，其中，每次读写的数据读写状态指示该次读写是否读取到数据，所述确定数据同步任务中该源数据分片的进度的步骤包括：

在最新次读写的数据读写状态指示读取到数据的情况下，获取该次读写所读取到的数据的时间戳与当前时间的时间差；

根据所述时间差判断所述数据同步任务中该源数据分片的进度是否到达预定进度。

8.如权利要求6所述的方法，其中，所述确定数据同步任务中该源数据分片的进度的步骤包括：

在最新次读写的数据读写状态指示没有读取到数据的情况下，获取该次读写的数据读取时间与当前时间的时间差；

根据所述时间差判断所述数据同步任务中该数据分片的进度是否到达预定进度。

9.如权利要求6所述的方法，其中，所述确定数据同步任务中该数据分片的进度的步骤还包括：

在禁止对所述源数据库进行写入操作之后，如果连续多次读写的数据读写状态均指示没有读取到数据，则确定所述数据同步任务中该数据分片的进度为完成。

10.如权利要求3所述的方法，其中，每次读取的数据读取状态指示该次读取是否读取到数据，所述判断源数据库的相关增量数据是否读取完毕的步骤包括：

如果连续多次读取的数据读取状态均指示没有读取到数据，则确定所述源数据库的相关增量数据读取完毕。

11.如权利要求1所述的方法，其中，所述以目标数据库替代源数据库的步骤包括：

将访问所述源数据库的网络请求路由到所述目标数据库。

12.如权利要求1所述的方法，其中，所述各源数据分片的数据并行地同步至相应目标数据分片。

13.一种数据库迁移装置，包括：

任务创建模块，适于创建数据同步任务，所述数据同步任务指示将源数据库的数据同步至目标数据库；

任务执行模块，适于从所述源数据库所包括的各源数据分片读取数据，并写入所述目标数据库的相应目标数据分片中，以执行所述数据同步任务；

进度监测模块，适于记录执行所述数据同步任务的过程中各源数据分片到相应目标数据分片的数据读写状态，以监测所述数据同步任务的进度；

所述任务执行模块还适于当所述进度监测模块监测到所述数据同步任务的进度到达预定进度时，向存储有所述源数据分片的存储节点发送禁止写入指令，以禁止对所述源数据库进行写入操作；以及当所述进度监测模块监测到所述数据同步任务的进度为完成时，以所述目标数据库替代所述源数据库。

14.一种数据库迁移系统，包括：

代理组件，驻留在存储有数据库所包括的数据分片的存储节点中，并适于控制对所述数据分片的读取和写入；

如权利要求13所述的数据库迁移装置，适于经由所述代理组件对所述数据分片进行读取和写入。

15.一种计算设备，包括：

至少一个处理器；和

存储有程序指令的存储器，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-12中任一项所述的数据库迁移方法的指令。

16.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-12中任一项所述的数据库迁移方法。

Images