CN110569231B - 数据迁移方法、装置、设备和介质 - Google Patents

Abstract

本发明实施例公开了一种数据迁移方法、装置、设备和介质，涉及数据处理技术领域。该方法包括：响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中；将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；根据所述目标操作信息，对所述新数据表进行数据更新。本发明实施例提供了一种数据迁移方法、装置、设备和介质，实现了在不停机的情况下，将数据从老数据表迁移至新数据表中，同时保证了迁移过程中数据的一致性。

Description

数据迁移方法、装置、设备和介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据迁移方法、装置、设备和介质。

背景技术

系统建立之初，数据只放在单个数据表之中，随着业务急剧膨胀，数据库中数据表内数据急剧增长，达到了千万级别，随之而来的问题有：

容量问题：单个数据表的数据量过大，单个数据表处理能力有瓶颈。

性能问题：单个数据表解决所有应用节点，有性能极限。

通过分表可以解决上述问题，分表过程中需求对数据进行迁移。

目前主流的数据迁移方案是：停机线下将老数据表中的数据拷贝到新数据表中。

上述方案的缺点在于，需要停机后进行数据迁移，停机期间不能提供业务服务，从而影响用户体验。

发明内容

本发明实施例提供一种数据迁移方法、装置、设备和介质，以实现在不停机的情况下，将数据从老数据表迁移至新数据表中，同时保证迁移过程中数据的一致性。

第一方面，本发明实施例提供了一种数据迁移方法，该方法包括：

响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中；

将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；

根据所述目标操作信息，对所述新数据表进行数据更新。

第二方面，本发明实施例还提供了一种数据迁移装置，该装置包括：

数据写入模块，用于响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中；

信息确定模块，用于将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；

数据更新模块，用于根据获取的目标操作信息，对所述新数据表进行数据更新。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据迁移方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据迁移方法。

本发明实施例通过将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；根据获取的目标操作信息，对所述新数据表进行数据更新，从而实现在不停机的情况下，将数据迁移至新数据表中，同时保证了迁移过程中数据的一致性。

附图说明

图1为本发明实施例一提供的一种数据迁移方法的流程图；

图2是本发明实施例二提供的一种数据迁移方法的流程图；

图3是本发明实施例三提供的一种数据迁移方法的系统框图；

图4是本发明实施例三提供的一种数据迁移方法的流程图；

图5是本发明实施例四提供的一种数据迁移装置的结构示意图；

图6为本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据迁移方法的流程图。本实施例可适用于将老数据表中的数据迁移至新数据表中的情况。该方法可以由一种数据迁移装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的数据迁移方法包括：

S110、响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中。

其中，当前数据写入请求是指当前数据的写入请求，当前数据写入请求是用户基于目标应用发起的请求。

当前数据是当前时刻的数据。

目标应用是老数据表关联的应用，该应用可以是任意应用，本实施例对此不做限定。

例如，若目标应用是提供交易支付服务的应用，则当前数据可以是用户在当前时刻的交易支付记录。

老数据表是指待数据迁移的数据表，也是指目标应用原来使用的数据表。

新数据表是指根据业务需求新增的数据表。

S120、将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息。

其中，历史数据是历史时刻的数据，也是仅存储于老数据表中的数据。

目标操作信息是指在将老数据表中的历史数据同步至新数据表的过程中，用户对老数据表的操作信息。

具体地，将老数据表中的历史数据同步至所述新数据表中，包括：

在写入当前数据之前，将老数据表中已经存在的数据作为历史数据；

复制历史数据，并将复制的历史数据粘贴至新数据表中，从而实现对数据的迁移。

可选地，所述将所述老数据表中的历史数据同步至所述新数据表中之前，所述方法还包括：

确定所述老数据表中的最大行标识；

遍历所述老数据表中的每个行标识，若该行标识小于或等于所述最大行标识，则将该行标识关联的行数据作为所述历史数据，其中所述老数据表中的行标识是按照写入时间由远及近，呈现递增状态的序号。

具体地，老数据表中的行标识可以是根据写入时间呈现递增状态的序号。

S130、根据获取的目标操作信息，对所述新数据表进行数据更新。

具体地，根据获取的目标操作信息，对所述新数据表进行数据更新，包括：

若目标操作信息是对某一数据的修改，则判断修改时间是否晚于该数据的迁移时间；

若是，则修改新数据表中的该数据，从而保证迁移过程中数据的一致性。

本发明实施例的技术方案，通过将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；根据目标操作信息，对所述新数据表进行数据更新，从而实现在不停机的情况下，将数据迁移至新数据表中，同时能保证迁移过程中数据的一致性。

为实现对用户的稳定迁移，所述根据目标操作信息，对所述新数据表进行数据更新之后，所述方法还包括：

从所述老数据表关联的用户中，选择设定比例的用户作为迁移用户；

将所述新数据表作为所述迁移用户的读取数据表；

对所述迁移用户的数据读取进行异常监听；

若数据读取正常，则增加所述迁移用户的数量，并返回执行对所述迁移用户的数据读取进行异常监听，以及若数据读取正常，则增加所述迁移用户的数量的步骤，直至所述老数据表关联应用的用户数量等于所述迁移用户的数量。

其中，老数据表关联的用户是指，老数据表的关联应用对应的用户。

为减少迁移错误的新数据表对用户服务的影响，所述对所述迁移用户的数据读取进行异常监听之后，所述方法还包括：

若数据读取异常，则将所述老数据表作为所述迁移用户的读取数据表，并删除所述新数据表。

为实现对老数据表的停用，所述若数据读取正常，则增加所述迁移用户的数量，并返回执行对所述迁移用户的数据读取进行异常监听，以及若数据读取正常，则增加所述迁移用户的数量的步骤，直至所述老数据表关联应用的用户数量等于所述迁移用户的数量之后，所述方法还包括：

响应当前数据写入请求，将当前数据分别写入新数据表中。

实施例二

图2是本发明实施例二提供的一种数据迁移方法的流程图。本实施例是在上述实施例的基础上提出的一种可选方案。参见图2，本实施例提供的数据迁移方法包括：

S210、响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中。

S220、在同步所述历史数据的起始时刻，记录目标操作日志的当前位点，并将该位点作为起始位点。

其中目标操作日志是记录用户对所述老数据表的操作信息文件。

典型地，若数据库为mysql类型，则所述目标操作日志是binlog日志。

该当前位点是指，在同步所述历史数据的起始时刻，目标操作日志中最新记录的用户操作信息关联的位点。

S230、将所述老数据表中的历史数据同步至所述新数据表中。

S240、在同步所述历史数据的终止时刻，记录所述目标操作日志的当前位点，并将该位点作为终止位点。

其中，该当前位点是指，在同步所述历史数据的终止时刻，目标操作日志中最新记录的用户操作信息的位点。

S250、获取所述目标操作日志中目标位点序列关联的用户操作序列，并将该用户操作序列作为所述目标操作信息，其中所述目标位点序列是指从所述起始位点开始至所述终止位点的位点序列。

S260、根据获取的目标操作信息，对所述新数据表进行数据更新。

本发明实施例的技术方案，通过从目标操作日志中提取目标位点序列关联的用户操作序列，并将该用户操作序列作为目标操作信息，从而实现对目标操作信息的确定，且无需对目标操作信息的专门记录。

实施例三

图3是本发明实施例三提供的一种数据迁移方法的系统框图。图4是本发明实施例三提供的一种数据迁移方法的流程图。本实施例是在上述实施例的基础提出的一种可选方案。参见图3和图4，本实施例提供的数据迁移方法描述如下：

数据迁移方法的系统框图中包括：

任务调度模块，用于根据设备集群中各设备的任务量，确定执行数据迁移任务的目标设备，并将数据迁移任务分配给该目标设备。

数据解析模块，用于解析目标操作日志，生成目标操作信息。

配置模块，用于配置读开关和写开关的变化。

其中，读开关，取值从0％至100％，分别表示有多少用户能读新数据表中的数据。

写开关，取值为1、2、3，1表示写老数据表；2表示写老数据表和新数据表，3表示只写新数据表。

基于上述系统，数据迁移过程可以描述如下：

写开关调整为2，数据改为双写，读开关不变，生产环境继续读取老数据表；

将老数据表中的历史数据同步至新数据表中；

在同步历史数据的起始时刻，记录目标操作日志的当前位点，并将该位点作为起始位点；

在同步历史数据的终止时刻，记录目标操作日志的当前位点，并将该位点作为终止位点；

获取目标操作日志中目标位点序列关联的用户操作序列，并将该用户操作序列作为所述目标操作信息，其中所述目标位点序列是指从所述起始位点开始至所述终止位点的位点序列；

根据获取的目标操作信息，对新数据表进行数据更新。

逐步调整读开关，同时观察生产流量，若读取正常，则逐渐增大读新数据表的用户占比，直到100％；

在读新数据表的用户占比为100％后，写开关调整到3，只写新数据表。

具体地，如果在迁移过程中的任意一步发现问题，可以随时通过调整读、写开关迅速解决问题，从而保证系统的稳定性。

如需对新数据表进行重做，只需要把新数据表的数据删除重新按照上述流程即可重做。

本发明实施例的技术效果在于：能平滑实现数据库分表，而不需要停机，同时能保证迁移过程中数据的一致性。

此外，如果发现数据有问题，该方案支持重做

具体地，本方案可以应用于支付系统的分表场景。

需要说明的是，本实施例对上述步骤的执行顺序不做限定，基于上述实施例的技术教导，本领域技术人员有动机将上述实施方式进行组合，以实现在不停机的情况下，将数据从老数据表迁移至新数据表中。

实施例四

图5是本发明实施例四提供的一种数据迁移装置的结构示意图。参见图5，本实施例提供的数据迁移装置，包括：数据写入模块10、信息确定模块20和数据更新模块30。

其中，数据写入模块10，用于响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中；

信息确定模块20，用于将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；

数据更新模块30，用于根据获取的目标操作信息，对所述新数据表进行数据更新。

本发明实施例的技术方案，通过将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；根据目标操作信息，对所述新数据表进行数据更新，从而实现在不停机的情况下，将数据迁移至新数据表中，同时能保证迁移过程中数据的一致性。

进一步地，所述信息确定模块，包括：

起始位点确定单元，用于在同步所述历史数据的起始时刻，记录目标操作日志的当前位点，并将该位点作为起始位点，其中所述目标操作日志是记录用户对所述老数据表的操作信息文件；

终止位点确定单元，用于在同步所述历史数据的终止时刻，记录所述目标操作日志的当前位点，并将该位点作为终止位点；

信息获取单元，用于获取所述目标操作日志中目标位点序列关联的用户操作序列，并将该用户操作序列作为所述目标操作信息，其中所述目标位点序列是指从所述起始位点开始至所述终止位点的位点序列。

进一步地，所述装置还包括：

标识确定模块，用于在将所述老数据表中的历史数据同步至所述新数据表中之前，确定所述老数据表中的最大行标识；

历史数据确定模块，用于遍历所述老数据表中的每个行标识，若该行标识小于或等于所述最大行标识，则将该行标识关联的行数据作为所述历史数据，其中所述老数据表中的行标识是按照写入时间由远及近递增的序号。

进一步地，所述装置还包括：

用户确定模块，用于所述根据获取的目标操作信息，对所述新数据表进行数据更新之后，从所述老数据表关联的用户中，选择设定比例的用户作为迁移用户；

数据表确定模块，用于将所述新数据表作为所述迁移用户的读取数据表；

异常监听模块，用于对所述迁移用户的数据读取进行异常监听；

用户调整模块，用于若数据读取正常，则增加所述迁移用户的数量，并返回执行对所述迁移用户的数据读取进行异常监听，以及若数据读取正常，则增加所述迁移用户的数量的步骤，直至所述迁移用户的数量等于所述老数据表关联的用户数量。

进一步地，所述装置还包括：

数据表删除模块，用于所述对所述迁移用户的数据读取进行异常监听之后，若数据读取异常，则将所述老数据表作为所述迁移用户的读取数据表，并删除所述新数据表。

本发明实施例所提供的数据迁移装置可执行本发明任意实施例所提供的数据迁移方法，具备执行方法相应的功能模块和有益效果。

实施例五

图6为本发明实施例五提供的一种设备的结构示意图，如图6所示，该设备包括处理器70、存储器71、输入装置72和输出装置73；设备中处理器70的数量可以是一个或多个，图6中以一个处理器70为例；设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据迁移方法对应的程序指令/模块(例如，数据迁移装置中的数据写入模块10、信息确定模块20和数据更新模块30)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据迁移方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少两个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少两个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置72可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据迁移方法，该方法包括：

响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中；

将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；

根据所述目标操作信息，对所述新数据表进行数据更新。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据迁移方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述数据迁移装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据迁移方法，其特征在于，包括：

响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中；

将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；

根据所述目标操作信息，对所述新数据表进行数据更新；

其中，所述确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息，包括：

在同步所述历史数据的起始时刻，记录目标操作日志的当前位点，并将该位点作为起始位点，其中所述目标操作日志是记录用户对所述老数据表的操作信息文件；

在同步所述历史数据的终止时刻，记录所述目标操作日志的当前位点，并将该位点作为终止位点；

获取所述目标操作日志中目标位点序列关联的用户操作序列，并将该用户操作序列作为所述目标操作信息，其中所述目标位点序列是指从所述起始位点开始至所述终止位点的位点序列。

2.根据权利要求1所述的方法，其特征在于，所述将所述老数据表中的历史数据同步至所述新数据表中之前，所述方法还包括：

确定所述老数据表中的最大行标识；

遍历所述老数据表中的每个行标识，若该行标识小于或等于所述最大行标识，则将该行标识关联的行数据作为所述历史数据，其中所述老数据表中的行标识是按照写入时间由远及近递增排列的序号。

3.根据权利要求1所述的方法，其特征在于，所述根据获取的目标操作信息，对所述新数据表进行数据更新之后，所述方法还包括：

从所述老数据表关联的用户中，选择设定比例的用户作为迁移用户；

将所述新数据表作为所述迁移用户的读取数据表；

对所述迁移用户的数据读取进行异常监听；

若数据读取正常，则增加所述迁移用户的数量，并返回执行对所述迁移用户的数据读取进行异常监听，以及若数据读取正常，则增加所述迁移用户的数量的步骤，直至所述迁移用户的数量等于所述老数据表关联的用户数量。

4.根据权利要求3所述的方法，其特征在于，所述对所述迁移用户的数据读取进行异常监听之后，所述方法还包括：

若数据读取异常，则将所述老数据表作为所述迁移用户的读取数据表，并删除所述新数据表。

5.一种数据迁移装置，其特征在于，包括：

数据写入模块，用于响应当前数据写入请求，将当前数据分别写入老数据表和新数据表中；

信息确定模块，用于将所述老数据表中的历史数据同步至所述新数据表中，并确定在同步所述历史数据的过程中，用户对所述老数据表的目标操作信息；

数据更新模块，用于根据获取的目标操作信息，对所述新数据表进行数据更新；

其中，所述信息确定模块，包括：

起始位点确定单元，用于在同步所述历史数据的起始时刻，记录目标操作日志的当前位点，并将该位点作为起始位点，其中所述目标操作日志是记录用户对所述老数据表的操作信息文件；

终止位点确定单元，用于在同步所述历史数据的终止时刻，记录所述目标操作日志的当前位点，并将该位点作为终止位点；

信息获取单元，用于获取所述目标操作日志中目标位点序列关联的用户操作序列，并将该用户操作序列作为所述目标操作信息，其中所述目标位点序列是指从所述起始位点开始至所述终止位点的位点序列。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

标识确定单元，用于将所述老数据表中的历史数据同步至所述新数据表中之前，确定所述老数据表中的最大行标识；

历史数据确定单元，用于遍历所述老数据表中的每个行标识，若该行标识小于或等于所述最大行标识，则将该行标识关联的行数据作为所述历史数据，其中所述老数据表中的行标识是按照写入时间由远及近递增的序号。

7.一种数据迁移设备，其特征在于，所述数据迁移设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的数据迁移方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的数据迁移方法。

Images