CN113239012B - 一种数据库迁移方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据库迁移方法、装置、电子设备和存储介质。该方法包括：对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中；在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录；根据所述日志记录确定变更数据及所述变更数据的存储位置；将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。本发明实施例通过日志解析以及分库分表规则，使得源数据库迁移至目标数据库的过程中保证了数据的一致性。

Description

一种数据库迁移方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及数据库领域，尤其涉及一种数据库迁移方法、装置、电子设备和存储介质。

背景技术

伴随着互联网相关业务不断涌现，相关业务量和客户数量的显著大幅增加，会对企业现有的资源供应带来相当大的压力，也就意味着公司可能需要通过将数据迁移到一个更大的服务器或者资源空间来扩大其托管功能。

现在的数据迁移方法通常为使用业界开源的数据同步工具，基于数据变更产生的日志，对增量数据进行数据迁移。而对于历史数据迁移，是由技术同学编码，通过特定的分库分表规则，实现将源数据库迁移至目标数据库。

在数据库迁移的过程中，若已经迁移完的数据发生变更，此时变更的数据不能迁移至目标数据库，会造成数据不一致的问题。因此，如何避免在数据库迁移过程中造成的数据不一致，是必须要解决的问题。

发明内容

本发明实施例提供一种数据库迁移方法、装置、电子设备和存储介质，以实现数据库迁移的一致性。

第一方面，本实施例提供了一种数据库迁移方法，包括：

对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中；

在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录；

根据所述日志记录确定变更数据及所述变更数据的存储位置；

将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

第二方面，本发明实施例还提供了一种数据库迁移装置，包括：

日志记录模块，用于对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中；

日志记录处理模块，用于在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录；

变更数据确定模块，用于根据所述日志记录确定变更数据及所述变更数据的存储位置；

变更数据迁移模块，用于将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据库迁移方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据库迁移方法。

本发明实施例提供了一种数据库迁移方法、装置、电子设备和存储介质，通过解析源数据库的访问操作日志记录，采用分库分表规则，解决了确定变更数据及所述变更数据的存储位置，并将变更数据从存储位置迁移至目标数据库中的问题，实现了数据库迁移一致性的效果。

附图说明

图1是本发明实施例一提供的一种数据库迁移方法的流程图；

图2是本发明实施例二提供的一种数据库迁移方法的流程图；

图3是本发明实施例三提供的一种数据库迁移方法的流程图；

图4是本发明实施例四提供的一种数据库迁移装置的结构示意图；

图5是本发明实施例五提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据库迁移方法的流程图，本实施例可适用于支持业务正常运行的不停机数据库迁移的情况，本实施例的方法可以由数据库迁移装置来执行，该装置可以采用硬件和/或软件的方式来实现。该装置可以配置于能够对数据库进行数据处理的服务器中。该方法具体包括如下步骤：

S110、对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中。

其中，源数据库是指存储有历史数据并支持业务运行的待升级数据库。由于业务发展，单库、单表数据量过大，当数据量超过一定量级后，无论是对于数据查询还是数据更新，可能存在性能问题，其存储量甚至原有表结构设计不能够满足业务发展。

日志是指网络设备、系统及服务程序等，在运作时都会产生一个叫日志(log)的事件记录，用于记录用户对数据更新的语句信息。

对源数据库中的数据进行访问操作不限于读取、增加、删除、变更和搜索等。示例性的，当用户对源数据库中的数据进行访问操作时，如增加、删除、变更和搜索数据，该访问操作会被记录在日志中。

S120、在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录。

其中，数据库迁移是指将源数据库中的数据同步到新数据库中。基于业务需求特点，新数据库可以设计与源数据库不同的库结构和表结构。本实施例对此不进行限制。

变更的日志记录是指源数据库中已迁移到目标数据库的数据，在迁移过程中，数据发生了变更记录到日志中。

具体的，本实施例中在启动数据库迁移之后，迁移数据包括源数据库中的历史数据和新产生的数据，其中历史数据包括由源数据库迁移至目标数据库未发生变更的数据，以及已迁移至目标数据库，但在数据迁移过程中发生变更的数据。为了保证数据迁移的一致性，需要将数据迁移过程中发生变更的数据记录到日志中，形成对数据进行变更的日志记录。通过解析日志中的日志记录，查找到历史数据中变更数据的日志记录。

S130、根据所述日志记录确定变更数据及所述变更数据的存储位置；

其中，变更数据是指在进行访问操作时产生的增加、删除和变更的数据。

变更数据的存储位置，是在源数据库中的位置，可以通过变更日志记录中的字段内容来确定。例如将数据库A中的数据迁移至数据库B中时，在数据库中的数据a发生变更时，已经把变更前数据a迁移至B中，再根据产生的日志找到发生变更的数据a，将变更后的数据b插入至B中。该日志记录了数据a的原始地址，可以通过日志解析确定数据a访问前的地址，从而确定变更数据a的存储位置。

S140、将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

其中，分库分表是指将单一数据库或单一表格中数据通过某种特定规则分到多个库和多个表中存储。随着单库中的数据量越来越大、数据库的每秒查询率(Queries PerSecond，QPS)越来越高，相应的，对数据库的读写所需要的时间也越来越多。数据库的读写性能可能会成为业务发展的瓶颈。如果数据库的查询QPS过高，就需要考虑拆库，通过分库来分担单个数据库的连接压力。比如，如果查询QPS为3500，假设单库可以支撑1000个连接数的话，那么就可以考虑拆分成4个库，来分散查询连接压力。如果单表数据量过大，把数据按照一定的规则拆分成多张表，来解决单表环境下无法解决的存取性能问题。

目标数据库指的是要备份的数据库。例如，将数据库A中的数据迁移至数据库B中，则数据库B为目标数据库。

本发明实施例提供了一种数据库迁移方法，通过生成对源数据库中数据的访问操作日志记录，解析访问操作日志记录，获取数据迁移过程中变更数据日志，从而确定变更数据及所述变更数据的存储位置，并将变更数据从存储位置迁移至目标数据库中，实现了在数据库迁移过程中源数据库中数据发生变更后能实时迁移至目标数据库中，保证了数据库一致性的效果。

实施例二

图2为本发明实施例二提供的一种数据库迁移方法的流程图。本实施例在上述实施例的基础上，可选的，该方法还包括：将所述源数据库中的已有数据插入至临时存储表中，并将针对所述临时存储表的插入操作，作为访问操作，记录至所述日志中。如图2所示，该方法具体包括如下步骤：

S210、对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中。

S220、将所述源数据库中的已有数据插入至临时存储表中，并将针对所述临时存储表的插入操作，作为访问操作，记录至所述日志中；

其中，所述已有数据至少包括未在所述日志中存在访问操作记录的数据。

临时存储表作为数据迁移的一个临时数据存储表，用于存储源数据库中的历史数据，从而生成访问操作，记录到日志中。

插入操作是为了反查历史数据，进而生成日志，便于查找变更数据。例如，源数据库中原始数据有100条数据，当新插入了1条数据，如第101条，则第101条新增的数据会记录在日志里面。这100条原始数据可以通过反查的方式插到临时存储表里，插入这100条数据的操作会产生对应的日志，如在迁移过程中，这100条数据中任何数据发生变化，都会产生日志。根据产生的日志可以确定这100条数据中具体哪一条数据发生了变化。

其中，所述访问操作为基于关系型数据库管理系统MySQL执行的操作，所述日志为基于MySQL的二进制日志。二进制日志(binlog)是一个二进制文件，主要用于记录所有数据库表结构变更以及表数据修改。二进制日志中记录了对MySQL数据库执行更改的所有操作。

可选的，按照设定规律对所述日志中的历史日志记录进行清除。

日志记录了数据库中数据的变动，便于对数据的基于时间点和基于位置的记录，但是日志也会日渐增大。在一个繁忙的服务器上，日志文件增长速度很快，如果不定时清除，硬盘空间很快就会被充满。因此，要使用正确安全的方法清理掉一部分没用的日志。例如，可以手动清理日志或通过设置日志过期的时间，系统自动删除日志文件。本实施例对此不进行限制。

上述对源数据库的访问操作和将源数据库的已有数据插入临时存储表的操作，可以各自独立运行，其先后顺序不限。针对源数据库的访问操作和针对临时存储表的访问操作，均会被记录在日志中。

S230、在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录。

具体的，解析所述日志中的日志记录，以确定对数据进行变更的日志记录的操作，可包括：

S231、解析所述日志中的日志记录，以获取日志记录中的操作关键字。

S232、如果所述操作关键字为设定关键字，则确定为对数据进行变更的日志记录；

其中，所述设定关键字包括如下至少一项：插入、删除和变更。

日志解析方法可以是特征字符分析，还可以是访问频率分析。

解析日志中的日志记录，就是为了查询源数据库中需要向目标数据库进行迁移的变更数据。

关键字就是用户在使用搜索引擎时，输入的能够最大程度概括用户所要查找的信息内容。关键字是用来标识文件中各个记录的特定数据项目的值，本实施例对此不进行限制。

S240、根据所述日志记录确定变更数据及所述变更数据的存储位置。

变更数据的存储位置，是在源数据库或临时存储表中的位置。可以通过变更日志记录中的字段内容来确定。

S250、将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

本发明实施例的技术方案，通过将源数据库中的已有数据插入至临时存储表中的访问操作，将插入操作记录到日志中，解析所述日志中的日志记录，可以确定对数据进行变更的日志记录，解决了由于日志定期清除造成的数据访问操作记录不全的问题，实现了在数据库迁移过程中，确定原始数据变更的日志记录的效果。

实施例三

图3为本发明实施例三提供的一种数据库迁移方法的流程图，本实施例以上述实施例为基础进行细化，具体包括如下步骤：

S310、获取业务处理请求，根据所述业务处理请求对所述源数据库中的数据进行访问操作。

在本实施例中，对源数据库中的数据进行访问操作可选的是，根据源数据库所支持的业务来执行访问操作。例如，当用户根据业务界面信息将新增加的数据输入保存时，则执行“增加”访问操作。

S320、在满足设定触发条件时，启动数据库迁移；

其中，所述设定触发条件可以为任何需要触发数据库迁移的条件，优选为业务处理请求量低于设定门限值的时间段。

每个事件定义都有一个与其关联的系统事件，也有一个或多个触发条件。在满足系统事件的触发条件时，会触发事件处理程序。目前系统的各个触发条件可以由用户预先设置，详细设置过程如下：用户可以根据实际应用场景需求设定触发条件，当满足触发条件时，系统开始操作。本实施例对此不进行限制。

示例性的，当公司业务量较大时，客户访问需求很多，如果在此时段进行数据库迁移，会使访问信任度降低，因此分时段进行数据库迁移显得尤为重要。通过定时任务，避开系统高峰期，在系统空闲时候对历史数据进行迁移，比如查询到业务处理请求量低于设定门限值，则进行存量数据的迁移。或者通过定时任务来实现数据库自动迁移，定时任务在实际的开发中特别常见，比如电商平台30分钟后自动取消未支付的订单，以及凌晨的数据汇总和备份等，都需要借助定时任务来实现，如设置凌晨1点到5点的时候进行数据库迁移，并可以设置灵活的启停来控制数据迁移，避免因数据迁移对现有系统造成的影响。

S330、解析所述日志中的日志记录，以确定对数据进行变更的日志记录。

S340、将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

可选的是，将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中可具体包括：

根据所述变更数据在所述存储位置中所在源表格的表位置，基于设定的分库分表规则，确定目标表格和在所述目标表格中的表位置。

其中，分库分表就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库，将数据大表拆分成若干数据表，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。比如分库策略可以是根据数值范围或数值取模规则，或者其他分库方法实现。

示例性的，用户源数据库共有100000条序列号记录，根据数值范围划分，以10000为间隔，将序列号1-10000的记录分到第一个库，10000-20000的记录分到第二个库，以此类推。或者根据数值取模划分，将源数据库拆分成65个库，将序列号对65取模，则余数为0的记录放到第一个库，余数为1的放到第二个库，以此类推。

其中，将所述变更数据从存储位置迁移至目标数据库中，以变更所述目标表格中表位置的数据。也就是获取变更数据在源数据表中的位置，即在原库原表的位置，基于预设的分库分表规则，得到欲存储到的目标表格和在所述目标表格中的表位置，从而完成数据的迁移。

本发明实施例的技术方案，依据业务处理请求量，通过设定触发条件控制数据库迁移的启停；并根据特定的分库分表规则，将变更数据从存储位置迁移至目标数据库中，实现了数据库迁移，满足了业务请求和客户访问量增多的需求，提高了客户访问信任度。

实施例四

图4为本发明实施例四提供的一种数据库迁移装置的结构示意图，该装置包括：日志记录模块410、日志记录处理模块420、变更数据确定模块430和变更数据迁移模块440。其中：

日志记录模块410，用于对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中；

日志记录处理模块420，用于在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录；

变更数据确定模块430，用于根据所述日志记录确定变更数据及所述变更数据的存储位置；

变更数据迁移模块440，用于将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

可选的，该装置还包括：

已有数据迁移模块，用于将所述源数据库中的已有数据插入至临时存储表中，并将针对所述临时存储表的插入操作，作为访问操作，记录至所述日志中；

其中，所述已有数据至少包括未在所述日志中存在访问操作记录的数据。

可选的，所述访问操作为基于关系型数据库管理系统MySQL执行的操作，所述日志为基于MySQL的二进制日志。

可选的，变更数据确定模块包括：

关键字解析单元，用于解析所述日志中的日志记录，以获取日志记录中的操作关键字；

变更日志确定单元，用于如果所述操作关键字为设定关键字，则确定为对数据进行变更的日志记录；

其中，所述设定关键字包括如下至少一项：插入、删除和变更。

可选的，变更数据迁移模块包括：

确定目标表格及位置单元，用于根据所述变更数据在所述存储位置中所在源表格的表位置，基于设定的分库分表规则，确定目标表格和在所述目标表格中的表位置；

表位置数据变更单元，用于将所述变更数据从存储位置迁移至目标数据库中，以变更所述目标表格中表位置的数据。

可选的，日志记录模块具体用于获取业务处理请求，根据所述业务处理请求对所述源数据库中的数据进行访问操作。

可选的，日志记录模块还包括：

历史日志记录清除单元，按照设定规律对所述日志中的历史日志记录进行清除。

可选的，日志记录处理模块具体用于：满足设定触发条件时，启动数据库迁移；其中，所述设定触发条件为业务处理请求量低于设定门限值的时间段。

上述装置可执行本发明任意实施例所提供的数据库迁移方法，具备执行该数据库迁移方法相应的功能模块和有益效果。

实施例五

图5为本发明实施例五提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器510、存储器520、输入装置530和输出装置540；设备中处理器510的数量可以是一个或多个，图5中以一个处理器510为例；设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据库迁移方法对应的程序指令/模块(例如，数据库迁移装置中的日志记录模块410、日志记录处理模块420、变更数据确定模块430、变更数据迁移模块440)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的数据库迁移方法。

存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。

实施例六

本发明实施例六还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据库迁移方法，该方法包括：

对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中；

在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录；

根据所述日志记录确定变更数据及所述变更数据的存储位置；

将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据库迁移方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述数据库迁移装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据库迁移方法，其特征在于，包括：

对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中；

将所述源数据库中的已有数据插入至临时存储表中，并将针对所述临时存储表的插入操作，作为访问操作，记录至所述日志中；其中，所述已有数据至少包括未在所述日志中存在访问操作记录的数据；

在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录；

根据所述日志记录确定变更数据及所述变更数据的存储位置；

将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

2.根据权利要求1所述的方法，其特征在于，所述访问操作为基于关系型数据库管理系统MySQL执行的操作，所述日志为基于MySQL的二进制日志。

3.根据权利要求1所述的方法，其特征在于，解析所述日志中的日志记录，以确定对数据进行变更的日志记录包括：

解析所述日志中的日志记录，以获取日志记录中的操作关键字；

如果所述操作关键字为设定关键字，则确定为对数据进行变更的日志记录；

其中，所述设定关键字包括如下至少一项：插入、删除和变更。

4.根据权利要求1所述的方法，其特征在于，将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中包括：

根据所述变更数据在所述存储位置中所在源表格的表位置，基于设定的分库分表规则，确定目标表格和在所述目标表格中的表位置；

将所述变更数据从存储位置迁移至目标数据库中，以变更所述目标表格中表位置的数据。

5.根据权利要求1所述的方法，其特征在于，对源数据库中的数据进行访问操作包括：

获取业务处理请求，根据所述业务处理请求对所述源数据库中的数据进行访问操作。

6.根据权利要求5所述的方法，其特征在于，还包括：

按照设定规律对所述日志中的历史日志记录进行清除。

7.根据权利要求1所述的方法，其特征在于，启动数据库迁移包括：

在满足设定触发条件时，启动数据库迁移；其中，所述设定触发条件为业务处理请求量低于设定门限值的时间段。

8.一种数据库迁移装置，其特征在于，包括：

日志记录模块，用于对源数据库中的数据进行访问操作，并将针对所述源数据库的访问操作记录至日志中；

已有数据迁移模块，用于将所述源数据库中的已有数据插入至临时存储表中，并将针对所述临时存储表的插入操作，作为访问操作，记录至所述日志中；其中，所述已有数据至少包括未在所述日志中存在访问操作记录的数据；

日志记录处理模块，用于在启动数据库迁移时，解析所述日志中的日志记录，以确定对数据进行变更的日志记录；

变更数据确定模块，用于根据所述日志记录确定变更数据及所述变更数据的存储位置；

变更数据迁移模块，用于将所述变更数据基于分库分表规则，从存储位置迁移至目标数据库中。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据库迁移方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据库迁移方法。

Images