CN116244270A - Redis数据库迁移系统、方法和电子设备 - Google Patents

Abstract

本发明提供了一种Redis数据库迁移系统，所述系统包括：通信连接的处理器和存储器，所述存储器中存储有配置文件；所述处理器与一个或多个显示装置通信连接，用于执行计算机程序，基于所述配置文件在所述显示装置上显示配置页面，所述配置页面用于配置迁移信息，所述迁移信息至少包括数据库的ID、环境信息、连接端口、源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度；所述处理器还用于根据获取的迁移信息执行相应的迁移操作。本发明还提供一种Redis数据库迁移方法和电子设备。本发明能够节约时间，提高迁移效率，并且在数据库迁移后会自动检测迁移效果，能够确保迁移准确性。

Description

Redis数据库迁移系统、方法和电子设备

技术领域

本发明涉及数据迁移技领域，特别是涉及一种Redis数据库迁移系统、方法和电子设备。

背景技术

Redis是一个开源的高性能键值对数据库，它通过提供多种键值数据类型来适应不同场景下的存储需求，并借助许多高层级的接口使其可以胜任如缓存、队列系统等不同的角色。Redis数据库应用广泛，可应用的业务场景类型多样，因此Redis数据库的环境配置也存在多样性。业务服务过程中，常常因为多种原因，需要将Redis数据库内的数据进行内部或外部的迁移。不同的迁移需求、不同的数据库配置之间，需要选用不同的数据迁移工具及命令算法。然而，现有技术中，在进行Redis数据库迁移时，往往需要技术人员逐一检测数据库的类型及配置，并根据迁移需求，挨个设计迁移方案，并分别装载相应的软件工具来执行数据迁移操作，耗费大量人力物力和时间，工作效率低，还存在较高的出现故障的可能性，且在数据库迁移后没有足够全面地检测迁移效果，迁移过程出现错误时也需通过人工检测及处理。然而，目前却没有可适用于多种数据库类型的高效的Redis数据库迁移系统。

发明内容

针对上述技术问题，本发明采用的技术方案为：

本发明实施例提供一种Redis数据库迁移系统，所述系统包括：通信连接的处理器和存储器，所述存储器中存储有配置文件；所述处理器与一个或多个显示装置通信连接，用于执行计算机程序，基于所述配置文件在所述显示装置上显示配置页面，所述配置页面用于供用户配置迁移信息，所述迁移信息至少包括数据库的ID、环境信息、连接端口、源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度；

所述处理器还用于执行计算机程序，以实现如下步骤：

S100，基于获取的源数据库和目标数据库的ID和连接端口，选择对应的对接端口分别与对应的源数据库和目标数据库进行通信连接；

S200，基于获取的迁移所需要的线程为当前迁移任务分配对应的线程并基于获取的需要迁移的数据，为每个线程分配需要迁移的数据量，以及基于获取的环境信息为当前迁移任务选择对应的迁移方式；

S300，基于获取的需要迁移的数据从对应的源数据库获取对应的数据进行备份，得到备份数据，并分配给对应的线程；

S400，对于每个线程，利用当前迁移任务对应的迁移工具基于选择的迁移方式将对应的数据向所述目标数据库进行迁移，并在迁移过程中，实时获取源数据库中的变化数据，并进行存储；

S500，在检测到备份数据迁移完后，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移；执行S600；

S600，如果检测到源数据库中没有需要继续迁移的数据，执行S700；否则，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移，并执行S600；

S700，基于获取的检测次数和检测精度，利用当前迁移任务对应的检测工具对源数据库中需要迁移的数据和迁入目标数据库中的数据的一致性进行检测，如果一致，则退出控制程序，否则，执行S800；

S800，从源数据库中获取不一致的数据并分配给对应的线程并迁移到所述目标数据库中，并在迁移之后退出控制程序。

本发明另一实施例提供一种Redis数据库迁移方法，所述方法包括：

S10，获取迁移信息，所述迁移信息至少包括数据库的ID、环境信息、连接端口、源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度；

S20，基于获取的迁移信息执行相应的迁移操作；

S20具体包括：

S201，基于获取的源数据库和目标数据库的ID和连接端口，选择对应的对接端口分别与对应的源数据库和目标数据库进行通信连接；

S202，基于获取的迁移所需要的线程为当前迁移任务分配对应的线程并基于获取的需要迁移的数据，为每个线程分配需要迁移的数据量，以及基于获取的环境信息为当前迁移任务选择对应的迁移方式；

S203，基于获取的需要迁移的数据从对应的源数据库获取对应的数据进行备份，得到备份数据，并分配给对应的线程；

S204，对于每个线程，利用当前迁移任务对应的迁移工具基于选择的迁移方式将对应的数据向所述目标数据库进行迁移，并在迁移过程中，实时获取源数据库中的变化数据，并进行存储；

S205，在检测到备份数据迁移完后，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移；执行S206；

S206，如果检测到源数据库中没有需要继续迁移的数据，执行S207；否则，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移，并执行S206；

S207，基于获取的检测次数和检测精度，利用当前迁移任务对应的检测工具对源数据库中需要迁移的数据和迁入目标数据库中的数据的一致性进行检测，如果一致，则退出控制程序，否则，执行S208；

S208，从源数据库中获取不一致的数据并分配给对应的线程并迁移到所述目标数据库中，并在迁移之后退出控制程序。

本发明另一实施例提供一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述处理器用于执行所述至少一条指令或所述至少一段程序以实现权前述的方法。

本发明至少具有以下有益效果：

本发明能够在进行Redis数据库迁移时，能够自动检测数据库的类型及配置，并根据迁移需求，自动设计迁移方案，并自动装载相应的软件工具来执行数据迁移操作，能够节约时间，提高迁移效率，并且在数据库迁移后会自动检测迁移效果，能够确保迁移准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的Redis数据库迁移系统执行迁移操作时的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种Redis数据库迁移系统，用于自动实现Redis数据库的迁移。该系统可在现有的操作系统例如Linux上搭载软件平台得到，软件平台可以为B/S模式或C/S模式。具体地，本发明实施例提供的Redis数据库迁移系统可包括通信连接的处理器和存储器，所述存储器中存储有配置文件；所述处理器与一个或多个显示装置通信连接，用于执行计算机程序，基于所述配置文件在所述显示装置上显示配置页面，所述配置页面用于供用户配置迁移信息，所述迁移信息至少包括数据库的ID、环境信息、连接端口、源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度。

在本发明实施例中，数据库的环境信息可至少包括架构、版本、数据量大小、数据容量、业务场景、操作系统版本等。迁移信息获取模块，用于获取迁移信息，所述迁移信息至少包括源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度。

在本发明实施例中，所述需要迁移的数据可包括源数据库中的部分数据例如数据库中的多少条数据等和全部数据即整个源数据库中的数据。

在本发明实施例中，检测次数可基于实际需要进行设置，在一个示意性实施例中，检测次数最大为3次。所述检测精度可包括检测数据的ID、检测数据的数据值以及检测数据的ID和数据值。数据的ID为数据的编号。检测精度不同，计算量不同，其中，同时检测数据的ID和数据值的计算量最大。

在本发明实施例中，所述迁移工具可至少包括Redis-dts。在一个示意性实施例中，可包括Redis-dts和数据测序过滤工具如fastp、AfterQC、SOAPnuke、seqtk、Trimmomatic、QcReads、cutadapt、fastx_toolkit等。

此外，配置页面上还设置有任务开始按钮。

在具体应用时，用户可通过对应的账号和密码登录该配置页面，输入迁移任务所需要的基础信息和迁移信息，在输入完信息后，通过点击配置页面上的任务开始按钮，即可开始迁移任务操作。

具体地，响应于检测到用户点击任务开始按钮，处理器用于执行计算机程序以实现如图1所示的步骤：

S100，基于获取的源数据库和目标数据库的ID和连接端口，选择对应的对接端口分别与对应的源数据库和目标数据库进行通信连接。

在本发明实施例中，所述对接端口至少包括中间件的端口和redis-server的端口，从而能够适配各种类型的数据库。

S200，基于获取的迁移所需要的线程为当前迁移任务分配对应的线程并基于获取的需要5迁移的数据，为每个线程分配需要迁移的数据量，以及基于获取的环境信息为当前迁移任务选择对应的迁移方式。

在本发明实施例中，基于需要迁移的数据为每个线程分配需要迁移的数据量可为现有方法，例如，如果需要迁移的数据能够整除线程数量，则均匀分配给每个线程，如果不能整除，则可大致均匀分配即可。

0在本发明实施例中，系统提供的迁移方式至少可包括平滑迁移方式、异构迁移方式和持久化迁移方式。其中平滑迁移方式采用数据双写的方式实现数据库之间的平滑迁移，以实现数据的无感知迁移。异构迁移方式为支持异构redis集群间的数据在线迁移的方式，即数据迁移过程中源集群仍可以正常接受业务读写请求，从而实现不会出现业务中断的服务时间，

可支持多种异构集群之间的数据迁移和同构集群扩容/缩容，包括单个redis到5twemproxy/cluster迁移、twemproxy到twemproxy/cluster迁移、cluster到twemproxy/cluster迁移等。持久化迁移方式为通过将存在内存中的数据同步到磁盘来保证redis数据库的持久化的迁移方式，主要包括RDB和AOF两种方式，其中，RDB持久化可以在指定的时间间隔内生成数据集的时间点快照；AOF持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。

0S300，基于获取的需要迁移的数据从对应的源数据库获取对应的数据进行备份，得到备份数据，并分配给对应的线程。

S400，对于每个线程，利用当前迁移任务对应的迁移工具基于选择的迁移方式将对应的数据向所述目标数据库进行迁移，并在迁移过程中，实时获取源数据库中的变化数据，并进行存储。

5在本发明实施例中，源数据库中的变化数据可包括对原有数据进行修改的修改数据以及新加入数据库中的新数据。变化数据可存储在缓存区中。

S500，在检测到备份数据迁移完后，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移；执行S600。

在本发明实施例中，如果获取的需要迁移的数据为源数据库中的部分数据，则需要迁移的数据对应的变化数据为所述部分数据中发生变化的数据，如果获取的需要迁移的数据为源数据库中的全部数据，则需要迁移的数据对应的变化数据包括上一次迁移的数据中发生变化的数据和当前源数据库中新加入的数据。

S600，如果检测到源数据库中没有需要继续迁移的数据，执行S700；否则，从存储的数5据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移，并执行S600。

在本发明一示意性实施例中，如果接收到用户输入的迁移任务结束指令，则说明源数据库中没有需要继续迁移的数据。在另一个示意性实施例中，如果在设定时间段内检测到源数据库中的数据没有发生变化，则说明源数据库中没有需要继续迁移的数据。

0S700，基于获取的检测次数和检测精度，利用当前迁移任务对应的检测工具对源数据库

中需要迁移的数据和迁入目标数据库中的数据的一致性进行检测，如果一致，则退出控制程序，否则，执行S800。

在本发明实施例中，可采用现有的数据一致性检测方法例如余弦相似度等对数据的一致性进行检测，具体检测过程可为现有技术。

5S800，从源数据库中获取不一致的数据并分配给对应的线程并迁移到所述目标数据库中，

并在迁移之后退出控制程序。

进一步地，在本发明实施例中，如果检测到缓存区的数据发生丢失，说明源数据库和目标数据库中的数据不一致，则退出控制程序，并向用户发送重新启动迁移任务的信息，以重新启动迁移任务操作。

0进一步地，所述处理器还用于执行计算机程序，以实现如下步骤：

如果在迁移过程中出现问题，则获取对应的解决方案进行处理。

具体地，在本发明实施例中，提供的系统还预先存储有问题方案信息表，问题方案信息表的第i行包括问题i和问题i的解决方案，i的取值为1到n，n为问题数量，问题方案信

息表中的所有问题为根据历史数据获取的迁移过程中所有可能出现的问题，例如，迁移过程5中可能出现的错误很多，如：linux防火墙会拒绝配置文件以外的端口访问，其解决方案为可以在目标linux的/etc/sysconfig/iptables添加端口；目标redis中存在与待迁移的键相同的键，其解决方案为可以在命令中添加replace参数等。通过设置问题方案信息表，能够在迁移过程中出现问题时，可通过查询信息表获得对应的解决方案进行处理，从而能够自动快速解决。

本发明实施例提供的Redis数据库迁移系统，能够在进行Redis数据库迁移时，能够自动检测数据库的类型及配置，并根据迁移需求，自动设计迁移方案，并自动装载相应的软件工具来执行数据迁移操作，能够节约时间，提高迁移效率，并且在数据库迁移后会自动检测迁移效果，能够确保迁移准确性。

基于同样的发明构思，本发明另一实施例提供一种Redis数据库迁移方法，所述方法包括：

S10，获取迁移信息，所述迁移信息至少包括数据库的ID、环境信息、连接端口、源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度；

S20，基于获取的迁移信息执行相应的迁移操作；

S20具体包括：

S201，基于获取的源数据库和目标数据库的ID和连接端口，选择对应的对接端口分别与对应的源数据库和目标数据库进行通信连接；

S202，基于获取的迁移所需要的线程为当前迁移任务分配对应的线程并基于获取的需要迁移的数据，为每个线程分配需要迁移的数据量，以及基于获取的环境信息为当前迁移任务选择对应的迁移方式；

S203，基于获取的需要迁移的数据从对应的源数据库获取对应的数据进行备份，得到备份数据，并分配给对应的线程；

S204，对于每个线程，利用当前迁移任务对应的迁移工具基于选择的迁移方式将对应的数据向所述目标数据库进行迁移，并在迁移过程中，实时获取源数据库中的变化数据，并进行存储；

S205，在检测到备份数据迁移完后，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移；执行S206；

S206，如果检测到源数据库中没有需要继续迁移的数据，执行S207；否则，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移，并执行S206；

S207，基于获取的检测次数和检测精度，利用当前迁移任务对应的检测工具对源数据库中需要迁移的数据和迁入目标数据库中的数据的一致性进行检测，如果一致，则退出控制程序，否则，执行S208；

S208，从源数据库中获取不一致的数据并分配给对应的线程并迁移到所述目标数据库中，并在迁移之后退出控制程序。

上述各步骤的实现可参见前述实施例，为避免赘述，省略对它们的具体描述。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。

Claims (10)

1.一种Redis数据库迁移系统，其特征在于，所述系统包括：通信连接的处理器和存储器，所述存储器中存储有配置文件；所述处理器与一个或多个显示装置通信连接，用于执行计算机程序，基于所述配置文件在所述显示装置上显示配置页面，所述配置页面用于供用户配置迁移信息，所述迁移信息至少包括数据库的ID、环境信息、连接端口、源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度；

所述处理器还用于执行计算机程序，以实现如下步骤：

S100，基于获取的源数据库和目标数据库的ID和连接端口，选择对应的对接端口分别与对应的源数据库和目标数据库进行通信连接；

S200，基于获取的迁移所需要的线程为当前迁移任务分配对应的线程并基于获取的需要迁移的数据，为每个线程分配需要迁移的数据量，以及基于获取的环境信息为当前迁移任务选择对应的迁移方式；

S300，基于获取的需要迁移的数据从对应的源数据库获取对应的数据进行备份，得到备份数据，并分配给对应的线程；

S400，对于每个线程，利用当前迁移任务对应的迁移工具基于选择的迁移方式将对应的数据向所述目标数据库进行迁移，并在迁移过程中，实时获取源数据库中的变化数据，并进行存储；

S500，在检测到备份数据迁移完后，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移；执行S600；

S600，如果检测到源数据库中没有需要继续迁移的数据，执行S700；否则，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移，并执行S600；

S700，基于获取的检测次数和检测精度，利用当前迁移任务对应的检测工具对源数据库中需要迁移的数据和迁入目标数据库中的数据的一致性进行检测，如果一致，则退出控制程序，否则，执行S800；

S800，从源数据库中获取不一致的数据并分配给对应的线程并迁移到所述目标数据库中，并在迁移之后退出控制程序。

2.根据权利要求1所述的系统，其特征在于，所述需要迁移的数据包括源数据库中的部分数据和全部数据。

3.根据权利要求2所述的系统，其特征在于，在S400中，如果获取的需要迁移的数据为源数据库中的部分数据，则需要迁移的数据对应的变化数据为所述部分数据中发生变化的数据，如果获取的需要迁移的数据为源数据库中的全部数据，则需要迁移的数据对应的变化数据包括上一次迁移的数据中发生变化的数据和当前源数据库中新加入的数据。

4.根据权利要求1所述的系统，其特征在于，所述检测精度包括检测数据的ID、检测数据的数据值以及检测数据的ID和数据值。

5.根据权利要求1所述的系统，其特征在于，所述处理器还用于执行计算机程序，以实现如下步骤

如果在迁移过程中出现问题，则获取对应的解决方案进行处理。

6.根据权利要求1所述的系统，其特征在于，所述数据库的环境信息至少包括架构、版本、数据量大小、数据容量、业务场景、操作系统版本。

7.根据权利要求1所述的系统，其特征在于，所述迁移方式至少包括平滑迁移方式、异构迁移方式和持久化迁移方式。

8.根据权利要求1所述的系统，其特征在于，所述对接端口至少包括中间件的端口和redis-server的端口。

9.一种Redis数据库迁移方法，其特征在于，所述方法包括：

S10，获取迁移信息，所述迁移信息至少包括数据库的ID、环境信息、连接端口、源数据库中需要迁移的数据、迁移所需要的线程、迁移工具、检测工具、检测次数和检测精度；

S20，基于获取的迁移信息执行相应的迁移操作；

S20具体包括：

S201，基于获取的源数据库和目标数据库的ID和连接端口，选择对应的对接端口分别与对应的源数据库和目标数据库进行通信连接；

S202，基于获取的迁移所需要的线程为当前迁移任务分配对应的线程并基于获取的需要迁移的数据，为每个线程分配需要迁移的数据量，以及基于获取的环境信息为当前迁移任务选择对应的迁移方式；

S203，基于获取的需要迁移的数据从对应的源数据库获取对应的数据进行备份，得到备份数据，并分配给对应的线程；

S204，对于每个线程，利用当前迁移任务对应的迁移工具基于选择的迁移方式将对应的数据向所述目标数据库进行迁移，并在迁移过程中，实时获取源数据库中的变化数据，并进行存储；

S205，在检测到备份数据迁移完后，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移；执行S206；

S206，如果检测到源数据库中没有需要继续迁移的数据，执行S207；否则，从存储的数据中获取与需要迁移的数据对应的变化数据并分配给对应的线程并向所述目标数据库进行迁移，并执行S206；

S207，基于获取的检测次数和检测精度，利用当前迁移任务对应的检测工具对源数据库中需要迁移的数据和迁入目标数据库中的数据的一致性进行检测，如果一致，则退出控制程序，否则，执行S208；

S208，从源数据库中获取不一致的数据并分配给对应的线程并迁移到所述目标数据库中，并在迁移之后退出控制程序。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述处理器用于执行所述至少一条指令或所述至少一段程序以实现权利要求9中所述的方法。

Images