CN109299066A

CN109299066A - 一种数据库扩容方法及装置

Info

Publication number: CN109299066A
Application number: CN201810841252.5A
Authority: CN
Inventors: 李龙
Original assignee: Alibaba Group Holding Ltd
Current assignee: Advanced New Technologies Co Ltd; Advantageous New Technologies Co Ltd
Priority date: 2018-07-27
Filing date: 2018-07-27
Publication date: 2019-02-01

Abstract

本申请公开了一种数据库扩容方法及装置，该方法包括：所述数据库至少包括第一数据库和第二数据库，所述第一数据库和第二数据库为双主同步数据库，该方法包括：为所述第一数据库和所述第二数据库新增虚拟网络协议IP地址，为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由，根据配置完成的第一数据库和第二数据库，生成第一独立数据库和第二独立数据库。通过上述方法，本申请在数据库扩容的过程中，无需停止对外提供服务，提高了整个业务系统的高可用性，另外，由于本申请仅仅只需要修改配置数据库路由表就可完成数据库的扩容，避免了业务客户端内复杂的数据迁移逻辑。

Description

一种数据库扩容方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据库扩容方法及装置。

背景技术

目前，随着用户业务的不断发展，业务系统所存储的业务数据也越来越多，而当业务数据超过数据库的存储容量后，就会无法再向数据库写入数据，此时需要对原有的数据库进行扩容，提高数据库的存储容量。

现有技术中，假设将数据库从X个数据库扩容到Y个数据库，主要方式如图1所示：

S101：新建Y个新数据库；

S102：业务服务器对外停止执行用户业务，禁止向数据库写入业务数据；

S103：将原X个数据库中的数据迁移并重新分布到新扩容的Y个新数据库内；

S104：修改业务客户端中的数据库的链接映射，建立新扩容的Y个新数据库的链接映射；

S105：重启业务服务器，链接新扩容的Y个新数据库对外提供服务。

但是，在现有技术中，在对原有的数据库进行扩容的过程中，需要停止对外提供服务，这样使得整个业务系统的高可用性较低，另外，业务客户端内会存在复杂的数据迁移逻辑。

发明内容

本申请实施例提供一种数据库扩容方法及装置，用以解决现有技术在对原有的数据库进行扩容的过程中，需要停止对外提供服务，这样使得整个业务系统的高可用性较低以及业务客户端内会存在复杂的数据迁移逻辑的问题。

本申请实施例提供的一种数据库扩容方法，所述数据库至少包括第一数据库和第二数据库，所述第一数据库和第二数据库为双主同步数据库，所述方法包括：

为所述第一数据库和所述第二数据库新增虚拟网络协议IP地址；

为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由；

根据配置完成的第一数据库和第二数据库，生成第一独立数据库和第二独立数据库。

优选地，为所述第一数据库和所述第二数据库新增相同且唯一的虚拟IP地址。

优选地，根据待扩容的数据库以及数据库路由使用的模数，确定扩容后数据库路由使用的模数；根据扩容后数据库路由使用的模数，确定所述第一数据库和所述第二数据库的数据库路由。

优选地，停止配置完成的所述第一数据库与所述第二数据库之间的数据同步。

优选地，在停止配置完成的所述第一数据库与所述第二数据库之间的数据同步之后，所述方法还包括：

配置所述第一数据库与所述第二数据库的虚拟IP地址，以使所述第一数据库和所述第二数据库分别保留唯一的虚拟IP地址。

优选地，在配置所述第一数据库与所述第二数据库的虚拟IP地址之后，所述方法还包括：

分别确定所述第一独立数据库和所述第二独立数据库中的冗余数据；将所确定出的冗余数据删除。

本申请实施例提供的一种数据库扩容装置，所述数据库至少包括第一数据库和第二数据库，所述第一数据库和第二数据库为双主同步数据库，所述装置包括：

新增模块，用于为所述第一数据库和所述第二数据库新增虚拟网络协议IP地址；

配置模块，用于为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由；

生成模块，用于根据配置完成的第一数据库和第二数据库，生成第一独立数据库和第二独立数据库。

优选地，所述新增模块具体用于，为所述第一数据库和所述第二数据库新增相同且唯一的虚拟IP地址。

优选地，所述配置模块具体用于，根据待扩容的数据库以及数据库路由使用的模数，确定扩容后数据库路由使用的模数，根据扩容后数据库路由使用的模数，确定所述第一数据库和所述第二数据库的数据库路由。

优选地，所述生成模块具体用于，停止配置完成的所述第一数据库与所述第二数据库之间的数据同步。

优选地，所述生成模块还用于，配置所述第一数据库与所述第二数据库的虚拟IP地址，以使所述第一数据库和所述第二数据库分别保留唯一的虚拟IP地址。

优选地，所述生成模块还用于，分别确定所述第一独立数据库和所述第二独立数据库中的冗余数据，将所确定出的冗余数据删除。

另外，本申请还提供了一种数据库扩容系统，所述系统包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现数据库扩容方法。

本申请实施例提供一种数据库扩容方法及装置，所述数据库至少包括第一数据库和第二数据库，所述第一数据库和第二数据库为双主同步数据库，该方法包括：为所述第一数据库和所述第二数据库新增虚拟网络协议IP地址，为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由，根据配置完成的第一数据库和第二数据库，生成第一独立数据库和第二独立数据库。通过上述方法，本申请在数据库扩容的过程中，无需停止对外提供服务，提高了整个业务系统的高可用性，另外，由于本申请仅仅只需要修改配置数据库路由表就可完成数据库的扩容，避免了业务客户端内复杂的数据迁移逻辑。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为背景技术中提供的数据库扩容过程示意图；

图2为本申请实施例提供的双主同步数据库架构图；

图3为本申请实施例提供的数据库扩容过程；

图4为本申请实施例提供的新增虚拟IP后的数据库架构图；

图5为本申请实施例提供的新增数据库路由后的数据库架构图；

图6为本申请实施例提供的扩容后的数据库架构图；

图7为本申请实施例提供的数据库扩容装置结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在实际应用中，为了保证数据库的高可用性，通常会采用双主同步数据库或者多主同步数据库对外提供服务，也就是给每个主数据库配备一个或多个主数据库，各主数据库之间互为主备且保持同步，均对外提供服务，这样可以降低每台数据库的运行压力，实现负载均衡，本申请则基于双主或者多主同步数据库实现数据库扩容，无需停止对外提供服务，图2为本申请提供的双主同步数据库架构图。

进一步的，由于多主同步数据库本质上可以拆分成双主同步数据库，为了详细说明本申请的发明过程，以下以双主同步数据库为例进行详细说明。

图3为本申请实施例提供的数据库扩容过程，具体包括以下步骤：

S301：为所述第一数据库和所述第二数据库新增虚拟网络协议IP地址。

在实际应用中，当业务数据超过数据库的存储容量后，就会无法再向数据库写入数据，此时需要对原有的数据库进行扩容，提高数据库的存储容量。

进一步的，由于双主同步数据库是包含两个互为主备的数据库，因此，在本申请中，为了更好的区分双主同步数据库所包含的两个数据库，将两个数据库分别定义为第一数据库和第二数据库，如图2所示，图2中的DB0为第一数据库，DB2为第二数据库。另外，由于第一数据库和第二数据库是双主同步数据库，因此，第一数据库和第二数据库拥有相同的虚拟网络协议(Internet Protocol，IP)地址。

进一步的，又由于双主同步数据库所包含的第一数据库和第二数据库拥有相同的虚拟IP地址，而本申请最终是将第一数据库和第二数据库扩容成两个存储不同用户数据的数据库，因此，在本申请中，需要最终使得第一数据库和第二数据库从拥有相同的虚拟IP地址变成拥有不同的虚拟IP地址。

基于上述因素，在本申请中，对原有的数据库进行扩容的过程中，首先需要为第一数据库和第二数据库新增IP地址。

进一步的，由于扩容后的第一数据库和第二数据库所拥有的虚拟IP地址是不同的，因此，在本申请中，为第一数据库和第二数据库新增虚拟IP地址具体可以是，为第一数据库和第二数据库新增相同且唯一的虚拟IP地址。

在此需要说明的是，新增相同且唯一的虚拟IP地址指的是，针对每对第一数据库和第二数据库，在该对第一数据库和第二数据库增加的虚拟IP地址是相同的，且所增加的虚拟IP地址与其他对第一数据库和第二数据库不同，图如4所示，假设数据库DB0和数据库DB2的虚拟IP地址均为ip0，为数据库DB0和数据库DB2新增相同且唯一的虚拟IP地址为ip2，假设数据库DB1和数据库DB3的虚拟IP地址均为ip1，为数据库DB1和数据库DB3新增相同且唯一的虚拟IP地址为ip3，也就是，当数据库的个数为N时，在uid％N＝i的数据库上原有的虚拟IP为ip(i)，在uid％N＝i的数据库上新增相同且唯一的虚拟IP地址为ip(N+i)。

S302：为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由。

进一步的，由于用户的数据在存储到数据库时是需要知道到底存储到哪个数据库内，因此，在本申请中，每个数据库是对应一个数据库路由，也就是数据库的路由规则，数据库的路由规则记载了每个用户的数据需要存储到哪个数据库内。

进一步的，由于本申请最终是将第一数据库和第二数据库扩容成两个存储不同用户数据的数据库，也就是说，第一数据库和第二数据库分别存储了不同用户的数据，因此，在本申请中，在为第一数据库和第二数据库新增虚拟IP地址后，还需要为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由。

进一步的，由于本申请在确定每个用户的数据需要存储到哪个数据库内使用的是取模分库的数据库路由规则，因此，在本申请中，为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由同样也使得取模分库的数据库路由规则，即，根据待扩容的数据库以及数据库路由使用的模数，确定扩容后数据库路由使用的模数，根据扩容后数据库路由使用的模数，确定所述第一数据库和所述第二数据库的数据库路由。

在此需要说明的是，待扩容的数据库指的是当前需要扩容的双主同步数据库，数据库路由使用的模数指的是当前双主同步数据库使用的数据库路由中所包含的模数，如图4所示的uid％2＝0为当前双主同步数据库(即，DB0和DB2)使用的数据库路由，其中，“uid％2＝0”中的“2”为数据库路由使用的模数。

在此还需要说明的是，在根据扩容后数据库路由使用的模数，确定所述第一数据库和所述第二数据库的数据库路由的过程中，每个扩容后的数据库均对应一个数据库路由，而对uid取模所得到的数据库路由到底配置到哪个扩容后的数据库可以根据情况设定，如，假设如图4所示的数据库路由(即，uid％2＝0和uid％2＝1)，数据库路由uid％2＝0对应数据库DB0，数据库路由uid％2＝1对应数据库DB1，当然也可以数据库路由uid％2＝0对应数据库DB1，数据库路由uid％2＝1对应数据库DB0。

例如，如图5所示，假设待扩容的双主同步数据库为两个，分别是DB0和DB2，以及DB1和DB3，图5所示的uid％2＝0为当前双主同步数据库(即，DB0和DB2)使用的数据库路由，其中，“uid％2＝0”中的“2”为数据库路由使用的模数，根据待扩容的数据库以及数据库路由使用的模数，确定扩容后数据库路由使用的模数为4，根据扩容后数据库路由使用的模数4，确定DB0和DB2的数据库路由uid％4＝0和uid％4＝2，确定DB1和DB3的数据库路由uid％4＝1和uid％4＝3。

进一步的，在本申请中，假设将N个数据库扩容到2N个数据库时，为2N个数据库所配置的数据库路由可以如下：

原来uid％N＝0的双主同步数据库，会为第一数据库和第二数据库所配置的数据库路由为uid％2N＝0和uid％2N＝N；

原来uid％N＝1的双主同步数据库，会为第一数据库和第二数据库所配置的数据库路由为uid％2N＝1和uid％2N＝N+1；

。。。。。。

原来uid％N＝N-1的双主同步数据库，会为第一数据库和第二数据库所配置的数据库路由为uid％2N＝1和uid％2N＝2N-1。

进一步的，在为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由后，会将第一数据库和第二数据库的数据库路由以及虚拟IP地址添加到配置文件中，后续，业务客户端可通过重启来拉取配置文件，也可以是配置中心直接将生成的配置文件推送给业务客户端。

S303：根据配置完成的第一数据库和第二数据库，生成第一独立数据库和第二独立数据库。

进一步的，由于在配置完成第一数据库和第二数据库的数据库路由后，第一数据库和第二数据库依然处于数据同步的状态，也就是说，两个数据库之间的数据是一样的，而后续需要将不同用户的数据分别存储在两个数据库之中，因此，在本申请中，在配置完成第一数据库和第二数据库的数据库路由后，需要停止配置完成的所述第一数据库与所述第二数据库之间的数据同步。

进一步的，后续为了方便扩容后的数据搭建自己的备用数据库或者主数据库，在停止配置完成的所述第一数据库与所述第二数据库之间的数据同步之后，还需要配置所述第一数据库与所述第二数据库的虚拟IP地址，以使所述第一数据库和所述第二数据库分别保留唯一的虚拟IP地址。这样后续第一数据库和第二数据库会分别存储不同用户的数据。

另外，由于在停止配置完成的所述第一数据库与所述第二数据库之间的数据同步之前，第一数据库和第二数据库之间一直处于数据同步的状态，也就是说，第一数据库和第二数据库的数据是一致的，这就使得某个用户根据原先的取模方式对uid取模存储到第一数据库中，但是根据扩容后的数据库的取模方式对uid取模会存储到第二数据库中，而不应该出现在第一数据库中，这时需要将该用户的数据从第一数据库中删除，只保留在第二数据库中，因此，在配置所述第一数据库与所述第二数据库的虚拟IP地址之后，分别确定所述第一独立数据库和所述第二独立数据库中的冗余数据，将所确定出的冗余数据删除。

在此需要说明的是，某个数据库的冗余数据指的是根据扩容之前的数据库的取模方式对uid取模存储到该数据库中，但根据扩容后的数据库的取模方式对uid取模后不属于该数据库中的数据。

通过上述方法，本申请在数据库扩容的过程中，无需停止对外提供服务，提高了整个业务系统的高可用性，另外，由于本申请仅仅只需要修改配置数据库路由表就可完成数据库的扩容，避免了业务客户端内复杂的数据迁移逻辑。

进一步的，在对原有数据库扩充后，为了增强数据库的高可用性，可以针对扩容后的数据库建立备用数据库或者主数据库，如图6所示。

以上为本申请实施例提供的数据库扩容方法，基于同样的思路，本申请实施例还提供一种数据库扩容装置，如图7所示。

图7为本申请实施例提供的数据库扩容装置结构示意图，所述数据库至少包括第一数据库和第二数据库，所述第一数据库和第二数据库为双主同步数据库，所述装置包括：

新增模块701，用于为所述第一数据库和所述第二数据库新增虚拟网络协议IP地址；

配置模块702，用于为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由；

生成模块703，用于根据配置完成的第一数据库和第二数据库，生成第一独立数据库和第二独立数据库。

所述新增模块701具体用于，为所述第一数据库和所述第二数据库新增相同且唯一的虚拟IP地址。

所述配置模块702具体用于，根据待扩容的数据库以及数据库路由使用的模数，确定扩容后数据库路由使用的模数，根据扩容后数据库路由使用的模数，确定所述第一数据库和所述第二数据库的数据库路由。

所述生成模块703具体用于，停止配置完成的所述第一数据库与所述第二数据库之间的数据同步。

所述生成模块703还用于，配置所述第一数据库与所述第二数据库的虚拟IP地址，以使所述第一数据库和所述第二数据库分别保留唯一的虚拟IP地址。

所述生成模块703还用于，分别确定所述第一独立数据库和所述第二独立数据库中的冗余数据，将所确定出的冗余数据删除。

存储设备，用于存储程序数据；

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种数据库扩容方法，所述数据库至少包括第一数据库和第二数据库，所述第一数据库和第二数据库为双主同步数据库，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，为所述第一数据库和所述第二数据库新增虚拟网络协议IP地址，具体包括：

为所述第一数据库和所述第二数据库新增相同且唯一的虚拟IP地址。

3.如权利要求1所述的方法，其特征在于，为新增虚拟IP地址后的第一数据库和第二数据库配置数据库路由，具体包括：

根据待扩容的数据库以及数据库路由使用的模数，确定扩容后数据库路由使用的模数；

根据扩容后数据库路由使用的模数，确定所述第一数据库和所述第二数据库的数据库路由。

4.如权利要求1所述的方法，其特征在于，根据配置完成的第一数据库和第二数据库，生成第一独立数据库和第二独立数据库，具体包括：

停止配置完成的所述第一数据库与所述第二数据库之间的数据同步。

5.如权利要求4所述的方法，其特征在于，在停止配置完成的所述第一数据库与所述第二数据库之间的数据同步之后，所述方法还包括：

6.如权利要求5所述的方法，其特征在于，在配置所述第一数据库与所述第二数据库的虚拟IP地址之后，所述方法还包括：

分别确定所述第一独立数据库和所述第二独立数据库中的冗余数据；

将所确定出的冗余数据删除。

7.一种数据库扩容装置，所述数据库至少包括第一数据库和第二数据库，所述第一数据库和第二数据库为双主同步数据库，其特征在于，所述装置包括：

8.如权利要求7所述的装置，其特征在于，所述新增模块具体用于，为所述第一数据库和所述第二数据库新增相同且唯一的虚拟IP地址。

9.如权利要求7所述的装置，其特征在于，所述配置模块具体用于，根据待扩容的数据库以及数据库路由使用的模数，确定扩容后数据库路由使用的模数，根据扩容后数据库路由使用的模数，确定所述第一数据库和所述第二数据库的数据库路由。

10.如权利要求7所述的装置，其特征在于，所述生成模块具体用于，停止配置完成的所述第一数据库与所述第二数据库之间的数据同步。

11.如权利要求10所述的装置，其特征在于，所述生成模块还用于，配置所述第一数据库与所述第二数据库的虚拟IP地址，以使所述第一数据库和所述第二数据库分别保留唯一的虚拟IP地址。

12.如权利要求11所述的装置，其特征在于，所述生成模块还用于，分别确定所述第一独立数据库和所述第二独立数据库中的冗余数据，将所确定出的冗余数据删除。

13.一种数据库扩容系统，其特征在于，所述系统包括：

存储设备，用于存储程序数据；

处理器，用于执行所述存储设备中的程序数据以实现权利要求1-6中任一项所述的数据库扩容方法。