CN108984602B

CN108984602B - 一种数据库控制方法和数据库系统

Info

Publication number: CN108984602B
Application number: CN201810570132.6A
Authority: CN
Inventors: 温正湖; 裘昕
Original assignee: Netease Hangzhou Network Co Ltd
Current assignee: Netease Hangzhou Network Co Ltd
Priority date: 2018-06-05
Filing date: 2018-06-05
Publication date: 2021-04-16
Anticipated expiration: 2038-06-05
Also published as: CN108984602A

Abstract

本发明的实施方式提供了一种数据库控制方法和数据库系统。数据库包括主节点、备用节点和只读节点，方法包括：主节点、备用节点和只读节点之间通过一致性协议进行数据传输；当主节点宕机时，设置备用节点为新主节点。当主节点完成故障恢复后，设置主节点为新备用节点。本发明部署架构在部署硬件成本上与传统模式相同，但在部署和运维复杂度上大大降低，也可以避免主节点跟只读节点重合，导致读写分离失效。

Description

一种数据库控制方法和数据库系统

技术领域

本发明的实施方式涉及计算机领域，更具体地，本发明的实施方式涉及一种数据库控制方法和数据库系统。

背景技术

MySQL数据库是目前最为流行的开源数据库，已经在全世界范围内获得了广泛的应用。现有技术中，在部署MySQL数据库时，通常会部署主节点和辅节点，主节点和辅节点之间通过同步或异步的方式复制数据。这种部署方式可以满足很多场景的业务需求。

但这种部署方式存在部署和运行维护复杂，异常情况下读写分离失效等缺陷。

发明内容

本发明实施例公开了一种数据库控制方法和数据库系统，旨在解决现有技术中MySQL数据库部署和运行维护复杂，异常情况下读写分离失效的问题。

在本发明实施方式的第一方面中，提供了一种数据库控制方法，数据库包括主节点、备用节点和只读节点，方法包括：

主节点、备用节点和只读节点之间通过一致性协议进行数据传输；

当主节点宕机时，设置备用节点为新主节点。

当主节点完成故障恢复后，设置主节点为新备用节点。

在本发明的一个实施例中，该方法还包括：

当只读节点宕机时，设置备用节点为新只读节点；

当只读节点完成故障恢复后，设置只读节点为新备用节点。

在本发明的另一个实施例中，该方法还包括：

确定新只读节点为新备用节点的数据复制源节点。

在本发明的又一个实施例中，该方法还包括：

当确定新只读节点为新备用节点的数据复制源节点后，将新只读节点的部分只读服务能力专用于新备用节点的数据读取。

在本发明的再一个实施例中，该方法还包括：

当备用节点宕机时，设置只读节点为新备用节点；

当备用节点完成故障恢复后，设置备用节点为新只读节点。

在本发明的再一个实施例中，该方法还包括：

获取只读节点的数据复制延迟；

当数据复制延迟大于数据复制延迟阈值时，设置备用节点为新只读节点，设置只读节点为新备用节点。

在本发明的再一个实施例中，该方法还包括：

当数据复制延迟大于数据复制延迟阈值时，获取数据复制延迟大于数据复制延迟阈值的持续时长；

当持续时长超过切换间隔阈值时，设置备用节点为新只读节点，设置只读节点为新备用节点。

在本发明的再一个实施例中，该方法还包括：

获取只读节点的数据复制延迟；

当持续时长小于切换间隔阈值时，获取服务频率阈值，服务频率阈值表征只读节点在单位周期内提供服务次数的上限。

在本发明的再一个实施例中，该方法还包括：

接收只读服务升级请求；

设置备用节点为临时只读节点；

提高只读节点的服务能力；

设置临时只读节点为新备用节点。

在本发明实施方式的第二方面中，提供了一种数据库系统，包括主节点、备用节点和只读节点，其中，

当主节点宕机时，备用节点用于作为新主节点。

当主节点完成故障恢复后，主节点用于作为新备用节点。

在本发明的一个实施例中，还包括：

当只读节点宕机时，备用节点用于作为新只读节点；

当只读节点完成故障恢复后，只读节点用于作为新备用节点。

在本发明的另一个实施例中，还包括：

新只读节点用于作为新备用节点的数据复制源节点。

在本发明的又一个实施例中，还包括：

新只读节点用于将部分只读服务能力专用于新备用节点的数据读取。

在本发明的再一个实施例中，还包括：

当备用节点宕机时，只读节点用于作为新备用节点；

当备用节点完成故障恢复后，备用节点用于作为新只读节点。

在本发明的再一个实施例中，还包括：

获取只读节点的数据复制延迟；

当数据复制延迟大于数据复制延迟阈值时，备用节点用于作为新只读节点，只读节点用于作为新备用节点。

在本发明的再一个实施例中，还包括：

当持续时长超过切换间隔阈值时，备用节点用于作为新只读节点，只读节点用于作为新备用节点。

在本发明的再一个实施例中，还包括：

获取只读节点的数据复制延迟；

在本发明的再一个实施例中，还包括：

接收只读服务升级请求；

备用节点用于作为临时只读节点；

提高只读节点的服务能力；

临时只读节点用于作为新备用节点。

本发明公开的技术方案，部署架构在部署硬件成本上与传统模式相同，但在部署和运维复杂度上大大降低，也可以避免主节点跟只读节点重合，导致读写分离失效。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了根据本发明实施方式的部署架构示意图；

图2示意性地示出了根据本发明另一实施例的方法流程图；

图3示意性地示出了根据本发明又一实施例的方法流程图；

图4示意性地示出了根据本发明再一实施例的方法流程图；

图5示意性地示出了根据本发明再一实施例的方法流程图；

图6示意性地示出了根据本发明再一实施例的方法流程图；

图7示意性地示出了根据本发明再一实施例的装置示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种数据库控制方法和数据库系统。

本发明的部署架构如图1所示。在本发明中可以将只读节点作为MGR(MySQL GroupReplication)集群的一个节点进行部署。

本发明的技术方案修改了MGR的源码，为辅节点新增一种只读属性，辅节点可以包括备用节点和只读节点，可选的，备用节点即为不具有只读属性的普通辅节点。主节点、备用节点和只读节点之间可以通过Paxos协议进行消息通信。主节点上提交的事务通过Paxos协议发送到辅节点，收到任一辅节点回复后即可在本节点完成事务提交并返回给客户端。

本发明的部署架构在部署硬件成本上与传统模式相同，但在部署和运维复杂度上大大降低，主节点宕机时MGR能够自动将辅选为新主节点。只读节点宕机重启后，无需重新配置复制关系，可自动连到MGR的在线节点进行故障恢复。除此之外，还可以避免业务在只读节点上读到可能被回滚的数据，即通过Paxos达成一致后在只读节点上回放的事务不会被回滚，增加了只读服务的可靠性。

本发明实施例公开了一种数据库控制方法，如图2所示，数据库包括主节点、备用节点和只读节点，其中：

S201、当主节点宕机时，设置备用节点为新主节点；

S202、当主节点完成故障恢复后，设置主节点为新备用节点。

其中，主节点、备用节点和只读节点之间通过一致性协议进行数据传输。

在主宕机触发MGR自动选主时，可以选择非只读属性的普通辅节点，即备用节点作为新主节点。这样，在主节点宕机时，如果备用节点在线，那么会选择备用节点作为新主节点。通过这种方式，可以避免主节点跟只读节点重合，导致读写分离失效。

另外，在只读节点不多于MGR集群总节点一半的情况下，不允许只读节点成为新主节点并不会影响到MGR的写能力。因为主节点和所有备用节点均不可用时，意味着无法满足多数原则，已经无法进行正常的选主，无法选出主节点意味着不能提供写服务。因此，若有主节点在线，则这些节点中必定有非只读节点。

可选的，本方法还可以包括：

S203、当只读节点宕机时，设置备用节点为新只读节点；

S204当只读节点完成故障恢复后，设置只读节点为新备用节点。

具体的，只读节点宕机后，可以将备用节点设置为新只读节点。原有的只读节点完成故障恢复后，可以被设置为信备用节点，被设置为新只读节点的原有的备用节点可以仍维持只读模式。即只读节点宕机场景会伴随着辅节点角色的转变。

进一步可选的，在S204后，还可以包括：

S205、确定新只读节点为新备用节点的数据复制源节点。

特别的，当确定新只读节点为新备用节点的数据复制源节点后，可以将新只读节点的部分只读服务能力专用于新备用节点的数据读取。

可选的，本方法还可以包括：

S206、当备用节点宕机时，设置只读节点为新备用节点；

S207、当备用节点完成故障恢复后，设置备用节点为新只读节点。

当只读节点宕机时，备用节点被设置为新只读节点对外提供只读服务，原只读节点成为新备用节点进行故障恢复。主节点宕机时，经过选主后，备用节点成为新主节点对外提供读写服务，原主节点成为新备用节点进行故障恢复。所以，上述场景中，经过处理后均可等价于备用节点宕机故障恢复的场景。本发明实施例在备用节点进行故障恢复时限制新备用节点优先选择当前的只读节点作为数据复制源，可以确保故障恢复不影响业务的写服务。

本发明在MGR集群出现故障，备用节点进行故障恢复时，基于故障恢复优先的原则，自动触发只读节点的服务能力控制，预留一部分只读能力优先满足备用节点的数据恢复请求，确保故障恢复尽快结束，同时也可以确保只读节点与主节点的复制延迟不会变大。

可选的，还可以进一步优化为通过动态监控主节点的负载，若根据历史统计等数据，从故障开始的后续一段较长时间内，主节点的写入负载均较小，也可以允许正在故障恢复的备用节点选择主节点作为数据复制源。

本发明实施例公开的技术方案基于故障恢复优先的策略，预留部分只读能力用于故障恢复，可以确保故障节点尽快上线。且在故障恢复时优先选择只读节点作为故障恢复数据源，避免故障恢复对主节点写服务带来过大影响，提高服务质量。

在现有技术中，由于异步复制的原因，只读节点复制延迟本身对于主节点是不可控的，即主节点无法感知只读实例的复制延迟。但在MGR模式下，将只读节点作为MGR的一个节点时，会被MGR下默认开启的流控机制所监控。若只读节点相比主节点数据延迟超过了MGR的流控阈值，则MGR会通过限制主节点的写性能来缩小数据延迟。

在本发明实施例中，将在数据延迟未达到流控阈值前就解决上述技术问题。

在上述实施例的基础上，本发明还公开了一种数据库控制方法，本方法可以与如图2所示的方法组合使用，本方法的流程如图3所示，其中，

S301、获取只读节点的数据复制延迟；

S302、当数据复制延迟大于数据复制延迟阈值时，设置备用节点为新只读节点，设置只读节点为新备用节点。

数据由主节点传输至辅节点的过程可以分为2个阶段，第1阶段是主节点将数据通过通信网络传输至辅节点，辅节点将数据缓存在本地，如接收缓存中。第2阶段辅节点可以读取本地缓存的数据，并在数据库上执行相应的指令。这2个过程中产生的数据延迟为数据复制延迟。

其中，引入只读节点的数据复制延迟阈值，定期或周期性的监控只读和备用节点之间的数据复制延迟。若只读节点数据比备用节点更新，或者延迟小于所设置的数据复制延迟阈值，则可以表明只读服务引入的压力处于可控范围，无需特殊处理。若大于数据复制延迟阈值，则互换只读节点和备用节点的角色，将只读服务路由到新只读节点。本领域技术人员在具体实施过程中，可以根据业务的实际情况动态设置数据复制延迟阈值。

本发明实施例公开的技术方案，可以最大限度的利用辅节点的性能。但又可以不同时使用2个辅节点。

需要说明的是，若设置2个只读节点，且采用轮询的方式进行只读路由分发时，由于只读节点之间存在数据延迟，且延迟和领先的状态可能交替变化，导致用户可能在前后连续的几次读取中读到的数据是不一致的。若使用短连接，则可能导致业务逻辑混乱。若使用长连接，是否会导致不一致跟业务的具体逻辑实现相关。

若设置2个只读节点，且采用单独配置路由的方式，即2个只读节点，如果业务只读压力大大超过了其中1个只读节点的承受能力，可能会带来较严重的问题。正常状态下会导致2个只读节点相对主节点数据延迟均增加，在一个只读节点故障情况下，若将其业务路由到正常工作的只读节点，可能导致压垮仅剩的只读节点，引发二次故障。

本发明公开的技术方案提供了只读节点的数据延迟问题的优化方案，确保只读节点的数据延迟限制在可接受的范围之内的同时，又不影响写性能。

可选的，S302可以包括：

S3021、当数据复制延迟大于数据复制延迟阈值时，获取数据复制延迟大于数据复制延迟阈值的持续时长；

S3022、当持续时长超过切换间隔阈值时，设置备用节点为新只读节点，设置只读节点为新备用节点。

可以设置固定的或动态的切换间隔阈值，只有只读服务路由在只读节点上维持时间超过了切换间隔阈值时，才能够进行路由切换，这样避免了切换操作过于频繁。

可选的，在上述实施例的基础上，本发明还公开了一种数据库控制方法，本方法可以与如图2和/或图3所示的方法组合使用，本方法的流程如图4所示，其中，

S401、获取只读节点的数据复制延迟；

S402、当数据复制延迟大于数据复制延迟阈值时，获取数据复制延迟大于数据复制延迟阈值的持续时长；

S403、当持续时长小于切换间隔阈值时，获取服务频率阈值，服务频率阈值表征只读节点在单位周期内提供服务次数的上限。

本发明实施例中，可以采用配额制的方式，限制只读节点单位周期内用户的可读次数，以达到数据延迟不再变大或逐步缩小的目的。数据延迟超过阈值，但维持时间小于切换阈值，说明只读节点承受了超规格的压力，可以通过新增只读服务配额，来限制数据延迟进一步增大而触发MGR流控，可读次数的设置值可采用不同的算法。可选的，可以设置为本周期的只读服务性能，减去本周期数据延迟增加值，再减去预留的用于缩小阈值的配额。

可选的，在上述实施例的基础上，本发明还公开了一种数据库控制方法，本方法可以与如图2、图3和/或图4所示的方法组合使用，本方法的流程如图5所示，其中，

S501、接收只读服务升级请求；

S502、设置备用节点为临时只读节点；

S503、提高只读节点的服务能力；

S504、设置临时只读节点为新备用节点。

其中，若用户选择只读服务自动升级，可以在如图4所示的实施例中，触发了只读节点服务能力控制的基础上，自动升级只读节点的规格。本实施例中，仅需升级只读节点的计算能力，包括CPU能力和内存资源等，而不必须升级只读节点的存储容量，无需进行数据拷贝，这种升级能够快速完成。用户可以设置每次规格升级的步长，若未设置，可以默认每次升级25％的规格。

只读节点规格升级期间，只读服务路由可以临时切换到备用节点，但需维持只读服务能力控制机制，确保不对备用节点施加过大压力。

本发明实施例也支持配置多个只读节点来扩展只读服务能力。存在多个只读节点情况下，只读节点和备用节点的切换机制仍可以有效。

本领域技术人员应知，图2～5所示的实施方式，能够根据具体实施场景的不同进行灵活组合，包括步骤的取舍和步骤的执行顺序等。一个具体的实施方式如图6所示，其中各个步骤已在前文中予以描述，此处不再赘述。

本发明实施例还公开了一种数据库系统70，如图7所示，可以用于执行如图2～6所示的方法，包括：主节点701、备用节点702和只读节点703，其中，

主节点701、备用节点702和只读节点703之间通过一致性协议进行数据传输；

当主节点701宕机时，备用节点702用于作为新主节点。

当主节点701完成故障恢复后，主节点701用于作为新备用节点。

可选的，

当只读节点703宕机时，备用节点702用于作为新只读节点；

当只读节点703完成故障恢复后，只读节点703用于作为新备用节点。

可选的，

新只读节点用于作为新备用节点的数据复制源节点。

可选的，

当备用节点702宕机时，只读节点703用于作为新备用节点；

当备用节点702完成故障恢复后，备用节点702用于作为新只读节点。

可选的

获取只读节点703的数据复制延迟；

当数据复制延迟大于数据复制延迟阈值时，备用节点702用于作为新只读节点，只读节点703用于作为新备用节点。

可选的，

当持续时长超过切换间隔阈值时，备用节点702用于作为新只读节点，只读节点703用于作为新备用节点。

可选的，

获取只读节点703的数据复制延迟；

可选的，

接收只读服务升级请求；

备用节点702用于作为临时只读节点；

提高只读节点703的服务能力；

临时只读节点用于作为新备用节点。

应当注意，尽管在上文详细描述中提及了数据库系统的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims

1.一种数据库控制方法，所述数据库包括主节点、备用节点和只读节点，所述备用节点为不具有只读属性的辅节点，所述只读节点为具有只读属性的辅节点，所述方法包括：

所述主节点、所述备用节点和所述只读节点之间通过一致性协议进行数据传输；

当所述主节点宕机时，设置所述备用节点为新主节点；

当所述主节点完成故障恢复后，设置所述主节点为新备用节点;

当所述只读节点宕机时，设置所述备用节点为新只读节点；

当所述只读节点完成故障恢复后，设置所述只读节点为新备用节点，确定所述新只读节点为所述新备用节点的数据复制源节点。

2.根据权利要求1所述的控制方法，其特征在于，还包括：

当确定所述新只读节点为所述新备用节点的所述数据复制源节点后，将所述新只读节点的部分只读服务能力专用于所述新备用节点的数据读取。

3.根据权利要求1所述的控制方法，其特征在于，还包括：

当所述备用节点宕机时，设置所述只读节点为新备用节点；

当所述备用节点完成故障恢复后，设置所述备用节点为新只读节点。

4.根据权利要求1所述的控制方法，其特征在于，还包括：

获取所述只读节点的数据复制延迟；

当所述数据复制延迟大于数据复制延迟阈值时，设置所述备用节点为新只读节点，设置所述只读节点为新备用节点。

5.根据前权利要求1所述的控制方法，其特征在于，所述当所述数据复制延迟大于数据复制延迟阈值时，设置所述备用节点为新只读节点，设置所述只读节点为新备用节点，包括：

当所述数据复制延迟大于所述数据复制延迟阈值时，获取所述数据复制延迟大于所述数据复制延迟阈值的持续时长；

当所述持续时长超过切换间隔阈值时，设置所述备用节点为新只读节点，设置所述只读节点为新备用节点。

6.根据权利要求1所述的控制方法，其特征在于，还包括：

获取所述只读节点的数据复制延迟；

当所述数据复制延迟大于数据复制延迟阈值时，获取所述数据复制延迟大于数据复制延迟阈值的持续时长；

当所述持续时长小于切换间隔阈值时，获取服务频率阈值，所述服务频率阈值表征所述只读节点在单位周期内提供服务次数的上限。

7.根据权利要求1所述的控制方法，其特征在于，还包括：

接收只读服务升级请求；

设置所述备用节点为临时只读节点；

提高所述只读节点的服务能力；

设置所述临时只读节点为新备用节点。

8.一种数据库系统，包括主节点、备用节点和只读节点，所述备用节点为不具有只读属性的辅节点，所述只读节点为具有只读属性的辅节点，其中，

当所述主节点宕机时，所述备用节点用于作为新主节点；

当所述主节点完成故障恢复后，所述主节点用于作为新备用节点;

当所述只读节点宕机时，所述备用节点用于作为新只读节点；

当所述只读节点完成故障恢复后，所述只读节点用于作为新备用节点，确定所述新只读节点为所述新备用节点的数据复制源节点。

9.根据权利要求8所述的系统，其特征在于：

所述新只读节点用于将部分只读服务能力专用于所述新备用节点的数据读取。

10.根据权利要求8所述的系统，其特征在于：

当所述备用节点宕机时，所述只读节点用于作为新备用节点；

当所述备用节点完成故障恢复后，所述备用节点用于作为新只读节点。

11.根据权利要求8所述的系统，其特征在于：

获取所述只读节点的数据复制延迟；

当所述数据复制延迟大于数据复制延迟阈值时，所述备用节点用于作为新只读节点，所述只读节点用于作为新备用节点。

12.根据前权利要求11所述的系统，其特征在于：

当所述持续时长超过切换间隔阈值时，所述备用节点用于作为新只读节点，所述只读节点用于作为新备用节点。

13.根据权利要求8所述的系统，其特征在于：

获取所述只读节点的数据复制延迟；

14.根据权利要求8所述的系统，其特征在于：

接收只读服务升级请求；

所述备用节点用于作为临时只读节点；

提高所述只读节点的服务能力；

所述临时只读节点用于作为新备用节点。