CN110633325A

CN110633325A - 一种基于Docker的数据库集群扩容方法及装置

Info

Publication number: CN110633325A
Application number: CN201910897111.XA
Authority: CN
Inventors: 涂霖
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2019-09-20
Filing date: 2019-09-20
Publication date: 2019-12-31
Anticipated expiration: 2039-09-20
Also published as: CN110633325B

Abstract

本发明公开了一种基于Docker的数据库集群扩容方法及装置，将数据库集群以Docker容器的形式进行部署，通过自动监测容器的资源利用率，对不同数据库节点采用不同的方式进行动态扩容；并基于这个思路提供了一种数据库集群的装置。通过采用本申请提供的方法和装置实现了整个数据库集群的容量增加和访问压力的分摊，一方面，避免了数据库扩容过程中对外服务的中断，提高了系统的高可用性；另一方面，避免了数据库扩容过程中大量繁琐的人工配置操作，有效的提高了系统资源利用率，节约了人力成本。

Description

一种基于Docker的数据库集群扩容方法及装置

技术领域

本发明涉及计算机软件和数据库技术领域，尤其涉及一种基于Docker的数据库集群扩容方法及装置。

背景技术

目前，随着需要高数据量和吞吐量的数据库应用支撑的业务系统越来越多，高可用性和可扩展性已成为衡量一个数据库系统好坏的关键因素。当数据库系统的存储容量或者数据库系统的吞吐性能无法满足业务系统的需求时，就需要对原数据库系统进行扩容，提高数据库的存储容量，分摊业务系统访问压力。

但现有技术中，数据库系统的扩容都是以人工的方式，通过复杂的配置来实现单一的数据库存储容量的增加，而且往往还需要停止对外提供服务，这都使得数据库系统的可用性和扩展性大大降低。

而Docker作为一种开源的应用容器引擎，通过对数据库服务的封装、分发、部署、运行等生命周期的管理，实现了数据库集群各种节点的“一次封装，到处运行”，从而可以有效支撑数据库集群的灵活扩容。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于Docker的数据库集群扩容方法及装置，将数据库服务在Docker集群中以容器的形式进行分布式部署，通过监控容器的资源占用情况对相应的节点类型以容器的方式进行自动增加，用以解决现有技术在对数据库集群进行扩容的过程中，需要大量的人工参与(包括数据库资源使用情况的监控、新数据库集群资源的准备、复杂的数据库集群配置)的问题。

本发明提出了一种数据库集群扩容方法，所述数据库集群按照具体功能的不同划分为路由节点、配置节点和数据分片节点三种节点类型，其中配置节点和每个数据分片节点都由三个节点的副本集组成，且所有节点都以Docker容器的形式运行；这里所述的路由节点用于提供对外应用服务，所述配置节点用于存储集群所有节点、分片数据路由信息，所述数据分片节点用于存储应用数据记录；

本发明通过以下技术方案来实现上述目的：

一种基于Docker的数据库集群扩容方法及装置，包括以下步骤：

步骤1，监测所有数据库节点容器资源利用率；监测数据包括CPU、内存及磁盘(存储卷)的使用率，分别用c_i、m_i、d_i表示。

步骤2，判断数据库集群是否需要进行扩容；判断标准如下：

S_i＝MAX(c_i/T_c，m_i/T_m，d_i/T_d)；

其中T_c、T_m、T_d分别为容器CPU、内存和磁盘的报警阈值，当同一个节点组中的所有节点容器的S_i大于等于1，则需要进行扩容，否则不需要。这里所述的节点组是指路由节点组、配置节点副本集和每个单独数据分片副本集。

步骤3，判断需要扩容的数据库节点类型，生成相应的配置文件；

步骤4，根据数据库容器节点类型采用不同方式进行扩容；数据库容器节点类型包括了路由节点、配置节点和数据分片节点三种；

其中，数据库路由节点的扩容包括以下步骤：

步骤401，创建一个固定大小存储卷，并开启备份策略；

步骤402，根据产生的数据库配置文件启动一个路由节点容器，挂载新创建的存储卷；

步骤403，修改负载均衡配置文件，将新增路由节点加入，重启负载均衡容器；

其中，数据库配置节点的扩容步骤如下：

步骤411，记录配置节点容器存储容量大小，备份配置文件，停止删除其中一个配置节点容器；

步骤412，创建一个原存储容量+固定大小容量的存储卷，并开启备份策略；

步骤413，根据备份的配置文件启动一个配置节点容器，挂载新创建的存储卷；

步骤414，将新启动的配置节点容器重新加入配置节点副本集；

步骤415，监控新启动配置节点状态，确认状态为正常；

步骤416，按照上述步骤依次对剩余两个配置节点进行扩容；

其中，数据库数据分片节点的扩容方式如下：

步骤421，创建三个固定大小存储卷，并开启备份策略；

步骤422，根据产生的数据库配置文件启动三个分片节点容器，分别挂载三个新创建的存储卷；

步骤423，将三个分片节点配置为一个副本集；

步骤424，在数据集配置节点中，将副本集添加为新的数据分片；

本发明还公开了一种基于Docker的数据库集群扩容装置，所述数据库集群由路由节点、配置节点和数据分片节点组成，其中配置节点和每个数据分片节点都由三个节点的副本集组成，且所有节点都以Docker容器的形式运行，所述装置包括资源监控模块、数据库集群配置模块、数据库节点部署模块和存储卷管理模块。

所述资源监控模块用于监测所有数据库节点容器资源占用情况并判断是否需要对数据库集群进行扩容；所述数据库配置模块用于判断需要扩容的节点类型并根据节点类型按照模板生成不同的数据库节点配置文件；所述数据库节点部署模块用于根据数据库配置模块判定的数据库节点类型和生成的配置文件启动一个或多个Docker容器，并挂载存储卷；所述存储卷管理模块用于对接分布式存储集群，进行存储卷的管理、创建、删除、备份和迁移等；

进一步地，所述数据库集群配置模块还用于备份运行数据库节点配置文件；

进一步地，所述数据库节点部署模块还用于数据库集群的调整，包括负载均衡节点的调整、路由节点的调整、配置节点副本集的调整和数据分片的调整。

本发明较现有技术相比，具有以下优点及有益效果：

本发明的一种基于Docker的数据库集群扩容方法及装置，将数据库集群的所有功能节点都运行在Docker容器中，针对不同的节点类型采用不同的扩容方式，并通过自动检测各种节点容器的资源利用率，对数据库进行动态扩容，避免了数据库集群扩容过程中大量繁琐的人工操作以及由此造成的数据库集群资源浪费，有效的提高了系统资源利用率，节约了人力成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述的数据库集群架构图；

图2为本发明所述数据库集群扩容流程图；

图3为本发明所述数据库路由节点扩容过程；

图4为本发明所述数据库配置节点扩容过程；

图5为本发明所述数据库数据分片节点扩容过程；

图6为本发明提供的数据库集群扩容装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

在实际应用中，数据库通常会采用集群的方式对外提供服务，把数据库按照功能的不同划分为不同的节点类型，每种节点承担不同的角色和任务，这样可以有效降低高数据量和吞吐量的数据库应用对单节点的压力，同时保证数据库服务的高可用性和可扩展性，本发明则是基于数据库集群，将所有节点都运行在Docker容器中，通过节点的扩容来实现数据库集群扩容。

为了详细说明本申请的发明过程，以下将数据库集群分为路由节点、配置节点和数据分片节点三种，其中多个路由节点加入到负载均衡中实现外部访问的压力分摊，配置节点和每个数据分片都是由三个节点组成的副本集。图1为本发明所述的数据库集群架构图。

图2为本发明实施例所述的数据库集群扩容流程图，具体包括以下步骤：

S201：监测所有数据库节点容器资源利用率；

在实际应用中，每隔固定时间间隔(如60s)通过Docker命令和容器中的监测探针获取每一个容器的CPU、内存和存储卷的使用率，分别用c_i、m_i、d_i表示，并进行存储；

S202：判断数据库集群是否需要进行扩容；

对每一个容器计算S_i＝MAX(c_i/T_c，m_i/T_m，d_i/T_d)，在本发明实施例中T_c＝90％、T_m＝85％、T_d＝80％分别为容器CPU、内存和磁盘的报警阈值，当所有路由节点或者所有配置节点或者一个数据分片的所有节点的S_i均大于等于1，则触发步骤S203，否则继续步骤S201；

S203：判断需要扩容的数据库节点类型，生成相应的配置文件；

根据步骤S202计算得到的需要扩容的节点类型，利用数据库节点的配置文件模板或者是备份的运行节点的配置文件来生成新添加数据库节点的配置文件。

S204：根据数据库容器节点类型采用不同方式进行扩容；

扩容操作包括了路由节点的扩容、配置节点的扩容和数据分片节点的扩容；在实际应用中，需要进行其中的一种或多种扩容操作；

图3为本发明实施例所述的路由节点扩容过程，具体包括以下步骤：

S301：创建一个固定大小存储卷，并开启备份策略；

在实际应用中，根据当前数据库集群的数据量手动调整新创建存储卷大小(如200GB)，并通过对接的存储系统对存储卷中的数据进行备份(如快照方式)；

S302：根据产生的数据库配置文件启动一个路由节点容器，挂载新创建的存储卷；

S303：修改负载均衡配置文件，将新增路由节点加入，重启负载均衡容器；

图4为本发明实施例所述的配置节点扩容过程，具体包括以下步骤：

S401：记录配置节点容器存储容量大小，备份配置文件，停止删除其中一个配置节点容器；

S402：创建一个原存储容量+固定大小容量的存储卷，并开启备份策略；

S403：根据备份的配置文件启动一个配置节点容器，挂载新创建的存储卷；

S404：将新启动的配置节点容器重新加入配置节点副本集；

S405：监控新启动配置节点状态，确认状态为正常；

S406：按照S401-S405依次对剩余两个配置节点进行扩容；

在实际应用中，配置节点通常为一个副本集，需要通过分别扩容原来每个单实例节点的方式来实现整个配置节点的扩容，且单个实例挂掉不会引起整个配置节点服务的不可用；

图5为本发明实施例所述的数据分片节点扩容过程，具体包括以下步骤：

S501：创建三个固定大小存储卷，并开启备份策略；

S502：根据产生的数据库配置文件启动三个分片节点容器，分别挂载三个新创建的存储卷；

S503：将三个分片节点配置为一个副本集；

S504：在数据集配置节点中，将副本集添加为新的数据分片；

与配置节点不同，在一个数据库集群中，数据分片节点通常为多个，数据分片的扩容是通过在集群中添加新的分片节点实现的，每个分片通常为一个副本集；

以上为本发明实施例提供的数据库集群扩容方法，基于同样的思路，本发明实施例还提供一种数据库集群扩容装置，如图6所示。

图6为本发明实施例提供的数据库集群扩容装置结构示意图，所述数据库集群由路由节点、配置节点和数据分片节点组成，其中配置节点和每个数据分片节点都由三个节点的副本集组成，且所有节点都以Docker容器的形式运行，所述装置包括：

资源监控模块601：用于监测所有数据库节点容器资源占用情况并判断是否需要对数据库集群进行扩容；

数据库集群配置模块602：用于判断需要扩容的节点类型并根据节点类型按照模板生成不同的数据库节点配置文件；

数据库节点部署模块603：用于根据数据库配置模块602判定的数据库节点类型和生成的配置文件启动一个或多个Docker容器，并挂载存储卷管理模块604创建的存储卷，实现数据库节点的扩容；

存储卷管理模块604：用于对接分布式存储集群，进行存储卷的管理、创建、删除、备份和迁移等；

所述数据库集群配置模块602还用于，备份运行数据库节点配置文件；

所述数据库节点部署模块603还用于数据库集群的调整，包括负载均衡节点的调整、路由节点的调整、配置节点副本集的调整和数据分片副本集的调整。

本申请的方法及装置，将数据库集群以Docker容器的形式进行部署，通过自动监测容器的资源利用率，对不同数据库节点采用不同的方式进行动态扩容；并基于这个思路提供了一种数据库集群的装置。通过采用本申请提供的方法和装置实现了整个数据库集群的容量增加和访问压力的分摊，一方面，避免了数据库扩容过程中对外服务的中断，提高了系统的高可用性；另一方面，避免了数据库扩容过程中大量繁琐的人工配置操作，有效的提高了系统资源利用率，节约了人力成本。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims

1.一种基于Docker的数据库集群扩容方法，所述数据库集群由不同的功能节点构成；其特征在于，包括以下步骤：

a.监测所有数据库节点容器资源利用率；

b.判断数据库集群是否需要进行扩容；

c.判断需要扩容的数据库节点类型，生成相应的配置文件；

d.根据数据库容器节点类型采用不同方式进行扩容。

2.如权利要求1所述的方法，其特征在于，步骤a所述的监测内容为每个数据库节点容器的CPU、内存和存储卷使用率。

3.如权利要求1所述的方法，其特征在于，步骤b所述的判断数据库集群是否需要扩容的判断依据为如下公式：S_i＝MAX(c_i/T_c，m_i/T_m，d_i/T_d)，其中c_i、m_i、d_i分别为容器i的CPU、内存和存储卷使用率，T_c、T_m、T_d分别为容器的CPU、内存和磁盘的报警阈值；当同一类型所有数据库节点的S_i都大于等于1时，则需要进行扩容，否则不需要。

4.如权利要求1所述的方法，其特征在于，步骤d包括数据库路由节点的扩容，具体方法如下：

d01.创建一个固定大小存储卷，并开启备份策略；

d02.根据产生的数据库配置文件启动一个路由节点容器，挂载新创建的存储卷；

d03.修改负载均衡配置文件，将新增路由节点加入，重启负载均衡容器。

5.如权利要求1所述的方法，其特征在于，步骤d还包括数据库配置节点的扩容，具体方法如下：

d11.记录配置节点容器存储容量大小，备份配置文件，停止删除其中一个配置节点容器；

d12.创建一个原存储容量+固定大小容量的存储卷，并开启备份策略；

d13.根据备份的配置文件启动一个配置节点容器，挂载新创建的存储卷；

d14.将新启动的配置节点容器重新加入配置节点副本集；

d15.监控新启动配置节点状态，确认状态为正常；

d16.如d11-d15依次对剩余两个配置节点进行扩容。

6.如权利要求1所述的方法，其特征在于，步骤d还包括数据分片节点的扩容，具体方法如下：

d21.创建三个固定大小存储卷，并开启备份策略；

d22.根据产生的数据库配置文件启动三个分片节点容器，分别挂载三个新创建的存储卷；

d23.将三个分片节点配置为一个副本集；

d24.在数据集配置节点中，将副本集添加为新的数据分片。

7.一种基于Docker的数据库集群扩容装置，其特征在于，所述装置包括：

资源监控模块，用于监测所有数据库节点容器资源占用情况并判断是否需要对数据库集群进行扩容；

数据库集群配置模块，用于判断需要扩容的节点类型并根据节点类型如模板生成不同的数据库节点配置文件；

数据库节点部署模块，用于根据数据库配置模块判定的数据库节点类型和生成的配置文件启动一个或多个Docker容器，并挂载存储卷；

存储卷管理模块，用于对接分布式存储集群，进行存储卷的管理、创建、删除、备份和迁移。

8.如权利要求7所述装置，其特征在于，所述数据库集群配置模块还用于，备份运行数据库节点配置文件。

9.如权利要求7所述装置，其特征在于，所述数据库节点部署模块还用于数据库集群的调整，包括负载均衡节点的调整、路由节点的调整、配置节点副本集的调整和数据分片的调整。