CN107590257A - 一种数据库管理方法及装置 - Google Patents

Abstract

本发明公开了一种数据库管理方法及装置，涉及海量数据查询技术。本发明公开的一种数据库管理方法，包括：对数据库进行分库分表操作；根据预设的管理策略对分库分表操作后的数据库进行对应操作，其中，预设的管理策略包括如下一种或几种策略：配置数据库集群；配置数据库的读写分离；配置数据库负载均衡规制；配置数据库集群节点的可用性探测机制。

Description

一种数据库管理方法及装置

技术领域

本发明涉及海量数据查询技术，尤其涉及一种解决数据库单表数据量过大的高可用优化方案。

背景技术

随着系统业务的发展和系统用户数量的不断增加，势必会造成数据不断的飞速增长，单表数据量达到一定量级之后查询速度会越来越慢，即便是在数据库中具有索引的情况下也难以达到预想的效果，对于系统的稳定性和扩展性造成了极大的问题，在面对海量数查询的时候我们希望能够获得较为优秀的数据检索能力，当前分库分表成为了解决单表数据过大的问题的流行方案，但是在面临数据库压力过大、数据库宕机、数据库性能等问题并没有进行很好处理。

发明内容

本文提供一种数据库管理方法及装置，可以解决相关技术中数据库宕机的问题。

本文公开了一种数据库管理方法，包括：

对数据库进行分库分表操作；

根据预设的管理策略对分库分表操作后的数据库进行对应操作，其中，预设的管理策略包括如下一种或几种策略：

配置数据库集群；

配置数据库的读写分离；

配置数据库负载均衡规制；

配置数据库集群节点的可用性探测机制。

可选地，上述方法中，所述对数据库进行分库和分表，包括：

确定数据库标记字段、分库规则和路由规则；

按照所述数据库标记字段、分库规则和路由规则，对所述数据库表进行分库和分表。

可选地，上述方法中，所述管理策略包括配置数据库集群时，对分库分表操作后的数据库进行对应操作包括：

为数据库分库后的每个子库分别配置一个集群，为每个集群分配多台数据库服务器，将每个集群下多台数据库服务器中至少一个服务器配置为主服务器，将主服务器以外其他服务器配置为从服务器。

可选地，上述方法中，所述管理策略包括配置数据库的读写分离时，对分库分表操作后的数据库进行对应操作包括：

将数据库分库后的某一子库的读、写操作分别配置给该子库对应的不同类型的数据库服务器，所述数据库服务器的类型至少包括主服务器和从服务器。

可选地，上述方法中，所述管理策略包括配置数据库负载均衡规则时，对分库分表操作后的数据库进行对应操作包括：

为数据库分库后各子库对应的数据库服务器分别配置权值，配置加权负载均衡策略。

可选地，上述方法中，所述管理策略包括配置数据库负载均衡规则时，还包括：

收到针对数据库分库后的某一子库结构化查询请求SQL时，若所述SQL是写操作或者是实时性要求高的操作，则将该操作分配到该子库对应的主服务器；

若所述SQL是读操作，则按照配置的负载均衡策略分配到该子库对应的一个从服务器。

可选地，上述方法中，所述管理策略包括配置数据库集群节点的可用性探测机制时，对分库分表操作后的数据库进行对应操作包括：

在本地维护数据库状态列表，其中，数据库状态列表中存储数据库分库后的所有子库的实时状态。

本文还公开了一种数据库管理装置，包括：

第一单元，对数据库进行分库分表操作；

第二单元，根据预设的管理策略对分库分表操作后的数据库进行对应操作，其中，预设的管理策略包括如下一种或几种策略：

配置数据库集群；

配置数据库的读写分离；

配置数据库负载均衡规制；

配置数据库集群节点的可用性探测机制。

可选地，上述装置中，所述第一单元，对数据库进行分库和分表，包括：

确定数据库标记字段、分库规则和路由规则；

按照所述数据库标记字段、分库规则和路由规则，对所述数据库表进行分库和分表。

可选地，上述装置中，所述管理策略包括配置数据库集群时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

为数据库分库后的每个子库分别配置一个集群，为每个集群分配多台数据库服务器，将每个集群下多台数据库服务器中至少一个服务器配置为主服务器，将主服务器以外其他服务器配置为从服务器。

可选地，上述装置中，所述管理策略包括配置数据库的读写分离时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

将数据库分库后的某一子库的读、写操作分别配置给该子库对应的不同类型的数据库服务器，所述数据库服务器的类型至少包括主服务器和从服务器。

可选地，上述装置中，所述管理策略包括配置数据库负载均衡规则时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

为数据库分库后各子库对应的数据库服务器分别配置权值，配置加权负载均衡策略。

可选地，上述装置中，所述管理策略包括配置数据库集群节点的可用性探测机制时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

在本地维护数据库状态列表，其中，数据库状态列表中存储数据库分库后的所有子库的实时状态。

本申请提出一种在使用传统分库分表解决单表数据量过大问题基础上的优化方案，引入了数据库集群、读写分离以及负责均衡等策略，增强了系统的稳定性和扩展性，提高了系统的吞吐量和并发性，达到了系统高可用的效果。

附图说明

图1为本发明实施例中数据库管理方法流程图；

图2为本发明可选实施例中集群和数据库读写分离模型示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文将结合具体实施方式对本发明技术方案作进一步详细说明。需要说明的是，在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

本申请发明人提出，可以从降低单台机器的负载、降低宕机的概率以及提高数据的读取速度和并发量等几个方面的维护考虑设计。即可以基于分库分表技术，将存储、I/O并行分发到多台机器上处理，以充分利用多台机器各种处理能力，同时可避免单点失败，提高系统的可用性，进行很好的错误隔离。其中，分库可以降低单机机器的负载；分表，可以提高数据操作的效率，集群和负载均衡则可以提高系统的高可用，读写分离可以提高系统的性能。

基于上述思想，本实施例提供一种数据库管理方法，如图1所示，主要包括如下步骤：

步骤S100、对数据库进行分库和分表；

实现该步骤的操作时，可以先确定数据库标记字段、分库规则和路由规则，再对数据库表进行分库和分表。其中，数据库标记字段可以是现有数据库字段或者新增的字段。

可选地，考虑到数据切分的DB设计，通常会违背涉及数据库的范式规矩和约束，因此可以在数据库的表中增加冗余字段，用作分库的标记字段，对标记字段hash取模分库。

要注意的是，本申请并不限于上述分库分表操作，也可以采用现有任意手段实现数据库的分库分表操作。

步骤S200、根据预设的管理策略对分库、分表后的数据库进行对应操作，其中，预设的管理策略包括如下一种或几种策略：

配置数据库集群；

配置数据库的读写分离；

配置数据库负载均衡规制；

配置数据库集群节点的可用性探测机制。

其中，管理策略包括配置数据库集群(即配置高可用集群)和数据库读写分离操作，主要可达到提高系统可用性的效果。例如，在每一个分库的节点可以引入多台机器，每台机器保存的数据是一样的，一般情况下由这多台机器分摊负载，当出现宕机情况，负载均衡器不会分配负载给这台宕机的机器。

即，在管理策略包括配置数据库集群时，对应的操作可以包括，按照数据库分库后的子库的个数配置集群，即为数据库分库后的每个子库分别配置一个集群，每个集群包括多台数据库服务器(DB服务器)，并对各集群下多台DB数据库服务器进行分类，至少将其中一个DB服务器配置为主服务器Master，将剩余数据库服务器配置为从服务器Slav，即每个集群包括至少一个Master和多个Slav，而同一个集群中的Master和Slav中存储的数据均相同。本文中，子库指分库操作后各个数据库，例如，DB分库后得到DB1、DB2……DBn，则DB1、DB2……DBn均为DB的子库。

当管理策略包括配置数据库的读写分离时，对应的操作可以包括，针对分库后存储相同数据的Master和Slav，将读、写操作分别分配给不同类的服务器。例如，Master可以负责写操作的负载，Slave负责读操作的负载，或者，由Master负责读操作的负载，Slave负责写操作的负载，从而实现读、写分离。

管理策略包括设置负载均衡规则，主要是便于路由到负载数据库。由于，对数据库进行分库和分表时，所确定的分库规则和路由规则只能路由到具体的集群，也就是只能路由到一个虚拟的集群，这个集群并不是某个特定的物理服务器。因此，需要确定负载均衡规则找到具体的物理的DB服务器，以进行具体的数据操作。

即，在管理策略包括设置负载均衡规则时，对应的操作可以包括：

先设置各个DB服务器的权值；

负载均衡器分析当前sql的读写特性，如果是写操作或者是要求实时性很强的操作时，将查询负载分配到Master，如果是读操作则通过负载均衡策略分配一个Slave。其中，负载均衡策略使用加权负载均衡，也就是在系统内部通过一定的接口，可以给每台DB服务器分配一个权值，然后在运行时LB根据权值在集群中的比重，分配一定比例的负载给该DB服务器。

管理策略包括设置集群节点的可用性探测机制，主要是为了保证负载均衡路由到的数据库是可用的。

在管理策略包括配置数据库集群节点的可用性探测机制时，对应的操作可以包括：在本地维护一个DB状态的列表，其中，数据库状态列表中至少存储数据库分库后的所有子库的实时状态。例如，当应用的DB数据库宕机的时候，管理员可手动的将数据库的当前状态通过程序的方式推送到客户端，也就是分布式数据层的应用端，进行更新本地维护的DB状态表，告知LB，这个数据库节点不能使用，不要给它分配负载。

下面结合具体应用说明上述方案的详细实施过程。

一种数据库管理方法，包括如下操作：

(1)确定数据库标记字段、分库规则和路由规则，对数据库进行分库和分表；

该步骤中，假设在开发中使用user_id作为数据库标记字段，则采用对user_id进行hash取模的方式进行分库。首先对user_id进行hash运算，然后如实际中需要将一个数据库切分成4个数据库的话，就用4这个数字对user_id的hash值进行取模运算，也就是user_id％4，这样每次运算就有四种可能：结果为1的时候对应DB1(即将该数据划分至DB1)；结果为2的时候对应DB2；结果为3的时候对应DB3；结果为0的时候对应DB4。最终就非常均匀的将数据分配到4个DB中。

(2)根据预设的管理策略对分库、分表后的数据库进行对应操作，其中，预设的管理策略包括配置集群和数据库读写分离操作时，为分库后各子库配置集群，并为分库后的各子库进行读写分离操作，这样可以提高系统可用性；

如图2所示，假设整个数据层有集群1，集群2，集群3三个集群组成，这三个集群就是分库分表的结果，当然这三个集群也就组成了一个包含完整数据的DB。每一个集群包括1个Master(当然Master可以是一个，也可以是多个)和N个Slave，这些Master和Slave中存储的数据是一致的，其中，Master可以负责写操作的负载，读的操作则分摊到Slave上进行，即实现读、写分离。此种场景下，比如集群1中的一个slave发生了宕机现象，那么还有两个slave是可以用的，可见，这样的模型总是不会造成某部分数据不能访问的问题，除非整个集群里的机器全部宕掉，但是这样的事情发生的概率非常小。

(3)根据预设的管理策略对分库、分表后的数据库进行对应操作，其中，预设的管理策略包括配置确定负载均衡规则时，可以设置各个DB的权值及负载均衡规则，以便路由到负载数据库进行操作；

具体的负载均衡规则如下：负载均衡器分析当前SQL(结构化查询)的读写特性，如果是写操作或者是要求实时性很强的操作的话，直接将SQL请求负载分到Master，如果是读操作则通过负载均衡策略分配一个Slave。其中，负载均衡策略使用加权负载均衡，也就是在系统内部通过一定的接口，可以给每台DB服务器分配一个权值，然后在运行时LB根据权值在集群中的比重，分配一定比例的负载给该DB服务器。

(4)根据预设的管理策略对分库、分表后的数据库进行对应操作，其中，预设的管理策略包括设置集群节点的可用性探测机制时，进行对应的操作，以保证负载均衡路由到的数据库是可用的。

实现上述步骤时，进行的对应的操作可以是在本地维护一个DB状态的列表，当应用的DB数据库宕机的时候，管理员可手动的将数据库的当前状态通过程序的方式推送到客户端，也就是分布式数据层的应用端，进行更新本地维护的DB状态表，告知LB，这个数据库节点不能使用，不要给它分配负载。

本实施例还提供一种数据库管理装置，至少包括如下两个单元。

第一单元，对数据库进行分库分表操作；

具体地，第一单元，可以先确定数据库标记字段、分库规则和路由规则，再按照所述数据库标记字段、分库规则和路由规则，对数据库表进行分库和分表。

第二单元，根据预设的管理策略对分库分表操作后的数据库进行对应操作，其中，预设的管理策略包括如下一种或几种策略：

配置数据库集群；

配置数据库的读写分离；

配置数据库负载均衡规制；

配置数据库集群节点的可用性探测机制。

例如，管理策略包括配置数据库集群时，第二单元进行对应操作包括：为数据库分库后的每个子库分别配置一个集群，为每个集群分配多台数据库服务器，将每个集群下多台数据库服务器中至少一个服务器配置为主服务器，将主服务器以外其他服务器配置为从服务器。

管理策略包括配置数据库的读写分离时，第二单元进行对应操作包括：将数据库分库后的某一子库的读、写操作分别配置给该子库对应的不同类型的数据库服务器，所述数据库服务器的类型至少包括主服务器和从服务器。

管理策略包括配置数据库负载均衡规则时，第二单元对分库分表操作后的数据库进行对应操作包括：为数据库分库后各子库对应的数据库服务器分别配置权值，配置加权负载均衡策略。

管理策略包括配置数据库集群节点的可用性探测机制时，第二单元对分库分表操作后的数据库进行对应操作包括：在本地维护数据库状态列表，其中，数据库状态列表中存储数据库分库后的所有子库的实时状态。

由于上述装置可实现上述实施例方法，因此，对于本装置的其他具体工作原理可参见上述实施例方法的相应内容，在此不再赘述。

从上述实施例可以看出，本申请技术方案在传统分库分表基础上引入了数据库集群、读写分离以及负责均衡等策略，增强了系统的性能，提高了系统的吞吐量和并发性，达到了系统高可用的效果。本申请的有益之处具有如下几点：

(1)分库分表降低了单台机器的负载，同时最大限度的降低了宕机造成的损失。

(2)负载均衡策略降低了单台机器的访问负载，降低宕机的可能性。

(3)集群方案解决了数据库宕机带来的单点数据库不能访问的问题。

(4)读写分离策略最大限度了提高了应用中读取数据的速度和并发量。

(5)免去使用Oracle等这类需要支付高昂的使用费用和需要高端的硬件支撑的数据库，节约成本。

本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

以上所述，仅为本发明的较佳实例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种数据库管理方法，包括：

对数据库进行分库分表操作；

根据预设的管理策略对分库分表操作后的数据库进行对应操作，其中，预设的管理策略包括如下一种或几种策略：

配置数据库集群；

配置数据库的读写分离；

配置数据库负载均衡规制；

配置数据库集群节点的可用性探测机制。

2.如权利要求1所述的方法，其特征在于，所述对数据库进行分库和分表，包括：

确定数据库标记字段、分库规则和路由规则；

按照所述数据库标记字段、分库规则和路由规则，对所述数据库表进行分库和分表。

3.如权利要求1或2所述的方法，其特征在于，所述管理策略包括配置数据库集群时，对分库分表操作后的数据库进行对应操作包括：

为数据库分库后的每个子库分别配置一个集群，为每个集群分配多台数据库服务器，将每个集群下多台数据库服务器中至少一个服务器配置为主服务器，将主服务器以外其他服务器配置为从服务器。

4.如权利要求1或2所述的方法，其特征在于，所述管理策略包括配置数据库的读写分离时，对分库分表操作后的数据库进行对应操作包括：

将数据库分库后的某一子库的读、写操作分别配置给该子库对应的不同类型的数据库服务器，所述数据库服务器的类型至少包括主服务器和从服务器。

5.如权利要求1或2所述的方法，其特征在于，所述管理策略包括配置数据库负载均衡规则时，对分库分表操作后的数据库进行对应操作包括：

为数据库分库后各子库对应的数据库服务器分别配置权值，配置加权负载均衡策略。

6.如权利要求5所述的方法，其特征在于，所述管理策略包括配置数据库负载均衡规则时，还包括：

收到针对数据库分库后的某一子库结构化查询请求SQL时，若所述SQL是写操作或者是实时性要求高的操作，则将该操作分配到该子库对应的主服务器；

若所述SQL是读操作，则按照配置的负载均衡策略分配到该子库对应的一个从服务器。

7.如权利要求1或2所述的方法，其特征在于，所述管理策略包括配置数据库集群节点的可用性探测机制时，对分库分表操作后的数据库进行对应操作包括：

在本地维护数据库状态列表，其中，数据库状态列表中存储数据库分库后的所有子库的实时状态。

8.一种数据库管理装置，包括：

第一单元，对数据库进行分库分表操作；

第二单元，根据预设的管理策略对分库分表操作后的数据库进行对应操作，其中，预设的管理策略包括如下一种或几种策略：

配置数据库集群；

配置数据库的读写分离；

配置数据库负载均衡规制；

配置数据库集群节点的可用性探测机制。

9.如权利要求8所述的装置，其特征在于，所述第一单元，对数据库进行分库和分表，包括：

确定数据库标记字段、分库规则和路由规则；

按照所述数据库标记字段、分库规则和路由规则，对所述数据库表进行分库和分表。

10.如权利要求8或9所述的装置，其特征在于，所述管理策略包括配置数据库集群时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

为数据库分库后的每个子库分别配置一个集群，为每个集群分配多台数据库服务器，将每个集群下多台数据库服务器中至少一个服务器配置为主服务器，将主服务器以外其他服务器配置为从服务器。

11.如权利要求8或9所述的装置，其特征在于，所述管理策略包括配置数据库的读写分离时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

将数据库分库后的某一子库的读、写操作分别配置给该子库对应的不同类型的数据库服务器，所述数据库服务器的类型至少包括主服务器和从服务器。

12.如权利要求8或9所述的装置，其特征在于，所述管理策略包括配置数据库负载均衡规则时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

为数据库分库后各子库对应的数据库服务器分别配置权值，配置加权负载均衡策略。

13.如权利要求8或9所述的装置，其特征在于，所述管理策略包括配置数据库集群节点的可用性探测机制时，所述第二单元对分库分表操作后的数据库进行对应操作包括：

在本地维护数据库状态列表，其中，数据库状态列表中存储数据库分库后的所有子库的实时状态。