CN103905530A

CN103905530A - 一种高性能全局负载均衡的分布式数据库数据路由方法

Info

Publication number: CN103905530A
Application number: CN201410087175.0A
Authority: CN
Inventors: 郑伟波; 邬柏
Original assignee: Inspur Group Shandong General Software Co Ltd
Current assignee: Inspur Group Shandong General Software Co Ltd
Priority date: 2014-03-11
Filing date: 2014-03-11
Publication date: 2014-07-02

Abstract

本发明公开了一种高性能全局负载均衡的分布式数据库数据路由方法，涉及分布式数据库数据路由的领域。该方法包含数据的路由插入、路由查询以及分布式节点的数据管理三个部分：所述数据的路由插入中，通过对分布式节点的能效值计算以及散列算法确定数据插入的节点，所述的能效值计算的过程是将各节点能效指标对应的按照指标对应权值加权求和的过程，以所述散列算法确定数据插入的节点时，散列算法的取模基数为上述能效值之和，各节点的散列范围为对应的能效值的范围。与现有技术相比，本发明的数据库数据路由方法具有查询的性能高，能为分布式数据库集群全局带来负载均衡，同时，还能高效的管理各数据库节点等特点，具有很好的推广应用价值。

Description

一种高性能全局负载均衡的分布式数据库数据路由方法

技术领域

本发明涉及分布式数据库数据路由领域，具体地说是一种高性能全局负载均衡的分布式数据库数据路由方法。

背景技术

互联网信息的爆炸式增长，传统的关系型数据库的单库难以贮存海量的数据，需要将数据存储到分布式关系型数据库中。分布式数据库由多台物理独立的数据库服务器组成，旨在通过分布式解决单一数据节点的性能瓶颈问题。分布式数据库的数据路由方法包含有数据的路由插入、路由查询。路由插入是通过算法找到保存待插入数据的数据库节点，常用策略包括：根据ID值所属段决定插入节点、平均散落到所有数据节点以及轮询插入所有节点的方式。路由查询是通过算法找到给定主键的数据存储的位置。通常路由查询的方式和路由插入对应，常用的查询方式包括：通过ID区间确定节点并查询，通过平均散列算法确定数据节点并查询，通过索引/映射表确定主键所在数据节点并查询。

上述的分布式解决方案存在如下问题：

1. 通过索引和映射表确定数据路由的方法，每次查询进行都需要先查找路由表，容易使路由表节点成为系统瓶颈，造成系统性能低下。而由于路由表数据庞大，且数据更新较快，不容易通过缓存提高性能，广播路由表也不容易实现。

2. 通过自增主键的值所在范围进行数据路由，容易导致数据的插入或者访问集中在某一段数据区，这段数据区所属的节点容易成为系统热点访问区，并造成性能瓶颈。

3. 平均散列的数据路由方式，当节点增加时，由于散列基数改变，需要将数据库中所有数据重新路由插入，造成巨大的迁移代价，迁移期间需要全库扫描，而且系统整个是不可用的。同时每次查询都需要进行散列算法的计算，高并发情况下会消耗大量的CPU以及内存资源。

4. 散列不考虑各节点性能，不同性能的节点被插入数据的可能性是相同的，高配节点的性能优势无法得到发挥。

总而言之，目前需要本领域技术人员迫切解决的一个技术问题是：如何在保证全局负载均衡的情况下，高效的进行数据的路由插入以及查找。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种高性能全局负载均衡的分布式数据库数据路由方法。

本发明的技术任务是按以下方式实现的：一种高性能全局负载均衡的分布式数据库数据路由方法，其特点是包含数据的路由插入、路由查询以及分布式节点的数据管理三个部分：

所述数据的路由插入中，通过对分布式节点的能效值计算以及散列算法确定数据插入的节点，所述的能效值计算的过程是将各节点能效指标按照其相应权值加权求和的过程（即为结合各节点的服务器配置性能数据，并将性能数据按照条目对应权值进行计算，节点能效值=Σ(配置参数值*参数权值)），以所述散列算法确定数据插入的节点时，散列算法的取模基数为上述能效值之和，各节点的散列范围为对应的能效值的范围；

所述分布式节点的数据管理包括数据节点的录入，状态查看，节点的转移，节点不可用预警，主备自动切换，各分布式数据节点的实时状态采集，节点信息的广播。

进一步的，所述数据的路由插入包括以下步骤：

（1）根据待插入的数据的目的数据库表，查询配置主节点对应的该表可用数据库节点；

（2）根据（1）中确定的数据库节点的性能配置，分别计算分布式数据库各节点的能效值；

（3）将各分布式数据库节点的能效值相加，确定总的散列基数，并确定各节点所拥有的散列区间；

（4）为待插入数据生成UUID主键；

（5）将主键以（2）确定的散列基数进行散列，得到散列结果；

（6）确定（5）中确定的散列结果所属散列区间，并得到其区间所属节点；

（7）根据步骤（6）中确定的节点，将UUID主键中加入节点的信息；

（8）连接节点并插入重组后的主键的数据。

所述能效指标包括：CPU主频，CPU核心，CPU一级缓存，内存大小，内存频率，磁盘可用容量大小，磁盘转速，磁盘种类（固态、机械），磁盘缓存，服务器已经使用的时间，数据库累计保存的总数据量。

所述路由查询包括以下步骤：

（1）根据给定的主键ID，得到主键对应数据所在的节点；

（2）从配置主节点数据中，获取节点对应的数据库配置信息；

（3）连接相应的数据库并执行查询；

（4）将查询结果返回调用函数。

其中，根据主键ID获取对应节点的方法是使用正则匹配的方式；获取节点对应数据库配置信息的方法是根据步骤（1）中的节点编号获取节点对应的数据库连接信息以及用户名和密码。

数据节点的录入，状态查看，节点的转移，提供UI管理。可以通过管理界面增加节点以及相应的信息。

所述分布式数据节点的实时状态采集通过管理主节点周期性采集完成；采集的内容包括剩余磁盘容量，各个库以及表的已存储数据量；采集的对象是分布式数据库各节点。

所述的节点的实时状态包括可读可写，可读不可写，损坏：当磁盘可用存储低于舒适度阈值时，节点状态为可读可写；高于舒适度阈值低于安全警戒阈值时，节点状态为可读可写，但是会给管理员舒适度警告；高于安全警戒阈值时，节点状态为可读不可写，将会给管理员安全警戒警告邮件。

为了保证系统的高可用性，节点管理除了配置节点信息管理主节点，还设置有一个配置信息备选节点，并且设置了主备自动切换模块。所述主备自动切换包括管理节点的主备自动切换和分布式数据库节点的主备自动切换，管理节点的自动切换由备选管理主节点完成监测与切换，分布式数据库节点的主备自动切换由管理主节点完成监测和切换：

主节点正常工作时，备选节点和普通节点一样接收主节点的广播信息并及时更新本地缓存，当主节点工作异常（备选节点发现距离上次接收广播信息时间间隔超过可靠阈值），备选节点将和主节点进行存活性检测确认，确认存活失败，备选节点将接手主节点工作并邮件通知管理员。

所述节点信息的广播中，广播的内容是分布式数据库的节点信息，节点信息为权利要求1中所述的能效指标和权值；广播的发起者是管理主节点，接收广播的对象为应用服务器；应用服务器接收广播信息，并且更新本地的对广播内容的缓存；当进行能效值计算时，节点信息即为所述的广播的内容。

所述分布式节点的数据管理包括以下步骤：

（1）客户端节点绑定一个监听端口以及应用程序，接受配置主节点的分布式数据库配置信息；

（2）配置主节点提供UI，供管理员配置分布式数据库节点信息；

（3）配置主节点将周期性的采集分布式数据库各节点信息；

（4）配置主节点向客户端节点周期性广播分布式数据库节点信息；

（5）客户端节点监听程序接受广播信息并修改本地缓存的节点配置信息；

（6）客户端分布式路由插入以及分布式路由查询时，将按照本地缓存中的配置信息进行计算和路由。

优选的，对于步骤（2），UI提供节点能效参数配置以及修改，提供节点手动迁移功能，提供节点增加功能。

优选的，对于步骤（2），UI提供每个数据存储的两个热备份配置，提高系统可用性。

优选的，对于步骤（3），配置节点采集的信息包括磁盘可用空间大小和数据库累计存储数据量。

优选的，配置节点采集到磁盘可用空间占磁盘空间总百分比小于舒适度阈值时，将邮件报警管理员建议增加磁盘容量或者增加节点，当磁盘可用空间小于安全警戒阈值时，将会将节点状态变为可读不可写，并邮件通知管理员。

优选的，对于数据路由插入功能，可用节点只包含状态为可读并且可写的数据库节点。

优选的，对于数据路由查询功能，将轮询查询一台主机以及两台备份数据节点，提高系统可用性。

本发明的高性能全局负载均衡的分布式数据库数据路由方法与现有技术相比具有以下突出的有益效果：

（一）本发明能给整个数据路由带来高性能。查询和更新根据主键可以迅速定位到查询节点，无需经过附加的散列算法演算，提高性能。节点信息广播的方式能够防止对管理主节点的频繁访问造成的系统瓶颈。一主两备可以提高系统的可用性，防止因存储节点的宕机造成的数据丢失。

（二）数据存储节点增加无需任何数据迁移。由于节点信息贮存在散列主键上，因此节点增加不需要进行额外的数据迁移，给系统带来极高的可用性。

（三）数据路由插入时，系统散列不仅考虑可用节点数目，还会将可用节点的性能以及存储的饱和度纳入考量，这样既保证数据保存的散列特性，不会造成数据访问的热点区域，同时还能遵循“能者多劳”的思路，给高配节点数据散列的更高的可能性。这样可以带来数据路由以及访问的负载均衡。

（四）节点管理中的巧妙设计能高效的管理各数据库节点，配置管理主节点以及其备用节点的设置能防止单点故障造成的系统服务不可用。

附图说明

附图1是本发明方法中数据路由插入的流程图；

附图2是本发明方法中各个节点区间区分示意；

附图3是本发明方法中数据路由查询的流程图；

附图4是本发明方法中节点信息同步示意图。

具体实施方式

参照说明书附图以具体实施例对本发明的高性能全局负载均衡的分布式数据库数据路由方法作以下详细地说明。

实施例：

以下结合流程图描述一个数据路由插入的过程（如附图1所示）。

1.获取数据插入目标表的所有可用节点，本例中，待插入的数据表为Record，可用节点为X1,X2,X3,X4。

2.计算可用节点的能效值，能效值计算遵循如下因素：

	节点X1评分	权值	说明
				CPU	A	α	CPU功能：主频、核心数、一级缓存……
内存	B	β	内存大小、频率…
				磁盘容量	C	γ	磁盘可用容量大小
磁盘性能	D	δ	磁盘转速，磁盘种类（固态、机械），缓存
				服务器运行时间	E	-ε	服务器已经使用的时间
节点中表Record已经贮存数据量	F	-ζ	累计保存总数据量

则X1节点的能效值NE(X1)=A*α+B*β+C*γ+D*δ-E*ε-F*ζ；

依据本地缓存中数据插入目标表的所有可用节点，分别计算出各节点能效值NE(X2)、NE(X3)、NE(X4)；

3.计算并确定散列基数以及区间划分

散列基数为N=NE(X1)+NE(X2)+NE(X3)+NE(X4)，区间划分如附图2所示。

如果散列结果Y?[0,NE(X1))，则选择X1节点保存数据，如果Y?[NE(X1),NE(X1)+NE(X2)),则保存数据到节点X2上，同理属于[NE(X1)+NE(X2)，NE(X1)+NE(X2)+NE(X3))或者[NE(X1)+NE(X2)+NE(X3),NE(X1)+NE(X2)+NE(X3)+NE(X4)]则依次保存在节点X3或者X4上。

4.为待插入数据生成UUID主键为K，散列K到长度为N的区间中，散列结果为n,n?[NE(X1)+NE(X2)，NE(X1)+NE(X2)+NE(X3)),因此，确定节点X3为数据贮存节点。

5.新的ID主键为KX3。

6.根据节点信息数据，得到X3的数据库连接，库名，用户名以及密码，连接X3并执行插入操作。

以下结合流程图描述一个数据路由插入的过程（如附图3所示）。查询主键为KX3的数据，其过程为：

1.正则匹配出节点信息为X3.

2.从缓存中获取节点X3的数据库连接和数据库名，登录用户以及密码。

3.连接X3并执行查询。

4.返回查询结果集。

以下结合示意图描述一下节点信息管理的过程（如附图4所示）。节点管理实施过程如下：

1.系统管理员通过UI管理节点，添加节点，节点信息包括如下信息：

表2-1节点信息表

节点名称

CPU性能

内存性能

硬盘性能

硬盘容量

服役时间

备份节点1

备份节点2

X1

A1

B1

C1

D1

E1

X2

X6

X2

A2

B2

C2

D2

E2

X7

X4

X3

A3

B3

C3

D3

E3

X2

X5

..

表2-2节点与数据库对照关系中间表

节点名称

数据库名称

数据表名称

主键

Shardkey

已存数据量

数据库连接串

节点状态

X1

TestDB

Record1

T1Id

COUNT1

可读可写

X1

TestDB

Record2

T2Id

COUNT1

可读可写

X2

TestDB

Record1

T1Id

COUNT1

可读不可写

..

表2-3性能权值表

权值名	值	说明
			α	a1	CPU功能：主频、核心数、一级缓存……
β	b1	内存大小、频率…
			γ	c1	磁盘可用容量大小
δ	d1	磁盘转速，磁盘种类（固态、机械），缓存
			-ε	e1	服务器已经使用的时间
-ζ	f1	累计保存总数据量

表2-4系统安全阈值表

ID	选项名称	阈值	说明
				1	舒适度阈值	75%	小于此阈值系统容量舒适，可继续存储
2	安全警戒阈值	95%	大于此阈值，系统报警，会造成磁盘已满警告
				3	主节点存活性检测阈值	5000ms	备管理节点根据此值确定主节点正常工作

其中表2-1的磁盘容量和表2-2的已存数据量字段缺省是不需要管理员添加的，需要数据管理主节点实时从各分布式存储节点采集。表2-1的两个备份节点为必选选项。

2.管理主节点信息采集程序周期性的从分布式数据节点采集信息，采集的信息包括磁盘剩余容量和已存储数据容量。同时进行存活检测以及存活确认，分布式节点如果死亡，则及时通知管理员，并启动备份节点。磁盘剩余量大于表2-4的安全警戒阈值时，将邮件通知管理员并将表2-2中的节点状态改为可读不可写。

3.管理主节点信息广播程序周期性的广播表2-1,2-2,2-3。

4.客户端绑定监听端口，接收主节点广播，并及时修改本地缓存中的表信息。

5.管理备节点也接收广播信息，并及时及时监测主节点存活性，当距离主节点上次发送广播的时间超过表2-4中的主节点存活检测阈值时，管理备节点将会和主节点建立socket通信，确定主节点的存活性，如果主节点死亡，则备选节点会将自己变为主节点，接手主节点工作。并邮件通知管理员。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种高性能全局负载均衡的分布式数据库数据路由方法，其特征在于包含数据的路由插入、路由查询以及分布式节点的数据管理三个部分：

所述数据的路由插入中，通过对分布式节点的能效值计算以及散列算法确定数据插入的节点，所述的能效值计算的过程是将各节点能效指标按照相应权值加权求和的过程，以所述散列算法确定数据插入的节点时，散列算法的取模基数为上述能效值之和，各节点的散列范围为对应的能效值的范围；

2.根据权利要求1所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于数据的路由插入包括以下步骤：

（4）为待插入数据生成UUID主键；

（8）连接节点并插入重组后的主键的数据。

3.根据权利要求2所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于所述能效指标包括：CPU主频，CPU核心，CPU一级缓存，内存大小，内存频率，磁盘可用容量大小，磁盘转速，磁盘种类，磁盘缓存，服务器已经使用的时间，数据库累计保存的总数据量。

4.根据权利要求1所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于所述路由查询包括以下步骤：

（1）根据给定的主键ID，得到主键对应数据所在的节点；

（3）连接相应的数据库并执行查询；

（4）将查询结果返回调用函数。

5.根据权利要求4所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于根据主键ID获取对应节点的方法是使用正则匹配的方式；

获取节点对应数据库配置信息的方法是根据步骤（1）中的节点编号获取节点对应的数据库连接信息以及用户名和密码。

6.根据权利要求1所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于所述分布式数据节点的实时状态采集通过管理主节点周期性采集完成；采集的内容包括剩余磁盘容量，各个库以及表的已存储数据量；采集的对象是分布式数据库各节点。

7.根据权利要求6所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于所述的节点的实时状态包括可读可写，可读不可写，损坏：当磁盘可用存储低于舒适度阈值时，节点状态为可读可写；高于舒适度阈值低于安全警戒阈值时，节点状态为可读可写，但是会给管理员舒适度警告；高于安全警戒阈值时，节点状态为可读不可写，将会给管理员安全警戒警告邮件。

8.根据权利要求1所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于所述主备自动切换包括管理节点的主备自动切换和分布式数据库节点的主备自动切换，管理节点的自动切换由备选管理主节点完成监测与切换，分布式数据库节点的主备自动切换由管理主节点完成监测和切换：

主节点正常工作时，备选节点和普通节点一样接收主节点的广播信息并及时更新本地缓存，当主节点工作异常，备选节点将和主节点进行存活性检测确认，确认存活失败，备选节点将接手主节点工作并邮件通知管理员。

9.根据权利要求1所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于所述节点信息的广播中，广播的内容是分布式数据库的节点信息，节点信息为权利要求1中所述的能效指标和权值；广播的发起者是管理主节点，接收广播的对象为应用服务器；应用服务器接收广播信息，并且更新本地的对广播内容的缓存；当进行能效值计算时，节点信息即为所述的广播的内容。

10.根据权利要求1所述的高性能全局负载均衡的分布式数据库数据路由方法，其特征在于所述分布式节点的数据管理包括以下步骤：

（3）配置主节点将周期性的采集分布式数据库各节点信息；