CN105511966A - 一种用于数据库集群业务分割优化的方法和系统 - Google Patents

Abstract

本发明提供一种用于数据库集群业务分割优化的方法，在至少两个用于数据库集群业务运行的服务器上实现，包括指定一服务器为主节点以及指定除主节点之外的服务器为从节点，并获取主节点当前CPU负载能力及其所含等待服务；当主节点当前CPU负载能力大于预设的第一阈值时，则根据主节点等待服务，确定主节点的服务亲和度矩阵并计算，且待计算值小于预设的第二阈值时，将主节点等待服务动态扩展至从节点上；其中，服务亲和度矩阵为由当前节点各服务之间的亲和度形成，且亲和度为当前节点各服务对不同实例之间同一对象的加锁次数。实施本发明，能够优化业务分割，减少系统内部资源争用，提高业务运行速度，提升用户体验。

Description

一种用于数据库集群业务分割优化的方法和系统

技术领域

本发明涉及数据库技术领域，尤其涉及一种用于数据库集群业务分割优化的方法和系统。

背景技术

数据库技术的发展一直为企业信息化的进程提供了坚实的基础，是IT基础设施建设的关键领域，而随着企业级应用的数据积累以及需求的发展，导致了应用对数据库处理能力的需求逐年增加。在单一主机的性能无法满足大量业务请求的场景下，集群数据库为企业应用横向扩展提供了及时的支持，其在满足企业业务系统的性能和可扩展性需求的同时，还具备了高可用性，因而在企业关键业务系统中逐渐成为了标准配置。

随着集群数据库的大量应用，单个集群中的节点数量也相应增加，而由于集群数据库的基本原理，导致当不同的节点请求相同的数据块时会发生内存融合（CacheFusion），即通过节点间的私有网络进行节点内存的数据交换，由此产生GC（globalcache）类的等待事件也逐渐成为集群数据库的首要问题。尤其是，当节点数较多，而在多个节点上的业务请求同时访问相同数据的场景下，GC等待往往经常出现在前5位等待事件中，成为系统的主要瓶颈。

目前，针对上述问题的优化方法为从应用的角度下手，将业务进行分割。分割的依据主要是从数据这个维度来考虑，原则是让不同的子业务系统使用的数据尽量没有交集。当这些子业务分布到不同的数据库节点上时，分别在各自运行的节点上访问自己相对私有的数据，就会最大限度的避免内存融合的发生，从根本上解决了GC等待的问题。

但是，以上的场景是比较理想化的情况，真实的应用系统中往往做不到完全没有依赖的业务分割。

发明内容

本发明实施例所要解决的技术问题在于，提供一种用于数据库集群业务分割优化的方法和系统，能够优化业务分割，减少系统内部资源争用，提高业务运行速度，提升用户体验。

为了解决上述技术问题，本发明实施例提供了一种用于数据库集群业务分割优化的方法，其在至少两个用于数据库集群业务运行的服务器上实现，所述方法包括：

a、指定一服务器为主节点以及指定除所述主节点之外的服务器为从节点，并获取所述主节点当前CPU负载能力及其数据库集群业务运行中所含等待服务；

b、当所述获取到的主节点当前CPU负载能力大于预设的第一阈值时，则根据所述获取到的主节点等待服务，确定主节点的服务亲和度矩阵并计算，且待所述主节点的服务亲和度矩阵的计算值小于预设的第二阈值时，将所述获取到的主节点等待服务动态扩展至所述从节点上；其中，所述服务亲和度矩阵为由当前节点各服务之间的亲和度形成，且所述亲和度为当前节点各服务对不同实例之间同一对象的加锁次数。

其中，所述方法进一步包括：

当所述获取到的主节点当前CPU负载能力小于预设的第三阈值时，则所述获取到的主节点等待服务依据一定比例迁移至所述主节点上。

其中，所述步骤b还包括：

待所述主节点的服务亲和度矩阵的计算值大于预设的第四阈值时，获取每一从节点分别对应的等待服务，且进一步根据所述获取到的每一从节点分别对应的等待服务，得到每一从节点的服务亲和度矩阵并计算；

当任一从节点的服务亲和度矩阵的计算值大于所述预设的第四阈值时，则将所述计算值大于所述预设的第四阈值的从节点作为第一耦合节点，则将所述主节点与所述第一耦合节点之间的共享数据打散，实现所述主节点与所述第一耦合节点之间等待服务进行解耦。

其中，所述方法进一步包括：

当任一从节点的服务亲和度矩阵的计算值小于所述预设的第二阈值时，则将所述计算值小于所述预设的第二阈值的从节点作为第二耦合节点，并获取所述第二耦合节点当前CPU负载能力；

待所述获取到的第二耦合节点当前CPU负载能力小于所述预设的第三阈值时，则将所述获取到的第二耦合节点等待服务依据一定比例迁移至所述耦合节点上；

待所述获取到的第二耦合节点当前CPU负载能力大于所述预设的第一阈值时，则将所述获取到的第二耦合节点等待服务依据一定比例迁移至所述主节点上。

其中，所述服务亲和度矩阵为三角矩阵。

其中，所述CPU负载能力及等待服务均可通过数据库底层视图采集获得。

其中，所述预设的第一阈值为85%；所述预设的第三阈值为50%。

其中，所述预设的第二阈值为数据库系统亲和性指标平均值的20%；所述预设的第四阈值为所述数据库系统亲和性指标平均值的30%。

本发明实施例还提供了一种用于数据库集群业务分割优化的系统，其在至少两个用于数据库集群业务运行的服务器上实现，所述系统包括：

负载及等待服务获取单元，用于指定一服务器为主节点以及指定除所述主节点之外的服务器为从节点，并获取所述主节点当前CPU负载能力及其数据库集群业务运行中所含等待服务；

服务扩展单元，用于当所述获取到的主节点当前CPU负载能力大于预设的第一阈值时，则根据所述获取到的主节点等待服务，确定主节点的服务亲和度矩阵并计算，且待所述主节点的服务亲和度矩阵的计算值小于预设的第二阈值时，将所述获取到的主节点等待服务动态扩展至所述从节点上；其中，所述服务亲和度矩阵为由当前节点各服务之间的亲和度形成，且所述亲和度为当前节点各服务对不同实例之间同一对象的加锁次数。

其中，所述系统还包括：

服务迁移单元，用于当所述获取到的主节点当前CPU负载能力小于预设的第一阈值时，则所述获取到的主节点等待服务依据一定比例迁移至所述主节点上。

实施本发明实施例，具有如下有益效果：

在本发明实施例中，由于根据各节点服务器的CPU负载能力及其所含等待服务，自定义各节点服务器的服务亲和度矩阵，对任何存在资源争用的等待服务，能够快速及时的给出服务调整建议，从而达到优化业务分割，减少系统内部资源争用，提高业务运行速度，提升用户体验的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的一种用于数据库集群业务分割优化的方法的流程图；

图2为本发明实施例提供的一种用于数据库集群业务分割优化的系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提供的一种用于数据库集群业务分割优化的方法，其在至少两个用于数据库集群业务运行的服务器上实现，所述方法包括：

步骤S1、指定一服务器为主节点以及指定除所述主节点之外的服务器为从节点，并获取所述主节点当前CPU负载能力及其数据库集群业务运行中所含等待服务；

具体过程为，指定数据库集群业务的主从服务器并分别作为主从节点，而衡量各节点是否能动态容纳服务的主要指标为各节点是否有足够的处理能力，即包括负载能力及各服务的等待事件。应当说明的是，各节点的CPU负载能力及等待服务均可通过数据库底层视图采集获得，且在一定时间间隔内获得，如15s。

因此，首先要获取主节点CPU负载能力及等待服务，待评估主节点具体处理能力（即主机负载）后，才能进行下一步对存在资源争用的等待服务，快速及时的给出调整建议。

步骤S2、当所述获取到的主节点当前CPU负载能力大于预设的第一阈值时，则根据所述获取到的主节点等待服务，确定主节点的服务亲和度矩阵并计算，且待所述主节点的服务亲和度矩阵的计算值小于预设的第二阈值时，将所述获取到的主节点等待服务动态扩展至所述从节点上；其中，所述服务亲和度矩阵为由当前节点各服务之间的亲和度形成，且所述亲和度为当前节点各服务对不同实例之间同一对象的加锁次数。

具体过程为，业务分割的主要目标是提高多节点集群数据库系统的综合处理能力，并确保业务系统的响应时间满足业务需求。特别是在主节点主机负载繁忙时，为了达到上述目标就应确保业务系统之间的松耦合，而业务系统之间的耦合程度需要通过自定义的服务亲和度矩阵计算获得。

因此，当主节点CPU负载能力处于繁忙状态时，即主节点当前CPU负载能力大于预设的第一阈值（如85%），根据主节点的等待服务，自定义主节点的服务亲和度矩阵；其中，服务亲和度矩阵为由各服务之间的亲和度形成，且亲和度为各服务对不同实例之间同一对象的加锁次数，每次同时对同一对象进行一次加锁，则亲和度加一。

如果主节点的服务亲和度矩阵的计算值小于预设的第二阈值（如计算值小于数据库系统亲和性指标平均值的20%），认为服务之间为松耦合，则服务可进行水平横向扩展，从而将主节点等待服务动态扩展至从节点上。

应当说明的是，数据库系统亲和性指标平均值是通过数据库自动统计出来的。

在一个实施例中，该服务亲和度矩阵为三角矩阵，通过表1得到：

表1：

	服务1	服务2	服务3	…..	服务N
						服务1	L11	L12	L13	…	L1N
服务2		L22	L23	…	L2N
						服务3			L33	…	L3N
……				…	……
						服务N					LNN

相对于步骤S2的松耦合，所述方法还包括：步骤S3、当主节点CPU负载能力处于繁忙状态时，如果主节点的服务亲和度矩阵的计算值大于预设的第四阈值（如计算值大于数据库系统亲和性指标平均值的30%），认为服务之间为紧耦合，则服务之间应该进行解耦，以提高数据库系统的业务响应能力并降低服务的响应时间，因此需要对各从节点的等待服务进行定义对应的服务亲和度矩阵并计算，且进一步根据各从节点的计算值来快速及时的调整服务，具体步骤如下：

步骤S31、待所述主节点的服务亲和度矩阵的计算值大于预设的第四阈值时，获取每一从节点分别对应的等待服务，且进一步根据所述获取到的每一从节点分别对应的等待服务，得到每一从节点的服务亲和度矩阵并计算；

具体为，主节点CPU负载能力处于繁忙状态时，主节点服务之间为紧耦合，此时，为了提供业务处理能力和响应时间，需要根据每一从节点的服务亲和度矩阵的计算值来进一步判别各从节点服务之间的耦合度对服务进行调整。

步骤S32、当任一从节点的服务亲和度矩阵的计算值大于所述预设的第四阈值时，则将所述计算值大于所述预设的第四阈值的从节点作为第一耦合节点，则将所述主节点与所述第一耦合节点之间的共享数据打散，实现所述主节点与所述第一耦合节点之间等待服务进行解耦；

具体为，当任一从节点的计算值大于预设的第四阈值时，此时主节点服务之间以及该从节点服务之间同时为紧耦合，说明该紧耦合从节点与主节点同时处理多个业务系统，需要将主节点与该紧耦合从节点之间的共享数据进行打散，便于多个业务系统的解耦。

步骤S33、当任一从节点的服务亲和度矩阵的计算值小于所述预设的第二阈值时，则将所述计算值小于所述预设的第二阈值的从节点作为第二耦合节点，并获取所述第二耦合节点当前CPU负载能力；

待所述获取到的第二耦合节点当前CPU负载能力小于所述预设的第三阈值时，则将所述获取到的第二耦合节点等待服务依据一定比例迁移至所述耦合节点上；

待所述获取到的第二耦合节点当前CPU负载能力大于所述预设的第一阈值时，则将所述获取到的第二耦合节点等待服务依据一定比例迁移至所述主节点上。

具体为，主节点服务之间为紧耦合，而此时存在某一从节点服务之间为松耦合，则需根据该松耦合从节点的CPU处理能力对其上的服务进行重新分配或调整。当该松耦合从节点的CPU负载能力小于预设的第三阈值时（即该松耦合从节点的CPU空闲），则将该松耦合从节点的等待服务依据一定比例迁移至其上处理，以便加快数据处理速度；而当该松耦合从节点的CPU负载能力大于预设的第一阈值时（即该松耦合从节点的CPU繁忙），则将该松耦合从节点的等待服务依据一定比例迁移至主节点上，说明该松耦合从节点与主节点处理同一业务系统，只需将该业务系统从多个从节点上进行收缩，以确保该业务系统的响应时间，并满足该业务系统需求。

相对于上述主节点CPU负载能力处于繁忙状态时的处理能力，当主节点CPU负载能力处于空闲状态时，只需将等待服务提取进行处理即可，因此所述方法进一步包括：

当所述获取到的主节点当前CPU负载能力小于预设的第三阈值时，则所述获取到的主节点等待服务依据一定比例迁移至所述主节点上。

如图2所示，为本发明实施例中，提供的一种用于数据库集群业务分割优化的系统，其在至少两个用于数据库集群业务运行的服务器上实现，所述系统包括：

负载及等待服务获取单元210，用于指定一服务器为主节点以及指定除所述主节点之外的服务器为从节点，并获取所述主节点当前CPU负载能力及其数据库集群业务运行中所含等待服务；

服务扩展单元220，用于当所述获取到的主节点当前CPU负载能力大于预设的第一阈值时，则根据所述获取到的主节点等待服务，确定主节点的服务亲和度矩阵并计算，且待所述主节点的服务亲和度矩阵的计算值小于预设的第二阈值时，将所述获取到的主节点等待服务动态扩展至所述从节点上；其中，所述服务亲和度矩阵为由当前节点各服务之间的亲和度形成，且所述亲和度为当前节点各服务对不同实例之间同一对象的加锁次数。

其中，所述系统还包括：

服务迁移单元230，用于当所述获取到的主节点当前CPU负载能力小于预设的第一阈值时，则所述获取到的主节点等待服务依据一定比例迁移至所述主节点上。

实施本发明实施例，具有如下有益效果：

在本发明实施例中，由于根据各节点服务器的CPU负载能力及其所含等待服务，自定义各节点服务器的服务亲和度矩阵，对任何存在资源争用的等待服务，能够快速及时的给出服务调整建议，从而达到优化业务分割，减少系统内部资源争用，提高业务运行速度，提升用户体验的目的。

值得注意的是，上述系统实施例中，所包括的各个系统单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种用于数据库集群业务分割优化的方法，其特征在于，其在至少两个用于数据库集群业务运行的服务器上实现，所述方法包括：

a、指定一服务器为主节点以及指定除所述主节点之外的服务器为从节点，并获取所述主节点当前CPU负载能力及其数据库集群业务运行中所含等待服务；

b、当所述获取到的主节点当前CPU负载能力大于预设的第一阈值时，则根据所述获取到的主节点等待服务，确定主节点的服务亲和度矩阵并计算，且待所述主节点的服务亲和度矩阵的计算值小于预设的第二阈值时，将所述获取到的主节点等待服务动态扩展至所述从节点上；其中，所述服务亲和度矩阵为由当前节点各服务之间的亲和度形成，且所述亲和度为当前节点各服务对不同实例之间同一对象的加锁次数。

2.如权利要求1所述的方法，其特征在于，所述方法进一步包括：

当所述获取到的主节点当前CPU负载能力小于预设的第三阈值时，则所述获取到的主节点等待服务依据一定比例迁移至所述主节点上。

3.如权利要求1所述的方法，其特征在于，所述步骤b还包括：

待所述主节点的服务亲和度矩阵的计算值大于预设的第四阈值时，获取每一从节点分别对应的等待服务，且进一步根据所述获取到的每一从节点分别对应的等待服务，得到每一从节点的服务亲和度矩阵并计算；

当任一从节点的服务亲和度矩阵的计算值大于所述预设的第四阈值时，则将所述计算值大于所述预设的第四阈值的从节点作为第一耦合节点，则将所述主节点与所述第一耦合节点之间的共享数据打散，实现所述主节点与所述第一耦合节点之间等待服务进行解耦。

4.如权利要求3所述的方法，其特征在于，所述方法进一步包括：

当任一从节点的服务亲和度矩阵的计算值小于所述预设的第二阈值时，则将所述计算值小于所述预设的第二阈值的从节点作为第二耦合节点，并获取所述第二耦合节点当前CPU负载能力；

待所述获取到的第二耦合节点当前CPU负载能力小于所述预设的第三阈值时，则将所述获取到的第二耦合节点等待服务依据一定比例迁移至所述耦合节点上；

待所述获取到的第二耦合节点当前CPU负载能力大于所述预设的第一阈值时，则将所述获取到的第二耦合节点等待服务依据一定比例迁移至所述主节点上。

5.如权利要求1、3-4中任一项所述的方法，其特征在于，所述服务亲和度矩阵为三角矩阵。

6.如权利要求1、3-4中任一项所述的方法，其特征在于，所述CPU负载能力及等待服务均可通过数据库底层视图采集获得。

7.如权利要求1、3-4中任一项所述的方法，其特征在于，所述预设的第一阈值为85%；所述预设的第三阈值为50%。

8.如权利要求1、3-4中任一项所述的方法，其特征在于，所述预设的第二阈值为数据库系统亲和性指标平均值的20%；所述预设的第四阈值为所述数据库系统亲和性指标平均值的30%。

9.一种用于数据库集群业务分割优化的系统，其特征在于，其在至少两个用于数据库集群业务运行的服务器上实现，所述系统包括：

负载及等待服务获取单元，用于指定一服务器为主节点以及指定除所述主节点之外的服务器为从节点，并获取所述主节点当前CPU负载能力及其数据库集群业务运行中所含等待服务；

服务扩展单元，用于当所述获取到的主节点当前CPU负载能力大于预设的第一阈值时，则根据所述获取到的主节点等待服务，确定主节点的服务亲和度矩阵并计算，且待所述主节点的服务亲和度矩阵的计算值小于预设的第二阈值时，将所述获取到的主节点等待服务动态扩展至所述从节点上；其中，所述服务亲和度矩阵为由当前节点各服务之间的亲和度形成，且所述亲和度为当前节点各服务对不同实例之间同一对象的加锁次数。

10.如权利要求9所述的系统，其特征在于，所述系统还包括：

服务迁移单元，用于当所述获取到的主节点当前CPU负载能力小于预设的第一阈值时，则所述获取到的主节点等待服务依据一定比例迁移至所述主节点上。