CN105354319A - 针对sn架构的mpp数据库集群的数据库连接池管理方法及系统 - Google Patents

Abstract

本发明实施例提供一种针对SN架构的MPP数据库集群的数据库连接池管理方法及系统，其中，所述方法包括：根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区；根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接；使所述缓存分区借出一个连接，并维护缓存分区的状态。本发明实施例能够针对SN架构的MPP数据库集群对数据库连接池进行有效管理，可以通过实现标准接口与现有应用无缝迁移，且相比传统数据库连接池性能有大幅提升，实现创建连接时的负载均衡，且能够自定义负载均衡策略。并高效解决基于SN架构大规模集群节点失效场景下，连接池释放失效连接问题。

Description

针对SN架构的MPP数据库集群的数据库连接池管理方法及系统

技术领域

本发明属于数据库技术领域，尤其是涉及一种针对SN架构的MPP数据库集群的数据库连接池管理方法及系统。

背景技术

数据库连接池是一种采用池化管理数据库连接资源，提高应用系统对数据库访问性能的技术。连接池的主要功能是负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个。现有技术中，通过释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。采用数据库连接池，可有效避免频繁的数据库连接的创建和关闭等耗时操作，能够明显提高对数据库访问的性能。

在大规模数据密集型系统中，数据通常分布在由多个相互独立的数据库组成的无共享结构的数据库集群系统中，基于SN(SHARED-NOTHING)架构的MPP(MassivelyParallelProcessing)数据库集群就是其中的一种，在集群系统中，数据的检索和查询往往涉及多个数据库中的数据的协同处理。数据库连接池是提高单个数据库实例连接管理和数据访问的有效途径。然而，在基于SN(SHARED-NOTHING)架构的MPP(MassivelyParallelProcessing)数据库集群中单个数据库连接池往往无法满足对多个数据库的协同访问。

发明内容

有鉴于此，本发明实施例提供了一种针对SN架构的MPP数据库集群的数据库连接池管理方法及系统，以针对SN架构的MPP数据库集群实现高效的具有负载均衡高可用的数据库连接缓存的目的。

第一方面，本发明实施例提供了一种针对SN架构的MPP数据库集群的数据库连接池管理方法，所述方法包括：

根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区；

根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接；

使所述缓存分区借出一个连接，并维护缓存分区的状态。

进一步的，在使所述缓存分区借出一个连接，并维护缓存分区的状态之后，还包括：

主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接。

进一步的，在将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接后，还包括：

在失效节点重新回到集群中后，连接池方法的缓存管理模块重新把对应的缓存分区状态设置为可用状态。

进一步的，所述根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接，包括：

根据应用程序所发起的连接数据请求，选取借出连接数最少的缓存分区供所述应用程序连接。

更进一步的，所述维护缓存分区的状态，包括：

根据最大连接数、最小连接数、最大空闲连接数、最小空闲连接数、最大空闲时间和初始化连接数维护当前缓存分区的功能。

第二方面，本发明实施例还提供了一种针对SN架构的MPP数据库集群的数据库连接池管理系统，所述系统包括：

缓存分区生成模块，用于根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区；

缓存分区选取模块，用于根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接；

状态维护模块，用于使所述缓存分区借出一个连接，并维护缓存分区的状态。

进一步的，所述系统还包括：

连接释放模块，用于主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接。

进一步的，所述系统还包括：

可用状态设置模块，用于在失效节点重新回到集群中后，连接池方法的缓存管理模块重新把对应的缓存分区状态设置为可用状态。

进一步的，所述缓存分区选取模块，用于：

根据应用程序所发起的连接数据请求，选取借出连接数最少的缓存分区供所述应用程序连接。

更进一步的，所述状态维护模块用于：

根据最大连接数、最小连接数、最大空闲连接数、最小空闲连接数、最大空闲时间和初始化连接数维护当前缓存分区的功能。

采用本发明实施例所提供的技术方案，能够针对SN架构的MPP数据库集群对数据库连接池进行有效管理，可以通过实现标准接口与现有应用无缝迁移，且相比传统数据库连接池性能有大幅提升，实现创建连接时的负载均衡，且能够自定义负载均衡策略。并高效解决基于SN架构大规模集群节点失效场景下，连接池释放失效连接问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例所提供的针对SN架构的MPP数据库集群的数据库连接池管理方法的流程示意图；

图2是本发明第二实施例所提供的针对SN架构的MPP数据库集群的数据库连接池管理方法的流程示意图；

图3是本发明第二实施例所提供的针对SN架构的MPP数据库集群的数据库连接池管理方法中总体功能架构示意图；

图4是本发明第二实施例所提供的针对SN架构的MPP数据库集群的数据库连接池管理方法中连接池方法功能分解示意图；

图5是本发明第三实施例提供的针对SN架构的MPP数据库集群的数据库连接池管理系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1示出本发明的第一实施例。

图1是本发明第一实施例提供的针对SN架构的MPP数据库集群的数据库连接池管理方法的流程示意图，本实施例的方法由针对SN架构的MPP数据库集群的数据库连接池管理系统来执行，可通过硬件和软件的方式实现，并集成于数据库集群中。

参见图1，所述针对SN架构的MPP数据库集群的数据库连接池管理方法，包括：

步骤S101，根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区。

在使用数据库连接池之前，需要对数据库连接池之进行初始化配置。具体的，需要根据SN架构的MPP数据库集群的节点进行配置。示例性的，所述据SN架构的MPP数据库集群为4节点数据库集群，每个节点的IP地址为：192.168.9.5,192.168.9.6,192.168.9.7,192.168.9.8。假设4个数据库节点都可以作为应用的接入点。配置数据库集群连接池对应的4个数据库集群的IP；初始化大小为8；最大空闲连接数40；最小空闲连接数12；负载均衡策略最小连接数优先；连接池根据配置的信息初始化4个缓存分区，缓存分区1～4分别对应节点1～4。

步骤S102，根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接。

应用程序需要访问根据据SN架构的MPP数据库集群时，应用程序向连接池申请一个连接，发出申请缓存分区请求。数据库连接池根据申请缓存分区请求，查看缓存分区的状态，寻找可用状态的缓存分区供应用程序连接。如果缓存分区都是可用状态，查询每个缓存分区的借出连接，从缓存分区中找一个借出连接最少的一个缓存分区，并将所述借出连接最少的一个缓存分区与应用程序建立连接。

步骤S103，使所述缓存分区借出一个连接，并维护缓存分区的状态。

在确定提供可用连接的缓存分区后，将所述缓存分区与应用程序建立一个借出连接，并记录借出连接的信息。并根据护缓存分区的状态，例如：根据最大连接数、最小连接数、最大空闲连接数、最小空闲连接数、最大空闲时间和初始化连接数维护当前缓存分区的功能。

本实施例能够针对SN架构的MPP数据库集群对数据库连接池进行有效管理，可以通过实现标准接口与现有应用无缝迁移，且相比传统数据库连接池性能有大幅提升。

在本实施例的一个优选实施方案中，数据库连接池选取提供可用连接的缓存分区供所述应用程序连接可以使用负载均衡策略来选取合适的缓存分区与应用程序连接。所述的负载均衡策略默认为数据库集群节点连接数最少者优先，也可以根据由用户根据流量或者空闲时间占比等重新调整优化策略，以能够实现创建连接时的负载均衡，且能够自定义负载均衡策略。

图2示出本发明的第二实施例。

图2是本发明第二实施例提供的针对SN架构的MPP数据库集群的数据库连接池管理方法的流程示意图。所述针对SN架构的MPP数据库集群的数据库连接池管理方法以本发明第一实施例为基础，进一步的，在使所述缓存分区借出一个连接，并维护缓存分区的状态之后，增加如下步骤：主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接；在失效节点重新回到集群中后，连接池方法的缓存管理模块重新把对应的缓存分区状态设置为可用状态。

图3是本发明第二实施例所提供的针对SN架构的MPP数据库集群的数据库连接池管理方法中总体功能架构示意图，图4是本发明第二实施例所提供的针对SN架构的MPP数据库集群的数据库连接池管理方法中连接池方法功能分解示意图；

参见图2、图3和图4，所述针对SN架构的MPP数据库集群的数据库连接池管理方法，包括：

步骤S201，根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区

步骤S202，根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接。

步骤S203，使所述缓存分区借出一个连接，并维护缓存分区的状态。

步骤S204，主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接。

数据库集群中可能会因为网络故障或其他原因使得数据库集群中的一个或多个节点无法连接或故障。当数据库集群一个节点失效，数据库连接池会感知数据库节点是否失效。具体的，感知数据库节点失效分两种方法一种定制探测，一种接收数据库集群软件的主动推送报告。所述定制探测是指设定一定的探测机制，例如依靠时间、事件或者访问要求等事项所定制的探测规律。数据库连接池根据所述探测机制实现对节点的感知。此外数据库集群节点会定时向数据库连接池报告当前节点的状态，依据集群节点推送报告，数据库连接池也能够感知节点是否失效。在确定数据库集群中某个节点失效后，数据库连接池方法把与所述节点对应的的缓存分区设置为不可用状态，且快速批量释放对应的缓存的失效连接

步骤S205，在失效节点重新回到集群中后，连接池方法的缓存管理模块重新把对应的缓存分区状态设置为可用状态。

当数据库连接池重新感知到集群的失效节点重新回到集群中后，数据库连接池方重新把与所述节点的缓存分区状态设置为可用状态。供应用程序连接。

本实施例通过在使所述缓存分区借出一个连接，并维护缓存分区的状态之后，增加如下步骤：主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接；在失效节点重新回到集群中后，数据库连接池重新把对应的缓存分区状态设置为可用状态。能够高效解决基于SN架构大规模集群节点失效场景下，连接池释放失效连接问题，并在所述失效节点重新恢复加入集群后，数据库连接池重新把对应的缓存分区状态设置为可用状态，使得所述缓存分区能够继续使用，提高了缓存分区的使用效率。

图5示出本发明第三实施例。

图5是本发明第三实施例提供的针对SN架构的MPP数据库集群的数据库连接池管理系统的结构示意图。

由图5可以看出，所述的针对SN架构的MPP数据库集群的数据库连接池管理系统包括：缓存分区生成模块310缓存分区选取模块320和状态维护模块330。

其中，所述缓存分区生成模块310，用于根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区；

所述缓存分区选取模块320，用于根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接；

所述状态维护模块330，用于使所述缓存分区借出一个连接，并维护缓存分区的状态。

进一步的，所述针对SN架构的MPP数据库集群的数据库连接池管理系统还包括：连接释放模块340。

其中，所述连接释放模块340，用于主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接。

进一步的，所述针对SN架构的MPP数据库集群的数据库连接池管理系统还包括：可用状态设置模块350。

其中，所述可用状态设置模块350，用于在失效节点重新回到集群中后，连接池方法的缓存管理模块重新把对应的缓存分区状态设置为可用状态。

进一步的，所述缓存分区选取模块320，用于：

根据应用程序所发起的连接数据请求，选取借出连接数最少的缓存分区供所述应用程序连接。

更进一步的，所述状态维护模块330用于：

根据最大连接数、最小连接数、最大空闲连接数、最小空闲连接数、最大空闲时间和初始化连接数维护当前缓存分区的功能。

上述针对SN架构的MPP数据库集群的数据库连接池管理系统，能够执行针对SN架构的MPP数据库集群的数据库连接池管理方法，具备方法执行的功能和有益效果。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种针对SN架构的MPP数据库集群的数据库连接池管理方法，其特征在于，所述方法包括：

根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区；

根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接；

使所述缓存分区借出一个连接，并维护缓存分区的状态。

2.根据权利要求1所述的方法，其特征在于，在使所述缓存分区借出一个连接，并维护缓存分区的状态之后，还包括：

主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接。

3.根据权利要求2所述的方法，其特征在于，在将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接后，还包括：

在失效节点重新回到集群中后，连接池方法的缓存管理模块重新把对应的缓存分区状态设置为可用状态。

4.根据权利要求1所述的方法，其特征在于：所述根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接，包括：

根据应用程序所发起的连接数据请求，选取借出连接数最少的缓存分区供所述应用程序连接。

5.根据权利要求1所述的方法，其特征在于，所述维护缓存分区的状态，包括：

根据最大连接数、最小连接数、最大空闲连接数、最小空闲连接数、最大空闲时间和初始化连接数维护当前缓存分区的功能。

6.一种针对SN架构的MPP数据库集群的数据库连接池管理系统，其特征在于，所述系统包括：

缓存分区生成模块，用于根据SN架构的MPP数据库集群的可连接节点信息初始化数据库连接池，生成缓存分区；

缓存分区选取模块，用于根据应用程序所发起的连接数据请求，选取提供可用连接的缓存分区供所述应用程序连接；

状态维护模块，用于使所述缓存分区借出一个连接，并维护缓存分区的状态。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

连接释放模块，用于主动感知或周期探测数据库集群各个节点的状态，在节点失效时，将失效节点对应的缓存分区设置为不可用状态并释放当前缓存分区的所有连接。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

可用状态设置模块，用于在失效节点重新回到集群中后，连接池方法的缓存管理模块重新把对应的缓存分区状态设置为可用状态。

9.根据权利要求7所述的系统，其特征在于，所述缓存分区选取模块，用于：

根据应用程序所发起的连接数据请求，选取借出连接数最少的缓存分区供所述应用程序连接。

10.根据权利要求6所述的系统，其特征在于，所述状态维护模块用于：

根据最大连接数、最小连接数、最大空闲连接数、最小空闲连接数、最大空闲时间和初始化连接数维护当前缓存分区的功能。