CN105302692A - 基于内外参数的数据库连接池监控和管理的方法和装置 - Google Patents

Abstract

本发明公开了一种基于内外参数的数据库连接池监控和管理的方法和装置，其中，基于内外参数的数据库连接池监控和管理的方法，包括监测数据库服务器的外部参数，对数据库服务器繁忙程度进行初步判断的步骤，获取数据库连接上SQL语句的平均连接吞吐量和数据库连接池连接的空闲时间比的步骤；以及接收到应用获取数据库连接请求时，根据上述获取的平均连接吞吐量和空闲时间比，按照MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数,并根据业务高峰自动调整MaxIdleTime初始值，返回给应用使用的步骤。达到避免数据库连接资源浪费的目的。

Description

基于内外参数的数据库连接池监控和管理的方法和装置

技术领域

本发明涉及数据库管理领域，具体地，涉及一种基于内外参数的数据库连接池监控和管理的方法和装置。

背景技术

随着互联网业务的增长，系统的交易量随之增长，系统处理压力增大，数据库操作的瓶颈开始显现。对于数据库的操作，数据库连接资源的管理非常重要。如果数据库连接资源能够多维度监控并合理的分配和管理，则可以有效的提升数据库的操作效率。现有的应用系统通常使用数据库连接池对数据库连接资源进行管理。目前，数据库连接池主要有以下不足：

1、数据库连接池的监控单一。现有的数据库连接池仅针对数据库的连接是否被占用进行监控。如果数据库连接已被应用（某个线程）占用，则该连接不能被其他应用操作（线程）使用，此时连接池认为该数据库连接繁忙。然而，该占用的数据库连接的数据操作可能并不频繁，以致此时数据库的访问压力并不大，实际上不需要创建新的数据库连接以提高效率。其次MaxIdleTime（最大空闲时间）空闲的连接超时后才被回收,空闲时间较长，监控单一造成资源不能及时释放。因此，数据库连接的监控机制单一，导致数据库连接资源浪费。

2、数据库连接池分配规则单一,不够有效。传统的数据库连接池包含连接数最大值（MAX）和初始值（INIT）两个参数。如果此时交易量峰值到来，数据库连接池连接很快就把连接占用，必须等数据库操作完或者是连接超时时才能释放，很容易造成数据库连接不够用。数据库的连接数管理不够合理，不够灵活、有效。其次初始值（INIT）长时间不用也是造成连接资源的浪费。

发明内容

本发明的目的在于，针对上述问题，提出一种基于内外参数的数据库连接池监控和管理的方法和装置，以实现避免数据库连接资源浪费的优点。

为实现上述目的，本发明采用的技术方案是：

一种基于内外参数的数据库连接池监控和管理的方法，包括监测数据库服务器的外部参数，对数据库服务器繁忙程度进行初步判断的步骤；

获取数据库连接上SQL语句的平均连接吞吐量和数据库连接池连接的空闲时间比的步骤；

以及

接收到应用获取数据库连接请求时，根据上述获取的平均连接吞吐量和空闲时间比，按照MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数,并根据业务高峰自动调整连接池的最大连接数和MaxIdleTime（最大空闲时间）初始值，返回给应用使用的步骤。

优选的，所述数据库连接池连接的空闲时间比为，根据SQL语句的提交时间和返回时间记录SQL语句的处理时间和空闲时间，根据SQL语句的处理时间和空闲时间计算得出。

优选的，还包括，将上述平均连接吞吐量与设定的平均连接吞吐量阀值相比较的步骤，如获取的平均连接吞吐量大于设定的平均连接吞吐量阀值，则认为数据库连接繁忙；如果获取的平均连接吞吐量小于该设定的平均连接吞吐量阀值，则认为数据库连接不繁忙；

以及将上述获取的空闲时间比与设定的空闲时间比阀值相比较的步骤，如获取的空闲时间比小于设定的空闲时间比阀值，说明数据库连接压力较大；如果获取的空闲时间比大于设定的空闲时间比阀值，说明数据库连接当前压力较小。

优选的，所述MAX管理参数分发策略，具体为根据上述平均连接吞吐量和空闲时间比组合形成公式、决策树或规则引擎，并根据形成的公式、决策树或规则引擎分配数据库连接。

优选的，所述数据库服务器的外部参数包括，数据库服务器已被使用的连接数和数据库服务器的硬件资源利用率。

优选的，形成的公式具体为：

V=V1*a+V2*b+V3*c+V4*d+V5*e+V6*f

a、b、c、d、e、f是各个参数的权重，V1代表平均连接吞吐量，V2代表空闲时间比，V3、V4、V5和V6代表监测数据库服务器的外部参数，如果V大于0就增加连接，如V小于0就减少连接。

同时本发明技术方案还公开了一种基于内外参数的数据库连接池监控和管理装置，包括监控模块和连接池管理模块，

所述监控模块，监控数据库服务器的外部参数，以及数据库连接上SQL语句的平均连接吞吐量和数据库连接池连接的空闲时间比；

所述连接池管理模块，接收应用的获取数据库连接请求，并从监控模块获取监控数据，按照MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数，并根据业务高峰自动调整连接池的最大连接数和MaxIdleTime初始值，返回给应用使用。

优选的，所述数据库连接池连接的空闲时间比为，根据SQL语句的提交时间和返回时间记录SQL语句的处理时间和空闲时间，根据SQL语句的处理时间和空闲时间计算得出。

优选的，所述监控模块，将平均连接吞吐量与设定的平均连接吞吐量阀值相比较，如获取的平均连接吞吐量大于设定的平均连接吞吐量阀值，则认为数据库连接繁忙；如果获取的平均连接吞吐量小于该设定的平均连接吞吐量阀值，则认为数据库连接不繁忙；

以及将上述获取的空闲时间比与设定的空闲时间比阀值相比较，如获取的空闲时间比小于设定的空闲时间比阀值，说明数据库连接压力较大；如果获取的空闲时间比大于设定的空闲时间比阀值，说明数据库连接当前压力较小。

优选的，所述MAX管理参数分发策略，具体为根据上述平均连接吞吐量和空闲时间比组合形成公式、决策树或规则引擎，并根据形成的公式、决策树或规则引擎分配数据库连接。

本发明的技术方案具有以下有益效果：

本发明的技术方案，通过对平均连接吞吐量和空闲时间比进行监控，对数据库连接进行多维度监控，从而准确的掌握数据库的繁忙程度，从而利用数据库的连接资源，而利用MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数，避免数据库最小激活连接数（INIT）设置太大造成资源浪费，设置太小又没有什么意义，本技术方案把INIT参数去掉，当应用使用数据库连接时就创立连接，不使用数据库连接时就释放连接。达到了避免数据库连接资源浪费的目的。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例所述的数据库连接池监控和管理装置的原理框图；

图2为本发明实施例所述的采用现有技术的数据库连接分配示意图；

图3为本发明实施例所述的采用本发明技术方案的数据库连接分配示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

一种基于内外参数的数据库连接池监控和管理的方法，包括

监测数据库服务器的外部参数，对数据库服务器繁忙程度进行初步判断的步骤；

获取数据库连接上SQL语句的平均连接吞吐量和数据库连接池连接的空闲时间比的步骤；

以及

接收到应用获取数据库连接请求时，根据上述获取的平均连接吞吐量和空闲时间比，按照MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数,并根据业务高峰自动调整连接池的最大连接数和MaxIdleTime初始值，返回给应用使用的步骤。

数据库连接池连接的空闲时间比为，根据SQL语句的提交时间和返回时间记录SQL语句的处理时间和空闲时间，根据SQL语句的处理时间和空闲时间计算得出。

如图1所示，一种数据库连接池监控和管理装置，括监控模块和连接池管理模块，

其中：监控模块，对数据库连接和硬件资源进行多维度监控，得出监控数据。同时接收连接池管理模块的申请请求，通过监控结果，将监控数据返回给连接池管理模块。

监控模块监控的数据具体为，监控数据库连接上SQL语句的平均连接吞吐量（QPS）。

统计数据库平均连接的QPS。QPS等于一分钟内数据库连接提交的sql语句数/60s/连接数

平均连接统计QPS大于某个阈值，例如：30sql/s，则认为数据库连接繁忙；如果小于该阈值，例如：30sql/s，则认为数据库连接就不繁忙。

监控数据库连接池连接的空闲时间比（大事务场景）。

根据SQL的提交时间和返回时间记录SQL的处理时间和空闲时间，计算空闲时间比。

空闲时间比=空闲时间/总时间。如果空闲时间比小于某个阈值，例如：30%，说明系统数据库连接压力较大；如果空闲时间比大于某个阈值，例如：30%，说明数据库连接当前压力较小。

空闲时间如下：

|______数据操作_____|__空闲时间__|______数据操作_____|__空闲时间__|。

平均连接吞吐量和空闲时间比为数据库的内部参数。

监控的外部参数如下：

1、数据库服务器已被使用的连接数：

监控数据库的连接数作为进一步判断数据库连接繁忙程度的依据。当数据库启动时初始化是最大连接数是静态的，这个最大静态数据库连接数在动态使用时并不能说明就是最大值，它肯定比这个静态的最大值要小，这个是全局的最大值。监控数据库连接数没有达到数据库动态连接数最大值，继续分配资源。已经达到动态连接数最大值就不再分配数据库连接。

2、数据库服务器的硬件资源利用率：

硬件资源利用率包括但不限于以下几种：

CPU资源：多核整体利用率大于70%，则认为系统繁忙；

内存资源：数据库进程内存大于80%；则认为系统繁忙；

磁盘IO资源：监控磁盘的磁盘繁忙程度的（DISKBUSY），如果大于60%以上，则认为系统繁忙。

如果监控上述指标，发现服务器硬件资源利用率不高，说明服务器资源有富余。那么应用系统就可以创建和使用更多的数据库连接，从而提高应用系统的业务处理能力。

连接池管理模块，连接池管理模块，负责连接池的管理和MAX管理参数分发策略。连接池管理模块收到应用的获取数据库连接请求，从监控模块获取取监控数据，按照MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数,并根据业务高峰自动调整连接池的最大连接数和MaxIdleTime初始值，返回给应用使用。

MAX管理参数分发策略具体如下：它是根据上面QPS和空闲时间比2组数据组合形成一个公式、决策树或规则引擎。这两个参数有相互作用的关系，要是qps参数繁忙，分配连接。要是qps不繁忙就看空闲时间比。

例如公式如下:

V=V1*a+V2*b+V3*c+V4*d+V5*e+V6*f

a、b、c、d、e、f是各个参数的权重，V1代表平均连接吞吐量，V2代表空闲时间比，V3、V4、V5和V6代表监测数据库服务器的外部参数，如果V大于0就增加连接，如V小于0就减少连接。

V是一个值大于0就增加连接，要是小于0就减少连接。后面的a、b就是各个参数的权重，这些权重可以用专家调查权重法表决。

决策树（DecisionTree）是一种简单但是广泛使用的分类器。通过训练数据构建决策树，可以高效的对未知的数据进行分类。决策数有两大优点：1）决策树模型可以读性好，具有描述性，有助于人工分析；2）效率高，决策树只需要一次构建，反复使用，每一次预测的最大计算次数不超过决策树的深度。

规则引擎由推理引擎发展而来，是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。接受数据输入，解释业务规则，并根据规则做出业务决策。

以下结合具体的实施例对本发明的技术方案进行说明：

如果一台数据库能启动120个连接，那么动态连接数最大不能超过100个，分给10个应用使用。如果使用现有的数据库连接池方式那么最大连数据库接数（Max）是10个。当每个应用同时有10个线程同时使用那么100个数据库连接就光了。如图2所示，图2中MAX=10，数据库服务器总的连接数不变。

使用本发明技术方案后，分给10个应用使用，根据MAX管理参数分发策略这10个应用中的MAX值可以设置成比10大（如MAX=15），根据监控发现数据库服务器硬件资源利用率不高，说明服务器资源有富余。那么应用系统就可以创建和使用更多的数据库连接，这样有的应用实际连接数比平均连接数要大(如MAX=15)，有的应用实际连接数比平均连接数要小如MAX=7，但是总的数据库连接数不能超过100，充分体现数据库连接数分配合理性，忙得应用可以得到更多连接，不忙得应用使用连接更少，其次根据内部参数规则使使数据库连接处理能力利用率比现有的要高，大大提高了数据库连接效率和数据库连接资源得到充分的利用。如下图3所示，图3中当数据库服务器资源空闲时MAX值可以从原来的10变成15，且据库服务器总的连接数不变。

本发明技术方案可以动态调整连接池的最大连接数（MAX值）和最大空闲时间（MaxIdleTime），从而可以更有效的使用数据库连接。如，当连接池已有数据库连接繁忙时，先调整增大MAX值，从而数据库连接处理能力增加：再根据数据库连接繁忙到一定程度在时再分配连接，保证了数据库连接利用有效性：在压力不大时动态调整MaxIdleTime以快速释放数据库连接。

综上所述，本发明具有以下特点：

1、本发明就是方案的监控模块可以监控数据库连接上SQL语句的吞吐量（QPS）,数据库连接池连接的空闲时间比。当一个应用或者是多个应用使用一个数据库时，系统上量时数据库链路能够充分使用，避免数据库连接数的浪费。避免业务高峰时短时间创建太多数据库连接，给数据库服务器过大的连接压力，甚至导致服务器宕机。

2、跟现有数据库连接池相比，它可以统计出应用高峰时QPS。

3、自动调整MaxIdleTime参数值，让释放出来的数据库连接给其它应用使用。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于内外参数的基于内外参数的数据库连接池监控和管理的方法，其特征在于，包括监测数据库服务器的外部参数，对数据库服务器繁忙程度进行初步判断的步骤；

获取数据库连接上SQL语句的平均连接吞吐量和数据库连接池连接的空闲时间比的步骤；

以及

接收到应用获取数据库连接请求时，根据上述获取的平均连接吞吐量和空闲时间比，按照MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数,并根据业务高峰自动调整连接池的最大连接数和最大空闲时间初始值，返回给应用使用的步骤。

2.根据权利要求1所述的基于内外参数的数据库连接池监控和管理的方法，其特征在于，所述数据库连接池连接的空闲时间比为，根据SQL语句的提交时间和返回时间记录SQL语句的处理时间和空闲时间，根据SQL语句的处理时间和空闲时间计算得出。

3.根据权利要求2所述的基于内外参数的数据库连接池监控和管理的方法，其特征在于，

还包括，将上述平均连接吞吐量与设定的平均连接吞吐量阀值相比较的步骤，如获取的平均连接吞吐量大于设定的平均连接吞吐量阀值，则认为数据库连接繁忙；如果获取的平均连接吞吐量小于该设定的平均连接吞吐量阀值，则认为数据库连接不繁忙；

以及将上述获取的空闲时间比与设定的空闲时间比阀值相比较的步骤，如获取的空闲时间比小于设定的空闲时间比阀值，说明数据库连接压力较大；如果获取的空闲时间比大于设定的空闲时间比阀值，说明数据库连接当前压力较小。

4.根据权利要求2所述的基于内外参数的数据库连接池监控和管理的方法，其特征在于，所述MAX管理参数分发策略，具体为根据上述平均连接吞吐量和空闲时间比组合形成公式、决策树或规则引擎，并根据形成的公式、决策树或规则引擎分配数据库连接。

5.根据权利要求2所述的基于内外参数的数据库连接池监控和管理的方法，其特征在于，所述数据库服务器的外部参数包括，数据库服务器已被使用的连接数和数据库服务器的硬件资源利用率。

6.根据权利要求4所述的基于内外参数的数据库连接池监控和管理的方法，其特征在于，形成的公式具体为：

V=V1*a+V2*b+V3*c+V4*d+V5*e+V6*f

a、b、c、d、e、f是各个参数的权重，V1代表平均连接吞吐量，V2代表空闲时间比，V3、V4、V5和V6代表监测数据库服务器的外部参数，如果V大于0就增加连接，如V小于0就减少连接。

7.一种基于内外参数的数据库连接池监控和管理装置，其特征在于，包括监控模块和连接池管理模块，

所述监控模块，监控数据库服务器的外部参数，以及数据库连接上SQL语句的平均连接吞吐量和数据库连接池连接的空闲时间比；

所述连接池管理模块，接收应用的获取数据库连接请求，并从监控模块获取监控数据，按照MAX管理参数分发策略进行分配数据库连接数和释放数据库连接数，并根据业务高峰自动调整连接池的最大连接数和最大空闲时间初始值，返回给应用使用。

8.根据权利要求7所述的基于内外参数的数据库连接池监控和管理装置，其特征在于，所述数据库连接池连接的空闲时间比为，根据SQL语句的提交时间和返回时间记录SQL语句的处理时间和空闲时间，根据SQL语句的处理时间和空闲时间计算得出。

9.根据权利要求8所述的基于内外参数的数据库连接池监控和管理装置，其特征在于，所述监控模块，将平均连接吞吐量与设定的平均连接吞吐量阀值相比较，如获取的平均连接吞吐量大于设定的平均连接吞吐量阀值，则认为数据库连接繁忙；如果获取的平均连接吞吐量小于该设定的平均连接吞吐量阀值，则认为数据库连接不繁忙；

以及将上述获取的空闲时间比与设定的空闲时间比阀值相比较，如获取的空闲时间比小于设定的空闲时间比阀值，说明数据库连接压力较大；如果获取的空闲时间比大于设定的空闲时间比阀值，说明数据库连接当前压力较小。

10.根据权利要求8所述的基于内外参数的数据库连接池监控和管理装置，其特征在于，所述MAX管理参数分发策略，具体为根据上述平均连接吞吐量和空闲时间比组合形成公式、决策树或规则引擎，并根据形成的公式、决策树或规则引擎分配数据库连接。