CN106909459A - 一种调整连接池的方法及装置 - Google Patents

一种调整连接池的方法及装置 Download PDF

Info

Publication number
CN106909459A
CN106909459A CN201610387150.1A CN201610387150A CN106909459A CN 106909459 A CN106909459 A CN 106909459A CN 201610387150 A CN201610387150 A CN 201610387150A CN 106909459 A CN106909459 A CN 106909459A
Authority
CN
China
Prior art keywords
connection pool
connection
adjustment
resource utilization
state information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610387150.1A
Other languages
English (en)
Inventor
杜阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610387150.1A priority Critical patent/CN106909459A/zh
Publication of CN106909459A publication Critical patent/CN106909459A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种调整连接池的方法及装置，该调整连接池的方法包括：获取当前系统资源利用率及当前业务的运行状态信息；根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池。本申请可以通过规则配置，灵活的管理连接，提高业务性能及系统可用性。另外，还可以复用其他连接池的连接，以提高资源利用率。

Description

一种调整连接池的方法及装置
技术领域
本申请涉及连接池管理技术领域，特别涉及一种调整连接池的方法及装置。
背景技术
现有的连接池技术，往往只是通过配置连接池的最小连接数及最大连接数管理连接。增加连接的策略也很简单，如连接不够用，才新建一个连接，或者连接数达到一个阈值，才新建连接等。并且，同类连接(如DB连接)配置的多个连接池也是相互独立的。
现有的上述连接管理方法不够智能、灵活，并且扩充连接策略不可动态扩展。另外，由于同类连接多个连接池相互独立，不能复用连接以提高资源利用率。例如，在遇到部分大促场景时，如红包发放时，发放使用的DB连接池已吃紧，但是支付及查询使用的DB连接池却很空闲，资源无法得到充分利用。
发明内容
本申请目的在于提供一种调整连接池的方法及装置，以通过规则配置，灵活的管理连接，提高业务性能及系统可用性。
本申请提供一种调整连接池的方法及装置是这样实现的：
一种调整连接池的方法，该方法包括：
获取当前系统资源利用率及当前业务的运行状态信息；
根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池。
一种调整连接池的装置，该装置包括：
信息采集单元，获取当前系统资源利用率及当前业务的运行状态信息；
连接池调整单元，用于根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池。
本申请提供的调整连接池的方法及装置，可以通过规则配置，灵活的管理连接，提高业务性能及系统可用性。另外，还可以复用其他连接池的连接，以提高资源利用率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提出的调整连接池的方法的一种实施例的方法流程图；
图2为本申请实施例调整连接池的装置的结构示意图；
图3为本申请实施例的连接池调整单元的结构示意图；
图4为本申请实施例中复用同类连接池的方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本申请所述的调整连接池的方法及装置进行详细的说明。图1是本申请提出的调整连接池的方法的一种实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块结构。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本申请实施例提供的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，本申请提供的调整连接池的方法的一种实施例可以包括：
S102：获取当前系统资源利用率及当前业务的运行状态信息；
S104：根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池。
通过上述调整连接池的方法，系统能够利用预先配置的连接池管理规则，根据当前系统资源利用率及当前业务的运行状态信息调整连接池，灵活的管理连接，提高业务性能及系统可用性。
上述当前业务可以包括多种，如红包发放相关业务(红包发放、支付及查询等)，电商购物等。
上述当前系统资源利用率可以包括内存、CPU、硬盘IO及网络IO的使用情况。当前业务的运行状态信息包含：业务调用次数(例如发红包业务中发红包的次数)及响应时间。根据运行状态信息，可以得到如下统计数据：QPS(Query Per Second)，TPS(Transactionprocessing systems)，平均latency，80％latency，99％latency及每分钟业务调用次数等。
本申请实施例中，获取当前系统资源利用率时，可以事先指定端口，通过监听改指定端口(如端口80)，获取脚本上报的当前系统资源利用率。
本申请实施例中，获取当前业务的运行状态信息时，可以通过如下两种方式进行：
第一种方式：通过API硬编码获取当前业务的运行状态信息；该种方式可称为被动获取方式，即被动接收业务系统通过API硬编码上报的当前业务的运行状态信息。
第二种方式：通过拦截器等代理技术透明的抓取当前业务的运行状态信息。该种方式可称为被动获取方式，即主动通过拦截器透明的抓取当前业务的运行状态信息。
本申请调整连接池的方法的执行主体可以为嵌入业务系统中的模块。为了调整连接池，可以从后台管理系统获取预先配置好的规则。
对于规则的配置，可以根据系统资源利用率及业务运行状态中某一或某些信息进行。举一扩充连接数的例子说明，如当前连接池的连接数为n，可以配置为QPS达到某个阈值后，将连接数增加到m；或者可以配置为QPS达到某个阈值，并且CPU利用率达到某一设定值时，将连接数增加到m。具体实施时，也可以配置阶梯数据，规定每个范围连接数为多少，例如可以配置为QPS达到某个阈值后，将连接数增加到m；QPS达到另一阈值后，将连接数增加到a，依此类推。
一实施例中，S104可以包括：判断所述当前系统资源利用率及所述运行状态信息是否与所述连接池管理规则中的某一规则匹配；如果是，根据匹配的规则调整连接池。预先配置的连接池管理规则中可能包括一个或多个具体的规则，根据当前系统资源利用率及当前业务的运行状态信息中一个或者多个信息，可以判断匹配哪个具体规则，根据匹配的具体规则，就可以实现连接池的调整。
连接池的调整包括可以很多种，一实施例中，可以根据匹配的规则扩充或缩减连接池的连接数。另一实施例中，还可以根据匹配的规则复用同类连接池的连接。同类连接池一般指物理资源是不是连接同一类数据库。
上述执行连接池调整方法过程中，也可以根据具体情况临时强制调整连接池。具体，可以通过人工干预的方式，直接调用服务暴露的接口进行连接数的强制调整，忽略上述规则。
通过本申请提供的调整连接池的方法，可以通过规则配置，灵活的管理连接，提高业务性能及系统可用性。另外，还可以复用其他连接池的连接，以提高资源利用率。
基于与上述调整连接池的方法相同的发明构思，本申请提供一种调整连接池的装置，如下面实施例所述。由于该调整连接池的装置解决问题的原理与调整连接池的方法相似，因此该调整连接池的装置的实施可以参见调整连接池的方法的实施，重复之处不再赘述。
图2为本申请实施例调整连接池的装置的结构示意图，如果2所示，该调整连接池的装置可以包括：
信息采集单元201，用于获取当前系统资源利用率及当前业务的运行状态信息；信息采集单元201是调整连接池的装置中获取图像的缩小比例的部分，可以是软件、硬件或二者的结合，例如可以是完成信息获取功能的输入输出接口、处理芯片等元器件。
连接池调整单元202用于根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池。是调整连接池的装置中获取图像的缩小比例的部分，可以是软件、硬件或二者的结合，例如可以是完成连接池调整功能的输入输出接口、处理芯片等元器件。
上述当前系统资源利用率可以包含：内存、CPU、硬盘IO及网络IO。当前业务的运行状态信息可以包含：业务调用次数及响应时间，根据运行状态信息，可以得到如下统计数据：QPS(Query Per Second)，TPS(Transaction processing systems)，平均latency，80％latency，99％latency及每分钟业务调用次数等。
一实施例中，信息采集单元201可以具体用于监听指定端口，获取脚本上报的所述当前系统资源利用率；以及
通过API硬编码获取所述当前业务的运行状态信息；或
通过拦截器抓取所述当前业务的运行状态信息。
具体实施时，如图3所示，连接池调整单元202可以包括：
匹配判断模块301，判断所述当前系统资源利用率及所述运行状态信息是否与所述连接池管理规则中的某一规则匹配；
连接池调整模块302，用于根据匹配的规则调整连接池。具体实施时，连接池调整模块302可根据匹配的规则扩充或缩减连接池的连接数，或者根据匹配的规则复用同类连接池的连接。
通过本申请提供的调整连接池的装置，可以通过规则配置，灵活的管理连接，提高业务性能及系统可用性。另外，还可以复用其他连接池的连接，以提高资源利用率。
下面以复用同类连接池的连接举例说明本申请调整连接池的方法。如图4所示，数据采集单元获取当前系统资源利用率及当前业务的运行状态信息，采集的这些数据可以作为规则计算的依据。采集数据的方式可以根据业务系统的数据上报被动获取，也可以主动进行数据抓取。
基于数据采集单元获取的上述数据，规则计算模块可以通过计算上述数据与后台管理系统配置的所有规则的匹配情况，找出匹配的规则，该匹配的规则为出发连接池调整的依据。
基于上述匹配的规则，可以进行连接池的管理。如图4所示，连接池A与连接池B属于相同的资源C，例如当连接池A中的连接不够用时，可以根据匹配的规则借用连接池B中的规则，反之亦然。当然，当连接池A或B除了复用对方的连接，还可以根据匹配的相应规则扩展连接数。
通过图4所示的后台管理系统，还可以忽略匹配的相应规则，进行人工干预，强制调整连接池。
通过本申请，可以通过规则配置，灵活的管理连接，提高业务性能及系统可用性。另外，还可以复用其他连接池的连接，以提高资源利用率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种调整连接池的方法，其特征在于，包括：
获取当前系统资源利用率及当前业务的运行状态信息；
根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池。
2.根据权利要求1所述的调整连接池的方法，其特征在于，所述当前系统资源利用率包含：内存、CPU、硬盘IO及网络IO的使用情况；获取当前系统资源利用率，包括：监听指定端口，获取脚本上报的所述当前系统资源利用率。
3.根据权利要求1所述的调整连接池的方法，其特征在于，所述当前业务的运行状态信息包含：业务调用次数及响应时间；获取当前业务的运行状态信息，包括：
通过API硬编码获取所述当前业务的运行状态信息；或
通过拦截器抓取所述当前业务的运行状态信息。
4.根据权利要求1所述的调整连接池的方法，其特征在于，根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池，包括：
判断所述当前系统资源利用率及所述运行状态信息是否与所述连接池管理规则中的某一规则匹配；
如果是，根据匹配的规则调整连接池。
5.根据权利要求4所述的调整连接池的方法，其特征在于，根据匹配的规则调整连接池，包括：
根据匹配的规则扩充或缩减连接池的连接数。
6.根据权利要求4所述的调整连接池的方法，其特征在于，根据匹配的规则调整连接池，包括：
根据匹配的规则复用同类连接池的连接。
7.一种调整连接池的装置，其特征在于，包括：
信息采集单元，获取当前系统资源利用率及当前业务的运行状态信息；
连接池调整单元，用于根据预先配置的连接池管理规则、所述当前系统资源利用率及所述运行状态信息调整连接池。
8.根据权利要求7所述的调整连接池的装置，其特征在于，所述当前系统资源利用率包含：内存、CPU、硬盘IO及网络IO的使用情况；所述信息采集单元具体用于：监听指定端口，获取脚本上报的所述当前系统资源利用率。
9.根据权利要求7所述的调整连接池的装置，其特征在于，所述当前业务的运行状态信息包含：业务调用次数及响应时间；所述信息采集单元具体用于：
通过API硬编码获取所述当前业务的运行状态信息；或
通过拦截器抓取所述当前业务的运行状态信息。
10.根据权利要求7所述的调整连接池的装置，其特征在于，所述连接池调整单元包括：
匹配判断模块，判断所述当前系统资源利用率及所述运行状态信息是否与所述连接池管理规则中的某一规则匹配；
连接池调整模块，用于根据匹配的规则调整连接池。
11.根据权利要求10所述的调整连接池的装置，其特征在于，所述连接池调整模块具体用于：根据匹配的规则扩充或缩减连接池的连接数。
12.根据权利要求10所述的调整连接池的装置，其特征在于，所述连接池调整模块具体用于：根据匹配的规则复用同类连接池的连接。
CN201610387150.1A 2016-06-02 2016-06-02 一种调整连接池的方法及装置 Pending CN106909459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610387150.1A CN106909459A (zh) 2016-06-02 2016-06-02 一种调整连接池的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610387150.1A CN106909459A (zh) 2016-06-02 2016-06-02 一种调整连接池的方法及装置

Publications (1)

Publication Number Publication Date
CN106909459A true CN106909459A (zh) 2017-06-30

Family

ID=59206739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610387150.1A Pending CN106909459A (zh) 2016-06-02 2016-06-02 一种调整连接池的方法及装置

Country Status (1)

Country Link
CN (1) CN106909459A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549592A (zh) * 2018-03-19 2018-09-18 联动优势电子商务有限公司 一种数据库连接池的监控方法及监控设备、应用服务器
CN109309735A (zh) * 2018-11-27 2019-02-05 深圳市网心科技有限公司 连接处理方法、服务器、系统及存储介质
CN110471773A (zh) * 2019-08-21 2019-11-19 广州趣丸网络科技有限公司 一种连接池调度方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750546A (zh) * 2013-12-30 2015-07-01 中国移动通信集团公司 一种调整连接池的方法及系统
CN105302692A (zh) * 2015-10-28 2016-02-03 联动优势科技有限公司 基于内外参数的数据库连接池监控和管理的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750546A (zh) * 2013-12-30 2015-07-01 中国移动通信集团公司 一种调整连接池的方法及系统
CN105302692A (zh) * 2015-10-28 2016-02-03 联动优势科技有限公司 基于内外参数的数据库连接池监控和管理的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549592A (zh) * 2018-03-19 2018-09-18 联动优势电子商务有限公司 一种数据库连接池的监控方法及监控设备、应用服务器
CN109309735A (zh) * 2018-11-27 2019-02-05 深圳市网心科技有限公司 连接处理方法、服务器、系统及存储介质
CN110471773A (zh) * 2019-08-21 2019-11-19 广州趣丸网络科技有限公司 一种连接池调度方法及装置

Similar Documents

Publication Publication Date Title
CN104216768B (zh) 一种数据处理方法及装置
CN109993299A (zh) 数据训练方法及装置、存储介质、电子装置
CN110532076A (zh) 一种云资源创建的方法、系统、设备及可读存储介质
CN104601492A (zh) 一种nfv架构下进行业务流控的方法及装置
JP2019513246A (ja) ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体
CN106909459A (zh) 一种调整连接池的方法及装置
CN108012156A (zh) 一种视频处理方法及控制平台
CN106210129B (zh) 一种基于Web服务器配置的限流方法及系统
CN104391879B (zh) 层次聚类的方法及装置
CN106227641B (zh) 一种硬件性能监控方法及系统
CN106921504A (zh) 一种确定不同用户的关联路径的方法和设备
CN106020777A (zh) 一种数据处理方法、装置及系统
CN111181800A (zh) 测试数据处理方法、装置、电子设备及存储介质
CN111030883B (zh) 一种电力信息传输时延分析方法、装置、设备和存储介质
CN106789286A (zh) 一种网络拓扑图的显示方法和装置
CN113890842A (zh) 一种信息传输时延上界计算方法、系统、设备和存储介质
CN109858795A (zh) 一种核电厂操作任务完成时间的取值方法及系统
CN106921583A (zh) 网络设备流量控制方法及装置
CN106294445B (zh) 基于跨机房Hadoop集群的数据存储的方法及装置
AT512665A1 (de) Verfahren und Apparat zur Bildung von Software Fault Containment Units in einem verteilten Echtzeitsystem
CN112749403A (zh) 一种适用于边缘物联代理装置的边缘数据加密方法
CN103645952B (zh) 一种基于MapReduce的非精确任务并行处理方法
CN112738225B (zh) 基于人工智能的边缘计算方法
WO2018120961A1 (zh) 一种流量仿真方法及装置
CN109710314B (zh) 一种基于图结构分布式并行模式构建图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20201014

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: Greater Cayman, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170630