CN104980524A - 一种weblogic连接池失效监测方法 - Google Patents

Abstract

本发明公开了一种weblogic连接池失效监测方法，包括如下步骤：a)采用脚本监控weblogic连接池当前连接激活数，如果当前连接激活数达到预设阀值产生告警提示；b)采用脚本定期查看日志监控weblogic连接池是否出现泄露问题，对查找到的泄露连接，如果在预定释放时间内没有活动，将之释放并回收到连接池；c)实时监控weblogic连接池的运行状态，如果发现weblogic连接池处于失效状态，利用脚本自动重启weblogic服务。本发明提供的weblogic连接池失效监测方法，能够对中间件连接池失效进行直接监控，提前发送告警，预估调整连接池最大容量值，大大提升业务系统的性能稳定性。

Description

一种weblogic连接池失效监测方法

技术领域

本发明涉及一种数据库连接监控方法，尤其涉及一种weblogic连接池失效监测方法。

背景技术

随着IT行业的快速发展，传统的"C/S"应用系统模式已不能适应企业新的发展需求，而新的三层或多层体系结构开发模式也就应运而生。多层结构基本思想是将用户界面同企业逻辑分离，分别放置在相同或不同的硬件平台，把处理企业数据的应用逻辑、数据库管理及事务管理移动到中间层，多层体系结构的关键技术在于中间层能否使系统具有很强的可扩展性能，可重用性、并发性能和可管理性。行业里面中间层主要分为两种类型产品，一种是开源产品如Tomcat等，另外一种像IBM Oracle这些大厂商提供的商用业务产品如WebLogic等。商业产品weblogic中间件是一个用于集成、开发、部署和管理大型分布式WEB应用、网络数据库应用的JAVA应用服务器。众所周知用户在终端上发起业务数据请求，中间件负责接收每一次数据访问请求，而这些请求需经历建立数据库连接，打开数据库，存取数据库和关闭数据库连接等操作步骤。如果频繁的进行这些操作会造成数据库连接使用效率低下，使系统整体性能下降。虽然中间件提供连接池的配置方式，然而连接池的故障会影响客户正常访问系统，导致服务不可用，进而影响到业务正常使用。

长期以来当weblogic中间件报出关于连接池失效问题来，中间件与数据库之间的数据库连接出现问题导致系统中断，但这个问题有很多种可能性导致，最终问题的原因还是一无所知。例如‘中间件所在虚拟机出现什么异常’，‘中间件所在的虚拟机网卡有异常’，‘虚拟机的物理机网络连接有异常’，‘中间件虚拟机到数据库网络问题’和‘数据库监听’等等。如果这个问题得不到最好的分析处理，势必会比客户带来严重的影响，也会给IT维护组带来大量投诉。因此如何有效分析weblogic连接池失效故障，提升客户的满意度。特别是对于大型的应用系统，用户在正常办理业务的时候，突然因为weblogic连接池失效问题，导致业务无法办理，势必会给客户带来不良后果，大大影响了用户体验。为了确保业务正常访问，有必要对weblogic连接池失效做相应的监控和应对措施。但目前实际应用中对于判断手段较为缺乏，分析问题比较盲目，主要有以下几种途径：

1、依赖于用户报障，如用户在使用某项功能或执行某项操作响应变慢，执行时间较正常时超出许多。甚至应用系统无法正常使用。由用户报障给业务部门，业务部门自查后再报障给维护部门，再由维护人员通知开发人员及数据库人员对性能问题业务进行跟进处理。此时业务已经受到影响，至于是个别用户性能问题，还是系统不能正常提供服务，无法统一进行判断，是一种后知后觉的处理方法。这时业务性能分析是采取被动方式进行端到端分析过程，到问题真正得到解决需要花费大量时间，对业务造成不可估量的影响。

2、日志记录方式：记录对业务功能点每一个步骤耗时，通过日志记录方式监测与分析业务处理性能；在系统正式运行过程中，当发现业务功能较慢时，通过人工分析日志方式被动分析业务性能较差的原因。日志记录方式，虽然能够很好记录系统业务功能每个步骤性能情况，但取决于系统设计之初有良好日志记录方式，如果没有相应标准日志记录方式，则需要花费大量人力及财力，对系统进行改造，效果并不理想，常常找到了故障日志最终还是无法分析故障原因。

3、故障被动处理：当中间件出现连接池连接不够，连接泄露，连接拒绝，连接重置，连接超时，连接自动提交失败等问题时，系统已经无法正常提供服务，用户可以感知到系统现在访问很慢一直在等系统等待。给用户带来了严重影响。

由上可见，现有技术方案虽然有事前及事后两种应急处理方式，但是都存在缺陷，无法精准的分析连接池失效原因。问题定位与分析需要花费大量人力、时间来进行处理，存在一定的被动性及盲目性。

发明内容

本发明所要解决的技术问题是提供一种weblogic连接池失效监测方法，能够对中间件连接池失效进行直接监控，提前发送告警，预估调整连接池最大容量值，大大提升业务系统的性能稳定性。

本发明为解决上述技术问题而采用的技术方案是提供一种weblogic连接池失效监测方法，包括如下步骤：a)采用脚本监控weblogic连接池当前连接激活数，如果当前连接激活数达到预设阀值产生告警提示；b)采用脚本定期查看日志监控weblogic连接池是否出现泄露问题，对查找到的泄露连接，如果在预定释放时间内没有活动，将之释放并回收到连接池；c)实时监控weblogic连接池的运行状态，如果发现weblogic连接池处于失效状态，利用脚本自动重启weblogic服务。

上述的weblogic连接池失效监测方法，其中，所述步骤a)如果监控到当前连接激活数达到第一预设阀值则产生告警提示并立即执行步骤b)进行泄露监控，如果监控到当前连接激活数达到第二预设阀值则减少预定释放时间，或者调整连接池最大容量值，所述第二预设阀值大于第一预设阀值。

上述的weblogic连接池失效监测方法，其中，所述步骤b)还包括提取查找到的泄露连接对应的堆栈代码，判断是否没有加入关闭连接代码并进行更正。

上述的weblogic连接池失效监测方法，其中，所述步骤c)通过实时监控记录weblogic中间件主机和数据库主机的资源消耗情况，并跟踪记录weblogic中间件主机到数据库主机之间的路由，判断weblogic连接池是否失效并进行故障定位。

上述的weblogic连接池失效监测方法，其中，所述步骤c)采用shell脚本通过ping不同大小的数据包来实时监控weblogic中间件主机到数据库主机的网络情况；或者采用shell脚本从weblogic中间件主机telnet到数据库主机进行端口检测；或者采用shell脚本通过tcpdump工具实时抓取weblogic中间件到数据库之间的双向网络数据包。

上述的weblogic连接池失效监测方法，其中，所述步骤c)通过部署OSW工具来实时监控主机CPU，内存和磁盘IO消耗情况；或者采用shell脚本实时通过weblogic.jar直连数据库。

上述的weblogic连接池失效监测方法，其中，所述步骤c)通过查找weblogic的服务日志文件是否出现连接失效关键字，从而判断weblogic连接池是否处于失效状态。

上述的weblogic连接池失效监测方法，其中，所述连接失效关键字包括连接拒绝、失效、超时、重置或自动提交失败。

本发明对比现有技术有如下的有益效果：本发明提供的weblogic连接池失效监测方法，通过对中间件连接池失效进行直接监控，提前对连接池将满发送告警，通过预估值来调整连接池最大容量值，以及连接池失效后第一时间自动重启中间件服务；更加容易发现泄露的代码，大大提升业务系统的性能稳定性。

附图说明

图1为本发明weblogic连接池失效监测流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

图1为本发明weblogic连接池失效监测流程示意图。

请参见图1，本发明提供的weblogic连接池失效监测方法，包括如下步骤：

步骤S1：采用脚本监控weblogic连接池当前连接激活数，如果当前连接激活数达到预设阀值产生告警提示；

步骤S2：采用脚本定期查看日志监控weblogic连接池是否出现泄露问题，对查找到的泄露连接，如果在预定释放时间内没有活动，将之释放并回收到连接池；

步骤S3：实时监控weblogic连接池的运行状态，如果发现weblogic连接池处于失效状态，利用脚本自动重启weblogic服务。

本发明提供的weblogic连接池失效监测方法，主要分为监控层、告警层和分析层共三层来实现，各层的主要功能实现如下：

1、监控层

监控层采用自动脚本监控方式提早发现中间件连接池的问题，同时提早采取预防措施，此模块通过多种监控手段来采集需要的连接数日志数据作为故障分析条件。

1)、连接池连接不够

当系统在高峰期间，应用系统访问相当大，同时也面临着当时调整的连接数是否满足业务实际需求。万一连接池满了无法预估调整多少，可以提早发现连接池不够现象，及时调整连接池大小。

2)、连接池连接泄露

当应用申请了一个连接时，用完了连接一直用着而不释放，导致大量连接被连接中，而一个数据库连接池里面的资源是有限的，所以应用用完之后应该及时释放连接，将连接还回到池中，否则池中的资源会被耗尽。有必要对连接泄露的程序进行分析，分析是否没有加入关闭连接代码。

3)、OSW性能监控

OSW(OS Watcher)工具来实时监控主机CPU，内存，磁盘IO消耗情况，以及中间件到数据库主机之间的路由跟踪。业务压力状况，会直接反应到主机咨询消耗上，通过osw工具可实时监测主机资源使用情况，并将日志数据输出到文件，以便后续对耗时情况进行分析。

4)、连接池连接拒绝、失效、超时、重置、自动提交失败

i)、采用shell脚本通过ping大包和小包来实时监控中间件主机到数据库主机网络情况，并将日志数据输出到文件。

i i)、在服务器上部署OSW工具来实时监控主机CPU，内存，磁盘IO消耗情况，以及中间件到数据库主机之间的路由跟踪，并将日志数据输出到文件。

i i i)、采用shell脚本通过从中间件主机telnet实时检测数据库主机1521监听端口网络，并将日志数据输出到文件。

iv)、采用shell脚本实时通过weblogic.jar直连数据库，相当于数据库客户端连接数据库一样，并将日志数据输出到文件。

v)、采用shell脚本通过tcpdump工具实时抓中间件到数据库之间的双向网络。并将日志数据输出到文件。

vi)、自动分析weblogic的服务日志文件是否有出现连接失效的关键字，并将相关的日志输出到文件。

2、告警层

1)、http网络探测

通过http地址访问应用程序如果无法正常访问说明应用服务有问题，就会发送告警短信给维护人员。

2)、连接池失效weblogic服务自动重启

在中间件集群情况下，当中间件连接池的状态出现‘Connection reset',‘Connection timedout',‘Connection refused'，‘Connect autocommitfail'等连接池失效问题，监控脚本会自动拉起重启中间件服务，让用户无法感知的使用应用系统。

3)、连接池连接激活数

当时连接数当前激活数达到连接数最大容易的80％的时候会产生告警提示，说明当前连接数可能快够了，需要做连接数的调整。

3、分析层

1)、连接池连接数满分析

当中间件的连接池的连接数据被占满的时候，通过分析监控日志和weblogic日志文件多半是因为连接泄露占用了连接而不释放导致连接数全部占满。如果本身最大容量太小可以适当按基线来调整。如果因为连接泄露导致而不释放，建议调整weblogic连接池的超时时间参数设置。

2)、连接池连接泄露分析

当从监控日志中发现‘A JDBC pool connection leak was detected’关键字类的错误说明连接池出现了泄露问题了。调整连接池的参数如下：

以上参数调整不会影响业务运行，调整完参数后也不需要重启服务器或应用。在没有解决连接池泄漏问题之前，如果没有请求时连接池将一直保持为0，不会再有连接池满造成请求无法响应的问题。最后在weblogic服务日志中提取连接池泄露的堆栈代码给开发看是否有创建连接后，没有关闭连接。

3)、OSW日志分析

当时故障发生时用于分析当时故障时间点的主机CPU，内存和磁盘IO消耗情况。同时能够提取出中间件到数据库之间网络的路由情况；从而更加容易协助定位问题的原因。

4)、连接池连接拒绝、失效、超时、重置、自动提交失败

关于中间件连接池拒绝、失效、超时、重置、自动提交频日志无法分析是中间件的问题，网络问题，还是数据库的原因。只有拿出数据来证明才能让客户信服。

i)、通过ping中间件主机到数据库主机的大小数据包，例如：日志文件中有出现‘Destination Host Unreachable'，说明网络不通，中间件无法连接数据库网络。导致连接超时。

i i)、通过telnet中间件到数据库的1521端口检测，测试数据库监听端口是不是没有问题，例如日志中出现‘telnet:connect to address xx.xx.xx.xx:Connection timed out’说明数据库监听端口没有启动，或者防火墙策略那边有问题。

i i i)、通过weblogic.jar直连数据库，测试中间件是否能正常连接数据库，例如日志中出现‘Error encountered'，说明数据库有问题，或者防火墙策略那边有问题。

iv)、从中间件和数据库中将tcpdump抓包数据下载本地，采用wireshark工具分析每个数据包流。如果中间件发包给数据库端，数据库端没有收到包，或是没有反应，这样能证明中间件到数据库端网络出现了问题。例如网络数据包中有出现大量的‘TCP Retransmission(TCP重传)’,‘TCP Out-of-order(TCP包乱序)',‘TCPDup Ack(TCP包重传)'TCP错误，说明防火墙里面参数配置不合理，导致网络不稳定。

本发明提供的weblogic连接池失效监测方法，通过对中间件连接池失效进行直接监控，提前对连接池将满发送告警，通过预估值来调整连接池最大容量值，以及连接池失效后第一时间自动重启中间件服务，具体优点如下：1)通过自动监控连接池失效问题，自动重启中间件服务让用户无感知的继续进行业务办理。2)通过自动监控连接池更加容易发现连接池泄露和连接池连接满的问题。3)通过脚本监控可以第一时间拿到故障发生点所产生的日志，并通过提出流程更加容易分析连接池失效原因，以至于不会那么盲目的分析日志。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (8)

1.一种weblogic连接池失效监测方法，其特征在于，包括如下步骤：

a)采用脚本监控weblogic连接池当前连接激活数，如果当前连接激活数达到预设阀值产生告警提示；

b)采用脚本定期查看日志监控weblogic连接池是否出现泄露问题，对查找到的泄露连接，如果在预定释放时间内没有活动，将之释放并回收到连接池；

c)实时监控weblogic连接池的运行状态，如果发现weblogic连接池处于失效状态，利用脚本自动重启weblogic服务。

2.如权利要求1所述的weblogic连接池失效监测方法，其特征在于，所述步骤a)如果监控到当前连接激活数达到第一预设阀值则产生告警提示并立即执行步骤b)进行泄露监控，如果监控到当前连接激活数达到第二预设阀值则减少预定释放时间，或者调整连接池最大容量值，所述第二预设阀值大于第一预设阀值。

3.如权利要求1所述的weblogic连接池失效监测方法，其特征在于，所述步骤b)还包括提取查找到的泄露连接对应的堆栈代码，判断是否没有加入关闭连接代码并进行更正。

4.如权利要求1所述的weblogic连接池失效监测方法，其特征在于，所述步骤c)通过实时监控记录weblogic中间件主机和数据库主机的资源消耗情况，并跟踪记录weblogic中间件主机到数据库主机之间的路由，判断weblogic连接池是否失效并进行故障定位。

5.如权利要求4所述的weblogic连接池失效监测方法，其特征在于，所述步骤c)采用shell脚本通过ping不同大小的数据包来实时监控weblogic中间件主机到数据库主机的网络情况；或者采用shell脚本从weblogic中间件主机telnet到数据库主机进行端口检测；或者采用shell脚本通过tcpdump工具实时抓取weblogic中间件到数据库之间的双向网络数据包。

6.如权利要求4所述的weblogic连接池失效监测方法，其特征在于，所述步骤c)通过部署OSW工具来实时监控主机CPU，内存和磁盘IO消耗情况；或者采用shell脚本实时通过weblogic.jar直连数据库。

7.如权利要求1所述的weblogic连接池失效监测方法，其特征在于，所述步骤c)通过查找weblogic的服务日志文件是否出现连接失效关键字，从而判断weblogic连接池是否处于失效状态。

8.如权利要求7所述的weblogic连接池失效监测方法，其特征在于，所述连接失效关键字包括连接拒绝、失效、超时、重置或自动提交失败。