CN101316185A - 一种基于日志文件的分析结果定位系统资源瓶颈的方法 - Google Patents

Abstract

本发明揭示了一种基于日志分析的定位系统资源瓶颈的方法。它包括：生成业务访问日志；加载监控软件对系统的硬件和应用性能数据进行监控和采集；分析该业务访问日志并得到分析结果；根据该分析结果建立具有高匹配度的性能测试场景；在增加另外的监控软件(statspack，JRockit Mission Control)后，再利用此具有高匹配度的性能测试场景来重新执行并分析测试结果，确定系统资源的瓶颈以及通过截获热点调用的方法和解析、热点结构化查询语句来定位系统的瓶颈。采用本发明的定位方法，通过解析业务访问日志以科学、量化的方式复制生产系统中的真实负载至性能测试环境，提供高仿真度的定位系统瓶颈的监控平台，在不影响网络用户体验的同时成功解决系统资源瓶颈的定位难题。

Description

一种基于日志文件的分析结果定位系统资源瓶颈的方法

技术领域

本发明涉及一种互联网信息数据的分析方法，尤其涉及一种利用对网络服务器的日志文件进行分析而定位系统资源瓶颈的方法。

背景技术

随着互联网上信息服务的发展，许多机构都已经拥有或正在建设自己的网站。在这些网站的后台，均运行着一个或者多台网络服务器以及应用服务器，网络服务器是一个用于管理网络页面的软件，并使这些页面通过本地网络或Internet供客户浏览器使用。现在较常用的网络服务器包括Apache、IIS和Iplanet的Enerprise服务器。应用服务器包含jboss，bea  Weblogic，ibm webspere等。由于网络的应用越来越复杂，各种软件框架及第三方的软件开发包不断地增加，网络应用系统的整体性能迅速下降，为此有效地定位系统资源的瓶颈显得尤为重要。

在现有技术中，为了定位网络应用系统资源的瓶颈，主要采取了三种方式：其一，在源程序中针对每个方法所处的代码段加入调用次数、调用时长和调用链信息，并将其部署在生产环境上。该方式需要记录大量的数据，而这些数据每次写入日志将带来巨大的IO资源占用，尤其是对于访问量庞大的网站来说，使用该方法将极大地影响用户体验，甚至使访问路径失真和系统停机；其二，在开发环境中使用Profile工具监控分析方法调用。使用这种方式时，无法获取精确的用户访问模型，以致访问路径可能与生产环境相去甚远，无法有效地调整优化；其三，根据经验估算用户访问模型，并利用LoadRunner执行性能测试和Profile监控。使用该方法时，用于性能测试的用例选取和访问频率误差较大，并不能有效地反映系统的压力状况。

发明内容

针对在定位系统资源瓶颈时存在的上述缺陷，本发明提供了一种基于日志文件的分析结果定位系统资源瓶颈的方法。该方法不仅能建立准确度较高的业务访问模型，而且将业务日志文件以科学、量化的方式复制生产系统的真实负载到性能测试场景，从而在多个环节实现无缝衔接并准确地定位系统资源瓶颈。

按照本发明的一个方面，提供了一种定位系统资源瓶颈的方法，该定位方法利用对业务访问日志文件的分析来建立精确的业务访问模型和高匹配度的性能测试场景。它包括以下步骤：

生成业务访问日志；

加载监控软件对系统的硬件和应用性能数据进行监控和采集；

分析所述业务访问日志，并得到分析结果；

根据所述分析结果以及监控与采集性能数据建立具有高匹配度的性能测试场景；

在增加另外的监控软件(statspack，JRockit Mission Control)后，利用所述性能测试场景再次执行性能测试，并分析测试结果以确定系统资源瓶颈；以及

截获热点调用的方法和解析、执行热点结构化查询语句。

具体地，生成业务访问日志还包括用户在自主开发地源程序中添加自定义的日志代码；利用业务层输出业务访问日志；将该自主开发的源程序加载到各个网络服务器和应用服务器；以及这些服务器记录业务访问日志；

具体地，加载监控软件以监控和采集硬件、应用等性能数据还包括设置软件监控平台；在网络服务器上安装和配置NET-SNMPD软件包；在Oracle服务器上安装和配置NET-SNMPD软件包；在监控平台上添加硬件和应用等性能数据的监控模块；利用NET-SNMPD软件包中的snmpget命令定时采集被监控的网络服务器和Oracle服务器上的性能数据；

具体地，分析业务访问日志可包括下载各网络服务器的业务访问日志文件；使用业务日志的层级过滤来预处理业务访问日志；加载配置文件使日志分析工具中LogFormat字段与生成业务访问日志所采用的Format相对应；对业务访问日志进行分析并输出分析结果；

具体地，建立具有高匹配度的性能测试场景可以通过如下的步骤来实现：

获取来自日志分析工具的关于业务访问日志的分析结果；

抽取测试用例；

录制脚本；

建立和调节性能测试场景；

执行性能测试并监控系统的各项性能数据；

对比模拟负载和所监控到的生产系统的真实负载，并计算二者的误差值；以及

若误差值超过预先设定的阈值，则返回至调节性能测试场景步骤；若误差值在允许的阈值范围内，则生成具有高匹配度的性能测试场景。

进一步，选定的测试用例可以是被调用次数排名靠前的方法和用户体验度较差的用例；

进一步，性能测试场景的调节采用闭环反馈的形式，将生产系统的真实负载与模拟负载之间的误差回馈至所述的性能测试场景，以获得具有较高匹配度的性能测试场景。

采用本发明中定位系统资源瓶颈的方法，可以将业务访问日志以科学、量化的方式复制生产系统中的真实负载至性能测试环境，提供高仿真度的定位系统瓶颈的监控平台，在不影响网络用户体验的同时成功解决系统资源瓶颈的定位难题。

附图说明

读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，

图1示出根据本发明定位系统资源瓶颈的方法的总体流程图；

图2示出图1中生成业务访问日志文件的具体流程图；

图3示出图1中部署软件监控、采集硬件数据和应用性能数据的具体流程图；

图4示出图1中分析业务访问日志文件的具体流程图；

图5示出图1中建立较高匹配度的性能测试场景的具体流程图；而

图6示出图1中截获热点调用的方法和热点结构化查询语句的具体流程图。

具体实施方式

下面参照附图，对本发明的具体实施方式作进一步的详细描述。

图1示出根据本发明定位系统资源瓶颈的方法的总体流程图。从现有技术中定位网络应用系统的资源瓶颈的方法可以得知，解决精确定位这一问题的关键是建立精确度较高的业务访问模型。如图1所示，本发明中主要采用业务访问日志文件的分析结果来建立在模拟负载和生产环境的真实负载间具有较高匹配度的性能测试场景。更具体地，基于日志文件分析定位系统资源瓶颈的方法以功能化模块的形式可以表示为如下步骤：

(1)步骤100。生成业务访问日志文件，首先用户创建应用软件，并在其中添加自定义的日志代码，随后在业务层入口输出自定义的业务访问日志文件。将该应用软件部署到各个网络服务器和应用服务器中，并由网络服务器和应用服务器记录业务访问日志文件；

(2)步骤102。部署软件监控、采集硬件数据和应用性能数据。生产环境中的监控平台可采用Cacti、IBM tivoli、Hp OpenView和teamquest等，本发明中使用Cacti作为监控平台，但并不局限于此；

(3)步骤104。分析业务访问日志文件。用于分析网络日志的软件工具包括Awstats、网络alizer和Analog等，本发明中采用Awstats作为日志分析工具，它通过读取网络日志来对网站的运行状态进行分析和监测，但并不局限于此；

(4)步骤106。建立较高匹配度的性能测试场景。获取Awstats分析业务访问日志的结果，在抽取测试用例后采用LoadRunner Vugen录制、增强脚本，并且闭环调节性能测试环境以使得在模拟负载和生产环境的真实负载间有较高的匹配度；

(5)步骤108。准确定位系统资源瓶颈。

(6)步骤110。截获热点调用的方法和热点结构化查询语句，进一步，截获热点调用的方法是指截获被调用次数排名靠前的方法或调用成本高昂的方法，而截获热点结构化查询语句是指解析和执行成本高昂的数据库查询语句，上述方法可以从监控工具JRockit Mission Control的界面上获取，数据库查询语句可以从数据库性能诊断工具Oracle statspack的结果中获取。

图2至图6分别是对图1中相应流程步骤的展开说明。以下依次结合各图来详细描述本发明每个环节的实现步骤。

图2示出图1中生成业务访问日志文件的具体流程图。如图2所示，在生成业务访问日志文件的过程中，主要有以下步骤：

(1)步骤200。用户创建应用软件；

(2)步骤202。添加自定义的日志代码。用户在相应的开源软件和自开发的源程序中添加用户自定义的日志代码以用于分析系统的访问频率和检索用户的访问路径；

(3)步骤204。在业务层入口输出自定义的业务访问日志文件。利用log4j日志包输出符合Common Logfile Format的自定义业务日志，其中log4j是Apache的一个开放源代码的项目，通过使用log4j可以控制日志信息输送的目的地为控制台、文件、GUI组件、套接口服务器或者NT的事情记录器；

(4)步骤206。将该应用软件部署到各个网络服务器和应用服务器中。其中业务日志的层级深度根据需求进行调整，访问关键资源的业务可内部嵌套子业务，在子业名称和父业务名称之间有清晰的层级关系以确保合适的日志记录级别，运行系统；

(5)步骤208。网络服务器和应用服务器记录业务访问日志文件。

图3示出图1中部署软件监控、采集硬件数据和应用性能数据的具体流程图。如图3所示，部署监控工具以监控和采集硬件、应用等性能数据可通过如下操作实现：

(1)步骤300。部署Cacti软件监控平台，在该监控平台中包括Cacti、RRDtool、NET-SNMP、PHP、Apache、MySQL等软件包；

(2)步骤302。在网络服务器上安装和配置NET-SNMPD软件包；

(3)步骤304。在Oracle服务器上安装和配置NET-SNMPD软件包；

(4)步骤306。添加硬件和应用等性能数据的监控模板。在Cacti软件监控平台中引入硬件性能数据和应用性能数据，并对至少含有处理器、内存、网络流量、I/O吞吐能力、网络连接等参数指标的监测和控制；

(5)步骤308。定时采集被监控的网络服务器的各项性能数据；

(6)步骤310。定时采集被监控的Oracle服务器的各项性能数据。

更具体地，Cacit是一套基于PHP、MySQL、SNMP以及RRDTool开发的用于监测网络流量的图形分析工具。它通过简单网络管理协议软件NET-SNMPD(Simple Network Management Protocol)中的snmpget命令来采集数据，并使用RRDtool绘制图形。当在网络服务器、应用服务器和Oracle服务器上分别安装和配置了NET-SNMP软件时，就可以使用snmpget命令来定时采集被监控服务器的各项性能数据。

图4示出图1中分析业务访问日志文件的具体流程图。如图4所示，在生成了业务访问日志文件并由网络服务器和应用服务器进行记录后，本发明采用Awstats日志分析软件的详细操作步骤可表示如下：

(1)步骤400。下载各网络服务器的业务访问日志文件；

(2)步骤402。预处理业务访问日志。在性能测试环境中对已下载的业务访问日志进行预处理，其中预处理可以按照业务访问日志的层级深度进行过滤；

(3)步骤404。配置合适的配置文件。更详细地，将日志分析软件Awstats配置文件中的LogFormat字段与在生成业务访问日志环节中采用的CommonLogfile Format相对应；

(4)步骤406。分析业务访问日志；

(5)步骤408。输出业务访问日志的分析结果。

图5示出图1中建立较高匹配度的性能测试场景的具体流程图。根据Awstats对业务访问日志的分析结果，建立性能测试场景。本发明中为了实现模拟负载与生产环境的真实负载间具有较高的匹配度，采用闭环调节性能测试场景的方法来建立精确的业务访问模型。如图5所示，可以采用如下的步骤来完成高匹配度的性能测试场景的建立：

(1)步骤500。获取来自Awstats软件的日志分析结果；

(2)步骤502。抽取测试用例，其中，测试用例可以选择抽取排名靠前的热点方法以及用户体验度较差的用例进行测试；

(3)步骤504。录制脚本，采用LoadRunner Vugen完成脚本录制及增加关联、参数化、关键字校验等增强功能，更具体地，Vugen是LoadRunner开发脚本的工具，使用该工具可以监视并记录客户端和服务器之间的通话，然后生成相应的脚本；

(4)步骤506。建立性能测试场景，利用数学统计方法，建立业务访问模型来还原生产环境的真实负载，并将其映射到LoadRunner软件的性能测试场景中；

(5)步骤508。调节性能测试场景；

(6)步骤510。执行性能测试并监控系统硬件和应用的性能数据；

(7)步骤512。对比模拟压力和Cacti监控到的生产系统的真实负载，并计算二者之间的误差，根据误差的大小来执行相应的处理措施。具体而言，当误差数值较大并超出阈值范围时，返回步骤508继续调节性能测试场景；当误差数值在允许的阈值范围内时，进入步骤514；

(8)步骤514。若步骤512中的误差数值在系统允许的阈值范围内，则生成匹配度较高的性能测试场景，即，获得与生产环境的真实负载非常接近的模拟负载；

图6示出图1中截获热点调用方法和热点结构化查询语句的具体流程图。如图6所示，可以通过如下的步骤来实现：

(1)步骤600。在应用服务器上安装监控、管理和分析工具，优选地，可以使用JRocit和JRocit Mission Control取代监控分析功能稍差地SUN JVM，JRocitMission Control是一组以极低的开销监控、管理和分析生产环境中的应用程序的工具。它包括一个内存泄漏监测器、一个应用程序和JVM分析器，以及一个诊断控制台；

(2)步骤602。在Oracle服务器上安装数据库性能诊断工具，优选地，可以在该服务器上部署Oracle statspack，其中Oracle Statspack是Oracle专业技术人员用来诊断Oracle数据库性能的强有力工具，通过运行Statspack，可以较容易地确定Oracle数据库地瓶颈所在，并记录数据库的性能状态，甚至还可以使用远程技术来支持专业人员迅速了解Oracle数据库的运行状态；

(3)步骤604。运用图5中所生成的具有较高匹配度的性能测试场景，重新执行性能测试并产生模拟压力；

(4)步骤606。截获被调用次数排名靠前的方法或调用成本高昂的方法；

(5)步骤608。解析和执行数据库中成本高昂的结构化查询语句。

上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (17)

1.一种定位系统资源瓶颈的方法，其特征在于，它包括以下步骤：

(1)生成业务访问日志；

(2)加载监控软件对系统的硬件和应用性能数据进行监控和采集；

(3)分析所述业务访问日志，并得到分析结果；

(4)根据所述分析结果，以及监控与采集到的性能数据模拟出具有高匹配度的

性能测试场景；

(5)在增加另外的监控软件后，利用所述性能测试场景再次执行性能测试，并分析测试结果以确定系统资源瓶颈；以及

(6)截获热点调用的方法和解析、热点执行的结构化查询语句。

2.如权利要求1所述的方法，其特征在于，步骤(1)中的生成业务访问日志还包括用户在自主开发的源程序中添加自定义的日志代码；利用业务层入口输出业务访问日志；将所述自主开发的源程序加载到各个网络服务器；以及所述网络服务器记录所述业务访问日志。

3.如权利要求1所述的方法，其特征在于，步骤(1)中生成的业务访问日志可以根据系统具体的需求来调整其层级深度，以逐层细化网络应用业务。

4.如权利要求1所述的方法，其特征在于，步骤(2)中所述的监控软件至少采用Cacti、IBM tivoli、Hp OpenView和teamquest等的其中之一。

5.如权利要求1所述的方法，其特征在于，步骤(2)中所述性能数据至少包括处理器、内存、网络流量、I/O吞吐能力和网络连接。

6.如权利要求1所述的方法，其特征在于，步骤(2)中在网络服务器和Oracle服务器上安装和配置NET-SNMPD软件包。

7.如权利要求1所述的方法，其特征在于，步骤(2)中使用NET-SNMPD中的snmpget命令来定时采集所述硬件和应用性能数据。

8.如权利要求1所述的方法，其特征在于，步骤(4)中根据所述分析结果建立具有高匹配度的性能测试场景可以通过下述步骤来实现：

(a)获取所述业务访问日志的分析结果；

(b)抽取排名靠前的测试用例；

(c)录制脚本；

(d)建立性能测试场景；

(e)调节性能测试场景；

(f)执行性能测试并监控系统的性能数据；

(g)对比模拟负载和所监控到的生产系统的真实负载，并计算二者的误差值；以及

(h)若误差值超过预先设定的阈值，则返回步骤(e)；若误差值在允许的阈值范围内，则生成具有高匹配度的性能测试场景。

9.如权利要求8所述的方法，其特征在于，所述测试用例抽取被调用次数排名靠前的方法和用户体验度较差的用例。

10.如权利要求8所述的方法，其特征在于，所述生产系统的真实负载由业务访问模型还原，并映射到所述性能测试场景中。

11.如权利要求10所述的方法，其特征在于，所述生产系统的真实负载通过乘上一个冗余系数而由业务访问模型还原。

12.如权利要求8所述的方法，其特征在于，性能测试场景的调节采用闭环反馈的形式，将生产系统的真实负载与模拟负载之间的误差回馈至所述的性能测试场景，以获得具有较高匹配度的性能测试场景。

13.如权利要求1所述的方法，其特征在于，步骤(6)中截获热点调用的方法可以采用Bea JRockit Mission Control、Quest Jprofile中的至少一种软件工具，来截获被调用次数排名靠前的方法或者调用成本高昂的方法。

14.如权利要求13所述的方法，其特征在于，Bea JRockit Mission Control安装在各应用服务器上实现监控、管理和分析。

15.如权利要求1所述的方法，其特征在于，步骤(6)中解析、执行热点结构化查询语句可以采用Oracle statspack、Quest Central for Oracle中的至少一种软件工具，来解析、执行成本数据库中成本高昂的结构化查询语句。

16.如权利要求15所述的方法，其特征在于，Oracle statspack安装在Oracle服务器上实现数据库性能的诊断。

17.如权利要求1所述的方法，其特征在于，步骤(5)中所述监控软件为statspack和JRockit Mission Control。

Images