CN102761449A - 一种web服务性能分析系统及方法和装置 - Google Patents

Abstract

本发明提供一种基于旁路组网的web服务性能分析系统及方法和装置，包括防火墙、网络交换机和web服务器，所述网络交换机为具备镜像端口的网络交换机，所述镜像端口上连接有性能分析服务器。所述镜像端口用于通过流量镜像方式获取连接有所述web服务器的通讯端口的通讯数据。通过镜像端口分析网站真实的访问数据，不会给网站增加处理负担，不会受探测端网络的影响使分析数据失真。不但对访问性能可以分析，也可以对访问流量、访问数据类型、访问异常情况、访问数据峰值情况等进行分析。

Description

一种web服务性能分析系统及方法和装置

技术领域

本发明涉及通信技术领域，尤其涉及一种基于旁路组网的web服务性能分析系统及方法和装置。

背景技术

当前对web服务性能分析的方法都是以探针探测采集数据的形式实现的；

所谓探针探测法的基本实现原理是探测者在全国乃至全世界部署探测服务器或者在个人pc上安装探测客户端模拟真实用户访问网站实现性能分析。

这种方法的基本流程是：

1.探测端对目的网站的网址发送访问请求；

2.探测端与dns服务器和目的web服务器进行交互；

3.探测端对与dns服务器进行交互的时间进行计算并将结果发送至数据采集服务器；

4.探测端对与web服务器进行交互的时间进行计算并将结果发送至数据采集服务器；

5.数据采集者从数据采集服务器提取数据并分析整理后展示给被探测的网站管理者。

这种方法不可避免的存在以下问题：

1.探针探测法在实现web服务性能探测时需要让很多探测端定期的去向web服务器发出探测请求，这样必然会增加web服务器的处理负担。

2.探针探测法的方式只是模拟用户去访问web服务器，而真实的用户访问web服务的情况探测端是无法统计到的。

3.探针探测法只能得到一次模拟访问的性能数据，而其他关于服务器真实的流量、建立连接数量、请求数量、响应数量等数据是得不到的。

发明内容

本发明的目的在于提供一种基于旁路组网的web服务性能分析系统及方法和装置，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种web服务性能分析系统，包括防火墙、网络交换机和web服务器，所述网络交换机为具备镜像端口的网络交换机，所述镜像端口上连接有性能分析服务器。

优选的，所述镜像端口用于通过流量镜像方式获取连接有所述web服务器的通讯端口的通讯数据。

优选的，所述性能分析服务器包括，报文预处理模块、报文解析引擎、报文分析模块和告警模块；所述报文预处理模块、所述报文解析引擎、所述报文分析模块和所述告警模块顺序连接。

优选的，所述性能分析服务器还包括数据输出模块。

一种应用web服务性能分析系统进行web服务性能分析的方法，其特征在于，包括如下步骤：

S1，通过所述镜像端口获取访问所述web服务器的全部数据包；

S2，从所述全部数据包中过滤得到所需要进一步处理的预处理数据包；

S3，解析所述预处理数据包，按不同协议对其分类并记录，得到不同协议报文的报文数据；

S4，从所述报文数据中提取得到http协议的报文数据，记录所述http协议的报文数据中tcp三次握手的状态及三次握手的建立时间；

S5，解析所述三次握手中的request报文和response报文，得到报文详细信息数据；

S6，分别组合所述报文详细信息数据中的每一次访问的相对应的request报文和response报文，记录每一次请求响应的数据类型，对无响应请求和响应异常的请求进行记录，得到实时分析数据；

S7，用所述实时分析数据与预设告警条件对比，如果符合所述预设告警条件则发出告警。

优选的，S7后还包括以下步骤：

S8，将所述实时分析数据存入指定数据库和/或文件中，并判断是否达到预设的执行时间，如果达到所述执行时间则结束，如果没有达到所述执行时间则继续执行S2。

优选的，S5具体为所述三次握手完成后，解析所述三次握手中的request报文，得到以下信息：request报文时间、报文的大小、访问源ip、访问请求的页面url；解析所述三次握手中的response报文，得到以下信息：response报文时间、报文的大小、响应状态；最终得到报文详细信息数据。

优选的，S2具体为，根据指定域名和/或ip在所述全部数据包中过滤得到需要进一步处理的预处理数据包。

一种应用web服务性能分析系统进行web服务性能分析的装置，其特征在于，包括：

报文预处理模块，从所述镜像端口获取到的全部数据包中根据指定IP或域名过滤得到所需要进一步处理的预处理数据包；

报文解析引擎，用于解析所述预处理数据包，按不同协议对其分类并记录，得到不同协议报文的报文数据；

报文分析模块，用于从所述报文数据中提取得到http协议的报文数据，记录所述http协议的报文数据中tcp三次握手的状态及三次握手的建立时间；解析所述三次握手中的request报文和response报文，得到报文详细信息数据；分别组合所述报文详细信息数据中的每一次访问的相对应的request报文和response报文，记录每一次请求响应的数据类型，对无响应请求和响应异常的请求进行记录，得到实时分析数据；

告警模块，用于用所述实时分析数据与预设告警条件对比，如果符合所述预设告警条件则发出告警。

优选的，所述装置还包括：

数据输出模块，用于将所述实时分析数据存入指定数据库和/或文件中。

本发明的有益效果是：

1.使用简单，只需简单的配置就可以得到全网站数据分析结果，而探测法只能根据部分页面进行分析。

2.旁路部署分析网站真实的访问数据，不会给网站增加处理负担，不会受探测端网络的影响使分析数据失真。

3.数据分析全面具体，探测法分析只能分析一次访问的过程和性能，而本发明公开的技术方案可以分析全站的访问数据，不但对访问性能可以分析，也可以对访问流量、访问数据类型、访问异常情况、访问数据峰值情况等进行分析。

4.不仅仅是对网站的维护人员提供决策依据，而且对网站的开发人员也提供了优化的依据。

附图说明

图1是本发明提供的基于旁路组网的web服务性能分析系统的结构示意图；

图2是本发明提供的应用基于旁路组网的web服务性能分析系统进行web服务性能分析的方法的步骤流程图；

图3是本发明提供的应用基于旁路组网的web服务性能分析系统进行web服务性能分析的装置的示意框图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

Web服务性能：是网站为用户提供服务时网站服务质量的一个衡量，通过web服务性能数据可以清晰知道网站服务质量的好坏，从而可以给出网站服务优化的依据增加用户的访问体验。

因此做为网站的所有者或是管理者就需要对网站的服务质量进行分析和监控。为此本发明公开了如下技术方案：

如图1所示，本发明提供一种基于旁路组网的web服务性能分析系统，包括防火墙、网络交换机和web服务器，所述网络交换机为具备镜像端口的网络交换机，所述镜像端口上连接有性能分析服务器。所述镜像端口用于通过流量镜像方式获取连接有所述web服务器的通讯端口的通讯数据。所述性能分析服务器包括，报文预处理模块、报文解析引擎、报文分析模块和告警模块；所述报文预处理模块、所述报文解析引擎、所述报文分析模块和所述告警模块顺序连接。所述性能分析服务器还可以包括数据输出模块，用于输出获取得到并经过分析的数据，比如保存到数据库中或以特定格式保存到磁盘上或输出到其它设备中。

如图2所示，本发明提供的一种应用基于旁路组网的web服务性能分析系统进行web服务性能分析的方法，包括如下步骤：

S1，通过所述镜像端口获取访问所述web服务器的全部数据包；

S2，从所述全部数据包中过滤得到所需要进一步处理的预处理数据包；本步骤具体为，根据指定域名和/或ip在所述全部数据包中过滤得到需要进一步处理的预处理数据包；比如可以指定本web服务器所承载的网站的域名或ip，如果该web服务器同时承载有多个网站的话，也可以指定多个域名或ip；

S3，解析所述预处理数据包，按不同协议对其分类并记录，得到不同协议报文的报文数据；

S4，从所述报文数据中提取得到http协议的报文数据，记录所述http协议的报文数据中tcp三次握手的状态及三次握手的建立时间；

S5，解析所述三次握手中的request报文和response报文，得到报文详细信息数据；本步骤具体为，所述三次握手完成后，解析所述三次握手中的request报文，得到以下信息：request报文时间、报文的大小、访问源ip、访问请求的页面url；解析所述三次握手中的response报文，得到以下信息：response报文时间、报文的大小、响应状态；最终得到报文详细信息数据；

S6，分别组合所述报文详细信息数据中的每一次访问的相对应的request报文和response报文，记录每一次请求响应的数据类型，对无响应请求和响应异常的请求进行记录，得到实时分析数据；

S7，用所述实时分析数据与预设告警条件对比，如果符合所述预设告警条件则发出告警。比如预先设定当连续出现无响应请求时，则向网站管理员发出告警邮件，通知管理员对web服务器检修。

S2-S7为一个分析过程，但如果需要对web服务器持续监控分析则还应包括如下步骤

S8，将所述实时分析数据存入指定数据库和/或文件中，并判断是否达到预设的执行时间，如果达到所述执行时间则结束，如果没有达到所述执行时间则继续执行S2。这里所说的预设的执行时间可以是操作者根据实际需要设定的一个时间段，比如可以是5小时或10小时等。

如图3所示，本发明所提供的一种应用基于旁路组网的web服务性能分析系统进行web服务性能分析的装置，包括：报文预处理模块，从所述镜像端口获取到的全部数据包中根据指定IP或域名过滤得到所需要进一步处理的预处理数据包；报文解析引擎，用于解析所述预处理数据包，按不同协议对其分类并记录，得到不同协议报文的报文数据；报文分析模块，用于从所述报文数据中提取得到http协议的报文数据，记录所述http协议的报文数据中tcp三次握手的状态及三次握手的建立时间；解析所述三次握手中的request报文和response报文，得到报文详细信息数据；分别组合所述报文详细信息数据中的每一次访问的相对应的request报文和response报文，记录每一次请求响应的数据类型，对无响应请求和响应异常的请求进行记录，得到实时分析数据；告警模块，用于用所述实时分析数据与预设告警条件对比，如果符合所述预设告警条件则发出告警。数据输出模块，用于将所述实时分析数据存入指定数据库和/或文件中。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

1.使用简单，只需简单的配置就可以得到全网站数据分析结果，而探测法只能根据部分页面进行分析。

2.旁路部署分析网站真实的访问数据，不会给网站增加处理负担，不会受探测端网络的影响使分析数据失真。

3.数据分析全面具体，探测法分析只能分析一次访问的过程和性能，而本发明公开的技术方案可以分析全站的访问数据，不但对访问性能可以分析，也可以对访问流量、访问数据类型、访问异常情况、访问数据峰值情况等进行分析。

4.不仅仅是对网站的维护人员提供决策依据，而且对网站的开发人员也提供了优化的依据。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种web服务性能分析系统，包括防火墙、网络交换机和web服务器，其特征在于，所述网络交换机为具备镜像端口的网络交换机，所述镜像端口上连接有性能分析服务器。

2.根据权利要求1所述的web服务性能分析系统，其特征在于，所述镜像端口用于通过流量镜像方式获取连接有所述web服务器的通讯端口的通讯数据。

3.根据权利要求1所述的web服务性能分析系统，其特征在于，所述性能分析服务器包括，报文预处理模块、报文解析引擎、报文分析模块和告警模块；所述报文预处理模块、所述报文解析引擎、所述报文分析模块和所述告警模块顺序连接。

4.根据权利要求3所述的web服务性能分析系统，其特征在于，所述性能分析服务器还包括数据输出模块。

5.一种应用权利要求1或2或3或4所述的系统进行web服务性能分析的方法，其特征在于，包括如下步骤：

S1，通过所述镜像端口获取访问所述web服务器的全部数据包；

S2，从所述全部数据包中过滤得到所需要进一步处理的预处理数据包；

S3，解析所述预处理数据包，按不同协议对其分类并记录，得到不同协议报文的报文数据；

S4，从所述报文数据中提取得到http协议的报文数据，记录所述http协议的报文数据中tcp三次握手的状态及三次握手的建立时间；

S5，解析所述三次握手中的request报文和response报文，得到报文详细信息数据；

S6，分别组合所述报文详细信息数据中的每一次访问的相对应的request报文和response报文，记录每一次请求响应的数据类型，对无响应请求和响应异常的请求进行记录，得到实时分析数据；

S7，用所述实时分析数据与预设告警条件对比，如果符合所述预设告警条件则发出告警。

6.根据权利要求5所述的方法，其特征在于，S7后还包括以下步骤：

S8，将所述实时分析数据存入指定数据库和/或文件中，并判断是否达到预设的执行时间，如果达到所述执行时间则结束，如果没有达到所述执行时间则继续执行S2。

7.根据权利要求5所述的方法，其特征在于，S5具体为所述三次握手完成后，解析所述三次握手中的request报文，得到以下信息：request报文时间、报文的大小、访问源ip、访问请求的页面url；解析所述三次握手中的response报文，得到以下信息：response报文时间、报文的大小、响应状态；最终得到报文详细信息数据。

8.根据权利要求5所述的方法，其特征在于，S2具体为，根据指定域名和/或ip在所述全部数据包中过滤得到需要进一步处理的预处理数据包。

9.一种应用权利要求1或2或3或4所述的系统进行web服务性能分析的装置，其特征在于，包括：

报文预处理模块，从所述镜像端口获取到的全部数据包中根据指定IP或域名过滤得到所需要进一步处理的预处理数据包；

报文解析引擎，用于解析所述预处理数据包，按不同协议对其分类并记录，得到不同协议报文的报文数据；

报文分析模块，用于从所述报文数据中提取得到http协议的报文数据，记录所述http协议的报文数据中tcp三次握手的状态及三次握手的建立时间；解析所述三次握手中的request报文和response报文，得到报文详细信息数据；分别组合所述报文详细信息数据中的每一次访问的相对应的request报文和response报文，记录每一次请求响应的数据类型，对无响应请求和响应异常的请求进行记录，得到实时分析数据；

告警模块，用于用所述实时分析数据与预设告警条件对比，如果符合所述预设告警条件则发出告警。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

数据输出模块，用于将所述实时分析数据存入指定数据库和/或文件中。

Images