CN103297291A - 网站实时状态监控方法及系统 - Google Patents

Abstract

本发明提供了一种网站实时状态监控方法及系统，通过获取客户端的请求报文及对应Web服务器端的响应报文；根据所述请求报文和对应的响应报文生成报文信息并存储；分析所述报文信息以生成实时报表；实时展示所述实时报表，能够为维护人员即时提供相关的网站动态信息。

Description

网站实时状态监控方法及系统

技术领域

本发明涉及一种实时收集与监控网站动态的模型及其方法建立，特别涉及一些访问成功率与错误率，预警信息，预防Dos攻击，流量规划的模型分析。

背景技术

在现阶段的网络世界，当网页一旦无法访问，用户需要通过举报来通知维护人员当前网络存在问题，从而降低了用户的网络体验度。用户举报错误与后台维护人员更正错误之间必然有时间延迟，在这期间会造成网站某些功能的暂时崩溃。如果通过更为即时的方式发现错误并且分析错误的来源成为急需解决的一个技术问题。

发明内容

本发明的目的在于提供一种网站实时状态监控方法及系统，能够为维护人员即时提供相关的网站动态信息。

为解决上述问题，本发明提供一种网站实时状态监控方法，包括：

获取客户端的请求报文及对应Web服务器端的响应报文；

根据所述请求报文和对应的响应报文生成报文信息并存储；

分析所述报文信息以生成实时报表；

实时展示所述实时报表。

进一步的，在上述方法中，根据所述请求报文和对应的响应报文生成报文信息并存储的步骤包括：

根据所述请求报文和对应的响应报文生成报文信息；

当缓存的更新周期未到时，将所述报文信息存储入所述缓存，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至存储服务器后清空，将新生成的报文信息存储入所述缓存。

进一步的，在上述方法中，所述报文信息包括编号、客户端IP地址、客户端所使用的浏览器版本、客户端请求的版本号标识、客户端请求URL、客户端请求方法、客户端Referer、请求状态码、与所述请求状态码对应的原因短语、每条请求报文和对应的响应报文的截取时间和客户端SessionID，其中，所述请求状态码分成功和出错两种，其中所述出错分资源被移走、客户端的请求出错和Web服务器端出错三类。

进一步的，在上述方法中，当缓存的更新周期未到时，将所述报文信息存储入所述缓存，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至服务器后清空，将新生成的报文信息存储入所述缓存的步骤之前还包括：

根据所有报文信息的编号和每条请求报文和对应的响应报文的截取时间确定预设时间段内客户端对Web服务器端的访问频率最大值；

根据公式

确定缓存的更新周期，其中，T表示缓存的更新周期，F_max表示所述访问频率最大值，单条信息容量表示每条报文信息的数据量大小，缓存存储能力S表示缓存能存储的数据量大小。

进一步的，在上述方法中，分析所述报文信息以生成实时报表的步骤包括：

分析所述请求状态码以生成出错量/率实时报表和成功量/率实时报表；

分析请求状态码和客户端请求URL以获取超过预设出错率阈值的网页，生成所述网页的预警信息报表；

将所述缓存中的报文信息与所述存储服务器中的报文信息进行同期比较以生成同期比较实时报表；

分析客户端IP地址和SessionID以生成预防DOS攻击实时报表；

分析客户端Referer以生成用户来源分析实时报表；

分析客户端请求方法中的Post内容以生成用户登录数量统计实时报表；

根据客户端IP地址和SessionID以生成实时流量分析报表。

根据本发明的另一面，提供一种网站实时状态监控系统，包括：

中继器，用于获取客户端的请求报文及对应Web服务器端的响应报文，根据所述请求报文和对应的响应报文生成报文信息并存储；

行为分析服务器，用于分析所述报文信息以生成实时报表；

仪表盘，用于实时展示所述实时报表。

进一步的，在上述系统中，所述系统还包括一存储服务器，用于存储备份报文信息；

所述中继器包括一缓存，所述中继器根据所述请求报文和对应的响应报文生成报文信息，当缓存的更新周期未到时，将所述报文信息存储入所述缓存，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至所述存储服务器后清空，将新生成的报文信息存储入所述缓存。

进一步的，在上述系统中，所述中继器生成的所述报文信息包括编号、客户端IP地址、客户端所使用的浏览器版本、客户端请求的版本号标识、客户端请求URL、客户端请求方法、客户端Referer、请求状态码、与所述请求状态码对应的原因短语、每条请求报文和对应的响应报文的截取时间和客户端SessionID，其中，所述请求状态码分成功和出错两种，其中所述出错分资源被移走、客户端的请求出错和Web服务器端出错三类。

进一步的，在上述系统中，所述中继器根据所有报文信息的编号和每条请求报文和对应的响应报文的截取时间确定预设时间段内客户端对Web服务器端的访问频率最大值，根据公式

确定缓存的更新周期，其中，T表示缓存的更新周期，F_max表示所述访问频率最大值，单条信息容量表示每条报文信息的数据量大小，缓存存储能力S表示缓存能存储的数据量大小。

进一步的，在上述系统中，所述行为分析服务器用于：

分析所述请求状态码以生成出错量/率实时报表和成功量/率实时报表；

分析请求状态码和客户端请求URL以获取超过预设出错率阈值的网页，生成所述网页的预警信息报表；

将所述缓存中的报文信息与所述存储服务器中的报文信息进行同期比较以生成同期比较实时报表；

分析客户端IP地址和SessionID以生成预防DOS攻击实时报表；

分析客户端Referer以生成用户来源分析实时报表；

分析客户端请求方法中的Post内容以生成用户登录数量统计实时报表；

根据客户端IP地址和SessionID以生成实时流量分析报表。

与现有技术相比，本发明的目的在于建立一套快速反应并且能够应对Web请求和大数据URL的实时动态监控模型，通过跟踪HTTP的请求报文与响应报文并生成报文信息，根据报文信息生成实时报表，为维护人员即时提供相关的网站动态信息。

附图说明

图1是本发明一实施例的网站实时状态监控方法的流程图；

图2是图1中的步骤S2的流程图；

图3是本发明一实施例的实时报表类型图；

图4是本发明一实施例的出错量和成功量实时报表；

图5是本发明一实施例的出错率和成功率实时报表；

图6是本发明一实施例的网站实时状态监控系统构架部署图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一

如图1和6所示，本发明提供一种网站实时状态监控方法，包括步骤S1～步骤S4。

步骤S1，获取客户端的请求报文及对应Web服务器端的响应报文。

在本发明的一实施例中，所述报文信息包括编号、客户端IP地址、客户端所使用的浏览器版本、客户端请求的版本号标识、客户端请求URL、客户端请求方法、客户端Referer、请求状态码（HTTP-Status）、与所述请求状态码对应的原因短语、每条请求报文和对应的响应报文的截取时间和客户端SessionID，其中，所述请求状态码分成功和出错两种，其中所述出错分资源被移走、客户端的请求出错和Web服务器端出错三类，所述报文信息包含的内容具体如下表所示：

步骤S2，根据所述请求报文和对应的响应报文生成报文信息并存储。每一条请求报文与相应的响应报文会作为一条报文信息被保存到存储服务器中，以供后续行为分析服务器进行数据分析。

在本发明的一实施例中，步骤S2包括：

步骤S21，根据所述请求报文和对应的响应报文生成报文信息；

步骤S22，当缓存的更新周期未到时，将所述报文信息存储入所述缓存；

步骤S23，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至存储服务器后清空，即过期的历史数据备份至存储服务器后删除缓存中的报文信息，将新生成的报文信息存储入所述缓存。

优选的，步骤S22和步骤S23之前还包括：

根据所有报文信息的编号（访问次数）和每条请求报文和对应的响应报文的截取时间（访问时间）确定预设时间段内客户端对Web服务器端的访问频率最大值；

根据公式

确定缓存的更新周期，其中，T表示缓存的更新周期，F_max表示所述访问频率最大值，单条信息容量表示每条报文信息的数据量大小，缓存存储能力S表示缓存能存储的数据量大小。具体的，本步骤中通过分析历史一段时期内的请求访问量频率，保证缓存能够在按照高峰期的访问频率仍能储存单位时间的请求信息，假定此单位时间为一天，超过一天的数据则备份至存储服务器，行为分析服务器可以直接从缓存得到当天的数据，超过一天的信息则要从存储服务器器中获得，上述公式可获得缓存的保存周期，在保证满足信息吞吐要求的同时，尽可能的较少冗余，提高缓存的利用率。

步骤S3，分析所述报文信息以生成实时报表，具体可根据各种业务需求，对来自缓存和存储服务器中的报文信息进行分析。

在本发明一实施例中，步骤S3包括：

分析所述请求状态码以生成出错（失败）量/率实时报表和成功量/率实时报表，具体的，响应报文的起始行中包含了请求状态码，可根据不同的请求状态码对错误原因进行统计，归纳错误响应的比例以及来源情况的分析，用N表示某时间段内的请求数量，N300代表在P时间段内出现资源移走错误的响应数量。则发生300-399状态的错误率可以表示为：

$R_{300}=\frac{N_{300}}{N}$

同理，R₄₀₀与R₅₀₀表示出现客户端的请求出错与Web服务器出错状态的比率。因此R＝R₅₀₀+R₄₀₀+R₃₀₀,其中R表示所有状态下的网页请求出错率,可使用相似方法进行请求的成功率统计可，在此不再赘述，图4为某URL页面的成功请求量与失败量的实时刷新表，假定刷新周期为30秒。横坐标表示时间轴，纵坐标表示请求量，表中的两条折线分别代表在不同的时刻访问该网页的成功次数与失败（出错）次数，图5为将请求的成功或失败结果以百分比的形式展示出来，给后台维护人员提供更为直观的图形表现形式；

分析请求状态码和客户端请求URL以获取超过预设出错率阈值的网页，生成所述网页的预警信息报表，具体的，请求报文中的请求URL命名了所请求资源或者是URL路径组建的完整URL，通过分析发生错误的Web请求中的URL，进而可以定位到出错的网页，行为分析服务器可对某页面的请求出错率进行统计，一旦结果大于设定的出错率阈值RL，则认为该网页为高出错率网页，向后台人员发送预警信息，出错信息可以通过业务链进行分类，以携程旅行网作为本发明的实例分析，主要分为自酒店、机票和度假的页面访问出错信息，借助此实时监测系统，对存在问题的网页发出预警信息，及时通知维护人员针对性的进行网页维护；

将所述缓存中的报文信息与所述存储服务器中的报文信息进行同期比较以生成同期比较实时报表，即把近期数据与历史数据进行比较，分析与同期历史水平的差异及其原因，例如可以进行诸如流量分析、错误异常出现高峰时间段之类的行为对比；

分析客户端IP地址和SessionID以生成预防DOS攻击实时报表，即分析某些请求行为是否为恶意攻击，具体的，常见的Dos攻击包括带宽攻击与连通性攻击，带宽攻击表示通过大量的通信请求来冲击服务器，消耗网络资源，导致正常的用户请求无法完成；连通性攻击指用大量的连接请求冲击计算机，使得所有可用的操作系统资源都被消耗殆尽，最终计算机无法再处理合法用户的请求，在行为分析服务器可分析有可能是恶意攻击的IP地址，SessionID，并且实时显示到仪表盘，使潜在的恶意攻击在到达Web服务器之前被截获；

分析客户端Referer以生成用户来源分析实时报表，具体的，截获来自某一渠道的流量，HTTP Referer是报文头部信息的一部分，当客户端浏览器向Web服务器发送请求的时候，一般会带上Referer，告诉Web服务器我是从哪个页面链接过来的，Web服务器籍此可以获得一些信息用于处理；

分析客户端请求方法中的Post内容以生成用户登录数量统计实时报表，具体的，通过分析登陆页面的请求方法中Post内容，可以获得登陆用户的身份信息，从而可以达到追踪在不同时间段在线用户数量的目的；

根据客户端IP地址和SessionID以生成实时流量分析报表，具体的，网站流量统计主要指标包括：独立访问者数量、重复访问者数量、页面浏览数和每个访问者的页面浏览数。其中，独立访问者数量描述了网站访问者的总体状况，指在一定统计周期内访问网站的数量（例如每天、每月），每一个固定的访问者只代表一个唯一的用户，无论他访问这个网站多少次。独立访问者越多，说明网站推广越有效。重复访问者数量反映了站点用户的忠诚度，站点用户的忠诚度越高，重复访问者数量越高。可设计关于SessionID跟用户IP的算法机制来计算独立访问者数量与重复访问者数量，页面浏览数可以通过统计每次Web请求URL来完成，统计相同IP字段的URL即可获得每个访问者的页面浏览数。

步骤S4，实时展示所述实时报表，具体可通过外接设备展现实时报表，例如，可将实时报表通过仪表盘实时显示出来，此时仪表盘显示的即为当前网络环境下的实时动态信息，以供维护人员参考、比较。可在步骤S4中采用AJAX技术，AJAX是一种用于创建快速动态网页的技术，其通过在仪表盘与行为分析服务器进行少量数据交换，以在不重新加载整个网页的情况下，对网页的某部分进行更新，从而支持实时性更新即实现网页异步更新。

实施例二

如图6所示，本发明还提供另一种网站实时状态监控系统，包括中继器1、行为分析服务器2和仪表盘3。

中继器1，用于获取客户端的请求报文及对应Web服务器端的响应报文，根据所述请求报文和对应的响应报文生成报文信息并存储。具体的，客户端与Web服务器之间进行信息通讯，IP中继器1扮演从客户端与Web服务器之间的路由器截获Web请求与Web响应的角色，一旦响应报文被截获，一条完整的请求/响应日志报文信息被获得，并将获取的报文信息保存入缓存。

行为分析服务器2，用于分析所述报文信息以生成实时报表，具体的，行为数据分析服务器2集群可对报文信息进行数据分析处理，产生更为详细的业务报表，并反馈到仪表盘3。

仪表盘3，用于实时展示所述实时报表，例如可显示流量信息、单位时间内的请求发起次数、请求成功率出错率等报表，供维护人员参考。

本发明的一实施例中，所述系统还包括一存储服务器4，用于存储备份报文信息；

所述中继器1包括一缓存，所述中继器1根据所述请求报文和对应的响应报文生成报文信息，当缓存的更新周期未到时，将所述报文信息存储入所述缓存，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至所述存储服务器4后清空，将新生成的报文信息存储入所述缓存。

可选的，所述中继器1生成的所述报文信息包括编号、客户端IP地址、客户端所使用的浏览器版本、客户端请求的版本号标识、客户端请求URL、客户端请求方法、客户端Referer、请求状态码、与所述请求状态码对应的原因短语、每条请求报文和对应的响应报文的截取时间和客户端SessionID，其中，所述请求状态码分成功和出错两种，其中所述出错分资源被移走、客户端的请求出错和Web服务器端出错三类。

优选的，所述中继器1根据所有报文信息的编号和每条请求报文和对应的响应报文的截取时间确定预设时间段内客户端对Web服务器端的访问频率最大值，根据公式确定缓存的更新周期，其中，T表示缓存的更新周期，F_max表示所述访问频率最大值，单条信息容量表示每条报文信息的数据量大小，缓存存储能力S表示缓存能存储的数据量大小。

在本发明的一实施例中，所述行为分析服务器用于：

分析所述请求状态码以生成出错量/率实时报表和成功量/率实时报表；

分析请求状态码和客户端请求URL以获取超过预设出错率阈值的网页，生成所述网页的预警信息报表；

将所述缓存中的报文信息与所述存储服务器中的报文信息进行同期比较以生成同期比较实时报表；

分析客户端IP地址和SessionID以生成预防DOS攻击实时报表；

分析客户端Referer以生成用户来源分析实时报表；

分析客户端请求方法中的Post内容以生成用户登录数量统计实时报表；

根据客户端IP地址和SessionID以生成实时流量分析报表。

本实施例的其它详细内容具体可参见实施例一的相应部分，在此不再赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种网站实时状态监控方法，其特征在于，包括：

获取客户端的请求报文及对应Web服务器端的响应报文；

根据所述请求报文和对应的响应报文生成报文信息并存储；

分析所述报文信息以生成实时报表；

实时展示所述实时报表。

2.如权利要求1所述的网站实时状态监控方法，其特征在于，根据所述请求报文和对应的响应报文生成报文信息并存储的步骤包括：

根据所述请求报文和对应的响应报文生成报文信息；

当缓存的更新周期未到时，将所述报文信息存储入所述缓存，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至存储服务器后清空，将新生成的报文信息存储入所述缓存。

3.如权利要求2所述的网站实时状态监控方法，其特征在于，所述报文信息包括编号、客户端IP地址、客户端所使用的浏览器版本、客户端请求的版本号标识、客户端请求URL、客户端请求方法、客户端Referer、请求状态码、与所述请求状态码对应的原因短语、每条请求报文和对应的响应报文的截取时间和客户端SessionID，其中，所述请求状态码分成功和出错两种，其中所述出错分资源被移走、客户端的请求出错和Web服务器端出错三类。

4.如权利要求3所述的网站实时状态监控方法，其特征在于，当缓存的更新周期未到时，将所述报文信息存储入所述缓存，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至服务器后清空，将新生成的报文信息存储入所述缓存的步骤之前还包括：

根据所有报文信息的编号和每条请求报文和对应的响应报文的截取时间确定预设时间段内客户端对Web服务器端的访问频率最大值；

根据公式

确定缓存的更新周期，其中，T表示缓存的更新周期，F_max表示所述访问频率最大值，单条信息容量表示每条报文信息的数据量大小，缓存存储能力S表示缓存能存储的数据量大小。

5.如权利要求3所述的网站实时状态监控方法，其特征在于，分析所述报文信息以生成实时报表的步骤包括：

分析所述请求状态码以生成出错量/率实时报表和成功量/率实时报表；

分析请求状态码和客户端请求URL以获取超过预设出错率阈值的网页，生成所述网页的预警信息报表；

将所述缓存中的报文信息与所述存储服务器中的报文信息进行同期比较以生成同期比较实时报表；

分析客户端IP地址和SessionID以生成预防DOS攻击实时报表；

分析客户端Referer以生成用户来源分析实时报表；

分析客户端请求方法中的Post内容以生成用户登录数量统计实时报表；

根据客户端IP地址和SessionID以生成实时流量分析报表。

6.一种网站实时状态监控系统，其特征在于，包括：

中继器，用于获取客户端的请求报文及对应Web服务器端的响应报文，根据所述请求报文和对应的响应报文生成报文信息并存储；

行为分析服务器，用于分析所述报文信息以生成实时报表；

仪表盘，用于实时展示所述实时报表。

7.如权利要求6所述的网站实时状态监控系统，其特征在于，

所述系统还包括一存储服务器，用于存储备份报文信息；

所述中继器包括一缓存，所述中继器根据所述请求报文和对应的响应报文生成报文信息，当缓存的更新周期未到时，将所述报文信息存储入所述缓存，当所述缓存的更新周期已到时，将所述缓存中原有报文信息备份至所述存储服务器后清空，将新生成的报文信息存储入所述缓存。

8.如权利要求7所述的网站实时状态监控系统，其特征在于，所述中继器生成的所述报文信息包括编号、客户端IP地址、客户端所使用的浏览器版本、客户端请求的版本号标识、客户端请求URL、客户端请求方法、客户端Referer、请求状态码、与所述请求状态码对应的原因短语、每条请求报文和对应的响应报文的截取时间和客户端SessionID，其中，所述请求状态码分成功和出错两种，其中所述出错分资源被移走、客户端的请求出错和Web服务器端出错三类。

9.如权利要求8所述的网站实时状态监控系统，其特征在于，所述中继器根据所有报文信息的编号和每条请求报文和对应的响应报文的截取时间确定预设时间段内客户端对Web服务器端的访问频率最大值，根据公式

确定缓存的更新周期，其中，T表示缓存的更新周期，F_max表示所述访问频率最大值，单条信息容量表示每条报文信息的数据量大小，缓存存储能力S表示缓存能存储的数据量大小。

10.如权利要求8所述的网站实时状态监控系统，其特征在于，所述行为分析服务器用于：

分析所述请求状态码以生成出错量/率实时报表和成功量/率实时报表；

分析请求状态码和客户端请求URL以获取超过预设出错率阈值的网页，生成所述网页的预警信息报表；

将所述缓存中的报文信息与所述存储服务器中的报文信息进行同期比较以生成同期比较实时报表；

分析客户端IP地址和SessionID以生成预防DOS攻击实时报表；

分析客户端Referer以生成用户来源分析实时报表；

分析客户端请求方法中的Post内容以生成用户登录数量统计实时报表；

根据客户端IP地址和SessionID以生成实时流量分析报表。

Images