CN102035696B - 一种网站访问性能监测方法、装置及系统 - Google Patents
一种网站访问性能监测方法、装置及系统 Download PDFInfo
- Publication number
- CN102035696B CN102035696B CN201010601947A CN201010601947A CN102035696B CN 102035696 B CN102035696 B CN 102035696B CN 201010601947 A CN201010601947 A CN 201010601947A CN 201010601947 A CN201010601947 A CN 201010601947A CN 102035696 B CN102035696 B CN 102035696B
- Authority
- CN
- China
- Prior art keywords
- data
- dns
- http
- server
- warning information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明实施例提供了一种网站访问性能监测方法、装置及系统,该装置包括:DNS探测请求单元,向域名系统DNS服务器发送DNS探测数据请求;DNS数据获取单元,获取DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据;HTTP探测请求单元,向Web服务器发送超文本传输协议HTTP探测数据请求;HTTP数据获取单元,获取Web服务器反馈的HTTP探测数据;DNS可用率计算单元,生成DNS服务状态数据和DNS服务可用率数据;HTTP可用率计算单元,生成HTTP服务状态数据和HTTP服务可用率数据;访问性能计算单元,生成网站访问性能评价数据;告警信息生成单元,生成告警信息;告警信息输出单元输出告警信息。以通过获取完整、准确的网站访问性能数据信息,提供完整、准确的网站访问性能信息。
Description
技术领域
本发明关于计算机网络数据处理技术,特别是关于网站的访问监测技术,具体的讲是一种网站访问性能监测方法、装置及系统。
背景技术
随着互联网技术的发展,网站对外提供的服务越来越多,在企业品牌形象中的地位也日趋重要。为了保证网站对外服务的可靠性和稳定性,需要对网站访问性能进行及时有效的监测。
在现有技术中,由于网站提供服务的环境是互联网,网站访问性能的好坏受到运营商线路、域名系统(DNS,DomainName System)、客户端上网环境以及高速缓冲存储器(Cache)节点等诸多因素的影响,因此现有技术还没有很好的技术方案来获取完整、准确的网站访问性能数据信息,也不能提供完整、准确的网站访问性能信息。
发明内容
本发明实施例提供了一种网站访问性能监测方法、装置及系统,以通过获取完整、准确的网站访问性能数据信息,提供完整、准确的网站访问性能信息。
本发明的目的之一是,提供一种网站访问性能监测方法,该方法包括:向域名系统DNS服务器发送DNS探测数据请求,其中包括:向本地DNS服务器发送CNAME数据获取请求和NS数据获取请求,向多个源站授权DNS服务器逐一发送域名解析请求;获取所述DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据,其中包括:获取所述本地DNS服务器反馈的CNAME数据,和包含多个源站授权DNS服务器的域名和地址的NS数据,获取每个源站授权DNS服务器反馈的域名所映射的IP地址数据;根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;获取Web服务器反馈的包含页面数据在内的HTTP探测数据;根据获取的DNS探测数据计算生成DNS服务状态数据,并根据DNS服务状态数据计算生成DNS服务可用率数据;根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据HTTP服务状态数据计算生成HTTP服务可用率数据;根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;根据DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;输出告警信息。
本发明的目的之一是,提供一种网站访问性能监测装置,该装置包括:DNS探测请求单元,用于向域名系统DNS服务器发送DNS探测数据请求,其中包括向本地DNS服务器发送CNAME数据获取请求、向本地DNS服务器发送NS数据获取请求并向多个源站授权DNS服务器逐一发送域名解析请求;DNS数据获取单元,用于获取所述DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据,其中包括获取所述本地DNS服务器反馈的CNAME数据,和包含多个源站授权DNS服务器的域名和地址的NS数据,并获取每个源站授权DNS服务器反馈的域名所映射的IP地址数据;HTTP探测请求单元,用于根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;HTTP数据获取单元,用于获取Web服务器反馈的包含页面数据在内的HTTP探测数据;DNS可用率计算单元,用于根据获取的DNS探测数据计算生成DNS服务状态数据,并根据DNS服务状态数据计算生成DNS服务可用率数据;HTTP可用率计算单元,用于根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据HTTP服务状态数据计算生成HTTP服务可用率数据;访问性能计算单元,用于根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;告警信息生成单元,用于根据DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;告警信息输出单元,用于输出告警信息。
本发明的目的之一是,提供一种网站访问性能监测系统,该系统包括:客户终端和网站访问性能监测服务器;客户终端通过互联网与网站访问性能监测服务器相连接;
客户终端包括:DNS探测请求单元,用于向域名系统DNS服务器发送DNS探测数据请求,其中包括向本地DNS服务器发送CNAME数据获取请求、向本地DNS服务器发送NS数据获取请求并向多个源站授权DNS服务器逐一发送域名解析请求;DNS数据获取单元,用于获取所述DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据,其中包括获取所述本地DNS服务器反馈的CNAME数据,和包含多个源站授权DNS服务器的域名和地址的NS数据,并获取每个源站授权DNS服务器反馈的域名所映射的IP地址数据;HTTP探测请求单元,用于根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;HTTP数据获取单元,用于获取Web服务器反馈的包含页面数据在内的HTTP探测数据;探测数据发送单元,用于向网站访问性能监测服务器发送包含DNS探测数据和HTTP探测数据的网站访问性能探测数据;
网站访问性能监测服务器包括:DNS可用率计算单元,用于根据获取的DNS探测数据计算生成DNS服务状态数据,并根据DNS服务状态数据计算生成DNS服务可用率数据;HTTP可用率计算单元,用于根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据HTTP服务状态数据计算生成HTTP服务可用率数据;访问性能计算单元,用于根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;告警信息生成单元,用于根据DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;告警信息输出单元,用于输出告警信息。
本发明的有益效果在于,解决了原来网站访问性能测环节多、难以及时获取访问性能的技术问题,实现了网站访问性能的评估,收集到了大量的客户访问信息,提高了网站访问性能数据收集统计的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例网站访问性能监测方法流程图;
图2为本发明实施例网站访问性能监测装置结构框图;
图3为本发明实施例网站访问性能监测系统示意图;
图4为本发明实施例网站访问性能监测系统客户终端结构框图;
图5为本发明实施例网站访问性能监测系统网站访问性能监测服务器结构框图;
图6为本发明实施例数据探测流程图;
图7为本发明实施例DNS服务状态数据生成流程图;
图8为本发明实施例HTTP服务状态数据生成流程图;
图9为本发明实施例访问性能评价流程图;
图10为本发明实施例告警信息生成流程图;
图11为本发明实施例网站访问性能监测系统工作流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本实施例的一种网站访问性能监测方法包括:向域名系统DNS服务器发送DNS探测数据请求(步骤S101);获取DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据(步骤S 102);根据域名向Web服务器发送超文本传输协议HTTP探测数据请求(步骤S103);获取Web服务器反馈的包含页面数据在内的HTTP探测数据(步骤S104);根据获取的DNS探测数据计算生成DNS服务状态数据,并根据DNS服务状态数据计算生成DNS服务可用率数据(步骤S105);根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据HTTP服务状态数据计算生成HTTP服务可用率数据(步骤S106);根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据(步骤S107);根据DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息(步骤S108);输出告警信息(步骤S109)。
如图2所示,本实施例的网站访问性能监测装置包括:DNS探测请求单元101,用于向域名系统DNS服务器发送DNS探测数据请求;DNS数据获取单元103,用于获取DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据;HTTP探测请求单元102,用于根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;HTTP数据获取单元104,用于获取Web服务器反馈的包含页面数据在内的HTTP探测数据;DNS可用率计算单元201,用于根据获取的DNS探测数据计算生成DNS服务状态数据,并根据DNS服务状态数据计算生成DNS服务可用率数据;HTTP可用率计算单元202,用于根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据HTTP服务状态数据计算生成HTTP服务可用率数据;访问性能计算单元203,用于根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;告警信息生成单元204,用于根据DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;告警信息输出单元205,用于输出告警信息。
如图3所示,本实施例的网站访问性能监测系统包括:客户终端100和网站访问性能监测服务器200;客户终端100通过互联网300与网站访问性能监测服务器200相连接。
如图4所示,客户终端100包括:DNS探测请求单元101,用于向域名系统DNS服务器发送DNS探测数据请求;DNS数据获取单元103,用于获取DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据;HTTP探测请求单元102,用于根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;HTTP数据获取单元104,用于获取Web服务器反馈的包含页面数据在内的HTTP探测数据;探测数据发送单元105,用于向网站访问性能监测服务器发送包含DNS探测数据和HTTP探测数据的网站访问性能探测数据。
如图5所示,网站访问性能监测服务器200包括:DNS可用率计算单元201,用于根据获取的DNS探测数据计算生成DNS服务状态数据,并根据DNS服务状态数据计算生成DNS服务可用率数据;HTTP可用率计算单元202,用于根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据HTTP服务状态数据计算生成HTTP服务可用率数据;访问性能计算单元203,用于根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;告警信息生成单元204,用于根据DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;告警信息输出单元205,用于输出告警信息。
客户终端100大量分布部署在互联网环境中,根据接收到的配置参数发起模拟用户对网站的访问行为,对网站探测并产生数据信息;其中,访问网站的探测行为,包括了探测DNS服务、HTTP服务、HTTPS服务这三种。产生的网站探测数据在存储后,通过SOAP协议实现数据上送网站访问性能监测服务器200。
DNS服务探测,是模拟客户端发起DNS服务的不同类型请求并获取返回结果的过程。请求可以细分为三种探测类型。第一种探测类型是获取CNAME记录,即通过获取网站主域名的CNAME记录来探测DNS域名转换的实际效果。CNAME是DNS协议中一个拟名的统一命名,这种机制会标记它的owner名为别名,并指出在RDATA部分的相应统一命名。如果一个结点存在CNAMERR,不应该有其它的数据,这保证了统一命名和它的别名不能不同。这也使得缓冲的CNAME可以不用检索认证权威服务器就可以提供服务。在有CNAMERR时,DNS软件如果查询不到与域名相关的资源,它会检查资源集中是不是有一个有匹配class的CNAME,如果有,名字服务器返回的应答中包括这个CNAME记录,并根据在CNAME中指定的数据开始新的查询。例如:当尝试通过DNS协议获取www.xxx.com.cn的cname记录--即别名指向时,会返回一个别名指向地址,一般为网站的Cache站点地址。
DNS获取CNAME记录的过程包括:客户端向本地DNS服务器发起获取CNAME的请求,由于位于互联网上的本地DNS服务器上已经有了CNAME记录,便会直接告知客户端CNAME记录的结果。而这个CNAME,即别名的目的是为了将源站点域名地址的请求转发给Cache站点。
NS记录探测,是获取网站域名DNS授权服务器的地址。NS记录是域名服务器记录,用来指定该域名由哪个DNS服务器来进行解析。在使用域名解析过程中,后台操作都会有域名管理这一项,尤其是选择了智能DNS解析的时候,在域名管理过程中经常会遇到NS相关的一些问题。如域名转入,以及记录解释里的添加、修改、删除等相关操作都会涉及到NS问题。解析服务器记录NS,用来表明由哪台服务器对该域名进行解析。
DNS获取NS记录的过程包括:客户端向本地DNS服务器发起获取NS记录的请求,由于位于公网的本地DNS服务器定期可以收到网站源站DNS授权服务器的公告,因此本地服务器将返回给客户端多个授权服务器的域名与地址清单。
各业务站点域名的A记录地址的探测,是将前面获取NS记录得到的地址列表作为请求A记录的授权服务器地址,从而获取到各业务域名的A记录地址。A记录实际就是指域名服务器的记录中,域名所映射的IP地址内容。
获取A记录的过程包括:为了探测授权服务器上的A记录解析情况,客户端逐一向源站的授权DNS服务器,发起域名解析请求,并获取返回的IP地址,即A记录。
HTTP服务探测,是通过发起HTTP协议的url访问请求,获取各业务站点http服务的响应指标。响应指标内容主要包括:DNS解析时间、网络层响应时间、url下载时间、HTTP返回码、url页面大小。其中,DNS解析时间,是指在通过使用域名访问网站时,HTTP返回第一个包的时间。网络层响应时间的定义为:网络层响应时间=TCP连接时间+发送请求的时间+收到请求响应信息的第一个字节的时间。
一次完整的HTTP服务探测过程包括:为了探测HTTP的访问性能,客户端通过域名、发起HTTP访问请求到web服务器。web服务器将实际页面返回给客户端进行下载。
HTTPS服务探测同HTTP服务探测,只是HTTPS服务是在HTTP协议的基础上通过在传输层加密实现。
网站访问性能监测服务器200部署于互联网上,用于接收获取大量客户终端100产生的DNS探测数据和HTTP/HTTPS探测数据,并实现数据汇总,数据格式化处理和数据存储功能。
DNS可用率计算单元201,获取数据预处理模块中探测类型为DNS的数据,这些数据中包括了DNS探测过程中CNAME记录结果、NS记录结果和A记录结果。首先,对获取到的数据进行分析计算,得出各探测节点的DNS服务状态,并进行存储。然后,再对DNS服务状态数据进行分析计算,得出各省各业务的DNS服务可用率数据,并进行存储。
HTTP可用率计算单元202,获取数据预处理模块中探测类型为HTTP/HTTPS的数据,这些数据中包括了HTTP探测过程中DNS解析时间、网络层响应时间、url下载时间、HTTP返回码、url页面大小这几项指标。首先,对获取到的数据进行分析计算,得出各探测节点的HTTP服务状态,并进行存储。然后,再对HTTP服务状态数据进行分析计算,得出各省各业务的HTTP服务可用率数据,并进行存储。
访问性能计算单元203,通过对DNS服务模块、HTTP服务模块处理后的数据信息进行合并,并根据网站访问性能的综合指标进行比对计算,对网站综合访问性能进行评价。
告警信息生成单元204,通过将DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、综合访问性能数据与告警规则存储单元中的告警规则表进行对比后,产生告警事件。
告警信息输出单元205,将输出告警信息发送到相应的监控系统上。
如图11所示,本实施例的网站访问性能监测系统工作流程如下:客户终端分别使用DNS、HTTP、HTTPS协议对网站进行探测,并将探测数据上送至网站访问性能监测服务器,网站访问性能监测服务器在对探测数据进行收集、汇总后,将数据永久存储并分别进行DNS服务数据处理和HTTP服务数据处理。网站访问性能监测服务器通过加载永久存储的DNS数据,形成DNS服务状态数据;并通过加载永久存储的HTTP和HTTPS服务数据,生成HTTP服务状态数据;将DNS服务状态数据和HTTP服务状态数据进行数据加载,最终生成综合访问性能可用率数据。
1)步骤1:
步骤1是在客户终端完成的,客户终端首先从自身存储单元中读取本终端的默认系统设置。其中包括探测的服务类型、探测的业务类型、探测的具体内容等基础参数。具体格式见表1:
表1、客户端基础参数
在加载完成初始的基础参数信息后,客户终端按照不同的探测任务,执行网站的探测工作。按照探测类型的不同,客户终端主要执行三种协议层网络服务。探测服务时,顺序完成DNS协议的CNAME、NS、A记录三种探测类型和HTTP/HTTPS服务的探测。
如图6所示,数据探测服务工作的流程包括:首先,对www.icbc.com.cn的CNAME进行探测,从而获取网站Cache站点的域名。如果无法获取CNAME记录,将CNAME的结果标记为fail。然后,对icbc.com.cn的NS记录进行探测,获取到网站的多个DNS授权服务器域名与IP地址。如果无法获取授权服务器清单,将NS记录的结果标记为fail,并且将所有A记录结果标记为fail。在可以正常获取授权服务器清单后,分别向获取到的每个DNS授权服务器发送解析各站点域名的请求,完成各域名A记录的解析探测。在DNS服务探测后,顺序完成各站点Url的HTTP/HTTPS请求发送,从返回的HTTP/HTTPS协议数据报文中,获取出第一个返回报文的时间,将其记录为DNS解析时间;获取HTTP报文头的返回码并记录;从报文中获取url的页面大小,并根据下面公式计算网络层响应时间。
网络层响应时间=TCP连接时间+发送请求的时间+收到请求响应信息的第一个字节的时间。
在客户终端完成一次探测任务后,会将所有的探测结果放入自身存储单元,用于临时保存此次探测的结果数据。接下来,由客户终端上送单元将探测结果,通过SOAP协议发送至探测服务器端。在传送完上送数据后,客户终端将探测配置数据从服务器端获取并下载,更新自身存储单元中的客户端基础参数。
以下为xml包文格式举例:
其中需要说明的是,type和btype分别代表着探测类型和业务类型。
2)步骤2:
步骤2是在网站访问性能监测服务器中完成的。网站访问性能监测服务器首先通过监听SOAP服务,对大量客户终端上送的探测结果数据进行接收,然后将接收到的数据进行数据汇总处理。接下来,在这一次客户终端与监测服务器端交互的过程中,加载客户终端探测参数表(见表2):
表2、永久存储单元中的配置参数表
参数名称 | 备注 |
ROW_ID | 参数ID |
TYPE | 探测类型 |
TYPE_ID | 探测类型ID |
TYPEDESC | 探测类型描述 |
BTYPE | 业务类型 |
BTYPE_ID | 业务类型ID |
BTYPEDESC | 业务类型描述 |
DELAY | 延时 |
RUNMODE | 运行模式 |
PARAM_VAL1 | 参数值1 |
PARAM_VAL2 | 参数值2 |
PARAM_VAL3 | 参数值3 |
PARAM_VAL4 | 参数值4 |
PARAM_VAL5 | 参数值5 |
PARAM_NAME1 | 参数名称1 |
PARAM_NAME2 | 参数名称2 |
PARAM_NAME3 | 参数名称3 |
PARAM_NAME4 | 参数名称4 |
PARAM_NAME5 | 参数名称5 |
MEMO | 备注 |
网站访问性能监测服务器将从客户终端传递进来的数据进行汇总,并将数据进行格式化,转换成逐条记录,定时将这些记录放入自身临时存储单元中。为了保证汇总后的探测数据及时得到进一步的处理,每一个采集间隔(默认为5分钟),会加载自身临时存储单元中的所有探测数据记录,并将数据存入到自身永久存储单元中,存储格式见表3:
表3、监测服务器的永久存储单元中的数据
3)步骤3:
如图7所示,步骤3是在网站访问性能监测服务器中完成的。网站访问性能监测服务器首先从自身的永久存储单元中,将探测类型为DNS相关的数据加载进来。然后,根据这些DNS服务探测数据得出各探测节点的DNS状态数据,并将该数据放入DNS服务状态数据存储单元中。
该流程中,初始加载DNS服务数据时是按照各节点IP的不同,逐个加载的。即每次将一个节点的所有DNS服务记录加载进来,并按照如下流程完成计算并存储。由于探测节点的数量较多,该流程是在重复进行的。数据加载进来的A记录清单格式见表4:
表4、A记录地址清单表
经过网站访问性能监测服务器处理后,存放至DNS服务状态数据存储单元中的数据记录是各探测节点的状态清单,格式如表5:
表5、状态数据存储表
网站访问性能监测服务器将以探测节点所在的省份、业务类型作为分析维度,对DNS服务状态数据存储单元中的数据进行逐条的加载和汇总计算,从而形成DNS服务的可用率数据,并将其存放至DNS服务可用率数据存储单元中。DNS服务的可用率数据的具体计算公式如下:
xx省xx业务的DNS服务可用率=该省xx业务类型中所有状态为ok的的数据记录数量/该省xx业务类型中所有数据的记录数量
经过网站访问性能监测服务器的处理,存放至DNS服务可用率存储单元中的记录是各省各业DNS服务可用率数据存储表率清单,具体格式见表6:
表6、DNS服务可用率数据存储表
4)步骤4:
如图8所示,步骤4是在网站访问性能监测服务器中完成的。网站访问性能监测服务器首先从永久存储单元中,将探测类型为HTTP/HTTPS相关的数据加载进来。然后,根据这些HTTP服务探测数据对HTTP服务探测数据进行分析,得出各探测节点的HTTP服务状态数据,并将该数据放入HTTP服务状态数据存储单元中。
网站访问性能监测服务器将以探测节点所在的省份、业务类型作为分析维度,对HTTP服务状态数据存储单元中的数据进行逐条的加载和汇总计算,从而形成HTTP服务的可用率数据,并将其存放至HTTP服务可用率数据存储单元中。HTTP服务的可用率数据的具体计算公式如下:
xx省xx业务的HTTP服务可用率=该省xx业务类型中所有状态为ok的的数据记录数量/该省xx业务类型中所有数据的记录数量
经过网站访问性能监测服务器的处理,存放至HTTP服务可用率存储单元中的记录是各省各业务的HTTP服务可用率清单,具体格式见表7:
表7、HTTP服务可用率数据存储表
5)步骤5:
如图9所示,步骤5是在网站访问性能监测服务器中完成的。首先,网站访问性能监测服务器分别将DNS服务状态数据存储单元和HTTP服务状态数据存储单元中的数据,加载进来。然后,网站访问性能监测服务器对DNS服务和HTTP服务这两类数据进行汇总,得出各探测节点的综合访问性能状态数据,并将该数据放入综合访问性能状态数据存储单元中。
网站访问性能监测服务器将以探测节点所在的省份、业务类型作为分析维度,对综合访问性能状态数据存储单元中的数据进行逐条的加载和汇总计算,从而形成综合访问性能可用率数据,并将其存放至综合访问性能可用率数据存储单元中。综合访问性能可用率的具体计算公式如下:
xx省xx业务的综合访问性能可用率=该省xx业务类型中所有状态为ok的的数据记录数量/该省xx业务类型中所有数据的记录数量
经过网站访问性能监测服务器的处理,存放至综合访问性能可用率存储单元中的记录是各省各业务的综合访问性能可用率清单,具体格式见表8:
表8、综合访问性能可用率数据存储表
6)步骤6:
如图10所示、步骤6是在网站访问性能监测服务器的告警信息生成单元中完成的。首先,告警信息生成单元会从告警规则存储单元中将告警规则加载进来。然后逐条遍历告警规则,并根据每条告警规则的大类、小类、告警业务的不同,到DNS服务状态数据存储单元中加载DNS服务状态数据、DNS服务可用率存储单元中加载DNS服务可用率数据、HTTP服务状态数据存储单元中加载HTTP服务状态数据、HTTP服务可用率存储单元中加载HTTP服务可用率数据、综合访问性能可用率数据存储单元中加载综合访问性能可用率数据。如果记录在与告警规则表进行比对后,满足告警条件(阀值),告警数据发送单元向相应的IP地址发送告警。
其中,告警规则具体表格式见表9:
表9、告警规则表
本实施例解决了原来网站访问性能测环节多、难以及时获取访问性能的技术问题,提供了全面、系统的技术手段,从而实现了网站访问性能评估的全面自动化,主动收集到了大量的客户访问信息,提高了网站访问性能数据收集统计的效率和准确性。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种网站访问性能监测方法,其特征是,所述的方法包括:
向域名系统DNS服务器发送DNS探测数据请求,其中包括:向本地DNS服务器发送CNAME数据获取请求和NS数据获取请求,向多个源站授权DNS服务器逐一发送域名解析请求;
获取所述DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据,其中包括:获取所述本地DNS服务器反馈的CNAME数据,和包含多个源站授权DNS服务器的域名和地址的NS数据,获取每个源站授权DNS服务器反馈的域名所映射的IP地址数据;
根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;
获取所述Web服务器反馈的包含页面数据在内的HTTP探测数据;
根据获取的DNS探测数据计算生成DNS服务状态数据,并根据所述的DNS服务状态数据计算生成DNS服务可用率数据;
根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据所述的HTTP服务状态数据计算生成HTTP服务可用率数据;
根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;
根据所述的DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;
输出所述的告警信息。
2.根据权利要求1所述的方法,其特征是,所述的输出所述的告警信息包括:向对应的IP地址输出所述的告警信息。
3.一种网站访问性能监测装置,其特征是,所述的装置包括:
DNS探测请求单元,用于向域名系统DNS服务器发送DNS探测数据请求,其中包括向本地DNS服务器发送CNAME数据获取请求、向本地DNS服务器发送NS数据获取请求并向多个源站授权DNS服务器逐一发送域名解析请求;
DNS数据获取单元,用于获取所述DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据,其中包括获取所述本地DNS服务器反馈的CNAME数据,和包含多个源站授权DNS服务器的域名和地址的NS数据,并获取每个源站授权DNS服务器反馈的域名所映射的IP地址数据;
HTTP探测请求单元,用于根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;
HTTP数据获取单元,用于获取所述Web服务器反馈的包含页面数据在内的HTTP探测数据;
DNS可用率计算单元,用于根据获取的DNS探测数据计算生成DNS服务状态数据,并根据所述的DNS服务状态数据计算生成DNS服务可用率数据;
HTTP可用率计算单元,用于根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据所述的HTTP服务状态数据计算生成HTTP服务可用率数据;
访问性能计算单元,用于根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;
告警信息生成单元,用于根据所述的DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;
告警信息输出单元,用于输出所述的告警信息。
4.根据权利要求3所述的装置,其特征是,所述的告警信息输出单元,用于向对应的IP地址输出所述的告警信息。
5.一种网站访问性能监测系统,其特征是,所述的系统包括:客户终端和网站访问性能监测服务器;所述的客户终端通过互联网与所述的网站访问性能监测服务器相连接;
所述的客户终端包括:
DNS探测请求单元,用于向域名系统DNS服务器发送DNS探测数据请求,其中包括向本地DNS服务器发送CNAME数据获取请求、向本地DNS服务器发送NS数据获取请求并向多个源站授权DNS服务器逐一发送域名解析请求;
DNS数据获取单元,用于获取所述DNS服务器反馈的包含CNAME数据和NS数据在内的DNS探测数据,其中包括获取所述本地DNS服务器反馈的CNAME数据,和包含多个源站授权DNS服务器的域名和地址的NS数据,并获取每个源站授权DNS服务器反馈的域名所映射的IP地址数据;
HTTP探测请求单元,用于根据域名向Web服务器发送超文本传输协议HTTP探测数据请求;
HTTP数据获取单元,用于获取所述Web服务器反馈的包含页面数据在内的HTTP探测数据;
探测数据发送单元,用于向所述的网站访问性能监测服务器发送包含DNS探测数据和HTTP探测数据的网站访问性能探测数据;
所述的网站访问性能监测服务器包括:
DNS可用率计算单元,用于根据获取的DNS探测数据计算生成DNS服务状态数据,并根据所述的DNS服务状态数据计算生成DNS服务可用率数据;
HTTP可用率计算单元,用于根据获取的HTTP探测数据计算生成HTTP服务状态数据,并根据所述的HTTP服务状态数据计算生成HTTP服务可用率数据;
访问性能计算单元,用于根据获取的DNS探测数据和HTTP探测数据计算生成网站访问性能评价数据;
告警信息生成单元,用于根据所述的DNS服务状态数据、DNS服务可用率数据、HTTP服务状态数据、HTTP服务可用率数据、网站访问性能评价数据以及预存储的告警阀值数据计算生成告警信息;
告警信息输出单元,用于输出所述的告警信息。
6.根据权利要求5所述的系统,其特征是,所述的告警信息输出单元,用于向对应的IP地址输出所述的告警信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010601947A CN102035696B (zh) | 2010-12-22 | 2010-12-22 | 一种网站访问性能监测方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010601947A CN102035696B (zh) | 2010-12-22 | 2010-12-22 | 一种网站访问性能监测方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102035696A CN102035696A (zh) | 2011-04-27 |
CN102035696B true CN102035696B (zh) | 2012-10-03 |
Family
ID=43888061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010601947A Active CN102035696B (zh) | 2010-12-22 | 2010-12-22 | 一种网站访问性能监测方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102035696B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103812715A (zh) * | 2012-11-07 | 2014-05-21 | 江苏仕德伟网络科技股份有限公司 | 一种判断网站运行状态的方法 |
CN103841045B (zh) * | 2012-11-22 | 2017-11-21 | 中国移动通信集团公司 | 一种互联网缓存处理方法、内容探测子系统和Cache系统 |
US9288125B2 (en) * | 2013-06-14 | 2016-03-15 | Microsoft Technology Licensing, Llc | Application control of embedded web content execution |
CN103546590A (zh) * | 2013-10-18 | 2014-01-29 | 北京奇虎科技有限公司 | 一种dns服务器的选择方法与装置 |
CN103716398B (zh) * | 2013-12-30 | 2017-11-24 | 北京奇虎科技有限公司 | Cdn服务器的监控方法和监控系统 |
CN104202190B (zh) * | 2014-09-02 | 2017-07-25 | 百度在线网络技术(北京)有限公司 | 一种网络链路监控方法及设备 |
CN104731871A (zh) * | 2015-03-03 | 2015-06-24 | 北京齐尔布莱特科技有限公司 | 一种网站可用性监控和诊断系统及方法 |
CN105049301A (zh) * | 2015-08-31 | 2015-11-11 | 北京奇虎科技有限公司 | 一种提供网站综合评价服务的方法和装置 |
CN106921537A (zh) * | 2015-12-28 | 2017-07-04 | 中国电信股份有限公司 | 网站访问质量测试方法、服务器和系统 |
CN105760284A (zh) * | 2016-02-01 | 2016-07-13 | 广州酷狗计算机科技有限公司 | 网站性能监控方法及装置 |
CN107800670B (zh) * | 2016-09-05 | 2021-10-22 | 百度在线网络技术(北京)有限公司 | 用于预警网站安全的方法和装置 |
CN108696561B (zh) * | 2017-04-11 | 2021-05-25 | 中国移动通信集团河北有限公司 | 资源推送的方法和装置 |
CN107579873A (zh) * | 2017-08-30 | 2018-01-12 | 杭州安恒信息技术有限公司 | 一种监测网站可用性的方法 |
CN109698764B (zh) * | 2017-10-24 | 2020-09-29 | 贵州白山云科技股份有限公司 | 一种域名解析系统配置更新方法和装置 |
CN110868381B (zh) * | 2018-12-19 | 2022-04-19 | 北京安天网络安全技术有限公司 | 基于dns解析结果触发的流量数据收集方法、装置及电子设备 |
CN112887354B (zh) * | 2019-11-29 | 2023-04-21 | 贵州白山云科技股份有限公司 | 一种性能信息的获取方法和装置 |
CN112153171B (zh) * | 2020-09-25 | 2023-07-25 | 互联网域名系统北京市工程研究中心有限公司 | 域名的建站情况探测系统和探测方法 |
CN112866289B (zh) * | 2021-03-02 | 2022-09-30 | 恒为科技(上海)股份有限公司 | 一种提取特征规则的方法及系统 |
CN113595819B (zh) * | 2021-07-22 | 2024-05-07 | 中移(杭州)信息技术有限公司 | 网站健康检测方法、装置、设备以及计算机可读存储介质 |
CN113709173B (zh) * | 2021-09-02 | 2023-02-10 | 南方电网数字电网研究院有限公司 | 针对电力系统网络服务进行外部无干扰监测的方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282366A (zh) * | 2008-05-21 | 2008-10-08 | 北京中企开源信息技术有限公司 | 点对点网络中的数据传输处理方法及装置 |
CN101815105A (zh) * | 2010-03-25 | 2010-08-25 | 上海交通大学 | 带智能缓存的域名解析服务系统及其服务方法 |
CN101902505A (zh) * | 2009-05-31 | 2010-12-01 | 中国科学院计算机网络信息中心 | 一种分布式dns查询日志的实时统计装置及方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060023638A1 (en) * | 2004-07-29 | 2006-02-02 | Solutions4Networks | Proactive network analysis system |
CN101483648B (zh) * | 2009-02-20 | 2012-07-11 | 杭州华三通信技术有限公司 | Dns缓存探测的方法、系统、装置和dns服务器 |
-
2010
- 2010-12-22 CN CN201010601947A patent/CN102035696B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101282366A (zh) * | 2008-05-21 | 2008-10-08 | 北京中企开源信息技术有限公司 | 点对点网络中的数据传输处理方法及装置 |
CN101902505A (zh) * | 2009-05-31 | 2010-12-01 | 中国科学院计算机网络信息中心 | 一种分布式dns查询日志的实时统计装置及方法 |
CN101815105A (zh) * | 2010-03-25 | 2010-08-25 | 上海交通大学 | 带智能缓存的域名解析服务系统及其服务方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102035696A (zh) | 2011-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102035696B (zh) | 一种网站访问性能监测方法、装置及系统 | |
US7657624B2 (en) | Network usage management system and method | |
CN201919010U (zh) | 一种网站访问性能监测系统 | |
CN101902505B (zh) | 一种分布式dns查询日志的实时统计装置及方法 | |
CN101651707B (zh) | 一种网络用户行为日志自动获取方法 | |
CN102301658B (zh) | 广告投放方法、广告服务器和广告系统 | |
US8095622B1 (en) | Methods and systems for collecting information transmitted over a network | |
CN105359487B (zh) | 通过网络浏览器中的uri去引用监控nat行为的方法 | |
EP3690640B1 (en) | Event stream processing cluster manager | |
US9729563B2 (en) | Data transfer for network interaction fraudulence detection | |
CN101937439A (zh) | 用于收集用户访问相关信息的方法和系统 | |
CN108234245A (zh) | 日志内容及日志数据的筛选方法、装置、系统、可读介质 | |
CN103716398A (zh) | Cdn服务器的监控方法和监控系统 | |
CN114490268A (zh) | 全链路监控方法、装置、设备、存储介质和程序产品 | |
CN110932933B (zh) | 网络状况监测方法、计算设备及计算机存储介质 | |
CN103326896A (zh) | 一种收集用户在互联网上产生的信息数据的系统及方法 | |
CN109981745A (zh) | 一种日志文件处理方法及服务器 | |
CN108847952A (zh) | 请求链路上下文的处理方法、装置及系统 | |
CN104883298A (zh) | 一种业务质量探测方法及路由器 | |
WO2015081988A1 (en) | Performance metric of a system conveying web content | |
CN106874319A (zh) | 点击量的分布式统计方法及装置 | |
CN107179979A (zh) | 一种远程终端信息的获取、分析方法、装置及系统 | |
CN107592291A (zh) | 一种ip地址检测方法、系统、装置及电子设备 | |
CN107959696A (zh) | 一种日志话单处理方法及系统 | |
US20140200041A1 (en) | Evaluation of overall performance of interactive application service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |