CN104731871A - 一种网站可用性监控和诊断系统及方法 - Google Patents

一种网站可用性监控和诊断系统及方法 Download PDF

Info

Publication number
CN104731871A
CN104731871A CN201510094592.2A CN201510094592A CN104731871A CN 104731871 A CN104731871 A CN 104731871A CN 201510094592 A CN201510094592 A CN 201510094592A CN 104731871 A CN104731871 A CN 104731871A
Authority
CN
China
Prior art keywords
time
http
module
request
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510094592.2A
Other languages
English (en)
Inventor
战立涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Cheerbright Technologies Co Ltd
Original Assignee
Beijing Cheerbright Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Cheerbright Technologies Co Ltd filed Critical Beijing Cheerbright Technologies Co Ltd
Priority to CN201510094592.2A priority Critical patent/CN104731871A/zh
Publication of CN104731871A publication Critical patent/CN104731871A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/958Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/1734Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明是一种网站可用性监控和诊断系统及方法,涉及计算机通信领域。该系统包括:建立需要被监控URL和所述需要被监控URL被扫描监控的时间阈值一一对应的映射关系的监控配置模块、按照所述时间阈值,从所述数据库读取并发送包含所述需要被监控URL的HTTP请求的扫描请求发送模块、接收所述HTTP请求后,执行所述HTTP请求,并对所述HTTP Response信息进行异常检测的代理请求模块、数据库、统计所述数据库中存储的异常数据的统计模块和对所述异常数据进行诊断的报表诊断模块。本发明满足更灵活、更可靠和更加自动化的网站监控和智能诊断网站可用性的需求。

Description

一种网站可用性监控和诊断系统及方法
技术领域
本发明涉及计算机通信领域,尤其涉及一种网站可用性监控和诊断系统及方法。
背景技术
汽车之家是一个提供汽车资讯、行情报价、论坛互动等信息的汽车行业垂直门户网站,提供PC端、移动端浏览器、App等方式访问,日均用户PV达到1.3亿。
在网站运维中,网站可用性(availability)是指网站正常运行时间的百分比,它是衡量用户体验的基本指标。业界对于网站可用性有较成熟的衡量指标,即用N个9来量化,现有方法中还存在一些可用性扫描工具,如WVS(Web Vulnerability Scanner),能实现基本的扫描和计算功能,但这些工具一般设计简单,功能单一,不能满足用户对网站可用性监控和诊断的需求。
发明内容
本发明的目的在于提供一种网站可用性监控和诊断系统及方法,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明的一种网站可用性监控和诊断系统,其特征在于,该系统包括:监控配置模块、扫描请求发送模块、代理请求模块、数据库、统计模块和报表诊断模块;
所述监控配置模块,建立需要被监控URL和所述需要被监控URL被扫描监控的时间阈值一一对应的映射关系,并将需要被监控URL、时间阈值及所述映射关系存储在所述数据库中;
所述扫描请求发送模块,按照所述时间阈值,从所述数据库读取并发送包含所述需要被监控URL的HTTP请求;
所述代理请求模块,接收所述HTTP请求后,执行所述HTTP请求,将接收到的HTTP Response信息存储到所述数据库时,对所述HTTP Response信息进行异常检测,获取并标记异常的信息;
所述统计模块,用于统计所述数据库中存储的异常数据;
所述报表诊断模块,查询统计完成的异常数据,并对所述异常数据进行诊断。
优选地,所述代理请求模块包括:HTTP代理单元和HTTP请求单元;
所述HTTP代理单元,负责接收所述HTTP请求,并创建所述HTTP请求的唯一标识码,并把所述唯一标识码写入到所述HTTP请求Header中的User-Agent参数;
所述HTTP请求单元,负责执行所述HTTP请求,并接收HTTP Response信息。
优选地,所述唯一标识码包括:需要被监控URL编号、日期、当次扫描次序号顺序组成。
优选地,所述HTTP Response信息包括:DNS请求的开始和结束时间、HTTP Request发送的开始和结束时间、Response首字节时间、Response结束接收的时间、HTTP Response状态码、HTTP Response Header和HTTP Response Body。
优选地,本系统还包括可用性计算模块,按照预先设定的时间扫描所述数据库中存储的前一日的扫描信息,并分别按照日、周、月进行可用性统计,采用下述公式(1)计算某一段时间内的可用率:
P=m/n     (1);
其中,所述m表示某一段时间的扫描成功次数,n表示某一段时间的扫描总次数,P表示某一段时间内的可用率。
本发明的一种网站可用性监控和诊断方法,该方法包括以下步骤:
S1,执行接收到的包含需要被监控URL的HTTP请求;
S2,接收执行所述HTTP请求后的HTTP Response信息,并进行异常检测,标记并存储异常的信息;
S3,统计数据库中存储的、异常的HTTP Response信息;
S4,对所述异常的HTTP Response信息进行诊断,并将结果传递给相关人员。
优选地,步骤S2中所述异常检测,是按照下述标准进行:
若所述HTTP Response信息的状态码大于400时,则将所述扫描信息标记异常;
和/或若所述HTTP Response信息的状态码等于200,且DNS解析时间和/或Request发送时间和/或服务器运行时间和/或Response接收时间和/或HTTP响应的总体时间大于预先设定的相应阈值,则将所述HTTP Response信息标记异常。
优选地,步骤S3中,所述异常的HTTP Response信息包括:所述HTTP请求的唯一标识码,DNS请求的开始和结束时间、Request发送的开始和结束时间、Response首字节时间、Response结束接收的时间、HTTP Response状态码、HTTP Response Header和HTTP Response Body。
优选地,步骤S1中,在执行接收到的包含需要被监控URL的HTTP 请求时,创建所述HTTP请求的唯一标识码,所述唯一标识码与所述需要被监控URL一一对应设置。
更优选地,通过所述唯一标识码,相关人员在服务器的web日志中查询到当次扫描即扫描结果。
本发明的有益效果是:
本发明中所述系统把请求模块设计成单独的服务,可代理不同服务器和异构系统发送的请求;又因为设计了统计模块、报表诊断模块和可用性计算模块,使本系统不仅能统计可用性,还具备完善的诊断功能。因此本发明满足更灵活、更可靠和更加自动化的网站监控和智能诊断网站可用性的需求。
附图说明
图1是实施例1中所述网站可用性监控和诊断系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
实施例1
参照图1,本实施例中一种网站可用性监控和诊断系统,该系统包括:监控配置模块、扫描请求发送模块、代理请求模块、数据库、统计模块和报表诊断模块;
所述监控配置模块,建立需要被监控URL和所述需要被监控URL被扫描监控的时间阈值一一对应的映射关系,并将所述映射关系存储在所述数据库中;所述扫描请求发送模块,按照所述时间阈值,从所述数据库读取并发送包含所述需要被监控URL的HTTP请求;所述代 理请求模块,接收所述HTTP请求后,执行所述HTTP请求,将接收到的HTTP Response信息存储到所述数据库时,对所述HTTP Response信息进行异常检测,获取并标记异常的信息;所述统计模块,用于统计所述数据库中存储的异常数据;所述报表诊断模块,查询统计完成的异常数据,并对所述异常数据进行诊断。
本实施例中,所述代理请求模块包括:HTTP代理单元和HTTP请求单元;所述HTTP代理单元,负责接收所述HTTP请求,并创建所述HTTP请求的唯一标识码,并把所述唯一标识码写入所述HTTP请求Header中的User-Agent参数;所述HTTP请求单元,负责执行所述HTTP请求,并接收HTTP Response详细信息。因为所述系统把请求模块设计成单独的服务,可代理不同服务器和异构系统发送的请求。
本实施例中,所述唯一标识码包括:需要被监控URL编号、日期、当次扫描次序号依次组成。
本实施例中,所述HTTP Response信息包括:DNS请求的开始和结束时间、Request发送的开始和结束时间、Response首字节时间、Response结束接收的时间、HTTP Response状态码、HTTP Response Header和HTTP Response Body。其中,所述HTTP Response Header表示HTTP的响应头域,所述HTTP表示HTTP的响应信息区域,所述DNS表示域名系统,所述Request表示HTTP请求,所述Response表示HTTP的响应。
本实施例中,本系统还包括可用性计算模块,按照预先设定的时间扫描所述数据库中存储的前一日的扫描信息,并分别按照日、周、月进行可用性统计,采用下述公式(1)计算某一段时间内的可用率:
P=m/n     (1);
其中,所述m表示某一段时间的扫描成功次数,n表示某一段时间的扫描总次数,P表示某一段时间内的可用率。根据所述可用性计算模块可以获取当前网站正常运行时间的百分比。故在统计模块、报表诊断模块和可用性计算模块的基础上,本实施例中所述系统不仅具备完善的诊断功能,还能统计网站可用性。
在本实施例中,所述系统提供异常信息查询。在异常数据的统计表中,列出了所述HTTP Response的明细信息。相关人员查看这些信息,可准确的知道在当次HTTP请求过程在哪个阶段发生了超时;相关人员根据状态码对照HTTP协议第10章中的状态码定义,可了解错误原因;HTTP协议第10章内容具体指RFC2616Hypertext Transfer Protocol--HTTP/1.1第10章。
在本实施例中,所述系统对每次HTTP请求设定了唯一标识码。如果被扫描的服务器开启了web日志,并且web日志符合NCSA或W3C日志规范,那么用户根据所述唯一标识码,可以在服务器的web日志中快速查询到当次扫描。相关人员结合异常信息、web日志和程序日志,能更方便的诊断异常。
实施例2
本实施例的网站可用性监控和诊断方法,基于实施例1中所述网站可用性监控和诊断系统的网站可用性监控和诊断方法,包括以下步骤:
S1,执行接收到的包含需要被监控URL的HTTP请求;
S2,接收执行所述HTTP请求后的HTTP Response信息,并进行异 常检测,标记并存储异常的信息;
S3,统计数据库中存储的、异常的HTTP Response信息;
S4,对所述异常的HTTP Response信息进行诊断,并将结果传递给相关人员。
本实施例中,步骤S2中所述异常检测,是按照下述标准进行:
若所述HTTP Response信息的状态码大于400时,则将所述扫描信息标记异常;
和/或若所述HTTP Response信息的状态码等于200,且DNS解析时间和/或Request发送时间和/或服务器运行时间和/或Response接收时间和/或HTTP响应的总体时间大于预先设定的相应阈值,则将所述HTTP Response信息标记异常。
本实施例中,步骤S3中所述统计数据库中存储的、异常的HTTP Response信息,所述异常的HTTP Response信息包括:所述HTTP请求的唯一标识码,DNS请求的开始和结束时间、Request发送的开始和结束时间、Response首字节时间、Response结束接收的时间、HTTP Response状态码、HTTP Response Header和HTTP Response Body。
本实施例中,步骤S1中,在执行接收到的包含需要被监控URL的HTTP请求时,创建所述HTTP请求的唯一标识码,所述唯一标识码与所述需要被监控URL一一对应设置。
本实施例中,其特征在于,通过所述唯一标识码,相关人员在服务器的web日志中快速查询到当次扫描即扫描结果。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明中所述系统把请求模块设计成单独的服务,可代理不同服务器和异构系统发送的请求;又因为设计了统计模块、报表诊断模块 和可用性计算模块,使本系统不仅能统计可用性,还具备完善的诊断功能。因此本发明满足更灵活、更可靠和更加自动化的网站监控和智能诊断网站可用性的需求。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种网站可用性监控和诊断系统,其特征在于,该系统包括:监控配置模块、扫描请求发送模块、代理请求模块、数据库、统计模块和报表诊断模块;
所述监控配置模块,建立需要被监控URL和所述需要被监控URL被扫描监控的时间阈值一一对应的映射关系,并将需要被监控URL、时间阈值及所述映射关系存储在所述数据库中;
所述扫描请求发送模块,按照所述时间阈值,从所述数据库读取并发送包含所述需要被监控URL的HTTP请求;
所述代理请求模块,接收所述HTTP请求后,执行所述HTTP请求,将接收到的HTTP Response信息存储到所述数据库时,对所述HTTPResponse信息进行异常检测,获取并标记异常的信息;
所述统计模块,用于统计所述数据库中存储的异常数据;
所述报表诊断模块,查询统计完成的异常数据,并对所述异常数据进行诊断。
2.根据权利要求1所述网站可用性监控和诊断系统,其特征在于,所述代理请求模块包括:HTTP代理单元和HTTP请求单元;
所述HTTP代理单元,负责接收所述HTTP请求,并创建所述HTTP请求的唯一标识码,并把所述唯一标识码写入到所述HTTP请求Header中的User-Agent参数;
所述HTTP请求单元,负责执行所述HTTP请求,并接收HTTPResponse信息。
3.根据权利要求2所述网站可用性监控和诊断系统,其特征在于,所述唯一标识码包括:需要被监控URL编号、日期、当次扫描次序号顺序组成。
4.根据权利要求1所述网站可用性监控和诊断系统,其特征在于,所述HTTP Response信息包括:DNS请求的开始和结束时间、HTTPRequest发送的开始和结束时间、Response首字节时间、Response结束接收的时间、HTTP Response状态码、HTTP Response Header和HTTPResponse Body。
5.根据权利要求1所述网站可用性监控和诊断系统,其特征在于,本系统还包括可用性计算模块,按照预先设定的时间扫描所述数据库中存储的前一日的扫描信息,并分别按照日、周、月进行可用性统计,采用下述公式(1)计算某一段时间内的可用率:
P=m/n   (1);
其中,所述m表示某一段时间的扫描成功次数,n表示某一段时间的扫描总次数,P表示某一段时间内的可用率。
6.一种网站可用性监控和诊断的方法,其特征在于,基于权利要求1-5任意一项权利要求所述网站可用性监控和诊断系统的网站可用性监控和诊断方法,其特征在于,该方法包括以下步骤:
S1,执行接收到的包含需要被监控URL的HTTP请求;
S2,接收执行所述HTTP请求后的HTTP Response信息,并进行异常检测,标记并存储异常的信息;
S3,统计数据库中存储的、异常的HTTP Response信息;
S4,对所述异常的HTTP Response信息进行诊断,并将结果传递给相关人员。
7.根据权利要求6所述网站可用性监控和诊断的方法,其特征在于,步骤S2中所述异常检测,是按照下述标准进行:
若所述HTTP Response信息的状态码大于400时,则将所述扫描信息标记异常;
和/或若所述HTTP Response信息的状态码等于200,且DNS解析时间和/或Request发送时间和/或服务器运行时间和/或Response接收时间和/或HTTP响应的总体时间大于预先设定的相应阈值,则将所述HTTP Response信息标记异常。
8.根据权利要求6所述网站可用性监控和诊断的方法,其特征在于,步骤S3中,所述异常的HTTP Response信息包括:所述HTTP请求的唯一标识码,DNS请求的开始和结束时间、Request发送的开始和结束时间、Response首字节时间、Response结束接收的时间、HTTPResponse状态码、HTTP Response Header和HTTP Response Body。
9.根据权利要求6所述网站可用性监控和诊断的方法,其特征在于,步骤S1中,在执行接收到的包含需要被监控URL的HTTP请求时,创建所述HTTP请求的唯一标识码,所述唯一标识码与所述需要被监控URL一一对应设置。
10.根据权利要求9所述网站可用性监控和诊断的方法,其特征在于,通过所述唯一标识码,相关人员在服务器的web日志中查询到当次扫描即扫描结果。
CN201510094592.2A 2015-03-03 2015-03-03 一种网站可用性监控和诊断系统及方法 Pending CN104731871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510094592.2A CN104731871A (zh) 2015-03-03 2015-03-03 一种网站可用性监控和诊断系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510094592.2A CN104731871A (zh) 2015-03-03 2015-03-03 一种网站可用性监控和诊断系统及方法

Publications (1)

Publication Number Publication Date
CN104731871A true CN104731871A (zh) 2015-06-24

Family

ID=53455758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510094592.2A Pending CN104731871A (zh) 2015-03-03 2015-03-03 一种网站可用性监控和诊断系统及方法

Country Status (1)

Country Link
CN (1) CN104731871A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107579873A (zh) * 2017-08-30 2018-01-12 杭州安恒信息技术有限公司 一种监测网站可用性的方法
CN107707427A (zh) * 2017-09-28 2018-02-16 南华大学 一种网站可用性监控系统及方法
CN108052429A (zh) * 2017-11-13 2018-05-18 山东中创软件商用中间件股份有限公司 一种url的状态监控方法、装置及介质
CN109347665A (zh) * 2018-10-07 2019-02-15 杭州安恒信息技术股份有限公司 一种基于web日志的网站可用性告警方法及其系统
CN111464376A (zh) * 2020-03-05 2020-07-28 奇安信科技集团股份有限公司 网站可用性的监测方法及装置、存储介质、计算机设备
CN113726808A (zh) * 2021-09-06 2021-11-30 杭州安恒信息安全技术有限公司 一种网站监测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035696A (zh) * 2010-12-22 2011-04-27 中国工商银行股份有限公司 一种网站访问性能监测方法、装置及系统
CN102624570A (zh) * 2012-04-27 2012-08-01 杭州东信北邮信息技术有限公司 实现对web服务器可用性进行检测的监控系统和方法
CN102761449A (zh) * 2012-08-07 2012-10-31 北京鼎震科技有限责任公司 一种web服务性能分析系统及方法和装置
US20130173779A1 (en) * 2011-12-30 2013-07-04 F5 Networks, Inc. Methods for identifying network traffic characteristics to correlate and manage one or more subsequent flows and devices thereof
CN103685575A (zh) * 2014-01-06 2014-03-26 洪高颖 一种基于云架构的网站安全监控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035696A (zh) * 2010-12-22 2011-04-27 中国工商银行股份有限公司 一种网站访问性能监测方法、装置及系统
US20130173779A1 (en) * 2011-12-30 2013-07-04 F5 Networks, Inc. Methods for identifying network traffic characteristics to correlate and manage one or more subsequent flows and devices thereof
CN102624570A (zh) * 2012-04-27 2012-08-01 杭州东信北邮信息技术有限公司 实现对web服务器可用性进行检测的监控系统和方法
CN102761449A (zh) * 2012-08-07 2012-10-31 北京鼎震科技有限责任公司 一种web服务性能分析系统及方法和装置
CN103685575A (zh) * 2014-01-06 2014-03-26 洪高颖 一种基于云架构的网站安全监控方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107579873A (zh) * 2017-08-30 2018-01-12 杭州安恒信息技术有限公司 一种监测网站可用性的方法
CN107707427A (zh) * 2017-09-28 2018-02-16 南华大学 一种网站可用性监控系统及方法
CN108052429A (zh) * 2017-11-13 2018-05-18 山东中创软件商用中间件股份有限公司 一种url的状态监控方法、装置及介质
CN109347665A (zh) * 2018-10-07 2019-02-15 杭州安恒信息技术股份有限公司 一种基于web日志的网站可用性告警方法及其系统
CN111464376A (zh) * 2020-03-05 2020-07-28 奇安信科技集团股份有限公司 网站可用性的监测方法及装置、存储介质、计算机设备
CN113726808A (zh) * 2021-09-06 2021-11-30 杭州安恒信息安全技术有限公司 一种网站监测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN104731871A (zh) 一种网站可用性监控和诊断系统及方法
US10931730B2 (en) Method and system for ISP network performance monitoring and fault detection
US20180007173A1 (en) Data Processing Method and Apparatus for Performing Protocol Parsing in a Cloud
CN102938770B (zh) 一种实现多协议消息统一接口的方法及相关装置、系统
KR20070117954A (ko) 이동 통신 단말에 대한 디바이스 관리 장치 및 방법 그리고그 시스템
CN105897652A (zh) 一种基于标准协议的异构终端动态接入方法
CN108540584B (zh) 一种通用的Modbus协议地址配置方法
CN111711533B (zh) 故障诊断方法、装置、电子设备及存储介质
WO2006065399A2 (en) Using trend data to address computer faults
CN110113440B (zh) 一种请求响应方法、装置及终端
US20150370899A1 (en) Shortened url management method and management device, and storage medium storing computer program for management thereof
CN111917900A (zh) 一种域名代理的请求处理方法及装置
CN114598750B (zh) 一种数据请求处理方法、装置及存储介质
CN109194706B (zh) 网络资源拨测方法及终端
CN102684925B (zh) 互联网访问来源信息的获取方法和装置
CN103488480A (zh) 一种页面显示方法及系统
CN113179317A (zh) 内容重写设备的测试系统及方法
CN112769931A (zh) 一种服务管理平台
JP5543896B2 (ja) 仲介サーバと、その仲介サーバによるアクセス解析方法とプログラム
CN107483294B (zh) 监控网络请求的方法及装置
CN111107080B (zh) 一种错误信息推送方法、装置、设备及可读存储介质
KR101740236B1 (ko) 엠큐티티(mqtt) 및 디디에스(dds) 클라이언트 모듈을 갖는 장치를 위한 원격관리시스템
CN113014456A (zh) 一种监控数据传输系统、方法、装置、设备及存储介质
CN117527923B (zh) 一种电力系统数据采集系统及方法
CN112073258B (zh) 一种识别用户的方法及电子设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150624

RJ01 Rejection of invention patent application after publication