CN109347665A - 一种基于web日志的网站可用性告警方法及其系统 - Google Patents

一种基于web日志的网站可用性告警方法及其系统 Download PDF

Info

Publication number
CN109347665A
CN109347665A CN201811165013.9A CN201811165013A CN109347665A CN 109347665 A CN109347665 A CN 109347665A CN 201811165013 A CN201811165013 A CN 201811165013A CN 109347665 A CN109347665 A CN 109347665A
Authority
CN
China
Prior art keywords
alarm
website
management platform
availability management
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811165013.9A
Other languages
English (en)
Inventor
程磊
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201811165013.9A priority Critical patent/CN109347665A/zh
Publication of CN109347665A publication Critical patent/CN109347665A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及网站可用性监测，旨在提供一种基于web日志的网站可用性告警方法及其系统。该种基于web日志的网站可用性告警方法包括步骤：建立可用性管理平台，设置告警字段及阈值；实时采集web服务器的访问日志，本地分析模块对访问日志进行解析并判定该地区该网站是否存在异常，分析模块将分析结果上传给可用性管理平台；可用性管理平台针对分析结果产生新告警，并提供数据统计报表。本发明通过收集网站的访问日志进行告警，有效地解决了原先线路不稳定造成的误报、漏报问题，同时克服了云端到客户服务器之间的稳定性问题。本发明的告警时间能够自定义，防止打扰休息。

Description

一种基于web日志的网站可用性告警方法及其系统
技术领域
本发明是关于网站可用性监测领域，特别涉及一种基于web日志的网站可用性告警方法及其系统。
背景技术
政府的电子政务网络是一个大规模异构的复杂业务专用网络，不仅支持了各部门的各类应用系统，而且承载了多种国家公共基础信息数据库，为社会各行业提供公共基础数据的支持。电子政务网作为政府机关的基础信息设施，直接关系到社会安全和稳定。
网站可用性是电子政务网站访问的重要指标之一，表示在一段时间内，网站处于“正常状态”的机率。随着我国电子政务的建设发展，政府网站用户量的增加，政府网站可用性这一常见问题将逐渐成为政府网站日常管理工作重点之一。
在现有技术中，由于对网站可用性监测告警的不够重视，目前的可用性监测技术较为简单。目前的技术，主要通过可用性监测线路侦测方式对网站进行监测。比如专利“一种网站可用性监控系统及方法(CN 201710893911.5)”、专利“基于多线路监测的网站可用性告警方法、装置及电子设备(CN 201710932123.2)”、专利“一种监测网站可用性的方法(CN 201710763416.2)”等，大多是在描述如何通过线路监测。但是在在监测线路由于网络波动等原因的不稳定场景下，导致其错误率、误报率、漏报率都非常高；同时，这个告警的误报问题不解决，导致网站维护人员对告警信息的不重视，短信疲劳。
目前，还没有很好的技术方案来满足人们对目前网站可用性告警的需求。
发明内容
本发明的主要目的在于克服现有技术中的不足，提供一种相对稳定、准确度高的网站可用性监测告警技术方案。为解决上述技术问题，本发明的解决方案是：
提供一种基于web日志的网站可用性告警方法，具体包括下述步骤：
(1)建立可用性管理平台，设置告警字段及阈值；
(2)(通过syslog方式)实时采集web服务器的访问日志，并在本地利用分析模块对访问日志进行解析，将解析得到的字段与可用性告警管理平台的告警字段进行匹配，并利用告警阈值判定该地区该网站是否存在异常；
分析模块将分析结果上传给可用性管理平台；
所述分析模块在客户本地搭建，用于进行访问日志解析；
(3)可用性管理平台针对分析模块上传的分析结果(即判定的异常)产生新告警，并通过告警服务器进行告警；
(4)根据分析模块上传的分析结果，可用性管理平台提供数据统计报表。
在本发明中，所述步骤(1)中，告警字段包括域名、访问区域、HTTP状态码和访问URL；
其中，所述访问区域的告警阈值是指在该访问区域中无法访问的占比阈值(如当浙江区域无法访问占比多少进行告警)；所述HTTP状态码的告警阈值是指5XX类状态码的占比阈值；所述访问URL的告警阈值是指网站首页无法访问的占比阈值(如当首页无法访问占比多少进行告警)。
在本发明中，所述步骤(1)中，可用性管理平台还设置有告警时间段、告警联系人和告警方式。
在本发明中，所述步骤(2)中，分析模块进行网站异常判定的方法，具体如下：
分析模块对访问日志进行解析，解析得到的字段包括：访问时间、网站域名、源IP地址、HTTP状态码和访问区域；
分析模块调用可用性告警管理平台，并根据预设告警字段进行分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地区该网站存在异常。
在本发明中，所述步骤(3)中，告警方式具体为：
根据可用性管理平台预设好的告警时间段、告警联系人和告警方式，针对分析模块上传的分析结果产生新告警，并通过告警服务器进行告警；
所述告警服务器是指用于根据可用性管理平台预设好的告警联系人、告警时间段及告警方式，对告警联系人在告警时间段内，按告警方式进行告警的服务器。
在本发明中，所述步骤(3)中，告警服务器针对新告警，先匹配告警时间段：
当不符合告警时间时，则将该告警存储在可用性管理平台的网站报告中，当符合告警时间后，再进行告警；
当符合告警时间时，则将该告警按预设的告警方式，发送给告警联系人；
所述告警方式包括短信、邮件。
在本发明中，根据分析模块上传的分析结果，可用性管理平台提供数据统计报表：
可用性管理平台通过分析字段提供数据统计报表，数据统计报表中包括告警统计、访问源异常地区排行统计、业务耗时趋势图和异常状态码走势曲线；且能在可用性管理平台将数据统计报表中的图表，导出为需要的格式。
提供一种存储设备，其中存储有多条指令，所述指令适用于由处理器加载并执行：上述一种基于web日志的网站可用性告警方法。
提供一种基于web日志的网站可用性告警系统，包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适用于由处理器加载并执行：上述一种基于web日志的网站可用性告警方法。
本发明的核心技术思路是：通过syslog方式实时收集网站本身的访问日志，在客户本地进行日志解析，深入分析，并将分析后的数据进行汇总后，由管理系统预设的告警阈值判定网站可用性的异常情况，并可以根据不同的告警对象选择不同的告警策略。
与现有技术相比，本发明的有益效果是：
本发明通过收集网站的访问日志进行告警，有效地解决了原先线路不稳定造成的误报、漏报问题，同时克服了云端到客户服务器之间的稳定性问题。本发明的告警时间能够自定义，防止打扰休息。
附图说明
图1为本发明的工作流程图。
具体实施方式
首先需要说明的是，本发明是计算机技术在网站可用性监测技术领域的一种应用。在本发明的实现过程中，会涉及到多个软件功能模块的应用。申请人认为，如在仔细阅读申请文件、准确理解本发明的实现原理和发明目的以后，在结合现有公知技术的情况下，本领域技术人员完全可以运用其掌握的软件编程技能实现本发明。凡本发明申请文件提及的均属此范畴，申请人不再一一列举。
下面结合附图与具体实施方式对本发明作进一步详细描述：
如图1所示的一种基于web日志的网站可用性告警方法，对比传统的网站可用性监测告警技术，主要目的在于克服线路稳定性的问题以及云端到客户服务器之间的稳定性。
该种基于web日志的网站可用性告警方法具体包括下述步骤：
(1)建立可用性管理平台，设置告警字段及阈值，并设置告警时间段、告警联系人和告警方式。
所述告警字段及阈值包括：域名、访问区域和访问区域对应的阈值、HTTP状态码和5XX状态码比例、访问URL和URL对应的阈值。
(2)通过syslog方式实时采集web服务器的访问日志，并实时发送到在客户本地搭建的分析模块，对访问日志进行解析，得到下述字段：访问时间、网站域名、源IP地址、HTTP状态码和访问区域。
然后分析模块调用可用性告警管理平台，并根据预设告警字段进行多维度分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地区该网站存在异常。比如设定分析某个域名在5分钟内的所有访问日志，通过计算网站的HTTP状态码：404、408、500、502、503、504、505，结合可用性管理平台设置的告警阈值：选取北京区域、访问量中5XX占比大于20％，即可判定该地区该网站存在异常。
分析模块将分析结果上传给可用性管理平台。
(3)根据可用性管理平台预设好的告警时间段、告警联系人和告警方式，针对分析模块上传的分析结果(即判定的异常)产生新告警，并通过告警服务器进行告警。
告警服务器针对新告警，会先匹配告警时间段(告警时间段选择，0点至24点)：
当不符合告警时间时，则将该告警存储在可用性管理平台的网站报告中，当符合告警时间后，再进行告警；
当符合告警时间时，则将该告警按预设的告警方式，发送给告警联系人；告警方式包括短信、邮件等形式。
(4)根据分析模块上传的分析结果，可用性管理平台通过分析字段，提供数据统计报表。数据统计报表中包括告警统计、访问源异常地区排行统计、业务耗时趋势图和异常状态码走势曲线。在可用性管理平台将数据统计报表中的图表，能够按用户需要导出为需要的格式。
最后，需要注意的是，以上列举的仅是本发明的具体实施例。显然，本发明不限于以上实施例，还可以有很多变形。本领域的普通技术人员能从本发明公开的内容中直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (9)

1.一种基于web日志的网站可用性告警方法，其特征在于，具体包括下述步骤：
(1)建立可用性管理平台，设置告警字段及阈值；
(2)实时采集web服务器的访问日志，并在本地利用分析模块对访问日志进行解析，将解析得到的字段与可用性告警管理平台的告警字段进行匹配，并利用告警阈值判定该地区该网站是否存在异常；
分析模块将分析结果上传给可用性管理平台；
所述分析模块在客户本地搭建，用于进行访问日志解析；
(3)可用性管理平台针对分析模块上传的分析结果产生新告警，并通过告警服务器进行告警；
(4)根据分析模块上传的分析结果，可用性管理平台提供数据统计报表。
2.根据权利要求1所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(1)中，告警字段包括域名、访问区域、HTTP状态码和访问URL；
其中，所述访问区域的告警阈值是指在该访问区域中无法访问的占比阈值；所述HTTP状态码的告警阈值是指5XX类状态码的占比阈值；所述访问URL的告警阈值是指网站首页无法访问的占比阈值。
3.根据权利要求1所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(1)中，可用性管理平台还设置有告警时间段、告警联系人和告警方式。
4.根据权利要求1所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(2)中，分析模块进行网站异常判定的方法，具体如下：
分析模块对访问日志进行解析，解析得到的字段包括：访问时间、网站域名、源IP地址、HTTP状态码和访问区域；
分析模块调用可用性告警管理平台，并根据预设告警字段进行分析：当解析得到的字段匹配告警字段，并超出对应的告警阈值时，则判定该地区该网站存在异常。
5.根据权利要求3所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(3)中，告警方式具体为：
根据可用性管理平台预设好的告警时间段、告警联系人和告警方式，针对分析模块上传的分析结果产生新告警，并通过告警服务器进行告警；
所述告警服务器是指用于根据可用性管理平台预设好的告警联系人、告警时间段及告警方式，对告警联系人在告警时间段内，按告警方式进行告警的服务器。
6.根据权利要求5所述的一种基于web日志的网站可用性告警方法，其特征在于，所述步骤(3)中，告警服务器针对新告警，先匹配告警时间段：
当不符合告警时间时，则将该告警存储在可用性管理平台的网站报告中，当符合告警时间后，再进行告警；
当符合告警时间时，则将该告警按预设的告警方式，发送给告警联系人；
所述告警方式包括短信、邮件。
7.根据权利要求1所述的一种基于web日志的网站可用性告警方法，其特征在于，根据分析模块上传的分析结果，可用性管理平台提供数据统计报表：
可用性管理平台通过分析字段提供数据统计报表，数据统计报表中包括告警统计、访问源异常地区排行统计、业务耗时趋势图和异常状态码走势曲线；且能在可用性管理平台将数据统计报表中的图表，导出为需要的格式。
8.一种存储设备，其中存储有多条指令，所述指令适用于由处理器加载并执行：权利要求1至7任意一项所述的一种基于web日志的网站可用性告警方法。
9.一种基于web日志的网站可用性告警系统，包括处理器，适于实现各指令；以及存储设备，适于存储多条指令，所述指令适用于由处理器加载并执行：权利要求1至7任意一项所述的一种基于web日志的网站可用性告警方法。
CN201811165013.9A 2018-10-07 2018-10-07 一种基于web日志的网站可用性告警方法及其系统 Pending CN109347665A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811165013.9A CN109347665A (zh) 2018-10-07 2018-10-07 一种基于web日志的网站可用性告警方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811165013.9A CN109347665A (zh) 2018-10-07 2018-10-07 一种基于web日志的网站可用性告警方法及其系统

Publications (1)

Publication Number Publication Date
CN109347665A true CN109347665A (zh) 2019-02-15

Family

ID=65308307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811165013.9A Pending CN109347665A (zh) 2018-10-07 2018-10-07 一种基于web日志的网站可用性告警方法及其系统

Country Status (1)

Country Link
CN (1) CN109347665A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427307A (zh) * 2019-06-21 2019-11-08 平安科技（深圳）有限公司 日志解析方法、装置、计算机设备及存储介质
CN110730109A (zh) * 2019-10-12 2020-01-24 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111258971A (zh) * 2020-01-10 2020-06-09 北京农信互联科技集团有限公司 一种基于访问日志的应用状态监控报警系统及方法
CN112152823A (zh) * 2019-06-26 2020-12-29 北京易真学思教育科技有限公司 网站运行错误监控方法、装置及计算机存储介质
CN112738238A (zh) * 2020-12-29 2021-04-30 北京天融信网络安全技术有限公司 一种负载均衡中健康检查的方法、装置以及系统
CN113791943A (zh) * 2020-11-12 2021-12-14 北京沃东天骏信息技术有限公司 网站实时监控方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297291A (zh) * 2013-05-08 2013-09-11 携程计算机技术（上海）有限公司 网站实时状态监控方法及系统
CN104731871A (zh) * 2015-03-03 2015-06-24 北京齐尔布莱特科技有限公司 一种网站可用性监控和诊断系统及方法
CN106453669A (zh) * 2016-12-27 2017-02-22 Tcl集团股份有限公司 一种负载均衡方法及一种服务器
CN107888452A (zh) * 2017-11-24 2018-04-06 成都知道创宇信息技术有限公司 一种24小时分布式网站性能监测和实时告警方法
US20180150895A1 (en) * 2016-11-29 2018-05-31 The Quantum Group Inc. Decision organizer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297291A (zh) * 2013-05-08 2013-09-11 携程计算机技术（上海）有限公司 网站实时状态监控方法及系统
CN104731871A (zh) * 2015-03-03 2015-06-24 北京齐尔布莱特科技有限公司 一种网站可用性监控和诊断系统及方法
US20180150895A1 (en) * 2016-11-29 2018-05-31 The Quantum Group Inc. Decision organizer
CN106453669A (zh) * 2016-12-27 2017-02-22 Tcl集团股份有限公司 一种负载均衡方法及一种服务器
CN107888452A (zh) * 2017-11-24 2018-04-06 成都知道创宇信息技术有限公司 一种24小时分布式网站性能监测和实时告警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张一: ""网站综合监控系统的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
苸吸: ""如何对网站的可用性进行监测"", 《HTTPS://JINGYAN.BAIDU.COM/ARTICLE/870C6FC36D5BC9B03FE4BED9.HTML》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427307A (zh) * 2019-06-21 2019-11-08 平安科技（深圳）有限公司 日志解析方法、装置、计算机设备及存储介质
CN112152823A (zh) * 2019-06-26 2020-12-29 北京易真学思教育科技有限公司 网站运行错误监控方法、装置及计算机存储介质
CN110730109A (zh) * 2019-10-12 2020-01-24 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111258971A (zh) * 2020-01-10 2020-06-09 北京农信互联科技集团有限公司 一种基于访问日志的应用状态监控报警系统及方法
CN113791943A (zh) * 2020-11-12 2021-12-14 北京沃东天骏信息技术有限公司 网站实时监控方法、系统、设备及存储介质
CN112738238A (zh) * 2020-12-29 2021-04-30 北京天融信网络安全技术有限公司 一种负载均衡中健康检查的方法、装置以及系统

Similar Documents

Publication Publication Date Title
CN109347665A (zh) 一种基于web日志的网站可用性告警方法及其系统
CN109688188A (zh) 监控告警方法、装置、设备及计算机可读存储介质
CN109684160A (zh) 数据库巡检方法、装置、设备及计算机可读存储介质
CN112631913B (zh) 应用程序的运行故障监控方法、装置、设备和存储介质
CN108509326B (zh) 一种基于nginx日志的服务状态统计方法及系统
CN111274094B (zh) 接口预警方法、系统、设备及存储介质
CN112054915B (zh) 客户端异常预警的处理方法、装置、系统及计算设备
CN112039701B (zh) 接口调用监控方法、装置、设备及存储介质
CN111881011A (zh) 日志管理方法、平台、服务器及存储介质
CN113505044B (zh) 数据库告警方法、装置、设备和存储介质
CN113746703B (zh) 一种异常链路监控方法、系统和装置
CN110929896A (zh) 一种系统设备的安全分析方法及装置
CN111756745A (zh) 告警方法、告警装置及终端设备
CN106534162A (zh) 一种基于远程管理通讯协议的服务器温度监控系统及方法
CN112256548B (zh) 异常数据的监听方法、装置、服务器及存储介质
CN110677271A (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN110113208A (zh) 报警信息处理方法、装置、设备及计算机可读存储介质
CN114500178B (zh) 一种自运维的智慧物联网关
CN114371980A (zh) 调用链路性能监控方法、装置、计算机设备及存储介质
CN114531338A (zh) 一种基于调用链数据的监控告警和溯源方法及系统
CN113342619A (zh) 日志监控方法、系统、电子设备及可读介质
CN209070519U (zh) 应用软件性能实时监控装置
CN113837408A (zh) 基于设备全生命周期监管的交通设施运维管理系统
CN113806196B (zh) 根因分析方法及系统
CN110827930B (zh) 一种医疗数据的处理方法及装置、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215