CN109379213A - 基于访问日志响应信息的网站可用性告警方法及告警系统 - Google Patents

基于访问日志响应信息的网站可用性告警方法及告警系统 Download PDF

Info

Publication number
CN109379213A
CN109379213A CN201811095796.8A CN201811095796A CN109379213A CN 109379213 A CN109379213 A CN 109379213A CN 201811095796 A CN201811095796 A CN 201811095796A CN 109379213 A CN109379213 A CN 109379213A
Authority
CN
China
Prior art keywords
website
alarm
access
usability
access log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811095796.8A
Other languages
English (en)
Inventor
贾腾飞
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dbappsecurity Technology Co Ltd
Original Assignee
Hangzhou Dbappsecurity Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dbappsecurity Technology Co Ltd filed Critical Hangzhou Dbappsecurity Technology Co Ltd
Priority to CN201811095796.8A priority Critical patent/CN109379213A/zh
Publication of CN109379213A publication Critical patent/CN109379213A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage

Abstract

本发明涉及基于访问日志响应信息的网站可用性告警方法及告警系统，互联网用户对目标网站发起访问，日志采集单元采集目标网站访问日志，统计访问日志响应信息并选择1个或多个信息进行前端页面筛选，定义告警时间T及告警规则，满足告警规则，将网站可用性与服务质量的信息通过安全告警单元发送至告警联系人，告警并记录网站可用性与服务质量的信息。本发明采用日志分析的方法，解决网站的可用性监控问题，在没有访问日志的时候，不会产生告警，从而不会出现误报，实现了从网站、线路、地区、运营商等多方面监控网站的服务质量的目的，通过真实的访问日志来识别各个区域以及各个线路的网站访问质量，成了提升网站服务质量的重要依据。

Description

基于访问日志响应信息的网站可用性告警方法及告警系统
技术领域
本发明涉及数据交换网络的技术领域，特别涉及一种可以实现从网站、线路、地区、运营商等多方面对网站的服务质量进行监控的基于访问日志响应信息的网站可用性告警方法及告警系统。
背景技术
随着我国信息技术的快速发展，越来越多的政府、教育、企业等行业用户选择网上办公的方式进行日常工作的处理，网上办公极大提升了办事的公开性和效率，与此同时，也对互联网的访问质量和可用性有了更高的要求。
互联网场景下，存在网站访问延时严重及网站无法访问的问题，该问题不解决将带来的危害是网站页面打开十分缓慢甚至无法访问，影响访客的正常使用，造成极大的负面影响或经济损失。因此，需要技术手段能够快速感知网站的哪些区域、哪些线路存在延时大、无法访问的问题。
现有技术中，主要通过状态码情况以及云节点监测情况请求来判断各区域的网站访问质量情况，然而，受到节点数量的限制以及对访问延时的高要求，现有的技术方案无法感知各线路的访问情况，因此还不能很好的满足用户对网站可用性的高要求。
发明内容
本发明解决的技术问题是，现有技术中，主要通过状态码情况以及云节点监测情况请求来判断各区域的网站访问质量情况，由于节点数量的限制以及对访问延时的高要求，还存在无法感知各线路的访问情况，不能很好的满足用户对网站可用性的高要求的问题，本发明提供了一种优化的基于访问日志响应信息的网站可用性告警方法及告警系统。
本发明所采用的技术方案是，一种基于访问日志响应信息的网站可用性告警方法，所述方法包括以下步骤：
步骤1：互联网用户对目标网站发起访问；
步骤2：采集目标网站访问日志，统计若干访问日志响应信息；
步骤3：基于统计得到的若干访问日志响应信息，选择1个或多个信息进行前端页面筛选，定义告警时间T及告警规则；T＞0；
步骤4：若满足告警规则，将网站可用性与服务质量的信息发送至告警联系人，告警并记录网站可用性与服务质量的信息，否则，返回步骤1。
优选地，所述步骤2中，访问日志响应信息包括访问时间、访问响应状态码、访问总时长、用户访问IP、IP区域归属、IP线路归属和用户访问页面。
优选地，所述告警规则包括网站断网告警规则、网站延时告警规则和线路断网告警规则。
优选地，所述网站断网告警规则为在告警时间T内，访问响应状态码的首位为5的次数与所有访问响应状态码的数量比大于a，则需要告警，进行步骤4；0＜a≤1。
优选地，所述网站延时告警规则为在告警时间T内，任一IP区域或IP线路的访问总时长超过5s的次数与当前IP区域或IP线路所有访问数量比大于b，则需要告警，进行步骤4；0＜b≤1。
优选地，所述线路断网告警规则为在告警时间T内，网站的访客以任一线路访问的访问响应状态码的首位为5且其余线路访问的访问响应状态码的首位为2，则需要告警，进行步骤4。
优选地，所述将网站可用性与服务质量的信息发送至告警联系人的手段包括短信和邮件。
一种采用所述的基于访问日志响应信息的网站可用性告警方法的网站可用性告警系统，所述系统包括：
一日志采集、存储、分析单元，用于采集目标网站访问日志并提取访问响应状态码；
一安全告警单元，用于将符合告警规则的访问日志响应信息推送并告警；
及一前端展示单元，用于查看历史的网站可用性监测情况和历史的网站可用性告警记录。
优选地，所述安全告警单元可以根据用户访问IP提取响应的IP区域归属和IP线路归属提示不可用区域及线路。
优选地，所述前端展示单元还提供通过在任一时间区间内自定义输出不同时间段的可用性分析报告，作为数据依据。
本发明提供了一种优化的基于访问日志响应信息的网站可用性告警方法及告警系统，通过互联网用户对目标网站发起访问，日志采集单元采集目标网站访问日志，统计若干访问日志响应信息，基于统计得到的若干访问日志响应信息，选择1个或多个信息进行前端页面筛选，定义告警时间T及告警规则，若满足告警规则，将网站可用性与服务质量的信息通过安全告警单元发送至告警联系人，告警并记录网站可用性与服务质量的信息。
本发明的有益效果在于：
（1）本发明区别于传统的分布式监测节点，采用日志分析的方法，解决网站的可用性监控问题；
（2）本发明在没有访问日志的时候，不会产生告警，从而不会出现误报；
（3）本发明实现了从网站、线路、地区、运营商等多方面监控网站的服务质量的目的；
（4）本发明通过真实的访问日志来识别各个区域以及各个线路的网站访问质量，成了提升网站服务质量的重要依据。
附图说明
图1为本发明的网站可用性告警系统的结构示意图，其中，箭头表示信息的传递方向。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于访问日志响应信息的网站可用性告警方法，可以通过基于日志分析的网站可用性监测，实时感知哪些用户哪些线路无法访问。可用性作为整体的概念，包括了不可用的情况和访问延时大的情况。
所述方法包括以下步骤。
步骤1：互联网用户对目标网站发起访问。
步骤2：采集目标网站访问日志，统计若干访问日志响应信息。
所述步骤2中，访问日志响应信息包括访问时间、访问响应状态码、访问总时长、用户访问IP、IP区域归属、IP线路归属和用户访问页面。
本发明中，访问日志响应信息为采集到的日志的信息，包括但不限于访问时间、访问响应状态码、访问总时长、用户访问IP、IP区域归属、IP线路归属和用户访问页面，在实际的告警规则中亦非取用采集的所有信息，本领域技术人员可以依据需求自行设置。
步骤3：基于统计得到的若干访问日志响应信息，选择1个或多个信息进行前端页面筛选，定义告警时间T及告警规则；T＞0。
所述告警规则包括网站断网告警规则、网站延时告警规则和线路断网告警规则。
所述网站断网告警规则为在告警时间T内，访问响应状态码的首位为5的次数与所有访问响应状态码的数量比大于a，则需要告警，进行步骤4；0＜a≤1。
所述网站延时告警规则为在告警时间T内，任一IP区域或IP线路的访问总时长超过5s的次数与当前IP区域或IP线路所有访问数量比大于b，则需要告警，进行步骤4；0＜b≤1。
所述线路断网告警规则为在告警时间T内，网站的访客以任一线路访问的访问响应状态码的首位为5且其余线路访问的访问响应状态码的首位为2，则需要告警，进行步骤4。
本发明中，前端页面筛选即是将访问日志响应信息分别列出，并满足可筛选的需求，如以Excel表动态表的形式体现，用户可以通过自定义告警字段进行组合，实现组合条件下的服务质量告警。
本发明中，告警时间T为用户根据需求自行定义，如5分钟等，采集时间为每天0点至24点。当监测到网站或线路不可用时，为了避免数据误报，由用户自定义一个时间值，状态码恢复正常后产生一条短信或者邮件，告知网站或线路断网时长并给出已恢复的信息。
本发明中，告警条件可以根据用户需求进行自定义，包括但不限于网站/页面不可用、区域不可用、线路不可用、区域/线路/访问延时过长。
本发明中，举例来说，告警时间T如五分钟内，访问响应状态码为5开头的情况占比到这个时间段总访问量的20%以上，则提示网站不可用；配置网站主要访问区域的用户访问日志中访问响应状态码为5开头的情况占比达到30%以上显示该区域网站无法访问；配置网站响应时长五分钟内超过5s且超过5s的次数占总访问次数的20%以上则表示网站访问延时大；访问任一网站时某一线路的访问响应状态码的首位为5且其余线路访问的访问响应状态码的首位为2则表示此线路断线。
本发明中，通过计算DNS解析时间、连接时间、传输时间来得出总体请求时间，用来识别哪些用户、哪些区域、哪些线路访问网站延时较大，一般来说，访问总时长为访客到节点的消耗时间、节点到源站的时间、源站返回的时间和节点到用户的时间的总和。
本发明中，告警时间T、各种情况占日志总量的百分比和告警条件均可以根据用户需求进行自定义。
本发明中，告警信息包括网站/页面不可用、某区域不可用、某线路不可用、某区域/线路/访问延时大等。
步骤4：若满足告警规则，将网站可用性与服务质量的信息发送至告警联系人，告警并记录网站可用性与服务质量的信息，否则，返回步骤1。
所述将网站可用性与服务质量的信息发送至告警联系人的手段包括短信和邮件。
本发明中，告警联系人的信息包括但不限于联系方式、联系人姓名、联系人邮箱。
本发明还涉及一种采用所述的基于访问日志响应信息的网站可用性告警方法的网站可用性告警系统，所述系统包括：
一日志采集、存储、分析单元，用于采集目标网站访问日志并提取访问响应状态码；
一安全告警单元，用于将符合告警规则的访问日志响应信息推送并告警；
及一前端展示单元，用于查看历史的网站可用性监测情况和历史的网站可用性告警记录。
所述安全告警单元可以根据用户访问IP提取响应的IP区域归属和IP线路归属提示不可用区域及线路。
所述前端展示单元还提供通过在任一时间区间内自定义输出不同时间段的可用性分析报告，作为数据依据。
本发明中，日志采集单元提取的访问响应状态码包括200、302、403、404、502、503、504等。
本发明中，日志采集单元还可以通过采集并统计分析，了解时间段内的日志状态占比，并从多维度进行统计分析。
本发明中，令告警时间T为5分钟。当访问响应状态码的首位数字为2的占比在五分钟内达到80%以上时，默认为网站能够正常对外提供服务；当访问响应状态码的首位数字为5的比例在五分钟内达到20%以上时，则产生短信、邮件等告警，告知网站不可用，同时可以根据用户访问IP提取出IP区域归属和IP线路归属，用来提示具体哪些区域和哪些线路不可用。
本发明中，告警方式可以根据用户需求进行自定义，告警百分比则是该告警条件达到用户设置时间段内，符合要求的日志占这个时间段总比的量，客户可根据实际情况进行自定义，一旦达到设定的阈值，即会触发告警。
本发明中，用户可查看网站历史可用性监测情况和历史可用性告警记录，并通过时间区间自定义输出不同时间段的可用性分析报告，用于后期提供网站对外服务质量的提升作为数据依据可用性分析报告。
本发明通过互联网用户对目标网站发起访问，日志采集单元采集目标网站访问日志，统计若干访问日志响应信息，基于统计得到的若干访问日志响应信息，选择1个或多个信息进行前端页面筛选，定义告警时间T及告警规则，若满足告警规则，将网站可用性与服务质量的信息通过安全告警单元发送至告警联系人，告警并记录网站可用性与服务质量的信息。
本发明区别于传统的分布式监测节点，采用日志分析的方法，解决网站的可用性监控问题；在没有访问日志的时候，不会产生告警，从而不会出现误报；实现了从网站、线路、地区、运营商等多方面监控网站的服务质量的目的；本发明通过真实的访问日志来识别各个区域以及各个线路的网站访问质量，成了提升网站服务质量的重要依据。

Claims (10)

1.一种基于访问日志响应信息的网站可用性告警方法，其特征在于：所述方法包括以下步骤：
步骤1：互联网用户对目标网站发起访问；
步骤2：采集目标网站访问日志，统计若干访问日志响应信息；
步骤3：基于统计得到的若干访问日志响应信息，选择1个或多个信息进行前端页面筛选，定义告警时间T及告警规则；T＞0；
步骤4：若满足告警规则，将网站可用性与服务质量的信息发送至告警联系人，告警并记录网站可用性与服务质量的信息，否则，返回步骤1。
2.根据权利要求1所述的一种基于访问日志响应信息的网站可用性告警方法，其特征在于：所述步骤2中，访问日志响应信息包括访问时间、访问响应状态码、访问总时长、用户访问IP、IP区域归属、IP线路归属和用户访问页面。
3.根据权利要求2所述的一种基于访问日志响应信息的网站可用性告警方法，其特征在于：所述告警规则包括网站断网告警规则、网站延时告警规则和线路断网告警规则。
4.根据权利要求3所述的一种基于访问日志响应信息的网站可用性告警方法，其特征在于：所述网站断网告警规则为在告警时间T内，访问响应状态码的首位为5的次数与所有访问响应状态码的数量比大于a，则需要告警，进行步骤4；0＜a≤1。
5.根据权利要求3所述的一种基于访问日志响应信息的网站可用性告警方法，其特征在于：所述网站延时告警规则为在告警时间T内，任一IP区域或IP线路的访问总时长超过5s的次数与当前IP区域或IP线路所有访问数量比大于b，则需要告警，进行步骤4；0＜b≤1。
6.根据权利要求3所述的一种基于访问日志响应信息的网站可用性告警方法，其特征在于：所述线路断网告警规则为在告警时间T内，网站的访客以任一线路访问的访问响应状态码的首位为5且其余线路访问的访问响应状态码的首位为2，则需要告警，进行步骤4。
7.根据权利要求1所述的一种基于访问日志响应信息的网站可用性告警方法，其特征在于：所述将网站可用性与服务质量的信息发送至告警联系人的手段包括短信和邮件。
8.一种采用权利要求1~7之一所述的基于访问日志响应信息的网站可用性告警方法的网站可用性告警系统，其特征在于：所述系统包括：
一日志采集、存储、分析单元，用于采集目标网站访问日志并提取访问响应状态码；
一安全告警单元，用于将符合告警规则的访问日志响应信息推送并告警；
及一前端展示单元，用于查看历史的网站可用性监测情况和历史的网站可用性告警记录。
9.根据权利要求8所述的一种网站可用性告警系统，其特征在于：所述安全告警单元可以根据用户访问IP提取响应的IP区域归属和IP线路归属提示不可用区域及线路。
10.根据权利要求8所述的一种网站可用性告警系统，其特征在于：所述前端展示单元还提供通过在任一时间区间内自定义输出不同时间段的可用性分析报告，作为数据依据。
CN201811095796.8A 2018-09-19 2018-09-19 基于访问日志响应信息的网站可用性告警方法及告警系统 Pending CN109379213A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811095796.8A CN109379213A (zh) 2018-09-19 2018-09-19 基于访问日志响应信息的网站可用性告警方法及告警系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811095796.8A CN109379213A (zh) 2018-09-19 2018-09-19 基于访问日志响应信息的网站可用性告警方法及告警系统

Publications (1)

Publication Number Publication Date
CN109379213A true CN109379213A (zh) 2019-02-22

Family

ID=65405628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811095796.8A Pending CN109379213A (zh) 2018-09-19 2018-09-19 基于访问日志响应信息的网站可用性告警方法及告警系统

Country Status (1)

Country Link
CN (1) CN109379213A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981627A (zh) * 2019-03-18 2019-07-05 武汉思普崚技术有限公司 网络威胁情报信息的更新方法及系统
CN110110273A (zh) * 2019-05-08 2019-08-09 重庆天蓬网络有限公司 一种统计和分析网站可用性的方法
CN111262938A (zh) * 2020-01-17 2020-06-09 厦门网宿有限公司 一种dns服务器选择方法和代理服务器
CN113961852A (zh) * 2021-12-21 2022-01-21 江苏同步软件技术有限公司 基于大数据的网页通信系统优化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731315A (zh) * 2012-10-16 2014-04-16 无锡云捷科技有限公司 一种服务器故障检测方法
CN107528749A (zh) * 2017-08-28 2017-12-29 杭州安恒信息技术有限公司 基于云防护日志的网站可用性检测方法、装置及系统
CN107579861A (zh) * 2017-10-09 2018-01-12 杭州安恒信息技术有限公司 基于多线路监测的网站可用性告警方法、装置及电子设备
CN107579873A (zh) * 2017-08-30 2018-01-12 杭州安恒信息技术有限公司 一种监测网站可用性的方法
CN107707427A (zh) * 2017-09-28 2018-02-16 南华大学 一种网站可用性监控系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731315A (zh) * 2012-10-16 2014-04-16 无锡云捷科技有限公司 一种服务器故障检测方法
CN107528749A (zh) * 2017-08-28 2017-12-29 杭州安恒信息技术有限公司 基于云防护日志的网站可用性检测方法、装置及系统
CN107579873A (zh) * 2017-08-30 2018-01-12 杭州安恒信息技术有限公司 一种监测网站可用性的方法
CN107707427A (zh) * 2017-09-28 2018-02-16 南华大学 一种网站可用性监控系统及方法
CN107579861A (zh) * 2017-10-09 2018-01-12 杭州安恒信息技术有限公司 基于多线路监测的网站可用性告警方法、装置及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109981627A (zh) * 2019-03-18 2019-07-05 武汉思普崚技术有限公司 网络威胁情报信息的更新方法及系统
CN109981627B (zh) * 2019-03-18 2021-02-26 武汉思普崚技术有限公司 网络威胁情报信息的更新方法及系统
CN110110273A (zh) * 2019-05-08 2019-08-09 重庆天蓬网络有限公司 一种统计和分析网站可用性的方法
CN111262938A (zh) * 2020-01-17 2020-06-09 厦门网宿有限公司 一种dns服务器选择方法和代理服务器
CN113961852A (zh) * 2021-12-21 2022-01-21 江苏同步软件技术有限公司 基于大数据的网页通信系统优化方法及系统
CN113961852B (zh) * 2021-12-21 2022-03-11 江苏同步软件技术有限公司 基于大数据的网页通信系统优化方法及系统

Similar Documents

Publication Publication Date Title
CN109379213A (zh) 基于访问日志响应信息的网站可用性告警方法及告警系统
CN108848515B (zh) 一种基于大数据的物联网业务质量监测平台及方法
CN101741615B (zh) 基于服务器的告警过滤系统及方法
CN102404126B (zh) 一种云计算在应用过程中的收费方法
CN107104840A (zh) 一种日志监控方法、装置及系统
CN105847717A (zh) 一种弹幕举报的方法、客户端及服务器
CN105516390B (zh) 域名管理的方法和装置
CN102143507A (zh) 一种业务质量监测方法、系统、以及分析方法和系统
CN107947998B (zh) 一种基于应用系统的实时监测系统
CN110224865A (zh) 一种基于流式处理的日志告警系统
CN102833111B (zh) 一种可视化http数据监管方法及装置
CN112636979B (zh) 一种集群告警方法及相关装置
CN106656728A (zh) 一种邮件检测与监控系统
CN109347665A (zh) 一种基于web日志的网站可用性告警方法及其系统
CN107306200B (zh) 网络故障预警方法和用于网络故障预警的网关
CN111049673A (zh) 一种服务网关中api调用统计和监控的方法及系统
CN107820692A (zh) 一种告警同步方法和系统
CN112141832A (zh) 一种电梯物联网可视化运营平台
CN107465652B (zh) 一种操作行为检测方法、服务器及系统
CN208046653U (zh) 一种电力监控系统网络安全监测主站平台系统
CN104537796A (zh) 一种告警信息处理系统及处理方法
CN101997730A (zh) 业务触发告警的方法及系统
CN102271331A (zh) 一种检测业务提供商sp站点可靠性的方法及系统
US20130145289A1 (en) Real-time duplication of a chat transcript between a person of interest and a correspondent of the person of interest for use by a law enforcement agent
US8369506B2 (en) Informing a teleconference participant that a person-of-interest has become active within the teleconference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222

RJ01 Rejection of invention patent application after publication