CN107995046B - 一种网络报警分析方法、装置及电子设备 - Google Patents

一种网络报警分析方法、装置及电子设备 Download PDF

Info

Publication number
CN107995046B
CN107995046B CN201711381458.6A CN201711381458A CN107995046B CN 107995046 B CN107995046 B CN 107995046B CN 201711381458 A CN201711381458 A CN 201711381458A CN 107995046 B CN107995046 B CN 107995046B
Authority
CN
China
Prior art keywords
data
analyzed
alarm
server
piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711381458.6A
Other languages
English (en)
Other versions
CN107995046A (zh
Inventor
周杰
王蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sohu New Media Information Technology Co Ltd
Original Assignee
Beijing Sohu New Media Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sohu New Media Information Technology Co Ltd filed Critical Beijing Sohu New Media Information Technology Co Ltd
Priority to CN201711381458.6A priority Critical patent/CN107995046B/zh
Publication of CN107995046A publication Critical patent/CN107995046A/zh
Application granted granted Critical
Publication of CN107995046B publication Critical patent/CN107995046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种网络报警分析方法、装置及电子设备，本发明中基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件，其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值。即本发明中的报警阈值不需要人工进行设定，进而避免了由于人工设定主观影响因素太大，进而造成阈值设置不合理的问题。

Description

一种网络报警分析方法、装置及电子设备
技术领域
本发明涉及通信领域，更具体的说，涉及一种网络报警分析方法、装置及电子设备。
背景技术
用户与应用服务器之间的网络问题是决定传统网络应用的服务质量的关键问题。为了避免网络延迟较大，提出了基于内容分发网络CDN服务器。CDN服务器能够减少路由过长、跨运营商等造成服务质量低下的问题。
其中，CDN服务器在使用过程中，需要实时监控CDN业务的各项基础数据，包括带宽、状态码、请求数、下载速度等，当这些数据发生异常则会报警。其中，判断数据是否发生异常，是判断数据是否在规定的阈值内。若在规定的阈值内，则不进行报警，若未在规定的阈值内，则进行报警。
上述中的阈值是人工根据经验进行设定的，主观影响因素太大，进而造成阈值设置不合理。
发明内容
有鉴于此，本发明提供一种网络报警分析方法、装置及电子设备，以解决阈值是人工根据经验进行设定的，主观影响因素太大，进而造成阈值设置不合理的问题。
为解决上述技术问题，本发明采用了如下技术方案：
一种网络报警分析方法，包括：
获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析。
优选地，基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件，包括：
获取每个所述待分析数据对应的第一预设时间之内的历史统计数据；其中，所述历史统计数据包括发生时间、数据有效标志位、数据权重值以及数据值；
根据每个所述待分析数据对应的历史统计数据以及预设阈值计算公式，计算得到每个所述待分析数据的报警阈值；
基于每个所述待分析数据的报警阈值，生成每个所述待分析数据的报警条件。
优选地，基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析，包括：
基于每个所述待分析数据对应的报警条件，筛选出符合对应的报警条件的多个所述待分析数据；
确定筛选出的每个所述待分析数据的第一服务器报警标志位；其中，所述第一服务器报警标志位中的内容包括内容分发网络CDN服务器或源点服务器；
获取筛选出的每个所述待分析数据对应的第二预设时间之内的历史待分析数据；
基于筛选出的每个所述待分析数据中的第一服务器报警标志位以及筛选出的每个所述待分析数据对应的历史待分析数据中的第二服务器报警标志位中的内容，确定筛选出的每个所述待分析数据的报警地点；其中，所述报警地点包括所述CDN服务器或所述源点服务器；
根据筛选出的每个所述待分析数据的报警地点，进行报警。
优选地，基于筛选出的每个所述待分析数据中的第一服务器报警标志位以及筛选出的每个所述待分析数据对应的历史待分析数据中的第二服务器报警标志位中的内容，确定筛选出的每个所述待分析数据的报警地点，包括：
将筛选出的每个所述待分析数据中的第一服务器报警标志位中的内容以及对应的历史待分析数据中的第二服务器报警标志位中的内容进行组合得到筛选出的每个所述待分析数据对应的服务器报警标志位中的内容；
计算筛选出的每个所述待分析数据对应的服务器报警标志位的内容中为所述CDN服务器的发生时间与为所述源点服务器的发生时间的时间重合度；
基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点。
优选地，基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点，包括：
计算筛选出的每个所述待分析数据对应的时间重合度与相应的所述待分析数据对应的服务器报警标志位中的内容为所述CDN服务器的发生时间之和的比值；
当所述比值大于预设数值时，将所述报警地点设置为所述源点服务器；
当所述比值小于预设数值时，将所述报警地点设置为所述源点服务器和所述CDN服务器。
一种网络报警分析装置，包括：
获取模块，用于获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
确定模块，用于基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
分析模块，用于基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析。
优选地，所述确定模块包括：
第一获取子模块，用于获取每个所述待分析数据对应的第一预设时间之内的历史统计数据；其中，所述历史统计数据包括发生时间、数据有效标志位、数据权重值以及数据值；
计算子模块，用于根据每个所述待分析数据对应的历史统计数据以及预设阈值计算公式，计算得到每个所述待分析数据的报警阈值；
生成子模块，用于基于每个所述待分析数据的报警阈值，生成每个所述待分析数据的报警条件。
优选地，所述分析模块包括：
筛选子模块，用于基于每个所述待分析数据对应的报警条件，筛选出符合对应的报警条件的多个所述待分析数据；
第一确定子模块，用于确定筛选出的每个所述待分析数据的第一服务器报警标志位；其中，所述第一服务器报警标志位中的内容包括内容分发网络CDN服务器或源点服务器；
第二获取子模块，用于获取筛选出的每个所述待分析数据对应的第二预设时间之内的历史待分析数据；
第二确定子模块，用于基于筛选出的每个所述待分析数据中的第一服务器报警标志位以及筛选出的每个所述待分析数据对应的历史待分析数据中的第二服务器报警标志位中的内容，确定筛选出的每个所述待分析数据的报警地点；其中，所述报警地点包括所述CDN服务器或所述源点服务器；
报警子模块，用于根据筛选出的每个所述待分析数据的报警地点，进行报警。
优选地，所述第二确定子模块包括：
组合单元，用于将筛选出的每个所述待分析数据中的第一服务器报警标志位中的内容以及对应的历史待分析数据中的第二服务器报警标志位中的内容进行组合得到筛选出的每个所述待分析数据对应的服务器报警标志位中的内容；
计算单元，用于计算筛选出的每个所述待分析数据对应的服务器报警标志位的内容中为所述CDN服务器的发生时间与为所述源点服务器的发生时间的时间重合度；
确定单元，用于基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点。
优选地，所述确定单元包括：
计算子单元，用于计算筛选出的每个所述待分析数据对应的时间重合度与相应的所述待分析数据对应的服务器报警标志位中的内容为所述CDN服务器的发生时间之和的比值；
第一设置子单元，用于当所述比值大于预设数值时，将所述报警地点设置为所述源点服务器；
第二设置子单元，用于当所述比值小于预设数值时，将所述报警地点设置为所述源点服务器和所述CDN服务器。
一种电子设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器用于调用程序，其中，所述程序用于：
获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析。
相较于现有技术，本发明具有以下有益效果：
本发明提供了一种网络报警分析方法、装置及电子设备，本发明中基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件，其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值。即本发明中的报警阈值不需要人工进行设定，进而避免了由于人工设定主观影响因素太大，进而造成阈值设置不合理的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种网络报警分析方法的方法流程图；
图2为本发明实施例提供的另一种网络报警分析方法的方法流程图；
图3为本发明实施例提供的再一种网络报警分析方法的方法流程图；
图4为本发明实施例提供的又一种网络报警分析方法的方法流程图；
图5为本发明实施例提供的一种网络报警分析装置的结构示意图；
图6为本发明实施例提供的另一种网络报警分析装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种网络报警分析方法，参照图1，网络报警分析方法可以包括：
S11、获取多个待分析数据；
其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数。
具体的，将内容分发网CDN服务器生成的日志，输入到Spark Streaming实时处理程序中。其中，Spark Streaming是一个建立在Spark上的大规模流式数据处理实时计算框架，将流式计算分解成一系列短小的批处理作业，通过它提供的丰富的API、基于内存的高速执行引擎，用户可以结合流式、批处理和交互试查询应用。
日志中的内容包括每条请求的具体内容，分别为请求时间、机房、服务器、请求包大小、请求延时、请求网络之间互连的协议ip、请求的统一资源定位符url、请求方式(查get\改post等)、目的ip、储存在用户本地终端上的数据cookie、用户代理useragent等数据。
Spark Streaming程序首先对输入数据进行清洗，过滤不可用数据。其中，不可用数据包括缺失若干字段，比如没有机房或者没有url的数据。
此后，Spark Streaming程序对过滤后的数据进行格式化处理，提取出有用的信息，比如请求时间、请求包大小，延时、域名、ip、运营商、省份等。
具体的，格式化处理的包括：
将日志中的每个请求按照一定的格式切分(比如按照空格)，包装成一定的数据结构或者类，使得它的每个字段都有确定的含义，比如第一个字段就是时间，第二个字段就是机房。
然后，Spark Streaming程序将数据按照“请求时间”所属的分钟划分，划分为60*24个时间段，根据格式化后的数据，计算得到统计数据，即带宽数据、延迟数据、状态码和请求数等，将统计数据按照不同的统计维度进行划分，即得到不同维度下的不同的统计数据。例如在某分钟内某域名的延迟数据或某分钟内某机房的带宽数据等。
S12、基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；
其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值。
最终确定的报警条件可以是延迟大于2s等或者带宽在1M-5M之间的数据，其中，大于1M和小于5M中的逻辑关系符号为具有对应关系的逻辑关系符号，1和5为报警阈值。
可选的，在本实施例的基础上，参照图2，步骤S12可以包括：
S21、获取每个所述待分析数据对应的第一预设时间之内的历史统计数据；
其中，所述历史统计数据包括发生时间、数据有效标志位、数据权重值以及数据值。
具体的，第一预设时间之内可以是当前时间的前30天。具体的，历史统计数据是每分钟的数据，首先确定当前时间是哪分钟，如当前时间是12时10分，则需要统计前30天中每天的12时10分的数据，作为历史统计数据。
历史统计数据中包括该历史统计数据的发生时间，如2017年1月15号12时10分。数据有效标志位是指该历史统计数据是否可以作为正常值进行计算。数据权重值，是人工或者自动进行设定的。在自动进行设定时，若当前业务较稳定，则可以将权重设置为相同的权重，如一个网站的访问量在2点15分的时候是200，在2点16分的时候是202，则属于业务稳定，此时权重可以设置为相同的数值。若如一个网站的访问量在2点15分的时候是200，在2点16分的时候是300，此时说明业务不稳定，变化较大，此时应将权重设置为距离当前时间越近的历史统计数据的权重值越大。数据值是指历史统计数据具体的数值，如历史统计数据为宽带数据，数据值可以为200M。
S22、根据每个所述待分析数据对应的历史统计数据以及预设阈值计算公式，计算得到每个所述待分析数据的报警阈值；
其中，预设阈值计算公式为：
Figure BDA0001515727150000081
其中，valuei为第i天的历史统计数据的数据值；weighti为第i天的历史统计数据的数据权重值；flagi为第i天的历史统计数据的数据有效标志位，其中，数据有效标志位为1时表示正常数据，数据有效标志位为0时表示异常数据。
根据上述公式就能够计算得到每个待分析数据的报警阈值。
需要说明的是，本实施例中是计算得到报警阈值，此外还可以是人工输入报警阈值。这样可以增加阈值设置的灵活性，也方便运维人员调试等操作。
此外，本实施例中涉及到数据有效标志位，初始进行数据有效标志位设定时，将所有的历史统计数据的数据有效标志位设置为1，此后，根据已有的历史统计数据，来确定新的待分析数据的数据有效标志位。
S23、基于每个所述待分析数据的报警阈值，生成每个所述待分析数据的报警条件。
具体的，得到报警阈值后，添加上具有对应关系的逻辑关系符号，就能够得到每个所述待分析数据的报警条件。
S13、基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析。
本实施例中，基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件，其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值。即本发明中的报警阈值不需要人工进行设定，进而避免了由于人工设定主观影响因素太大，进而造成阈值设置不合理的问题。
此外，基于历史统计数据的报警阈值计算策略，添加权重系数，使得报警阈值可以适应业务变化，同时添加数据有效标志位，使得在报警阈值计算时，不会因为坏数据导致计算结果不准确。此外，数据划分粒度精细到分钟，报警阈值会随着时间动态变化，使得一天内不同时间段的报警阈值更加贴近实际和准确。并且能够实时确定最新的报警阈值。
可选的，在上述任一实施例的基础上，步骤S13可以包括：
S31、基于每个所述待分析数据对应的报警条件，筛选出符合对应的报警条件的多个所述待分析数据；
确定了报警条件之后，就可以根据报警条件来确定待分析数据是否满足报警条件。如待分析数据为带宽数据，且带宽数据为3M。报警条件为当带宽数据大于2M时，进行报警。此时，由于3M大于2M，所以满足报警条件，将该待分析数据筛选出来。
此外，筛选出符合对应的报警条件的多个所述待分析数据后，将这些待分析数据进行存储，并生成初级报警事件，将初级报警事件保存到数据库中。
S32、确定筛选出的每个所述待分析数据的第一服务器报警标志位；
其中，所述第一服务器报警标志位中的内容包括内容分发网络CDN服务器或源点服务器。
具体的，可以根据待分析数据中的目的IP地址来确定第一服务器报警标志位。
当目的IP地址为CDN服务器时，第一服务器报警标志位中的内容为CDN服务器。当目的IP地址为源点服务器时，第一服务器报警标志位中的内容为源点服务器。
S33、获取筛选出的每个所述待分析数据对应的第二预设时间之内的历史待分析数据；
具体的，第二预设时间可以为当前时间的前20分钟。具体的，可以制定一个时间窗口，该时间窗口为当前时间的前1-20min。
确定了第二预设时间之后，获取筛选出的每个所述待分析数据对应的第二预设时间之内的历史待分析数据。其中，历史待分析数据通历史统计数据一样。这里只是为了区分不同时间段获取的数据，所以采用不同的名称进行命名。
需要说明的是，历史待分析数据中的内容包括第二服务器报警标志位，第二服务器报警标志位中的内容可以包括CDN服务器或源点服务器。
此外，历史统计数据中也可以包括第二服务器报警标志位。
S34、基于筛选出的每个所述待分析数据中的第一服务器报警标志位以及筛选出的每个所述待分析数据对应的历史待分析数据中的第二服务器报警标志位中的内容，确定筛选出的每个所述待分析数据的报警地点；
其中，所述报警地点包括所述CDN服务器或所述源点服务器。
S35、根据筛选出的每个所述待分析数据的报警地点，进行报警。
具体的，确定了报警地点后，就在相应的报警地点进行报警以警示技术人员。
可选的，在本实施例的基础上，参照图4，步骤S34可以包括：
S41、将筛选出的每个所述待分析数据中的第一服务器报警标志位中的内容以及对应的历史待分析数据中的第二服务器报警标志位中的内容进行组合得到筛选出的每个所述待分析数据对应的服务器报警标志位中的内容；
举例来说，假设待分析数据为带宽数据，该带宽数据有一个第一服务器报警标志位，该带宽数据对应的历史待分析数据有五个，每个历史待分析数据有一个第二服务器报警标志位，将第一服务器报警标志位中的内容以及五个第二服务器报警标志位中的内容进行汇总，得到服务器报警标志位中的内容。其中，服务器报警标志位中有六个数据。
S42、计算筛选出的每个所述待分析数据对应的服务器报警标志位的内容中为所述CDN服务器的发生时间与为所述源点服务器的发生时间的时间重合度
具体的，上述的服务器报警标志位中包括六个数据，统计每个数据的发生时间，假设两个数据分别为一个网站在2017年1月15日2点15分-20分的带宽数据为10M，且第二服务器报警标志位中的内容为CDN服务器，一个网站在2017年1月15日2点10分-30分的带宽数据为10M，且第二服务器报警标志位中的内容为源点服务器。
则时间重合度为2点15分-20分。
S43、基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点。
具体的，在本实施例的基础上，步骤S43可以包括：
1)计算筛选出的每个所述待分析数据对应的时间重合度与相应的所述待分析数据对应的服务器报警标志位中的内容为所述CDN服务器的发生时间之和的比值；
具体的，上述例子中，计算2点15分-20分占服务器报警标志位中的内容为CDN服务器的发生时间，即2点15分-20分的比值。
上述例子中，计算得到比值为100％。
若时间重合度为2点10分-11分，CDN服务器的发生时间为10分-30分，比值为1/20。
2)当所述比值大于预设数值时，将所述报警地点设置为所述源点服务器；
其中，当比值大于预设数值时，说明CDN服务器报警是由于源点服务器引起的，所以将报警地点设置为所述源点服务器。其中，预设数值为80％。
3)当所述比值小于预设数值时，将所述报警地点设置为所述源点服务器和所述CDN服务器。
当所述比值小于预设数值时，说明CDN服务器和源点服务器均可能存在故障，此时报警地点为CDN服务器和源点服务器。
本实施例中，报警地点的确定基于统计当前时间的第二时间之内的历史待分析数据，即采用了聚合过滤策略算法，能有效的过滤掉由于网络抖动等引起异常数据，同时能过滤源站和CDN节点重复报警事件，极大提高了报警的准确性。
可选的，在上述实施例的基础上，本发明的另一实施例提供了一种网络报警分析装置，参照图5，可以包括：
获取模块101，用于获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
确定模块102，用于基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
分析模块103，用于基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析。
进一步，所述确定模块包括：
第一获取子模块，用于获取每个所述待分析数据对应的第一预设时间之内的历史统计数据；其中，所述历史统计数据包括发生时间、数据有效标志位、数据权重值以及数据值；
计算子模块，用于根据每个所述待分析数据对应的历史统计数据以及预设阈值计算公式，计算得到每个所述待分析数据的报警阈值；
生成子模块，用于基于每个所述待分析数据的报警阈值，生成每个所述待分析数据的报警条件。
本实施例中，基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件，其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值。即本发明中的报警阈值不需要人工进行设定，进而避免了由于人工设定主观影响因素太大，进而造成阈值设置不合理的问题。
此外，基于历史统计数据的报警阈值计算策略，添加权重系数，使得报警阈值可以适应业务变化，同时添加数据有效标志位，使得在报警阈值计算时，不会因为坏数据导致计算结果不准确。此外，数据划分粒度精细到分钟，报警阈值会随着时间动态变化，使得一天内不同时间段的报警阈值更加贴近实际和准确。并且能够实时确定最新的报警阈值。
需要说明的是，本实施例中的各个模块和子模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选的，在上述任一网络报警分析装置的实施例的基础上，参照图5，所述分析模块包括：
筛选子模块1031，用于基于每个所述待分析数据对应的报警条件，筛选出符合对应的报警条件的多个所述待分析数据；
第一确定子模块1032，用于确定筛选出的每个所述待分析数据的第一服务器报警标志位；其中，所述第一服务器报警标志位中的内容包括内容分发网络CDN服务器或源点服务器；
第二获取子模块1033，用于获取筛选出的每个所述待分析数据对应的第二预设时间之内的历史待分析数据；
第二确定子模块1034，用于基于筛选出的每个所述待分析数据中的第一服务器报警标志位以及筛选出的每个所述待分析数据对应的历史待分析数据中的第二服务器报警标志位中的内容，确定筛选出的每个所述待分析数据的报警地点；其中，所述报警地点包括所述CDN服务器或所述源点服务器；
报警子模块1035，用于根据筛选出的每个所述待分析数据的报警地点，进行报警。
进一步，所述第二确定子模块包括：
组合单元，用于将筛选出的每个所述待分析数据中的第一服务器报警标志位中的内容以及对应的历史待分析数据中的第二服务器报警标志位中的内容进行组合得到筛选出的每个所述待分析数据对应的服务器报警标志位；
计算单元，用于计算筛选出的每个所述待分析数据对应的服务器报警标志位的内容中为所述CDN服务器的发生时间与为所述源点服务器的发生时间的时间重合度；
确定单元，用于基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点。
进一步，所述确定单元包括：
计算子单元，用于计算筛选出的每个所述待分析数据对应的时间重合度与相应的所述待分析数据对应的服务器报警标志位中的内容为所述CDN服务器的发生时间之和的比值；
第一设置子单元，用于当所述比值大于预设数值时，将所述报警地点设置为所述源点服务器；
第二设置子单元，用于当所述比值小于预设数值时，将所述报警地点设置为所述源点服务器和所述CDN服务器。
本实施例中，报警地点的确定基于统计当前时间的第二时间之内的历史待分析数据，即采用了聚合过滤策略算法，能有效的过滤掉由于网络抖动等引起异常数据，同时能过滤源站和CDN节点重复报警事件，极大提高了报警的准确性。
需要说明的是，本实施例中的各个模块、子模块、单元和子单元的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选的，在上述网络报警分析方法及装置的实施例的基础上，本发明的另一实施例提供了一种电子设备，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器用于调用程序，其中，所述程序用于：
获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析。
本实施例中，基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件，其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值。即本发明中的报警阈值不需要人工进行设定，进而避免了由于人工设定主观影响因素太大，进而造成阈值设置不合理的问题。
此外，基于历史统计数据的报警阈值计算策略，添加权重系数，使得报警阈值可以适应业务变化，同时添加数据有效标志位，使得在报警阈值计算时，不会因为坏数据导致计算结果不准确。此外，数据划分粒度精细到分钟，报警阈值会随着时间动态变化，使得一天内不同时间段的报警阈值更加贴近实际和准确。并且能够实时确定最新的报警阈值。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种网络报警分析方法，其特征在于，包括：获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析，其中，包括：基于每个所述待分析数据对应的报警条件，筛选出符合对应的报警条件的多个所述待分析数据，基于筛选出的每个所述待分析数据对应的服务器报警标志位中的内容为CDN服务器的发生时间与为源点服务器的发生时间的时间重合度，确定筛选出的每个所述待分析数据的报警地点，根据筛选出的每个所述待分析数据的报警地点，进行报警。
2.根据权利要求1所述的网络报警分析方法，其特征在于，基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件，包括：
获取每个所述待分析数据对应的第一预设时间之内的历史统计数据；其中，所述历史统计数据包括发生时间、数据有效标志位、数据权重值以及数据值；
根据每个所述待分析数据对应的历史统计数据以及预设阈值计算公式，计算得到每个所述待分析数据的报警阈值；
基于每个所述待分析数据的报警阈值，生成每个所述待分析数据的报警条件。
3.根据权利要求1所述的网络报警分析方法，其特征在于，基于筛选出的每个所述待分析数据对应的服务器报警标志位的内容中为所述CDN服务器的发生时间与为所述源点服务器的发生时间的时间重合度，确定筛选出的每个所述待分析数据的报警地点，包括：
确定筛选出的每个所述待分析数据的第一服务器报警标志位；其中，所述第一服务器报警标志位中的内容包括内容分发网络CDN服务器或源点服务器；
获取筛选出的每个所述待分析数据对应的第二预设时间之内的历史待分析数据；
基于筛选出的每个所述待分析数据中的第一服务器报警标志位以及筛选出的每个所述待分析数据对应的历史待分析数据中的第二服务器报警标志位中的内容，确定筛选出的每个所述待分析数据的报警地点；其中，所述报警地点包括所述CDN服务器或所述源点服务器。
4.根据权利要求3所述的网络报警分析方法，其特征在于，基于筛选出的每个所述待分析数据中的第一服务器报警标志位以及筛选出的每个所述待分析数据对应的历史待分析数据中的第二服务器报警标志位中的内容，确定筛选出的每个所述待分析数据的报警地点，包括：
将筛选出的每个所述待分析数据中的第一服务器报警标志位中的内容以及对应的历史待分析数据中的第二服务器报警标志位中的内容进行组合得到筛选出的每个所述待分析数据对应的服务器报警标志位中的内容；
计算筛选出的每个所述待分析数据对应的服务器报警标志位的内容中为所述CDN服务器的发生时间与为所述源点服务器的发生时间的时间重合度；
基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点。
5.根据权利要求4所述的网络报警分析方法，其特征在于，基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点，包括：
计算筛选出的每个所述待分析数据对应的时间重合度与相应的所述待分析数据对应的服务器报警标志位中的内容为所述CDN服务器的发生时间之和的比值；
当所述比值大于预设数值时，将所述报警地点设置为所述源点服务器；
当所述比值小于预设数值时，将所述报警地点设置为所述源点服务器和所述CDN服务器。
6.一种网络报警分析装置，其特征在于，包括：
获取模块，用于获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
确定模块，用于基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
分析模块，用于基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析，其中，包括：筛选子模块，用于基于每个所述待分析数据对应的报警条件，筛选出符合对应的报警条件的多个所述待分析数据；第二确定子模块，用于基于筛选出的每个所述待分析数据对应的服务器报警标志位中的内容为CDN服务器的发生时间与为源点服务器的发生时间的时间重合度，确定筛选出的每个所述待分析数据的报警地点；报警子模块，用于根据筛选出的每个所述待分析数据的报警地点，进行报警。
7.根据权利要求6所述的网络报警分析装置，其特征在于，所述确定模块包括：
第一获取子模块，用于获取每个所述待分析数据对应的第一预设时间之内的历史统计数据；其中，所述历史统计数据包括发生时间、数据有效标志位、数据权重值以及数据值；
计算子模块，用于根据每个所述待分析数据对应的历史统计数据以及预设阈值计算公式，计算得到每个所述待分析数据的报警阈值；
生成子模块，用于基于每个所述待分析数据的报警阈值，生成每个所述待分析数据的报警条件。
8.根据权利要求6所述的网络报警分析装置，其特征在于，所述分析模块还包括：
第一确定子模块，用于确定筛选出的每个所述待分析数据的第一服务器报警标志位；其中，所述第一服务器报警标志位中的内容包括内容分发网络CDN服务器或源点服务器；
第二获取子模块，用于获取筛选出的每个所述待分析数据对应的第二预设时间之内的历史待分析数据。
9.根据权利要求8所述的网络报警分析装置，其特征在于，所述第二确定子模块包括：
组合单元，用于将筛选出的每个所述待分析数据中的第一服务器报警标志位中的内容以及对应的历史待分析数据中的第二服务器报警标志位中的内容进行组合得到筛选出的每个所述待分析数据对应的服务器报警标志位中的内容；
计算单元，用于计算筛选出的每个所述待分析数据对应的服务器报警标志位的内容中为所述CDN服务器的发生时间与为所述源点服务器的发生时间的时间重合度；
确定单元，用于基于筛选出的每个所述待分析数据对应的时间重合度，确定筛选出的每个所述待分析数据的报警地点；其中，所述报警地点包括所述CDN服务器或所述源点服务器。
10.根据权利要求9所述的网络报警分析装置，其特征在于，所述确定单元包括：
计算子单元，用于计算筛选出的每个所述待分析数据对应的时间重合度与相应的所述待分析数据对应的服务器报警标志位中的内容为所述CDN服务器的发生时间之和的比值；
第一设置子单元，用于当所述比值大于预设数值时，将所述报警地点设置为所述源点服务器；
第二设置子单元，用于当所述比值小于预设数值时，将所述报警地点设置为所述源点服务器和所述CDN服务器。
11.一种电子设备，其特征在于，包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器用于调用程序，其中，所述程序用于：
获取多个待分析数据；其中，每个所述待分析数据包括一个统计维度下的一种统计数据；所述统计维度包括域名、省份和服务器，所述统计数据包括带宽数据、延迟数据、状态码和请求数；
基于每个所述待分析数据对应的历史统计数据，确定每个所述待分析数据的报警条件；其中，所述报警条件中包括具有对应关系的逻辑关系符号和报警阈值；
基于每个所述待分析数据对应的报警条件，对每个所述待分析数据进行报警分析，其中，包括：基于每个所述待分析数据对应的报警条件，筛选出符合对应的报警条件的多个所述待分析数据，基于筛选出的每个所述待分析数据对应的服务器报警标志位中的内容为CDN服务器的发生时间与为源点服务器的发生时间的时间重合度，确定筛选出的每个所述待分析数据的报警地点，根据筛选出的每个所述待分析数据的报警地点，进行报警。
CN201711381458.6A 2017-12-20 2017-12-20 一种网络报警分析方法、装置及电子设备 Active CN107995046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711381458.6A CN107995046B (zh) 2017-12-20 2017-12-20 一种网络报警分析方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711381458.6A CN107995046B (zh) 2017-12-20 2017-12-20 一种网络报警分析方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107995046A CN107995046A (zh) 2018-05-04
CN107995046B true CN107995046B (zh) 2021-08-24

Family

ID=62039157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711381458.6A Active CN107995046B (zh) 2017-12-20 2017-12-20 一种网络报警分析方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107995046B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108923972B (zh) * 2018-06-30 2021-06-04 平安科技（深圳）有限公司 一种去重流量提示方法、装置、服务器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741847A (zh) * 2009-12-22 2010-06-16 北京锐安科技有限公司 一种ddos攻击检测方法
CN106027272A (zh) * 2016-04-26 2016-10-12 乐视控股（北京）有限公司 一种cdn节点服务器流量时间推演方法及系统
CN106713029A (zh) * 2016-12-20 2017-05-24 中国银联股份有限公司 一种确定资源监控阈值的方法及装置
CN107204894A (zh) * 2017-05-18 2017-09-26 华为技术有限公司 网络业务质量的监控方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7505415B2 (en) * 2004-01-30 2009-03-17 Nortel Networks Limited Performance monitoring in a communications network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101741847A (zh) * 2009-12-22 2010-06-16 北京锐安科技有限公司 一种ddos攻击检测方法
CN106027272A (zh) * 2016-04-26 2016-10-12 乐视控股（北京）有限公司 一种cdn节点服务器流量时间推演方法及系统
CN106713029A (zh) * 2016-12-20 2017-05-24 中国银联股份有限公司 一种确定资源监控阈值的方法及装置
CN107204894A (zh) * 2017-05-18 2017-09-26 华为技术有限公司 网络业务质量的监控方法及装置

Also Published As

Publication number Publication date
CN107995046A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
CN110191094B (zh) 异常数据的监控方法及装置、存储介质、终端
US20100052924A1 (en) Method and System for Detecting and Managing a Fault Alarm Storm
CN108337652B (zh) 一种检测流量欺诈的方法及装置
CN105159964A (zh) 一种日志监控方法及系统
JP2009171431A (ja) トラフィック分析装置、トラフィック分析方法及びトラフィック分析システム
CN106357685A (zh) 一种防御分布式拒绝服务攻击的方法及装置
CN110019072B (zh) 基于实时数据的ab实验方法及系统
CN112905548B (zh) 一种安全审计系统及方法
CN108259426B (zh) 一种DDoS攻击检测方法及设备
CN112636979B (zh) 一种集群告警方法及相关装置
CN105763387A (zh) 网络流量监控方法和装置
CN110661717A (zh) 一种限流方法、装置及电子设备
US20190007285A1 (en) Apparatus and Method for Defining Baseline Network Behavior and Producing Analytics and Alerts Therefrom
CN111784516B (zh) 业务路径的确定方法、装置和电子设备
CN107995046B (zh) 一种网络报警分析方法、装置及电子设备
CN108206769A (zh) 过滤网络质量告警的方法、装置、设备和介质
CN114640504A (zh) Cc攻击防护方法、装置、设备和存储介质
CN108347359B (zh) 一种大型网络地址转换出口判断方法及装置
US9645877B2 (en) Monitoring apparatus, monitoring method, and recording medium
CN104219219B (zh) 一种数据处理的方法、服务器及系统
CN101674594B (zh) 基于dns的移动数据业务监控系统和方法
CN104881354A (zh) 云盘监控方法及装置
CN111552566B (zh) 一种数据处理系统、方法、电子设备及存储介质
CN111444156B (zh) 一种基于云计算的故障诊断方法
CN114584356A (zh) 网络安全监控方法及网络安全监控系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant