CN111193608A - 网络质量探测监控方法、装置、系统和计算机设备 - Google Patents
网络质量探测监控方法、装置、系统和计算机设备 Download PDFInfo
- Publication number
- CN111193608A CN111193608A CN201911132187.XA CN201911132187A CN111193608A CN 111193608 A CN111193608 A CN 111193608A CN 201911132187 A CN201911132187 A CN 201911132187A CN 111193608 A CN111193608 A CN 111193608A
- Authority
- CN
- China
- Prior art keywords
- detection
- data
- abnormal
- classification
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 334
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000002159 abnormal effect Effects 0.000 claims abstract description 148
- 238000004458 analytical method Methods 0.000 claims abstract description 117
- 238000012423 maintenance Methods 0.000 claims abstract description 23
- 238000012216 screening Methods 0.000 claims description 19
- 239000000523 sample Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007405 data analysis Methods 0.000 claims description 7
- 230000004807 localization Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004083 survival effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种网络质量探测监控方法、装置、系统和计算机设备,所述方法包括:获取目标时段探测数据的分类探测结果;根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。采用本方法,能够设置自动化的告警阈值,不仅可提高网络质量异常探测定位的准确率,还能为运维人员提供可视化异常分析报告,提高运维人员对网络异常的定位效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种网络质量探测监控方法、装置、系统、计算机可读存储介质和计算机设备。
背景技术
随着科技水平的不断发展,网络质量的稳定为人们的日常工作、生活提供了至关重要的有效保障,由此,对网络质量的监控不容忽视。
然而,现有技术中的网络质量监控方法,通常采用Full Mesh探测网络质量,不仅探测范围(仅适用于内容探测)局限,还存在较低的异常数据探测准确率,特别是针对网络质量阈值的人为设置,极易存在不合理性,不但无法帮助运维人员对异常问题进行高效追踪,还无法满足运维人员对探测数据的有效掌握。
因此,现有技术中的网络质量监控方法存在异常定位准确率低的问题。
发明内容
基于此,有必要针对现有技术中存在异常监控准确率低的技术问题,提供一种网络质量探测监控方法、装置、系统、计算机可读存储介质和计算机设备。
一方面,本发明实施例提供一种网络质量探测监控方法,包括:获取目标时段探测数据的分类探测结果;根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
另一方面,本发明实施例提供一种网络质量探测监控装置,包括:探测结果获取模块,用于获取目标时段探测数据的分类探测结果;异常阈值确定模块,用于根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;数据异常定位模块,用于利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
又一方面,本发明实施例提供一种网络质量探测监控系统,包括:处理引擎、基础模块、探测模块、数据模块以及应用模块;其中,所述应用模块包括数据分析告警子模块、互联网应用子模块,所述数据模块包括目标挑选子模块、数据上报子模块以及数据归档子模块,所述探测模块包括Ping探测子模块、Tcp探测子模块以及Curl探测子模块,所述基础模块包括存储子模块、队列子模块以及缓存子模块;所述处理引擎,用于通过所述互联网应用子模块获取终端发送的目标时段探测数据,并将所述目标时段探测数据通过所述目标挑选子模块传输至所述缓存子模块的双循环队列中进行存储,进而通过所述Ping探测子模块、所述Tcp探测子模块、所述Curl探测子模块中的至少一个,从所述双循环队列中获取目标时段探测数据进行质量分类探测,并顺序通过所述队列子模块、所述数据上报子模块以及所述存储子模块,将探测后得到的分类探测结果传输至所述数据归档子模块,以便控制所述数据分析告警子模块根据所述数据归档子模块中分类探测结果的特性参数确定分类异常阈值,进而对所述目标时段探测数据进行异常定位,以便将分析后得到的异常告警数据生成异常分析报告后发送至所述终端。
再一方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:获取目标时段探测数据的分类探测结果;根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
再一方面,本发明实施例提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:获取目标时段探测数据的分类探测结果;根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
上述网络质量探测监控方法、装置、系统、计算机可读存储介质和计算机设备,通过获取目标时段探测数据的分类探测结果,可进一步确定分类探测结果的特性参数,根据该特性参数可确定当前所测目标时段探测数据的分类异常阈值,从而利用分类异常阈值对目标时段探测数据进行异常定位,以便确定异常告警数据作用于生成异常分析报告。采用本方法,能够设置自动化的告警阈值,不仅可提高网络质量异常探测定位的准确率,还能为运维人员提供可视化异常分析报告,提高运维人员对网络异常的定位效率。
附图说明
图1为一个实施例中网络质量探测监控方法的应用环境图;
图2为一个实施例中计算机设备的结构框图;
图3为一个实施例中网络质量探测监控方法的流程示意图;
图4(a)为一个具体实施例中网络质量探测监控方法的质量视图;
图4(b)为一个具体实施例中网络质量探测监控方法的探测数据表图;
图5为一个实施例中分类异常阈值确定步骤的流程示意图;
图6为一个实施例中分类异常阈值确定步骤的具体流程示意图;
图7为一个实施例中分类异常阈值确定步骤的流程示意图;
图8为一个实施例中异常分析报告生成步骤的流程示意图;
图9为一个实施例中网络质量探测监控装置的结构框图;
图10为一个实施例中网络质量探测监控系统的结构框图;
图11为一个具体实施例中网络质量探测监控系统的应用结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
首先需要说明的是,本发明实施例所涉及的术语“第一\第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
图1为一个网络质量探测监控方法的应用环境图。参照图1,该网络质量探测监控方法可应用于网络质量探测监控系统。其中,网络质量探测监控系统包括终端110和服务器120,两者之间通过网络建立通信连接,网络包含但不限于:广域网、城域网或局域网。
具体地,终端110具体可以是台式终端或移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种,而实现网络质量探测监控时,终端110上可运行有特定应用程序,该特定应用程序作为网络质量探测监控的客户端,供用户与服务器120之间实现数据信息的交互。
更具体地,服务器120可以用独立的服务器,或者是多个服务器组成的服务器集群来实现;服务器120中包含有模块集群122和处理引擎124,模块集群122包括基础模块、探测模块、数据模块以及应用模块等多类型模块,处理引擎124用于控制上述示出的模块集群122执行相应的网络质量探测监控任务。
图2示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图2所示,该计算机设备包括通过系统总线连接的处理器、存储器、网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现网络质量探测监控方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行网络质量探测监控方法。
本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
如图3所示,在一个实施例中,提供了一种网络质量探测监控方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图3,该网络质量探测监控方法具体包括如下步骤:
S302,获取目标时段探测数据的分类探测结果。
其中,目标时段探测数据可以是用户所提交任意时段的探测目标,例如,CDN(Content Delivery Network)智能虚拟网络的IP。
其中,分类探测结果可以是分指标计算类型的探测统计结果,例如,丢包率、延时、抖动、状态、误码率等。
具体地,服务器120获取分类探测结果之前,首先需获取目标时段探测数据,而目标时段探测数据可以是根据用户在终端110上所确定提交、任意时段探测目标经过严格筛选后的高质量稳定目标。
例如,用户用过终端110向服务器120提交了指示某个时段内对IP机器进行质量探测后的探测数据,服务器120响应该指令获取探测数据后,进一步对该时段内IP机器的探测数据进行严格筛选,得到活跃度达到一定要求的活跃IP作为后续分析的目标时段探测数据。
更具体地,服务器120筛选得到目标时段探测数据后,进一步按照用户指示对目标时段探测数据进行不同指标的分类探测,得到可体现该目标时段探测数据质量好坏的相应指标,例如百分比、数值0/1所表示的状态参量,作为分类探测结果。
S304,根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值。
其中,特性参数可以是针对多个分类探测数据进行数学计算得到的集合特性数据,例如,平均值、方差、标准差等。
其中,分类异常阈值可以是针对不同指标要求设定的临界值,例如,对丢包率判定好坏的临界值、能够说明数据传输延迟高低的时长临界值等。
具体地,服务器120获取目标时段探测数据的分类探测结果,对作为数组或数据集合的分类探测结果进行概率统计,得到诸如均方差、协方差、均值、标准差、均方误差等数学统计数据,作为分类探测结果的特性参数,进而根据不同分类探测结果的特性参数,结合切比雪夫不等式对识别统计参量的最大概率值说明,从而确定目标时段探测数据的分类异常阈值。
S306,利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
其中,异常分析报告可以是包括IP路由测试信息、IP机器存活检测等定制分析内容或网络设备分析信息、操作日志、syslog日志等公共分析内容的综合报告。
具体地,服务器120利用分类异常阈值对分类探测结果进行分类匹配识别,确定仅大于或大于等于该分类异常阈值的分类探测结果为异常结果,而异常结果对应的目标时段探测数据即为异常告警数据,统计所有异常告警数据生成数据表(如excel),可得到需告警的异常告警数据表,该数据表可通过后续步骤生成异常分析报告后发送至终端110,供终端进行展示。
例如,可参阅图4(a)、4(b),图4(a)所示为四川至广州的电信网络质量视图,该视图中的折线分别体现了作为目标时段探测数据的四川至广州电信IP的分类探测结果(延时(ms)、丢包率(%)、不可达(个)),即通过可视化图片的方式展示该被选时段(2019/6/28-2019/6/30)三天的网络分类质量。进一步地,该视图所示的结果与数据可通过服务器120反馈至终端110进行展示,也可进一步通过数据表导出的方式作进一步质量分析,如可用于日常的网络运维异常问题定位以及运营报障的CASE数据;图4(b)所示的网络质量探测数据表,可以是图4(a)对应数据的到处表,通过列表的方式呈现各个目标时段探测数据(目标IP)相应探测所得的延时、丢包、是否可达等,同时可呈现该分类探测结果的探测时间,使终端110所运行的特定应用程序具有数据细粒度查看功能。
更具体地,服务器120利用异常告警数据分析生成异常分析报告,包括对异常探测数据进行预设定制化内容分析以及公共内容分析,而预设定制化内容分析由目标时段探测数据的数据来源确定,即当目标时段探测数据的数据来源为内网数据来源时,可执行该预设定制化内容分析的步骤;当目标时段探测数据的数据来源为外网数据来源时,无法执行该预设定制化内容分析的步骤。
此外,基于视图的缩放功能可定位异常时间而导出异常告警数据,亦可通过终端110上所运行特定应用程序具备地时间控件确认异常时长。
本实施例中,通过获取目标时段探测数据的分类探测结果,可进一步确定分类探测结果的特性参数,根据该特性参数可确定当前所测目标时段探测数据的分类异常阈值,从而利用所述分类异常阈值对所述目标时段探测数据进行异常定位,以便确定异常告警数据作用于生成异常分析报告。采用本方法,能够设置自动化的告警阈值,不仅可提高网络质量异常探测定位的准确率,还能为运维人员提供可视化异常分析报告,提高运维人员对网络异常的定位效率。
如图5所示,在一个实施例中,步骤S302中获取目标时段探测数据的分类探测结果,具体包括如下步骤:
S3022,获取终端的目标时段探测数据。
具体地,目标时段探测数据可以是由用户通过终端110提交的(或通过终端110指示服务器120从指定地址获取的)、任意时段内探测目标经过严格筛选后的高质量稳定目标数据,例如,CDN(Content Delivery Network)智能虚拟网络的活跃IP。
S3024,通过预设探测指令,对所述目标时段探测数据进行质量分类探测,得到分类探测结果;所述分类探测结果包括丢包探测结果、延时探测结果、不可达探测结果中的至少一个;所述预设探测指令包括Ping探测指令、Tcp探测指令、Curl探测指令中的至少一个。
其中,预设探测指令可以是具有数据探测的指示命令,例如,Ping探测指令、Tcp探测指令、Curl探测指令等。
其中,质量分类探测可以是能够说明数据质量的预设指标探测,例如,丢包探测、延时探测、不可达探测、抖动探测、状态探测等。
其中,丢包探测可以是指网络丢包探测,而网络丢包通常是指在网络较差的情况下,由于数据包的传输不可能百分之百的能够完成,从而造成在数据的传输中出现空洞造成丢包的现象。
其中,延时探测可以是指网络延时探测,而网络延时高通常是由本机到服务器之间路由跳数过多、网络带宽不够、处理带宽不够等因素所导致的数据传输所用时间过长。
其中,不可达探测可以是指IP不可达探测,而IP不可达通常是由某些网络故障原因所导致,例如:1、NBID、业务IP地址、业务VID和其他基站冲突或者配置有误;2、传输侧故障;3、核心侧故障等,均可导致两端通信设备间的IP不可达。
具体地,待测数据的丢包量、延时及不可达数等指标均可从上述提到的各个方面来说明网络的连接、运行质量,而服务器120可通过内部预置的Ping探测子模块、Tcp探测子模块或Curl探测子模块分别对目标时段探测数据进行丢包、延时、不可达等质量分类探测,从而得到探测类型对应的丢包探测结果、延时探测结果、不可达探测结果等。
本实施例中,通过设置预设探测指令实现对目标时段探测数据的质量分类探测,不仅能获取更加全面的质量分析结果,还满足了运维人员对多种类型质量探测指标的获取需求,实现了对异常定位准确率的提高。
如图6所示,在一个实施例中,特性参数包括第一均值与第一标准差,步骤S304中根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值,具体包括如下步骤:
S3042,根据所述分类探测结果的第一均值与第一标准差,确定结果筛选上限;所述结果筛选上限为所述第一均值与所述第一标准差之和。
其中,第一均值可以是指分类探测结果中多个结果数据的平均值。
其中,第一标准差可以是指分类探测结果中,多个结果数据分别与其平均值之差平方和的算术平方根,例如,分类探测结果包括1、2、3,其第一均值为2、则第一标准差为三分之二的算数平方根。
具体地,服务器120确定分类异常阈值之前,首先需对作为计算样本的分类探测结果进行有效筛选,即确定可用于筛选样本的结果筛选上限,而结果筛选上限根据分类探测结果的第一均值与第一标准差确定,即第一均值与所述第一标准差之和,则服务器120执行顺序为首先计算分类探测结果的第一均值与第一标准差,进而通过计算第一均值与第一标准差的和值得到结果筛选上限,利用该结果筛选上限可执行后续样本筛选任务。
例如,计算多个活跃IP中不可达IP数指标的平均值与标准差,则可通过计算该平均值与标准差的和值获取结果筛选上限,结果筛选上限可对不可达IP数指标进行有效筛选。
S3044,在所述分类探测结果中,剔除大于所述结果筛选上限以及等于零的结果数据,得到目标分类探测结果。
其中,目标分类探测结果可以是去除无效样本后的结果数据。
具体地,利用结果筛选上限将分类探测结果中超过该上限值的结果数据进行剔除,同时剔除掉其中的零值无效结果,可得到目标分类探测结果。
S3046,根据所述目标分类探测结果的第二均值与第二标准差,确定所述目标时段探测数据的分类异常阈值。
其中,第二均值可以是指剔除部分无效样本后的多个目标结果数据的平均值。
其中,第二标准差可以是指目标分类探测结果中,多个目标结果数据分别与其平均值之差的平方和的算术平方根,例如,目标分类探测结果包括2和4,其第二均值为3、则第二标准差为二的算数平方根。
具体地,分类异常阈值由剔除掉部分探测样本后的目标分类探测结果的第二均值与第二标准差确定,由于不同的目标分类探测结果具有不同的第二均值与第二标准差,因此分类异常阈值对于不同的目标时段探测数据而言存在变化,则可确定分类异常阈值根据分类探测结果的特性参数确定,具有自动化设置效果。
本实施例中,通过对分类探测结果的有效筛选,可大大提高分类异常阈值的准确设定,进而实现对异常定位准确率的有效提高。
如图7所示,在一个实施例中,步骤S3046中根据所述目标分类探测结果的第二均值与第二标准差,确定所述目标时段探测数据的分类异常阈值,具体包括如下步骤:
S30462,计算所述第二标准差与预设K值的乘积值;所述预设K值根据所述分类探测结果的局部异常因子确定。
其中,局部异常因子(local outlier factor)可以是局部可达密度中的异常因子(元素),局部可达密度与总体密度类似,不同点在于利用预设K值作为距离划分邻域计算,所以称为“局部”。
具体地,在本实施例中,确定目标时段探测数据的分类异常阈值需运用切比雪夫不等式概念,而切比雪夫不等式是马尔科夫不等式的特殊情况,可表示一个“事件大多会集中在平均值附近”的情况,切比雪夫不等式可通过如下公式表示:
其中,k>0、μ是期望值、σ是标准差。
更具体地,切比雪夫不等式经过推导后可表示为:
由此可见,作为随机变量的X的上限值可以是(μ+kσ),而预设K值同样可作为分类探测结果的特性参数,即通过识别目标时段探测数据中的局部异常因子确定出有效K值,利用预设K值、第二均值与第二标准差等特性参数,即可确定分类异常阈值。
S30464,确定所述乘积值与所述第二均值的和值,作为所述分类异常阈值。
具体地,可确定分类异常阈值为(第二均值+K*第二标准差)。
本实施例中,采用切比雪夫不等式得概念来设置自动化的分类异常阈值,可大大提高分类异常阈值的准确设定,进而实现对异常定位准确率的有效提高。
如图8所示,在一个实施例中,在步骤S306中利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据之后,具体还包括如下步骤:
S308,根据所述异常告警数据,生成异常告警数据表。
其中,异常告警数据表可以是分类探测结果中超过分类异常阈值的异常探测结果的统计表,数据表形式可以是excel数据表。
S310,对所述异常告警数据表进行目标状态分析及路径节点分析,得到状态分析结果和节点分析结果。
其中,目标状态分析可以是指对目标IP的连接状态分析,所得状态分析结果可以包括正常连接状态、故障维护状态等。
其中,路径节点分析可以是指链路节点分析,也可以是指链路网络设备分析,即将网络设备视为路径中的节点进行节点分析,所得节点分析结果包括网络设备分析结果、IP机器存活检测分析结果、IP路由测试分析结果中的至少一个。
S312,根据所述状态分析结果和所述节点分析结果,生成异常分析报告。
S314,发送所述异常分析报告至所述终端,供所述终端进行展示。
具体实现中,服务器120首先将异常告警数据按表格形式导出,得到异常告警数据表,进而对异常告警数据表进行目标状态分析及路径节点分析,以便得到状态分析结果和节点分析结果后将不同分析结果进行组合,生成可视化异常分析报告。
例如,在异常告警数据表中,针对不同的告警数据进行目标状态分析,包括目标IP的状态分析,分析得到的结果可能是正常状态结果,也可能是维护状态结果,若告警数据的状态分析结果为正常状态结果,则需进一步对其进行链路分析,即路径节点分析,包括路径节点如网络设备的分析、IP机器存活检测分析、IP路由检测分析等,所得节点分析结果可结合状态分析结果组合得到异常分析报告,用于发送至终端进行异常分析结果的展示,便于运维人员有效锁定网络异常位置。
本实施例中,通过对异常告警数据进行目标状态分析及路径节点分析,不仅可提高网络质量异常探测定位的准确率,还能为运维人员提供可视化异常分析报告,提高运维人员对网络异常的定位效率。
应该理解的是,虽然图3、5-8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3、5-8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图9所示,在一个实施例中,提供了一种网络质量探测监控装置900,该装置900可设置于网络质量探测监控系统中,用于执行上述网络质量探测监控方法,网络质量探测监控装置900具体包括:探测结果获取模块902、异常阈值确定模块904以及数据异常定位模块906,其中:
探测结果获取模块902,用于获取目标时段探测数据的分类探测结果;
异常阈值确定模块904,用于根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;
数据异常定位模块906,用于利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
在一个实施例中,探测结果获取模块902还用于获取终端的目标时段探测数据;通过预设探测指令,对所述目标时段探测数据进行质量分类探测,得到分类探测结果;所述分类探测结果包括丢包探测结果、延时探测结果、不可达探测结果中的至少一个;所述预设探测指令包括Ping探测指令、Tcp探测指令、Curl探测指令中的至少一个。
在一个实施例中,特性参数包括第一均值与第一标准差,异常阈值确定模块904还用于根据所述分类探测结果的第一均值与第一标准差,确定结果筛选上限;所述结果筛选上限为所述第一均值与所述第一标准差之和;在所述分类探测结果中,剔除大于所述结果筛选上限以及等于零的结果数据,得到目标分类探测结果;根据所述目标分类探测结果的第二均值与第二标准差,确定所述目标时段探测数据的分类异常阈值。
在一个实施例中,异常阈值确定模块904还用于计算所述第二标准差与预设K值的乘积值;所述预设K值根据所述分类探测结果的局部异常因子确定;确定所述乘积值与所述第二均值的和值,作为所述分类异常阈值。
在一个实施例中,网络质量探测监控装置900还包括分析报告生成模块908,用于根据所述异常告警数据,生成异常告警数据表;对所述异常告警数据表进行目标状态分析及路径节点分析,得到状态分析结果和节点分析结果;根据所述状态分析结果和所述节点分析结果,生成异常分析报告;发送所述异常分析报告至所述终端,供所述终端进行展示。
本实施例中,通过获取目标时段探测数据的分类探测结果,可进一步确定分类探测结果的特性参数,根据该特性参数可确定当前所测目标时段探测数据的分类异常阈值,从而利用分类异常阈值对目标时段探测数据进行异常定位,以便确定异常告警数据作用于生成异常分析报告。采用本方案,能够设置自动化的告警阈值,不仅可提高网络质量异常探测定位的准确率,还能为运维人员提供可视化异常分析报告,提高运维人员对网络异常的定位效率。
在一个实施例中,本申请提供的网络质量探测监控装置可以实现为一种计算机程序的形式,计算机程序可在如图2所示的计算机设备上运行。计算机设备的存储器中可存储组成该网络质量探测监控装置的各个程序模块,比如,图9所示的探测结果获取模块902、异常阈值确定模块904以及数据异常定位模块906。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的管理权限转让同步更新方法中的步骤。
例如,图2所示的计算机设备可以通过如图9所示的网络质量探测监控装置中的探测结果获取模块902执行步骤S302,计算机设备可通过异常阈值确定模块904执行步骤S304,计算机设备可通过数据异常定位模块906执行步骤S306。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述网络质量探测监控方法的步骤。此处网络质量探测监控方法的步骤可以是上述各个实施例的网络质量探测监控方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述网络质量探测监控方法的步骤。此处网络质量探测监控方法的步骤可以是上述各个实施例的网络质量探测监控方法中的步骤。
如图10所示,在一个实施例中,提供了一种网络质量探测监控系统1000,可装载于上述图1中的服务器120中,即通过处理引擎124控制模块集群122执行对网络质量探测监控方法的运用,系统具体包括:处理引擎1002、基础模块1004、探测模块1006、数据模块1008以及应用模块1010;其中,
处理引擎1002可以是图1中的处理引擎124,基础模块1004包括存储子模块10042、队列子模块10044以及缓存子模块10046,探测模块1006包括Ping探测子模块10062、Tcp探测子模块10064以及Curl探测子模块10066,数据模块1008包括目标挑选子模块10082、数据上报子模块10084以及数据归档子模块10086,应用模块1010包括数据分析告警子模块10102、互联网应用子模块10104;
处理引擎1002,用于通过互联网应用子模块10104获取终端110发送的目标时段探测数据,并将目标时段探测数据通过目标挑选子模块10082传输至缓存子模块10046的双循环队列中进行存储,进而通过Ping探测子模块10062、Tcp探测子模块10064以及Curl探测子模块10066中的至少一个,从双循环队列中获取目标时段探测数据进行质量分类探测,并顺序通过队列子模块10044、数据上报子模块10084以及存储子模块10042,将探测后得到的分类探测结果传输至数据归档子模块10086,以便控制数据分析告警子模块10102根据数据归档子模块10086中的特性参数确定分类异常阈值,进而对所述目标时段探测数据进行异常定位,以便将分析后得到的异常告警数据生成异常分析报告后发送至终端110。
具体地,终端110发送的目标时段探测数据可以是运维人员确定给出的探测目标,该探测目标可以是运维人员通过终端110上传的数据,也可以是通过终端110指示服务器120获取相应数据的地址访问指令。
更具体地,目标时段探测数据确定后,处理引擎1002可将探测目标放入redis的双循环队列中,由探测模块1006中的一个或多个探测子模块从一不空的双循环队列中拉取探测目标用于探测,并将探测结果上报至队列子模块10044,有消费进程不停的从队列子模块10044中获取数据并写入存储子模块10042,最后将基于数据的汇聚归档,以便用于告警、展示和分析。
在一个实施例中,网络质量探测监控系统1000还包括系统配置模块,用于设置网络质量探测监控系统1000的运维配置、告警配置以及界面语言配置。
具体地,可参阅图11,在一个实际应用场景中,网络质量探测监控系统1000中各个模块间对目标时段探测数据的处理顺序可如图11中右侧模块作用顺序说明。
在一个实施例中,存储子模块10042包括时序数据库,队列子模块10044包括消息队列。
具体地,存储子模块10042不仅可采用时序数据库(如CTSDB),还可采用mysql;队列子模块10044所包括地消息队列可以是CMQ或Kafka。
此外,数据归档子模块10086通过代码归档亦可通过flink流式计算实现。
上述实施例中,通过提供网络质量探测监控系统,利用系统中各个模块与子模块实现对网络质量探测监控的有效处理,不仅可提高网络质量异常探测定位的准确率,还能为运维人员提供可视化异常分析报告,提高运维人员对网络异常的定位效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种网络质量探测监控方法,其特征在于,所述方法包括:
获取目标时段探测数据的分类探测结果;
根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;
利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
2.根据权利要求1所述的方法,其特征在于,所述获取目标时段探测数据的分类探测结果,包括:
获取终端的目标时段探测数据;
通过预设探测指令,对所述目标时段探测数据进行质量分类探测,得到分类探测结果;所述分类探测结果包括丢包探测结果、延时探测结果、不可达探测结果中的至少一个;所述预设探测指令包括Ping探测指令、Tcp探测指令、Curl探测指令中的至少一个。
3.根据权利要求1所述的方法,其特征在于,所述特性参数包括第一均值与第一标准差,所述根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值,包括:
根据所述分类探测结果的第一均值与第一标准差,确定结果筛选上限;所述结果筛选上限为所述第一均值与所述第一标准差之和;
在所述分类探测结果中,剔除大于所述结果筛选上限以及等于零的结果数据,得到目标分类探测结果;
根据所述目标分类探测结果的第二均值与第二标准差,确定所述目标时段探测数据的分类异常阈值。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标分类探测结果的第二均值与第二标准差,确定所述目标时段探测数据的分类异常阈值,包括:
计算所述第二标准差与预设K值的乘积值;所述预设K值根据所述分类探测结果的局部异常因子确定;
确定所述乘积值与所述第二均值的和值,作为所述分类异常阈值。
5.根据权利要求1所述的方法,其特征在于,在所述利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据之后,还包括:
根据所述异常告警数据,生成异常告警数据表;
对所述异常告警数据表进行目标状态分析及路径节点分析,得到状态分析结果和节点分析结果;
根据所述状态分析结果和所述节点分析结果,生成异常分析报告;
发送所述异常分析报告至所述终端,供所述终端进行展示。
6.一种网络质量探测监控装置,其特征在于,所述装置包括:
探测结果获取模块,用于获取目标时段探测数据的分类探测结果;
异常阈值确定模块,用于根据所述分类探测结果的特性参数,确定所述目标时段探测数据的分类异常阈值;
数据异常定位模块,用于利用所述分类异常阈值对所述目标时段探测数据进行异常定位,确定异常告警数据;所述异常告警数据用于生成异常分析报告后发送至终端,供所述终端展示所述异常分析报告。
7.一种网络质量探测监控系统,其特征在于,包括:处理引擎、基础模块、探测模块、数据模块以及应用模块;其中,
所述应用模块包括数据分析告警子模块、互联网应用子模块,所述数据模块包括目标挑选子模块、数据上报子模块以及数据归档子模块,所述探测模块包括Ping探测子模块、Tcp探测子模块以及Curl探测子模块,所述基础模块包括存储子模块、队列子模块以及缓存子模块;
所述处理引擎,用于通过所述互联网应用子模块获取终端发送的目标时段探测数据,并将所述目标时段探测数据通过所述目标挑选子模块传输至所述缓存子模块的双循环队列中进行存储,进而通过所述Ping探测子模块、所述Tcp探测子模块、所述Curl探测子模块中的至少一个,从所述双循环队列中获取目标时段探测数据进行质量分类探测,并顺序通过所述队列子模块、所述数据上报子模块以及所述存储子模块,将探测后得到的分类探测结果传输至所述数据归档子模块,以便控制所述数据分析告警子模块根据所述数据归档子模块中分类探测结果的特性参数确定分类异常阈值,进而对所述目标时段探测数据进行异常定位,以便将分析后得到的异常告警数据生成异常分析报告后发送至所述终端。
8.根据权利要求7所述的系统,其特征在于,还包括系统配置模块,用于设置所述网络质量探测监控系统的运维配置、告警配置以及界面语言配置。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911132187.XA CN111193608B (zh) | 2019-11-19 | 2019-11-19 | 网络质量探测监控方法、装置、系统和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911132187.XA CN111193608B (zh) | 2019-11-19 | 2019-11-19 | 网络质量探测监控方法、装置、系统和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111193608A true CN111193608A (zh) | 2020-05-22 |
CN111193608B CN111193608B (zh) | 2023-03-24 |
Family
ID=70707245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911132187.XA Active CN111193608B (zh) | 2019-11-19 | 2019-11-19 | 网络质量探测监控方法、装置、系统和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111193608B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111722979A (zh) * | 2020-06-10 | 2020-09-29 | 北京百度网讯科技有限公司 | 质量监测方法、装置、服务器及存储介质 |
CN112966957A (zh) * | 2021-03-22 | 2021-06-15 | 国家电网有限公司大数据中心 | 一种数据链路异常定位方法、装置、电子设备及存储介质 |
CN113691395A (zh) * | 2021-08-04 | 2021-11-23 | 曙光信息产业(北京)有限公司 | 网络运维方法、装置、计算机设备和存储介质 |
CN113839828A (zh) * | 2020-06-24 | 2021-12-24 | 北京字节跳动网络技术有限公司 | 一种网络质量探测方法、装置、终端设备及介质 |
CN116074215A (zh) * | 2022-12-30 | 2023-05-05 | 中国联合网络通信集团有限公司 | 网络质量检测方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002005A (zh) * | 2011-09-07 | 2013-03-27 | 埃森哲环球服务有限公司 | 云服务监测系统 |
EP2819270A1 (en) * | 2012-02-20 | 2014-12-31 | Kabushiki Kaisha Toshiba | Network overseeing device and network overseeing method |
CN107204894A (zh) * | 2017-05-18 | 2017-09-26 | 华为技术有限公司 | 网络业务质量的监控方法及装置 |
CN109634818A (zh) * | 2018-10-24 | 2019-04-16 | 中国平安人寿保险股份有限公司 | 日志分析方法、系统、终端及计算机可读存储介质 |
-
2019
- 2019-11-19 CN CN201911132187.XA patent/CN111193608B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002005A (zh) * | 2011-09-07 | 2013-03-27 | 埃森哲环球服务有限公司 | 云服务监测系统 |
US20140075005A1 (en) * | 2011-09-07 | 2014-03-13 | Accenture Global Services Limited | Cloud service monitoring system |
EP2819270A1 (en) * | 2012-02-20 | 2014-12-31 | Kabushiki Kaisha Toshiba | Network overseeing device and network overseeing method |
CN107204894A (zh) * | 2017-05-18 | 2017-09-26 | 华为技术有限公司 | 网络业务质量的监控方法及装置 |
CN109634818A (zh) * | 2018-10-24 | 2019-04-16 | 中国平安人寿保险股份有限公司 | 日志分析方法、系统、终端及计算机可读存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111722979A (zh) * | 2020-06-10 | 2020-09-29 | 北京百度网讯科技有限公司 | 质量监测方法、装置、服务器及存储介质 |
CN111722979B (zh) * | 2020-06-10 | 2024-02-13 | 北京百度网讯科技有限公司 | 质量监测方法、装置、服务器及存储介质 |
CN113839828A (zh) * | 2020-06-24 | 2021-12-24 | 北京字节跳动网络技术有限公司 | 一种网络质量探测方法、装置、终端设备及介质 |
CN112966957A (zh) * | 2021-03-22 | 2021-06-15 | 国家电网有限公司大数据中心 | 一种数据链路异常定位方法、装置、电子设备及存储介质 |
CN113691395A (zh) * | 2021-08-04 | 2021-11-23 | 曙光信息产业(北京)有限公司 | 网络运维方法、装置、计算机设备和存储介质 |
CN116074215A (zh) * | 2022-12-30 | 2023-05-05 | 中国联合网络通信集团有限公司 | 网络质量检测方法、装置、设备及存储介质 |
CN116074215B (zh) * | 2022-12-30 | 2024-04-19 | 中国联合网络通信集团有限公司 | 网络质量检测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111193608B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111193608B (zh) | 网络质量探测监控方法、装置、系统和计算机设备 | |
US11657309B2 (en) | Behavior analysis and visualization for a computer infrastructure | |
CN109412870B (zh) | 告警监控方法及平台、服务器、存储介质 | |
CN110995468B (zh) | 待分析系统的系统故障处理方法、装置、设备和存储介质 | |
EP3211831B1 (en) | N-tiered end user response time eurt breakdown graph for problem domain isolation | |
CN107888397B (zh) | 确定故障类型的方法和装置 | |
CN107409064B (zh) | 用于支持网络中不规则检测的方法和系统 | |
CN106130786B (zh) | 一种网络故障的检测方法及装置 | |
WO2018103453A1 (zh) | 检测网络的方法和装置 | |
CN108076019B (zh) | 基于流量镜像的异常流量检测方法及装置 | |
US11966319B2 (en) | Identifying anomalies in a data center using composite metrics and/or machine learning | |
US9369364B2 (en) | System for analysing network traffic and a method thereof | |
US11283696B2 (en) | Diagnostic testing in networks | |
CN113438110B (zh) | 一种集群性能的评价方法、装置、设备及存储介质 | |
CN115529595A (zh) | 一种日志数据的异常检测方法、装置、设备及介质 | |
CN113704018A (zh) | 应用运维数据处理方法、装置、计算机设备及存储介质 | |
CN110618977B (zh) | 登录异常检测方法、装置、存储介质和计算机设备 | |
CN114885014A (zh) | 一种外场设备状态的监测方法、装置、设备及介质 | |
Chakraborty et al. | System Failure Prediction within Software 5G Core Networks using Time Series Forecasting | |
TWI448975B (zh) | 應用於影像監控平台的分散式運算系統 | |
CN115689320A (zh) | 基站运行的健康管理方法、装置及计算机可读存储介质 | |
CN110609761B (zh) | 确定故障源的方法、装置、存储介质和电子设备 | |
CN112751722B (zh) | 数据传输质量监控方法和系统 | |
CN116909817A (zh) | 专线控制方法、装置、计算机设备和存储介质 | |
CN110764975A (zh) | 设备性能的预警方法、装置及监控设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |