CN104113872B - 一种数据业务监控方法及系统 - Google Patents

一种数据业务监控方法及系统 Download PDF

Info

Publication number
CN104113872B
CN104113872B CN201310141786.4A CN201310141786A CN104113872B CN 104113872 B CN104113872 B CN 104113872B CN 201310141786 A CN201310141786 A CN 201310141786A CN 104113872 B CN104113872 B CN 104113872B
Authority
CN
China
Prior art keywords
index
data
monitoring
data service
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310141786.4A
Other languages
English (en)
Other versions
CN104113872A (zh
Inventor
赵静
雷鸣
王全胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Hubei Co Ltd
Original Assignee
China Mobile Group Hubei Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Hubei Co Ltd filed Critical China Mobile Group Hubei Co Ltd
Priority to CN201310141786.4A priority Critical patent/CN104113872B/zh
Publication of CN104113872A publication Critical patent/CN104113872A/zh
Application granted granted Critical
Publication of CN104113872B publication Critical patent/CN104113872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种数据业务监控方法及系统,所述方法包括:建立数据业务指标体系;所述指标体系包括网元监控指标和业务监控指标;通过网络接口对被监控数据业务进行信息采集;根据所述被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判。与现有技术相比,本发明解决了网元监控和业务监控不能同时进行的问题,提高了系统运行的自动化质量监控程度。

Description

一种数据业务监控方法及系统
技术领域
本发明涉及数据监控技术领域,尤其涉及一种数据业务监控方法及系统。
背景技术
随着3G的到来,GPRS/EDGE/3G数据业务发展快速,数据业务性能逐渐成为运营商和终端用户共同关注的重点。根据数据业务的自身特点,如何建立一套指标评估体系,来反映现状问题、发展趋势,以及反映终端用户感知服务质量,是非常重要的课题。
目前数据业务的监控主要从两个方面进行,一个是数据网元的监控,跟上层承载数据业务的指标监控。网元监控主要是从网络设备的性能参数指标进行监控。例如,对Attach平均时间和成功率,PDP激活时间和成功率等的监控。另一方面主要是数据业务的指标监控,是指例如彩信的业务量,用户数等。
在实现本发明的过程中,发明人发现现有的导航方案存在如下缺点:
网元监控和业务监控是割裂的,分别从各自的角度进行监控设置,两种之间没有联系。对网元的监控,通常是通过路测来测量,这样被测量区域只占网络整体覆盖的极小的范围,代表性有限;测量时间在每个被测区域太短,偶然性的影响很大;极少量测试人员的测量不能代表大量非专业用户的使用感受。无法主动全面发现问题。从业务方面的监控更多是从某个具体业务发展的指标进行监控,如彩信用户数,流量等监控,缺少从最终使用的用户感知进行监控。
无论是网元还是业务方面的监控,现有的做法是是针对通常要检查的内容,预先根据人工经验或制定检查规则条件,通过特定编写的采集程序采集数据进行检查,对不能通过预设的规则输出告警。对于告警发生后如何再去快速定位分析问题,则没有解决方案。缺少能够辅助快速对问题的定位和影响分析。对检查有问题对象,会带来什么样的影响,以及可能是什么原因造成的,缺少这样的辅助分析手段。
发明内容
本发明的目的在于克服现有技术的缺点和不足,提供一种数据业务监控方法及系统。
一种数据业务监控方法,所述方法包括:
建立数据业务指标体系;所述指标体系包括网元监控指标和业务监控指标;
通过网络接口对被监控数据业务进行信息采集;
根据所述被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判。
所述方法还包括:
对所述数据业务指标体系建立指标之间的关系;所述指标之间的关系包括依赖关系、组成关系、参照关系,通向波动,反向波动关系和平衡关系;
根据所述评判结果,对出现的问题、出现问题的原因和带来的影响进行分析,根据所述指标之间的关系,对所述问题进行追踪。
所述数据业务指标体系包括但不限于网络性能类指标、网元类负载指标、业务类指标和用户使用业务类的过程体验指标。
所述根据所述被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判,包括:
选择所述被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据;
计算所述历史数据的振幅,并确定所述振幅是否具有周期性;
但所述历史数据具有周期性时,计算所述历史数据的数理统计特征;
根据所述数理统计特征和历史数据生成相应的监控算法和度量值范围;
根据所述监控算法和度量值范围,对采集到的信息进行评判。
所述选择所述被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据,包括:
用数组X[i]为所述历史数据的值;
根据如下公式计算异常点并清除:
X[i]=(0.1*X[i-3]+0.15*X[i-2]+0.25*X[i-1]+0.25*X[i+1]+0.15*X[i+2]+0.1*X[i+3])/6;
根据公式X[i]=a0+a1*x+a2*X^2,计算缺失的数据点的值;其中,x为缺失的数据点的在整个数据系列的排序位置值;a0,a1,a2的值通过插值函数y=a0+a1*x+a2*X^2计算。
所述振幅根据如下公式计算:
其中,n:为数据样本数,xi为第i个样本值,x为样本的整体平均值。
所述周期性根据如下方法确定:
计算公式Avg[]=x[i]数组系列的均值;所述数组X[i]为所述历史数据的值;
根据快速傅立叶变换的算法,计算fft[i];
根据公式计算频谱密度;a为fft[i]的实部,b为fft[i]的虚部,T为样本数;
根据频谱密度得到频谱-谱密度的二维关系表,若存在周期,则存在在尖峰突出最大点,取其倒数为数据变化周期,所述尖峰点对应的时间为拐点。
一种数据业务监控系统,所述系统包括指标体系建立单元、信息采集单元和评判单元,其中,
所述指标体系建立单元,用于建立数据业务指标体系;所述指标体系包括网元监控指标和业务监控指标;
所述信息采集单元,用于通过网络接口对被监控数据业务进行信息采集;
所述评判单元,用于根据所述被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判。
所述系统还包括问题处理单元,其中,
所述指标体系建立单元还用于对所述数据业务指标体系建立指标之间的关系;所述指标之间的关系包括依赖关系、组成关系、参照关系,通向波动,反向波动关系和平衡关系;
所述问题处理单元,用于根据所述评判结果,对出现的问题、出现问题的原因和带来的影响进行分析,根据所述指标之间的关系,对所述问题进行追踪。
所述评估单元还包括数据处理子单元、振幅及周期计算子单元、数理统计子单元、算法生成子单元和评判子单元,其中,
所述数据处理子单元,用于选择所述被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据;
所述振幅及周期计算子单元,用于计算所述历史数据的振幅,并确定所述振幅是否具有周期性;
所述数理统计子单元,用于但所述历史数据具有周期性时,计算所述历史数据的数理统计特征;
所述算法生成子单元,用于根据所述数理统计特征和历史数据生成相应的监控算法和度量值范围;
所述评判子单元,用于根据所述监控算法和度量值范围,对采集到的信息进行评判。
本发明通过建立数据业务指标体系,然后通过网络接口对需要监控的数据业务进行信息采集,根据采集的信息和该数据业务对应的指标以及计算得到的度量值范围,对采集到的信息进行评估。进一步的,可以根据评估的结果对出现的问题、出现问题的原因和带来的影响进行分析,根据所述指标之间的关系,对问题进行追踪。与现有技术相比,本发明首先解决了网元监控和业务监控不能同时进行的问题,对数据业务通过自动化的跟踪监控,实现数据波动阀值的自动建立,并通过阀值进行数据波动监控。提高了系统运行的自动化质量监控程度,不再像现有技术中都是通过人为经验进行阀值的设定,容易带来一些质量问题。本发明将系统的数据监控提升到一种新的模式,通过更加科学的方法提高工作质量,并能够使质量监控更加科学合理。通过监控发现的异常问题进行引导式的辅助分析,便于进一步掌握问题产生的来源。将人为设定的监控阀值的方式创新型的通过系统中数据的周期时间序列计算数据点的方法实现阀值自动科学的计算,建立主动式的质量监控,并结合监控点实现了问题定位分析的闭环过程。
附图说明
图1为本发明实施例1提供的数据业务监控方法原理流程图;
图2为本发明实施例2提供的数据业务监控系统结构示意图;
图3为本发明实施例3提供的评估单元结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行详细描述。但本发明的实施方式不限于此。
本发明实施例的原理在于首先对数据业务指标体系建立,设置监控模型,指标关系,平衡规则;数据采集根据对象的模型属性到各个被监控的系统进行信息采集,采集完成后交给稽核评估模块;稽核评估估计对象监控规则和算法进行稽核,如果有问题输出到问题管理。问题管理可以调用元数据对象关系分析,对问题的定位和对问题可能带来的影响进行分析,辅助决定问题处理方案方式,并对问题处理进行跟踪。
本发明实施例中,针对数据业务发展建立指标体系,包括从用户使用过程的指标、网络指标和业务指标三个方面,以及指标之间的逻辑关系。对于每个指标个体,结合其历史数据,对数据系列进行数理统计分析得出数据分布范围,波动周期特点,稳定性,分布特点,中位数,众数、最值,均值,斜率,调整各种监控对象的监控方法和监控规则阀值。对于指标之间,建立指标数据相关关系,通过通向波动、反向波动,波动比例检查,指标平衡公式检查来实现网络指标,业务指标,用户使用过程指标的合理性。
本发明实施例不仅可以应用于数据业务监控过程中,也可以应用于任何其它监控业务中。
如图1所示,为本发明实施例1提供的数据业务监控方法原理流程图,具体如下:
步骤10,建立数据业务指标体系。
这里的指标体系至少包括网元监控指标和业务监控指标。实际上,通常通过对网络接口(Gb/Gn口)用数据进行采集,结合其他基础数据进行统计,建立指标体系。
指标体系通常包括以下几个大类:
网络性能类指标:Attach平均时间和成功率;PDP激活时间和成功率;网站登录平均显示时间和登录成功率;页面刷新平均时间和刷新成功率;铃声、图片下载成功率和下载平均速度;KJava的下载成功率和下载平均速度;FTP的下载文件速度及上传文件速度等。
网元类负载指标:针对一个基站或小区的评估指标。包括如下:
用户数:5分钟内在选定网元覆盖下使用数据业务的用户数量;
总流量:5分钟内选定网元的数据业务总流量;
上行流量:5分钟内选定网元接收到的上行数据的流量;
下行流量:5分钟内选定网元接收到的下行数据的流量;
平均在线时间:5分钟内选定网元内用户的平均使用数据业务时间;
所有HTTP连接数,WAP连接数,MMS连接数,HTTP+WAP连接数。
业务类指标:有效流量、对用户使用梦网、飞信手机端、无线音乐、手机证券、手机电视等自有业务的在线时间长度等。
用户使用业务类的过程体验指标,是指标用户实现某一类数据业务的过程评估指标,反映从CDR(calling detail records)层级到最底层的信令原始数据,从而获知此次数据业务中存在的问题或者原因,更好的贴近用户感知。如在用户使用下载类的业务。则GPRS通讯过程类指标:CALL Session时长,PDP Session时长,HTTP Session时长,HTTP PageSession时长。
进一步的,在指标体系建立后,还需要设置指标之间的关系。指标之间的关系也就是对象的关系,类型包括依赖关系、组成关系、参照关系,通向波动,反向波动关系,平衡关系。支持对对象关系分析。对选中的某个对象,通过递归查找,可以输出对象所有依赖和对象所有的影响关系。
步骤20,通过网络接口对被监控数据业务进行信息采集。
通常通过对网络接口(Gb/Gn口)的数据采集,采集内容包括:
采集开始时间、采集结束时间、网络位置、手机号码、成功标志、用户IP、APN、错误代码、ConnectAbort类型、ConnetAbort类型、手机型号、失败类别、响应码、请求类型、URL、协议类型、收发方向、ContenType、用户侧的最终个体用户的业务类型、手机终端型号等。
步骤30,根据被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判。
通常来说,对采集到的信息进行评判的依据是被监控数据业务对应的指标以及相应的度量值范围。评判的结果为存在问题或者不存在问题。如果存在问题,需要根据评判结果,对出现的问题、出现问题的原因和带来的影响进行分析,根据指标之间的关系,对问题进行追踪。
本步骤是本实施例的重点,大体来说,可以包括三个部分:稽核规则自我调整、稽核评估、调度管理。
稽核规则自我调整是指对监控对象的某个属性指标的历史数据进行统计分析,调整监控对象合理的监控算法和阀值。
稽核评估是根据当前监控对象的监控算法和阀值,每天对新的探测采集器采集到的数据进行评判,输出结果。
调度是通过规则促发实现正常监控稽核,异常的重新处理等。
其中,如何对一个指标进行稽核评估,判断是否正常是整个系统关键的算法。我们采用了数值检查、波动检查、指标之间的关联检查、指标平衡检查多个方法对一个指标进行稽核评估。具体如下:
选择历史数据,消除异常点,补足缺失数据。
采用数组X[i]来存放历史数据点的值。比如数据文件对象的大小是否正常的稽核评估,X[i]这个文件某天的大小。
消除异常点。历史数据中有些点本身存在异常,为避免异常点带来的影响,必须对异常点进行处理。处理方法采用百分位来识别,不能简单去掉,而是采用移动加权平均模拟,做到消峰平谷。具体算法如下:
按百分位数取下0-2%的点和上97%-100%的点;
对这些点按照附近的3点进行加权平均:X[i]=(0.1*X[i-3]+0.15*X[i-2]+0.25*X[i-1]+0.25*X[i+1]+0.15*X[i+2]+0.1*X[i+3])/6。
补足缺失数据。指标的数据是时间系列数据。但有些指标在某些时间上数据没有生成会给整个系列特点带来影响。因此对这些缺失的数据进行补齐。采用移动平均值来补齐缺失的数据,采用如下公式计算出新的值
,
其中yi为缺失的时间点的在整个时间系列的排序位置值,n为要取平均数点个数,yi-n为其前1,2,…n个点的值。
振幅是描述一组数据偏离中心程度。如果振幅小,说明不用去关心数据是否存在周期。
振幅的计算公式为
如果振幅>0.3,说明要研究周期特征,否则不需要。
计算给出的一系列数据是否存在周期,周期的时长,周期的拐点。采用傅立叶分析。傅立叶认为任何一系列数据通过多个三角函数无限模拟逼近的。三角函数是一个明显呈现周期性的特点。计算步骤如下:
计算样本系列平均数,记为Avg[]。
计算样本系列上各点的中心化值。计算公式中心化值=x[i]-Avg[]。
计算FFT值。采用快速傅立叶变换的算法,对中心化值进行快速傅立叶变换,计算fft[i],fft[i]是个复数。有实部和虚部。
根据公式计算频谱密度。其中a为fft[i]的实部,b为fft[i]的虚部,T为样本数。
根据上述计算结果形成了频谱-谱密度的二维关系表,如果存在周期,则存在在尖峰突出最大点,取其倒数即为数据变化周期,尖峰点对应的时间就是拐点。
根据输入一组系列数据,计算数据的数理统计特征。统计项如表1所示:
表1
指标值系列
样本数
最大值
最小值
平均值
中位数
是否有周期特性
分布特征
斜率范围
偏值
峰值
分布函数
90%数据分布区间
周期特征
峰值点数
波谷点数
方差
标准差
振幅
如果系列的数据有存在数据特征,拆分为两个系列数据分别进行特征统计研究:拐点系列和拐点之间即周期内值的系列。输出两个系统特征统计如表2和表3所示:
表2
拐点值系列
样本数
最大值
最小值
平均值
中位数
是否有周期特性
分布特征
斜率范围
偏值
峰值
分布函数
90%数据分布区间
周期特征
峰值点数
波谷点数
方差
标准差
振幅
表3
周期内值系列
样本数
最大值
最小值
平均值
中位数
是否有周期特性
分布特征
斜率范围
偏值
峰值
分布函数
90%数据分布区间
周期特征
峰值点数
波谷点数
方差
标准差
振幅
之后,即可以确定监控算法和规则,根据上述的计算结果,评判一个指标该采用的监控算法和度量值范围。具体如表4所示:
表4
根据指标知识统计规则,对每天或月新增指标值进行评估是否正常,算法如表5所示:
表5
至此,完成了对采集信息的分析和评判。下一步,需要对结果进行输出。按各个业务输出当前业务发展关键KPI,例如,WAP业务、HTTP业务、MMS业务发展情况,每种业务下包括了其关键的评估指标的情况。例如,wap业务包括了成功率,平均响应时长,用户数等包业务方面的,网络方面的和用户感知方面的综合情况。
如果对wap业务的网络方面指标存在问题,可以进一步分析wap的网络方面的错误情况。如果对用户感知方面存在短板,可以进一步分析整体的或抽样某个用户在使用业务的过程类指标性能情况。
再进一步,可以进入问题管理步骤。问题管理包括问题的建立、问题原因分析、问题影响分析、问题处理跟踪几个模块。
问题建立可以从稽核评估的告警转为问题管理。
问题的原因分析。对某个问题所包含的对象,根据元数据的关系服务结合稽核评估的结果,可以回溯查看器依赖路径上的对象是否存在问题,以方便进行问题的定位,快速帮助定位问题可能是由其路径上哪个对象导致的。
本实施例的关键点在于:主动式自适应监控。主要进行了监控对象建模部署了探测器,不需要人工进行规则设置,就能完成对系统的监控,而且随着时间越长,通过历史的积累,利用相应上述算法进行质量监控。时间系列数据点的异常检测方法。通过质量监控数据进行快速辅助问题定位分析。
如图2所示,为本发明实施例2提供的数据业务监控系统结构示意图,该系统包括指标体系建立单元100、信息采集单元200和评判单元300,具体如下:
指标体系建立单元100,用于建立数据业务指标体系;指标体系包括网元监控指标和业务监控指标;
信息采集单元200,用于通过网络接口对被监控数据业务进行信息采集;
评判单元300,用于根据被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判。
进一步的,该系统还包括问题处理单元400,其中,指标体系建立单元100还用于对数据业务指标体系建立指标之间的关系;指标之间的关系包括依赖关系、组成关系、参照关系,通向波动,反向波动关系和平衡关系;
问题处理单元400,用于根据评判结果,对出现的问题、出现问题的原因和带来的影响进行分析,根据指标之间的关系,对问题进行追踪。
如图3所示,为本发明实施例3提供的上述的评估单元300还包括数据处理子单元301、振幅及周期计算子单元302、数理统计子单元303、算法生成子单元304和评判子单元305,其中,
数据处理子单元301,用于选择被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据;
振幅及周期计算子单元302,用于计算历史数据的振幅,并确定振幅是否具有周期性;
数理统计子单元303,用于但历史数据具有周期性时,计算历史数据的数理统计特征;
算法生成子单元304,用于根据数理统计特征和历史数据生成相应的监控算法和度量值范围;
评判子单元305,用于根据监控算法和度量值范围,对采集到的信息进行评判。
需要说明的是:上述实施例提供的数据业务监控系统在监控数据业务时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将系统的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据业务监控方法与数据业务监控系统实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
综上,本发明通过建立数据业务指标体系,然后通过网络接口对需要监控的数据业务进行信息采集,根据采集的信息和该数据业务对应的指标以及计算得到的度量值范围,对采集到的信息进行评估。进一步的,可以根据评估的结果对出现的问题、出现问题的原因和带来的影响进行分析,根据所述指标之间的关系,对问题进行追踪。与现有技术相比,本发明首先解决了网元监控和业务监控不能同时进行的问题,对数据业务通过自动化的跟踪监控,实现数据波动阀值的自动建立,并通过阀值进行数据波动监控。提高了系统运行的自动化质量监控程度,不再像现有技术中都是通过人为经验进行阀值的设定,容易带来一些质量问题。本发明将系统的数据监控提升到一种新的模式,通过更加科学的方法提高工作质量,并能够使质量监控更加科学合理。通过监控发现的异常问题进行引导式的辅助分析,便于进一步掌握问题产生的来源。将人为设定的监控阀值的方式创新型的通过系统中数据的周期时间序列计算数据点的方法实现阀值自动科学的计算,建立主动式的质量监控,并结合监控点实现了问题定位分析的闭环过程。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (6)

1.一种数据业务监控方法,其特征在于,所述方法包括:
建立数据业务指标体系;所述指标体系包括网元监控指标和业务监控指标;
通过网络接口对被监控数据业务进行信息采集;
根据所述被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判;
其中,所述根据所述被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判,包括:
选择所述被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据;
计算所述历史数据的振幅,并确定所述振幅是否具有周期性;
在所述历史数据具有周期性时,计算所述历史数据的数理统计特征;
根据所述数理统计特征和历史数据生成相应的监控算法和度量值范围;
根据所述监控算法和度量值范围,对采集到的信息进行评判;
其中,所述选择所述被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据,包括:
用数组X[i]作为所述历史数据的值;
按百分位数取下0-2%的点和上97%-100%的点作为异常点;
对这些点按照附近的3点进行加权平均:
X[i]=(0.1*X[i-3]+0.15*X[i-2]+0.25*X[i-1]+0.25*X[i+1]+0.15*X[i+2]+0.1*X[i+3])/6;
根据公式X[i]=a0+a1*x+a2*x^2,计算缺失的数据点的值;其中,x为缺失的数据点的在整个数据系列的排序位置值;a0,a1,a2的值通过插值函数y=a0+a1*x+a2*x^2计算,其中,x和y为插值函数的自变量和因变量。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
对所述数据业务指标体系建立指标之间的关系;所述指标之间的关系包括依赖关系、组成关系、参照关系、同向波动、反向波动关系和平衡关系;
根据所述评判结果,对出现的问题、出现问题的原因和带来的影响进行分析,根据所述指标之间的关系,对所述问题进行追踪。
3.如权利要求1所述的方法,其特征在于,所述数据业务指标体系包括但不限于网络性能类指标、网元类负载指标、业务类指标和用户使用业务类的过程体验指标。
4.如权利要求1所述的方法,其特征在于,所述振幅根据如下公式计算:
其中,n:为数据样本数,xi为第i个样本值,为样本的整体平均值。
5.一种数据业务监控系统,其特征在于,所述系统包括指标体系建立单元、信息采集单元和评判单元,其中,
所述指标体系建立单元,用于建立数据业务指标体系;所述指标体系包括网元监控指标和业务监控指标;
所述信息采集单元,用于通过网络接口对被监控数据业务进行信息采集;
所述评判单元,用于根据所述被监控数据业务对应的指标以及度量值范围,对采集到的信息进行评判;
其中,所述评判单元还包括数据处理子单元、振幅及周期计算子单元、数理统计子单元、算法生成子单元和评判子单元,其中,
所述数据处理子单元,用于选择所述被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据;
所述振幅及周期计算子单元,用于计算所述历史数据的振幅,并确定所述振幅是否具有周期性;
所述数理统计子单元,用于在所述历史数据具有周期性时,计算所述历史数据的数理统计特征;
所述算法生成子单元,用于根据所述数理统计特征和历史数据生成相应的监控算法和度量值范围;
所述评判子单元,用于根据所述监控算法和度量值范围,对采集到的信息进行评判;
其中,其中,所述选择所述被监控数据业务对应的指标的历史数据,消除异常点,补齐缺失数据,包括:
用数组X[i]作为所述历史数据的值;
按百分位数取下0-2%的点和上97%-100%的点作为异常点;
对这些点按照附近的3点进行加权平均:
X[i]=(0.1*X[i-3]+0.15*X[i-2]+0.25*X[i-1]+0.25*X[i+1]+0.15*X[i+2]+0.1*X[i+3])/6;
根据公式X[i]=a0+a1*x+a2*x^2,计算缺失的数据点的值;其中,x为缺失的数据点的在整个数据系列的排序位置值;a0,a1,a2的值通过插值函数y=a0+a1*x+a2*x^2计算,其中,x和y为插值函数的自变量和因变量。
6.如权利要求5所述的系统,其特征在于,所述系统还包括问题处理单元,其中,
所述指标体系建立单元还用于对所述数据业务指标体系建立指标之间的关系;所述指标之间的关系包括依赖关系、组成关系、参照关系、同向波动、反向波动关系和平衡关系;
所述问题处理单元,用于根据所述评判结果,对出现的问题、出现问题的原因和带来的影响进行分析,根据所述指标之间的关系,对所述问题进行追踪。
CN201310141786.4A 2013-04-22 2013-04-22 一种数据业务监控方法及系统 Active CN104113872B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310141786.4A CN104113872B (zh) 2013-04-22 2013-04-22 一种数据业务监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310141786.4A CN104113872B (zh) 2013-04-22 2013-04-22 一种数据业务监控方法及系统

Publications (2)

Publication Number Publication Date
CN104113872A CN104113872A (zh) 2014-10-22
CN104113872B true CN104113872B (zh) 2018-06-26

Family

ID=51710472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310141786.4A Active CN104113872B (zh) 2013-04-22 2013-04-22 一种数据业务监控方法及系统

Country Status (1)

Country Link
CN (1) CN104113872B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463498B (zh) * 2014-12-24 2017-11-28 小米科技有限责任公司 统计业务指标的方法及装置
CN105279257A (zh) * 2015-10-15 2016-01-27 珠海世纪鼎利科技股份有限公司 一种基于正态分布的互联网大数据挖掘方法和系统
CN105808368B (zh) * 2016-03-15 2019-04-30 南京联成科技发展股份有限公司 一种基于随机概率分布的信息安全异常检测的方法及系统
CN107809780A (zh) * 2016-09-09 2018-03-16 中兴通讯股份有限公司 一种对用户设备接入失败的主动处理方法、装置及基站
CN107943809B (zh) * 2016-10-13 2022-02-01 阿里巴巴集团控股有限公司 数据质量监控方法、装置及大数据计算平台
CN107395450B (zh) * 2017-06-15 2018-11-06 腾讯科技(深圳)有限公司 应用登录情况的监测方法和装置、存储介质、电子装置
CN108170589B (zh) * 2017-12-06 2021-08-13 口碑(上海)信息技术有限公司 网络平台基础数据质量算法的保障方法
CN111835577B (zh) * 2019-04-22 2022-06-14 中国移动通信集团福建有限公司 物联网专网质差问题确定的方法、装置和电子设备
CN112398706B (zh) * 2019-08-19 2022-07-01 中国移动通信集团广西有限公司 数据评估标准确定方法、装置及存储介质、电子设备
CN111221809B (zh) * 2020-01-08 2024-05-24 国电联合动力技术有限公司 基于实时数据库存储的数据清洗方法和系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296115A (zh) * 2007-11-22 2008-10-29 中国移动通信集团山东有限公司 电信网络多维监控方法
CN101404803A (zh) * 2008-11-13 2009-04-08 浪潮通信信息系统有限公司 一种网管系统的多维监控方法
CN101616428A (zh) * 2009-04-15 2009-12-30 北京协成致远网络科技有限公司 一种移动数据业务监控分析系统及其实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101296115A (zh) * 2007-11-22 2008-10-29 中国移动通信集团山东有限公司 电信网络多维监控方法
CN101404803A (zh) * 2008-11-13 2009-04-08 浪潮通信信息系统有限公司 一种网管系统的多维监控方法
CN101616428A (zh) * 2009-04-15 2009-12-30 北京协成致远网络科技有限公司 一种移动数据业务监控分析系统及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
综合网管系统中的性能监控研究与实现;曾志;《中国优秀硕士学位论文全文数据库》;20130315(第3期);第1.3.1,1.3.2.2,4.1.1,4.4.1,4.3.3,4.4.4,4.5.3.2,4.6节 *

Also Published As

Publication number Publication date
CN104113872A (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
CN104113872B (zh) 一种数据业务监控方法及系统
CN109005556B (zh) 一种基于用户话单的4g网络质量优化方法与系统
CN108075925B (zh) 基于端到端性能观察与评估来改进通信网络的性能
CN105721187B (zh) 一种业务故障诊断方法及装置
CN103529167B (zh) 一种基于移动终端的空气质量监测方法、系统及装置
Uthansakul et al. Estimating and synthesizing QoE based on QoS measurement for improving multimedia services on cellular networks using ANN method
CN105376089B (zh) 一种网络规划方法及装置
CN104378220A (zh) 评价用户体验质量的方法及装置、用户终端、网络服务器
CN107026750B (zh) 一种用户上网QoE评价方法及装置
CN105791046A (zh) 用户体验质量QoE评估方法、装置、终端及服务器
CN104901827B (zh) 一种基于用户业务结构的网络资源评估方法及装置
CN102711162A (zh) 一种移动互联网中网络质量监测和用户体验优化的方法
CN105120477B (zh) 一种移动网络优化方法及系统
CN103209422A (zh) 一种wlan网络精确选点的方法
CN103810643A (zh) 电压暂降的等级量化方法及装置
CN108322915B (zh) 基站规划的信息处理方法与装置
WO2014082383A1 (zh) 信息提示方法及移动终端
CN106656368A (zh) 通信系统监控方法及装置
CN108900339B (zh) 一种度量业务质量的方法、装置及电子设备
CN103973902B (zh) 一种用户感知业务质量的量化装置、监测系统和方法
CN104105045A (zh) 响度检测方法及系统
CN109995549A (zh) 一种评估流量价值的方法及装置
CN109963292A (zh) 投诉预测的方法、装置、电子设备和存储介质
CN102567425B (zh) 一种数据的处理方法和设备
CN109005064B (zh) 面向QoE的服务质量评估方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant