CN109728945A - 一种基于宽带关键质量指标的异常阈值判定方法 - Google Patents

一种基于宽带关键质量指标的异常阈值判定方法 Download PDF

Info

Publication number
CN109728945A
CN109728945A CN201811589521.XA CN201811589521A CN109728945A CN 109728945 A CN109728945 A CN 109728945A CN 201811589521 A CN201811589521 A CN 201811589521A CN 109728945 A CN109728945 A CN 109728945A
Authority
CN
China
Prior art keywords
numerical value
roc
list
rounding
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811589521.XA
Other languages
English (en)
Other versions
CN109728945B (zh
Inventor
黄江河
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electric Fufu Mdt Infotech Ltd
Original Assignee
China Electric Fufu Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electric Fufu Mdt Infotech Ltd filed Critical China Electric Fufu Mdt Infotech Ltd
Priority to CN201811589521.XA priority Critical patent/CN109728945B/zh
Publication of CN109728945A publication Critical patent/CN109728945A/zh
Application granted granted Critical
Publication of CN109728945B publication Critical patent/CN109728945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于宽带关键质量指标的异常阈值判定方法，首先收集网站的KQI数据并清洗，然后获取每个网站的每个度量值的异常阈值：计算每个用户对应某网站的某KQI度量值的平均值，形成以用户为分类的列表X，将列表X中每个用户的该KQI度量值的平均值进行取整，将取整后数值由小到大排列并统计每个取整后数值相对应的用户数量，形成列表Y，将列表Y定位到具有最大用户数量的取整后数值所在行，从该行开始沿取整后数值增大的方向开始遍历列表Y，计算当前遍历位置的ROC和ROC_NEXT；当ROC>=0并且ROC_NEXT>=0时，则当前遍历位置i对应列表Y的取整后数值即为该网站的该度量值的异常阈值。本发明可实现根据不同网站智能判定异常阈值，可广泛应用于宽带感知异常的主动预警。

Description

一种基于宽带关键质量指标的异常阈值判定方法
技术领域
本发明涉及通信技术领域，具体涉及一种基于宽带关键质量指标的异常阈值判定方法。
背景技术
宽带关键业务质量指标的分析应用，目前主要针对单维度单指标，对业务服务表现特征的时延、连续性、抖动的单项通用指标采用平均或采样阈值划分的方式，根据事先设定的几类关键性能指标的判决阈值，划分出明显异常、轻微异常以及明显正常等，按划分类相对固定阈值，有适应性差的缺点，用于障碍定位波动较大，无法支持自适应不同类型网站的有效精准判断和综合障碍定位。。
发明内容
本发明的目的在于提供一种基于宽带关键质量指标的异常阈值判定方法。
为实现上述目的，本发明采用以下技术方案：
一种基于宽带关键质量指标的异常阈值判定方法，包括以下步骤：
S1：收集每个网站的KQI数据(关键业务质量指标)；
S2：进行KQI数据的清洗；
S3：分别获取每个网站的每个度量值的异常阈值，具体如下；
S3-1：计算每个用户对应某网站的某KQI度量值的平均值，形成以用户为分类的列表X；
S3-2：将列表X中每个用户的该KQI度量值的平均值进行取整；
S3-3：将取整后数值由小到大排列并统计每个取整后数值相对应的用户数量，形成列表Y；
S3-4：将列表Y定位到具有最大用户数量的取整后数值所在的行，并从该行开始沿取整后数值增大的方向开始遍历列表Y；
S3-5：分别计算当前遍历位置的概率分布变化率ROC和当前遍历位置下一行的概率分布变化率ROC_NEXT；
其中，ROC＝(Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6])-(Y[i]+Y[i+1]+Y[i+2]+
Y[i+3]+Y[i+4]+Y[i+5])＝Y[i+6]-Y[i]；
ROC_NEXT＝(Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6]+Y[i+7])-(Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6])＝Y[i+7]-Y[i+1]；
i表示遍历位置在列表Y中的第i行；Y[i]表示第i行的取整后数值相对应的用户数量；
S3-6：当ROC>＝0并且ROC_NEXT>＝0时，则当前遍历位置i对应列表Y的取整后数值即为该网站的该度量值的异常阈值。
步骤S1中，KQI数据包括DNS解析时延、网站连接时间、首页下载时间、首页响应时间、测速合格率。
步骤S2中，所述KQI数据的清洗是指取测试时返回的网页大小>正常网页大小的数据，排除下载异常的网页数据。
本发明采用以上技术方案，以用户业务感知为导向，通过宽带各网站关键业务质量指标参数，建立异常阈值判定模型，采用清洗数据、离散化数据、使用KQI概率分析变化率曲线进行遍历，获取曲线平稳趋势时停止遍历，记录为边界点，综合分析确定每个网站阈值，实现动态的异常阈值判定。
本发明的有益效果在于：基于宽带关键质量指标的异常阈值判定，解决KQI指标异常阈值不同网站，不同地域偏差大的问题，可实现根据不同网站，智能计算判定准确的异常阈值，使用范围广，可广泛应用于宽带感知异常的主动预警，精确障碍定界定位，提高障碍处理效率，降低运维成本，主动提升客户满意度。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明；
图1为实施例1中以DNS解析时延取值为横轴，以用户数量为纵轴绘制的曲线图。
具体实施方式
一种基于宽带关键质量指标的异常阈值判定方法，包括以下步骤：
S1：收集每个网站的KQI数据，包括DNS解析时延、网站连接时间、首页下载时间、首页响应时间、测速合格率等。
该步骤对用户侧的常见网站收集数据,例如网站：百度、凤凰、新浪、搜狐、淘宝。
S2：进行KQI数据的清洗，取测试时返回的网页大小>正常网页大小的数据，不同网站取不同值，排除下载异常的网页数据，例如网站出错404无法访问时，数据量偏小，这类数据将影响最终阈值的准确性，所以需要剔除；
正常网页大小举例：
www.ifeng.com大等于300000(单位：Byte)
www.baidu.com大等于100000(单位：Byte)
www.sina.com大等于400(单位：Byte)
www.sohu.com大等于400000(单位：Byte)
www.taobao.com大等于500(单位：Byte)
S3：分别获取每个网站的每个度量值的异常阈值，具体如下；
S3-1：计算每个用户对应某网站的某KQI度量值的平均值，形成以用户为分类的列表X；
S3-2：将列表X中每个用户的该KQI度量值的平均值进行取整；
S3-3：将取整后数值由小到大排列并统计每个取整后数值相对应的用户数量，形成列表Y；
S3-4：将列表Y定位到具有最大用户数量的取整后数值所在的行，并从该行开始沿取整后数值增大的方向开始遍历列表Y；
S3-5：分别计算当前遍历位置的概率分布变化率ROC和当前遍历位置下一行的概率分布变化率ROC_NEXT；
其中，ROC＝(Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6])-(Y[i]+Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5])＝Y[i+6]-Y[i]；
ROC_NEXT＝(Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6]+Y[i+7])-(Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6])＝Y[i+7]-Y[i+1]；
i表示遍历位置在列表Y中的第i行；Y[i]表示第i行的取整后数值相对应的用户数量；
S3-6：当ROC>＝0并且ROC_NEXT>＝0时，则当前遍历位置i对应列表Y的取整后数值即为该网站的该度量值的异常阈值。
本发明方法的最终结果为每个网站，每个KQI度量值都能判定出一个异常阈值。
实施例1
S1：收集用户侧的百度网站的DNS解析时延；
S2：进行DNS解析时延数据的清洗，取测试时返回的百度网页大小>100000Byte的数据，剔除小于100000Byte的数据；
S3：获取百度网站的DNS解析时延的异常阈值，具体如下；
S3-1：计算每个用户对应百度网站的DNS解析时延度量值的平均值，形成以用户为分类的列表X；
S3-2：将列表X中每个用户的DNS解析时延度量值的平均值进行取整，如表1所示；
S3-3：将取整后数值由小到大排列并统计每个取整后数值相对应的用户数量，形成列表Y，如表2所示；
表1
表2百度的DNA解析时延度量值列表Y
取整后数值 用户数量
2 2
3 4
4 6
5 4
6 2
7 1
9 1
S3-4：将列表Y定位到具有最大用户数量的取整后数值所在的行，并从该行开始沿取整后数值增大的方向开始遍历列表Y；
S3-5：分别计算当前遍历位置的概率分布变化率ROC和当前遍历位置下一行的概率分布变化率ROC_NEXT；
其中，ROC＝(Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6])-(Y[i]+Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5])＝Y[i+6]-Y[i]；
ROC_NEXT＝(Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6]+Y[i+7])-(Y[i+1]+Y[i+2]+Y[i+3]+Y[i+4]+Y[i+5]+Y[i+6])＝Y[i+7]-Y[i+1]；
i表示遍历位置在列表Y中的第i行；Y[i]表示第i行的取整后数值相对应的用户数量；
S3-6：当ROC>＝0并且ROC_NEXT>＝0时，则当前遍历位置i对应列表Y的取整后数值即为该网站的该度量值的异常阈值。本实施例中，该异常阈值为133。
以上判定过程如表3截取的部分数据所示，其中DNS解析时延取值129所在行是具有最大用户数量的取整后数值所在的行，是开始遍历的位置，DNS解析时延取值133是找到阈值的位置。
表3
表3的数据，以DNS解析时延取值为横轴，以用户数量为纵轴的曲线如图1所示。通过障碍阈值的判定，作为障碍定位的基础进行应用，实现网络KQI业务质量的趋势刻画，实现障碍准确定位和障碍预警等。

Claims (3)

1.一种基于宽带关键质量指标的异常阈值判定方法，其特征在于：其包括以下步骤：
S1：收集每个网站的KQI数据；
S2：进行KQI数据的清洗；
S3：分别获取每个网站的每个度量值的异常阈值，具体如下；
S3-1：计算每个用户对应某网站的某KQI度量值的平均值，形成以用户为分类的列表X；
S3-2：将列表X中每个用户的该KQI度量值的平均值进行取整；
S3-3：将取整后数值由小到大排列并统计每个取整后数值相对应的用户数量，形成列表Y；
S3-4：将列表Y定位到具有最大用户数量的取整后数值所在的行，并从该行开始沿取整后数值增大的方向开始遍历列表Y；
S3-5：分别计算当前遍历位置的概率分布变化率ROC和当前遍历位置下一行的概率分布变化率ROC_NEXT；
其中，ROC= Y[i+6] - Y[i]；
ROC_NEXT= Y[i+7]- Y[i+1]；
i表示遍历位置在列表Y中的第i行；Y[i]表示第i行的取整后数值相对应的用户数量；
S3-6：当ROC>=0并且ROC_NEXT>=0时，则当前遍历位置i对应列表Y的取整后数值即为该网站的该度量值的异常阈值。
2.根据权利要求1所述的一种基于宽带关键质量指标的异常阈值判定方法，其特征在于：步骤S1中，KQI数据包括DNS解析时延、网站连接时间、首页下载时间、首页响应时间、测速合格率。
3.根据权利要求1所述的一种基于宽带关键质量指标的异常阈值判定方法，其特征在于：步骤S2中，所述KQI数据的清洗是指取测试时返回的网页大小 > 正常网页大小的数据，排除下载异常的网页数据。
CN201811589521.XA 2018-12-25 2018-12-25 一种基于宽带关键质量指标的异常阈值判定方法 Active CN109728945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811589521.XA CN109728945B (zh) 2018-12-25 2018-12-25 一种基于宽带关键质量指标的异常阈值判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811589521.XA CN109728945B (zh) 2018-12-25 2018-12-25 一种基于宽带关键质量指标的异常阈值判定方法

Publications (2)

Publication Number Publication Date
CN109728945A true CN109728945A (zh) 2019-05-07
CN109728945B CN109728945B (zh) 2021-12-28

Family

ID=66297201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811589521.XA Active CN109728945B (zh) 2018-12-25 2018-12-25 一种基于宽带关键质量指标的异常阈值判定方法

Country Status (1)

Country Link
CN (1) CN109728945B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111555932A (zh) * 2020-04-24 2020-08-18 长沙理工大学 一种大规模不规则kpi时间序列异常检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562830A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种客户感知评估方法及系统
CN102685791A (zh) * 2012-05-22 2012-09-19 北京东方文骏软件科技有限责任公司 模拟用户行为的WAP业务用户感知体验QoE评测方法
CN103840978A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 一种获取kqi门限的方法及设备
CN104994133A (zh) * 2015-05-22 2015-10-21 华中科技大学 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
CN105050125A (zh) * 2015-06-23 2015-11-11 武汉虹信通信技术有限责任公司 一种面向用户体验的移动数据业务质量评测方法及装置
CN105791034A (zh) * 2016-05-15 2016-07-20 北京联合大学 一种浏览类业务感知分析方法
US20170339029A1 (en) * 2014-10-09 2017-11-23 Splunk Inc. Monitoring it services at an individual overall level from machine data
CN107547446A (zh) * 2017-07-26 2018-01-05 新华三信息安全技术有限公司 一种带宽调整方法、装置及网络设备
CN108235337A (zh) * 2016-12-15 2018-06-29 中国移动通信有限公司研究院 利用率基线值估计方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562830A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种客户感知评估方法及系统
CN102685791A (zh) * 2012-05-22 2012-09-19 北京东方文骏软件科技有限责任公司 模拟用户行为的WAP业务用户感知体验QoE评测方法
CN103840978A (zh) * 2012-11-21 2014-06-04 华为技术有限公司 一种获取kqi门限的方法及设备
US20170339029A1 (en) * 2014-10-09 2017-11-23 Splunk Inc. Monitoring it services at an individual overall level from machine data
CN104994133A (zh) * 2015-05-22 2015-10-21 华中科技大学 一种基于网络KPI的移动Web网页访问用户体验感知评测方法
CN105050125A (zh) * 2015-06-23 2015-11-11 武汉虹信通信技术有限责任公司 一种面向用户体验的移动数据业务质量评测方法及装置
CN105791034A (zh) * 2016-05-15 2016-07-20 北京联合大学 一种浏览类业务感知分析方法
CN108235337A (zh) * 2016-12-15 2018-06-29 中国移动通信有限公司研究院 利用率基线值估计方法及装置
CN107547446A (zh) * 2017-07-26 2018-01-05 新华三信息安全技术有限公司 一种带宽调整方法、装置及网络设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111555932A (zh) * 2020-04-24 2020-08-18 长沙理工大学 一种大规模不规则kpi时间序列异常检测方法
CN111555932B (zh) * 2020-04-24 2022-07-26 长沙理工大学 一种大规模不规则kpi时间序列异常检测方法

Also Published As

Publication number Publication date
CN109728945B (zh) 2021-12-28

Similar Documents

Publication Publication Date Title
CN106447210B (zh) 一种计及可信度评价的配网设备健康度动态诊断方法
CN109005055B (zh) 基于多尺度拓扑空间的复杂网络信息节点重要度评价方法
CN104320795B (zh) 一种多维度的无线网络健康度评估方法
CN109816031B (zh) 一种基于数据不均衡度量的变压器状态评估聚类分析方法
CN108038044B (zh) 一种面向连续被监测对象的异常检测方法
CN109558295A (zh) 一种性能指标异常检测方法及装置
CN108491861A (zh) 基于多源多参量融合的输变电设备状态异常模式识别方法及装置
CN112291706A (zh) 一种基于大数据和人工智能的网络优化方法
CN105721194B (zh) 移动网故障隐患智能定位系统
CN103607309A (zh) 一种业务kqi与qoe的映射方法
CN109995611B (zh) 流量分类模型建立及流量分类方法、装置、设备和服务器
CN105491615A (zh) 基于时间序列的传感器自适应采样方法
CN116614525A (zh) 一种基于大数据分析的地块土壤环境快速监测系统
CN109547251B (zh) 一种基于监控数据的业务系统故障与性能预测方法
CN105515888A (zh) 基于多维熵序列分类的智能变电站通信网络异常检测方法
CN111737078A (zh) 基于负载类型的自适应云服务器能耗测算方法、系统及设备
CN107656851A (zh) 一种基于部件能耗模型的云服务器能耗测算方法及系统
CN109728945A (zh) 一种基于宽带关键质量指标的异常阈值判定方法
CN109525455B (zh) 一种水文实时监测网络状态综合评估方法
CN108363024B (zh) 一种充电桩故障点定位的方法和装置
CN106709666A (zh) 一种指标阈值确定方法及系统
CN110348717A (zh) 基于栅格粒度的基站价值评分方法和装置
US7962607B1 (en) Generating an operational definition of baseline for monitoring network traffic data
CN107277777A (zh) 一种室内定位方法和装置
CN110139312B (zh) 确定高速公路用户的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant