CN109495301B - 一种基于arq日志的iptv异常网络设备定界方法 - Google Patents

一种基于arq日志的iptv异常网络设备定界方法 Download PDF

Info

Publication number
CN109495301B
CN109495301B CN201811351635.0A CN201811351635A CN109495301B CN 109495301 B CN109495301 B CN 109495301B CN 201811351635 A CN201811351635 A CN 201811351635A CN 109495301 B CN109495301 B CN 109495301B
Authority
CN
China
Prior art keywords
arq
equipment
model
log
iptv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811351635.0A
Other languages
English (en)
Other versions
CN109495301A (zh
Inventor
杨慧
胡陶军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Clp Hongxin Information Technology Co ltd
Original Assignee
Clp Hongxin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clp Hongxin Information Technology Co ltd filed Critical Clp Hongxin Information Technology Co ltd
Priority to CN201811351635.0A priority Critical patent/CN109495301B/zh
Publication of CN109495301A publication Critical patent/CN109495301A/zh
Application granted granted Critical
Publication of CN109495301B publication Critical patent/CN109495301B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0677—Localisation of faults

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于ARQ日志的IPTV异常网络设备定界方法，步骤一：建立指标聚合类模型，整合ARQ日志数据，并过滤出模型一的候选问题设备集合；步骤二：建立拓扑分析类模型，判断各层网络设备与上下级设备的参数分布情况并过滤出模型二的候选问题设备集合；步骤三：将模型一的候选问题设备集合和模型二的候选问题设备集合做交集，得到最后的异常设备集合。本发明有效的帮助运维人员进行主动排障，提升识别准确率，从而降低人工成本并提高维护效率。

Description

一种基于ARQ日志的IPTV异常网络设备定界方法
技术领域
本发明涉及一种异常网络设备定界方法，特别是一种基于ARQ日志的IPTV异常网络设备定界方法。
背景技术
随着IPTV（交互式网络电视）的飞速发展和用户量的逐年攀升，运营商如何保障优质的IPTV网络运营，提供较好的直播和点播用户体验，将成为提升服务质量的关键。IPTV网络通信涉及到较多的网络设备(如接入网络层面的OLT、PON、分光器)，且很多设备缺乏完善的日志数据和监控机制，使得故障情况下进行问题设备定位变得尤为困难。目前的问题设备定位方法主要通过用户申告，地市根据用户申告记录安排维护人力进行逐级排障。并且，如果片区的用户没有故障申告记录，所在片区的异常设备很难被提前识别出来，导致较差的视听体验，如何协助基础运维人员进行主动排障将是IPTV服务的重点。
发明内容
本发明所要解决的技术问题是提供一种基于ARQ日志的IPTV异常网络设备定界方法，帮助基层运维人员快速定位出问题设备的边界范围。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于ARQ日志的IPTV异常网络设备定界方法，其特征在于包含以下步骤：
步骤一：建立指标聚合类模型，整合ARQ日志数据，并过滤出模型一的候选问题设备集合；
步骤二：建立拓扑分析类模型，判断各层网络设备与上下级设备的参数分布情况并过滤出模型二的候选问题设备集合；
步骤三：将模型一的候选问题设备集合和模型二的候选问题设备集合做交集，得到最后的异常设备集合。
进一步地，所述步骤一具体为
1.1整合服务端和机顶盒端的ARQ日志数据，通过与IPTV平台服务记录数据和资源树数据进行关联分析，收敛出各层级网络设备指标分布集合；
1.2以城市和设备类型为分组标签，按天通过分位聚合函数计算出城市各层级设备的各类指标动态阈值；
1.3通过指标组配与动态阈值筛选，过滤出候选问题设备集合。
进一步地，所述1.1具体为
将整合的ARQ日志数据与平台端的服务记录数据相关联，获取对应的服务对象信息，再通过关联设备资源树，统计收敛出二级分光器、一级分光器、PON口、OLT、交换机以及BRAS层的各项指标数据。
进一步地，所述1.3具体为
利用分位聚合函数按天动态计算各个层级设备的各指标阈值，并通过指标选取与组配，过滤出候选异常设备。
进一步地，所述指标选取与最佳组配方式为
ARQ用户占比+ARQ平均请求次数+ARQ平均请求重传报文数，其中各个指标的阈值为95%分位点。
进一步地，所述步骤二具体为
2.1根据网络设备的层级结构，以及各层网络设备的参数收敛情况，判断各层网络设备与上下级设备的参数占比情况；
2.2当上级设备的ARQ用户、ARQ总请求次数、ARQ总请求重传报文数主要来源于本级，并且本级设备的下级发生ARQ的设备分布较为均匀时，则可以判断为本级设备界限范围出现故障；
2.3通过拓扑分析，过滤出模型二的候选设备。
进一步地，所述步骤三具体为
通过模型一和模型二相融合，过滤出两类模型的交集，交集中的评价指标既涵盖了模型一的本层设备参数筛选又包括了上下级设备的拓扑限定，则为最终异常设备集合。
本发明与现有技术相比，具有以下优点和效果：
本发明所需数据源较少，可以仅利用平台端和服务端的ARQ日志数据，推算出IPTV各级网络设备的异常情况，有效的帮助运维人员进行主动排障；通过指标分析与拓扑分析相结合，提升识别准确率，从而降低人工成本并提高维护效率。
附图说明
图1是本发明的一种基于ARQ日志的IPTV异常网络设备定界方法的模型一框架图。
图2是本发明的一种基于ARQ日志的IPTV异常网络设备定界方法的模型二框架图。
图3是本发明的一种基于ARQ日志的IPTV异常网络设备定界方法的模型一、二交集示意图。
图4是本发明的实施例的指标计算方式示意图。
具体实施方式
下面通过实施例对本发明作进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
ARQ日志为用户在直播或点播的过程中自动重传请求日志，是一种后向纠错机制，记录着用户在观看过程中的丢失报文数和补尝情况。合理的进行服务端和用户机顶盒端的ARQ日志分析、聚合，并融合网元拓扑结构分析，是一种较为可行的各级网络设备定界辅助方法。
对于海量的服务端和客户端的ARQ日志、服务记录数据以及其他多源数据，需要使用大数据平台以及分布式处理手段。Hive是一种架构于Hadoop顶层的数据仓库技术，提供了一套对数据进行转换和加载(ETL)的手段，支持MapReduce等多种类型分布式计算引擎，与HDFS等文件系统有很好的交互功能，对于IPTV异常设备网络定界的大规模数据存储和分析具有较佳的支撑作用。
本发明提供了一种基于ARQ日志的IPTV异常网络设备定界方法，通过融合Hive大数据分析技术，完成对海量ARQ日志相关数据的收敛分析，主要包含以下步骤：
步骤一：如图1所示，建立指标聚合类模型，基于整合的ARQ日志数据和指标组配研究成果，过滤出模型一的候选问题设备集合；
1.1为了提升数据的完整性，将服务端ARQ日志数据和机顶盒端的ARQ日志数据进行整合，与IPTV平台服务记录数据和资源树数据进行关联分析，收敛出各层级（二级分光器、一级分光器、PON口、OLT、交换机以及BRAS层）网络设备的指标数据集合，指标计算方式如图4所示；
1.2以城市和设备类型为分组标签，按天通过分位聚合函数动态计算出各个城市各层级设备的各类指标动态阈值；
1.3通过指标组配与动态阈值筛选，过滤出模型一的候选问题设备集合。
模型一精选了大量指标，并经过迭代、指标间的组配实验和数据反馈，最终得出有效指标的组配方式。并对各个层级设备的指标集合，按天动态生成分地域分层级的阈值集合，实验得出了较佳的阈值生成方法，动态并有效的筛选出不同层级的候选问题设备。指标中效果较好的组配方式为：ARQ用户占比+ARQ平均请求次数+ARQ平均请求重传报文数，其中各个指标的阈值为95%分位点较佳。
步骤二：如图2所示，建立拓扑分析类模型，判断各层网络设备的参数在上级设备参数中的占比情况，以及下级ARQ设备的分布情况，过滤出模型二的候选问题设备集合；
2.1依据资源树数据，研究IPTV相关网络设备的层级结构和各层设备的数量分布情况。依据平台端服务记录数据，研究IPTV相关网络设备的在线数据分布情况；
2.2根据模型一的指标收敛结果，对网元设备集合进行参数拓扑分析。网元拓扑分析法中，运用本层网络设备与上下级设备、本层其他设备的指标分布关系，从空间逻辑上定位出候选问题设备。其中，对上层和本层其他设备利用数值占比方法，再通过判断下层发生ARQ的设备是否分布均匀（在当天在线设备中的比例），将问题锁定在本层设备或者向下层逐步延申推演，确认是设备链哪一层级的设备出现问题。
经过实验分析和反馈结果，当某个设备的ARQ用户数、ARQ总请求次数、ARQ中请求重传报文数三个指标分别占上级设备对应参数的80%、90%、90% ，并且下级发生ARQ的设备与下层当天在线设备(其下有在线用户的设备)比例超过90%时，则可以判断为本层设备界限范围出现故障；
2.3通过拓扑分析，过滤出模型二的候选设备。
步骤三：如图3所示，将模型一的候选问题设备集合和模型二的候选问题设备集合做交集，得到最后的异常设备集合。
本发明所需数据源较少，可以仅利用平台端和服务端的ARQ日志数据，推算出IPTV各级网络设备的异常情况，有效的帮助运维人员进行主动排障；通过模型一和模型二相融合，过滤出两类模型的交集则为最终异常设备集合。同时融合指标分析和网元拓扑分析方法，从数值和空间两方面过滤出问题设备，增强了逻辑性和准确率，，从而降低人工成本并提高维护效率。
本说明书中所描述的以上内容仅仅是对本发明所作的举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，只要不偏离本发明说明书的内容或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

Claims (5)

1.一种基于ARQ日志的IPTV异常网络设备定界方法，其特征在于包含以下步骤：
步骤一：建立指标聚合类模型，整合ARQ日志数据，并过滤出模型一的候选问题设备集合；
1.1整合服务端和机顶盒端的ARQ日志数据，通过与IPTV平台服务记录数据和资源树数据进行关联分析，收敛出各层级网络设备指标分布集合；
1.2以城市和设备类型为分组标签，按天通过分位聚合函数计算出城市各层级设备的各类指标动态阈值；
1.3通过指标组配与动态阈值筛选，过滤出候选问题设备集合；
步骤二：建立拓扑分析类模型，判断各层网络设备与上下级设备的参数分布情况并过滤出模型二的候选问题设备集合；
2.1根据网络设备的层级结构，以及各层网络设备的参数收敛情况，判断各层网络设备与上下级设备的参数占比情况；
2.2当上级设备的ARQ用户、ARQ总请求次数、ARQ总请求重传报文数主要来源于本级，并且本级设备的下级发生ARQ的设备分布较为均匀时，则可以判断为本级设备界限范围出现故障；
2.3通过拓扑分析，过滤出模型二的候选设备；
步骤三：将模型一的候选问题设备集合和模型二的候选问题设备集合做交集，得到最后的异常设备集合。
2.按照权利要求1所述的一种基于ARQ日志的IPTV异常网络设备定界方法，其特征在于：所述1.1具体为
将整合的ARQ日志数据与平台端的服务记录数据相关联，获取对应的服务对象信息，再通过关联设备资源树，统计收敛出二级分光器、一级分光器、PON口、OLT、交换机以及BRAS层的各项指标数据。
3.按照权利要求1所述的一种基于ARQ日志的IPTV异常网络设备定界方法，其特征在于：所述1.3具体为
利用分位聚合函数按天动态计算各个层级设备的各指标阈值，并通过指标选取与组配，过滤出候选异常设备。
4.按照权利要求3所述的一种基于ARQ日志的IPTV异常网络设备定界方法，其特征在于：所述指标选取与组配方式为
ARQ用户占比+ARQ平均请求次数+ARQ平均请求重传报文数，其中各个指标的阈值为95%分位点。
5.按照权利要求1所述的一种基于ARQ日志的IPTV异常网络设备定界方法，其特征在于：所述步骤三具体为
通过模型一和模型二相融合，过滤出两类模型的交集，交集中的评价指标既涵盖了模型一的本级设备参数筛选又包括了上下级设备的拓扑限定，则为最终异常设备集合。
CN201811351635.0A 2018-11-14 2018-11-14 一种基于arq日志的iptv异常网络设备定界方法 Active CN109495301B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811351635.0A CN109495301B (zh) 2018-11-14 2018-11-14 一种基于arq日志的iptv异常网络设备定界方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811351635.0A CN109495301B (zh) 2018-11-14 2018-11-14 一种基于arq日志的iptv异常网络设备定界方法

Publications (2)

Publication Number Publication Date
CN109495301A CN109495301A (zh) 2019-03-19
CN109495301B true CN109495301B (zh) 2021-08-24

Family

ID=65695763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811351635.0A Active CN109495301B (zh) 2018-11-14 2018-11-14 一种基于arq日志的iptv异常网络设备定界方法

Country Status (1)

Country Link
CN (1) CN109495301B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866599B (zh) * 2019-04-25 2022-05-13 中国移动通信集团福建有限公司 一种质差的定界方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102299781A (zh) * 2010-06-24 2011-12-28 中兴通讯股份有限公司 自适应调整数据传输等级的方法和基站
CN102572531A (zh) * 2012-02-21 2012-07-11 德科仕通信(上海)有限公司 一种iptv网络丢包故障定界方法及系统
CN102891745A (zh) * 2012-10-19 2013-01-23 华为技术有限公司 网络设备及其识别终端异常的方法
CN102932191A (zh) * 2012-11-26 2013-02-13 赛特斯网络科技(南京)有限责任公司 Iptv网络中基于动态链路实现实时智能故障分析的方法
CN103166808A (zh) * 2011-12-15 2013-06-19 华为技术有限公司 一种iptv业务质量的监测方法，装置及系统
CN107360581A (zh) * 2016-05-09 2017-11-17 中兴通讯股份有限公司 无线通讯系统的关键性能指标变化的追溯方法和装置
CN108768596A (zh) * 2018-05-25 2018-11-06 京信通信系统（中国）有限公司 信号自动重传请求方法与装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955488B2 (en) * 2016-03-31 2018-04-24 Verizon Patent And Licensing Inc. Modeling network performance and service quality in wireless networks
US10389487B2 (en) * 2017-01-17 2019-08-20 At&T Intellectual Property I, L.P. Adaptive downlink control channel structure for 5G or other next generation networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102299781A (zh) * 2010-06-24 2011-12-28 中兴通讯股份有限公司 自适应调整数据传输等级的方法和基站
CN103166808A (zh) * 2011-12-15 2013-06-19 华为技术有限公司 一种iptv业务质量的监测方法，装置及系统
CN102572531A (zh) * 2012-02-21 2012-07-11 德科仕通信(上海)有限公司 一种iptv网络丢包故障定界方法及系统
CN102891745A (zh) * 2012-10-19 2013-01-23 华为技术有限公司 网络设备及其识别终端异常的方法
CN102932191A (zh) * 2012-11-26 2013-02-13 赛特斯网络科技(南京)有限责任公司 Iptv网络中基于动态链路实现实时智能故障分析的方法
CN107360581A (zh) * 2016-05-09 2017-11-17 中兴通讯股份有限公司 无线通讯系统的关键性能指标变化的追溯方法和装置
CN108768596A (zh) * 2018-05-25 2018-11-06 京信通信系统（中国）有限公司 信号自动重传请求方法与装置

Also Published As

Publication number Publication date
CN109495301A (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN108462888B (zh) 用户电视及上网行为的智能关联分析方法及系统
EP3522466A1 (en) Dynamic scheduling and allocation method and system for network traffic
CN103840975B (zh) 一种光纤系统的管理方法及装置
CN105956481B (zh) 一种数据处理方法及其装置
CN104683446A (zh) 一种云存储集群节点服务状态实时监控方法和系统
CN106878466B (zh) 一种水电机组数据管理和设备控制一体化平台
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN104809933A (zh) 一种电网无脚本应急演练系统、演练方法及设备
CN108833464A (zh) 邦联式多域物联网协同系统及方法、智慧城市、智能家居
CN112131216B (zh) 一种基于物模型的输电线路自适应数据库创建方法及装置
CN104468220A (zh) 电力通信网预警管控平台
CN104618740A (zh) 一种基于云计算环境的多媒体点播系统
CN112804599A (zh) 网络质差点确定方法、装置、计算机设备及可读存储介质
CN109495301B (zh) 一种基于arq日志的iptv异常网络设备定界方法
CN105868196A (zh) 一种服务器端工业数据报表生成方法
CN107944661B (zh) 一种主配网一体化调控系统
CN112911272B (zh) Iptv群障预警方法和系统
CN103488726A (zh) 基于web-service的建设电网统一数据平台的方法
CN111339357A (zh) 基于直播用户行为的推荐方法及装置
CN109818764B (zh) Iptv网络设备故障检测方法和装置
CN117827743A (zh) 档案管理用数据交互系统
CN107016050B (zh) 数据处理方法及装置
CN108304293A (zh) 一种基于大数据技术的软件系统监控方法
CN116094174A (zh) 基于知识图谱的电网运维监控方法、系统、设备及介质
CN107463540B (zh) 电能质量数据的处理方法及电能质量监测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant