CN112423031A - 基于iptv的kpi监测方法、装置及其系统 - Google Patents

基于iptv的kpi监测方法、装置及其系统 Download PDF

Info

Publication number
CN112423031A
CN112423031A CN201910777624.7A CN201910777624A CN112423031A CN 112423031 A CN112423031 A CN 112423031A CN 201910777624 A CN201910777624 A CN 201910777624A CN 112423031 A CN112423031 A CN 112423031A
Authority
CN
China
Prior art keywords
kpi
monitored
node
city
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910777624.7A
Other languages
English (en)
Other versions
CN112423031B (zh
Inventor
林明辉
胡华伟
李晶
林吟燊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN201910777624.7A priority Critical patent/CN112423031B/zh
Publication of CN112423031A publication Critical patent/CN112423031A/zh
Application granted granted Critical
Publication of CN112423031B publication Critical patent/CN112423031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开涉及一种基于IPTV的KPI监测方法、装置及其系统。基于IPTV的KPI监测方法包括：获取待监测城市节点的历史KPI、以及待监测城市节点和其他城市节点的当前时间点对应的实时KPI；根据历史KPI，利用与待监测城市节点对应的第一机器学习模型，预测待监测城市节点的当前时间点对应的第一预测KPI；根据其他城市节点的实时KPI，利用待监测城市节点对应的第二机器学习模型，预测待监测城市节点的当前时间点对应的第二预测KPI；分别计算待监测城市节点的实时KPI与第一预测KPI的差值、与第二预测KPI的差值，得到待监测城市节点的第一误差、第二误差；利用待监测城市节点的第一误差和第二误差，判断待监测城市节点的实时KPI是否异常。

Description

基于IPTV的KPI监测方法、装置及其系统
技术领域
本公开涉及通信领域，特别涉及基于IPTV的KPI监测方法、装置及其系统、计算机可存储介质。
背景技术
IPTV(Internet Protocol Television，网络协议电视)网络服务质量的KPI(KeyPerformance Indicator，关键绩效指标)是评价IPTV网络服务质量的核心性能指标，也是优化IPTV网络服务的主要的分析和研究对象，分析的价值在于将复杂的网络服务质量转化为简单的性能指标，降低分析的复杂度，同时也能反映IPTV网络服务中的问题。
相关的KPI监测技术，主要通过根据运维人员或业务专家的经验设立一个KPI阈值或者利用KNN(k-NearestNeighbor，K最邻近)算法来判断KPI是否异常。
发明内容
发明人认为：相关的KPI监测技术准确性和稳定性较差。
针对上述技术问题，本公开提出了一种解决方案，能够全面、准确、有效的判断KPI是否异常，提高了KPI监测的准确性和稳定性。
根据本公开的第一方面，提供了一种基于网络协议电视IPTV的关键绩效指标KPI监测方法，包括：获取待监测城市节点的历史KPI、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时KPI；根据所述历史KPI，利用与所述待监测城市节点对应的第一机器学习模型，预测所述待监测城市节点的当前时间点对应的第一预测KPI；根据所述其他城市节点的实时KPI，利用所述待监测城市节点对应的第二机器学习模型，预测所述待监测城市节点的当前时间点对应的第二预测KPI；分别计算所述待监测城市节点的实时KPI与所述第一预测KPI的差值、与所述第二预测KPI的差值，得到所述待监测城市节点的第一误差、第二误差；利用所述待监测城市节点的第一误差和第二误差，判断所述待监测城市节点的实时KPI是否异常。
在一些实施例中，利用所述待监测城市节点的第一误差和第二误差，判断所述待监测城市节点的实时KPI是否异常包括：将所述待监测城市节点的第一误差和第二误差投影到二维坐标平面，所述二维坐标平面还包括所述其他城市节点的第一误差和第二误差的投影；利用局部异常因子LOF算法，计算所述待监测城市节点的LOF值；在所述待监测城市节点的LOF值大于预设阈值的情况下，判断所述待监测城市节点的实时KPI为异常。
在一些实施例中，所述待监测城市节点的第一误差为横坐标，所述待监测城市节点的第二误差为纵坐标。
在一些实施例中，所述第一机器学习模型和所述第二机器学习模型中的至少一个为长短期记忆LSTM模型。
在一些实施例中，基于IPTV的KPI监测方法还包括：获取所述待监测城市节点和每个其他城市节点的训练样本，所述训练样本包括多个时间点对应的KPI；将所述待监测城市节点的训练样本分为多组子训练样本，利用每组子训练样本训练一次所述待监测城市节点对应的第一机器学习模型；以各个其他城市节点的训练样本中每个相同时间点对应的KPI为一组子训练样本，利用每组子训练样本训练一次所述待监测城市节点对应的第二机器学习模型。
在一些实施例中，在训练之前，基于IPTV的KPI监测方法还包括：对所述待监测城市节点和所述其他城市节点的训练样本进行异常值处理。
在一些实施例中，在所述待监测城市节点或所述其他城市节点的训练样本中的待处理KPI大于所述训练样本中KPI的上界的情况下，将所述待处理KPI修改为所述上界；在所述待处理KPI小于所述训练样本中KPI的下界的情况下，将所述待处理KPI修改为所述下界。
在一些实施例中，所述上界为1，所述下界为所述待监测城市节点或所述其他城市节点的训练样本中除空值以外的KPI的第一四分位数和四分位距的差值。
在一些实施例中，所述异常值处理还包括：在所述待处理KPI为空值的情况下，计算与所述待处理KPI对应的时间点对应的其他KPI的平均值；将所述待处理KPI修改为所述平均值。
在一些实施例中，获取待监测城市节点的历史KPI、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时KPI包括：采集所述待监测城市节点的历史电子节目指南EPG请求数据、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时EPG请求数据；分别利用所述历史EPG请求数据和所述实时EPG请求数据，计算所述的历史KPI和所述实时KPI。
在一些实施例中，所述历史EPG请求数据包括历史电子节目指南EPG请求成功次数和历史EPG请求总次数；所述实时EPG请求数据包括实时EPG请求成功次数和实时EPG请求总次数。
在一些实施例中，所述实时KPI为当前时间点对应的实时EPG请求成功次数与实时EPG请求总次数的比值；所述历史KPI为历史EPG请求成功次数与历史EPG请求总次数的比值。
根据本公开第二方面，提供了一种基于网络协议电视IPTV的关键绩效指标KPI监测装置，包括：获取模块，被配置为获取待监测城市节点的历史KPI、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时KPI；第一预测模块，被配置为根据所述历史KPI，利用与所述待监测城市节点对应的第一机器学习模型，预测所述待监测城市节点的当前时间点对应的第一预测KPI；第二预测模块，被配置为根据所述其他城市节点的实时KPI，利用所述待监测城市节点对应的第二机器学习模型，预测所述待监测城市节点的当前时间点对应的第二预测KPI；计算模块，被配置为分别计算所述待监测城市节点的实时KPI与所述第一预测KPI的差值、与所述第二预测KPI的差值，得到所述待监测城市节点的第一误差、第二误差；判断模块，被配置为利用所述待监测城市节点的第一误差和第二误差，判断所述待监测城市节点的实时KPI是否异常。
根据本公开第三方面，提供了基于网络协议电视IPTV的关键绩效指标KPI监测装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至12任一项所述的基于网络协议电视IPTV的关键绩效指标KPI监测方法。
根据本公开第四方面，提供了一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至12任一项所述的数据传输基于网络协议电视IPTV的关键绩效指标KPI监测方法。
在上述实施例中，能够全面、准确、有效的判断KPI是否异常，提高了KPI监测的准确性和稳定性。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开一些实施例的基于IPTV的KPI监测方法的流程图；
图2A示出本公开一些实施例的基于IPTV的KPI监测方法的LSTM模型的结构图；
图2B示出本公开一些实施例的基于IPTV的KPI监测方法的LSTM模型的神经元结构图；
图3示出本公开一些实施例的基于IPTV的KPI监测装置的框图；
图4示出本公开另一些实施例的基于IPTV的KPI监测装置的框图；
图5示出本公开一些实施例的基于IPTV的KPI监测系统的架构图；
图6示出用于实现本公开一些实施例的计算机系统的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1示出本公开一些实施例的基于IPTV的KPI监测方法的流程图。
如图1所示，基于IPTV的KPI监测方法包括步骤S110-步骤S150。
在步骤S110中，获取待监测城市节点的历史KPI、以及待监测城市节点和其他城市节点的当前时间点对应的实时KPI。在一些实施例中，待监测城市节点的历史KPI为待监测城市节点当前时间点前的固定时间段内的各个时间点对应的KPI数据。例如，固定时间段为24小时。待监测城市节点的历史KPI、以及待监测城市节点和其他城市节点的当前时间点对应的实时KPI为预测样本。
在一些实施例中，通过如下方式实现获取待监测城市节点的历史KPI、以及待监测城市节点和其他城市节点的当前时间点对应的实时KPI。
首先，采集待监测城市节点的历史EPG(Electronic Program Guide，电子节目指南)请求数据、以及待监测城市节点和其他城市节点的当前时间点对应的实时EPG请求数据。例如，从EPG服务器中采集历史EPG请求数据和当前时间点对应的实时EPG请求数据。在一些实施例中，历史EPG请求数据包括历史电子节目指南EPG请求成功次数和历史EPG请求总次数。实时EPG请求数据包括实时EPG请求成功次数和实时EPG请求总次数。
在一些实施例中，每隔五分钟采集一次历史EPG请求数据和当前时间点对应的实时EPG请求数据，并将历史EPG请求数据和当前时间点对应的实时EPG请求数据存储于大数据平台Hadoop的数据仓库Hive。通过大数据平台存储的方式，提升了历史EPG请求数据和当前时间点对应的实时EPG请求数据的获取速率，从而提升了历史KPI和实时KPI的获取速率，进而提升了判别速率。
然后，分别利用历史EPG请求数据和实时EPG请求数据，计算历史KPI和实时KPI。例如，利用每10分钟的历史EPG请求数据计算得到一个历史KPI。当前时间点对应的实时EPG请求数据为当前时间点前10分钟时间段内的EPG请求数据。在一些实施例中，实时KPI为当前时间点对应的实时EPG请求成功次数与实时EPG请求总次数的比值。历史KPI为历史EPG请求成功次数与历史EPG请求总次数的比值。
在一些实施例中，历史EPG请求数据还包括历史EPG响应成功次数和历史EPG响应总次数，历史KPI为历史EPG请求成功次数与历史EPG请求总次数的比值和历史EPG响应成功次数与历史EPG响应总次数的乘积。实时EPG请求数据还包括实时EPG响应成功次数和实时EPG响应总次数，实时KPI为实时EPG请求成功次数与实时EPG请求总次数的比值和实时EPG响应成功次数与实时EPG响应总次数的乘积。
在步骤S120中，根据历史KPI，利用与待监测城市节点对应的第一机器学习模型，预测待监测城市节点的当前时间点对应的第一预测KPI。应当理解，对于其他城市节点中的每个城市节点，可以利用同样的方法预测每个城市节点的当前时间点对应的KPI。
在步骤S130中，根据其他城市节点的实时KPI，利用待监测城市节点对应的第二机器学习模型，预测待监测城市节点的当前时间点对应的第二预测KPI。应当理解，对于其他城市节点中的每个城市节点，可以利用同样的方法预测每个城市节点的当前时间点对应的KPI。
在实际应用中，IPTV的网络服务质量受到世界杯、春节、阅兵仪式等各类重大事件的影响。通过横向的角度，即利用其它城市节点的实时KPI进行预测，考虑了重大事件的影响，并通过纵向的角度，即利用待监测城市节点的历史KPI进行预测，考虑了待监测城市节点的KPI随时间变化的波动规律，提高了KPI监测的准确性和稳定性。
在一些实施例中，第一机器学习模型和第二机器学习模型中的至少一个为LSTM(Long Short-Term Memory，长短期记忆)模型。例如，第一机器学习模型和第二机器学习模型还可以为ARIMA(Autoregressive Integrated Moving Average model，整合移动平均自回归模型)模型、RNN((Recurrent Neural Network，循环神经网络)模型、GRU(GatedRecurrent Unit，门控制循环单元)模型。LSTM模型例如为图2A所示的LSTM模型的结构图和图2B示出的LSTM的神经元结构图。
图2A示出本公开一些实施例的基于IPTV的KPI监测方法的LSTM模型的结构图。
如图2A所示，t为时间点，X0、X1、……、Xt为每个时间点对应的输入值，A为神经元，每个输入值均可以经过多个神经元，得到每个时间点对应的输出值H0、H1、……、Ht。
图2B示出本公开一些实施例的基于IPTV的KPI监测方法的LSTM模型的神经元结构图。
如图2B所示，对于LSTM模型的每个神经元，执行下述步骤。
输入上一时间点的输出值ht-1和当前时间点的输入值xt，通过一个激活函数δ，得到遗忘门的输出ft。激活函数δ例如为Sigmoid激活函数。ft＝δ(Wt·[ht-1,xt]+bf)，Wt和bf分别为遗忘门的权重矩阵和偏置项，[ht-1,xt]表示把两个向量连接成一个更长的向量。
输入上一时间点的输出值ht-1和当前时间点的输入值xt，通过一个激活函数δ，得到输入门前半部分的输出it。it＝δ(Wi·[ht-1,xt]+bi)，Wi和bi分别为输入门前半部分的权重矩阵和偏置项。
输入上一时间点的输出值ht-1和当前时间点的输入值xt，通过一个tanh激活函数，得到输入门后半部分的输出
Figure BDA0002175578040000081
Figure BDA0002175578040000082
Figure BDA0002175578040000083
Wc和bc分别为输入门后半部分的权重矩阵和偏置项。Ct-1为上一时间点的单元状态，Ct为当前时间点的单元状态，
Figure BDA0002175578040000084
输入上一时间点的输出值ht-1和当前时间点的输入值xt，通过一个激活函数δ，得到输出门的ot。ot＝δ(Wo·[ht-1,xt]+b0)，Wo和bo分别为输出门的权重矩阵和偏置项。ot与一个tanh激活函数相乘得到书出门的输出ht。
在训练过程中，δ、Wt、Wi、Wc、Wo、bf、bi、bc、bo是需要训练的参数。
例如，第一机器学习模型为4层LSTM模型。第一机器学习模型对应的结构及参数如表1所示。
表1第一机器学习模型对应的结构及参数
Figure BDA0002175578040000091
如表1所示，第一机器学习模型包括lstm_1、lstm_2、lstm_3三层神经网络层和一层输出层output。lstm_1、lstm_2、lstm_3均为LSTM类型，分别包括512、256、128个节点，输入结构分别为(None,24,1)、(None,24,512)、(None,24,256)，输出结构分别为(None,24,512)、(None,24,256)、(None,128)，激活函数均为tanh激活函数，丢失率分别为0.3、0.2、0，都具有偏置，参数总数分别为1052672、787456、197120。output层为Dense(全连接)类型，包括1个节点，输入结构为(None,128)，输出结构为(None,1)，激活函数为linear(线性)激活函数，丢失率为0，具有偏置，参数总数为129。输入结构(None,24,1)中，None表示行数不固定，24为列数，1为维度。同理，输出结构也是如此。
例如，第二机器学习模型为6层LSTM模型。第二机器学习模型对应的结构及参数如表2所示。
表2第二机器学习模型对应的结构及参数
Figure BDA0002175578040000092
如表2所示，第二机器学习模型包括lstm_1、lstm_2、lstm_3、lstm_4、lstm_5五层神经网络层和一层输出层output。lstm_1、lstm_2、lstm_3、lstm_4、lstm_5均为LSTM类型，分别包括512、300、128、256、128个节点，输入结构分别为(None,33,1)、(None,33,512)、(None,33,300)、(None,33,128)、(None,33,256)，输出结构分别为(None,33,512)、(None,33,300)、(None,33,128)、(None,33,256)、(None,128)，激活函数均为tanh激活函数，丢失率分别为0.2、0.2、0.2、0.2、0，都具有偏置，参数总数分别为1052672、975600、219648、394240、197120。output层为Dense(全连接)类型，包括1个节点，输入结构为(None,128)，输出结构为(None,1)，激活函数为linear(线性)激活函数，丢失率为0，具有偏置，参数总数为129。输入结构(None,33,1)中，None表示行数不固定，33为列数，1为维度。同理，输出结构也是如此。
返回图1，在步骤S140中，分别计算待监测城市节点的实时KPI与第一预测KPI的差值、与第二预测KPI的差值，得到待监测城市节点的第一误差、第二误差。应当理解，对于其他城市节点中的每个城市节点，可以利用同样的方法得到其他城市节点中的每个城市节点的第一误差、第二误差。
在步骤S150中，利用待监测城市节点的第一误差和第二误差，判断待监测城市节点的实时KPI是否异常。
例如通过如下方式实现利用待监测城市节点的第一误差和第二误差，判断待监测城市节点的实时KPI是否异常。
首先，将待监测城市节点的第一误差和第二误差投影到二维坐标平面，二维坐标平面还包括其他城市节点的第一误差和第二误差的投影。在一些实施例中，待监测城市节点的第一误差为横坐标，待监测城市节点的第二误差为纵坐标。应当理解，其他城市节点的第一误差和第二误差也是通过执行与步骤S120-步骤S140相同的方法得到。
然后，利用LOF算法，计算待监测城市节点的LOF值。
最后，在待监测城市节点的LOF值大于预设阈值的情况下，判断待监测城市节点的实时KPI为异常。在一些实施例中，预设阈值为1.4。
LOF算法是基于密度来判断待监测城市节点的实时KPI是否异常。例如，还可以利用k均值聚类算法，基于距离来判断待监测城市节点的实时KPI是否异常。
返回图1，在一些实施例中，基于IPTV的KPI监测方法还包括步骤S160-步骤S180。
在步骤S160中，获取城市节点和其他城市节点的训练样本。训练样本包括多个时间点对应的KPI。
在步骤S170中，将待监测城市节点的训练样本分为多组子训练样本，利用每组子训练样本训练一次待监测城市节点对应的第一机器学习模型。例如，每周训练一次第一机器学习模型，对第一机器学习模型进行微调。在一些实施例中，利用68％的子训练样本进行训练，利用剩余的32％的子训练样本进行测试。
在一些实施例中，在步骤S170中，子训练样本为24小时内的各个时间点对应的KPI。例如，每十分钟计算一次KPI，则子训练样本包括24×6＝144个KPI，构成一个KPI序列。训练过程中，损失函数为平均绝对误差。优化器为Adam，学习速率为0.01。第一偏置为0.9。第二偏置为0.999。第一机器学习模型训练的批尺寸(batch_size)为64。shuffle设置为True，即允许将训练模型的数据集进行打乱。训练迭代的次数为100。每周对第一机器学习模型进行微调的训练迭代次数设置为20，每次迭代的步数设置为2040。
在步骤S180中，以各个其他城市节点的训练样本中每个相同时间点对应的KPI为一组子训练样本，利用每组子训练样本训练一次待监测城市节点对应的第二机器学习模型。例如，每周训练一次第二机器学习模型，对第二机器学习模型进行微调。在一些实施例中，利用68％的子训练样本进行训练，利用剩余的32％的子训练样本进行测试。
在一些实施例中，在步骤S180中，子训练样本为各个其他城市节点的每个相同时间点对应的KPI。例如，总共有34个城市节点，其他城市节点为33个，则对于每个相同时间点子训练样本包括33个KPI，构成一个KPI序列。训练过程中，损失函数为平均绝对误差。优化器为Adam，学习速率为0.01。第一偏置为0.9。第二偏置为0.999。第一机器学习模型训练的批尺寸(batch_size)为64。shuffle设置为True，即允许将训练模型的数据集进行打乱。训练迭代的次数为100。每周对第一机器学习模型进行微调的训练迭代次数设置为20，每次迭代的步数设置为2040。
在一些实施例中，在步骤S160之后，步骤S170之前，基于IPTV的KPI监测方法还包括对待监测城市节点和所述其他城市节点的训练样本进行异常值处理。
例如通过如下方式进行异常值处理。
在待监测城市节点或其他城市节点的训练样本中的待处理KPI大于训练样本中KPI的上界的情况下，将待处理KPI修改为上界。在一些实施例中，上界为1。
在待处理KPI小于训练样本中KPI的下界的情况下，将待处理KPI修改为下界。在一些实施例中，下界为待监测城市节点或其他城市节点的训练样本中除空值以外的KPI的第一四分位数和四分位距的差值。即，每个城市节点的训练样本对应一个下界。例如，下界还可以为待监测城市节点和其他城市节点的训练样本中除空值以外的KPI的第一四分位数和四分位距的差值。即，所有城市节点的训练样本对应一个下界。
上界和下界构成一个取值范围，训练样本中的每个KPI都应该大于或等于下界，并且小于或等于上界。大于上界或者小于下界的KPI都属于异常值，需要进行异常值处理。
在一些实施例中，异常值处理还包括在待处理KPI为空值的情况下，计算与待处理KPI对应的时间点对应的其他KPI的平均值。然后，将待处理KPI修改为平均值。
在一些实施例中，还可以在步骤S120之前，利用类似的异常值处理方法对待监测城市节点的历史KPI、以及待监测城市节点和其他城市节点的当前时间点对应的实时KPI进行异常值处理。
通过本公开的基于IPTV的KPI监测方法，从纵向和横向两个角度分别预测待监测城市节点的当前时间点的KPI，并结合离群检验的方法LOF判断待监测城市节点的实时KPI是否异常，能够全面、准确、有效的判断KPI是否异常，提高了KPI监测的准确性和稳定性。
图3示出本公开一些实施例的基于IPTV的KPI监测装置的框图。
如图3所示，基于IPTV的KPI监测装置3包括获取模块31、第一预测模块32、第二预测模块33、计算模块34以及判断模块35。
获取模块31被配置为获取待监测城市节点的历史KPI、以及待监测城市节点和其他城市节点的当前时间点对应的实时KPI，例如执行如图1所示的步骤S110。
第一预测模块32被配置为根据历史KPI，利用与待监测城市节点对应的第一机器学习模型，预测待监测城市节点的当前时间点对应的第一预测KPI，例如执行如图1所示的步骤S120。
第二预测模块33被配置为根据其他城市节点的实时KPI，利用待监测城市节点对应的第二机器学习模型，预测待监测城市节点的当前时间点对应的第二预测KPI，例如执行如图1所示的步骤S130。
计算模块34被配置为分别计算所述待监测城市节点的实时KPI与所述第一预测KPI的差值、与所述第二预测KPI的差值，得到所述待监测城市节点的第一误差、第二误差，例如执行如图1所示的步骤S130。
判断模块35被配置为利用所述待监测城市节点的第一误差和第二误差，判断所述待监测城市节点的实时KPI是否异常，例如执行如图1所示的步骤S140。
图4示出本公开另一些实施例的基于IPTV的KPI监测装置的框图。
如图4所示，基于IPTV的KPI监测装置4包括存储器41；以及耦接至该存储器41的处理器42。存储器41用于存储执行基于IPTV的KPI监测方法对应实施例的指令。处理器42被配置为基于存储在存储器41中的指令，执行本公开中任意一些实施例中的基于IPTV的KPI监测方法。
图5示出本公开一些实施例的基于IPTV的KPI监测系统的架构图。
如图5所示，基于IPTV的KPI监测系统5包括KPI监测服务器51和网管平台52。
KPI监测服务器51被配置为判断待监测城市节点的实时KPI是否异常。例如，在待监测城市节点的实时KPI异常的情况下，将待监测城市节点的实时KPI发送给网管平台52。在一些实施例中，KPI监测服务器51可以同时监测各个城市节点的实时KPI是否异常。
KPI监测服务器51包括数据采集模块511、数据存储模块512、实时流计算模块513、数据准备模块514、异常处理模块515、第一预测模块516、第二预测模块517、异常判断模块518以及系统配置模块519。
数据采集模块511被配置为采集待监测城市节点的历史EPG请求数据以及待监测城市节点和其他城市节点的当前时间点对应的实时EPG请求数据。在一些实施例中，历史EPG请求数据为数据采集模块511在历史时间内每5分钟从IPTV系统的EPG服务器中采集得到。
数据存储模块512被配置为存储历史EPG请求数据以及KPI监测过程的中间数据和结果。
实时流计算模块513被配置为实时处理数据采集模块511采集得到的待监测城市节点和其他城市节点的当前时间点对应的实时EPG请求数据，并实时计算待监测城市节点和其他城市节点的当前时间点对应的实时KPI。
数据准备模块514被配置为根据数据采集模块511采集到的待监测城市节点的历史EPG请求数据计算待监测城市节点的历史KPI。例如，利用待监测城市节点的每10分钟的历史EPG请求数据计算每10分钟的历史KPI。
异常处理模块515被配置为对待监测城市节点和其他城市节点的训练样本进行异常值处理。
第一预测模块516被配置为根据历史KPI，利用与待监测城市节点对应的第一机器学习模型，预测待监测城市节点的当前时间点对应的第一预测KPI，例如执行如图1所示的步骤120。
第二预测模块517被配置为根据其他城市节点的实时KPI，利用待监测城市节点对应的第二机器学习模型，预测待监测城市节点的当前时间点对应的第二预测KPI，例如执行如图1所示的步骤130。
异常判断模块518被配置为分别计算待监测城市节点的实时KPI与第一预测KPI的差值、与第二预测KPI的差值，得到待监测城市节点的第一误差、第二误差。异常判断模块518还被配置为利用待监测城市节点的第一误差和第二误差，判断待监测城市节点的实时KPI是否异常，例如执行如图1所示的步骤140-步骤S150。
系统配置模块519被配置为接收上级系统中央管理服务器的运行指令、第一机器学习模型参数以及第二机器学习模型参数。
网管平台52被配置为在待监测城市节点的实时KPI异常的情况下，从KPI监测服务器51接收待监测城市节点的实时KPI。例如，网管平台52还被配置为在接收到待监测城市节点的实时KPI的情况下，发出告警或者提醒，从而及时发现问题，对IPTV网络服务故障起到了诊断和预防的作用，辅助排查故障和风险隐患，保障IPTV网络服务高效、安全、稳定地运行。
图6示出用于实现本公开一些实施例的计算机系统的框图。
如图6所示，计算机系统60可以通用计算设备的形式表现。计算机系统60包括存储器610、处理器620和连接不同系统组件的总线600。
存储器610例如可以包括系统存储器、非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。系统存储器可以包括易失性存储介质，例如随机存取存储器(RAM)和/或高速缓存存储器。非易失性存储介质例如存储有执行基于IPTV的KPI监测方法中的至少一种的对应实施例的指令。非易失性存储介质包括但不限于磁盘存储器、光学存储器、闪存等。
处理器620可以用通用处理器、数字信号处理器(DSP)、应用专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑设备、分立门或晶体管等分立硬件组件方式来实现。相应地，诸如判断模块和确定模块的每个模块，可以通过中央处理器(CPU)运行存储器中执行相应步骤的指令来实现，也可以通过执行相应步骤的专用电路来实现。
总线600可以使用多种总线结构中的任意总线结构。例如，总线结构包括但不限于工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、外围组件互连(PCI)总线。
计算机系统60还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器66和处理器620之间可以通过总线600连接。输入输出接口630可以为显示器、鼠标、键盘等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为软盘、U盘、SD卡等外部存储设备提供连接接口。
这里，参照根据本公开实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个框以及各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可提供到通用计算机、专用计算机或其他可编程装置的处理器，以产生一个机器，使得通过处理器执行指令产生实现在流程图和/或框图中一个或多个框中指定的功能的装置。
这些计算机可读程序指令也可存储在计算机可读存储器中，这些指令使得计算机以特定方式工作，从而产生一个制造品，包括实现在流程图和/或框图中一个或多个框中指定的功能的指令。
本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
通过上述实施例中的基于IPTV的KPI监测方法、装置及系统、计算机可存储介质，能够全面、准确、有效的判断KPI是否异常，提高了KPI监测的准确性和稳定性，保障IPTV服务网络的高效、完全、稳定地运行。
至此，已经详细描述了根据本公开的基于IPTV的KPI监测方法、装置及系统、计算机可存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

Claims (15)

1.一种基于网络协议电视IPTV的关键绩效指标KPI监测方法，包括：
获取待监测城市节点的历史KPI、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时KPI；
根据所述历史KPI，利用与所述待监测城市节点对应的第一机器学习模型，预测所述待监测城市节点的当前时间点对应的第一预测KPI；
根据所述其他城市节点的实时KPI，利用所述待监测城市节点对应的第二机器学习模型，预测所述待监测城市节点的当前时间点对应的第二预测KPI；
分别计算所述待监测城市节点的实时KPI与所述第一预测KPI的差值、与所述第二预测KPI的差值，得到所述待监测城市节点的第一误差、第二误差；
利用所述待监测城市节点的第一误差和第二误差，判断所述待监测城市节点的实时KPI是否异常。
2.根据权利要求1所述的基于IPTV的KPI监测方法，其中，利用所述待监测城市节点的第一误差和第二误差，判断所述待监测城市节点的实时KPI是否异常包括：
将所述待监测城市节点的第一误差和第二误差投影到二维坐标平面，所述二维坐标平面还包括所述其他城市节点的第一误差和第二误差的投影；
利用局部异常因子LOF算法，计算所述待监测城市节点的LOF值；
在所述待监测城市节点的LOF值大于预设阈值的情况下，判断所述待监测城市节点的实时KPI为异常。
3.根据权利要求2所述的基于IPTV的KPI监测方法，其中，所述待监测城市节点的第一误差为横坐标，所述待监测城市节点的第二误差为纵坐标。
4.根据权利要求1所述的基于IPTV的KPI监测方法，其中，所述第一机器学习模型和所述第二机器学习模型中的至少一个为长短期记忆LSTM模型。
5.根据权利要求1所述的基于IPTV的KPI监测方法，还包括：
获取所述待监测城市节点和每个其他城市节点的训练样本，所述训练样本包括多个时间点对应的KPI；
将所述待监测城市节点的训练样本分为多组子训练样本，利用每组子训练样本训练一次所述待监测城市节点对应的第一机器学习模型；
以各个其他城市节点的训练样本中每个相同时间点对应的KPI为一组子训练样本，利用每组子训练样本训练一次所述待监测城市节点对应的第二机器学习模型。
6.根据权利要求5所述的基于IPTV的KPI监测方法，在训练之前，还包括：
对所述待监测城市节点和所述其他城市节点的训练样本进行异常值处理。
7.根据权利要求6所述的基于IPTV的KPI监测方法，其中，所述异常值处理包括：
在所述待监测城市节点或所述其他城市节点的训练样本中的待处理KPI大于所述训练样本中KPI的上界的情况下，将所述待处理KPI修改为所述上界；
在所述待处理KPI小于所述训练样本中KPI的下界的情况下，将所述待处理KPI修改为所述下界。
8.根据权利要求7所述的基于IPTV的KPI监测方法，其中，所述上界为1，所述下界为所述待监测城市节点或所述其他城市节点的训练样本中除空值以外的KPI的第一四分位数和四分位距的差值。
9.根据权利要求7所述的基于IPTV的KPI监测方法，其中，所述异常值处理还包括：
在所述待处理KPI为空值的情况下，计算与所述待处理KPI对应的时间点对应的其他KPI的平均值；
将所述待处理KPI修改为所述平均值。
10.根据权利要求1所述的基于IPTV的KPI监测方法，其中，获取待监测城市节点的历史KPI、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时KPI包括：
采集所述待监测城市节点的历史电子节目指南EPG请求数据、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时EPG请求数据；
分别利用所述历史EPG请求数据和所述实时EPG请求数据，计算所述的历史KPI和所述实时KPI。
11.根据权利要求10所述的基于IPTV的KPI监测方法，其中，
所述历史EPG请求数据包括历史电子节目指南EPG请求成功次数和历史EPG请求总次数；
所述实时EPG请求数据包括实时EPG请求成功次数和实时EPG请求总次数。
12.根据权利要求11所述的基于IPTV的KPI监测方法，其中，
所述实时KPI为当前时间点对应的实时EPG请求成功次数与实时EPG请求总次数的比值；
所述历史KPI为历史EPG请求成功次数与历史EPG请求总次数的比值。
13.一种基于网络协议电视IPTV的关键绩效指标KPI监测装置，包括：
获取模块，被配置为获取待监测城市节点的历史KPI、以及所述待监测城市节点和其他城市节点的当前时间点对应的实时KPI；
第一预测模块，被配置为根据所述历史KPI，利用与所述待监测城市节点对应的第一机器学习模型，预测所述待监测城市节点的当前时间点对应的第一预测KPI；
第二预测模块，被配置为根据所述其他城市节点的实时KPI，利用所述待监测城市节点对应的第二机器学习模型，预测所述待监测城市节点的当前时间点对应的第二预测KPI；
计算模块，被配置为分别计算所述待监测城市节点的实时KPI与所述第一预测KPI的差值、与所述第二预测KPI的差值，得到所述待监测城市节点的第一误差、第二误差；
判断模块，被配置为利用所述待监测城市节点的第一误差和第二误差，判断所述待监测城市节点的实时KPI是否异常。
14.一种基于网络协议电视IPTV的关键绩效指标KPI监测装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令，执行如权利要求1至12任一项所述的基于网络协议电视IPTV的关键绩效指标KPI监测方法。
15.一种计算机可存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现如权利要求1至12任一项所述的数据传输基于网络协议电视IPTV的关键绩效指标KPI监测方法。
CN201910777624.7A 2019-08-22 2019-08-22 基于iptv的kpi监测方法、装置及其系统 Active CN112423031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910777624.7A CN112423031B (zh) 2019-08-22 2019-08-22 基于iptv的kpi监测方法、装置及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910777624.7A CN112423031B (zh) 2019-08-22 2019-08-22 基于iptv的kpi监测方法、装置及其系统

Publications (2)

Publication Number Publication Date
CN112423031A true CN112423031A (zh) 2021-02-26
CN112423031B CN112423031B (zh) 2022-12-20

Family

ID=74780398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910777624.7A Active CN112423031B (zh) 2019-08-22 2019-08-22 基于iptv的kpi监测方法、装置及其系统

Country Status (1)

Country Link
CN (1) CN112423031B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099476A (zh) * 2021-05-13 2021-07-09 中国联合网络通信集团有限公司 网络质量检测方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
CN109582529A (zh) * 2018-09-29 2019-04-05 阿里巴巴集团控股有限公司 一种报警阈值的设置方法及装置
US20190147300A1 (en) * 2017-11-16 2019-05-16 International Business Machines Corporation Anomaly detection in multidimensional time series data
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089962A (zh) * 2017-11-13 2018-05-29 北京奇艺世纪科技有限公司 一种异常检测方法、装置及电子设备
US20190147300A1 (en) * 2017-11-16 2019-05-16 International Business Machines Corporation Anomaly detection in multidimensional time series data
CN109582529A (zh) * 2018-09-29 2019-04-05 阿里巴巴集团控股有限公司 一种报警阈值的设置方法及装置
CN110008079A (zh) * 2018-12-25 2019-07-12 阿里巴巴集团控股有限公司 监控指标异常检测方法、模型训练方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099476A (zh) * 2021-05-13 2021-07-09 中国联合网络通信集团有限公司 网络质量检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112423031B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN111124840B (zh) 业务运维中告警的预测方法、装置与电子设备
CN109347668B (zh) 一种服务质量评估模型的训练方法及装置
CN107086944B (zh) 一种异常检测方法和装置
CN111130839A (zh) 一种流量需求矩阵预测方法及其系统
CN111046564B (zh) 两阶段退化产品的剩余寿命预测方法
Huang et al. Machine fault detection for intelligent self-driving networks
CN109033513B (zh) 电力变压器故障诊断方法与电力变压器故障诊断装置
CN111898867B (zh) 一种基于深度神经网络的飞机总装生产线产能预测方法
CN108664700A (zh) 基于不确定数据包络分析的加速退化信息融合建模方法
CN108491302A (zh) 一种检测spark集群节点状态的方法
CN113762486A (zh) 换流阀故障诊断模型的构建方法、装置和计算机设备
CN114036978A (zh) 一种基于Transformer和数据增强的轴承故障诊断方法及系统
Li et al. An end-to-end framework with multisource monitoring data for bridge health anomaly identification
CN115439192A (zh) 医疗商品信息的推送方法及装置、存储介质、计算机设备
CN112423031B (zh) 基于iptv的kpi监测方法、装置及其系统
CN113541985A (zh) 物联网故障诊断方法、模型的训练方法及相关装置
CN113825165B (zh) 基于时间图网络的5g切片网络拥塞预警方法及装置
CN114139589A (zh) 故障诊断方法、装置、设备与计算机可读存储介质
CN111783883A (zh) 一种异常数据的检测方法及装置
CN116091874A (zh) 图像校验方法、训练方法、装置、介质、设备及程序产品
CN115409262A (zh) 铁路数据中心关键性能指标趋势预测方法、异常识别方法
CN114528906A (zh) 一种旋转机械的故障诊断方法、装置、设备和介质
CN113887666A (zh) 一种基于Transformer的复合材料缺陷检测方法及系统
CN113570129A (zh) 带钢酸洗浓度的预测方法及计算机可读存储介质
CN111949530A (zh) 测试结果的预测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant