CN108737813A - QoE的确定方法、装置、存储介质及处理器 - Google Patents

QoE的确定方法、装置、存储介质及处理器 Download PDF

Info

Publication number
CN108737813A
CN108737813A CN201710261689.7A CN201710261689A CN108737813A CN 108737813 A CN108737813 A CN 108737813A CN 201710261689 A CN201710261689 A CN 201710261689A CN 108737813 A CN108737813 A CN 108737813A
Authority
CN
China
Prior art keywords
mos values
time series
time
mos
qoe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710261689.7A
Other languages
English (en)
Other versions
CN108737813B (zh
Inventor
卓可秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201710261689.7A priority Critical patent/CN108737813B/zh
Priority to PCT/CN2018/082886 priority patent/WO2018192414A1/zh
Publication of CN108737813A publication Critical patent/CN108737813A/zh
Application granted granted Critical
Publication of CN108737813B publication Critical patent/CN108737813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Abstract

本发明提供了一种用户体验质量QoE的确定方法、装置、存储介质及处理器，该用户体验质量QoE的确定方法包括：确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI；根据KPI确定预定时刻用户体验的平均意见评分MOS值；利用在预定时段内计算的多个MOS值确定MOS值的时间序列；根据MOS值的时间序列确定用户体验质量QoE。通过本发明，解决了相关技术中的检测质差用户准确性不高问题，达到提高检测质差用户准确性的效果。

Description

QoE的确定方法、装置、存储介质及处理器
技术领域
本发明涉及通信领域，具体而言，涉及一种用户体验质量QoE的确定方法、装置、存储介质及处理器。
背景技术
电信运行商为用户提供互联网协议电视(Internet Protocol Television，简称为IPTV)或通过互联网向用户提供各种应用服务(Over The Top，简称为OTT)视频业务时，往往很关心服务质量(Quality of Service，简称为QoS)，服务质量的好坏，最直接的反映就是用户体验质量(Quality of Experience，简称为QoE)，QoE可以理解为用户体验或者用户感知，即终端用户对网络提供的业务性能的主观感受。
现有技术中，是在一个时间段内检测体验差(质差)的用户，根据用户体验的MOS值，在一个时间段内，判断用户MOS值是否都低于一定阈值，如果出现低MOS值的比例超过一定阈值，比如10％，那就认为当前用户在当前时间段内属于质差用户，这种方案检测质差用户的准确性不高，因为它忽略了不同时刻用户体验的差别，没有考虑体验的上下承接关系，即时间序列关系，而是将所有时刻的体验等同看待、不加区分。
针对上述技术问题，相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种用户体验质量QoE的确定方法、装置、存储介质及处理器，以至少解决相关技术中的检测质差用户准确性不高问题。
根据本发明的一个实施例，提供了一种用户体验质量QoE的确定方法，包括：确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI；根据所述KPI确定预定时刻用户体验的平均意见评分MOS值；利用在预定时段内计算的多个所述MOS值确定所述MOS值的时间序列；根据所述MOS值的时间序列确定用户体验质量QoE。
可选地，确定所述IPTV或者所述OTT的视频播放的所述KPI包括：按照第一预定周期计算所述IPTV或者所述OTT的所述KPI；其中，所述KPI包括以下至少之一：用户标识ID，采样所述KPI的时间点，所述视频的首次播放缓冲时延，所述视频的卡顿时长序列。
可选地，根据所述KPI确定预定时刻所述用户体验的所述MOS值包括：根据多项式模式计算所述预定时刻所述用户体验的所述MOS值，其中，所述多项式模式根据以下因子至少之一进行确定：所述视频的首次播放缓冲时延，所述视频的卡顿总时长，所述视频的卡顿变化幅度。
可选地，利用在所述预定时段内计算的多个所述MOS值确定所述MOS值的时间序列包括：利用在所述预定时段内计算的多个所述MOS值确定所述预定时段内各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一；根据所述各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一确定所述MOS值的时间序列。
可选地，在确定了所述预定时段内各个子时段中的平均MOS值和最小MOS值的情况下，根据所述MOS值的时间序列确定用户体验质量QoE包括：确定由第一时间序列和第二时间序列组成的时间序列语料，其中，所述第一时间序列为由所述各个子时段中的平均MOS值组成的MOS值的时间序列，所述第二时间序列为由所述各个子时段中的最小MOS值组成的MOS值的时间序列；利用所述时间序列语料训练预先建立的时间序列模型；利用训练后的时间序列模型确定用户体验质量QoE。
可选地，在根据所述MOS值的时间序列确定所述QoE后，所述方法还包括：根据质差容忍度对确定的所述QoE进行排序，其中，所述质差容忍度是根据所述第一时间序列和所述第二时间序列计算得到的；按照排序结果选取部分用户作为QoE差的用户；对所述QoE差的用户进行运维处理。
根据本发明的另一个实施例，还提供一种用户体验质量QoE的确定装置，包括：第一确定模块，用于确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI；第二确定模块，用于根据所述KPI确定预定时刻用户体验的平均意见评分MOS值；第三确定模块，用于利用在预定时段内计算的多个所述MOS值确定所述MOS值的时间序列；第四确定模块，用于根据所述MOS值的时间序列确定用户体验质量QoE。
可选地，所述第一确定模块包括：第一计算单元，用于按照第一预定周期计算所述IPTV或者所述OTT的所述KPI；其中，所述KPI包括以下至少之一：用户标识ID，采样所述KPI的时间点，所述视频的首次播放缓冲时延，所述视频的卡顿时长序列。
可选地，所述第二确定模块包括：第二计算单元，用于根据多项式模式计算所述预定时刻所述用户体验的所述MOS值，其中，所述多项式模式根据以下因子至少之一进行确定：所述视频的首次播放缓冲时延，所述视频的卡顿总时长，所述视频的卡顿变化幅度。
可选地，其特征在于，所述第三确定模块包括：第一确定单元，用于利用在所述预定时段内计算的多个所述MOS值确定所述预定时段内各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一；第二确定单元，用于根据所述各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一确定所述MOS值的时间序列。
可选地，在确定了所述预定时段内各个子时段中的平均MOS值和最小MOS值的情况下，所述第四确定模块包括：第三确定单元，用于确定由第一时间序列和第二时间序列组成的时间序列语料，其中，所述第一时间序列为由所述各个子时段中的平均MOS值组成的MOS值的时间序列，所述第二时间序列为由所述各个子时段中的最小MOS值组成的MOS值的时间序列；训练单元，用于利用所述时间序列语料训练预先建立的时间序列模型；第四确定单元，用于利用训练后的时间序列模型确定用户体验质量QoE。
可选地，所述装置还包括：排序模块，用于在根据所述MOS值的时间序列确定所述QoE后，根据质差容忍度对确定的所述QoE进行排序，其中，所述质差容忍度是根据所述第一时间序列和所述第二时间序列计算得到的；选择模块，用于按照排序结果选取部分用户作为QoE差的用户；处理模块，用于对所述QoE差的用户进行运维处理。
根据本发明的另一个实施例，还提供一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述中任一项所述的方法。
根据本发明的另一个实施例，还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任一项所述的方法。
通过本发明，由于机顶盒在确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI后；根据KPI确定预定时刻用户体验的平均意见评分MOS值；并利用在预定时段内计算的多个MOS值确定MOS值的时间序列；根据MOS值的时间序列确定用户体验质量QoE。从而可以根据确定的用户体验质量QoE选取出质差用户。因此，可以解决相关技术中的检测质差用户准确性不高问题，达到提高检测质差用户准确性的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种用户体验质量QoE的确定方法的移动终端的硬件结构框图；
图2是根据本发明实施例的流程图；
图3是本实施例中的IPTV或者OTT基于时间序列的质差用户检测的流程图；
图4是本实施例中计算MOS值的流程图；
图5是本实施例中的IPTV/OTT质差用户检测时间序列模型训练流程图；
图6是本实施例中的时间序列模型的拓扑结构图；
图7是本实施例中的LSTM元内部结构图；
图8是根据本发明实施例的用户体验质量QoE的确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种用户体验质量QoE的确定方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的用户体验质量QoE的确定方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种用户体验质量QoE的确定方法，图2是根据本发明实施例的流程图，如图2所示，该流程包括如下步骤：
步骤S202，确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI；
步骤S204，根据上述KPI确定预定时刻用户体验的平均意见评分MOS值；
步骤S206，利用在预定时段内计算的多个上述MOS值确定上述MOS值的时间序列；
步骤S208，根据上述MOS值的时间序列确定用户体验质量QoE。
通过上述步骤，由于机顶盒在确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI后；根据KPI确定预定时刻用户体验的平均意见评分MOS值；并利用在预定时段内计算的多个MOS值确定MOS值的时间序列；根据MOS值的时间序列确定用户体验质量QoE。从而可以根据确定的用户体验质量QoE选取出质差用户。因此，可以解决相关技术中的检测质差用户准确性不高问题，达到提高检测质差用户准确性的效果。
可选地，上述步骤的执行主体可以为终端(例如：机顶盒)等，但不限于此。
相关技术中，对QoE进行定量评价的方法通常采用平均意见评分(Mean OpinionScore，简称为MOS)评分模型。有些MOS模型选取视频播放KPI指标中的卡顿、卡顿次数和首缓时延等指标，通过简单的门限阈值来判定对应的MOS值，这种方案MOS值精度不高，没有深入考虑视频卡顿时长、视频卡顿次数对用户观看体验的影响。有些MOS模型选取网络传输中的丢包率、时延、抖动等指标，通过机器学习模型进行预测分析，这种方案的一大问题就是训练语料难以获取，因为对于不同的视频片源、视频色彩复杂度、变化复杂度，即使在相同的丢包率、时延、抖动指标下，也会给用户带来不同的体验，从而很容易导致预测模型的失效。
在一个可选的实施例中，确定上述IPTV或者上述OTT的视频播放的上述KPI包括：按照第一预定周期计算上述IPTV或者上述OTT的上述KPI；其中，上述KPI包括以下至少之一：用户标识ID，采样上述KPI的时间点，上述视频的首次播放缓冲时延，上述视频的卡顿时长序列。在本实施例中，上述第一预定周期可以是一段时间，比如10秒。
在一个可选的实施例中，根据上述KPI确定预定时刻上述用户体验的上述MOS值包括：根据多项式模式计算上述预定时刻上述用户体验的上述MOS值，其中，上述多项式模式根据以下因子至少之一进行确定：上述视频的首次播放缓冲时延，上述视频的卡顿总时长，上述视频的卡顿变化幅度。在本实施例中，通过综合考虑用户标识ID，采样KPI的时间点，视频的首次播放缓冲时延，视频的卡顿时长序列等因素对用户观看体验的影响，通过上述因素计算IPTV或者上述OTT的KPI值，解决了相关技术中存在的没有深入考虑视频卡顿时长、视频卡顿次数对用户观看体验的影响的问题。有效的提高了计算MOS值的精度，以及提高了多项式模式计算的准确性。
在一个可选的实施例中，利用在上述预定时段内计算的多个上述MOS值确定上述MOS值的时间序列包括：利用在预定时段内计算的多个MOS值确定上述预定时段内各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一；根据上述各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一确定上述MOS值的时间序列。在本实施例中，上述预定时段可以是指一天或者是其他规定的时间段。通过对时间序列中的平均MOS值、最小MOS值和最大MOS值的计算，解决了相关技术中语料难以获取的问题。
在一个可选的实施例中，在确定了上述预定时段内各个子时段中的平均MOS值和最小MOS值的情况下，根据上述MOS值的时间序列确定用户体验质量QoE包括：确定由第一时间序列和第二时间序列组成的时间序列语料，其中，上述第一时间序列为由上述各个子时段中的平均MOS值组成的MOS值的时间序列，上述第二时间序列为由上述各个子时段中的最小MOS值组成的MOS值的时间序列；利用上述时间序列语料训练预先建立的时间序列模型；利用训练后的时间序列模型确定用户体验质量QoE。在本实施例中，使用平均MOS值和最小MOS值建立的时间序列模型的方案，丰富了建立的时间序列模型的训练语料，有效的提高了建立的时间序列模型的精确度。
在一个可选的实施例中，在根据上述MOS值的时间序列确定上述QoE后，上述方法还包括：根据质差容忍度对确定的上述QoE进行排序，其中，上述质差容忍度是根据上述第一时间序列和上述第二时间序列计算得到的；按照排序结果选取部分用户作为QoE差的用户；对上述QoE差的用户进行运维处理。在本实施例中，上述质差容忍度是根据第一时间序列中的各个平均MOS值，以及第二序列中的各个最小MOS值计算得到的，具体计算公式详见具体实施例。
下面结合具体实施例对本发明进行详细说明：
具体实施例1：
本实施例的目的在于提供一种IPTV或OTT质差用户的检测方法(对应上述中的用户体验质量QoE的确定方法)，能让IPTV、OTT运营商准确监测用户的视频观看体验，为潜在的各种故障问题提供预警，从而及时修复节目源、CDN网络、传输网络或播放终端等故障，提高用户满意度。
IPTV或OTT质差用户的检测方法，主要包括以下步骤：
(1)步骤1：机顶盒探针按一定周期(比如10秒)(对应上述中的第一周期)计算IPTV或OTT视频播放基础关键性能指标(Key Performance Indicators，简称为KPI)指标。这些基础KPI指标包括用户标识ID、采样时间点(对应上述中的视频采样时间点)、首缓时延(对应上述中的视频的首次播放缓冲时延)、卡顿时长序列(对应上述中的视频的卡顿时长序列)等。
(2)步骤2：根据基础KPI指标，计算当前时刻用户体验的MOS值。MOS值计算是采用多项式模型。该多项式模型分别考虑首缓时延(latency)、卡顿总时长(freezeTime)(对应上述中的所述视频的卡顿总时长)和卡顿变化幅度(freezeTime fluctuation)(对应上述中的视频的卡顿变化幅度)三个影响因子。下面详细讲述这三个影响因子各自的模型。
a)首缓时延(latency，单位ms)
记x1＝latency/(1000*playDuration)，(playDuration表示播放时长，以秒为单位，playDuration<＝0时，MOS值不计算，下同)，则有0≤x1≤1。令y1为对应部分的MOS值，则
y1＝a*x1+b,
其中，a、b为函数参数。
对y1约束：
注：此处的latency为首次播放缓冲时延，简称首缓时延，对于连续播放中不是首次播放记录，latency值应为0。
b)卡顿总时长(freezeTime，单位ms)
记x2＝freezeTime/(1000*playDuration)，则有0≤x2≤1；x3＝freezeTime。此处针对采样周期为10s的情况，对于不是10s的采样周期情况，需要将它映射到10s内。令y2为对应部分的MOS值，则
y2＝c/(d+exp(-e*x2-f*x3))
其中，c、d、e、f为函数参数，exp为指数函数。考虑卡顿总时长的相对量与绝对量，其中x2表示卡顿的相对量，x3表示卡顿的绝对量。
对y2约束：
c)卡顿变化幅度
令Q表示卡顿时间序列，则其中表示第i个监测点的卡顿时长。举个例子，在10秒的采用周期中，每一秒的卡顿时长分别为1、0、0、0、0、0、0、0、0、0.5，那么Q＝{1，0，0，0，0，0，0，0，0，0.5}。
记σ为时间序列Q的标准差，则
其中μ为时间序列Q的期望，则有0≤σ≤0.5。令y3为对应部分的MOS值，则
y3＝2σ
综合上述三个部分mos值，得出整体客观MOS(oMOS)的公式：
y＝y2-h·y3-i·(5-y1)
其中，h、i为函数参数，控制y3、y1的权重。
对y约束：
此外，MOS模型还引入指标的直接约束条件，当指标满足约束条件时，可直接得出MOS值。令j、m分别表示x1的最小下限和最大上限阈值，k、n分别表示x2的最小下限和最大上限阈值。那么最终的oMOS值可直接给出(跳过上述的三个局部MOS公式)：
(3)步骤3：在一定周期中(比如5分钟)，机顶盒探针会上报avgmos、minmos和maxmos三个MOS值，这些MOS值是上一步MOS值的简单数学统计。avgmos表示平均MOS值，minmos表示最小MOS值，maxmos表示最大MOS值。举个例子，假设探针的采样周期10秒，每5分钟上报一次数据，那么就有30个MOS值，这些值假定为{4,5,5,5,5,5,5,5,5,1,1,5,2,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5}，则avgmos为4.6，minmos为1，maxmos为5。
(4)步骤4：在一个时段中，如1天，得到avgmos和minmos的时间序列。这个时间段是根据实际需求设定。之所以选取avgmos和minmos两个指标丢弃maxmos指标，是因为avgmos和minmos两个指标已基本能确定当前用户体验的坏好，无需再加入maxmos这一项，模型可以得到简化。当然如果保留maxmos，即将avgmos、minmos和maxmos作为下一步的输入也是可以的，只不过模型会稍微复杂些，而准确性却提高不大。avgmos的时间序列样式是这样的：{4.6,4,3.5,4.1,5,4.2,…}；minmos的时间序列样式与avgmos类似，是这样的：{2,1,1,1,2,2.5,…}。
(5)步骤5：根据avgmos和minmos二元组构成的时间序列语料，利用已经训练好的深度学习中时间序列模型(如LSTM，GRU)进行预测，判断是否质差用户。时间序列模型的拓扑结构是这样的：输入层由两个普通神经元组成，隐藏层由若干个循环神经元(LSTM元，GRU元)组成，输出层由两个普通神经元组成。输入层的两个神经元分别接收avgmos和minmos两个变量值。
训练时间序列模型时，需要先获取训练语料。训练语料的获取主要通过两个步骤，首先通过与上文时间序列模型预测流程类似的流程，获取avgmos和minmos二元组构成的时间序列语料，接着通过人工将这些语料归类，如果是质差就设为类1，如果不是就设为类0。归类后的训练语料样式如下，其中冒号前的表示该二元时间序列所属的类；冒号后的表示二元时间序列，二元元素之间用空格分割，二元元素内用逗号分割，逗号前表示avgmos元素，逗号后表示minmos元素。需要说明的是，这种训练数据格式仅是一种参考格式，具体实施人员可以设置自己的数据格式，只要易于辨认即可。
0:5,5 5,5 5,5 5,5
0:5,4 5,4.3 4.8,3.5 5,5 5,4.2 4.9,4.6 5,5
0:4.9,4 5,5 5,5 4.7,3.6 4.8,3.9 5,5 5,5 4.7,4
1:1,1 1,1 1,1 1,1 1,1
1:1.5,1 2,1 2.6,1.1 2.5,1.5 2,1.3
1:2,1 2.7,1 1.3,1 2,1.6 3,1.8 5,1 2.8,1.5 3.6,1 1.5,1 2.5,1.8
…
(6)步骤6：根据筛选出的质差用户，按质差容忍度降序排序。要计算质差容忍度，首先，要计算单条记录中avgmos和minmos对应的质差贡献率。令x1表示单条记录的avgmos，x2表示单条记录的minmos，g(x)表示以MOS(avgmos或minmos)为自变量的单条记录质差贡献率(简称MOS质差贡献率)，则
其中，α1,α2为MOS质差贡献率的参数，且有α1∈[1,3)，α2∈(3,5]，分别表示MOS质差贡献率的下限截断阈值和上限截断阈值。下限截断阈值是指当MOS小于α1时，直接将MOS质差贡献率设为1；上限截断阈值是指当MOS大于α2时，直接将mos质差贡献率0。根据g(x)的公式，可知g(x)∈[0,1]。
可选的，计算单个用户avgmos和minmos对应的质差容忍度。假定在一个时间段内(如一天)，存在m条播放记录，表示avgmos对应的质差容忍度，表示minmos对应的质差容忍度，ti(i＝1…m)表示第i条播放记录的播放时间，那么有
令f(x)表示质差用户x的质差容忍度，则
其中w1表示avgmos对应的质差容忍度的权重，w2表示minmos对应的质差容忍度的权重。根据经验，w1可设为1.0，w2可设为0.25。
最后，根据所得到用户的质差容忍度f(x)，按f(x)降序排序。根据实际情况，截取一定比率的排名靠前的质差用户作为最终的质差用户，展现给运维人员。
具体实施例2
图3是本实施例中的IPTV或者OTT基于时间序列的质差用户检测的流程图，如图3所示，本实施例提供一种IPTV/OTT质差用户的检测方法，包括以下步骤：
(1)步骤302：机顶盒探针按一定周期(比如10秒)计算IPTV/OTT视频播放基础KPI指标。这些基础KPI指标包括用户ID、采样时间点、首缓时延、卡顿时长序列等。
(2)步骤304：根据基础KPI指标，计算当前时刻用户体验的MOS值。图4是本实施例中计算MOS值的流程图，如图4所示，包括以下各步骤：
步骤402：从IPTV视频播放基础KPI指标中抽取首缓时延、卡顿时长序列两个指标；
步骤404：对首缓时延建立线性模型；从卡顿时长序列中得到总卡顿时长，并建立sigmoid模型；对卡顿时长序列建立卡顿变换幅度模型。利用这三个模型分别得到各自对应部分的MOS值，记为y1、y2、y3；
步骤406：以卡顿总时长对应部分的MOS值为主要影响因子，分别减去一定比例的y1和y3，从而得到最终的MOS值。
MOS值计算是采用多项式模型。该多项式模型分别考虑首缓时延(latency)、卡顿总时长(freezeTime)和卡顿变化幅度(freezeTime fluctuation)三个影响因子。下面详细讲述这三个影响因子各自的模型：
a)首缓时延(latency，单位ms)
记x1＝latency/(1000*playDuration)，(playDuration表示播放时长，以秒为单位，playDuration<＝0时，MOS值不计算，下同)，则有0≤x1≤1。令y1为对应部分的MOS值，则
y1＝a*x1+b,
其中，a、b为函数参数。
对y1约束：
注：此处的latency为首次播放缓冲时延，简称首缓时延，对于连续播放中不是首次播放记录，latency值应为0。
b)卡顿总时长(freezeTime，单位ms)
记x2＝freezeTime/(1000*playDuration)，则有0≤x2≤1；x3＝freezeTime，此处针对采样周期为10s的情况，对于不是10s的采样周期情况，需要将它映射到10s内。令y2为对应部分的MOS值，则
y2＝c/(d+exp(-e*x2-f*x3))
其中，c、d、e、f为函数参数，exp为指数函数。考虑卡顿总时长的相对量与绝对量，其中x2表示卡顿的相对量，x3表示卡顿的绝对量。
对y2约束：
c)卡顿变化幅度
令Q表示卡顿时间序列，则其中表示第i个监测点的卡顿时长。举个例子，在10秒的采用周期中，每一秒的卡顿时长分别为1、0、0、0、0、0、0、0、0、0.5，那么Q＝{1，0，0，0，0，0，0，0，0，0.5}。
记σ为时间序列Q的标准差，则
其中μ为时间序列Q的期望，则有0≤σ≤0.5。令y3为对应部分的MOS值，则
y3＝2σ
综合上述三个部分mos值，得出整体客观MOS(oMOS)的公式：
y＝y2-h·y3-i·(5-y1)
其中，h、i为函数参数，控制y3、y1的权重。
对y约束：
此外，MOS模型还引入指标的直接约束条件，当指标满足约束条件时，可直接得出MOS值。令j、m分别表示x1的最小下限和最大上限阈值，k、n分别表示x2的最小下限和最大上限阈值。那么最终的oMOS值可直接给出(跳过上述的三个局部MOS公式)：
通过上述的模型即可得到用户体验的MOS值。通过多次实验，得到上述参数a、b、c、d、e、f、h、i、j、k、m、n在IPTV直播、IPTV点播、OTT直播、OTT点播下的参考经验值：
在IPTV直播中：
a＝-6,b＝5
c＝1.22610377404164,d＝-0.782831270518380,e＝-0.645419518877440,f＝-0.0258933009008712
h＝0.45,i＝1
j＝0,k＝0,m＝0.7,n＝0.9
在IPTV点播中：
a＝-6,b＝5.5
c＝1.22610377404164,d＝-0.782831270518380,e＝-0.645419518877440,f＝-0.0258933009008712
h＝0.4,i＝1
j＝0,k＝0,m＝0.8,n＝0.9
在OTT直播中：
参数值同IPTV点播。
在OTT点播中：
参数值同IPTV点播。
参数a、b、c、d、e、f是通过模型拟合训练得出；参数h、i、j、k、m、n是通过人工经验得到。依据视频主观MOS评测标准，通过人工，得到首缓时延和卡顿总时长对应部分的训练数据。视频主观MOS评测标准如表1所示。
表1
得分 MOS评分标准
5 优(视频播放很流畅，无法感知卡顿)
4 良好(能感知视频有轻微卡顿，但可接受)
3 合格(能明显感知视频到有卡顿，但可忍受)
2 低劣(视频卡顿严重，勉强可以接受)
1 糟糕(视频卡顿十分严重，完全不可接受)
卡顿总时长对应部分MOS模型的参数，是通过最小二乘算法拟合得出。其训练的数据如表2所示：
表2
(3)步骤306：在一定周期中(比如5分钟)，机顶盒探针会上报avgmos、minmos和maxmos三个MOS值，这些MOS值是上一步MOS值的简单数学统计。avgmos表示平均MOS值，minmos表示最小MOS值，maxmos表示最大MOS值。举个例子，假设探针的采样周期10秒，每5分钟上报一次数据，那么就有30个MOS值，这些值假定为{4,5,5,5,5,5,5,5,5,1,1,5,2,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5,5}，则avgmos为4.6，minmos为1，maxmos为5。
(4)步骤308：在一个时段中，如1天，得到avgmos和minmos的时间序列。这个时间段是根据实际需求设定。之所以选取avgmos和minmos两个指标丢弃maxmos指标，是因为avgmos和minmos两个指标已基本能确定当前用户体验的坏好，无需再加入maxmos这一项，模型可以得到简化。当然如果保留maxmos，即将avgmos、minmos和maxmos作为下一步的输入也是可以的，只不过模型会稍微复杂些，而准确性却提高不大。avgmos的时间序列样式是这样的：{4.6,4,3.5,4.1,5,4.2,…}；minmos的时间序列样式与avgmos类似，是这样的：{2,1,1,1,2,2.5,…}。
(5)步骤310：根据avgmos和minmos二元组构成的时间序列语料，利用已经训练好的深度学习中时间序列模型(如时间递归神经网络(Long Short-term Memory，简称为LSTM)，全球定位系统接收单元(GPS Receiving Unit，简称为GRU))进行预测，判断是否质差用户。以LSTM时间序列模型为例，介绍如何训练时间序列模型。图5是本实施例中的IPTV/OTT质差用户检测时间序列模型训练流程图，如图5所示：
步骤502：先通过与上文时间序列模型预测流程类似的流程，获取avgmos和minmos二元组构成的时间序列语料，并通过人工将这些语料归类，如果是质差就设为类1，如果不是就设为类0。归类后的训练语料样式如下，其中冒号前的表示该二元时间序列所属的类；冒号后的表示二元时间序列，二元元素之间用空格分割，二元元素内用逗号分割，逗号前表示avgmos元素，逗号后表示minmos元素。
0:5,5 5,5 5,5 5,5
0:5,4 5,4.3 4.8,3.5 5,5 5,4.2 4.9,4.6 5,5
0:4.9,4 5,5 5,5 4.7,3.6 4.8,3.9 5,5 5,5 4.7,4
1:1,1 1,1 1,1 1,1 1,1
1:1.5,1 2,1 2.6,1.1 2.5,1.5 2,1.3
1:2,1 2.7,1 1.3,1 2,1.6 3,1.8 5,1 2.8,1.5 3.6,1 1.5,1 2.5,1.8
…
步骤504：根据avgmos和minmos二元组构成的时间序列语料，利用深度学习中时间序列模型(如LSTM，GRU)进行训练，得到训练后的时间序列。
图6是本实施例中的时间序列模型的拓扑结构图，如图6所示，LSTM时间序列模型中间只用一层隐藏层。LSTM时间序列模型的拓扑结构是这样的：输入层由两个普通神经元组成，隐藏层由十个LSTM元组成，输出层由两个普通神经元组成。
图7是本实施例中的LSTM元内部结构图，如图7所示，LSTM元的结构是这样的，它包括新输入xt、输出ht、输入门it、忘记门ft、输出门ot，引入输入门it、忘记门ft、输出门ot的目的是为了控制每一步输出的值，使得误差在该神经元传递中保持不变。LSTM元是循环神经网络的一个特例，新输入和每个门都会将前一次的输出ht-1作为本次输入的一部分，因此新输入xt、输入门it、忘记门ft、输出门ot的输入都是由[xt,ht-1]二元组构成。本实施例中xt是由avgmos和minmos构成的二维向量。
LSTM元新输入[xt,ht-1]经过激活函数σc得到记忆元的一个候选值Ct，其公式为：
Ct＝σC(WC[xt,ht-1]+bC)
其中WC表示连接权，bC表示激活函数的一个激活阈值。
输入门用于调整侯选值Ct的大小，输入门的输出为：
it＝σi(Wi[xt,ht-1]+bi)
其中Wi表示连接权，bi表示激活函数的一个激活阈值。侯选值Ct经过输入门的调整，其值为：Ct·it。
忘记门用于控制LSTM元的记忆状态St-1，忘记门的输出为：
ft＝σf(Wf[xt,ht-1]+bf)
其中Wf表示连接权，bf表示激活函数的一个激活阈值。记忆状态St-1经过输入门的调整，其值为：ft·St-1。
此时,t时刻的状态St由其所记忆的前一时刻状态St-1和状态更新的候选值加权得到：
St＝ft·St-1+Ct·it
输出门ot当作状态St最终输出的一个权值，控制状态St的输出大小。输出门ot的公式为：
ot＝σo(Wo[xt,ht-1]+bo)
最终LSTM元的输出为：
σC、σi、σf、σo、σS都是激活函数，通常σi、σf、σo这三个函数会设为sigmoid函数，σC、σS这两个函数会设为tanh函数(双曲正切函数)。本实施例中，隐藏层LSTM元上的σi、σf、σo这三个激活函数采用tanh函数；输出层中两个普通神经元的激活函数采用softmax函数。
在训练过程中，各个权值的更新是采用Nesterov(涅斯捷罗夫)方法，而其中的梯度则采用随机梯度下降法；训练的学习率设为0.025。
(6)步骤312：根据筛选出的质差用户，按质差容忍度降序排序。要计算质差容忍度，首先，要计算单条记录中avgmos和minmos对应的质差贡献率。令x1表示单条记录的avgmos，x2表示单条记录的minmos，g(x)表示以MOS(avgmos或minmos)为自变量的单条记录质差贡献率(简称MOS质差贡献率)，则
其中α1,α2为MOS质差贡献率的参数，且有α1∈[1,3)，α2∈(3,5]，分别表示mos质差贡献率的下限截断阈值和上限截断阈值。下限截断阈值是指当mos小于α1时，直接将mos质差贡献率设为1；上限截断阈值是指当mos大于α2时，直接将mos质差贡献率0。根据g(x)的公式，可知g(x)∈[0,1]。
接着，计算单个用户avgmos和minmos对应的质差容忍度。假定在一个时间段内(如一天)，存在m条播放记录，表示avgmos对应的质差容忍度，表示minmos对应的质差容忍度，ti(i＝1…m)表示第i条播放记录的播放时间，那么有
令f(x)表示质差用户x的质差容忍度，则
其中w1表示avgmos对应的质差容忍度的权重，w2表示minmos对应的质差容忍度的权重。根据经验，w1设为1.0，w2设为0.25。
最后，根据所得到用户的质差容忍度f(x)，按f(x)降序排序。根据实际情况，截取一定比率的排名靠前的质差用户作为最终的质差用户，展现给运维人员。
本发明提供的基于时间序列的IPTV或OTT质差用户的检测方法，实现用户体验的准确评估，将用户体验的评估值时间序列形式呈现，通过该时间时序，利用深度学习中的时间序列模型，准确判断一定时间段内当前用户是否为质差用户，即感知差的用户，提高了IPTV、OTT运营商检测质差用户的精度，为后续及时发现节目源、服务器、传输网络或播放终端的问题提供预警，从而帮助IPTV、OTT运营商更好地维护用户。
本实施例中提供的一种较准确的用户体验MOS模型评分方法，基于用户体验的MOS评分时间序列，利用深度学习中的时间序列模型，较准确地判断一定时间段内当前用户是否为质差用户。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种用户体验质量QoE的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本发明实施例的用户体验质量QoE的确定装置的结构框图，如图8所示，该装置包括：第一确定模块802、第二确定模块804、第三确定模块806、第四确定模块808，下面对该装置进行详细说明：
第一确定模块802，用于确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI；
第二确定模块804，连接至上述第一确定模块802，用于根据上述KPI确定预定时刻用户体验的平均意见评分MOS值；
第三确定模块806，连接至上述第二确定模块804，用于利用在预定时段内计算的多个上述MOS值确定上述MOS值的时间序列；
第四确定模块808，连接至上述第三确定模块806，用于根据上述MOS值的时间序列确定用户体验质量QoE。
在一个可选的实施例中，上述第一确定模块802包括：第一计算单元，用于按照第一预定周期计算上述IPTV或者上述OTT的上述KPI；其中，上述KPI包括以下至少之一：用户标识ID，采样上述KPI的时间点，上述视频的首次播放缓冲时延，上述视频的卡顿时长序列。
在一个可选的实施例中，上述第二确定模块804包括：第二计算单元，用于根据多项式模式计算上述预定时刻上述用户体验的上述MOS值，其中，上述多项式模式根据以下因子至少之一进行确定：上述视频的首次播放缓冲时延，上述视频的卡顿总时长，上述视频的卡顿变化幅度。
在一个可选的实施例中，其特征在于，上述第三确定模块806包括：第一确定单元，用于利用在预定时段内计算的多个MOS值确定上述预定时段内各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一；第二确定单元，用于根据上述各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一确定上述MOS值的时间序列。
在一个可选的实施例中，在确定了上述预定时段内各个子时段中的平均MOS值和最小MOS值的情况下，上述第四确定模块包括：第三确定单元，用于确定由第一时间序列和第二时间序列组成的时间序列语料，其中，上述第一时间序列为由上述各个子时段中的平均MOS值组成的MOS值的时间序列，上述第二时间序列为由上述各个子时段中的最小MOS值组成的MOS值的时间序列；训练单元，用于利用上述时间序列语料训练预先建立的时间序列模型；第四确定单元，用于利用训练后的时间序列模型确定用户体验质量QoE。
在一个可选的实施例中，上述装置还包括：排序模块，用于在根据上述MOS值的时间序列确定上述QoE后，根据质差容忍度对确定的上述QoE进行排序，其中，上述质差容忍度是根据上述第一时间序列和上述第二时间序列计算得到的；选择模块，用于按照排序结果选取部分用户作为QoE差的用户；处理模块，用于对上述QoE差的用户进行运维处理。
根据本发明的另一个实施例，还提供一种存储介质，上述存储介质包括存储的程序，其中，上述程序运行时执行上述中任一项上述的方法。
根据本发明的另一个实施例，还提供一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述中任一项上述的方法。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以上各步骤的程序代码。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的实施例还提供了一种处理器，该处理器用于运行程序，其中，该程序运行时执行上述任一项方法中的步骤。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种用户体验质量QoE的确定方法，其特征在于，包括：
确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI；
根据所述KPI确定预定时刻用户体验的平均意见评分MOS值；
利用在预定时段内计算的多个所述MOS值确定所述MOS值的时间序列；
根据所述MOS值的时间序列确定用户体验质量QoE。
2.根据权利要求1所述的方法，其特征在于，确定所述IPTV或者所述OTT的视频播放的所述KPI包括：
按照第一预定周期计算所述IPTV或者所述OTT的所述KPI；其中，所述KPI包括以下至少之一：用户标识ID，采样所述KPI的时间点，所述视频的首次播放缓冲时延，所述视频的卡顿时长序列。
3.根据权利要求1所述的方法，其特征在于，根据所述KPI确定预定时刻所述用户体验的所述MOS值包括：
根据多项式模式计算所述预定时刻所述用户体验的所述MOS值，其中，所述多项式模式根据以下因子至少之一进行确定：所述视频的首次播放缓冲时延，所述视频的卡顿总时长，所述视频的卡顿变化幅度。
4.根据权利要求1所述的方法，其特征在于，利用在所述预定时段内计算的多个所述MOS值确定所述MOS值的时间序列包括：
利用在所述预定时段内计算的多个所述MOS值确定所述预定时段内各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一；
根据所述各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一确定所述MOS值的时间序列。
5.根据权利要求4所述的方法，其特征在于，在确定了所述预定时段内各个子时段中的平均MOS值和最小MOS值的情况下，根据所述MOS值的时间序列确定用户体验质量QoE包括：
确定由第一时间序列和第二时间序列组成的时间序列语料，其中，所述第一时间序列为由所述各个子时段中的平均MOS值组成的MOS值的时间序列，所述第二时间序列为由所述各个子时段中的最小MOS值组成的MOS值的时间序列；
利用所述时间序列语料训练预先建立的时间序列模型；
利用训练后的时间序列模型确定用户体验质量QoE。
6.根据权利要求5所述的方法，其特征在于，在根据所述MOS值的时间序列确定所述QoE后，所述方法还包括：
根据质差容忍度对确定的所述QoE进行排序，其中，所述质差容忍度是根据所述第一时间序列和所述第二时间序列计算得到的；
按照排序结果选取部分用户作为QoE差的用户；
对所述QoE差的用户进行运维处理。
7.一种用户体验质量QoE的确定方法装置，其特征在于，包括：
第一确定模块，用于确定互联网协议电视IPTV或者OTT的视频播放的关键性能指标KPI；
第二确定模块，用于根据所述KPI确定预定时刻用户体验的平均意见评分MOS值；
第三确定模块，用于利用在预定时段内计算的多个所述MOS值确定所述MOS值的时间序列；
第四确定模块，用于根据所述MOS值的时间序列确定用户体验质量QoE。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块包括：
第一计算单元，用于按照第一预定周期计算所述IPTV或者所述OTT的所述KPI；其中，所述KPI包括以下至少之一：用户标识ID，采样所述KPI的时间点，所述视频的首次播放缓冲时延，所述视频的卡顿时长序列。
9.根据权利要求7所述的装置，其特征在于，所述第二确定模块包括：
第二计算单元，用于根据多项式模式计算所述预定时刻所述用户体验的所述MOS值，其中，所述多项式模式根据以下因子至少之一进行确定：所述视频的首次播放缓冲时延，所述视频的卡顿总时长，所述视频的卡顿变化幅度。
10.根据权利要求7所述的装置，其特征在于，所述第三确定模块包括：
第一确定单元，用于利用在所述预定时段内计算的多个所述MOS值确定所述预定时段内各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一；
第二确定单元，用于根据所述各个子时段中的平均MOS值、最小MOS值和最大MOS值中的至少之一确定所述MOS值的时间序列。
11.根据权利要求10所述的装置，其特征在于，在确定了所述预定时段内各个子时段中的平均MOS值和最小MOS值的情况下，所述第四确定模块包括：
第三确定单元，用于确定由第一时间序列和第二时间序列组成的时间序列语料，其中，所述第一时间序列为由所述各个子时段中的平均MOS值组成的MOS值的时间序列，所述第二时间序列为由所述各个子时段中的最小MOS值组成的MOS值的时间序列；
训练单元，用于利用所述时间序列语料训练预先建立的时间序列模型；
第四确定单元，用于利用训练后的时间序列模型确定用户体验质量QoE。
12.根据权利要求11所述的装置，其特征在于，所述装置还包括：
排序模块，用于在根据所述MOS值的时间序列确定所述QoE后，根据质差容忍度对确定的所述QoE进行排序，其中，所述质差容忍度是根据所述第一时间序列和所述第二时间序列计算得到的；
选择模块，用于按照排序结果选取部分用户作为QoE差的用户；
处理模块，用于对所述QoE差的用户进行运维处理。
13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至6中任一项所述的方法。
14.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任一项所述的方法。
CN201710261689.7A 2017-04-20 2017-04-20 QoE的确定方法、装置、存储介质及处理器 Active CN108737813B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710261689.7A CN108737813B (zh) 2017-04-20 2017-04-20 QoE的确定方法、装置、存储介质及处理器
PCT/CN2018/082886 WO2018192414A1 (zh) 2017-04-20 2018-04-12 QoE的确定方法、装置、存储介质及处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710261689.7A CN108737813B (zh) 2017-04-20 2017-04-20 QoE的确定方法、装置、存储介质及处理器

Publications (2)

Publication Number Publication Date
CN108737813A true CN108737813A (zh) 2018-11-02
CN108737813B CN108737813B (zh) 2021-09-03

Family

ID=63856209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710261689.7A Active CN108737813B (zh) 2017-04-20 2017-04-20 QoE的确定方法、装置、存储介质及处理器

Country Status (2)

Country Link
CN (1) CN108737813B (zh)
WO (1) WO2018192414A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446112A (zh) * 2019-07-01 2019-11-12 南京邮电大学 基于双向LSTM-Attention的IPTV用户体验预测方法
CN111343450A (zh) * 2018-12-19 2020-06-26 飞思达技术（北京）有限公司 一种互联网电视端到端视频感知的计算方法
CN112148550A (zh) * 2019-06-28 2020-12-29 伊姆西Ip控股有限责任公司 用于管理服务的方法、设备和计算机程序产品

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109905776B (zh) * 2019-03-15 2021-02-19 武汉思创易控科技有限公司 一种高效的iptv数据传输保障方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457399A (zh) * 2010-10-20 2012-05-16 中兴通讯股份有限公司 一种基于qoe的服务质量监控方法和系统
CN102685790A (zh) * 2012-05-22 2012-09-19 北京东方文骏软件科技有限责任公司 模拟用户行为的移动流媒体业务感知体验QoE的测评方法
CN102752864A (zh) * 2012-07-04 2012-10-24 北京理工大学 多用户多业务系统中的面向用户体验的资源分配方法
CN103179592A (zh) * 2013-03-20 2013-06-26 南京邮电大学 基于树形分层结构的QoE综合评价方法
CN103188236A (zh) * 2011-12-30 2013-07-03 华为技术有限公司 媒体传输质量的评估方法和装置
CN103269459A (zh) * 2013-05-22 2013-08-28 中国科学院声学研究所 针对流媒体业务的用户体验质量的监测系统
CN104113788A (zh) * 2014-07-09 2014-10-22 北京邮电大学 一种TCP视频流业务的QoE训练和评估的方法及系统
US20160205397A1 (en) * 2015-01-14 2016-07-14 Cinder Solutions, LLC Source Agnostic Audio/Visual Analysis Framework

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013029214A1 (en) * 2011-08-26 2013-03-07 Huawei Technologies Co., Ltd. Video quality monitor and method for determining a network video quality measure in a communication network
CN103312531B (zh) * 2012-03-15 2017-02-22 华为技术有限公司 一种获取qoe的方法、装置及保证qoe的方法、装置
CN105791046A (zh) * 2014-12-26 2016-07-20 中兴通讯股份有限公司 用户体验质量QoE评估方法、装置、终端及服务器
US9853867B2 (en) * 2015-05-19 2017-12-26 Empirix, Inc. Method and apparatus to determine network quality

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457399A (zh) * 2010-10-20 2012-05-16 中兴通讯股份有限公司 一种基于qoe的服务质量监控方法和系统
CN103188236A (zh) * 2011-12-30 2013-07-03 华为技术有限公司 媒体传输质量的评估方法和装置
CN102685790A (zh) * 2012-05-22 2012-09-19 北京东方文骏软件科技有限责任公司 模拟用户行为的移动流媒体业务感知体验QoE的测评方法
CN102752864A (zh) * 2012-07-04 2012-10-24 北京理工大学 多用户多业务系统中的面向用户体验的资源分配方法
CN103179592A (zh) * 2013-03-20 2013-06-26 南京邮电大学 基于树形分层结构的QoE综合评价方法
CN103269459A (zh) * 2013-05-22 2013-08-28 中国科学院声学研究所 针对流媒体业务的用户体验质量的监测系统
CN104113788A (zh) * 2014-07-09 2014-10-22 北京邮电大学 一种TCP视频流业务的QoE训练和评估的方法及系统
US20160205397A1 (en) * 2015-01-14 2016-07-14 Cinder Solutions, LLC Source Agnostic Audio/Visual Analysis Framework

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111343450A (zh) * 2018-12-19 2020-06-26 飞思达技术（北京）有限公司 一种互联网电视端到端视频感知的计算方法
CN112148550A (zh) * 2019-06-28 2020-12-29 伊姆西Ip控股有限责任公司 用于管理服务的方法、设备和计算机程序产品
CN112148550B (zh) * 2019-06-28 2024-03-08 伊姆西Ip控股有限责任公司 用于管理服务的方法、设备和计算机程序产品
CN110446112A (zh) * 2019-07-01 2019-11-12 南京邮电大学 基于双向LSTM-Attention的IPTV用户体验预测方法

Also Published As

Publication number Publication date
CN108737813B (zh) 2021-09-03
WO2018192414A1 (zh) 2018-10-25

Similar Documents

Publication Publication Date Title
CN109921941B (zh) 网络业务质量评估和优化方法、装置、介质及电子设备
CN108737813A (zh) QoE的确定方法、装置、存储介质及处理器
Vasilev et al. Predicting QoE factors with machine learning
CN105794187B (zh) 预测通话品质
CN109905696B (zh) 一种基于加密流量数据的视频服务体验质量的识别方法
CN109934704A (zh) 信息推荐方法、装置、设备和存储介质
CN112054943B (zh) 一种移动网络基站流量预测方法
CN111626514B (zh) 一种电动汽车充电负荷预测方法及装置
Anchuen et al. QOE model in cellular networks based on QOS measurements using Neural Network approach
CN108322915B (zh) 基站规划的信息处理方法与装置
CN109548036A (zh) 一种移动网络潜在投诉用户预测方法和装置
CN107230090B (zh) 一种净推荐值nps分类方法及装置
CN111797320A (zh) 数据处理方法、装置、设备及存储介质
CN105824806A (zh) 一种公众账号的质量评价方法和装置
US20210352516A1 (en) Estimating apparatus, system, method, and computer-readable medium, and learning apparatus, method, and computer-readable medium
Qiao et al. Trace-driven optimization on bitrate adaptation for mobile video streaming
De Masi et al. Predicting quality of experience of popular mobile applications from a living lab study
Qin et al. SQoE KQIs anomaly detection in cellular networks: Fast online detection framework with Hourglass clustering
Khokhar et al. A methodology for performance benchmarking of mobile networks for internet video streaming
Cui et al. Network traffic prediction based on Hadoop
CN115311001A (zh) 一种基于多重投票算法的预测用户换机倾向的方法及系统
CN114330866B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
Majumdar et al. Towards Massive Distribution of Intelligence for 6G Network Management using Double Deep Q-Networks
CN112311486B (zh) 一种加速无线网络干扰预测收敛的方法和装置
Song et al. A Data-driven Method of Analyzing the Law of Short Video International Propagation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant