CN111314690A - 一种视频用户感知评估方法和装置 - Google Patents

一种视频用户感知评估方法和装置 Download PDF

Info

Publication number
CN111314690A
CN111314690A CN201811510963.0A CN201811510963A CN111314690A CN 111314690 A CN111314690 A CN 111314690A CN 201811510963 A CN201811510963 A CN 201811510963A CN 111314690 A CN111314690 A CN 111314690A
Authority
CN
China
Prior art keywords
index
user perception
weight
data corresponding
sample data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811510963.0A
Other languages
English (en)
Inventor
钟其柱
罗耀满
吴修权
梁明才
梅艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Guangdong Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Guangdong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Guangdong Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201811510963.0A priority Critical patent/CN111314690A/zh
Publication of CN111314690A publication Critical patent/CN111314690A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明实施例提供一种视频用户感知评估方法和装置，其中所述方法包括：获取每一用户感知指标对应的数据；用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；基于每一用户感知指标对应的数据，以及每一用户感知指标的预设权重，获取用户感知得分；预设权重是基于每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。本发明实施例提供的方法和装置，从整体视频业务全网络过程来实现对移动互联网的视频用户使用感知的评估，也同时实现了全面评估网络端到端的健康度评估，从而能够及时预警网络故障的发生，提升用户的满意度，可以快速有效的掌握移动网络的真实质量指标情况。

Description

一种视频用户感知评估方法和装置
技术领域
本发明实施例涉及移动多媒体通信技术领域，尤其涉及一种视频用户感知评估方法和装置。
背景技术
近年来，随着互联网技术的进步、多媒体通讯技术的发展和第四代移动通讯系统的普及，移动视频通信业务在生活和工作中愈发重要。
目前业界针对视频业务评估的方法，通常采用视频业务的特性和客户的感受，来评判视频质量等问题。然而上述评估方法，多数只是侧重于对网络视频质量评估，并没有从网络视频的业务全过程进行分析评估，评估策略偏主观，与实际网络的质量脱离。而实际上，用户感知与网络视频业务的每一个流程都息息相关，上述评估方法也难以反映用户的真实使用感知。此外，上述视频业务评估方法，在排查视频质量的网络故障的时候，难以实现快速定位网络故障的原因，效率低。
综上所述，如何通过贴合网络视频业务流程的网络视频质量评估，实现对视频用户感知的评估，仍然是移动多媒体通信技术领域的研究人员亟待解决的问题。
发明内容
本发明实施例提供一种视频用户感知评估方法和装置，用以解决现有的评估方法与实际网络质量脱离，难以反映用户真实使用感知的问题。
第一方面，本发明实施例提供一种视频用户感知评估方法，包括：
获取每一用户感知指标对应的数据；所述用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；
基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分；所述预设权重是基于所述每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
第二方面，本发明实施例提供一种视频用户感知评估装置，包括：
获取单元，用于基于XDR数据获取每一用户感知指标对应的数据；所述用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；
评估单元，用于基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分；所述预设权重是基于所述每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种视频用户感知评估方法和装置，基于每一用户感知指标对应的数据，以及通过熵值法和/或模糊层次法得到的预设权重，获取用户感知得分，从整体视频业务全网络过程来实现对移动互联网的视频用户使用感知的评估，也同时实现了全面评估网络端到端的健康度评估，对整体的互联网质量的优化提升和网络故障排查定位提供重要的数据参考以及解决思路，从而能够及时预警网络故障的发生，提升用户的满意度，可以快速有效的掌握移动网络的真实质量指标情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的视频用户感知评估方法的流程示意图；
图2为本发明实施例提供的箱线法示意图；
图3为本发明实施例提供的网络视频业务的流程示意图；
图4本发明实施例提供的视频用户感知评估装置的结构示意图；
图5本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有的评估方法与实际网络质量脱离，难以反映用户真实使用感知的问题，本发明实施例提供了一种视频用户感知评估方法。图1为本发明实施例提供的视频用户感知评估方法的流程示意图，如图1所示，该方法包括：
110，获取每一用户感知指标对应的数据；用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种。
具体地，在执行视频用户感知评估方法之前，需要建立用户感知指标，用户感知指标用于为视频用户感知评估提供评估依据，此处用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种，其中可用性指标用于表征网络视频业务流程中各个阶段建立成功的情况，及时性指标用于表征网络视频业务流程中的各个阶段建立成功后的视频业务具体的响应情况，稳定性指标用于表征网络视频业务流程执行过程中的稳定性。
120，基于每一用户感知指标对应的数据，以及每一用户感知指标的预设权重，获取用户感知得分；预设权重是基于每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
具体地，在得到每一用户感知指标对应的数据后，基于预设权重，通过加权的方法获取用户感知得分。此处，预设权重是预先设定的用于衡量用户感知指标在视频用户感知评估中的重要性的指标。将每一用户感知指标对应的数据和该用户感知指标的预设权重的乘积相加即得到用户感知得分，用户感知得分即视频用户感知评估的评估结果，用于表征视频用户的感知优劣，以及网络视频业务质量的优劣。
在基于每一用户感知指标对应的数据和预设权重计算用户感知得分之前，还可以基于每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法求取用户感知指标的预设权重。此处，每一用户感知指标对应的样本数据是预先收集得到的用于为视频用户感知评估提供评估依据的样本数据。熵值法是一种客观赋权法，是用来判断某个指标的离散程度的数学方法，能够根据各项指标观测值提供的信息的大小来确定指标权重。模糊层次法是将评价因素按照一定规则进行分类形成层次结构，是一种定性与定量相结合的评价模型，一般是先用层析分析法确定因素集，然后用模糊综合评判确定评判效果。模糊法是在层次法之上，两者相互融合，对评价有着很好的可靠性。本发明实施例中，可以基于每一用户感知指标对应的样本数据，通过熵值法求取用户感知指标的预设权重，也可以基于每一用户感知指标对应的样本数据，通过模糊层次法求取用户感知指标的预设权重，还可以基于每一用户感知指标对应的样本数据，分别通过熵值法和模糊层次法求取权重，并对两种方法得到的权重进行融合，获取用户感知指标的预设权重，本发明实施例对此不作具体限定。
本发明实施例提供的方法，基于每一用户感知指标对应的数据，以及通过熵值法和/或模糊层次法得到的预设权重，获取用户感知得分，从整体视频业务全网络过程来实现对移动互联网的视频用户使用感知的评估，也同时实现了全面评估网络端到端的健康度评估，对整体的互联网质量的优化提升和网络故障排查定位提供重要的数据参考以及解决思路，从而能够及时预警网络故障的发生，提升用户的满意度，可以快速有效的掌握移动网络的真实质量指标情况。
基于上述实施例，步骤110具体包括：基于数据共享层，从S1-U接口获取HTTP的XDR数据，并从所述XDR数据中获取每一用户感知指标对应的数据。
此处，XDR(External Data Representation，外部数据表示法)提供了一种与体系结构无关的表示数据，解决了数据字节排序的差异、数据字节大小、数据表示和数据对准的方式。本发明实施例中，XDR数据是指在网络视频业务执行过程中，从业务网络中提取的能够全面反映业务网络流程信息的数据。
XDR数据是数据共享层提供的，数据共享层为应用层应用及移动运营商数据开发及分析人员提供统一的数据存储、分析、统计及访问的能力。数据共享层采用基于Hadoop的Mintaka数据共享平台架构来构建大数据处理集群来存储网分数据(移动运营商专有)、经分数据、外围系统数据、关键互联网基础数据；并对这些数据进行处理分析，以统计出用户的位置、行为习惯及标签信息并作存储。数据共享层采用PostgreSQL来存储共享应用数据及应用所需要的当前用户的位置、行为习惯及标签信。
基于上述任一实施例，步骤120之前，还包括：101，基于每一用户感知指标对应的样本数据，通过熵值法获取每一用户感知指标的第一权重。102，基于每一用户感知指标对应的样本数据，通过模糊层次法获取每一用户感知指标的第二权重。103，对每一用户感知指标的第一权重和所述第二权重进行耦合，得到每一用户感知指标的预设权重。
具体地，在基于每一用户感知指标对应的数据和预设权重计算用户感知得分之前，还可以基于每一用户感知指标对应的样本数据，通过熵值法和模糊层次法求取用户感知指标的预设权重。步骤101中，第一权重是通过熵值法获取的权重，步骤102中，第二权重是通过模糊层次法获取的权重。本发明实施例不对步骤101与步骤102的先后顺序作具体限定，步骤102可以先于步骤101执行，也可以与步骤101同步执行。在分别得到通过熵值法获取的每一用户感知指标的第一权重和通过模糊层次法获取的每一用户感知指标的第二权重后，对熵值法和模糊层次法分别获取的第一权重和第二权重进行耦合，得到预设权重。此处，预设权重是对第一权重和第二权重的耦合结果。
针对任一用户感知指标，将该用户感知指标的第一权重和第二权重相乘，得到该用户感知指标的第三权重。在获取每一用户感知指标的第三权重后，对每一用户感知指标的第三权重进行归一化处理，使得全部用户感知指标的权重之和为1，归一化处理后的第三权重即预设权重。
本发明实施例提供的方法，通过将熵值法训练得到的第一权重与模糊层次法得到的第二权重进行耦合，能够修正第一权重缺乏各个用户感知指标之间的横向对比，完全依赖于样本数据，第一权重随着样本数的改变而改变的问题，得到合理的预设权重。
基于上述任一实施例，步骤101之前还包括：基于箱线法对每一用户感知指标对应的样本数据进行数据清洗。
具体地，在基于每一用户感知指标对应的样本数据获取第一权重和第二权重之前，需要对样本数据进行数据清洗，避免样本数据中的异常数据影响最终获取的预设权重的准确性。此处，采用箱线法进行数据清洗。箱线法是一种用作显示一组数据分散情况资料的统计方法，主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较。
图2为本发明实施例提供的箱线法示意图，如图2所示，针对任一用户感知指标，将该用户感知指标对应的样本数据等分成四份，得到最小值、第一四分位Q1、中位数、第三分位数Q3和最大值。计算四分位距QR＝Q3-Q1。基于四分位距QR确定样本数据的上下限，下限为Q1-1.5*QR，上限为Q3+1.5*QR，若样本数据大于上限，或样本数据小于下限，则该样本数据异常，将该样本数据对应的各个用户感知指标中的样本数据滤除。
基于上述任一实施例，步骤101具体包括：
1011，基于每一用户感知指标对应的样本数据，构建样本数据矩阵。
具体地，假设有n组样本数据，m项用户感知指标，则构建样本数据矩阵X＝(xij)n×m。其中，xij为第j项用户感知指标对应的第i个样本数据。
1012，对样本数据矩阵进行标准化处理。
由于用户感知指标的量纲、数量级存在差异，为消除上述差异，利用标准化数据公式
Figure BDA0001900761390000061
将每一列用户感知指标标准化到0和1之间。针对第j项用户感知指标，xmax和xmin分别为第j项用户感知指标对应的样本数据x1j、...、xij、...、xnj中的最大值和最小值。标准化处理后，得到的样本数据矩阵为X′＝(x′ij)n×m。
1013，计算样本数据矩阵中每一元素在对应的用户感知指标中的占比，并基于样本数据矩阵中每一元素在对应的用户感知指标中的占比构建占比矩阵。
针对第j项用户感知指标，标准化处理后的样本数据矩阵中元素x′ij的占比yij如下：
Figure BDA0001900761390000062
式中，0≤yij≤1。在得到每一元素的占比后，构建占比矩阵Yij＝{yij}m*n。
1014，基于占比矩阵，计算每一用户感知指标的熵值。
针对第j项用户感知指标，其熵值ej如下式所示：
Figure BDA0001900761390000071
1015，基于所述每一用户感知指标的熵值，计算每一所述用户感知指标的第一权重。
针对第j项用户感知指标，其效用值dj＝1-ej。在得到每一用户感知指标的效用值之后，根据下式计算每一用户感知指标的第一权重：
Figure BDA0001900761390000072
基于上述任一实施例，可用性指标、及时性指标和稳定性指标为一级指标，每一一级指标包括若干个二级指标。在此情况下，二级指标为本发明实施例中最终确定的用户感知指标。
对应地，步骤102具体包括：
1021，基于每一一级指标及其重要程度，构建一级指标模糊矩阵；基于每一二级指标及其重要程度，构建二级指标模糊矩阵。
其中，一级指标的重要程度是指任一一级指标对另一一级指标的重要程度程度，二级指标的重要程度是指任一二级指标对另一二级指标的重要程度程度。本发明实施例中，重要程度rij可以基于下表得到：
Figure BDA0001900761390000073
假设一级指标的数量为a，二级指标的数量为b，基于上表分别得到一级指标模糊矩阵R1＝(r1ij)a×a和二级指标模糊矩阵R2＝(r2ij)b×b。
1022，基于加法一致性，分别对一级指标模糊矩阵和二级指标模糊矩阵进行改造。
针对一级指标模糊矩阵，对一级指标模糊矩阵按行求和
Figure BDA0001900761390000074
再利用如下的等式替换一级指标模糊矩阵中的各个元素的值r1ij＝(r1i-r1j)/2a+0.5，使得改造后的一级指标模糊矩阵满足加法一致性r1ij＝r1ik-r1jk+0.5。
同样地，针对二级指标模糊矩阵，对二级指标模糊矩阵按行求和
Figure BDA0001900761390000081
再利用如下的等式替换二级指标模糊矩阵中的各个元素的值r2ij＝(r2i-r2j)/2b+0.5，使得改造后的二级指标模糊矩阵满足加法一致性r2ij＝r2ik-r2jk+0.5。
1023，基于改造后的一级指标模糊矩阵，计算每一一级指标的排名权重；基于改造后的二级指标模糊矩阵，计算每一二级指标的排名权重。
针对一级指标模糊矩阵，计算第i个一级指标的排名权重
Figure BDA0001900761390000082
Figure BDA0001900761390000083
其中x＝(a-1)/2。
同样地，针对二级指标模糊矩阵，计算第i个二级指标的排名权重
Figure BDA0001900761390000084
其中y＝(b-1)/2。
1024，基于任一一级指标的排名权重和该一级指标下的任一二级指标的排名权重，获取该二级指标的第二权重。
将任一一级指标的排名权重和该一级指标下的任一二级指标的排名权重的乘积作为该二级指标的第二权重。
基于上述任一实施例，图3为本发明实施例提供的网络视频业务的流程示意图，如图3所示，可用性指标下的二级指标包括DNS成功率、TCP成功率、GET成功率和POST成功率；及时性指标下的二级指标包括DNS时延、TCP时延、GET时延和POST时延；稳定性指标下的二级指标包括速率和掉线率。
具体地，客户端播放器与DNS(Domain Name System，域名系统)之间通过传输“DNS/Query”和“DNS/Response”，使得DNS在网络视频业务中完成域名解析，DNS成功率即DNS完成域名解析的成功率，DNS时延即DNS完成域名解析导致的时延。客户端播放器与流媒体服务器之间通过传输“TCP SYN”、“TCP SYN ACK”和“TCP ACK”握手建立连接，TCP(Transmission Control Protocol，传输控制协议)成功率即客户端播放器与流媒体服务器之间建立连接的成功率，TCP时延即客户端播放器与流媒体服务器之间建立连接导致的时延。客户端播放器与流媒体服务器之间通过传输“HTTP GET”、“HTTP/Response”和“TCP/Ack Fin”向流媒体服务器索取索引文件，GET成功率即客户端播放器向流媒体服务器索取索引文件的成功率，GET时延即客户端播放器向流媒体服务器索取索引文件导致的时延。客户端播放器与内容服务器之间通过传输“HTTP GET”、“HTTP/Response”、“HTTP/Segment”、“TCP ACK”和“TCP/Ack Fin”从内容服务器下载视频分段，POST成功率即客户端播放器从内容服务器下载视频分段的成功率，POST时延即客户端播放器从内容服务器下载视频分段导致的时延。
基于上述任一实施例，一种视频用户感知评估方法，包括如下步骤：
首先，建立视频用户感知指标，视频用户感知指标包括DNS成功率(DNS_succ)、TCP成功率(TCP_succ)、GET成功率(GET_succ)和POST成功率(POST_succ)，DNS时延(DNS_delay)、TCP时延(TCP_delay)、GET时延(GET_delay)和POST时延(POST_delay)，以及速率(Speed)和掉线率(Lost_rate)。其中，DNS成功率、TCP成功率、GET成功率和POST成功率属于可用性指标，DNS时延、TCP时延、GET时延和POST时延属于及时性指标，速率和掉线率属于稳定性指标。
其次，基于共享层XDR数据，通过Kafka Connect从省网Kafka集群接入本地的共享数据处理集群，获取每一用户感知指标对应的样本数据。本发明实施例中，选择某地一个月内使用A平台、B平台、C平台和D平台的用户每15分钟的样本数据，并统计得到DNS成功率、TCP成功率、GET成功率、POST成功率、DNS时延、TCP时延、GET时延、POST时延、速率和掉线率这十个用户感知指标的样本数据。其中，A平台的样本数据如下表所示：
Figure BDA0001900761390000091
Figure BDA0001900761390000101
随后，基于箱线法对样本数据进行数据清洗。基于箱线法得到的用户感知指标的上下限如下表所示：
Figure BDA0001900761390000111
其中，Q1表示第一四分位，Q2表示中位数，Q3表示第三分位数，IDR表示四分位距，Llim表示下限，uLim表示上限。
随后，基于每一用户感知指标对应的样本数据，通过熵值法获取每一用户感知指标的第一权重，得到A平台、B平台、C平台和D平台的第一权重如下表所示：
Figure BDA0001900761390000112
同时，基于每一用户感知指标对应的样本数据，通过模糊层次法得到一级指标的排名权重和二级指标的排名权重如下表所示：
Figure BDA0001900761390000121
表中，QOE(Quality ofExperience，体验质量)用于统称一级指标，available表示可用性指标，timely表示及时性指标，stable表示稳定性指标。
将QOE层的各个一级指标与一级指标对应层的二级指标的乘积作为通过模糊层次法得到的各个用户感知指标的第二权重，结果如下：DNS_succ、TCP_succ、GET_succ、DNS_delay、TCP_delay、GET_delay、POST_delay、Speed和Lost_rate的第二权重分别是0.10、0.09、0.07、0.07、0.05、0.05、0.05、0.05、0.29和0.16。
将熵值法求得的各用户感知指标的第一权重与模糊层次法求得的各用户感知指标的第二权重进行相乘，得到各个平台下的用户感知指标的权重如下表所示：
Figure BDA0001900761390000122
由于耦合后的权重相加小于1，计算每一用户感知指标的权重在1里面的占比，因此对上表所示的权重进行归一化处理，得到最终的预设权重如下：
Figure BDA0001900761390000131
通过以上的评估方式，分别对这四个平台进行忙时的单用户维度的视频业务的质量评估，在筛选用户在某时段的用户感知评分的同时，可以查看该时段用户所处的位置ECI小区进行对应的优化情况。具体的评估结果如下表：
Figure BDA0001900761390000132
Figure BDA0001900761390000141
上表中，Score_available表示可用性指标得分，Score_timely表示及时性指标得分，Score stable表示稳定性指标得分，Score表示用户感知得分。该评分体系提供一种从用户表现的数据出发，并结合数学算法中的熵值法计算各个指标的权重，为网络优化提供全新的一种优化方法论，可以运用在感知差用户分析、质差业务分析、质差小区分析等多维度分析。
基于上述任一实施例，图4本发明实施例提供的视频用户感知评估装置的结构示意图，如图4所示，该装置包括获取单元410和评估单元420；
其中，获取单元410用于XDR数据获取每一用户感知指标对应的数据；所述用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；
评估单元420用于基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分；所述预设权重是基于所述每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
本发明实施例提供的装置，基于每一用户感知指标对应的数据，以及通过熵值法和/或模糊层次法得到的预设权重，获取用户感知得分，从整体视频业务全网络过程来实现对移动互联网的视频用户使用感知的评估，也同时实现了全面评估网络端到端的健康度评估，对整体的互联网质量的优化提升和网络故障排查定位提供重要的数据参考以及解决思路，从而能够及时预警网络故障的发生，提升用户的满意度，可以快速有效的掌握移动网络的真实质量指标情况。
基于上述任一实施例，获取单元410具体用于基于数据共享层，从S1-U接口获取HTTP的XDR数据，并从所述XDR数据中获取每一用户感知指标对应的数据。
基于上述任一实施例，该装置还包括权重单元；权重单元包括第一权重子单元、第二权重子单元和耦合子单元；
其中，第一权重子单元用于基于所述每一用户感知指标对应的样本数据，通过所述熵值法获取所述每一用户感知指标的第一权重；
第二权重子单元用于基于所述每一用户感知指标对应的样本数据，通过所述模糊层次法获取所述每一用户感知指标的第二权重；
耦合子单元用于对所述每一用户感知指标的所述第一权重和所述第二权重进行耦合，得到所述每一用户感知指标的预设权重。
基于上述任一实施例，权重单元还包括数据清洗子单元；
数据清洗子单元用于基于箱线法对所述每一用户感知指标对应的样本数据进行数据清洗。
基于上述任一实施例，第一权重子单元具体用于：
基于所述每一用户感知指标对应的样本数据，构建样本数据矩阵；
对所述样本数据矩阵进行标准化处理；
计算所述样本数据矩阵中每一元素在对应的所述用户感知指标中的占比，并基于所述样本数据矩阵中每一元素在对应的所述用户感知指标中的占比构建占比矩阵；
基于所述占比矩阵，计算每一所述用户感知指标的熵值；
基于所述每一用户感知指标的熵值，计算每一所述用户感知指标的第一权重。
基于上述任一实施例，所述可用性指标、所述及时性指标和所述稳定性指标为一级指标，每一所述一级指标包括若干个二级指标；
对应地，第二权重子单元具体用于：
基于每一所述一级指标及其重要程度，构建一级指标模糊矩阵；基于每一所述二级指标及其重要程度，构建二级指标模糊矩阵；
基于加法一致性，分别对所述一级指标模糊矩阵和所述二级指标模糊矩阵进行改造；
基于改造后的所述一级指标模糊矩阵，计算每一所述一级指标的排名权重；基于改造后的所述二级指标模糊矩阵，计算每一所述二级指标的排名权重；
基于任一所述一级指标的排名权重和所述任一一级指标下的任一二级指标的排名权重，获取所述任一二级指标的第二权重。
基于上述任一实施例，所述可用性指标下的所述二级指标包括DNS成功率、TCP成功率、GET成功率和POST成功率；所述及时性指标下的所述二级指标包括DNS时延、TCP时延、GET时延和POST时延；所述稳定性指标下的所述二级指标包括速率和掉线率。
图5本发明实施例提供的电子设备的实体结构示意图，如图5示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储在存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的视频用户感知评估方法，例如包括：获取每一用户感知指标对应的数据；所述用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分；所述预设权重是基于所述每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的视频用户感知评估方法，例如包括：获取每一用户感知指标对应的数据；所述用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分；所述预设权重是基于所述每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频用户感知评估方法，其特征在于，包括：
获取每一用户感知指标对应的数据；所述用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；
基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分；所述预设权重是基于所述每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
2.根据权利要求1所述的方法，其特征在于，所述获取每一用户感知指标对应的数据，具体包括：
基于数据共享层，从S1-U接口获取XDR数据，并从所述XDR数据中获取每一用户感知指标对应的数据。
3.根据权利要求1所述的方法，其特征在于，所述基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分，之前还包括：
基于所述每一用户感知指标对应的样本数据，通过所述熵值法获取所述每一用户感知指标的第一权重；
基于所述每一用户感知指标对应的样本数据，通过所述模糊层次法获取所述每一用户感知指标的第二权重；
对所述每一用户感知指标的所述第一权重和所述第二权重进行耦合，得到所述每一用户感知指标的预设权重。
4.根据权利要求3所述的方法，其特征在于，所述基于所述每一用户感知指标对应的样本数据，通过所述熵值法获取所述每一用户感知指标的第一权重，之前还包括：
基于箱线法对所述每一用户感知指标对应的样本数据进行数据清洗。
5.根据权利要求3所述的方法，其特征在于，所述基于所述每一用户感知指标对应的样本数据，通过所述熵值法获取所述每一用户感知指标的第一权重，具体包括：
基于所述每一用户感知指标对应的样本数据，构建样本数据矩阵；
对所述样本数据矩阵进行标准化处理；
计算所述样本数据矩阵中每一元素在对应的所述用户感知指标中的占比，并基于所述样本数据矩阵中每一元素在对应的所述用户感知指标中的占比构建占比矩阵；
基于所述占比矩阵，计算每一所述用户感知指标的熵值；
基于所述每一用户感知指标的熵值，计算每一所述用户感知指标的第一权重。
6.根据权利要求3所述的方法，其特征在于，所述可用性指标、所述及时性指标和所述稳定性指标为一级指标，每一所述一级指标包括若干个二级指标；
对应地，所述基于所述每一用户感知指标对应的样本数据，通过所述模糊层次法获取所述每一用户感知指标的第二权重，具体包括：
基于每一所述一级指标及其重要程度，构建一级指标模糊矩阵；基于每一所述二级指标及其重要程度，构建二级指标模糊矩阵；
基于加法一致性，分别对所述一级指标模糊矩阵和所述二级指标模糊矩阵进行改造；
基于改造后的所述一级指标模糊矩阵，计算每一所述一级指标的排名权重；基于改造后的所述二级指标模糊矩阵，计算每一所述二级指标的排名权重；
基于任一所述一级指标的排名权重和所述任一一级指标下的任一二级指标的排名权重，获取所述任一二级指标的第二权重。
7.根据权利要求6所述的方法，其特征在于，所述可用性指标下的所述二级指标包括DNS成功率、TCP成功率、GET成功率和POST成功率；所述及时性指标下的所述二级指标包括DNS时延、TCP时延、GET时延和POST时延；所述稳定性指标下的所述二级指标包括速率和掉线率。
8.一种视频用户感知评估装置，其特征在于，包括：
获取单元，用于基于XDR数据获取每一用户感知指标对应的数据；所述用户感知指标包括可用性指标、及时性指标和稳定性指标中的至少一种；
评估单元，用于基于所述每一用户感知指标对应的数据，以及所述每一用户感知指标的预设权重，获取用户感知得分；所述预设权重是基于所述每一用户感知指标对应的样本数据，通过熵值法和/或模糊层次法得到的。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
CN201811510963.0A 2018-12-11 2018-12-11 一种视频用户感知评估方法和装置 Pending CN111314690A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811510963.0A CN111314690A (zh) 2018-12-11 2018-12-11 一种视频用户感知评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811510963.0A CN111314690A (zh) 2018-12-11 2018-12-11 一种视频用户感知评估方法和装置

Publications (1)

Publication Number Publication Date
CN111314690A true CN111314690A (zh) 2020-06-19

Family

ID=71146512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510963.0A Pending CN111314690A (zh) 2018-12-11 2018-12-11 一种视频用户感知评估方法和装置

Country Status (1)

Country Link
CN (1) CN111314690A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953563A (zh) * 2020-07-31 2020-11-17 中国移动通信集团江苏有限公司 用户识别的方法、装置、设备及计算机存储介质
CN113570238A (zh) * 2021-07-26 2021-10-29 北京浩瀚深度信息技术股份有限公司 一种互联网质量指标评估方法以及质量优化方法及系统
CN114493636A (zh) * 2022-01-26 2022-05-13 恒安嘉新（北京）科技股份公司 一种用户满意度确定方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101562830A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种客户感知评估方法及系统
CN101911716A (zh) * 2008-01-18 2010-12-08 汤姆森许可贸易公司 评估感知质量的方法
CN101982830A (zh) * 2010-11-12 2011-03-02 上海海事大学 一种船舶定线制方案综合评价指标体系和组合评价方法
CN104040953A (zh) * 2011-10-14 2014-09-10 T移动美国公司 视频传输的用户体验质量测试
CN104123680A (zh) * 2014-07-16 2014-10-29 贵州电力试验研究院 一种综合评价电网科技项目的后评估方法
CN105430383A (zh) * 2015-12-07 2016-03-23 广东电网有限责任公司珠海供电局 一种视频流媒体业务的体验质量评估方法
CN106251047A (zh) * 2016-07-20 2016-12-21 国网浙江省电力公司电力科学研究院 考虑隶属度可变的继电保护变权模糊综合状态评价方法
CN107968941A (zh) * 2016-10-19 2018-04-27 中国电信股份有限公司 用于评估视频用户体验的方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911716A (zh) * 2008-01-18 2010-12-08 汤姆森许可贸易公司 评估感知质量的方法
CN101562830A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种客户感知评估方法及系统
CN101982830A (zh) * 2010-11-12 2011-03-02 上海海事大学 一种船舶定线制方案综合评价指标体系和组合评价方法
CN104040953A (zh) * 2011-10-14 2014-09-10 T移动美国公司 视频传输的用户体验质量测试
CN104123680A (zh) * 2014-07-16 2014-10-29 贵州电力试验研究院 一种综合评价电网科技项目的后评估方法
CN105430383A (zh) * 2015-12-07 2016-03-23 广东电网有限责任公司珠海供电局 一种视频流媒体业务的体验质量评估方法
CN106251047A (zh) * 2016-07-20 2016-12-21 国网浙江省电力公司电力科学研究院 考虑隶属度可变的继电保护变权模糊综合状态评价方法
CN107968941A (zh) * 2016-10-19 2018-04-27 中国电信股份有限公司 用于评估视频用户体验的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953563A (zh) * 2020-07-31 2020-11-17 中国移动通信集团江苏有限公司 用户识别的方法、装置、设备及计算机存储介质
CN113570238A (zh) * 2021-07-26 2021-10-29 北京浩瀚深度信息技术股份有限公司 一种互联网质量指标评估方法以及质量优化方法及系统
CN114493636A (zh) * 2022-01-26 2022-05-13 恒安嘉新（北京）科技股份公司 一种用户满意度确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US20210326729A1 (en) Recommendation Model Training Method and Related Apparatus
CA2992563C (en) Method and system for applying probabilistic topic models to content in a tax environment to improve user satisfaction with a question and answer customer support system
US9043317B2 (en) System and method for event-driven prioritization
CN111314690A (zh) 一种视频用户感知评估方法和装置
CN109783227A (zh) 任务分配方法、装置、系统及计算机可读存储介质
CN108124271B (zh) 一种基于用户感知的网络质量评估方法及装置
CN103607309B (zh) 一种业务kqi与qoe的映射方法
WO2012142144A2 (en) Assessing application performance with an operational index
CN116781563A (zh) 一种网页服务细粒度的评估装置、评估方法和评估系统
CN111369084A (zh) 内容网络中资源质量评分方法
CN111242430A (zh) 电力设备供应商评价方法和装置
US20230334314A1 (en) Content recommendation method and apparatus, device, storage medium, and program product
CN105491167B (zh) 一种实时感知浏览器终端用户操作体验的实现方法
CN114285760A (zh) 一种网页访问质量评估方法及装置
CN114219346B (zh) 一种提高网络学习环境服务质量的方法及系统
JP6164596B2 (ja) キーワードターゲティングシステム、キーワードターゲティング装置、サーバ装置、キーワードターゲティング方法、及びプログラム
CN115909166A (zh) 一种视频评估方法、装置、电子设备和存储介质
CN112785418B (zh) 信贷风险建模方法、装置、设备及计算机可读存储介质
CN112632364A (zh) 新闻传播速度测评方法和系统
CN112488743A (zh) 一种满意度预测方法、网络设备及存储介质
TWI696401B (zh) 基地台之障礙辨識伺服器及方法
WO2023041051A1 (zh) 用户感知评估方法、装置、存储介质以及电子装置
KR20200019817A (ko) 온라인 교육의 질적 평가, 자동 순위 산정 방법 및 시스템
TWI507898B (zh) Sorting method and device of query result
CN113742243B (zh) 应用评测方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619