CN104023232A

CN104023232A - 基于层次分析和多元线性回归的移动视频质量评估方法

Info

Publication number: CN104023232A
Application number: CN201410301467.XA
Authority: CN
Inventors: 杨谈; 陈希宏; 金跃辉; 崔毅东; 陈莉萍; 姚俊武
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2014-06-27
Filing date: 2014-06-27
Publication date: 2014-09-03
Anticipated expiration: 2034-06-27
Also published as: CN104023232B

Abstract

一种基于层次分析和多元线性回归分析的移动视频质量评估方法。先确定影响移动视频业务的用户体验质量QoE的端到端各层性能指标，根据这些性能指标的属性和类型，利用层次分析法，将QoE的端到端各项性能指标划分为目标层、准则层和指标层，再利用多元线性回归分析，自下而上分别构建指标层对准则层、准则层对目标层的分层次影响模型，并不断调整影响模型的回归系数及其各个性能指标，最后建立指标层对目标层的影响模型，即QoE的端到端各项性能指标对移动视频质量影响的总回归模型，以供利用该层次化的评估总模型评估移动视频质量。本发明将移动视频主客观性能指标与用户体验质量结合，是一种全面、有效的用户体验质量评估方法。

Description

基于层次分析和多元线性回归的移动视频质量评估方法

技术领域

本发明涉及一种移动视频的质量评估方法，确切地说，涉及一种基于层次分析和多元线性回归分析的移动视频质量评估方法，属于移动通信的技术领域。

背景技术

随着Wi-Fi、3G和LTE等无线网络技术的兴起和广泛应用，以及智能手机和平板电脑的普及，移动终端的可用无线带宽大幅增加，移动视频业务得到大幅增长，成为包括移动运营商在内的服务提供商的主流业务之一。移动视频质量对用户体验的影响很大，如何对其质量进行评估，并真实地反映用户体验，是业务提供商关注和重视的问题。由于移动视频业务自身的复杂性，加之目前还没有完整的评估体系，因此很难评估移动视频的质量。这也给服务提供商在移动视频类业务相关的设备选型、网络和平台建设、运维带来了许多困难。

国内外标准化研究机构，如互联网工程任务组IETF(Internet EngineeringTask Force)、欧洲电信标准协会ETS(European Telecommunications StandardsInstitute)、国际电信联盟-远程通信标准化组织ITU-T(InternationalTelecommunication Union-Telecommunication Standardization Sector)、中国通信标准化协会CCSA(China Communications Standards Association)以及国际主流测量仪表厂商(如IXIA，IneoQuest)，都非常重视视频质量评估的研究，并提出了一系列视频质量评估指标，部分厂商还通过仪器对视频质量指标进行了精密的测量评估。但是，它们各自都有其局限性：只能进行客观性能指标的测量，无法真实地反映移动视频的用户体验质量QoE(Quality of Experience)。无法针对移动视频业务的特点和需求提供全面、清晰的移动视频质量评估。

在移动网络环境中传输高质量的视频是一件极富挑战性的工作，在视频编码、有线/无线网络传输、终端解码等多个环节，都存在着影响用户体验质量的因素。此外，移动视频质量对终端设备的性能指标等因素也十分敏感。在视频编码阶段，不同压缩格式的移动视频质量会有很大差别，在网络传输中，丢包和拥塞都会对移动视频质量产生较大的影响。而在观测阶段，移动终端的处理能力，以及屏幕尺寸等性能指标，都会对移动视频质量造成很大影响。

用户体验质量QoE可以直观地理解为用户对设备、网络和系统、应用或业务的质量和性能的主观综合感受，其包括业务的有效性和可用性等多方面，也是从业务应用的舒适度来定义的。通过QoE评估，运营商可以将用户对视频业务质量和性能综合的评价用于优化网络，从而提高用户对业务的满意度。提到QoE，需要和服务质量QoS(Quality of Services)进行对比。

ITU-T标准E.800建议的QoS最初定义是决定用户满意程度的服务性能的综合效果。QoS受诸多因素的混合作用影响，其中一些参数(包括视频分辨率、比特率和带宽等等)能够调整，而其它的一些因素(例如网络的吞吐率、时延和丢包率等)是无法控制的。为了提高用户的满意程度，需要通过综合考虑这些因素来提高视频业务的主观体验质量。从其定义来看，QoS可以理解为底层分组数据传输的关键性能指标KPI(Key Performance Indicator)，这些参数包括网络的时延、抖动、带宽、误码率等指标。从网络设备层面来说，这些指标易于监测和统计，而且，KPI从客观上反应了设备的性能。但是，用户的主观感受不是单纯地取决于QoS方面的因素。用户体验、用户期望或者用户兴趣都在某种程度上可能影响到用户的满意程度。这就是所谓的用户主观体验QoE。而且，可以明确的说，QoE与QoS并非是一个简单的线性关系，提高QoE需要综合考虑客观和主观两方面的不同因素的影响。

国际电信联盟标准化组织将QoE定义为衡量用户主观感受的指标，具体涵义是由终端用户所感知的一种应用或业务的总体可接受程度。由此可见，QoE本身是一项综合指标，其综合了业务层面、用户层面、网络层面和环境层面的多种影响因素。其中，影响QoE的主要因素包括：视频源节目质量、端到端的网络QoS、中间媒体的透明性、以及影响用户期望和特殊体验等相关的主客观因素。QoE不仅包含传输服务的客观测量参数，而且还强调用户对服务的整体接受感觉，受到用户的兴趣爱好等自身很多因素的影响。许多单独提出的QoE参数能够评估用户对于移动终端视频的感官质量或者可接受性，但是，由于用户体验的复杂性，仅仅凭借这些单一的参数很可能无法准确预测整体的用户体验质量QoE。只有少数的QoE框架考虑了移动终端多媒体应用整体过程的更多方面，但是，仍需转化成切实可行的评价体系。优化用户体验质量的挑战在于适应资源约束性(例如网络条件、移动终端承载能力和使用环境)，此外，还要满足用户的复杂需求(例如用户的使用目的和个人偏好)。

为了更好地评估QoE及其影响因素，通常采用量化方法衡量用户体验质量，从而反映移动视频质量与用户期望的差距。广泛采用的描述用户体验质量的方法是国际电信联盟建议的“平均意见分值”MOS(Mean Opinion Score)中提出的评价标准，它将QoE主观感受分为5个等级，由高到低依次为{优，良，中，差，劣}；对应本发明中的移动视频质量QoE评分值为{5，4，3，2，1}。这种方法是一种顺序量表法，它能够细致地描述用户体验质量，其中，体验评分值属于有序变量。目前，针对移动视频质量，经常通过建立数学模型来分析QoE及其影响因素之间的联系，例如，利用线性回归方法建立QoE与重要的性能指标之间的关系。但是，这种方法没有考虑性能指标之间的差异性，不同性能指标之间的差异性很大，导致在移动视频质量极好或极差时，用户体验质量的离散性增强。因此，通过统一考虑不同类型的性能指标，直接进行线性回归分析时，难以建立起有效的模型。

综上所述，如果结合性能指标的类型，采用层次分析法构建分层影响模型，再考虑性能指标的特点执行由下自上的逐层分析，对有效地评估移动视频质量会有很大帮助。

发明内容

有鉴于此，本发明的目的是克服现有解决方案的不足，提供一种全面考虑各项跨层次性能指标和分层次的基于层次分析和多元线性回归分析的移动视频质量评估方法，本发明从移动终端及其视频解码器提取影响视频质量的关键性能指标，并将性能指标按照类型划分多层次，结合用户主观感知QoE，构建一个准确评估用户体验质量的模型核评估方法。

为了达到上述目的，本发明提供了一种基于层次分析和多元线性回归分析的移动视频质量评估方法，是将移动视频业务的主客观性能指标与用户体验的视频质量相互结合，用于全面、有效地评估移动视频的用户体验质量；其特征在于：先确定影响移动视频业务的用户体验质量QoE(Quality of Experience)的端到端各层性能指标，根据移动视频质量性能指标属性及其类别，利用层次分析法，将所述QoE的端到端各项性能指标划分为目标层、准则层和指标层，再通过多元线性回归分析，自下而上分别构建指标层对准则层、准则层对目标层的分层次影响模型，并不断调整影响模型的回归系数及其各个性能指标，最后建立指标层对目标层的影响模型，即所述QoE的端到端各项性能指标对移动视频质量影响的总回归模型，以供利用该层次化的评估总模型评估移动视频质量；所述方法包括下列操作步骤：

(1)以移动视频质量为对象，确定影响用户体验质量的端到端的各项性能指标；

(2)根据性能指标的类别及其关联性和独立性，确定所构建的移动视频质量的层次影响模型是从上至下的三层架构：分别代表移动视频质量的目标层，代表无线链路、网络性能、视频编码和终端设备共四类性能指标的准则层，以及包括接收信号强度指示RSSI(Received Signal Strength Indication)、信噪比Ec/Io(Energy Chip/Interface Other Cell)、分辨率、帧率、比特率、移动终端的CPU主频、RAM容量和屏幕尺寸的多项参数性能指标的指标层；

(3)在不同的移动视频质量性能指标环境下，多次测试和记录不同性能指标下移动视频业务的各项性能指标参数及其用户体验评分值的样本数据，并用不同的数学变量分别表示各个不同的性能指标参数；

(4)构建指标层对准则层的影响模型：将获取的各项性能指标参数与用户体验评分值分为训练集和验证集，再将训练集中的数据代入指标层对准则层的影响模型，建立指标层各项性能指标对准则层中各类准则的影响模型；

(5)构建准则层对目标层的影响模型：采用等式两边取对数的数学变换和多元线性回归方法，分析准则层的无线链路、网络性能、视频编码、终端设备的各类性能指标对目标层移动视频质量的影响；

(6)根据步骤(4)和(5)分别建立的指标层对准则层、准则层对目标层的两个影响模型，推导得到指标层各项性能指标对移动视频质量目标层影响的总回归模型，以供利用该总回归模型评估移动视频质量：在移动终端采集影响移动视频业务的全部下述11项性能指标：信号强度RSSI、信噪比Ec/Io、时延、丢包、带宽、分辨率、帧率、比特率、移动终端的CPU主频、RAM容量和屏幕尺寸，并对全部11项指标参数进行归一化处理后，用作层次总模型的所有输入参数m＝(m₁,m₂,m₃,m₄,m₅,m₆,m₇,m₈,m₉,m₁₀,m₁₁)，计算得到用户体验质量的评估值QoE。

本发明基于层次分析和多元线性回归的移动视频质量评估方法的创新优点是：能够结合移动视频业务的特点和用户主观感受，准确评估用户体验质量，具体优点体现在：

第一，本发明全面考虑影响用户体验质量的端到端性能指标，按照指标的分类，包括：无线链路层、网络层、视频编码参数和终端设备的四大类性能指标。其中，无线链路层指标包括信号强度RSSI和信噪比Ec/Io；网络性能指标包含时延、带宽、丢包；视频编码性能指标包含分辨率、帧率、比特率；终端设备性能指标包含CPU主频、内存RAM容量大小和屏幕尺寸。考虑了上述多项性能指标的类型，构建分层次的模型，能够准确地评估用户体验质量。

第二，本发明采用层次分析法构建影响模型，巧妙利用数学变换，基于多元线性回归分析法计算影响模型的回归系数。在构建影响模型过程中，考虑到性能指标的不同类型，按照其特点层层分解，将移动视频质量的评估作为目标层，性能指标的四种类型作为准则层，各项性能指标作为指标层。首先通过多元线性回归建立指标层的性能指标对应准则层的四类性能指标的影响模型。其次，建立准则层四类性能指标对应目标层的影响模型。在构建准则层对目标层的影响模型时，经过对乘法公式的等号两边取对数的数学变换后，采用多元线性回归分析方法计算影响模型的系数。另外，在准则层对目标层的影响模型中，采用指数形式，有效减小了体验评分值的离散性对影响模型构建的影响。

第三，本发明实施过程中，仅通过移动终端及其解码器就能够采集各项跨层性能指标，同时QoE评分值的采集也依靠自主开发的播放功能软件，操作简单、易行，且符合移动视频业务端到端的环境要求，有利于评估用户体验质量。

第四，本发明基于层次分析和多元线性回归的移动视频质量评估方法，能够基于移动终端获取的指标集，对视频的质量进行评估。这对运营商和服务提供商改善网络质量，提高用户体验质量具有重要意义。对于用户而言，在使用移动视频业务时，通过评估模型的预测，也给用户在选择视频来源时提供了更多参考。

附图说明

图1是本发明构建的移动视频质量层次评估模型示意图。

图2是本发明移动视频业务端到端的流程及其指标采集和分类示意图。

图3是本发明基于层次分析和多元线性回归的移动视频质量评估方法操作步骤流程图。

图4是本发明的实际测试和数据处理实施例的操作流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

本发明基于层次分析和多元线性回归的移动视频质量评估方法，将移动视频业务的主客观性能指标与用户体验的视频质量相互结合，用于全面、有效地评估移动视频业务用户体验质量。该方法是先确定影响移动视频业务的用户体验质量QoE(Quality of Experience)的端到端各层性能指标，根据移动视频质量性能指标属性及其类别，利用层次分析法，将QoE的端到端全部各项性能指标划分为目标层、准则层和指标层(参见图1)，再通过多元线性回归分析，分别构建分层次的影响模型(即指标层对准则层、准则层对目标层的影响模型)，然后不断调整模型系数及其各个性能指标，自下而上逐层分析指标层对准则层、准则层对目标层的影响，最后建立指标层对目标层的影响模型，即QoE的端到端业务流程(参见图2)中各项性能指标对移动视频质量影响的总回归模型，以供利用该层次化的评估总模型评估移动视频质量。

参见图3，介绍本发明方法的下列具体操作步骤：

步骤1，以移动视频质量为对象，确定影响用户体验质量的端到端的各项性能指标。

步骤2，根据性能指标的类别及其关联性和独立性，确定所构建的移动视频质量的层次影响模型是从上至下的三层架构(参见图2)：分别代表移动视频质量的目标层，代表无线链路、网络性能、视频编码和终端设备共四类性能指标的准则层，以及包括接收信号强度指示RSSI(Received Signal StrengthIndication)、信噪比Ec/Io(Energy Chip/Interface Other Cell)、分辨率、帧率、比特率、移动终端的CPU主频、RAM容量和屏幕尺寸的多项参数性能指标的指标层。该步骤包括下列操作内容：

(21)将各项性能指标分别归纳为下述四类：无线链路、网络性能、视频编码和终端设备。其中：

无线链路性能指标，包括：移动终端在运营商基站覆盖范围内接收到的信号强度：RSSI，以及其接收信号时的干扰强度：信噪比Ec/Io。

网络性能指标，包括：时延：数据包从发送端到接收端的时间间隔；带宽：设定时间内能够通过的最大位数据；以及丢包率：丢失的数据包数量占发送的全部数据包的比率。

视频编码性能指标，包括：分辨率：视频源经过编码后的像素数量；帧率：每秒显示的视频帧数；以及比特率：单位时间内传输的比特数。

终端性能指标，包括：移动终端处理器CPU主频和内存RAM容量大小，以及终端屏幕的尺寸大小。

(22)在第一层目标层中，设置移动视频质量为QoE；并从第二层准则层开始，用数学变量表示不同的指标参数：在准则层中，设置无线链路、网络性能、视频编码和移动终端的各个性能指标参数分别为M₁、M₂、M₃和M₄；在第三层指标层中，设置无线链路性能中的信号强度RSSI和信噪比Ec/Io的性能质量参数分别为m₁₁和m₁₂；设置网络性能中的时延、带宽和丢包的性能指标参数分别为m₂₁，m₂₂和m₂₃；设置视频编码中的分辨率、帧率和比特率的性能指标参数分别为m₃₁，m₃₂和m₃₃；设置移动终端中的CPU主频、RAM容量和屏幕尺寸的性能指标参数分别为m₄₁，m₄₂和m₄₃；同时，规定上述各项性能指标参数的取值范围都在其参数物理含义内被分成5个等级，分别表示其性能质量的优、良、中、差、劣。

步骤3，在不同的移动视频性能指标环境下，多次测试和记录不同性能指标下移动视频业务的各项性能指标参数及其用户体验评分值的样本数据，并使用不同的数学变量分别表示各个不同的性能指标参数。

该步骤包括下列操作内容：

(31)因ITU评估标准是将用户对移动视频体验质量的满意度分为优、良、中、差、劣五个等级，故相应设置第一层目标层的移动视频质量QoE的评估值Q的取值范围为下述五种：分别为[1，2，3，4，5]分。

(32)对终端及其视频解码器执行多次测试，获取包括各项性能指标及其用户体验评分值的样本数据：从移动终端的无线通信接口获取信号强度RSSI和信噪比Ec/Io的无线链路性能参数m₁₁和m₁₂，从移动终端的网络接口获取时延、丢包和带宽的网络性能参数m₂₁，m₂₂和m₂₃，由视频解码器获取视频分辨率、帧率和比特率的视频编码性能参数m₃₁，m₃₂和m₃₃，从移动终端的系统文件获取CPU主频、RAM容量和屏幕尺寸的终端设备硬件性能参数m₄₁、m₄₂和m₄₃。

步骤4，构建第三层指标层对第二层准则层的影响模型：将获取的各项性能指标参数与用户体验评分值分为训练集和验证集，再将训练集中的数据代入指标层对准则层的影响模型，建立指标层各项性能指标对准则层中各类准则的影响模型。该步骤4的具体操作方式是：采用多元线性回归法分析影响准则层的各类性能指标，通过处理训练集，得到影响模型的回归参数，再利用验证集中的数据检验评估该影响模型的准确程度后，不断调整和修正影响模型的参数，构建完成指标层对准则层的影响模型。该步骤包括下述3个子步骤操作内容。

(41)获取步骤(32)中的全部各项性能指标和用户体验评分值的测试结果值后，先把指标层的各项性能指标参数作为自变量，准则层的性能指标参数为因变量；对测试结果数据进行归一化处理：以每项性能指标参数的最大绝对值作为分母，然后将该项性能指标参数的数值除以各自的分母，从而把各项性能指标参数的数值都缩小到(0,1)的区间内；再把归一化处理后的测试结果数据分成两部分：其中80％作为训练集和余下的20％作为验证集。

(42)利用归一化处理后的训练集数据计算指标层对准则层的影响模型的回归系数，指标层各项性能指标对其相应准则的多元线性回归影响模型的各项计算公式如下：

\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix} .

其中，

第一行公式中，M₁代表无线链路性能指标，m₁₁和x₁₁分别是信号强度RSSI的性能质量参数及其权重系数、也称回归系数，m₁₂和x₁₂分别是信噪比Ec/Io的性能质量参数及其权重系数，x₁₀是常数项。

第二行公式中，M₂代表网络层性能指标，m₂₁和x₂₁分别是时延的性能质量参数及其权重系数，m₂₂和x₂₂分别是带宽的性能质量参数及其权重系数，m₂₃和x₂₃分别是丢包的性能质量参数及其权重系数，x₂₀是常数。

第三行公式中，M₃代表视频编码性能指标，m₃₁和x₃₁分别是分辨率的性能质量参数及其权重系数，m₃₂和x₃₂分别是帧率的性能质量参数及其权重系数，m₃₃和x₃₃分别是比特率性能指标的质量参数及其权重系数，x₃₀是常数项。

第四行公式中，M₄代表终端参数性能指标，m₄₁和x₄₁分别是CPU主频性能质量参数及其权重系数，m₄₂和x₄₂分别是RAM容量性能质量参数及其权重系数，m₄₃和x₄₃分别是屏幕尺寸性能指标质量参数及其权重系数，x₄₀是常数项；

在上述多元线性回归影响模型四个公式中，每个公式中的回归系数计算公式为：x_i＝(m_i ^Tm_i)^-1m_i ^TM_i(i＝1,2,3,4)；其中，x_i＝(x_i0,x_i1,x_i2...)是由第i行公式中的所有回归系数x_i0,x_i1,x_i2...组成的矩阵，m_i ^T是第i行公式中的指标层的所有性能指标组成的矩阵m_i的转置矩阵，(m_i ^Tm_i)^-1是(m_i ^Tm_i)的逆矩阵，M_i是第i行公式中的准则层的所有准则性能指标组成的矩阵。

把训练集的数据代入上述计算公式，计算得到每个公式的回归系数，第一个公式的回归系数为x₁₀，x₁₁和x₁₂；第二个公式的回归系数为x₂₀，x₂₁，x₂₂和x₂₃；第三个公式的回归系数为x₃₀，x₃₁，x₃₂和x₃₃；第四个公式的回归系数为x₄₀，x₄₁，x₄₂和x₄₃；再把这4组回归系数分为四组：(x₁₀,x₁₁,x₁₂)，(x₂₀,x₂₁,x₂₂,x₂₃)，(x₃₀,x₃₁,x₃₂,x₃₃)，(x₄₀,x₄₁,x₄₂,x₄₃)。

(43)对计算得到的多元线性回归影响模型的回归系数的合理性进行验证：

首先分析模型的拟合优度R²：R²的数值应该满足在(0,1)范围内，并且应大于0.5，当R²越接近1时，拟合优度越好。

再进行方差分析：回归影响模型的分析结果中有两项方差：回归方差和残差，二者之和作为总方差；当回归方差与总方差的比值越大，说明回归影模型能够解释的数据越多，越符合实际情况；因残差与总方差之比也在(0,1)之间，故当残差与总方差之比越接近1的时候，回归影响模型的效果越好。

最后分析回归系数的显著程度t：因每个回归系数都有各自的显著程度t，用于表示该回归系数对应的自变量对因变量影响的显著性；当拟合优度和方差都满足条件时，各个回归系数的显著程度t也应满足位于(0.00，0.05)范围内，且数值越低，表明回归越显著。

若某个回归系数的显著程度t检验没有通过，则表明：该回归系数相对应的自变量对因变量的影响不显著，则从回归影响模型中剔除该性能指标，重新建立更为简单的回归影响模型或更换一个性能指标。

这样，分别建立第三层指标层的各项性能指标对第二层准则层中的四类准则性能质量之间的回归影响模型的计算公式：

\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix} .

步骤5，构建第二层准则层对第一层目标层的影响模型：采用等式两边取对数的数学变换和多元线性回归方法，分析准则层的无线链路、网络性能、视频编码、终端设备的各类性能指标对目标层移动视频质量的影响。

该步骤具体操作方式是：采用等式两边取对数的数学变换，将准则层中的各类准则对移动视频质量的影响因素的相乘之积转换为对数形式的多元线性累加之和，然后采用多元线性回归方法构建准则层对目标层的影响模型。

该步骤包括下列操作内容：

(51)构建第二层准则层，即无线链路、网络性能、视频编码和终端设备四类性能参数对第一层目标层的移动视频质量的影响模型的计算公式：其中，QoE，M₁，M₂，M₃和M₄分别是移动视频无线链路，网络性能，视频编码性能和终端参数的性能指标，α₀是第二层准则层四个性能指标的总系数，α₁、α₂、α₃和α₄是该四个性能指标各自的指数系数。

(52)对该影响模型计算公式两边分别进行取对数的变换，把各个自变量之间的乘法之积转换为各个自变量之间的加法之和，得到：

lg(QoE)＝α₁·lgM₁+α₂·lgM₂+α₃·lgM₃+α₄·lgM₄+α₀。

(53)以步骤(52)中的lg(QoE)为因变量，lgM₁，lgM₂，lgM₃和lgM₄作为自变量，同样采用多元线性回归分析法，计算得到多元线性回归影响模型的回归系数。该步骤具体操作是利用步骤(4)构建的影响模型计算公式

\{\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix},

计算各性能指标环境下的四类准则M_i性能质量参数，得到移动视频质量与四类准则M₁,M₂,M₃,M₄之间的测试结果数据，同样对其进行归一化处理后，按照80％和20％的比例将其区分成训练集和验证集。

(54)为了估计影响模型中的回归参数，把训练集中的测试数据代入步骤(52)中的计算公式：lg(QoE)＝α₁·lgM₁+α₂·lgM₂+α₃·lgM₃+α₄·lgM₄+α₀，再利用验证集中的测试数据，检验每个回归参数是否正确；经过不断调整，得出合理的回归影响模型后，就作为第二层准则层的四类准则对第一层目标层QoE的多元线性回归模型的各个回归系数：α₀,α₁,α₂,α₃,α₄，用于构建准则层对目标层的影响模型的基础。

(55)结合步骤(4)得到四组回归系数(x₁₀,x₁₁,x₁₂)，(x₂₀,x₂₁,x₂₂,x₂₃)，(x₃₀,x₃₁,x₃₂,x₃₃)，(x₄₀,x₄₁,x₄₂,x₄₃)，再构建第二层准则层与第一层目标层的性能指标之间的相互关系，得到性能指标对移动视频质量的回归影响模型计算公式为：

QoE = α_{0} \cdot {M_{1}}^{α_{1}} \cdot {M_{2}}^{α_{2}} \cdot {M_{3}}^{α_{3}} \cdot {M_{4}}^{α_{4}},

其中，

\{\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix} .

步骤6，根据上述两个步骤分别建立的指标层对准则层、准则层对目标层的两个影响模型，推导得到指标层各项性能指标对移动视频质量目标层影响的总回归模型，以供利用该总回归模型评估移动视频质量：在移动终端采集影响移动视频业务的全部下述11项性能指标：信号强度RSSI、信噪比Ec/Io、时延、丢包、带宽、分辨率、帧率、比特率、移动终端的CPU主频、RAM容量和屏幕尺寸，并对全部11项指标参数进行归一化处理后，用作层次总模型的所有输入参数m＝(m₁,m₂,m₃,m₄,m₅,m₆,m₇,m₈,m₉,m₁₀,m₁₁)，计算得到用户体验质量的评估值QoE。

本发明已经进行了多次实施试验(图4是本发明实际测试和数据处理实施例的操作流程)，试验结果数据表明：本发明移动视频质量评估方法达到了发明的预期目的。

Claims

1.一种基于层次分析和多元线性回归分析的移动视频质量评估方法，是将移动视频的主客观性能指标与用户体验的视频质量相互结合，用于全面、有效地评估移动视频业务的用户体验质量；其特征在于：先确定影响移动视频业务的用户体验质量QoE(Quality of Experience)的端到端各层性能指标，根据移动视频质量性能指标属性及其类别，利用层次分析法，将所述QoE的端到端各项性能指标划分为目标层、准则层和指标层，再通过多元线性回归分析，自下而上分别构建指标层对准则层、准则层对目标层的分层次影响模型，并不断调整影响模型的回归系数及其各个性能指标，最后建立指标层对目标层的影响模型，即所述QoE的端到端各项性能指标对移动视频质量影响的总回归模型，以供利用该层次化的评估总模型评估移动视频质量；所述方法包括下列操作步骤：

(3)在不同的移动视频性能指标环境下，多次测试和记录不同性能指标下移动视频的各项性能指标参数及其用户体验评分值的样本数据，并用不同的数学变量分别表示各个不同的性能指标参数；

(6)根据步骤(4)和(5)分别建立的指标层对准则层、准则层对目标层的两个影响模型，推导得到指标层各项性能指标对移动视频质量目标层影响的总回归模型，以供利用该总回归模型评估移动视频质量：在移动终端采集影响移动视频质量的全部下述11项性能指标：信号强度RSSI、信噪比Ec/Io、时延、丢包、带宽、分辨率、帧率、比特率、移动终端的CPU主频、RAM容量和屏幕尺寸，并对全部11项指标参数进行归一化处理后，用作层次总模型的所有输入参数m＝(m₁,m₂,m₃,m₄,m₅,m₆,m₇,m₈,m₉,m₁₀,m₁₁)，计算得到用户体验质量的评估值QoE。

2.根据权利要求1所述的方法，其特征在于：所述步骤(2)包括下列操作内容：

(21)将各项性能指标分别归纳为下述四类：无线链路、网络性能、视频编码和终端设备；其中：

无线链路性能指标包括：移动终端在运营商基站覆盖范围内接收到的信号强度RSSI和移动终端接收信号时的信噪比Ec/Io；

网络性能指标包括：时延：数据包从发送端到接收端的时间间隔，带宽：设定时间内能够通过的最大位数据，以及丢包率：丢失的数据包数量占发送的全部数据包的比率；

视频编码性能指标包括：分辨率：视频源经过编码后的像素数量，帧率：每秒显示的视频帧数，以及比特率：单位时间内传输的比特数；

终端性能指标包括：移动终端处理器CPU主频和内存RAM容量大小，以及终端屏幕的尺寸大小；

3.根据权利要求1所述的方法，其特征在于：所述步骤(3)包括下列操作内容：

(31)因ITU评估标准是将用户对移动视频体验质量的满意度分为优、良、中、差、劣五个等级，故相应设置第一层目标层的移动视频质量QoE的评估值Q的取值范围为下述五种：分别为[1，2，3，4，5]分；

4.根据权利要求1所述的方法，其特征在于：所述步骤(4)的具体操作方式是：采用多元线性回归法分析影响准则层的各类性能指标，通过处理训练集，得到影响模型的回归参数，再利用验证集中的数据检验评估该影响模型的准确程度后，不断调整和修正影响模型的参数，构建完成指标层对准则层的影响模型。

5.根据权利要求4所述的方法，其特征在于：所述步骤(4)包括下列操作内容：

(41)获取步骤(32)中的全部各项性能指标和用户体验评分值的测试结果值后，先把指标层的各项性能指标参数作为自变量，准则层的性能指标参数作为因变量，对测试结果数据进行归一化处理：以每项性能指标参数的最大绝对值作为分母，然后将该项性能指标参数的数值除以各自的分母，从而把各项性能指标参数的数值都缩小到(0,1)的区间内；再把归一化处理后的测试结果数据分成两部分：其中80％作为训练集和余下的20％作为验证集；

\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix};

其中，

第一行公式中，M₁代表无线链路性能指标，m₁₁和x₁₁分别是信号强度RSSI的性能质量参数及其权重系数、也称回归系数，m₁₂和x₁₂分别是信噪比Ec/Io的性能质量参数及其权重系数，x₁₀是常数项；

第二行公式中，M₂代表网络层性能指标，m₂₁和x₂₁分别是时延的性能质量参数及其权重系数，m₂₂和x₂₂分别是带宽的性能质量参数及其权重系数，m₂₃和x₂₃分别是丢包的性能质量参数及其权重系数，x₂₀是常数；

第三行公式中，M₃代表视频编码性能指标，m₃₁和x₃₁分别是分辨率的性能质量参数及其权重系数，m₃₂和x₃₂分别是帧率的性能质量参数及其权重系数，m₃₃和x₃₃分别是比特率性能指标的质量参数及其权重系数，x₃₀是常数项；

在上述多元线性回归影响模型四个公式中，每个公式中的回归系数计算公式为：x_i＝(m_i ^Tm_i)^-1m_i ^TM_i(i＝1,2,3,4)；其中，x_i＝(x_i0,x_i1,x_i2...)是由第i行公式中的所有回归系数x_i0,x_i1,x_i2...组成的矩阵，m_i ^T是第i行公式中的指标层的所有性能指标组成的矩阵m_i的转置矩阵，(m_i ^Tm_i)^-1是(m_i ^Tm_i)的逆矩阵，M_i是第i行公式中的准则层的所有准则性能指标组成的矩阵；

把训练集的数据代入上述计算公式，计算得到每个公式的回归系数，第一个公式的回归系数为x₁₀，x₁₁，x₁₂；第二个公式的回归系数为x₂₀，x₂₁，x₂₂，x₂₃；第三个公式的回归系数为x₃₀，x₃₁，x₃₂，x₃₃；第四个公式的回归系数为x₄₀，x₄₁，x₄₂，x₄₃；再把这4组回归系数分为四组：(x₁₀,x₁₁,x₁₂)，(x₂₀,x₂₁,x₂₂,x₂₃)，(x₃₀,x₃₁,x₃₂,x₃₃)，(x₄₀,x₄₁,x₄₂,x₄₃)；

(43)对计算得到的多元线性回归影响模型的回归系数的合理性进行验证；

首先分析影响模型的拟合优度R²，R²的数值应该在(0,1)范围内，并且应大于0.5，当R²越接近1时，拟合优度越好；

再进行方差分析：回归影响模型的分析结果中有两项方差：回归方差和残差，二者之和作为总方差；当回归方差与总方差的比值越大，说明回归影模型能够解释的数据越多，越符合实际情况；因残差与总方差之比也在(0,1)之间，故当残差与总方差之比越接近1的时候，回归影响模型的效果越好；

最后分析回归系数的显著程度t：因每个回归系数都有各自的显著程度t，用于表示该回归系数对应的自变量对因变量影响的显著性；当拟合优度和方差都满足条件时，各个回归系数的显著程度t也应满足位于(0.00，0.05)范围内，且数值越低，表明回归越显著；

若某个回归系数的显著程度t检验没有通过，则表明：该回归系数相对应的自变量对因变量的影响不显著，则从回归影响模型中剔除该性能指标，重新建立更为简单的回归影响模型或更换一个性能指标；

\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix} .

6.根据权利要求1所述的方法，其特征在于：所述步骤(5)的具体操作方式是：采用等式两边取对数的数学变换，将准则层中的各类准则对移动视频质量的影响因素的相乘之积转换为对数形式的多元线性累加之和，然后采用多元线性回归方法构建准则层对目标层的影响模型。

7.根据权利要求6所述的方法，其特征在于：所述步骤(5)包括下列操作内容：

(51)构建第二层准则层，即无线链路、网络性能、视频编码和终端设备四类性能参数对第一层目标层的移动视频质量的影响模型的计算公式：其中，QoE，M₁，M₂，M₃和M₄分别是移动视频无线链路，网络性能，视频编码性能和终端参数的性能指标，α₀是第二层准则层四个性能指标的总系数，α₁、α₂、α₃和α₄是该四个性能指标各自的指数系数；

lg(QoE)＝α₁·lgM₁+α₂·lgM₂+α₃·lgM₃+α₄·lgM₄+α₀；

(53)以步骤(52)中的lg(QoE)为因变量，lgM₁，lgM₂，lgM₃和lgM₄作为自变量，同样采用多元线性回归分析法，计算得到多元线性回归影响模型的回归系数：

(54)为了估计影响模型中的回归参数，把训练集中的测试数据代入步骤(52)中的计算公式：lg(QoE)＝α₁·lgM₁+α₂·lgM₂+α₃·lgM₃+α₄·lgM₄+α₀，再利用验证集中的测试数据，检验每个回归参数是否正确；经过不断调整，得出合理的回归影响模型后，就作为第二层准则层的四类准则对第一层目标层QoE的多元线性回归模型的各个回归系数：α₀,α₁,α₂,α₃,α₄，用于构建准则层对目标层的影响模型的基础；

(55)结合步骤(4)得到的四组回归系数(x₁₀,x₁₁,x₁₂)，(x₂₀,x₂₁,x₂₂,x₂₃)，(x₃₀,x₃₁,x₃₂,x₃₃)，(x₄₀,x₄₁,x₄₂,x₄₃)，再构建第二层准则层与第一层目标层的性能指标之间的相互关系，得到性能指标对移动视频质量的回归影响模型计算公式为：

QoE = α_{0} \cdot {M_{1}}^{α_{1}} \cdot {M_{2}}^{α_{2}} \cdot {M_{3}}^{α_{3}} \cdot {M_{4}}^{α_{4}},

其中，

\{\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix} .

8.根据权利要求7所述的方法，其特征在于：所述步骤(53)的具体操作是利用步骤(4)构建的影响模型计算公式

\{\begin{matrix} M_{1} = x_{11} \cdot m_{11} + x_{12} \cdot m_{12} + x_{10} \\ M_{2} = x_{21} \cdot m_{21} + x_{22} \cdot m_{22} + x_{23} \cdot m_{23} + x_{20} \\ M_{3} = x_{31} \cdot m_{31} + x_{32} \cdot m_{32} + x_{33} \cdot m_{33} + x_{30} \\ M_{4} = x_{41} \cdot m_{41} + x_{42} \cdot m_{42} + x_{43} \cdot m_{43} + x_{40} \end{matrix},

计算各项性能指标环境下的四类准则M_i性能质量参数，得到移动视频质量与四类准则M₁,M₂,M₃,M₄之间的测试结果数据，同样对其进行归一化处理后，再按照80％和20％的比例将其区分成训练集和验证集。