CN103686218A - 一种MIMO-OFDM系统下基于QoE的跨层优化视频传输方法及系统 - Google Patents

Abstract

本发明提出一种MIMO-OFDM系统下跨层优化视频传输方法及系统，该方法采用对终端QoE预测为优化目标的策略，所述的方法包含如下步骤：步骤101）用于根据视频内容类型、帧率、视频发送比特率和丢包率构造获得用户期望平均意见值的用户体验质量预测模型的步骤；步骤102）用于获得所述用户体验质量预测模型中各参数具体取值并获取视频包传输时延最大值的步骤；步骤103）用于采用遍历算法获取最大传输时延条件下用户期望平均意见分的最大值所对应的参数值作为最优参数值，所述的最优参数值包含视频编码参数值和调制编码方式参数值，最后分别对应用层的视频编码参数和物理层的调制编码方式对视频进行编码和传输。

Description

一种MIMO-OFDM系统下基于QoE的跨层优化视频传输方法及系统

技术领域

本发明涉及无线视频传输优化，具体地说，本发明涉及一种MIMO-OFDM系统下基于QoE的对视频传输进行跨层优化的实现方法及系统。

背景技术

随着通信技术的迅速发展，无线通信系统在网络容量和可靠性上有了长足的进步。多输入多输出（MIMO）技术和正交频分复用（OFDM）技术的结合使得无线通信系统更有效的支持高速率数据传输和对符号间干扰的抑制（ISI）。在MIMO-OFDM技术的支持下，无线多媒体服务应用范围越来越广，众多的终端用户对所接收到的多媒体质量要求也越来越高。如何在MIMO-OFDM系统下使终端用户获得满意的多媒体服务质量逐渐成为了研究热点。

传统的方法是对已有的算法和协议进行改进，使得视频编码和传输可以更好适应时变易错的无线网络，同时在无线通信系统中进行多媒体的高速高质量传输也取得了很多进展。例如自适应帧间模式选择、联合信源信道速率控制、可伸缩视频编码（SVC）。这些方法在一定程度上取得了高效的、高质量的多媒体传输，但这些方法都是以某些客观的网络参数或视频质量为目标进行优化的，而没有考虑到终端用户的体验质量。

为了更好的衡量终端用户体验，ITU-T SG 12提出了用户体验质量（QoE）的概念。QoE被定义为终端用户对接收到的应用或服务的主观整体可接受性。它是从终端用户的角度进行端到端性能的主观测量方法。QoE是以平均意见分（MOS）的方式进行量化的，包括五个分值：5（优秀）、4（好）、3（一般）、2（不好）、1（差）。然而，主观评估方法需要人为去评分，这样既复杂又耗时。本发明提出了一种针对实时视频传输系统的客观QoE预测模型，该方法同时考虑应用层和网络层参数，并在实际应用中取得了很好的效果。

基于上述QoE预测模型，在MIMO-OFDM系统中我们提出了一种全新的跨层优化视频传输方法。系统中采用了无参考QoE预测模型，该模型综合考虑视频内容类型（CT）、帧率（FR）、视频发送比特速率（SBR）和丢包率（PER）计算出MOS期望值。应用层的视频编码参数和物理层的MCS类型被联合优化以使终端用户的MOS最大化。当视频包丢失或者传输时延大于最大时延限制时，解码端是不能够进行正确解码的。综上所述，本文提出的方法可以转化为最大时延限制下的寻找最优参数组合的问题，这个问题可以由改进的遍历算法进行求解。通过算法复杂度分析，本文所提出的方法是合理的。

本发明用到的英文缩写与全称对照对照如下：

MIMO：multiple-input multiple-output，多输入多输出

OFDM：orthogonal frequency division multiplexing，正交频分复用

QoE：quality of experience，用户体验质量

CT：video content type，视频内容类型

FR：frame rate，帧率

SBR：frame rate，视频发送比特速率

PER：packet error rate，丢包率

MOS：mean opinion score，平均意见分

QP：quantization parameter，视频编码量化参数

MMIB：mean mutual information per coded bit，平均比特互信息

MCS：modulation and coding scheme，调制编码方法

SNR：signal to noise ratio，信噪比

MIB：mutual information per coded bit，比特互信息

RB：resource block，资源块

BLER：block error rate，误块率

ISI：resistance to inter-symbol interference，对符号间干扰的抑制

SVC：scalable video coding，可伸缩视频编码

AMC：adaptive modulation and coding，自适应调制编码

发明内容

本发明的目的在于，为了使终端用户获得满意的视频服务，通过优化视频编码的参数、传输方式，有效的适应多变易错的无线信道。

为实现上述目的，本发明提供了一种MIMO-OFDM系统下跨层优化视频传输方法，该方法采用对终端QoE预测为优化目标的策略，所述的方法包含如下步骤：

步骤101）用于根据视频内容类型、帧率、视频发送比特率和丢包率构造获得用户期望平均意见值的用户体验质量预测模型的步骤；

步骤102）用于获得所述用户体验质量预测模型中各参数具体取值并获取视频包传输时延最大值的步骤；

步骤103）用于采用遍历算法获取最大传输时延条件下用户期望平均意见分的最大值所对应的参数值作为最优参数值，所述的最优参数值包含视频编码参数值和调制编码方式参数值，最后分别对应用层的视频编码参数和物理层的调制编码方式对视频进行编码和传输；

其中，所述视频内容类型根据视频特征进行划分，所述帧率根据终端用户以及解码器需求反馈确定，所述视频发送比特率是对视频序列编码后进行传输时，以视频包为单位计算所获得的速率，所述丢包率是视频包在无线链路进行传输时所发生的无线衰落丢包。

可选的，所述用户体验质量预测模型为：

$\mathrm{MOS}=\frac{\mathrm{\α}+\mathrm{\βFR}+\mathrm{\γ}\ln \left(\mathrm{SBR}\right)}{1+\mathrm{\μPER}+\mathrm{\δ}{\left(\mathrm{PER}\right)}^2}$

其中，α、β、γ、μ和δ均为度量系数，所述度量系数依据划分的视频内容类型采用统计学方法获得；FR为帧率；PER为丢包率；MOS为用户期望平均意见分。

上述技术方案中，所述步骤102）进一步包含：

步骤102-1）依据视频内容所述的类型采用统计学方法获取不同视频内容类型所对应的各度量系数的具体取值；

所述视频内容分类依据的统计学方法由以下策略获得：

首先，从视频序列中提取空域和时域特征，然后根据视频特征用簇分析的方法把视频序列归类到具有相似特性的视频组中，所述的视频组具体包含以下三类：缓慢移动型、普通移动型和快速移动型；

步骤102-2）获取视频发送比特率SBR的值，具体计算公式为：

${\mathrm{SBR}}_{m,n}=\frac{L_{m,n}\left({\mathrm{QP}}_{m,n}\right)}{\mathrm{FR}*N_m},\{1\≤n\≤N_m,1\≤m\≤M\}$

其中，m为任意帧的序号，M为视频序列中帧的总数，n是帧m中包含的任意片的序号，N_m表示每帧中包含的总片数，L_m,n(QP_m,n)表示编码后的视频包长度，QP_m，n表示第m帧第n片所采用的量化参数，FR当前视频序列的帧率；

步骤102-3）使用平均比特互信息方法估计丢包率PER并依据传输时间间隔获得传输时延。

上述技术方案中，所述丢包率PER采用下述方法获取：

首先，将物理层中每个子载波的信噪比映射成每个子载波的比特互信息；

然后，由每个子载波的比特互信息求得资源块的平均比特互信息和每个码块的误块率BLER；

最后，依据如下公式获得丢包率PER：

${\mathrm{PER}}_{m,n}=1-\underset{k=1}{\overset{K}{\mathrm{\Π}}}(1-{\mathrm{BLER}}_k)$

其中，BLER_k表示误块率，k表示第m帧第n片中码块的序号，K表示第m帧第n片中包含的码块的总数。

上述技术方案中，步骤103）所述的遍历算法采用两分法遍历算法，该两分法遍历算法为：

首先，将V_m，n划分为两个子集合V₁和V₂，两个集合中QP值分别是偶数和奇数；

然后，对V₁进行搜索，当我们在V₁集合中搜索到最优的参数组合时，将对当前最优参数集合在V_m，n的两个相近的参数组合进行搜索；最终找到的参数组合为最优参数组合，该处的参数组合包含：应用层视频编码参数QP和物理层调制编码参数；

其中，V_m，n表示对第m帧第n片视频序列进行编码传输的待选择的参数组合集，所述参数包含：视频编码参数和调制编码方式参数；V₁和V₂分别代表V_m，n中QP为偶数和基数时的情况，QP表示。

基于上述方法本发明还提供了一种基于QoE的跨层优化视频传输系统，该系统依据用户期望平均意见提高MIMO-OFDM系统的视频传输效率，所述的系统包含：

建模模块，用于根据视频内容类型、帧率、视频发送比特率和丢包率构造获得用户期望平均意见值的用户体验质量预测模型；

第一处理模块，用于获得所述用户体验质量预测模型中各参数具体取值及获取视频包传输时延最大值；和

最优参数决策模块，用于采用遍历算法获取最大延时条件下用户期望平均意见值的最大值所对应的参数值，作为最优参数值分别对应用层的视频编码参数和物理层的调制编码方法对视频进行编码和传输；

其中，所述视频内容类型根据视频时域和空域特征进行划分的，所述帧率FR依据用户端的解码器和需求来决定，所述视频发送比特率是对视频序列进行编码后在传输时，以视频包为单位计算所获得的速率，所述丢包率是视频包在无线链路进行传输时所发生的无线衰落丢包。

上述技术方案中，所述用户体验质量预测模型为：

$\mathrm{MOS}=\frac{\mathrm{\α}+\mathrm{\βFR}+\mathrm{\γ}\ln \left(\mathrm{SBR}\right)}{1+\mathrm{\μPER}+\mathrm{\δ}{\left(\mathrm{PER}\right)}^2}$

其中，α、β、γ、μ和δ均为度量系数，所述度量系数依据划分的视频内容类型采用统计学方法获得；FR为帧率；PER为丢包率；MOS为用户期望平均意见函数名。

上述技术方案中，所述第一处理模块进一步包含：

度量系数值获取子模块，用于依据视频内容所述的类型采用统计学方法获取不同视频内容类型所对应的各度量系数的具体取值；

所述视频内容所述的类型依据以下策略获得：

首先，从视频序列中提取空域和时域特征，然后根据视频特征用簇分析的方法把视频序列归类到具有相似特性的视频组中，所述的视频组具体包含以下三类：缓慢移动型、普通移动型和快速移动型；

视频发送比特率获取子模块，用于获取视频发送比特率SBR的值，具体计算公式为：

${\mathrm{SBR}}_{m,n}=\frac{L_{m,n}\left({\mathrm{QP}}_{m,n}\right)}{\mathrm{FR}*N_m},\{1\≤n\≤N_m,1\≤m\≤M\}$

其中，m为任意帧的序号，M为视频序列中帧的总数，n是帧m中包含的任意片的序号，N_m表示每帧中包含的总片数，L_m,n(QP_m,n)表示编码后的视频包长度，QP_m，n表示第m帧第n片所采用的量化参数，FR当前视频序列的帧率；

无线链路性能参数获取子模块，用于使用平均比特互信息方法估计丢包率PER和传输时延。

上述技术方案中，所述丢包率PER采用下述方法获取：

首先，将物理层中每个子载波的信噪比映射成每个子载波的比特互信息；

然后，由每个子载波的比特互信息求得资源块的平均比特互信息和每个码块的误块率BLER；

最后，依据如下公式获得丢包率PER：

${\mathrm{PER}}_{m,n}=1-\underset{k=1}{\overset{K}{\mathrm{\Π}}}(1-{\mathrm{BLER}}_k)$

其中，BLER_k表示误块率，k表示第m帧第n片中码块的序号，K表示第m帧第n片中包含的码块的总数。

总之，本发明通过使用无参考QoE预测模型对编码参数和传输方式进行优化，使视频传输实时的适应多变易错的无线信道，同时终端用户可以接收到很好的视频服务质量，实施起来简单，运行稳定可靠。

与现有技术相比本发明的优点在于：

1、无参考QoE预测模型不需要对原始视频进行复杂的运算，减少了算法的复杂度，同时参考了应用层和网络层的参数，可以对终端QoE进行实时精确的预测，使得优化更精确。

2、通过使用MMIB的方法对无线链路状态进行精确的估计，求出的PER更能代表无线链路的状态，整个优化更准确。

3、通过使用改进的遍历算法对优化问题进行求解，使得计算更方便，整个过程耗时更少。

附图说明

图1是本发明的MIMO-OFDM系统下基于QOE的跨层优化视频传输框架示意图；

图2是本发明的MIMO-OFDM系统下基于QOE的跨层优化视频传输框架流程图。

具体实施方式

下面结合附图对本发明的技术方案做出详细解释。

为实现该目的本发明提出的一种MIMO-OFDM系统下基于QoE预测模型的跨层优化视频传输方法，所述视频传输方法在每次视频传输前对待传输的视频序列进行预处理，直至从设定的包含视频编码参数和传输参数的集合中选中最优的视频编码参数和传输参数才最终向用户端发送其所需的视频序列。该方法如图2所示，具体包含如下步骤：

步骤101）在视频序列发送端根据优化需要设置一初始参数集合，该参数集合包含若干二维元素，所述二维元素分别为：视频编码参数和传输参数；

步骤102）当有某用户需求的新视频序列到达发送端时：

首先，判定视频内容所属的类型，在本发明中将视频类型划分为以下三类（但是并不限于这几种类型，本领域技术人员可以受到启发依据具体情况划分为其它类型）：缓慢移动型、普通移动型和快速移动型，依据视频内容所属的具体类型确定后续的QoE模型中的系数；

其次，从所述参数组合中选择某一元素所对应的编码及传输参数，在编码端对待传输的视频序列进行编码和传输的预处理；并依据上述预编码和传输参数计算SBR，针对该SBR参数的计算公式在后续部分进行记载；

步骤103）所述发送端接收用户端反馈的无线链路性能参数和FR参数，并依据所反馈的无线链路性能参数及编码和传输参数计算PER和传输时延；

步骤104）根据步骤102）用户端反馈的FR、计算得到的SBR、PER和传输时延值依据设定的QoE预测模型获得针对该元素的MOS值；

其中，所述QoE模型及各个参数的计算公式在下一部分进行详细阐述。

步骤105）选取参数组合中的另一个元素重复上述步骤102）-104），直至参数组合中的所有元素均进行了上述操作获得了针对各个元素的MOS值，然后将满足传输时延条件的最大的MOS值所对应的元素包含的编码参数和传输参数对待传输的视频数据进行最终编码调制，并将依据最优的编码参数和调制参数处理后的数据向用户端进行发送。

下面对上述方法所涉及的所有公式和算法进行详细具体的阐述。

1）本发明的系统框架：

本发明包括如图1所示的系统框架，其中包含5个不同的功能模块，例如视频内容分类、视频编码、编码调制、无线链路性能估计和基于QOE预测模型的跨层优化控制。

系统中将视频序列从缓慢移动到快速运动分为三种类型，包括：缓慢移动（SM）、普通移动（GW）、快速移动（RM）。当原始视频序列进入系统的时候，视频内容分类模块会从视频序列中提取空域和时域特征，然后根据视频特征用簇分析的方法把视频序列归类到具有相似特性的视频组中。

视频编码器采用H.264／AVC标准。在H.264／AVC标准中，标量量化是H.264／AVC中的一项重要技术，它可以对视频编码进行不同程度的压缩，起到权衡编码序列大小和视频质量的作用。量化参数（QP）一共有52个值（0~51），分别代表着从0.625到224不同的量化步长。在我们所提出的系统中，QP作为应用层的调整参数。

编码调制模块采用自适应调制编码（AMC）技术，可以在物理层用来增强无线链路传输性能，不同的调制星座和不同的错误控制码率的组合被用来适应时变链路特性。系统中采用了三种MCS模式作为系统的物理层调整参数，包括：QPSK,16-QAM和64-QAM。

QoE预测模型采用了无参考视频质量评估的方法来预测MOS。无线链路性能估计模块可以精确获得PER和视频传输时延，其中PER是采用平均比特互信息（MMIB）的方法计算得到的。QoE预测模块和链路性能估计模块将分别在第三部分和第四部分进行详细阐述。

如图1所示，当有原始视频序列到达系统时，QoE预测模块将分别从视频内容分类、视频编码、编码调制和链路性能估计四个模块分别获取视频CT、视频编码参数、MCS类型和链路性能参数，然后计算出MOS期望值。基于MOS期望值，跨层优化模块选择最优的参数组合，最终提升终端用户QoE。

2)QoE预测模型

以上技术方案中描述的QoE预测模型具体可采用无参考视频质量评估方法，但不仅限于此种模型，为了描述技术方案的方便在此以无参考视频质量评估为例，由于此模型在计算MOS期望值时，综合考虑了视频内容类型（CT）、帧率（FR）、发送比特速率（SBR）和无线链路丢包率（PER）。具体如公式1所示。

$\mathrm{MOS}=\frac{\mathrm{\α}+\mathrm{\βFR}+\mathrm{\γ}\ln \left(\mathrm{SBR}\right)}{1+\mathrm{\μPER}+\mathrm{\δ}{\left(\mathrm{PER}\right)}^2}---\left(1\right)$

在QoE预测模型所考虑的参数中，CT是由视频内容分类模块获取的。视频内容分类模块可以将原始视频序列分类到三种视频内容类型之一。在QoE预测模型中不同视频类型具有不同的度量系数，具体如表1所示。

表I.三种视频内容类型的QOE预测模型的度量系数

Coefficient	SM	GW	RM
					2.797	2.273	-0.0228
β	-0.0065	-0.0022	-0.0065
				γ	0.2498	0.3322	0.6582
μ	2.2073	2.4984	10.0437
				δ	7.1773	3.7433	0.6865

FR是由解码器和终端用户的需求来决定的。例如，电影视频通常采用24帧每秒（fps）的帧率；电视视频在PAL制式下采用25fps，在NTSL制式下采用29.97fps；在因特网中，由于不同的解码器和不同终端用户的需求，帧率有一个很宽的波动范围。在本系统中，帧率采用30fps的固定值。

在应用层的视频编码器中，每个视频片的长度取决于参数QP。SBR是由视频片长、帧率和每帧中包含的片长数来决定，具体如公式2所示。

${\mathrm{SBR}}_{m,n}=\frac{L_{m,n}\left({\mathrm{QP}}_{m,n}\right)}{\mathrm{FR}*N_m},\{1\≤n\≤N_m,1\≤m\≤M\}.---\left(2\right)$

在公式中m(1≤m≤M)是帧的序号，n(1≤n≤N_m)是帧m中包含的片的序号。L_m,n(QP_m,n)表示视频片长。

在对视频帧的片进行传输时，每片的链路性能参数PER可以由MMIB估计方法在给定的MCS类型下计算得到。具体的过程在下一部分详细介绍。

3)无线链路性能估计

为了更好的对视频传输进行跨层优化，在MIMO-OFDM系统下的无线链路性能需要被精确估计。通过比较可知，MMIB估计方法可以获得精确的链路性能参数。本系统采用MMIB的估计方法，对PER这一重要的无线链路性能参数进行估计。

采用MMIB估计方法来获取PER分为三步。首先，系统将物理层中每个子载波的信噪比（SNR）反馈到链路性能估计模块。在链路性能估计模块中给定的MCS类型情况下，SNR将被映射成每个子载波的比特互信息（MIB），具体如公式3所示。

$\mathrm{MIB}({\mathrm{\γ}}_{i,j},b)=\left\{\begin{array}{c}G\left(2\sqrt{{\mathrm{\γ}}_{i,j}}\right),\mathrm{ifb}=2;\\ \frac{1}{2}G\left(0.8\sqrt{{\mathrm{\γ}}_{i,j}}\right)+\frac{1}{4}G\left(2.17\sqrt{{\mathrm{\γ}}_{i,j}}\right)+\frac{1}{4}G\left(0.965\sqrt{{\mathrm{\γ}}_{i,j}}\right),\mathrm{ifb}=4;\\ \frac{1}{3}G\left(1.47\sqrt{{\mathrm{\γ}}_{i,j}}\right)+\frac{1}{3}G\left(0.529\sqrt{{\mathrm{\γ}}_{i,j}}\right)+\frac{1}{3}G\left(0.366\sqrt{{\mathrm{\γ}}_{i,j}}\right),\mathrm{ifb}=6.\end{array}\right..---\left(3\right)$

$G\left(x\right)=1-\underset{-\∞}{\overset{+\∞}{\∫}}\frac{1}{\sqrt{2\mathrm{\π}}x}\exp (-\frac{{(y-x^2/2)}^2}{{2x}^2}){\log }_2(1+\exp \left(y\right))\mathrm{dy}.---\left(4\right)$

式中，i是资源块（RB）的序号，j是每个RB中子载波的序号，G(x)是如公式4所示的高斯整函数，γ_i，j表示第i个资源块上第j个子载波的信噪比。MCS类型是由序号b来区分的，其中b∈{2,4,6}分别对应着QPSK,16-QAM和64-QAM。

第二步，在给定MCS模式下MMIB可以由每个RB中所占有的子载波MIB的均值求得，如公式5所示。在无线通信系统中，每种MCS模式都有其所对应的码率C_R和信道编码块S_R大小，具体可以在表II中查询。

$\mathrm{MMIB}\left(b\right)=\frac{1}{I\·J}\underset{i=1}{\overset{I}{\mathrm{\Σ}}}\underset{j=1}{\overset{J}{\mathrm{\Σ}}}\mathrm{MIB}\left({\mathrm{\γ}}_{i,j}b\right).---\left(5\right)$

$I=\frac{S_B}{b\·C_R\·J}.---\left(6\right)$

在公式中，J代表每个RB中子载波的数量。I代表每个信道码块中包含的RB数量，在固定MCS模式下，I可以由公式6计算得到。

最终，在给定MCS模式下，BLER可以对MMIB的误差函数进行计算得到，具体如公式7所示。

$\mathrm{BLER}\left(b\right)=\frac{1}{2}[1-\mathrm{erf}\left(\frac{\mathrm{MMIB}\left(b\right)-a}{\sqrt{2}c}\right)].---\left(7\right)$

式中，a和c是模拟AWGN信道的调整参数，以不同MCS模式的方式保存的，具体见表II。

表II.MCS参数

在MAC层，一个编码的视频片将会被分割成几个码块，所以PER可以由BLER计算得到。片ξ_m,n的丢包率由公式8计算得到。

${\mathrm{PER}}_{m,n}=1-\underset{k=1}{\overset{K}{\mathrm{\Π}}}(1-{\mathrm{BLER}}_k).---\left(8\right)$

在公式中，K是片ξ_m，n包含的信道码块数量，可以由ceil(L_m,n(QP_m,n)/S_B)(ceil(x)是向上取整函数)计算得到。

无线链路性能的另一个重要的参数是传输时延，它取决于传输时间间隔（TTI）、每个片中码块的数量和每个TTI中RB的数量，传输时延可以由公式9计算得到。

$t_{m,n}=t_{\mathrm{TTI}}\frac{I\·\mathrm{ceil}(L_{m,n}\left({\mathrm{QP}}_{m,n}\right)/S_B)}{D_{\mathrm{TTI}}}.---\left(9\right)$

其中，t_TTI表示物理层单独发送一次数据的传输时间间隔（TTI），ceil(L_m，n(QR_m，n)_B/S)表示第m帧第n片中包含的码块的数量，D_TTI表示每个TTI中包含的RB的数量。

4)问题叙述与求解

综合以上讨论，QoE预测模型将会从不同的功能模块获得CT,FR,SBR,PER和传输时延等参数。期望MOS将由QoE预测模型计算得到。基于QoE预测模型的结果，跨层优化控制模块优化选取最优的参数组合，最终提升终端用户的QoE。

从公式1可知，本文定义系统参数集合可以定义为v_m,n＝(CT,FR,SBR_m，n,PER_m，n)(m是帧的序号，n是片的序号)。在系统参数集合中，FR被设置为固定值30fps。每个视频序列将会被视频内容分类模块分类成SM，GW或RM中的一种类型，QoE预测模型（公式1）关于不同视频内容类型的系数可以再表I中进行查询，所以对于确定的视频序列CT值也是固定的。通过公式2可知，SBR和编码视频包长是由QP决定的。链路性能预测模块会根据接收到SNR、MCS类型和编码视频片长，通过公式3~8计算得出PER。PER取决于SNR、MCS类型和QP。SNR是无线链路性能的实时反馈。总之，CT和FR对于特定的视频序列是固定的，所以在特定的视频序列和无线链路的情况下SBR和PER最终由QP和MCS类型所决定。系统参数集合可以简化成v_m,n=(QP_m,n,MCS_m，n)。

当解码端通过无线通信接收到视频包，会对视频包进行顺序解码。如果在视频序列中的视频包传输时延大于最大时延限制或者丢失（传输时延无限大），这个包对于解码端来说将失去意义。所以视频包传输的时延间隔必须小于时延限制。最大的传输时延取决于链路性能和显示缓存的容量。本文所提出方法的最终目的是在最大传输时延的限制下使期望MOS最大化。数学上可以描述为带有约束条件的极值问题。我们的目标是寻找到最优的参数集合{v_m,n,，1≤n≤N_m,1≤m≤M}问题如公式10所示。

$\underset{\{v_{m,n},1\≤n\≤N_m,1\≤m\≤M\}}{\max }E\left[{\mathrm{MOS}}_{m,n}\right]=\underset{\{v_{m,n},1\≤n\≤N_m,1\≤m\≤M\}}{\max }E\left[\frac{\mathrm{\α}+\mathrm{\βFR}+\mathrm{\γ}\ln \left({\mathrm{SBR}}_{m,n}\right)}{1+\mathrm{\μ}{\mathrm{PER}}_{m,n}+\mathrm{\δ}{\left({\mathrm{PER}}_{m,n}\right)}^2}\right]---\left(10\right)$

服从: $\max \{t_{m,n}\left(v_{m,n}\right),1\≤n\≤N_m,1\≤m\≤M\}\≤T_{m,n}^{\max }$

其中，t_m，n是由利用公式9计算得到的传输时延的估计值，

是最大传输时延，E[]表示期望值，N_m表示每帧中包含的总片数，M为视频序列中帧的总数。

在公式10中，任何在V_m,i中会导致传输时延大于最大传输时延的参数组合都是无效的，因此也不属于最优的参数集。假定对于无效的参数组合，片ξ_m，i的MOS预测值为最小值0。带有约束条件的极值问题就可以转化为没有约束条件的最优化问题，如公式11所示。

$\max E\left[{\mathrm{MOS}}_{m,n}\right]=\underset{v_{m,n}\∈\left\{v_{m,n}\right|t_{m,n}\≤T_{m,n}^{\max },1\≤n\≤N_m,1\≤m\≤M\}}{\max }E\left[\frac{\mathrm{\α}+\mathrm{\βFR}+\mathrm{\γ}\ln \left({\mathrm{SBR}}_{m,n}\right)}{1+\mathrm{\μ}{\mathrm{PER}}_{m,n}+{\left({\mathrm{PER}}_{m,n}\right)}^2}\right]---\left(11\right)$

简化后的最优化问题可以通过两分法遍历算法进行求解。在参数集合V_m,n=(QP_m,n,MCS_m,n)中，当QP连续变化时，MOS在给定MCS模式下也是连续的。在改进的遍历算法中，V_m,n被分为两个子集合V₁和V₂。两个集合中QP值分别是偶数和奇数的。首先，我们对V₁进行搜索。当我们在这个集合中搜索到最优的参数组合时，将对当前最优参数集合在V_m，n的两个相近的参数组合进行搜索。最终找到的参数组合为最优参数组合。该算法的算法复杂度为

（式中p代表QP值的个数，q代表MCS类型的个数）。在进行实现的时候，算法复杂度是可以接受的。

总之，本发明提供了一种MIMO-OFDM系统下基于用户体验质量（QoE）的跨层优化视频传输方法，所述的方法步骤如下：1）跨层优化系统中采用无参考QoE预测模型来计算期望平均意见分（MOS），QoE预测模型综合考虑了视频内容类型（CT）、帧率（FR）、视频发送比特率（SBR）和丢包率（PER）的影响。2）使用平均比特互信息（MMIB）估计方法对MIMO-OFDM系统下的无线链路性能进行精确估计。3）基于QoE预测模型，通过改进的遍历算法进行求解得到应用层的视频编码参数和物理层的调制编码方法（MCS）对视频进行编码和传输，最终提升终端用户对接收到服务的QoE。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种MIMO-OFDM系统下基于QoE的跨层优化视频传输方法，该方法采用对终端QoE预测为优化目标的策略，所述的方法包含如下步骤：

步骤101）用于根据视频内容类型、帧率、视频发送比特率和丢包率构造获得用户期望平均意见值的用户体验质量预测模型的步骤；

步骤102）用于获得所述用户体验质量预测模型中各参数具体取值并获取视频包传输时延最大值的步骤；

步骤103）用于采用遍历算法获取最大传输时延条件下用户期望平均意见分的最大值所对应的参数值作为最优参数值，所述的最优参数值包含视频编码参数值和调制编码方式参数值，最后分别对应用层的视频编码参数和物理层的调制编码方式对视频进行编码和传输；

其中，所述视频内容类型根据视频特征进行划分，所述帧率根据终端用户以及解码器需求反馈确定，所述视频发送比特率是对视频序列编码后进行传输时，以视频包为单位计算所获得的速率，所述丢包率是视频包在无线链路进行传输时所发生的无线衰落丢包。

2.根据权利要求1所述的MIMO-OFDM系统下基于QoE的跨层优化视频传输方法，其特征在于，所述用户体验质量预测模型为：

$\mathrm{MOS}=\frac{\mathrm{\α}+\mathrm{\βFR}+\mathrm{\γ}\ln \left(\mathrm{SBR}\right)}{1+\mathrm{\μPER}+\mathrm{\δ}{\left(\mathrm{PER}\right)}^2}$

其中，α、β、γ、μ和δ均为度量系数，所述度量系数依据划分的视频内容类型采用统计学方法获得；FR为帧率；PER为丢包率；MOS为用户期望平均意见分。

3.根据权利要求2所述的MIMO-OFDM系统下基于QoE的跨层优化视频传输方法，其特征在于，所述步骤102）进一步包含：

步骤102-1）依据视频内容所述的类型采用统计学方法获取不同视频内容类型所对应的各度量系数的具体取值；

所述视频内容分类依据的统计学方法由以下策略获得：

首先，从视频序列中提取空域和时域特征，然后根据视频特征用簇分析的方法把视频序列归类到具有相似特性的视频组中，所述的视频组具体包含以下三类：缓慢移动型、普通移动型和快速移动型；

步骤102-2）获取视频发送比特率SBR的值，具体计算公式为：

${\mathrm{SBR}}_{m,n}=\frac{L_{m,n}\left({\mathrm{QP}}_{m,n}\right)}{\mathrm{FR}*N_m},\{1\≤n\≤N_m,1\≤m\≤M\}$

其中，m为任意帧的序号，M为视频序列中帧的总数，n是帧m中包含的任意片的序号，N_m表示每帧中包含的总片数，L_m,n(QP_m,n)表示编码后的视频包长度，QP_m，n表示第m帧第n片所采用的量化参数，FR当前视频序列的帧率；

步骤102-3）使用平均比特互信息方法估计丢包率PER并依据传输时间间隔和包长情况获得传输时延。

4.根据权利要求3所述的MIMO-OFDM系统下基于QoE的跨层优化视频传输方法，其特征在于，所述丢包率PER采用下述方法获取：

首先，将物理层中每个子载波的信噪比映射成每个子载波的比特互信息；

然后，由每个子载波的比特互信息求得资源块的平均比特互信息和每个码块的误块率BLER；

最后，依据如下公式获得丢包率PER：

${\mathrm{PER}}_{m,n}=1-\underset{k=1}{\overset{K}{\mathrm{\Π}}}(1-{\mathrm{BLER}}_k)$

其中，BLER_k表示误块率，k表示第m帧第n片中码块的序号，K表示第m帧第n片中包含的码块的总数。

5.根据权利要求1所述的MIMO-OFDM系统下基于QoE的跨层优化视频传输方法，其特征在于，步骤103）所述的遍历算法采用两分法遍历算法，该两分法遍历算法为：

首先，将V_m，n划分为两个子集合V₁和V₂，两个集合中QP值分别是偶数和奇数；

然后，对V₁进行搜索，当我们在V₁集合中搜索到最优的参数组合时，将对当前最优参数集合在V_m，n的两个相近的参数组合进行搜索；最终找到的参数组合为最优参数组合，该处的参数组合包含：应用层视频编码参数QP和物理层调制编码参数；

其中，V_m，n表示对第m帧第n片视频序列进行编码传输的待选择的参数组合集，所述参数包含：视频编码参数和调制编码方式参数；V₁和V₂分别代表V_m，n中QP为偶数和基数时的情况，QP表示视频编码量化参数。

6.一种基于QoE的跨层优化视频传输系统，该系统依据用户期望平均意见提高MIMO-OFDM系统的视频传输效率，所述的系统包含：

建模模块，用于根据视频内容类型、帧率、视频发送比特率和丢包率构造获得用户期望平均意见值的用户体验质量预测模型；

第一处理模块，用于获得所述用户体验质量预测模型中各参数具体取值及获取视频包传输时延最大值；和

最优参数决策模块，用于采用遍历算法获取最大延时条件下用户期望平均意见值的最大值所对应的参数值，作为最优参数值分别对应用层的视频编码参数和物理层的调制编码方法对视频进行编码和传输；

其中，所述视频内容类型根据视频时域和空域特征进行划分的，所述帧率FR-依据用户端的解码器和需求决定的，所述视频发送比特率是对视频序列进行编码后在传输时，以视频包为单位计算所获得的速率，所述丢包率是视频包在无线链路进行传输时所发生的无线衰落丢包。

7.根据权利要求1所述的基于QoE的跨层优化视频传输系统，其特征在于，所述用户体验质量预测模型为：

$\mathrm{MOS}=\frac{\mathrm{\α}+\mathrm{\βFR}+\mathrm{\γ}\ln \left(\mathrm{SBR}\right)}{1+\mathrm{\μPER}+\mathrm{\δ}{\left(\mathrm{PER}\right)}^2}$

其中，α、β、γ、μ和δ均为度量系数，所述度量系数依据划分的视频内容类型采用统计学方法获得；FR为帧率；PER为丢包率；MOS为用户期望平均意见函数名。

8.根据权利要求7所述的基于QoE的跨层优化视频传输系统，其特征在于，所述第一处理模块进一步包含：

度量系数值获取子模块，用于依据视频内容所述的类型采用统计学方法获取不同视频内容类型所对应的各度量系数的具体取值；

所述视频内容所述的类型依据以下策略获得：

首先，从视频序列中提取空域和时域特征，然后根据视频特征用簇分析的方法把视频序列归类到具有相似特性的视频组中，所述的视频组具体包含以下三类：缓慢移动型、普通移动型和快速移动型；

视频发送比特率获取子模块，用于获取视频发送比特率SBR的值，具体计算公式为：

${\mathrm{SBR}}_{m,n}=\frac{L_{m,n}\left({\mathrm{QP}}_{m,n}\right)}{\mathrm{FR}*N_m},\{1\≤n\≤N_m,1\≤m\≤M\}$

其中，m为任意帧的序号，M为视频序列中帧的总数，n是帧m中包含的任意片的序号，N_m表示每帧中包含的总片数，L_m,n(QP_m,n)表示编码后的视频包长度，QP_m，n表示第m帧第n片所采用的量化参数，FR当前视频序列的帧率；

无线链路性能参数获取子模块，用于使用平均比特互信息方法估计丢包率PER和传输时延。

9.根据权利要求8所述的基于QoE的跨层优化视频传输系统，其特征在于，所述丢包率PER采用下述方法获取：

首先，将物理层中每个子载波的信噪比映射成每个子载波的比特互信息；

然后，由每个子载波的比特互信息求得资源块的平均比特互信息和每个码块的误块率BLER；

最后，依据如下公式获得丢包率PER：

${\mathrm{PER}}_{m,n}=1-\underset{k=1}{\overset{K}{\mathrm{\Π}}}(1-{\mathrm{BLER}}_k)$

其中，BLER_k表示误块率，k表示第m帧第n片中码块的序号，K表示第m帧第n片中包含的码块的总数。

Images