CN102075784A

CN102075784A - 一种联合考虑压缩和丢包损伤条件下的视频质量评价方法

Info

Publication number: CN102075784A
Application number: CN 201010572492
Authority: CN
Inventors: 王玉霞; 姜秀华; 吕锐
Original assignee: Communication University of China
Current assignee: Communication University of China
Priority date: 2011-02-18
Filing date: 2011-02-18
Publication date: 2011-05-25
Anticipated expiration: 2031-02-18
Also published as: CN102075784B

Abstract

本发明公开一种联合考虑压缩和丢包损伤条件下的视频质量评价方法，包括以下步骤：GLM模型的表达、质量分数的获得、特征因子的选择、建立最终模型，本发明具有联合考虑视频压缩与传输丢包带来的质量损伤，建模预测在存在压缩损伤条件下的每个视频包丢失对视频质量的影响；建模过程不同于以前基于主观评价的算法，基于客观评价模型VQM得到的分数进行建模，而不需要人工参与；实现面向网络端的模型，即不需要像素域信息，只采用部分解码的方式，最大程度的减小计算复杂度；在视频网络传输过程中，当出现拥塞情况需要丢包时，利用该模型实现智能丢包，以在减少同样比特率前提下，提高解码视频的质量的优点。

Description

一种联合考虑压缩和丢包损伤条件下的视频质量评价方法

技术领域

本发明涉及一种视频质量评价方法，特别是一种联合考虑压缩和丢包损伤条件下的视频质量评价方法。

背景技术

目前，随着压缩视频的广泛应用，人们对视频质量评价问题的关注也日益增加。针对压缩编码对视频质量所产生的损伤的客观评价方法，目前有很多模型公布，如结构相似方法SSIM、刚变差JND和感知失真矩阵（Perceptual Distortion Metric）方法等。而对于网络传输的视频，除了压缩所带来的损伤以外，视频包的丢失可能会对视频质量带来严重的影响，因此丢包条件下的视频质量评价也非常重要。S. Kanumuri，T.-L. Lin等提出了丢包条件下的针对不同压缩标准的视频质量评价模型，这些模型的建立都是基于主观评价得到的数据，其优点是数据可靠，但是却耗时耗力。

由于网络传输此时视频质量不仅存在压缩带来的质量损伤，同时也会由于网络拥塞等引起丢包情况，产生新的质量下降问题，因此联合考虑压缩和丢包所带来的损伤是很必要的。Liu等提出了一个基于JND模型的全参考算法，该算法是假定压缩与丢包所产生的影响是可线性加权的。而当存在压缩编码损伤的前提下每个视频包丢失对质量产生的影响，是一个值得研究的问题。VQM作为一种全参考视频质量评价方法，综合考虑了压缩编码与信道失真引起的质量损伤，并且与主观评价有着很高的相关性，目前已成为美国ANSI标准评价方法。因此本发明通过大量实验设计多种损伤，并计算对应的VQM质量分数，同时定义代表视频内容的特征因子，建立GLM模型。应用此模型就可以通过视频中提取的特征因子来预测VQM质量分数。

发明内容

本发明的目的是为了克服以上的不足，提供一种操作方便、省时省力、安全可靠的联合考虑压缩和丢包损伤条件下的视频质量评价方法。

本发明的目的通过以下技术方案来实现：一种联合考虑压缩和丢包损伤条件下的视频质量评价方法，包括以下步骤：

A、GLM模型的表达：

采用广义线性模型（GLM）来预测视频质量分数，该模型表达如式（1）所示：

Figure 2010105724923100002DEST_PATH_IMAGE001

（1）

式中，y为要预测的质量分数，具体为VQM（Video Quality Metric）的绝对值或者差值，γ为常数项，x_j为特征因子， N代表特征因子的个数，β_j为各因子的系数值，γ和β_j（j=1…N）是利用已获得质量分数及相应的特征因子值来估计预测的项；

B、质量分数的获得：

B1.此处定义三个质量分数: VQM_A，VQM_B和△VQM，以获得最终有效模型，VQM_A表示某GOP压缩后而没有任何丢包情况下的VQM分数，VQM_B为压缩后同时有一个包丢失后的GOP的VQM分数，同时定义△VQM= VQM_B–VQM_A，这个△VQM差值代表存在压缩编码损伤前提下，丢失一个包对该GOP质量产生的影响，其中VQM_B和△VQM是我们最为关注的两类分数，也是最终两个模型要预测的值；

B2.采用6个包含不同图像细节与运动情况的视频序列，每个序列以三种码率编码（200,300,400kbps），视频采用H.264 JM9.3编码器进行压缩，分辨率为CIF格式（352*288），每个GOP包含15帧，结构为IDR BBPBB…，同时采用该编码器缺省的码率控制算法，从而保证每帧量化参数可变的，水平方向一行的宏块打成一个包，即一个宏块条代表一个包，对于CIF格式来说，每帧图像包含18个宏块条，即18个包，对每个GOP中的每一帧随机丢弃一个包，然后再进行解码，得到其质量评价分数，解码过程采用FFMPEG解码器，同时应用基于运动补偿的误码掩蔽算法（MCEC）；

以上过程针对每个视频序列的每个GOP进行，综合考虑6个视频、3种码率以及所有GOP，我们可以得到1800个有效的质量分数，即1800个VQM_B或1800个△VQM；

C、特征因子的选择：

C1.特征因子包括：

（1）、量化因子均值（MeanQP），即一个包（宏块条）内的所有宏块量化因子的均值；

（2）、误码传播长度（TMDR,Time Duration)，代表某GOP中一个包丢失可能影响的最大帧数，对I帧的包来说，丢包会产生误码传播，直至该图像组的最后一帧，即TMDR=15；对于B帧的包，丢包不会产生误码传播，故TMDR=1；而对于P帧，TMDR根据P帧在该GOP中的位置不同而取不同值（3-12）；

（3）、包大小（NAL_size）表示包的大小，以比特为单位；

（4）、包位置（DevFromCenter），代表宏块条距离图像中心的垂直位置；

（5）、残差能量（RSENGY），代表运动补偿后的残差能量，残差能量越大，图像细节越多，计算该宏块条的残差能量均值与最大值作为特征因子，即MeanRSENGY、MaxRSENGY；

（6）、运动相关特征， MeanMotX、MeanMotY分别代表一个包中水平与垂直运动矢量的均值，从而可以计算合成均值与方差作为特征因子：

MotM=

Figure 2010105724923100002DEST_PATH_IMAGE002

；

VarM = VarMotX +VarMotY；

此处VarMotX，VarMotY分别代表水平与垂直方向的运动矢量方差值，MeanMotA和MaxMotA分别代表非零运动矢量相角的均值与最大值。

对于每个特征因子，针对步骤B中1800个丢包得到的质量分数，我们可以获得相应的1800个值，用于建立最终模型；

C2.特征因子分析与初选：验证特征因子是否全部有效，首先对每个特征因子单独建模，即利用步骤A中的GLM关系式，分别分析每个特征因子与VQMA，VQMB和△VQM的相关性及其系数，对于三种质量分数相关值同时小于5%时，去除这个特征因子，即DevFromCenter 和MeanMotY被去除；

D、建立最终模型：最终模型的确定需要在初选后的特征因子中选择最为有效的几个，从而得到最后的模型参数，实现时采用Matlab函数“sequentialfs”进行特征因子选择，即

[inmodel,history] = sequentialfs(fun,x,y) （2）

式中x代表所有丢失的包对应的特征因子，y即为该包丢失后VQM得到的质量分数，具体过程为：把x和y的数据序列分为N个子序列，其中N-1个子序列作为训练序列，剩下的那个子序列作为测试序列，此过程重复N次，每次选择一个不同的子序列作为测试序列。

本发明与现有技术相比具有以下优点：

1 、联合考虑视频压缩与传输丢包带来的质量损伤，建模预测在存在压缩损伤条件下的每个视频包丢失对视频质量的影响。

2、建模方法采用广义线性模型（GLM）的方法，并采用交叉验证(cross- validation)的方法得出最终模型。

3、建模过程不同于以前基于主观评价的算法，基于客观评价模型VQM得到的分数进行建模，而不需要人工参与。

4 、实现面向网络端的模型，即不需要像素域信息，只采用部分解码的方式，最大程度的减小计算复杂度。

5 、本模型可以作为无参考视频质量客观评价模型预测视频的VQM质量分数，从而在没有源参考视频条件下评价视频质量损伤。同时，在视频网络传输过程中，当出现拥塞情况需要丢包时，利用该模型实现智能丢包，以在减少同样比特率前提下，提高解码视频的质量。

附图说明：

图1为本发明中步骤B中定义的两个VQM的质量分数的示意图；

图2为预测VQM_B时每个特征因子加入后偏差的减小情况的示意图；

图3为预测△VQM时每个特征因子加入后偏差的减小情况的示意图。

具体实施方式：

为了加深对本发明的理解，下面将结合实施例对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

本发明针对264低码率编码视频，研究存在压缩编码损伤的条件下，视频包丢失对视频质量的影响，并通过建模实现客观的质量评价。与以前不同的是，一方面鉴于VQM是一个标准化的客观评价模型，同时针对压缩与传输引起各种质量损伤进行质量评价，我们采用VQM客观计算视频质量分数，作为建模基准，从而避免主观评价涉及的问题；另一方面我们旨在建立一个基于网络的质量评价模型，那就意味着该模型建立时所需要的特征因子信息可以很容易得到，不需要视频完全解码，从而能够最大化的减小计算复杂度，以满足网络应用的要求。在实际传输过程中，如果出现网络拥塞则需要丢弃一定的视频包以达到特定比特率的减少，缓解网络拥塞，那么在丢弃相同比特条件下，哪些视频包对图像的质量影响更大，哪些更小，是一个值得研究的问题。我们就可以通过此模型进行预测每丢弃一个包对最终解码视频的影响，根据预测值的结果首先丢弃对视频质量影响最小的包，从而保证最终解码图像最少的损伤。

本发明联合考虑压缩和丢包损伤条件下的视频质量评价方法的一种具体实施方式，包括以下步骤：

A、GLM模型的表达：

我们采用广义线性模型（GLM）来预测视频质量分数，该模型表达如式（1）所示：

（1）

式中，y为我们要预测的质量分数，具体为VQM绝对值或者差值。γ为常数项，x_j为特征因子，即反映视频质量的特征参数，N代表特征因子的个数。β_j为各因子的系数值，γ和β_j（j=1…N）也就是利用已获得的质量分数及相应的特征因子值来估计预测的项；

1 B、质量分数的获得：

VQM模型是目前美国标准化的全参考客观视频质量评价软件，也是ITU推荐的质量评价算法。它综合考虑了压缩编码与传输丢包所引起的质量损伤，对视频质量表达为0-1之间打分，0代表质量最好，1代表质量最差。定义以下几个质量分数进行分析，以获得最终有效模型,计算三个质量分数: VQM_A，VQM_B和△VQM，如图1所示：VQM_A表示一个视频序列中某图像组（GOP）压缩后没有任何丢包的视频质量分数，VQM_B为压缩后同时有一个包丢失后的GOP的质量分数，同时定义△VQM=VQM_B–VQM_A，代表在存在压缩编码损伤前提下，某一个包丢失对该GOP质量产生的影响，这样在网络存在拥塞需要丢包时，可以根据预测的△VQM来判断每一个包丢失对视频质量产生的影响，从而智能丢弃对质量影响最小的包。其中VQM_B和△VQM是我们最为关注的两类分数，也是最终两个模型要预测的值。根据视频序列与丢包的设置，可以得到1800个质量分数，即1800VQM_B或1800个△VQM，以用来建模最终预测视频质量分数VQM_B或△VQM；

上述建模中采用6个视频序列，每个序列包含10个GOP（其中Stefen序列为6个）。视频序列的选取针对了不同图像细节与运动情况，同时为了考虑不同的压缩损伤程度，每个序列以三种码率编码（200,300,400kbps），这些码率保证图像压缩损伤可以感知而又不至于不能忍受。视频序列采用H.264 JM9.3编码器进行压缩，分辨率为CIF格式（352*288），每个GOP包含15帧，结构为IDR BBPBB…。同时采用该编码器缺省的码率控制算法，从而保证每帧量化参数可变的，水平方向一行的宏块打成一个包，即一个宏块条代表一个包，对于一个GOP来说，希望知道每一帧每一个包丢失对视频质量产生影响，因此，对该GOP中的每一帧随机丢弃一个包，然后再进行解码，得到其质量评价分数，解码过程采用FFMPEG解码器，同时应用基于运动补偿的误码掩蔽算法（MCEC），这个过程针对每个GOP进行，直到完成整个视频序列，即对应每一类质量分数（VQM_B和△VQM），一个GOP会得到15值，最后我们选择1800个有效值，即1800VQM_B或1800个△VQM进行建模。为了了解视频码流中每个包丢失产生的质量损伤，对于每一个GOP实施以下过程：

（1）对该GOP中每一帧随机丢一个包，即通过计算机随机生成1-18中任意一个值，然后对该视频264码流进行丢包实验。因为每个GOP有15帧，故可以得到15个丢包的视频码流。

（2）第二步对丢包后码流进行解码，解码过程采用FFMPEG解码器，同时应用基于运动补偿的误码掩蔽算法（MCEC）。

（3）对解码后的每个视频与参考视频应用VQM软件计算其质量分数，这样一个GOP对应15个丢包码流会得到15个质量分数。

以上过程针对每个视频序列的每个GOP进行，综合考虑6个视频、3种码率以及所有GOP，我们可以得到1800个有效的质量分数，即1800个VQM_B或1800个△VQM。

C、特征因子的选择：

特征因子即视频中每个包所包含的特征信息，如代表图像细节及运动特征等。

本发明致力于建立一个面向网络的视频质量评价模型，因此特征因子的选择应尽可能减小复杂度，而且应该只提取该包内的特征参数，而不需要其他包的信息。此方法采用视频部分解码的方式，即不需要获得像素域信息，从而大大减小计算复杂度。建模中的特征因子包括：

（1）、量化因子均值（MeanQP），即一个包（宏块条）内的所有宏块量化因子均值，再压缩编码中，量化因子越大，码率越低，视频质量一般也越差，因此我们可以通过MeanQP表征压缩所带来视频质量损伤；

（2）、误码传播长度（TMDR ,Time Duration)，代表某GOP中一个包丢失可能影响的最大帧数，对I帧的包来说，丢失影响会产生误码传播，直至该图像组的最后一帧，即TMDR=15；对于B帧的包，丢失不会产生误码传播，故TMDR=1；而对于P帧，TMDR根据P帧在该GOP中的位置不同而取不同值（3-12）；

（3）、包大小（NAL_Size）表示包的大小，以比特为单位；

（4）、包位置（DevFromCenter），代表该宏块条距离图像中心的垂直位置，一般来讲，人眼对图像中心区域敏感程度大于上下两端；

（5）、残差能量（RSENGY），代表运动补偿后的残差能量，通常，残差能量越大，代表图像细节越多，计算该宏块条的残差能量均值与最大值作为特征因子，即MeanRSENGY、MaxRSENGY。

（6）、运动相关特征： MeanMotX、MeanMotY分别代表一个包中水平与垂直运动矢量的均值，从而可以计算合成均值与方差作为特征因子：

MotM=

；

VarM = VarMotX +VarMotY；

特征因子分析与初选：验证上述特征因子是否全部有效，首先依据上述步骤的GLM建模方法，对每个特征因子单独建模，即分析只用某一个特征因子预测三种质量分数时的相关系数，这样我们就可以得到所有特征因子与三种质量评价分数的关系，如表1所示。对于三种质量分数相关值同时小于5%时，去除这个特征因子，即DevFromCenter 和MeanMotY被去除；

表1

D、建立最终模型：最终模型建立根据Matlab函数“sequentialfs”进行特征因子选择，即

[inmodel,history] = sequentialfs(fun,x,y) （2）

采用10倍交叉验证方法（10-fold cross-validation），即N=10； fun为选择因子的准则函数,如表达式（3）所示：

criterion = fun(xtrain,ytrain,xtest,ytest) （3）

式中，xtrain、ytrain作为训练数据，xtest、ytest作为测试数据，从零模型开始，每次采用10倍交叉验证方法得到最重要的一个特征因子，加入模型，然后在剩下的特征因子中继续选择第二重要的，以此类推，直到最终预测误差不再减小，即停止加入其它因子，函数输出矢量[inmodel,history]可以保留每次选择的特征因子与相应的估计偏差。模型建立结束后，我们就得到最终模型的所有因子x_j及其对应系数β_j以及常数项γ的值。

（1） VQM_B模型

通过以上建模过程，对于VQM_B最终预测模型的特征因子有6个，其系数值就是我们所确定的γ和β_j（j=1…6），因子按照其重要性排列，依次为：量化因子均值（MeanQP）、运动矢量幅度均值（MotM）、运动矢量幅度方差（VarM）、误码传播长度（TMDR）、包大小（NAL_size）和水平方向运动矢量均值（MeanMotX）。各自系数如表2所示。图2为每个因子加入后偏差的减小情况。MeanQP 代表量化因子的均值，为最重要的因子，这与我们的预期一致。因为在有压缩损伤条件下，一个GOP视频质量下降由组内各帧压缩损伤主导，一个包的丢失影响相对较小，表2如下：

[0026] （2） △VQM模型

同样，对于△VQM的最终预测模型的特征因子有5个，依次为包大小（NAL_size）、误码传播长度（TMDR）、对数残差能量（log（MeanRSENGY））、运动矢量幅值均值（MotM）和运动矢量相角均值（MeanMotA）。其系数值就是我们所确定的γ和β_j（j=1…5），如表3所示，因子按照其重要性排列。因为我们主要考虑每个包丢失所引起的视频质量下降，尽管有压缩损伤的掩蔽作用，此模型中量化因子不再是主导因子，而表征该包信息量大小的NAL_size最为重要，其次代表不同I、P、B帧类型的TMDR因子也是一个重要因素。图3为每个因子加入后偏差的减小情况，表3如下：

[0028] 本发明致力于同时存在压缩编码与丢包损伤时的视频质量评价方法，通过研究我们得到两个模型分别预测VQM_B和△VQM质量分数。

利用VQM_B模型我们可以预测一个视频片段或者一个GOP整体的质量分数，因此可以作为一个无参考客观评价模型，只需要对该视频进行部分解码就可以预测VQM分数。从而解决VQM算法本身必须参考原始视频的问题，更适用于面向网络端的视频质量监控。

而对于△VQM模型，我们侧重于有压缩损伤条件下每个视频包的重要性，即根据我们所能的获得特征因子信息，预测每一个包丢失对整个图像产生的影响。该模型可以在网络视频通信中，例如当网络出现拥塞时，往往需要丢弃一定比例的视频包，或者减少一定的比特信息，在以往的实现中，通常采用随机丢弃（random drop）的方式，或者弃尾( Drop Tail)的方式，这两种方式都没有考虑不同包丢失所产生的质量下降差异，因此无法控制丢包后质量达到最佳。而如果采用我们提出的评价方法，可以得到各个包丢失所对应的质量分数，从而预测每个包的重要性，每一次丢弃对视频质量影响最小的包，在相同比特减少比例条件下，可以获得最小的视频质量损伤。

Claims

1.一种联合考虑压缩和丢包损伤条件下的视频质量评价方法，其特征在于：包括以下步骤：

A、GLM模型的表达：

（1）

式中，y为要预测的质量分数，具体为VQM（Video Quality Metric）的绝对值或者差值，γ为常数项，x _j 为特征因子， N代表特征因子的个数，β _j 为各因子的系数值，γ和β _j （j=1…N）就是利用已获得的质量分数及相应的特征因子值来估计预测的项；

B、质量分数的获得：

B1.此处定义三个质量分数: VQM_A，VQM_B和△VQM，以获得最终有效模型，VQM_A表示某GOP经过压缩后没有任何丢包情况下的VQM分数，VQM_B为压缩后同时有一个包丢失后的该GOP的VQM分数，同时定义△VQM= VQM_B–VQM_A，这个△VQM代表存在压缩编码损伤前提下，丢失一个包对该GOP质量产生的影响，其中VQM_B和△VQM是我们最为关注的两类分数，也是最终两个模型要预测的值；

B2.采用6个包含不同图像细节与运动情况的视频序列，每个序列以三种码率编码（200,300,400kbps），视频采用H.264 JM9.3编码器进行压缩，分辨率为CIF格式（352*288），每个GOP包含15帧，结构为IDR BBPBBPBBPBBPBB，同时采用该编码器缺省的码率控制算法，从而保证每帧量化参数是可变的,水平方向一行的宏块打成一个包，即一个宏块条代表一个包，对于CIF格式来说，每帧图像包含18个宏块条，即18个包,对每个GOP中的每一帧随机丢弃一个包，然后再进行解码，得到其质量评价分数，解码过程采用FFMPEG解码器，同时应用基于运动补偿的误码掩蔽算法（MCEC）；

C、特征因子的选择：

C1.特征因子包括：

（3）、包大小（NAL_size）表示包的大小，以比特为单位；

MotM=

；

VarM = VarMotX +VarMotY；

此处VarMotX，VarMotY分别代表水平与垂直方向的运动矢量方差值，MeanMotA和MaxMotA分别代表非零运动矢量相角的均值与最大值；

C2.特征因子分析与初选：验证上述特征因子是否全部有效，首先对每个特征因子单独建模，即利用步骤A中的GLM关系式，分别分析每个特征因子与VQMA，VQMB和△VQM的相关性及其系数，对于三种质量分数相关值同时小于5%时，去除这个特征因子，即DevFromCenter 和MeanMotY被去除；

D、建立最终模型：最终模型的确定需要在初选后的特征因子中选择最为有效的几个，从而得到最后的模型参数，

实现时采用Matlab函数“sequentialfs”进行特征因子选择，即

[inmodel,history] = sequentialfs(fun,x,y) （2）

式中x代表所丢失的包对应的特征因子，y即为该包丢失后VQM得到的质量分数，具体过程为：把x和y的数据序列分为N个子序列，其中N-1个子序列作为训练序列，剩下的那个子序列作为测试序列，此过程重复N次，每次选择一个不同的子序列作为测试序列。

2.根据权利要求1所述联合考虑压缩和丢包损伤条件下的视频质量评价方法，其特征在于：所述步骤D中采用10倍交叉验证方法（10-fold cross-validation），即N=10； fun为选择因子的准则函数,如表达式（3）所示：

criterion = fun(xtrain,ytrain,xtest,ytest) （3）

式中，xtrain、ytrain作为训练数据，xtest、ytest作为测试数据，从零模型开始，每次采用10倍交叉验证方法得到最重要的一个特征因子，加入模型，然后在剩下的特征因子中继续选择第二重要的，以此类推，直到最终预测误差不再减小，即停止加入其它因子，函数输出矢量[inmodel,history]可以保留每次选择的特征因子与相应的估计偏差，

模型建立结束后，我们就得到最终模型的所有因子x_j及其对应系数β_j以及常数项γ的值。

3.据权利要求1或2所述联合考虑压缩和丢包损伤条件下的视频质量评价方法，其特征在于：所述步骤D包括建立VQM_B和△VQM模型，其中对于VQM_B模型的特征因子有6个，其系数值就是我们所确定的γ和β_j（j=1…6），因子按照其重要性排列，依次为：量化因子均值（MeanQP）、运动矢量幅度均值（MotM）、运动矢量幅度方差（VarM）、误码传播长度（TMDR）、包大小（NAL_size）和水平方向运动矢量均值（MeanMotX）；

对于△VQM模型的特征因子有5个，其系数值就是我们所确定的γ和β_j（j=1…5），因子按照其重要性排列依次为包大小（NAL_size）、误码传播长度（TMDR）、对数残差能量（log[MeanRSENGY]）、运动矢量幅值均值（MotM）和运动矢量相角均值（MeanMotA）。