CN105933705A - 一种hevc解码视频主观质量评价方法 - Google Patents

Abstract

本发明公布了一种HEVC解码视频主观质量评价方法，该方法首先计算解码视频的平均客观质量，然后提取图像中物体的运动趋势，结合编码帧率，用以表示视频中物体的运动，最后计算图像分辨率对解码视频主观质量的影响。综合以上三者，建立HEVC解码视频主观质量评价模型，定量计算解码视频主观质量。本发明所提出的HEVC解码视频主观质量评价方法更加符合人眼视觉系统特性，对解码视频质量的评价更能够反映解码视频在播放时带给人们的主观视觉感受。该评价模型不仅可以用于评价已存储视频的主观质量，也可以用于实时视频应用。

Description

一种HEVC解码视频主观质量评价方法

技术领域

本发明属于多媒体编解码领域，具体涉及一种HEVC解码视频主观质量评价方法。

背景技术

随着人类进入信息时代，数字视频技术获得迅猛发展。数字视频具有便于计算机处理、易于加密、适合远距离传输等优点，其应用场景不断拓宽，在工农业生产、军事侦察、日常工作和休闲娱乐等领域发挥着越来越重要的作用。然而，由于视频采集设备获取的原始视频数据量非常庞大，特别是随着高清、超高清视频的出现和广泛应用，使得原始视频数据量更加庞大，而可利用的存储资源和传输资源总是有限，逐渐无法满足视频存储和传输的需求。因此，在实际视频应用过程中，需要将原始视频图像进行编码后再存储或传输。视频编码技术经过近三十年的发展，已经形成了一系列的视频编码标准，主要包括MPEG(Moving Picture Expert Group)组织制定的MPEG-X标准、VCEG(Video Coding ExpertGroup)组织制定的H.26X标准，以及我国自主研发制定的AVS(Audio Video CodingStandard)标准。2013年，JCT-VC(Joint Collaborative Team on Video Coding)发布了最新的视频编码标准HEVC(High Efficiency Video Coding)。而人们在观看编码后的视频时，必须先将视频解码，然后才能播放视频。由于原始视频多采用有损编码方式进行编码，解码后的视频质量相对原始视频会有不同程度的下降，尤其是在视频编码倍数较高的情况下，解码后的视频质量下降尤为严重。为了保证人们在观看解码后的视频时能够获得更优的视觉效果，就需要对解码视频质量进行评价，根据评价结果对视频编码时的各项参数加以指导，提高解码视频的整体质量。

目前对解码视频质量的评价方法，主要有客观视频质量评价和主观视频质量评价两种方法。峰值信噪比(PSNR,Peak Signal to Noise Ratio)是当前最为常用的客观视频质量评价方法，一般来讲，PSNR值越高，解码视频质量也就越高，反之，则质量越低。但是，如果完全利用PSNR值来衡量解码视频质量，在有些情况下会缺乏准确性，可能PSNR值差不多的两幅图像给人的感觉却完全不一样，这是由于人的主观因素在起作用，而PSNR值在计算时几乎不考虑人的主观因素。因此，为了使解码视频更符合人们观看时的主观视觉效果，就应当遵循人眼视觉系统的特点，采用主观评价标准来衡量解码视频的主观质量。

当前常用的主观视频质量评价方法是让一群观察者对同一幅图像按视觉效果的好坏进行打分，然后对分值进行加权平均，一般可以分为绝对评价和相对评价两类。绝对评价是由观察者根据一些事前规定的评价尺度或自己的经验，对被评价的图像进行质量判断，某些情况下可以提供一组标准图像作为参考，帮助观察者对图像做出合适的评价。绝对评价常采用“全优度尺度”，也就是观察者以数字打分的方式来评价图像质量的优劣，如表1所示。

表1绝对评价的“全优度尺度”

非常好的图像	5分
		好的图像	4分
中等图像	3分
		差的图像	2分
非常差的图像	1分

相对评价标准是由观察者将一组图像由好到坏进行分类，也就是对图像进行相互比较，区分出质量好坏并给出分数。相对评价常采用“群优度尺度”，如表2所示。最后，通过计算观察者给出的分数平均值，来评价图像质量的优劣。

表2相对评价的“群优度尺度”

一组中最好的图像	7分
		比该组图像平均水平好的图像	6分
稍好于该组图像平均水平的图像	5分
		该组图像平均水平图像	4分
稍次于该组图像平均水平的图像	3分
		比该组图像平均水平差的图像	2分
一组图像中最差的图像	1分

上述两种解码视频主观质量评价方法虽然能取得不错的效果，但观察者的知识水平、专业领域、个人喜好和参评人数等会直接影响最后的评价结果，导致评价结果的客观性有所欠缺。并且这种评价方法所需时间较长，不适合对实时性要求高的视频应用，如视频会议、视频直播、远程视频监控等。

本发明提出一种HEVC解码视频主观质量评价方法，综合考虑视频在使用HEVC编码时的图像分辨率、帧率和视频中物体运动等因素，通过建立主观质量评价模型，定量计算HEVC解码视频主观质量，更加具有客观性。同时，该评价方法也适用于实时视频应用，HEVC视频编码器可以根据计算出的解码视频主观质量，及时调整视频编码参数，从而使得解码视频能够获得更优的主观视觉效果。

发明内容：

本发明要解决的技术问题是提供一种HEVC解码视频主观质量评价方法，通过建立主观质量评价模型，定量表示HEVC解码视频主观质量。

本发明采用如下技术方案实现发明目的：

一种HEVC解码视频主观质量评价方法，其特征在于，该方法的步骤如下：

(1)、计算解码视频的平均客观质量PSNR_avg，如果解码视频的帧率小于原始视频，则采用帧复制的方法恢复缺少的帧，再计算PSNR_avg；

(2)、根据视频图像中编码树单元CTU的运动，提取图像中物体的运动趋势mv；

(3)、计算图像分辨率对HEVC解码视频主观质量的影响R；

(4)、建立HEVC解码视频主观质量评价模型，计算解码视频主观质量SVQA。

作为对本技术方案的进一步限定，所述步骤(1)具体包括如下步骤：

(11)、比较解码视频帧率和原始视频帧率；

(12)、如果解码视频帧率等于原始视频帧率，则直接计算解码视频的PSNR_avg；

(13)、如果解码视频帧率小于原始视频帧率，则恢复缺少的帧，再计算解码视频的PSNR_avg；

(14)、PSNR_avg的计算方法为：

${\mathrm{PSNR}}_{avg}=\frac{1}{N}\underset{N}{\Σ}(10\×{\log }_{10}(\frac{{(2^n-1)}^2}{MSE}\left)\right)$

$MSE=\frac{1}{w\×h}\underset{i=0}{\overset{w-1}{\Σ}}\underset{j=0}{\overset{h-1}{\Σ}}\left|\right|I(i,j)-K(i,j)|{|}^2$

其中，PSNR_avg为HEVC解码视频平均客观质量；N为参与PSNR_avg值计算的图像数量；MSE为均方误差；n为图像中每个像素点的位深；w为视频图像的宽度；h为视频图像的高度；I(i,j)为原始视频图像中第(i,j)处的像素值；K(i,j)为解码视频图像中第(i,j)处的像素值。

作为对本技术方案的进一步限定，所述步骤(2)具体包括如下步骤：

(21)、将一帧图像中CTU的运动向量分解为水平运动向量mv_x和垂直运动向量mv_y；

(22)、计算图像中各CTU的mv_x值和mv_y值，分别取较大的前25％的mv_x和mv_y，计算其均值和

(23)、计算图像中物体的运动趋势mv，mv的具体计算方法为：

$mv=\frac{\sqrt{{\stackrel{\‾}{{\mathrm{mv}}_x}}^2+{\stackrel{\‾}{{\mathrm{mv}}_y}}^2}}{\sqrt{w^2+h^2}}.$

作为对本技术方案的进一步限定，所述步骤(3)中，计算图像分辨率对HEVC解码视频主观质量影响的具体方法为：

R＝log(w×h)

其中，w为视频图像的宽度；h为视频图像的高度。

作为对本技术方案的进一步限定，所述步骤(4)中，HEVC解码视频主观质量评价模型为：

SVQA＝α×PSNR_avg+(1-α)×mv^β(FR_ori-FR_dec)+R。

作为对本技术方案的进一步限定，所述步骤(4)中，α和β的取值由实验得出，本文中α和β分别取值为0.4和0.33。

与现有技术相比，本发明的优点和积极效果是：本发明提出一种HEVC解码视频主观质量评价方法，该方法综合考虑视频的图像分辨率、帧率和视频中物体的运动，建立HEVC解码视频主观质量评价模型，定量计算解码视频主观质量。该评价模型不仅可以用于计算已存储视频的主观质量，也可以用于实时视频应用。在实时视频应用中，HEVC视频编码器可以根据计算出的解码视频主观质量SVQA，实时调整原始视频编码参数，使得解码视频获得更优的主观视觉效果。本发明所提出的HEVC解码视频主观质量评价方法更加符合人眼视觉系统特性，对解码视频质量的评价更能够反映解码视频在播放时带给人们的主观视觉感受。

附图说明

图1为降低帧率后的解码视频恢复为原始帧率视频方法示意图。

图2为football序列和hall序列在不同目标码率下，采用不同图像分辨率、不同编码帧率编码后的解码视频主观质量比较。

具体实施方式:

下面结合实施例，进一步说明本发明。

为了定量计算HEVC解码视频主观质量，本发明提出一种HEVC解码视频主观质量评价方法。该方法首先比较解码视频和原始视频的帧率，计算解码视频平均客观质量。然后根据图像中CTU的运动情况，取较大的前25％的运动向量，计算其均值，进而结合当前编码帧率，用以表示视频中物体的运动。最后考虑图像分辨率对解码视频主观质量的影响。综合以上因素，建立HEVC解码视频主观质量评价模型。

本发明通过分析目前常用的解码视频主观质量评价方法，针对其无法定量表示主观质量的不足，提出一种新的HEVC解码视频主观质量评价方法。

在介绍具体实施方式前，首先对本发明用到的参数进行说明。

PSNR_avg：HEVC解码视频平均客观质量；

mv：图像中物体的运动趋势；

N：参与PSNR_avg值计算的图像数量；

MSE：均方误差；

n：图像中每个像素点的位深；

w：视频图像的宽度；

h：视频图像的高度；

I(i,j)：原始视频图像中第(i,j)处的像素值；

K(i,j)：解码视频图像中第(i,j)处的像素值；

mv_x：CTU的运动向量在水平方向(x轴方向)的分量；

mv_y：CTU的运动向量在垂直方向(y轴方向)的分量；

一帧图像中较大的前25％的mv_x的均值；

一帧图像中较大的前25％的mv_y的均值；

SVQA：HEVC解码视频主观质量；

FR_ori：原始视频帧率；

FR_dec：解码视频帧率；

R：图像分辨率对解码视频主观质量的影响；

α和β：系数，本文中α和β分别取值为0.4和0.33。

下面对本发明展开具体说明。

由于视频采集设备获取的原始视频数据量非常庞大，而可利用的存储资源和传输资源总是有限，因此需要将原始视频进行编码后再进行存储或传输。当编码倍数较大时，如果仍按照原始视频帧率编码，就会造成单帧图像质量严重下降，甚至出现人眼无法识别视频内容的情况。此时，可以采用降低图像分辨率或者降低视频编码帧率的方式，来保证单帧图像质量。但是，降低图像分辨率容易造成图像中细节信息丢失，而降低帧率会使得图像中物体的运动产生不连续，这些都不利于人们观看视频。为了分析视频编码帧率、图像分辨率、视频中物体的运动和解码视频主观质量之间的关系，本发明利用HEVC标准参考代码HM10.0，在不同视频编码帧率、不同图像分辨率、不同目标码率下对运动剧烈视频序列football和运动平缓视频序列hall进行编解码，采用主观打分的方式，对解码视频主观质量进行统计分析，结果如图2所示。满分为100分，分值越高，主观视觉效果越好，反之，主观视觉效果越差。目标码率指原始视频的编码目标码率，目标码率越大，视频编码倍数越小，反之，编码倍数越大。

从图2中可以看出，视频编码帧率从小到大变化时，不同运动程度的视频序列在相同目标码率下的主观质量呈现不同的变化趋势：

(1)当目标码率较小时，随着编码帧率的提高，football序列的解码视频主观质量呈下降趋势，hall序列的解码视频主观质量呈先升后降的趋势，如图2(a)所示；

(2)当目标码率增大时，随着编码帧率的提高，无论是football序列还是hall序列，其解码视频主观质量都呈先升后降的趋势，如图2(b)所示；

(3)当目标码率较大时，随着编码帧率的提高，无论是football序列还是hall序列，其解码视频主观质量都呈上升的趋势，如图2(c)所示；

(4)当目标码率较大时，人们更倾向于观看分辨率更高的视频，而随着图像分辨率的增大，编码帧率和解码视频主观质量之间的关系也基本符合(1)-(3)的规律，如图2(d)、(e)和(f)所示。

从视频编码的角度来说，运动越剧烈的视频其编码效率越低，在相同目标码率下，运动剧烈视频的单帧图像解码质量要远低于运动平缓的视频。这也恰恰解释了图2中，在目标码率和编码帧率相同的情况下，football的解码视频主观质量要低于hall。

从上述实验结果可以发现，视频编码帧率、图像分辨率、视频中物体的运动和解码视频主观质量之间存在一定的规律，可以用合适的模型来描述。本发明采用PSNR_avg表示解码视频的平均客观质量，当解码视频帧率和原始视频帧率相同时，利用公式(1)即可计算出解码视频的平均客观质量。

$\begin{array}{c}{\mathrm{PSNR}}_{avg}=\frac{1}{N}\underset{N}{\Σ}(10\×{\log }_{10}(\frac{{(2^n-1)}^2}{MSE}\left)\right)\\ MSE=\frac{1}{w\×h}\underset{i=0}{\overset{w-1}{\Σ}}\underset{j=0}{\overset{h-1}{\Σ}}\left|\right|I(i,j)-K(i,j)|{|}^2\end{array}---\left(1\right)$

当解码视频帧率小于原始视频帧率时，先采用帧复制的方法，将解码视频帧率恢复成原始视频帧率，恢复方法如图1所示。然后再利用公式(1)计算解码视频的平均客观质量。

本发明在评价视频中物体的运动时，首先将一帧图像中每个CTU的运动向量分解为水平方向(x轴方向)mv_x和垂直方向(y轴方向)mv_y，然后分别取较大的前25％的mv_x和mv_y，计算其均值和再根据视频图像的宽度和高度进行归一化处理，用来表示图像中物体的运动趋势，如公式(2)所示。

$mv=\frac{\sqrt{{\stackrel{\‾}{{\mathrm{mv}}_x}}^2+{\stackrel{\‾}{{\mathrm{mv}}_y}}^2}}{\sqrt{w^2+h^2}}---\left(2\right)$

计算出mv后，再结合解码视频帧率，用来评价视频中物体的运动，如公式(3)所示。

mv^β(FR_ori-FR_dec) (3)

通常情况下，图像的分辨率越高，图像中包含的细节信息也就越多，越利于人们观看。但是在相同解码图像质量下，分辨率越高的图像，其编码数据量也越大。因此，在评价解码视频主观质量时，图像分辨率也是一个重要因素。本发明采用公式(4)来计算图像分辨率对解码视频主观质量的影响。

R＝log(w×h) (4)

最后，综合考虑视频编码帧率、图像分辨率和视频中物体的运动，建立HEVC解码视频主观质量评价模型，定量计算HEVC解码视频主观质量，如公式(5)所示。

SVQA＝α×PSNR_avg+(1-α)×mv^β(FR_ori-FR_dec)+R (5)

以上公开的仅为本发明的具体实施例。根据本发明提供的技术思想，本领域的技术人员所能思及的变化，都应落入本发明的保护范围内。

Claims (5)

1.一种HEVC解码视频主观质量评价方法，其特征在于，该方法的步骤如下：

(1)、计算解码视频的平均客观质量PSNR_avg，如果解码视频的帧率小于原始视频，则采用帧复制的方法恢复缺少的帧，再计算PSNR_avg；

(2)、根据视频图像中编码树单元CTU的运动，提取图像中物体的运动趋势mv；

(3)、计算图像分辨率对HEVC解码视频主观质量的影响R；

(4)、建立HEVC解码视频主观质量评价模型，计算解码视频主观质量SVQA。

2.根据权利要求1所述的HEVC解码视频主观质量评价方法，其特征在于，所述步骤(1)具体包括如下步骤：

(11)、比较解码视频帧率和原始视频帧率；

(12)、如果解码视频帧率等于原始视频帧率，则直接计算解码视频的PSNR_avg；

(13)、如果解码视频帧率小于原始视频帧率，则恢复缺少的帧，再计算解码视频的PSNR_avg；

(14)、PSNR_avg的计算方法为：

${\mathrm{PSNR}}_{avg}=\frac{1}{N}\underset{N}{\Σ}(10\×{\log }_{10}(\frac{{(2^n-1)}^2}{MSE}\left)\right)$

$MSE=\frac{1}{w\×h}\underset{i=0}{\overset{w-1}{\Σ}}\underset{j=0}{\overset{h-1}{\Σ}}\left|\right|I(i,j)-K(i,j)|{|}^2$

其中，PSNR_avg为HEVC解码视频平均客观质量；N为参与PSNR_avg值计算的图像数量；MSE为均方误差；n为图像中每个像素点的位深；w为视频图像的宽度；h为视频图像的高度；I(i,j)为原始视频图像中第(i,j)处的像素值；K(i,j)为解码视频图像中第(i,j)处的像素值。

3.根据权利要求2所述的HEVC解码视频主观质量评价方法，其特征在于，所述步骤(2)具体包括如下步骤：

(21)、将一帧图像中CTU的运动向量分解为水平运动向量mv_x和垂直运动向量mv_y；

(22)、计算图像中各CTU的mv_x值和mv_y值，分别取较大的前25％的mv_x和mv_y，计算其均值和

(23)、计算图像中物体的运动趋势mv，mv的具体计算方法为：

$mv=\frac{\sqrt{{\stackrel{\‾}{{\mathrm{mv}}_x}}^2+{\stackrel{\‾}{{\mathrm{mv}}_y}}^2}}{\sqrt{w^2+h^2}}.$

4.根据权利要求3所述的HEVC解码视频主观质量评价方法，其特征在于，所述步骤(3)中，计算图像分辨率对HEVC解码视频主观质量影响的具体方法为：

R＝log(w×h)

其中，w为视频图像的宽度；h为视频图像的高度。

5.根据权利要求4所述的HEVC解码视频主观质量评价方法，其特征在于，所述步骤(4)中，HEVC解码视频主观质量评价模型为：

SVQA＝α×PSNR_avg+(1-α)×mv^β(FR_ori-FR_dec)+R

其中，α＝0.4，β＝0.33，mv为图像中物体的运动趋势，FR_ori为原始视频帧率，FR_dec为解码视频帧率，R为图像分辨率对解码视频主观质量的影响。