CN102158729A - 无参考的视频序列编码质量客观评价方法 - Google Patents

Abstract

本发明公开了一种无参考的视频序列编码质量客观评价方法，提取同一场景内视频序列帧间编码帧的编码比特数；计算出帧间编码帧与其参考帧的亮度分量帧间相似度以及帧间相似度的平均值；将帧间编码帧与其参考帧的相似度作自变量，帧间编码帧本身编码比特数作因变量进行一元线性回归分析；计算得到单帧相对最大平均比特数；求出单位帧间差异相对最大平均比特数；根据单位帧间差异相对最大平均比特数换算得到最终视频序列质量评估值，并与事先设定的参考值相比较判定接收到的视频序列质量的优劣，或根据设置的信区间判定当前帧间编码帧的单帧质量。本发明无需原始参考视频，具有良好的取值范围，方法复杂度明显降低。

Description

无参考的视频序列编码质量客观评价方法

技术领域

本发明涉及视频序列质量评价的方法，属于多媒体通信领域。

背景技术

随着无线和IP视频服务的广泛应用，为给用户提供较高的服务质量(QoS)或感官质量(QoE)，在用户终端对接收到的视频进行实时的质量评价就显得尤为重要。对于一个视频质量客观评价方法来说，根据失真视频与其相应的原始参考视频的比较程度，可分为全参考模型(Full-Reference FR)、部分参考模型(Reduced-Reference RR)和无参考模型(No-Reference NR)。虽然无参考模型在精确性上略次于FR和RR模型，但应用领域却更为广泛，如在不需要任何原始视频信息的情况下，NR可以方便的应用于移动终端、TV机顶盒、视频电话、远程实时监控等等。

已有的无参考客观视频质量评价方法大致可分为两类：一类评价由于压缩编码失真所造成的质量损伤，一类通过分析网络参数评估由网络传输所造成的质量损伤(中国专利CN101448173，公开日期：2009-06-03)。目前主要采用的视频压缩方法是基于块编码的有损压缩，在较大量化参数时解码视频会出现方块效应(Blocking Artifacts)、模糊(Blurring)、震荡效应(Ringing)等失真现象，导致视频质量降低。已有的一些评价编码失真的无参考视频序列质量评估方法，主要就是通过从空域(中国专利CN1885954，公开日期：2006-12-27)或频域(中国专利CN1596422，公开日期：2005-03-16)分析解码后每一帧视频的一种或几种典型的失真效应程度，来评价视频编码后的质量。如中国专利CN101742353A(公开日期：2010-06-16)就是根据块效应参数、模糊参数、码率参数、运动复杂度参数估计视频质量；此外还可采取在空域通过对每帧图像进行结构分析和一些参数提取(中国专利：CN101478691，公开日期：2009-07-08)，或者在时域通过分析相邻帧的运动变化等方法来评估视频编码失真(中国专利CN1809175，公开日期：2006-07-26)。这些方法虽然在测量视频的编码失真方面取得了很好的效果，但一般都需要对每帧图像，甚至对每个宏块进行分析计算，然后再对整个序列求平均，因而计算量较大。

发明内容

为了克服现有技术计算量较大的不足，本发明提供一种无参考的视频序列质量客观评价方法，通过对视频序列编码后的单帧数据量和帧间差异关系的分析就可以客观评价视频序列的质量，而不需要对单帧图像展开复杂的失真效应分析或结构参数分析，有效减小计算量。

本发明解决其技术问题所采用的技术方案是：首先提取要进行质量评估的一段视频序列的每一个帧间编码帧P帧或B帧的编码比特数；其次，用峰值信噪比(PSNR)方法计算解码后每一个帧间编码帧与参考帧的相似度；再用一元线性回归的方法将所有帧间编码帧的比特数和帧间相似度作回归分析；然后由回归方程参数得出P帧或B帧单帧相对最大平均比特数，最后再和视频序列的平均帧间差异计算得出视频质量评估结果，并以此结果判定终端接收到的视频序列的质量，还可以只需通过置信区间来判定帧间编码帧的单帧视频质量。

具体步骤如下：

a)利用编码视频流中的标识位提取同一场景内视频序列帧间编码帧P帧或B帧的编码比特数。

b)用峰值信噪比PSNR方法计算出帧间编码帧与其参考帧的亮度分量帧间相似度，并计算出帧间相似度的平均值APSNR；

c)将帧间编码帧与其参考帧的相似度PSNR作自变量，帧间编码帧本身编码比特数作因变量进行一元线性回归分析。

d)将回归方程中得到的帧间编码帧单帧最大平均比特数a以10为底取对数然后除以视频序列单帧亮度分量未编码时的比特数Bit_s以10为底的对数，并乘以系数β，β和回归方程与坐标轴横轴的截距相关，得到单帧相对最大平均比特数Bit_a。

e)用β减去帧间相似度的平均值APSNR，然后做为除数和单帧相对最大平均比特数Bit_a相除，求出单位帧间差异相对最大平均比特数。

f)得到最终视频序列质量评估值。将单位帧间差异相对最大平均比特数作为正切值，换算为角度值，将此角度值作为最终视频序列质量的评估值。

g)根据步骤f得到的最终视频序列质量评估值与事先设定的参考值相比较判定接收到的视频序列质量的优劣，或根据设置的信区间判定当前帧间编码帧的单帧质量，从而适时调整发送端或编码端参数。

提取帧间编码帧P帧或B帧编码比特数是指从接收到的视频流中通过码流中的标识位提取一个场景内帧间编码帧P帧或B帧的编码比特数。由于本方法应用了统计学原理，因此在一个场景内提取的帧间编码帧数及样本数要大于30帧，样本数越多统计越精确，而在实际应用中这需要和质量评价的实时性相权衡，并且场景切换后应重新开始统计，因而本方法更适用于场景变换不大的视频会议、视频监控，以及视频通话等实时多媒体通信领域。由于帧间编码帧分为P帧和B帧，而B帧采用双向预测，有两个预测帧，这时需要下一步对两个参考帧都进行帧间相似度计算，然后选用帧间相似度大的参考帧，这样会增加下一步的计算量，所以通常采用P帧进行分析。需要说明P帧或B帧只能选择一种，并在后续判定中持续使用，不能混合使用。

计算帧间编码帧与其参考帧的帧间相似度是指用峰值信噪比(PSNR：Peak Signal-to-Noise Ratio)方法表示出解码后帧间编码帧与其参考帧的帧间相似度。首先计算帧间编码帧与其参考帧对应位置像素亮度值的均方误差：

其中Ln(i，j)和Ln-1(i，j)分别表示当前帧图像和其参考帧图像在(i，j)位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过PSNR公式

得到帧间编码帧与其参考帧的帧间相似度。数字视频多采用Y:Cb:Cr彩色空间，压缩编码时Y分量、Cb分量、Cr分量分别采样，而人类视觉系统对于亮度分量Y的敏感程度要大于色度分量Cr和Cb，因此为了减少运算量，本方法只对亮度分量进行帧间相似度分析。如果选B帧作为统计帧，需计算B帧与两个参考帧的帧间相似度，然后选用与编码帧帧间相似度大的参考帧。最后将计算出的所有帧间编码帧与参考帧的PSNR求平均，得到APSNR。

进行一元线性回归分析是指将帧间编码帧与其参考帧的相似度PSNR作为自变量，帧间编码帧本身编码比特数作为因变量进行一元线性回归分析。在一段视频序列中，每一帧间编码帧的比特数作为随机变量，对于帧间PSNR的每一个确定值，都有它的分布，并且数学期望也存在，因而帧间编码帧比特数的数学期望是帧间相似度PSNR的函数，可以用一元线性回归模型来确定帧间编码帧与其参考帧的相似度PSNR和帧间编码帧本身编码比特数之间的关系Bit＝a+b*PSNR+ε，ε～N(0，σ²)，从而得到一元线性回归方程

然后用最小二乘法求出参数的估计量式中PSNR为帧间编码帧与参考帧的相似度，

为预测的帧间编码帧编码比特数。还可得到估计的修正标准差

以及给定置信度1-α后的置信区间。

得到单帧相对最大平均比特数是指当线性回归方程的PSNR＝0时，可以得到编码视频序列的单帧最大平均比特数Bit_max，及回归方程纵轴的截距值

然后将以10为底取对数得到再将视频序列单帧亮度分量未编码时的比特数以10为底取对数，并做为除数和相除，并将比值放大β倍以和帧间PSNR在数值上匹配：

其中Bit_s为视频序列单帧亮度分量未编码时的比特数，可通过已编码的数字视频序列的分辨率和图像精度得到，如：一帧分辨率为352×288的CIF彩色图像的亮度分量用8Bit来表示，lgBit_s＝lg(352×288×8)≈5.91。由于4:2:0的采样率广泛应用于视频会议、数字电视和DVD存储等消费类应用，使用这种采样率时编码后的帧间编码帧的单帧比特数远小于编码前单帧比特数，因此这里只采用了视频序列单帧亮度分量未编码时的比特数来计算单帧相对最大平均比特数，如果采用4:2:2或4:4:4采样率时，可根据实际应用情况选择单帧亮度分量的2倍，即2Bit_s作为视频序列单帧未编码时的比特数。

求出单位帧间差异相对最大平均比特数是指将单帧相对最大平均比特数Bit_a和视频序列的平均帧间差异相比。在步骤b中得到的APSNR表示帧间编码帧与其参考帧的平均相似度，APSNR值越大表明平均相似度越高它的取值范围在(0，100)之间，因此平均帧间差异用100减去APSNR来表示。需要说明在极少数情况下，编码视频序列比特率很低时，视频序列会出现严重失真，回归直线与X轴的截距会大于100，及

大于100，这时要用回归直线与X轴的截距减去APSNR：

可见Q值越大表明用来表示单位APSNR差异的平均比特数越多，视频序列的质量也就相应越高，反之亦然。

得到最终视频序列质量评估值是指将Q做相应的变换使其具备良好的取值范围。Q的取值范围在(0，∞)，将Q值作为正切值，求出相应的弧度值，再将弧度值转化为角度值，这样就得到了最终视频质量的评估值Vq。Vq的取值在(0，90)之间，值越大测试的视频序列质量越高，值越小测试的视频序列质量越低。

最后将得到的视频质量评估值与事先设定的参考值进行比较来判定终端接收的视频序列质量的优劣，评估值大于参考值表明接收到的视频序列质量高于预定要求，评估值小于参考值表明接收到的视频序列质量不满足预定要求，从而实现接收端视频序列质量的自动判定，以适时调整发送端或编码端的相应参数。在帧间编码帧单帧视频的实时判定方面，根据满足预定质量要求的视频序列统计出的置信区间，在视频同一场景内可依据设定的置信度来判定接收到的当前帧的编码比特数是否在置信区间范围内，如果小于置信区间下限说明该帧质量低于预定要求，大于置信区间上限说明该帧视频质量高于预定要求。如选用P帧统计则只能实时判定P帧的单帧质量，选用B帧统计则只能实时判定B帧的单帧质量。

本发明的有益效果是：本发明只选取编码视频帧的两个参数做统计样本，运用一元线性回归分析的方法来对一个视频序列的编码质量进行总体评估。一个参数是直接可从视频码流中提取的帧间编码帧的编码比特数，另一个参数是通过对解码后的帧间编码帧与其参考帧进行亮度分量的PSNR计算得到，然后通过一元线性回归分析得到一段视频序列的编码质量。本发明评估视频序列编码质量时无需原始参考视频，具有良好的取值范围，同时避免了对视频序列单帧图像的各种失真效应分析或结构参数分析，方法复杂度明显降低。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是本发明方法的基本流程图。

图2是本发明方法对视频质量评估效果图。

图3是本发明方法和常用视频质量评估方法与主观评分对应分布图；其中，(a)是本方法评估值与归一化DMOS值对比图；(b)是SSIM方法评估值与归一化DMOS值对比图；(c)是PSNR方法评估值与归一化DMOS值对比图。

具体实施方式

本发明的基本思想是：利用视频序列中帧间编码帧与其参考帧的帧间差异和编码比特数之间的统计关系来评估一段视频序列的质量。从视频码流中直接提取帧间编码帧P帧的编码比特数，然后用PSNR方法计算出解码后的P帧与其参考帧亮度分量相似度，并求出平均值。将帧间编码帧与其参考帧的相似度PSNR作为自变量，其本身编码比特数作为因变量进行一元线性回归分析。最后利用回归分析得出的单帧最大平均比特数与平均帧间差异比值来评估视频序列的质量。

用于实施的硬件环境是：Pentium Dual E21802.00GHz、1G内存，集成显卡，运行的软件环境是：MATLAB R2007a、JM10.2和Windows XP。示例采用五个CIF格式的标准测试序列“flower”、“highway”、“football”、“akiyo”和“foreman”，用H.264标准baseline进行压缩编码，各编码100帧，帧率为25f/s，量化参数QP取值范围从28～48，步长为2，帧格式为IPPPP……。然后利用MATLAB程序设计语言设计本发明提出的视频序列质量评估方法，并给出了视频序列质量评估效果图和与主观评分对应分布图。

如图1所示，本发明具体实施如下：

1、提取帧间编码帧P帧编码比特数。利用编码视频流中的标识位提取视频序列一个场景内帧间编码帧P帧的编码比特数，提取数量要大于30帧。

2、计算帧间编码帧与其参考帧的帧间相似度。首先计算帧间编码帧与其参考帧对应位置像素亮度值的均方误差：

$\mathrm{MSE}=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(L_n(i,j)-L_{n-1}(i,j))}^2}{M\×N},---\left(1\right)$

式中Ln(i，j)和Ln-1(i，j)分别表示当前帧图像和参考帧图像在(i，j)位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过PSNR公式：

$\mathrm{PSNR}=101g\frac{255\×255}{\mathrm{MSE}}---\left(2\right)$

得到帧间编码帧与其参考帧的帧间亮度分量相似度。并利用公式

$\mathrm{APSNR}=\frac{\underset{K=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{PSNR}}_K}{W}---\left(3\right)$

得到帧间平均相似度，W为统计的P帧样本数。

3、进行一元线性回归分析。将帧间编码帧与其参考帧的帧间相似度PSNR作为自变量，其本身编码比特数作为因变量进行一元线性回归分析，得到回归方程。

$\widehat{\mathrm{Bit}}=\hat{a}+\hat{b}*\mathrm{PSNR}$

$\hat{a}=\stackrel{\‾}{\mathrm{Bit}}-\hat{b}\stackrel{\‾}{\mathrm{PSNR}},---\left(4\right)$

${\widehat{\mathrm{\σ}}}^2=\frac{1}{w-2}\underset{i=1}{\overset{w}{\mathrm{\Σ}}}{({\mathrm{Bit}}_i-\hat{a}-\hat{b}{\mathrm{PSNR}}_i)}^2---\left(6\right)$

给定置信度1-α后，Bit₀的置信区间为：

$({\widehat{\mathrm{Bit}}}_0-t_{\mathrm{\α}/2}(w-2)\widehat{\mathrm{\σ}}\sqrt{1+\frac{1}{w}+\frac{{({\mathrm{PSNR}}_0-\stackrel{\‾}{\mathrm{PSNR}})}^2}{\underset{i=1}{\overset{w}{\mathrm{\Σ}}}{({\mathrm{PSNR}}_i-\stackrel{\‾}{\mathrm{PSNR}})}^2}},{\widehat{\mathrm{Bit}}}_0+t_{\mathrm{\α}/2}(w-2)\widehat{\mathrm{\σ}}\sqrt{1+\frac{1}{w}+\frac{{({\mathrm{PSNR}}_0-\stackrel{\‾}{\mathrm{PSNR}})}^2}{\underset{i=1}{\overset{w}{\mathrm{\Σ}}}{({\mathrm{PSNR}}_i-\stackrel{\‾}{\mathrm{PSNR}})}^2}}---\left(7\right)$

4、得到单帧相对最大平均比特数。将回归方程纵轴的截距值以10为底取对数得到

再将视频序列单帧亮度分量未编码时的比特数Bit_s以10为底取对数，然后除以

并将比值放大β倍

${\mathrm{Bit}}_a=\mathrm{\&beta;}\&times;\frac{1g\widehat{\mathrm{\&alpha;}}}{1g{\mathrm{Bit}}_s},\mathrm{\&beta;}=\left\{\begin{array}{cc}\mathrm{\&beta;}=100,& \hat{a}/\hat{b}<100\\ \mathrm{\&beta;}=\hat{a}/\hat{b}& \hat{a}/\hat{b}\&GreaterEqual;100\end{array}\right.----\left(8\right)$

在式中Bit_s＝M×N×f，M，N分别为编码视频的行、列像素数，伪图像精度。

5、求出单位帧间差异相对最大平均比特数。用单帧相对最大平均比特数Bit_a与帧间平均差异相比：

$Q=\frac{{\mathrm{Bit}}_a}{\mathrm{\&beta;}-\mathrm{APSNR}},\mathrm{\&beta;}=\left\{\begin{array}{cc}\mathrm{\&beta;}=100,& \hat{a}/\hat{b}<100\\ \mathrm{\&beta;}=\hat{a}/\hat{b},& \hat{a}/\hat{b}\&GreaterEqual;100\end{array}\right.---\left(9\right)$

6、得到最终视频序列质量评估值。将Q值作为正切值，求出相应的弧度值，再将弧度值转化为角度值，这个角度值就是最终视频质量的评估值Vq。Vq的取值在(0，90)之间，值越大测试的视频序列质量越高，值越小测试的视频序列质量越低。

Vq＝degree(arctg(Q))    (10)

7、利用视频序列质量评估值判定视频序列质量。评估值大于预设参考值表明接收到的视频序列质量高于预定要求，评估值小于参考值表明接收到的视频序列质量不满足预定要求，实现接收端视频序列质量的自动判定。如需对相同类型的帧间编码帧单帧视频质量进行实时判定，则可根据设定的置信度来判定接收到的当前帧的编码比特数是否在置信区间范围内，如果小于置信区间下限说明该帧视频质量低于预定要求，大于置信区间上限说明该帧视频质量高于预定要求。

图2是采用本发明方法对编码后的5个测试视频序列在不同码率时的质量评估的结果，可以看出随视频编码比特率的不断降低，5个测试序列的评估分值均加速减小，符合主观感受。从图3中可以看出本发明方法与主观评分有较好的一致性，与全参考的视频质量评估方法SSIM、PSNR相比较，在与人的主观质量评分一致性上优于PSNR，略差于SSIM。

Claims (6)

1.一种无参考的视频序列编码质量客观评价方法，其特征在于包括下述步骤：

a)利用编码视频流中的标识位提取同一场景内视频序列帧间编码帧P帧或B帧的编码比特数；

b)用峰值信噪比PSNR方法计算出帧间编码帧与其参考帧的亮度分量帧间相似度，并计算出帧间相似度的平均值APSNR；

c)将帧间编码帧与其参考帧的相似度PSNR作自变量，帧间编码帧本身编码比特数作因变量进行一元线性回归分析；

d)将回归方程中得到的帧间编码帧单帧最大平均比特数

以10为底取对数然后除以视频序列单帧亮度分量未编码时的比特数Bit_s以10为底的对数，并乘以系数β，β和回归方程与坐标轴横轴的截距相关，得到单帧相对最大平均比特数Bit_a；

e)用β减去帧间相似度的平均值APSNR，然后做为除数和单帧相对最大平均比特数Bit_a相除，求出单位帧间差异相对最大平均比特数；

f)将单位帧间差异相对最大平均比特数作为正切值，换算为角度值，将此角度值作为最终视频序列质量评估值；

g)根据步骤f得到的最终视频序列质量评估值与事先设定的参考值相比较判定接收到的视频序列质量的优劣，或根据设置的信区间判定当前帧间编码帧的单帧质量。

2.根据权利要求1所述的无参考的视频序列编码质量客观评价方法，其特征在于：所述的步骤a)是指从接收到的视频流中通过码流中的标识位提取一个场景内帧间编码帧P帧或B帧的编码比特数，所述的P帧或B帧只能选择一种，并在后续判定中持续使用。

3.根据权利要求2所述的无参考的视频序列编码质量客观评价方法，其特征在于：所述的步骤a)从接收到的视频流中通过码流中的标识位提取一个场景内帧间编码帧P帧进行分析。

4.根据权利要求1所述的无参考的视频序列编码质量客观评价方法，其特征在于：所述的步骤b)首先计算帧间编码帧与其参考帧对应位置像素亮度值的均方误差

其中L_n(i，j)和L_n-1(i，j)分别表示当前帧图像和其参考帧图像在(i，j)位置处的像素亮度值，M、N分为图像的行、列像素数；然后得到帧间编码帧与其参考帧的帧间相似度

如果选B帧作为统计帧，需计算B帧与两个参考帧的帧间相似度，然后选用与编码帧帧间相似度大的参考帧；最后将计算出的所有帧间编码帧与参考帧的PSNR求平均，得到APSNR。

5.根据权利要求1所述的无参考的视频序列编码质量客观评价方法，其特征在于：所述的步骤c)用一元线性回归模型来确定帧间编码帧与其参考帧的相似度PSNR和帧间编码帧本身编码比特数之间的关系Bit＝a+b*PSNR+ε，ε～N(0，σ²)，从而得到一元线性回归方程

然后用最小二乘法求出参数的估计量

式中

为预测的帧间编码帧编码比特数。

6.根据权利要求1所述的无参考的视频序列编码质量客观评价方法，其特征在于：所述的单帧相对最大平均比特数

其中Bit_s为视频序列单帧亮度分量未编码时的比特数。

Images