CN102868907A - 部分参考视频质量客观评价方法 - Google Patents

Abstract

本发明提供了一种部分参考视频质量客观评价方法，首先在编码端计算出原始视频每一帧与前一帧的帧间差异，其次在接收端计算视频序列帧间编码帧单帧亮度分量平均减少的比特数，然后计算该段视频序列的平均帧间差异和原始的平均帧间差异，由此得出平均帧间差异的变化值；最后得出该段视频序列的质量评估结果，并以此结果判定终端接收到的视频序列的质量。本发明评估接收视频质量的方法简单，不但可以评价视频的编码质量，也可以评价视频的传输质量，评价灵敏度和应用灵活度高。

Description

部分参考视频质量客观评价方法

技术领域

本发明涉及无线视频通信客观质量评价的方法，属于视频通信领域。

背景技术

随着无线和IP视频服务的广泛应用，为给用户提供较高的服务质量（QoS）或感官质量（QoE），在用户终端对接收到的视频进行实时的质量评价就显得尤为重要。全参考视频质量评价方法虽然在评价性能和评价结果与主观评价一致性方面要优于部分参考和无参考视频质量评价方法，但这类方法应用时需要原始参考视频，这在实时多媒体传输系统中往往无法得到满足；而无参考视频质量评价方法不需要任何参考视频的信息，但这类方法由于缺乏原始视频的信息，因此评价的性能一般。部分参考的视频质量评估方法是将前两种方法的优点相结合，只需获得原始视频的部分信息，即可对视频质量进行评价。一方面，这种方法不需要完整的原始视频信息，有可能以最小的传输代价提供尽可能多的参考信息，能适用于多数实际视频处理及传输系统；另一方面，由于具备原始视频中与表征质量相关的部分信息，可以更准确地评价视频质量。

目前主要的部分参考的图像/视频质量评估方法主要可分为以下几类：

1、基于图像特征提取的方法，提取图像的线性结构（如：方向、长度、宽度、梯度）、局部对比度均值等特征，并结合HVS特性和评价模型，得到关于图像的部分特征描述，并利用这些描述来评价图像质量。

2、基于谐波强度的方法，通过在频域中对编码受损图像进行谐波强度分析，利用谐波强度的增加和降低与最显著的压缩失真效应方块效应和模糊失真的相关性进行失真图像质量的评价。

3、基于Wavelet域统计模型的方法，这种方法具有很好的通用性，适用于空域和时域多种失真类型，如：噪声污染、模糊、线或帧的抖动，以及帧丢失，并且参考数据的码率低，但是小波变换仅具有良好的图像局部空间方向选择性，而对几何方向的规律性并不敏感。

4、基于多尺度几何分析（MultiScale Geometric Analysis,MGA）的方法，小波变换对于点奇异性信息具有比较好的分析能力，但是对于线奇异性及面奇异性等高维信息的分析则并不是最优的或者说“最稀疏”的函数表示方法，因此利用多尺度几何分析的特性，对几何学图像的各向异性的规律进行分析，提取图像分解后各子带的特征，并且加入了对HVS模型的考虑，有效地提升了RR评价算法的性能，这类方法目前多用于图像质量评估。

5、添加辅助参考信息方法，该方法可分成无意义信息添加和有意义信息添加两类算法模型。无意义信息添加算法主要通过伪随机数等数据作为添加物,并不反映具体内容和意义；有意义信息添加算法主要通过数字水印技术,将含有具体内容的水印图案添加到视频序列中,通过检测水印图案的劣化程度,了解信道对视频数据的损伤情况。

目前对视频通信的部分参考客观质量评估方法已有了大量研究，并取得了一定的成果，但大多数方法是针对图像的，针对视频的并不多。虽然有些针对视频的部分参考客观质量评估方法也取得了较好的评估效果，但在部分参考信息的生成、提取、以及分析方面较为复杂，编/解码端或发/收端的相互协调工作要求较高，在编码和解码端都需要对传输视频展开逐帧的特征信息的提取与分析，然后再通过对每一帧评价结果的综合来得到一段视频的质量。为满足无线视频传输中的带宽限制和高误码率，以及无线终端处理能力的限制，需要在视频通信的部分参考客观质量评估方法中尽可能简化特征信息的提取，同时尽可能减少特征信息的数据量。虽然有专利（公开号：CN102186098A）简化了参考信息的提取，并采用一元线性回归的统计原理来评估一段视频序列的质量，但存在回归分析计算复杂度仍然较高，分析结果受样本数影响较大的问题,而且无法应用在场景变换较频繁的视频序列。

发明内容

为了克服现有技术复杂度较高，应用灵活性较差的不足，本发明提供一种部分参考的视频序列质量客观评价方法，该方法以原始视频的连续帧的亮度分量时域差异作为参考信息，通过分析接收视频的相应连续帧的亮度分量时域差异平均值的变化和接受视频相对于原始视频的单帧亮度分量平均比特数的变化关系来客观评价视频序列的质量。本发明评估接收视频质量的方法简单，不但可以评价视频的编码质量，也可以评价视频的传输质量，评价灵敏度和应用灵活度高。

本发明解决其技术问题所采用的技术方案是：首先在编码端用时域峰值信噪比TPSNR_s方法计算出原始视频每一帧与前一帧的帧间差异，并将此帧间差异传送至接收端；其次在接收端提取要进行质量评估的一段视频序列的每一个帧间编码帧P帧(或B帧)的亮度分量的编码比特数Bit_d，并计算单帧亮度分量的平均编码比特数Bit_ad，由此得出该段视频序列帧间编码帧P帧(或B帧)单帧亮度分量平均减少的比特数；然后同样用时域峰值信噪比TPSNR_d方法计算接收到的该段视频序列每一个帧间编码帧P帧(或B帧)与前一帧的帧间差异，并计算出平均帧间差异，然后从接收到的参考信息中提取相对应的原始视频帧的时域峰值信噪比TPSNR_s，并计算出原始的平均帧间差异，由此得出平均帧间差异的变化值；最后利用单帧亮度分量平均减少的比特数与平均帧间差异的变化值得出该段视频序列的质量评估结果，并以此结果判定终端接收到的视频序列的质量。

具体步骤如下：

a)编码端用时域峰值信噪比方法计算出原始视频每一帧与前一帧亮度分量的帧间差异TPSNR_s，并同编码后的视频序列，一起传输到接收端。

b)利用编码视频流中的标识位提取接收视频序列的帧间编码帧P帧(或B帧)的亮度分量的编码比特数Bit_d，并计算出单帧亮度分量平均编码比特数Bit_ad。

c)用时域峰值信噪比方法计算出解码后帧间编码帧P帧(或B帧)与前一帧的亮度分量的帧间差异TPSNR_d，并计算出帧间差异的平均值TPSNR_ad，同时利用接收到的原始视频相对应帧的帧间差异TPSNR_s计算出原始视频的帧间差异的平均值TPSNR_as；

d)得到单帧亮度分量平均减少比特数与平均帧间差异的变化值之比。平均帧间差异的变化值可由TPSNR_ad-TPSNR_as得到；单帧亮度分量平均减少比特数可由接收到的视频序列单帧亮度分量在编码前的比特数Bit_s以10为底的对数减去从接收视频码流中得到的Bit_ad以10为底的对数得到。单帧亮度分量平均减少比特数与平均帧间差异的变化值之比为：

e)将步骤d）中得到的比值Q作为正切值，求出所对应的角度值，将此角度值作为最终视频序列质量的评估值。

f)根据步骤e）得到的最终视频序列质量评估值与事先设定的参考值相比较判定接收到的视频序列质量的优劣，从而适时调整发送端或编码端的参数。

编码端用时域峰值信噪比方法计算出原始视频每一帧与前一帧亮度分量的帧间差异TPSNR_s是指首先计算出原始视频每一帧与其前一帧对应位置像素亮度值的均方误差：其中L_n(i,j)和L_n-1(i,j)分别表示当前帧图像和其前一帧图像在（i,j）位置处的像素亮度值，M、N分为图像的行、列像素数；然后通过公式

得到当前帧与其前一帧的帧间差异。数字视频多采用Y:Cb:Cr彩色空间，压缩编码时Y分量、Cb分量、Cr分量分别采样，而人类视觉系统对于亮度分量Y的敏感程度要大于色度分量Cr和Cb，因此为了减少运算量，本方法只使用亮度分量进行帧间差异分析，然后将原始视频每一帧与其前一帧的帧间差异TPSNR_s伴随编码视频流一同传输到接收端。

提取帧间编码帧P帧（或B帧）亮度分量的编码比特数是指从接收到的视频流中通过码流中的标识位提取帧间编码帧P帧（或B帧）的亮度分量编码比特数。由于本方法应用了统计学原理，因此提取的帧间编码帧数及样本数应大于10帧，具体统计样本数的选择在实际应用中需要和质量评价的实时性相权衡。由于帧间编码帧分为P帧和B帧，需要说明P帧或B帧只能选择一种，并在后续判定中持续使用，不能混合使用。

计算出解码后帧间编码帧P帧(或B帧)与前一帧的亮度分量的帧间差异TPSNR_d是指用用时域峰值信噪比的方法表示出被评测的视频序列中解码后的帧间编码帧与其前一帧的帧间差异。首先计算出该段视频中解码后帧间编码帧与其前一帧对应位置像素亮度值的均方误差：其中L_dn(i,j)和L_dn-1(i,j)分别表示当前解码帧图像和其前一帧图像在（i,j）位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过TPSNR公式

得到帧间编码帧与其前一帧的帧间差异。最后将计算出的该段视频序列中所有帧间编码帧与其前一帧的TPSNR_d求平均，得到

W为该视频序列中参与统计的帧间编码帧的数量。同时利用接收到的所有参与分析的帧间编码帧所对应的原始的TPSNR_s，计算出TPSNR_as；

单帧亮度分量平均减少比特数是指原始视频未压缩编码时的单帧亮度分量的平均比特数Bit_s以10为底的对数与在接收端接收到的实际单帧亮度分量的平均编码比特数Bit_ad以10为底的对数之差，以10为底取对数是为了与平均帧间差异变化值具有相同的数量级；Bit_s为视频序列单帧亮度分量未编码时的比特数，可通过已编码的数字视频序列的分辨率和图像精度得到，如：一帧分辨率为352×288的CIF彩色图像的亮度分量用8Bit来表示，lgBit_s=lg（352×288×8）≈5.91。Bit_ad可由解码视频中帧间编码帧每一帧的亮度分量编码比特数求平均得到：Bit_dn为被测视频序列第n个帧间编码帧亮度分量的编码比特数，W为该视频序列中参与统计的帧间编码帧的数量；平均帧间差异的变化值直接利用TPSNR_ad和TPSNR_as之差即可得到。

得到最终视频序列质量评估值是指将Q做相应的变换使其具备良好的取值范围。Q的取值范围在（0，∞），将Q值作为正切值，求出相应的角度值，这样就得到了最终视频质量的评估值Vq。Vq的取值在（0，90）之间，值越大表明测试的视频序列质量越高，值越小表明测试的视频序列质量越低。

最后将得到的视频质量评估值与事先设定的参考值进行比较来判定终端接收的视频序列质量的优劣，评估值大于参考值表明接收到的视频序列质量高于预定要求，评估值小于参考值表明接收到的视频序列质量不满足预定要求，从而实现接收端视频序列质量的自动判定，以适时调整发送端或编码端的相应参数。

本发明的有益效果是：本发明只需获得原始视频的帧间差异作为参考信息，通过分析接收视频序列单帧亮度分量平均被压缩的比特数与经编码、传输后平均帧间差异的变化值的关系就可以客观评价视频序列的质量。与专利（公开号：CN102186098A）相比本发明在关键步骤d中采用直接计算接收视频序列单帧亮度分量平均被压缩比特数的方法计算视频质量，而不是对帧间编码帧与其前一帧的差异PSNR值和帧间编码帧本身编码比特数之间展开一元线性回归分析，因此本方法运算复杂度进一步得到降低；同时由于统计样本数对一元线性回归直线在纵轴的截距影响较大，本发明方法相比于专利（公开号：CN102186098A）提高了视频质量评估结果的实时性和稳定性，应用的灵活度更高。

附图说明

图1是本发明方法的基本流程图。

图2是本发明方法对不同视频序列在不同码率时编码质量评估的效果图。

图3是本发明方法和常用全参考视频质量评估方法PSNR、SSIM经过归一化处理后评估灵敏度的对比图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

本发明的基本思想是：利用视频序列编码前后亮度分量被压缩的比特数与帧间平均差异的变化关系来评估一段视频序列的质量。在编码端用峰值信噪比TPSNR方法计算出原始视频每一帧与前一帧的帧间差异TPSNR_s，并将对应结果发送至接收端；接收端从视频码流中直接提取帧间编码帧亮度分量的编码比特数，然后用同样的TPSNR方法计算出解码后的帧间编码帧与其前一帧的帧间差异，并求出平均值，同时计算接收到的这些帧在原始视频中与前一帧的帧间差异的平均值。最后用得到的接收视频单帧亮度分量平均被压缩的比特数与平均帧间差异的变化值之比计算得出视频序列质量的评估结果。

用于实施的硬件环境是：Pentium Dual E21802.00GHz、1G内存，集成显卡，运行的软件环境是：MATLAB R2007a、JM10.2和Windows XP。示例一：采用五个CIF格式的标准测试序列“flower”、“highway”、“football”、“akiyo”和“foreman”，用H.264标准baseline进行压缩编码，各编码100帧，帧率为25f/s，采用固定量化参数，QP取值范围从28～48，步长为2，帧格式为IPPPP……，得到55个试验序列；示例二：将量化参数QP=28的foreman编码视频序列分别再通过模拟误码率为20%、10%、5%的误码信道，解码器的误码隐藏方案为宏块拷贝技术，及丢失宏块直接拷贝前一帧相应位置的宏块，以此得到3个存在传输失真的视频序列；示例三：将flower序列按帧率25Hz/s，恒定目标码率为256kbit/s，量化参数可变，初始量化参数为28，编码帧的类型仍为IPPP……，编码前100帧，最终得到了一个实际平均码率为259.17kbit/s的试验序列。然后利用MATLAB程序设计语言设计本发明提出的视频序列质量评估方法，并给出了视频序列质量评估效果图和评估数值表。

如图1所示，本发明具体实施如下：

1、计算原始视频每一帧与前一帧的帧间差异。首先计算出原始视频每一帧与其前一帧对应位置像素亮度值的均方误差：

${\mathrm{TMSE}}_s=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(L_n(i,j)-L_{n-1}(i,j))}^2}{M\×N},---\left(1\right)$

式中Ln(i,j)和Ln-1(i,j)分别表示当前帧图像和其前一帧图像在（i,j）位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过TPSNR公式：

${\mathrm{TPSNR}}_s=10\lg \frac{255\×255}{{\mathrm{TMSE}}_s},---\left(2\right)$

得到当前帧图像和其前一帧图像的帧间亮度分量差异。并将此信息随编码视频流传送到接收端。

2、提取帧间编码帧P帧或B帧亮度分量的编码比特数。利用编码视频流中的标识位提取视频序列一个场景内帧间编码帧P帧或B帧的亮度分量的编码比特数，提取数量要大于10帧，并计算出单帧亮度分量平均编码比特数Bit_ad：

${\mathrm{Bit}}_{\mathrm{ad}}=\frac{\underset{n=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{Bit}}_d}{W},---\left(3\right)$

其中Bit_d为视频序列中每一个帧间编码帧P帧或B帧亮度分量的编码比特数,W为参与分析的帧间编码帧的总帧数。

3、计算接收到的解码后视频序列帧间编码帧与其前一帧的帧间差异。首先计算解码后帧间编码帧与其前一帧对应位置像素亮度值的均方误差：

${\mathrm{TMSE}}_d=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(L_{\mathrm{dn}}(i,j)-L_{\mathrm{dn}-1}(i,j))}^2}{M\×N},---\left(4\right)$

其中L_dn(i,j)和L_dn-1(i,j)分别表示当前解码帧图像和其前一帧图像在（i,j）位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过TPSNR公式：

${\mathrm{TPSNR}}_d=10\lg \frac{255\×255}{{\mathrm{TMSE}}_d},---\left(5\right)$

得到解码后帧间编码帧与其前一帧的帧间差异。最后将计算出的所有帧间编码帧与其前一帧的TPSNR_d求平均：

${\mathrm{TPSNR}}_{\mathrm{ad}}=\frac{\underset{n=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{TPSNR}}_d}{W},---\left(6\right)$

得到帧间平均差异TPSNR_ad，W为参与分析的帧间编码帧的总帧数。

同时利用接收到的所有参与分析的帧间编码帧所对应的帧在原始视频序列中与前一帧的帧间差异值TPSNR_s，计算出TPSNR_as；

${\mathrm{TPSNR}}_{\mathrm{as}}=\frac{\underset{n=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{TPSNR}}_s}{W}---\left(7\right)$

得到帧间编码帧与其前一帧原始的平均帧间差异，W为参与分析的帧间编码帧的总帧数。

4、得到单帧亮度分量平均减少的比特数与平均帧间差异的变化值之比。用原始视频未压缩编码时的单帧亮度分量的平均比特数Bit_s以10为底的对数减去接收视频的单帧亮度分量的平均编码比特数Bit_ad以10为底的对数，除以TPSNR_ad和TPSNR_as之差：

$Q=\frac{\lg {\mathrm{bit}}_s-\lg {\mathrm{bit}}_{\mathrm{ad}}}{{\mathrm{TPSNR}}_{\mathrm{ad}}-{\mathrm{TPSNR}}_{\mathrm{as}}},---\left(8\right)$

在式中Bit_s＝M×N×f，M，N分别为接收视频的行、列像素数，f为图像精度。

5、得到最终视频序列质量评估值。将Q值作为正切值，求出相应的弧度值，再将弧度值转化为角度值，此角度值就是最终视频质量的评估值Vq。Vq的取值在（0，90）之间，值越大测试的视频序列质量越高，值越小测试的视频序列质量越低。

Vq=degree（arctg(Q)）                                    (9)

6、利用视频序列质量评估值判定视频序列质量。评估值大于预设参考值表明接收到的视频序列质量高于预定要求，评估值小于参考值表明接收到的视频序列质量不满足预定要求，实现接收端视频序列质量的自动判定。

图2是示例一中采用本发明方法对编码后的5个测试视频序列在不同码率时的质量评估的结果，可以看出随视频编码比特率的不断降低，在较低码率时5个测试序列的评估分值均加速减小，与实际主观感受相一致。从图3中可以看出随码率的降低本发明方法的质量评估值的减小幅度明显大于全参考的视频质量评估方法SSIM和PSNR，对视频序列质量波动评估的灵敏度更高。

表1为示例二中QP=28的foreman编码视频序列通过信道误码率为20%、10%、5%的模拟误码信道，解码器采用的误码隐藏方案为宏块拷贝技术，用本发明提出的方法对所接收到的视频进行质量评估的结果。从表中可以看出随误码率的不断提高视频序列的质量评价值逐渐减小，并且呈加速减小趋势，这也与人眼的主观感受相一致，随误码率的提高，宏块拷贝带来的差错可见度也将明显增大。由此可见本发明所提出的部分参考视频质量评估方法还可有效评估视频序列的传输失真。

表1foreman序列在不同误码率时的视频质量评估值

误码率	0%	5%	10%	20%
					Vq	76.03	75.61	69.84	55.27

表2是本发明方法在恒定码率时对flower视频编码序列进行分段评估的评估值，可以看出由于flower序列纹理复杂，目标码率设置相对较低，初始量化参数较大，因而在编码过程中量化参数不断减小以使其接近目标码率，从而视频质量不断降低，本发明方法先对整段视频质量进行评价，然后又将测试序列按每20帧为一测试段落进行视频质量的评价，从表中可以得出本发明方法可以有效的跟踪视频序列的质量变化，且灵敏度远高于PSNR。

表2flower序列视频质量评估值

	整段序列	1-20帧	21-40帧	41-60帧	61-80帧	81-99帧
							本章方法	48.2	67.81	58.8	50.36	44.45	37.69
PSNR（dB）	31.05	34.28	31.9	30.7	29.83	28.29

Claims (1)

1.一种部分参考视频质量客观评价方法，其特征在于包括下述步骤：

a)编码端用时域峰值信噪比方法计算出原始视频每一帧与前一帧亮度分量的帧间差异TPSNR_s，并同编码后的视频序列，一起传输到接收端；

b)利用编码视频流中的标识位提取接收视频序列的帧间编码帧P帧或B帧的亮度分量的编码比特数Bit_d，并计算出单帧亮度分量平均编码比特数Bit_ad；

c)用时域峰值信噪比方法计算出解码后帧间编码帧P帧或B帧与前一帧的亮度分量的帧间差异TPSNR_d，并计算出帧间差异的平均值TPSNR_ad，同时利用接收到的原始视频相对应帧的帧间差异TPSNR_s计算出原始视频的帧间差异的平均值TPSNR_as；

d)得到单帧亮度分量平均减少比特数与平均帧间差异的变化值之比

其中，Bit_s为编码前的比特数；

e)将步骤d）中得到的比值Q作为正切值，求出所对应的角度值，将此角度值作为最终视频序列质量的评估值；

f)根据步骤e）得到的最终视频序列质量评估值与事先设定的参考值相比较判定接收到的视频序列质量的优劣，从而调整发送端或编码端的参数。

Images