CN102186098B - 视频序列编码质量客观评价方法 - Google Patents

Abstract

本发明公开了一种视频序列编码质量客观评价方法，首先计算出原始视频每一帧与前一帧亮度分量的帧间差异；提取视频序列帧间编码帧的编码比特数；然后计算解码后帧间编码帧与前一帧的亮度分量的帧间差异、平均值和原始视频的帧间差异的平均值；将解码后帧间编码帧与前一帧的差异作为自变量，帧间编码帧本身编码比特数作因变量进行一元线性回归分析；得到编码前后单帧最大平均比特数变化与平均帧间差异变化之比；将比值换算为最终视频序列质量的评估值；并与事先设定的参考值相比较判定接收到的视频序列质量的优劣，或根据设置的信区间判定当前帧间编码帧的单帧质量。本发明方法简单，参考信息量小，获取方便，评价灵敏度和应用灵活度高。

Description

视频序列编码质量客观评价方法

技术领域

本发明涉及视频序列质量评价的方法，属于多媒体通信领域。

背景技术

随着无线和IP视频服务的广泛应用，为给用户提供较高的服务质量(QoS)或感官质量(QoE)，在用户终端对接收到的视频进行实时的质量评价就显得尤为重要。对于一个视频质量客观评价方法来说，根据失真视频与其相应的原始参考视频的比较程度，可分为全参考模型(Full-Reference FR)、部分参考模型(Reduced-Reference RR)和无参考模型(No-Reference NR)。在远程多媒体通信系统中，终端往往得不到原始视频作为参考，因此无法应用全参考模型。虽然无参考模型在不需要任何原始视频信息的情况下，可以方便的应用于移动终端、TV机顶盒、视频电话、远程实时监控等等，但在精确性上要次于FR和RR模型。所以，以最小的传输代价来传输部分参考信息的RR参考模型具有较高的应用价值。

已有的采用部分参考模型的客观视频质量评价方法有通过对媒体文件的每一视频帧赋予不同的帧序列号，确定与所述帧序列号对应的不同图形标记，并将所述图形标记叠加到所述媒体文件的对应视频帧上，然后对输出的视频帧中的所述图形标记依次进行识别并生成与其对应的帧序列号，对所得到的帧序列号进行分析，作出视频播放质量评估(中国专利CN1859584，公开日期：2006-11-08)；或者通过对视频源文件进行分段，添加段标识，生成分段文件，将所述分段文件传送给视频业务系统，视频业务质量测试装置从视频业务系统的缓存中获取分段数据，将获取的分段数据与分段文件中的对应段数据进行比较，确定出视频业务质量(中国专利CN101540896，公开日期：2009-09-23)；以及采用数字水印的嵌入和提取，客观反映和评价多媒体视频通信质量(中国专利CN101160951，公开日期：2008-04-09)；还有利用编解码器的辅助信息进行视频质量测量的系统和方法(中国专利CN101213846，公开日期：2008-07-02)。这些方法虽然在测量视频的编码或传输失真方面取得了很好的效果，但在部分参考信息的生成、提取、以及分析方面较为复杂，编/解码端或发/收端的相互协调工作要求较高。

发明内容

为了克服现有技术复杂度较大，应用灵活性较差的不足，本发明提供一种部分参考的视频序列质量客观评价方法，该方法只需获得原始视频的帧间差异作为参考信息，通过分析编码前后平均帧间差异的变化和视频序列编码后的单帧最大平均比特数的变化的关系就可以客观评价视频序列的质量，本发明方法简单，参考信息数据量小，获取方便，评价灵敏度和应用灵活度高。

本发明解决其技术问题所采用的技术方案是：首先在编码端用峰值信噪比PSNR方法计算出原始视频每一帧与前一帧的帧间差异，并将此帧间差异传送至接收端；其次在接收端提取要进行质量评估的一段视频序列的每一个帧间编码帧P帧或B帧的编码比特数；然后同样用峰值信噪比PSNR方法计算解码后每一个帧间编码帧与前一帧的帧间差异；再用一元线性回归的方法将所有帧间编码帧的比特数和解码后帧间编码帧与前一帧的帧间差异作回归分析，得到预测的单帧最大平均编码比特数；最后由编码前单帧亮度分量比特数与编码后单帧最大平均编码比特数的差值和视频序列编码前后的平均帧间差异变化差值计算得出视频质量评估结果，并以此结果判定终端接收到的视频序列的质量，还可以只需通过置信区间来判定帧间编码帧的单帧视频质量。

具体步骤如下：

a)编码端用峰值信噪比方法计算出原始视频每一帧与前一帧亮度分量的帧间差异PSNR_s，并同编码后的视频序列，一起传输到接收端。

b)利用编码视频流中的标识位提取视频序列帧间编码帧P帧或B帧的编码比特数Bit。

c)用峰值信噪比方法计算出解码后帧间编码帧与前一帧的亮度分量的帧间差异PSNR_d，并计算出帧间差异的平均值APSNR_d，同时利用接收到的原始视频的帧间差异PSNR_s计算出原始视频的帧间差异的平均值APSNR_s；

d)将解码后帧间编码帧与前一帧的差异PSNR_d作为自变量，帧间编码帧本身编码比特数作因变量进行一元线性回归分析。

e)得到编码前后单帧最大平均比特数变化与平均帧间差异变化之比。编码前后平均帧间差异变化可由APSNR_d-APSNR_s得到；单帧最大平均比特数变化可由接收到的视频序列单帧亮度分量在编码前的比特数Bit_s以10为底的对数减去从回归方程中得到的帧间编码帧单帧最大平均编码比特数

以10为底的对数得到。编码前后单帧最大平均比特数的变化与平均帧间差异变化之比为：

$Q=\frac{1g{\mathrm{Bit}}_s-1g\hat{a}}{{\mathrm{APSNR}}_d-{\mathrm{APSNR}}_s}.$

f)将步骤e)中得到的比值Q作为正切值，求出所对应的角度值，将此角度值作为最终视频序列质量的评估值。

g)根据步骤f)得到的最终视频序列质量评估值与事先设定的参考值相比较判定接收到的视频序列质量的优劣，或根据设置的信区间判定当前帧间编码帧的单帧质量，从而适时调整发送端或编码端参数。

编码端用峰值信噪比方法计算出原始视频每一帧与前一帧亮度分量的帧间差异PSNR_s是指首先计算出原始视频每一帧与其前一帧对应位置像素亮度值的均方误差：

其中L_n(i，j)和L_n-1(i，j)分别表示当前帧图像和其前一帧图像在(i，j)位置处的像素亮度值，M、N分为图像的行、列像素数；然后通过PSNR公式

得到当前帧与其前一帧的帧间差异。数字视频多采用Y:Cb:Cr彩色空间，压缩编码时Y分量、Cb分量、Cr分量分别采样，而人类视觉系统对于亮度分量Y的敏感程度要大于色度分量Cr和Cb，因此为了减少运算量，本方法只使用亮度分量进行帧间差异分析，然后将原始视频每一帧与其前一帧的帧间差异PSNR_s伴随编码视频流一同传输到接收端。

提取帧间编码帧P帧或B帧编码比特数是指从接收到的视频流中通过码流中的标识位提取一个场景内帧间编码帧P帧或B帧的编码比特数。由于本方法应用了统计学原理，因此在一个场景内提取的帧间编码帧数及样本数要大于30帧，样本数越多统计越精确，而在实际应用中这需要和质量评价的实时性相权衡，并且场景切换后应重新开始统计，因而本方法更适用于场景变换不大的视频会议、视频监控，以及视频通话等实时多媒体通信领域。由于帧间编码帧分为P帧和B帧，需要说明P帧或B帧只能选择一种，并在后续判定中持续使用，不能混合使用。

计算帧间编码帧与其前一帧的帧间差异是指用峰值信噪比PSNR方法表示出解码后帧间编码帧与其前一帧的帧间差异。首先计算解码后帧间编码帧与其前一帧对应位置像素亮度值的均方误差：

其中L_dn(i，j)和L_dn-1(i，j)分别表示当前解码帧图像和其前一帧图像在(i，j)位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过PSNR公式

得到帧间编码帧与其前一帧的帧间差异。最后将计算出的所有帧间编码帧与其前一帧的PSNR_d求平均，得到APSNR_d。同时利用接收到的所有参与统计的帧间编码帧所对应的原始的PSNR_s，计算出APSNR_s；

进行一元线性回归分析是指将解码后的帧间编码帧与其前一帧的差异PSNR_d作为自变量，帧间编码帧本身编码比特数作为因变量进行一元线性回归分析。在一段视频序列中，每一帧间编码帧的比特数作为随机变量，对于帧间差异PSNR的每一个确定值，都有它的分布，并且数学期望也存在，因而帧间编码帧比特数的数学期望是帧间差异PSNR的函数，可以用一元线性回归模型来确定帧间编码帧与其前一帧的差异PSNR和帧间编码帧本身编码比特数之间的关系Bit＝a+b*PSNR+ε，ε～N(0，σ²)，从而得到一元线性回归方程

然后用最小二乘法求出参数的估计量

式中PSNR为帧间编码帧与前一帧的差异，

为预测的帧间编码帧比特数。还可得到估计的修正标准差

以及给定置信度1-α后的置信区间。

得到编码前后单帧最大平均比特数变化与平均帧间差异变化之比是指当线性回归方程的PSNR＝0时，可以得到编码视频序列的单帧最大平均编码比特数Bit_max，及回归方程纵轴的截距值然后将以10为底取对数得到

再将接收到的视频序列单帧亮度分量未编码时的比特数以10为底取对数减去

然后除以解码后平均帧间差异PSNR_d和编码前平均帧间差异PSNR_s之差：

其中Bit_s为视频序列单帧亮度分量未编码时的比特数，可通过已编码的数字视频序列的分辨率和图像精度得到，如：一帧分辨率为352×288的CIF彩色图像的亮度分量用8Bit来表示，lgBit_s＝lg(352×288×8)≈5.91。由于4:2:0的采样率广泛应用于视频会议、数字电视和DVD存储等领域，使用这种采样率时编码后的帧间编码帧的单帧比特数远小于编码前的单帧比特数，因此这里只采用了视频序列单帧亮度分量未编码时的比特数来计算单帧相对最大比特数变化；如果采用4:2:2或4:4:4采样率时，可根据实际应用情况选择单帧亮度分量的2倍，及2Bit_s作为视频序列单帧未编码时的比特数。可见Q值越大表明用来表示编码前后单位帧间差异变化的平均比特数越多，视频序列的质量也就相应越高，反之亦然。

得到最终视频序列质量评估值是指将Q做相应的变换使其具备良好的取值范围。Q的取值范围在(0，∞)，将Q值作为正切值，求出相应的角度值，这样就得到了最终视频质量的评估值Vq。Vq的取值在(0，90)之间，值越大表明测试的视频序列质量越高，值越小表明测试的视频序列质量越低。

最后将得到的视频质量评估值与事先设定的参考值进行比较来判定终端接收的视频序列质量的优劣，评估值大于参考值表明接收到的视频序列质量高于预定要求，评估值小于参考值表明接收到的视频序列质量不满足预定要求，从而实现接收端视频序列质量的自动判定，以适时调整发送端或编码端的相应参数。在帧间编码帧单帧视频的实时判定方面，根据满足预定质量要求的视频序列统计出的置信区间，在视频同一场景内可依据设定的置信度来判定接收到的当前帧的编码比特数是否在置信区间范围内，如果小于置信区间下限说明该帧质量低于预定要求，大于置信区间上限说明该帧视频质量高于预定要求。如选用P帧统计则只能实时判定P帧的单帧质量，选用B帧统计则只能实时判定B帧的单帧质量。

本发明的有益效果是：本发明只需获得原始视频的帧间差异作为参考信息，通过分析视频序列编码前后平均帧间差异的变化和编码前后的单帧最大平均比特数的变化的关系就可以客观评价视频序列的质量，方法简单，参考信息量小，获取方便，评价灵敏度和应用灵活度高。

下面结合附图和实施例对本发明进一步说明。

附图说明

图1是本发明方法的基本流程图。

图2是本发明方法对视频质量评估效果图。

图3是以flower序列为例本发明方法和常用全参考视频质量评估方法归一化后灵敏度对比图。

图4是本发明方法和常用全参考视频质量评估方法与主观评分对应分布图；其中，(a)是本方法评估值与归一化DMOS值对比图；(b)是SSIM方法评估值与归一化DMOS值对比图；(c)是PSNR方法评估值与归一化DMOS值对比图；。

具体实施方式

本发明的基本思想是：利用视频序列编码前后帧间平均差异的变化和编码前后单帧最大平均比特数的变化关系来评估一段视频序列的质量。在编码端用峰值信噪比PSNR方法计算出原始视频每一帧与前一帧的帧间差异，并将结果发送至接收端；接收端从视频码流中直接提取帧间编码帧的编码比特数，然后用PSNR方法计算出解码后的帧间编码帧与其前一帧的帧间差异，并求出平均值，同时计算出帧间编码帧所对应的原始帧间差异的平均值。将帧间编码帧与其前一帧的帧间差异PSNR作为自变量，其本身编码比特数作为因变量进行一元线性回归分析。最后利用编码前单帧亮度分量比特数与回归分析得出的编码后单帧最大平均编码比特数的差值和视频序列编码前后的平均帧间差异变化的差值计算得出视频质量评估结果。

用于实施的硬件环境是：Pentium Dual E2180 2.00GHz、1G内存，集成显卡，运行的软件环境是：MATLAB R2007a、JM10.2和Windows XP。示例采用五个CIF格式的标准测试序列“flower”、“highway”、“football”、“akiyo”和“foreman”，用H.264标准baseline进行压缩编码，各编码100帧，帧率为25f/s，量化参数QP取值范围从28～48，步长为2，帧格式为IPPPP……。然后利用MATLAB程序设计语言设计本发明提出的视频序列质量评估方法，并给出了视频序列质量评估效果图和与主观评分对应分布图。

如图1所示，本发明具体实施如下：

1、计算原始视频每一帧与前一帧的帧间差异。首先计算出原始视频每一帧与其前一帧对应位置像素亮度值的均方误差：

$\mathrm{MS}{E}_s=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(L_n(i,j)-L_{n-1}(i,j))}^2}{M\×N},---\left(1\right)$

式中Ln(i，j)和Ln-1(i，j)分别表示当前帧图像和其前一帧图像在(i，j)位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过PSNR公式：

$\mathrm{PSN}{R}_s=101g\frac{255\×255}{\mathrm{MS}{E}_s}---\left(2\right)$

得到当前帧图像和其前一帧图像的帧间亮度分量差异。并将此信息随编码视频流传送到接收端。

2、提取帧间编码帧P帧或B帧编码比特数。利用编码视频流中的标识位提取视频序列一个场景内帧间编码帧P帧或B帧的编码比特数，提取数量要大于30帧。

3、计算解码后帧间编码帧与其前一帧的帧间差异。首先计算解码后帧间编码帧与其前一帧对应位置像素亮度值的均方误差：

${\mathrm{MSE}}_d=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(L_{\mathrm{dn}}(i,j)-L_{\mathrm{dn}-1}(i,j))}^2}{M\×N},---\left(3\right)$

其中L_dn(i，j)和L_dn-1(i，j)分别表示当前解码帧图像和其前一帧图像在(i，j)位置处的像素亮度值，M，N分为图像的行、列像素数；然后通过PSNR公式：

${\mathrm{PSNR}}_d=101g\frac{255\×255}{{\mathrm{MSE}}_d},---\left(4\right)$

得到解码后帧间编码帧与其前一帧的帧间差异。最后将计算出的所有帧间编码帧与其前一帧的PSNR_d求平均：

${\mathrm{APSNR}}_d=\frac{\underset{K=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{PSNR}}_{\mathrm{dk}}}{W},---\left(5\right)$

得到帧间平均差异APSNR_d，W为统计的帧间编码帧样本数。

同时利用接收到的所有参与统计的帧间编码帧所对应的原始的PSNR_s，计算出APSNR_s；

${\mathrm{APSNR}}_d=\frac{\underset{K=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{PSNR}}_{\mathrm{dk}}}{W}---\left(6\right)$

得到帧间编码帧与其前一帧原始的平均帧间差异，W为统计的帧间编码帧样本数。

4、进行一元线性回归分析。将帧间编码帧与其前一帧的帧间差异PSNR_d作为自变量，其本身编码比特数作为因变量进行一元线性回归分析，得到回归方程。

$\widehat{\mathrm{Bit}}=\hat{a}+\hat{b}*\mathrm{PSN}{R}_d$

$\hat{a}=\stackrel{\‾}{\mathrm{Bit}}-\hat{b}{\mathrm{APSNR}}_d,---\left(7\right)$

${\widehat{\mathrm{\σ}}}^2=\frac{1}{w-2}\underset{i=1}{\overset{w}{\mathrm{\Σ}}}{({\mathrm{Bit}}_i-\hat{a}-\hat{b}{\mathrm{PSNR}}_{\mathrm{di}})}^2---\left(9\right)$

给定置信度1-α后，Bit₀的置信区间为：

$({\widehat{\mathrm{Bit}}}_0-t_{\mathrm{\α}/2}(w-2)\widehat{\mathrm{\σ}}\sqrt{1+\frac{1}{w}+\frac{{({\mathrm{PSNR}}_{d0}-{\mathrm{APSNR}}_d)}^2}{\underset{i=1}{\overset{w}{\mathrm{\Σ}}}{({\mathrm{PSNR}}_{\mathrm{di}}-{\mathrm{APSNR}}_d)}^2}},{\widehat{\mathrm{Bit}}}_0+t_{\mathrm{\α}/2}(w-2)\widehat{\mathrm{\σ}}\sqrt{1+\frac{1}{w}+\frac{{({\mathrm{PSNR}}_{d0}-{\mathrm{APSNR}}_d)}^2}{\underset{i=1}{\overset{w}{\mathrm{\Σ}}}{({\mathrm{PSNR}}_{\mathrm{di}}-\mathrm{APSN}{R}_d)}^2}}---\left(10\right)$

5、得到编码前后单帧最大平均比特数变化与平均帧间差异变化之比。以视频序列单帧亮度分量未编码时的比特数Bit_s以10为底的对数减去从回归方程中得到的帧间编码帧单帧最大平均比特数

以10为底的对数，除以APSNR_d和APSNR_s之差：

$Q=\frac{1g{\mathrm{Bit}}_s-1g\hat{a}}{{\mathrm{APSNR}}_d-{\mathrm{APSNR}}_s}---\left(11\right)$

在式中Bit_s＝M×N×f，M，N分别为编码视频的行、列像素数，f为图像精度。

6、得到最终视频序列质量评估值。将Q值作为正切值，求出相应的弧度值，再将弧度值转化为角度值，此角度值就是最终视频质量的评估值Vq。Vq的取值在(0，90)之间，值越大测试的视频序列质量越高，值越小测试的视频序列质量越低。

Vq＝degree(arctg(Q))    (12)

7、利用视频序列质量评估值判定视频序列质量。评估值大于预设参考值表明接收到的视频序列质量高于预定要求，评估值小于参考值表明接收到的视频序列质量不满足预定要求，实现接收端视频序列质量的自动判定。如需对相同类型的帧间编码帧单帧视频质量进行实时判定，则可根据设定的置信度来判定接收到的当前帧的编码比特数是否在置信区间范围内，如果小于置信区间下限说明该帧视频质量低于预定要求，大于置信区间上限说明该帧视频质量高于预定要求。

图2是采用本发明方法对编码后的5个测试视频序列在不同码率时的质量评估的结果，可以看出随视频编码比特率的不断降低，5个测试序列的评估分值均加速减小，符合主观感受。从图3中可以看出随码率的降低本发明方法的质量评估值的减小幅度明显大于全参考的视频质量评估方法SSIM和PSNR，灵敏度更高。从图4中可以看出本发明方法与主观评分有较好的一致性，与全参考的视频质量评估方法SSIM、PSNR相比较，在与人的主观质量评分一致性上优于PSNR，略差于SSIM。

Claims (5)

1.一种视频序列编码质量客观评价方法，其特征在于包括以下步骤：

a)编码端用峰值信噪比方法计算出原始视频每一帧与前一帧亮度分量的帧间差异PSNR_s，并同编码后的视频序列一起传输到接收端；

b)接收端利用编码视频流中的标识位提取视频序列帧间编码帧P帧或B帧的编码比特数Bit；

c)用峰值信噪比方法计算出解码后帧间编码帧与前一帧的亮度分量的帧间差异PSNR_d，并计算出帧间差异的平均值APSNR_d，同时利用接收到的原始视频的帧间差异PSNR_s计算出原始视频的帧间差异的平均值APSNR_s；

d)将解码后帧间编码帧与前一帧的差异PSNR_d作为自变量，帧间编码帧本身编码比特数作因变量进行一元线性回归分析；

e)得到编码前后单帧最大平均比特数变化与平均帧间差异变化之比 

其中，Bit_s为接收到的视频序列单帧亮度分量在编码前的比特数， 

为从回归方程中得到的帧间编码帧单帧最大平均编码比特数；

f)将比值Q作为正切值，求出所对应的角度值，将此角度值作为最终视频序列质量的评估值；

g)根据最终视频序列质量评估值与事先设定的参考值相比较判定接收到的视频序列质量的优劣，或根据设置的信区间判定当前帧间编码帧的单帧质量。

2.根据权利要求1所述的视频序列编码质量客观评价方法，其特征在于：所述的步骤a)是指首先计算出原始视频每一帧与其前一帧对应位置像素亮度值的均方误差 

其中L_n(i，j)和L_n-1(i，j)分别表示当前帧图像和其前一帧图像在(i，j)位置处的像素亮度值，M、N分为图像的行、列像素数；然后得到当前帧与其前一帧的帧间差异 

3.根据权利要求1所述的视频序列编码质量客观评价方法，其特征在于：所述的P帧或B帧只能选择一种，并在后续判定中持续使用。

4.根据权利要求1所述的视频序列编码质量客观评价方法，其特征在于：所述的步骤c)首先计算解码后帧间编码帧与其前一帧对应位置像素亮度值的均方误差 

其中L_dn(i，j)和L_dn-1(i，j)分别表示当前解码帧图像和其前一帧图像在(i，j)位置处的像素亮度值，然后得到帧间编码帧与其前一帧的帧间差异 

最后将计算出的所有帧间编码帧与其前一帧的PSNR_d求平均，得到APSNR_d，同时利用接收到的所有参与统计的帧间编码帧所对应的原始的PSNR_s，计算出APSNR_s。

5.根据权利要求1所述的视频序列编码质量客观评价方法，其特征在于：所述的步骤d)用一元线性回归模型来确定帧间编码帧与其前一帧的差异PSNR和帧间编码帧本身编码比特数之间的关系Bit＝a+b*PSNR+ε，ε～N(0，σ²)，从而得到一元线性回归方程 然后用最小二乘法求出参数的估计量 

式中PSNR为帧间编码帧与前一帧的差异， 

为预测的帧间编码帧比特数。 

Images