CN103458265B - 一种视频质量评价方法、装置 - Google Patents

Abstract

本发明适用于视频技术领域，提供了一种视频质量评价方法、装置，所述方法包括：获取视频流的时空显著图；根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。本发明，在时间和空间域上同时考虑了人眼视觉注意区域，掩蔽效应和视频播放的连贯性，与人眼的主观评价值具有更好的关联性，更加符合人眼视觉系统判断结果，能有效评价视频质量。

Description

一种视频质量评价方法、装置

技术领域

本发明属于视频技术领域，尤其涉及一种视频质量评价方法、装置。

背景技术

由于视频经过编码、压缩及传输后无法避免的会产生失真，而准确了解视频质量是系统设计及控制、参数优化等环节的重要前提。因此视频质量评价(Video Quality Assessment，VQA)是视频应用的关键内容之一。

视频质量评价主要包括了主观和客观两种评价方式。前者通过一定数量的观测人员按规定测试流程，根据人心理及生理感受对视频质量进行评测，后者则采用一定的客观标准，通过对视频某些方面进行分析来评测视频质量。两者相比较，主观评测方法被认为是最准确、可靠的质量评测标准。然而，主观评价方法复杂费时且评测结果易因人因时因环境而异。因此，如何概括出一种客观评测指标能够尽可能与主观评测结果相一致成为业界内主要研究方向。

目前应用最多的两种视频质量评价指标为：均方差(Mean-squared Error,MSE)以及峰值信噪比(Peak Signal-to-noise Ratio,PSNR)。这两种视频质量评价方法并未考虑人眼视觉系统(Human Visual System,HVS)的特性，无法应用于估计实际视频当中的感知质量。近年来出现了一些结合视觉感知的视频质量评价方法，通过数学模型模拟一些人眼视觉特性，如对比敏感性函数(ConstrastSensitivity Function，CSF)，颜色感知以及掩盖效应等，比较典型的结合视觉感知特性的评价方法有视频质量监控（Video Quality Monitor，VQM），语音质量主动监控（Perceptual Video Quality Metric，PVQM），帧间差，结构相似度(structural similarity，S SIM)，视觉互信息(Video Intermediate Frequency，VIF)，视觉对比度(Using visible SNR，VSNR)以及MOVIE等等。由于利用了HVS特性，近期提出的很多VQA模型具有比PSNR更好的视频质量评测效果。从仿生学角度来看，最终的VQA评价算法应该与HVS中的心理及生理特性相吻合。

然而，这些视频评价方法仅仅从视频单帧，也就是图像的内容方面考虑，而图像失真分析只是视觉模型分析的基础，对于视频来说，需进一步考虑时域上的失真变化。对于人眼动态视觉感知，另外一些视频质量评价模型则尝试对不同视频背景进行不同的视觉敏感分析，这种分析方式一般是对低级生理视觉特征进行建模，譬如基于全局运动的视觉失真分析(VSSIM,Speed-SSIM)和对比掩盖效应。总之，在现有的研究工作以外，仍然有很多重要的人眼视觉特性没有考虑到或者说没有充分得以挖掘利用，譬如人眼眼动策略分析，时域相关性分析等等。

发明内容

本发明实施例提供了一种视频质量评价方法、装置，旨在解决现有技术在对视频质量进行评价时，没有充分考虑并挖掘利用人眼视觉特性的问题。

一方面，提供一种视频质量评价方法，所述方法包括：

获取视频流的时空显著图；

根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；

根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；

根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；

根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。

另一方面，提供一种视频质量评价装置，所述装置包括：

时空显著图获取单元，用于获取视频流的时空显著图；

平均掩蔽失真度计算单元，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；

播放失真度计算单元，用于根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；

视频质量稳定性失真度计算单元，用于根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；

整体失真量计算单元，用于根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。

在本发明实施例，基于视频流的时空显著图以及视频帧中的每个像素点的像素值，先计算视频流的平均掩蔽失真度、播放失真度以及视频质量稳定性失真度，然后根据该平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算视频流的整体失真量。在时间和空间域上同时考虑了人眼视觉注意区域，掩蔽效应和视频播放的连贯性，与人眼的主观评价值具有更好的关联性，更加符合人眼视觉系统判断结果，能有效评价视频质量。

附图说明

图1是本发明实施例一提供的视频质量评价方法的实现流程图；

图2是有损视频主观评价值的EPFL-PoliMI MOS的散点测试示意图；

图3是有损视频主观评价值的LIVE DMOS的散点测试示意图；

图4是本发明实施例二提供的视频质量评价装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，基于视频流的时空显著图以及视频帧中的每个像素点的像素值，先计算视频流的平均掩蔽失真度、播放失真度以及视频质量稳定性失真度，然后根据该平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算视频流的整体失真量。

以下结合具体实施例对本发明的实现进行详细描述：

实施例一

图1示出了本发明实施例一提供的视频质量评价方法的实现流程，详述如下：

在步骤S101中，获取视频流的时空显著图。

时空显著图的计算包括初始显著区域计算与最终显著区域计算部分。初始显著区域计算利用Harel方法可以算得到，最终显著区域计算在初始显著区域计算结果的基础上，综合考虑了视觉注视转移及延迟方面的视觉特性，对初始显著区域计算结果进一步优化。

在获取初始显著计算结果后，由于人眼注视视频画面过程中会发生注视、眼跳和追随运动，而人眼视觉及心理学相关研究表明，人眼对区域平均眼跳延迟(注视)时长约为350ms，平均眼跳时长约为70ms。因此为方便计算，根据人眼的视觉特性，先设置时间参数Δt，该时间参数Δt满足公式（1）：

Δtⁿ∞R²(mean(Δtⁿ))s.t.mean(Δtⁿ)=420    (1)

其中，n表示第n个显著区域，R2表示显著区域的面积，∞表示注视时间和区域面积成正比，mean(Δtⁿ)表示取Δtⁿ的平均值。

再构造注视转移矩阵P_t，具体构造的P_t满足公式（2）：

其中，在同一镜头内，该矩阵表达了不同时间段范围内人眼所注视区域的可能性大小，以实现时间段内对人眼扫视范围的模拟。初始注视转移矩阵Pt为全0矩阵，n为显著区域序号，mij,s为所在显著区域中的元素，Δk为注视增长单元，注视增长单元与显著区域大小成反比关系。随时间增长，显著区域注视值增加，当显著区域内注视值均为1时，根据人眼排他性，视点转移到下一个显著区域。

其中，根据人眼返回抑制性以及邻近优先性，结合初始显著图F(x,y)、返回抑制图Iⁿ(x,y)及邻近优先图Mⁿ(x,y)信息，下一个显著区域Rⁿ⁺¹位置计算满足公式（3）：

$\left\{\begin{array}{c}{D}^{n+1}(x,y)=F(x,y)I^n(x,y)M^n(x,y)\\ ({\mathrm{px}}^{n+1},{\mathrm{py}}^{n+1})=\arg {\max D}^{n+1}(x,y)\\ ({\mathrm{px}}^{n+1},{\mathrm{py}}^{n+1})\∈R^{n+1}\end{array}\right.---\left(3\right)$

则最终显著区域计算结果，即时空显著图的像素值Sⁱ可表示为：

其中，Fⁱ为帧i的初始显著图，对注视转移矩阵P_t进行2维高斯平滑滤波，n1，n2为2维高斯矩阵大小，std1，std2为2维高斯函数标准差。

在步骤S102中，根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度。

掩蔽效应一般解释为第一种信号的感知被第二种信号所阻挡。也就是由于第二种信号的影响(干扰)，第一种信号的差别感知阈值被提升。

对于时域掩蔽效应(视觉惰性)，实验表明当图像序列中相邻画面的变化剧烈（例如场景切换）时，人眼的分辨力会突然剧烈下降，例如下降到原有分辨力的1/10。也就是说，当新场景突然出现时，人基本上看不清新景物，在大约0.5秒之后，视力才会逐渐恢复到正常水平。显然在这0.5秒内，传送分辨率很高的图像是没有必要的。研究者还发现，当眼球跟着画面中的运动物体转动时，人眼的分辨率要高于不跟着物体转动的情况。而通常眼睛是很难跟踪运动中的物体的。

而空间掩蔽效应则主要包括了亮度掩蔽效应及对比掩盖效应。人眼对物体亮度的主观感受强烈依赖于背景亮度和结构。对于同样强度噪声，失真在暗背景及在非高对比区域(图像边缘)更加难以察觉。图像不同区域的失真觉察阈值可以通过时空域的临界可视误差(Just noticeable distortion,JND)模型计算获得，低于失真觉察阈值失真则不影响主观视觉感受。

在本发明实施例中，根据以下步骤来计算视频流的平均掩蔽失真度：

步骤1、根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值以及临界可视误差JND模型计算各个时空显著图的空间掩蔽失真度。

Chou等人通过计算亮度掩蔽效应阈值和对比度掩蔽效应阈值建立视觉阈值的JND模型。其中，视频帧中的像素点x的临界可视误差定义为：

Y_JND(x)=f(k)·max{f₁(b(x),m(x)),f₂(b(x))}    (5)

其中,b(x)是像素点x邻域的平均背景亮度，m(x)是邻域水平、竖直、主对角线和副对角线4个方向梯度的最大值，f(k)表示像素点k的在时空显著图中的像素值(即显著度)，f(k)=S^k。f1和f2分别对应对比度掩蔽阈值和亮度掩蔽阈值。设u=b(x),v=m(x)，则f1和f2定义为：

f₁(u,v)=vα(u)+β(u)

$f_2(u,v)=\left\{\begin{array}{cc}{T}_0\×{(1-\left(\frac{u}{127}\right))}^{1/2}+3& u\≤127\\ r\×(u-127)+3& u>127\end{array}\right.---\left(6\right)$

其中，α(u)=0.0001×u+0.115,β(u)=λ-0.01×u,T₀=17,r=3/128,λ=1/2。

设N为时空显著图对应的视频帧n的区域i所包括的像素点数，则定义视频帧n的区域i的空间掩蔽失真度为：

$E_{\mathrm{JND},S}^{n,i}=\underset{k\∈i}{\mathrm{\Σ}}{E}_{\mathrm{JND},S}^{n,k}$

$E_{\mathrm{JND}}^{n,k}=\left\{\begin{array}{cc}\frac{{|A_{n,i,k}-R_{n,i,k}|}^2}{N}& \mathrm{when}|A_{n,i,k}-R_{n,i,k}|\&GreaterEqual;Y_{\mathrm{JND}}^{n,k}\left(x\right)\\ 0& \mathrm{when}|A_{n,i,k}-R_{n,i,k}|<Y_{\mathrm{JND}}^{n,k}\left(x\right)\end{array}\right.---\left(7\right)$

其中,A_n,i,k是有损帧n的区域i中的像素点k的像素值,R_n,i,k是参考帧n的区域i中的像素点k的像素值。

步骤2、根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度以及场景切换隐蔽加权函数计算场景切换视频帧的空间掩蔽失真度。

时域掩蔽效应使得人眼在视频场景切换短暂时间内有着较低的分辨力，在场景变换0.5秒之后，视力才会逐渐恢复到正常水平。

在本发明实施例中，当视频发生场景切换0.5秒内时，场景切换视频帧的的空间掩蔽失真度为：

$E_{\mathrm{JND},S}^{k,0.5}={\&Integral;}_0^{0.5}g\left(t\right){\mathrm{\&beta;}}_{n,i}{E}_{\mathrm{JND},S}^{n,i}\mathrm{dt}---\left(8\right)$

其中，g(t)为场景切换掩蔽加权函数，β_n,i为加权系数，即时空显著图所获取的视频帧n的区域i的像素平均值，其中sⁱ为显著图中区域i中的每个像素值。该视频帧为场景切换视频帧，k为场景切换个数。

步骤3、根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度计算非场景切换视频帧的空间掩蔽失真度。

在本发明实施例中，定义非场景切换视频帧的空间掩蔽失真度为：

$E_{\mathrm{JND},S}=\frac{1}{i}\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&beta;}}_{n,i}{E}_{\mathrm{JND},S}^{n,i}---\left(9\right)$

其中，β_n,i为加权系数，即时空显著图所获取的视频帧n的区域i的像素平均值，其中sⁱ为显著图中区域i中的每个像素值，该视频帧为非场景切换视频帧。

步骤4、根据所述场景切换视频帧的空间掩蔽失真度和所述非场景切换视频帧的空间掩蔽失真度计算所述视频流的平均掩蔽失真度。

在本发明实施例中，定义整个视频流的平均掩蔽失真度为：

$E_{\mathrm{JND}}=\frac{1}{p}\underset{p}{\mathrm{\&Sigma;}}\underset{i}{\mathrm{\&Sigma;}}{\mathrm{\&beta;}}_{n,i}{E}_{\mathrm{JND},S}^{n,i}+\underset{k}{\mathrm{\&Sigma;}}{E}_{\mathrm{JND},S}^{k,0.5}---\left(10\right)$

其中，p为非场景切换视频帧的个数，n为非场景切换帧的帧号，k为场景切换个数。

在步骤S103中，根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度。

视觉感知特性中，视频播放连贯性会对主观视觉感受有着重要的影响。具体主要包括了闪烁失真及质量浮动造成的波形失真两个方面。闪烁失真方面，物理上闪烁的光在主观上引起的感觉介于闪烁和稳定之间时的频率即为临界闪光频率(Critical Flicker Frequency，CCF)，而低于临界频率的视频播放会带来主观视觉间断感。

视频播放过程中，视频帧播放帧率的不足及视频帧间质量差异均会产生人眼视觉的间断或闪烁感，对人眼视频主观感受均有较大的视觉失真。

临界闪烁频率无关于参考视频帧，而是根据人眼特性确定所能达到稳定视觉效果的播放帧率，临界闪烁频率与图像亮度值紧密相关。在白天情况下，人眼大约能分辨亮度范围约为20-200cd/M²。

在本实施例中，计算视频流的播放失真度的步骤为：

步骤11、根据视频帧中的每个像素点的灰度计算视频帧的平均亮度。

在本实施例中，根据下述公式计算视频帧的平均亮度g：

g=mean(gray(P))           (11)

其中，P为视频帧中的每个像素点的灰度。

步骤12、根据所述平均亮度计算视频帧的临界闪烁频率。

在本实施例中，根据步骤11计算得到的平均亮度g，计算视频帧的临界闪烁频率L，具体公式如下：

L=x^g

$x={\left(\frac{200}{20}\right)}^{\frac{1}{255}}\&ap;1.01---\left(12\right)$

步骤13、根据视频帧的播放帧率以及视频帧的临界闪烁频率计算视频帧的播放失真度。

在本发明实施例中，根据临界闪烁频率可以得到播放第n帧视频帧时的播放失真度，如下公式所示：

$E_F^n=\left\{\begin{array}{cc}0& \mathrm{when}{\mathrm{AL}}_n\&GreaterEqual;L_n\\ {|{\mathrm{AL}}_n-L_n|}^2& \mathrm{when}{\mathrm{AL}}_n<L_n\end{array}\right.---\left(13\right)$

其中,AL_n是实际视频在帧n时的播放帧率，L_n是帧n的临界闪烁频率。

步骤14、计算所述视频流的播放失真度。

在本发明实施例中，计算整个视频流的播放失真度的公式如下：

$E_F=\frac{1}{n}\underset{n}{\mathrm{\&Sigma;}}{E}_F^n---\left(14\right)$

在步骤S104中，根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度。

在质量稳定性方面，视频质量控制是目前学者关于视频编码当中的一个重要研究课题。视频质量浮动对人眼主观视觉质量会带来严重影响，我们称之为视频时域上的波形失真。因此，如何使得视频序列在播出过程中质量保持在一个相对稳定状态十分重要。

编码端的码率控制，子码流抽取及传输过程中的丢包误码均无可避免的会对视频质量造成影响。这种影响造成了接收端帧间视频质量浮动并会使得主观视觉产生间断感(视频帧清晰，模糊间的变换)，且变化越快越频繁，所造成的主观视觉间断感影响越剧烈。

因此，在本发明实施例中，定义与时空显著图对应的视频帧帧n的区域i的视频质量稳定性(quality assistance，QA)失真度为：

$E_{\mathrm{QT}}^{n,i}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{n,i}|Q_{n,i}-Q_{n-1,i}|& n>1\\ 0& n=1\end{array}\right.---\left(15\right)$

其中，Q_n,i为视频帧帧n的区域i的峰值信噪比，β_n,i为加权系数，即时空显著图所获取的视频帧n的区域i的像素平均值，其中sⁱ为显著图中区域i中的每个像素值。则整个视频流的视频质量稳定性失真度为：

$E_{\mathrm{QT}}=\frac{1}{n_i}\underset{n}{\mathrm{\&Sigma;}}\underset{i}{\mathrm{\&Sigma;}}{E}_{\mathrm{QT}}^{n,i}---\left(16\right)$

在步骤S105中，根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。

在本发明实施例中，可以通过以下步骤计算得到视频流的整体失真量，具体如下：

步骤21、对步骤S102计算得到的平均掩蔽失真度、步骤S103计算得到的播放失真度以及步骤S104计算得到的视频质量稳定性失真度分别进行对数变换。

根据人眼特性分析，本发明实施例将对视频主观质量带来影响因素主要分为了显著及眼动失真、掩蔽失真、连贯性失真。由于人眼视觉表现为非线性特性，Weber法则表明人眼视觉感知信号强度近似于物理信号强度的对数变换，则各失真值利用对数函数量化转换为：

LE_JND,S=log₁₀E_JND,S

LE_F=log₁₀E_F

LE_QT＝log₁₀E_QT          (17)

步骤22、对进行对数变换后的平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行归一化处理。

E_JND,S在[0,255]范围内，LE_JND,S则在(-∞,log₁₀255²)区间变化，将范围归一化至[0,1]区间，则：

${\mathrm{YLE}}_{\mathrm{JND}}=1-\frac{-1}{{\log }_{10}{E}_{\mathrm{JND}}-{\log }_{10}{255}^2-1}---\left(18\right)$

其中，

$\underset{E_{\mathrm{JND}}\&RightArrow;0^{+}}{\mathrm{lin}}{\mathrm{YLE}}_{\mathrm{JND}}=1-\frac{-1}{{\log }_{10}{E}_{\mathrm{JND}}-{\log }_{10}{255}^2-1}=1---\left(19\right)$

类似的，将LE_F和LE_QT范围归一化至[0,1]区间，则：

${\mathrm{YLE}}_F=1-\frac{-1}{{\log }_{10}{E}_F-{\log }_{10}{L}^2-1}$

${\mathrm{YLE}}_{\mathrm{QT}}=1-\frac{-1}{{\log }_{10}{E}_{\mathrm{QT}}-{\log }_{10}{Q}_M-1}---\left(20\right)$

其中，L为临界闪烁频率，Q_M为视频流的平均质量。

步骤23、根据归一化处理结果计算视频流的整体失真量。

由于平均掩蔽失真、播放失真以及视频质量稳定性失真是相互独立存在，因此在主观质量空间中，定义整体失真量ESTIM为各YLE分量的Minkowski之和。

$\mathrm{ESTIM}=5\sqrt{\frac{1}{3}({\mathrm{YLE}}_{\mathrm{JND},S}^2+{\mathrm{YLE}}_F^2+{\mathrm{YLE}}_{\mathrm{QT}}^2)}---\left(21\right)$

其中，系数1/3用于归一化至[0 1]区间。

本实施例，基于视频流的时空显著图，先计算视频流的平均掩蔽失真度、播放失真度以及视频质量稳定性失真度，然后根据该平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算视频流的整体失真量。在时间和空间域上同时考虑了人眼视觉注意区域，掩蔽效应和视频播放的连贯性，与人眼的主观评价值具有更好的关联性，更加符合人眼视觉系统判断结果，能有效评价视频质量。

本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

为了验证本发明实施例所提出的视频质量评价方法的准确性及有效性，在公共视频数据集LIVE VQA及EPFL-PoliMI VQA下对所提方法进行验证。这两个公共视频数据集都包括了有损失真的H.264/AVC或MPEG-2视频测试文件，有

损失真具体为视频压缩后经过无线网或IP网传输丢包后的视频文件，具

体如表1所示。

表1

为了客观量化比较本实施例所提供的方法和其他方法的优劣，根据VQEG提出的准则，在客观评价值和主观评价值之间存在一定的非线性关系，这里采用下面的函数建立这种非线性映射关系：

$f\left(x\right)=\frac{{\mathrm{\&alpha;}}_1-{\mathrm{\&alpha;}}_2}{1+\exp (-\frac{x-{\mathrm{\&alpha;}}_3}{{\mathrm{\&alpha;}}_4})}+{\mathrm{\&alpha;}}_2---\left(22\right)$

其中x表示客观评价值，a1,a2,a3和a4为模型参数，通过Matlab中非线性优化函数求得。在建立非线性映射之后，选用以下3个指标来比较各种方法优劣。

(1)、相关系数(LCC)

客观评价与主观评价之间的相关系数反映预测的精确性；

(2)、斯皮尔曼等级相关系数(SROCC)

反映预测的单调性，即模型预测值与主观值相对幅度的一致程度；

(3)、离出率方差(VoR)

反映客观评价的稳定性。

LCC和SROCC值越大，VoR值越小，则表明模型预测越好。

图2和图3分别显示了有损视频主观评价值的EPFL-PoliMI MOS以及LIVEDMOS的散点测试图。本发明实施例所提指标与其他的视频质量评价指标相比，通过对SROCC、LCC、VoR分别进行测试。从表2可以看出，本发明实施例提出的方法相比较其他视觉评价指标具有更高的预测精度(LCC)，预测单调性(SROCC)和较低的离出率(VoR)。对EPLF-PoliMI视频数据集测试结果（表2）可见，本发明实施例提供的评价指标LCC值为0.9228；SROCC值为0.9068；而VoR值为0.3729。表3则列出了LIVE视频数据集下对几种视频评价指标进行测试的性能参数值。同样看出，本发明实施例提供的评价指标LCC值为0.8234；SROCC值为0.7591；而VoR值为58.51。

评价指标	LCC	SROCC	VoR
				IFC	0.412	0.4029	1.8675
MOVIE	0.4746	0.6587	0.3328
				MSSIM	0.8269	0.8961	0.3084
PSNR	0.7961	0.786	0.7094
				SSIM	0.6681	0.6679	1.0267
UQI	0.2281	0.3068	2.1368
				VIF	0.7323	0.7349	0.8321
VQM	0.5263	0.5754	0.5482
				VSNR	0.8787	0.8823	0.3816
ESTIM	0.9228	0.9068	0.3729

表2

评价指标

LCC

SROCC

VoR

IFC	0.3852	0.3914	87.64
				MOVIE	0.8067	0.7795	40.94
MSSIM	0.7328	0.7341	53.82
				PSNR	0.3984	0.3492	99.63
SSIM	0.5378	0.5163	86.71
				UQI	0.4365	0.4013	103.56
VIF	0.567	0.5594	80.37
				VQM	0.7162	0.6981	56.9
VSNR	0.6842	0.6719	62.69
				ESTIM	0.8234	0.7591	58.51

表3

采用标准测试序列中的Foreman和Soccer序列(CIF)。表4是视频编码参数。

表4

在Soccer序列900kbps带宽，Foreman序列650kbps带宽码率条件限制下进行码率分配后，利用PQA600以及本发明实施例所提出的视频评价指标测试解码图像各区域的视频质量，具体测试结果如表5所示。

表5

从表5的测试结果可见，本发明实施例所提出的视频评价指标能够正确有效的反映主观视频播出质量。值得说明的是虽然本发明实施例所提的评价指标中没有结合视觉感官函数进行分析计算，但是由于基于贪婪算法的码率分配算法得到的视频图像在不同区域间的质量反差过大，造成了图像整体视觉效果的割裂，对于非注视区域质量过低造成掩蔽效应效果较差从而造成了评价指标分数的降低。

实施例二

图4示出了本发明实施例二提供的视频质量评价装置的具体结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。该视频质量评价装置4包括：时空显著图获取单元41、平均掩蔽失真度计算单元42、播放失真度计算单元43、视频质量稳定性失真度计算单元44和整体失真量计算单元45。

其中，时空显著图获取单元41，用于获取视频流的时空显著图；

平均掩蔽失真度计算单元42，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；

播放失真度计算单元43，用于根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；

视频质量稳定性失真度计算单元44，用于根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；

整体失真量计算单元45，用于根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量。

具体的，平均掩蔽失真度计算单元42包括：

区域空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值以及临界可视误差JND模型计算视频帧中各区域的空间掩蔽失真度；

第一空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度以及场景切换隐蔽加权函数计算场景切换视频帧的空间掩蔽失真度；

第二空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度计算非场景切换视频帧的空间掩蔽失真度；

平均掩蔽失真度计算模块，用于根据所述场景切换视频帧的空间掩蔽失真度和所述非场景切换视频帧的空间掩蔽失真度计算所述视频流的平均掩蔽失真度。

具体的，播放失真度计算单元43包括：

平均亮度计算模块，用于根据视频帧中的每个像素点的灰度计算视频帧的平均亮度；

临界闪烁频率计算模块，用于根据所述平均亮度计算视频帧的临界闪烁频率；

视频帧播放失真度计算模块，用于根据视频帧的播放帧率以及视频帧的临界闪烁频率计算视频帧的播放失真度；

视频流播放失真度计算模块，用于根据视频帧的播放失真度计算所述视频流的播放失真度。

具体的，整体失真量计算单元45包括：

对数变换模块，用于对所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行对数变换；

归一化处理模块，用于对进行对数变换后的所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行归一化处理；

整体失真量计算模块，用于根据归一化处理结果计算所述视频流的整体失真量。

本发明实施例提供的视频质量评价装置可以应用在前述对应的方法实施例一中，详情参见上述实施例一的描述，在此不再赘述。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种视频质量评价方法，其特征在于，所述方法包括：

获取视频流的时空显著图；

根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；

根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；

根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；

根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量；

所述根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度具体为：

根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值以及临界可视误差JND模型计算视频帧中各区域的空间掩蔽失真度；

根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度以及场景切换隐蔽加权函数计算场景切换视频帧的空间掩蔽失真度；

根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度计算非场景切换视频帧的空间掩蔽失真度；

根据所述场景切换视频帧的空间掩蔽失真度和所述非场景切换视频帧的空间掩蔽失真度计算所述视频流的平均掩蔽失真度；

所述根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度具体为：根据视频帧中的每个像素点的灰度计算视频帧的平均亮度；

根据所述平均亮度计算视频帧的临界闪烁频率；

根据视频帧的播放帧率以及视频帧的临界闪烁频率计算视频帧的播放失真度；

根据视频帧的播放失真度计算所述视频流的播放失真度；

所述根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度具体为：

根据下述公式计算所述视频流的视频质量稳定性失真度：

$E_{\mathrm{QT}}=\frac{1}{n_i}\underset{n}{\mathrm{\&Sigma;}}\underset{i}{\mathrm{\&Sigma;}}{E}_{\mathrm{QT}}^{n,i}$

其中，为与时空显著图对应的视频帧帧n的区域i的视频质量稳定性失真度，满足下述公式：

$E_{\mathrm{QT}}^{n,i}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{n,i}|Q_{n,i}-Q_{n-1,i}|& n>1\\ 0& n=1\end{array}\right.$

其中，Q_n,i为视频帧帧n的区域i的峰值信噪比，β_n,i为加权系数，即时空显著图所获取的视频帧n的区域i的像素平均值，其中sⁱ为时空显著图中区域i中的每个像素值；

所述根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量具体为：

对所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行对数变换；

对进行对数变换后的所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行归一化处理；

根据归一化处理结果计算所述视频流的整体失真量。

2.一种视频质量评价装置，其特征在于，所述装置包括：

时空显著图获取单元，用于获取视频流的时空显著图；

平均掩蔽失真度计算单元，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值计算所述视频流的平均掩蔽失真度；

播放失真度计算单元，用于根据视频帧中的每个像素点的灰度值计算所述视频流的播放失真度；

视频质量稳定性失真度计算单元，用于根据时空显著图中的每个像素点的像素值计算所述视频流的视频质量稳定性失真度；

整体失真量计算单元，用于根据所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度计算所述视频流的整体失真量；

所述平均掩蔽失真度计算单元包括：

区域空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值和视频帧中的每个像素点的像素值以及临界可视误差JND模型计算视频帧中各区域的空间掩蔽失真度；

第一空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度以及场景切换隐蔽加权函数计算场景切换视频帧的空间掩蔽失真度；

第二空间掩蔽失真度计算模块，用于根据时空显著图中的每个像素点的像素值、视频帧中各区域的空间掩蔽失真度计算非场景切换视频帧的空间掩蔽失真度；

平均掩蔽失真度计算模块，用于根据所述场景切换视频帧的空间掩蔽失真度和所述非场景切换视频帧的空间掩蔽失真度计算所述视频流的平均掩蔽失真度；

所述播放失真度计算单元包括：

平均亮度计算模块，用于根据视频帧中的每个像素点的灰度计算视频帧的平均亮度；

临界闪烁频率计算模块，用于根据所述平均亮度计算视频帧的临界闪烁频率；

视频帧播放失真度计算模块，用于根据视频帧的播放帧率以及视频帧的临界闪烁频率计算视频帧的播放失真度；

视频流播放失真度计算模块，用于根据视频帧的播放失真度计算所述视频流的播放失真度；

视频质量稳定性失真度计算单元根据下述公式计算所述视频流的视频质量稳定性失真度：

$E_{\mathrm{QT}}=\frac{1}{n_i}\underset{n}{\mathrm{\&Sigma;}}\underset{i}{\mathrm{\&Sigma;}}{E}_{\mathrm{QT}}^{n,i}$

其中，为与时空显著图对应的视频帧帧n的区域i的视频质量稳定性失真度，满足下述公式：

$E_{\mathrm{QT}}^{n,i}=\left\{\begin{array}{cc}{\mathrm{\&beta;}}_{n,i}|Q_{n,i}-Q_{n-1,i}|& n>1\\ 0& n=1\end{array}\right.$

其中，Q_n,i为视频帧帧n的区域i的峰值信噪比，β_n,i为加权系数，即时空显著图所获取的视频帧n的区域i的像素平均值，其中sⁱ为时空显著图中区域i中的每个像素值；

所述整体失真量计算单元包括：

对数变换模块，用于对所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行对数变换；

归一化处理模块，用于对进行对数变换后的所述平均掩蔽失真度、播放失真度以及视频质量稳定性失真度分别进行归一化处理；

整体失真量计算模块，用于根据归一化处理结果计算所述视频流的整体失真量。