CN104023225A - 一种基于空时域自然场景统计特征的无参考视频质量评估方法 - Google Patents

Abstract

视频客观质量评价是未来面向QoE业务的重要研究点之一，本发明提出一种基于无参考自然场景统计(NSS)的视频质量评价方法。首先，通过分析视频序列，计算每个像素点及其相邻点相应的统计值，从而得出视频的空域统计特性。根据运动矢量并结合参考帧n得到n+1帧的预测图像得到运动残差图像，观察残差图像进行DCT变换后的统计分布。利用前两步得出的数值分别计算空域特征和时域特征与自然视频特征间的马氏距离从而得到失真视频与自然视频的统计差异，并融合时域信息和空域信息得出单帧图像的质量。最后，采用基于视觉迟滞效应的时域聚合策略得出最终视频序列的客观质量。

Description

一种基于空时域自然场景统计特征的无参考视频质量评估方法

技术领域

本发明涉及及对视频质量进行无参考客观评价的方法，特别涉及一种基于自然场景统计(NSS)的算法在网络失真对视频质量所造成影响的估计。 

技术背景

随着无线网络和智能终端的发展，越来越多的用户开始在移动终端使用视频业务，比如视频会议，视频聊天等。由于视频的有损压缩和网络丢包，用户看到的视频质量可能会有所下降，为了保障视频业务的用户体验，越来越多的研究开始关注于如何测量视频质量。最可靠的质量评估方法是主观质量评估，然而这种方式是费时费力的，它不能用于实时业务中。客观质量评估方法，主要致力于根据视频的内容或特性建立一种算法，来预测视频的MOS值。其中，无参考估计方法因其不依赖原始视频且实时好，复杂度较低从而能够的很好的应用于online业务中，因此成为视频业务中最有前景的方法。 

无参考视频质量评估中很多研究通过对视频流或帧图像进行质量评估，针对视频比特流可能被加密不可获取，基于重构帧中的像素分析方法更有可行性。在基于帧图像的视频质量评估中，很多算法是对特定的失真类型进行质量评估，如对压缩造成的块效应进行评估，对高斯模糊进行评价，然而在实际中视频失真的类型往往是不可知的，另外一些方法是基于训练的，通过对图像提取一些参数，然后结合机器学习方法得到图像质量，较依赖于训练库，只能在一些特定场景下取得不错的效果。本专利受图像统计学和视觉科学研究的启发，基于自然场景统计学特征，深入研究了视频不同于静态图像所特有的统计特性，特别是针对fastfading对视频造成的失真，本专利所提出的方法利用运动残差的统计特性描述视频的时域失真，并通过时域空域上对相应统计量分别建模，能够对视频质量做出更为有效的评价。 

发明内容

为了实现上述目的，解决相应的技术问题，本发明通过以下方案实现： 

步骤一：对视频序列中每一帧I_n(x，y)，其中n代表帧序列，(x,y)代表像素点坐标，进行归一化处理得到帧ψ_n(x,y)，归一化后的视频帧像素点值符合高义高斯分布； 

步骤二：采用对称高斯分布拟合ψ_n(x,y)的分布； 

步骤三：用基于N*N的块对帧ψ_n(x,y)计算两点间的相关性的方法计算空域相关性特征ρ； 

步骤四：采用非对称高斯分布拟合ρ的分布； 

步骤五：使用拉普拉斯核去对运动场进行滤波以判断视频场景是否发生了切换； 

步骤六：对帧序列I_n(x，y)，n＝1，2，3...进行运动估计,通过对运动补偿帧和前一帧计算运动残差提取出视频的时域的NSS特性； 

步骤七：根据前六步得到的数据，使用马氏距离对视频单帧进行质量评价，得到视频的空域质量； 

步骤八：结合视觉迟滞效应对单帧视频质量进行时域质量聚合，得到最终视频质量。 

附图说明

附图可提供对本发明的进一步理解，并且被包含在作为内容的说明书组成部分，其示出了本发明的实施例则，并且和说明书一起来解释本发明的原理。 

图1示出整个方法的框架。 

图2示出了基于N*N的块计算两点间的相关性方法。 

图3示出了失真后的运动残差的统计特性相比于无失真视频的变化。 

具体实施方式

先参照附图对本发明的优选实施例进行说明，尽可能地，在整个附图中相同的部分用相同或者相似的标号或文字表示。 

附图1示出了本发明的方法框架，具体包括： 

步骤一：对视频序列中每一帧I_n(x，y)，其中n代表帧序列，(x,y)代表像素点坐标，进行归一化处理得到帧ψ_n(x,y)，归一化后的视频帧像素点值符合高义高斯分布。自然图像区别于计算机图像、噪声图像等，它拥有一些固有的统计特性。为了模拟人眼HVS特性，研究者使用一些线性滤波器结果显示并不是严格服从高斯分布，而是有较长的拖尾。Ruderman提出了一种归一化方式，使得它更符合高斯分布，同样，我们首先对视频序列中每一帧进行了归一化处理： 

${\mathrm{\ψ}}_n(x,y)=\frac{{\mathrm{\Φ}}_n(x,y)-{\mathrm{\μ}}_n(x,y)}{{\mathrm{\σ}}_n(x,y)+C}$

其中，Φ_n(x,y)是视频序列中第n帧图像(x，y)位置的像素点。μ_n(x,y)是像素点(x，y)周围N*N区域像素点的均值，σ_n(x,y)是它们的方差。 

仿真实验表明当N取5的时候，ψ_n(x,y)的分布最接近高斯分布，而失真会使的ψ_n(x,y)的分布偏离高斯分布。 

步骤二：采用对称高斯分布拟合ψ_n(x,y)的分布。这里我们采用对称高斯分布去拟合ψ_n(x,y)的分布，GGD已被证实有很好的效果。 

f(x；α,β,γ)＝αexp(-(β|x|)^γ) 

其中， $\mathrm{\β}=\frac{1}{\mathrm{\σ}}\sqrt{\frac{\mathrm{\Γ}(3/\mathrm{\γ})}{\mathrm{\Γ}(1/\mathrm{\γ})}},\mathrm{\α}=\frac{\mathrm{\β\γ}}{2\mathrm{\Γ}(1/\mathrm{\γ})}$

这里Γ(·)是伽马函数： 

$\mathrm{\Γ}\left(x\right)=\underset{0}{\overset{\∞}{\∫}}{t}^{\mathrm{\γ}-1}{e}^{-t}\mathrm{dt}$

GGD的形状可以完全使用α，β，γ来表示，失真会使帧图像的分布偏离NSS的分布，同时得到α，β，γ的值也会不同，因此我们选择这三个参数作为帧图像特征的前三个参数(f1-f3)。 

步骤三：用基于N*N的块对帧ψ_n(x,y)计算两点间的相关性的方法计算空域相关性特征ρ。自然图像空域间存在着很强的相关性，它同样也存在一定的统计特性。在自然进化过程中，HVS已经适应了这种相关性，同时可以很好处理符合这种规律的图像。然而一些失真会改变像素之间的相关性，从而对人眼产生不舒适的感觉，引起图像质量的下降。很多基于失真类型的算法也研究了自然图像空间的相关性，比如高斯模糊使得相邻像素点之间的相关性变大，而白噪声则使得相关性降低。为了得到空域相关性特征，我们计算了距离为1、2时，方向为{0,45,90,135}像素点之间的相关性。如附图2所示，我们基于N*N的块计算两点间的相关性： 

$\mathrm{\ρ}=\frac{E[{(X-\stackrel{\‾}{X})}^T\·(Y-\stackrel{\‾}{Y})]}{{\mathrm{\σ}}_X\·{\mathrm{\σ}}_Y}$

步骤四：采用非对称高斯分布拟合ρ的分布。 

$f(x;v,{\mathrm{\&sigma;}}_l^2,{\mathrm{\&sigma;}}_r^2)=\left\{\begin{array}{c}\frac{v}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}\exp (-{\left(\frac{-x}{{\mathrm{\&beta;}}_l}\right)}^v),x<0\\ \frac{v}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}\exp (-{\left(\frac{-x}{{\mathrm{\&beta;}}_r}\right)}^v),x\&GreaterEqual;0\end{array}\right.$

其中 ${\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_l\sqrt{\frac{\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}{\mathrm{\&Gamma;}\left(\frac{3}{v}\right)}},{\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_r\sqrt{\frac{\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}{\mathrm{\&Gamma;}\left(\frac{3}{v}\right)}}.$

从一个方向上和一个尺度上，使用三个系数就可以表示它的分布，我们总共计算了四个方向和三个尺度相关性，因此可以得到24个系数。 

步骤五：使用拉普拉斯核去对运动场进行滤波以判断视频场景是否发生了切换。 

在视频业务中可能会出现场景切换的情况，这意味着当前帧和前一帧没有任何关系，这种情况下，运动估计将会变得没有意义，为了排除这种情况我们引入了场景切换度量。首先将块的运动矢量和运动残差存到每一个像素中，这意味着每一个像素都有一个运动矢量和运动残差，表示为M_nx(x,y),M_ny(x,y),M_ne(x,y)；我们使用拉普拉斯核去对运动场进行滤波： 

$M_{\mathrm{rd}}=\sqrt{M_{\mathrm{rx}}^2+M_{\mathrm{ry}}^2}\&CircleTimes;L,$

其中L是拉普拉斯算子， 

那么场景切换度量准则为： 

$s=\frac{1}{\mathrm{WH}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}{M}_{\mathrm{re}}{M}_{\mathrm{rd}}$

当S大于门限st时，其中st是通过对视频序列库训练得到的阈值，认为场景发生了切换，那么当前帧则不进行时域参数提取，否则进行参数提取。 

步骤六：对帧序列I_n(x，y)，n＝1，２，3...进行运动估计,通过对运动补偿帧和前一帧计算运动残差提取出视频的时域的NSS特性。这里我们主要研究了失真对运动残差的影响，首先对视频8*8的块在32*32的区域内进行搜索，每一个块会得到一个运动矢量当得到运动矢量以后，可以结合参考帧n得到n+1帧的预测图像，因此可以得到运动残差图像： 

$I_{\mathrm{residual}}=I_{n+1}-I_{n+1}^p$

通过对数据中视频的统计，实验表明网络丢包往往会使残差图像块的边缘更加锐利，为了表示这种统计特性，我们对残差图像进行DCT变换，这里我们对残差图像进行16*16的DCT变换。我们发现无失真的视频运动残差很好的符合高斯分布，失真会改变这种分布特性，图3显示了这种差别。 

同样的，我们使用公式对I_residual进行归一化，并使用GGD来拟合残差图像的归一化后的DCT系数，这样我们可以得到三个参数用来衡量时域残差NVSS特征。 

步骤七：根据前六步得到的数据，使用马氏距离对视频单帧进行质量评价，得到视频的空域质量。马氏距离是一种有效的计算两个未知样本集的相似度的方法，与欧氏距离不同的是它考虑到各种特性之间的联系并且是尺度无关的(scale-invariant)，即独立于测量尺度，因此它较适用于计算元素意义不同的特征向量间的距离。为了得到自然视频NSS特征，我们对LIVE数据库中未失真的视频提取参数，并进行MVG拟合: 

F(x1,x2,…xk) 

X1,x2是提取的参数，v即是参数的均值，sigma是参数的协方差矩阵。同样，我们对受损视频提取的参数也可以得到均值v2和协方差矩阵sigma2。我们分别计算空域特征和时域特征与自然视频特征间的马氏距离： 

$D(v_1,v_2,{\mathrm{\&Sigma;}}_1,{\mathrm{\&Sigma;}}_2)=\sqrt{{(v_1-v_2)}^T\frac{{({\mathrm{\&Sigma;}}_1+{\mathrm{\&Sigma;}}_2)}^{-1}}{2}(v_1-v_2)}$

同时引入空域信息和时域信息到空域聚合策略中，即： 

$\mathrm{SI}=\frac{1}{\mathrm{WH}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}{\mathrm{std}}_{\mathrm{space}}\left(\mathrm{Sobel}\right[I_n(i,j)\left]\right)$

$\mathrm{TI}=\frac{1}{\mathrm{WH}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}{\mathrm{std}}_{\mathrm{space}}\left(\mathrm{Sobel}\right[M_n(i,j)\left]\right)$

单帧质量即为： 

$D=\frac{\mathrm{TI}}{\mathrm{TI}+\mathrm{SI}}{D}_T+\frac{\mathrm{SI}}{\mathrm{TI}+\mathrm{SI}}{D}_s$

步骤八：结合视觉迟滞效应对单帧视频质量进行时域质量聚合，得到最终视频质量。由于人眼的迟滞效应，人类视觉系统(HVS)往往对视频质量的下降更为敏感，因此用需调整单帧的质量如下： 

${\mathrm{SF}}_t^{\&prime;}=\left\{\begin{array}{ccc}{\mathrm{SF}}_{t-1}^{\&prime;}+a_{-}{\mathrm{\&Delta;}}_t,& \mathrm{if}& {\mathrm{\&Delta;}}_t\&le;0\\ {\mathrm{SF}}_{t-1}^{\&prime;}+a_{+}{\mathrm{\&Delta;}}_t,& \mathrm{if}& {\mathrm{\&Delta;}}_t>0\end{array}\right.,$

Δ_t＝SF_t-SF′_t-1，其中，SF_t

和分别表示当前帧调整前后的单帧质量，表示前一帧帧调整前后的单帧质量。 

a_-、a₊由训练得出，因模拟人类视觉行为，两者取值为非对称的，这里取a_-、a₊分别为0.04、0.5。最后，总体视频质量由调整后的单帧质量平均得到。 

Claims (6)

1.一种基于空时域自然场景统计特征的无参考视频质量评估方法，其特征在于，至少包括如下步骤：

步骤1：提取空域NSS特征；

步骤2：提取空域相关性NSS特征；

步骤3：提取时域NSS特征；

步骤4：计算单帧质量；

步骤5：结合视觉迟滞效应对单帧视频质量进行时域质量聚合。

2.根据权利要求1所述的基于空时域自然场景统计特征的无参考视频质量评估方法，其特征在于：

步骤1中，提取空域NSS特征；

第1步：对视频序列中每一帧根据公式

${\mathrm{\&psi;}}_n(x,y)=\frac{{\mathrm{\&Phi;}}_n(x,y)-{\mathrm{\&mu;}}_n(x,y)}{{\mathrm{\&sigma;}}_n(x,y)+C}$

进行归一化处理得到帧ψ_n(x,y)。

第2步：采用对称高斯分布拟合ψ_n(x,y)的分布

f(x；α,β,γ)＝αexp(-(β|x|)^γ)

$\mathrm{\&beta;}=\frac{1}{\mathrm{\&sigma;}}\sqrt{\frac{\mathrm{\&Gamma;}(3/\mathrm{\&gamma;})}{\mathrm{\&Gamma;}(1/\mathrm{\&gamma;})}},\mathrm{\&alpha;}=\frac{\mathrm{\&beta;\&gamma;}}{2\mathrm{\&Gamma;}(1/\mathrm{\&gamma;})}$

α，β，γ值确定广义高斯分布的形状。

3.根据权利要求1所述的基于空时域自然场景统计特征的无参考视频质量评估方法，其特征在于：

步骤2中，提取空域相关性NSS特征；

第1步：用基于N*N的块对帧ψ_n(x,y)计算两点间的相关性的方法计算空域相关性特征ρ，

利用公式：

$\mathrm{\&rho;}=\frac{E[{(X-\stackrel{\&OverBar;}{X})}^T\&CenterDot;(Y-\stackrel{\&OverBar;}{Y})]}{{\mathrm{\&sigma;}}_X\&CenterDot;{\mathrm{\&sigma;}}_Y}$

第2步：采用非对称高斯分布拟合ρ的分布，

$f(x;v,{\mathrm{\&sigma;}}_l^2,{\mathrm{\&sigma;}}_r^2)=\left\{\begin{array}{c}\frac{v}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}\exp (-{\left(\frac{-x}{{\mathrm{\&beta;}}_l}\right)}^v),x<0\\ \frac{v}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}\exp (-{\left(\frac{-x}{{\mathrm{\&beta;}}_r}\right)}^v),x\&GreaterEqual;0\end{array}\right.$

其中 ${\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_l\sqrt{\frac{\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}{\mathrm{\&Gamma;}\left(\frac{3}{v}\right)}},{\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_r\sqrt{\frac{\mathrm{\&Gamma;}\left(\frac{1}{v}\right)}{\mathrm{\&Gamma;}\left(\frac{3}{v}\right)}}.$

4.根据权利要求1所述的基于空时域自然场景统计特征的无参考视频质量评估方法，其特征在于：

步骤3中，提取时域NSS特征；

第1步：判断视频场景是否发生了切换，使用拉普拉斯核去对运动场进行滤波，

$M_{\mathrm{rd}}=\sqrt{M_{\mathrm{rx}}^2+M_{\mathrm{ry}}^2}\&CircleTimes;L,$

场景切换度量准则为：

$s=\frac{1}{\mathrm{WH}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}{M}_{\mathrm{re}}{M}_{\mathrm{rd}},$

s大于门限st时，认为场景发生了切换；

第2步：计算运动残差提取出视频的时域的NSS特性，结合参考帧n得到n+1帧的预测图像，利用公式：

$I_{\mathrm{residual}}=I_{n+1}-I_{n+1}^p,$

得到运动残差图像，归一化后利用GGD来拟合残差图像的归一化后的DCT系数。

5.根据权利要求1所述的基于空时域自然场景统计特征的无参考视频质量评估方法，其特征在于：

步骤4中：计算单帧质量；

第1步：计算计算空域特征和时域特征与自然视频特征间的马氏距离：

$D(v_1,v_2,{\mathrm{\&Sigma;}}_1,{\mathrm{\&Sigma;}}_2)=\sqrt{{(v_1-v_2)}^T\frac{{({\mathrm{\&Sigma;}}_1+{\mathrm{\&Sigma;}}_2)}^{-1}}{2}(v_1-v_2)}$

第2步：引入空域信息和时域信息到空域聚合策略中，利用公式：

$\mathrm{SI}=\frac{1}{\mathrm{WH}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}{\mathrm{std}}_{\mathrm{space}}\left(\mathrm{Sobel}\right[I_n(i,j)\left]\right)$

$\mathrm{TI}=\frac{1}{\mathrm{WH}}\underset{y=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{W}{\mathrm{\&Sigma;}}}{\mathrm{std}}_{\mathrm{space}}\left(\mathrm{Sobel}\right[M_n(i,j)\left]\right)$

第3步：计算单帧质量为：

$D=\frac{\mathrm{TI}}{\mathrm{TI}+\mathrm{SI}}{D}_T+\frac{\mathrm{SI}}{\mathrm{TI}+\mathrm{SI}}{D}_s$

6.根据权利要求1所述的基于空时域自然场景统计特征的无参考视频质量评估方法，其特征在于：

步骤5：结合视觉迟滞效应对单帧视频质量进行时域质量聚合；

第1步：调整单帧质量为：

${\mathrm{SF}}_t^{\&prime;}=\left\{\begin{array}{ccc}{\mathrm{SF}}_{t-1}^{\&prime;}+a_{-}{\mathrm{\&Delta;}}_t,& \mathrm{if}& {\mathrm{\&Delta;}}_t\&le;0\\ {\mathrm{SF}}_{t-1}^{\&prime;}+a_{+}{\mathrm{\&Delta;}}_t,& \mathrm{if}& {\mathrm{\&Delta;}}_t>0\end{array}\right.,{\mathrm{\&Delta;}}_t={\mathrm{SF}}_t-{\mathrm{SF}}_{t-1}^{\&prime;}$

第2步，调整后的单帧质量的平均值即为最终视频质量评价结果。