CN104159104B - 基于多级梯度相似的全参考视频质量评估方法 - Google Patents

Abstract

本发明提供一种基于多级梯度相似的全参考视频质量评估方法，考虑到人眼视觉系统各视区对视频图像像素级，边缘级，对象级，图像级的不同感知能力，通过参考视频与测试视频间的帧梯度相似性反映了失真区域的大小，更全面地反映视频质量。

Description

基于多级梯度相似的全参考视频质量评估方法

技术领域

本发明提出一种图像处理技术，特别涉及对图像质量的评估技术。

背景技术

伴随着视频多媒体技术的日益发展与成熟，人们日常生活中涌现了大量的视频应用。通常视频信号在经过压缩和传输之后会导致不同程度的失真。如何去评估这些失真视频的主观质量，对于压缩和传输系统的设计、性能的评估和控制都有重要的意义。

研究视频主观质量评估方法的目的就是设计出相应测度来计算视频质量，使得计算出来的视频质量和人工打分相关性很高。视频主观质量的好坏最直观的方法就是让受试者来打分，即人工打分。然而实际应用中这种方法可操作性太低了。比如，在一些视频质量检测系统里长期采用人工打分的方法是不现实的。因此，通过一个客观测度计算出相应的视频质量打分也就尤为重要。

申请号为201310428740.0的发明申请“基于视觉信息失真分解的全参考视频质量评估方法”公开了一种通过计算参考图像和测试图像间像素级梯度相似性、块梯度相似性来衡量图像失真大小而从进行图像质量评估的方法。该评估方法由于进行参考图像与测试图像间相似性计算时是取像素级梯度相似性、块梯度相似性的均值，不能反映出失真区域的大小。

发明内容

本发明所要解决的技术问题是，提供一种能考虑失真区域的大小进行视频质量评估的方法。

本发明为解决上述技术问题所采样的技术方案是，基于多级梯度相似的全参考视频质量评估方法，包括以下步骤：

1)对参考视频和测试视频分别进行去噪，把每个视频分成加性噪声部分和主要视觉信息部分，N_t和P_t分别表示测试视频的加性噪声部分和主要视觉信息部分，N_r和P_r分别表示参考视频的加性噪声部分和主要视觉信息部分；

2)用三维索贝尔Sobel算子提取参考视频主要视觉信息部分、测试视频主要视觉信息部分中各像素的时空梯度向量；计算参考视频与测试视频的像素级梯度相似性S_p(x)：

$S_p\left(x\right)=\frac{2g^r{g}^t+C_1}{{\left(g^r\right)}^2+{\left(g^t\right)}^2+C_1}$

其中，x表示像素坐标，g^r和g^t分别为用三维索贝尔Sobel算子提取的参考视频和测试视频中主要视觉信息部分位置为x的像素的时空梯度向量，C₁为避免分母为零的常数项；

4)对参考视频主要视觉信息部分、测试视频主要视觉信息部分进行下采样，通过二维Sobel算子提取下采样后的参考视频主要视觉信息部分和下采样后的测试视频主要视觉信息部分中各图像块的时空梯度向量，计算参考视频与测试视频的块梯度相似性S_b(x)：

$S_b\left(x\right)=\frac{2g_b^r{g}_b^t+C_1}{{\left(g_b^r\right)}^2+{\left(g_b^t\right)}^2+C_1}$

其中，和分别表示通过二维Sobel算子提取的下采样后的参考视频和测试视频中主要视觉信息部分位置为x的像素所在图像块的空间梯度向量；

5)对参考视频和测试视频中每一帧进行显著像素点的提取，计算参考视频与测试视频间的帧梯度相似性S_f(p)：

$S_f\left(p\right)=\frac{\left|C_r\right|}{\left|C_r\∪C_t\right|}$

其中，C_r和C_t分别表示参考视频与测试视频中第p帧的显著像素集合，|·|表示取集合中元素的个数，∪表示并集运算；

6)计算参考视频第p帧和测试视频第p帧的主要视觉信息部分的相似性为：

$S_{pre}\left(p\right)=S_f\left(p\right)\frac{\underset{x\∈\{C_r\∪C_t\}}{\Σ}{S}_p\left(x\right)\·S_b\left(x\right)}{\left|C_r\∪C_t\right|}$

7)结合各级梯度相似性得到测试视频的单帧质量S_overall(p)为：

$S_{overall}\left(p\right)={\left(S_{pre}\right(p\left)\right)}^{S_{noi}\left(p\right)}$

其中，S_noi(p)为参考视频第p帧和测试视频第p帧的加性噪声部分的相似性， $S_{noi}\left(p\right)=1-\frac{{\log }_{10}(1+MSE(N_r,N_t\left)\right)}{{\log }_{10}\left({255}^2\right)},$ MSE(N_r,N_t)表示参考视频第p帧的加性噪声部分N_r和测试视频第p帧的加性噪声部分N_t的均方误差；

8)对测试视频中所有单帧质量取均值得到整个测试视频的质量。

本发明的有益效果是，考虑到人眼视觉系统各视区对视频图像像素级，边缘级，对象级，图像级的不同感知能力，通过参考视频与测试视频间的帧梯度相似性反映了失真区域的大小，更全面地反映视频质量。

附图说明

图1：本发明流程图。

具体实施方式

本方法主要从像素级，边缘级，对象级相似来衡量视频图像的失真。像素级失真则是提取像素的3维梯度信息，而块级失真则是通过下采样图像的梯度相似性来衡量，帧级的相似用视频图像中显著像素个数变换来衡量。

首先，为衡量像素级相似性，对参考视频R和测试视频T分别进行去噪，把每个视频分成加性噪声部分N_r和N_t和主要视觉信息P_r和P_t部分。去噪可以采用现有方法。其中，N_t和P_t分别表示测试视频的加性噪声部分和主要视觉信息部分，N_r和P_r分别表示参考视频的加性噪声部分和主要视觉信息部分。

因此，N_r和N_t可以用来描述的加性噪声失真，第p帧的加性噪声失真通过如下公式来衡量。

$S_{noi}\left(p\right)=1-\frac{{\log }_{10}(1+MSE(N_r,N_t\left)\right)}{{\log }_{10}\left({255}^2\right)}---\left(1\right)$

其中，MSE(N_r,N_t)表示N_r和N_t的均方误差，log₁₀(255²)是一个归一化项，使得上式的计算结构在0到1之间。

第二，像素级的失真主要用到时空梯度信息，用3维Sobel算子提取分别对P_r和P_t中对应像素位置x求时空梯度信息g＝(g_x,g_y,g_t)。其中，g_x,g_y为空间梯度信息，表示图像中在x轴、y轴上的梯度，g_t为时间梯度信息，表示在当前帧的前一帧与后一帧像素位置x所在区域的差值。像素级的相似性通过如下公式来衡量：

$S_p\left(x\right)=\frac{2\left|\right|g^r\left|\right|\left|\right|g^t\left|\right|+C_1}{{\left(g^r\right)}^2+{\left(g^t\right)}^2+C_1}\frac{g^r{g}^t+C_1}{\left|\right|g^r\left|\right|\left|\right|g^t\left|\right|+C_1}---\left(2\right)$

其中，g^r和g^t分别参考视频和测试视频中主要视觉信息部分位置为x的像素的时空梯度向量，‖g^r‖和‖g^t‖分别表示向量g^r和g^t的模。常数项C₁＝0.03×255²为避免分母为零。上式中第一个分式表示的是梯度的幅度相似，第二个分式表示的是梯度方向的相似。可简化为下式：

$S_p\left(x\right)=\frac{2g^r{g}^t+C_1}{{\left(g^r\right)}^2+{\left(g^t\right)}^2+C_1}---\left(3\right)$

第三，块级失真采用下采样图像的空间梯度相似来衡量。首先对P_r和P_t进行下采样，水平垂直方向采用率均为1/8。也就是求取每个不重叠8x8块的均值为下采样的图像。然后通过2维Sobel算子对下采样之后的参考帧和测试帧求取空间梯度信息块级相似表示为：

$S_b\left(x\right)=\frac{2g_b^r{g}_b^t+C_1}{{\left(g_b^r\right)}^2+{\left(g_b^t\right)}^2+C_1}---\left(4\right)$

其中，和分别表示下采样后的参考视频和测试视频中主要视觉信息部分位置为x的像素所在图像块的空间梯度向量。

第四，考虑到显著性对视频质量的影响，本方法中像素级相似性和块级相似性均只考虑显著像素，显著性的标准则采用梯度的幅度大小。当梯度大于阈值th时，该相似为显著的。反之，则为非显著像素。实验验证得出结论，较广的取值范围下得阈值th都能取得较高的评估性能。

整个图像级相似性衡量主要考虑图像显著性的变化，具体计算如下：

$S_f\left(p\right)=\frac{\left|C_r\right|}{\left|C_r\∪C_t\right|}---\left(5\right)$

其中，C_r和C_t分别表示参考视频与测试视频中第p帧的显著像素集合，|C_r|则表示参考视频帧中显著像素的个数，|C_r∪C_t|表示参考视频和测试视频帧显著像素并集的个数。

最后，主要视觉信息部分的相似性计算为：

$S_{pre}\left(p\right)=S_f\left(p\right)\frac{\underset{x\∈\{C_r\∪C_t\}}{\Σ}{S}_p\left(x\right)\·S_b\left(x\right)}{\left|C_r\∪C_t\right|}---\left(6\right)$

结合像素级相似性，单个视频帧的质量为：

$S_{overall}\left(p\right)={\left(S_{pre}\right(p\left)\right)}^{S_{noi}\left(p\right)}---\left(7\right)$

整个视频的质量则是对所有帧的质量求平均。

Claims (1)

1.基于多级梯度相似的全参考视频质量评估方法，其特征在于，包括以下步骤：

1)对参考视频和测试视频分别进行去噪，把每个视频分成加性噪声部分和主要视觉信息部分，N_t和P_t分别表示测试视频的加性噪声部分和主要视觉信息部分，N_r和P_r分别表示参考视频的加性噪声部分和主要视觉信息部分；

2)用三维索贝尔Sobel算子提取参考视频主要视觉信息部分、测试视频主要视觉信息部分中各像素的时空梯度向量；计算参考视频与测试视频的像素级梯度相似性S_p(x)：

$S_p\left(x\right)=\frac{{2g}^r{g}^t+C_1}{{\left(g^r\right)}^2+{\left(g^t\right)}^2+C_1}$

其中，x表示像素坐标，g^r和g^t分别为用三维索贝尔Sobel算子提取的参考视频和测试视频中主要视觉信息部分位置为x的像素的时空梯度向量，C₁为避免分母为零的常数项；

4)对参考视频主要视觉信息部分、测试视频主要视觉信息部分进行下采样，通过二维Sobel算子提取下采样后的参考视频主要视觉信息部分和下采样后的测试视频主要视觉信息部分中各图像块的时空梯度向量，计算参考视频与测试视频的块梯度相似性S_b(x)：

$S_b\left(x\right)=\frac{{2g}_b^r{g}_b^t+C_1}{{\left(g_b^r\right)}^2+{\left(g_b^t\right)}^2+C_1}$

其中，和分别表示通过二维Sobel算子提取的下采样后的参考视频和测试视频中主要视觉信息部分位置为x的像素所在图像块的空间梯度向量；

5)对参考视频和测试视频中每一帧进行显著像素点的提取，计算参考视频与测试视频间的帧梯度相似性S_f(p)：

$S_f\left(p\right)=\frac{\left|C_r\right|}{|C_r\∪C_t|}$

其中，C_r和C_t分别表示参考视频与测试视频中第p帧的显著像素集合，|·|表示取集合中元素的个数，∪表示并集运算；

6)计算参考视频第p帧和测试视频第p帧的主要视觉信息部分的相似性为：

$S_{\mathrm{pre}}\left(p\right)=S_f\left(p\right)\frac{\underset{x\∈\{C_r\∪C_t\}}{\mathrm{\Σ}}{S}_p\left(x\right)\·S_b\left(x\right)}{|C_r\∪C_t|}$

7)结合各级梯度相似性得到测试视频的单帧质量S_overall(p)为：

$S_{\mathrm{overall}}\left(p\right)={\left(S_{\mathrm{pre}}\left(p\right)\right)}^{S_{\mathrm{noi}}\left(p\right)}$

其中，S_noi(p)为参考视频第p帧和测试视频第p帧的加性噪声部分的相似性，MSE(N_r,N_t)表示参考视频第p帧的加性噪声部分N_r和测试视频第p帧的加性噪声部分N_t的均方误差；

8)对测试视频中所有单帧质量取均值得到整个测试视频的质量。