CN102685547A - 一种基于块效应和噪声的低码率视频质量检测方法 - Google Patents

Abstract

本发明公开了属于视频质量检测领域的一种基于块效应和噪声的低码率视频质量检测方法。它包括以下步骤：1)从公共视频库中获得参考视频和失真视频，分别将参考视频和失真视频按帧转换为对应的图像，即为参考视频帧和失真视频帧；2)对图像进行块效应检测；3)对图像进行噪声检测；4)融合块效应算子和噪声算子对SSIM算法进行改进。本发明的有益效果为：本发明融合了块效应掩盖，噪声掩盖等特性，更加符合人眼的视觉感受。本发明在保证SSIM算法简单、高效的同时，又进行了基于人眼特性的改进，使之更好地符合人眼的主观感受。

Description

一种基于块效应和噪声的低码率视频质量检测方法

技术领域

本发明属于视频质量检测领域，特别涉及一种基于块效应和噪声的低码率视频质量检测方法。

背景技术

目前，随着压缩视频的广泛应用，人们对视频质量检测的问题也越来越关注。针对压缩编码对视频质量所产生的损伤的客观检测方法，目前比较公认的方法是结构相似算法(SSIM)，它通过测量结构失真来检测图像和视频的质量。然而人们发现结构相似算法在检测重度模糊的图像时常常表现不佳，而重度模糊的图像是被广泛应用的低码率视频通信的主要失真类型。因此结构相似算法对于检测低码率视频表现不佳。

发明内容

本发明针对上述缺陷公开了一种基于块效应和噪声的低码率视频质量检测方法。

一种基于块效应和噪声的低码率视频质量检测方法包括以下步骤：

1)从公共视频库中获得参考视频和失真视频，分别将参考视频和失真视频按帧转换为对应的图像，即为参考视频帧和失真视频帧；

2)对图像进行块效应检测；

3)对图像进行噪声检测；

4)融合块效应算子和噪声算子对SSIM算法进行改进。

所述步骤2)具体包括以下步骤：

21)针对参考视频帧，首先将参考视频帧的图像分成8*8大小的像素块，计算两个水平相邻像素块边界处的亮度差D_h，公式如下：

$D_h={\mathrm{\Σ}}_{m=0}^7|d_1(m,n)-d_2(m,n)|$

其中d₁(m，n)是两个水平相邻像素块边界处的绝对亮度差，d₂(m，n)是两个水平相邻像素块靠近边界的亮度差均值，其中，

d₁(m，n)＝c(m，n+1)-c(m，n)

$d_2(m,n)=\frac{c(m,n+2)-c(m,n+1)}{2}+\frac{c(m,n)-c(m,n-1)}{2}$

其中c(m，n)表示两个水平相邻像素块的共有边界中位于第n列的像素点的亮度值；c(m，n+1)表示两个水平相邻像素块的共有边界中位于第n+1列的像素点的亮度值；c(m，n+2)表示两个水平相邻像素块的共有边界中位于第n+2列的像素点的亮度值；c(m，n-1)表示两个水平相邻像素块的共有边界中位于第n-1列的像素点的亮度值；m为两个水平相邻像素块的共有边界的行坐标，一个像素块是由8*8个像素点构成；

22)使用步骤21)中的方法计算出2个垂直相邻像素块边界处的亮度差D_v；

23)亮度掩盖函数M_l定义如下：

$M_1={[1+{\left(\frac{L}{L_0}\right)}^r]}^{-1}$

其中L₀和r是常数，分别为150和2，L是图像局部背景的亮度；

$I_V=\left\{\begin{array}{cc}0& S_V\≤T\\ K\×\ln \frac{S_V}{T}& S_V>T\end{array}\right.$

$I_h=\left\{\begin{array}{cc}0& S_h\≤T\\ K\×\ln \frac{S_h}{T}& S_h>T\end{array}\right.$

其中，I_v是竖直相邻像素块的块效应值，I_h是水平相邻像素块的块效应值；K为常数，S_V为竖直相邻像素块的块效应的可见度，S_h为水平相邻像素块的块效应的可见度；T是人类视觉系统的阈值，当块效应的可见度小于T时，块效应是不可见的，反之可见；T＝0.02B；B为参考视频帧背景的平均亮度值；

$S_V=\frac{D_V}{M_1}$

$S_h=\frac{D_h}{M_1}$

24)综合以上公式，得到以下公式：

$I_V=\left\{\begin{array}{cc}0& S_V\≤T\\ K\×\ln \frac{D_V[1+{\left(\frac{L}{L_0}\right)}^r]}{T}& S_V>T\end{array}\right.$

$I_h=\left\{\begin{array}{cc}0& S_h\≤T\\ K\×\ln \frac{D_h[1+{\left(\frac{L}{L_0}\right)}^r]}{T}& S_h>T\end{array}\right.$

对一条边界处的块效应进行评价的结果如下：

$I_{\mathrm{vtotal}}={\mathrm{\Σ}}_{m=1}^{M-1}{\mathrm{\Σ}}_{n=1}^N{I}_v$

$I_{\mathrm{htotal}}={\mathrm{\Σ}}_{m=1}^{M-1}{\mathrm{\Σ}}_{n=1}^N{I}_h$

其中I_vtotal为图像竖直方向的块效应评价，I_htotal为图像水平方向的块效应评价，M是图像中8*8像素块排列所成行数，N是图像中8*8像素块排列所成列数，M×N是图像中8*8像素块的数量；

25)参考视频帧整个图像的块效应评价I₁的计算公式如下：

$I_1=\frac{I_{\mathrm{htotal}}+I_{\mathrm{Vtotal}}}{M\×N}$

26)针对失真视频帧，重复步骤21)至步骤25)，得出失真视频帧整个图像的块效应评价I₂。

所述K等于1。

所述步骤3)具体包括以下步骤：

31)针对参考视频帧，利用Roberts算子提取参考视频帧的边缘信息，公式为：

$f(x,y)={\{{[\sqrt{f(x,y)}-\sqrt{f(x+1,y+1)}]}^2+{[\sqrt{f(x+1,y)}-\sqrt{f(x,y+1)}]}^2\}}^{1/2}$

其中，f(x，y)是具有整数像素坐标的输入图像，x和y为该输入图像的平面坐标；

32)利用相邻2个参考视频帧逐像素做差，得到相邻视频帧的绝对亮度差：

$d_1\left(n\right)=\underset{i=1}{\overset{\mathrm{height}}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{width}}{\mathrm{\Σ}}}|f_{n+1}(i,j)-f_n(i,j)|$

其中，设d₁(n)表示第n+1参考视频帧与第n参考视频帧相比的绝对亮度差；Width和Height分别为参考视频帧的行像素数和列像素数，f_n(i，j)为第n+1参考视频帧图像边缘的亮度，i和j即为该图像中的像素点的行坐标和列坐标；

计算相邻参考视频帧的固有亮度差d₂(n)：

$d_2\left(n\right)=\underset{i=1}{\overset{\mathrm{height}}{\mathrm{\Σ}}}\underset{j=1}{\overset{\mathrm{width}}{\mathrm{\Σ}}}\frac{|f_{n+2}(i,j)-f_{n+1}(i,j)|}{2}+\frac{|f_n(i,j)-f_{n-1}(i,j)|}{2}$

计算相邻参考视频帧的亮度差D(n)，计算公式如下：

D(n)＝|d₁(n)-d₂(n)|

相邻2个参考视频帧的变化率为：

$D_n=\frac{D\left(n\right)}{{\mathrm{\Σ}}_{i=1}^{\mathrm{height}}{\mathrm{\Σ}}_{j=1}^{\mathrm{width}}\left|f_n(i,j)\right|}$

D_n表示了第n+1参考视频帧与第n参考视频帧相比亮度的变化率；

视频序列中噪声的评价值D_rate1即为对视频序列中所有参考视频帧D_n的值累加求平均；

33)针对失真视频帧，重复步骤31)和步骤32)，从而计算出与其对应的视频序列中噪声的评价值D_rate2。

所述步骤4)具体包括以下步骤：

41)对于参考视频帧X(X_i|i＝1-G)和失真视频帧Y(Y_i|i＝1-G)，N表示参考视频帧或失真视频帧的帧数，X_i、Y_i分别表示第i个参考视频帧和第i个失真视频帧；则有以下公式：

$l(x,y)=\frac{2u_x{u}_y+c_1}{u_x^2+u_y^2+c_1}$

$c(x,y)=\frac{2{\mathrm{\δ}}_x{\mathrm{\δ}}_y+c_2}{{\mathrm{\δ}}_x^2+{\mathrm{\δ}}_y^2+c_2}$

$s(x,y)=\frac{{\mathrm{\δ}}_{\mathrm{xy}}+c_3}{{\mathrm{\δ}}_x{\mathrm{\δ}}_y+c_3}$

其中，l(x，y)为亮度比较函数，c(x，y)为对比度函数，s(x，y)为结构度函数，u_x和u_y分别表示参考视频帧和失真视频帧的亮度的平均值，δ_x和δ_y分别表示参考视频帧和失真视频帧的亮度的标准差，δ_xy为参考视频帧的亮度和失真视频帧的亮度的协方差；C₁、C₂和C₃是为了避免出现分母为零而设置的常数，C₁＝(K₁A)²，C₂＝(K₂A)²，C₃＝C₂/2，K₁＝0.01，K₂＝0.03，，A＝255；

42)当

时，参考视频帧X(X_i|i＝1-G)和失真视频帧Y(Y_i|i＝1-G)的结构相似量定义为：

$S(x,y)=l(x,y)\·c(x,y)\·s(x,y)$

$=\frac{(2{\mathrm{\δ}}_x{\mathrm{\δ}}_y+c_1^{\′})(2{\mathrm{\δ}}_{\mathrm{xy}}+c_2^{\′})}{(u_x^2+u_y^2+c_1^{\′})({\mathrm{\δ}}_x^2+{\mathrm{\δ}}_y^2+c_2^{\′})}$

c′₁和c′₂均为常数；将SSIM算法应用于视频质量评价，则有 ${\mathrm{SSIM}}_{\mathrm{ij}}=W_Y{\mathrm{SSIM}}_{\mathrm{ij}}^Y+W_{C_b}{\mathrm{SSIM}}_{\mathrm{ij}}^{C_b}+W_{C_r}{\mathrm{SSIM}}_{\mathrm{ij}}^{C_r}$

上式中，SSIM_ij为参考视频和失真视频的第i帧第j个采样窗的结构相似量，

为参考视频和失真视频的第i帧第j个采样窗中亮度分量的频域结构相似度，

为参考视频和失真视频的第i帧第j个采样窗中蓝色色度分量，为参考视频和失真视频的第i帧第j个采样窗中红色色度分量；W_Y为参考视频和失真视频的第i帧第j个采样窗中亮度分量的权系数，Wc_b为参考视频和失真视频的第i帧第j个采样窗中蓝色色度分量的权系数，Wc_r为参考视频和失真视频的第i帧第j个采样窗中红色色度分量的权系数；

43)计算参考视频帧和失真视频帧之间的块效应检测权值W_blur：

$W_{\mathrm{blur}}=\left\{\begin{array}{cc}1& |I_1-I_2|<H\\ \frac{1-(I_1^2-I_2^2)}{I_1^2}& |I_1-I_2|\&GreaterEqual;H\end{array}\right.$

H为参考视频帧的平滑度阈值；

44)计算参考视频帧和失真视频帧之间的噪声评价权值W_noise：

当1.5≤D_rate1≤3.5且D_rate2＞3.5时，或当1.5≤D_rate1≤3.5且D_rate2≤1.5时，

$W_{\mathrm{noise}}=\frac{1-D_{\mathrm{rate}1}^2}{D_{\mathrm{rate}1}^2}$

当1.5≤D_rate1≤3.5且1.5≤D_rate2≤3.5时，

$W_{\mathrm{noise}}=\frac{1-(D_{\mathrm{rate}1}^2-D_{\mathrm{rate}2}^2)}{D_{\mathrm{rate}1}^2}$

当D_rate1＜1.5且1.5≤D_rate2≤3.5时，或当D_rate1＞3.5且1.5≤D_rate2≤3.5时，

$W_{\mathrm{noise}}=\frac{1-D_{\mathrm{rate}2}^2}{D_{\mathrm{rate}2}^2}$

当D_rate1和D_rate2的取值为其他情况时，W_noise＝0；

45)计算参考视频和失真视频的第i帧图像的结构相似量Q_i：

$Q_i=\frac{\underset{j=1}{\overset{R_s}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}{\mathrm{SSIM}}_{\mathrm{ij}}}{\underset{j=1}{\overset{R_s}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}}$

上式中，W_ij表示参考视频和失真视频的第i帧图像中第j像素块的加权系数；每个像素块的大小均为8*8；R_S为每帧参考视频或每帧失真视频中所分的像素块的数目；

上式中，当u_x≤40时，W_ij＝0；

当40＜u_x≤50时，W_ij＝(u_x-40)/10；

当u_x＞50时，W_ij＝1；u_x为失真视频帧的像素块亮度信息平均值；

46)计算基于块效应和噪声的结构相似量BNSSIM：

$\mathrm{BNSSIM}=\frac{\underset{i=1}{\overset{U}{\mathrm{\&Sigma;}}}{W}_{\mathrm{blur}}\&times;Q_i}{U}+W_{\mathrm{noise}}\&times;\frac{\underset{i=1}{\overset{U}{\mathrm{\&Sigma;}}}{Q}_i}{U}$

上式中，U为参考视频和失真视频的总帧数。

所述W_Y＝0.8， $W_{C_b}=0.1,$ $W_{C_r}=0.1.$

本发明的有益效果为：本发明融合了块效应掩盖，噪声掩盖等特性，更加符合人眼的的视觉感受。本发明在保证SSIM算法简单、高效的同时，又进行了基于人眼特性的改进，使之更好地符合人眼的主观感受。

附图说明

图1为PSNR模型在VQEG Phase I测试集上的所有主观评价得分和客观评价得分对比的散点图；

图2为KPN/Swisscom CT模型在VQEG Phase I测试集上的所有主观评价得分和客观评价得分对比的散点图；

图3为SSIM模型在VQEG Phase I测试集上的所有主观评价得分和客观评价得分对比的散点图；

图4为本发明在VQEG Phase I测试集上的所有主观评价得分和客观评价得分对比的散点图；

图5为本发明的算法流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明：

如图5所示，一种基于块效应和噪声的低码率视频质量检测方法包括以下步骤：

1)从公共视频库中获得参考视频和失真视频，分别将参考视频和失真视频按帧转换为对应的图像，即为参考视频帧和失真视频帧；

2)对图像进行块效应检测；

3)对图像进行噪声检测；

4)融合块效应算子和噪声算子对SSIM算法进行改进。

步骤2)具体包括以下步骤：

21)针对参考视频帧，首先将参考视频帧的图像分成8*8大小的像素块，计算两个水平相邻像素块边界处的亮度差D_h，公式如下：

$D_h={\mathrm{\&Sigma;}}_{m=0}^7|d_1(m,n)-d_2(m,n)|$

其中d₁(m，n)是两个水平相邻像素块边界处的绝对亮度差，d₂(m，n)是两个水平相邻像素块靠近边界的亮度差均值，其中，

d₁(m，n)＝c(m，n+1)-c(m，n)

$d_2(m,n)=\frac{c(m,n+2)-c(m,n+1)}{2}+\frac{c(m,n)-c(m,n-1)}{2}$

其中c(m，n)表示两个水平相邻像素块的共有边界中位于第n列的像素点的亮度值；c(m，n+1)表示两个水平相邻像素块的共有边界中位于第n+1列的像素点的亮度值；c(m，n+2)表示两个水平相邻像素块的共有边界中位于第n+2列的像素点的亮度值；c(m，n-1)表示两个水平相邻像素块的共有边界中位于第n-1列的像素点的亮度值；m为两个水平相邻像素块的共有边界的行坐标，一个像素块是由8*8个像素点构成；

22)使用步骤21)中的方法计算出2个垂直相邻像素块边界处的亮度差D_v；

23)人类视觉系统对块效应具有掩盖性，这主要体现在亮度对块效应的掩盖性上。研究证实，局部背景亮度越大，块效应的可见度越低。

Karunasekra和Kingsbury定义了一个亮度掩盖函数M_l，定义如下：

$M_1={[1+{\left(\frac{L}{L_0}\right)}^r]}^{-1}$

其中L₀和r是常数，分别为150和2，L是图像局部背景的亮度；

人眼除了具有掩盖性外，还具有非线性，韦伯一费克内定律就是定量描述非线性的定律，韦伯一费克内定律定义如下：

$I_V=\left\{\begin{array}{cc}0& S_V\&le;T\\ K\&times;\ln \frac{S_V}{T}& S_V>T\end{array}\right.$

$I_h=\left\{\begin{array}{cc}0& S_h\&le;T\\ K\&times;\ln \frac{S_h}{T}& S_h>T\end{array}\right.$

其中，I_v是竖直相邻像素块的块效应值，I_h是水平相邻像素块的块效应值；K为常数，S_V为竖直相邻像素块的块效应的可见度，S_h为水平相邻像素块的块效应的可见度；T是人类视觉系统的阈值，当块效应的可见度小于T时，块效应是不可见的，反之可见。在韦伯——费克内定律中，T＝0.02B；B为参考视频帧背景的平均亮度值；

$S_V=\frac{D_V}{M_1}$

$S_h=\frac{D_h}{M_1}$

24)综合以上公式，得到以下公式：

$I_V=\left\{\begin{array}{cc}0& S_V\&le;T\\ K\&times;\ln \frac{D_V[1+{\left(\frac{L}{L_0}\right)}^r]}{T}& S_V>T\end{array}\right.$

$I_h=\left\{\begin{array}{cc}0& S_h\&le;T\\ K\&times;\ln \frac{D_h[1+{\left(\frac{L}{L_0}\right)}^r]}{T}& S_h>T\end{array}\right.$

对一条边界处的块效应进行评价的结果如下：

$I_{\mathrm{vtotal}}={\mathrm{\&Sigma;}}_{m=1}^{M-1}{\mathrm{\&Sigma;}}_{n=1}^N{I}_v$

$I_{\mathrm{htotal}}={\mathrm{\&Sigma;}}_{m=1}^{M-1}{\mathrm{\&Sigma;}}_{n=1}^N{I}_h$

其中I_vtotal为图像竖直方向的块效应评价，I_htotal为图像水平方向的块效应评价，M是图像中8*8像素块排列所成行数，N是图像中8*8像素块排列所成列数，M×N是图像中8*8像素块的数量；

25)参考视频帧整个图像的块效应评价I₁的计算公式如下：

$I_1=\frac{I_{\mathrm{htotal}}+I_{\mathrm{Vtotal}}}{M\&times;N}$

26)针对失真视频帧，重复步骤21)至步骤25)，得出失真视频帧整个图像的块效应评价I₂。

在上述步骤中，优选K等于1。

步骤3)具体包括以下步骤：

首先用Roberts算子提取图像的边缘信息(包含正常边缘和噪声的边缘)，然后计算相邻视频帧的亮度差，最后根据亮度变化率对噪声进行检测。

31)针对参考视频帧，利用Roberts算子提取参考视频帧的边缘信息，公式为：

$f(x,y)={\{{[\sqrt{f(x,y)}-\sqrt{f(x+1,y+1)}]}^2+{[\sqrt{f(x+1,y)}-\sqrt{f(x,y+1)}]}^2\}}^{1/2}$

其中，f(x，y)是具有整数像素坐标的输入图像，x和y为该输入图像的平面坐标；其中的平方根运算是使该处理类似人的视觉系统的发生过程；

32)利用相邻2个参考视频帧逐像素做差，得到相邻视频帧的绝对亮度差：

$d_1\left(n\right)=\underset{i=1}{\overset{\mathrm{height}}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{width}}{\mathrm{\&Sigma;}}}|f_{n+1}(i,j)-f_n(i,j)|$

其中，设d₁(n)表示第n+1参考视频帧与第n参考视频帧相比的绝对亮度差；Width和Height分别为参考视频帧的行像素数和列像素数，(第n+1参考视频帧与第n参考视频帧具有相同的行像素数和列像素数)；f_n(i，j)为第n+1参考视频帧图像边缘的亮度，i和j即为该图像中的像素点的行坐标和列坐标；

每一个视频序列都具有连续性，将2个相邻的参考视频帧的边缘信息作比较，根据比较结果是否存在突变性判断视频序列中是否含有噪声，并且可以对噪声的严重程度做出评价。

计算相邻参考视频帧的固有亮度差d₂(n)：

$d_2\left(n\right)=\underset{i=1}{\overset{\mathrm{height}}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{width}}{\mathrm{\&Sigma;}}}\frac{|f_{n+2}(i,j)-f_{n+1}(i,j)|}{2}+\frac{|f_n(i,j)-f_{n-1}(i,j)|}{2}$

计算相邻参考视频帧的亮度差D(n)，它表示的是视频帧的连续性。计算公式如下：

D(n)＝|d₁(n)-d₂(n)|

相邻2个参考视频帧的变化率为：

$D_n=\frac{D\left(n\right)}{{\mathrm{\&Sigma;}}_{i=1}^{\mathrm{height}}{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{width}}\left|f_n(i,j)\right|}$

D_n表示了第n+1参考视频帧与第n参考视频帧相比亮度的变化率，它反映了相邻2个视频帧的连续性，可以很好的检测和评价噪声。

视频序列中噪声的评价值D_rate1即为对视频序列中所有参考视频帧D_n的值累加求平均；

33)针对失真视频帧，重复步骤31)和步骤32)，从而计算出与其对应的视频序列中噪声的评价值D_rate2。

步骤4)具体包括以下步骤：

Zhou Wang提出了一种基于结构失真的视频质量检测方法，该方法的检测依据是：HVS高度适合于提取视觉场景中的结构信息，从而测量结构信息的改变与感知图像质量的变化非常接近。因此，如果结构相似则认为前后图像质量变化不大，则质量损失不大。SSIM算法对参考图像和失真图像的亮度、对比度、和结构相似性等3方面进行比较，构造出相应的模型，最后将3个模型综合成一个SSIM值。基本思想如下：

41)对于参考视频帧X(X_i|i＝1-G)和失真视频帧Y(Y_i|i＝1-G)，N表示参考视频帧或失真视频帧的帧数，X_i、Y_i分别表示第i个参考视频帧和第i个失真视频帧；则有以下公式：

$l(x,y)=\frac{2u_x{u}_y+c_1}{u_x^2+u_y^2+c_1}$

$c(x,y)=\frac{2{\mathrm{\&delta;}}_x{\mathrm{\&delta;}}_y+c_2}{{\mathrm{\&delta;}}_x^2+{\mathrm{\&delta;}}_y^2+c_2}$

$s(x,y)=\frac{{\mathrm{\&delta;}}_{\mathrm{xy}}+c_3}{{\mathrm{\&delta;}}_x{\mathrm{\&delta;}}_y+c_3}$

其中，l(x，y)为亮度比较函数，c(x，y)为对比度函数，s(x，y)为结构度函数，u_x和u_y分别表示参考视频帧和失真视频帧的亮度的平均值，δ_x和δ_y分别表示参考视频帧和失真视频帧的亮度的标准差，δ_xy为参考视频帧的亮度和失真视频帧的亮度的协方差；C₁、C₂和C₃是为了避免出现分母为零而设置的常数，C₁＝(K₁A)²，C₂＝(K₂A)²，C₃＝C₂/2，K₁＝0.01，K₂＝0.03，，A＝255；

42)当

时，参考视频帧X(X_i|i＝1-G)和失真视频帧Y(Y_i|i＝1-G)的结构相似量定义为：

$S(x,y)=l(x,y)\&CenterDot;c(x,y)\&CenterDot;s(x,y)$

$=\frac{(2{\mathrm{\&delta;}}_x{\mathrm{\&delta;}}_y+c_1^{\&prime;})(2{\mathrm{\&delta;}}_{\mathrm{xy}}+c_2^{\&prime;})}{(u_x^2+u_y^2+c_1^{\&prime;})({\mathrm{\&delta;}}_x^2+{\mathrm{\&delta;}}_y^2+c_2^{\&prime;})}$

c′₁和c′₂均为常数；将SSIM算法应用于视频质量评价，则有

${\mathrm{SSIM}}_{\mathrm{ij}}=W_Y{\mathrm{SSIM}}_{\mathrm{ij}}^Y+W_{C_b}{\mathrm{SSIM}}_{\mathrm{ij}}^{C_b}+W_{C_r}{\mathrm{SSIM}}_{\mathrm{ij}}^{C_r}$

上式中，SSIM_ij为参考视频和失真视频的第i帧第j个采样窗的结构相似量，

为参考视频和失真视频的第i帧第j个采样窗中亮度分量的频域结构相似度，

为参考视频和失真视频的第i帧第j个采样窗中蓝色色度分量，

为参考视频和失真视频的第i帧第j个采样窗中红色色度分量；W_Y为参考视频和失真视频的第i帧第j个采样窗中亮度分量的权系数，Wc_b为参考视频和失真视频的第i帧第j个采样窗中蓝色色度分量的权系数，Wc_r为参考视频和失真视频的第i帧第j个采样窗中红色色度分量的权系数；

SSIM_ij的值越高，表示两幅图像越相似；优选W_Y＝0.8， $W_{C_b}=0.1,$ $W_{C_r}=0.1;$

43)计算参考视频帧和失真视频帧之间的块效应检测权值W_blur：

$W_{\mathrm{blur}}=\left\{\begin{array}{cc}1& |I_1-I_2|<H\\ \frac{1-(I_1^2-I_2^2)}{I_1^2}& |I_1-I_2|\&GreaterEqual;H\end{array}\right.$

H为参考视频帧的平滑度阈值；

44)计算参考视频帧和失真视频帧之间的噪声评价权值W_noise：

D_rate1或D_rate2越大表示对应视频序列的连续性越差，该视频序列中含有的噪声越严重，D_rate1或D_rate2越小，表明对应视频序列的连续性越好，序列中含有的噪声越轻微，但D_rate1或D_rate2也存在取值范围，本发明通过引入上下门限值T1和T2对进行过滤，当D_rate1＞T1或D_rate1＞T1时，表示相邻参考视频帧或相邻失真视频帧的切换是由于镜头切换，闪光灯等正常因素引起的，不计入噪声的评价；

当D_rate1＜T2或D_rate1＜T2时，表示相邻参考视频帧或相邻失真视频帧的不连续在视频帧之间正常差异的范围内，对应视频中并不含有噪声，也不计入噪声的评价中。本发明中，T1＝3.5，T2＝1.5；

当1.5≤D_rate1≤3.5且D_rate2＞3.5时，或当1.5≤D_rate1≤3.5且D_rate2≤1.5时，

$W_{\mathrm{noise}}=\frac{1-D_{\mathrm{rate}1}^2}{D_{\mathrm{rate}1}^2}$

当1.5≤d_rate1≤3.5且1.5≤D_rate2≤3.5时，

$W_{\mathrm{noise}}=\frac{1-(D_{\mathrm{rate}1}^2-D_{\mathrm{rate}2}^2)}{D_{\mathrm{rate}1}^2}$

当D_rate1＜1.5且1.5≤D_rate2≤3.5时，或当D_rate1＞3.5且1.5≤D_rate2≤3.5时，

$W_{\mathrm{noise}}=\frac{1-D_{\mathrm{rate}2}^2}{D_{\mathrm{rate}2}^2}$

当D_rate1和D_rate2的取值为其他情况时，W_noise＝0；

45)计算参考视频和失真视频的第i帧图像的结构相似量Q_i：

$Q_i=\frac{\underset{j=1}{\overset{R_s}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}{\mathrm{SSIM}}_{\mathrm{ij}}}{\underset{j=1}{\overset{R_s}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}}$

上式中，W_ij表示参考视频和失真视频的第i帧图像中第j像素块的加权系数；每个像素块的大小均为8*8；R_S为每帧参考视频或每帧失真视频中所分的像素块的数目；

研究发现，人们在非常的亮和非常的暗的背景下，视觉存在一个对比度掩盖效应，根据这一特性，因此，上式中，

当u_x≤40时，W_ij＝0；

当40＜u_x≤50时，W_ij＝(u_x-40)/10；

当u_x＞50时，W_ij＝1；u_x为失真视频帧的像素块亮度信息平均值；

46)计算基于块效应和噪声的结构相似量BNSSIM：

实验表明，基于SSIM的评价方法在性能上要强于MSE和PSNR，它更符合人眼的视觉特性，然而在评价重度模糊的图像时，结果并不理想。基于这一点，对SSIM算法进行改进，该方法可以有效地评估模糊视频；

$\mathrm{BNSSIM}=\frac{\underset{i=1}{\overset{U}{\mathrm{\&Sigma;}}}{W}_{\mathrm{blur}}\&times;Q_i}{U}+W_{\mathrm{noise}}\&times;\frac{\underset{i=1}{\overset{U}{\mathrm{\&Sigma;}}}{Q}_i}{U}$

上式中，U为参考视频和失真视频的总帧数。

下面是本发明的一个具体实施例：

本发明针对VQEG Phase I FR-TV测试数据集上公共视频库的失真视频进行了实验(其中，525线、625线参考视频各10组；每个参考视频提供16个不同失真的失真视频，共计320个失真视频)。并且采用VQEG Phase I测试报告中提出的方法对模型进行量化测试。首先，根据一个逻辑函数对模型值和VQEG提供主观测试值(MOS)进行非线性拟合；然后通过3量化指标作为评价模型的依据。

指标1：客观评分和主观评分经过非线性回归分析后的相关系数；

指标2：客观评分和主观评分之间的斯皮尔曼相关系数；

指标3：经过非线性拟合预测后处于误差大于标准差2倍点的比例。

其中指标1是用于检测模型预测的准确性；指标2用于检测模型预测的单调性；指标3用于检测模型预测的稳定性。

表1BNSSIM算法在VQEG Phase I测试集上的实验结果

如图1、图2、图3、图4分别为PSN R模型、KPN/Swisscom CT模型、SSIM模型和本发明在VQEG Phase I测试集上的所有主观评价得分和客观评价得分对比的散点图；

Claims (6)

1.一种基于块效应和噪声的低码率视频质量检测方法，其特征在于，它包括以下步骤：

1)从公共视频库中获得参考视频和失真视频，分别将参考视频和失真视频按帧转换为对应的图像，即为参考视频帧和失真视频帧；

2)对图像进行块效应检测；

3)对图像进行噪声检测；

4)融合块效应算子和噪声算子对SSIM算法进行改进。

2.根据权利要求1所述的一种基于块效应和噪声的低码率视频质量检测方法，其特征在于，所述步骤2)具体包括以下步骤：

21)针对参考视频帧，首先将参考视频帧的图像分成8*8大小的像素块，计算两个水平相邻像素块边界处的亮度差D_h，公式如下：

$D_h={\mathrm{\&Sigma;}}_{m=0}^7|d_1(m,n)-d_2(m,n)|$

其中d₁(m，n)是两个水平相邻像素块边界处的绝对亮度差，d₂(m，n)是两个水平相邻像素块靠近边界的亮度差均值，其中，

d₁(m，n)＝c(m，n+1)-c(m，n)

$d_2(m,n)=\frac{c(m,n+2)-c(m,n+1)}{2}+\frac{c(m,n)-c(m,n-1)}{2}$

其中c(m，n)表示两个水平相邻像素块的共有边界中位于第n列的像素点的亮度值；c(m，n+1)表示两个水平相邻像素块的共有边界中位于第n+1列的像素点的亮度值；c(m，n+2)表示两个水平相邻像素块的共有边界中位于第n+2列的像素点的亮度值；c(m，n-1)表示两个水平相邻像素块的共有边界中位于第n-1列的像素点的亮度值；m为两个水平相邻像素块的共有边界的行坐标，一个像素块是由8*8个像素点构成；

22)使用步骤21)中的方法计算出2个垂直相邻像素块边界处的亮度差D_v；

23)亮度掩盖函数M_l定义如下：

$M_1={[1+{\left(\frac{L}{L_0}\right)}^r]}^{-1}$

其中L₀和r是常数，分别为150和2，L是图像局部背景的亮度；

$I_V=\left\{\begin{array}{cc}0& S_V\&le;T\\ K\&times;\ln \frac{S_V}{T}& S_V>T\end{array}\right.$

$I_h=\left\{\begin{array}{cc}0& S_h\&le;T\\ K\&times;\ln \frac{S_h}{T}& S_h>T\end{array}\right.$

其中，I_v是竖直相邻像素块的块效应值，I_h是水平相邻像素块的块效应值；K为常数，S_V为竖直相邻像素块的块效应的可见度，S_h为水平相邻像素块的块效应的可见度；T是人类视觉系统的阈值，T＝0.02B；B为参考视频帧背景的平均亮度值；

$S_V=\frac{D_V}{M_1}$

$S_h=\frac{D_h}{M_1}$

24)综合以上公式，得到以下公式：

$I_V=\left\{\begin{array}{cc}0& S_V\&le;T\\ K\&times;\ln \frac{D_V[1+{\left(\frac{L}{L_0}\right)}^r]}{T}& S_V>T\end{array}\right.$

$I_h=\left\{\begin{array}{cc}0& S_h\&le;T\\ K\&times;\ln \frac{D_h[1+{\left(\frac{L}{L_0}\right)}^r]}{T}& S_h>T\end{array}\right.$

对一条边界处的块效应进行评价的结果如下：

$I_{\mathrm{vtotal}}={\mathrm{\&Sigma;}}_{m=1}^{M-1}{\mathrm{\&Sigma;}}_{n=1}^N{I}_v$

$I_{\mathrm{htotal}}={\mathrm{\&Sigma;}}_{m=1}^{M-1}{\mathrm{\&Sigma;}}_{n=1}^N{I}_h$

其中I_vtotal为图像竖直方向的块效应评价，I_htotal为图像水平方向的块效应评价，M是图像中8*8像素块排列所成行数，N是图像中8*8像素块排列所成列数，M×N是图像中8*8像素块的数量；

25)参考视频帧整个图像的块效应评价I₁的计算公式如下：

$I_1=\frac{I_{\mathrm{htotal}}+I_{\mathrm{Vtotal}}}{M\&times;N}$

26)针对失真视频帧，重复步骤21)至步骤25)，得出失真视频帧整个图像的块效应评价I₂。

3.根据权利要求2所述的一种基于块效应和噪声的低码率视频质量检测方法，其特征在于，所述K等于1。

4.根据权利要求1所述的一种基于块效应和噪声的低码率视频质量检测方法，其特征在于，所述步骤3)具体包括以下步骤：

31)针对参考视频帧，利用Roberts算子提取参考视频帧的边缘信息，公式为：

$f(x,y)={\{{[\sqrt{f(x,y)}-\sqrt{f(x+1,y+1)}]}^2+{[\sqrt{f(x+1,y)}-\sqrt{f(x,y+1)}]}^2\}}^{1/2}$

其中，f(x，y)是具有整数像素坐标的输入图像，x和y为该输入图像的平面坐标；

32)利用相邻2个参考视频帧逐像素做差，得到相邻视频帧的绝对亮度差：

$d_1\left(n\right)=\underset{i=1}{\overset{\mathrm{height}}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{width}}{\mathrm{\&Sigma;}}}|f_{n+1}(i,j)-f_n(i,j)|$

其中，设d₁(n)表示第n+1参考视频帧与第n参考视频帧相比的绝对亮度差；Width和Height分别为参考视频帧的行像素数和列像素数，f_n(i，j)为图像边缘的亮度；f_n(i，j)为第n+1参考视频帧图像边缘的亮度，i和j即为该图像中的像素点的行坐标和列坐标；

计算相邻参考视频帧的固有亮度差d₂(n)：

$d_2\left(n\right)=\underset{i=1}{\overset{\mathrm{height}}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{\mathrm{width}}{\mathrm{\&Sigma;}}}\frac{|f_{n+2}(i,j)-f_{n+1}(i,j)|}{2}+\frac{|f_n(i,j)-f_{n-1}(i,j)|}{2}$

计算相邻参考视频帧的亮度差D(n)，计算公式如下：

D(n)＝|d₁(n)-d₂(n)|

相邻2个参考视频帧的变化率为：

$D_n=\frac{D\left(n\right)}{{\mathrm{\&Sigma;}}_{i=1}^{\mathrm{height}}{\mathrm{\&Sigma;}}_{j=1}^{\mathrm{width}}\left|f_n(i,j)\right|}$

D_n表示了第n+1参考视频帧与第n参考视频帧相比亮度的变化率；

视频序列中噪声的评价值D_rate1即为对视频序列中所有参考视频帧D_n的值累加求平均；

33)针对失真视频帧，重复步骤31)和步骤32)，从而计算出与其对应的视频序列中噪声的评价值D_rate2。

5.根据权利要求1所述的一种基于块效应和噪声的低码率视频质量检测方法，其特征在于，所述步骤4)具体包括以下步骤：

41)对于参考视频帧X(X_i|i＝1-G)和失真视频帧Y(Y_i|i＝1-G)，N表示参考视频帧或失真视频帧的帧数，X_i、Y_i分别表示第i个参考视频帧和第i个失真视频帧；则有以下公式：

$l(x,y)=\frac{2u_x{u}_y+c_1}{u_x^2+u_y^2+c_1}$

$c(x,y)=\frac{2{\mathrm{\&delta;}}_x{\mathrm{\&delta;}}_y+c_2}{{\mathrm{\&delta;}}_x^2+{\mathrm{\&delta;}}_y^2+c_2}$

$s(x,y)=\frac{{\mathrm{\&delta;}}_{\mathrm{xy}}+c_3}{{\mathrm{\&delta;}}_x{\mathrm{\&delta;}}_y+c_3}$

其中，l(x，y)为亮度比较函数，c(x，y)为对比度函数，s(x，y)为结构度函数，u_x和u_y分别表示参考视频帧和失真视频帧的亮度的平均值，δ_x和δ_y分别表示参考视频帧和失真视频帧的亮度的标准差，δ_xy为参考视频帧的亮度和失真视频帧的亮度的协方差；C₁、C₂和C₃是为了避免出现分母为零而设置的常数，C₁＝(K₁A)²，C₂＝(K₂A)²，C₃＝C₂/2，K₁＝0.01，K₂＝0.03，，A＝255；

42)当

时，参考视频帧X(X_i|i＝1-G)和失真视频帧Y(Y_i|i＝1-G)的结构相似量定义为：

$S(x,y)=l(x,y)\&CenterDot;c(x,y)\&CenterDot;s(x,y)$

$=\frac{(2{\mathrm{\&delta;}}_x{\mathrm{\&delta;}}_y+c_1^{\&prime;})(2{\mathrm{\&delta;}}_{\mathrm{xy}}+c_2^{\&prime;})}{(u_x^2+u_y^2+c_1^{\&prime;})({\mathrm{\&delta;}}_x^2+{\mathrm{\&delta;}}_y^2+c_2^{\&prime;})}$

c′₁和c′₂均为常数；将SSIM算法应用于视频质量评价，则有 ${\mathrm{SSIM}}_{\mathrm{ij}}=W_Y{\mathrm{SSIM}}_{\mathrm{ij}}^Y+W_{C_b}{\mathrm{SSIM}}_{\mathrm{ij}}^{C_b}+W_{C_r}{\mathrm{SSIM}}_{\mathrm{ij}}^{C_r}$

上式中，SSIM_ij为参考视频和失真视频的第i帧第j个采样窗的结构相似量，

为参考视频和失真视频的第i帧第j个采样窗中亮度分量的频域结构相似度，

为参考视频和失真视频的第i帧第j个采样窗中蓝色色度分量，

为参考视频和失真视频的第i帧第j个采样窗中红色色度分量；W_Y为参考视频和失真视频的第i帧第j个采样窗中亮度分量的权系数，Wc_b为参考视频和失真视频的第i帧第j个采样窗中蓝色色度分量的权系数，Wc_r为参考视频和失真视频的第i帧第j个采样窗中红色色度分量的权系数；

43)计算参考视频帧和失真视频帧之间的块效应检测权值W_blur：

$W_{\mathrm{blur}}=\left\{\begin{array}{cc}1& |I_1-I_2|<H\\ \frac{1-(I_1^2-I_2^2)}{I_1^2}& |I_1-I_2|\&GreaterEqual;H\end{array}\right.$

H为参考视频帧的平滑度阈值；

44)计算参考视频帧和失真视频帧之间的噪声评价权值W_noise：

当1.5≤D_rate1≤3.5且D_rate2＞3.5时，或当1.5≤D_rate1≤3.5且D_rate2≤1.5时，

$W_{\mathrm{noise}}=\frac{1-D_{\mathrm{rate}1}^2}{D_{\mathrm{rate}1}^2}$

当1.5≤D_rate1≤3.5且1.5≤D_rate2≤3.5时，

$W_{\mathrm{noise}}=\frac{1-(D_{\mathrm{rate}1}^2-D_{\mathrm{rate}2}^2)}{D_{\mathrm{rate}1}^2}$

当D_rate1＜1.5且1.5≤D_rate2≤3.5时，或当D_rate1＞3.5且1.5≤D_rate2≤3.5时，

$W_{\mathrm{noise}}=\frac{1-D_{\mathrm{rate}2}^2}{D_{\mathrm{rate}2}^2}$

当D_rate1和D_rate2的取值为其他情况时，W_noise＝0；

45)计算参考视频和失真视频的第i帧图像的结构相似量Q_i：

$Q_i=\frac{\underset{j=1}{\overset{R_s}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}{\mathrm{SSIM}}_{\mathrm{ij}}}{\underset{j=1}{\overset{R_s}{\mathrm{\&Sigma;}}}{W}_{\mathrm{ij}}}$

上式中，W_ij表示参考视频和失真视频的第i帧图像中第j像素块的加权系数；每个像素块的大小均为8*8；R_S为每帧参考视频或每帧失真视频中所分的像素块的数目；

上式中，当u_x≤40时，W_ij＝0；

当40＜u_x≤50时，W_ij＝(u_x-40)/10；

当u_x＞50时，W_ij＝1；u_x为失真视频帧的像素块亮度信息平均值；

46)计算基于块效应和噪声的结构相似量BNSSIM：

$\mathrm{BNSSIM}=\frac{\underset{i=1}{\overset{U}{\mathrm{\&Sigma;}}}{W}_{\mathrm{blur}}\&times;Q_i}{U}+W_{\mathrm{noise}}\&times;\frac{\underset{i=1}{\overset{U}{\mathrm{\&Sigma;}}}{Q}_i}{U}$

上式中，U为参考视频和失真视频的总帧数。

6.根据权利要求5所述的一种基于块效应和噪声的低码率视频质量检测方法，其特征在于，所述W_Y＝0.8，

Images