CN104851098A - 基于改进结构相似度的立体图像质量客观评价方法 - Google Patents

Abstract

本发明提供一种基于改进结构相似度的立体图像质量评价方法，首先建立计算某失真图像的平均结构相似度的方法：计算频域结构相似度指标；计算纹理信息系数；使用空间位置因素对图像区域进行加权：考虑人眼感兴趣的图像中央区域，计算空间位置影响系数；将纹理信息系数与空间位置影响系数按照下式整合为一个综合的权重系数，使用该系数对各图像块频域结构相似度指标进行加权平均，计算平均结构相似度；按照上步骤步建立的计算某失真图像的平均结构相似度的方法，分别计算立体图像左右视点的平均结构相似度，得到立体图像质量评价指标。本发明可以对立体图像质量做出全面、准确的综合评价。

Description

基于改进结构相似度的立体图像质量客观评价方法

技术领域

本发明属于图像处理领域，涉及一种图像质量评价方法，尤其是涉及一种基于改进结构相似度的立体图像客观质量评价方法。

背景技术

随着多媒体技术的蓬勃发展，立体图像技术应运而生。然而，目前尚未有一套完整的立体图像质量客观评价体系对失真的立体图像的好坏进行评价，对立体图像质量的评价尚存在很大的局限性。

目前，对立体图像的评价包括主观评价和客观评价。前者依靠观察者的主观感觉，但评价的结论受观察者自身因素影响较大，且费时费力；后者常根据某些特定的指标来判断，不需要人为参与，效率较高。因此，寻求一种符合人眼视觉特性的立体图像客观评价方法是十分必要的。

发明内容

本发明旨在解决传统结构相似度评价方法(structural similarity index measurement，SSIM)在立体图像质量评价方面的缺陷，提供一种基于改进结构相似度的立体图像质量评价方法，将结构信息引入频域，结合图像的纹理特征和图像空间位置信息，对立体图像质量做出全面、准确的综合评价。

本发明是通过下述技术方案实现的：

一种基于改进结构相似度的立体图像质量客观评价方法，该方法的第一步至第四步建立计算某失真图像的平均结构相似度的方法：

第一步：计算频域结构相似度指标：

(1)将参考图像和失真图像分别分成8×8子块，计算每个图像块空间域亮度信息l(x_i,y_i)和对比度信息c(x_i,y_i)，其中，(x_i,y_i)参考图像和失真图像的图像块，i为图像块编号；

(2)对每个图像块进行离散余弦变换，按照如下公式计算频域结构信息s_f(x_i,y_i)，并使用归一化标准量化矩阵对结构信息加权：其中，σ_Dx、σ_Dy、σ_Dxy分别为参考图像的第i个图像块x的方差、失真图像的第i个图像块y的方差以及x、y的协方差，C₃为防止分母为零的小常数；

(3)按照如下公式将图像块空间域亮度信息l(x_i,y_i)和对比度信息c(x_i,y_i)和频域结构信息s_f(x_i,y_i)结合，计算频域结构相似度指标SSIM_mod(x_i,y_i)：SSIM_mod(x_i,y_i)＝[l(x_i,y_i)]^α[c(x_i,y_i)]^β[s_f(x_i,y_i)]^γ，其中，α、β、γ为权重参数；

第二步：计算纹理信息系数

(1)使用图像二阶矩表征图像平滑度，将其归一化，在每个失真图像的8×8图像块内按下式计算得到平滑度因子：其中σ²为图像块二阶矩，L为图像最大灰度级；

(2)使用灰度共生矩阵的能量表征图像相对位置因子；

(3)使用平方平均法整合失真图像的平滑度因子与像素相对位置因子，得到失真图像各8×8图像块的纹理信息系数

第三步：使用空间位置因素对图像区域进行加权：考虑人眼感兴趣的图像中央区域，根据像素点距离图像中心的欧氏距离，计算空间位置影响系数

第四步：将第二步和第三步得到纹理信息系数与空间位置影响系数按照下式整合为一个综合的权重系数ε_i，其中i、k为图像块编号，M为图像块总数，

使用该系数对各图像块频域结构相似度指标SSIM_mod(x_i,y_i)进行加权平均，计算平均结构相似度MSSIM，其中x,y分别为参考图像和失真图像，M为图像块个数；

第五步，按照第一步至第四步建立的计算某失真图像的平均结构相似度的方法方法，分别计算立体图像左右视点的平均结构相似度LMSSIM(x,y)、RMSSIM(x,y)，然后使用平均值法得到立体图像质量评价指标QMSSIM，QMSSIM分数越高，表明立体图像质量越好。

第一步中按照如下公式计算的参考图像块x的方差σ_Dx、失真图像y的方差σ_Dy以及x、y的协方差σ_Dxy： ${\mathrm{\μ}}_D=\underset{(u,v)=(1,1)}{\overset{(N,N)}{\Σ}}{\mathrm{\ω}}_{uv}D(u,v),{\mathrm{\σ}}_D={\left(\underset{(u,v)=(1,1)}{\overset{(N,N)}{\Σ}}{\mathrm{\ω}}_{uv}\right(D(u,v)-{\mathrm{\μ}}_D\left)\right)}^2,$ ${\mathrm{\σ}}_{Dxy}=\underset{\left(u,v\right)=\left(1,1\right)}{\overset{\left(N,N\right)}{\Σ}}{\mathrm{\ω}}_{uv}\left(D_x\left(u,v\right)-{\mathrm{\μ}}_{Dx}\right)\left(D_y\left(u,v\right)-{\mathrm{\μ}}_{Dy}\right)$ 其中D(u,v)为离散余弦变换后的频域系数，μ_D为图像均值，ω_uv是感知加权系数。

本发明提出的基于改进结构相似度的立体图像质量客观评价方法能够有效地改善结构相似度方法对噪声与模糊失真的立体图像质量的评价缺陷，充分利用纹理信息和空间位置信息对立体图像的影响,因此评价结果与主观感受一致性更强。实验仿真结果表明，本方法有效的改善了原始SSIM忽视人类视觉系统、不能全面的表征图像质量的缺陷，能够准确有效地对不同失真的立体图像进行评价，且客观评价结果与主观评价结果相关性较好。

附图说明

图1标准立体素材“boy”

图2标准立体素材“family”

图3标准立体素材“flower”

图4标准立体素材“girl”

图5标准立体素材“river”

图6标准立体素材“tree”

图7灰度共生矩阵计算示意图

具体实施方式

本设计使用的参考实验素材均取自宽带无线通信与立体成像研究所提供的立体信息库，选取图像库中未压缩、未加噪的原始图像共6幅，分别为标准立体素材“boy”、“family”、“flower”、“girl”、“river”、“tree”，分辨率为1280*1024，如图1～6所示。利用MATLAB对6幅原始图像做不同程度的压缩与加噪，共得到270幅失真图像，对所有失真图像做主观评价，记录平均意见值(Mean Opinion Score，MOS)，以验证立体图像主客观分数的相关性。

下面结合发明内容详细说明本方法。

立体图像质量评价过程分别计算原始图像与失真图像左、右视图平均结构相似度LMSSIM(x,y)、RMSSIM(x,y)，然后通过算术平均的方法计算代表立体图像质量的平均结构相似度IMSSIM。

以左视图为例，本方法将参考图像与失真图像按照8×8大小做分块处理，分别求出这些图像块的SSIM_mod值，再使用整合了纹理信息系数与空间位置影响系数的综合权重系数通过加权平均的方法得到左视图平均结构相似度LMSSIM。具体步骤如下：

一、计算频域结构相似度函数

卡洛南-洛伊变换(Karhunen-Loeve Transform,KLT)具有最好的信息携带能力，但是KLT的计算复杂度相当高，而离散余弦变换(Discrete Cosine Transform,DCT)的信息携带能力十分接近最佳的KLT的信息携带能力。因此，本发明考虑到DCT在信息携带能力与计算复杂性之间提供了很好的折中，且频率信息可以有效地反映出图像的纹理特征，采用DCT对图像进行频域变换，利用频域信息构造结构相似度函数，即

$D\left(u,v\right)=\underset{a=0}{\overset{N-1}{\Σ}}\underset{b=0}{\overset{N-1}{\Σ}}p\left(a,b\right)s\left(a,b,u,v\right)---\left(1\right)$

$s\left(a,b,u,v\right)=\frac{2}{N}cos\frac{\left(2a+1\right)u\mathrm{\π}}{2N}cos\frac{\left(2b+1\right)v\mathrm{\π}}{2N}---\left(2\right)$

其中，N×N为图像块的大小，p(a,b)为N×N的空间域图像，(a,b)指像素在空间域(对应一维的时间域)的坐标，D(u,v)为变换后的频域系数，(u,v)指基函数频率域中的坐标，s(a,b,u,v)为空间域向频域的变换公式。构造频域的结构信息为

$s_f\left(x,y\right)=\frac{{\mathrm{\σ}}_{Dxy}+C_3}{{\mathrm{\σ}}_{Dx}{\mathrm{\σ}}_{Dy}+C_3}---\left(3\right)$

其中，σ_Dx、σ_Dy、σ_Dxy分别为参考图像x的方差、失真图像y的方差以及x、y的协方差。均值μ_D、方差σ_D、协方差σ_Dxy使用类似SSIM的归一化对称高斯窗函数加权得到，具体表示为

${\mathrm{\μ}}_D=\underset{\left(u,v\right)=\left(1,1\right)}{\overset{\left(N,N\right)}{\Σ}}{\mathrm{\ω}}_{uv}D\left(u,v\right)---\left(4\right)$

${\mathrm{\σ}}_D={\left(\underset{\left(u,v\right)=\left(1,1\right)}{\overset{\left(N,N\right)}{\Σ}}{\mathrm{\ω}}_{uv}\left(D\left(u,v\right)-{\mathrm{\μ}}_D\right)\right)}^2---\left(5\right)$

${\mathrm{\σ}}_{Dxy}=\underset{(u,v)=(1,1)}{\overset{(N,N)}{\Σ}}{\mathrm{\ω}}_{uv}(D_x(u,v)-{\mathrm{\μ}}_{Dx})(D_y(u,v)-{\mathrm{\μ}}_{Dy})---\left(6\right)$

其中，D_x(u,v),D_y(u,v)为参考图像和失真图像频域系数，μ_Dx,μ_Dy为参考图像和失真图像的均值，ω_uv为JPEG压缩推荐的归一化标准量化矩阵ω₀中的对应位置元素，JPEG压缩推荐的标准量化矩阵ω与对应归一化矩阵ω₀如式(7)与式(8)所示。

$\mathrm{\ω}=\left[\begin{array}{cccccccc}16,& 11,& 10,& 16,& 24,& 40,& 51,& 61,\\ 12,& 12,& 14,& 19,& 26,& 58,& 60,& 55,\\ 14,& 13,& 16,& 24,& 40,& 57,& 69,& 56,\\ 14,& 17,& 22,& 29,& 51,& 87,& 80,& 62,\\ 18,& 22,& 37,& 56,& 68,& 109,& 103,& 77,\\ 24,& 35,& 55,& 64,& 81,& 104,& 113,& 92,\\ 49,& 64,& 78,& 87,& 103,& 121,& 120,& 101,\\ 72,& 92,& 95,& 98,& 112,& 100,& 103,& 99\end{array}\right]---\left(7\right)$

${\mathrm{\ω}}_0=\left[\begin{array}{cccccccc}0.0043& 0.0030& 0.0027& 0.0043& 0.0065& 0.0108& 0.0138& 0.0165\\ 0.0033& 0.0033& 0.0038& 0.0052& 0.0070& 0.0157& 0.0163& 0.0149\\ 0.0038& 0.0035& 0.0043& 0.0065& 0.0108& 0.0155& 0.0187& 0.0152\\ 0.0038& 0.0046& 0.0060& 0.0079& 0.0138& 0.0236& 0.0217& 0.0168\\ 0.0049& 0.0060& 0.0100& 0.0152& 0.0184& 0.0296& 0.0279& 0.0209\\ 0.0065& 0.0095& 0.0149& 0.0174& 0.0220& 0.0282& 0.0306& 0.0249\\ 0.0133& 0.0174& 0.0211& 0.0236& 0.0279& 0.0328& 0.0325& 0.0274\\ 0.0195& 0.0249& 0.0258& 0.0266& 0.0304& 0.0271& 0.0279& 0.0268\end{array}\right]---\left(8\right)$

为防止矩阵维度不同而造成的不稳定现象，本发明亮度函数与对比度函数的权重均使用大小为8×8，标准差为1.5的归一化对称高斯加权窗。由此，将空间域的亮度信息l(x,y)、对比度信息c(x,y)与频域结构信息s_f(x,y)结合，得到改进的结构相似度指标SSIM_mod(x,y),其中(x,y)为图像像素点坐标，α,β,γ为权重系数，本发明取α＝β＝γ＝1。

SSIM_mod(x,y)＝[l(x,y)]^α[c(x,y)]^β[s_f(x,y)]^γ  (9)

二、使用纹理信息对图像区域进行加权

本方法使用统计方法构造描述失真图像的平滑度与像素相对位置的纹理信息系数其中，描述平滑度的统计方法是计算一个图像区域的灰度级直方图的统计矩。本方法使用二阶矩，即方差σ²，表征区域内的纹理平滑度。二阶矩的计算公式如式(10)所示。

${\mathrm{\σ}}^2=\underset{k=0}{\overset{L-1}{\Σ}}{(z_k-m)}^{2}p\left(z_k\right)---\left(10\right)$

其中，L为图像中的最大灰度级，z为区间[0,L-1]上代表灰度值的一个离散随机变量，z_k为区间[0,L-1]内的第k个灰度值，k＝0,1,2,…,L-1，p(z_k)为z_k在该区域出现的概率，m为z的均值，表示为

$m=\underset{k=0}{\overset{L-1}{\Σ}}{z}_{k}p\left(z_k\right)---\left(11\right)$

将其归一化，在每一个失真图像的8×8图像块内计算式(12)得到平滑度因子,i为图像块编号。

${\mathrm{\ϵ}}_i^s=1-\frac{1}{1+{\mathrm{\σ}}^2/{(L-1)}^2}---\left(12\right)$

该系数的取值范围为[0,0.5]，其值越接近0，说明该图像区域越光滑，人眼观察到的纹理细节越少；其值越接近0.5，说明该图像区域越粗糙，人眼观察到的纹理细节越多。

本方法通过计算灰度共生矩阵的能量来表征相邻像素之间的相对位置信息。因为测试图像灰度级L＝256，且总共需要计算(1280×1024)/(8×8)个8×8图像块的灰度共生矩阵。故为了减小计算复杂度，本方法将图像灰度级量化为八级，第一级灰度值为0～31，第二级灰度值为32～63，以此类推，从而得到8×8的灰度共生矩阵，以减小计算复杂度。图7为灰度共生矩阵计算示意图。其中左边的矩阵为一个最大灰度级为8，大小为6×6，位置算子Q表示像素值z_j紧靠在像素值z_i右边的图像区域，右边的矩阵为对应的灰度共生矩阵G。本方法计算灰度共生矩阵G的能量的算术平均来表征相邻像素之间的相对位置信息。灰度共生矩阵G的能量的计算公式如下，

$e=\underset{i=0}{\overset{L-1}{\Σ}}{p}_{ij}^2---\left(13\right)$

其中，p_ij为像素对(z_i,z_j)的概率估计，e的取值范围为[0,1]，其值越接近0，说明该区域像素之间的相关性越低，随机性越高，人眼观察到的纹理细节越少；其值越接近1，说明该区域像素之间的相关性越高，周期性越高，人眼观察到的纹理细节越多。

为了减少时间复杂度，本方法位置算子分别选取为z_j紧靠在z_i左边和z_j紧靠在z_i上面。于是，在每一个失真图像的8×8图像块内计算式(14)得到像素相对位置因子

${\mathrm{\ϵ}}_i^r=\frac{1}{2}\underset{k=1}{\overset{2}{\Σ}}{e}_k---\left(14\right)$

最后，本方法通过平方平均法整合失真图像的平滑度因子与像素相对位置因子，可得到失真图像各8×8图像块的纹理信息系数表示为

${\mathrm{\ϵ}}_i^t=\sqrt{\frac{{\left({\mathrm{\ϵ}}_i^s\right)}^2+{\left({\mathrm{\ϵ}}_i^r\right)}^2}{2}}---\left(15\right)$

三、使用空间位置因素对图像区域进行加权

人眼在观察一幅图像时，首先注意到的是图像的中央区域，再依次扩展到四周，即对人眼而言，图像的重要性一般由中央向四周递减。因此，本方法考虑了人眼感兴趣的图像中央区域，计算了结构相似度指标示意图的空间位置影响系数作为权重，表示为

${\mathrm{\ϵ}}_i^p=1-\frac{\sqrt{{(a_i-a_c)}^2+{(b_i-b_c)}^2}}{l_{\max }}---\left(16\right)$

其中，(a_i,b_i)与(a_c,b_c)分别为失真图像中的第i个图像块的中央像素坐标与整幅图像的中央像素坐标，为它们之间的欧氏距离，l_max为其中的最大距离。

四、计算图像质量分数

将前面得到纹理信息系数与空间位置影响系数整合为一个综合的权重系数，其中i、k为图像块编号，M为图像块总数，

${\mathrm{\ϵ}}_i=\frac{\sqrt{\frac{{\left({\mathrm{\ϵ}}_i^t\right)}^2+{\left({\mathrm{\ϵ}}_i^p\right)}^2}{2}}}{\underset{k=1}{\overset{M}{\Σ}}\left(\frac{\sqrt{{\left({\mathrm{\ϵ}}_k^t\right)}^2+{\left({\mathrm{\ϵ}}_k^p\right)}^2}}{2}\right)}---\left(17\right)$

使用权重因数ε_i对图像块进行加权，计算左视图平均结构相似度LMSSIM作为评价图像质量的因素。其中，M为图像块的个数，x_i,y_i分别为参考图像图像块和失真图像图像块。

$LMSSIM(x,y)=\underset{i=1}{\overset{M}{\Σ}}{\mathrm{\ϵ}}_i{\mathrm{SSIM}}_{\mathrm{mod}}(x_i,y_i)---\left(18\right)$

同理计算右视图平均结构相似度RMSSIM(x,y)，并使用算术平均的方法将左视图和右视图的平均结构相似度整合成评价立体图像质量的平均结构相似度，IMSSIM分数越高，表明失真图像质量越好

IMSSIM＝(LMSSIM+RMSSIM)/2  (19)

表1为本发明客观评价方法与其他10种客观评价方法的立体图像质量与主观评价平均分(MOS)的五种相关性比较。由表中数据可知，本发明提出的客观评价方法对立体图像质量的评价结果都与主观评价结果存在较强的相关性，能够较好地反映立体图像质量，符合人眼的主观感受。

评价方法	PLCC	SRCC	KRCC	MAE	RMS
						SNR	0.6868	0.7272	0.5451	0.1767	0.2085
PSNR	0.6648	0.7345	0.5704	0.2071	0.2435
						VIF	0.7603	0.7929	0.6052	0.2056	0.2520
PVIF	0.7888	0.8699	0.6861	0.1994	0.2337
						VSNR	0.6793	0.6998	0.5132	0.2403	0.2837

UQI	0.5976	0.6124	0.4610	0.1752	0.2388
						SSIM	0.5246	0.5767	0.4163	0.2258	0.2877
MS-SSIM	0.7447	0.7797	0.5970	0.2365	0.2861
						IW-SSIM	0.7956	0.8315	0.6558	0.2056	0.2416
HVSNR	0.6206	0.6623	0.5760	0.2169	0.2494
						QMSSIM	0.8633	0.8917	0.7090	0.1741	0.2079

表1 11种客观评价方法相关性比较

Claims (2)

1.一种基于改进结构相似度的立体图像质量客观评价方法，该方法的第一步至第四步建立计算某失真图像的平均结构相似度的方法：

第一步：计算频域结构相似度指标：

(1)将参考图像和失真图像分别分成8×8子块，计算每个图像块空间域亮度信息l(x_i,y_i)和对比度信息c(x_i,y_i)，其中，(x_i,y_i)参考图像和失真图像的图像块，i为图像块编号；

(2)对每个图像块进行离散余弦变换，按照如下公式计算频域结构信息s_f(x_i,y_i)，并使用归一化标准量化矩阵对结构信息加权：其中，σ_Dx、σ_Dy、σ_Dxy分别为参考图像的第i个图像块x的方差、失真图像的第i个图像块y的方差以及x、y的协方差，C₃为防止分母为零的小常数；

(3)按照如下公式将图像块空间域亮度信息l(x_i,y_i)和对比度信息c(x_i,y_i)和频域结构信息s_f(x_i,y_i)结合，计算频域结构相似度指标SSIM_mod(x_i,y_i)：SSIM_mod(x_i,y_i)＝[l(x_i,y_i)]^α[c(x_i,y_i)]^β[s_f(x_i,y_i)]^γ，其中，α、β、γ为权重参数；

第二步：计算纹理信息系数

(1)使用图像二阶矩表征图像平滑度，将其归一化，在每个失真图像的8×8图像块内按下式计算得到平滑度因子：其中σ²为图像块二阶矩，L为图像最大灰度级；

(2)使用灰度共生矩阵的能量表征图像相对位置因子；

(3)使用平方平均法整合失真图像的平滑度因子与像素相对位置因子，得到失真图像各8×8图像块的纹理信息系数

第三步：使用空间位置因素对图像区域进行加权：考虑人眼感兴趣的图像中央区域，根据像素点距离图像中心的欧氏距离，计算空间位置影响系数

第四步：将第二步和第三步得到纹理信息系数与空间位置影响系数按照下式整合为一个综合的权重系数ε_i，其中i、k为图像块编号，M为图像块总数，

使用该系数对各图像块频域结构相似度指标SSIM_mod(x_i,y_i)进行加权平均，计算平均结构相似度MSSIM，其中x,y分别为参考图像和失真图像，M为图像块个数；

第五步，按照第一步至第四步建立的计算某失真图像的平均结构相似度的方法方法，分别计算立体图像左右视点的平均结构相似度LMSSIM(x,y)、RMSSIM(x,y)，然后使用平均值法得到立体图像质量评价指标QMSSIM，QMSSIM分数越高，表明立体图像质量越好。

2.根据权利要求1所述的融合图像质量综合评价方法，其特征在于，第一步中按照如下公式计算的参考图像块x的方差σ_Dx、失真图像y的方差σ_Dy以及x、y的协方差σ_Dxy： ${\mathrm{\σ}}_D={\left(\underset{(u,v)=\mathrm{1,1}}{\overset{(N,N)}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{uv}}(D(u,v)-{\mathrm{\μ}}_D)\right)}^2,{\mathrm{\σ}}_{\mathrm{Dxy}}=\underset{(u,v)=\left(\mathrm{1,1}\right)}{\overset{(N,N)}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{uv}}(D_x(u,v)-{\mathrm{\μ}}_{\mathrm{Dx}})(D_y(u,v)-{\mathrm{\μ}}_{\mathrm{Dy}})$ 其中D(u,v)为离散余弦变换后的频域系数，μ_D为图像均值，ω_uv是感知加权系数。