CN104853183A - 感知立体图像立体感的客观评价方法 - Google Patents

Abstract

本发明涉及一种感知立体图像立体感的客观评价方法，包括：分别计算参考图像左右视点的绝对差值图和失真图像左右视点的绝对差值图；对参考图像和失真图像的绝对差值图分别进行亮度非线性变化，得到感知亮度图；使用余弦对数滤波器组将参考图像和失真图像的绝对差值图的感知亮度图分别分解为五个带通图像，并通过局部均值图计算每个带通图像的对比度图；筛出失真图像绝对差值图中与参考图像绝对差值图无法察觉出差异的像素点；使用对比度敏感度函数构造各通道门限，判断参考图像和失真图像绝对差值图带通图像中被掩盖的像素点；计算立体图像立体感评价指标。本发明能够对立体图像的立体感做出准确评价。

Description

感知立体图像立体感的客观评价方法

技术领域

本发明属于图像处理领域，涉及一种图像立体感评价方法，尤其是涉及一种感知立体图像立体感的客观评价方法。

背景技术

近些年来，图像编码技术和立体显示技术飞速发展，立体图像处理技术受到越来越多的关注，逐渐成为国内外相关领域的研究热点。相对于平面图像带给人们的视觉体验，立体图像更胜一筹，带给人们更加真实的感受和震撼的临场感。然而相对于平面图像，立体图像在采集、传输和存储过程中所占用的数据空间却大幅度地提高，在降低数据空间占有量的前提下如何保证立体图像的质量，将直接影响立体图像处理技术的发展。

立体图像质量评价方法分为两种：主观评价与客观评价。立体图像质量客观评价方法中图像的最终信宿是人类，其结果可靠性较高。但因为主观方法费时费力，且易受到被试情绪、疲劳度和测试环境等因素的影响，故在实际应用中受到严重的限制。立体图像质量客观评价方法是通过模拟人类视觉系统(HumanVisual System，HVS)构建数学模型或给出符合人眼视觉特性的数学公式的方法，计算出确定的数值作为客观评价结果，用以代替人类评价立体图像的质量与立体感。相比主观评价方法，立体图像质量客观评价方法省时省力，比较实用，可以用于质量检测系统，也可以嵌入图像处理系统。因此，建立一套准确有效的立体图像质量评价机制具有长远意义。

发明内容

本发明旨在解决现有图像评价技术的缺陷，使用对比度敏感度函数筛选剔除无法被察觉的像素点，并利用门限值判断各带通图像中的每个像素点是否被掩盖，实现对比度掩盖效应的建模，有效的提高客观评价结果与人类主观感受之间的一致性，对立体图像立体感进行准确的评价。本发明是通过下述技术方案实现的：

一种感知立体图像立体感的客观评价方法，包括下列步骤：

第一步：分别计算参考图像左右视点的绝对差值图d和失真图像左右视点的绝对差值图

第二步：对参考图像和失真图像的绝对差值图d、分别进行亮度非线性变化，根据人眼的感觉亮度S与图像实际亮度L成对数线性关系的定律，得到感知亮度图；

第三步：使用余弦对数滤波器组将参考图像绝对差值图的感知亮度图分解为五个带通图像b_i(x,y)，i为余弦对数滤波器编号，i＝1～5，和一个低通子带l₀(x,y)；对于每个带通图像，按照如下公式得到局部亮度均值图 $l_i(x,y)=\left\{\begin{array}{cc}{l}_0\left(x,y\right)& ifi=1\\ l_0\left(x,y\right)+\underset{j=1}{\overset{i-1}{\Σ}}{b}_j\left(x,y\right)& ifi>1\end{array}\right.,$ 并通过局部均值图计算每个带通图像的对比度图其中(x,y)为图像时域像素点的坐标；按照上述方法对失真图像绝对差值图的感知亮度图进行处理；

第四步：筛出失真图像绝对差值图中与参考图像绝对差值图无法察觉出差异的像素点：

(1)计算各个带通图像对比度最小可辨别门限式中，A(f)为对比度敏感度函数，f为图像空间频率，此处f＝i＝1,2,3,4,5；

(2)如果参考图像绝对差值图的各个带通图像的对比度图c_i(x,y)的像素点与失真图像绝对差值图的各个带通图像的对比度图的对应像素点的绝对差值小于该像素的T_i(x,y)，则表明人眼察觉不出二者的差异；将失真图像带通图像的这些像素赋值为对应的参考带通图像b_i(x,y)的像素值；最后，保持失真图像绝对差值图的带通图像的剩余像素值不变：

第五步：使用对比度敏感度函数构造各通道门限，判断参考图像和失真图像绝对差值图带通图像中被掩盖的像素点，方法如下：

(1)计算带通图像门限式中，2ⁱ为余弦对数滤波器组的中心频率，α为观看角度，A(2ⁱ/α)为以2ⁱ/α为空间频率的对比度敏感度函数；

(2)参考图像和失真图像绝对差值图的各个带通图像的对比度图像素值若小于其带通图像门限值ti的像素点被掩盖，则将相应的带通图像的像素值赋值为0，剩余像素值维持不变；

第六步：计算立体图像立体感评价指标Q，方法如下：首先整合经过第五步处理的参考图像绝对差值图各带通图像，计算重构的图像o(x,y)：b_i′(x,y)为经过第五步处理的参考图像绝对差值图各带通图像；然后计算参考与失真图像绝对差值图的各个带通图像误差和e(x,y)，其中，为经过第五步处理的失真图像绝对差值图各带通图像，β为取值在1～4的求和指数；按照如下公式计算信噪比，作为失真图像立体感评价指标Q：评价指标Q越高，失真图像质量越好。

作为优选实施方式，第三步中采用传递函数为的余弦滤波器组对图像进行分解，其中r为极空间频率坐标，F_i(r)是带通滤波器，它们的中心分别为2ⁱ周/图像：第五步所述的测试者在观看点H的观看角度α通过观看距离L₁与显示设备高度L₂计算得出，即 $\mathrm{\α}=2\arctan \left(\frac{L_2}{2L_1}\right)\≈\frac{L_2}{L_1}.$

本方法有效的改善了传统统计学方法忽视人类视觉系统、不能全面的表征图像质量的缺陷，模拟了多种人类视觉系统的心理物理学特性，能够准确有效地对不同失真的立体图像的立体感进行评价，在评价的有效性与可靠性上都获得了较好的折中。

附图说明

图1 标准立体素材“boy”

图2 标准立体素材“family”

图3 标准立体素材“flower”

图4 标准立体素材“girl”

图5 标准立体素材“river”

图6 标准立体素材“tree”

图7 立体显示设备

图8 本方法立体感评价模型

图9 boy参考图像绝对差值图

图10 被测试者在观看点H的观看角度

具体实施方式

下面结合技术方案详细说明本方法。

本设计使用的参考实验素材均取自宽带无线通信与立体成像研究所提供的立体信息库，选取图像库中未压缩、未加噪的原始图像共6幅，分别为标准立体素材“boy”、“family”、“flower”、“girl”、“river”、“tree”，分辨率为1280*1024，如图1-6所示。利用MATLAB对6幅原始图像做不同程度的压缩与加噪，共得到270幅失真图像，对所有失真图像做主观评价，记录平均意见值(Mean Opinion Score，MOS)，以验证立体图像主客观分数的相关性。本方法主观实验使用的立体成像设备是天津市三维显示技术有限公司的“3D WINDOWS-19A0”，如图7所示。本方法主观实验中，被试包括专业被试与非专业被试，均具有正常的视差立体感，共20名被试，分别为在校研究生与本科生，男性11名，女性9名，从事立体信息处理研究的被试共16人，从事其他方向研究的被试共4人。

感知立体图像立体感评价模型如图8所示。下面结合附图对立体感的评价方法进行详细说明。

第一步，本方法使用绝对差值图作为表征立体感的对象,并使用前文描述的立体图像质量评价算法对立体感做出评价。首先，计算参考图像与失真图像左右视点的绝对差值图，即

d＝|p_l-p_r|   (1)

$\tilde{d}=\left|{\tilde{p}}_l-{\tilde{p}}_r\right|---\left(2\right)$

其中，d、分别是参考图像与失真图像左右视点的绝对差值图，p_l、p_r分别是参考图像的左右视点图，分别是失真图像的左右视点图。图9为boy参考图像左右视点绝对差值图。

第二步，根据韦伯-费赫涅尔定律，即亮度非线性特性，人眼的感觉亮度S与图像实际亮度L成对数线性关系。如式(2)所示

S＝KlnL+K₀＝K'lgL+K₀    (2)

其中，S为感知亮度，L为绝对亮度，K为常数，与整幅图像的平均亮度相关，当图像平均亮度较暗或较亮时，应选择较小的K值。通常根据人眼正常亮度范围，取K＝1。K'＝Kln10，K₀为常数。

对于灰度图像，感知亮度增加的速率随着亮度值的增加趋于平缓，即人眼对很黑或很亮的区域都不敏感。因此，利用式(2)对绝对差值图的每个像素的亮度值进行非线性变换，得到感知亮度图，从而模拟人眼对于像素的实际感受。

第三步，仿照人眼视觉感知通道的构造，本方法使用余弦对数滤波器组模拟人类视觉多通道特性。将第二步得到的参考图像绝对差值图的感知亮度图分解到五个带通子带和一个低通子带,得到五个带通图像，并分别构造各带通图像的对比度图。该滤波器组的频域传递函数表示为

$F_i\left(r\right)=\frac{1}{2}\[1+cos\left({\mathrm{\πlog}}_2\left(r\right)-\mathrm{\π}i\right)\]---\left(3\right)$

其中，r为极空间频率坐标，F₁(r)～F₅(r)是带通滤波器，它们的中心分别为2ⁱ(i＝1,2,3,4,5)周/图像。零空间频率滤波器F₀(r)是一个低通滤波器，其形式为F₁(r)的变形，表示为

$F_0\left(r\right)=\frac{1}{2}\[1+cos\left({\mathrm{\πlog}}_2\left(r+2\right)-\mathrm{\π}\right)\]---\left(4\right)$

因此，在频域上，通过其中，ω₁、ω₂分别为水平、垂直空间频率坐标，r、θ分别为极空间频率坐标，并且满足关系θ＝arctan(ω₁/ω₂)，P(r,θ)是图像的傅里叶变换，L₀(r,θ)为图像的低频成分，B_i(r,θ)为图像的带通成分，H(r,θ)为图像的高频成分。由于图像的高频成分含有较少的信息，并且大多数应用中，图像不存在感知变化，因此本方法忽略高频成分H(r,θ)，在时域上，通过余弦对数滤波器组的参考图像表示为

$p\left(x,y\right)=l_0\left(x,y\right)+\underset{i}{\Σ}{b}_i\left(x,y\right)---\left(5\right)$

其中，(x,y)是参考差值图时域像素点的坐标，l₀(x,y)是参考差值图的低通图像，b_i(x,y)是参考差值图的带通图像，表示为

l₀(x,y)＝IFFT[P(r,θ)F₀(r,θ)]   (6)

b_i(x,y)＝IFFT[P(r,θ)F_i(r,θ)]   (7)

对于参考差值图的各个带通图像，计算相应的局部亮度均值图

$l_i(x,y)=\left\{\begin{array}{cc}{l}_0\left(x,y\right)& ifi=1\\ l_0\left(x,y\right)+\underset{j=1}{\overset{i-1}{\Σ}}{b}_j\left(x,y\right)& ifi>1\end{array}\right.---\left(8\right)$

并通过局部亮度均值图计算参考差值图每个带通图像的对比度图

$c_i(x,y)=\frac{b_i\left(x,y\right)}{l_i\left(x,y\right)}---\left(9\right)$

按照上述方法对失真图像绝对差值图的感知亮度图进行处理。

第四步，利用对比度最小可辨别门限筛出失真差值图中与参考差值图无法察觉出差异的像素点。具体方法如下：首先，按照下面公式计算参考差值图各带通子带的对比度最小可辨别门限

$T_i(x,y)=\frac{0.86\left(A\left(f\right)c_i\left(x,y\right)-1\right)+0.3}{A\left(f\right)}---\left(10\right)$

其中c_i(x,y)为参考差值图的各个带通图像的对比度图，A(f)为对比度敏感度函数 $A\left(f\right)=2.6\left(0.192+0.114f\right)e^{\[-{\left(0.114f\right)}^{1.1}\]},$ f为图像空间频率，此处f＝i＝1,2,3,4,5。

失真差值图各个带通图像的具体优化方法为：如果参考差值图对比度图c_i(x,y)的像素点与失真差值图对比度图的对应像素点的绝对差值小于这个像素的T_i(x,y)，则表明人眼察觉不出二者的差异。首先，通过这种方法找出这类像素点集合S_i，如式(11)所示；然后，将失真带通图像的这些像素赋值为对应的参考带通图像b_i(x,y)的像素值；最后，保持失真带通图像的剩余像素值不变，因为人眼可以察觉出参考与失真图像的这些剩余像素之间的差异，计算公式如式(12)所示。

$S_i=\left\{\left(x,y\right):\left|c_i\left(x,y\right)-\tilde{c}\left(x,y\right)\right|<T\left(x,y\right)\right\}---\left(11\right)$

${{\tilde{b}}^{\&prime;}}_i(x,y)=\left\{\begin{array}{cc}{b}_i\left(x,y\right)& if\left(x,y\right)\&Element;S_i\\ {\tilde{b}}_i\left(x,y\right)& otherwise\end{array}\right.---\left(12\right)$

第五步，使用对比度敏感度函数构造各通道的门限,判断带通图像中被掩盖的像素点。

掩盖效应是一种原本可感知的激励因为另一个感知激励的存在而变得不容易被感知的现象，那么可以构造各带通子带的门限，使用门限值判断对比度图中的每个像素点是否被掩盖，来模拟掩盖效应，找出带通图像中被掩盖的像素点。由于对比度敏感度函数(CSF)是通过门限值实验得到的函数，其倒数的物理意义就是一个门限值，故本方法使用CSF构造各带通子带的门限。

根据计算，主观实验被测试者在观看点H的观看角度为α＝9.55°，如图10所示，将余弦对数滤波器组的中心与α的商2ⁱ/α作为对比度敏感度函数A(f)的输入，将A(f)的倒数作为各带通子带的门限值t_i，即

$t_i=\frac{1}{A\left(2^i/\mathrm{\&alpha;}\right)}---\left(13\right)$

然后，找出参考差值图和失真差值图对比度图的像素值小于其带通子带门限值ti的像素点，这些像素点即为对应带通图像中被掩盖的像素点；

最后，将带通图像中这些被掩盖的像素点赋值为0，剩余像素点的值维持不变。

第六步，整合通过视觉感知模拟的差值图各带通图像，得到重构的参考图像绝对差值图。由于人眼高、低频子带敏感度低，所以忽略它们的作用。于是，整合通过视觉感知模拟的原始图像各带通图像，得到重构的参考图像绝对差值图o(x,y)，如式14所示，其中b_i′(x,y)为经过第四、五步处理的参考差值图各带通图像。

$o\left(x,y\right)=\underset{i}{\&Sigma;}{b^{\&prime;}}_i\left(x,y\right)---\left(14\right)$

然后采用Minkowski公式整合参考差值图与失真差值图各带通图像的误差和e(x,y)，如式15所示，其中，为经过掩盖效应处理后的参考差值图和失真差值图，β为通常取值在1～4的求和指数，本文取β＝2。

$e(x,y)={\left(\underset{i}{\&Sigma;}{\left|{b^{\&prime;}}_i\left(x,y\right)-{{\tilde{b}}^{\&Prime;}}_i\left(x,y\right)\right|}^{\mathrm{\&beta;}}\right)}^{1/\mathrm{\&beta;}}---\left(15\right)$

接着，按照如下公式分别计算比(signal-to-noise ratio，SNR)，作为失真图像立体感质量的评价指标Q

$Q=10{\log }_{10}\left(\frac{\underset{x}{\&Sigma;}\underset{y}{\&Sigma;}{o}^2\left(x,y\right)}{\underset{x}{\&Sigma;}\underset{y}{\&Sigma;}{e}^2\left(x,y\right)}\right)---\left(16\right)$

表1为本文客观评价方法与其他11种客观评价方法的立体感评价分数与主观评价平均分(MOS)的五种相关性比较。由表中数据可知，本文提出的客观评价方法对立体图像立体感的评价结果都与主观评价结果存在较强的相关性，能够较好地反映立体图像立体感，符合人眼的主观感受。

评价方法	PLCC	SRCC	KRCC	MAE	RMS
						SNR	0.6905	0.7343	0.5476	0.2493	0.2798
PSNR	0.5931	0.6742	0.5162	0.3328	0.3677
						VIF	0.7640	0.8843	0.6950	0.3483	0.3816
PVIF	0.6846	0.7584	0.5733	0.3184	0.3600
						VSNR	0.6351	0.6301	0.4734	0.2805	0.3134
UQI	0.5663	0.5993	0.4453	0.2127	0.2670
						SSIM	0.5600	0.5918	0.4397	0.1755	0.2372
MS-SSIM	0.7676	0.7894	0.6142	0.1275	0.1764
						IW-PSNR	0.7575	0.7947	0.6045	0.2831	0.3157
IW-SSIM	0.8213	0.8509	0.6550	0.1166	0.1519
						HVSNR	0.7138	0.7655	0.5696	0.1564	0.1939
Qs	0.8858	0.9180	0.7467	0.1237	0.1466

表1 12种客观评价方法相关性比较

Claims (3)

1.一种感知立体图像立体感的客观评价方法，包括下列步骤：

第一步：分别计算参考图像左右视点的绝对差值图d和失真图像左右视点的绝对差值图

第二步：对参考图像和失真图像的绝对差值图d、分别进行亮度非线性变化，根据人眼的感觉亮度S与图像实际亮度L成对数线性关系的定律，得到感知亮度图；

第三步：使用余弦对数滤波器组将参考图像绝对差值图的感知亮度图分解为五个带通图像b_i(x,y)，i为余弦对数滤波器编号，i＝1～5，和一个低通子带l₀(x,y)；对于每个带通图像，按照如下公式得到局部亮度均值图 $l_i(x,y)=\left\{\begin{array}{cc}{l}_0(x,y)& \mathrm{if\; i}=1\\ l_0(x,y)+\underset{j=1}{\overset{i-1}{\mathrm{\&Sigma;}}}{b}_j(x,y)& \mathrm{if\; i}>1\end{array}\right.,$ 并通过局部均值图计算每个带通图像的对比度图其中(x,y)为图像时域像素点的坐标；按照上述方法对失真图像绝对差值图的感知亮度图进行处理；

第四步：筛出失真图像绝对差值图中与参考图像绝对差值图无法察觉出差异的像素点：

(1)计算各个带通图像对比度最小可辨别门限式中，A(f)为对比度敏感度函数，f为图像空间频率，此处f＝i＝1,2,3,4,5；

(2)如果参考图像绝对差值图的各个带通图像的对比度图c_i(x,y)的像素点与失真图像绝对差值图的各个带通图像的对比度图的对应像素点的绝对差值小于该像素的T_i(x,y)，则表明人眼察觉不出二者的差异；将失真图像带通图像的这些像素赋值为对应的参考带通图像b_i(x,y)的像素值；最后，保持失真图像绝对差值图的带通图像的剩余像素值不变：

第五步：使用对比度敏感度函数构造各通道门限，判断参考图像和失真图像绝对差值图带通图像中被掩盖的像素点，方法如下：

(1)计算带通图像门限式中，2ⁱ为余弦对数滤波器组的中心频率，α为观看角度，A(2ⁱ/α)为以2ⁱ/α为空间频率的对比度敏感度函数；

(2)参考图像和失真图像绝对差值图的各个带通图像的对比度图像素值若小于其带通图像门限值ti的像素点被掩盖，则将相应的带通图像的像素值赋值为0，剩余像素值维持不变；

第六步：计算立体图像立体感评价指标Q，方法如下：首先整合经过第五步处理的参考图像绝对差值图各带通图像，计算重构的图像o(x,y)：b_i′(x,y)为经过第五步处理的参考图像绝对差值图各带通图像；然后计算参考与失真图像绝对差值图的各个带通图像误差和e(x,y)， $e(x,y)={\left(\underset{i}{\mathrm{\&Sigma;}}{|{b_i}^{\&prime;}(x,y)-{{\tilde{b}}_i}^{\&prime;\&prime;}(x,y)|}^{\mathrm{\&beta;}}\right)}^{1/\mathrm{\&beta;}},$ 其中，为经过第五步处理的失真图像绝对差值图各带通图像，β为取值在1～4的求和指数；按照如下公式计算信噪比，作为失真图像立体感评价指标Q：评价指标Q越高，失真图像质量越好。

2.根据权利要求1所述的感知立体图像立体感的客观评价算法，其特征在于，第三步中采用传递函数为的余弦滤波器组对图像进行分解，其中r为极空间频率坐标，F_i(r)是带通滤波器，它们的中心分别为2ⁱ周/图像。

3.根据权利要求1所述的感知立体图像立体感的客观评价算法，其特征在于，第五步所述的测试者在观看点H的观看角度α通过观看距离L₁与显示设备高度L₂计算得出，即