CN104853182B - 基于幅度和相位的立体图像质量客观评价方法 - Google Patents

Abstract

本发明公开了一种基于幅度和相位的立体图像质量客观评价方法，分别提取失真图像对左图和右图的幅度图和相位图并进行加权运算，得到失真图像对的视觉感知幅度图和视觉感知相位图；对参考图像对的左图和右图进行运算，得到参考图像对的视觉感知幅度图和视觉感知相位图；分别计算参考图像对和失真图像对视觉感知幅度图和视觉感知相位图的相似性；对参考图像对和失真图像对之间的幅度相似性指标和相位相似性指标进行评价；最后对幅度相似性指标和相位相似性指标进行线性拟合，得到立体图像相似性指标参数。本发明的评价方法，把图像基本特征与视觉感知过程相结合，充分模拟了立体图像主观评价的过程，得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映图像的质量。

Description

基于幅度和相位的立体图像质量客观评价方法

技术领域

本发明属图像处理领域，涉及一种立体图像质量客观评价方法。

背景技术

近年来，三维技术逐渐普及，步入大众生活，为观众带来了更好的视觉体验和临场感，但同时也对立体图像的质量提出了更高的要求。由于立体图像的不恰当处理可能会引起观看者的视觉疲劳与不适，因此十分有必要提出一种统一、客观、有效的立体图像质量评价方法对立体图像质量进行准确的预测。

现有的立体图像质量评价方法主要包括基于平面图像质量参数的评价方法和基于人类视觉基本特性的评价方法两种。但是，基于平面图像质量参数的评价方法没有充分考虑人类视觉特性，缺少对立体信息有效利用，因而难以投入实践。现有的基于人类视觉基本特性的评价方法中最重要的一步是立体匹配，但是如何有效地提取立体信息，合理地进行匹配，仍然是立体图像领域关注的焦点。因此，很有必要建立一个以立体图像基本信息为基础，又充分考虑人类视觉特性的立体图像质量客观评价方法。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于幅度和相位的立体图像质量客观评价方法，克服现有技术中立体图像质量评价方法不能有效地提取立体信息，合理地进行匹配的问题。

本发明的技术方案是：

一种基于幅度和相位的立体图像质量客观评价方法，每个立体图像对由左图和右图组成，设参考图像对和失真图像对，包括以下步骤：

(1)分别提取失真图像对左图和右图的幅度图和相位图并进行加权运算，分别得到失真图像对的视觉感知幅度图和视觉感知相位图；

(2)对参考图像对的左图和右图进行步骤(1)的运算，得到参考图像对的视觉感知幅度图和视觉感知相位图；

(3)分别计算参考图像对和失真图像对视觉感知幅度图的相似性，以及参考图像对和失真图像对的视觉感知相位图的相似性；

(4)利用失真图像对的双眼空间敏感特性，对参考图像对和失真图像对之间的幅度相似性指标和相位相似性指标进行评价；

(5)对幅度相似性指标和相位相似性指标进行线性拟合，得到立体图像相似性指标参数。

所述步骤(1)具体包括如下步骤：

①利用相位一致性算法分别提取失真图像对左图和右图的幅度图和相位图；步骤如下：

A.图像经log-Gabor滤波器滤波，得到相应的响应，滤波器设计如下；

其中，ω和θ是归一化的滤波器径向频率和滤波器相位角，ω_s和θ_s是相应的中心频率和中心相位角，σ_s和σ_o是滤波器的响应强度；

B.滤波器在_x点，s尺度，沿ο方向的局部幅度定义为：

相应的局部能量响应定义为：

其中，F_o(x)＝Σ_sη_s,o(x)，H_o(x)＝Σ_sξ_s,o(x)，η_s,o(x)和ξ_s,o(x)代表滤波器在不同尺度，不同方向上的响应；

C.沿ο方向的相位一致性PC_o(x)定义为：

其中，ε是常数；

D.相位图P(x)定义为H_o(x)和F_o(x)沿ο方向相位一致性取得最大值时所对应的相位角，

计算方法如公式(5)所示；

幅度图A(x)定义为沿ο方向相位一致性取得最大值时沿各个尺度的局部幅度值的和，计算方法如公式(6)所示；

其中，o_m表示相位一致性值取得最大值时的方向值；

E.在计算过程中各参数取值如下：ω_s＝1/6,θ_o＝0,σ_s＝0.3，σ_o＝0.4。滤波器的尺度s和方向ο均设定为4。

②模拟人类视觉特性，分别对失真图像对的左右图进行二维滤波和视差补偿，进而得到左右图相对应的加权因子；

具体步骤如下：

A.所采用的二维Gabor滤波器定义为：

其中，G(x,y,σ_x,σ_y,ζ_x,ζ_y,θ)是Gabor滤波器的响应值，x,y,σ_x,σ_y,ζ_x,ζ_y,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角，R₁＝xcosθ+ysinθ，R₁＝xcosθ+ysinθ；

B.Gabor滤波器的能量响应是以3.67次/度的空间频率循环，叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的；

C.能量响应经卷积和计算后得到GE_L(x,y)与GE_R(x,y)，并进行视差补偿得到GE_R((x+d),y)，其中，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；

D.经公式(8)和(9)所定义的归一化运算得到左图和右图的加权因子W_L(x,y)和W_R((x+d),y)。

③将左图和右图的幅度图按照相应的加权因子进行加权运算，得到失真图像对的视觉感知幅度图，同理，左图和右图的相位图经加权运算后得到视觉感知相位图。

所述步骤(4)中双眼空间敏感特性是由立体图像对左图和右图的单视点最小可视失真以及双视点最小可视失真加权计算得到的。

本发明的有益效果为：本发明所提出的立体图像客观质量评价方法以立体图像的相位和幅度特征为基础，以人类视觉特性为评价依据，把图像基本特征与视觉感知过程相结合，充分模拟了立体图像主观评价的过程，得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映图像的质量。

附图说明

图1模拟视觉感知过程基本流程图；

图2立体图像质量评价方法基本流程图。

具体实施方式

下面结合附图对本发明进一步详细的说明。

基于幅度和相位的立体图像质量客观评价方法，每个立体图像对由左图和右图组成，设参考图像对为(o_l,o_r)，失真图像对为(t_l,t_r)，具体实施步骤如下：

第一步：利用相位一致性算法分别提取失真图像对(t_l,t_r)左、右图的幅度图A_L(x,y)、A_R(x,y)和相位图P_L(x,y)、P_R(x,y)，(x,y)为像素点坐标；计算方法如下：

(1)图像首先经log-Gabor滤波器滤波，得到相应的滤波器响应，

其中，ω和θ是归一化的滤波器径向频率和滤波器相位角，ω_s和θ_s是相应的中心频率和中心相位角，σ_s和σ_o是滤波器的响应强度；

(2)滤波器在x点，s尺度，沿ο方向的局部幅度定义为：

相应的局部能量响应定义为：

其中，F_o(x)＝Σ_sη_s,o(x)，H_o(x)＝Σ_sξ_s,o(x)，η_s,o(x)和ξ_s,o(x)代表滤波器在不同尺度，不同方向时的响应；

(3)沿ο方向的相位一致性PC_o(x)定义为：

其中，ε是常数；

(4)相位P(x)定义为H_o(x)和F_o(x)沿ο方向相位一致性取得最大值时所对应的相位角，计算方法如公式(5)所示，

幅度A(x)定义为沿ο方向相位一致性取得最大值时沿各个尺度的局部幅度值的和，计算方法如公式(6)所示，

其中，o_m表示相位一致性值取得最大值时的方向值；

(5).在计算过程中各参数取值如下：ω_s＝1/6,θ_o＝0,σ_s＝0.3，σ_o＝0.4，滤波器的尺度s和方向ο均设定为4。

第二步：模拟人类视觉特性，对失真图像对(o_l,o_r)的左图和右图分别进行二维Gabor滤波，得到相应的能量响应，并进行卷积和处理，经归一化运算分别后得到左图和右图的加权因子:W_L(x,y)和W_R((x+d),y)，其中，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；计算方法如下

(1)二维Gabor滤波器为：

其中，G(x,y,σ_x,σ_y,ζ_x,ζ_y,θ)是Gabor滤波器的响应值，x,y,σ_x,σ_y,ζ_x,ζ_y,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角，R₁＝xcosθ+ysinθ，R₁＝xcosθ+ysinθ；

(2)Gabor滤波器的能量响应是以3.67次/度的空间频率循环，叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的；

(3)能量响应经卷积和计算后得到GE_L(x,y)与GE_R(x,y)，并进行视差补偿得到GE_R((x+d),y)，其中，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；

(4)经公式(8)和(9)所定义的归一化运算得到左图和右图的加权因子W_L(x,y)和W_R((x+d),y)。

第三步：将步骤一中的得到的幅度图和相位图进行加权运算，得到失真图像对的视觉感知幅度图CA_dis(x,y)和视觉感知相位图CP_dis(x,y)，计算如公式(10)和(11)所示；

CP_dis(x,y)＝W_L(x,y)×P_L(x,y)+W_R(x+d,y)×P_R((x+d),y) (10)

CA_dis(x,y)＝W_L(x,y)×A_L(x,y)+W_R(x+d,y)×A_R((x+d),y) (11)

第四步：对参考图像对(o_l,o_r)的左、右图进行上述第一、二、三步运算，得到失真图像对的视觉感知幅度图CA_dis(x,y)和视觉感知相位图CP_dis(x,y)；

第五步：计算参考图像对和失真图像对视觉感知幅度的相似性S_A，以及参考图像对和失真图像对的视觉感知相位的相似性S_P，计算方法如公式(12)和(13)所示，T₁和T₂为常数，取1×10^-6；

第六步：分别计算失真图像对(t_l,t_r)左图和右图的双眼空间敏感特性BSS_L(x,y)和BSS_R((x+d),y)，其中，

对于左图，提取左图的单视点最小可视失真(JND)和双视点最小可视失真(BJND)，然后按照公式(14)所示方法进行计算。最小可视失真是指人眼对最小差别量的感知能力，即人类视觉系统能够感觉到的最小失真变化量，该模型较好地反映了人眼的视觉系统的基本特征，如亮度掩盖、纹理掩盖和时间掩盖等。其中，CR表示双视点对应区域，NCR代表单视点对应区域：

对于右图，按照与左图相同的方法得到视差补偿后的BSS_R((x+d),y)；

第七步：利用步骤二中得到的失真图像对左、右图加权因子W_L(x,y)和W_R((x+d),y)，对失真图像对的左、右图的双眼空间敏感特性进行加权计算，得到失真图像对的双眼空间敏感特性BSS(x,y)，计算方法如公式(15)所示；

BSS(x,y)＝W_L(x,y)×BSS_L(x,y)+W_R(x+d,y)×BSS_R((x+d),y) (15)

第八步：利用失真图像对的双眼空间敏感特性计算参考图像对和失真图像对之间的幅度相似性指标Q_A和相位相似性指标Q_P，计算方法如公式(16)和(17)所示；

第九步：按照公式(18)所示的线性运算对幅度相似性指标Q_A和相位相似性指标Q_P进行加权计算，得到立体图像相似性指标参数Q_S。

Q_S＝ω_PQ_P+ω_AQ_A (18)

其中，相位加权值ω_P和幅度加权值ω_A满足:

第十步：对立体图像相似性指标参数Q_s进行非线性映射，使立体图像的主观值和客观值呈线性关系，得到最终的立体图像质量Q。采用的非线性映射如下：

其中，参数β₁,β₂,β₃,β₄,β₅通过最小化主观评价值和客观评价值差的均方误差算法确定。

Claims (4)

1.一种基于幅度和相位的立体图像质量客观评价方法，其特征在于，每个立体图像对由左图和右图组成，设参考图像对和失真图像对，包括以下步骤：

(1)分别提取失真图像对左图和右图的幅度图和相位图并进行加权运算，分别得到失真图像对的视觉感知幅度图和视觉感知相位图；

(2)对参考图像对的左图和右图进行步骤(1)的运算，得到参考图像对的视觉感知幅度图和视觉感知相位图；

(3)分别计算参考图像对和失真图像对视觉感知幅度图的相似性，以及参考图像对和失真图像对的视觉感知相位图的相似性；

(4)利用失真图像对的双眼空间敏感特性，对参考图像对和失真图像对之间的幅度相似性指标和相位相似性指标进行评价；所述双眼空间敏感特性是由立体图像对左图和右图的单视点最小可视失真以及双视点最小可视失真加权计算得到的；

(5)对幅度相似性指标和相位相似性指标进行线性拟合，得到立体图像相似性指标参数。

2.根据权利要求1所述基于幅度和相位的立体图像质量客观评价方法，其特征在于，所述步骤(1)具体包括如下步骤：

(A)利用相位一致性算法分别提取失真图像对左图和右图的幅度图和相位图；

(B)模拟人类视觉特性，分别对失真图像对的左右图进行二维滤波和视差补偿，进而得到左右图相对应的加权因子；

(C)将左图和右图的幅度图按照相应的加权因子进行加权运算，得到失真图像对的视觉感知幅度图，同理，左图和右图的相位图经加权运算后得到视觉感知相位图。

3.根据权利要求2所述基于幅度和相位的立体图像质量客观评价方法，其特征在于，所述步骤(A)利用相位一致性算法分别提取失真图像对左图和右图的幅度图和相位图步骤如下：

(a)图像经log-Gabor滤波器滤波，得到相应的响应，滤波器设计如下；

$G_{s,o}(\mathrm{\ω},\mathrm{\θ})=\exp \[-\frac{{\left(log\right(\frac{\mathrm{\ω}}{{\mathrm{\ω}}_s}\left)\right)}^2}{2{{\mathrm{\σ}}_s}^2}\]\·\exp \[-\frac{{(\mathrm{\θ}-{\mathrm{\θ}}_o)}^2}{2{{\mathrm{\σ}}_o}^2}\]---\left(1\right)$

其中，ω和θ是归一化的滤波器径向频率和滤波器相位角，ω_s和θ_s是相应的中心频率和中心相位角，σ_s和σ_o是滤波器的响应强度；

(b)滤波器在x点，s尺度，沿O方向的局部幅度定义为：

$A_{s,o}\left(x\right)=\sqrt{{\mathrm{\η}}_{s,o}{\left(x\right)}^2+{\mathrm{\ξ}}_{s,o}{\left(x\right)}^2}---\left(2\right)$

相应的局部能量响应定义为：

$E_o\left(x\right)=\sqrt{F_o{\left(x\right)}^2+H_o{\left(x\right)}^2}---\left(3\right)$

其中，F_o(x)＝∑_sη_s,o(x)，H_o(x)＝∑_sξ_s,o(x)，η_s,o(x)和ξ_s,o(x)代表滤波器在不同尺度，不同方向上的响应；

(c)沿O方向的相位一致性PC_o(x)定义为：

${\mathrm{PC}}_o\left(x\right)=\frac{E_o\left(x\right)}{\mathrm{\ϵ}+{\mathrm{\Σ}}_s{A}_{s,o}\left(x\right)}---\left(4\right)$

其中，ε是常数；

(d)相位图P(x)定义为H_o(x)和F_o(x)沿O方向相位一致性取得最大值时所对应的相位角，计算方法如公式(5)所示；

幅度图A(x)定义为沿O方向相位一致性取得最大值时沿各个尺度的局部幅度值的和，计算方法如公式(6)所示；

$P\left(x\right)=arctan\left(H_{o_m}\right(x),F_{o_m}(x\left)\right)---\left(5\right)$

$A\left(x\right)={\mathrm{\Σ}}_s{A}_{s,o_m}\left(x\right)---\left(6\right)$

其中，o_m表示相位一致性值取得最大值时的方向值；

(e)在计算过程中各参数取值如下：ω_s＝1/6,θ_o＝0,σ_s＝0.3，σ_o＝0.4。滤波器的尺度s和方向O均设定为4。

4.根据权利要求2所述基于幅度和相位的立体图像质量客观评价方法，其特征在于，所述步骤(B)具体步骤如下：

(i)所采用的二维Gabor滤波器定义为：

$G(x,y,{\mathrm{\σ}}_x,{\mathrm{\σ}}_y,{\mathrm{\ζ}}_x,{\mathrm{\ζ}}_y,\mathrm{\θ})=\frac{1}{2{\mathrm{\π\σ}}_x{\mathrm{\σ}}_y}{e}^{-(1/2)\[{(R_1/{\mathrm{\σ}}_x)}^2+{(R_2/{\mathrm{\σ}}_y)}^2\]e^{i({\mathrm{x\ζ}}_x+{\mathrm{y\ζ}}_y)}}---\left(7\right)$

其中，G(x,y,σ_x,σ_y,ζ_x,ζ_y,θ)是Gabor滤波器的响应值，x,y,σ_x,σ_y,ζ_x,ζ_y,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角，R₁＝xcosθ+ysinθ，R₁＝xcosθ+ysinθ；

(ii)Gabor滤波器的能量响应是以3.67次/度的空间频率循环，叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的；

(iii)能量响应经卷积和计算后得到GE_L(x,y)与GE_R(x,y)，并进行视差补偿得到GE_R((x+d),y)，其中，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；

(iv)经公式(8)和(9)所定义的归一化运算得到左图和右图的加权因子W_L(x,y)和W_R((x+d),y)。

$W_L(x,y)=\frac{{\mathrm{GE}}_L(x,y)}{{\mathrm{GE}}_L(x,y)+{\mathrm{GE}}_R\left(\right(x+d),y)}---\left(8\right)$

$W_R\left(\right(x+d),y)=\frac{{\mathrm{GE}}_R\left(\right(x+d),y)}{{\mathrm{GE}}_L(x,y)+{\mathrm{GE}}_R\left(\right(x+d),y)}---\left(9\right)$