CN104240255A - 基于非线性眼优势视差补偿的立体图像质量评价方法 - Google Patents

Abstract

本发明提供了一种基于非线性眼优势视差补偿的立体图像质量评价方法，步骤：第一步、利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)；第二步、基于眼优势模型，给予Q(L)，Q(R)不同的权重，得到第三步、计算左右眼2D图像质量之间的非线性补偿，得到F_N；第四步、计算基于显著性的视差程度补偿量，得到F_SP；第五步、将加权后的图像质量与基于显著性的视差程度补偿量F_SP相加，并减去非线性补偿F_N，得到最终的3D无参考质量评价分数。本发明具有优越的预测精度，而且兼具计算复杂度低的特点。

Description

基于非线性眼优势视差补偿的立体图像质量评价方法

技术领域

本发明涉及立体图像质量评价领域，具体地，涉及一种基于非线性补充模型、眼优势模型、视差补偿模型的无参考立体图像质量评价方法。

背景技术

3D成像是一个广泛的研究领域，从娱乐(包括视频和游戏)到专业应用(教育，医疗等)。与此同时，3D领域也涉及到越来越多的图像处理技术，对于高效评估3D图像质量的需求也愈加显现。尽管近年来在2D图像，视频的质量评价方面已经取得了相当大的成果，在3D图像质量评价上的进展仍是屈指可数，这主要是因为人眼对3D图像和2D图像的视觉感知有着很大不同。现有的3D质量评价方法可分为全参考，半参考和无参考三种。全参考要求全部的原始立体图像信息，这在实际应用中很难满足。因此，无参考的3D质量评价有着更大的应用前景与实际意义，但与此同时也面临着更多的困难。

为此，Akhter等人2010年在《Proceedings of Proc.SPIE》上发表了“No-referencestereoscopic image quality assessment”，提出了一种无参考的3D质量评价方法，它不仅结合了传统的失真类型(块效应)，而且将视差图(Disparity map)考虑在内。这种方法符合人眼对3D图像的视觉感知。但是它十分依赖于对视差图的估计，而目前对于视差图缺乏深入的理解，准确地计算视差图也是非常困难的。因此此方法效果一般。

发明内容

针对现有技术中的缺陷，本发明的目的是本发明提出一种基于非线性补充模型、眼优势模型、和以显著性为基础的视差补偿的无参考立体图像质量评价方法，有效地提高了3D质量评价的准确度。

为实现以上目的，本发明提供一种基于非线性眼优势视差补偿的立体图像质量评价方法NOSPDM，包括以下步骤：

第一步、利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)；

第二步、基于眼优势模型，给予Q(L)，Q(R)不同的权重，得到

第三步、计算左右眼2D图像质量之间的非线性补偿，得到F_N；

第四步、计算基于显著性的视差程度补偿量，得到F_SP；

第五步、将加权后的图像质量与基于显著性的视差程度补偿量F_SP相加，并减去非线性补偿F_N，得到最终的3D无参考质量评价分数NOSPDM。

本发明的原理是：尽管人眼对2D，3D图像的视觉感知有所不同，但2D，3D图像的质量仍有着紧密的联系。本发明首先利用眼优势模型，给予右眼图像质量更大的权重。其次，本发明利用非线性模型补偿左右眼图像质量整合中的重叠效应，从而建立起了2D，3D图像质量之间的联系。与此同时，由于图像内容与3D质量也有关系。本发明计算出了以显著性为基础的视差偏移量，以补偿图像内容对3D图像质量的影响。最后，本发明将2D图像质量，眼优势模型，非线性补充模型，以及视差偏移量结合起来，通过线性组合得到了新的D无参考的质量评价分数。

与现有技术相比，本发明具有如下的有益效果：

本发明首先利用眼优势模型给予右眼图像质量更大的权重。其次，本发明利用非线性模型来补偿左右眼图像质量整合中的重叠效应。此外，3D图像质量与不同的图像内容相关。因此，本发明计算出了左右眼图像的视差偏移程度以消除图像内容的影响。在计算视差偏移程度时，本发明引入了视觉注意力模型(显著性模型)以改进方法。实验结果证实本发明所述的基于非线性眼优势视差补偿的立体图像质量评价方法NOSPDM具有优越的预测精度，而且兼具计算复杂度低的特点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明实施例总体流程图；

图2是仅利用2D图像质量评价分数得到的3D质量分数(NOSPDM₁)，在Toyama图像质量数据库上与主观评价值MOS的对比图；

图3是仅利用2D图像质量评价分数和眼优势权重模型得到的3D质量分数(NOSPDM₂)，在Toyama图像质量数据库上与主观评价值MOS的对比图；

图4是仅利用2D图像质量评价分数，眼优势权重和非线性补充模型得到的3D质量分数(NOSPDM₄)，在Toyama图像质量数据库上与主观评价值MOS对比图；

图5是利用2D图像质量评价分数，眼优势模型，非线性补充模型，视差补偿模型得到的最终3D质量分数(NOSPDM₁₂)，在Toyama图像质量数据库上与主观评价值MOS对比图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例

本实施例提供一种基于非线性眼优势视差补偿的立体图像质量评价方法，整个过程的综合流程如图1所示，包括以下步骤：

第一步，分别计算左右眼2D图像质量分数，得到Q(L)，Q(R)；方法如下：

i)分别利用下述公式计算左右眼图像L，R水平方向上的块效应D_h,水平方向上的模糊效应A_h，Z_h：

$A_b=\frac{1}{B-1}[\left(\frac{B}{M(N-1)}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}\right|d_b(i,j)\left|\right)-D_b].$

$Z_b=\frac{1}{M(N-2)}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-2}{\mathrm{\Σ}}}{z}_b(i,j),$

其中：M，N分别指图像的高度和宽度,B指块的大小,d_h、z_h分别指图像特征的计算函数；i,j分别指图像的第i行和第j列；B_j指的是第j个图像块；

ii)根据同样的方法，计算出左右眼图像L，R垂直方向上的块效应D_v,垂直方向上的模糊效应A_v，Z_v。计算水平和垂直特征的平均值即可得到全部特征：

$\begin{array}{ccc}D=\frac{D_h+D_v}{2}& A=\frac{A_h+A_v}{2}& Z=\frac{Z_h+Z_v}{2}\end{array}$

D_h，A_h，Z_h是垂直方向上的特征，Z_v，D_v，A_v是水平方向上的特征。

iii)最后，所有特征通过一个全局非线性方程进行拟合，得到左右眼2D图像的质量分数：

$Q=\mathrm{\α}+\mathrm{\β}{D}^{{\mathrm{\γ}}^1}{A}^{{\mathrm{\γ}}^2}{Z}^{{\mathrm{\γ}}^3}$

其中：α、β、γ₁、γ₂和γ₃是模型参数，在图像数据库上训练得到,在一实施例中，可以取值：α＝-245.8909；β＝261.9373；γ1＝-239.8886；γ2＝160.1664；γ3＝64.2859。

第二步，计算眼优势权重模型方法如下：

$F_O^W=(2-{\mathrm{\μ}}_R)Q\left(L\right)+{\mathrm{\μ}}_{R}Q\left(R\right)$

其中：μ_R代表右眼图像权重，此处令μ_R＝1.04。

第三步，计算非线性补偿F_N，方法如下：

F_N＝λ·max{Q(L),Q(R)}

其中λ为权重系数，此处令λ＝0.67。

第四步，计算基于显著性的视差补偿F_SP，方法如下：

$F_{\mathrm{SP}}={\cos }^{-1}\left(\frac{L\·R}{{\left|\right|L\left|\right|}_2\·{\left|R\right||}_2}\right)+{\mathrm{\ω}}_S\·{\cos }^{-1}\left(\frac{L\left(S\right)\·R\left(S\right)}{{\left|\right|L\left(S\right)\left|\right|}_2\·{\left|R\left(S\right)\right||}_2}\right)$

其中：S代表图像的显著性区域，ω_S为模型参数，通过训练得到，比如本实施例中ω_S取值为0.62；

第五步，将左右眼图像的2D质量分数，眼优势模型，非线性模型与视差补偿进行线性组合，得到最终的3D无参考图像质量分数NOSPDM。具体方法如下：

$\mathrm{NOSPDM}=F_O^W-F_N+F_{\mathrm{SP}}$

其中：由第二步获得，F_N由第三步获得，F_SP由第四步获得。

实施效果

依据上述步骤，本发明对Toyama3D数据库的所有3D图像进行了无参考质量评价，并利用视频质量专家组(VQEG)推荐的指标与[1]方法进行了比较，指标包括：PearsonLinear Correlation Coefficient(PLCC)、Spearman Rank-order Correlation Coefficient(SRCC)、Kendall’s Rank-order Correlation Coefficient(KRCC)、Average Absolute Error(AAE)以及Root Mean-Squared Error(RMSE)。比较结果见表1，可以发现本发明的NOSPDM₁₂准确性优于[1]方法。NOSPDM₁，NOSPDM₂，NOSPDM₄，NOSPDM₁₂在Toyama3D图像质量数据库上与主观评价值MOS的对比图分别如图2、图3、图4、图5所示。

表1

方法	PLCC	SRCC	KRCC	AAE	RMSE
						[1](testing)	0.9350	—	—	0.3500	0.4210
[1](training)	0.9600	—	—	0.2920	0.3670
						NOSPDM1	0.8934	0.8897	0.7066	0.4136	0.5234
NOSPDM2	0.8943	0.8912	0.7097	0.4120	0.5212
						NOSPDM4	0.9360	0.9325	0.7699	0.3269	0.4100
NOSPDM12	0.9711	0.9660	0.8442	0.2114	0.2782

表1中所述的图像质量评价方法具体是指：

[1]:Z.M.P.Sazzad等人在2012年《Advances in Multimedia》发表的“Objectiveno-reference stereoscopic image quality prediction based on 2d image features and relativedisparity”

NOSPDM₁：NOSPDM₁＝Q(L)+Q(R)

NOSPDM₂： ${\mathrm{NOSPDM}}_2=F_O^W=(2-{\mathrm{\μ}}_R)Q\left(L\right)+{\mathrm{\μ}}_{R}Q\left(R\right);$

NOSPDM₄：其中F_N＝λ·max{Q(L),Q(R)}

NOSPDM₁₂： ${\mathrm{NOSPDM}}_{12}=F_O^2-F_N+F_{\mathrm{SP}};$ 其中

$F_{\mathrm{SP}}={\cos }^{-1}\left(\frac{L\·R}{{\left|\right|L\left|\right|}_2\·{\left|R\right||}_2}\right)+{\mathrm{\ω}}_S\·{\cos }^{-1}\left(\frac{L\left(S\right)\·R\left(S\right)}{{\left|\right|L\left(S\right)\left|\right|}_2\·{\left|R\left(S\right)\right||}_2}\right).$

本发明基于非线性补偿模型，眼优势模型，以及以显著性为基础的视差补偿模型。由于右眼图像的响应对于立体图像质量有更高的冲击，本发明首先利用眼优势模型给予右眼图像质量更大的权重；其次，本发明利用非线性模型补偿左右眼图像质量整合中的重叠效应。此外，3D图像质量与不同的图像内容相关。因此，本发明计算出了左右眼图像的视差偏移程度以消除图像内容的影响。值得注意的是，在计算视差偏移程度时，本发明引入了视觉注意力模型(显著性模型)以改进方法。实验结果证实了NOSPDM具有优越的预测精度，而且兼具计算复杂度低的特点。实验结果证实本发明所述的基于非线性眼优势视差补偿的立体图像质量评价方法NOSPDM具有优越的预测精度，而且兼具计算复杂度低的特点。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种基于非线性眼优势视差补偿的立体图像质量评价方法，其特征在于，包括以下步骤：

第一步、利用2D无参考质量评价方法计算出左眼右眼图像的质量分数，得到Q(L)，Q(R)；

第二步、基于眼优势模型，给予Q(L)，Q(R)不同的权重，得到

第三步、计算左右眼2D图像质量之间的非线性补偿，得到F_N；

第四步、计算基于显著性的视差程度补偿量，得到F_SP；

第五步、将加权后的图像质量与基于显著性的视差程度补偿量F_SP相加，并减去非线性补偿F_N，得到最终的3D无参考质量评价分数。

2.根据权利要求1所述的一种基于非线性眼优势视差补偿的立体图像质量评价方法，其特征在于，第一步中，所述的左右眼图像质量分数的计算方法：

i)分别利用下述公式计算左右眼图像L，R水平方向上的块效应D_h,水平方向上的模糊效应A_h，Z_h：

$A_b=\frac{1}{B-1}[\left(\frac{B}{M(N-1)}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-1}{\mathrm{\Σ}}}\right|d_b(i,j)\left|\right)-D_b].$

$Z_b=\frac{1}{M(N-2)}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N-2}{\mathrm{\Σ}}}{z}_b(i,j),$

其中：M，N分别指图像的高度和宽度,B指块的大小,d_h、z_h分别指图像特征的计算函数；i,j分别指图像的第i行和第j列；B_j指的是第j个图像块；

ii)根据同样的方法，计算出左右眼图像L，R垂直方向上的块效应D_v，垂直方向上的模糊效应A_v，Z_v，计算水平和垂直特征的平均值即得到全部特征：

$\begin{array}{ccc}D=\frac{D_h+D_v}{2}& A=\frac{A_h+A_v}{2}& Z=\frac{Z_h+Z_v}{2}\end{array}$

D_h，A_h，Z_h是垂直方向上的特征，Z_v，D_v，A_v是水平方向上的特征；

iii)最后，所有特征通过一个全局非线性方程进行拟合，得到左右眼2D图像的质量分数：

$Q=\mathrm{\α}+\mathrm{\β}{D}^{{\mathrm{\γ}}^1}{A}^{{\mathrm{\γ}}^2}{Z}^{{\mathrm{\γ}}^3}$

其中：α、β、γ₁、γ₂和γ₃是模型参数，在图像数据库上训练得到。

3.根据权利要求1所述的一种基于非线性眼优势视差补偿的立体图像质量评价方法，其特征在于，第二步中，所述的眼优势权重模型

$F_O^W=(2-{\mathrm{\μ}}_R)Q\left(L\right)+{\mathrm{\μ}}_{R}Q\left(R\right);$

其中μ_R代表右眼图像权重。

4.根据权利要求1所述的一种基于非线性眼优势视差补偿的立体图像质量评价方法，其特征在于，第三步中，所述的非线性补偿F_N：

F_N＝λ·max{Q(L),Q(R)}；

其中λ为权重系数。

5.根据权利要求1-4任一项所述的一种基于非线性眼优势视差补偿的立体图像质量评价方法，其特征在于，第四步中，所述的基于显著性的视差补偿F_SP：

$F_{\mathrm{SP}}={\cos }^{-1}\left(\frac{L\·R}{{\left|\right|L\left|\right|}_2\·{\left|R\right||}_2}\right)+{\mathrm{\ω}}_S\·{\cos }^{-1}\left(\frac{L\left(S\right)\·R\left(S\right)}{{\left|\right|L\left(S\right)\left|\right|}_2\·{\left|R\left(S\right)\right||}_2}\right)$

其中：S代表图像的显著性区域，ω_S为模型参数，通过训练得到；

L指左视图，R指右视图，S指视觉注意力区域。