CN110796635B - 一种基于剪切波变换的光场图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于剪切波变换的光场图像质量评价方法，其为了同时考虑光场的空间域和角度域失真，分别在光场视图和极平面图上提取特征，首先，对参考和失真光场视图分块后进行剪切波变换，分别提取局部相似性特征和全局统计特征以反映光场的空间域失真；其次，对参考和失真光场变换得到极平面图像集，对极平面图分块后进行剪切波变换，分别提取局部相似性特征和全局方向统计特征以反映光场的角度域失真；最后，采用随机森林对以上特征进行池化得到最终质量预测值，从而实现光场图像的客观质量评价，与人类视觉感知具有较好的一致性。

Description

一种基于剪切波变换的光场图像质量评价方法

技术领域

本发明涉及光场图像质量评价技术领域，尤其是涉及一种基于剪切波变换的光场图像质量评价方法。

背景技术

光场成像技术，因其提供的应用而越来越受到广泛的关注，如交互绘制(拍摄后聚焦、曝光和景深调整)、三维数据提取、视差显示和虚拟现实等。光场成像系统在其采集、压缩、传输和可视化等过程中，不可避免的引入各种失真，从而影响光场图像的视觉感知质量。准确评价图像视觉质量可有助于更好地分析光场系统各环节的性能，并应用于光场系统相关环节的优化。主观评价虽然是评价图像质量最可靠、最直接的方式，但其耗时耗力、难以直接嵌入实际系统中。因此，对光场图像的客观质量评价研究显得尤为重要和更具应用价值。

光场图像与普通图像不同，不仅包含光谱信息，还具有丰富的方向信息。光场可以看成是一个同时记录场景的光强度/颜色和光线方向信息的高维数据。因此，对于光场图像的客观质量评价，不仅需要考虑空域上图像内容的失真情况，还要考虑其角度域上视图间的连贯性。显然，现有图像质量评价方法(如经典的指标PSNR、SSIM、MS-SSIM、FSIM、VIF、VSI和GMSD等)并不完全适用于光场图像质量的客观评价。光场失真可分为空间域失真和角度域失真，其中，空间域失真主要表现为重影、模糊和几何失真等，其主要分布于图像的边缘尤其是遮挡和非朗伯等区域；而角度域失真主要由重建算法导致，主要表现为视图间的不连续和视角错误等。

对于光场图像的客观评价，Tian等人提出了多阶导数特征模型(Multi-orderDerivative Feature-based Model,MDFM)，通过使用离散导数滤波器提取多阶导数特征并计算导数特征的相似性生成最终质量分值，其主要考虑图像细节以区分参考和失真图像的差异，并没有考虑光场角度域上的失真情况。Fang等人使用梯度幅度相似性分别计算光场视图和极平面图像的质量作为局部和全局特征，该方法的评价性能与传统图像质量评价方法相比并没有太大的优势。这两种算法都在MPI数据库上进行测试分析。Paudyal等人在光场相机采集的数据库上进行测试，提出了半参考光场图像质量评价指标，用结构相似度(SSIM)来度量深度图的失真情况从而估计光场图像的感知质量。该方法突出了深度图的重要性，但依赖于深度估计算法的性能。

由此可见，一方面上述提到的传统图像质量评价方法虽然能对光场的部分信息进行评价，但是并不完全适用；另一方面，现有光场图像质量评价方法在光场图像特征提取上仍存在一定的局限性。因此需要考虑光场图像的特殊性以及失真的特点来提取相应特征，从而对光场图像能有更好的评价性能。

发明内容

本发明所要解决的技术问题是提供一种适用性强、能有效提高客观评价与主观评价的一致性的基于剪切波变换的光场图像质量评价方法。

本发明所采用的技术方案是，一种基于剪切波变换的光场图像质量评价方法，包括以下步骤：

(1)、令

表示参考光场所有视图组成的图像数据集，

表示失真光场所有视图组成的图像数据集，K表示一个光场中视图的数量；

(2)、将

中的第k个参考视图I_ref ^(k)划分成互不重叠的尺寸大小为64×64的图像块，图像块记为

将

中的第k个失真视图I_dis ^(k)划分成互不重叠的尺寸大小为64×64的图像块，图像块记为

M表示一个视图中图像块的数量；分别对参考视图块

和失真视图块

进行剪切波变换，得到参考视图块的剪切波变换子带系数S_Href(i,j)和失真视图块的剪切波变换子带系数S_Hdis(i,j)，i表示子带系数的尺度索引，j表示子带系数的方向索引，其中，i＝1时对应于4个方向，即，1≤j≤4，i＝2时对应于8个方向，即，1≤j≤8，i＝3时对应于16个方向，即，1≤j≤16；

(3)、分别取水平、垂直、45°和-45°四个方向组成的局部参考视图块剪切波子带系数S_HLref(i_L,j_L)和局部失真视图块剪切波变换子带系数S_HLdis(i_L,j_L)，计算其相似度特征，记为S_S；

(4)、计算参考视图块剪切波子带系数S_Href(i,j)的第i个尺度中所有方向子带系数的最大值，记为F_ref(i)，

计算失真视图块剪切波子带系数S_Hdis(i,j)的第i个尺度中所有方向子带系数的最大值，记为F_dis(i)，

d为三个尺度的方向数量，d＝[4,8,16]；计算第i个尺度的统计特征，记为E_S(i)，

其中，cov为协方差，σ为标准差，c为接近0的常数，取10^-15；

(5)、令

表示参考光场所有极平面图组成的图像数据集，

表示失真光场所有极平面图组成的图像数据集，L表示一个光场中极平面图的数量；

(6)、将

中的第l个参考极平面图I_Eref ^(l)划分成互不重叠的尺寸大小为64×64的图像块，记为

将

中的第l个失真极平面图I_Edis ^(l)划分成互不重叠的尺寸大小为64×64的图像块，记为

N表示一个极平面图中图像块的数量；分别对参考极平面图块

和失真极平面图块

进行剪切波变换，得到参考极平面图块的剪切波变换子带系数S_Tref(i,j)和失真极平面图块的剪切波变换子带系数S_Tdis(i,j)，i表示子带系数的尺度索引，j表示子带系数的方向索引，其中，i＝1时对应于4个方向，即，1≤j≤4，i＝2时对应于8个方向，即，1≤j≤8，i＝3时对应于16个方向，即，1≤j≤16；

(7)、分别取水平、垂直、45°和-45°四个方向组成的局部参考极平面图块剪切波子带系数S_TLref(i_L,j_L)和局部失真极平面图块剪切波变换子带系数S_TLdis(i_L,j_L)，计算相似度特征，记为S_EPI；

(8)、计算参考极平面图块剪切波子带系数S_Tref(i,j)的信息熵，记为e_ori(i,j)，计算失真极平面图块剪切波变换子带系数S_Tdis(i,j)的信息熵，记为e_dis(i,j)，计算方向统计特征，记为E_EPI，

d为三个尺度的方向数量，d＝[4,8,16]；

(9)、将步骤(3)中得到的相似度特征和步骤(4)中得到的统计特征按序构成

的空间域特征，记为F_S，F_S＝[S_S,E_S]；

(10)、将步骤(7)中得到的相似度特征和步骤(8)中得到的方向统计特征按序构成

的角度域特征，记为F_EPI，F_EPI＝[S_EPI,E_EPI]；

(11)、将以上步骤得到的空间域特征和角度域特征按序来构成光场图像的感知质量特征向量，记为F，F＝[F_S,F_EPI]；

(12)、将F作为输入量，结合随机森林技术，计算得到光场图像的客观质量评价值。

上述步骤(3)中，计算相似度特征的具体步骤为：计算四个方向子带系数的局部相似度特征，记为

C为常数；计算四个方向的权重，记为

其中，

计算相似度特征，记为S_S，

上述步骤(7)中，计算相似度特征的具体步骤为：计算四个方向子带系数的局部相似度特征，记为

C为常数；计算四个方向的权重，记为

其中，

计算相似度特征，记为S_EPI，

本发明的有益效果是：上述方法通过分别提取了光场视图和极平面图上的特征，可以更好地反映光场的空间域失真和角度域失真，其适用性强；该方法考虑到光场视图的边缘纹理失真，对其进行剪切波变换后，分别提取空间域上的局部相似性特征和全局统计特征，同时还考虑到极平面图上的明确光线方向信息，利用剪切波的方向性，分别提取角度域的局部相似性特征和全局方向统计特征，能够有效地提高客观评价与主观评价之间的一致性；本发明方法结合角度域和空间域的特征，在三种训练测试方式下的性能指标都优于现有质量评价方法，且对多种失真类型都能较好进行评价。

附图说明

图1为本发明方法的流程框图。

具体实施方式

以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。

本发明涉及一种基于剪切波变换的光场图像质量评价方法，包括以下步骤：

(1)、令

表示参考光场所有视图组成的图像数据集，

表示失真光场所有视图组成的图像数据集，K表示一个光场中视图的数量；

(2)、将

中的第k个参考视图I_ref ^(k)划分成互不重叠的尺寸大小为64×64的图像块，记为

将

中的第k个失真视图I_dis ^(k)划分成互不重叠的尺寸大小为64×64的图像块，记为

M表示一个视图中图像块的数量；分别对参考视图块

和失真视图块

进行剪切波变换，得到参考视图块的剪切波变换子带系数S_Href(i,j)和失真视图块的剪切波变换子带系数S_Hdis(i,j)，i表示子带系数的尺度索引，j表示子带系数的方向索引，其中，i＝1时对应于4个方向，即，1≤j≤4，i＝2时对应于8个方向，即，1≤j≤8，i＝3时对应于16个方向，即，1≤j≤16；

(3)、分别取参考视图块剪切波子带系数S_Href(i,j)和失真视图块剪切波变换子带系数S_Hdis(i,j)的三个尺度的水平方向子带系数，即，j＝[1,1,1]，垂直方向子带系数，即，j＝[3,5,9]，45°方向子带系数，即，j＝[2,3,5]，-45°方向子带系数，即，j＝[4,7,13]，组成局部参考视图块剪切波子带系数S_HLref(i_L,j_L)和局部失真视图块剪切波变换子带系数S_HLdis(i_L,j_L)；计算四个方向子带系数的局部相似度特征，记为

C为常数，经实验取30；计算四个方向的权重，记为

其中，

计算相似度特征，记为S_S，

(4)、计算参考视图块剪切波子带系数S_Href(i,j)的第i个尺度中所有方向子带系数的最大值，记为F_ref(i)，

计算失真视图块剪切波子带系数S_Hdis(i,j)的第i个尺度中所有方向子带系数的最大值，记为F_dis(i)，

d为三个尺度的方向数量，d＝[4,8,16]；计算第i个尺度的统计特征，记为E_S(i)，

cov为协方差，σ为标准差，c为接近0的常数，取10^-15；

(5)、令

表示参考光场所有极平面图组成的图像数据集，

表示失真光场所有极平面图组成的图像数据集，L表示一个光场中极平面图的数量；

(6)、将

中的第l个参考极平面图I_Eref ^(l)划分成互不重叠的尺寸大小为64×64的图像块，记为

将

中的第l个失真极平面图I_Edis ^(l)划分成互不重叠的尺寸大小为64×64的图像块，记为

N表示一个极平面图中图像块的数量；分别对参考极平面图块

和失真极平面图块

进行剪切波变换，得到参考极平面图块的剪切波变换子带系数S_Tref(i,j)和失真极平面图块的剪切波变换子带系数S_Tdis(i,j)，i表示子带系数的尺度索引，j表示子带系数的方向索引，其中，i＝1时对应于4个方向，即，1≤j≤4，i＝2时对应于8个方向，即，1≤j≤8，i＝3时对应于16个方向，即，1≤j≤16；

(7)、分别取参考极平面图块剪切波子带系数S_Tref(i,j)和失真极平面图块剪切波变换子带系数S_Tdis(i,j)的三个尺度的水平方向子带系数，即，j＝[1,1,1]，垂直方向子带系数，即，j＝[3,5,9]，45°方向子带系数，即，j＝[2,3,5]，-45°方向子带系数，即，j＝[4,7,13]，组成局部参考极平面图块剪切波子带系数S_TLref(i_L,j_L)和局部失真极平面图块剪切波变换子带系数S_TLdis(i_L,j_L)；计算四个方向子带系数的局部相似度特征，记为

C为常数，经实验取30；计算四个方向的权重，记为

其中，

计算相似度特征，记为S_EPI，

(8)、计算参考极平面图块剪切波子带系数S_Tref(i,j)的信息熵，记为e_ori(i,j)，计算失真极平面图块剪切波变换子带系数S_Tdis(i,j)的信息熵，记为e_dis(i,j)，计算方向统计特征，记为E_EPI，

d为三个尺度的方向数量，d＝[4,8,16]；

(9)、将步骤(3)中得到的相似度特征和步骤(4)中得到的统计特征按序构成

的空间域特征，记为F_S，F_S＝[S_S,E_S]；

(10)、将步骤(7)中得到的相似度特征和步骤(8)中得到的方向统计特征按序构成

的角度域特征，记为F_EPI，F_EPI＝[S_EPI,E_EPI]；

(11)、将以上步骤得到的空间域特征和角度域特征按序构成光场图像的感知质量特征向量，记为F，F＝[F_S,F_EPI]；

(12)、将F作为输入量，随机取数据库80％光场图像对应的特征向量F_train和主观打分，用随机森林技术训练得到模型，取剩余20％光场图像对应的特征向量F_test用训练的模型计算得到光场图像的客观质量评价值。

为进一步说明上述发明方法的可行性和有效性，进行如下实验。

在本实施例中，在公开并包含主观打分的MPI光场图像数据库上进行实验。该数据库中的光场图像具有较高的空间分辨率和角度分辨率，且包含压缩失真、重建失真和显示失真，适合用于光场图像质量评价方法的测试分析。表1中详细说明了MPI光场图像数据库的各项指标，包括场景类型、参考场景数目、失真场景数目、失真类型数目、主观测试人数和可视化方法。

表1权威MPI光场图像数据库的各项指标

接下来，分析利用本发明方法获取的每个失真场景的客观质量评价值与平均主观评分之间的相关性。这里，利用VQEG提出的常用性能标准，Pearson线性相关系数(PearsonLinear Correlation Coefficient,PLCC)、Spearman等级相关系数(Spearman Rank-orderCorrelation Coefficient,SROCC)、Kendall等级相关系数(Kendall Rank-orderCorrelation Coefficient,KROCC)和均方根误差(Root Mean Square Error,RMSE)反映预测的准确性和一致性，其中PLCC、SROCC和KROCC的值越大表示性能越好，RMSE的值越接近0表示性能越好。

对于上述MPI光场图像数据库中的所有失真场景，分别按本发明方法的步骤(1)至步骤(12)的过程，采用相同的方式计算得到每个失真场景的客观质量评价值，然后将客观质量评价值做四参数Logistic函数非线性拟合，最后得到客观评价结果与平均主观评分之间的性能指标值。

为了验证本发明的有效性，将本发明方法与传统图像质量评价方法和两种光场图像质量评价方法在表1列出的光场图像数据库上进行了比较分析。这里分别用三种训练测试方式计算PLCC、SROCC、KROCC和RMSE指标：(1)随机挑选80％的图像进行训练，100％的图像用于测试，循环1000次，取其中值作为最终性能指标，即，对普通图像质量评价指标直接用所有图像来计算4个指标，对本文方法采用80％的图像进行训练，100％用于测试；(2)随机挑选80％的图像进行训练，20％的图像用于测试，循环1000次，取其中值作为最终性能指标，即，对普通图像质量评价指标取20％的图像来计算4个指标，对本文方法采用80％的图像进行训练，20％用于测试；(3)采用K-Fold交叉验证的方式，即，先将整个数据库根据场景分为k个不相交的子集，每个子集中的场景数目相等。然后，将每个子集分别作为测试数据，并将剩余(k-1)个子集作为训练数据。最后，将k个测试实验的平均值作为最终结果。其中，训练方式(1)的结果如表2所示，训练方式(2)和(3)的结果如表3所示。可以看到，本发明方法在以上三种方式进行评测分析得到的指标都优于其他质量评价方法，表明本发明方法的客观评价结果与人眼主观感知的结果较为一致，更适合用于光场图像的客观评价。表4所示为本发明方法用训练方式(3)得到的不同特征的评价性能，可以看到同样的相似度特征，在EPI上的性能要优于空间域，说明对EPI进行评价能很好反映光场的质量。总体性能远优于单一特征，证明了各特征设计的合理性，综合了角度域和空间域特征，局部和全局特征。表5给出了本发明方法用训练方式(3)对不同失真类型的评价性能结果，可以看到本发明方法对各种失真类型的评价性能都较好。

表2本发明方法与现有质量评价方法在MPI数据库上的性能比较(训练方式(1))

表3本发明方法与现有质量评价方法在MPI数据库上的性能比较(训练方式(2)(3))

表4本发明方法对不同特征评价性能的分析

表5本发明方法对不同失真类型评价性能的分析

失真类型	PLCC	SROCC	KROCC	RMSE
					DQ	0.9778	0.9810	0.9556	0.2959
OPT	0.9582	0.9367	0.8710	0.2651
					LINEAR	0.9860	0.9810	0.9704	0.2578
NN	0.9941	0.9959	0.9905	0.1383
					GAUSS	0.9929	0.9937	0.9852	0.1945
HEVC	0.9940	0.9937	0.9852	0.1653

Claims (3)

1.一种基于剪切波变换的光场图像质量评价方法，其特征在于：包括以下步骤：

(1)、令

表示参考光场所有视图组成的图像数据集，

表示失真光场所有视图组成的图像数据集，K表示一个光场中视图的数量；

(2)、将

中的第k个参考视图I_ref ^(k)划分成互不重叠的尺寸大小为64×64的图像块，图像块记为

将

中的第k个失真视图I_dis ^(k)划分成互不重叠的尺寸大小为64×64的图像块，图像块记为

M表示一个视图中图像块的数量；分别对参考视图块

和失真视图块

进行剪切波变换，得到参考视图块的剪切波变换子带系数S_Href(i,j)和失真视图块的剪切波变换子带系数S_Hdis(i,j)，i表示子带系数的尺度索引，j表示子带系数的方向索引，其中，i＝1时对应于4个方向，即，1≤j≤4，i＝2时对应于8个方向，即，1≤j≤8，i＝3时对应于16个方向，即，1≤j≤16；

(3)、分别取水平、垂直、45°和-45°四个方向组成的局部参考视图块剪切波子带系数S_HLref(i_L,j_L)和局部失真视图块剪切波变换子带系数S_HLdis(i_L,j_L)，计算其相似度特征，记为S_S；

(4)、计算参考视图块剪切波子带系数S_Href(i,j)的第i个尺度中所有方向子带系数的最大值，记为F_ref(i)，

计算失真视图块剪切波子带系数S_Hdis(i,j)的第i个尺度中所有方向子带系数的最大值，记为F_dis(i)，

d为三个尺度的方向数量，d＝[4,8,16]；计算第i个尺度的统计特征，记为E_S(i)，

其中，cov为协方差，σ为标准差，c为接近0的常数，取10^-15；

(5)、令

表示参考光场所有极平面图组成的图像数据集，

表示失真光场所有极平面图组成的图像数据集，L表示一个光场中极平面图的数量；

(6)、将

中的第l个参考极平面图I_Eref ^(l)划分成互不重叠的尺寸大小为64×64的图像块，记为

将

中的第l个失真极平面图I_Edis ^(l)划分成互不重叠的尺寸大小为64×64的图像块，记为

N表示一个极平面图中图像块的数量；分别对参考极平面图块

和失真极平面图块

进行剪切波变换，得到参考极平面图块的剪切波变换子带系数S_Tref(i,j)和失真极平面图块的剪切波变换子带系数S_Tdis(i,j)，i表示子带系数的尺度索引，j表示子带系数的方向索引，其中，i＝1时对应于4个方向，即，1≤j≤4，i＝2时对应于8个方向，即，1≤j≤8，i＝3时对应于16个方向，即，1≤j≤16；

(7)、分别取水平、垂直、45°和-45°四个方向组成的局部参考极平面图块剪切波子带系数S_TLref(i_L,j_L)和局部失真极平面图块剪切波变换子带系数S_TLdis(i_L,j_L)，计算相似度特征，记为S_EPI；

(8)、计算参考极平面图块剪切波子带系数S_Tref(i,j)的信息熵，记为e_ori(i,j)，计算失真极平面图块剪切波变换子带系数S_Tdis(i,j)的信息熵，记为e_dis(i,j)，计算方向统计特征，记为E_EPI，

d为三个尺度的方向数量，d＝[4,8,16]；

(9)、将步骤(3)中得到的相似度特征和步骤(4)中得到的统计特征按序构成

的空间域特征，记为F_S，F_S＝[S_S,E_S]；

(10)、将步骤(7)中得到的相似度特征和步骤(8)中得到的方向统计特征按序构成

的角度域特征，记为F_EPI，F_EPI＝[S_EPI,E_EPI]；

(11)、将以上步骤得到的空间域特征和角度域特征按序来构成光场图像的感知质量特征向量，记为F，F＝[F_S,F_EPI]；

(12)、将F作为输入量，利用随机森林技术训练得到模型，通过训练的到的模型计算得到光场图像的客观质量评价值。

2.根据权利要求1所述的一种基于剪切波变换的光场图像质量评价方法，其特征在于：步骤(3)中，计算相似度特征的具体步骤为：先计算四个方向子带系数的局部相似度特征，记为

C为常数；再计算四个方向的权重，记为w_H ^(jL)，

其中，

最后计算相似度特征，记为S_S，

3.根据权利要求1所述的一种基于剪切波变换的光场图像质量评价方法，其特征在于：步骤(7)中，计算相似度特征的具体步骤为：先计算四个方向子带系数的局部相似度特征，记为

C为常数；再计算四个方向的权重，记为

其中，

最后计算相似度特征，记为S_EPI，

Images