CN112950592A - 基于高维离散余弦变换的无参考光场图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于高维离散余弦变换的无参考光场图像质量评价方法，其将光场图像的子孔径图像阵列转换成子孔径梯度图像阵列，然后将子孔径梯度图像阵列划分成多个不重叠的4D块，并将4D块转换到4D‑DCT域中提取了裁剪的能量向量和裁剪的无符号系数分布特征向量，进而将裁剪的能量向量和裁剪的无符号系数分布特征向量串联得到光场图像的感知特征向量；随后，再结合支持向量回归技术，计算得到光场图像的客观质量评价分数；优点是其无需原始光场图像的任何信息，且能够获得与主观感知质量高度相似的客观评价结果。

Description

基于高维离散余弦变换的无参考光场图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于高维离散余弦变换的无参考光场图像质量评价方法。

背景技术

光场图像质量的定量评价是光场图像处理领域中具有挑战性的问题。与平面图像相比，光场图像同时包含了空间强度信息和方向信息，提供了更为丰富的视觉信息。近年来，随着商用光场相机的推出，光场图像在工业界和商业界逐渐普及。因此，光场图像被广泛地采集、处理、传输、储存，并显示在各类应用中。在光场图像的处理过程中，将不可避免地造成光场图像的失真，从而会降低用户对于光场图像的使用体验。为了向用户提供更为优质的服务，实时检测并准确地评估光场图像的质量是有必要的。因此，光场图像质量评价也成为了光场图像处理领域中具有挑战性的问题。

迄今为止，许多研究人员已经提出了许多较为成熟的平面图像客观质量评价方法，这些平面图像客观质量评价方法能够较为准确地预测平面图像质量。然而，光场图像不仅包含了场景的空间强度信息，而且也记录了场景的方向信息。因此，光场图像质量不单单与空间质量有关，还与光场图像的角度一致性相关。此外，光场图像还能提供场景的深度信息，故而光场图像的深度感知也是不容忽视的。简单地说，光场图像因其高维结构特性，使得平面图像客观质量评价方法并不适用于对光场图像客观质量的预测。

目前，对于光场图像客观质量评价方法的探索只是初步，现有的光场图像客观质量评价方法还很少。如：Tian等人提出的一种全参考光场图像质量评价方法(Y.Tian,H.Zeng,L.Xing,J.Chen,J.Zhu,and K.Ma,“A multi-order derivative feature-basedquality assessment model for light field image,”J.Vis.Commun.ImageRepresent.,vol.57,pp.212-217,Nov.2018.(基于多阶导数特征的光场图像质量评估模型))，该方法为MDFM方法，该方法对原始光场图像和失真光场图像的每个子孔径图像进行二阶梯度导数的相似度比较，得到失真光场图像的每个子孔径图像的结构相似度值，并平均失真光场图像的所有子孔径图像的结构相似度值作为失真光场图像的质量分数。又如：Shi等人提出的一种无参考光场图像质量评价方法(L.Shi,S.Zhao,and Z.Chen,“BELIF:Blind quality evaluator of light field image with tensor structure variationindex,”in Proc.IEEE Int.Conf.Image Process.(ICIP),Taipei,Taiwan,Sept.2019,pp.3781-3785.(BELIF:基于张量结构变化指数的光场图像盲质量评价器))，其被命名为盲光场图像质量估计器(简称为：BELIF)，该方法首先生成光场图像的独眼图阵列，然后使用张量分解获取独眼图阵列的第一切片并测量了第一切片中的自然度来衡量光场图像的空间质量，接着用第一切片与独眼图阵列中的每幅独眼图进行结构相似度比较来获取光场图像的角度一致性。再如：Shi等人进一步提出了一种无参考光场图像质量评价方法(L.Shi,W.Zhou,Z.Chen and J.Zhang,“No-Reference Light Field Image Quality AssessmentBased on Spatial-Angular Measurement,”IEEE Transactions on Circuits andSystems for Video Technology,vol.30,no.11,pp.4114-4128,Nov.2020.(基于空间-角度测量的无参考光场图像质量评估))，简称为：NR-LFQA，该方法结合了独眼图阵列和极平面图像来估计光场图像质量。再如：Zhou等人提出了一种无参考光场图像质量评价方法(W.Zhou,L.Shi,Z.Chen and J.Zhang,“Tensor oriented no-reference light fieldimage quality assessment,”IEEE Trans.Image Process.,vol.29,pp.4070-4084,2020.(张量定向无参考光场图像质量评估))，简称为Tensor-NLFQ，该方法使用张量分解去提取四个方向子孔径图像栈中的主成分，然后评估主成分中的自然度来捕获光场图像的空间质量，再用主成分与子孔径图像栈中的每个视点进行结构相似度比较来估计光场图像的角度一致性。

全参考光场图像质量评价方法需要原始光场图像的信息，在某些无法获取原始光场图像的信息的情况下，全参考光场图像质量评价方法将无法使用；无参考光场图像质量评价方法不需要原始光场图像的信息，但是更需要关注它的预测性能，上述现有的无参考光场图像质量评价方法的客观评价结果与主观感知质量的一致性还有待提高。

发明内容

本发明所要解决的技术问题是提供一种基于高维离散余弦变换的无参考光场图像质量评价方法，其无需原始光场图像的任何信息，且能够获得与主观感知质量高度相似的客观评价结果。

本发明解决上述技术问题所采用的技术方案为：一种基于高维离散余弦变换的无参考光场图像质量评价方法，其特征在于包括以下步骤：

步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为I_u,v；其中，1≤u≤U，1≤v≤V；

步骤2：将子孔径图像阵列中除最后一行和最后一列外的每幅子孔径图像作为待处理子孔径图像，将子孔径图像阵列中视点坐标位置为(u',v')的待处理子孔径图像记为I_u',v'；然后计算子孔径图像阵列中的每幅待处理子孔径图像与其水平相邻的子孔径图像之间的水平差分图像，将I_u',v'与其水平相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u'+1,v')的待处理子孔径图像I_u'+1,v'之间的水平差分图像记为

将

中坐标位置为(x,y)的像素点的像素值记为

并计算子孔径图像阵列中的每幅待处理子孔径图像与其垂直相邻的子孔径图像之间的垂直差分图像，将I_u',v'与其垂直相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u',v'+1)的待处理子孔径图像I_u',v'+1之间的垂直差分图像记为

将

中坐标位置为(x,y)的像素点的像素值记为

接着计算子孔径图像阵列中的每幅待处理子孔径图像的子孔径梯度图像，将I_u',v'的子孔径梯度图像记为G_u',v'，将G_u',v'中坐标位置为(x,y)的像素点的像素值记为G_u',v'(x,y)，

在得到子孔径图像阵列中的所有待处理子孔径图像的子孔径梯度图像后，将子孔径图像阵列转换成子孔径梯度图像阵列，记为G，G的角度分辨率为(U-1)×(V-1)，即由(U-1)×(V-1)幅子孔径梯度图像构成，G的空间分辨率为X×Y，即每幅子孔径梯度图像的分辨率为X×Y；其中，1≤u'≤U-1，1≤v'≤V-1，1≤x≤X，1≤y≤Y，符号“| |”为取绝对值符号，I_u',v'(x,y)表示I_u',v'中坐标位置为(x,y)的像素点的像素值，I_u'+1,v'(x,y)表示I_u'+1,v'中坐标位置为(x,y)的像素点的像素值，I_u',v'+1(x,y)表示I_u',v'+1中坐标位置为(x,y)的像素点的像素值；

步骤3：将G划分为

个互不重叠的尺寸为4×4×4×4的4D块，将G中的第s个4D块记为GB_s，将GB_s中坐标位置为(u₁,v₁,x₁,y₁)的像素点的像素值记为GB_s(u₁,v₁,x₁,y₁)；然后采用四维离散余弦变换技术将G中的每个4D块转换到4D-DCT域中，得到G中的每个4D块对应的频域块，将GB_s对应的频域块记为FB_s，将FB_s中频域坐标位置为

上的值记为

即为GB_s在4D-DCT域中在频域坐标位置

上的4D-DCT系数，GB_s在4D-DCT域中共包含有256个4D-DCT系数，包括1个直流系数和255个交流系数，当

时GB_s在4D-DCT域中在频域坐标位置(1,1,1,1)上的4D-DCT系数为直流系数；其中，符号

为向下取整符号，

1≤u₁≤4，1≤v₁≤4，1≤x₁≤4，1≤y₁≤4，

函数g()的功能定义为

a₁,a₂为两个参数；

步骤4：计算G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数所对应的能量值，在

不为(1,1,1,1)的情况下将G中的所有4D块在4D-DCT域中在频域坐标位置

上的交流系数所对应的能量值记为

然后将得到的255个能量值按顺序排列构成维数为255×1的能量向量，作为L对应的能量向量，并记为E，E＝[E₁,E₂,…,E_k,…,E₂₅₅]^T；其中，

1≤k≤255，符号“[]”为向量或矩阵表示符号，E₁表示E中的第1个元素，E₂表示E中的第2个元素，E_k表示E中的第k个元素，E₂₅₅表示E中的第255个元素，k与

的关系为：

E₁＝e(1,1,1,2)，E₂＝e(1,1,1,3)，

E₂₅₅＝e(4,4,4,4)，上标“T”表示向量或矩阵的转置；

步骤5：提取出G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数的振幅并构成维数为1×SZ的振幅向量，在

不为(1,1,1,1)的情况下将G中的所有4D块在4D-DCT域中在频域坐标位置

上的交流系数的振幅构成的振幅向量记为

然后对得到的每个振幅向量用韦伯概率分布进行拟合，拟合后得到对应的尺度参数，将对

用韦伯概率分布进行拟合后得到的对应的尺度参数记为

再将得到的255个尺度参数按顺序排列构成维数为255×1的无符号系数分布特征向量，作为L对应的无符号系数分布特征向量，并记为λ，λ＝[λ₁,λ₂,…,λ_k,…,λ₂₅₅]^T；其中，符号“| |”为取绝对值符号，

表示G中的第1个4D块记为GB₁对应的频域块FB₁中频域坐标位置为

上的值，

表示G中的第SZ个4D块记为GB_SZ对应的频域块FB_SZ中频域坐标位置为

上的值，

为

的振幅，

为

的振幅，

为

的振幅，λ₁表示λ的第1个元素，λ₂表示λ的第2个元素，λ_k表示λ的第k个元素，λ₂₅₅表示λ的第255个元素，k与

的关系为：

λ₁＝w(1,1,1,2)，λ₂＝w(1,1,1,3)，

λ₂₅₅＝w(4,4,4,4)；

步骤6：选取N幅用于训练的4维的无失真光场图像，按照步骤1至步骤5的过程，以相同的方式获取每幅无失真光场图像对应的能量向量和无符号系数分布特征向量；然后将N幅无失真光场图像对应的能量向量构成训练的能量矩阵，记为Z_E，Z_E＝[TE₁,TE₂,…,TE_n,…,TE_N]，将N幅无失真光场图像对应的无符号系数分布特征向量构成训练的无符号系数分布特征矩阵，记为Z_W，Z_W＝[TW₁,TW₂,…,TW_n,…,TW_N]；然后对Z_E进行主成分分析，获得维数为255×m₁的能量投影矩阵，记为

同样，对Z_W进行主成分分析，获得维数为255×m₂的无符号系数分布特征投影矩阵，记为

其中，N≥100，无失真光场图像的角度分辨率为U×V，无失真光场图像的空间分辨率为X×Y，Z_E和Z_W的维数均为255×N，TE₁表示第1幅无失真光场图像对应的能量向量，TE₂表示第2幅无失真光场图像对应的能量向量，TE_n表示第n幅无失真光场图像对应的能量向量，TE_N表示第N幅无失真光场图像对应的能量向量，TW₁表示第1幅无失真光场图像对应的无符号系数分布特征向量，TW₂表示第2幅无失真光场图像对应的无符号系数分布特征向量，TW_n表示第n幅无失真光场图像对应的无符号系数分布特征向量，TW_N表示第N幅无失真光场图像对应的无符号系数分布特征向量，1≤n≤N，m₁和m₂均为正整数，1≤m₁+m₂＜N；

步骤7：对E进行去中心化处理，得到去中心化处理后的能量向量，记为

同样，对λ进行去中心化处理，得到去中心化处理后的无符号系数分布特征向量，记为

然后用

对

进行降维，得到L对应的裁剪的能量向量，记为F_E，

同样，用

对

进行降维，得到L对应的裁剪的无符号系数分布特征向量，记为F_W，

其中，

和

的维数为255×1，μ_ZE为通过对Z_E中的每行逐行求平均得到，即μ_ZE中的第k个元素为Z_E中的第k行的所有元素的平均值，μ_ZW为通过对Z_W中的每行逐行求平均得到，即μ_ZW中的第k个元素为Z_W中的第k行的所有元素的平均值，F_E的维数为m₁×1，F_W的维数为m₂×1；

步骤8：将F_E和F_W连接起来构成的向量作为L的感知特征向量，记为F，F＝[(F_E)^T,(F_W)^T]；其中，F的维数为1×(m₁+m₂)；

步骤9：将F作为输入，结合支持向量回归技术，计算得到L的客观质量评价分数，记为Q_predict；其中，Q_predict越大，说明输入的F对应的光场图像的质量越好；反之，说明输入的F对应的光场图像的质量越差。

与现有技术相比，本发明的优点在于：

(1)本发明方法是一种无参考光场图像质量评价方法，这与全参考光场图像质量评价方法相比，本发明方法不需要原始光场图像的任何信息就可以预测失真光场图像的客观质量评价分数，因此，本发明方法可以广泛地适用于无法直接获取原始光场图像信息的情景。

(2)作为一种无参考光场图像质量评价方法，由于在没有原始光场图像信息的前提下对待评价光场图像进行质量预测，其准确性往往受到更多地关注，本发明方法与现有的无参考质量评价方法相比，本发明方法考虑了失真光场图像的失真特点和内在的高维结构性，将子孔径图像阵列转换成子孔径梯度图像阵列，然后再使用四维离散余弦变换(4D-DCT)将子孔径梯度图像阵列转换到4D-DCT域，这有效地保留了失真光场图像的高维结构信息，并捕捉了与主观感知更为相关的特征，因此最终能够获得与主观感知质量高度相似的客观评价结果。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于高维离散余弦变换的无参考光场图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像(SAI)构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为I_u,v；其中，1≤u≤U，1≤v≤V，U、V、X、Y由实际的4维的光场图像确定。

步骤2：将子孔径图像阵列中除最后一行和最后一列外的每幅子孔径图像作为待处理子孔径图像，将子孔径图像阵列中视点坐标位置为(u',v')的待处理子孔径图像记为I_u',v'；然后计算子孔径图像阵列中的每幅待处理子孔径图像与其水平相邻的子孔径图像之间的水平差分图像，将I_u',v'与其水平相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u'+1,v')的待处理子孔径图像I_u'+1,v'之间的水平差分图像记为

将

中坐标位置为(x,y)的像素点的像素值记为

并计算子孔径图像阵列中的每幅待处理子孔径图像与其垂直相邻的子孔径图像之间的垂直差分图像，将I_u',v'与其垂直相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u',v'+1)的待处理子孔径图像I_u',v'+1之间的垂直差分图像记为

将

中坐标位置为(x,y)的像素点的像素值记为

接着计算子孔径图像阵列中的每幅待处理子孔径图像的子孔径梯度图像，将I_u',v'的子孔径梯度图像记为G_u',v'，将G_u',v'中坐标位置为(x,y)的像素点的像素值记为G_u',v'(x,y)，

在得到子孔径图像阵列中的所有待处理子孔径图像的子孔径梯度图像后，将子孔径图像阵列转换成子孔径梯度图像阵列，记为G，G的角度分辨率为(U-1)×(V-1)，即由(U-1)×(V-1)幅子孔径梯度图像构成，G的空间分辨率为X×Y，即每幅子孔径梯度图像的分辨率为X×Y；其中，1≤u'≤U-1，1≤v'≤V-1，1≤x≤X，1≤y≤Y，符号“| |”为取绝对值符号，I_u',v'(x,y)表示I_u',v'中坐标位置为(x,y)的像素点的像素值，I_u'+1,v'(x,y)表示I_u'+1,v'中坐标位置为(x,y)的像素点的像素值，I_u',v'+1(x,y)表示I_u',v'+1中坐标位置为(x,y)的像素点的像素值；由于子孔径梯度图像是相邻水平和垂直视点的差值的平方根，因此子孔径梯度图像包含了突出光场图像的局部高频结构，减少了光场图像的视图间的冗余信息，并反映了光场图像局部的角度一致性。

步骤3：将G划分为

个互不重叠的尺寸为4×4×4×4的4D块，将G中的第s个4D块记为GB_s，将GB_s中坐标位置为(u₁,v₁,x₁,y₁)的像素点的像素值记为GB_s(u₁,v₁,x₁,y₁)；然后采用四维离散余弦变换(4D-DCT)技术将G中的每个4D块转换到4D-DCT域中，得到G中的每个4D块对应的频域块，将GB_s对应的频域块记为FB_s，将FB_s中频域坐标位置为

上的值记为

即为GB_s在4D-DCT域中在频域坐标位置

上的4D-DCT系数，GB_s在4D-DCT域中共包含有256个4D-DCT系数，包括1个直流系数和255个交流系数，当

时GB_s在4D-DCT域中在频域坐标位置(1,1,1,1)上的4D-DCT系数为直流系数；其中，符号

为向下取整符号，

1≤u₁≤4，1≤v₁≤4，1≤x₁≤4，1≤y₁≤4，

函数g()的功能定义为

a₁,a₂为两个参数；四维离散余弦变换(4D-DCT)技术能够较为完整地保留光场图像的高维内在结构，同时将光场图像从空间域转换到频率域能更好地捕获光场图像的失真信息。

步骤4：计算G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数所对应的能量值，在

不为(1,1,1,1)的情况下将G中的所有4D块在4D-DCT域中在频域坐标位置

上的交流系数所对应的能量值记为

然后将得到的255个能量值按顺序排列构成维数为255×1的能量向量，作为L对应的能量向量，并记为E，E＝[E₁,E₂,…,E_k,…,E₂₅₅]^T；其中，

1≤k≤255，符号“[]”为向量或矩阵表示符号，E₁表示E中的第1个元素，E₂表示E中的第2个元素，E_k表示E中的第k个元素，E₂₅₅表示E中的第255个元素，k与

的关系为：

E₁＝e(1,1,1,2)，E₂＝e(1,1,1,3)，

E₂₅₅＝e(4,4,4,4)，上标“T”表示向量或矩阵的转置。

步骤5：提取出G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数的振幅并构成维数为1×SZ的振幅向量，在

不为(1,1,1,1)的情况下将G中的所有4D块在4D-DCT域中在频域坐标位置

上的交流系数的振幅构成的振幅向量记为

然后对得到的每个振幅向量用韦伯概率分布进行拟合，拟合后得到对应的尺度参数，将对

用韦伯概率分布进行拟合后得到的对应的尺度参数记为

在此用韦伯概率分布进行拟合得到尺度参数的过程为现有技术；再将得到的255个尺度参数按顺序排列构成维数为255×1的无符号系数分布特征向量，作为L对应的无符号系数分布特征向量，并记为λ，λ＝[λ₁,λ₂,…,λ_k,…,λ₂₅₅]^T；其中，符号“| |”为取绝对值符号，

表示G中的第1个4D块记为GB₁对应的频域块FB₁中频域坐标位置为

上的值，

表示G中的第SZ个4D块记为GB_SZ对应的频域块FB_SZ中频域坐标位置为

上的值，

为

的振幅，

为

的振幅，

为

的振幅，λ₁表示λ的第1个元素，λ₂表示λ的第2个元素，λ_k表示λ的第k个元素，λ₂₅₅表示λ的第255个元素，k与

的关系为：

λ₁＝w(1,1,1,2)，λ₂＝w(1,1,1,3)，

λ₂₅₅＝w(4,4,4,4)。

步骤6：选取N幅用于训练的4维的无失真光场图像，按照步骤1至步骤5的过程，以相同的方式获取每幅无失真光场图像对应的能量向量和无符号系数分布特征向量；然后将N幅无失真光场图像对应的能量向量构成训练的能量矩阵，记为Z_E，Z_E＝[TE₁,TE₂,…,TE_n,…,TE_N]，将N幅无失真光场图像对应的无符号系数分布特征向量构成训练的无符号系数分布特征矩阵，记为Z_W，Z_W＝[TW₁,TW₂,…,TW_n,…,TW_N]；然后对Z_E进行主成分分析(PCA)，获得维数为255×m₁的能量投影矩阵，记为

同样，对Z_W进行主成分分析(PCA)，获得维数为255×m₂的无符号系数分布特征投影矩阵，记为

其中，N≥100，在本实施例中取N＝133，无失真光场图像的角度分辨率为U×V，无失真光场图像的空间分辨率为X×Y，Z_E和Z_W的维数均为255×N，TE₁表示第1幅无失真光场图像对应的能量向量，TE₂表示第2幅无失真光场图像对应的能量向量，TE_n表示第n幅无失真光场图像对应的能量向量，TE_N表示第N幅无失真光场图像对应的能量向量，TW₁表示第1幅无失真光场图像对应的无符号系数分布特征向量，TW₂表示第2幅无失真光场图像对应的无符号系数分布特征向量，TW_n表示第n幅无失真光场图像对应的无符号系数分布特征向量，TW_N表示第N幅无失真光场图像对应的无符号系数分布特征向量，1≤n≤N，m₁和m₂均为正整数，1≤m₁+m₂＜N，在本实施例中当N＝133时取m₁＝21、m₂＝15最佳。

步骤7：对E进行去中心化处理，得到去中心化处理后的能量向量，记为

同样，对λ进行去中心化处理，得到去中心化处理后的无符号系数分布特征向量，记为

然后用

对

进行降维，得到L对应的裁剪的能量向量，记为F_E，

同样，用

对

进行降维，得到L对应的裁剪的无符号系数分布特征向量，记为F_W，

其中，

和

的维数为255×1，μ_ZE为通过对Z_E中的每行逐行求平均得到，即μ_ZE中的第k个元素为Z_E中的第k行的所有元素的平均值，μ_ZW为通过对Z_W中的每行逐行求平均得到，即μ_ZW中的第k个元素为Z_W中的第k行的所有元素的平均值，F_E的维数为m₁×1，F_W的维数为m₂×1。

步骤8：将F_E和F_W连接起来构成的向量作为L的感知特征向量，记为F，F＝[(F_E)^T,(F_W)^T]；其中，F的维数为1×(m₁+m₂)。

步骤9：将F作为输入，结合支持向量回归技术，计算得到L的客观质量评价分数，记为Q_predict；其中，Q_predict越大，说明输入的F对应的光场图像的质量越好；反之，说明输入的F对应的光场图像的质量越差。

以下对本发明方法进行实验，进一步说明本发明方法的有效性与可行性。

本发明方法的有效性将在两个4D光场图像主观评价数据库上进行验证，另外，选择已被验证的、高效的平面图像和光场图像共8种图像客观质量评价方法作为对比，来体现本发明方法的优势。用于测试的两个4D光场图像主观评价数据库分别为Win5-LID数据库(L.Shi,S.Zhao,W.Zhou,and Z Chen,“Perceptual evaluation of light field image,”in Proc.the 25th IEEE Int.Conf.Image Process.(ICIP),Athens,Greece,Oct.2018,pp.41-45.(光场图像的感知评价))和NBULF1.0数据库(Z.Huang,M.Yu,G.Jiang,K.Chen,Z.Peng,and F.Chen,“Reconstruction distortion oriented light field imagedataset for visual communication,”in Int'l.Symp.Net.Comp.Commun.(ISNCC),Istanbul,Turkey,2019,pp.1-5.(用于视觉通信的重建失真定向光场图像数据集))。其中，Win5-LID数据库共包含了10幅原始光场图像，其中6幅属于自然场景，4幅属于合成场景，Win5-LID数据库中引入了6种失真类型，其中HEVC、JPEG2000、LN和NN这4种失真类型共分成5个不同的失真等级，另外还包括了两种默认参数的基于CNN的重建算法，因此，1幅原始光场图像对应22幅不同失真类型的失真光场图像，共计220幅失真光场图像；Win5-LID数据库还提供了平均主观分(Mean opinion score，MOS)。NBULF1.0数据库共包含了14幅原始光场图像，其中8幅属于自然场景，6幅属于合成场景，NBULF1.0数据库中引入了5种失真类型，分别为BI、NNI、Zhang、EPICNN和VDSR，每种失真类型分为3个不同的失真等级，因此，1幅原始光场图像对应15幅不同失真类型的失真光场图像，共计210幅失真光场图像；NBULF1.0数据库还提供了MOS值。表1给出了两个4D光场图像数据库的各项指标，包括原始光场图像的数目、失真光场图像的数目、失真类型、光场图像的空间分辨率和角度分辨率。

表1两个4D光场图像数据库的各项指标

通过比较客观质量评价方法预测得到的客观质量评价分数与MOS值是否一致来评价该客观质量评价方法的预测性能。具体而言，本发明方法所提取的失真光场图像的感知特征向量通过支持向量回归模型融合得到失真光场图像的客观质量评价分数；然后将失真光场图像的客观质量评价分数与MOS值进行非线性拟合；接着采用3个根据视频质量评价专家组提供的标准指标来对不同的客观质量评价方法的预测性能进行量化。3个标准指标分别为Spearman秩相关系数(Spearman Rank Order Correlation Coefficient，SROCC)、Pearson线性相关系数(Pearson Linear Correlation Coefficient，PLCC)和均方根误差(Root Mean Square Error，RMSE)，其中，SROCC用于测量客观质量评价方法的预测单调性，PLCC和RMSE用于测量客观质量评价方法的预测准确性，SROCC的取值范围在[-1,1]之间，PLCC的取值范围在[0,1]之间，SROCC和PLCC的绝对值越接近于1，RMSE越接近0，说明客观质量评价方法的预测性能越好。

本发明方法将与4种平面图像客观质量评价方法和4种光场图像客观质量评价方法比较。其中，包括了两种2D全参考图像质量评价方法，它们是SSIM方法(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image quality assessment:from errorvisibility to structural similarity,”IEEE Trans.Image Process.,vol.13,no.4,pp.600-612,Apr.2004(图像质量评估:从误差可见性到结构相似性))和VIF方法(H.R.Sheikh,and A.C.Bovik,“Image information and visual quality,”IEEETrans.Image Process.,vol.15,no.2,pp.430–444,Feb.2006(图像信息和视觉质量))；两种2D无参考图像质量评价方法，它们是BRISQUE方法(A.Mittal,A.K.Moorthy,andA.C.Bovik,“No-Reference Image Quality Assessment in the Spatial Domain,”IEEETrans.Image Process.,vol.21,no.12,pp.4695-4708,Dec.2012(空间域的无参考图像质量评价))和SSEQ方法(L.Liu,B.Liu,H.Huang,and A.C.Bovik,“No-reference imagequality assessment based on spatial and spectral entropies,”SignalProcess.Image Commun.,vol.29,no.8,pp.856-863,Sep.2014(基于空间和谱熵的无参考图像质量评价))；一种全参考光场图像质量评价方法，该方法为MDFM方法；三种无参考光场图像质量评价方法，它们是BELIF、NR-LFQA和Tensor-NLFQ。

表2给出了本发明方法与SSIM、VIF、BRISQUE、SSQE、MDFM、BELIF、NR-LFQA和Tensor-NLFQ共8种现有的客观质量评价方法在NBULF1.0和Win5-LID数据库中的预测性能指标SROCC、PLCC和RMSE的值。

表2本发明方法与SSIM、VIF、BRISQUE、SSQE、MDFM、BELIF、NR-LFQA和Tensor-NLFQ共8种现有的客观质量评价方法在NBULF1.0和Win5-LID数据库上的3个性能指标SROCC、PLCC和RMSE的结果

从表2中可以看出，在Win5-LID和NBULF1.0数据库中，本发明方法均具有最优异的预测性能。本发明方法在不同数据库中均具有较好的预测性能，这表明本发明方法具有很好的鲁棒性。值得一提的是，与全参考方法相比，本发明方法也依然占据优势。

Claims (1)

1.一种基于高维离散余弦变换的无参考光场图像质量评价方法，其特征在于包括以下步骤：

步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为I_u,v；其中，1≤u≤U，1≤v≤V；

步骤2：将子孔径图像阵列中除最后一行和最后一列外的每幅子孔径图像作为待处理子孔径图像，将子孔径图像阵列中视点坐标位置为(u',v')的待处理子孔径图像记为I_u',v'；然后计算子孔径图像阵列中的每幅待处理子孔径图像与其水平相邻的子孔径图像之间的水平差分图像，将I_u',v'与其水平相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u'+1,v')的待处理子孔径图像I_u'+1,v'之间的水平差分图像记为

将

中坐标位置为(x,y)的像素点的像素值记为

并计算子孔径图像阵列中的每幅待处理子孔径图像与其垂直相邻的子孔径图像之间的垂直差分图像，将I_u',v'与其垂直相邻的子孔径图像即子孔径图像阵列中视点坐标位置为(u',v'+1)的待处理子孔径图像I_u',v'+1之间的垂直差分图像记为

将

中坐标位置为(x,y)的像素点的像素值记为

接着计算子孔径图像阵列中的每幅待处理子孔径图像的子孔径梯度图像，将I_u',v'的子孔径梯度图像记为G_u',v'，将G_u',v'中坐标位置为(x,y)的像素点的像素值记为G_u',v'(x,y)，

在得到子孔径图像阵列中的所有待处理子孔径图像的子孔径梯度图像后，将子孔径图像阵列转换成子孔径梯度图像阵列，记为G，G的角度分辨率为(U-1)×(V-1)，即由(U-1)×(V-1)幅子孔径梯度图像构成，G的空间分辨率为X×Y，即每幅子孔径梯度图像的分辨率为X×Y；其中，1≤u'≤U-1，1≤v'≤V-1，1≤x≤X，1≤y≤Y，符号“| |”为取绝对值符号，I_u',v'(x,y)表示I_u',v'中坐标位置为(x,y)的像素点的像素值，I_u'+1,v'(x,y)表示I_u'+1,v'中坐标位置为(x,y)的像素点的像素值，I_u',v'+1(x,y)表示I_u',v'+1中坐标位置为(x,y)的像素点的像素值；

步骤3：将G划分为

个互不重叠的尺寸为4×4×4×4的4D块，将G中的第s个4D块记为GB_s，将GB_s中坐标位置为(u₁,v₁,x₁,y₁)的像素点的像素值记为GB_s(u₁,v₁,x₁,y₁)；然后采用四维离散余弦变换技术将G中的每个4D块转换到4D-DCT域中，得到G中的每个4D块对应的频域块，将GB_s对应的频域块记为FB_s，将FB_s中频域坐标位置为

上的值记为

即为GB_s在4D-DCT域中在频域坐标位置

上的4D-DCT系数，GB_s在4D-DCT域中共包含有256个4D-DCT系数，包括1个直流系数和255个交流系数，当

时GB_s在4D-DCT域中在频域坐标位置(1,1,1,1)上的4D-DCT系数为直流系数；其中，符号

为向下取整符号，

1≤u₁≤4，1≤v₁≤4，1≤x₁≤4，1≤y₁≤4，

函数g()的功能定义为

a₁,a₂为两个参数；

步骤4：计算G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数所对应的能量值，在

不为(1,1,1,1)的情况下将G中的所有4D块在4D-DCT域中在频域坐标位置

上的交流系数所对应的能量值记为

然后将得到的255个能量值按顺序排列构成维数为255×1的能量向量，作为L对应的能量向量，并记为E，E＝[E₁,E₂,…,E_k,…,E₂₅₅]^T；其中，

1≤k≤255，符号“[]”为向量或矩阵表示符号，E₁表示E中的第1个元素，E₂表示E中的第2个元素，E_k表示E中的第k个元素，E₂₅₅表示E中的第255个元素，k与

的关系为：

E₁＝e(1,1,1,2)，E₂＝e(1,1,1,3)，

E₂₅₅＝e(4,4,4,4)，上标“T”表示向量或矩阵的转置；

步骤5：提取出G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数的振幅并构成维数为1×SZ的振幅向量，在

不为(1,1,1,1)的情况下将G中的所有4D块在4D-DCT域中在频域坐标位置

上的交流系数的振幅构成的振幅向量记为

然后对得到的每个振幅向量用韦伯概率分布进行拟合，拟合后得到对应的尺度参数，将对

用韦伯概率分布进行拟合后得到的对应的尺度参数记为

再将得到的255个尺度参数按顺序排列构成维数为255×1的无符号系数分布特征向量，作为L对应的无符号系数分布特征向量，并记为λ，λ＝[λ₁,λ₂,…,λ_k,…,λ₂₅₅]^T；其中，符号“||”为取绝对值符号，

表示G中的第1个4D块记为GB₁对应的频域块FB₁中频域坐标位置为

上的值，

表示G中的第SZ个4D块记为GB_SZ对应的频域块FB_SZ中频域坐标位置为

上的值，

为

的振幅，

为

的振幅，

为

的振幅，λ₁表示λ的第1个元素，λ₂表示λ的第2个元素，λ_k表示λ的第k个元素，λ₂₅₅表示λ的第255个元素，k与

的关系为：

λ₁＝w(1,1,1,2)，λ₂＝w(1,1,1,3)，

λ₂₅₅＝w(4,4,4,4)；

步骤6：选取N幅用于训练的4维的无失真光场图像，按照步骤1至步骤5的过程，以相同的方式获取每幅无失真光场图像对应的能量向量和无符号系数分布特征向量；然后将N幅无失真光场图像对应的能量向量构成训练的能量矩阵，记为Z_E，Z_E＝[TE₁,TE₂,…,TE_n,…,TE_N]，将N幅无失真光场图像对应的无符号系数分布特征向量构成训练的无符号系数分布特征矩阵，记为Z_W，Z_W＝[TW₁,TW₂,…,TW_n,…,TW_N]；然后对Z_E进行主成分分析，获得维数为255×m₁的能量投影矩阵，记为

同样，对Z_W进行主成分分析，获得维数为255×m₂的无符号系数分布特征投影矩阵，记为

其中，N≥100，无失真光场图像的角度分辨率为U×V，无失真光场图像的空间分辨率为X×Y，Z_E和Z_W的维数均为255×N，TE₁表示第1幅无失真光场图像对应的能量向量，TE₂表示第2幅无失真光场图像对应的能量向量，TE_n表示第n幅无失真光场图像对应的能量向量，TE_N表示第N幅无失真光场图像对应的能量向量，TW₁表示第1幅无失真光场图像对应的无符号系数分布特征向量，TW₂表示第2幅无失真光场图像对应的无符号系数分布特征向量，TW_n表示第n幅无失真光场图像对应的无符号系数分布特征向量，TW_N表示第N幅无失真光场图像对应的无符号系数分布特征向量，1≤n≤N，m₁和m₂均为正整数，1≤m₁+m₂＜N；

步骤7：对E进行去中心化处理，得到去中心化处理后的能量向量，记为

同样，对λ进行去中心化处理，得到去中心化处理后的无符号系数分布特征向量，记为

然后用

对

进行降维，得到L对应的裁剪的能量向量，记为F_E，

同样，用

对

进行降维，得到L对应的裁剪的无符号系数分布特征向量，记为F_W，

其中，

和

的维数为255×1，μ_ZE为通过对Z_E中的每行逐行求平均得到，即μ_ZE中的第k个元素为Z_E中的第k行的所有元素的平均值，μ_ZW为通过对Z_W中的每行逐行求平均得到，即μ_ZW中的第k个元素为Z_W中的第k行的所有元素的平均值，F_E的维数为m₁×1，F_W的维数为m₂×1；

步骤8：将F_E和F_W连接起来构成的向量作为L的感知特征向量，记为F，F＝[(F_E)^T,(F_W)^T]；其中，F的维数为1×(m₁+m₂)；

步骤9：将F作为输入，结合支持向量回归技术，计算得到L的客观质量评价分数，记为Q_predict；其中，Q_predict越大，说明输入的F对应的光场图像的质量越好；反之，说明输入的F对应的光场图像的质量越差。

Images