CN108769671B

CN108769671B - 基于自适应融合图像的立体图像质量评价方法

Info

Publication number: CN108769671B
Application number: CN201810609987.5A
Authority: CN
Inventors: 李素梅; 韩旭; 常永莉; 侯春萍
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2018-06-13
Filing date: 2018-06-13
Publication date: 2020-09-22
Anticipated expiration: 2038-06-13
Also published as: CN108769671A

Abstract

本发明属于图像处理领域，为提出一种采用该融合图像的立体图像质量评价方法。使新的立体图像质量评价方法更加准确高效，更贴合人眼感知质量，同时在一定程度上推动立体成像技术的发展。为此，本发明采用的技术方案是，基于自适应融合图像的立体图像质量评价方法，采用立体图像左右视点，在考虑到双目竞争、视觉多通道特性和对比敏感度函数的基础上采用自适应的融合图像，然后提取融合图像空间熵和谱熵特征，送入SVR中进行质量评价。本发明主要应用于图像处理场合。

Description

基于自适应融合图像的立体图像质量评价方法

技术领域

本发明属于图像处理领域，涉及到立体图像质量评价方法的改进优化，尤其涉及到符合人眼视觉特性的融合图像的构建。

背景技术

近年来，立体图像的应用十分广泛，但相应的立体图像质量评价方法却面临很多的困难。相比平面图像质量评价，立体图像质量评价需考虑视觉疲劳、深度感知、立体感等因素^[1]。同样，立体图像质量评价方法可分为主观评价方法和客观评价方法，主观评价费事、费力，客观评价应用更灵活，更方便，因此寻找一种有效的立体图像质量客观评价方法十分重要^[2-5]。

通常立体图像质量客观评价方法分为基于平面图像的质量评价方法、基于特征提取的质量评价方法^[6-8]、基于稀疏表示的质量评价方法^[9-11]和基于深度学习的质量评价方法^[12-14]。本发明采用基于特征提取的方法评价立体图像质量，基于特征提取的方法也是现今主流的方法。例如文献[6]中提取了立体图像的自然场景统计信息、空间熵、谱熵信息和视差分布的峭度和偏度进行质量评价。文献[7]提取了空间和梯度上的统计和感知特征。文献[8]中提取了DOG的特征并进行稀疏表示进而评价立体图像质量。上述方法均为先分别评价立体图像的左右视点的质量，然后根据人眼视觉特性进行分数的加权结合，得到立体图像最终质量分数。然而事实上，立体图像是先在视路上根据双目竞争机制进行左右视点的融合，然后在脑中对融合图像进行分析处理的到立体图像的质量等信息^[15]。

基于此特性，许多研究开始采用融合图像评价立体图像质量，符合人眼视觉的融合图像的构建方法也成为研究的热点。例如文献[16-17]中，融合图像是由立体图像的右视点和视差图线性叠加得到的。文献[18]采用的融合图像是由立体图像的主眼和深度图线性叠加形成的。但这些线性叠加的方法明显不符合人眼双目融合机制，同时在不成熟的提取技术下，所采用的视差图和深度图质量也会发生改变。文献[19-20]考虑了双目竞争机制得到了一种非线性融合图像的幅度和相位图。但所得幅度和相位不能代表整个融合图像，同时这种非线性融合图像没有考虑到双目融合过程中线性叠加的情况。文献[16-20]所提出的融合图像均只适用于对称失真立体图像。但是在实际中，由于左右视点在拍摄时就不尽相同，常见的立体图像均是非对称失真。文献[21]提出了一种合理的融合图像模型，该模型考虑到了双目竞争过程中的增益控制和增益增强特性，大量的实验证明该模型在对称失真和非对称失真立体图像上的效果都很出色。本发明所提出的融合图像方法就是受该模型启发。

信息熵是评价图片内包含信息多少的有效手段，sporring^[22]研究了图像的熵、直方图和图像矩的关系，发现熵可以有效地表示图像的多尺度统计信息。文献[23]利用图像的熵有效地评价了平面图像质量。本发明受该文献启发，采用空间熵和谱熵特征评价立体图像质量。

发明内容

为克服现有技术的不足，本发明旨在提出一种采用该融合图像的立体图像质量评价方法。使新的立体图像质量评价方法更加准确高效，更贴合人眼感知质量，同时在一定程度上推动立体成像技术的发展。为此，本发明采用的技术方案是，基于自适应融合图像的立体图像质量评价方法，采用立体图像左右视点，在考虑到双目竞争、视觉多通道特性和对比敏感度函数的基础上采用自适应的融合图像，然后提取融合图像空间熵和谱熵特征，送入SVR中进行质量评价。

具体的，融合图像建立方法：

根据双目竞争机制过程中增益抑制和增益增强特性确定融合图像产生公式，

其中，C(x,y)代表产生的融合图像，TCE_v和TCE^* _v，v∈(l,r)代表左右视点增益抑制的总共对比度能量和增益增强的总共对比度能量，I_l(x,y)和I_r(x,y)分别代表立体图像左右视点；

考虑人眼多通道视觉特性与对比度敏感函数求解总共对比度能量TCE_v和TCE^* _v，采用六个尺度f_s∈{1.5,2.5,3.5,5,7,10}(cycles/degree)}八个方向θ∈{kπ/8|k＝0,1,…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行滤波，模拟人眼多通道视觉特性，在一个视点，一个通道上共产生6×8＝48幅图，将滤波后图像经过CSF滤波器，滤除人眼不敏感的频率成分，最后根据公式

和

v∈(l,r)求解TCE_v和TCE^* _v，

为经过Gabor和CSF滤波器后的图像，

代表左右图像权重，

v∈(l,r)，gc和ge为增益控制门限和增益增强门限；

空间熵、谱熵的提取：

首先将融合图像进行二倍因子的下采样为高中低三个尺度，并在采样过程中进行双线性差值，然后将每张下采样的融合图像划分成8×8不重叠的小块，分别计算每个小块的空间熵和谱熵。将空间熵和谱熵升序排列分别表示为S＝(se₁,se₂,...,se_m)和F＝(fe₁,fe₂,...,fe_m)，其中se_i,fe_i代表局部的空间熵和谱熵即每个小块的空间熵和谱熵，下标m代表每个尺度下图像块的总数，将空间熵和谱熵特征进行百分比池化，得到新的特征S_p和F_p，最终特征表示为feature＝(mean(S_p),skew(S),mean(F_p),skew(F))，它由S_p和F_p的均值和S和F的偏度组成，一副融合图像得到3个尺度下的特征，共3×4＝12个特征。

SVR特征回归：

将池化后的空间熵和谱熵特征输入到SVR中训练，得到立体图像最终客观质量评分。

具体地，计算8×8小图像块的DCT系数矩阵C，归一化DCT系数矩阵产生小块的频谱图：

其中，1≤i≤8，1≤j≤8，并且i,j≠1即DCT系数中直流系数被去除，谱熵表示为E_f＝-∑_i∑_jP(i,j)log₂p(i,j)，同样的采用小图像块的谱熵的均值和偏度作为局部谱熵特征，每个尺度下提取2个局部特征，共2×3＝6个局部特征。

本发明的特点及有益效果是：

本发明提出的融合图像模型考虑了人眼在融合左右视点图像时的双目竞争特性以及人眼的多通道特性和视觉敏感度函数，在理论上和实验上都表明本发明所提出的模型适用于对称和非对称失真立体图像，是一种自适应的模型。本发明提取了融合图像的空间熵和谱熵特征评价立体图像质量，实验结果说明本方法的评价效果在对称和非对称失真图像上都很出色，特别在非对称失真图像上其性能远超于其他模型。

附图说明：

图1本算法实现流程。

图2融合图像形成流程。

图3原始融合图像和其它失真版本图像对比图。其中，原始融合图像(a)，和其相应的失真版本(b)Gblur,(c)FF,(d)JP2K,(e)JPEG,(f)WN。

具体实施方式

为克服现有技术的不足，本发明旨在基于人眼视觉机制，建立一种有效的自适应融合图像的生成方法。提出一种采用该融合图像的立体图像质量评价方法。使新的立体图像质量评价方法更加准确高效，更贴合人眼感知质量，同时在一定程度上推动立体成像技术的发展。

本发明采用立体图像左右视点，在考虑到双目竞争、视觉多通道特性和对比敏感度函数的基础上提出了一种自适应的融合图像，然后提取融合图像空间熵和谱熵特征，送入SVR中进行质量评价。

具体的，融合图像建立方法：

其中，C(x,y)代表产生的融合图像，TCE_v和TCE^* _v，v∈(l,r)代表左右视点的增益抑制的总共对比度能量和增益增强的总共对比度能量，I_l(x,y)和I_r(x,y)分别代表立体图像左右视点图像。

考虑人眼多通道视觉特性与对比度敏感函数求解总共对比度能量TCE_v和TCE^* _v。采用六个尺度f_s∈{1.5,2.5,3.5,5,7,10}(cycles/degree)}八个方向θ∈{kπ/8|k＝0,1,…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行滤波，模拟人眼多通道视觉特性。在一个视点，一个通道上共产生48幅图。将滤波后图像经过CSF滤波器，滤除人眼不敏感的频率成分。最后根据公式

和

v∈(l,r)求解TCE_v和TCE^*v。其中

为经过Gabor和CSF滤波器后的图像，

代表左右图像权重，gc和ge为增益控制门限和增益增强门限。

本发明提出的融合图像符合人眼视觉特性，考虑到了双目融合时线性和非线性融合情形，在对称失真和非对称失真图像上的实验效果都很出色。

空间熵、谱熵的提取：

首先将融合图像进行二倍因子的下采样为高中低三个尺度，并在采样过程中进行双线性差值。然后将每张下采样的融合图像划分成8*8不重叠的小块，分别计算每个小块的空间熵和谱熵。将空间熵和谱熵升序排列分别表示为S＝(se₁,se₂,...,se_m)和F＝(fe₁,fe₂,...,fe_m)。其中se_i,fe_i代表局部的空间熵和谱熵即每个小块的空间熵和谱熵，下标m代表每个尺度下图像块的总数。将空间熵和谱熵特征进行百分比池化，得到新的特征S_p和F_p。最终特征表示为feature＝(mean(S_p),skew(S),mean(F_p),skew(F))。它由S_p和F_p的均值和S和F的偏度组成。一副融合图像可以得到3个尺度下的特征，共3×4＝12个特征。

SVR特征回归：

本发明采用公开的立体图像库LIVE 3D Phase I和LIVE 3D Phase II进行实验。LIVE 3D Phase I图像库包含20张原始立体图像对和365张对称失真立体图像对，失真类型包含JPEG压缩、JPEG 2000压缩、高斯模糊Gblur、高斯白噪声WN和快衰退FF，DMOS值分布在-10到60。LIVE 3D Phase II图像库包含8张原始立体图像对和360张对称失真和非对称失真的立体图像对，其中120对为对称失真立体图像，240对为非对称失真立体图像，失真类型包含JPEG压缩、JPEG 2000压缩、高斯模糊Gblur、高斯白噪声WN和快衰退FF，DMOS值分布在0到100。

下面结合技术方案详细说明本方法：

本发明质量评价方法模拟人脑处理立体图像的流程，首先对立体图像左右视点进行融合，形成融合图像，而后进行信息处理，评价图像质量。本发明所提出的融合图像模型是一种自适应的模型，其实验效果在对称和非对称失真图像库上都很好，特别是在非对称失真图像上表现十分出色。本发明提出的基于自适应融合图像的立体图像质量评价方法主要涉及以下内容。首先由立体图像左右视点形成融合图像，然后提取融合图像的空间熵和谱熵特征送入SVR进行学习，得到最终的立体图像质量分数。

具体步骤如下：

1融合图像的获取

1.1融合图像模型的建立

在视野中小领域内，每一只眼睛对另一只眼睛产生增益控制，并且对来自另一只眼睛的增益控制产生抑制，即增益增强^[21]。考虑到了上述双目竞争过程中的增益控制和增益增强视觉特性，建立公式(1)得到本发明所提出的融合图像，经过整理成为公式(2)，即为本发明融合图像模型。其中C(x,y)代表本发明的融合图像，I_l(x,y)和I_r(x,y)代表立体图像的左右视点，TCE_v,v∈(l,r)为左右视点对增益控制的总共对比度能量，TCE^*v,v∈(l,r)为左右视点对增益增强的总共对比度能量。TCE_v和TCE^* _v的求解过程考虑到了视觉多通道特性、对比度敏感函数和增益控制和增益增强门限。

1.2总共对比度能量TCE的求解

视觉心理学和生理学实验表明人类视觉系统存在独立的空间频率处理单元，它通过多个并列的视觉通道来传输观看到的信息，不同通道的处理单元整体上相互独立，这些通道会对特定空间频率和方向上的视觉激励做出响应，通常使用低通与带通滤波器来模拟实现^[24]。本发明中考虑采用Gabor滤波器模拟多通道视觉特性。采用六个尺度f_s∈{1.5,2.5,3.5,5,7,10}(cycles/degree)}八个方向θ∈{kπ/8|k＝0,1,…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行卷积，一幅立体图像的一个视点的一个通道最终形成48幅图像记为

和

如图2中所示。其中l和r代表左右视点，n∈{1,2,…,48}，由于对RGB三个通道分别进行处理，保留了色度信息，为以后的实验研究提供了方便。

根据对比度敏感度理论，人眼视觉系统对于不同频率的图像呈现一种带通特性，即当图像频率过低或过高的情况下，人眼对图像的识别能力都会降低。考虑到此特性，本发明采用对比度敏感函数CSF将

和

中不重要的频率成分滤除得到

和

进而由公式(3)(4)得到TCE_v和TCE^*v，其中gc是增益控制门限，在图像对比度能量超过此门限时，增益控制的作用效果变得明显。ge是增益增强门限，在图像对比度能量超过此门限时增益增强的作用效果变得明显。权重

和

可由公式(5)得到，此权重代表48幅图像中第n，n∈{1,2,…,48}幅图像强度占总共的图像强度的比例。

1.3自适应特性的分析

现存的非线性融合图像模型大多如文献[20]中的模型即公式(6)，其中C代表融合图像，LP_L和LP_R代表立体图像左右视点的刺激，GE_L和GE_R代表左右视点刺激的权重。但此融合图像模型并不满足双目融合时所有的线性和非线性融合情况。

事实上双目竞争只发生在左右视点的对比度能量高于某个特定门限T的时候，当左右视点的对比度能量低于这个门限，融合图像仅仅是左右视点的线性加权，是一种线性的模型^[21]。在本发明的模型中，当对比度能量低于这个门限的时候，TCE和TCE^*接近于0并且远远小于1，模型退化为C(x,y)＝I_l(x,y)+I_r(x,y)，符合这种线性叠加的情况。但公式(6)在权重GE_L和GE_R接近于0时，比值

和

还是随着权重的变化而非线性的变化，不符合这种线性叠加的情况。

大多数自然场景的图像，左右视点的对比度能量都高于门限T，双目融合、双目竞争机制在此时发生。但在左右视点的对比度能量相差不大的情况下，融合图像相当于仅仅由一只眼睛的刺激产生，即闭上一只眼睛看到的图像，即立体图像对称失真的情况^[21]。在本发明的模型中当左右视点的对比度能量相差不大时，TCE_l＝TCE_r＝TCE^* _l＝TCE^* _r＝TCE,I_l(x,y)＝I_r(x,y)＝I(x,y)，融合图像模型退化为

在自然场景中TCE＞＞1，最终模型退化为C(x,y)＝I(x,y)。当闭上一只眼睛即I_l(x,y)或I_r(x,y)为0时，模型退化为C(x,y)＝I(x,y)，与左右视点对比度能量相差不多时结果相同，满足文献[21]提出的理论。但公式(6)在闭上一只眼睛的情况下融合图像为0，在左右视点对比度能量相差不大时融合图像为C＝LP，这显然是矛盾的。

在自然场景图像中，大多数图像左右视点对比度能量有明显区别，即立体图像非对称失真的情况，此时图像融合过程中发生了增益控制和增益增强，为非线性叠加模型。本发明模型的增益控制和增益增强门限gc和ge可以根据左右图像的对比度能量进行调节，不管左右视点的对比度能量如何我们都能找到合适的门限，确定何时增益控制或增益增强效果变得明显。而公式(2)并没有考虑到这个门限，默认了增益控制和增益增强效果一样明显，所以我们的模型自我调节能力更强。

本发明产生的原始图像的融合图像和其对应失真版本的融合图像如图3所示。

2空间熵和谱熵特征的提取

图像的熵表明了图像包含信息的多少，在多尺度上统计图像的熵可以表示多尺度空间上的信息。图像在不同失真类型和程度下，局部熵分布会相应的发生改变。空间熵表示了局部像素值的分布，它显示了像素上的统计信息。谱熵为局部DCT系数的分布，它比空间熵更能表示图像的失真类型和失真程度^[23]。根据以上分析，我们首先将融合图像进行二倍因子的下采样成为高中低三个尺度融合图像，并在采样过程中进行双线性差值。然后将每张下采样的融合图像分成8×8不重叠的小块，分别计算每个小块的空间熵和谱熵。

2.1空间熵的提取

空间熵表示为E_s＝-∑_xp(x)log₂p(x)，其中x为8×8小图像块中像素值，p(x)为概率密度函数。我们采用小图像块的空间熵的均值和偏度作为局部空间熵特征，每个尺度下提取2个局部特征，共2×3＝6个局部特征。

2.2谱熵的提取

计算8×8小图像块的DCT系数矩阵C，归一化DCT系数矩阵产生小块的频谱图。

其中，1≤i≤8，1≤j≤8，并且i,j≠1即DCT系数中直流系数被去除。谱熵表示为E_f＝-∑_i∑_jP(i,j)log₂p(i,j)，同样的采用小图像块的谱熵的均值和偏度作为局部谱熵特征，每个尺度下提取2个局部特征，共2×3＝6个局部特征。

2.3特征池化

将局部空间熵和谱熵特征进行升序排列分别表示为S＝(se₁,se₂,…se_m)和F＝(fe₁,fe₂,…fe_m)。其中se_i,fe_i代表局部空间熵和谱熵特征，下标m代表每个尺度下的图像块总数。将空间熵和谱熵进行百分比池化，选取特征的60％即S_p＝(se_0.2m,se_0.2m+1,…se_0.8m)，F_p＝(fe_0.2m,fe_0.2m+1,…fe_0.8m)得到新的特征S_p和F_p。百分比池化的使用可以提升本发明所提出方法的评价效果。最终特征表示为feature＝(mean(S_p),skew(S),mean(F_p),skew(F))。它由S_p和F_p的均值和S和F的偏度度组成。一副融合图像可得到3个尺度下的特征，共3×4＝12个特征。

3 SVR特征回归

将训练集空间熵和谱熵特征送入SVM进行回归学习，将测试集空间熵和谱熵特征送入训练好的SVM中得到立体图像客观质量评分。

4立体图像质量评价结果与分析

本发明的实验在公开的LIVE 3D Phase I和LIVE 3D Phase II上进行。LIVE 3DPhase I和LIVE 3D Phase II均包含了5种失真类型，JPEG压缩、JPEG 2000压缩、高斯模糊Gblur、高斯白噪声WN和快衰退FF。LIVE 3D Phase I图像库包含20张原始立体图像对和365张对称失真立体图像对。LIVE 3D Phase II图像库包含8张原始立体图像对和360张对称失真和非对称失真的立体图像对，其中120对为对称失真，240对为非对称失真。本发明采用Pearson相关系数(PLCC)和Spearman等级相关系数(SROCC)作为主客观评价结果一致性的度量方法。PLCC和SROCC越接近于1，评价效果越好。

本发明将实验结果与4种(Xu^[6]和Ma^[7]传统的基于特征提取的方法，Lu^[19]和Lin^[20]基于融合图像的算法)现存的算法进行比较。表1显示了本发明的算法和4种对比算法在LIVE 3D Phase I和LIVE 3D Phase II上的整体效果。

表1在LIVE 3D图像库上不同评价方法性能比较

从表1中可以看到，本发明在LIVE 3D Phase I上PLCC超过了0.94，是5种算法中第二好的算法。在LIVE 3D Phase II中，SROCC超过了0.93，PLCC超过了0.94，其效果远远超过其他算法。可以看到本发明融合图像算法的实验效果在LIVE 3D Phase II上远远优于其他融合图像算法(Lu^[19]和Lin^[20])，同时在LIVE 3D Phase I中同样表现良好。本发明融合图像算法不仅适用于对称失真图像，在非对称失真图像上实验效果也十分出色。本发明所提出的融合图像模型相比其他融合图像模型更符合人眼视觉感知特性，是一种自适应的算法。

为了进一步验证本发明算法的具体效果，我们在不同失真类型的立体图像上进行实验。表2和表3分别显示了在LIVE 3D Phase I和LIVE 3D Phase II图像库上的实验效果。可以

表2在LIVE 3D Phase I上不同失真类型性能比较

SROCC	BLUR	FF	JP2K	JPEG	WN	ALL
							Xu<sup>[6]</sup>	0.907	0.800	0.903	0.678	0.905	0.948
Ma<sup>[7]</sup>	0.921	0.792	0.907	0.660	0.928	0.928
							Lu<sup>[19]</sup>	0.927	0.833	0.910	0.739	0.929	0.940
Lin<sup>[20]</sup>	0.933	0.829	0.913	0.716	0.929	0.931
							Proposed	0.966	0.649	0.819	0.779	0.911	0.926
PLCC	BLUR	FF	JP2K	JPEG	WN	ALL
							Xu<sup>[6]</sup>	0.966	0.848	0.951	0.738	0.948	0.949
Ma<sup>[7]</sup>	0.936	0.843	0.940	0.720	0.935	0.930
							Lu<sup>[19]</sup>	0.957	0.884	0.951	0.775	0.935	0.944
Lin<sup>[20]</sup>	0.958	0.862	0.952	0.755	0.927	0.937
							Proposed	0.974	0.827	0.868	0.809	0.960	0.945

表3在LIVE 3D Phase II上不同失真类型性能比较

由表1、2可看到，在LIVE 3D Phase I中，本发明算法在BLUR、JPEG和WN失真类型的图像上表现优于其他算方法。在LIVE 3D Phase II中，本发明算法在所有失真类型图像上表现均明显优于其他算法。由表2和表3可以看出我们的算法仅仅在JPEG失真类型上表现欠佳，针对其他的失真类型不管是对称失真还是非对称失真图像表现都很优秀。

本发明的融合图像算法适用于对称失真和非对称失真图像，特别是在非对称失真图像上，我们的实验效果远远超于其他算法。理论上和实验上都说明了我们的融合图像算法是一种自适应的算法。

参考文献

[1]M.Lambooij,W.IJsselsteijn,M.Fortuin,and I.Heynderickx,“Visualdiscomfort and visual fatigue of stereoscopic displays:A review,”J.Imag.Sci.Technol,vol.53,no.3,pp.30201-1–30201-14,2009.

[2]M.-J.Chen,C.-C.Su,D.-K.Kwon,L.K.Cormack,and A.C.Bovik,“Full-reference quality assessment of stereoscopic pairs accounting for rivalry,”Signal Processing:Image Communication,vol.28,no.9,pp.1143-1155,2013.

[3]X.Wang,Q.Liu,R.Wang,and Z.Chen,“Natural image statistics based 3Dreduced reference image quality assessment in contourlet domain,”Neurocomputing,vol.151,no.2,pp.683-691,2015.

[4]F.Shao,K.Li,W.Lin,G.Jiang,M.Yu,and Q.Dai,“Full-reference qualityassessment of stereoscopic images by learning binocular receptive fieldproperties,”IEEE Transactions on Image Processing,vol.24,no.10,pp.2971-2983,2015.

[5]B.Appina,S.Khan,and S.S.Channappayya,“No-reference StereoscopicImage Quality Assessment Using Natural Scene Statistics,”Signal Processing:Image Communication,vol.43,pp.1-14,2016.

[6]Xu X,Zhao Y,Ding Y.“No-reference stereoscopic image qualityassessment based on saliency-guided binocular feature consolidation,”inElectronics Letters,2017.

[7]Ma,Jian,et al.“Reduced-Reference Stereoscopic Image QualityAssessment Using Natural Scene Statistics and Structural Degradation,”IEEEAccess,vol.1,no.3,pp.99,2017.

[8]Shao,Feng,et al."Using Binocular Feature Combination for BlindQuality Assessment of Stereoscopic Images."IEEE Signal Processing Letters22.10(2015):1548-1551.

[9]Maryam Karimi,Mansour Nejati,S.M.Reza Soroushmehr,et al,“BlindStereoscopic Quality Assessment Based on Learned Features From BinocularCombined Images,”IEEE Transactions on Multimedia,vol.19,no.11pp.2475-2489,2017.

[10]Kemeng Li,Feng Shao,Gangyi Jiang.et al.“Joint structure–texturesparse coding for quality prediction of stereoscopic images,”ElectronicsLetters,vol.51,no.24,pp.1994-1995,2015.

[11]Chang,H.W,Yang,H,Gan,Y,et al.“Sparse feature fidelity forperceptual image quality assessment,”IEEE Trans.Image Process,vol.22,no.10,pp.4007–4018,2013.

[12]Wang G H,Li S M,Zhu D,et al.“Application of Extreme LearningMachine in Objective Stereoscopic image Quality Assessment,”Journal ofOptoelectronics·Laser,vol.9,pp.1837-1842,2014.

[13]Lv Y,Yu M,Jiang G,et al,“No-reference Stereoscopic Image QualityAssessment Using Binocular Self-similarity and Deep Neural Network,”SignalProcessing Image Communication,vol.47,pp.346-357,2016.

[14]Zeiler M D,Fergus R,“Stochastic Pooling for Regularization ofDeep Convolutional Neural Networks,”Eprint Arxiv,2013.

[15]Zhang,“Comfort performance of stereoscopic displays and researchon motion-in-depth based ERP,”Tianjin University,2014.

[16]Maalouf,A,&Larabi,M.C.“CYCLOP:A stereoscopic color image qualityassessment metric,”IEEE International Conference on Acoustics,Speech andSignal Processing,vol.45,pp.1161-1164,2011

[17]M.-J.Chen,C.-C.Su,D.-K.Kwon,L.K.Cormack,and A.C.Bovik,“Full-reference quality assessment of stereoscopic pairs accounting for rivalry,”Signal Process:Image Commun,vol.28,no.9,pp.1143–1155,2013.

[18]Fezza,Sid Ahmed,and M.C.Larabi."Stereoscopic 3D image qualityassessment based on cyclopean view and depth map."IEEE Fourth InternationalConference on Consumer Electronics Berlin IEEE,2015:335-339.

[19]Lu,Kaixuan,and W.Zhu.“Stereoscopic Image Quality AssessmyentBased on Cyclopean Image,”Dependable,Autonomic and Secure Computing,Intl Confon Pervasive Intelligence and Computing,Intl Conf on Big Data Intelligenceand Computing and Cyber Science and Technology Congress IEEE,pp.750-753,2016.

[20]Lin Y,Yang J,Wen L,et al.“Quality Index for Stereoscopic Imagesby Jointly Evaluating Cyclopean Amplitude and Cyclopean phase,”IEEE Journalof Selected Topics in Signal Processing,pp.99,2017.

[21]Jian Ding,Stanley A.Klein and Dennis M.Levi.“Binocularcombination of phase and contrast explained by a gain-control and gain-enhancement model,”in Journal of Vision,2013.

[22]J.Sponring,“The entropy of scale-space,in:Proceedings of the 13thInternational Conference on Pattern Recognition,”vol.1,no.8,pp.900–904,1996.

[23]Liu,L.,Liu,B.,and Huang,H.,“No-reference image quality assessmentbased on spatial and spectral entropies,”Signal Process,Image Commun.,vol.29,no.8,pp.856–863,2014.

[24]Donghyun Kim,SeungchulRyu and Kwanghoon.Depth perception andmotion cue based 3D video quality assessment[C].2012 IEEE InternationalSymposium on Broadband Multimedia System and Broadcasting,Piscataway,NJ,USA:IEEE,2012:1-4。

Claims

1.一种基于自适应融合图像的立体图像质量评价方法，其特征是，首先由立体图像左右视点形成融合图像，然后提取融合图像的空间熵和谱熵特征送入SVM进行回归学习，得到最终的立体图像质量分数；其中，具体地融合图像建立方法为：根据双目竞争机制过程中增益抑制和增益增强特性确定融合图像产生公式，

其中，C(x，y)代表产生的融合图像，TCE_v代表左右视点增益抑制的总共对比度能量，TCE*_v，代表左右视点增益增强的总共对比度能量，v∈(l，r)，I_l(x，y)和I_r(x，y)分别代表立体图像左右视点；

考虑人眼多通道视觉特性与对比度敏感函数求解总共对比度能量TCE_v和TCE*_v，采用六个尺度f_s∈{1.5，2.5，3.5，5，7，10}上述集合中的数值单位为cycles/degree，八个方向θ∈{kπ/8|k＝0，1，…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行滤波，模拟人眼多通道视觉特性，在一个视点，一个通道上共产生6×8＝48幅图，将滤波后图像经过CSF滤波器，滤除人眼不敏感的频率成分，最后根据公式

和

v∈(l，r)，分别求解TCE_v和TCE^* _v，其中，

为经过Gabor和CSF滤波器后的左右图像，

代表左右图像权重，

v∈(l，r)，g_c为增益控制门限，g_e为增益增强门限；

其中，提取融合图像的空间熵、谱熵特征的具体步骤：首先将融合图像进行二倍因子的下采样为高中低三个尺度，并在采样过程中进行双线性插值，然后将每张下采样的融合图像划分成8×8不重叠的小块，分别计算每个小块的空间熵和谱熵，将空间熵和谱熵升序排列分别表示为S＝(se₁，se₂，...，se_m)和F＝(fe₁，fe₂，...，fe_m)，其中，se_i，fe_i分别代表局部的空间熵和谱熵即每个小块的空间熵和谱熵，下标m代表每个尺度下图像块的总数，将空间熵和谱熵特征进行百分比池化，得到新的特征S_p和F_p，最终特征表示为feature＝(mean(S_p)，skew(S)，mean(F_p)，skew(F))，它由S_p和F_p的均值和S和F的偏度组成，一幅融合图像得到3个尺度下的特征，共3×4＝12个特征。