CN109523513A - 基于稀疏重建彩色融合图像的立体图像质量评价方法 - Google Patents

Abstract

本发明属于图像处理领域，为提出一种基于稀疏重建彩色融合图像的立体图像质量评价方法。此方法不仅与人眼主观MOS值具有很好的一致性，而且本文方法更加适合评价非对称失真立体图像，在一定基础上推动立体成像技术的发展。为此，本发明采，基于稀疏重建彩色融合图像的立体图像质量评价方法，首先，得到彩色融合图像，用彩色融合图像学习和训练字典，在训练好的完备字典D上重建失真的彩色融合图像，并使用相应的彩色融合图像进行信息补偿，然后，提取重建后的融合图像和相应的彩色融合图像的空间熵和谱熵特征，再对上述两种特征进行加权，得到最终特征；最后，通过支持向量机SVR得到最终质量分数。本发明主要应用于图像处理。

Description

基于稀疏重建彩色融合图像的立体图像质量评价方法

技术领域

本发明属于图像处理领域，涉及到图像融合、稀疏字典的构建以及立体图像质量评价方法的优化改进。

背景技术

随着多媒体成像和显示技术的飞速发展，立体成像技术得到了大量的关注与研究。在立体图像的采集、传输、压缩、恢复和显示过程中，不可避免的会引入一些失真。如何评价立体图像的失真程度，如何评价立体图像处理技术的好坏是值得讨论的重要问题。而立体图像质量评价方法可以解决以上问题。

目前，立体图像质量评价主要包括主观质量评价和客观质量评价。主观质量评价具有精确度高的特点，但是费时、费力、成本高。另外，主观评价的结果容易受到客观环境和主观情感的影响。因此，主观质量评价方法的实时性较差。相反，客观质量评价方法简单方便，能在较短的时间内自动检测测试图片的质量，具有很好的实时性。这对实际应用是十分重要的。因此，立体图像的客观质量评价方法得到了大量学者的研究^[1-4]。

目前所存在的客观立体图像质量评价方法主要包括基于2D图像的方法、基于特征提取的方法^[5-7]、基于稀疏表示的方法^[8-10]、基于深度学习的方法^[11-13]。本文主要讨论基于稀疏表示的方法。稀疏表示在图像处理、语音识别、模式识别等领域有着广泛的应用。虽然稀疏表示很少应用在立体图像质量评价领域，但也有一些研究人员展开了相关的研究。例如，文献[9]通过求解结构与纹理的稀疏编码来预测图像的质量。文献[14]分别提取图像的DOG,LBP和HOG特征并进行稀疏表示得到稀疏字典，然后利用学习到的字典进行立体图像的质量预测。以上这些方法都是首先评价左右视图的图像质量，最后将左右视点质量进行结合，得到被测立体图像的客观质量分数。事实上，人类视觉系统是一个复杂的神经系统，人的两只眼睛分别接收到同一场景的信息后，在视网膜上进行融合得到单视点融合图像，因为左右视点图像存在视差/深度信息，从而在人的大脑中产生了立体感觉。所以，以上先进行左右视点图像的质量评价最后得到立体图像的质量分数的方法是不合理的。本发明提出先将立体图像的左右视点融合成一幅单视点立体图像(融合图像)，然后对单视点立体图像特征提取，得到立体图像的质量分数。

为了模拟大脑的特性，一些研究者也开始通过处理融合图像来评估立体图像的质量。例如，文献[15-17]通过对左视点和视差图进行线型加权得到融合图像。但这种融合图像是由不完全符合人脑特性的简单方法得到的，且目前没有精确的获取视差的方法，不易获得良好的视差补偿图。文献[18]通过振幅与相位来评价立体图像质量，但是振幅与相位不能很好的代表融合图像。且以上方法获得的融合图像是灰度级别的融合图像，可能会丢失相应的颜色信息。另外，以上融合方法对于非对称失真的立体图像评价效果并不好。但是在现实的图像拍摄过程中，由于相机性能误差等客观原因并不能保证两个相机同时拍摄出的左右视点图像的亮度色度等完全相同，所以非对称失真的立体图像会更广泛。因此，本发明采用了一种更适合非对称失真的彩色融合图像进行立体图像质量评价任务。

本发明提出一种新的基于稀疏重建彩色融合图像的立体图像质量评价方法。首先利用原始彩色融合图像训练稀疏字典，然后利用训练好的字典对失真彩色融合图像进行稀疏重建。考虑到字典重建过程中可能会导致失真彩色融合图像丢失一些重要信息，因此本发明采用了信息补偿的方法，将相应的失真彩色融合图像补充到重建后的失真融合图像中。最后提取重建后的失真融合图像与相应的彩色融合图像的空间熵与谱熵特征，并对特征进行加权后送入支持向量机(SVR)回归拟合预测，得到立体图像客观质量分数。

发明内容

为克服现有技术的不足，本发明旨在基于人眼视觉机制，提出一种基于稀疏重建彩色融合图像的立体图像质量评价方法。此方法不仅与人眼主观MOS值具有很好的一致性，而且本文方法更加适合评价非对称失真立体图像，在一定基础上推动立体成像技术的发展。为此，本发明采取的技术方案是，基于稀疏重建彩色融合图像的立体图像质量评价方法，首先，得到彩色融合图像，用彩色融合图像学习和训练字典，在训练好的完备字典D上重建失真的彩色融合图像，并使用相应的彩色融合图像进行信息补偿，然后，提取重建后的融合图像和相应的彩色融合图像的空间熵和谱熵特征，再对上述两种特征进行加权，得到最终特征；最后，通过支持向量机SVR得到最终质量分数。

具体步骤细化如下：

融合图像的获得：

首先根据人眼多通道视觉特性与对比度敏感函数，求解总对比度能量和^*。根据人眼多通道视觉特性，采用六个尺度f_s∈{1.5,2.5,3.5,5,7,10}(cycles/degree)}八个方向θ∈{kπ/8|k＝0,1,…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行滤波，得到每个视点每个通道的48张特征图。根据对比度敏感函数，将Gabor滤波后图像经过对比度敏感函数CSF(contrast sensitivity function)滤波，滤除人眼不敏感的频率成分。最后根据公式和v∈(l,r)求解TCE_v和TCE^* _v。其中，v∈(l,r)代表左视点或者右视点，n代表48张特征图中的第n张特征图，为经过Gabor滤波和CSF滤波后的图像，代表左右图像权重，和为增益控制门限和增益增强门限；

根据双目竞争机制过程中增益抑制和增益增强特性,使用公式得到融合图像，其中，C(x,y)代表产生的融合图像，TCE_v和TCE^* _v，v∈(l,r)分别代表增益抑制的总对比度能量和增益增强的总对比度能量，I_l(x,y)和I_r(x,y)分别代表立体图像左右视点；

重建融合图像：

利用公式固定字典求解稀疏系数，再利用公式固定稀疏系数求解字典，其中，X是输入信号，D是完备字典，S是稀疏系数矩阵，D_j代表完备字典D中的第j列原子，通过利用特征符号搜索算法和拉格朗日对偶方法对字典进行训练，利用训练得到的完备字典对彩色融合图像进行稀疏表示，得到彩色融合图像的系数矩阵，然后用稀疏系数乘以训练字典得到重建的融合图像；

空间熵、谱熵的提取：

首先对融合图像进行下采样，得到高中低三个不同的尺度，然后将每张下采样的融合图像划分成8*8不重叠的小块，分别计算每个小块的空间熵和谱熵，将空间熵和谱熵升序排列分别表示为S＝(se₁,se₂,…se_m)和F＝(fe₁,fe₂,…fe_m)，其中，se_i,fe_i代表局部的空间熵和谱熵即每个小块的空间熵和谱熵，下标m代表每个尺度下图像块的总数，将空间熵和谱熵特征进行百分比池化，得到新的特征S_p和F_p，最终特征表示为feature＝(mean(S_p),skew(S),mean(F_p),skew(F))，它由S_p和F_p的均值和S和F的斜度组成，每幅融合图像可以得到3个尺度下的特征，共3*4＝12个特征；

客观质量分数：

根据公式F＝feature₁·τ₁+feature₂·τ₂对重建后的彩色融合图像的特征与相应的彩色融合图像的特征进行加权，feature₁代表重建后融合图像的特征，feature₂代表相应的彩色融合图像的特征，τ₁与τ₂代表权重因子，这里τ₁＝0.8，τ₂＝0.2，最后将总特征F送入SVR中，得到立体图像客观质量分数。

本发明的特点及有益效果是：

本发明采用了更加符合人眼视觉机制的融合图像，提出了一种新的基于稀疏重建彩色融合图像的立体图像质量评价方法。先用训练好的字典对融合图像进行重建，再通过信息补偿的方式，对重建后的融合图像与相应的彩色融合图像提取空间熵和谱熵特征，最后得到客观质量分数。实验结果表明本方法的评价效果十分贴近主观质量，在对称和非对称失真图像上的评价效果均与主观具有很好的一致性，且尤其适合非对称失真图像的质量评价。

附图说明：

图1本方法的具体流程图。

图2融合图像的形成流程图。

具体实施方式

首先，得到彩色融合图像。用彩色融合图像学习和训练字典，从而得到训练好的完备字典D。在完备字典D上重建失真的彩色融合图像。由于重建过程会导致信息丢失，在提取特征之前，使用相应的彩色融合图像进行信息补偿。然后，提取重建后的融合图像和相应的彩色融合图像的空间熵和谱熵特征。再对上述两种特征进行加权，得到最终特征。最后，通过支持向量机(SVR)得到最终质量分数。

融合图像的获得：

首先根据人眼多通道视觉特性与对比度敏感函数，求解总对比度能量TCE_v和TCE^* _v。根据人眼多通道视觉特性，采用六个尺度f_s∈{1.5,2.5,3.5,5,7,10}(cycles/degree)八个方向θ∈{kπ/8|k＝0,1,…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行滤波，得到每个视点每个通道的48张特征图。Gabor是一种短时傅立叶变换。根据对比度敏感函数，将Gabor滤波后图像经过对比度敏感函数CSF(contrast sensitivityfunction)滤波，滤除人眼不敏感的频率成分。最后根据公式和v∈(l,r)求解TCE_v和TCE^* _v。其中，v∈(l,r)代表左视点或者右视点，n代表48张特征图中的第n张特征图。为经过Gabor滤波和CSF滤波后的图像，代表左右图像权重，和为增益控制门限和增益增强门限。

根据双目竞争机制过程中增益抑制和增益增强特性,使用公式得到融合图像。其中，C(x,y)代表产生的融合图像。TCE_v和TCE^* _v，v∈(l,r)分别代表增益抑制的总对比度能量和增益增强的总对比度能量。I_l(x,y)和I_r(x,y)分别代表立体图像左右视点。

重建融合图像：

在字典训练的过程中，同时求解字典和稀疏系数是困难的。但是每次求解一个变量，它就是一个凸优化问题。利用公式固定字典求解稀疏系数，再利用公式固定稀疏系数求解字典。其中，X是输入信号，D是完备字典，S是稀疏系数矩阵。D_j代表字典D中的第j列原子。本发明通过利用特征符号搜索算法和拉格朗日对偶方法^[19]对字典进行训练。利用训练得到的完备字典对彩色融合图像进行稀疏表示，得到彩色融合图像的系数矩阵，然后用稀疏系数乘以训练字典得到重建的融合图像。

空间熵、谱熵的提取：

首先对融合图像进行下采样，得到高中低三个不同的尺度。然后将每张下采样的融合图像划分成8*8不重叠的小块，分别计算每个小块的空间熵和谱熵。将空间熵和谱熵升序排列分别表示为S＝(se₁,se₂,…se_m)和F＝(fe₁,fe₂,…fe_m)。其中，se_i,fe_i代表局部的空间熵和谱熵即每个小块的空间熵和谱熵，下标m代表每个尺度下图像块的总数。将空间熵和谱熵特征进行百分比池化，得到新的特征S_p和F_p。最终特征表示为feature＝(mean(S_p),skew(S),mean(F_p),skew(F))。它由S_p和F_p的均值和S和F的斜度组成。每幅融合图像可以得到3个尺度下的特征，共3*4＝12个特征。

客观质量分数：

根据公式F＝feature₁·τ₁+feature₂·τ₂对重建后的彩色融合图像的特征与相应的彩色融合图像的特征进行加权。feature₁代表重建后融合图像的特征，feature₂代表相应的彩色融合图像的特征。τ₁与τ₂代表权重因子，这里τ₁＝0.8，τ₂＝0.2。最后将总特征F送入SVR中，得到立体图像客观质量分数。

本发明所提方法在公开的立体图像库LIVE I和LIVE II上进行实验。LIVE I与LIVE II图像库均包含五种失真类型，分别为JPEG压缩、JPEG 2000压缩、高斯模糊Gblur、高斯白噪声WN和快衰退FF。LIVE I图像库包含20张原始立体图像对和365张对称失真立体图像对。LIVE II图像库包含8张原始立体图像对和360张对称失真和非对称失真的立体图像对，其中120对为对称失真立体图像，240对为非对称失真立体图像。

下面结合技术方法详细说明本方法。

本发明提出的基于稀疏重建彩色融合图像的立体图像质量评价方法主要涉及以下内容：首先采用原始融合图像训练稀疏字典，然后用训练好的字典对融合图像进行稀疏重建。本发明采用信息补偿的方式，提取重建后的融合图像与相应的彩色融合图像的空间熵与谱熵特征，有效地提高了方法的性能。最后将特征加权后，由SVR预测得到立体图像的客观质量分数。本发明所提方法的具体流程图如图1所示。

具体步骤如下：

1融合图像的获取

融合图像的获得过程如图2所示。

采用Gabor滤波器模拟多通道视觉特性。采用六个尺度f_s∈{1.5,2.5,3.5,5,7,10}(cycles/degree)八个方向θ∈{kπ/8|k＝0,1,…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行卷积，得到每张立体图像每个视点每个通道的48张特征图，记为和其中l和r代表左右视点，n∈{1,2,…,48}。

采用对比度敏感函数CSF(contrast sensitivity function)将和中不重要的频率成分滤除得到和进而由公式(1)(2)得到TCE_v和TCE^* _v。公式中，v∈(l,r)代表左视点或者右视点，n代表48张特征图中的第n张特征图。gc是增益控制门限，由公式(4)得到。在图像对比度能量超过此门限时，增益控制的作用效果变得明显。ge是增益增强门限，由公式(3)得到。在图像对比度能量超过此门限时增益增强的作用效果变得明显。权重和可由公式(5)得到，此权重代表48幅特征图中第n幅图像强度占总图像强度的比例。

最后由公式(6)得到融合图像。其中C(x,y)代表融合图像，I_l(x,y)和I_r(x,y)代表立体图像的左右视点，TCE_v,v∈(l,r)为对增益控制的总对比度能量，TCE^* _v,v∈(l,r)为对增益增强的总对比度能量。

2重建融合图像

在训练字典的过程中，同时求解字典与稀疏系数是困难的。但是每次求解一个，就可以将问题转换为凸优化问题。首先，利用公式(7)固定字典求解稀疏系数，再利用公式(8)固定稀疏系数求解字典。即采用固定一个来解决另一个的方式训练字典。

其中，X代表输入信号，D代表完备字典，S是稀疏系数矩阵。||·||₂代表l₂范数，λ为正则化参数。||·||₁代表l₁范数，D_j代表完备字典D的第j列原子。

在每次迭代过程中，特征符号搜索算法通过猜测稀疏系数符号将不可微的凹问题转化为无约束二次优化问题，从而提高了计算速度与求解稀疏系数的精度。本发明通过利用特征符号搜索算法和拉格朗日对偶方法^[19]对字典进行训练。利用训练得到的完备字典对彩色融合图像进行稀疏表示，得到彩色融合图像的系数矩阵，然后用稀疏系数乘以训练字典得到重建的融合图像。由于重建后的融合图像会丢失一部分重要信息，因此本发明使用相应的彩色融合图像来补偿稀疏重建过程中丢失的重要信息。

3空间熵、谱熵的提取

空间熵是局部像素值的概率分布函数，它代表像素级别的统计特征。谱熵可以被看做是局部DCT系数的概率分布函数^[20],能够有效地代表图像的失真类型与失真程度。本发明中，首先对融合图像进行下采样，得到高中低三个尺度融合图像。然后将经过下采样的融合图像分成8*8不重叠的小块，分别计算每个小块的空间熵和谱熵。将局部空间熵和谱熵特征进行升序排列分别表示为S＝(se₁,se₂,…se_m)和F＝(fe₁,fe₂,…fe_m)。其中se_i,fe_i代表局部空间熵和谱熵特征，下标m代表每个尺度下的图像块总数。将空间熵和谱熵进行百分比池化^[21]，选取特征的60％,即S_p＝(se_0.2m,se_0.2m+1,…se_0.8m)，F_p＝(fe_0.2m,fe_0.2m+1,…fe_0.8m)得到新的特征S_p和F_p。最终特征表示为feature＝(mean(S_p),skew(S),mean(F_p),skew(F))。它由S_p和F_p的均值和S和F的斜度组成。

4立体图像质量评价分数

首先根据公式(9)将两个特征进行加权。其中，featur₁代表重建后彩色融合图像的特征，feature₂代表相应的彩色融合图像的特征。τ₁与τ₂代表权重因子，这里τ₁＝0.8，τ₂＝0.2。最后将总特征F送入SVR中，得到立体图像质量分数。

F＝feature₁·τ₁+feature₂·τ₂ (9)

5立体图像质量评价结果与分析

本发明的实验在两个公开的立体图像库中进行，分别是LIVE I和LIVE II数据库。LIVE I和LIVE II数据库包含五种失真类型，包括JPEG压缩、JPEG 2000压缩、高斯模糊Gblur、高斯白噪声WN和快衰退FF。LIVE I包含对称失真图片，LIVE II包含非对称失真图片与对称失真图片。本发明采用Pearson相关系数(PLCC)和Spearman等级相关系数(SROCC)来评价方法的性能。

为了证明所提出方法的有效性，本发明将所提出方法与现有的质量评价方法进行了比较：Xu[5],Ma[6],Li[9],Shao[14],Lu[17],Lin[18]。在这些方法中，Xu[5]和Ma^[6]是基于传统的特征提取的方法。Li[9]和Shao[14]是基于分别处理左右视点的稀疏字典的方法。Lu[17]和Lin[18]是基于融合图像的方法。从表1可以看出，本发明的方法在LIVE I库中的SROCC为0.9394，PLCC为0.9467。这稍逊于Xu[5]和Shao[14]的方法，与Lu[17]的方法结果相近。但是总的来说，性能还不错。在LIVE II数据库中，本发明的SROCC为0.9402，PLCC为0.9504，实验结果优于其他方法。产生这样结果的原因可能是Xu[5]和Shao[14]的方法更适用于对称失真的立体图像，而本发明的方法更适用于非对称失真的立体图像。总的来说，本发明的方法不仅适用于对称失真的立体图像，而且更适用于非对称失真的立体图像，可以始终客观地评价立体图像的质量。因此，本发明提出的基于稀疏重建彩色融合图像的方法能够保证左右视图中丰富的结构信息与深度信息。

表2展示了本方法在不同失真类型下的表现。从表2可以看出，本方法在五种失真类型上均表现良好，普适性很强。

表1在LIVE 3D图像库上不同方法的比较

表2在LIVE I与LIVE II库上不同失真类型性能的比较

同时，本发明在LIVE I与LIVE II两个库上进行了信息补偿的对比试验。在表3和表4中，NCCC代表无相应的彩色融合图像进行补偿的方法，即只对稀疏重建后的彩色融合图像提取特征。

表3信息补偿在LIVE I库上的性能比较

表4信息补偿在LIVE II库上的性能比较

从表3、表4可以看出，NCCC在LIVE I库的SROCC为0.9063，PLCC为0.8901；在LIVEII库的SROCC为0.9329，PLCC为0.9433。结果均表明本发明进行信息补偿的方法优于NCCC。也就是说，在稀疏重建之后，如果不补偿一些重要信息，其性能将会变差。为了进一步证明稀疏表示的性能，本发明将本方法与OCC进行了比较。OCC代表无稀疏重建过程的方法，即只对彩色融合图像提取特征。从表3、表4可以看出，OCC在LIVE I库的SROCC为0.9263，PLCC为0.9448；在LIVE II库的SROCC为0.9379，PLCC为0.9462。其结果表明，本发明的方法优于OCC。但是OCC的结果并不是很差，甚至在LIVE II库上相比其他方法(Xu[5],Ma[6],Lu[17]and Lin[18])性能更加优越。也就是说，彩色融合图像更加符合人类视觉特征，不仅包含丰富的信息，而且更适合于评价非对称失真的立体图像。

参考文献

[1]Wang Z,Simoncelli E P,Bovik A C.Multiscale structural similarityfor image quality assessment[C]//Signals,Systems and Computers,2004.Conference Record of the Thirty-Seventh Asilomar Conference on.IEEE,2004,2(2):1398-1402.

[2]Saad M A,Bovik AC,Charrier C.A DCT Statistics-Based Blind ImageQuality Index[J].IEEE Signal Processing Letters,2010,17(6):583-586.

[3]Moorthy AK,Bovik AC.Blind Image Quality Assessment:From NaturalScene Statistics to Perceptual Quality[J].IEEE Transactions on ImageProcessing A Publication of the IEEE Signal Processing Society,2011,20(12):3350-3364.

[4]Mittal A,Moorthy AK,Bovik AC.No-Reference Image Quality Assessmentin the Spatial Domain[M].IEEE Press,2012,21(12):4695-4708.

[5]Xu X,Zhao Y,Ding Y.No-reference stereoscopic image qualityassessment based on saliency-guided binocular feature consolidation[J].Electronics Letters,2017,53(22):1468-1470.

[6]Ma J,An P,Shen L,et al.Reduced-Reference Stereoscopic ImageQuality Assessment Using Natural Scene Statistics and Structural Degradation[J].IEEE Access,2017,1(6):2768-2780.

[7]Md S K,Appina B,Channappayya S S.Full-Reference Stereo ImageQuality Assessment Using Natural Stereo Scene Statistics[J].IEEE SignalProcessing Letters,2015,22(11):1985-1989.

[8]Karimi M,Nejati M,Soroushmehr S M R,et al.Blind Stereo QualityAssessment Based on Learned Features from Binocular Combined Images[J].IEEETransactions on Multimedia,2017,11(19):2475-2489.

[9]Li K,Shao F,Jiang G,et al.Joint structure–texture sparse codingfor quality prediction of stereoscopic images[J].Electronics Letters,2015,51(24):1994-1995.

[10]Chang H W,Yang H,Gan Y,et al.Sparse Feature Fidelity forPerceptual Image Quality Assessment[J].IEEE Transactions on Image ProcessingA Publication of the IEEE Signal Processing Society,2013,22(10):4007-4018.

[11]Wang G H,Su-Mei LI,Dan Z,et al.Application of extreme learningmachine in objective stereoscopic image quality assessment[J].Journal ofOptoelectronics Laser,2014,25(9):1837-1842.

[12]Lv Y,Yu M,Jiang G,et al.No-reference Stereoscopic Image QualityAssessment Using Binocular Self-similarity and Deep Neural Network[J].SignalProcessing Image Communication,2016,1(47):346-357.

[13]Zeiler M D,Fergus R.Stochastic Pooling for Regularization of DeepConvolutional Neural Networks[J].Eprint Arxiv,2013,1(1):1-9.

[14]Shao F,Li K,Lin W,et al.Learning Blind Quality Evaluator forStereoscopic Images Using Joint Sparse Representation[J].IEEE Transactions onMultimedia,2016,18(10):2104-2114.

[15]Maalouf A,Larabi M C.CYCLOP:A stereo color image qualityassessment metric[C]//IEEE International Conference on Acoustics,Speech andSignal Processing.IEEE,2011:1161-1164.

[16]Chen M J,Su C C,Kwon D K,et al.Full-reference quality assessmentof stereopairs accounting for rivalry[J].Image Communication,2013,28(9):1143-1155.

[17]Lu K,Liu X.Stereoscopic Image Quality Assessment Based onCyclopean Image[C]//IEEE International Conference on Internet of Things.IEEE,2016:750-753.

[18]Lin Y,Yang J,Wen L,et al.Quality Index for Stereoscopic Images byJointly Evaluating Cyclopean Amplitude and Cyclopean Phase[J].IEEE Journal ofSelected Topics in Signal Processing,2017,1(11):89-101.

[19]Lee H,Battle A,Raina R,et al.Efficient sparse coding algorithms[C]//International Conference on Neural Information Processing Systems.MITPress,2006:801-808.

[20]Liu L,Liu B,Huang H,et al.No-reference image quality assessmentbased on spatial and spectral entropies[J].Signal Processing ImageCommunication,2014,29(8):856-863.

[21]Moorthy A K,Bovik AC.Visual Importance Pooling for Image QualityAssessment[J].IEEE Journal of Selected Topics in Signal Processing,2009,3(2):193-201。

Claims (2)

1.一种基于稀疏重建彩色融合图像的立体图像质量评价方法，其特征是，首先，得到彩色融合图像，用彩色融合图像学习和训练字典，在训练好的完备字典D上重建失真的彩色融合图像，并使用相应的彩色融合图像进行信息补偿，然后，提取重建后的融合图像和相应的彩色融合图像的空间熵和谱熵特征，再对上述两种特征进行加权，得到最终特征；最后，通过支持向量机SVR得到最终质量分数。

2.如权利要求1所述的基于稀疏重建彩色融合图像的立体图像质量评价方法，其特征是，具体步骤细化如下：

融合图像的获得：

首先根据人眼多通道视觉特性与对比度敏感函数，求解总对比度能量TCE_v和TCE^* _v。根据人眼多通道视觉特性，采用六个尺度f_s∈{1.5，2.5，3.5，5，7，10}(cycles/degree)}八个方向θ∈{kπ/8|k＝0，1，…7}的Gabor滤波器分别对立体图像左右视点的RGB三个通道进行滤波，得到每个视点每个通道的48张特征图，根据对比度敏感函数，将Gabor滤波后图像经过对比度敏感函数CSF(contrast sensitivity function)滤波，滤除人眼不敏感的频率成分。最后根据公式和v∈(l，r)求解TCE_v和TCE^* _v。其中，v∈(l，r)代表左视点或者右视点，n代表48张特征图中的第n张特征图，为经过Gabor滤波和CSF滤波后的图像，代表左右图像权重，gc和ge为增益控制门限和增益增强门限；

根据双目竞争机制过程中增益抑制和增益增强特性，使用公式得到融合图像，其中，C(x，y)代表产生的融合图像，TCE_v和TCE^* _v，v∈(l，r)分别代表增益抑制的总对比度能量和增益增强的总对比度能量，I_l(x，y)和I_r(x，y)分别代表立体图像左右视点；

重建融合图像：

利用公式固定字典求解稀疏系数，再利用公式固定稀疏系数求解字典，其中，X是输入信号，D是完备字典，S是稀疏系数矩阵，D_j代表完备字典D中的第j列原子，通过利用特征符号搜索算法和拉格朗日对偶方法对字典进行训练，利用训练得到的完备字典对彩色融合图像进行稀疏表示，得到彩色融合图像的系数矩阵，然后用稀疏系数乘以训练字典得到重建的融合图像；

空间熵、谱熵的提取：

首先对融合图像进行下采样，得到高中低三个不同的尺度，然后将每张下采样的融合图像划分成8*8不重叠的小块，分别计算每个小块的空间熵和谱熵，将空间熵和谱熵升序排列分别表示为S＝(se₁，se₂，…se_m)和F＝(fe₁，fe₂，…fe_m)，其中，se_i，fe_i代表局部的空间熵和谱熵即每个小块的空间熵和谱熵，下标m代表每个尺度下图像块的总数，将空间熵和谱熵特征进行百分比池化，得到新的特征S_p和F_p，最终特征表示为feature＝(mean(S_p)，skew(S)，mean(F_p)，skew(F))，它由S_p和F_p的均值和S和F的斜度组成，每幅融合图像可以得到3个尺度下的特征，共3*4＝12个特征；

客观质量分数：

根据公式F＝feature₁·τ₁+feature₂·τ₂对重建后的彩色融合图像的特征与相应的彩色融合图像的特征进行加权，feature₁代表重建后融合图像的特征，feature₂代表相应的彩色融合图像的特征，τ₁与τ₂代表权重因子，这里τ₁＝0.8，τ₂＝0.2，最后将总特征F送入SVR中，得到立体图像客观质量分数。