CN105959684A - 基于双目融合的立体图像质量评价方法 - Google Patents

Abstract

本发明属于视频和图像处理领域，为提出一种符合人类视觉系统相关特性且更加有效的立体图像客观质量评价方法。使新的立体图像客观质量评价方法更加准确高效的评价立体图像的质量,同时在一定程度上推动立体成像技术的发展。本发明采用的技术方案是，基于双目融合的立体图像质量评价方法，包括以下步骤：步骤1：构建符合人类视觉特性的单目感知模型；步骤2：计算由步骤1得到的感知图像X_v的图像失真度Q_D1)计算左右视图图像子块的结构相似度SSIM2)构建最终的图像失真度Q_D结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数Q_D。本发明主要应用于视频和图像处理。

Description

基于双目融合的立体图像质量评价方法

技术领域

本发明属于视频和图像处理领域，涉及立体图像质量评价方法改进优化，尤其是涉及人类视觉系统中的掩盖效应、多通道效应和对比度敏感度在立体图像质量客观评价中的应用。

背景技术

立体图像技术是一种能够提供视觉深度感的新型多媒体技术，与平面图像相比，立体图像主要利用双目视差原理，通过双目分别接收左右两个通道的图像，给观看者带来较好的临场感，但同时也需要更多的存储空间和更大的传输带宽。因此，对立体图像进行高效压缩是降低存储成本、缓解网络带宽压力的关键技术。但通过压缩编码减少立体图像的数据量，势必会引起各种降质。除此之外，在立体图像采集、处理及传输过程中，都难免会引起失真。因此，探索影响立体图像质量的主要因素，建立一个有效可靠的立体图像质量评价模型对立体信息行业的发展尤为重要。立体图像评价系统不仅可以评价接收端立体图像质量的优劣，还可以为立体图像压缩、传输及其他处理方法提供新的理论依据，从而促进立体图像压缩算法和传输方式的优化。

立体图像质量评价可分为主观评价和客观评价。由于主观评价方法对实验环境、测试流程、被试者素质等有较高要求，所以完成一次主观评价既耗时又耗力，且结果的精确度易受外界条件影响，结果的可移植性和稳定性难以达到应用要求。客观评价方法较主观评价方法快速、稳定且简单易行。因此，研究合理且高效的客观评价方法意义重大。

目前，在立体图像质量的客观评价方面，经典且常用的方法有基于统计的峰值信噪比^[1]、结构相似度方法及其衍生出的一系列方法^[2]。文献[3]在参考平面图像质量评价的基础上，将工程学评价方法峰值信噪比与结构相似度相结合，使用两种方法分别评价立体图像左右视图的质量，然后通过四种不同的方法计算得到绝对差值信息用于评价立体感，最后分别使用局部结合和全局结合的方法将图像质量与立体感质量整合为统一的立体图像质量指标。最后将所得分数取平均值，作为评价立体图像质量的指标。该文章还验证了单纯的平面图像客观评价方法无法简单地适用立体图像质量评价，在立体图像质量评价过程中需要考虑立体感的因素。文献[4]将立体图像中的一些特性，如深度特性，结构特性和梯度特性等。与其他客观图像质量评价指标相比，该文献提出的方法与主观评价有较高的一致性。文献[5]提出了一种双目感知质量模型，首先基于双目不对称性分割立体图像，然后对不同区域设置不同的感知权重，最后计算立体图像质量，该文献证明了结合双目视觉不对称性可以提高立体图像客观评价准确性。文献[6]认为，人眼视觉系统对立体图像的边缘信息极其敏感，因此其考虑通过边缘信息对经典结构相似度指标加以改进，提出了一种基于边缘的结构相似度评价方法，使用该方法评价立体图像左右视图质量。然后作者通过基于自适应权重匹配算法计算左右视图的视差图，通过判断失真图像视差图与参考图像视差图的差异计算立体图像的立体感指标。最后将左右视图质量与立体感质量进行拟合，得到评价立体图像质量的综合指标。文献[7]参考2D平面图像的评价方法，从质量属性、质量倾向、图像物理特征和计数变量四方面计算立体图像左右视点图像质量，然后计算两者均值作为立体图像整体质量。文献[8]分析了高斯噪声对立体图像的影响，作者发现，对于受到高斯噪声影响的图像，PSNR的评价效果比SSIM评价效果更好，这是因为作为一种统计学方法，PSNR能够准确的判断图像加性噪声失真。因此，作者使用PSNR作为评价指标对立体图像对的绝对差值图进行评价，判断立体图像立体感的降质程度。文献[9]在立体图像主观实验的基础上对立体图像串扰进行分析，确定了影响图像串扰的因素，其中相机基线、串扰等级、图像对比度以及应变效应会增强图像的串扰程度，而立体图像的纹理特征，图像场景细节信息等会降低立体图像串扰。因此作者将立体图像的深度图与结构相似度方法相结合，提出了一种基于立体图像串扰的客观评价方法。作者在文献[10]中对文献[9]的评价方法做出了改进，通过立体图像的视差图对串扰程度做进行评判。在试验中作者发现，使用视差图评价串扰等级要比使用深度图效果更好。文献[11]根据人眼视觉的心理学特性，将立体图像进行分割成不相关区域、双目融合区域以及双目抑制区域，提取各区域中局部相位和局部幅值特征，将两者整合为立体图像评价指标。最后作者结合双眼恰可察觉失真对评价指标进行优化，从而判断立体图像质量。文献[12]提出了一种基于感知图像质量的立体图像质量评价方法。首先参考人眼的视觉显著性特性，将图像分为显著部分和非显著部分，然后对各部分按照失真程度再次进行划分，分为失真部分和非失真部分。接着根据人眼视觉特性对各部分的重要程度进行建模，以此为权重计算各区域的相位相似性。最后将各部分的评价结果进行加权平均，作为评价立体图像质量的指标。文献[13]提出一种立体图像质量评价模型，首先通过最小可察觉失真和图像显著性将被试图像分成四种区域，对不同区域设置不同的权重，计算单张图像结构相似度指标，最后将左右视图结构相似度取平均，作为立体图像质量指标。文献[14]提出了一种基于人类视觉系统的质量评价方法，包括使用Weber-Fechner定律模拟亮度幅度非线性特性，使用可控金字塔模型模拟多通道效应，使用对比度敏感度函数对各频带图像进行感知加权，最后计算各频带结构相似度，作为评价立体图像质量的指标。文献[15]提出了一种基于人眼视觉系统的基本特性的立体图像质量评价方法。该方法首先对立体图像左右视图进行色彩空间变换，提取亮度信息，然后通过感知分解将图像分为多个子块，计算每个子块的对比度增益权重，最后将各部分失真程度进行综合，计算最终的质量评价指标。同时作者提取立体图像视差图，以视差图作为输入按照上述过程评价视差图质量，作为立体图像立体感的评价指标。文献[16]构建了感知图像失真度模型，将左右视图结构相似度、亮度平均值和匹配点个数比与峰值信噪比进行综合，得到最终的立体图像质量分数。文献[17]基于双目立体图像感知特性提出立体图像评价方法，根据局部信息为每个视点定义加权因子，并且在评价过程中考虑人眼视觉系统灵敏度的特性，根据双目显著性差异调整不同区域的质量分数。文献[18]针对传统的统计学方法SNR因没有考虑人类视觉特性导致其不能真正或全面地表征图像质量的缺陷，提出了一种基于人类视觉特性的信噪比方法。通过模拟人类视觉系统中亮度非线性特性、多通道特性、对比度敏感度特性和掩盖效应等特性，对人眼视觉系统进行建模，并重构了经过得到通过了人眼视觉系统模型的参考图像与失真图像，从而改进了传统的统计学方法SNR，使之适用于立体图像质量评价。文献[19]提出了一种彩色图像质量评价方法，对立体图像质量评价提出新思路。

上述各种客观评价方法通过不同方式对立体图像质量评价进行研究，得到了较好的评价结果。然而，大部分方法都是^[3,6,7]通过分别计算左右视图的质量分数，然后平均加权或是按某种规则进行加权，作为评价立体图像质量的指标。但是人眼在捕捉立体图像时是根据视觉的双目融合特性将左右视点进行融合形成单一的像，因而仍然不能取得较为理想的评价效果。

发明内容

为克服现有技术的不足，提出一种符合人类视觉系统相关特性且更加有效的立体图像客观质量评价方法。使新的立体图像客观质量评价方法更加准确高效的评价立体图像的质量,同时在一定程度上推动立体成像技术的发展。本发明采用的技术方案是，基于双目融合的立体图像质量评价方法，包括以下步骤：

步骤1：构建符合人类视觉特性的单目感知模型，该模型由亮度掩盖模块、纹理掩盖模块和多通道分解模块组成，原始图像X₀经过单目感知模型转变成为感知图像X_V；

步骤2：计算由步骤1得到的感知图像X_V的图像失真度Q_D

1)计算左右视图图像子块的结构相似度SSIM

首先分别将原始立体图像和失真立体图像的左右视图分别分为8×8的图像子块，然后对每一个图像子块计算相应的结构相似度SSIM(X_i,Y_i)，其中X_i、Y_i分别代表原始立体图像和失真立体图像的第i个图像子块；

2)构建最终的图像失真度Q_D

结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数Q_D。

原始图像X₀经过单目感知模型转变成为感知图像X_V，具体步骤是：

1)原始图像X₀经过亮度掩盖模块成为亮度掩模图像X₁

首先计算原始图像X₀中每个像素点的亮度掩盖门限T_l(x,y)和背景亮度I₀(x,y)；然后计算原始图像X₀中每个像素点的亮度I(x,y)与背景亮度I₀(x,y)的差值d_l(x,y)，如果d_l(x,y)小于掩盖门限T_l(x,y)，则表明人眼无法从背景中准确识别到该像素点，因此将该像素点的亮度设置为该点背景亮度值；如果d_l(x,y)大于该像素点掩盖门限T_l(x,y)，则表明人眼能够正确识别出该像素点，因此保持该像素点亮度值不变；重复上述计算过程直到整幅图像计算完成，最后就得到了亮度掩模图像X₁；

2)亮度掩模图像X₁经过纹理掩盖模块成为纹理掩模图像X₂

首先分别将参考图像和失真图像的亮度掩模图像分为8×8的图像子块；然后计算每个图像子块的纹理掩盖门限值T_l(μ)；最后依据所获得的纹理掩盖门限值计算失真图像中每个图像子块的纹理掩模图像子块，从而获得完整的失真图像纹理掩模图像X₂；

3)纹理掩模图像X₂经过多通道模块成为最终的感知图像X_V

首先，利用Le Gall 5/3小波对纹理掩模图像X₂进行三级小波分解得到1个低频分量系数矩阵cA(p)和9个高频系数矩阵，分别为垂直方向高频细节分量矩阵cV_λ(p)，水平方向高频细节分量矩阵cH_λ(p)和对角方向高频细节分量矩阵cD_λ(p)，其中λ为小波分解级数，λ＝{1,2,3}；然后，计算各通道对比敏感度权重ω；最后，使用各通道对比度敏感度权重ω对高频系数矩阵进行加权重构，从而获得最终的感知图像X_V。

步骤2)亮度掩模图像X₁经过纹理掩盖模块成为纹理掩模图像X₂进一步地具体过程为：计算失真图像第i个子块中像素点(x,y)处的像素值与参考图像中对应图像块像素值Iⁱ(x,y)的差值如果小于该图像块纹理掩盖门限则表明人眼无法感受到失真图像与参考图像对应像素点的差异，因此将失真图像该像素点的像素值设置为参考图像对应点的像素值；如果差值大于该区域掩盖门限则表明人眼能够正确识别出该像素点，因此保持该像素点像素值不变，依据以上计算过程对失真图像中每个子块每个像素点进行计算从而获得完整的失真图像纹理掩模图像X₂。

加权求和中权重因子的构建步骤是：

①视觉显著性权重因子

采用图像中心点的各向异性高斯核函数计算不同图像子块的权重，进而模拟视觉心理学的中央偏移特性；

②增益权重因子

使用增益控制理论构建增益权重因子，模拟双目融合特性。

本发明的特点及有益效果是：

本立体图像质量客观评价方法由于考虑了人眼单目视觉中掩盖效应、多通道效应、对比度敏感度效应等视觉特性，并与人眼双目融合特性结合，因此对模糊图像的评价表现出了较好的主客观一致性。实验结果说明，本方法的准确性和可靠性优于目前常见的其它立体图像质量客观评价方法。

附图说明：

图1参考实验素材图,图中：

(a)girl (b)tree2

(c)flower (d)river

(e)family (f)boy

(g)mountain (h)ox

(i)river2 (j)TJUsquare

(k)tree3 (l)woman。

图2失真立体图像，图中：

(a)压缩率为8％ (b)压缩率为2％

(c)均值为0，方差为0.02的高斯白噪声 (d)均值为0，方差为0.06的高斯白噪声

(e)模板为[15,15]，sigma为1.5的高斯模糊 (f)模板为[15,15]，sigma为3.8的高斯模糊

图3单目感知模型框图。

图4亮度掩盖优化前后的girl左视点参考图像，图中：

(a)优化前 (b)优化后。

图5 girl纹理掩盖效果示意图，图中：

(a)参考图像 (b)失真图像。

图6被测试者在观看点H的观看角度。

图7优化前后的girl失真左视点效果图。图中：

(a)优化前 (b)优化后

图8小波行变换和列变换。

图9 girl参考左视点图的灰度图与二级小波分解高频系数矩阵，图中：

(a)参考图像 (b)水平方向

(c)垂直方向 (d)对角方向。

图10重构的参考图像图

图11立体图像失真度框图

图12五种失真度客观评价方法散点图

(a)SSIM (b)PSNR

(c)文献[18] (d)文献[30]

(e)本文算法。

具体实施方式

本发明在衡量图像失真程度时采用双目融合的特性将左右视点质量进行融合得到立体图像的失真度，实验结果表明本文方法具有较好的准确性。

本发明采用的技术方案是，基于双目融合的立体图像客观质量评价方法，包括以下步骤：

步骤1：构建符合人类视觉特性的单目感知模型，该模型由亮度掩盖模块、纹理掩盖模块和多通道分解模块组成。原始图像X₀经过单目感知模型成为感知图像X_V，具体包括以下内容：

1.原始图像X₀经过亮度掩盖模块成为亮度掩模图像X₁

首先计算原始图像X₀中每个像素点的亮度掩盖门限T_l(x,y)和背景亮度I₀(x,y)；然后计算原始图像X₀中每个像素点的亮度I(x,y)与背景亮度I₀(x,y)的差值d_l(x,y)，如果d_l(x,y)小于掩盖门限T_l(x,y)，则表明人眼无法从背景中准确识别到该像素点，因此将该像素点的亮度设置为该点背景亮度值；如果d_l(x,y)大于该像素点掩盖门限T_l(x,y)，则表明人眼能够正确识别出该像素点，因此保持该像素点亮度值不变；重复上述计算过程直到整幅图像计算完成，最后就得到了亮度掩模图像X₁。

2.亮度掩模图像X₁经过纹理掩盖模块成为纹理掩模图像X₂

首先分别将参考图像和失真图像的亮度掩模图像分为8×8的图像子块；然后计算每个图像子块的纹理掩盖门限值T_l(μ)；最后依据所获得的纹理掩盖门限值计算失真图像中每个图像子块的纹理掩模图像子块，从而获得完整的失真图像纹理掩模图像X₂。具体过程为：计算失真图像第i个子块中像素点(x,y)处的像素值与参考图像中对应图像块像素值Iⁱ(x,y)的差值如果小于该图像块纹理掩盖门限则表明人眼无法感受到失真图像与参考图像对应像素点的差异，因此将失真图像该像素点的像素值设置为参考图像对应点的像素值；如果差值大于该区域掩盖门限则表明人眼能够正确识别出该像素点，因此保持该像素点像素值不变，依据以上计算过程对失真图像中每个子块每个像素点进行计算从而获得完整的失真图像纹理掩模图像X₂

3.纹理掩模图像X₂经过多通道模块成为最终的感知图像X_V

首先，利用Le Gall 5/3小波对纹理掩模图像X₂进行三级小波分解得到1个低频分量系数矩阵cA(p)和9个高频系数矩阵，分别为垂直方向高频细节分量矩阵cV_λ(p)，水平方向高频细节分量矩阵cH_λ(p)和对角方向高频细节分量矩阵cD_λ(p)，其中λ为小波分解级数，λ＝{1,2,3}；然后，计算各通道对比敏感度权重ω；最后，使用各通道对比度敏感度权重ω对高频系数矩阵进行加权重构，从而获得最终的感知图像X_V。

步骤2：计算由步骤1得到的感知图像X_V的图像失真度Q_D。

1.计算左右视图图像子块的结构相似度SSIM

首先分别将原始立体图像和失真立体图像的左右视图分别分为8×8的图像子块，然后对每一个图像子块计算相应的结构相似度SSIM(X_i,Y_i)，其中X_i、Y_i分别代表原始立体图像和失真立体图像的第i个图像子块。

2.构建最终的图像失真度Q_D

本方法结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数Q_D。其中，权重由两部分构成：视觉显著性权重因子和增益权重因子。

权重因子的构建：

①视觉显著性权重因子

本方法采用图像中心点的各向异性高斯核函数计算不同图像子块的权重，进而模拟视觉心理学的中央偏移特性；

②增益权重因子

增益控制理论准确的描述了双目融合过程并能够同时反映Fechner悖论和单目感知理论。因此本方法使用增益控制理论构建增益权重因子，模拟双目融合特性。

本发明所使用的立体图像参考素材均取自天津大学宽带无线通信与立体成像研究所提供的立体图像信息库。立体图像库包含未进行任何失真的参考图像共12幅，包括人物、近景、远景等图像内容，分别为标准立体素材girl、tree2、flower、river、family、boy、mountain、ox、river2、TJUsquare、tree3、woman，图像的分辨率为1280×1024。本设计所用的显示设备需要水平翻转立体图像右视点图，才能正确显示立体图像。因此实验素材中右视点图为镜像放置的，如图1所示。此外，在参考图像的基础上，本文模拟在实际生活中立体图像可能遭受的各种失真，对立体图像数据源进行了不同类型的降质，包括JPEG压缩、高斯白噪声与高斯模糊，每种失真共得到待测立体图像180幅，共计540幅图像。以实验素材girl为例，几种不同程度不同失真类型的失真立体图像如图2所示。对于每一张失真图像，数据库记录着立体图像失真度分值。

下面结合具体实例进一步详细说明本方法：

本方法首先构建人眼单目视觉感知模型，模拟人眼视觉系统中掩盖效应、多通道效应和对比度敏感度等三大特性；然后对人眼单目视觉感知模型的输出结果进行立体图像失真程度的客观评价。具体步骤如下：

1建立单目感知模型

在采集图像信号的过程中人眼是最终的接收者，无论在立体图像质量评价还是在平面图像质量评价过程中，人眼的单目视觉特性都发挥着重要的作用。因此为了获取人眼实际感知到的立体图像，本方法提出了一种单目感知模型，模拟人眼采集图像信号的一系列过程，并最终计算人眼实际感受到的图像信号。本模型共包含掩盖效应、多通道效应与图像重构三部分，如图3所示。

1.1掩盖效应

在数字图像处理过程中，当多种激励共同刺激人眼时，一种激励的视觉感知阈值会因受到其他激励干扰而发生变化。这种现象就称为视觉掩盖效应^[20](Visual MaskingEffect)。掩盖效应是人眼视觉系统中的一个重要组成部分，但是因为人眼结构的复杂性，现阶段尚不能系统全面的定义视觉掩盖效应。因此本方法选取空间域掩盖效应中较为典型的亮度掩盖和纹理掩盖。

1.1.1亮度掩盖

亮度掩盖是一种空间域掩盖效应，其体现了图像背景像素的平均亮度对人眼视觉系统可见门限值的影响。当像素点背景区域亮度改变时，视觉感知最低门限会发生相应的变化，从而视觉敏感程度也会随之发生变化。因此，本方法构建亮度掩盖门限，使用该门限值计算参考图像和失真图像中每个像素点是否能被人眼感知。

亮度掩盖的理论最早源于Weber实验，Yang在Weber实验基础上，提出了空间域NAMM模型^[21](Nonlinear Additivity model for Masking)。在该模型中对亮度掩盖做出了准确定义，如式(1)所示，

$T_l(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{I_0(x,y)}{127}})+3,I_0(x,y)\≤127\\ \frac{3}{128}\left(I_0\right(x,y)-127)+3,I_0(x,y)\≥127\end{array}\right.---\left(1\right)$

其中T_l(x,y)为像素点(x,y)处的亮度掩盖门限，I₀(x,y)为图像在像素点(x,y)处的背景亮度，I(x,y)为图像在像素点(x,y)处的亮度值，ω_i,j为背景亮度加权矩阵，如式(2)所示

${\mathrm{\ω}}_{i,j}=\left[\begin{array}{ccccc}0.0256& 0.0324& 0.0362& 0.0324& 0.0256\\ 0.0324& 0.0512& 0.0724& 0.0512& 0.0324\\ 0.0362& 0.0724& 0.0000& 0.0724& 0.0362\\ 0.0324& 0.0512& 0.0724& 0.0512& 0.0324\\ 0.0256& 0.0324& 0.0362& 0.0324& 0.0256\end{array}\right]---\left(2\right)$

然后根据各个像素点的掩盖门限T_l(x,y)对参考图像和失真图像进行优化，具体优化方法为：如果图像像素点(x,y)处的亮度I(x,y)与背景亮度I₀(x,y)的差值d_l(x,y)小于掩盖门限T_l(x,y)，则表明人眼无法从背景中准确识别到该像素点，因此将该像素点的亮度值设置为该点背景亮度值；如果差值d_l(x,y)大于该像素点掩盖门限T_l(x,y)，则表明人眼能够正确识别出该像素点，保持该像素点亮度值不变。计算公式如(3)所示

$\begin{array}{c}{d}_l(x,y)=|I(x,y)-I_0(x,y)|\\ I_l(x,y)=\left\{\begin{array}{cc}{I}_0(x,y)& d_l(x,y)<T_l(x,y)\\ I_l(x,y)& d_l(x,y)>T_l(x,y)\end{array}\right.\end{array}---\left(3\right)$

以girl左视点参考图像为例，经过亮度掩盖优化后，优化图像如图4所示，经过亮度掩盖优化后，原始girl参考图像中人眼无法感知的像素点被其背景亮度值所代替。

1.1.2纹理掩盖

纹理掩盖表示的是视觉阈值受到了图像内容的影响^[22]。它表明人眼感知图像纹理复杂区域的失真要比感知平滑区域失真的难度大得多。纹理复杂区域是指图像亮度变化较大的区域，平滑区是指亮度值变化程度相对比较平缓的区域。图5为纹理掩盖示意图，其中5(a)为无失真的girl左视点参考图像，5(b)为加入方差为0.016高斯白噪声。观察5(b)可以发现，在属于平滑区域的人脸、柜子、门等部分，人眼可以很轻易的辨别出噪声失真，然而在属于纹理复杂区域的毛毯部分，则难以轻松辨别图像失真，这就是由人眼视觉纹理掩盖效应造成的。因为纹理掩盖描述的是某一图像区域内人眼视觉系统可见门限值会受该区域纹理复杂程度的影响，因此本方法首先将图像分割为8×8的图像子块，分别计算每个图像块的纹理掩盖门限值，从而对图像进行优化。

对比度敏感度函数(CSF)是通过门限实验得到的，其倒数的物理意义就是该空间频率下人眼分辨能力的阈值。该阈值越低，则表明人眼对此处信号失真的感知越灵敏。因此本方法使用对比度敏感度函数的倒数构建图像纹理掩盖判决门限，使用门限值判断失真图像中失真信号是否被掩盖，从而模拟纹理掩盖效应。

在这里需要注意，因为对比度敏感度函数中的输入的频率指的是单位视角内图像周期性变化的程度，因此计算出每个图像块的空间频率后，还应除以被试者在观看过程中的观看角度η，如图6所示。本文实验使用的立体图像分辨率为1280×1024，根据ITU-RBT.1438建议，观看距离L₁应为屏幕高度L₂的6倍，即L₁＝6L₂。所以，可以按照公式(4)计算图像观看角度η。

以加入方差为0.016高斯白噪声的girl左视点图像为例，首先将图像分为8×8大小的图像块，按照公式(5)分别求取每个图像块的空间频率f。

$f=\sqrt{f_R^2+f_C^2}---\left(5\right)$

其中f_R是水平方向空间频率，f_C为垂直方向的空间频率。水平方向的空间频率表征图像水平方向的细节变化，垂直方向的空间频率表征图像垂直方向的细节变化，计算公式如式(6)、(7)所示。

$f_R=\sqrt{\frac{1}{MN}\underset{i=1}{\overset{M}{\&Sigma;}}\underset{j=2}{\overset{N}{\&Sigma;}}{\&lsqb;g(i,j)-g(i,j-1)\&rsqb;}^2}---\left(6\right)$

$f_C=\sqrt{\frac{1}{MN}\underset{j=1}{\overset{N}{\&Sigma;}}\underset{i=2}{\overset{M}{\&Sigma;}}{\&lsqb;g(i,j)-g(i-1,j)\&rsqb;}^2}---\left(7\right)$

其中，图像块大小为M×N，g(i,j)为第i行、第j列像素的亮度值，g(i,j-1)为第i行、第j-1列像素的亮度值，g(i-1,j)为第i-1行、第j列像素的亮度值。

然后计算每个图像块单位视角范围内的空间频率μ，如式(8)所示

$\begin{array}{cc}\mathrm{\&mu;}=\frac{f}{\mathrm{\&eta;}}=\frac{f}{4.7636}& (cycle/\mathrm{deg}ree)\end{array}---\left(8\right)$

接着使用对比度敏感度函数构造纹理掩盖门限值。在文献[23]中作者详细的介绍了目前研究领域比较常用的几种对比度敏感度函数。本方法选取其中使用最为广泛的对比度敏感度函数构建纹理掩盖门限值，该函数如式(9)所示。

根据对比度敏感度函数的物理意义可知，对比度敏感度函数的倒数即为纹理掩盖门限T_t(μ)。该函数定义了在参考图像与测试图像间，人眼可以观察到的像素偏差的最小值。

$T_t\left(\mathrm{\&mu;}\right)=\frac{1}{CSF\left(\mathrm{\&mu;}\right)}---\left(10\right)$

最后根据失真图像每个图像块的掩盖门限T_l(μ)对失真图像进行优化，具体优化方法为：按照式(10)计算每个图像块的掩盖门限如果第i个失真图像块中像素点(x,y)处的像素值与参考图像中对应图像块的像素值Iⁱ(x,y)的差值小于该图像块纹理掩盖门限则表明人眼无法感受到失真图像与参考图像对应像素点的差异，因此将失真图像该像素点处的像素值设置为参考图像对应点的像素值；如果差值大于该区域掩盖门限则表明人眼能够正确识别出该像素点，保持该像素点像素值不变。优化失真图像的过程如式(11)所示。

$\begin{array}{c}{d}_t^i(x,y)=|{\tilde{I}}^i(x,y)-I^i(x,y)|\\ {\tilde{I}}_t^i(x,y)=\left\{\begin{array}{cc}{I}^i(x,y)& d_t^i(x,y)<T_l^i\left(\mathrm{\&mu;}\right)\\ {\tilde{I}}^i(x,y)& d_t^i(x,y)>T_l^i\left(\mathrm{\&mu;}\right)\end{array}\right.\end{array}---\left(11\right)$

以girl的失真图像左视点为例，经过纹理掩盖优化前后的效果如图7所示。

1.2多通道分解特性

视觉心理学和生理学实验^[24]表明人类视觉系统存在独立的空间频率处理单元，它通过多个并列的视觉通道来传输观看到的信息，不同通道的处理单元整体上相互独立。这些通道把视觉激励划分到不同的子带进行处理，相当于一组方向性带通滤波器，这些通道会对特定空间频率和方向上的视觉激励做出响应。通常使用低通与带通滤波器来模拟实现

小波分析是一种空间频率局部化的分析方法，它具有良好的“空间域-频域”定位能力^[25]。通过设置不同的滤波器组，小波变换可以极大的减少或消除不同通道之间的相关性，这与人眼视觉系统的多通道效应不谋而合，与此同时，小波变换通过在低频段使用宽分析窗口，在高频段使用窄分析窗口，从而能够准确的提取图像不同频率间的细节信息，这对立体图像质量评价是非常重要的。因此本文选取小波变换，来模拟人眼视觉系统中的多个通道。

对于二维平面图像而言，它的一次小波分解是由行变换和列变换两部分组成的，如图8所示。首先经过一次行变换后，图像分成低频矩阵L和高频矩阵H，之后再对所得系数矩阵进行列变换。分别将低频矩阵L和高频矩阵H中的系数进行列变换，从而得到四个系数矩阵，分别为LL、LH、HL、HH。其中，LL表示图像的低频近似分量，其中包含着图像大部分能量，呈现为原始图像的缩略图；LH表示图像在水平方向(0°)高频细节分量，HL表示图像在垂直方向(90°)高频细节分量，HH表示图像在对角方向(45°、135°)高频细节分量。经过一次完整的小波变换后，所得系数矩阵的尺寸变为分解前的四分之一，即矩阵的行数和列数均减半。对于一次小波分解后的系数矩阵，因为低频系数矩阵中仍然包含着原始图像的大部分能量，所以可以对其再进行小波分解，进一步提取图像的高频信息。重复上述过程，即可以得到经过多级小波分解的系数。

根据对比度敏感度理论，人眼视觉系统对于不同频率的图像呈现一种带通特性，即当图像频率过低或过高的情况下，人眼对图像的识别能力都会降低。同时为了降低计算复杂度，本方法选取Le Gall 5/3小波对参考图像和失真图像进行三级小波分解。Le Gall5/3小波是D.Le Gall与A.Tabatabai在1988年提出的，目前是JPEG 2000无损压缩标准中的核心编码系统默认采用的可逆小波。其滤波器组系数如表1所示。

表1 Le Gall 5/3小波滤波器组系数表

图像p经过三级小波分解后，共得到1个低频近似分量系数矩阵cA(p)和9个高频系数矩阵，分别为垂直方向高频细节分量矩阵cV_λ(p)，水平方向高频细节分量矩阵cH_λ(p)和对角方向高频细节分量矩阵cD_λ(p)，其中λ为小波分解级数，λ＝{1,2,3}。图9为girl参考图像左视点经过小波分解后所得的系数矩阵图，其中9(a)为girl左视点图的灰度图，图9(b)～(d)为水平、垂直和对角方向高频细节系数矩阵。

根据对比度敏感度带通理论，在识别静态图像时，对于空间频率不同的图像人眼对其的感知程度存在差异。因此，可以用对比度敏感度函数对小波分解后得到的各个高频系数矩阵进行加权，从而模拟人眼视觉系统在识别静态图像时的多通道特性。具体做法如下：首先计算各高频系数矩阵空间频率。

对于水平方向高频细节系数矩阵cH_λ(p)，因为其描述的是图像在水平方向的细节变化，所以在计算空间频率的过程中，只需要计算水平方向的频率，如式(12)所示。同理垂直方向高频细节系数矩阵cV_λ(p)，因为其描述的是图像在垂直方向的细节变化，所以只需要计算垂直方向的频率，如式(13)所示。对于对角方向的系数矩阵cD_λ(p)，因为其反映的是45°和135°两个方向上的边缘细节信息，因此需要按照式(14)计算空间频率。

$f_H^{\mathrm{\&lambda;}}=f_R^{\mathrm{\&lambda;}}=\sqrt{\frac{1}{MN}\underset{i=1}{\overset{M}{\&Sigma;}}\underset{j=2}{\overset{N}{\&Sigma;}}{\&lsqb;{\mathrm{cH}}_{\mathrm{\&lambda;}}(i,j)-{\mathrm{cH}}_{\mathrm{\&lambda;}}(i,j-1)\&rsqb;}^2}---\left(12\right)$

$f_V^{\mathrm{\&lambda;}}=f_C^{\mathrm{\&lambda;}}=\sqrt{\frac{1}{MN}\underset{i=2}{\overset{M}{\&Sigma;}}\underset{j=1}{\overset{N}{\&Sigma;}}{\&lsqb;{\mathrm{cV}}_{\mathrm{\&lambda;}}(i,j)-{\mathrm{cV}}_{\mathrm{\&lambda;}}(i,j-1)\&rsqb;}^2}---\left(13\right)$

$\begin{array}{c}{f}_D^{\mathrm{\&lambda;}}=\sqrt{{\left(f_R^{\mathrm{\&lambda;}}\right)}^2+{\left(f_C^{\mathrm{\&lambda;}}\right)}^2}\\ =\sqrt{\frac{1}{mT}\underset{i=2}{\overset{M}{\&Sigma;}}\underset{j=2}{\overset{N}{\&Sigma;}}{\&lsqb;{\mathrm{cD}}_{\mathrm{\&lambda;}}(i,j)-{\mathrm{cD}}_{\mathrm{\&lambda;}}(i-1,j-1)\&rsqb;}^2+\frac{1}{MN}\underset{i=2}{\overset{M}{\&Sigma;}}\underset{j=2}{\overset{N}{\&Sigma;}}{\&lsqb;{\mathrm{cD}}_{\mathrm{\&lambda;}}(i,j-1)-{\mathrm{cD}}_{\mathrm{\&lambda;}}(i-1,j)\&rsqb;}^2}\end{array}---\left(14\right)$

其中，M为系数矩阵行数，N为系数矩阵列数，λ为小波分解级数，λ＝{1,2,3}，(i,j)为所得系数矩阵第i行、第j列元素值。

然后将各个高频系数矩阵的空间频率与观看角度η的商μ作为对比度敏感度函数CSF(f)的输入，计算各通道对比度敏感度权重ω。

ω＝CSF(μ) (15)

最后使用各通道对比度敏感度权重ω对高频系数矩阵进行加权重构，计算重构后图像P，如式(16)所示。其中分别代表第λ层小波分解后水平、垂直和对角方向权重系数，cA(p)表示低频近似分量系数矩阵，cH_λ(p)、cV_λ(p)、cD_λ(p)分别代表水平、垂直和对角方向高频细节分量系数矩阵。iWavelet代表小波逆变换。

$P=iWavelet\left(cA\right(p),{\mathrm{\&omega;}}_H^{\mathrm{\&lambda;}}\&times;{\mathrm{cH}}_{\mathrm{\&lambda;}}(p),{\mathrm{\&omega;}}_V^{\mathrm{\&lambda;}}\&times;{\mathrm{cV}}_{\mathrm{\&lambda;}}(p),{\mathrm{\&omega;}}_D^{\mathrm{\&lambda;}}\&times;{\mathrm{cD}}_{\mathrm{\&lambda;}}(p\left)\right),(\mathrm{\&lambda;}=1,2,3)---\left(16\right)$

重构后的girl左视点参考图像如图10所示，该图像即为人眼实际感知到的图像，所以本方法使用重构后的图像计算失真度。

2立体图像失真度Q_D

首先将立体图像进行分块，计算每个图像块的结构相似度分数；然后根据人眼视觉显著性特点，对各图像块分数进行加权；最后借助人眼的双目融合特性直接求取立体图像整体失真度指标，从而准确的对立体图像失真度进行评价，如图11所示。

2.1子块结构相似度

本方法先分别将原始立体图像和失真立体图像分为8×8的图像子块，然后分别按照公式(17)、(18)、(19)计算亮度比较函数、对比度比较函数和结构比较函数，其中x、y分别代表参考图像和失真图像对应位置的图像块，μ_x、μ_y分别为图像块x、y的均值，σ_x、σ_y为图像块x、y的方差，σ_xy为图像块x、y的协方差。当三个比较函数的分母为零或者接近零时，会影响评价结果，于是设置很小的正数C₁、C₂和C₃来避免这种现象，本方法中C₁＝(K₁L)²，C₂＝(K₂L)²，C₃＝C₂/2，L＝255，K₁＝0.01，K₂＝0.03。

$l(x,y)=\frac{2{\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y+C_1}{{\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_y^2+C_1}---\left(17\right)$

$c(x,y)=\frac{2{\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+C_2}{{\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_2}---\left(18\right)$

$s(x,y)=\frac{{\mathrm{\&sigma;}}_{xy}+C_3}{{\mathrm{\&sigma;}}_x+{\mathrm{\&sigma;}}_y+C_3}---\left(19\right)$

最后将亮度函数l(x,y)、对比度函数c(x,y)与结构比较函数s(x,y)结合，得到每个图像块的结构相似度指标SSIM(x,y)。其中α、β、γ为权重因子，本发明一个实例取α＝β＝γ＝1。

SSIM(x,y)＝[l(x,y)]^α[c(x,y)]^β[s(x,y)]^γ (20)

2.2双目融合

立体图像虽然由两幅平面图像构成，但是人观察立体事物的过程并不是左右两幅图像简单的线性加权，而是左右视图相互影响、共同作用的产物。因此，本方法结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步左右视图图像块结构相似度指标进行加权求和计算最终的评价分数。如公式(21)所示。

$Q_D={\&Sigma;}_i{\mathrm{\&omega;}}_i(g_i^L\&times;SSIM(V_i^L,V_i^{L^{\&prime;}})+g_i^R\&times;SSIM(V_i^R,V_i^{R^{\&prime;}}\left)\right)---\left(21\right)$

其中，ω_i为第i个图像子块的视觉显著性权重因子，分别为左右视点图像中第i个图像子块所对应的增益权重因子，分别为参考图像左右视图中第i个图像块，分别为失真图像左右视图中第i个图像块。Q_D取值范围为[0,1]，其数值越接近1，表明失真图像的失真程度越低。

2.2.1视觉显著性权重因子

根据视觉心理学实验，当人类在感知一副图片时，注意力会首先集中在图像的中间部位，从图像的中心点寻找视觉注视点。然后他的注意力范围由中央部位向四周递减。这种现象被称为中央偏移特性(Center Bias，CB)^[26]。因此，本方法采用图像中心点的各向异性高斯核函数计算不同图像子块的权重^[27]，进而模拟视觉心理学的中央偏移特性：

$CB(x,y)=\exp \{-(\frac{{(x-x_0)}^2}{2{\mathrm{\&sigma;}}_h^2}+\frac{{(y-y_0)}^2}{2{\mathrm{\&sigma;}}_v^2})\}---\left(22\right)$

其中，CB(x,y)表示图像块(x,y)对中心图像块(x₀,y₀)的偏移信息。σ_h和σ_v分别表示图像块水平方向和垂直方向的标准差，本方法取σ_h＝1/3W、σ_v＝1/3H，其中W和H表示图像的水平方向子块和垂直方向子块数。最后，使用CB(x,y)作为视觉显著性权重因子，如式(23)所示，i为图像块(x,y)的序号。

ω_i＝CB(x,y) (23)

2.2.2增益权重因子

Fechner^[28]在深入研究视觉心理学的基础上，提出了著名的Fechner悖论：当左眼右眼感知到的亮度信息存在差异时(如左眼看到亮度值的比较大的图像I，右眼看到亮度值比较小的图像δ)，亮度较大的图像在感知过程中会受到亮度较暗图像的影响，从而使人眼对图像I的感知亮度达不到图像本身的亮度，如式(24)所示，其中I代表亮度较大的图像，δ代表亮度较暗的图像，f_B(I,0)表示只看到图像I，另一只眼睛不接收图像信号时对图像的感知程度，f_B(I,δ)表示一只眼睛观看图像I，另一只眼睛观看图像δ时对图像的感知程度。

f_B(I,0)＞f_B(I,δ) (24)

单目感知理论(cyclopean perception)描述的是生活中一种常见的现象：我们双目同时观看到的事物有时候与闭上一只眼睛看到的事物基本相同。这是因为当双眼同时受到相同等级的强刺激时，通过大脑的融合过程，给人感觉到的是一个强刺激；而当只有一只眼睛受到强刺激而另一只眼没有接受到任何刺激时，大脑会主观的抑制掉没有接收到刺激的眼睛，因此当双眼看到两幅亮度相似的图像信号时，双眼感知到的图像与单眼感知到的图像基本相同，如(25)所示。

f_B(I,0)≌f_B(0,I)≌f_B(I,I) (25)

在此基础上，Jian Ding^[29]提出了一种基于增益控制理论(gain-controltheory)的双目融合模型，该模型通过左右眼对于图像的感知增益权重获取人眼实际感知到的立体图像，如式(26)所示。其中I^L、I^R代表立体图像左右视图，E_L、E_R分别代表左右视图的图像能量，g^L、g^R为左右视图的增益权重，f_B(I^L,I^R)代表人眼实际感知到的立体图像。

$\begin{array}{c}{f}_B(I^L,I^R)=\left(\frac{1+E_L}{1+E_L+E_R}\right)\&times;I^L+\left(\frac{1+E_R}{1+E_L+E_R}\right)\&times;I^R\\ =g^L\&times;I^L+g^R\&times;I^R\end{array}---\left(26\right)$

增益控制理论准确的描述了双目融合过程并能够同时反映Fechner悖论和单目感知理论。因此本方法使用增益控制理论对左右视图各图像块结构相似度指标SSIM进行加权求和，求取平均结构相似度，模拟双目融合特性。

3立体图像失真度评价结果与分析

本方法使用5个评价指标来判断所提算法的性能。这五个指标分别是皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)、斯皮尔曼等级相关系数(Spearman’s Rank Correlation Coefficient，SRCC)、肯德尔等级相关系数(Kendall’sRank Correlation Coefficient，KRCC)、平均绝对误差(Mean Absolute Error，MAE)和均方根误差(Root-Mean-Square Error，RMSE)。在这五个指标中，PLCC用于评估预测的客观评价结果与主观评价MOS值的线性相关性。SROCC和KROCC用于评估的是客观评价结果与主观评价MOS值的秩相关性，即评价结果的单调性，RMSE和MAE则是用于评判客观评价结果的稳定性。当客观评价结果与主观评价结果相关性高时，Pearson线性相关系数(PLCC)、Spearman等级相关系数(SROCC)，和肯德尔等级相关系数(KROCC)的值会很高，而平均绝对偏差(MAE)和均方根误差(RMSE)的值会很小。对于理想状态下的立体图像质量客观评价算法，客观评价分数与主观评价MOS值完全一致时，PLCC＝SROCC＝1，并且RMSE＝MAE＝0。

表2为本方法与其余四种评价方法的主客观相关性比较。在JPEG压缩实验中，本方法失真度评价方法的皮尔森线性相关系数远高于其它评价算法，拥有较好的准确性。高斯模糊失真情况下，本方法考虑人眼单目视觉中掩盖效应、多通道效应、对比度敏感度效应等视觉特性，并与人眼双目融合特性结合，因此对模糊图像表现出了较好的相关性。对于高斯模糊图像，文献[18]提出的改进信噪比评价方法也表现出较好的相关性，这是因为作者在评价图像失真度的过程中将人眼视觉特性与客观评价模型进行结合。因此在评价模糊立体图像过程中，将评价模型与人眼视觉特性相结合是提高评价准确性的一种方式。特别的，在高斯白噪声失真实验中，PSNR评价性能出众。这是因为高斯白噪声是一种全频域加性噪声，而PSNR作为误差统计的评价方法，能够直接计算图像像素值之间的差异，因此其能更准确的评价高斯白噪声对立体图像失真程度的影响。

表2本文方法与其余四种评价方法相关性比较

为验证本方法的普适性，表2最后展示了全部失真类型下五种客观评价算法主客观相关系数。可以看到，本方法分数的皮尔森线性相关系数(0.954226)、斯皮尔曼等级相关系数(0.966186)、肯德尔等级相关系数(0.844143)、平均绝对误差(0.103553)和均方根误差(0.110088)均为所有客观评价方法中的最优值。

图12为五种失真度客观评价分数与主观分数(MOS)的散点图。散点图能够直观反映评价算法的评价结果，其中的每个点都代表着立体图像数据库中的对应图像。散点图的横轴为失真度客观评价算法结果，纵轴为主观质量MOS值，散点的密集程度代表客观评价方法评价的准确性。从图中可以看到，本方法散点图中横坐标和纵坐标之间的相关性较高，且评价方法稳定性较好，这说明本方法更加准确有效。

参考文献

[1]成于庆，姜秀华，3D电视视频质量主客观评价最新技术研究[J]，中国传媒大学学报自然科学版[J]，中国传媒大学学报自然科学版，2012，19(1)：31～36

[2]Donghyun Kim,SeungchulRyu and Kwanghoon.Depth perception andmotion cue based 3D video quality assessment[C],2012IEEE InternationalSymposium on Broadband Multimedia System and Broadcasting,Seoul,2012,1～4

[3]You J,Xing L,Perkis A,et al.Perceptual quality assessment forstereoscopic images based on 2D image quality metrics and disparity analysis[C].Proc.of International Workshop on Video Processing and Quality Metricsfor Consumer Electronics,Scottsdale,AZ,USA.2010.

[4]Kang K,Liu X,Lu K.3D Image Quality Assessment Based on TextureInformation[C].Computational Science and Engineering(CSE),2014IEEE 17thInternational Conference on.IEEE,2014:1785～1788.

[5]Jung Y J,Kim H G,Ro Y M.Critical binocular asymmetry measure forperceptual quality assessment of synthesized stereo 3D images in viewsynthesis[J].Circuits and Systems for Video Technology,IEEE Transactions on,2015,99(3):1～14

[6]田浩南.基于边缘和局部匹配的立体图像质量评价[D].天津：天津大学，2013.

[7]Marc Lambooij,Wijnand Ijsselsteijn,Don G.Bouwhuis,et al.Evaluationof Stereoscopic Images:Beyond 2D Quality[J].IEEE TRANSACTIONS ONBROADCASTING,JUNE 2011,57(2):432～444。

[8]Shen Y,Lu C,Xu P,et al.Objective Quality Assessment of NoisedStereoscopic Images[C].Measuring Technology and Mechatronics Automation(ICMTMA),2011Third International Conference on.IEEE,2011,2:745～747。

[9]Xing L Y,You J Y,Ebrahimi T,Perkis A.A perceptual quality metricfor stereoscopic crosstalk perception[C].Proceedings of 2010IEEE 17thInternational conference on Image Processing,2010:4033～4036。

[10]Xing L,You J,Ebrahimi T,et al.Assessment of stereoscopiccrosstalk perception[J].Multimedia,IEEE Transactions on,2012,14(2):326～337。

[11]Shao F,Lin W,Gu S,et al.Perceptual full-reference qualityassessment of stereoscopic images by considering binocular visualcharacteristics[J].2013,22(5):1940～1953。

[12]段芬芳，邵枫，蒋刚毅等.基于感知重要性的立体图像质量评价方法[J].光电工程，2013，40(10)：70～76。

[13]郭美思.立体图像质量评价[D].哈尔滨：哈尔滨工业大学，2012。

[14]卫津津，李素梅，刘文娟等.基于可控金字塔的立体图像质量评价方法[J].计算机应用，2012，32(03)：710～714。

[15]Yang J,Hou C,Xu R,et al.New metric for stereo image qualityassessment based on HVS[J].International Journal of Imaging Systems andTechnology,2010,20(4):301～307。

[16]赵瑞超.立体图像质量客观评价方法的研究与实现[D].天津：天津大学，2010。

[17]Fezza S A,Larabi M C,Faraoun K M.Stereoscopic image qualitymetric based on local entropy and binocular just noticeable difference[C].Image Processing(ICIP),2014IEEE International Conference on.IEEE,2014:2002～2006。

[18]佟晓煦，李素梅，刘富岩等.基于人类视觉的感知立体图像质量评价方法[J].光电子·激光，2015，26(2)：378～386。

[19]孔真真.基于视觉感知的立体图像质量评价方法研究[D].宁波：宁波大学，2014.

[20]赵辉，鲍歌堂，陶卫.图像测量中自动调焦函数的实验研究与分析[J].光学精密工程，2004，12(5)：531～536。

[21]Yang X K,Lin W S,Lu Z H,et al.Motion-compensated residuepreprocessing in video coding based on just-noticeable-distortion profile[J].IEEE Transactions on circuits and systems for video technology,2005,15(6):742～752。

[22]王怡影.基于掩盖效应的图像质量综合评价方法[D].合肥：安徽大学，2012。

[23]R L P.Orientation tuning of the spatial-orientation mechanisms ofthe red-green channel[J]。Journal of Optical Society of America A,1997,14(10):2622～2632。

[24]Watson A B,Solomon J A.Model of visual contrast gain control andpattern masking[J].JOSA A,1997,14(9):2379～2391。

[25]宋化镜.基于小波分析和虚拟仪器技术的滚动轴承测试分析系统的研究[D].上海，上海大学，2011。

[26]P.Tseng,R.Carmi,I.G.M.Camerson,et al.Quantifying center bias ofobservers in free viewing of dynamic natural scenes[J].Journal of Vision,2009,9(7):4。

[27]Le Meur O.,Le Callet,P.,Barba,et al.A coherent computationalapproach to model bottom-up visual attention[J].Pattern Analysis and MachineIntelligence,IEEE Transactions on,2006,28(5):802～817。

[28]Grossberg S,Kelly F.Neural dynamics of binocular brightnessperception[J].Vision Research,1999,39(22):3796～3816。

[29]Ding J,Sperling G.A gain-control theory of binocular combination[J].Proceedings of the National Academy of Sciences of the United States ofAmerica,2006,103(4):1141～1146。

[30]佟晓煦.立体图像质量客观评价算法的研究[D].天津：天津大学，2014。

Claims (4)

1.一种基于双目融合的立体图像质量评价方法，其特征是，步骤如下：

步骤1：构建符合人类视觉特性的单目感知模型，该模型由亮度掩盖模块、纹理掩盖模块和多通道分解模块组成，原始图像X₀经过单目感知模型转变成为感知图像X_v；

步骤2：计算由步骤1得到的感知图像X_v的图像失真度Q_D

1)计算左右视图图像子块的结构相似度SSIM

首先分别将原始立体图像和失真立体图像的左右视图分别分为8×8的图像子块，然后对每一个图像子块计算相应的结构相似度SSIM(X_i,Y_i)，其中X_i、Y_i分别代表原始立体图像和失真立体图像的第i个图像子块；

2)构建最终的图像失真度Q_D

结合人眼立体视觉双目融合特性和视觉中心显著性特性，对上一步所得的图像子块结构相似度指标进行加权求和计算最终的图像失真度评价分数Q_D。

2.如权利要求1所述的基于双目融合的立体图像质量评价方法，其特征是，原始图像X₀经过单目感知模型转变成为感知图像X_v，具体步骤是：

1)原始图像X₀经过亮度掩盖模块成为亮度掩模图像X₁

首先计算原始图像X₀中每个像素点的亮度掩盖门限T_l(x,y)和背景亮度I₀(x,y)；然后计算原始图像X₀中每个像素点的亮度I(x,y)与背景亮度I₀(x,y)的差值d_l(x,y)，如果d_l(x,y)小于掩盖门限T_l(x,y)，则表明人眼无法从背景中准确识别到该像素点，因此将该像素点的亮度设置为该点背景亮度值；如果d_l(x,y)大于该像素点掩盖门限T_l(x,y)，则表明人眼能够正确识别出该像素点，因此保持该像素点亮度值不变；重复上述计算过程直到整幅图像计算完成，最后就得到了亮度掩模图像X₁；

2)亮度掩模图像X₁经过纹理掩盖模块成为纹理掩模图像X₂

首先分别将参考图像和失真图像的亮度掩模图像分为8×8的图像子块；然后计算每个图像子块的纹理掩盖门限值T_l(μ)；最后依据所获得的纹理掩盖门限值计算失真图像中每个图像子块的纹理掩模图像子块，从而获得完整的失真图像纹理掩模图像X₂；

3)纹理掩模图像X₂经过多通道模块成为最终的感知图像X_v

首先，利用Le Gall 5/3小波对纹理掩模图像X₂进行三级小波分解得到1个低频分量系数矩阵cA(p)和9个高频系数矩阵，分别为垂直方向高频细节分量矩阵cV_λ(p)，水平方向高频细节分量矩阵cH_λ(p)和对角方向高频细节分量矩阵cD_λ(p)，其中λ为小波分解级数，λ＝{1,2,3}；然后，计算各通道对比敏感度权重ω；最后，使用各通道对比度敏感度权重ω对高频系数矩阵进行加权重构，从而获得最终的感知图像X_v。

3.如权利要求2所述的基于双目融合的立体图像质量评价方法，其特征是，步骤2)亮度掩模图像X₁经过纹理掩盖模块成为纹理掩模图像X₂进一步地具体过程为：计算失真图像第i个子块中像素点(x,y)处的像素值与参考图像中对应图像块像素值Iⁱ(x,y)的差值如果小于该图像块纹理掩盖门限则表明人眼无法感受到失真图像与参考图像对应像素点的差异，因此将失真图像该像素点的像素值设置为参考图像对应点的像素值；如果差值大于该区域掩盖门限则表明人眼能够正确识别出该像素点，因此保持该像素点像素值不变，依据以上计算过程对失真图像中每个子块每个像素点进行计算从而获得完整的失真图像纹理掩模图像X₂。

4.如权利要求1所述的基于双目融合的立体图像质量评价方法，其特征是，加权求和中权重因子的构建步骤是：

①视觉显著性权重因子

采用图像中心点的各向异性高斯核函数计算不同图像子块的权重，进而模拟视觉心理学的中央偏移特性；

②增益权重因子

使用增益控制理论构建增益权重因子，模拟双目融合特性。