CN102750706A - 基于深度显著度的立体图像恰可感知差异模型的构建方法 - Google Patents

Abstract

本发明公开了一种基于深度显著度的立体图像恰可感知差异模型的构建方法，包括步骤：步骤1，计算立体图像对的水平视差，得到立体图像对的水平视差图；步骤2，计算立体图像对的深度值，得到立体图像对的深度图；步骤3，计算立体图像对的深度显著度，得到立体图像对深度显著度图S_D；步骤4，构建基于深度显著度的立体图像恰可感知差异模型。本发明充分考虑了立体图像感知中深度显著度影响因素，采用本发明方法所得模型更能精确反应人眼感受，经本模型指导处理后的立体图像能在保持主观质量几乎不变的情况下，还可加入更多的噪声，即可以去除立体图像视频中更多的视觉冗余。

Description

基于深度显著度的立体图像恰可感知差异模型的构建方法

技术领域

本发明属于立体视频的编码质量感知领域，尤其涉及一种基于深度显著度的立体图像恰可感知差异模型的构建方法。

背景技术

近几年，立体电视及电影成功为人们带来良好沉浸感与视觉感受的同时，也带来了诸多技术上的挑战，如急剧增多的海量多视点视频数据所带来的传输及存储问题。针对这些问题，人们提出了性能优越的立体视频数据压缩算法并制定了相关的立体视频编码标准，但是这些算法大多基于立体图像对的统计特性，且压缩效率提升主要依赖于计算复杂度的大幅增加，运算成本的增加使得传统的编码技术终将面临瓶颈。

人眼是立体场景的最终接收者，而人眼视觉系统仅能感知到特定视觉阈值之上的图像变化。而针对人眼能感知到的特定视觉阈值，构建恰可感知差异（JND：JustNoticeable Difference）模型，可以在保证视觉效果基本不变的前提下，去除更多的立体视频中的视觉冗余。

因此，如何使得恰可感知差异的阈值更加精确，以用于进一步去除立体图像/视频数据中更多的视觉冗余是构建立体图像恰可感知差异模型中亟待解决的问题。

现已有少量学者提出立体图像恰可感知差异模型，但均是在传统二维图像恰可感知差异模型基础上简单地加入某个立体图像感知影响因子，未全面考虑影响立体图像恰可感知差异阈值的生理及心理特性，使得模型不能准确考虑人眼视觉感受。

2010年，英国萨里大学的De Silva^[1]提出了立体图像深度恰可感知阈值模型^[1]，并首次解释了人们对深度失真引起的深度感受变化不敏感的原因，填补了深度JND建模方面的空白；但深度JND模型仅考虑了深度强度对恰可感知差异阈值的影响，未考虑深度自身的对比掩蔽效应影响。

2011年，浙江大学的赵寅等人^[2]针对非对称噪声引起的双目立体图像最小可感知失真进行了建模。基于规范的主观实验，首次提出考虑了亮度掩蔽及对比掩蔽效应的双目立体图像恰可感知差异模型；但该双目立体图像恰可感知差异模型是基于双目视差为零的假设构建的，未考虑视差对恰可感知差异模型的影响，难以适用于普遍情况下视差不为零的双目立体图像对中。

2011年，李晓明^[3]提出了基于遮挡与非遮挡区域划分的双目图像恰可感知失真模型（即，恰可感知差异模型）。由于遮挡区域通常出现在有着不同深度值的物体边缘区域，使得人们对遮挡区域的深度感受更敏感，恰可感知差异阈值更小；该恰可感知失真模型解决了未考虑视差的问题，并单独考虑了遮挡区域的人眼敏感度差异。但此模型仅考虑在遮挡区域对立体图像的恰可感知差异阈值重新赋值，并没有本质上改变非遮挡区域的处理方法。

众所周知，恰可感知差异阈值的本质取决于人类视觉系统对不同刺激的敏感度^[4]，在像素域内，主要是对亮度自适应和对比掩蔽所对应刺激的敏感度，对于立体图像，还要考虑深度强度，还有深度对比度等其他影响人眼敏感度的重要因素，如何在立体图像恰可感知差异模型中全面考虑影响人眼视觉系统感知的因素是至关重要的。

文中涉及的参考文献如下：

[1]D.V．S.X De Silva and W.A.C Fernando,“Just noticeable difference in depth model forstereoscopic 3D displays,”IEEE ICME 2010,pp.1219-1224,Jul.2010.

[2]Y.Zhao and L.Yu,“Binocular just noticeable-difference model for stereoscopic images,”IEEE Signal Processing Letters,vol.18,no.1,pp.19-22,Jan.2011.

[3]X.Li,Y.Wang and D.Zhao,“Joint just noticeable difference model based on depthperception for stereoscopic images,”IEEE VCIP,pp.1-4,Nov.2011.

[4]C.-H.Chou and Y．-C.Li,“A perceptually tuned sub-band image coder based on the measureofjust-noticeable-distortion profile,”IEEE Trans.Circuits Syst.Video Technology，vol.5,no.6,pp.467–476,Dec.1995.

[5]X.K.Yang and S.S.Yao,“Just noticeable distortion model and its applications in videocoding,”Signal Processing:Image Commun.,vol.20,no.7,pp.662–680,2005.

[6]L.Itti,C.Koch andE.Niebur,“A model of saliency-based visual attention for rapid sceneanalysis,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.20,no.11,pp.1254–1259,1998.

发明内容

针对现有技术存在的不足，本发明充分考虑了立体图像不同深度的显著度对人眼敏感度的影响，提出了一种基于深度显著度的立体图像恰可感知差异模型的构建方法。

为了解决上述技术问题，本发明采用如下的技术方案：

基于深度显著度的立体图像恰可感知差异模型的构建方法，依次包括步骤：

步骤1，计算立体图像对的水平视差，得到立体图像对的水平视差图；

步骤2，计算立体图像对的深度值，得到立体图像对的深度图；

步骤3，计算立体图像对的深度显著度，得到立体图像对深度显著度图S_D；

步骤4，构建基于深度显著度的立体图像恰可感知差异模型：

其中，JND_ds(i,j)为立体图像对中各像素(i,j)的立体图像恰可感知差异阈值；JND_2d(i,j+)为立体图像对中各像素(i,j)的二维图像恰可感知差异阈值；α为常数调节因子，用来调节JND_2d(i,j)；β也为常数调节因子，用来调节深度显著度对立体图像恰可感知差异阈值的影响程度，β∈(0,1)；S_D(i,j)为立体图像对中各像素（i，j）的深度显著度；N(S_D(i,j))表示将S_D(i,j)归一化至[0,1]范围内。

步骤3进一步包括子步骤：

3-1计算立体图像对深度图的强度特征图F_D；

3-2计算立体图像对深度图的方向特征图F_O；

3-3根据立体图像对深度图的强度特征图F_D和方向特征图F_O得到深度显著度图S_D：

其中，F_O为立体图像对深度图的方向特征图；F_D为立体图像对深度图的强度特征图；N(F_O)、N(F_D)分别表示将F_O和F_D标准化至预设范围。

步骤4中的JND_2d(i,j)具体为：

JND_2d(i,j)＝LA(i,j)+CM(i,j)-C^LC(i,j)·min{LA(i,j),CM(i,j)}，其中，JND_2d(i,j)为立体图像对中各像素(i,j)的二维图像恰可感知差异阈值；LA(i,j)和CM(i,j)分别为立体图像对中各像素(i,j)的亮度自适应效应和对比掩蔽效应对应的可视极值；C^LC(i,j)为反映立体图像对中各像素(i,j)上亮度自适应效应和对比掩蔽效应之间的重叠效果的常数，0＜C^LC(i,j)≤1。

与De Silva^[1]提出了立体图像深度恰可感知阈值模型^[1]相比，本发明建模方法不仅考虑了深度强度对恰可感知差异阈值的影响，还考虑了深度自身的对比掩蔽效应影响；与赵寅等人^[2]提出的模型相比，本发明建模方法在深度显著度中引入了水平视差，即考虑了视差对恰可感知差异模型的影响；与李晓明李晓明^[3]提出的恰可感知差异模型相比，本发明建模方法是针对整个立体图像而言，是全局处理。

现有的立体图像恰可感知差异模型均忽视了影响视觉敏感度的深度显著度，使得模型不能准确地考虑人眼视觉感受。而本发明充分考虑了立体图像感知中深度显著度影响因素，提出了一种基于深度显著度的立体图像恰可感知差异模型的构建方法，采用本发明方法所得模型更能精确反应人眼感受，经本模型指导处理后的立体图像能在保持主观质量几乎不变的情况下，还可加入更多的噪声，即可以去除立体图像视频中更多的视觉冗余。

附图说明

图1为本发明方法的原理图。

具体实施方式

杨小康^[5]于2003年提出了一种二维图像恰可感知差异模型，该模型充分考虑了二维图像中亮度自适应和对比掩蔽效应对人眼的敏感度刺激。深度感受是立体图像感知区别于二维图像感知的一个重要因素，本发明具体考虑了深度强度和深度方向对人眼敏感度的影响，将由深度特征（即深度强度和深度方向）的差异而引起的立体图像内容显著度（即人眼对立体图像的关注敏感度）的变化称为深度显著度，并将深度显著度和杨小康提出的二维图像恰可感知差异模型相结合，提出了一种基于深度显著度的立体图像恰可感知差异模型。

本发明的基于深度显著度的立体图像恰可感知差异模型的构建思路为：计算出立体图像对的深度显著度，将所得深度显著度引入传统的二维图像恰可感知差异模型（即，杨小康提出的二维图像恰可感知差异模型）中，从而得到基于深度显著度的立体图像恰可感知差异模型，具体参见图1，图1中的视点N和视点N+1表示两相邻视点图像，即本发明中的立体图像对。

下面将结合附图说明本发明的具体实施：

步骤1，计算立体图像对的水平视差

在真实场景中，同一点在立体图像对中的投影点称为共轭对，水平视差即立体图像对中的两幅图像重叠时共轭对点的水平位置之差。本发明中假设垂直视差为零，仅考虑水平视差。

本步骤的具体实施为：

以立体图像对中的一幅图像为参考图像，通过基于分割的立体匹配和置信传播的算法，准确找到参考图像中每一个像素点在另一幅图像中的匹配点，计算各像素点与其匹配点的水平视差，根据所得各像素的水平视差得到立体图像对的水平视差图。

步骤2，计算立体图像对的深度值

根据步骤1所得水平视差图、拍摄立体图像对的两摄像机之间的基线距离、摄像机焦距长度和深度四者之间的几何成像关系，计算立体图像对中各像素点在真实场景中的对应点与摄像机之间距离的深度值Z：

$Z=\frac{B\·F}{\mathrm{disp}}---\left(1\right)$

式（1）中：

F是摄像机的焦距长度；

B是两摄像机之间的基线距离；

disp为立体图像对中像素点及其匹配点之间的水平视差，disp≠0。

根据立体图像对中所有像素点的深度值得到立体图像对的深度图。

将立体图像对中所有像素点的深度值映射到最大与最小深度值之间的非常规空间，0代表最远的值，255代表最近的值，深度图中的深度值用8bit的灰度值表示，利用非正规量化把立体图像对中所有像素点的深度值转化为8bit的深度强度值v：

式（2）中：

表示下取整，其目的在于保证v的值在0～255范围内；

Z为立体图像对中像素点在真实场景中的对应点与摄像机之间距离的深度值；

Z^f和Zⁿ分别表示立体图像对中最远和最近的深度值，

min{disp}、max{disp}分别为立体图像对的最小水平视差和最大水平视差。

人眼对立体图像内容的关注程度随着对象距离的远近而单调递减，越近的物体对应越高的人眼关注度，而且深度不连续区或深度对比区域通常提供了较高的深度敏感度。

步骤3，计算立体图像对的深度显著度

立体图像对的深度图对于人眼关注敏感度的影响，包括两个方面：一个是深度强度，人们通常对越近的物体对应越高的人眼关注度，对较远的物体对应较低的人眼关注度，这种深度图的特征用深度强度特征图来表示；二是深度的对比掩蔽效应，当一个深度显著度附近出现另外一个显著度值时，该深度显著度可能会被抑制，这种深度对比的特征用深度方向特征图来表示。

（1）计算立体图像对的深度图的强度特征图

将立体图像对中所有像素点的深度强度v创建成高斯金字塔层结构v(σ)，其中，σ∈[0,1,…,8]，代表不同金字塔层的图像尺度。

深度图的强度特征图F_D通过深度强度频道之间的绝对中央周围差异CSD（center-surrounddifferences）^[6]得到：

式（3）中：

N(·)表示将值标准化至预设范围[0，M]，M的取值由全局最大值和局部最大值决定，标准化的目的是平滑[0，M]范围内有效突出的尖锋个数，使其不过于尖锐密集也不过于稀疏平坦；

v(c)、v(s)表示高斯金字塔层结构v(σ)中σ分别取c和s时图像的深度强度信息，σ∈[0,1,…,8]，c和s分别代表立体图像对中央的精细层和周围的粗糙层，即精细图像层和粗糙图像层；

表示跨越不同尺度图像层求和，具体操作为将精细图像层减成粗糙图像层大小然后逐点求；上下的标的含义为：c的取值范围是c∈{2，3，4}，s的取值范围是s∈{c+3，c+4}；

表示跨越不同尺度图像层求差异，即两幅不同尺寸的图像，通过插值化成较精细图像的尺寸，然后逐点相减求差异。

（2）计算立体图像对的深度图的方向特征图

针对深度对比度及深度方向对比度建立深度图的方向特征图，利用方向吉布滤波器从深度强度v中得到深度方向信息（即深度对比度和深度方向对比度），将所得深度方向信息记为O(σ,θ)，其中，σ∈[0,1,…,8]，代表不同金字塔层的图像尺度，θ∈{0,π/4,π/2,3π/4}为方向。

深度图的方向特征图F_O通过深度方向信息频道之间的绝对中央周围差异（CSD）^[6]得到：

式（4）中：

N(·)表示将值标准化至预设范围[0，M]，M的取值由全局最大值和局部最大值决定，标准化的目的是平滑[0，M]范围内有效突出的尖锋个数，使其不过于尖锐密集也不过于稀疏平坦；

O(c,θ)、O(s,θ)分别表示σ取c、s时的深度方向信息，c和s分别代表立体图像对中央的精细层和周围的粗糙层，即精细图像层和粗糙图像层；

表示跨越不同尺度图像层求和，具体操作为将精细图像层减成粗糙图像层大小然后逐点求；上下的标的含义为：c的取值范围是c∈{2，3，4}，s的取值范围是s∈{c+3，c+4}；

表示跨越不同尺度图像层求差异，即两幅不同尺寸的图像，通过插值化成较精细图像的尺寸，然后逐点相减求差异。

（3）计算立体图像对的深度显著度图

对深度图的强度特征图和方向特征图归一化，并经加权求和得到立体图像对的深度显著度图S_D：

$S_D=\frac{1}{2}(N\left(F_O\right)+N\left(F_D\right))---\left(5\right)$

式（5）中：

N(·)表示将值标准化至预设范围，该预设范围的优选范围为[0,1]；

F_O为步骤S3所得深度图的方向特征图；

F_D为步骤S3所得深度图的强度特征图。

步骤4，构建基于深度显著度的立体图像恰可感知差异模型

本发明构建的立体图像恰可感知差异模型是像素域的。像素域的恰可感知差异阈值本质上取决于视觉对刺激的亮度自适应（luminance adaptation）和对比掩蔽（contrast masking）的敏感度。本步骤以杨小康提出的像素域NAMM(nonlinear additivity model for masking,非线性相加)模型为基础，引入深度显著度得到立体图像恰可感知差异模型，因此，所得模型充分考虑了亮度自适应和对比掩蔽效应对图像敏感度的影响。

亮度自适应描述了背景亮度对可视性影响，遵循韦伯定理。对比掩蔽因子认为一个空域对象的可视性可能由于临近区域内另一个空域对象的存在而减弱。杨小康提出的NAMM模型是对这两种效应进行非线性相加得到恰可感知差异阈值，该模型具体为：

JND_2d(i,j)＝LA(i,j)+CM(i,j)-C^LC(i,j)·min{LA(i,j),CM(i,j)}（6）

式（6）中：

JND_2d(i,j)为像素(i,j)的二维图像恰可感知差异阈值；

LA(i,j)和CM(i,j)分别为像素(i,j)的亮度自适应效应和对比掩蔽效应对应的可视极值；

C^LC(i,j)为反映像素(i,j)上亮度自适应效应和对比掩蔽效应之间的重叠效果的常数，0＜C^LC(i,j)≤1。

已有的立体图像恰可感知差异模型均忽视了视觉关注度（即图像显著度）的影响，使得模型不能准确地度量人眼的恰可感知差异阈值。本发明将进一步考虑深度显著度对图像敏感度的影响，从而调制立体图像最终的恰可感知阈值。

本发明沿用杨小康提出的二维图像恰可感知差异模型针对亮度自适应和对比掩蔽的方法，并考虑深度显著度的调制作用，最终构建的模型如式（7）所示：

${\mathrm{JND}}_{\mathrm{ds}}(i,j)=\mathrm{\α}\×{\mathrm{JND}}_{2d}(i,j)\×{\mathrm{\β}}^{N\left(S_D(i,j)\right)}---\left(7\right)$

式（7）中：

JND_2d(i,j)为像素(i,j)的二维图像恰可感知差异阈值；

JND_ds(i,j)为像素(i,j)的立体维图像恰可感知差异阈值；

α为常数调节因子，调节传统的二维图像恰可感知差异阈值，在后面的对比试验中设定为1.98；

β也为常数调节因子，用来调节深度显著度对立体图像恰可感知差异阈值的影响程度，β∈(0,1)，在后面的对比试验中设定为0.25；α、β是两个经验值，可根据测试结果进行调整以获得优选值；

N(·)表示将深度显著度归一化至[0,1]范围；

S_D(i,j)为立体图像对中像素(i,j)的深度显著度。

下面将对本发明模型和杨小康提出的非线性相加模型NAMM进行对比试验，以进一步说明本发明的有益效果：

选用HHI提供的1024*768大小的Altmobie、doorflowers和leavinglaptop多视点立体视频序列，以及波兰大学提供的1920*1080大小的Poznan_carpark、Poznan_hall和Poznan_street立体视频序列作为测试图像。20名主观评测者参与图像质量评分，该试验中的主观图像显示采用TCL TD-42F型号的裸眼3D显示器，分辨率为1080P，支持八个视点合成的高清立体图像显示。

在立体图像的八个视点图像中分别加入采用本发明模型和杨小康模型计算出来的噪声，融合生成立体图像显示于裸眼3D显示器上。

主观测试：

为了客观正规，采用的实验环境遵循国际标准组织文档ITU-R BT.500-11[16]，测试方法为双激励损伤等级DSIS（Double Stimulus Impairment Scale）方法，采用五级损伤制评分标准对几组立体图像质量打分，如表1所示。

表1五级损伤制评分标准

双激励损伤等级DSIS方法中，首先给主观评测者展示一幅未受损的参考图像，然后呈现处理过的受损图像，主观评测者根据参考图像并参考表1来给受损图像的质量打分。具体实施时，按顺序播放参考图像和受损图像，主观评测者在播放完受损图像后，凭记忆根据参考图像对受损图像的质量打分，整个过程中，主观评测者不知道受损图像是利用本发明模型还是杨小康模型指导加入噪声后的图像。

整个主观测试过程不超过30分钟。主观测试结束后，统计主观评测者对所有受损图像的质量评分，针对各受损图像分别计算其主观质量评分的平均值，结果见表2。

客观质量评价：

客观质量通过信噪比（PSNR）指标来评价。具体为：分别计算本发明模型和杨小康模型处理过的受损图像的PSNR值，结果见表2。

表2主观和客观质量结果对比

由表2结果可知：在相似的主观质量条件下，本发明模型比杨小康模型对应图像的客观质量（PSNR）平均低2.86dB，说明本发明模型能指导加入更多的噪声。因此，对于立体图像来说，本发明模型在不降低人眼立体主观感受质量前提下，求解得到更多的噪声，意味着挖掘出了更多的视觉冗余，本发明模型总体性能更优。

Claims (3)

1.基于深度显著度的立体图像恰可感知差异模型的构建方法，其特征在于，依次包括步骤：

步骤1，计算立体图像对的水平视差，得到立体图像对的水平视差图；

步骤2，计算立体图像对的深度值，得到立体图像对的深度图；

步骤3，计算立体图像对的深度显著度，得到立体图像对深度显著度图SD；

步骤4，构建基于深度显著度的立体图像恰可感知差异模型：

其中，JND_ds(i,j)为立体图像对中各像素(i,j)的立体图像恰可感知差异阈值；JND_2d(i,j)为立体图像对中各像素(i,j)的二维图像恰可感知差异阈值；α为常数调节因子，用来调节JND_2d(i,j)；β也为常数调节因子，用来调节深度显著度对立体图像恰可感知差异阈值的影响程度，β∈(0,1)；S_D(i,j)为立体图像对中各像素（i，j）的深度显著度；N(S_D(i,j))表示将S_D(i,j)归一化至[0,1]范围内。

2.根据权利要求1所述的基于深度显著度的立体图像恰可感知差异模型的构建方法，其特征在于：

步骤3进一步包括子步骤：

3-1计算立体图像对深度图的强度特征图F_D；

3-2计算立体图像对深度图的方向特征图F_O；

3-3根据立体图像对深度图的强度特征图F_D和方向特征图F_O得到深度显著度图S_D：

其中，F_O为立体图像对深度图的方向特征图；F_D为立体图像对深度图的强度特征图；N(F_O)、N(F_D)分别表示将F_O和F_D标准化至预设范围。

3.根据权利要求1或2所述的基于深度显著度的立体图像恰可感知差异模型的构建方法，其特征在于：

步骤4中的JND_2d(i,j)具体为：

JND_2d(i,j)＝LA(i,j)+CM(i,j)-C^LC(i,j)·min{LA(i,j),CM(i,j)}，其中，JND_2d(i,j)为立体图像对中各像素(i,j)的二维图像恰可感知差异阈值；LA(i,j)和CM(i,j)分别为立体图像对中各像素(i,j)的亮度自适应效应和对比掩蔽效应对应的可视极值；C^LC(i,j)为反映立体图像对中各像素(i,j)上亮度自适应效应和对比掩蔽效应之间的重叠效果的常数，0＜C^LC(i,j)≤1。

Images