CN104469355B - 基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法 - Google Patents

Abstract

本发明属于3D立体显示技术领域，具体公开了一种基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，其实现步骤：1)提取图像的彩色显著图和视差显著图；2)彩色显著图归一化处理，将归一化值作为权值乘以视差显著图，得到显著自适应视差图；3)利用阈值分割提取显著不舒适区域；4)提取视差特征，基于SVR估计视觉舒适度，计算VC值进行可视化操作；5)显著自适应视差图的非线性映射处理；6)利用DIBR技术，映射后的视差图和原右视图作输入合成虚拟图像。本发明预测的视觉舒适度比主观评价得到的有较高相关性，既减小了过度视差，又保持了图像的显著信息，从而提高立体图像的视觉舒适度，可广泛用于3D立体显示。

Description

基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法

技术领域

本发明属于3D立体显示技术领域，涉及一种视觉舒适预测及增强的方法，可用于对舒适度要求较高的立体显示中，具体是一种基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法。

背景技术

随着3D立体显示技术的飞速发展，人们可以身临其境地体验3D带来的视觉上与感知上的双重冲击。但是在立体观看过程中存在一些至关重要的问题，如：视觉不舒适，视觉疲劳等。为了立体显示技术的广泛使用，给观看者创造一个舒适安全的观看环境显得很有必要。引起视觉不舒适的因素有很多，包括过度视差、左右图像的不匹配、深度信息的冲突等。而过度视差由于我们的双眼很难融合，因而最容易引起视觉不舒适。

传统的视觉舒适度可客观评价方法主要是基于全局的视差统计特征来预测视觉舒适度，如整幅视差图像的均值、方差、分布范围等特征。然而，根据人眼立体视觉注意力特性，人眼只对部分视觉重要区域的视觉舒适/不舒适比较敏感，如果以全局的视差统计特征来预测视觉重要区域的视觉舒适程度，会导致无法精确预测得到的客观评价值。

Sohn H、Jung Y J和Lee S等人在IEEE Transactions on Broadcasting上名为“Predicting visual discomfort using object size and disparity information in stereoscopic images”的论文中提出了一种相对视差和前景对象尺寸的立体图像视觉舒适度客观评价方法，该方法首先利用mean-shift分 割方法对视差图进行分割，有效地提取出对象的轮廓，然后计算到邻近对象间的相对视差和前景对象的尺寸，并将其作为舒适度感知特征，最后结合传统的全局视差统计特征，可以较大程度地提高视觉舒适预测的准确性。然而，该方法没有考虑空间频率特征对人眼深度感知的影响，也没有考虑立体视觉显著区域对视觉舒适评价的影响。

2013年在名为“一种立体图像视觉舒适度评价方法”的NO.CN103581661A专利中提出了一种立体图像视觉舒适度评价方法，该方法首先通过提取右视点图像的显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值。该方法的优点是获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况，从而有效地提高了客观评价结果与主观感知的相关性。然而，获得的立体显著图是线性叠加了图像显著图和深度显著图，这种传统的线性叠加方法不仅弱化了图像的显著信息，并且会引入一些本来不显著的区域，较大程度地改变了原始图像的视差范围。在此基础上得到的提取的视差特征矢量，不能较好地表征原图像的舒适度范围，不能够准确地预测图像的舒适度。

传统的用于改善视觉不舒适的方法主要是通过调整视差，调整的方法主要分为两大类：一个是视差缩放；另一个是视差平移。

Holliman N在SPIE上名为“Mapping perceived depth to regions of interest in stereoscopic images”的论文中提出了通过视差缩放来调整视 差，该方法是通过缩放原图像的视差范围到一个相对舒适的目标区域，进而减少3D立体显示中的视觉不舒适。这种方法的缺点是，经过缩放后的图像尺寸会相应的减小，如果采用简单的线性差值可以扩充到原图像的大小，但是图像的整体质量会下降。

Xu D、Coria L E和Nasiopoulos P等人在IEEE International Conference on Consumer Electronics上名为“Quality of experience for the horizontal pixel parallax adjustment of stereoscopic 3D videos”的论文中提出了视差平移方法，是通过水平平移左右视点的图像来调整视差，可以保持原图像的视差范围。这种方法由于较低的算法复杂度被广泛应用。然而，当原图像的视差范围超过了确定的视觉舒适区，用这种方法减少视觉不舒适的效果将会不明显。

发明内容

本发明的目的是克服上述现有技术的不足，提出一种基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，同时考虑图像的显著信息和深度视差信息，在不影响图像整体质量的情况下，预测并提高图像的视觉舒适度。

本发明的技术方案是：基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，包括如下步骤：

(1)显著估计：

1a)读入一幅2D彩色图像的左视点图像I_l，利用GBVS显著图提取方法得到对应的彩色显著图S_I；

1b)读入所述2D彩色图像的左视点图像I_l和右视点图像I_r，利用DERS估计方法得到对应的视差显著图S_D；

(2)合成显著自适应视差图：

2a)先对S_I进行归一化处理，将其像素值转化成[0,1]范围内的双精度值，用以表明其显著性；如果某点像素值越接近0，表明该点越不显著；如果某点像素值越接近1，表明该点越显著；归一化公式如下：

$W_t(x,y)=\frac{S_I(x,y)}{255},$

其中S_I(x,y)表示在(x,y)像素点处的显著值；

2b)将W_t作为权值，乘到视差显著图S_D上，得到合成的显著自适应视差图S_ad，即：

S_ad(x,y)＝W_t(x,y)*S_D(x,y)；

(3)选取显著自适应视差图S_ad中的前6％-10％的视差值，作为阈值分割的阈值T_r，得到视觉不舒适区域SDR：

(4)预测视觉不舒适的程度：

4a)提取两个视差特征，一个是基于显著权值的视差特征D_MSD；另一个是最大视差特征D_m；

4b)形成视差特征向量D，视差特征向量D由视差特征D_MSD和视差特征D_m组成：D＝[D_MSD,D_m]；

4c)计算视觉舒适度VC：基于支持向量回归分析SVR预测，预测函数为：其中α和α^*是拉格朗日乘子；K(D_i,D)是非线性变换输入特征的核函数，这里采用径向基函数RBF： 其中γ表示核函数的变化；i表示输入特征数据的数量；

(5)视觉舒适的增强：

在显著自适应视差图S_ad中，存在着四种类型的像素:不显著舒适像素、显著舒适像素、不显著不舒适像素和显著不舒适像素；先确定像素的所属类 型，再根据非线性映射公式：D_nm(x,y)＝20*lg(S_ad(x,y))，对显著自适应视差图S_ad进行压缩处理；

(6)合成虚拟图像：

利用深度图像绘制技术DIBR，将处理过的视差图D_nm和原右视点图像作为输入，合成虚拟图像。

上述步骤(4a)中的视差特征的提取，具体按如下步骤进行：

(2a1)基于得到的显著不舒适区域SDR，首先统计该区域中的像素个数N；

(2a2)接着计算该视觉不舒适区域SDR像素的平均值D_MSD，作为视觉舒适预测的一个视差特征，实现公式为：

(2a3)提取视觉不舒适区域SDR中的最大的视差D_m，实现公式为：D_m＝max(S_ad(x,y))，作为另一个视差特征用于视觉舒适估计。

上述步骤(5)中所述的四种类型的像素的具体划分范围如下：

在显著自适应视差图S_ad中，其像素值范围为0-255，为了有效地进行非线性映射处理，根据S_ad的值，上述四种类型的像素范围分别为：

本发明的有益效果：与现有技术相比本发明具有以下优点：

1.本发明有效地结合了原图像的显著信息和视差信息，相较于传统的线性叠加方法，在突出显著信息的同时，又尽可能地保证了原始的视差变化范围，可以较好地用于预测图像的舒适程度；

2.本发明利用显著自适应原理，来增强立体显示中的视觉舒适。在立体显 示中显著的地方更能引起人们较大程度的关注；

3.本发明对彩色图像进行了归一化处理，新合成的基于显著自适应的视差图，可将视差的变化调整到了一个集中的舒适区域内；

4.本发明通过显著自适应过程，能克服传统方法对较大的过度视差难以处理的问题。

仿真实验结果表明，本发明结合显著信息和视差信息，在视觉舒适预测方面，与主观评价的视觉舒适有较高的相关性，是一种计算复杂度低且相关性较好的方法。在视觉增强方面，原本比较显著的物体更为显著，易于视差调整；原本不太显著的物体更加不显著，避免了不必要的视差调整。这样，既保证了图像的整体质量，又降低了算法的复杂度，进而生成视觉效果良好的3D视图，是一种性能良好的增强视觉舒适的方法。

附图说明

图1是本发明的流程图；

图2是本发明仿真实验中使用的两个测试图像；

图3是利用本发明方法得到的视差显著图像、显著自适应视差图像、视觉舒适区域图像和可视化图像；

图4是利用本发明方法得到的非线性映射图像和虚拟视图图像。

具体实施方式

参照图1，本发明的实现步骤如下：

步骤1、显著估计

1a)读入一幅2D彩色图像的左视点图像I_l，利用GBVS显著图提取方法得到对应的彩色显著图S_I；

1b)读入所述2D彩色图像的左视点图像I_l和右视点图像I_r，利用DERS估计方法得到对应的视差显著图S_D；

步骤2、合成显著自适应视差图

2a)先对S_I进行归一化处理，将其像素值转化成[0,1]范围内的双精度值，用以表明其显著性。如果某点像素值越接近0，则表明该点越不显著；如果某点像素值越接近1，则表明该点越显著。归一化公式：其中S_I(x,y)表示在(x,y)像素点处的显著值；

2b)将W_t作为权值，乘到视差显著图S_D上：S_ad(x,y)＝W_t(x,y)*S_D(x,y)，其中S_ad是新得到的显著自适应视差图；

步骤3、选取显著自适应视差图中的前6％-10％的视差值，作为阈值分割的阈值T_r，得到视觉不舒适区域SDR：

步骤4、预测视觉不舒适的程度

4a)提取两个视差特征，一个是基于显著权值的视差特征D_MSD：

其中N是显著不舒适区域的像素个数。

另一个是最大视差特征D_m，D_m＝max(S_ad(x,y))；

4b)形成视差特征向量D，由视差特征D_MSD和视差特征D_m组成：D＝[D_MSD,D_m]；

4c)计算视觉舒适度VC：基于支持向量回归分析SVR预测，预测函数为：其中α和α^*是拉格朗日乘子；K(D_i,D)是非线性变换输入特征的核函数，这里采用径向基函数 其中γ表示核函数的变化；i表示输入特征数据的数量；

步骤5、视觉舒适的增强

在显著自适应视差图S_ad中，存在着四种类型的像素:不显著舒适像素、显著舒适像素、不显著不舒适像素和显著不舒适像素。先确定像素的所属类型，再根据非线性映射公式：D_nm(x,y)＝20*lg(S_ad(x,y))，对显著自适应视差图S_ad进行压缩处理。

其中该四种类型的像素的具体划分范围如下：

在显著自适应视差图S_ad中，其像素值范围为0-255，为了有效地进行非线性映射处理，根据S_ad的值，上述四种类型的像素范围分别为：

步骤6、合成虚拟图像

利用深度图像绘制技术DIBR，将处理过的视差图D_nm和原右视点图像作为输入，合成虚拟图像。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

在CPU为Intel(R)Core^TM2核处理器E6550：主频2.33GHZ，内存2G，操作系统：WINDOWS 7，仿真平台：Qt4。

仿真选择图2所示的两个测试图像，其中：

图2(a1)为第一个测试图像的原始的左视点图像，

图2(b1)为第一个测试图像的原始的右视点图像，

图2(a2)为第二个测试图像的原始的左视点图像，

图2(b2)为第二个测试图像的原始的右视点图像。

2.仿真内容：

仿真实验中，在视觉舒适预测方面，利用本发明方法与现有的几种方法进行视觉舒适预测仿真。

Mean disparity Method and Range of disparity Method参见文献：M.Lambooij,W.A.IJsselsteijn,and I.Heynderickx,"Visual discomfort of 3D TV:assessment methods and modeling,"Displays,vol.32,no.4,pp.209-218,2011.

H.method 1,H.method 2,H.method 3参见文献：D.Kim and K.Sohn,"Visual fatigue prediction for stereoscopic image,"IEEE Trans.Circuits Sys.Video Technol.,vol.21,no.2,pp.231-236,2011.

Global variance of disparity Method参见文献：J.Choi,D.Kim,B.Ham,S.Choi,and K.Sohn,"Visual fatigue evaluation and enhancement for 2D-plus-depth video,"in Proc.IEEE ICIP,pp.2981-2984,2010.

仿真1，视觉舒适预测：利用本发明方法和现有的几种视觉舒适预测方法进行测试仿真，其PCC(Pearson相关系数)和SROCC(Spearman秩相关系数)相关性如表1所示；

表1 利用传统方法和本发明方法得到的PCC、SROCC相关性对比

如表1所示，本发明方法在PCC和SRCC相关性上，均显示了较高的相关性，表明该发明方法可以较好地预测立体图像的视觉舒适程度。

仿真2，视觉舒适预测：利用本发明方法分别对图2所示的第一个测试图像(a1)和第二个测试图像(a2)进行仿真，得到两个测试图像的视差显著图、显著自适应视差图、显著不舒适区域分割图及视觉舒适可视化图像，如图3所示，其中：

图3(a1)(a2)为原始左视点图像2(a1)(a2)和原始右视点图像2(b1)2(b2)估计的视差显著图；

图3(b1)(b2)为使用本发明方法对图2(a1)(a2)生成的显著自适应视差图；

图3(c1)(c2)为使用本方法生成的显著自适应视差图(图3(b1)(b2))的显著不舒适区域图；

图3(d1)(d2)为使用本发明方法对图2(a1)(a2)的视觉不舒适可视化结果。

由图3(a1)与图3(b1)和图3(a2)与图3(b2)对比可见，本发明方法得到的基于显著信息的显著自适应视差图，使原始图像中较为显著的地方更加显著，较为不显著的地方更加不显著。

由图3(d1)与图3(d2)可见，本发明方法可以有效地提取出一幅图像中的视觉不舒适区域，便于对视觉舒适的进一步研究。

仿真3，视觉舒适增强：利用本发明方法分别对图2所示的第一个测试图像(a1)和第二个测试图像(a2)进行仿真，得到两个测试图像的非线性映射图像、对应的视差直方图DIBR合成的虚拟视图，如图4所示，其中：

图4(a1)(a2)为图3(a1)(a2)的非线性映射结果；

图4(b1)(b2)为使用本发明方法对图2(a1)(a2)生成的虚拟视图；由图4(a1)(a2)与图3(a1)(a2)对比可见，本发明方法得到视差图可以较好地将引起视觉不舒适的过度视差映射到人眼可接受的视觉舒适范围内。

综上，与现有技术相比本发明具有以下优点：

1.本发明有效地结合了原图像的显著信息和视差信息，相较于传统的线性叠加方法，在突出显著信息的同时，又尽可能地保证了原始的视差变化范围，可以较好地用于预测图像的舒适程度；

2.本发明利用显著自适应原理，来增强立体显示中的视觉舒适。在立体显示中显著的地方更能引起人们较大程度的关注；

3.本发明对彩色图像进行了归一化处理，新合成的基于显著自适应的视差图，可将视差的变化调整到了一个集中的舒适区域内；

4.本发明通过显著自适应过程，能克服传统方法对较大的过度视差难以处理的问题。

仿真实验结果表明，本发明结合显著信息和视差信息，在视觉舒适预测方面，与主观评价的视觉舒适有较高的相关性，是一种计算复杂度低且相关性较好的方法。在视觉增强方面，原本比较显著的物体更为显著，易于视差调整；原本不太显著的物体更加不显著，避免了不必要的视差调整。这样，既保证了图像的整体质量，又降低了算法的复杂度，进而生成视觉效果良好的3D视图，是一种性能良好的增强视觉舒适的方法。

本实施方式中没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (2)

1.基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，其特征在于，包括如下步骤：

(1)显著估计：

1a)读入一幅2D彩色图像的左视点图像I_l，利用GBVS显著图提取方法得到对应的彩色显著图S_I；

1b)读入所述2D彩色图像的左视点图像I_l和右视点图像I_r，利用DERS估计方法得到对应的视差显著图S_D；

(2)合成显著自适应视差图：

2a)先对S_I进行归一化处理，将其像素值转化成[0,1]范围内的双精度值，用以表明其显著性；如果某点像素值越接近0，表明该点越不显著；如果某点像素值越接近1，表明该点越显著；归一化公式如下：

$W_t(x,y)=\frac{S_I(x,y)}{255},$

其中S_I(x,y)表示在(x,y)像素点处的显著值；

2b)将W_t作为权值，乘到视差显著图S_D上，得到合成的显著自适应视差图S_ad，即：

S_ad(x,y)＝W_t(x,y)*S_D(x,y)；

(3)选取显著自适应视差图S_ad中的前6％-10％的视差值，作为阈值分割的阈值T_r，得到视觉不舒适区域SDR：

(4)预测视觉不舒适的程度：

4a)提取两个视差特征，一个是基于显著权值的视差特征D_MSD；另一个是最大视差特征D_m；

本步骤具体按如下步骤进行：

(4a1)基于得到的显著不舒适区域SDR，首先统计该区域中的像素个数N；

(4a2)接着计算该视觉不舒适区域SDR像素的平均值D_MSD，作为视觉舒适预测的一个视差特征，实现公式为：

(4a3)提取视觉不舒适区域SDR中的最大的视差D_m，实现公式为：

D_m＝max(S_ad(x,y))，作为另一个视差特征用于视觉舒适估计；

4b)形成视差特征向量D，视差特征向量D由视差特征D_MSD和视差特征D_m组成：D＝[D_MSD,D_m]；

4c)计算视觉舒适度VC：基于支持向量回归分析SVR预测，预测函数为：其中α和α^*是拉格朗日乘子；K(D_i,D)是非线性变换输入特征的核函数，这里采用径向基函数RBF：其中γ表示核函数的变化；i表示输入特征数据的数量；

(5)视觉舒适的增强：

在显著自适应视差图S_ad中，存在着四种类型的像素:不显著舒适像素、显著舒适像素、不显著不舒适像素和显著不舒适像素；先确定像素的所属类型，再根据非线性映射公式：D_nm(x,y)＝20*lg(S_ad(x,y))，对显著自适应视差图S_ad进行压缩处理；

(6)合成虚拟图像：

利用深度图像绘制技术DIBR，将处理过的视差图D_nm和原右视点图像作为输入，合成虚拟图像。

2.根据权利要求1所述的基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法，其特征在于，其中步骤(5)中所述的四种类型的像素的具体划分范围如下：

在显著自适应视差图S_ad中，其像素值范围为0-255，为了有效地进行非线性映射处理，根据S_ad的值，上述四种类型的像素范围分别为：