CN109167988B - 一种基于d+w模型和对比度的立体图像视觉舒适度评价方法 - Google Patents

Abstract

本发明涉及一种基于D+W模型和区域对比度的立体图像视觉舒适度评价方法，其特征在于：选择右眼为主视点，根据主视点图像获取显著区域，结合视差信息进一步获得感兴趣区域；然后，将感兴趣区域作为前景区域，提取前景区域的视差与宽度信息，计算前景与背景对比度；最后，引入区域对比度，修正D+W模型，建立立体舒适度评价模型；有效地利用感兴趣区域提取舒适度特征信息，改进D+W模型，建立视觉舒适度模型，自动完成舒适度计算，提高了评估的效率，获得了更为准确的结果。

Description

一种基于D+W模型和对比度的立体图像视觉舒适度评价方法

技术领域

本发明涉及一种基于D+W模型和对比度的立体图像视觉舒适度评价方法，属于图像信号处理技术领域。

背景技术

目前，立体电影已在全球范围内普及，立体电视也逐渐融入普通大众生活。但由于立体影视、图像的显示机理与人眼视觉生理之间的矛盾，使得辐辏与聚焦调节不一致，导致用户在观看时引发眼睛干涩、眼疲劳、恶心、头疼等问题，甚至造成眼部疾病的发生，从而限制了立体显示相关技术的发展及应用。为了提高立体影视的观看质量，在对立体图像或视频进行评价时，将视觉舒适度纳入了考量范围，并作为重要评判标准。目前对立体图像的舒适度评价多采用人工评分的主观评价模式，这种评价模式需要专业的评价环境和巨大的人力耗费。因此，亟需建立一套高效、准确的视觉舒适度评价模型，以指导立体拍摄。

影响视觉舒适度的原因除设备本身、人的生理及心理的影响外还包括立体图像的视差、视差梯度、物体宽度、空间频率、图像的特征(亮度、色度、对比度…)等。目前，立体视觉舒适度大多围绕视差开展研究。Lee S I等人通过对前景目标宽度定量分析得出视差+宽度(D+W)的立体视觉舒适度评价模型；但目标宽度及视差的获取并未考虑到人眼视觉注意机制。而胡佳洁、刘畅等人通过实验得出左右视图的对比度差异门限值范围，虽其正确率可达到90％以上，但并没有具体阐明对比度对立体舒适度的量化影响。因此本发明提出一种基于感兴趣区域及区域对比度的视觉舒适度评测方法，建立多维度的立体图像舒适度评价模型，解决了传统立体图像舒适度评估需人工参与、费时费力的问题。

发明内容

本发明的目的在于提供一种基于D+W模型和对比度的立体图像视觉舒适度评价方法，其得益于人类视觉系统的信息选择能力，人类可以从复杂的场景中快速的找出感兴趣区域，实现场景的理解；因而立体图像的感兴趣区域对于舒适度起到决定性的影响；鉴于此，本发明根据人眼注意机制获取感兴趣区域，有效地利用感兴趣区域提取舒适度特征信息，改进D+W模型，建立视觉舒适度模型，自动完成舒适度计算，提高了评估的效率，获得了更为准确的结果。

本发明技术方案是这样实现的：一种基于D+W模型和区域对比度的立体图像视觉舒适度评价方法，其特征在于：选择右眼为主视点，根据主视点图像获取显著区域，结合视差信息进一步获得感兴趣区域；然后，将感兴趣区域作为前景区域，提取前景区域的视差与宽度信息，计算前景与背景对比度；最后，引入区域对比度，修正D+W模型，建立立体舒适度评价模型；其具体的步骤如下：

步骤1、将左右眼立体图像的右视图作为主视图，基于图论的视觉显著性(Graph-Based Visual Saliency，GBVS)检测算法、结合视差图像，并采用线性方式得到立体显著图；进行阈值分割处理得到掩膜图像；

步骤2、使用掩膜图像与右视图、视差图相乘，分别得到感兴趣区图像和感兴趣区视差图，将感兴趣区域作为前景区域；

步骤3、获取前景区域的平均视差值D_f，公式如下：

其中，o_f表示前景区域，|o_f|表示o_f区域内像素总数，d(x，y)表示视差图中像素(x，y)处的视差值。则前景区域平均视差角d_θ可通过如下公式获取；

其中，k为放映放大率，D_f表示视差，L为观看时距屏幕距离；

步骤4、估计前景区域宽度W_f，公式如下：

式中，N_f表示前景区域内水平线的数量，

表示前景区域内第n条水平线长度，则宽度角w_α可通过如下公式获取，

式中，W_f表示宽度，k为放映放大率，L为观看时距屏幕距离；

步骤5、将前后景区域的RGB空间的每个颜色通道由256个值量化为16个不同值，然后选取覆盖图像像素不低于95％的颜色来代替整体颜色；

步骤6、在Lab的颜色空间中进行空间颜色距离的度量，获取前后景区域间的颜色距离集合，通过如下公式计算前景区域r₁和背景区域r₂之间的颜色距离d_r(r₁，r₂)。

式中，f(c_1，i)表示第i个颜色c_1，i在区域r₁的所有颜色n₁中出现的频率，f(c_2，j)表示第j个颜色c_2，j在区域r₂的所有颜色n₂中出现的频率。d(c_1，i，c_2，j)表示前景区域中第i个颜色与背景区域中第j个颜色在Lab空间内的颜色距离；

步骤7、计算空间加权的区域对比度

，公式如下：

式中，S_r(r_k，r_i)是区域r_k与r_i之间的空间距离，σ_s控制空间权值的强度，σ_s越大空间权值的影响越小，则背景区域的影响越显著。两区域间的空间距离被定义为区域重心间的欧几里得距离，其中，像素坐标为归一化后结果，取

步骤8、将视差与宽度(D+W)模型

VC(D，w)＝80.07-17.71D+4.78ln(w)-0.52Dln(w)

量化为5分制，如下公式所示

VC(D，w)＝4.2028-0.7084D+0.1912ln(w)-0.0208Dln(w)

令f(D，w)为如下公式

f(D，w)＝0.7084D-0.1912ln(w)+0.0208Dln(w)

式中，D为目标视差角，w为目标宽度角，VC为视觉舒适度；且满足0.50≤D≤2.00，0.25≤w≤4.00；

步骤9、将对比度加入视差与宽度模型中，则常数项与对比度项的函数f(c)可以由如下公式所示

VC(d_θ，w_α，c)+f(d_θ，w_α)＝f(c)

其中，c为对比度；

步骤10、在IVY数据库中选择符合模型条件的72组图像对VC(d_θ，w_α，c)+f(d_θ，w_α)与对比度的关系进行分析，在Matlab中使用最小二乘法做曲线拟合，得到如下关系：

VC(d_θ，w_α，c)+f(d_θ，w_α)＝0.0015c²-0.0572c+4.8736

整理得到如下舒适度评价模型

VC(d_θ，w_α，c)＝4.8736-0.7084d_θ+0.1912ln(w_α)-0.0208d_θln(w_α)+0.0015c²-0.0572c(0.50≤d_θ≤2.00，0.25≤w_αα≤4.00)

其中，d_θ为前景区域平均视差角，w_α为前景区域宽度角，c对前后景区域对比度。

本发明的积极效果是实现了对立体图像舒适度的客观估计，通过提取感兴趣区域并结合区域对比度，修正D+W模型，建立舒适度客观量化模型，能够有效地节约传统人工评价的人力成本，和依赖于评价者的间题；利用人眼视觉注意机制，将模型出发点建立在人眼的基础上，使得模型更具客观性；结合视差、宽度与对比度等，综合考量多维因素，使得模型评价结果更为准确、可信度高。

附图说明

图1为本发明流程示意图。

图2为感兴趣区域获取过程。

图3为颜色通道量化及量化后前景区域颜色直方图。

图4为VC(D，w)+f(D，w)与对比度的关系。

图5为模型预测值与主观评价值的关系。

具体实施方式

下面结合附图和实施例对本发明做进一步的描述：本实施例中，采用韩国先进科学院提供的立体图像库，该立体图像库包含120幅立体图像，涵盖各种场景深度的室内室外图像，并给出了每幅立体图像的主观视觉舒适度评分，流程图如图1所示，具体步骤如下：

步骤1、将左右眼立体图像的右视图作为主视图，基于图论的视觉显著性GBVS检测算法、结合视差图像，并采用线性方式得到立体显著图；进行阈值分割处理得到掩膜图像；掩膜图像获取过程如图2(a)右视图、(b)视差图、(c)显著图、(d)立体显著图、(e)掩膜图所示。

步骤2、使用掩膜图像与右视图、视差图相乘，分别得到感兴趣区图像和感兴趣区视差图，如图2(f)感兴趣区域、(g)感兴趣区域视差图所示；将感兴趣区域作为前景区域；对掩膜图像取反，相乘可得到背景区域。

步骤3、通过公式

获取前景区域的平均视差值D_f。其中，o_f表示前景区域，|o_f|表示o_f区域内像素总数，d(x，y)表示视差图中像素(x，y)处的视差值。则前景区域平均视差角d_θ可利用如下公式获取：

其中，k为放映放大率，D_f表示此前计算得出的前景的平均视差值，L为观看时距屏幕距离；

步骤4、通过扫描前景区域的水平线，并使用水平线的平均宽度来估计前景区域宽度，利用公式：

计算前景区域平均宽度W_f。式中N_f表示前景区域内水平线的数量，

表示前景区域内第n条水平线长度。则宽度角w_α可通过利用如下公式获取：

式中，W_f表示前景区域平均宽度，k为放映放大率，L为观看时距屏幕距离。

步骤5、重复上述步骤1～4，对IVY立体图像库中图像进行处理，得到每幅图像的视差角与宽度角，由于D+W模型中对视差与宽度的角度范围进行规范为：0.50≤D≤2.00，0.25≤w≤4.00。因此，对IVY立体图像库中的120幅图像进行筛选，选取符合条件的图像进行接下来的实施步骤。

步骤6、将每幅图像的前后景区域的RGB空间的每个颜色通道由256个值量化为16个不同值，然后选取覆盖图像像素不低于95％的颜色来代替整体颜色。量化前后图像如图3(a)、(b)所示。剩下的像素颜色，包含不高于5％的图像像素，这部分颜色被直方图中最邻近颜色替代，通过该方法建立前后景区域的颜色直方图，如图3(c)所示。

步骤7、在Lab的颜色空间中进行空间颜色距离的度量。先将图像从RGB空间转到Lab空间。然后获取前后景区域间的颜色距离集合，通过如下公式

计算前景区域r₁和背景区域r₂之间的颜色距离d_r(r₁，r₂)。式f(c_1，i)表示第i个颜色c_1，i在区域r₁的所有颜色n₁中出现的频率，f(c_2，j)表示第j个颜色c_2，j在区域r₂的所有颜色n₂中出现的频率。d(c_1，i，c_2，j)表示前景区域中第i个颜色与背景区域中第j个颜色在Lab空间内的颜色距离，用欧式距离公式计算可得。

步骤8、通过如下公式

计算空间加权的区域对比度

式中S_r(r_k，r_i)是区域r_k与r_i之间的空间距离，σ_s控制空间权值的强度。σ_s越大空间权值的影响越小，则背景区域的影响越显著。两区域间的空间距离被定义为区域重心间的欧几里得距离。其中，像素坐标为归一化后结果，取

步骤9、重复步骤6～8，对IVY立体图像库中经筛选后的图像进行颜色量化处理，得到每幅图像的对比度。

步骤10、将视差与宽度(D+W)模型

VC(D，w)＝80.07-17.71D+4.78ln(w)-0.52Dln(w)

量化为5分制，如下公式所示

VC(D，w)＝4.2028-0.7084D+0.1912ln(w)-0.0208Dln(w)

提取包含变量D与w的函数，令f(D，w)为如下所示

f(D，w)＝0.7084D-0.1912ln(w)+0.0208Dln(w)

步骤11、将对比度加入视差与宽度模型中，则常数项与对比度项的函数f(c)可以由如下公式得到：

VC(d_θ，w_α，c)+f(d_θ，w_α)＝f(c)

步骤12、在IVY数据库中选择符合模型条件的72组图像，对VC(d_θ，w_α，c)+f(d_θ，w_α)与对比度的关系进行分析，在Matlab中使用最小二乘法做曲线拟合，如图4所示，得到如下关系：

VC(d_θ，w_α，c)+f(d_θ，w_α)＝0.0015c²-0.0572c+4.8736

整理得到如下模型：

VC(d_θ，w_α，c)＝4.8736-0.7084d_θ+0.1912ln(w_α)-0.0208d_θln(w_α)+0.0015c²-0.0572c(0.50≤d_θ≤2.00，0.25≤w_α≤4.00)

其中，d_θ为前景区域平均视差角，w_α为前景区域宽度角，c对前后景区域对比度。

步骤13、在本实施例中，利用四个常用客观参量作为评价指标对模型估计值与主观评价值的相关性做分析，在IVY中选取部分图像作为测试集，利用本发明模型计算这些图像的客观舒适度，然后比较对应的主观评测评分值计算对应主观评分与客观模型预测值间的Pearson相关系数(Pearson Linear Correlation Coefficient,PLCC)，Kendall相关系数(Kendall Rank-order Correlation Coefficient,KRCC)，平均绝对值误差(MeanAbsolute Error,MAE)和均方根误差(Root Mean Squared Error,RMSE)，如表1所示。

表1模型性能分析

基于本模型对多幅立体图像进行客观评价，结果与主观评价值的关系如图5所示。从表1与图5结果可知，本发明方法得到的立体图像的舒适度客观评价值与主观评价值间具有很强的一致性，性能较好。

Claims (1)

1.一种基于D+W模型和区域对比度的立体图像视觉舒适度评价方法，其特征在于：选择右眼为主视点，根据主视点图像获取显著区域，结合视差信息进一步获得感兴趣区域；然后，将感兴趣区域作为前景区域，提取前景区域的视差与宽度信息，计算前景与背景对比度；最后，引入区域对比度，修正D+W模型，建立立体舒适度评价模型；其具体的步骤如下：

步骤1、将左右眼立体图像的右视图作为主视图，基于图论的视觉显著性Graph-BasedVisual Saliency，GBVS检测算法、结合视差图像，并采用线性方式得到立体显著图；进行阈值分割处理得到掩膜图像；

步骤2、使用掩膜图像与右视图、视差图相乘，分别得到感兴趣区图像和感兴趣区视差图，将感兴趣区域作为前景区域；

步骤3、获取前景区域的平均视差值D_f，公式如下：

其中，o_f表示前景区域，|o_f|表示o_f区域内像素总数，d(x,y)表示视差图中像素(x,y)处的视差值；则前景区域平均视差角d_θ可通过如下公式获取；

其中，k为放映放大率，D_f表示视差，L为观看时距屏幕距离；

步骤4、估计前景区域宽度W_f，公式如下：

式中，N_f表示前景区域内水平线的数量，

表示前景区域内第n条水平线长度，则宽度角w_α可通过如下公式获取，

式中，W_f表示宽度，k为放映放大率，L为观看时距屏幕距离；

步骤5、将前后景区域的RGB空间的每个颜色通道由256个值量化为16个不同值，然后选取覆盖图像像素不低于95％的颜色来代替整体颜色；

步骤6、在Lab的颜色空间中进行空间颜色距离的度量，获取前后景区域间的颜色距离集合，通过如下公式计算前景区域r₁和背景区域r₂之间的颜色距离d_r(r₁，r₂)；

式中，f(c_1，i)表示第i个颜色c_1，i在区域r₁的所有颜色n₁中出现的频率，f(c_2，j)表示第j个颜色c_2，j在区域r₂的所有颜色n₂中出现的频率；d(c_1，i，c_2，j)表示前景区域中第i个颜色与背景区域中第j个颜色在Lab空间内的颜色距离；

步骤7、计算空间加权的区域对比度

公式如下：

式中，S_r(r_k，r_i)是区域r_k与r_i之间的空间距离，σ_s控制空间权值的强度，σ_s越大空间权值的影响越小，则背景区域的影响越显著；两区域间的空间距离被定义为区域重心间的欧几里得距离，其中，像素坐标为归一化后结果，取

步骤8、将视差与宽度(D+W)模型

VC(D，w)＝80.07-17.71D+4.78ln(w)-0.52Dln(w)

量化为5分制，如下公式所示

VC(D，w)＝4.2028-0.7084D+0.1912ln(w)-0.0208Dln(w)

令f(D，w)为如下公式

f(D，w)＝0.7084D-0.1912ln(w)+0.0208Dln(w)

式中，D为目标视差角，w为目标宽度角，VC为视觉舒适度；且满足0.50≤D≤2.00，0.25≤w≤4.00；

步骤9、将对比度加入视差与宽度模型中，则常数项与对比度项的函数f(c)可以由如下公式所示

VC(d_θ，w_α，c)+f(d_θ，w_α)＝f(c)

其中，c为对比度；

步骤10、在IVY数据库中选择符合模型条件的72组图像对VC(d_θ，w_α，c)+f(d_θ，w_α)与对比度的关系进行分析，在Matlab中使用最小二乘法做曲线拟合，得到如下关系：

VC(d_θ，w_α，c)+f(d_θ，w_α)＝0.0015c²-0.0572c+4.8736

整理得到如下舒适度评价模型

VC(d_θ，w_α，c)＝4.8736-0.7084d_θ+0.1912ln(w_α)-0.0208d_θln(w_α)+0.0015c²-0.0572c(0.50≤d_θ≤2.00，0.25≤w_α≤4.00)

其中，d_θ为前景区域平均视差角，w_α为前景区域宽度角，c对前后景区域对比度。

Images