CN103096122A - 基于感兴趣区域内运动特征的立体视觉舒适度评价方法 - Google Patents

Abstract

本发明公开一种基于感兴趣区域内运动特征的立体视觉舒适度评价方法：首先，制定计算立体视频感兴趣区域内运动特征向量策略；然后，通过主观测试建立表征立体视频运动特征和立体视觉舒适度之间非线性关系的立体视觉模型。最后，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，选择空间域均值策略、最小值整合策略和时域中值策略，制定立体视觉舒适度评价方法。本发明提出的评价结果和人眼主观立体舒适性结果一致性更好。

Description

基于感兴趣区域内运动特征的立体视觉舒适度评价方法

技术领域

本发明涉及双眼立体视觉领域，具体地说，涉及的是一种基于立体视频感兴趣区域内运动特征的立体视觉舒适度评价方法。

背景技术

立体视觉舒适度评价标准是根据立体视频的视觉特性（如视差特征、运动特征等），建立相应的标准来判断和预测立体视频对观测者造成的立体视觉舒适程度。随着立体电视技术的高速发展，立体视觉舒适度评价标准逐渐引起人们的关注。因为在立体视觉安全领域中，立体视觉舒适度评价标准在预测立体视觉疲劳和不舒适性中起到关键的作用。在预防立体视觉疲劳和不舒适性的分析过程中，视觉的辐辏调节冲突和在时间域与空间域中视差特征变化、运动特征变化是导致立体视觉不舒适的关键因素。本发明中着重关注立体视频感兴趣区域内运动特征和立体视觉舒适度之间的关系，所提出的基于立体视频感兴趣区域内运动特征的立体视觉舒适度评价方法，在立体视频拍摄及后期制作过程中，提供立体舒适性质量评价参考值，有助于提高成片后立体视频的人眼观看的安全性。

经过对现有技术文献的检索发现，Jaeseob Choi等人于2010年在《IEEE ImageProcessing International Conference(图像处理国际会议)》上发表的“Visual fatigueevaluation and enhancement for 2D-plus-Depth video（关于2D-Plus-Depth视频的视觉疲劳的评价方法)”中提出根据立体视频帧内深度值特征和帧间深度值特征来评估立体视频的运动特征，进而对立体视觉舒适度进行评价。

又经检索发现，Sumio Yano等人于2002年在《Displays(显示)》上发表的“A studyof visual fatigue and visual comfort fr 3D HDTV/HDTV images(关于3D高清电视的视觉疲劳和舒适性的研究)”中提出基于全局视差信息，分析建立表征运动特征的运动特征比率值，进而对立体视觉舒适度进行评价；该运动特征比率值描述着在立体视频序列中相对快速运动的运动信息与相对慢速运动的运动信息的比值。

又经检索发现，Y.J.Jung等人于2012年在《Journal of Electronic Imaging(电子图像期刊)》上发表的“Visual comfort assessment metric based on salient object motioninformation in stereoscopic video(基于立体视频序列中显著性运动信息的视觉舒适性评价)”中采用基于人眼关注模型的立体视觉舒适度评价方法；首先，基于稠密光流跟踪方法获取立体视频的运动信息；其次，综合分析提取立体视频的显著性区域内运动特征；根据立体视频的运动特征和立体视觉舒适度之间的非线性关系，建立评估立体视频舒适度的评价标准。

然而上述三种评价标准存在一定的问题：首先，上述提及的第一种和第二种评价标准基于全局视差信息进行分析和判断；根据人眼关注模型，相比于全局视差信息，感兴趣区域内视差信息在立体视觉舒适度评价标准中起到更加显著和重要的作用，从而提高立体视觉舒适度判断的准确性；其次，上述提及的第三种评价标准基于立体视频感兴趣区域内块级运动特征；相比于像素级运动特征，它不能精确地反映立体视频在时间域和空间域中运动特征的变化情况；同时，第三种评价标准采用稠密光流跟踪方法来获取运动信息；相比于稀疏光流跟踪方法，它的鲁棒性不好，需要消耗较大的运算时间；此外，在提取感兴趣区域的过程中，并没有结合深度空间信息来进一步提高感兴趣区域提取的准确性。

发明内容

本发明的目的在于克服现有技术的上述不足，提出一种更加高效、准确和稳定的基于感兴趣区域内运动特征的立体视觉舒适度评价方法。

为实现上述的目的，本发明采用的技术方案是：

本发明根据人眼关注模型，通过提取立体视频感兴趣区域的运动特征来评价立体视觉舒适度。首先，制定提取立体视频感兴趣区域内运动特征向量策略；在提取运动特征向量策略中，首先基于SIFT提取特征角点集；其次，选择基于图像金字塔的Lucas-Kanade光流跟踪，筛选得到具有时间一致性的特征角点对；最后，选择SMDE提取立体视频感兴趣区域，筛选得到具有时间一致性和位于空间感兴趣区域内的特征角点对，得到立体视频感兴趣区域内运动特征向量。其次，通过主观测试建立表征立体视频运动特征和立体视觉舒适度之间非线性关系的立体视觉模型。最后，基于感兴趣区域内运动特征向量和立体视觉模型，选择空间域均值策略、最小值整合策略和时域中值策略，制定立体视觉舒适度评价方法。

本发明方法具体包括如下步骤：

第一步，制定提取立体视频感兴趣区域内运动特征向量策略，得到立体视频感兴趣区域内运动特征向量；针对立体视频，选择左视图作为视点参考视图，包括如下步骤：

1)基于SIFT特征点提取，分别提取立体视频参考视图第i帧X_i的特征角点集CP_i和立体视频参考视图第i+1帧X_i+1的特征角点集CP_i+1；

2)选择基于图像金字塔的Lucas-Kanade光流跟踪算法，筛选得到立体视频参考视图第i帧X_i与第i+1帧X_i+1间具有时间一致性的特征角点对CPP_i={(CP_i，1，CP_i+1，1)，…，(CP_i，N，CP_i+1，N)}，其中，N为匹配到的点对数；

3)采用综合分析提取立体视频参考视图第i帧X_i的显著图信息、运动图信息和深度空间信息的SMDE方法，提取立体视频参考视图第i帧X_i的感兴趣区域BROI_i，从CPP_i中筛选得到视频第i帧X_i与第i+1帧X_i+1间具有时间一致性并位于空间感兴趣区域内的特征角点对ROICPP_i:

ROICPP_i={(CP′_i，1，CP′_i+1，1)，…，(CP′_i,M，CP′_i+1,M)}(M≤N)，其中，M为感兴趣区域上的匹配点对数。

具体而言，SMDE方法提取立体视频的感兴趣区域BROI_i的步骤如下：

a)基于频域调节的显著性区域检测方法，提取得到立体视频参考视图第i帧X_i的显著图Salient_i；

b)基于稀疏矩阵降秩分解的方法，提取得到立体视频参考视图第i帧X_i的运动图Motion_i；

c)采用基于区域的视差预测方法，得到立体视频参考视图第i帧X_i的深度图Depth_i和视差信息Dis_i；

d)基于评价框架的感兴趣区域提取策略，采用自适应阈值方法，即设置各图的平均值作为相应阈值，得到显著二值图BSalient_i、运动二值图BMotion_i和深度二值图BDepth_i；

e)基于显著二值图BSalient_i、运动二值图BMotion_i和深度二值图BDepth_i，赋予显著图信息、运动信息和深度空间信息不同的权重，进而得到感兴趣区域权重图ROI_i；具体而言，

ROI_i=α*BSalient_i+β*BMotion_i+γ*BDepth_i

其中α，β和γ分别为显著图信息，运动信息和深度空间信息的权重；

此外，α，β和γ的取值有如下约束：α+β+γ=1；

f)基于感兴趣区域权重图ROI_i，计算感兴趣区域权重图的平均权重值；采用自适应阈值方法，即设置计算得到的平均权重值为阈值，得到感兴趣区域权重二值图BROI_i；

4)基于SMDE计算立体视频参考视图第i帧Xi与第i+1帧X_i+1对应的全局视差信息Dis_i，Dis_i+1,得到立体视频参考视图感兴趣区域内运动特征向量MF_i；具体而言，运动特征向量第k个元素MF_i，k的计算公式如下为：

MF_i，k={motion_xi，k，motion_yi,k，motion_zi，k，dis_i,k}，0＜k≤M；

MF_i，k各分量的计算公式为：

${\mathrm{motion}}_{\mathrm{xi},k}=2*f*(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{(C{P^{\′}}_{i,k}\left(x\right)-C{P^{\′}}_{i+1,k}\left(x\right))*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{motion}}_{\mathrm{yi},k}=2*f*(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{(C{P^{\′}}_{i,k}\left(y\right)-C{P^{\′}}_{i+1,k}\left(y\right))*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{motion}}_{\mathrm{zi},k}=2*f*(\arctan \left(\frac{({\mathrm{Dis}}_{i+1}\left({{\mathrm{CP}}^{\′}}_{i+1,k}\right)*\mathrm{PP}+b)}{2V}\right)$

$-\arctan \left(\frac{({\mathrm{Dis}}_i\left({{\mathrm{CP}}^{\′}}_{i,k}\right)*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{dis}}_{i,k}=2*\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{({\mathrm{Dis}}_{i+1}\left(C{P^{\′}}_{i+1,k}\right)*\mathrm{PP}+b)}{2V}\right)$

$-\mathrm{arctam}\left(\frac{({\mathrm{Dis}}_i\left({{\mathrm{CP}}^{\′}}_{i,k}\right)*\mathrm{PP}+b)}{2V}\right)$

其中V表示实验环境中人眼到屏幕的观测距离，b表示人眼双目瞳孔距离，PP表示显示屏上单个像素点显示大小，f表示立体视频每秒钟显示帧数,Dis_i+1(CP′_i+1，k)表示特征点CP′_i+1，k处视差值。

第二步，基于人眼视觉模型，建立运动特征和立体视觉舒适度之间非线性关系的立体视觉模型如下：

f_x(υ_x，d)=-1.5ln(υ_x+6.7)-0.29|d|+8

f_y(υ_y，d)=-7.4ln(υ_y+65)-0.8|d|+36

f_z(υ_z)=-0.72ln(υ_z+0.3)+4

其中f_x(·)、f_y(·)、f_z(·)分别表示水平方向、垂直方向、深度方向上立体视觉舒适度评分公式，υ_x、υ_y、υ_z分别表示各自方向上运动特征（单位degree/s），d表示视差特征（单位degree）。

第三步，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，制定立体视觉舒适度评价方法，最终得到立体视频的视觉舒适度评分VC，其具体步骤如下：

1)基于运动特征向量MF_i，选择空间域均值策略，计算得到经过空间域均值选择的立体视频运动特征向量

其公式如下：

${\mathrm{MF}}_i^{\mathrm{pooled}}=\{{\mathrm{motion}}_{\mathrm{xi}}^{\mathrm{pooled}},{\mathrm{motion}}_{\mathrm{yi}}^{\mathrm{pooled}},{\mathrm{motion}}_{\mathrm{zi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}\}$

${\mathrm{MF}}_i^{\mathrm{pooled}}=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{MF}}_{i,k}$

其中M为立体视频运动特征向量元素个数，即感兴趣区域上的匹配点对数；

2)选择最小值整合策略来整合三个不同方向上立体视觉舒适度评分公式，得

到立体视频第i帧的立体视觉舒适度评分VC(i)，其公式如下：

$\mathrm{VC}\left(i\right)=\min \{f_x({\mathrm{motion}}_{\mathrm{xi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}),$

$f_y({\mathrm{motion}}_{\mathrm{yi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}),f_z({\mathrm{motion}}_{\mathrm{zi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}})\}$

其中f_x(·)，f_y(·)，f_z(·)分别为水平方向、垂直方向、深度方向的立体视觉评分模型；

3)选择时域中值选择策略，评估整个立体视频序列的立体视觉舒适度，得到最终的立体视觉舒适度VC,其计算公式如下：

VC=median[VC(1)，VC(2)…，VC(P-1)]

其中median(·)为计算中值函数。

与现有技术相比，本发明的有益效果在于：

本发明采用SIFT特征点提取和基于图像金字塔的Lucas-Kanade光流跟踪，具有较好的鲁棒性，能够准确高效地评估立体视频的像素级运动特征；本发明选择基于频域调节的显著性检测方法、基于稀疏矩阵降秩分解、基于区域的视差方法，能够精准地提取立体视频的感兴趣区域，进而评估立体视频感兴趣区域内像素级运动特征；本发明基于立体视频感兴趣区域内运动特征舒适度评价方法更加高效、准确和稳定。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为基于感兴趣区域内运动特征的立体视觉舒适度评价方法框图；

图2为基于频域调节的显著区域检测方法得到显著图的框图；

图3为基于稀疏矩阵降秩分解方法得到运动图的框图；

图4为基于区域的视差预测方法得到视差信息的框图；

图5为立体视觉舒适度主观测试观看立体视频几何示意图；

图6为不同立体视觉舒适度评价标准的主客观评分相关性参数比较。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

图1详细描述基于感兴趣区域内运动特征的立体视觉舒适度评价方法的框图；首先，制定提取立体视频感兴趣区域内运动特征向量策略；在提取运动特征向量策略中，首先基于SIFT提取特征角点集；其次，选择基于图像金字塔的Lucas-Kanade光流跟踪，筛选得到具有时间一致性的特征角点对；最后，选择SMDE提取立体视频的感兴趣区域，筛选得到具有时间一致性和位于空间感兴趣区域内的特征角点对，得到立体视频感兴趣区域内运动特征向量。其次，通过主观测试建立表征立体视频运动特征和立体视觉舒适度之间非线性关系的立体视觉模型。最后，基于感兴趣区域内运动特征向量和非线性立体视觉模型，选择空间域均值策略、最小值整合策略和时域中值策略，制定立体视觉舒适度评价方法。

以下实施例以韩国科学技术院IVY实验室提供的立体视频序列作为立体视频测试序列，详细介绍本发明中提出的基于感兴趣区域内运动特征的立体视觉舒适度评价方法的实施过程。

第一步，制定提取立体视频感兴趣区域内运动特征向量策略，得到立体视频感兴趣区域内运动特征向量；在实验中，做如下假定：针对立体视频，选择左视图作为视点参考视图；具体而言，包括如下步骤：

1)基于SIFT特征点提取，分别提取立体视频参考视图第i帧X_i的特征角点集CP_i和立体视频参考视图第i+1帧X_i+1的特征角点集CP_i+1；

2)选择基于图像金字塔的Lucas-Kanade光流跟踪，筛选得到立体视频参考视图第i帧X_i与第i+1帧X_i+1间具有时间一致性的特征角点对CPP_i={(CP_i，1，CP_i+1，1)，…，(CP_i，N，CP_i+1，N)};

3)采用综合分析提取立体视频参考视图第i帧X_i的显著图信息、运动图信息和深度空间信息的SMDE方法，提取立体视频参考视图第i帧X_i的感兴趣区域BROI_i，从CPP_i中筛选得到视频第i帧X_i与第i+1帧X_i+1间具有时间一致性并位于空间感兴趣区域内的特征角点对ROICPP_i:

ROICPP_i={(CP′_i,1，CP′_i+1，1)，…，(CP′_i，M，CP′_i+1,M)}(M≤N)

具体而言，SMDE提取立体视频的感兴趣区域BROI_i的步骤如下：

a)基于频域调节的显著性区域检测方法，提取得到立体视频参考视图第i帧X_i的显著图Salient_i，图2描述的具体步骤如下：

首先，将立体视频参考视图X_i的由彩色（RGB）图像空间转化成Lab色彩空间 $X_i^{\mathrm{Lab}};$

其次，计算Lab色彩空间上

的全局均值信息I_i,μ=[L_i，μ，a_i,μ，b_i,μ]；

再次，计算经过高斯平滑滤波后的图像信息

选取模板尺度为5×5高斯滤波器，计算得到

经过高斯平滑滤波后的图像信息

实验中选取5×5高斯滤波器如下：

然后，比较I_iμ和

计算得到参考视频X_i每个像素点的显著值;具体计算公式如下来计算每个像素点的显著值：

${\mathrm{Salient}}_i(t,y)=L2(I_{i,\mathrm{\μ}}-X_{i,\mathrm{whc}}^{\mathrm{Lab}}(x,y))$

其中L2(·)为L-2范式，用于计算每个像素点的显著值；

最后，基于均值漂移分割（mean shift segmentation method）计算得到显著图（灰度图）。

b)基于稀疏矩阵降秩分解的方法，提取得到立体视频参考视图第i帧X_i的运动图Motion_i；

具体如图3描述，根据立体视频连续帧图像在时间域上具有的一致性特性，基于稀疏矩阵降秩分解的方法，分析计算得到立体视频连续帧图像内容相对静止不变的图像信息，进而得到立体视频连续帧图像的运动图（灰度图）；具体而言，提取连续帧图像X={X₁，X₂，…，X_N}运动图信息的问题可以转化成计算最优化集合Motion={Motion₁，Motion₂，…，Motion_N}问题，最优化集合Motion满足如下条件：

min_Motion rank(Static)+γ*‖Motion‖_o

s.t.Static+Motion={υec(X₁)|υec(X₂)|...|υec(X_N)}

其中Static矩阵表示立体视频连续帧图像内容相对静止不变的图像信息组成矩阵，Motion矩阵表示立体视频连续帧图像的运动图构成矩阵，rank(·)表示矩阵求秩函数，‖·‖₀表示L-0范式，用于统计计算Motion矩阵中非零条目的个数来表示Motion矩阵稀疏性，γ表示Static矩阵的秩和Motion矩阵稀疏性之间的权衡参数。

c)采用基于区域的视差预测方法，计算得到立体视频参考视图第i帧X_i的深度图Depth_i和视差信息Dis_i，图4中描述的具体步骤如下：

首先，基于均值漂移分割，将这个图像分为多为颜色均匀的区域；

其次，基于局部窗匹配方法得到可依赖像素点的视差信息；具体而言，选取3×3局部窗内绝对强度差值和梯度信息进行评分匹配；

再次，根据每个区域的可依赖点视差信息，推导出每个区域的视差图层（可看成一组标签集）；具体而言，基于最小方差，根据每个区域内可依赖点的位置，获得每个区域内相应的视差图层；

最后，根据最优化方法-graph cut方法，计算得到视差图层分配问题的最优解，最终得到视差信息和深度图（灰度图）。

d)基于评价框架的感兴趣区域提取策略，采用自适应阈值方法，即设置各图的平均值作为相应阈值，计算得到显著二值图BSalient_i、运动二值图BMotion_i和深度二值图BDepth_i；

e)基于显著二值图BSalient_i、运动二值图BMotion_i和深度二值图BDepth_i，赋予显著图信息、运动信息和深度空间信息不同的权重，而计算得到感兴趣区域权重图ROI_i；具体而言，

ROI_i=α*BSalient_i+β*BMotion_i+γ*BDepth_i

其中α，β和γ分别为显著图信息，运动信息和深度空间信息的权重；根据立体视频各自的视觉特性，α，β和γ的取值范围如下：

α=[0.3，0.6]，β=[0.3，0.5]，γ=[0.1,0.2]

此外，α，β和γ的取值有如下约束：α+β+γ=1；

f)基于感兴趣区域权重图ROI_i，计算感兴趣区域权重图的平均权重值；

采用自适应阈值方法，即设置计算得到的平均权重值为阈值，得到感兴趣区域权重二值图BROI_i；

4)基于SMDE计算立体视频参考视图第i帧X_i与第i+1帧X_i+1对应的全局视差信息Dis_i，Dis_i+1,计算得到立体视频感兴趣区域内运动特征向量MF_i；具体而言，运动特征向量第k个元素MF_i，k为：

MF_i，k={motion_xi，k，motion_yi,k，motion_zi，k，dis_i,k}

MF_i,k各分量的计算公式如下：

${\mathrm{motion}}_{\mathrm{xi},k}=2*f*(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{({{\mathrm{CP}}^{\′}}_{i,k}\left(x\right)-{{\mathrm{CP}}^{\′}}_{i+1,k}\left(x\right))*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{motion}}_{\mathrm{yi},k}=2*f*(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{({{\mathrm{CP}}^{\′}}_{i,k}\left(y\right)-{{\mathrm{CP}}^{\′}}_{i+1,k}\left(y\right))*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{motion}}_{\mathrm{zi},k}=2*f*(\arctan \left(\frac{({\mathrm{Dis}}_{i+1}\left(C{P^{\′}}_{i+1,k}\right)*\mathrm{PP}+b)}{2V}\right)$

$-\arctan \left(\frac{({\mathrm{Dis}}_i\left({{\mathrm{CP}}^{\′}}_{i,k}\right)*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{dis}}_{i,k}=2*\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{({\mathrm{Dis}}_{i+1}\left({{\mathrm{CP}}^{\′}}_{i+1,k}\right)*\mathrm{PP}+b)}{2V}\right)$

$-\arctan \left(\frac{({\mathrm{Dis}}_i\left({{\mathrm{CP}}^{\′}}_{i,k}\right)*\mathrm{PP}+b)}{2V}\right)$

如图5所示立体视觉舒适度主观测试观看立体视频几何示意图，V表示实验环境中人眼到屏幕的观测距离，对于1920*1080的高清电视，一般取显示屏的3~4倍屏高，b表示人眼双目瞳孔距离，一般取65mm，PP表示显示屏上单个像素点显示大小，f表示立体视频每秒钟显示帧数,Dis_i+1(CP′_i+1，k)表示特征点CP′_i+1，k处视差值。

第二步，基于人眼视觉模型，建立运动特征和立体视觉舒适度之间非线性关系的立体视觉模型如下：

f_x(υ_x，d)=-1.5ln(υ_x+6.7)-0.29|d|+8

f_y(υ_y，d)=-7.4ln(υ_y+65)-0.8|d|+36

f_z(υ_z)=-0.72ln(υ_z+0.3)+4

其中f_x(·)、f_y(·)、f_z(·)分别表示水平方向、垂直方向、深度方向上立体视觉舒适度评分公式，υ_x、υ_y、υ_z分别表示各自方向上运动特征（单位degree/s），d表示视差特征（单位degree）。

第三步，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，制定立体视觉舒适度评价方法，最终得到立体视频的视觉舒适度评分VC，其具体步骤如下：

1)基于运动特征向量MF_i，选择空间域均值策略，计算得到经过空间域均值选择的立体视频运动特征向量

其计算公式如下：

${\mathrm{MF}}_i^{\mathrm{pooled}}=\{{\mathrm{motion}}_{\mathrm{xi}}^{\mathrm{pooled}},{\mathrm{motion}}_{\mathrm{yi}}^{\mathrm{pooled}},{\mathrm{motion}}_{\mathrm{zi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}\}$

${\mathrm{MF}}_i^{\mathrm{pooled}}=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{MF}}_{i,k}$

其中M为立体视频运动特征向量元素个数；

2)选择最小值整合策略来整合三个不同方向上立体视觉舒适度评分公式，计算得到立体视频第i帧的立体视觉舒适度评分VC(i)，其计算公式如下：

$\mathrm{VC}\left(i\right)=\min \{f_x({\mathrm{motion}}_{\mathrm{xi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}),$

$f_y({\mathrm{motion}}_{\mathrm{yi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}),f_z({\mathrm{motion}}_{\mathrm{zi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}})\}$

其中f_x(·)，f_y(·)，f_z(·)分别为水平方向、垂直方向、深度方向的立体视觉评分模型；

3)选择时域中值选择策略，评估整个立体视频序列的立体视觉舒适度，计算

得到最终的立体视觉舒适度VC,其计算公式如下：

VC=median[VC(1)，VC(2)…，VC(P-1)]

其中median(·)为计算中值函数。

本发明提出一种基于感兴趣区域内运动特征的立体视觉舒适度评价方法：采用SIFT特征点提取和基于图像金字塔的Lucas-Kanade光流跟踪，具有较好的鲁棒性，能够准确高效地评估立体视频的像素级运动特征；本发明选择基于频域调节的显著性检测方法、基于稀疏矩阵降秩分解、基于区域的视差方法，能够精准地提取立体视频的感兴趣区域，进而评估立体视频感兴趣区域内像素级运动特征；本发明基于立体视频感兴趣区域内运动特征舒适度评价方法更加高效、准确和稳定。

为验证本发明提出的立体视觉舒适度评价标准更加高效、准确和稳定，采用韩国科学技术院IVY实验室提供的立体视频序列进行测试分析，如图所示：图5描述不同立体视觉舒适度评价标准的主客观评分相关性参数（包括Pearson线性相关系数，Spearman等级秩序的相关系数和RMSE均方根误差）；通过图5中不同立体视觉舒适度评价方法比较的结果，可以证明本发明提出的基于感兴趣区域内运动特征的立体视觉舒适度评价标准更加高效、准确和稳定。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (3)

1.一种基于感兴趣区域内运动特征的立体视觉舒适度评价方法，其特征在于，包括如下步骤：

第一步，制定计算立体视频感兴趣区域内运动特征向量策略，得到立体视频感兴趣区域内运动特征向量；

第二步，基于人眼视觉模型，建立运动特征和立体视觉舒适度之间非线性关系的立体视觉模型；

第三步，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，制定立体视觉舒适度评价方法，最终得到立体视频的视觉舒适度评分VC。

2.根据权利要求1所述的基于感兴趣区域内运动特征的立体视觉舒适度评价方法，其特征在于，所述制定计算立体视频感兴趣区域内运动特征向量策略：针对立体视频，选择左视图作为视点参考视图，具体包括如下步骤：

1），基于SIFT特征点提取，分别提取立体视频参考视图第i帧X_i的特征角点集CP_i和立体视频参考视图第i+1帧X_i+1的特征角点集CP_i+1；

2），选择基于图像金字塔的Lucas-Kanade光流跟踪算法，筛选得到立体视频参考视图第i帧X_i与第i+1帧X_i+1间具有时间一致性的特征角点对CPP_i={(CP_i，1，CP_i+1，1)，…，(CP_i，N，CP_i+1，N)}，其中，N为匹配到的点对数；

3），采用综合分析提取立体视频参考视图第i帧X_i的显著图信息、运动图信息和深度空间信息的SMDE方法，提取立体视频参考视图第i帧X_i的感兴趣区域BROI_i，从CPP_i中筛选得到视频第i帧X_i与第i+1帧X_i+1间具有时间一致性并位于空间感兴趣区域内的特征角点对ROICPP_i:

ROICPP_i={(CP′_i,1，CP′_i+1，1)，…，(CP′_i，M，CP′_i+1,M)}(M≤N)

其中，M为感兴趣区域上的匹配点对数；

4），基于SMDE计算立体视频参考视图第i帧X_i与第i+1帧X_i+1对应的全局视差信息Dis_i，Dis_i+1,得到立体视频感兴趣区域内运动特征向量MF_i；运动特征向量第k个元素MF_i，k为：

MF_i，k={motion_xi，k，motion_yi，k，motion_zi，k，dis_i，k}，0＜k≤M；

MF_i，k各分量的计算公式为：

${\mathrm{motion}}_{\mathrm{xi},k}=2*f*\left(\arctan (\frac{b}{2V}-\arctan (\frac{({{\mathrm{CP}}^{\′}}_{i,k}\left(x\right)-C{P^{\′}}_{i+1,k}\left(x\right))*\mathrm{PP}+b)}{2V})\right)$

${\mathrm{motion}}_{\mathrm{yi},k}=2*f*(\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{{{(\mathrm{CP}}^{\′}}_{i,k}\left(y\right)-C{P^{\′}}_{i+1,k}\left(y\right))*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{motion}}_{\mathrm{zi},k}=2*f*(\arctan \left(\frac{({\mathrm{Dis}}_{i+1}\left(C{P^{\′}}_{i+1,k}\right)*\mathrm{PP}+b)}{2V}\right)$

$-\arctan \left(\frac{({\mathrm{Dis}}_i\left({{\mathrm{CP}}^{\′}}_{i,k}\right)*\mathrm{PP}+b)}{2V}\right))$

${\mathrm{dis}}_{i,k}=2*\arctan \left(\frac{b}{2V}\right)-\arctan \left(\frac{({\mathrm{Dis}}_{i+1}\left({{\mathrm{CP}}^{\′}}_{i+1,k}\right)*\mathrm{PP}+b)}{2V}\right)$

$-\arctan \left(\frac{({\mathrm{Dis}}_i\left({{\mathrm{CP}}^{\′}}_{i,k}\right)*\mathrm{PP}+b)}{2V}\right)$

其中V表示实验环境中人眼到屏幕的观测距离，b表示人眼双目瞳孔距离，PP表示显示屏上单个像素点显示大小，f表示立体视频每秒钟显示帧数,Dis_i+1(CP′_i+1，k)表示特征点CP′_i+1，k处视差值。

3.根据权利要求1或2所述的基于感兴趣区域内运动特征的立体视觉舒适度评价方法，其特征在于：所述第三步，具体实现如下：

1），基于运动特征向量MF_i，选择空间域均值策略，计算得到经过空间域均值选择的立体视频运动特征向量

其公式如下：

${\mathrm{MF}}_i^{\mathrm{pooled}}=\{{\mathrm{motion}}_{\mathrm{xi}}^{\mathrm{pooled}},{\mathrm{motion}}_{\mathrm{yi}}^{\mathrm{pooled}},{\mathrm{motion}}_{\mathrm{zi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}\}$

${\mathrm{MF}}_i^{\mathrm{pooled}}=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}M{F}_{i,k}$

其中M为立体视频运动特征向量元素个数，即感兴趣区域上的匹配点对数；

2），选择最小值整合策略来整合三个不同方向上立体视觉舒适度评分公式，得到立体视频第i帧的立体视觉舒适度评分VC(i)，其计算公式如下：

$\mathrm{VC}\left(i\right)=\min \{f_x({\mathrm{motion}}_{\mathrm{xi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}),$

$f_y({\mathrm{motion}}_{\mathrm{yi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}}),f_z({\mathrm{motion}}_{\mathrm{zi}}^{\mathrm{pooled}},{\mathrm{dis}}_i^{\mathrm{pooled}})\}$

其中f_x(·)，f_y(·)，f_z(·)分别为水平方向、垂直方向、深度方向的立体视觉评分模型；

3），选择时域中值选择策略，评估整个立体视频序列的立体视觉舒适度，得到最终的立体视觉舒适度VC，其公式如下：

VC=median[VC(1)，VC(2)…，VC(P-1)]

其中median(·)为计算中值函数。

Images