CN104853185A - 结合多视差和运动的立体视频舒适度评价方法 - Google Patents

Abstract

结合多视差和运动的立体视频舒适度评价方法属立体视频视觉舒适度评价技术领域，本发明提出了将物体的三种视差与物体的运动特性作为影响立体视频舒适度重要因素；提取帧内显著物体视差、帧内相关背景视差、帧间视差和运动变量这四个对立体视频舒适度有影响的因素，合成视差图并提取水平视差，计算深度视差；结合深度感知理论和最小二乘拟和方法建立主观评价与四大因素的函数关系，得到立体视频舒适度评价模型，再利用主观评价的方法对模型进行评定；本发明提出了一种新的对立体视频舒适度评价的方法，所建立的模型可以很好地模拟人眼的主观感受，对于研究人眼观看立体视频的舒适度有重要意义。

Description

结合多视差和运动的立体视频舒适度评价方法

技术领域

本发明属立体视频视觉舒适度评价技术领域，具体涉及一种基于人类视觉系统特性的结合双目视差和运动的立体视频视觉舒适度评价方法。

背景技术

随着信息技术的发展,大众对视觉体验的追求越来越高。近年3D电影发展迅猛，由于人们对视觉盛宴的追求，我国上映的3D电影越来越多，2014年据不完全统计，除国外3d影片外有50部国产3d片上映，有业内人士称今年将是中国电影的“3D年”。看看最近上映的电影就可以知道，3D电影已经成为观影的主流模式。3d立体视频越来越重要，立体视频除了用于影视作品外，也被广泛应用到远程会议、教育、医疗等方面。然而观看立体视频可能导致许多负作用，如眩晕、呕吐，甚至导致视力的下降等，如何消除这些影响，一直是许多科学家和研究立体视频方面的人员致力追求的。

立体视频的好坏评价需要一个标准来进行衡量，舒适度正是从人眼对立体视频的感知方面给出的。对立体视频的舒适度进行评价，就是给出一种最符合人眼主观感受的客观可操作的标准，以此标准来代替人眼对立体视频作品进行评价，给出视频作品好坏的一个反馈。影响立体视频舒适度的因素有很多，存在于立体视频的摄录、压缩、传送和显示整个过程每个步骤的处理中。目前，立体视频舒适度的研究还没有规范的行业判定标准，因此，对立体视频视觉舒适度进行研究具有重要的意义。

目前立体视频的评价标准主要分为两大类：一类是针对图像质量的好坏进行客观评价，进而得出对立体视频舒适度的影响，有由压缩导致的相应模块被量化成不同值引起的双眼光泽现象，以及图像的亮度、色度、对比度等产生的影响。另一类是由人眼的深度感知来评价立体视频的舒适度，有由考虑单双目线索用GPU计算的立体视频渲染技术，由调节空间复杂度来提高视觉舒适度，以及由视差的大小引起的辐辏和调节冲突对舒适度的影响。

立体视频系统中的图像质量评价，是与立体视频系统相关的所有技术的基础。对立体图像质量评价的理解和深入程度，直接影响到立体视频系统的发展速度，立体图像质量客观评价模型显得尤为重要。然而，立体视频的舒适度是与人类的主观感受关系更密切的存在，考虑到存在着图像质量很好但立体感不强的情况，所以可以得知图像的质量好，并不代表符合人眼的立体视觉特性，如何建立一个符合人类感知结果的舒适度评价系统更为重要。

发明内容

本发明的目的在于提供一种基于人类视觉系统特性的立体视频视觉舒适度评价方法，以使其与人类视觉的主观感受更加相关。

一种结合多视差与运动的立体视频视觉舒适度评价方法包括下列步骤：

1.提取影响立体视频舒适度的多种视差与运动量，具体包括下列步骤：

1.1帧内显著物体区域的提取：选取进行实验的视频序列第T帧左、右立体视图，利用谱分析算法进行处理，得到显著物体区域的分布图；

1.2帧内相关背景区域的提取：用场景相关的显著区域提取法对立体视频第T帧左、右立体视图进行处理，得到帧内相关背景区域图；

1.3帧内视差提取：首先选取第T帧左、右两幅匹配视图，求出其标准视差图，然后将得到的标准视差图分别与步骤1.1中所提取的显著物体区域、步骤1.2中提取的帧内相关背景区域结合，得到帧内显著物体视差图、帧内相关背景视差图后，提取水平视差，计算视差深度；

1.4帧间视差提取：选取视频序列的左视图，用块匹配法得到帧间标准视差图，提取水平视差，计算视差深度；

1.5运动量提取：利用步骤1.1中显著物体提取方式，提取第T帧与第T+1帧的左视图的显著物体区域进行融合，再结合步骤1.4中的帧间标准视差图进行运动量的提取；

2.建立结合视差与运动的立体视频视觉舒适度的评价模型，具体包括下列步骤：

2.1对实验场景和实验片源的要求：实验场景中设定屏幕与观测者间的观测距离L为屏幕高度H的3倍；实验片源采用由国际视频组织发布的标准立体视频序列，播放间隔设定为20s；

2.2对观测者的要求：观测者无对观测结果产生影响的眼部疾病；双目裸视或佩戴眼镜矫正视力需要达到1.0；年龄为20--35岁的男性和女性；分为普通人和有相关经验的专家；佩戴主动快门眼镜无不良反应；

2.3获取主观评价的实验结果：由观测者根据立体视频视觉舒适度的5个等级，对国际标准立体视频序列进行评分，获得人类主观评价得分MOS值；

2.4计算相关视差深度：根据水平视差的定义和立体感原理，水平视差得到相应的视差深度d为：由此计算步骤1.3所提取的帧内显著物体视差、相关背景视差，以及步骤1.4的帧间视差对应的视差深度d_n、d_b、d_j；

上述公式中：L为步骤2.1所设定的已知量，s为瞳距65mm，d_s是在忽略掉垂直视差的情况下，相邻帧两幅视图的水平视差；

2.5计算运动量：根据步骤1.5中运动量的大小设定阈值，进行运动量区间的划分；

2.6根据步骤2.3主观评价的实验结果与步骤2.4中得到的帧内显著区域视差d_n、帧内相关背景视差d_b、帧间视差d_j以及步骤2.5所述的运动量进行最小二乘拟合，确定立体视频视觉舒适度评价与四种影响因素的关系函数式为：

$V_{c1}=a_0{d}_n^3+a_1{d}_n^2+a_2{d}_n+a_3---\left(1\right)$

$V_{c2}=b_0*e^{b_1*d_b}---\left(2\right)$

$V_{c3}=c_0+c_1*\sqrt{\frac{d_j}{v}}---\left(3\right)$

2.7根据人眼立体视觉特性和对立体视频的评价经验，对步骤2.6中得到的影响舒适度各因素的函数分别进行加权处理；得到相应的视觉舒适度评分函数模型VC：

$\mathrm{VC}=w_1(a_0{d}_n^3+a_1{d}_n^2+a_2{d}_n+a_3)+w_2(b_0*e^{b_1*d_b})+w_3(c_0+c_1*\sqrt{\frac{d_j}{v}})$

2.6和2.7步骤的(1)、(2)、(3)、(4)式中：V_c1，V_c2，V_c3分别为帧内显著物体、帧内相关背景、帧间视差以及物体运动与评分由最小二乘拟合得到的函数关系式；VC为视觉舒适度评分；w₁,w₂,w₃是根据视觉特性赋予的经验权值，其值分别为0.7，0.2，0.1；d_n为帧内显著区域视差；d_b为帧内相关背景视差；d_j为帧间视差；v为运动变量；a₀、a₁、a₂、a₃、b₀、b₁、c₀、c₁为进行最小二乘拟合时得到的系数。

通过大量的基于人类视觉系统特性的主观评价实验，结合所得实验结果可知，视差深度和物体运动是影响立体视频视觉舒适度的主要因素，图像的视差深度过大，会令立体图像的舒适度显著下降，而图像中的主要对象为显著物体和相关背景，通过谱分析法和与场景相关的显著区域提取法对同一帧图像进行提取后，以人的注意力机制为基础，所提取的显著物体区域通常颜色突出、内容丰富，可以很好地表现图像的特征，即能引起观测者兴趣、最能表现图像主体内容的区域，而相关背景区域是对显著物体区域的补充，考虑到背景中单眼深度线索的影响，防止一旦背景部分有比较大的双目视差，或单眼的纹理线索发生对评价的结果产生影响。这些区域都含有较大的信息量，对于图像的分析和评分起着重要的作用。

大量主观实验也对影响立体图像舒适度的各种因素进行了探索，其中包括运动、亮度、串扰等。

本发明在考虑帧内显著区域的立体深度对立体视频视觉舒适度的影响的同时，还考虑了帧间视差对立体视频视觉舒适度的影响，用帧间视差与运动相结合的方法，对视觉舒适度的评价模型进行了完善，建立了更符合人类主观感知结果的立体视频视觉舒适度评价模型，使模型的评分更接近人类视觉系统特性的主观实验评分。

附图说明

图1为人眼生理结构构造图

图2为双眼融合功能，“中央眼”示意图

图3为观察物体时双目视差图

图4人眼平视时双眼同时看到的区域即双眼视野图

图5为辐辏和焦点调节不一致时，视差在融合范围内的示意图

图6为辐辏和焦点调节不一致时，视差不在融合范围内的示意图

图7为双眼视觉舒适区域示意图

图8为依据ITU电视图像质量主观评价推荐准则制定的舒适等级描述以及评分标准

图9为基于块匹配的水平视差提取示意图

图10为未进行显著区域提取的原图

图11为用谱分析方法提取的显著物体区域分布图

图12为用场景相关的显著区域提取法提取的帧内相关背景区域图

图13为主观评价得分与帧内显著物体视差深度关系坐标图

图14为主观评价得分与帧内相关背景区域视差深度关系坐标图

图15为主观评价得分与帧间视差深度、运动量关系坐标图

具体实施方式

下面结合附图对本发明的具体实施方式进行描述。

1.立体视觉原理

人类之所以能观察到世界五彩缤纷的景象，是由于眼睛的存在，光线经瞳孔进入晶状体后成像在视网膜上，再由视神经将信号发送给大脑，经过大脑的加工使图像重现在大脑中，人眼的生理结构十分复杂(如图1所示)。由于人的左右眼有一定的瞳距，所以在观察物体时视线投射的角度和位置不同，也就是在视网膜上的成像不同，信号经过视神经送达大脑，大脑综合加工左右信息，形成中央眼对观察点的成像(如图2所示)。人眼观察到的左眼视图和右眼视图有细微的差别，被称为立体显示的视差图，左右视图中相近的图像纹理在大脑皮层中会被融合起来，形成中央眼视图中稳定存在的部分(如图3所示)，人们由此产生对物体的立体感知。只有人眼的立体视觉基础是不够的，在立体显示时，图像的信息也需要在合理的范围内才能形成立体视觉。图4中的双目视野是指双眼集中看一点时，双眼同时看到的全部范围。双眼视野分为三个主要部分，中间部分为双眼视野的重叠部分，此部分约为120°，这一部分区域与立体视觉的形成有一定关系，因此称为立体视野。立体视野两侧是单眼可以看到的区域，约为30°-40°，这一区域仅仅只能单只眼晴看到，因而不能形成立体视觉。

根据水平视差的定义和立体感原理，水平视差可以获得相应前景中目标区域的视差深度d：

$d=\frac{d_{s}L}{s-d_s}$

其中：L为实验场景中观测者与屏幕间的观测距离(为屏幕高度H的3倍)，s为两眼视距(为65mm)，在忽略掉垂直视差的情况下，d_s为相邻帧两幅视图的水平视差。

由主观实验数据可知，相邻帧两幅视图的水平视差d_s与视差深度d的关系是非线性的，当相邻帧两幅视图的水平视差d_s趋近于0附近时，曲线可近似化为线性。

2.影响立体视频舒适度感知因素的提取

人眼会被色彩鲜艳和与周围的背景有明显差异的物体所吸引，所以这部分对于评价立体视频的舒适度起到很重要的作用。由于人眼有这样的视觉特性，首先利用谱分析算法将一幅如图10所示图像的左右立体视图进行处理，得到显著物体区域的分布图(如图11所示)。通过谱分析算法提取出的显著性区域部分是图像中含有最多的、与观看者的主观感受有关的信息量的部分，显著区域的提取不仅可以提高评价的准确度，还能减少计算机的运算量。

虽然人眼的感兴趣物体区域已经提取，但显著物体区域往往是前景部分，也就是视差组大的那一部分，不能完全代表整幅图的效果，除却最能吸引人注意的显著物体外，其所处的环境也是影响观看视觉舒适度的重要因素，所以需用场景相关的显著区域提取法得到帧内相关背景区域图(如图12所示)。

物体的快速运动会引起视差快速变化，导致帧间画面的聚焦位置发生变化，因此用帧间视差来度量这种变化，而运动不仅对观看的舒适程度产生影响，并且在一定程度上还与帧间视差有密切关系，所以将运动变量也作为一个影响舒适度的因素。运动量的大小是通过选取同一物体上的关键点，计算相邻两帧关键点的位移来表示的。

将同一帧左右视图结合，通过深度感知基于块匹配的方法(如图9所示)提取出帧内标准视差图，帧内标准视差图与显著物体区域结合，得到帧内显著物体视差，帧内标准视差图与相关背景区域结合得到相关背景视差，将相邻帧的左视图进行匹配，提取帧间标准视差图。

3.对主观实验条件的要求

实验采用Sony VPL-HW30ES立体视频投影机进行放映，显示平台为配置为英特尔CoreTM2Duo 3GHz处理器、GeForce GTX 240显卡的NVIDIA 3D Vision，配合Sony主动快门眼镜通过3d—TDJ1传输器使用。观测者站在距离立体屏幕3m处完成对测试序列影片的观看，其中立体屏幕设定高度为2m，(如图7所示)。

实验选取双目视觉生理正常(裸视或佩戴眼镜矫正视力达到1.0，没有对观测结果造成影响的眼部疾病)的被试者共25人：其中年龄为20-35岁；男性12人，女性13人；有立体技术相关经验的专家10人，没有立体技术相关经验的普通人15人；并且被试者佩戴主动快门眼镜无不良反应。现实世界中辐辏与焦点调节是一致的,而在观看立体图像时,若视差的大小在融合范围内,辐辏和焦点调节虽然不一致,但是仍可以把左右眼视差图像融合成一幅立体图像,因此观看者在立体显示器上看到的是一幅具有纵深感的立体图像(如图5所示)；若视差的大小在融合范围之外,观看者无法将左右眼两幅视差图融合成一幅立体图像,观看者看到的是一幅不清晰的串扰图像(如图6所示),从而产生严重视疲劳。

依据ITU(2002)电视图像质量主观评价推荐准则，对立体图像舒适度分5个等级进行评价，其中评分的精度达到0.1，具体舒适等级描述以及评分标准由图8给出。实验片源采用国际视频组织发布的标准序列作为立体视频序列，并利用相关软件进行处理，转变成左右格式立体视频，通过ssp立体视频播放软件实现片源播放。

4.立体视频视觉舒适度的评价模型

将主观实验中得到的评分，分别与帧内显著物体视差、帧内相关背景视差、帧间视差和运动量进行函数的拟合运算，分别得到它们之间的函数关系，坐标图如图13、图14、图15所示。

由于人眼的大部分注意力集中在一幅立体图像的显著区域，而对于两相邻帧图像之间的差异，以及帧内背景部分的差异不敏感，所以在模型中给出的权值有所不同，运动量和帧间视差有一定的关系，所以结合在一起有相同的权值，本发明针对帧内显著物体视差、帧内相关背景视差、帧间视差和运动量，根据视频观测研究经验给出了w₁,w₂,w₃三个权值，分别赋值0.7、0.2、0.1，再结合之前由线性模拟组合得到的结果，其视觉舒适度评分函数模型VC为：

$\mathrm{VC}=w_1(a_0{d}_n^3+a_1{d}_n^2+a_2{d}_n+a_3)+w_2(b_0*e^{b_1*d_b})+w_3(c_0+c_1*\sqrt{\frac{d_j}{v}})$

其中：VC为视觉舒适度评分；w₁,w₂,w₃是根据视觉特性赋予的经验权值，其值分别为0.7，0.2，0.1；d_n为帧内显著区域视差；d_b为帧内相关背景视差；d_j为帧间视差；v为运动变量，a₀、a₁、a₂、a₃、b₀、b₁、c₀、c₁为进行最小二乘拟合时得到的系数。

Claims (1)

1.一种结合多视差与运动的立体视频视觉舒适度评价方法，其特征在于包括下列步骤：

1.1提取影响立体视频舒适度的多种视差与运动量，具体包括下列步骤：

1.1.1帧内显著物体区域的提取：选取进行实验的视频序列第T帧左、右立体视图，利用谱分析算法进行处理，得到显著物体区域的分布图；

1.1.2帧内相关背景区域的提取：用场景相关的显著区域提取法对立体视频第T帧左、右立体视图进行处理，得到帧内相关背景区域图；

1.1.3帧内视差提取：首先选取第T帧左、右两幅匹配视图，求出其标准视差图，然后将得到的标准视差图分别与步骤1.1.1中所提取的显著物体区域、步骤1.1.2中提取的帧内相关背景区域结合，得到帧内显著物体视差图、帧内相关背景视差图后，提取水平视差，计算视差深度；

1.1.4帧间视差提取：选取视频序列的左视图，用块匹配法得到帧间标准视差图，提取水平视差，计算视差深度；

1.1.5运动量提取：利用步骤1.1.1中显著物体提取方式，提取第T帧与第T+1帧的左视图的显著物体区域进行融合，再结合步骤1.1.4中的帧间标准视差图进行运动量的提取；

1.2建立结合视差与运动的立体视频视觉舒适度的评价模型，具体包括下列步骤：

1.2.1对实验场景和实验片源的要求：实验场景中设定屏幕与观测者间的观测距离L为屏幕高度H的3倍；实验片源采用由国际视频组织发布的标准立体视频序列，播放间隔设定为20s；

1.2.2对观测者的要求：观测者无对观测结果产生影响的眼部疾病；双目裸视或佩戴眼镜矫正视力需要达到1.0；年龄为20--35岁的男性和女性；分为普通人和有相关经验的专家；佩戴主动快门眼镜无不良反应；

1.2.3获取主观评价的实验结果：由观测者根据立体视频视觉舒适度的5个等级，对国际标准立体视频序列进行评分，获得人类主观评价得分MOS值；

1.2.4计算相关视差深度：根据水平视差的定义和立体感原理，水平视差得到相应的视差深度d为：由此计算步骤1.1.3所提取的帧内显著物体视差、相关背景视差，以及步骤1.1.4的帧间视差对应的视差深度d_n、d_b、d_j；

上述公式中：L为步骤1.2.1所设定的已知量，s为瞳距65mm，d_s是在忽略掉垂直视差的情况下，相邻帧两幅视图的水平视差；

1.2.5计算运动量：根据步骤1.1.5中运动量的大小设定阈值，进行运动量区间的划分；

1.2.6根据步骤1.2.3主观评价的实验结果与步骤1.2.4中得到的帧内显著区域视差d_n、帧内相关背景视差d_b、帧间视差d_j以及步骤1.2.5所述的运动量进行最小二乘拟合，确定立体视频视觉舒适度评价与四种影响因素的关系函数式为：

$V_{c1}=a_0{d}_n^3+a_1{d}_n^2+a_2{d}_n+a_3---\left(1\right)$

$V_{c2}=b_0*e^{b_1*d_b}---\left(2\right)$

$V_{c3}=c_0+c_1*\sqrt{\frac{d_j}{v}}---\left(3\right)$

1.2.7根据人眼立体视觉特性和对立体视频的评价经验，对步骤1.2.6中得到的影响舒适度各因素的函数分别进行加权处理；得到相应的视觉舒适度评分函数模型VC：

$\mathrm{VC}=w_1(a_0{d}_n^3+a_1{d}_n^2+a_2{d}_n+a_3)+w_2(b_0*e^{b_1*d_b})+w_3(c_0+c_1*\sqrt{\frac{d_j}{v}})--\left(4\right)$

1.2.6和1.2.7步骤的(1)、(2)、(3)、(4)式中：V_c1，V_c2，V_c3分别为帧内显著物体、帧内相关背景、帧间视差以及物体运动与评分由最小二乘拟合得到的函数关系式；VC为视觉舒适度评分；w₁,w₂,w₃是根据视觉特性赋予的经验权值，其值分别为0.7，0.2，0.1；d_n为帧内显著区域视差；d_b为帧内相关背景视差；d_j为帧间视差；v为运动变量；a₀、a₁、a₂、a₃、b₀、b₁、c₀、c₁为进行最小二乘拟合时得到的系数。