CN104038756B - 基于立体图像特征的立体图像舒适度检测方法 - Google Patents

基于立体图像特征的立体图像舒适度检测方法 Download PDF

Info

Publication number
CN104038756B
CN104038756B CN201410247757.0A CN201410247757A CN104038756B CN 104038756 B CN104038756 B CN 104038756B CN 201410247757 A CN201410247757 A CN 201410247757A CN 104038756 B CN104038756 B CN 104038756B
Authority
CN
China
Prior art keywords
stereo
picture
comfort level
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410247757.0A
Other languages
English (en)
Other versions
CN104038756A (zh
Inventor
王丹力
王婷婷
王宏安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Software of CAS
Original Assignee
Institute of Software of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Software of CAS filed Critical Institute of Software of CAS
Priority to CN201410247757.0A priority Critical patent/CN104038756B/zh
Publication of CN104038756A publication Critical patent/CN104038756A/zh
Application granted granted Critical
Publication of CN104038756B publication Critical patent/CN104038756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于立体图像特征的立体图像舒适度检测方法。该方法关注立体图像的视差和运动特征与立体图像舒适度之间的关系,首先需要获取立体图像的视差和运动相关的若干特征,然后通过主观实验建立表征立体图像特征和立体图像舒适度之间非线性关系的舒适度模型,最后即可根据立体图像的特征和非线性舒适度模型,对立体图像进行客观地舒适度评价。本发明可根据比较直观的若干图像特征计算出其立体图像舒适度,从而为立体图像的评价、制作等提供参考。

Description

基于立体图像特征的立体图像舒适度检测方法
技术领域
本发明属于三维显示评估领域,具体涉及一种基于立体图像特征的立体图像舒适度检测方法。
背景技术
虽然立体显示技术在电视广播、图像游戏、会议、医疗、教育、商业等领域的应用越来越多。但目前由于技术和成本的限制,观看立体显示还在很多风险隐患,如视疲劳,图像不适等。这些问题不仅严重影响用户体验,也制约了立体显示技术的发展和普及。因此,研究立体显示舒适度的各项影响因素,进而采取措施预防和缓解图像不适,对改善立体显示观看体验具有重要的意义。
大量的研究表明,影响立体显示观看舒适度的因素主要包括三个方面:一是立体显示设备性能不佳;二是人的生理原因;三是立体内容的原因。其中立体内容方面可进一步细分为视差、运动、场景复杂度等因素。为了有针对性的研究某种立体内容特性对舒适度的影响,目前普遍的做法是制作动态立体图像,从而控制拍摄图像中存在的众多不可控因素。其中,视差和运动是影响立体图像舒适度最重要的两个因素。一方面,随着视差的增大,用户的舒适程度会随之下降,甚至会出现一系列的生理不适症状,如头疼、恶心等。另一方面,物体的运动(平面或深度)也已被证实对舒适度有很大的影响。由于深度方向的运动伴随着双眼视差量级的时序变化,相关研究已经证明它对舒适度的影响可能会比绝对的双眼视差还要严重。而有关平面运动对舒适度的影响的研究目前还没有比较系统的结论。
专利CN102595187B、CN102497565B等研究了影响立体图像舒适度的亮度、色度范围的测定,但在包括这些方案在内的众多相关研究中,几乎都没有考虑运动物体的数量对舒适度的影响,所使用的立体视差只处于舒适视差范围之内(±1°),对该范围之外的视差情况则没有分析。这些研究普遍存在的问题还包括各因素的取值个数偏少,几乎没有考虑不同因素之间的综合作用,比如物体的运动速度和尺寸、视差和数量等。
发明内容
针对现有方法中在检测和评价立体图像的图像舒适度时存在的不足,本发明提供一种基于立体图像特征的立体图像舒适度检测方法,本方法可根据比较直观的若干图像特征计算出其立体图像舒适度,从而为立体图像的评价、制作等提供参考。
本发明着重关注立体图像的视差和运动特征,首先获取立体图像的视差和运动相关的若干特征,然后通过主观实验建立表征立体图像特征和立体图像舒适度之间非线性关系的舒适度模型,最后即可根据立体图像的特征和非线性舒适度模型,对立体图像进行舒适度检测和评价,进而在立体图像拍摄及后期制作过程中,提供立体舒适性质量评价参考,有助于提高立体资源的实际观看安全性和用户体验。
具体来说,本发明采用的技术方案如下:
一种基于立体图像特征的立体图像舒适度检测方法,其步骤包括:
1)选择立体图像的四种特征值,包括:运动物体的个数(N)、大小(S)、速度(V)、深度(D);
2)对上述四种图像特征的数值进行设定,即立体图像中运动物体的个数可以有(n1,n2,…,nf,f=1,2,…)个,共f种,物体大小有g种(s1,s2,…,sg,g=1,2,…),速度有h种(v1,v2,…,vh,h=1,2,…),深度有k种(d1,d2,…,dk,k=1,2,…);
3)基于步骤2)中的设置,将四种图像特征的所有取值进行类似笛卡尔积的组合处理,可得到L(f×g×h×k)个组合,进而使用三维立体图像制作工具生成具备上述L种取值情况的图像片段;
4)对步骤3)中制作出的L个立体图像进行编号形成一个图像序列(Ved1、Ved2,…,VedL);
5)进行主观实验,获取用户对上述立体图像的主观舒适度评分;
6)将经过步骤5)得到的立体图像的用户主观舒适度评分,与立体图像的四种特征建立对应关系,形成L组数据(Ni,Si,Vi,Di,AvgVCScorei),i=1,2,…,L;其中Ni,Si,Vi,Di表示i号立体图像中运动物体的个数、大小、速度和深度,AvgVCScorei表示i号立体图像最终获得的用户主观舒适度评分;
7)对步骤6)中L组立体图像特征与舒适度评分的对应数据,进行单因素逐步多元回归,可得到四种图像特征作为相互独立的因素与主观舒适度之间的非线性关系,形如VC1=w1×N+w2×S+w3×V+w4×D+e1,其中VC1表示图像舒适度得分,w1,w2,w3,w4代表各个参量的权重,e1是一个常量;
8)将四种图像特征进行两两组合,形成新的6个因素,即(N·S)、(N·V)、(N·D)、(S·V)、(S·D)、(V·D),则步骤6)中的L组数据可扩充表示为(Ni,Si,Vi,Di,Ni·Si,Ni·Vi,Ni·Di,Si·Vi,Si·Di,Vi·Di,AvgVCScorei),i=1,2,…,L;
9)对步骤8)中扩充后的L组数据,进行逐步多元回归,可得到四种图像特征及其相互组合形成的10个潜在因素与主观舒适度之间的非线性关系;
10)根据步骤7)~9)得到的两个立体图像特征与图像舒适度之间的非线性关系,进而可通过回归判定系数、斯皮尔曼等级相关系数或均方根误差等方法来对其有效性和复杂性等各方面进行判定,最终得到一个立体图像特征与立体图像舒适度非线性关系模型;
11)获取目标立体图像的若干图像特征,利用步骤10)得到的非线性立体图像舒适度模型,计算得出该目标立体图像的舒适度估计值。
进一步的,所述步骤1)中,立体图像中运动物体的大小可以用物体所占的像素点个数表示(单位:pixels),运动速度用每秒钟位移所跨越的像素点数表示(单位:pixel/s),深度则用运动物体相对于左右眼形成的视角减去屏幕上对应点相对于左右眼形成的视角来表示(单位:度°)。
进一步的,所述步骤3)中三维立体图像的制作可使用常见的3DSMAX软件完成。为了保证每个图像片段能给予观看者足够的时间产生对其效果的主观感受,建议每个立体图像片段时长至少为15秒。
进一步的,所述步骤5)进行主观实验的具体步骤如下:
a)建立一个立体显示观看环境,显示设备可以是一般常见的3D显示器,并准备一张写字桌用于记录打分;
b)对用户进行立体图像筛查,当其可辨认立体图像视差达到200″及以下,即认为其可以参与实验,最终参与用户数量为M个,编号为U1,U2,…,UM
c)将制作完成的立体图像作为观看内容,以随机的方式显示,每个图像播放结束后,显示5至8秒左右的灰色图片,此段时间内用户完成对刚刚观看完的图像的舒适度打分;
d)将用户对立体图像的舒适度打分记为VCScore(Vedi,Uj),i=1,2,…,L,j=1,2,…,M,表示j号用户对i号图像片段的舒适度评分;
e)最终每个立体图像都获得了M个用户的舒适度评分,进而求平均可得每个立体图像的用户主观舒适度评分AvgVCScorei,i=1,2,…,L。
进一步的,所述步骤5)中,参与检测的用户数量M越大越好,建议不少于15人。综合越多用户的体验感受,越能接近真实地对显示设备或内容进行检测。
进一步的,所述步骤5)中,主观实验需要注意对用户的任务训练,以保证实验在相对一致的时间内完成。在正式开始之前,训练用户熟悉打分过程,并适应实验的节奏,直到可以在规定的时间内完成对每个立体图像的舒适度打分。
进一步的,所述步骤5)中,在进行任务训练时,需要在所观看的若干个立体图像中插入一个参考图像,该参考图像是从所制作出的立体图像资源中随机选择出来的。用户在反复多次进行训练的过程中,会形成对该参考图像的多个舒适度评分,以这些评分的均值作为该参考视图像对该名用户的参考舒适度得分。同时,在正式实验中,该参考图像会平均穿插到所观看图像序列中,作为显式参照,帮助用户把握评分标准。
进一步的,所述步骤5)中,为了防止长时间观看立体显示造成用户图像疲劳,从而影响他们对图像舒适度的评判,需要在实验中每隔30分钟或其他合适的时间,让用户休息10到15分钟。
进一步的,所述步骤5)中,舒适度打分可参考ITU-RBT.500中使用的连续量表,打分范围[0,10],平均分为五个等级,每个等级跨越2分,精度0.1。[8,10]表示非常舒适、[6,8)表示舒适、[4,6)表示轻度不舒适、[2,4)表示不舒适、[0,2)表示非常不舒适。
进一步的,所述步骤7)中,进行单因素逐步多元回归时,可直接借助专业的统计分析软件(如SPSS)完成,并且在这一过程中,统计分析软件会根据各个因素对舒适度的最终相关性高低而自动选择是否将其加入到关系式中,因此有可能某些图像特征并没有出现在最终的模型关系中,形如VC’=u1×S+u2×V+u3×D+e’。
进一步的,所述步骤9)中,考虑到统计分析软件会根据各个因素与主观舒适度之间的相关性高低而自动剔除某些因素,最终形成一个多因素交叉影响的舒适度模型,如VC2=p1×D+p2×V+p3×S+p4×N·V+p5×D·S+e2,其中p1,p2,p3,p4,p5代表各个参量的权重,其他变量含义与步骤7)相同。
进一步的,所述步骤10)对所得两个非线性立体图像舒适度关系模型的有效性和复杂性等各方面进行判定,可采用的判定方法包括评价模型拟合程度高低的拟合系数R2、评价模型精准度的Pearson线性相关系数(CC),检测模型计算值与主观值相关性的Spearman等级相关系数(ROCC)以及评价模型计算值误差大小的均方根误差(RMSE)。其判定标准是:(1)R2、CC和ROCC的值越高(越接近于1),RMSE的值越小(越接近于0),表示模型性能越好;(2)如果一个模型的RMSE值相比另一个模型要大,但对RMSE结果进行T检验得到的显著性P值均满足具体实验设定的可接受范围,则可认为两个模型在RMSE分析中表现是相等的,如此只需要对比其他几个判定方法的结果即可;(3)模型的复杂度可包括模型关系式中所需的参量的个数、测量各参量值的实际工作量和已具备的条件、所有数据的存储与传输等所需代价,等等;(4)考虑到具体应用中对最终模型的复杂度、性能要求会有不同,可适当根据实际需要,决定是优先考虑模型的性能,还是考虑模型的复杂度。
进一步的,对步骤10)中所得到的非线性立体图像舒适度关系模型,为了提高其有效性,应进行较大规模的实验,收集大量数据以稳定关系模型中的各项系数。在各种条件允许的情况下实验规模越大,越能保证最终模型的稳定性。
本发明还提出一种基于舒适度检测的立体图像制作方法,首先采用上面所述方法获得检测立体图像舒适度的非线性关系模型,然后在拍摄和制作立体图像过程中即可根据所设定的相关立体图像特征的值,利用所得立体图像舒适度的非线性关系模型计算出所制作的立体图像舒适度的值,对舒适度不合格的图像可以进行修改或重新拍摄,如此可以指导制作出舒适度较高的立体图像资源。
本方法的流程如图1所示,包括立体图像资源制作、主观评价试验、数据分析和建模等环节。立体图像资源可根据需要选择合适的三维立体图像制作工具完成,前提是确定若干种立体图像特征,并在制作过程中设置它们的不同值从而生成包含各种特征值组合情况的立体图像片段。主观评价试验是本方法中数据获取的关键,用户观看所制作出的立体图像并给出主观舒适度打分,形成多组立体图像特性与舒适度之间的对应数据。最后,采用单因素、多因素逐步多元回归,寻找和立体图像舒适度紧密相关的若干种立体图像特征及其交叉组合,即可得到一个或多个立体图像特征与立体图像舒适度之间的关系模型。根据统计分析方法中对逐步多元回归的判定标准和方法(如R2越接近1越好),可就具体实验对模型的时间复杂度、精度等需求,从所得立体图像舒适度模型中择优选择适合实际需要的即可。实验中,环境光照、温度等一般保持正常值不变,同时控制整个观看过程中显示设备参数是恒定的,可设定参数为推荐值,并保持不变。
根据本方法所得的立体图像舒适度模型,只需要获取目标立体图像中若干种特征,即可实现对立体图像舒适度的定量计算和评价,而不再需要用户的主观打分。所用立体图像的特征值比较直观易获取,数据处理也只需要掌握一种多元回归分析方法即可,整个方法的实施简单明确。本方法一方面对用户没有任何强制性限制,只需要能够正常完成观看和打分;另一方面,数据处理部分对研究人员基本没有门槛,只要有基础的数学知识就能完成计算。
与现有技术相比,本发明具有如下有益效果:
1.方法的有效性
本方法从单因素、多因素角度分析了立体图像若干特征与图像舒适度之间的统计关系,确认所选立体图像特征对图像舒适度的影响贡献大小,并通过一系列数据处理得到用所选立体图像特征估算立体图像舒适度的关系模型。其中,通过主观评价试验获得本方法所需数据,严格按照ITU标准布置环境,并通过一定的任务训练获得每个用户自己的对参考图像的舒适度评分,并以此作为该名用户在正式实验中的打分参照,一定程度上增加了主观打分的可靠性和稳定性。
2.自制立体图像资源,可形成立体图像资源数据库
本方法所使用立体图像资源可用一般立体图像制作工具完成,通过控制所选立体图像特征的取值,可形成一个立体图像资源数据库,实现多种实验用途。
3.数据处理简单
本方法中数据分析和建模中所用到的数据包括立体图像若干特征取值和对应的舒适度得分。立体图像的特征值是研究人员可控可知的,通过主观评价试验,进一步形成这些特征值和对应图像舒适度的对应数据组,针对这些组数据只需要两步统计分析处理即可获得最终的立体图像舒适度模型。在应用所得模型去评价任意立体图像时,也只需要获知目标立体图像的若干特征值,直接公式带入即可估算出其舒适度得分情况。数据处理和模型应用都几乎没有门槛。
4.为实现立体图像舒适度的自动评价打下基础
通过本方法寻找到立体图像舒适度模型,可应用于立体图像舒适度的客观评价而不再需要用户参与主观评价,减少了个体情感等主观因素影响,因而结果更客观。同时本方法也为进一步实现立体图像舒适度自动评级做了铺垫,某自动化方法提取出立体图像的特征值后,可直接利用本方法所得的立体图像舒适度模型计算出立体图像的舒适度情况。
附图说明
图1是本发明方法的基本流程图;
图2是本发明方法的具体实施中立体资源视差概念示意图;
图3是本发明方法的具体实施环境图;
图4是本发明方法的具体实施流程图;
具体实施方式
为了使本技术领域的技术人员更好的理解,下面结合表1和附图2对具体实施中立体图像资源的制作进行说明;同时结合附图3、附图4和表2对本方法中主观评价试验作进一步的详细介绍。
使用本方法检测立体图像的舒适度,其过程主要包括五个阶段:立体图像资源制作、布置环境、练习演示、观看和打分,以及数据处理。
1.立体图像资源制作
首先选择四种立体图像特征:运动所在平面的视差(深度)、运动速度、运动物体的数量和大小。
设置最终的动态图像规格为576×768pixels,前景运动物体为球体。具体立体图像特征的取值设定如表1所示。
表1.立体图像资源参数设置表
因素 值1 值2 值3 值4 值5
个数(个) 1 3 5
尺寸(pixel) 0.36s 0.6s s
速度(pixel/s) 0.24v 0.34v 0.49v 0.7v v
相对视差(°) 0.1° 0.7° 1.3° 1.9° 2.5°
注:视频大小576×768pixels,v=768pixel/s,s=53.33pixels,即视频宽度(768pixels)的1/14.4倍
需要说明的是某一视差条件下,多个运动物体的速度和大小保持一致。共设置3个级别的物体个数和尺寸,5个级别的速度和相对视差,因此实验中共计3×5×5×3=225段图像激励。
其中,定义运动物体的最大速度为1秒时间内物体的几何中心从图像左侧边缘运动到右侧边缘,即(图像宽度)pixels/s,并将此速度表示为基准速度v;运动物体的最大球直径为图像宽度的1/14.4,将此表示为基准尺寸s;图像中同时出现的物体数量分别是1个、3个和5个。
接着,使用3DSMAX制作实验所需要的激励图像,使用PAL标准编码,每段图像长度为10秒。图像背景是加入黑色噪声(noise)的白色图片,平均亮度为65nits。前景中运动球体颜色随机,平均亮度保持在175nits,运动轨迹为一个周期的正弦曲线。实际用于实验的立体图像资源的视差概念示意如图2所示,所制作立体资源具有5个视差等级(单位°),其中相对于显示器平面而言(记:前景图像处于显示器平面上时视差为0),则立体资源的绝对视差包括±1.2,±0.6,0;而相对于显示内容的背景所在平面而言(记:前景图像和背景图像处于同一平面时视差为2.5),则立体资源的相对视差包括0.1,0.7,1.3,1.9,2.5。
2.布置环境
观看环境主要包括一台23英寸的偏振眼镜式立体显示器、便携式单人写字桌、座椅和一台主机,如图3所示。显示器的亮度、对比度等参数设为推荐值(ITU-RBT.500)。写字桌和座椅放置在显示器正中前方,座椅固定在距离立体显示器所在平面3倍屏幕高度(87厘米)的地面上,用黄色线标记为座椅位置。主机用来控制立体图像片段的播放。周围环境光照和温度维持正常值不变。
3.练习演示
先对用户进行立体视力检查,通过随机点立体图筛选出可以识别出视差为200″的用户。共有14名用户通过筛选,接着主试者向这些用户演示如何进行舒适度打分,然后给予用户一定时间进行操作练习。
练习阶段让用户观看5个随机选择的立体图像(分别编号为1-5,其中3号图像为预定参考图像),重复3次。此阶段,用户不知道参考视频的存在。观看第一遍时不要求打分,第二遍和第三遍时依照量表进行打分。对每个用户来说,将3号图像的三次打分均值作为后续正式实验中的该参考图像的参考分。值得注意的是,参考图像没有统一固定的参考分,每个用户在练习阶段给出的舒适度打分不尽相同。虽然设置的参考图像评分并不一致,但都是在整个实验中用户状态最佳的时候评出的分数,针对用户本人来说是一个符合本人感受的合理的建议分,且其在正式实验中的主要作用是稳定该名用户的评分误差。在练习过程中,用户可以反复观看、提问以及中断。
4.观看和打分
主试者调整座椅位置,使其前轮位于黄色标记线处。然后指导用户以一个舒适的姿势坐在座椅上,并左右移动显示器,直到用户表示正对着屏幕中心为止。用户带上立体眼镜,主试者播放立体图像,并开始计时。
此时进入正式实验,其流程如图4所示。225个立体图像的播放采用随机的方式,每个用户看到的图像序列是不同的。参考ITU-R500中的要求,在每段图像结束后播放8秒的灰色图像,包括5秒的打分时间和3秒短暂休息时间。实验中将参考图像(练习阶段用户打分最稳定的一个图像)插入待评图像序列中作为显式参考,如此整个图像序列可分为23组。每组包含1个参考图像和10个待评图像(最后一组除外,其只包括1个参考图像和5个待评图像),在每组开始前会有提示音对用户进行提醒,以及向用户说明参考图像的分数,以辅助用户对后续10个待评图像的评分。每8组(大约20分钟)后进行10分钟的休息,以确保用户不会感到疲劳和厌倦,如此正式实验由三段组成。
观看过程中,周围环境保持安静,主试者坐在用户视野外的某个位置,通过无线鼠标控制播放。整个主观评价试验持续大约80分钟。
5.数据处理
主观评价试验结束后,共收集了14名用户对225个立体图像的舒适度打分VCScore(Vedi,Uj),i=1,2,…,225,j=1,2,…,14,,由此可得到225组由立体图像特征和对应图像舒适度得分形成的数据项,对这些数据进行如下处理:
1)对14个用户的数据求平均可得每个立体图像的用户主观舒适度评分AvgVCScorei,i=1,2,…,225;
2)将得到的立体图像的用户主观舒适度评分,与立体图像的四种特征建立对应关系,形成225组数据(Ni,Si,Vi,Di,AvgVCScorei),i=1,2,…,225;
3)对这225组立体图像特征与舒适度评分的对应数据,进行单因素逐步多元回归,经过统计分析工具的自动优化的因素剔除,最终得到第一个立体图像舒适度模型,VC1=u1×D+u2×V+u3×S+e1,其中ui(i=1,2,3)分别为-0.070,-0.293,0.070,e1=0.773,判定系数R2为0.795;
4)将四种图像特征进行两两组合,形成新的6个因素,即(N·S)、(N·V)、(N·D)、(S·V)、(S·D)、(V·D),如此得到新的225组数据(Ni,Si,Vi,Di,Ni·Si,Ni·Vi,Ni·Di,Si·Vi,Si·Di,Vi·Di,AvgVCScorei),i=1,2,…,225;
5)对步骤4)中扩充后的225组数据,进行多因素逐步多元回归,同样考虑统计分析软件会根据各个因素与主观舒适度之间的相关性程度而自动剔除某些因素,得到第二个立体图像舒适度模型,VC2=p1×D+p2×V+p3×S+p4×N·V+p5×D·S+e2,其中pi(i=1,2,3,4,5)分别为-0.094,-0.265,0.021,-0.009,0.037,常量e2=0.805,该模型的R2为0.805,具有更好的显著性。
最终得到的立体图像舒适度模型可能有多个,比如本实施案例中得到两个舒适度模型,如果考虑实验对模型的复杂度、精度等的不同需求,可进一步对所得到的模型进行性能比较,按照本发明给出的模型判定方法和标准,所得两个模型的性能分析结果如表2所示。从性能上看,模型II比模型I好,但模型II的复杂度比较高。
表2.两个模型的性能分析结果
需要注意的是,本方法中得到的立体图像舒适度模型,在被实际应用于立体图像舒适度的客观评价之前,应进行大规模上述实验,以提升模型的有效性和稳定性。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求所述为准。

Claims (9)

1.一种基于立体图像特征的立体图像舒适度检测方法,其步骤包括:
1)选择立体图像的四种特征值,包括运动物体的个数N、大小S、速度V、深度D,并对该四种图像特征的数值进行设定;
2)将四种图像特征的所有取值进行类似笛卡尔积的组合处理,得到L个组合,进而使用三维立体图像制作工具生成具备L种取值情况的图像片段;
3)进行主观实验,获取用户对L个立体图像的主观舒适度评分;
4)将得到的立体图像的用户主观舒适度评分与立体图像的四种特征建立对应关系,形成L组数据;
5)对L组立体图像特征与舒适度评分的对应数据进行单因素逐步多元回归,得到四种图像特征作为相互独立的因素与主观舒适度之间的非线性关系;
6)将四种图像特征进行两两组合,形成新的6个因素,即(N·S)、(N·V)、(N·D)、(S·V)、(S·D)、(V·D);同样进行逐步多元回归,得到四种图像特征及其相互组合形成的10个潜在因素与主观舒适度之间的非线性关系;
7)对步骤5)和步骤6)得到的两个非线性关系的有效性和复杂性进行判定,进而建立立体图像特征与立体图像舒适度非线性关系模型;
8)获取目标立体图像的若干图像特征,利用所述立体图像特征与立体图像舒适度非线性关系模型计算得出该目标立体图像的舒适度估计值。
2.如权利要求1所述的方法,其特征在于,步骤1)所述立体图像的图像特征中,运动物体的大小用物体所占的像素点个数表示,运动速度用每秒钟位移所跨越的像素点数表示,深度用运动物体相对于左右眼形成的视角减去屏幕上对应点相对于左右眼形成的视角来表示。
3.如权利要求1所述的方法,其特征在于,步骤2)使用3DSMAX软件完成三维立体图像的制作,每个立体图像片段时长至少为15秒。
4.如权利要求1所述的方法,其特征在于,步骤3)所述主观实验的具体步骤如下:
3-1)建立一立体显示观看环境,包括显示设备和用于记录打分的写字桌;
3-2)对用户进行立体图像筛查,当其可辨认立体图像视差达到200″及以下,即认为其可以参与实验,最终参与用户数量为M个;
3-3)将制作完成的立体图像作为观看内容,以随机的方式显示,每个图像播放结束后,显示5至8秒左右的灰色图片,此段时间内用户完成对刚刚观看完的图像的舒适度打分;
3-4)记录用户对立体图像的舒适度打分;
3-5)最终每个立体图像都获得M个用户的舒适度评分,进而求平均得到每个立体图像的用户主观舒适度评分。
5.如权利要求4所述的方法,其特征在于,所述主观实验中参与检测的用户数量M不少于15人,并在主观实验中对用户进行任务训练,以保证实验在相对一致的时间内完成。
6.如权利要求4所述的方法,其特征在于,所述主观实验参考ITU-RBT.500中使用的连续量表进行舒适度打分,打分范围为[0,10],平均分为五个等级,每个等级跨越2分,精度0.1。
7.如权利要求1所述的方法,其特征在于,步骤5)采用专业的统计分析软件进行单因素逐步多元回归,并且在这一过程中,统计分析软件根据各个因素对舒适度的最终相关性高低而自动选择是否将其加入到关系式中。
8.如权利要求1所述的方法,其特征在于,步骤7)对所述两个非线性关系的有效性和复杂性进行判定的方法包括:评价模型拟合程度高低的拟合系数R2、评价模型精准度的Pearson线性相关系数,检测模型计算值与主观值相关性的Spearman等级相关系数以及评价模型计算值误差大小的均方根误差。
9.一种基于舒适度检测的立体图像制作方法,其特征在于,首先采用权利要求1所述方法获得立体图像舒适度的非线性关系模型,然后参考该非线性关系模型设置合适的拍摄和制作参数,以生成舒适度较高的立体图像资源。
CN201410247757.0A 2014-06-05 2014-06-05 基于立体图像特征的立体图像舒适度检测方法 Active CN104038756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410247757.0A CN104038756B (zh) 2014-06-05 2014-06-05 基于立体图像特征的立体图像舒适度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410247757.0A CN104038756B (zh) 2014-06-05 2014-06-05 基于立体图像特征的立体图像舒适度检测方法

Publications (2)

Publication Number Publication Date
CN104038756A CN104038756A (zh) 2014-09-10
CN104038756B true CN104038756B (zh) 2016-01-13

Family

ID=51469328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410247757.0A Active CN104038756B (zh) 2014-06-05 2014-06-05 基于立体图像特征的立体图像舒适度检测方法

Country Status (1)

Country Link
CN (1) CN104038756B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100791B (zh) * 2015-09-02 2017-04-05 中国科学院软件研究所 一种用于测量立体视觉舒适度的系统及方法
CN106683072B (zh) * 2015-11-09 2020-02-21 上海交通大学 一种基于pup图的3d图像舒适度质量评价方法及系统
CN107071380A (zh) * 2016-11-03 2017-08-18 天津大学 水平延时运动对观看舒适度影响的erp分析方法
CN106791802B (zh) * 2016-11-24 2018-11-30 中国科学院软件研究所 一种不同观看角度和视差的立体显示视觉舒适度检测方法和系统
CN107468206A (zh) * 2017-08-01 2017-12-15 成都大学 一种基于瞳孔直径的立体观看视疲劳预测方法
CN107277502A (zh) * 2017-08-01 2017-10-20 成都大学 一种测评立体视频视疲劳程度的方法与系统
CN109089111B (zh) * 2018-10-22 2020-05-26 Oppo广东移动通信有限公司 一种立体视频舒适度评价方法、系统及终端设备
CN113343491A (zh) * 2021-06-30 2021-09-03 东南大学 一种考虑时序自相关和互相关性的随机场景分析方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103096125A (zh) * 2013-02-22 2013-05-08 吉林大学 基于区域分割的立体视频视觉舒适度评价方法
WO2013125139A1 (ja) * 2012-02-22 2013-08-29 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CN103702109A (zh) * 2013-12-23 2014-04-02 苏州科技学院 一种三维图像灰度查找表测量装置及其方法
US20140111623A1 (en) * 2012-10-23 2014-04-24 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013125139A1 (ja) * 2012-02-22 2013-08-29 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
US20140111623A1 (en) * 2012-10-23 2014-04-24 Intuitive Surgical Operations, Inc. Stereo imaging system with automatic disparity adjustment for displaying close range objects
CN103096125A (zh) * 2013-02-22 2013-05-08 吉林大学 基于区域分割的立体视频视觉舒适度评价方法
CN103702109A (zh) * 2013-12-23 2014-04-02 苏州科技学院 一种三维图像灰度查找表测量装置及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
影响立体图像舒适度的特征参数研究;臧艳军;《万方学位论文》;20130402;全文 *
立体显示视觉舒适度影响因素的研究;付贝贝;《万方学位论文》;20130731;全文 *

Also Published As

Publication number Publication date
CN104038756A (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
CN104038756B (zh) 基于立体图像特征的立体图像舒适度检测方法
KR102489677B1 (ko) 시각적 기능의 임상적 파라미터들을 통합적으로 측정하는 시스템
CN103096125B (zh) 基于区域分割的立体视频视觉舒适度评价方法
Baird Psychophysical analysis of visual space: international series of monographs in experimental psychology
Mauderer et al. Depth perception with gaze-contingent depth of field
Durgin et al. Palm boards are not action measures: An alternative to the two-systems theory of geographical slant perception
Piryankova et al. Egocentric distance perception in large screen immersive displays
CN103986925B (zh) 基于亮度补偿的立体视频视觉舒适度评价方法
CN102750695A (zh) 一种基于机器学习的立体图像质量客观评价方法
CN103815866A (zh) 视觉功能检查用方法和视觉功能检查用控制装置
Feldstein Impending collision judgment from an egocentric perspective in real and virtual environments: a review
CN104581141B (zh) 一种立体图像视觉舒适度评价方法
Ostrofsky et al. Objective versus subjective measures of face-drawing accuracy and their relations with perceptual constancies.
Wignall et al. Fat or fiction? Effects of body size, eating pathology, and sex upon the body schema of an undergraduate population
Domini et al. Do we perceive a flattened world on the monitor screen?
CN106791802A (zh) 一种不同观看角度和视差的立体显示视觉舒适度检测方法和系统
CN107468206A (zh) 一种基于瞳孔直径的立体观看视疲劳预测方法
Saleeb Effects of the differences between virtual and physical perception of space on building information modelling
McIntire et al. Clinically normal stereopsis does not ensure a performance benefit from stereoscopic 3D depth cues
Natsis et al. Technological factors, user characteristics and didactic strategies in educational virtual environments
CN109009094A (zh) 基于脑电信号kc复杂度的视觉诱导晕动症检测方法
Shibata et al. Utilization of stereoscopic 3D images in elementary school social studies classes
Jerome et al. The perception and estimation of egocentric distance in real and augmented reality environments
Hartman Perception-action system calibration in the presence of stable and unstable perceptual perturbations
Saracini et al. Stereoscopy does not improve metric distance estimations in virtual environments

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant