CN103945218A - 一种基于双眼视觉融合的立体图像质量评测方法 - Google Patents

一种基于双眼视觉融合的立体图像质量评测方法 Download PDF

Info

Publication number
CN103945218A
CN103945218A CN201410170856.3A CN201410170856A CN103945218A CN 103945218 A CN103945218 A CN 103945218A CN 201410170856 A CN201410170856 A CN 201410170856A CN 103945218 A CN103945218 A CN 103945218A
Authority
CN
China
Prior art keywords
stereo
picture
experiment
compression
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410170856.3A
Other languages
English (en)
Other versions
CN103945218B (zh
Inventor
吴梅红
洪志令
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201410170856.3A priority Critical patent/CN103945218B/zh
Publication of CN103945218A publication Critical patent/CN103945218A/zh
Application granted granted Critical
Publication of CN103945218B publication Critical patent/CN103945218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种基于双眼视觉融合的立体图像质量评测方法,涉及图像应用领域的图像质量评价。1)建立待实验测试的立体图像;2)控制播放待实验测试的立体图像;3)测试者对立体图像的质量进行评价,得到实验数据;4)处理步骤3)得到的实验数据并输出结果。从人类视觉感知和人眼的注意机制出发,考虑视觉注意机制对图像质量影响较大的因素,从而更好地体现人类视觉系统处理过程,保证了图像质量评价输出值与主观感知的一致性。操作简单、评价结果更加准确和稳定,克服了传统的依靠人工观察的主观质量评价方法易受其它因素的限制和影响的缺点,同时也为客观质量评价方法奠定基础,为解决大部分客观质量评价与人眼的观测结果差异较大提供技术衡量指标。

Description

一种基于双眼视觉融合的立体图像质量评测方法
技术领域
本发明涉及图像应用领域的图像质量评价,尤其是涉及一种基于双眼视觉融合的立体图像质量评测方法。
背景技术
立体图像可以记录真实的三维世界信息,拥有非常广阔的应用前景。目前,立体图像技术已经成功用于科研、军事、教育、工业、医疗、娱乐等诸多领域。
通过立体图像人们可以观察到具有真实深度感的景物,立体图像能使人们身临其境地体验到立体感和临场感。立体成像技术是未来信息处理发展的重要方向之一,立体图像质量评价推动着立体成像技术不断向前发展。
立体图像质量评价的方法有主观质量评价和客观质量评价两种方法[1~3]。主观质量评价是让大量测试者按照事先规定的评价规则对测试图像按视觉效果的优劣进行评分,对所有测试者评分得到的原始数据进行处理得到实验的有效数据,然后对其进行加权平均得到测试图像的主观质量评价值。客观质量评价方法是通过数学模型等手段设计出一套模型,自动地对测试图像进行评分,然后通过与主观质量评价之间的相关性来验证该模型的可靠性。因此,客观质量评价方法的最终目的是尽可能准确得到与主观感知相一致的客观评价值。但由于人类对复杂的人眼视觉系统的认识不够深入,无法建立一个准确、统一的模型,直接影响到客观测评的准确性,不能真实地反映立体图像质量的优劣。
主观质量评价方法是建立在使用者视觉效果评价的基础上,可提供终端用户最为直接的反应情况,从而建立起开发端与终端用户之间的视觉评价反馈体系。但传统的依靠人工观察的主观质量评价方法需针对多个测试图像进行多次重复实验,耗时多、费用高,容易受其它因素的限制和影响,不能用于批量处理,而且操作复杂,同时不具有可重复性,代价较高,从而评价的结果往往不够准确,稳定性差[4~5]。现有的主观测试方法主要有:双刺激连续质量分级法DSCQS(Double Stimulus Continuous Quality Scale)、双激励失真测度方法DSIS(Double Stimulus Impairment Scale)、单刺激连续质量评价方法SSCQE(Single StimulusContinuous Quality Evaluation)、绝对种类评分法ACR(Absolute Category Rating)、SAMVIQ(Subjective Assessment Methodology for Video Quality)测试方法等[6~8]
立体图像质量是评价系统性能的一个重要指标,而一种好的立体图像质量客观评价方法依赖于立体图像的主观评价。主观质量评价方法更为接近人的真实感受,能够较好地反映出图像质量。人类是立体图像的最终接受者,人眼具有双目掩蔽特性。人类视觉系统通过左右眼视差和左右眼的融合形成深度上的感受,从而产生立体感,增加人类的辨识能力[9]。立体视觉注意无论是在心理学还是神经科学上都得到了广泛关注,也有不少的立体视觉方面的研究被发表,从左右视差,深度获取,双眼竞争,双目融合等方面都提出了研究理论,进而为立体图像质量评价技术提供了理论支撑。
人类视觉心理学研究表明,人的双眼间距大约为60~65mm,这个间距使得双眼在观看某一场景时所处位置和角度稍有不同,从而导致场景在双眼视网膜的成像稍有差异。然而,实际上人们在正常视力下观看场景时并不会出现两个场景成像重叠在一起的感觉,而是在人脑中形成一幅具有立体感的图像,这个现象是由人类视觉系统中双目融合处理后的结果。
图像质量评价方法是分析图像压缩和处理效果、反馈图像传输质量的关键技术。平面图像评测方法是对一幅平面图像进行评测,而一幅立体图像是由多个平面图按照一定规则组成,单独评测立体图像的各个平面图像的质量,并不能综合反映立体图像的质量。因而不能将传统的平面图像质量评测方法简单地移植到立体图像的评测中,而要在双眼融合形成立体视觉的情况下进行图像质量评价,才能真实反映人类立体视觉的主观感受。
由此需要基于人眼的立体视觉特性,建立一种基于双眼视觉融合的立体图像质量评价方法。
参考文献:
[1]LewisNW,Allnatt J A.Subjective quality of television pictures with multipleimpairments[J].Electron Letters,1965,1(7):187~188.
[2]JonesB L,Turner J A.Subjective assessment of cable impairments on televisionpicture quality[J].IEEE Transactions on Consumer Electronics,1992,38(4):850~861.
[3]ITU BT500210,Methodology for the Subjective Assessment of the Quality ofTelevision Pictures[S].
[4]Wang Zhijun,Ziou D,Armenakis C,et al.A comparative analysis of image fusionmethods[J].IEEE Transactions on Geosciences and Remote Sensing,2005,43(6):1391-1402.
[5]Piella G.New quality measures for image fusion[C]//Proceedings of the SeventhInternational Conference on Information Fusion..Mountain View.CA:InternationalSociety of Information Fusion,2004:542-546.
[6]ITU-R Recommendation BT.500-11,“Methodology for the Subjective Assessment ofthe Quality of Television Pictures,”Int.Telecommun.Union,Geneva,Switzerland,2002.
[7]7ITU-R:Methodology for the Subjective Assessment of the Quality of TelevisionPicture.International Standard,2000.ITU-R BT.500-10.
[8]ITU-T Rec.&ISO/IEC14496-10AVC,"Advanced video coding for generic audiovisualservices",ITU-T P.,(2005).
[9]Yang Jiachen,Hou Chunping,Zhou Yuan,et al.Objective quality assessment methodof stereo images[C]//Proc.3DTV Conference:The True Vision-Capture,Transmissionand Display of3D Video.Potsdam:IEEE,2009:1-4.
[10]Levitt,H.(1971).Transformed up-down methods in psychoacoustics.Journalof the Acoustical Society of America,49(2):467–477.
[11]Methodology for the Subjective Assessment of the Quality of TelevisionPictures[R],ITU-R Recommendation BT500-11,2002.
发明内容
本发明的目的在于从视觉感知和人眼的注意机制出发,结合心理物理学的方法,提供一种基于双眼视觉融合的立体图像质量评测方法。
本发明包括以下步骤:
1)建立待实验测试的立体图像;
2)控制播放待实验测试的立体图像;
3)测试者对立体图像的质量进行评价,得到实验数据;
4)处理步骤3)得到的实验数据并输出结果。
在步骤1)中,所述待实验测试的立体图像由原始立体图像(标记为Morg)和不对称压缩立体图像(标记为Mfrag)组成;
所述不对称压缩立体图像(记做的Mfrag)可由以下步骤生成:
①对原始立体图像(Morg)的左视点图像(标记为Lorg)和右视点图像(标记为Rorg)分别进行压缩,根据不同压缩质量等级,得到不同压缩度下的立体图像左视点图(标记为Lcom)和立体图像右视点图(标记为Rcom);
②把原始立体图像的左视点图像和右视点图像的中间区域分别用相对应的压缩后的立体图像左视点图和立体图像右视点图的中间区域进行替换,通过编码生成只有中间区域被压缩的立体图像左视点图(标记为Lfrag)和只有中间区域被压缩的立体图像右视点图(标记为Rfrag);
③不对称压缩立体图像由原始立体图像的左视点图Lorg和只有中间区域被压缩编码的立体图像右视点图Rfrag(方式一)组成,或者由只有中间区域被压缩编码的立体图像左视点图Lfrag和原始立体图像的右视点图Rorg(方式二)组成;
按照以上步骤,根据不同压缩质量等级,生成对应于不同压缩度下的待实验测试的立体图像。
在步骤2)中,所述控制播放实验立体图像的具体方法如下:
在实验测试的过程中,同一压缩质量等级下的实验立体图像测试会有多个实验试次(trail),实验播放软件会连续播放同一压缩质量等级下的实验立体图像直到得出测试者的观看阈限值为止,这时控制程序会退出,结束所有的实验试次。
在每个实验试次中,播放待测试的立体图像的顺序如下:
首先播放原始立体图像Morg,前段播放的原始立体图像Morg的播放时间长度记为t1
接着插入播放不对称压缩立体图像Mfrag,不对称压缩立体图像Mfrag的播放时间长度记为△t2
然后继续播放原始立体图像Morg,后段播放的原始立体图像Morg的播放时间长度记为t3
其中在每个实验试次中,对各段立体图像播放时间长度的控制方法如下:
不对称压缩立体图像Mfrag的播放时间长度△t2的值会随测试者的反馈情况动态变化,前段播放的原始立体图像Morg的播放时间t1和后段播放的原始立体图像Morg的播放时间t3也会动态变化,但始终保持每个实验试次中实验测试的立体图像的总播放时间t不变,其中t=t1+△t2+t3
所述对各段立体图像播放时间长度的控制过程中可采用文献[10]中三下一上(3-down,1-up)的程序作为核心测量方法,实现对实验中不对称压缩立体图像Mfrag播放时间长度△t2动态变化的控制。
在步骤3)中,所述测试者对立体图像的质量进行评价的实验要求如下:
选取测试者进行质量评价实验,测试环境符合ITU-R BT.500立体图像主观质量测试要求标准(参见文献[11]),测试实验采用标准的立体显示系统。
所述测试者的选取要求如下:测试者的视力、色彩信息观察力正常,拥有正常的“双眼融合”能力,即“立体盲”的人员不在选择范围之内。
所述“双眼融合”是指大脑能综合来自两眼的相同物像,并在知觉水平形成一个完整印象的能力,属II级双眼视功能。
所述测试者对立体图像的质量进行评价的具体方法可为:
测试者用双目立体成像设备观看视觉刺激,通过双眼视觉融合在测试者脑中形成一幅具有立体感的图像;在实验测试过程中测试者判断所播放的立体图像中是否出现图像“抖动”现象,在每个实验刺激播放结束时,测试者立即进行“是”或“否”的二选一强制性判断(two-alternative forced choice,2AFC)。
在步骤4)中,所述处理步骤3)得到的实验数据并输出结果的具体步骤可为:
(1)采集不同压缩质量等级下的立体图像质量评价数据:
所述立体图像质量评价数据主要是指在每个压缩质量等级下,每个试次中测试者从刺激播放结束到判断按键反应之间的间隔时间和每个试次中不对称压缩立体图像Mfrag的播放时间△t2
(2)应用数据处理软件对实验得到每个压缩质量等级下的立体图像质量评价数据进行分析处理,具体步骤如下:
首先,根据步骤2)中所述控制播放待实验测试的立体图像的方法,在实验结束后每个压缩质量等级下每幅立体图像的质量评价测试中获得的△t2的数据值会包含m个拐点,m≥15;
其次,计算最后n个拐点的平均值,并将计算得到的平均值关联对应于该压缩质量等级下的失真立体图像的压缩度,n为6~10;
然后,通过数据处理得到的平均值(阈限值)可映射为能被人眼觉察的最小可觉察差(Justnoticeable difference,JND)值;
最后,将每个压缩质量等级下所对应的最小可觉察差值输出为可视化结果。
本发明基于人眼的立体视觉特性,提出了基于双眼视觉融合的立体图像质量主观评价方法。本发明从人类视觉感知和人眼的注意机制出发,考虑视觉注意机制对图像质量影响较大的因素,从而更好地体现人类视觉系统处理过程,保证了图像质量评价输出值与主观感知的一致性。本发明操作简单、评价结果更加准确和稳定,克服了传统的依靠人工观察的主观质量评价方法易受其它因素的限制和影响的缺点,同时也为客观质量评价方法奠定基础,为解决大部分客观质量评价与人眼的观测结果差异较大提供技术衡量指标。
附图说明
图1为本发明实施例的流程图;
图2为本发明所基于的人类视觉系统双目融合原理结构图;
图3为本发明实施例中使用的对待测立体图像播放过程的控制方法示例图一。在图3中,标记P1为压缩编码后的区域。
图4为本发明实施例中使用的对待测立体图像播放过程的控制方法示例图二。在图4中,标记P2为压缩编码后的区域。
具体实施方式
以下实施例将结合附图对本发明作进一步的说明。
应理解的是本发明提供的检测方法能够在不同的实例上具有各种变化,基于本发明思想的各种变化的实例皆不脱离本发明的范围;且本发明中的附图在本质上作为说明之用,例如绘图元件并不一定是按比例绘制也不限定特定的设备,描述特定顺序或行为也不要求相对次序这样的特定性。即本发明中的附图只为解释说明本发明的方法及系统,而非用以限制本发明。
根据本发明实施例,提供一种基于双眼视觉融合的立体图像质量主观评价方法,如图1所示,按如下步骤进行:
1)建立待实验测试的立体图像,具体步骤如下:
①首先对原始立体图像Morg的左右视点图像(Lorg和Rorg)分别进行压缩,根据不同压缩质量等级,得到不同压缩度下的立体图像左右视点图(Lcom和Rcom)。
②然后把原始立体图像的左右视点图像的中间区域分别用相对应的压缩后的立体图像的左右视点图的中间区域进行替换。通过编码生成只有中间区域被压缩的立体图像左右视点图(Lfrag和Rfrag)。
③接着按方式一:原始立体图像的左视点图Lorg和只有中间区域被压缩编码的立体图像右视点图Rfrag和方式二:只有中间区域被压缩编码的立体图像左视点图Lfrag和原始立体图像的右视点图Rorg生成两种不同方式的不对称压缩立体图像Mfrag
在本发明的实施例中,其中①中所述压缩算法可以是现有的压缩算法,例如H.264等;其中②中所述视点图中间区域是中间一块正方形区域。
按照以上步骤,根据不同压缩质量等级,生成对应于不同压缩度下的待实验测试的立体图像。
2)控制播放待实验测试的立体图像;
其中,本发明的具体实施例应用心理物理的测量方法实现对待实验测试的立体图像播放过程的控制,具体步骤如下:
在本发明的具体实施例中,同一压缩质量等级下的实验立体图像测试会有多个实验试次。在每个实验试次中随机选取步骤1)中由两种不同方式生成的不对称压缩立体图像中的其中一种进行实验测试。若选取到由方式一生成的不对称压缩立体图像进行实验,待实验测试的立体图像的播放过程如图3所示;若选取到由方式二生成的不对称压缩立体图像进行实验,待实验测试的立体图像的播放过程如图4所示。每个实验试次中,待实验测试的立体图像的总播放时间固定为t。在实验测试的过程中首先播放原始立体图像Morg,播放时间长度值为t1,接着插入不对称压缩立体图像Mfrag,Mfrag的播放时间长度值为△t2,然后继续播放Morg,播放的时间长度值为t3
具体地,每个实验试次的实验立体图像的整个播放顺序形象表示为Morg→Mfrag→Morg,每段所对应播放的时间段分别为t1-△t2-t3
其中,在本发明的具体实施例中,t的值设定为2000ms(毫秒),t1初始值设定为930ms,△t2初始值设定为140ms,t3初始值设定为930ms。
其中图3中的1,2部分分别表示播放的是前段播放的原始立体图像Morg的左右视点图Lorg和Rorg;图3中的3,4部分分别表示播放的是不对称压缩立体图像Mfrag的左右视点图Lorg和Rfrag;其中图3中的5,6部分分别表示后段播放的原始立体图像Morg的左右视点图Lorg和Rorg
其中图4中的1,2部分分别表示播放的是前段播放的原始立体图像Morg的左右视点图Lorg和Rorg;图4中的3,4部分分别表示播放的是不对称压缩立体图像Mfrag的左右视点图Lfrag和Rorg;其中图4中的5,6部分分别表示后段播放的原始立体图像Morg的左右视点图Lorg和Rorg
为了更加精确地控制实验试次的播放过程,确保不对称压缩立体图像Mfrag是在实验播放过程中的中间时刻插入播放的,本实施例的每个实验试次中t3值总是设定和t1值一样长。
在具体实验例的实施过程中,每个实验试次中不对称压缩立体图像Mfrag播放的初始时间△t2会随被测试者的反馈情况动态变化,t1和t3的值也会动态变化,但始终保持每个试次中待实验测试的立体图像总的播放时间长度值t=t1+△t2+t3=2000ms不变。
其中,所述不对称压缩立体图像Mfrag的播放时间△t2的值会随测试者的反馈情况动态变化,具体的控制方法如下:
实验播放软件会连续播放同一压缩质量等级下的实验立体图像直到得出测试者的观看阈限值为止,这时控制程序会退出,结束所有的实验试次。
所述对各段立体图像播放时间长度的控制过程采用文献[10]中“三下一上”的程序作为核心测量方法,实现对实验中不对称压缩立体图像Mfrag播放时间长度△t2动态变化的控制。在该方法的应用中,如果测试者连续3个试次都判断正确,不对称压缩立体图像Mfrag的播放时间△t2的长度值就按照一定的步长减短变小;如果测试者1个试次判断错误,不对称压缩立体图像Mfrag的播放时间△t2的长度值就按照一定的步长增加变长。在本方法具体实施例中初始步长值设为△t2/2,在相同方向的拐点上该步长按照0.5倍的比率变化直到变化步长为某个特别小的固定值为止。在本发明的具体实施例中该固定值设为1ms。在实验测试过程中若步长达到1ms时,实验已经可以精确计算出测试者在该压缩质量等级下所对应的观看阈限值,这时控制程序会结束退出该压缩质量等级下的立体图像评价测试,并准备进入下一个压缩质量等级下的立体图像评价测试。
3)测试者对立体图像的质量进行评价,得到实验数据,具体方法如下:
本方法的具体实施例中选取做实验测试的测试者16人,视力、色彩信息观察力正常,“立体盲”的人员不在选择范围之内。根据本发明的一个方面,本发明的实施例在步骤3)中,基于图2所示的原理,测试者利用双目立体镜观看立体图像的左右眼视觉刺激,通过双眼视觉融合会在测试者脑中形成一幅具有立体感的图像。
本发明的具体实施例在一间关照、色温以及噪声等均可控制的实验室里完成,该测试环境符合ITU-R BT.500立体图像主观质量测试要求。
在本发明的具体实施例中应用到的图像刺激显示设备为SyncMaster788DF,其空间分辨率为1024×768,刷新率为78赫兹;实验的立体图像刺激的呈现通过心理学实验软件Presentation来控制,屏幕的背景颜色为黑色。
实验测试过程中,待测试的立体图像的左右视点图水平排列在屏幕上,两者的中心相距17.71°,通过立体镜分别呈现给测试者的左、右眼睛。测试者端坐在屏幕前52cm处,下巴靠在双目立体镜设备的头固定架的下巴托上以保持实验过程中头部静止不动。实验测试过程中测试者的左手食指与右手食指分别放于控制手柄的左、右键上,测试者的任务是判断所播放的立体图像中是否出现图像“抖动”现象。若有观察到抖动现象则按左键,若没有观察到抖动现象则按右键。每个实验试次中当实验刺激播放结束时,测试者立即进行按键判断。当测试者按键后,程序呈现两类不同的提示声,实时反馈给测试者刚才的判断是否正确。
实验通过度量人眼视觉对实验立体图像中是否出现“抖动”现象的察觉来反映人眼对压缩质量感知的影响,从而进一步通过人眼双眼视觉融合后对立体图像信息误差的敏感程度得到对所述压缩后的立体图像质量的度量。
4)处理步骤3)得到的实验数据并输出结果,具体步骤如下:
(1)采集到不同压缩质量等级下的立体图像质量评价数据:
在步骤3)完成后,实验采集到的数据主要包括在每个压缩质量等级下,每个试次中测试者从刺激播放结束到判断按键反应之间的间隔时间和每个试次中不对称压缩立体图像Mfrag的播放时间△t2
(2)应用matlab、C++等数据处理软件对实验得到每个压缩质量等级下的立体图像质量评价数据进行分析处理,步骤如下:
首先,根据步骤2)中所述控制播放待实验测试的立体图像的方法,在实验结束后每个压缩质量等级下每幅立体图像的质量评价测试中获得的△t2的数据值会包含15个拐点。
接着,计算最后8个拐点的平均值,并将计算得到的平均值关联对应于该压缩质量等级下的失真立体图像的压缩度。
然后,通过数据处理得到的平均值(阈限值)映射为能被人眼觉察的最小可觉察差值。如果压缩度高于人类视觉的敏感门限,则表明其能够被人眼觉察,否则被忽略。
最后,将每个压缩质量等级下所对应的最小可觉察差值输出为可视化结果。
同时,也可将测试者的不同反应程度输出为可视化结果,除了将显示器作为可视化信号输出界面以外,信号输出界面还可以包括其它设备的联结与操作,从而应用到广泛的测评设备中。
与现有的图像质量评价方法相比较,本发明从视觉感知和人眼的注意机制出发,结合心理物理学的方法,建立了一个基于视觉感知的立体图像质量主观评价模型,保证了图像质量评价输出值与主观感知的一致性。本发明能够克服现有主观质量评测的不足,不仅操作简单而且评价结果更加有效、准确和稳定,从而也为立体图像客观评价的正确与否提供可靠支撑。
虽然本发明已以优选实例公开如上,然而所公开实例并非用以限制本发明的范围。可以理解:在不脱离本发明的精神的情况下,在此可以产生各种附加、修改和替换。本领域普通技术人员很清楚:在不脱离本发明的精神或本质特性的情况下,可以以其他特殊形式、结构、布置、比例、以及利用其他元件、材料和部件来实现本发明。本领域的技术人员将意识到:本发明可以使用发明实际中使用的结构、布置、比例、材料以及部件和其他的许多修改,这些修改在不脱离本发明的原理的情况下而特别适应于特殊环境和操作需求。因此,当前公开的实施例在所有方面应被理解为说明性的而非对其请求保护的范围的限制。

Claims (10)

1.一种基于双眼视觉融合的立体图像质量评测方法,其特征在于包括以下步骤:
1)建立待实验测试的立体图像;
2)控制播放待实验测试的立体图像;
3)测试者对立体图像的质量进行评价,得到实验数据;
4)处理步骤3)得到的实验数据并输出结果。
2.如权利要求1所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于在步骤1)中,所述待实验测试的立体图像由原始立体图像Morg和不对称压缩立体图像Mfrag组成。
3.如权利要求2所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于所述不对称压缩立体图像Mfrag由以下步骤生成:
①对原始立体图像Morg的左视点图像Lorg和右视点图像Rorg分别进行压缩,根据不同压缩质量等级,得到不同压缩度下的立体图像左视点图Lcom和立体图像右视点图Rcom
②把原始立体图像的左视点图像和右视点图像的中间区域分别用相对应的压缩后的立体图像左视点图和立体图像右视点图的中间区域进行替换,通过编码生成只有中间区域被压缩的立体图像左视点图Lfrag和只有中间区域被压缩的立体图像右视点图Rfrag
③不对称压缩立体图像由原始立体图像的左视点图Lorg和只有中间区域被压缩编码的立体图像右视点图Rfrag组成,或者由只有中间区域被压缩编码的立体图像左视点图Lfrag和原始立体图像的右视点图Rorg组成;
按照以上步骤,根据不同压缩质量等级,生成对应于不同压缩度下的待实验测试的立体图像。
4.如权利要求1所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于在步骤2)中,所述控制播放实验立体图像的具体方法如下:
在实验测试的过程中,同一压缩质量等级下的实验立体图像测试会有多个实验试次,实验播放软件会连续播放同一压缩质量等级下的实验立体图像直到得出测试者的观看阈限值为止,这时控制程序会退出,结束所有的实验试次。
5.如权利要求4所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于在每个实验试次中,播放待测试的立体图像的顺序如下:
首先播放原始立体图像Morg,前段播放的原始立体图像Morg的播放时间长度记为t1
接着插入播放不对称压缩立体图像Mfrag,不对称压缩立体图像Mfrag的播放时间长度记为△t2
然后继续播放原始立体图像Morg,后段播放的原始立体图像Morg的播放时间长度记为t3
其中在每个实验试次中,对各段立体图像播放时间长度的控制方法如下:
不对称压缩立体图像Mfrag的播放时间长度△t2的值会随测试者的反馈情况动态变化,前段播放的原始立体图像Morg的播放时间t1和后段播放的原始立体图像Morg的播放时间t3也会动态变化,但始终保持每个实验试次中实验测试的立体图像的总播放时间t不变,其中t=t1+△t2+t3
6.如权利要求5所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于所述对各段立体图像播放时间长度的控制过程中采用三下一上的程序作为核心测量方法,实现对实验中不对称压缩立体图像Mfrag播放时间长度△t2动态变化的控制。
7.如权利要求1所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于在步骤3)中,所述测试者对立体图像的质量进行评价的实验要求如下:
选取测试者进行质量评价实验,测试环境符合ITU-R BT.500立体图像主观质量测试要求标准,测试实验采用标准的立体显示系统。
8.如权利要求1所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于在步骤3)中,所述测试者的选取要求如下:测试者的视力、色彩信息观察力正常,拥有正常的“双眼融合”能力,即“立体盲”的人员不在选择范围之内;
所述“双眼融合”是指大脑能综合来自两眼的相同物像,并在知觉水平形成一个完整印象的能力,属II级双眼视功能。
9.如权利要求1所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于在步骤3)中,所述测试者对立体图像的质量进行评价的具体方法为:
测试者用双目立体成像设备观看视觉刺激,通过双眼视觉融合在测试者脑中形成一幅具有立体感的图像;在实验测试过程中测试者判断所播放的立体图像中是否出现图像“抖动”现象,在每个实验刺激播放结束时,测试者立即进行“是”或“否”的二选一强制性判断。
10.如权利要求1所述一种基于双眼视觉融合的立体图像质量评测方法,其特征在于在步骤4)中,所述处理步骤3)得到的实验数据并输出结果的具体步骤为:
(1)采集不同压缩质量等级下的立体图像质量评价数据:
所述立体图像质量评价数据主要是指在每个压缩质量等级下,每个试次中测试者从刺激播放结束到判断按键反应之间的间隔时间和每个试次中不对称压缩立体图像Mfrag的播放时间△t2
(2)应用数据处理软件对实验得到每个压缩质量等级下的立体图像质量评价数据进行分析处理,具体步骤如下:
首先,根据步骤2)中所述控制播放待实验测试的立体图像的方法,在实验结束后每个压缩质量等级下每幅立体图像的质量评价测试中获得的△t2的数据值会包含m个拐点,m≥15;
其次,计算最后n个拐点的平均值,并将计算得到的平均值关联对应于该压缩质量等级下的失真立体图像的压缩度,n为6~10;
然后,通过数据处理得到的平均值(阈限值)可映射为能被人眼觉察的最小可觉察差(Justnoticeable difference,JND)值;
最后,将每个压缩质量等级下所对应的最小可觉察差值输出为可视化结果。
CN201410170856.3A 2014-04-25 2014-04-25 一种基于双眼视觉融合的立体图像质量评测方法 Active CN103945218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410170856.3A CN103945218B (zh) 2014-04-25 2014-04-25 一种基于双眼视觉融合的立体图像质量评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410170856.3A CN103945218B (zh) 2014-04-25 2014-04-25 一种基于双眼视觉融合的立体图像质量评测方法

Publications (2)

Publication Number Publication Date
CN103945218A true CN103945218A (zh) 2014-07-23
CN103945218B CN103945218B (zh) 2016-01-13

Family

ID=51192664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410170856.3A Active CN103945218B (zh) 2014-04-25 2014-04-25 一种基于双眼视觉融合的立体图像质量评测方法

Country Status (1)

Country Link
CN (1) CN103945218B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240255A (zh) * 2014-09-23 2014-12-24 上海交通大学 基于非线性眼优势视差补偿的立体图像质量评价方法
CN105100791A (zh) * 2015-09-02 2015-11-25 中国科学院软件研究所 一种用于测量立体视觉舒适度的系统及方法
CN105959684A (zh) * 2016-05-26 2016-09-21 天津大学 基于双目融合的立体图像质量评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841726A (zh) * 2010-05-24 2010-09-22 宁波大学 一种立体视频非对称编码方法
US20110026585A1 (en) * 2008-03-21 2011-02-03 Keishiro Watanabe Video quality objective assessment method, video quality objective assessment apparatus, and program
CN102271279A (zh) * 2011-07-22 2011-12-07 宁波大学 一种立体图像的最小可察觉变化步长的客观分析方法
CN103533343A (zh) * 2013-09-29 2014-01-22 宁波大学 一种基于数字水印的立体图像质量客观评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026585A1 (en) * 2008-03-21 2011-02-03 Keishiro Watanabe Video quality objective assessment method, video quality objective assessment apparatus, and program
CN101841726A (zh) * 2010-05-24 2010-09-22 宁波大学 一种立体视频非对称编码方法
CN102271279A (zh) * 2011-07-22 2011-12-07 宁波大学 一种立体图像的最小可察觉变化步长的客观分析方法
CN103533343A (zh) * 2013-09-29 2014-01-22 宁波大学 一种基于数字水印的立体图像质量客观评价方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240255A (zh) * 2014-09-23 2014-12-24 上海交通大学 基于非线性眼优势视差补偿的立体图像质量评价方法
CN105100791A (zh) * 2015-09-02 2015-11-25 中国科学院软件研究所 一种用于测量立体视觉舒适度的系统及方法
CN105100791B (zh) * 2015-09-02 2017-04-05 中国科学院软件研究所 一种用于测量立体视觉舒适度的系统及方法
CN105959684A (zh) * 2016-05-26 2016-09-21 天津大学 基于双目融合的立体图像质量评价方法
CN105959684B (zh) * 2016-05-26 2019-05-14 天津大学 基于双目融合的立体图像质量评价方法

Also Published As

Publication number Publication date
CN103945218B (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
Li et al. The influence of relative disparity and planar motion velocity on visual discomfort of stereoscopic videos
Lambooij et al. The impact of video characteristics and subtitles on visual comfort of 3D TV
Wang et al. Perceptual quality of asymmetrically distorted stereoscopic images: the role of image distortion types
CN103945218B (zh) 一种基于双眼视觉融合的立体图像质量评测方法
Feldstein et al. A simple video-based technique for measuring latency in virtual reality or teleoperation
Corriveau Video quality testing
Barkowsky et al. Is visual fatigue changing the perceived depth accuracy on an autostereoscopic display?
Harris et al. Accuracy and precision of binocular 3-D motion perception.
Lambooij et al. Reading performance as screening tool for visual complaints from stereoscopic content
Yun et al. Evaluation of perceptual resolution and crosstalk in stereoscopic displays
KR20100085628A (ko) 3차원 디스플레이 유발 피로감을 삼차원 영상 컨텐츠의 고유 요인별로 체계적으로 측정할 수 있는 방법 및 장치
KR20130068851A (ko) 입체영상 깊이감 측정 장치 및 방법
Kim et al. Quality assessment of perceptual crosstalk on two-view auto-stereoscopic displays
Wu et al. Subjective quality assessment of stereo image compression based on stereoscopic fusion in binocular vision
Bondareva et al. Eye contact as a determinant of social presence in video communication
Nur et al. Sensitivity of the HVS for binocular disparity cue in 3D displays under different ambient illumination conditions
Barkowsky et al. The influence of autostereoscopic 3D displays on subsequent task performance
Domini et al. The intrinsic constraint model and Fechnerian sensory scaling
Abromavicius et al. Evaluation of EEG-based Complementary Features for Assessment of Visual Discomfort based on Stable Depth Perception Time.
De Silva et al. QoE of 3D media delivery systems
Singla et al. Quality assessment protocols for omnidirectional video quality evaluation
CN110060291B (zh) 一种考虑人因的立体视在距离解算方法
Ohtsuka et al. 66‐3: Aftereffect of viewing concave curved displays in large and wide‐angle environment: Assessment of individual differences
Zheng et al. Stereo Visual Masking Based on Unconscious Binocular Rivalry
Fornalczyk et al. Stereoscopic image perception quality factors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant