CN101895779B - 立体显示方法和系统 - Google Patents

立体显示方法和系统 Download PDF

Info

Publication number
CN101895779B
CN101895779B CN2010102352721A CN201010235272A CN101895779B CN 101895779 B CN101895779 B CN 101895779B CN 2010102352721 A CN2010102352721 A CN 2010102352721A CN 201010235272 A CN201010235272 A CN 201010235272A CN 101895779 B CN101895779 B CN 101895779B
Authority
CN
China
Prior art keywords
display device
view
views
stereo
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010102352721A
Other languages
English (en)
Other versions
CN101895779A (zh
Inventor
简培云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
深圳超多维光电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳超多维光电子有限公司 filed Critical 深圳超多维光电子有限公司
Priority to CN2010102352721A priority Critical patent/CN101895779B/zh
Priority to US12/892,931 priority patent/US8446461B2/en
Publication of CN101895779A publication Critical patent/CN101895779A/zh
Priority to US12/954,673 priority patent/US8581967B2/en
Priority to US12/982,550 priority patent/US8514275B2/en
Application granted granted Critical
Publication of CN101895779B publication Critical patent/CN101895779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种立体显示方法,其包括:获取具有视差的初始视图;根据立体显示装置的实际视频播放窗口的尺寸,调整各个初始视图之间的平均视差值;根据调整后的初始视图,对三维场景信息进行重建,并获得每个视点的图像;将视点的图像进行立体像素排列处理,得到立体视频数据,并将所述立体视频数据提供给该立体显示装置,以显示对应的立体画面。本发明同时还提供一种立体显示系统。本发明可兼容不同视频源格式且立体效果较佳。

Description

立体显示方法和系统
技术领域
本发明涉及立体显示技术,特别地,涉及一种基于多视点生成技术的立体显示方法和系统。
背景技术
立体显示装置通常是将具有视差效果的至少两个视图同时在一个显示屏幕上进行显示,使得使用者能够通过其左右眼同时观看到具有视差的两个视图,从而感知到立体画面。
立体显示技术的原理决定了立体视频源必须是具备视差效果的多个视图。目前,业界采用的立体视频源从视图结构来分大致可分为三类:多视图、2D加深度、双视图。上述三类视频源格式所对应的具体立体显示技术各不一样,比如,裸眼可视的立体显示技术和佩戴式立体显示技术需要不同的立体源格式,也就是说,各种视频源需要特定的立体显示装置才能进行立体画面的显示,因此上述三种视频源格式在不同的立体显示装置上难以相互兼容。
另一方面,现有的立体显示技术无法解决不良视差对用户造成观看效果不佳的问题。在现有技术中,立体显示源的各个视图的拍摄角度都是固定的,且该立体视频源都是以固定画面进行保存、传输和显示,因此,在显示屏幕上显示的各个视图的视差是固定的。在立体显示装置进行画面显示时,基于特定的观测需要,使用者有时可能需要对显示画面进行调整,比如对视频播放窗口的尺寸进行调整,此将导致在显示屏幕上同时显示的不同视图之间的视差发生改变。当视差的变化量超出人眼的视觉感受能力范围时,使用者观测到的立体画面可能会存在重影现象。
发明内容
针对上述问题,本发明提供了一种可兼容不同视频源格式且立体效果较佳的立体显示方法,同时提供了一种可采用该立体显示方法的立体显示系统。
本发明提供的立体显示方法包括:获取至少两个具有视差的初始视图;根据立体显示装置的类型,确定立体显示装置进行显示的视图数量;判断初始视图的数量与立体显示装置进行显示的视图数量是否相等,若不相等,则将初始视图的数量调整到立体显示装置进行显示的视图数量;根据立体显示装置的实际视频播放窗口的尺寸,调整各个初始视图之间的平均视差值;根据该初始视图对立体视频的三维场景信息进行重建,并获得每个视点的图像;将视点的图像进行立体像素排列处理,并将处理后的立体视频数据提供给立体显示装置,以显示对应的立体画面。
本发明提供的立体显示系统包括视图处理装置和立体显示装置;该视图处理装置用于获取至少两个具有视差的初始视图,根据立体显示装置的实际视频播放窗口的尺寸调整各个初始视图之间的平均视差值,根据该初始视图对立体视频的三维场景信息进行重建并获得每个视点的图像,将视点的图像进行立体像素排列处理,并将处理后的立体视频数据提供给立体显示装置;该立体显示装置用于接收该视图处理装置提供的立体视频数据,并根据该立体视频数据显示对应的立体画面。
本发明提供的立体显示方法和系统可根据实际显示需要生成额外的视图,因此可以兼容各种视图格式的立体显示装置,并且,该立体显示方法中,各个视点的生成考虑了视频播放窗口的尺寸参数以及使用者的具体位置参数,并根据该参数动态调整在同一显示屏幕上显示的各个视图之间的视差,从而提高立体显示质量。
为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举一实施例,并配合所附图式,作详细说明如下。
附图说明
图1为本发明立体显示方法一种实施方式的流程图。
图2为图1所示的立体显示方法中采用的具有视差的第一视图和第二视图的画面示意图。
图3为图2所示的第一视图和第二视图的合成画面示意图。
图4为立体显示装置的立体成像原理示意图。
图5为屏幕大小为1440×900的立体显示装置当实际视频播放窗口的尺寸为720×450的示意图。
图6为屏幕大小为1440×900的立体显示装置当实际视频播放窗口的尺寸为1080×675的示意图。
图7为具有使用者位置跟踪系统的立体显示装置的结构示意图。
图8为表示辅助视图和视差调整对新的视点的影响的示意图。
图9为表示运动视差对新的视点的影响的示意图。
图10为通过偏移插值办法实现视图匹配关系的示意图。
具体实施方式
为解决现有立体显示技术的存在的问题,本发明提供了一种立体显示方法,该方法基于双视图格式的立体视频源,能够实时根据显示的需要生成额外的视图,以解决视图格式的兼容使用;并且,该方法能够实现实时的动态调整在同一显示屏幕上显示的各个视图之间的视差,从而提高立体显示质量。
以下以视频点播系统为例,对本发明提供的立体显示方法一种具体实施例进行详细介绍。
请参阅图1,其为本发明立体显示方法一种实施例的流程图。
该立体显示方法包括:
步骤S1,获取具有视差的初始视图。
在具体实施例中,本步骤可以获取立体视频源提供的至少两个立体视频视图,该立体视频源提供的立体视频视图可以为双视图格式,其包括第一视图和第二视图,比如,左视图和右视图。
请参阅图2和图3,其中图2为所述第一视图和第二视图的画面示意图,图3为所述第一视图和第二视图的合成示意图。在图2中,位于左侧的图示表示该第一视图,位于右侧的图示表示该第二视图。从图2可以看出,所述第一视图和第二视图之间具有一定的视差,在具体实施例中,所述第一视图和第二视图之间的视差是固定的。
本发明具体实施例中,该双视图格式的立体视频数据是以视频形式保存和传输的,且所述双视图格式的立体视频数据可以是由拍摄设备(比如相机)实时拍摄的,也可以是通过视频制作软件生成的。假设该视频点播系统采用DirectShow架构进行视频处理的,在本步骤中,可以实时获取每一帧视频数据,并从该视频数据中分离出第一视图数据和第二视图数据。
步骤S2,根据立体显示装置的类型,确定所述立体显示装置进行显示的视图数量,将获取的所述初始视图的数目调整到所述视图数量。
将初始视图的数量调整到立体显示装置进行显示的视图数量的方式包括减少或者增加所述初始视图的数量。
具体地,当初始视图的数量大于立体显示装置进行显示的视图数量,减少处于初始视图边缘的的视图。
当初始视图的数量小于立体显示装置进行显示的视图数量,以所述初始视图为基础,生成立体显示装置进行显示的视图数量与初始视图的数量之间差额的辅助视图。其中,生成所述辅助视图可以通过所述初始视图的视差对应关系,确定所述初始视图之间的匹配关系表,根据所述匹配关系表,插值生成。
举例说明,根据立体显示装置的类型,判断出系统所需要的视图数量N,并在所述初始视图包括的第一视图和第二视图基础上,对应地生成N-2个辅助视图。
对于不同类型的立体显示装置,由于成像原理的不同,其分别需要不同的视频源格式。比如,对于佩戴式立体显示装置,使用者在观看画面时需要佩戴立体显示眼镜,在该立体显示眼镜的辅助作用下,此类型立体显示装置为实现立体画面显示时,仅要求立体视频源具有双视图格式。而对于裸眼可视式立体显示装置,使用者可通过裸眼直接观看到立体画面,此类型的立体显示装置为实现立体画面显示,要求立体视频源提供多视图格式的视频数据。比如,为达到较佳的立体显示效果,普通的裸眼可视式立体显示装置需要同时在屏幕上显示九个视图,该九个视图之间分别具有视差效果,且每两个视图之间的视差大小满足特定的关系。
在本步骤中,通过检测如果判断出立体显示装置需要多视图格式的视频数据,则在其获取到的该第一视图和第二视图基础上,自动生成N-2个辅助视图。比如,可以根据预先设定的视图之间的视差对应关系,利用已有的两组视图信息,实时地生成N-2个辅助视图,满足立体显示装置对于多视图格式的显示需要。
应当理解,步骤S2为可选的,当检测出视频点播系统所采用的立体显示装置为基于双视图格式的立体显示装置时,本步骤可以省去。
步骤S3,根据立体显示装置的实际视频播放窗口的尺寸,调整各个初始视图之间的平均视差值。
具体地,立体显示装置通常是将具有视差的多个视图通过像素排列算法合成后输出到立体显示屏幕上,这样的视差图直接传递至使用者的左右眼合成立体图像。在立体显示装置中,在经过立体化处理之后,具有不同视差大小的视图在屏幕显示时可以让使用者体验到不同的立体感,即感受到立体画面具有不同的深度。当在同一显示屏幕所显示的两个或多个视图之间的视差发生变化的时候,使用者会感觉到屏幕显示的物体的“深度”也发生相应变化。
为便于理解,以下结合图4简单介绍立体显示装置的立体成像原理。请参阅图4,其为具有视差的两个视图中的对应视点在人眼合成的光路示意图。其中,EL和ER分别对应于使用者的左右眼,AR和AL为该两个视图中具有第一视差值的一对对应点,BR和BL为该两个视图中具有第二视差值的一对对应点,A为AR与AL经过立体显示后在人眼中出现的虚像,B为BR与BL经过立体显示后在人眼中出现的虚像。从图4可以看出,A点成像在屏幕之后,则用户会感受到A点具有“凹进”的效果;B点成像在屏幕之前,使用者会感受到B点具有“凸出”效果。其中,“凸出”与“凹进”的程度就是使用者对于画面的立体感知深度,即画面立体感的程度,其对应于像点A和像点B与显示屏幕的距离,即lA和lB
具体地,该立体感知深度与视差关系可以大致地如以下公式表示:
d = s × l s - e
其中d为立体感知深度,s为两个视图之间的视差,l为人眼距离屏幕的距离,e为两眼瞳距。正常成年人的瞳距平均约为65mm。如果某物点在上述两个视图中的对应视点如AL和AR所示,即从视点AL到视点AR方向从与左眼EL到ER的方向相同,则此视点具有正视差,其对应的像点在屏幕之后成像,使用者对于该像点的立体感知深度为负。当在某物点在上述两个视图中的对应视点如BL和BR所示,即从视点BL到视点BR方向与从左眼BL到BR的方向相反,则此视点具有负视差,其对应的像点在屏幕之前成像,使用者对于该像点的立体感知深度为正。
立体视频在制作过程中通常是针对特定的立体显示装置而制作的,比如,立体电影是针对大屏幕的立体影院而制作的,因此在立体视频的制作时所采用的拍摄设备位置、拍摄角度以及特殊场景等因素会直接使得立体视频的各个不同视图之间的视差具有特定的初始值,即视差初始值。当该立体视频在其他立体显示装置进行显示时,由于显示屏幕与该立体视频对应的特定立体显示装置可能会不一致,此将导致该立体视频的实际画面播放窗口与理想的画面播放窗口不一致,进而导致在该立体显示设备的显示屏幕上显示的各个实际视图之间的视差相较于理想视图之间的视差将发生偏移。另外,当立体显示装置的实际播放窗口的尺寸发生改变时,各个视图之间的视差同样会产生变化。
比如,请参阅图5和图6,假设立体显示装置的屏幕大小(分辨率)为1440×900,对于同样由两个具有视差的视图合成的立体画面来说,当播放窗口尺寸为720×450时,该立体画面的实际视差值S1为41(pixel),而当播放窗口尺寸S2为1080×675时,该立体画面的实际视差值被放大到61(pixel)。
从上面描述的立体感知深度与视差关系式可以看出,立体画面在人眼的立体感知深度是与视差值相关的。当画面的立体感知深度超出一定的范围时,立体显示装置的屏幕显示的立体画面会产生严重的重影现象(ghost),而使得使用者产生眩晕感,从而影响立体画面的正常观测。
本发明的立体显示方法中通过步骤S3,可以得到当前视频播放窗口对立体视频的各个视图之间的视差的影响,并通过对视图进行缩放处理实现对视图之间的视差的优化调整,使得各个视图之间的视差值保持在特定范围之内,从而让使用者可以从立体显示装置的显示屏幕上观看到比较舒适的立体画面,提高立体显示装置的立体显示效果。
具体地,假定立体视频的原始尺寸为RS,初始平均视差为SS,当前播放窗口的尺寸为RW,则当前播放窗口内的平均视差SW为:
S W = S S × R W R S ;
在本步骤中,为了将视差值调整与所述视频播放窗口相适应的合理平均视差值Sr,Sr为人眼能够接受的合理平均视差,则要各个视图进行缩放处理,以将当前视窗内的平均视差值SW调整为上述Sr,其中,该缩放比例因子scale可以为:
Scale = R S R W × S r S S .
步骤S4,根据使用者与立体显示装置的显示屏幕之间的位置关系,对各个视图进行调整。
本步骤可为该立体视频的各个视图提供的运动视差,从而增加使用者的对于立体视频的真实体验感。具体而言,请参阅图7,本实施例可以在立体显示装置设置使用者位置跟踪系统,比如,可以在该立体显示装置设置头部感应器件,比如光学摄像头、红外线感应设备、超声波设备等,用来实时感测使用者头部空间的具体位置。通过该头部感应器件获取到使用者头部空间的具体位置之后,系统可计算出用户头部位置距离该立体显示装置的显示屏幕中心轴的偏移角度α,并根据这个偏移角度α去调整视图的图像在立体显示装置的显示面上的排列,等同于调整各个视图的具体内容,比如其对应的视图数据,从而使得是使用者在不同位置或者不同那个角度可以从该立体显示装置的显示屏幕分别观测到不同的显示内容,使得使用者可以产生一种身临其境的观看效果。
另外,当立体视频的内容是通过拍摄设备实时拍摄的,则本步骤中,可根据这个偏移角度α去调整用于拍摄各个视图的拍摄设备的位置和角度,以使得使用者可以从该立体显示装置观看到上述立体效果。
步骤S5,根据该初始视图对三维场景信息进行重建,并获得每个视点的图像。
在步骤S5中,首先,可通过立体匹配算法重建立体视频的三维场景信息,并生成新的视点信息。
本步骤主要是完成视点偏移的准备工作,比如,可利用该第一视图和第二视图的原始视图数据,完成场景的三维重建,并进一步根据对上述步骤得到视点偏移参数(包括缩放比例因子scale和用户位置偏转角度α)进行统计,并生成所需视点的位置和角度信息。
具体而言,本步骤中可通过立体匹配算法,找出场景稠密的深度信息,并进一步重建出三维场景信息。该立体匹配算法大致上可分为以下几个步骤:
(1)一致性代价计算:
为了权衡同一物点在两个视图中对应的两个视点的一致性程度,本实施例中的一致性代价计算是逐像素进行的。其中,为了视点生成视图能够达到更真实效果,除了考虑常规的颜色一致性外,还考虑了梯度的一致性。
假设某点p在该第一视图和第二视图中分别被投影到AL、AR两点,首先衡量AL和AR两点的在颜色和梯度上的差异w(AL,AR):
w(AL,AR)=wc×||color(AL)|color(AR)||+wg×||Grad(AL)|Grad(AR)||
接着,对该梯度差异值w(AL,AR)进行正规化处理:
w ′ ( A L , A R ) = w ( A L , A R ) σ ( A L ) σ ( A R ) ;
进一步地,对该正规化处理后的梯度差异值进行指数运算,得到一致性代价值:
C(p)=(w′(AL,AR))e
(2)连贯性计算:
为了使得该视点p周边的视点同样保持相同的颜色和梯度特定,本步骤在上述一致性代价计算基础上,可进一步加入连贯性检查,即对该视点p及其相邻视点pN进行那个连贯性运算,具体运算公式如下,其中δ为连贯性阈值。
V(p,pN)=min(|(pAL-pAR)-(pNAL-pNAR)|,δ)e
(3)能量函数计算:
基于上述一致性代价计算和连贯性运算的结果,通过以下能量函数计算式可以得到立体视频画面的能量函数值,其中λ表示连贯性贡献值。
E = Σ p c ( p ) + λ Σ p Σ p N v ( p , p N )
进一步地,通过对能量函数进行那个最小化处理,便可找到第一视图和第二视图中一对相互匹配的视点,即匹配点,根据该匹配点之间的距离就可以计算得出该视点的在第一视图和第二视图之间的视差信息,进而可以得到该第一视图和第二视图的匹配关系表。
(4)遮挡处理:
遮挡问题是视点生成的一个非常重要和困难的问题,遮挡处理方法的好坏也直接影响生成后的图像的真实性,所以在建立第一视图和第二视图的匹配关系表之后,需要对该第一视图和第二视图进行遮挡处理。具体而言,本实施例的遮挡处理的实现方法可以如下:
在上述第一视图和第二视图的视差匹配关系表中,查找出该第一视图和第二视图中无法一一对应的视点,并对这些视点进行标记,从而一个新的视图匹配关系表。由于非遮挡区域在第一视图和第二视图中都会有相应的投影点与之对应,而在遮挡区域的视点并不是一一对应的,利用这个特性,便可以查找出该第一视图和该第二视图中无法一一对应的视点。
在完成上述视图匹配工作后,便可以根据步骤S3和步骤S4计算到的视点偏移参数,包括视频缩放因子scale和用户位置偏转角度,产生新的视点信息。
首先,如图8所示,考虑辅助视图和视差调整对新的视点产生的影响,在图8中,(a)为原始第一视图和第二视图中的视点位置和视点间距,(b)中展示了当N=6,视差缩放因子scale=Sb/Sa时,产生的新的视点位置和视点间隔。其次,还要考虑运动视差对视点位置的影响,通过步骤S5中的头部感应器件获取到用户头部空间的具体位置之后可得到用户头部位置距离显示器中心轴的偏移角度α,如图9所示,其中(a)为未考虑运动视差功能的视点分布,视点中心点为O;(b)考虑偏转角度α,计算得到新的视点中心点O’,并重新分布视点位置。由此,便可得到各个视点的位置信息和角度信息。
进一步地,在步骤S5中,在生成所述新的视点信息之后,可根据该三维场景信息和视点信息,依次得到每个视点的图像。
具体地,视图生成可以采用传统的相机投影矩阵来完成,也可以采用以下的偏移插值的办法来完成。
请参阅图10,其中虚线描述了第一视图和第二视图的匹配关系,其可以由之前的立体匹配算法得来。图中的投影平面(Projection plane)就是新的视点的投影平面,投影平面位置就是由中间步骤中得到的新的视点位置来确定的。图中的ABCEF等点经过水平方面的偏移后投影在Projection plane上就可以得到A’B’C’E’F’,逐像素的从左右视图中偏移这些点投影到Projection plane上就可以得到在新的视点位置所产生的视图。如此依次就可以产生所有视点的视图。
步骤S6,将每个视点的图像进行立体像素排列处理,得到立体视频数据,并将立体视频数据提供给立体显示装置,以显示对应的立体画面。
本发明提供的立体显示方法可根据实际显示需要生成额外的视图,因此可以兼容各种视图格式的立体显示装置,并且,该立体显示方法中,各个视点的生成考虑了视频播放窗口的尺寸参数以及使用者的具体位置参数,并根据该参数动态调整在同一显示屏幕上显示的各个视图之间的视差,从而提高立体显示质量。
基于以上的立体显示方法,本发明还进一步提供一种立体显示系统。该立体显示系统包括视图处理装置和立体显示装置,该视图处理装置可以从立体视频源获取立体视频视图,并对该视图进行处理并提供给该立体显示装置,处理的具体过程可参阅以上实施例的描述;该立体显示装置可接收该视图处理装置提供的立体视频数据,并根据该立体视频数据显示对应的立体画面。
进一步地,该视图处理装置还用于根据立体显示装置的类型,确定立体显示装置进行显示的视图数量,判断初始视图的数量与立体显示装置进行显示的视图数量是否相等,若不相等,则将初始视图的数量调整到立体显示装置进行显示的视图数量。
该视图处理装置包括计算模块和调整模块。其中,计算模块用于根据立体显示装置的实际视频播放窗口的尺寸,计算出视图缩放比例因子;调整模块根据该视图缩放比例因子,通过视图缩放处理对各个初始视图之间的平均视差值进行调整。所述计算模块通过公式
Figure GDA0000072382040000101
计算出视图缩放比例因子Scale,其中,RS为该初始视图对应的立体视频的初始尺寸,SS为该立体视频的初始平均视差,RW为实际视频播放窗口的尺寸,Sr为人眼能够接受的合理平均视差。
该立体显示装置包使用者位置跟踪系统,使用者位置跟踪系统用于检测使用者与该立体显示装置之间的位置关系,并根据二者之间的位置关系调整视图的图像在立体显示装置的显示面上的排列。
虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (11)

1.一种立体显示方法,其特征在于,包括:
获取具有视差的初始视图;
根据立体显示装置的类型,确定立体显示装置进行显示的视图数量;
判断初始视图的数量与立体显示装置进行显示的视图数量是否相等,若不相等,则将初始视图的数量调整到立体显示装置进行显示的视图数量;
根据立体显示装置的实际视频播放窗口的尺寸,调整各个初始视图之间的平均视差值;
根据调整后的初始视图,对三维场景信息进行重建,并获得每个视点的图像;
将视点的图像进行立体像素排列处理,得到立体视频数据,并将所述立体视频数据提供给该立体显示装置,以显示对应的立体画面。
2.如权利要求1所述的立体显示方法,其特征在于,所述根据立体显示装置的实际视频播放窗口的尺寸,调整各个初始视图之间的平均视差值包括:
根据立体显示装置的实际视频播放窗口的尺寸,计算出视图缩放比例因子;
根据该视图缩放比例因子,通过视图缩放处理对各个初始视图之间的平均视差值进行调整。
3.如权利要求2所述的立体显示方法,其特征在于,所述缩放比例因子通过以下计算公式计算得到:
Figure FDA0000072382030000011
其中,RS为该初始视图对应的立体视频的初始尺寸,SS为该立体视频的初始平均视差,RW为实际视频播放窗口的尺寸,Sr为人眼能够接受的合理平均视差。
4.如权利要求2所述的立体显示方法,其特征在于,还包括:检测使用者与该立体显示装置之间的位置关系,并根据二者之间的位置关系调整视图的图像在立体显示装置的显示面上的排列。
5.如权利要求4所述的立体显示方法,其特征在于,所述检测使用者与该立体显示装置之间的位置关系,并根据二者之间的位置关系调整视图的图像在立体显示装置的显示面上的排列的步骤,包括:
通过使用者位置跟踪系统,实时感测使用者头部空间的位置;
根据感测到的使用者头部空间的位置,计算出使用者头部位置距离该立体显示装置的显示屏幕中心轴的偏移角度,根据所述偏移角度,调整视图的图像在立体显示装置的显示面上的排列。
6.如权利要求5所述的立体显示方法,其特征在于,所述根据该初始视图对三维场景信息进行重建,并获得每个视点的图像的步骤包括:
利用至少二个初始视图,重建三维场景;
根据该缩放比例因子和使用者位置的偏移角度,计算出三维场景中各个视图中对应的视点位置和视点间隔;
根据该三维场景信息和视点信息,通过偏移插值方式依次得到每个视点对应的图像。
7.如权利要求5所述的立体显示方法,其特征在于,所述重建三维场景的步骤包括:根据视点的颜色一致性和梯度一致性,逐像素地对该初始视图中对应视点进行一致性代价计算,并对该视点及其相邻视点进行连贯性计算;根据该一致性代价计算和连贯性运算的结果,通过能量函数计算式计算得到该立体视频中各个视点的能量函数值;通过对各个视点能量函数值进行最小化处理,得到该立体视频的各个视图之间的匹配关系表;在该匹配关系表中,查找出在不同视图中无法一一对应的视点,并对其进行标记,以得到一个新的视图匹配关系表,也即三维场景。
8.一种立体显示系统,其特征在于,包括视图处理装置和立体显示装置,该视图处理装置用于获取具有视差的初始视图,根据立体显示装置的类型,确定立体显示装置进行显示的视图数量,判断初始视图的数量与立体显示装置进行显示的视图数量是否相等,若不相等,则将初始视图的数量调整到立体显示装置进行显示的视图数量;根据立体显示装置的实际视频播放窗口的尺寸调整各个初始视图之间的平均视差值,根据该初始视图对立体视频的三维场景信息进行重建,并获得每个视点的图像,将视点的图像进行立体像素排列处理,得到立体视频数据,并将立体视频数据提供给立体显示装置,该立体显示装置用于接收该视图处理装置提供的立体视频数据,并根据该立体视频数据显示对应的立体画面。
9.如权利要求8所述的立体显示系统,其特征在于,该视图处理装置,包括计算模块和调整模块,
所述计算模块,用于根据立体显示装置的实际视频播放窗口的尺寸,计算出视图缩放比例因子;
所述调整模块,根据该视图缩放比例因子,通过视图缩放处理对各个初始视图之间的平均视差值进行调整。
10.如权利要求9所述的立体显示系统,其特征在于,所述计算模块通过公式
Figure FDA0000072382030000031
计算出视图缩放比例因子Scale,其中,RS为该初始视图对应的立体视频的初始尺寸,SS为该立体视频的初始平均视差,RW为实际视频播放窗口的尺寸,Sr为人眼能够接受的合理平均视差。
11.如权利要求10所述的立体显示系统,其特征在于,该立体显示装置包括使用者位置跟踪系统,使用者位置跟踪系统用于检测使用者与该立体显示装置之间的位置关系,并根据二者之间的位置关系调整视图的图像在立体显示装置的显示面上的排列。
CN2010102352721A 2010-07-23 2010-07-23 立体显示方法和系统 Active CN101895779B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2010102352721A CN101895779B (zh) 2010-07-23 2010-07-23 立体显示方法和系统
US12/892,931 US8446461B2 (en) 2010-07-23 2010-09-29 Three-dimensional (3D) display method and system
US12/954,673 US8581967B2 (en) 2010-07-23 2010-11-25 Three-dimensional (3D) display method and system
US12/982,550 US8514275B2 (en) 2010-07-23 2010-12-30 Three-dimensional (3D) display method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102352721A CN101895779B (zh) 2010-07-23 2010-07-23 立体显示方法和系统

Publications (2)

Publication Number Publication Date
CN101895779A CN101895779A (zh) 2010-11-24
CN101895779B true CN101895779B (zh) 2011-10-05

Family

ID=43104818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102352721A Active CN101895779B (zh) 2010-07-23 2010-07-23 立体显示方法和系统

Country Status (1)

Country Link
CN (1) CN101895779B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062589A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 3d 디스플레이 장치 및 그 방법
JP5879713B2 (ja) * 2010-12-09 2016-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN102098524B (zh) * 2010-12-17 2011-11-16 深圳超多维光电子有限公司 跟踪式立体显示设备及跟踪式立体显示方法
KR101852811B1 (ko) 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
JP5617647B2 (ja) * 2011-01-14 2014-11-05 ソニー株式会社 立体画像表示装置
CN102075776B (zh) * 2011-01-18 2014-03-26 青岛海信电器股份有限公司 一种立体显示的控制方法及装置
KR101088634B1 (ko) * 2011-04-11 2011-12-06 이종오 입체 디스플레이 패널, 입체 표시 장치 및 입체 표시 방법
JP2012235338A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理方法、画像処理装置及び表示装置
JP2013005135A (ja) * 2011-06-15 2013-01-07 Sony Corp 画像処理装置および方法、並びにプログラム
CN103002376B (zh) * 2011-09-09 2015-11-25 联想(北京)有限公司 声音定向发送的方法和电子设备
CN103164118B (zh) * 2011-12-14 2017-05-03 腾讯科技(深圳)有限公司 一种移动终端多视图显示的方法及装置
CN102497570A (zh) * 2011-12-23 2012-06-13 天马微电子股份有限公司 跟踪式立体显示装置及其显示方法
CN103248904A (zh) * 2012-02-02 2013-08-14 承景科技股份有限公司 调整立体影像景深的方法及显示立体影像的方法及其装置
CN105578171B (zh) * 2014-04-01 2017-07-11 青岛海信电器股份有限公司 一种图像信号处理方法及装置
CN104155767A (zh) * 2014-07-09 2014-11-19 深圳市亿思达显示科技有限公司 自适应追踪式立体显示装置及其显示方法
CN104320647B (zh) * 2014-10-13 2017-10-10 深圳超多维光电子有限公司 立体图像生成方法及显示装置
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN106932899A (zh) * 2015-12-31 2017-07-07 广东未来科技有限公司 自适应追踪式立体显示装置及立体显示手机
CN105702233B (zh) * 2016-01-22 2018-08-14 青岛海信电器股份有限公司 一种图像数据取窗方法及装置
CN107147897A (zh) * 2017-06-09 2017-09-08 西安闻泰电子科技有限公司 图像显示方法及装置
CN109089147A (zh) * 2018-08-30 2018-12-25 宁波视睿迪光电有限公司 裸眼3d视频推送方法及装置
CN110830783B (zh) 2019-11-28 2021-06-01 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4987487A (en) * 1988-08-12 1991-01-22 Nippon Telegraph And Telephone Corporation Method of stereoscopic images display which compensates electronically for viewer head movement
JP4490074B2 (ja) * 2003-04-17 2010-06-23 ソニー株式会社 立体視画像処理装置、立体視画像表示装置、立体視画像提供方法、および立体視画像処理システム
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
WO2007072330A1 (en) * 2005-12-20 2007-06-28 Koninklijke Philips Electronics N.V. Autostereoscopic display device
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体

Also Published As

Publication number Publication date
CN101895779A (zh) 2010-11-24

Similar Documents

Publication Publication Date Title
CN101895779B (zh) 立体显示方法和系统
US8654182B2 (en) Display device and control method of display device
US8514275B2 (en) Three-dimensional (3D) display method and system
US20120293489A1 (en) Nonlinear depth remapping system and method thereof
US11785197B2 (en) Viewer-adjusted stereoscopic image display
CN102404592B (zh) 图像处理设备和方法以及立体图像显示设备
US9754379B2 (en) Method and system for determining parameters of an off-axis virtual camera
CN108076208B (zh) 一种显示处理方法及装置、终端
TWI531212B (zh) 呈現立體影像之系統及方法
AU2018249563B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
US20130170737A1 (en) Stereoscopic image converting apparatus and stereoscopic image displaying apparatus
CN104093013A (zh) 一种立体视觉三维可视化系统中自动调节图像视差的方法
CN202172467U (zh) 具人眼定位的光栅随动装置的显示器
US20050012814A1 (en) Method for displaying multiple-view stereoscopic images
WO2007017834A3 (en) Disparity value generator
Baker Generating images for a time-multiplexed stereoscopic computer graphics system
JP2015037282A (ja) 画像処理装置、画像処理方法及びプログラム
CN106993179A (zh) 一种3d模型转立体双视点视图的方法
CN101895780B (zh) 立体显示方法和立体显示装置
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
CN102970498A (zh) 菜单立体显示的显示方法及显示装置
US9269177B2 (en) Method for processing image and apparatus for processing image
CN212031870U (zh) 一种低串扰立体显示装置
US10475233B2 (en) System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Jian Peiyun

Inventor after: Ge Zhang

Inventor before: Jian Peiyun

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: JIAN PEIYUN TO: JIAN PEIYUN GE ZHANG

TR01 Transfer of patent right

Effective date of registration: 20180720

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee after: Shenzhen super Technology Co., Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Patentee before: Shenzhen SuperD Photoelectronic Co., Ltd.

TR01 Transfer of patent right