CN102789058B - 立体图像生成装置和立体图像生成方法 - Google Patents

立体图像生成装置和立体图像生成方法 Download PDF

Info

Publication number
CN102789058B
CN102789058B CN201210034197.1A CN201210034197A CN102789058B CN 102789058 B CN102789058 B CN 102789058B CN 201210034197 A CN201210034197 A CN 201210034197A CN 102789058 B CN102789058 B CN 102789058B
Authority
CN
China
Prior art keywords
image
display surface
eyes
horopter
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210034197.1A
Other languages
English (en)
Other versions
CN102789058A (zh
Inventor
上田和彦
绪形昌美
畠泽泰成
五味信一郎
中村雄介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102789058A publication Critical patent/CN102789058A/zh
Application granted granted Critical
Publication of CN102789058B publication Critical patent/CN102789058B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及立体图像生成装置和立体图像生成方法。通过使用投影变换的图像处理来消除生理立体因素的影响。双眼单视界面图像投影单元311被设计为:将经由信号线129提供的非立体图像投影在包括双眼单视界圆的圆柱面(双眼单视界面)上。双眼单视界圆的尺寸是使用例如半径作为双眼单视界圆信息而指定的。此外,与双眼的关系是根据两眼间距离而指定的。显示表面右眼投影单元316被设计为:将双眼单视界面上投影的图像投影在用于右眼的显示表面上。显示表面左眼投影单元317被设计为:将双眼单视界面上投影的图像投影在用于左眼的显示表面上。因此,彼此相同的视网膜图像被提供给双眼,以消除生理立体因素的影响,并且给出立体深度。

Description

立体图像生成装置和立体图像生成方法
本申请是申请号为“200980100046.8”、题为“立体图像生成装置、立体图像生成方法以及程序”的中国专利申请的分案申请。
技术领域
本发明涉及一种立体图像生成装置,更具体地,涉及一种从非立体图像生成立体图像的立体图像生成装置、其处理方法、以及使得计算机执行该方法的程序。
背景技术
近年来,显示设备的尺寸和视角已经增加,并且显示比传统图像更逼真的图像变得可行。然而,在传统显示设备中,图像被强制感觉位于显示设备的显示表面上,并且存在阻碍通过感官立体因素(例如阴影和构图)生成立体感的风险。这被认为是受由生理立体因素产生的影响而起作用的,例如当以双眼观看显示设备的显示表面时产生的会聚角的改变、以及由双目视差引起的失真的出现。
用于消除由生理立体因素所产生的这些影响的已知光学设备是被称为synopter的立体镜。synopter被设计为与半反光镜(half mirror)一起使用,以将在相同位置处接收到的光分别提供给双眼。已知的是,该synopter允许双眼的视网膜图像彼此相同,使得可以给非立体图像增加立体深度(参见例如非专利文献1)。
相关技术文献
非专利文献
非专利文献1:Jan J Koenderink等人,“所谓的反常单目立体学(Onso-called paradoxical monocular stereoscopy)”,Perception,Pion出版社(英国),1994年,23卷,第583-594页
发明内容
技术问题
以这种方式,例如synopter的光学设备可以消除由生理立体因素产生的影响,以允许双眼的视网膜图像彼此相同,使得可以从非立体图像获得立体深度。这种光学设备可以通过简单的机构来实现立体视觉,但另一方面,显示设备没有灵活性,使得难以获得进一步的视觉效果。
因此,本发明的目的在于通过图像处理来消除生理立体因素的影响。
技术解决方案
为了解决上述问题,已经做出本发明,其第一方面提供一种立体图像生成装置、用于此的立体图像生成方法、或程序,所述立体图像生成装置包括:圆柱面投影单元,其将二维输入图像投影在圆柱面上,以生成圆柱图像,所述圆柱面包括与双眼相切的假想圆;以及显示表面投影单元,其参考双眼中的每一个将圆柱图像投影在显示表面上,以生成分别要投射在双眼上的显示图像。因此,可以提供的效果是,将彼此相同的视网膜图像分别提供给双眼,以消除生理立体因素产生的影响。
此外,在该第一方面中,可以根据所假设的观测距离或显示尺寸来设置假想圆的半径。因此,可以提供允许显示适合于观测距离或显示尺寸的图像的效果。在此情况下,在该第一方面中,立体图像生成装置还可以包括:观测距离测量单元,其测量显示表面与观测位置之间的距离,并且假想圆的半径可以根据由观测距离测量单元所测量的观测距离来设置。因此,可以提供允许显示适合于所测量的观测距离的图像的效果。
此外,在该第一方面中,可以设置假想圆的半径,使得显示图像中的失真程度小于预定阈值。因此,效果是,允许在可容许的失真范围内显示图像。
此外,在该第一方面中,立体图像生成装置还可以包括:深度程度信息生成单元,其使用二维输入图像生成深度程度信息;以及深度程度信息合成单元,其将深度程度信息与圆柱图像进行合成,并且显示表面投影单元可以将合成有深度程度信息的圆柱图像投影在显示表面上,以生成显示图像。因此,可以提供允许显示具有进一步增强的立体感的图像的效果。
此外,本发明的第二方面提供一种立体图像生成装置、用于此的立体图像生成方法、或程序,所述立体图像生成装置包括:照射面投影单元,其将二维输入图像投影在分别垂直于双眼视线的二维平面上,以生成分别与双眼相对应的照射图像;以及显示表面投影单元,其参考双眼将对应的照射图像投影在显示表面上,以生成分别要投射在双眼上的显示图像。因此,可以提供的效果是,将彼此相同的视网膜图像分别提供给双眼,以消除生理立体因素产生的影响。
此外,在该第二方面中,可以根据所假设的观测距离来设置照射图像的位置。因此,可以提供允许显示适合于观测距离的图像的效果。在此情况下,在该第二方面中,立体图像生成装置还可以包括:观测距离测量单元,其测量显示表面与观测位置之间的距离,并且照射图像的位置可以根据由观测距离测量单元所测量的观测距离来设置。因此,可以提供允许显示适合于所测量的观测距离的图像的效果。
此外,本发明第三方面提供一种立体图像生成装置,用于此的立体图像生成方法、或程序,所述立体图像生成装置转换二维输入图像,使得待从显示表面分别投影在右眼和左眼上的视频图像变为彼此相同,以分别生成右眼图像和左眼图像。因此,可以提供的效果是,将彼此相同的视网膜图像分别提供给双眼,以消除生理立体因素产生的影响。
有益效果
根据本发明,可以实现的有益效果是,可以通过图像处理来消除生理立体因素的影响。
附图说明
[图1]图1是示出本发明实施例中立体图像生成装置的示例配置的示图;
[图2]图2是示出本发明实施例中三维转换单元130的第一示例的示图;
[图3]图3是示出在本发明实施例中三维转换单元130的第一示例中双眼单视界面上的投影的一种形式的示图;
[图4]图4是示出在本发明实施例中三维转换单元130的第一示例中双眼单视界面上的投影的具体示例的示图;
[图5]图5是示出在本发明实施例中三维转换单元130的第一示例中显示表面上的投影的一种形式的示图;
[图6]图6是示出在本发明实施例中三维转换单元130的第一示例中显示表面上的投影的具体示例的示图;
[图7]图7是示出在本发明实施例中三维转换单元130的第一示例所执行的示例性处理过程的示图;
[图8]图8是示出本发明实施例中三维转换单元130的第二示例的示图;
[图9]图9是示出双眼单视界圆的尺寸与会聚点的位置之间的关系的示图;
[图10]图10是示出在本发明实施例中三维转换单元130的第二示例中双眼单视界面上的投影的一种形式的示图;
[图11]图11是示出在本发明实施例中三维转换单元130的第二示例中双眼单视界面上的投影的具体示例的示图;
[图12]图12是示出本发明实施例中三维转换单元130的第三示例的示图;
[图13]图13是示出双眼单视界圆与图像的失真程度之间的关系的示例的示图;
[图14]图14是示出角度θ与图像的失真程度Q之间的关系的示例的示图;
[图15]图15是示出双眼单视界圆与圆周角之间的关系的示例的示图;
[图16]图16是示出本发明实施例中三维转换单元130的第四示例的示图;
[图17]图17是示出双眼单视界圆与显示表面之间的关系的示例的示图;
[图18]图18是示出本发明实施例中三维转换单元130的第五示例的示图;
[图19]图19是示出在本发明实施例中三维转换单元130的第五示例中移轴面上的投影的一种形式的示图;
[图20]图20是示出在本发明实施例中三维转换单元130的第五示例中移轴面上的投影的具体示例的示图;
[图21]图21是示出在本发明实施例中三维转换单元130的第五示例中显示表面上的投影的具体示例的示图;
[图22]图22是示出由本发明实施例中三维转换单元130的第五示例所执行的示例性处理过程的示图;
[图23]图23是示出本发明实施例中三维转换单元130的第六示例的示图;
[图24]图24是示出由本发明实施例中三维转换单元130的第六示例所执行的处理的概述的示图;
[图25]图25是示出根据本发明实施例中三维转换单元130的第六示例的双眼单视界面的深度映射的示例的示图;
[图26]图26是示出由本发明实施例中三维转换单元130的第六示例所估计的深度程度信息的示例的示图;
[图27]图27是示出在本发明实施例中三维转换单元130的第六示例中深度映射合成单元363的示例配置的示图;
[图28]图28是示出由本发明实施例中三维转换单元130的第六示例所生成的立体图像的示例的示图;
[图29]图29是示出由本发明实施例中三维转换单元130的第六示例所生成的立体图像的另一示例的示图。
具体实施方式
接下来,将参照附图详细解释本发明的实施例。
图1是示出本发明实施例中立体图像生成装置的示例配置的示图。该立体图像生成装置包括图像信号输入单元110、信号处理单元120、三维转换单元130、参数设置单元140、观测距离测量单元150、后处理单元160、格式转换单元170、源选择单元180以及显示单元190。
图像信号输入单元110被设计为:接收非立体图像的输入图像信号。待输入的非立体图像不限于静止图像,并且可以是运动图像。假设非立体图像的源设备是电视广播接收机、视频再现设备(播放器)、成像设备(摄像机:照相机和记录器)等。
信号处理单元120被设计为:对输入的非立体图像执行预定信号处理。假设信号处理的示例包括白平衡调整、噪声降低处理、电平校正处理、以及伽马校正处理。
三维转换单元130是本发明的特征部分,并且被设计为:将二维非立体图像转换为三维图像。通过三维转换单元130的这种三维转换处理,生成基于非立体图像的三维图像。由于这种三维图像,例如,获得用于左眼的图像以及用于右眼的图像。
参数设置单元140被设计为:设置对于在三维转换单元130中执行的三维转换处理必要的参数。假设这种参数是例如用于指定下面描述的双眼单视界圆的半径等。
观测距离测量单元150被设计为:测量显示单元190与观看者的观测位置之间的距离。基于由该观测距离测量单元150所测量的观测距离,可以在三维转换单元130中执行三维转换处理。对此,可以使用预先假设的观测距离,而无需实际测量观测距离。
后处理单元160被设计为:对通过在三维转换单元130中执行的三维转换处理所获得的三维图像执行后处理,用于防止出现混叠(alising)。例如,如果假设用于左眼的图像和用于右眼的图像逐行交替显示在显示单元190上,则存在由于混叠而显示锯齿(梯阶边缘(stair-stepped edges))的风险。为了避免这种情况,后处理单元160在垂直方向上应用滤波器,以对图像的改变进行平滑。
格式转换单元170被设计为:将三维图像转换为显示单元190所支持的格式。格式转换单元170可以执行转换,使得,例如,可以根据显示单元190所支持的格式来逐行交替布置用于左眼的图像和用于右眼的图像。
源选择单元180被设计为:选择待显示的图像作为源。也就是说,源选择单元180在要无改变地显示非立体图像的情况下选择信号处理单元120的输出,而在要显示用于立体视觉的三维图像的情况下选择格式转换单元170的输出。
显示单元190是显示图像的显示器。虽然在此作为前提而假设显示单元190具有用于显示用于立体视觉的三维图像的功能,但并没有具体限制用于实现该功能的装置。例如,如在日本未审查专利申请公开No.2002-365593中所描述的,可以想到的是,每隔一行设置分离的波长板,以将来自显示屏的偶数行和奇数行的线性偏振光线转换为彼此垂直的光线,以允许不同图像的光线进入双眼。
图2是示出本发明实施例中三维转换单元130的第一示例的示图。三维转换单元130的该第一实施例包括双眼单视界面(horopter plane)图像投影单元311、显示表面右眼投影单元316以及显示表面左眼投影单元317。
双眼单视界面图像投影单元311被设计为:将经由信号线129从信号处理单元120提供的非立体图像投影在包括双眼单视界圆(horoptercircle)(双眼单视界)的圆柱面上。术语双眼单视界圆是与双眼相切的圆周,并且已知的是,关于该双眼单视界圆上的点的双目视网膜图像彼此相同。圆柱面被称为双眼单视界面,而投影在双眼单视界面上的图像被称为双眼单视界图像。此外,双眼视线的交点被称为会聚点,而由此而限定的角被称为圆周角的会聚角。会聚角在双眼单视界圆上是相等的。在该第一示例中,双眼单视界圆的尺寸由双眼单视界圆信息指定。此外,与双眼的相对位置关系由两眼间距离“2a”指定。双眼单视界圆信息和两眼间距离“2a”是经由信号线149从参数设置单元140提供的。注意,虽然下面使用半径“r”作为双眼单视界圆信息来指定双眼单视界圆的尺寸,但可以使用从双眼的中心到双眼单视界圆的顶点的距离、圆周角等来指定双眼单视界圆的尺寸。注意,双眼单视界面图像投影单元311是权利要求中描述的圆柱面投影单元的示例。
显示表面右眼投影单元316被设计为:将双眼单视界图像投影到用于右眼的显示表面上。显示表面左眼投影单元317被设计为:将双眼单视界图像投影到用于左眼的显示表面上。显示表面右眼投影单元316和显示表面左眼投影单元317基于两眼间距离“2a”、双眼单视界圆的半径“r”以及所假设的观测距离“d”执行在用于右眼和左眼的显示表面上的投影。投影在用于右眼的显示表面上的图像被称为右眼图像,投影在用于左眼的显示表面上的图像被称为左眼图像。右眼图像和左眼图像经由信号线139被提供给后处理单元160。注意,显示表面右眼投影单元316和显示表面左眼投影单元317是权利要求中描述的显示表面投影单元的示例。
图3是示出在本发明实施例中三维转换单元130的第一示例中双眼单视界面上的投影的一种形式的示图。双眼单视界圆520是穿过右眼511、左眼512和会聚点531(顶点)或532的圆。在此,假设右眼511和左眼512与双眼的中心均相距“a”。也就是说,两眼间距离是“2a”。此外,双眼单视界圆520的半径是“r”。
右眼511和左眼512相对于双眼单视界圆520上的点的双目视网膜图像彼此相同。这是因为,在将双眼单视界圆520上的点设置为会聚点的情况下,会聚角总是相等。例如,相对于会聚点531的会聚角533以及相对于会聚点532的会聚角534彼此相等。非立体图像被投影在包括双眼单视界圆520的圆柱面(双眼单视界面)上作为双眼单视界图像530。因此,彼此相同并且没有双目视差的视网膜图像可以形成在右眼511和左眼512上。
图4是示出在本发明实施例中三维转换单元130的第一示例中双眼单视界面上的投影的具体示例的示图。
图4的部分(a)示出经由信号线129从信号处理单元120提供的输入图像I(p,q)的坐标系。由于输入图像是非立体图像,因此使用二维坐标系。坐标系的原点被设置为输入图像的中心点。此外,假设输入图像尺寸(宽度)是“2L”。
图4的部分(b)示出其上投影了双眼单视界图像530的双眼单视界面的坐标系。由于双眼单视界面是三维的,因此在此使用三维(x,y,z)坐标系。坐标系的原点被设置为双眼单视界圆520的中心。图4的部分(b)是从垂直于双眼单视界面的方向、即垂直于y轴的方向观看的图。
此时,双眼单视界图像H(x,y,z)是通过将输入图像I(p,q)投影在具有半径r的双眼单视界圆上而获得的,并且表示为以下等式:
H(x,y,z)=I((π/2-ψ)×r,y)
其中,
z2+x2=r2
ψ=tan-1(z/x)
注意,虽然在此假设输入图像尺寸(宽度)“2L”与显示表面尺寸(宽度)相同,但可以在前级提供用于放大或者缩小输入图像的功能,从而改变图像的物理尺寸。
图5是示出在本发明实施例中三维转换单元130的第一示例中显示表面上的投影的一种形式的示图。
在此,所考虑的是,将双眼单视界圆520上的会聚点532投影在显示表面540上。相对于会聚点532形成在右眼511上的图像显示在显示表面540上的显示位置541处。另一方面,相对于会聚点532形成在左眼512上的图像显示在显示表面540上的显示位置542处。也就是说,即使对于相同的双眼单视界图像530,要显示在显示表面540上的图像对于右眼511和左眼512基本上是不同的图像。
图6是示出在本发明实施例中三维转换单元130的第一示例中显示表面上的投影的具体示例的示图。
图6的部分(a)示出双眼单视界面和显示表面上的坐标系。虽然在此使用三维(x,y,z)坐标系,但与图4的部分(a)中的情况不同,xy平面上原点的位置被设置为右眼511与左眼512之间的中间点。在此,该坐标系中的原点与双眼单视界圆520的中心之间的距离c表示为:
c=(r2-a2)1/2
图6的部分(b)示出显示表面上投影的显示图像J(s,t)的坐标系。对于右眼511和左眼512分别获得显示图像。由于每个图像是二维图像,因此使用二维坐标系。坐标系的原点被设置为显示图像的中心点。
此时,由以下等式给出从右眼511通过双眼单视界图像上的位置H(x0,y0,z0)投影的、显示表面540上的位置D(xR,yR,zR):
D(xR,yR,zR)=J(xR,yR)=H(x0,y0,z0)
此外,由于距观看者的观测位置的距离等于观测距离d,因此,获得zR=d,并且以下表达式成立:
(x0-a)/(xR-a)=y0/yR=z0/d
x0 2+(z0-c)2=r2
z0>0
因此,可以使用位置H(x0,y0,z0)来确定要投影在显示表面540上的位置D(xR,yR,zR)处的图像。也就是说,从{xR,yR,zR}获得{x0,y0,z0}。
注意,虽然在此已经解释了从右眼511投影的位置D(xR,yR,zR),但也可以通过类似的方式,确定从左眼512通过双眼单视界图像上的位置H(x0,y0,z0)投影的显示表面540上的位置D(xL,yL,zL)。
此外,虽然已经通过示例的方式给出了由半径“r”指定双眼单视界圆的尺寸的示例的解释,如上所述,但可以使用从双眼的中心到双眼单视界圆的顶点的距离、圆周角等来指定双眼单视界圆的尺寸。从双眼的中心到会聚点的距离f由以下等式给出:
f=r+c
=r+(r2-a2)1/2
将r移到左边,并且对两边进行平方,得到:
f2-2rf+r2=r2-a2
r=(f2+a2)/2f
因此,可以使用从双眼的中心到会聚点的距离“f”以及两眼间距离“2a”来确定半径“r”。在以下示例(图15)中将解释圆周角与半径之间的关系。
图7是示出由本发明实施例中三维转换单元130的第一示例所执行的示例性处理过程的示图。
首先,当输入图像I(p,q)经由信号线129从信号处理单元120输入(步骤S911)时,输入图像I(p,q)投影在双眼单视界面上作为双眼单视界图像H(x,y,z)(步骤S912)。注意,步骤S912是权利要求中所描述的圆柱面投影过程的示例。
然后,按照以下方式对于右眼和左眼分别生成显示图像(循环L901)。首先,对于图像要从右眼511通过双眼单视界图像上的位置H(x0,y0,z0)投影在其上的显示表面540执行透视变换,以获得三维位置D(xR,yR,zR)(步骤S913)。然后,从该三维位置获得用于显示表面的二维显示图像J(xR,yR)(步骤S914)。类似地,对于图像要从左眼512通过双眼单视界图像上的位置H(x0,y0,z0)投影在其上的显示表面540执行透视变换,以获得三维位置D(xL,yL,zL)(步骤S913)。然后,从该三维位置获得用于显示表面的二维显示图像J(xL,yL)(步骤S914)。注意,步骤S913和S914是权利要求中描述的显示表面投影过程的示例。
以此方式,在本发明实施例中三维转换单元130的第一示例中,非立体图像被投影在由双眼单视界圆信息所指定的双眼单视界圆520上作为双眼单视界图像。然后,双眼单视界图像被投影在位于实际测量或估计的观测距离处的显示表面上。因此,可以生成用于右眼511和左眼512的立体图像。
图8是示出本发明实施例中三维转换单元130的第二示例的示图。三维转换单元130的第二示例包括双眼单视界面图像投影单元321、会聚点设置单元322、显示表面右眼投影单元326以及显示表面左眼投影单元327。
像双眼单视界面图像投影单元311一样,双眼单视界面图像投影单元321被设计为:将经由信号线129从信号处理单元120提供的非立体图像投影在包括双眼单视界圆的圆柱面上。在该第二示例中,使用基于由会聚点设置单元322设置的会聚点的半径“r”来指定双眼单视界圆。注意,双眼单视界面图像投影单元321是权利要求中描述的圆柱面投影单元的示例。
会聚点设置单元322被设计为:设置会聚点,并且提供基于该会聚点的半径“r”。会聚点设置单元322使用两眼间距离“2a”、观测距离“d”、显示表面尺寸“2M”和输入图像尺寸“2L”来设置会聚点。
与第一示例类似,显示表面右眼投影单元326和显示表面左眼投影单元327被设计为:将双眼单视界图像投影在用于右眼或左眼的显示表面上。注意,显示表面右眼投影单元326和显示表面左眼投影单元327是权利要求中描述的显示表面投影单元的示例。
图9是示出双眼单视界圆的尺寸与会聚点的位置之间的关系的示图。双眼单视界圆由两眼间距离和半径唯一地指定。因此,在半径没有固定的情况下,如在同一图中那样,可以假设穿过双眼的多个双眼单视界圆。一般来说,到会聚点的距离越小,会聚角越大,因此半径越小。
在此,应理解,如果输入图像投影在具有固定的输入图像尺寸的双眼单视界圆上,如在同一图中那样,则其在显示表面上的尺寸(宽度)一个双眼单视界圆不同于另一双眼单视界圆。也就是说,如在双眼单视界圆521中那样,到会聚点的距离越小,显示表面的尺寸(宽度)越大。如在双眼单视界圆522中那样,到会聚点的距离越大,显示表面的尺寸(宽度)越小。因此,在第二示例中,为了穿过整个显示表面而显示输入图像,从显示表面上的投影尺寸反向计算并设定双眼单视界圆上的会聚点。
图10是示出在本发明实施例中三维转换单元130的第二示例中双眼单视界面上的投影的一种形式的示图。在此,首先,设输入图像尺寸(宽度)是“2L”,给出对表示显示表面上投影的图像的尺寸(宽度)“2m”的等式的考虑。
假设在双眼单视界圆内部由长度为p、q和r的各边限定直角三角形,则p和q表示为以下等式:
p=r·sinφ
q=r·cosφ
其中,φ是由长度为q和r的各边所限定的角的角度。角度φ表示为以下等式:
φ=(L/(2πr))·2π=L/r
此外,假设在显示表面上投影的图像的尺寸(宽度)“2m”内,与上述直角三角形重叠的部分是x,并且其右部分是y。根据直角三角形的相似性,获得以下关系式:
p∶x=q∶(d-c)
因此,x由以下等式给出:
x=p·(d-c)/q
此外,根据具有顶点T的直角三角形的相似性,获得以下关系:
t∶a=(t+c)∶s
t∶a=(t+c+q)∶p
因此,s由以下等式给出:
s=((p-a)/(a·(c+q)))·((a·(c+q)/(p-a))+c)·a
=(a·q-c·p)/(c+q)
此外,根据由长度s和半径r的各边所形成的三角形的相似性,获得以下关系式:
s∶y=q∶(q-(d-c))
因此,y由以下等式给出:
y=((q-d+c)/q)·s
=((q-d+c)·(a·q-c·p))/(q·(c+q))
以此方式获得的x和y之和等于显示表面上投影的图像的尺寸(宽度)的一半“m”。
m=x+y
=p·(d-c)/q+((q-d+c)·(a·q-c·p))/(q·(c+q))
图11是示出在本发明实施例中三维转换单元130的第二示例中双眼单视界面上的投影的具体示例的示图。在第二示例中,如上所述,设置会聚点,使得可以使显示表面540上的投影宽度延伸穿过整个显示表面540。因此,如同一图所示,使得显示表面540自身的宽度“2M”匹配于通过上述等式获得的显示表面投影宽度“2m”。
由于对会聚点设置单元322给定显示表面540的尺寸(宽度)“2M”、输入图像尺寸(宽度)“2L”、两眼间距离“2a”以及观测距离“d”,因此可以确定双眼单视界圆半径r,从而可以使得通过上述等式所获得的显示表面投影尺寸(宽度)“2m”匹配于“2M”。
以此方式,在本发明实施例中三维转换单元130的第二示例中,通过预先假设显示表面540的尺寸,可以设置会聚点,使得显示表面540上的投影的图像可以显示在整个显示表面540上,并且可以唯一地指定双眼单视界圆。
图12是示出本发明实施例中三维转换单元130的第三示例的示图。三维转换单元130的该第三示例被设计为:确定会聚点,使得抑制显示表面上图像的失真程度的增加。与双眼中的每个的正前面的偏差越大,图像的中心与边缘之间的失真程度就越大。因此,设置会聚点,使得该失真程度可以落入可接受的范围内。三维转换单元130的第三示例包括双眼单视界面图像投影单元331、会聚点设置单元332、显示表面右眼投影单元336以及显示表面左眼投影单元337。
像双眼单视界面图像投影单元311一样,双眼单视界面图像投影单元331被设计为:将经由信号线129从信号处理单元120提供的非立体图像投影在包括双眼单视界圆的圆柱面上。在该第三示例中,使用基于由会聚点设置单元332设置的会聚点的圆周角“τ”来指定双眼单视界圆。注意,双眼单视界面图像投影单元331是权利要求中描述的圆柱面投影单元的示例。
会聚点设置单元332被设计为:设置会聚点,并且提供基于该会聚点的圆周角“τ”。会聚点设置单元332使用两眼间距离“2a”、观测距离“d”、最大失真程度“Qmax”和微小角度“δ”来设置会聚点。将参照以下附图解释设置的细节。
与第一示例类似,显示表面右眼投影单元336和显示表面左眼投影单元337被设计为:将双眼单视界图像投影在用于右眼或左眼的显示表面上。注意,在此虽然使用从会聚点设置单元332提供的圆周角“τ”执行显示表面上的投影,但第一示例中的半径“r”以及该示例中的圆周角“τ”就设置会聚点而言彼此等同。因此,二者可以按照需要,彼此替换地使用。注意,显示表面右眼投影单元336和显示表面左眼投影单元337是权利要求中描述的显示表面投影单元的示例。
图13是示出双眼单视界圆与图像的失真程度之间的关系的示例的示图。虽然在此对于左眼512确定失真程度,但类似情况适用于右眼511。
在左眼512的正前面观看的双眼单视界圆上的位置535和相对于该位置旋转角度θ的位置536各偏离微小角度“δ”的情况下,比较显示表面540上的距离。在位置535偏离微小角度“δ”的情况下,双眼单视界圆的中心点o的视角是“2δ”。因此,“2δr”的偏离出现在双眼单视界圆上的位置535处。在此,在位置536偏离微小角度“δ”的情况下,双眼单视界圆的中心点o的视角也是“2δ”。因此,类似地,“2δr”的偏离出现在双眼单视界圆上的位置536处。
在与双眼单视界圆上的位置535相对应的显示表面540上的位置545处,假设直角三角形每个边具有观测距离“d”和角度“δ/2”,则偏离宽度Q1表示为以下等式:
Q1=2d·tan(δ/2)
在与双眼单视界圆上的位置536相对应的显示表面546上的位置546处,另一方面,假设直角三角形每个边具有观测距离“d”和角度“θ”,则偏离宽度Q2表示为以下等式:
Q2=2d·(tanθ-tan(θ-δ/2))
因此,通过以下等式获得失真程度Q:
Q=Q2/Q1
=(2d·(tanθ-tan(θ-δ/2)))/(2d·tan(δ/2))
=(tanθ-tan(θ-δ/2))/tan(δ/2)
图14是示出图像的角度θ与失真程度Q之间的关系的示例的示图。在此,在图13中将微小角度δ设置为“0.01”并且角度θ从“-70°”改变为“+70°”的情况下,获得失真程度Q。
从该示例也可见,与双眼的正前方的偏离越大,图像的中心与边缘之间的失真程度Q就越大。因此,在该第三示例中,给出最大失真程度“Qmax”作为失真程度的阈值,并且设置角度θ,使得失真程度变为小于阈值。
图15是示出双眼单视界圆与圆周角之间的关系的示例的示图。如果假设圆周角是“τ”,则从右眼511和左眼512观看双眼单视界圆520的中心点o的角度是“2τ”。该角度由从中心点o到双眼的中心的垂线被相等地划分为两个部分,每个部分产生“τ”。在该图中,示出参照左眼512的“τ”。
关注右眼511和左眼512之间的中心线与双眼单视界圆520的交点537、左眼512、以及双眼单视界圆520的中心点o所限定的三角形,在交点537和左眼512处的两个角都是“τ/2”。由于连接在左眼512正前面观看的双眼单视界圆上的位置535和左眼512的直线平行于右眼511与左眼512之间的中心线,因此交点537和输入图像的端点538在左眼512处形成的角度表示为“θ-τ/2”。在此,角度θ是位置535与输入图像的端点538在左眼512处形成的角度。因此,从交点537和输入图像的端点538观看双眼单视界圆520的中心点o的角度表示为“2·(θ-τ/2)”。在此情况下,圆弧的长度匹配于输入图像的尺寸(宽度)“L”。因此,以下等式成立:
2·(θ-τ/2)·r=L
此外,关注于由右眼511与左眼512之间的中心点、双眼单视界圆520的中心点o以及左眼512所限定的直角三角形,半径r表示为以下等式。也就是说,应理解,可以使用圆周角“τ”和两眼间距离“2a”的角度来确定半径“r”。
r=a/sin(τ)
因此,从上述两个等式消去半径r得到以下等式:
2·(θ-τ/2)·(a/sin(τ))=L
从以上等式应理解,如果角度“θ”、两眼间距离的一半“a”以及输入图像的尺寸“L”是已知的,则可以获得圆周角“τ”。
以此方式,在本发明实施例的三维转换单元130的第三示例中,通过给定微小角度“δ”以及最大失真程度“Qmax”,可以设置会聚点,从而可以使得屏幕的中心与边缘之间的失真等于或小于最大失真程度,并且可以指定双眼单视界圆。
图16是示出本发明实施例中三维转换单元130的第四示例的示图。三维转换单元130的该第四示例被设计为:确定会聚点,使得抑制显示表面上图像失真的增加,并且对输入图像的尺寸(宽度)进行放大或者缩小,使得输入图像可以显示在整个显示表面上。三维转换单元130的该第四示例包括双眼单视界面图像投影单元341、会聚点设置单元342、缩放单元343、显示表面右眼投影单元346以及显示表面左眼投影单元347。
会聚点设置单元342被设计为:设置会聚点,并且提供基于该会聚点的半径“r”和角度“θ”。会聚点设置单元342使用两眼间距离“2a”、观测距离“d”、最大失真程度“Qmax”、微小角“δ”以及显示表面尺寸“2M”来设置会聚点。
缩放单元343被设计为:根据会聚点设置单元342所设置的会聚点增大或者减小(放大或者缩小)经由信号线129从信号处理单元120提供的非立体图像。
双眼单视界面图像投影单元341被设计为:将缩放单元343所放大或者缩小的非立体图像投影在包括双眼单视界圆的圆柱面上。注意,双眼单视界面图像投影单元341是权利要求中描述的圆柱面投影单元的示例。
与第一示例类似,显示表面右眼投影单元346和显示表面左眼投影单元347被设计为:将双眼单视界图像投影在用于右眼或左眼的显示表面上。注意,显示表面右眼投影单元346和显示表面左眼投影单元347是权利要求中描述的显示表面投影单元的示例。
图17是示出双眼单视界圆与显示表面之间的关系的示例的示图。在该第四示例中,与第三示例类似,确定角度“θ”,从而可以使得相对于微小角度“δ”的失真程度小于最大失真程度“Qmax”。于是,基于角度“θ”,确定双眼单视界圆,此外,确定输入图像的尺寸。
由于输入图像的端点538位于双眼单视界圆520上,因此从右眼511和左眼512观看输入图像的端点538的角度是“τ”。此外,关注于由连接左眼512和输入图像的端点538的直线与显示表面540之间的交点548、连接左眼512和位于左眼正前面的点535的直线与显示表面540之间的交点545、以及左眼512的位置所限定的直角三角形,从左眼512在交点548处限定的角度表示为“π/2-θ”。此外,关注于包括顶点T的直角三角形,从顶点T在交点549处限定的角度是“tan-1(x/a)”。
在此,x满足以下关系
x∶a=(x+d)∶M
并且因此由下式给出:
x=a·d/(M-a)
因此,在交点549处的内角表示为“π-tan-1(x/a)”。因此,角度“τ”由以下等式给出。也就是说,通过设置τ来确定双眼单视界圆,使得以下等式成立:
τ=θ-(π/2)+tan-1(x/a)
此外,如在第三示例中计算的那样,从交点537和输入图像的端点538观看双眼单视界圆520的中心点o的角度表示为“2·(θ-τ/2)”。在此情况下,圆弧的长度匹配于输入图像的尺寸(宽度)“L”。因此,以下等式成立:
L=2·(θ-τ/2)·r
在第三示例中,输入图像的尺寸是固定的,而在该第四示例中,输入图像的尺寸是可变的,并且由缩放单元343对输入图像进行放大或者缩小,从而满足上述等式。
以此方式,在本发明实施例的三维转换单元130的第四示例中,可以设置会聚点,从而可以使得屏幕的中心与边缘之间的失真等于或小于最大失真程度,并且可以指定双眼单视界圆。此外,可以对输入图像进行放大或者缩小,使得输入图像可以显示在整个显示表面上。
图18是示出本发明实施例中三维转换单元130的第五示例的示图。三维转换单元130的该第五示例被设计为:不执行将非立体图像投影在双眼单视界圆上的过程,而是通过将非立体图像投影在与各个眼睛相对应的移轴面上,此后将所得图像投影在显示表面上,来生成立体图像。对此,如下所示,根据该第五示例所显示的图像等同于通过关于第一示例至第四示例解释的双眼单视界圆显示的图像。因此,在此假设,为了生成立体图像,假设双眼单视界圆,并且给出该双眼单视界圆的半径作为参数。三维转换单元130的该第五示例包括移轴面右眼设置单元354、移轴面左眼设置单元355、显示表面右眼投影单元356以及显示表面左眼投影单元357。
移轴面右眼设置单元354被设计为:假设从右眼观看距双眼等距的会聚点的视点的延伸,设置与视点的这种延伸垂直相交的移轴面,并且将经由信号线129从信号处理单元120提供的非立体图像投影作为用于右眼的移轴图像。移轴面左眼设置单元355被设计为:假设从左眼观看距双眼等距的会聚点的视点的延伸,设置与视点的这种延伸垂直相交的移轴面,并且将经由信号线129从信号处理单元120提供的非立体图像投影作为用于左眼的移轴图像。移轴面右眼设置单元354和移轴面左眼设置单元355基于两眼间距离“2a”、双眼单视界圆的半径“r”、所假设的观测距离“d”以及移轴面距离“k”来执行在用于右眼和左眼的移轴面上的投影。注意,每个移轴面是权利要求中描述的照射面的示例。此外,移轴面右眼设置单元354和移轴面左眼设置单元355是权利要求中描述的照射面投影单元的示例。
显示表面右眼投影单元356被设计为:将用于右眼的移轴图像投影在用于右眼的显示表面上。显示表面左眼投影单元357被设计为:将用于左眼的移轴图像投影在用于左眼的显示表面上。显示表面右眼投影单元356和显示表面左眼投影单元357基于两眼间距离“2a”、双眼单视界圆的半径“r”以及所假设的观测距离“d”来执行在用于右眼和左眼的显示表面上的投影。投影在用于右眼的显示表面上的图像被称为右眼图像,投影在用于左眼的显示表面上的图像被称为左眼图像。右眼图像和左眼图像经由信号线139而被提供给后处理单元160。注意,显示表面右眼投影单元356和显示表面左眼投影单元357是权利要求中描述的显示表面投影单元的示例。
图19是示出在本发明实施例中三维转换单元130的第五示例中移轴面上的投影的一种形式的示图。
右眼511与左眼512之间的中心线与双眼单视界圆520的交点是距双眼等距的会聚点527。右眼移轴面550是在点551处与从右眼511观看会聚点527的视点的延伸垂直相交的面。左眼移轴面560是在点561处与从左眼512观看会聚点527的视点的延伸垂直相交的面。假设连接右眼511的位置和左眼512的位置的线段与连接点551和561的线段之间的距离被假设为移轴面距离“k”。
在此考虑右眼移轴面550和左眼移轴面560上的图像投影在显示表面570上。假设右眼511和左眼512与显示表面570之间的距离被假设为观测距离“d”。在距右眼移轴面550上的点551距离“S”的点552处形成的图像显示在显示表面570上的显示位置571处。在距左眼移轴面560上的点561距离“S”的点562处形成的图像显示在显示表面570上的显示位置572处。此时,连接右眼511和点571的直线与连接左眼512和点572的直线在双眼单视界圆520上的交点522处彼此相交。也就是说,根据该第五示例所显示的图像等同于通过关于第一示例至第四示例解释的双眼单视界圆而显示的图像。
图20是示出在本发明实施例中三维转换单元130的第五示例中移轴面上的投影的具体示例的示图。
图20的部分(a)示出经由信号线129从信号处理单元120提供的输入图像I(p,q)的坐标系。由于输入图像为非立体图像,因此使用二维坐标系。坐标系的原点被设置为输入图像的中心点。此外,假设输入图像尺寸(宽度)是“2L”。
图20的部分(b)示出其上投影了移轴图像的移轴面的坐标系。由于移轴面是三维的,因此在此使用三维(x,y,z)坐标系。坐标系的原点被设置为右眼511与左眼512之间的中心。图20的部分(b)是从垂直于移轴面的方向,即垂直于y轴的方向观看的图。
假设从右眼511和左眼512观看双眼单视界圆520上的会聚点的角是会聚角“τ”,则右眼移轴面550和左眼移轴面560中的每个具有距水平线的角度“τ/2”。
关注于从左眼移轴面560上的点561垂直下落到连接双眼的直线的交点582,左眼512与交点582之间的距离之间表示为“k·tan(τ/2)”。因此,沿着z轴距原点移轴面距离“k”的位置处的点589与左眼移轴面560上的点561之间的距离表示为“a-k·tan(τ/2)”。因此,左眼移轴面560上的左眼移轴图像L(x,y,z)与输入图像I(p,q)之间的关系表示为以下等式:
L(x,y,z)=I((x+a-k·tan(τ/2))/(cos(τ/2)),y)
其中,在左眼移轴图像L(x,y,z)中,以下等式成立:
z=k-((x+a-k·tan(τ/2))/sin(τ/2))
此外,类似地,右眼移轴面550上的右眼移轴图像R(x,y,z)与输入图像I(p,q)之间的关系表示为以下等式:
R(x,y,z)=I((x-a+k·tan(τ/2))/(cos(τ/2)),y)
其中,在该右眼移轴图像R(x,y,z)中,以下等式成立:
z=k+((x-a+k·tan(τ/2))/sin(τ/2))
图21是示出在本发明实施例中三维转换单元130的第五示例中显示表面上的投影的具体示例的示图。
图21的部分(a)示出移轴面和显示表面的坐标系。在此,使用三维(x,y,z)坐标系。
图21的部分(b)示出显示表面上投影的显示图像J(s,t)的坐标系。对于右眼511和左眼512分别获得显示图像。由于每个图像是二维图像,因此使用二维坐标系。坐标系的原点被设置为显示图像的中心点。
此时,由以下等式给出从左眼512通过L(x0,y0,z0)投影在左眼移轴图像上的显示表面570上的DL(xL,yL,zL):
DL(xL,yL,zL)=J(xL,yL)=L(x0,y0,z0)
此外,由于距观看者的观测位置的距离等于观测距离d,因此,获得zR=d,并且以下表达式成立:
(x0+a)/(xL+a)=y0/yL=z0/d
z0>0
对此,如使用图20所解释的那样,以下表达式成立:
z0=k-((x0+a-k·tan(τ/2))/sin(τ/2))
注意,虽然在此已经解释了从左眼512投影的DL(xL,yL,zL),也可以通过类似方式来确定从右眼511通过R(x0,y0,z0)投影在右眼移轴图像上的显示表面570上的DR(xR,yR,zR)。
图22是示出由在本发明实施例中三维转换单元130的第五示例所执行的示例性处理过程的示图。
首先,当经由信号线129从信号处理单元120输入输入图像I(p,q)(步骤S921)时,输入图像I(p,q)分别被投影作为移轴图像(步骤S912)。对此,不同于第一示例,对于右眼和左眼提供分离的移轴面,并且通过以下方式生成显示图像(循环L902)。
当输入图像I(p,q)投影在右眼移轴面550上作为右眼移轴图像R(x,y,z)(步骤S922)时,对显示表面570执行透视变换,并且获得三维DR(xR,yR,zR)(步骤S923)。然后,从该三维位置获得显示表面上的二维显示图像J(xR,yR)(步骤S924)。类似地,当输入图像I(p,q)投影在左眼移轴面550上作为左眼移轴图像L(x,y,z)(步骤S922)时,对显示表面570执行透视变换,并且获得三维DL(xL,yL,zL)(步骤S923)。然后,从该三维位置获得显示表面上的二维显示图像J(xL,yL)(步骤S924)。注意,步骤S922是权利要求中描述的照射面投影过程的示例。此外,步骤S923和S924是权利要求中描述的显示表面投影过程的示例。
以此方式,在本发明实施例的三维转换单元130的第五示例中,非立体图像分别投影在右眼移轴面和左眼移轴面上作为右眼移轴图像和左眼移轴图像。然后,右眼移轴图像和左眼移轴图像投影在位于实际测量或估计的观测距离处的显示表面上。因此,可以生成用于右眼511和左眼512的立体图像。
图23是示出本发明实施例中三维转换单元130的第六示例的示图。该第六示例被设计为:根据基于深度程度信息的深度映射(depth map)生成立体图像。三维转换单元130的该第六示例包括输入图像深度映射生成单元361、双眼单视界面深度映射生成单元362、深度映射合成单元363、显示表面右眼投影单元366以及显示表面左眼投影单元367。
输入图像深度映射生成单元361被设计为:生成用于经由信号线129从信号处理单元120提供的非立体图像(输入图像)的深度映射。深度映射被设计为保持关于每个像素的深度程度的信息,并且基于例如亮度、高频分量、运动、饱和度等来进行估计。例如,日本未审查专利申请公开No.2007-502454描述了一种多视图图像生成单元,其基于输入图像中检测到的边缘生成深度映射。注意,输入图像深度映射生成单元361是权利要求中描述的深度程度信息生成单元的示例。
双眼单视界面深度映射生成单元362被设计为:生成用于双眼单视界面的深度映射。与第一示例类似地,双眼单视界面是使得双眼单视界圆的尺寸由双眼单视界圆信息指定,并且与双眼的相对位置关系由两眼间距离“2a”指定。
深度映射合成单元363被设计为:将由输入图像深度映射生成单元361所生成的输入图像的深度映射与由双眼单视界面深度映射生成单元362所生成的双眼单视界面的深度映射进行合成。注意,深度映射合成单元363是权利要求中描述的深度程度信息合成单元的示例。
显示表面右眼投影单元366被设计为:对于经由信号线129从信号处理单元120提供的非立体图像,通过考虑深度映射合成单元363所获得的合成的深度映射,将用于右眼的立体图像投影在用于右眼的显示表面上。此外,显示表面左眼投影单元367被设计为:对于经由信号线129从信号处理单元120提供的非立体图像,通过考虑由深度映射合成单元363所获得的合成的深度映射,将用于左眼的立体图像投影在用于左眼的显示表面上。
图24是示出由本发明实施例中三维转换单元130的第六示例所执行的处理的概述的示图。
在该第六示例中,深度程度信息是由输入图像深度映射生成单元361估计的,并且与双眼单视界面合成。因此,除了使用先前解释的双眼单视界圆的特性来感受深度之外,可以通过进一步增加与场景的三维结构相对应的深度程度信息来进一步增强立体感。
例如,由于合成之后的点621位于双眼单视界圆的前面,因此其在显示表面上的投影被感觉位于更靠近的位置处。此外,由于合成之后的点622位于双眼单视界圆之后,因此其在显示表面上的投影被感觉位于更远的位置处。
图25是示出根据本发明实施例中三维转换单元130的第六示例的双眼单视界面的深度映射的示例的示图。
在此,双眼单视界面的深度映射表示为dpH。双眼单视界面具有包括双眼单视界圆的三维形状,并且是由距x平面的距离指定的。也就是说,双眼单视界面的深度映射是x和y的函数,并且表示为以下等式:
dpH(x,y)=z(x,y)
此时,如果假设双眼单视界面关于坐标(xi,yi)距x平面的距离是di,则函数z(x,y)由以下等式给出:
z(xi,yi)=di(i=1,2,...,n)
图26是示出由本发明实施例中三维转换单元130的第六示例所估计的深度程度信息的示例的示图。
在此,深度程度信息的深度映射表示为dpI。深度程度信息被设计为:指示与每个像素对应的深度程度,并且表示为三维信息。也就是说,深度程度信息的深度映射是x和y的函数,并且表示为以下等式:
dpI(x,y)=z(x,y)
此时,如果假设深度程度信息关于坐标(xi,yi)距x平面具有值ei,则函数z(x,y)由以下等式给出:
z(xi,yi)=ei(i=1,2,...,n)
图27是示出在本发明实施例中三维转换单元130中第六示例中深度映射合成单元363的示例配置的示图。如上所述,深度映射合成单元363被设计为:将由输入图像深度映射生成单元361所生成的输入图像的深度映射与由双眼单视界面深度映射生成单元362所生成的双眼单视界面的深度映射进行合成。深度映射合成单元363包括平均值计算单元3631、减法器3632以及加法器3633。
平均值计算单元3631被设计为:计算用于每个输入图像的深度映射的平均值。减法器3632被设计为:从用于输入图像的每个像素的深度映射减去用于每个输入图像的深度映射的平均值。从而,获得深度映射关于作为中心值的平均值的AC分量。加法器3633被设计为:将从减法器3632提供的输入图像的深度映射的AC分量加合到双眼单视界面的深度映射。从而,可以获得双眼单视界面上合成的深度映射。
图28是示出在本发明实施例中三维转换单元130的第六示例所生成的立体图像的示例的示图。在该示例中,输入的非立体图像被投影在与深度映射相对应的曲面620上作为用于左眼的图像630,并且投影在与曲面620上各点相对应的用于右眼的图像640上。
例如,从左眼512观看的用于左眼的图像630上的点631投影到曲面620上的点621。然后,当以右眼511观看点621时,点621投影到用于右眼的图像640上的点641。类似地,从左眼512观看的用于左眼的图像630上的点632投影到曲面620上的点622。然后,当以右眼511观看点622时,点622投影到用于右眼的图像640上的点642。
注意,虽然在该图中为了便于解释而将用于左眼的图像630和用于右眼的图像640示出为在z方向上相对于彼此在位置上移动,但实际上,二者都位于同一平坦平面上。
图29是示出由本发明实施例中三维转换单元130的第六示例所生成的立体图像的另一示例的示图。在该图中,输入的非立体图像投影在与深度映射相对应的曲面620上作为从右眼与左眼之间的中心513观看的图像(输入图像650),并且投影在与曲面620上各点相对应的用于左眼的图像630和用于右眼的图像640上。
例如,从中心513观看的用于输入图像650上的点651投影到曲面620上的点621。然后,当以左眼512观看点621时,点621投影到用于左眼的图像630上的点631。当以右眼511观看点621时,点621投影到用于右眼的图像640上的点641。类似地,当从中心513观看输入图像650上的点652时,点652投影到曲面620上的点622。然后,当以左眼512观看点622时,点622投影到用于左眼的图像630上的点632。当以右眼511观看点622时,点622投影到用于右眼的图像640上的点642。
注意,虽然在该图中为了便于解释而将用于左眼的图像630、用于右眼的图像640、以及输入图像650示出为在z方向上相对于彼此在位置上移动,但实际上,它们都位于同一平坦平面上。
以此方式,在本发明实施例的三维转换单元130的第六实施例中,基于深度程度信息的深度映射与其中利用参照其它实施例所解释的双眼单视界面的立体视觉进行合成,由此使得能够生成更立体的立体图像。
注意,本发明的实施例示出用于实现本发明的示例,并且如上所述,与权利要求中所要求的具体主旨分别具有对应关系。然而,本发明不限于实施例,并且在不脱离本发明范围的情况下,可以进行各种修改。
此外,在本发明实施例中解释的处理过程可以被看作具有上述一系列过程的方法,或者另外可以被看作用于使得计算机执行上述一系列过程的程序、或存储该程序的记录介质。可以使用例如CD(致密盘)、MD(迷你盘)、DVD(数字多功能盘)、存储卡、蓝光盘(Blu-ray)(注册商标)等来实现该记录介质。
附图标记说明
110图像信号输入单元
120信号处理单元
130三维转换单元
140参数设置单元
150观测距离测量单元
160后处理单元
170格式转换单元
180源选择单元
190显示单元
311、321、331、341双眼单视界面图像投影单元
316、326、336、346、356、366显示表面右眼投影单元
317、327、337、347、357、367显示表面左眼投影单元
322、332、342会聚点设置单元
343缩放单元
354移轴面右眼设置单元
355移轴面左眼设置单元
361输入图像深度映射生成单元
362双眼单视界面深度映射生成单元
363深度映射合成单元
520双眼单视界圆
530双眼单视界图像
540、570显示表面
620合成之后的曲面
630用于左眼的图像
640用于右眼的图像
650输入图像

Claims (6)

1.一种立体图像生成装置,包括:
照射面投影单元,其将二维输入图像投影在与从各个眼睛观看会聚点的视线垂直的假想二维平面即照射面上,以分别生成分别与从双眼的各个眼睛观看圆柱面上的点的图像等同的照射图像,所述会聚点位于距包括与所述双眼相切的假想圆的所述圆柱面上的所述双眼等距的位置;以及
显示表面投影单元,其将由所述照射面投影单元生成的所述照射图像投影在显示表面上,以生成分别要投射在所述双眼上的显示图像。
2.根据权利要求1的立体图像生成装置,其中,所述照射图像的位置是根据被假设为所述显示表面与观测位置之间的距离的观测距离而设置的。
3.根据权利要求2的立体图像生成装置,还包括:观测距离测量单元,其测量所述显示表面与观测位置之间的距离作为所述观测距离,
其中,所述照射图像的位置是根据由所述观测距离测量单元所测量的所述观测距离而设置的。
4.一种立体图像生成方法,包括:
照射面投影过程:照射面投影单元将二维输入图像投影在与从各个眼睛观看会聚点的视线垂直的假想二维平面即照射面上,以分别生成分别与从双眼的各个眼睛观看圆柱面上的点的图像等同的照射图像,所述会聚点位于距包括与所述双眼相切的假想圆的所述圆柱面上的所述双眼等距的位置;以及
显示表面投影过程:显示表面投影单元将通过所述照射面投影过程生成的所述照射图像投影在显示表面上,以生成分别要投射在所述双眼上的显示图像。
5.根据权利要求4的立体图像生成方法,其中,所述照射图像的位置是根据被假设为所述显示表面与观测位置之间的距离的观测距离而设置的。
6.根据权利要求5的立体图像生成方法,还包括:观测距离测量过程:测量所述显示表面与观测位置之间的距离作为所述观测距离,
其中,所述照射图像的位置是根据由所述观测距离测量单元所测量的所述观测距离而设置的。
CN201210034197.1A 2008-06-06 2009-06-02 立体图像生成装置和立体图像生成方法 Expired - Fee Related CN102789058B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-149123 2008-06-06
JP2008149123A JP5083052B2 (ja) 2008-06-06 2008-06-06 立体視画像生成装置、立体視画像生成方法およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2009801000468A Division CN101796548B (zh) 2008-06-06 2009-06-02 立体图像生成装置和立体图像生成方法

Publications (2)

Publication Number Publication Date
CN102789058A CN102789058A (zh) 2012-11-21
CN102789058B true CN102789058B (zh) 2015-03-18

Family

ID=41398115

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2009801000468A Expired - Fee Related CN101796548B (zh) 2008-06-06 2009-06-02 立体图像生成装置和立体图像生成方法
CN201210034197.1A Expired - Fee Related CN102789058B (zh) 2008-06-06 2009-06-02 立体图像生成装置和立体图像生成方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2009801000468A Expired - Fee Related CN101796548B (zh) 2008-06-06 2009-06-02 立体图像生成装置和立体图像生成方法

Country Status (10)

Country Link
US (1) US9507165B2 (zh)
EP (1) EP2172906A4 (zh)
JP (1) JP5083052B2 (zh)
KR (1) KR20110034575A (zh)
CN (2) CN101796548B (zh)
BR (1) BRPI0903910A2 (zh)
HK (1) HK1142427A1 (zh)
RU (1) RU2519518C2 (zh)
TW (1) TW201011689A (zh)
WO (1) WO2009148038A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
KR20120051308A (ko) * 2010-11-12 2012-05-22 삼성전자주식회사 3d 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치
KR20120052091A (ko) * 2010-11-15 2012-05-23 삼성전자주식회사 컴퓨터, 모니터, 기록매체 및 이에 적용되는 3차원 영상 제공방법
US9210322B2 (en) 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
US20130021446A1 (en) * 2011-07-20 2013-01-24 GM Global Technology Operations LLC System and method for enhanced sense of depth video
US20130147793A1 (en) * 2011-12-09 2013-06-13 Seongyeom JEON Mobile terminal and controlling method thereof
CN102692806B (zh) * 2012-06-04 2015-08-05 济南大学 自由视点四维空间视频序列的采集与形成方法
WO2014076868A1 (ja) * 2012-11-19 2014-05-22 パナソニック株式会社 画像処理装置及び画像処理方法
RU2600524C2 (ru) * 2014-07-15 2016-10-20 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет аэрокосмического приборостроения" Способ конвертации 2d-изображения в квазистереоскопическое 3d-изображение
KR102172388B1 (ko) * 2014-09-11 2020-10-30 엘지디스플레이 주식회사 곡면 디스플레이 및 이의 영상 처리 방법
CN104240294B (zh) * 2014-09-28 2017-10-20 华南理工大学 基于双目单视界的三维重建方法
DE102014115331A1 (de) * 2014-10-21 2016-04-21 Isra Surface Vision Gmbh Verfahren und Vorrichtung zur Ermittlung einer dreidimensionalen Verzerrung
US9818021B2 (en) * 2014-10-21 2017-11-14 Isra Surface Vision Gmbh Method for determining a local refractive power and device therefor
CN107750370B (zh) * 2015-06-16 2022-04-12 皇家飞利浦有限公司 用于确定图像的深度图的方法和装置
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
US10326976B2 (en) * 2016-06-17 2019-06-18 Industry-Academic Cooperation Foundation, Yonsei University Method and apparatus for providing personal 3-dimensional image using convergence matching algorithm
US9609197B1 (en) 2016-08-19 2017-03-28 Intelligent Security Systems Corporation Systems and methods for dewarping images
US9547883B1 (en) * 2016-08-19 2017-01-17 Intelligent Security Systems Corporation Systems and methods for dewarping images
WO2021236468A1 (en) * 2020-05-19 2021-11-25 Intelligent Security Systems Corporation Technologies for analyzing behaviors of objects or with respect to objects based on stereo imageries therof
CN114390271B (zh) * 2020-10-19 2023-08-18 苏州佳世达光电有限公司 判别连续影像顺序的系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1209248A (zh) * 1995-12-22 1999-02-24 齐诺技术有限公司 图像转换和编码技术
CN1786658A (zh) * 2005-12-29 2006-06-14 清华紫光股份有限公司 一种采用双波长结构光测量物体轮廓的方法及装置
EP1692559A1 (en) * 2003-12-12 2006-08-23 Headplay, Inc. Optical arrangements for head mounted displays
CN1965590A (zh) * 2004-06-07 2007-05-16 微尖科技有限公司 自动立体视觉背投屏幕和相关的显示系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875034A (en) * 1988-02-08 1989-10-17 Brokenshire Daniel A Stereoscopic graphics display system with multiple windows for displaying multiple images
US5644324A (en) * 1993-03-03 1997-07-01 Maguire, Jr.; Francis J. Apparatus and method for presenting successive images
JP3089306B2 (ja) * 1993-08-26 2000-09-18 松下電器産業株式会社 立体画像撮像及び表示装置
JPH09102052A (ja) * 1995-10-06 1997-04-15 Olympus Optical Co Ltd 立体画像表示装置
JP2846856B2 (ja) * 1996-07-19 1999-01-13 三洋電機株式会社 立体映像表示装置
US6229562B1 (en) * 1997-07-08 2001-05-08 Stanley H. Kremen System and apparatus for the recording and projection of images in substantially 3-dimensional format
EP1048167B1 (en) * 1998-09-17 2009-01-07 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
JP2000228748A (ja) * 1999-02-05 2000-08-15 Ricoh Co Ltd 画像入力装置
US6507665B1 (en) * 1999-08-25 2003-01-14 Eastman Kodak Company Method for creating environment map containing information extracted from stereo image pairs
JP2001141417A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 視差量補正装置
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
JP4270695B2 (ja) * 1999-12-20 2009-06-03 知彦 服部 立体画像表示装置用2dー3d画像変換方式および装置
JP3425402B2 (ja) 2000-01-31 2003-07-14 独立行政法人通信総合研究所 立体画像を表示する装置および方法
JP2001245322A (ja) * 2000-03-01 2001-09-07 Inst Of Physical & Chemical Res 立体画像の入出力方法と装置
JP2002223458A (ja) * 2001-01-26 2002-08-09 Nippon Hoso Kyokai <Nhk> 立体映像作成装置
JP2002365593A (ja) 2001-06-08 2002-12-18 Sony Corp 表示装置、位置調整パターン表示プログラム、記録媒体、偏光メガネ、及び表示装置のフィルター位置調整方法
US20040239763A1 (en) * 2001-06-28 2004-12-02 Amir Notea Method and apparatus for control and processing video images
CA2472272A1 (en) * 2001-11-24 2003-06-05 Tdv Technologies Corp. Generation of a stereo image sequence from a 2d image sequence
RU2287858C2 (ru) * 2001-11-24 2006-11-20 Тдв Текнолоджиз Корп. Создание последовательности стереоскопических изображений из последовательности двумерных изображений
JP3929346B2 (ja) 2002-04-24 2007-06-13 日立造船株式会社 ステレオ画像表示方法およびステレオ画像表示装置
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
JP2004186863A (ja) * 2002-12-02 2004-07-02 Amita Technology Kk 立体映像表示装置及び立体映像信号処理回路
EP1654884A1 (en) 2003-08-05 2006-05-10 Koninklijke Philips Electronics N.V. Multi-view image generation
JP2005339313A (ja) 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
EP1784988A1 (en) * 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
JP4033859B2 (ja) 2004-12-28 2008-01-16 独立行政法人科学技術振興機構 立体画像表示方法
CN100552539C (zh) * 2006-01-10 2009-10-21 钟明 一种环幕立体电影图像的制作方法
JP4614456B2 (ja) 2006-07-07 2011-01-19 国立大学法人 東京大学 再帰性反射材、投影装置、航空機、および航空機用シミュレータ
US10908421B2 (en) * 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
TWI331872B (en) * 2006-12-29 2010-10-11 Quanta Comp Inc Method for displaying stereoscopic image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1209248A (zh) * 1995-12-22 1999-02-24 齐诺技术有限公司 图像转换和编码技术
EP1692559A1 (en) * 2003-12-12 2006-08-23 Headplay, Inc. Optical arrangements for head mounted displays
CN1965590A (zh) * 2004-06-07 2007-05-16 微尖科技有限公司 自动立体视觉背投屏幕和相关的显示系统
CN1786658A (zh) * 2005-12-29 2006-06-14 清华紫光股份有限公司 一种采用双波长结构光测量物体轮廓的方法及装置

Also Published As

Publication number Publication date
TW201011689A (en) 2010-03-16
WO2009148038A1 (ja) 2009-12-10
CN102789058A (zh) 2012-11-21
US20100201783A1 (en) 2010-08-12
KR20110034575A (ko) 2011-04-05
EP2172906A4 (en) 2012-08-08
RU2010103049A (ru) 2011-08-10
US9507165B2 (en) 2016-11-29
JP2009294988A (ja) 2009-12-17
RU2519518C2 (ru) 2014-06-10
JP5083052B2 (ja) 2012-11-28
HK1142427A1 (en) 2010-12-03
BRPI0903910A2 (pt) 2015-06-30
CN101796548B (zh) 2012-10-31
CN101796548A (zh) 2010-08-04
EP2172906A1 (en) 2010-04-07

Similar Documents

Publication Publication Date Title
CN102789058B (zh) 立体图像生成装置和立体图像生成方法
US8503764B2 (en) Method for generating images of multi-views
CN106504188B (zh) 用于立体视觉呈现的人眼观察图像的生成方法和装置
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
EP2629536A1 (en) Stereoscopic image conversion device and stereoscopic image display device
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
WO2012117706A1 (ja) 映像処理装置、映像処理方法、プログラム
CN102238411A (zh) 一种用于体视三维显示的图像显示方法
US20130286164A1 (en) Glassless 3d image display apparatus and method thereof
JP2842735B2 (ja) 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
TW201244457A (en) 3D video camera and associated control method
JP2005351916A (ja) 双眼顕微鏡装置
RU2474973C2 (ru) Устройство стереовидения в реальном времени
TWI572899B (zh) 擴充實境成像方法及其裝置
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
Hyun et al. Curved Projection Integral Imaging Using an Additional Large‐Aperture Convex Lens for Viewing Angle Improvement
Jin et al. Intermediate view synthesis for multi-view 3D displays using belief propagation-based stereo matching
RU2472193C1 (ru) Способ получения стереоотображений и устройство для его реализации
CN110418125B (zh) 一种集成成像系统的元素图像阵列快速生成方法
JP2012191664A (ja) 立体視画像生成装置、立体視画像生成方法およびプログラム
Wu et al. 42.1: Invited Paper: Naked‐Eye 3D Display System Based on Microlens Array
KARAJEH Intermediate view reconstruction for multiscopic 3D display
CN117880484A (zh) 3d显示设备及其显示方法、电子设备和存储介质
WO2018233387A1 (zh) 裸眼3d显示方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150318

Termination date: 20180602

CF01 Termination of patent right due to non-payment of annual fee