CN100512454C - 产生图像的装置和方法 - Google Patents

产生图像的装置和方法 Download PDF

Info

Publication number
CN100512454C
CN100512454C CNB2005100524436A CN200510052443A CN100512454C CN 100512454 C CN100512454 C CN 100512454C CN B2005100524436 A CNB2005100524436 A CN B2005100524436A CN 200510052443 A CN200510052443 A CN 200510052443A CN 100512454 C CN100512454 C CN 100512454C
Authority
CN
China
Prior art keywords
image
zone
stereo display
view data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100524436A
Other languages
English (en)
Other versions
CN1665313A (zh
Inventor
柳川新悟
山内康晋
平和树
福岛理惠子
平山雄三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1665313A publication Critical patent/CN1665313A/zh
Application granted granted Critical
Publication of CN100512454C publication Critical patent/CN100512454C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16F—SPRINGS; SHOCK-ABSORBERS; MEANS FOR DAMPING VIBRATION
    • F16F13/00—Units comprising springs of the non-fluid type as well as vibration-dampers, shock-absorbers, or fluid springs
    • F16F13/04—Units comprising springs of the non-fluid type as well as vibration-dampers, shock-absorbers, or fluid springs comprising both a plastics spring and a damper, e.g. a friction damper
    • F16F13/06—Units comprising springs of the non-fluid type as well as vibration-dampers, shock-absorbers, or fluid springs comprising both a plastics spring and a damper, e.g. a friction damper the damper being a fluid damper, e.g. the plastics spring not forming a part of the wall of the fluid chamber of the damper
    • F16F13/08—Units comprising springs of the non-fluid type as well as vibration-dampers, shock-absorbers, or fluid springs comprising both a plastics spring and a damper, e.g. a friction damper the damper being a fluid damper, e.g. the plastics spring not forming a part of the wall of the fluid chamber of the damper the plastics spring forming at least a part of the wall of the fluid chamber of the damper
    • F16F13/14—Units of the bushing type, i.e. loaded predominantly radially
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种用于产生显示在立体显示设备上的立体显示图像数据的装置，包括基于二维或三维图像数据、在渲染图像数据的处理中设置的虚拟照相机注视目标的位置、以及从立体显示设备中输出的光束的方向，来计算立体显示区域以再现显示在立体显示设备上的图像数据中的三维位置关系的立体显示区域计算器。该装置还包括在位于代表由立体显示区域计算器计算的立体显示区域的外部的区域外部的图像数据上执行图像处理的图像处理器。该图像处理与在位于代表立体显示区域的内部的区域内部的图像数据上的图像处理不同。该装置还包括从由图像处理器处理之后的二维或三维图像数据中产生立体显示图像数据的图像产生器。

Description

产生图像的装置和方法
相关申请的交叉引用
本申请基于2004年3月2日提交的在先日本专利申请2004-057730号并要求其优先权益，在此引入其全部内容作为参考。
技术领域
本发明涉及用于在整体成像或多镜头立体显示设备中执行图像产生的一种图像产生装置和一种图像产生方法。
背景技术
当立体视频由立体显示设备，特别地，由整体成像或多镜头立体显示设备一种立体显示设备显示时，存在观察者可以将显示的物体识别为立体视频的限制区域。当立体视频试图在该区域外部显示时，因为观察者看到物体双重或三重，难以将物体识别为立体视频。
当三维视频被创造时，用于CG的虚拟照相机设置在3-D CG场景中，其中三维物体被定位，此外，虚拟照相机的注视点被设置。然后，通常，渲染在虚拟照相机中显示的范围内的图像上执行，以产生图像。
但是，在整体成像或多镜头立体显示设备中，存在对观察者可以将显示的物体看作立体视频的区域的限制。因此，按照常规，虚拟照相机的位置和注视点已经预先确定，并且物体仅位于它可以最初看作立体视频的范围内以产生图像。因此，图像不能用对于普通三维视频相同的方法来创造。
此外，作为具有突出表示能力的立体显示设备包括整体成像或多镜头系统通常共同的问题，存在称作“图像帧畸变”的问题。
图像帧畸变指示一种状态，其中当看起来突出的物体被图像帧阻挡时，它变得消失，好像它位于帧位置前面一样。在这种情况下，这为观察者带来不便，使得物体看起来畸变好像固定到帧的物体或者帧附近的物体看起来不稳定。
作为解决两镜头立体图像显示设备中图像帧畸变问题的方法，一种通过使虚拟遮蔽物体位于最前表面上来防止物体被立体显示设备的至少外部帧遮蔽的方法是已知的(参看，日本专利申请(JP-A)(公开)08-234140号)。此外，一种放大且突出立体显示设备的视野帧自身以便看起来在其他物体之前的方法是已知的(参看JP-A(公开)06-308426号)。此外，一种当物体的部分在一只眼睛的图像中消失时，通过调节对于另一只眼睛的图像的显示来调节无效显示区域的方法是已知的(参看JP-A(公开)08-65715号)。此外，一种通过将板(透视画板)分别放置在右眼和左眼的最前表面上的无效显示区域中来物理地遮蔽无效显示区域的方法是已知的(参看JP-A(公开)07-168121号)。
如上所述，用于解决问题例如图像帧畸变的方法在两镜头立体显示设备中提出，但是，不存在用于解决整体成像或多镜头立体显示设备中的问题例如图像帧畸变的方法，并且解决方法期望被提供。
因此，像用于CG的普通虚拟照相机一样，通过将虚拟照相机和注视点定位于3-D CG场景中产生3-D CG场景的立体视频，来产生在整体成像或多镜头立体显示设备中显示的视频是困难的。
本发明考虑到上面的描述而实现，并且目的在于提供一种图像产生装置，一种图像产生方法，以及一种图像产生程序，其能够产生当图像通常在整体成像或多镜头立体显示设备中显示时，不具有图像帧畸变等并且不会给观察者带来不便的图像。
发明内容
本发明的目的在于至少解决常规技术中的问题。
根据本发明一个方面，一种用于产生显示在整体成像或多镜头立体显示设备上的立体显示图像数据的装置，包括：立体显示区域计算器，当图像数据显示在立体显示设备上时，基于待显示在立体显示设备上的二维或三维图像数据、响应从立体显示设备中输出的光束在以二维方式渲染图像数据的处理中设置的虚拟照相机注视目标的位置、以及从立体显示设备中输出的光束的方向，计算立体显示区域以再现图像数据中的三维位置关系，所述立体显示区域不包括这样的区域：在所述区域中，图像帧畸变基于来自光束密度大于阈值的区域的观察者的位置而发生；图像处理器，在位于代表由立体显示区域计算器计算的立体显示区域的外部的区域外部的图像数据上执行图像处理，该图像处理与在位于代表立体显示区域的内部的区域内部的图像数据上的图像处理不同；以及图像产生器，从由图像处理器处理之后的二维或三维图像数据中产生立体显示图像数据。
根据本发明另一方面，一种产生显示在整体成像或多镜头立体显示设备上的立体显示图像数据的方法，包括：当图像数据显示在立体显示设备上时，基于待显示在立体显示设备上的二维或三维图像数据、响应从立体显示设备中输出的光束在以二维方式渲染图像数据的处理中设置的虚拟照相机注视目标的位置、以及从立体显示设备中输出的光束的方向，计算立体显示区域以再现图像数据中的三维位置关系，所述立体显示区域不包括这样的区域：在所述区域中，图像帧畸变基于来自光束密度大于阈值的区域的观察者的位置而发生；在位于代表所计算的立体显示区域的外部的区域外部的图像数据上执行图像处理，该图像处理与在位于代表立体显示区域的内部的区域内部的图像数据上的图像处理不同；以及从二维或三维图像数据中产生立体显示图像数据。
本发明的其他目的、特征和优点将在下面本发明的详细描述中特别陈述，或者当结合附随附图阅读时将从其中变得明白。
附图说明
图1是指示渲染处理的示意图；
图2是图像产生装置的框图；
图3是指示突出限制和深度限制的示意图；
图4A和4B是指示图像帧畸变的示意图；
图5是由立体显示区域计算器计算的立体显示区域的示意图；
图6是图像数据处理器的框图；
图7A是当没有图像帧畸变发生时物体和深度侧立体显示区域的示意图，而图7B是当没有图像帧畸变发生时位于深度侧立体显示区域侧的物体的不透明度的图；
图8A是当图像帧畸变发生时物体和突出侧立体显示区域的示意图，而图8B是当图像帧畸变发生时位于突出侧立体显示区域侧的物体的不透明度的图；
图9A是物体和深度侧立体显示区域的示意图，而图9B是位于深度侧立体显示区域侧的物体的不透明度的图；
图10A是指示突出方向处理器和深度方向处理器的处理的示意图，而图10B是指示突出方向处理器和深度方向处理器的处理的示意图；
图11是到虚拟照相机平面的距离与处理比例因子之间的关系；
图12是由整体成像或多镜头立体显示设备的显示板输出的光束与平行投影照相机之间的关系；
图13是指示从预先确定的方向产生多视点图像的多视点图像产生器的处理的示意图；
图14是当执行雾化渲染同时改变近裁减表面与远裁减表面之间的强度时的雾化效果的强度的图；
图15是图像产生装置的硬件配置的框图；
图16是根据第一修改的深度方向处理器的框图；
图17是指示背景物体产生器执行渲染处理的渲染范围的示意图；
图18是指示作为另一种修改、在使用透视投影照相机模型的情况下的渲染范围的示意图；
图19是根据第二修改、虚拟照相机的方向与透明度之间的关系；
图20是指示依赖于虚拟照相机的方向改变物体A的透明度的图像处理的示意图；以及
图21A是指示当物体A不透明时物体A和物体B的图像处理之后的情况的示意图，而图21B是指示当物体A透明时物体A和物体B的图像处理之后的情况的示意图。
具体实施方式
在下文，根据本发明的立体图像处理装置的实施方案根据附图详细说明。注意，该实施方案并不用于限制本发明。
根据该实施方案的图像产生装置10在任意照相机位置和注视点位置中渲染图像数据。然后，该设备产生用于在整体成像或多镜头立体图像显示设备中显示的立体图像数据。
作为说明图像产生装置10的功能构造的假设，渲染处理通过参考图1来说明。渲染处理指在二维屏幕上渲染图像数据的处理。在渲染处理中，虚拟照相机600和注视点30被设置。虚拟照相机指位于响应从立体显示设备中输出的光束而确定的位置中的虚拟照相机。图1中，虚拟照相机600位于显示板22的前中心处。
注视点30设置在显示板22的中心处。顺便提及，注视点在该实施方案中设置，但是，注视目标可能被设置，代替注视点。
然后，近裁减602和远裁减604被设置。近裁减602设置在显示板22的观察者侧处的区域中，也就是看起来好像物体突出的突出侧区域221中。此外，远裁减604设置在比从观察者看到的显示板22更深的深度侧区域222中。此外，图1中所示虚拟照相机600的近裁减602和远裁减604垂直于注视点30的深度方向210而提供。
由近裁减602和远裁减604分割的空间是可正确且立体地观察的区域，并且与立体观察相关的图像处理在该区域上执行。这里，作为与立体观察相关的图像处理，例如，存在将三维坐标系转换成二维坐标系并且将所关心空间中的物体投影到显示板22上的透视投影转换处理，去除生来看不到的线的隐藏表面去除处理等。
如下面，图像产生装置10被说明。图2是描绘根据该实施方案的图像产生装置的功能构造的框图。图像产生装置10包括3D场景数据采集单元101，立体显示设备参数获取单元102，照相机参数获取单元103，立体显示区域计算器120，图像数据处理器130，以及多视点图像产生器140。
3D场景数据采集单元101在由作为渲染处理目标的2D或3D物体表示的三维模型空间中采集3D场景数据。这里，目标物体的数目可能是一个或多个。
立体显示设备参数获取单元102获取立体显示设备的各种参数。作为各种参数，存在立体显示设备中对观察者可见的视野范围，由立体显示设备显示的图像数据的像素间距，透镜面板的镜头间距，视角，想象的观察者与立体显示设备之间的视距，从这些参数获得的奈奎斯特频率的可接受值等。这里，奈奎斯特频率是对观察者可立体地观察的频率。
照相机参数获取单元103获取普通平行投影照相机模型中的照相机参数。作为照相机参数，存在关于作为3D模型空间中虚拟照相机注视目标的2D或3D物体的情况，虚拟照相机的位置，平行投影表面的大小，近裁减，远裁减等。
上述3D场景数据采集单元101，立体显示设备参数获取单元102，以及照相机参数获取单元103获取的设置条件经由例如用户接口从用户输入。
立体显示区域计算器120分别从3D场景数据采集单元101，立体显示设备参数获取单元102，以及照相机参数获取单元103获取信息，并且计算显示板22中观察者可正确且立体地观察的区域，也就是立体显示区域。特别地，它计算满足观察者可立体地观察的奈奎斯特频率的可接受值的范围，想象的观察者与立体显示设备之间的视距，注视点(注视目标)，来自照相机参数的突出限制和深度限制，以及来自图像帧畸变发生的区域的立体显示区域。
突出限制指可识别为立体视频的边界的突出侧区域221中在深度方向210上的边界。此外，深度限制指深度侧区域222中在深度方向210上的边界。注意，从与注视点位于其上的照相机平面平行的平面到突出限制的距离和从与照相机表面平行的表面到深度限制的距离依赖于奈奎斯特频率及其可接受值来确定(参看H.Hoshino，F.Okano，H.Isono，and I.Yuyama，Science and Technical Research Laboratories，NHK‘Analysis of resolution limitation of integral photography’Journal of theOptical Society of America-A，1998，Vol.15，No.8，pp.2059-2065(H.Hoshino，F.Okano，H.Isono，以及I.Yuyama，科学与技术研究试验室，NHK‘全影摄影技术的分辨率限制研究’美国光学协会杂志A，1998，Vol.15，No.8，pp.2059-2065))。
图像帧畸变指一种现象，使得当看起来从图像帧突出的物体看起来与图像帧重叠时，它变得识别为不位于图像帧的前面，该物体看起来畸变，好像物体固定到帧，并且看起来接近帧的立体图像看起来不稳定。
如下面，参考图3～5，立体显示区域计算器120的处理被说明。图3～5显示由从立体显示设备的显示表面上面看到的、在水平方向上具有视差表现能力的整体成像或多镜头立体显示设备输出的光束形成。
图3是突出限制401和深度限制402。此外，区域200是显示板22输出光束到其中的区域。输出角202是从注视点30输出的光束的范围，也就是视差分量的输出范围。
在区域200中，像光束从注视点30输出一样，以输出角202的光束从显示板22的各个位置输出。因此，考虑到光束的输出方向，作为立体观察的目标的物体可以位于区域200中。
但是，即使当物体位于区域200中时，位置比突出限制401更接近观察者侧的物体由观察者看起来双重或三重。也就是，故障在立体观察中发生。
这是因为从显示板22朝向深度方向210的距离越大，由显示板22输出的光束信息的密度越低。也就是，随着光束信息的密度变低，与显示板22隔开一定距离看到的物体与从不同方向看到的物体重叠，并且观察者看到不同的物体双重或三重。
突出限制401是光束信息的密度决不会变低的区域的限制位置。类似地，深度限制402是在与朝向观察者的方向相反的方向上光束信息的密度决不会变低的区域的限制位置。
图4A和4B是描绘所谓图像帧畸变的图。如图4A中所示，当观察者从位置300观察物体310时，两只眼睛都可以集中在物体310上。因此，观察者可以将物体310识别为位于显示板22的前面220。但是，如图4B中所示，当观察者从位置302观察物体310时，右眼可以集中在物体310上，但是左眼不能集中在物体310上。这是因为显示板22不存在于连接左眼和物体310的线320上，并且没有物体310的光束信息进入左眼。
左眼还集中在深度方向210上分开放置的显示板22的图像帧23上。因此，当物体310从位置302观看时，因为实际上在深度方向210上与物体310分开放置的图像帧23，物体310看起来被阻挡。
为了解决这种图像帧畸变，在待显示在显示板22上的图像数据的显示板22的表面方向230上，依赖于观察者的位置，除图像帧畸变可能发生的区域之外的区域设置为立体显示区域。
图5显示由立体显示区域计算器120计算的立体显示区域400。立体显示区域400具有在突出侧区域221中的突出侧立体显示区域410以及在深度侧区域222中的深度侧立体显示区域420。此外，图像帧畸变区域430和432从立体显示区域400中除去。这里，图像帧畸变区域430和432是如通过参考图4A和4B描述的图像帧畸变依赖于观察者的位置发生的区域。
因此，立体显示区域计算器120可以通过在光束信息密度足够的范围中限制立体显示区域的深度方向210，并且除去图像帧畸变发生的图像帧畸变区域430和432，来计算观察者可正确且立体地观察的区域作为立体显示区域。
图像数据处理器130执行用于消除或减小对立体观察具有负效应的、立体显示区域外部的图像数据，也就是立体显示区域外部的2D或3D物体上的负效应的处理。
图6是描绘图像数据处理器130的详细功能构造的框图。图像数据处理器130具有突出方向处理器132和深度方向处理器134。突出方向处理器132依赖于所关心物体与注视目标之间的距离、在存在于突出侧区域221中的每个物体上执行各种处理。此外，深度方向处理器134依赖于所关心物体与注视目标之间的距离、在存在于深度侧区域222中的每个物体上执行各种处理。
参考图7A和7B，突出方向处理器132的处理被说明。图7A是物体310和突出侧立体显示区域410。注意，图7A是不包括图像帧畸变发生的区域的突出侧立体显示区域410的实例。
根据该实施方案的突出方向处理器132在立体显示区域400的边界412的内侧、以预先确定的距离预先设置处理边界414。此外，使用该处理边界414作为边界，该单元在位于处理边界414的注视点30侧，也就是处理边界414的内侧的物体和位于处理边界414的观察者侧，也就是处理边界414的外侧的物体上执行不同的处理。
特别地，该单元在位于处理边界414内侧的物体上执行以完全不透明性显示物体的处理。此外，该单元在处理边界414和边界412之间的区域中的物体上执行依赖于所关心物体与注视点30之间的距离而逐渐使物体褪色的处理。此外，该单元在位于边界412的观察者侧的区域中的物体上执行完全传递并裁减物体的处理。
图7B是指示由上述处理产生的图像数据中物体的不透明度的图。水平轴指示从注视目标到物体的距离。垂直轴指示物体的不透明度。
在处理边界414和边界412之间的区域中，褪色处理以依赖于物体和注视点30之间的距离的强度来执行。从而，如图7B中所示，立体观察变得困难的区域中物体的不透明度逐渐减小。
当物体位于图7A中所示的突出侧立体显示区域410的边界412内侧时，观察者可以正确且立体地观察物体。例如，当物体位于注视点30与隔开一定距离4122的位置4121之间时，观察者可以正确且立体地观察物体。
另一方面，从边界412朝向观察者侧而分开的物体被裁减，边界位置变得清晰，并且存在当他或她立体地观察物体时观察者感觉不便的可能性。但是，如上所述，因为突出方向处理器132在从边界412的注视点30侧的物体上执行褪色处理，因裁减而引起的不自然可以减小。
这样，突出方向处理器132依赖于物体与注视点30之间的距离在每个物体上执行不同的处理，从而，难以正确且立体地观察的区域可以被看到，并且观察者感到不便的程度可以减小。
在处理边界414与边界412之间的区域上，褪色处理以依赖于物体与注视点30之间的距离的强度来执行。例如，褪色处理的强度可能与物体和注视点30之间的距离成比例关系。褪色处理的强度与物体和注视点30之间的距离之间的关系并不特别地限制，但是可能是强度依赖于距离而确定的关系。
此外，如图7B中所示，通过逐渐减小对于处理边界414和边界412之间的区域的褪色处理的强度，难以立体地观察的区域中物体的不透明度可以逐渐减小。然后，当不透明度由褪色处理减小时，处理例如裁减在边界412的位置的观察者侧的区域上执行，从而，因物体位于难以正确且立体地观察的区域中而引起的观察者不便的感觉可以减小。
因此，不同的图像处理依赖于与以边界412作为参考的注视点30的距离而执行，从而，观察者可正确且立体地观察而没有不便感觉的图像数据可以产生。
当图像帧畸变发生时突出方向处理器132的处理通过参考图8A和8B来说明。在图8A中所示突出侧立体显示区域410的两端，图像帧畸变区域430和432产生。
在这种情况下，突出方向处理器132在具有图像帧畸变区域430和432并且以边界412作为边界的每个物体上执行不同的处理。
特别地，该单元在位于边界412内侧的物体上执行以完全不透明性显示物体的处理。此外，该单元在位于图像帧畸变区域430和432内侧的区域中的物体上执行褪色处理。此外，该单元在位于图像帧畸变区域430和432的观察者侧外侧的区域中的物体上执行完全传递并裁减物体的处理。
图8B是描绘由上述处理产生的图像数据中物体的不透明度的图。水平轴指示从注视目标到物体的距离。垂直轴指示物体的不透明度。
在图像帧畸变区域430和432的内侧的区域中，褪色处理以依赖于物体和注视点30之间的距离的强度而执行。从而，如图8B中所示，难以立体地观察的区域中物体的不透明度逐渐减小。
通过执行上述处理，即使当图像帧畸变发生时，类似于没有图像帧畸变发生的情况，观察者可以正确且立体地观察位于突出侧立体显示区域410的边界412内侧的物体。例如，当物体位于注视点30与隔开一定距离4122的位置4121之间时，观察者可以正确且立体地观察物体。
如图8B中所示，通过逐渐减小图像帧畸变区域430和432内侧的褪色处理的强度，难以立体地观察的区域中物体的不透明度可以逐渐减小。然后，当不透明度通过褪色处理而减小时，处理例如裁减在其他边界位置的观察者侧的图形帧畸变区域430和432中的物体上执行，从而，因物体位于难以正确且立体地观察的区域中而引起的观察者不便的感觉可以减小。
因此，即使当图像帧畸变发生时，类似于没有图像帧畸变发生的情况，观察者可正确且立体地观察而没有不便感觉的图像数据可以产生。
图6中说明的深度方向处理器134的处理通过参考图9A和9B来说明。图9A是深度侧立体显示区域420和物体310。
根据该实施方案的深度方向处理器134在深度侧立体显示区域420的边界422的内侧预先设置第一处理边界424。此外，该单元在深度侧立体显示区域420的深度侧预先设置第二处理边界426。
第一处理边界424和第二处理边界426的位置可以根据例如与边界422的关系来确定。例如，以预先确定的距离位于边界422内侧的位置设置为第一处理边界424。此外，例如以预先确定的距离与边界422分开的位置设置为第二处理边界426。此外，例如，第一处理边界424和第二处理边界426的位置可以关于与边界422的相对距离来确定。
图9B是描绘由深度方向处理器134的上述处理产生的图像数据中物体的不透明度的图。水平轴指示从注视目标到物体的距离。垂直轴指示物体的不透明度。
在第一处理边界424和第二处理边界426之间的物体上，深度方向处理器134以依赖于与显示板22的距离的强度执行褪色处理。更具体地说，该单元依赖于与显示板22的距离增加褪色处理的强度。从而，如图9B中所示，不透明度从第一处理边界424到第二处理边界426逐渐减小。然后，该单元裁减存在于第二处理边界426的深度侧的物体。
因此，通过逐渐增加第一处理边界424和第二处理边界426之间的褪色处理的强度，物体可以被使得看起来逐渐透明。然后，当不透明度由褪色处理减小时，裁减处理在位于第二处理边界426的深度侧的物体上执行，从而，因物体位于难以正确且立体地观察的区域中而引起的观察者不便的感觉可以减小。
因此，在深度侧立体显示区域420中，具有不同强度的褪色处理依赖于与显示板22的距离而执行，从而，观察者可正确且立体地观察而没有不便感觉的图像数据可以产生。
通过突出方向处理器132和深度方向处理器134的上述处理，图像数据处理器130中的图像数据处理完成。
顺便提及，根据该实施方案的突出方向处理器132和深度方向处理器134以物体为单位执行处理，但是，作为另一个实例，该单元可以形成物体的多边形为单位执行处理。作为再一个实例，该单元可以形成多边形的顶点为单位执行处理。
突出方向处理器132和深度方向处理器134在2D或3D物体上执行的处理包括依赖于从注视点(注视目标)到显示目标物体的距离确定效果的种类和强度的处理。因此，不仅褪色处理，而且用于减少立体显示时的故障的处理效果例如灰度处理，比例缩放，模糊处理，以及雾化可以执行，而不局限于该实施方案。
图10A和10B是描绘根据另一实例的突出方向处理器132和深度方向处理器134在3D和2D物体上执行的处理的图。在该实例中，突出方向处理器132和深度方向处理器134依赖于包括各个物体的定位位置并且垂直于经过虚拟照相机600和注视点30的线450的平面与包括虚拟照相机600的位置并且垂直于线450的平面之间的距离，执行到比例因子的转换处理。
图11中所示的图是到包括虚拟照相机600的平面的距离和处理比例因子之间的关系。如该图中所示，与包括虚拟照相机600的平面的距离越远，转换执行到的比例因子越低。
在图10A和10B中，从包括虚拟照相机600的平面到包括物体C的平面的距离451，从包括虚拟照相机600的平面到包括物体B的平面的距离452，以及从包括虚拟照相机600的平面到包括物体A的平面的距离453按顺序较大。因此，物体C，物体B，和物体A经受到按照该顺序较低比例因子的处理。
因此，通过依赖于到虚拟照相机600的距离而在物体上执行到比例因子的转换，更自然的图像可以产生。
突出方向处理器132和深度方向处理器134依赖于所关心物体和注视点(注视目标)之间的距离而在各个物体上执行各种处理，但是，代替其，该单元可能依赖于物体和立体显示区域的边界之间的距离而执行各种处理。因此，作为距离参考的一个位置可以是立体显示区域中的任意位置，而不局限于该实施方案中的那个。
多视点图像产生器140在由图像数据处理器130处理的图像数据上执行多视点渲染。更具体地说，多视点图像产生器140基于从由照相机参数获取单元103获取的显示板22的视差分量的各个方向、由立体显示区域计算器120获取的虚拟照相机的位置，使用平行投影照相机执行处理。参考图12，多视点图像产生器140的处理详细说明。
图12是由整体成像或多镜头立体显示设备的显示板22输出的光束与虚拟照相机之间的关系。平行投影照相机沿着从显示板22输出的光束而定位。例如，五个光束511～515从显示板22上的位置510输出。虚拟照相机(平行投影照相机)600分别位于这五个光束511～515的延长线上。然后，渲染处理在各个虚拟照相机600的位置中执行，处理结果绘制在板上，作为由整体成像或多镜头立体显示设备输出的光束。
顺便提及，因为图像数据处理器130已经由多视点图像产生器140的处理、在位于立体显示区域400外部的物体上执行处理以便可正确观察，能够实现立体观察而没有故障的多视点图像可以产生。
多视点图像产生器140输出由整体成像或多镜头立体显示设备输出的光束的方向种数的多视点图像。作为另一个实例，它可以输出数据，其中多视点图像绘制为依赖于由照相机参数获取单元103获取的立体显示设备的透镜和狭缝的位置而从立体显示设备中输出。
图13是描绘从预先确定的方向产生多视点图像的多视点图像产生器140的处理的图。
多视点图像产生器140将虚拟照相机600设置在由显示板22从注视点30输出的光束的延长线上。然后，该单元将虚拟照相机600的近裁减表面710设置在显示板22的观察者侧。此外，该单元将虚拟照相机600的远裁减表面720设置在深度方向210上与显示板22分开的位置。然后，该单元在虚拟照相机600的近裁减表面710和远裁减表面720之间的渲染范围700上执行渲染处理。这里，渲染范围700的宽度730与虚拟照相机600的照相机表面610的宽度相同。
多视点图像产生器140可以依赖于与显示板22的距离而确定的强度执行渲染效果。图14是描绘当执行雾化渲染同时改变近裁减表面710与远裁减表面720之间的强度时的雾化效果强度的图。水平轴指示与显示板22的距离。垂直轴是雾化效果的强度。
如图14中所示，根据该实施方案的多视点图像产生器140改变注视点30与突出限制401之间雾化渲染的强度。因此，观察者从突出限制401的前面可以看到雾逐渐变深。因此，因突出限制401外部的立体观察的困难而引起的观察者不便的感觉可以避免。
顺便提及，在该实施方案中，多视点图像产生器140在图像数据上执行雾化渲染，但是，在图像数据上执行的处理可能是减少立体显示时禁止观察者正确立体观察的故障的渲染效果，而不局限于雾化渲染。
在该实施方案中，渲染效果处理的强度依赖于与显示板22的距离来区分，但是，作为另一个实例，渲染效果处理的强度可能依赖于与注视目标的距离来区分。
图15显示根据该实施方案的图像产生装置10的硬件配置。作为硬件配置，图像产生装置10包括用于执行图像产生装置10中的立体图像处理的立体图像处理程序等存储于其中的ROM 52，用于根据ROM 52中的程序控制图像产生装置10的各个单元并且执行缓冲时间改变处理等的CPU 51，用于存储图像产生装置10的控制所必需的各种数据的工作区形成于其中的RAM 53，连接到网络并执行通信的通信I/F 57，读取记录在记录介质例如半导体存储器，CD-ROM，DVD和磁盘例如中的程序的记录介质读取单元58，图像等显示于其上的显示设备59，包括键盘、各种定点设备等的输入设备60，用于存储程序、数据等的主存储设备61，以及连接各个部分的总线62。
图像产生装置10中的上述立体图像处理程序可能记录在计算机可读记录介质70例如CD-ROM，软(R)盘(FD)，DVD中的可安装格式或可执行格式的文件中并被提供。
在这种情况下，立体图像处理程序通过从记录介质70中读取而装载到主存储设备上并且在图像产生装置10中执行，并且在软件配置中说明的各个单元在主存储设备上产生。
该实施方案的立体图像处理程序可以通过存储在连接到网络例如因特网的计算机上并且经由网络下载来配置。
如上所述，本发明已经使用该实施方案来描述，各种修改和改进可以增加到该实施方案。
下面说明第一修改的实例。图16是描绘根据第一修改实例的深度方向处理器134的详细功能构造的框图。根据修改实例的深度方向处理器134具有深度方向物体处理器1342和背景物体产生器1344。
深度物体处理器1342以不同的强度在突出侧立体显示区域420中的物体上执行褪色处理，像根据该实施方案的深度方向物体处理器134一样。
背景方向物体产生器1344在比突出限制401也就是渲染范围更深侧的区域上执行渲染处理。然后，该单元将获得的2D图像作为背景物体定位在深度限制401的位置中。这里，没有其他物体的阴影出现在背景物体自身上。
因此，不同的图像处理可以分别在突出侧区域221和深度侧区域222中执行。这样，通过依赖于各个物体的位置执行不同的图像处理，能够更自然立体观察的图像数据可以产生。
图17是背景物体产生器1344执行渲染处理的渲染范围。图17中所示的渲染范围800是使用平行投影照相机模型的情况下的范围。渲染范围800的深度方向210上的边界位置与为突出限制401设置的近裁减810和远裁减820匹配。此外，渲染范围800的宽度830与虚拟照相机600的照相机表面610的宽度匹配。
顺便提及，在使用平行投影照相机模型的情况下，深度方向物体处理器1344可以依赖于与注视点30或显示板22的距离在物体上执行放大或减小处理。在平行投影照相机模型中，因为物体的表观尺寸不依赖于与显示板22的距离而改变，通过依赖于与显示板22的距离执行放大和减小处理，观察者可以感觉正确的立体效果。
图18是作为另一个实例使用透视投影照相机模型的情况下的渲染范围800。在这种情况下，渲染范围800的面内方向230上的边界位置与沿着圆锥侧面的位置相匹配。
作为第二修改实例，突出方向处理器132和深度方向处理器134可能依赖于在渲染处理中设置的照相机的方向来区分物体的透明度。图19和20是描绘根据第二修改实例的图像处理的图。图19是虚拟照相机600的方向与透明度之间的关系。此外，图20是描绘依赖于虚拟照相机的方向改变物体A的透明度的图像处理的图。
如图19中所示，根据第二修改实例的突出方向处理器132和深度方向处理器134执行图像处理，使得物体A的透明度可能是依赖于照相机的方向而确定的值。
特别地，例如，如图20中所示，假定虚拟照相机600位于作为物体A的注视点前面的位置的第一照相机位置601，物体B隐藏在物体A的后面。因此，在这种情况下，物体A的透明度设置为0，也就是不透明。图21A显示这种情况下的物体A和物体B。这样，因为物体A不透明，物体B与物体A重叠的部分完全隐藏。
假定虚拟照相机600位于代替照相机位置601的第二照相机位置602中，通过使得位于物体A后面的物体B看起来透明，更自然的印象在观察者身上产生。因此，在这种情况下，图像处理被执行，使得物体A的透明度可能与照相机位于第一照相机位置601的情况下相比较变得更高。图21B显示这种情况下的物体A和物体B。这样，因为物体A不完全不透明，物体B被看透。
因此，根据该修改实例，通过改变透明度，不带来不便感觉的图像可以产生。
因为如上所述根据该实施方案的图像产生装置可以计算观察者可正确且立体地观察的区域，也就是三维位置关系可以精确地再现的区域，并且执行分别适合于立体显示区域内侧和外侧的图像处理，观察者可以正确且立体地观察的立体显示图像数据可以产生的效果被发挥。
根据该实施方案的图像产生装置，图像产生方法，和图像产生程序对于产生立体图像数据是有用的，并且特别地，适合于产生整体成像或多镜头立体显示设备中的立体图像数据。
另外的优点和修改将容易由本领域技术人员想到。因此，本发明在其更广泛的方面并不局限于这里显示并描述的具体细节和代表实施方案。因此，可以在不背离由附加的权利要求及其等价物所定义的一般发明概念的本质或范围而做各种修改。

Claims (19)

1.一种用于产生显示在整体成像或多镜头立体显示设备上的立体显示图像数据的装置，包括：
立体显示区域计算器，当图像数据显示在立体显示设备上时，基于待显示在立体显示设备上的二维或三维图像数据、响应从立体显示设备中输出的光束在以二维方式渲染图像数据的处理中设置的虚拟照相机注视目标的位置、以及从立体显示设备中输出的光束的方向，计算立体显示区域以再现图像数据中的三维位置关系，所述立体显示区域不包括这样的区域：在所述区域中，图像帧畸变基于来自光束密度大于阈值的区域的观察者的位置而发生；
图像处理器，在位于代表由立体显示区域计算器计算的立体显示区域的外部的区域外部的图像数据上执行图像处理，该图像处理与在位于代表立体显示区域的内部的区域内部的图像数据上的图像处理不同；以及
图像产生器，从由图像处理器处理之后的二维或三维图像数据中产生立体显示图像数据。
2.根据权利要求1的装置，其中图像处理器在立体显示区域外部的图像数据上执行灰度处理。
3.根据权利要求2的装置，还包括图像处理控制器，基于立体显示区域外部的图像数据中每个物体的位置确定由图像处理器在物体上执行的图像处理的强度，
其中图像处理器以由图像处理控制器确定的强度在物体上执行图像处理。
4.根据权利要求3的装置，其中图像处理控制器基于立体显示区域外部的图像数据中物体的位置与注视目标的位置之间的距离确定由图像处理器在物体上执行的图像处理的强度。
5.根据权利要求3的装置，其中图像处理控制器基于立体显示区域外部的图像数据中物体的位置与立体显示区域的边界之间的距离确定由图像处理器在物体上执行的图像处理的强度。
6.根据权利要求2的装置，还包括图像处理控制器，它基于立体显示区域外部的图像数据中每个物体的位置确定由图像处理器在物体上执行的图像处理，
其中图像处理器以由图像处理控制器确定的强度在物体上执行图像处理。
7.根据权利要求6的图像产生装置，其中图像处理控制器基于立体显示区域外部的图像数据中的物体与注视目标之间在立体显示设备深度方向上的位置关系确定由图像处理器在物体上执行的图像处理。
8.根据权利要求7的装置，其中图像处理控制器确定在位于将所关心物体定位为二维物体的立体显示区域外部的立体显示设备深度侧的物体上执行图像处理。
9.根据权利要求1的装置，其中图像处理器在立体显示区域外部的图像数据上执行改变透明度的褪色处理。
10.根据权利要求9的装置，还包括图像处理控制器，它基于立体显示区域外部的图像数据中每个物体的位置确定由图像处理器在物体上执行的图像处理的强度，
其中图像处理器以由图像处理控制器确定的强度在物体上执行图像处理。
11.根据权利要求10的装置，其中图像处理控制器基于立体显示区域外部的图像数据中物体的位置与注视目标的位置之间的距离确定由图像处理器在物体上执行的图像处理的强度。
12.根据权利要求10的装置，其中图像处理控制器基于立体显示区域外部的图像数据中物体的位置与立体显示区域的边界之间的距离确定由图像处理器在物体上执行的图像处理的强度。
13.根据权利要求9的装置，还包括图像处理控制器，它基于立体显示区域外部的图像数据中每个物体的位置确定由图像处理器在物体上执行的图像处理，
其中图像处理器以由图像处理控制器确定的强度在物体上执行图像处理。
14.根据权利要求13的图像产生装置，其中图像处理控制器基于立体显示区域外部的图像数据中的物体与注视目标之间在立体显示设备深度方向上的位置关系确定由图像处理器在物体上执行的图像处理。
15.根据权利要求14的装置，其中图像处理控制器确定在位于将所关心物体定位为二维物体的立体显示区域外部的立体显示设备深度侧的物体上执行图像处理。
16.根据权利要求1的装置，其中图像处理控制器响应在渲染处理中设置的虚拟照相机的方向确定由图像处理器在立体显示区域内部的图像数据上执行的图像处理的内容。
17.根据权利要求1的装置，其中图像处理控制器响应在渲染处理中设置的虚拟照相机的方向确定由图像处理器在立体显示区域外部的图像数据上执行的图像处理的内容。
18.根据权利要求1的装置，其中图像处理器在立体显示区域外部的图像数据上执行模糊处理。
19.一种产生显示在整体成像或多镜头立体显示设备上的立体显示图像数据的方法，包括：
当图像数据显示在立体显示设备上时，基于待显示在立体显示设备上的二维或三维图像数据、响应从立体显示设备中输出的光束在以二维方式渲染图像数据的处理中设置的虚拟照相机注视目标的位置、以及从立体显示设备中输出的光束的方向，计算立体显示区域以再现图像数据中的三维位置关系，所述立体显示区域不包括这样的区域：在所述区域中，图像帧畸变基于来自光束密度大于阈值的区域的观察者的位置而发生；
在位于代表所计算的立体显示区域的外部的区域外部的图像数据上执行图像处理，该图像处理与在位于代表立体显示区域的内部的区域内部的图像数据上的图像处理不同；以及
从二维或三维图像数据中产生立体显示图像数据。
CNB2005100524436A 2004-03-02 2005-02-28 产生图像的装置和方法 Expired - Fee Related CN100512454C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004057730A JP4125252B2 (ja) 2004-03-02 2004-03-02 画像生成装置、画像生成方法、及び画像生成プログラム
JP2004057730 2004-03-02

Publications (2)

Publication Number Publication Date
CN1665313A CN1665313A (zh) 2005-09-07
CN100512454C true CN100512454C (zh) 2009-07-08

Family

ID=34909056

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100524436A Expired - Fee Related CN100512454C (zh) 2004-03-02 2005-02-28 产生图像的装置和方法

Country Status (4)

Country Link
US (2) US7486817B2 (zh)
JP (1) JP4125252B2 (zh)
KR (1) KR100596686B1 (zh)
CN (1) CN100512454C (zh)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006101224A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 画像生成装置、画像生成方法および画像生成プログラム
JP4489610B2 (ja) * 2005-01-28 2010-06-23 株式会社 日立ディスプレイズ 立体視可能な表示装置および方法
JP4244040B2 (ja) * 2005-03-10 2009-03-25 任天堂株式会社 入力処理プログラムおよび入力処理装置
US7586534B2 (en) * 2005-03-22 2009-09-08 Fujifilm Corporation Multi-eye image pickup device, adjusting method and device therefor, and image-area adjusting system and method
DE602006016635D1 (de) * 2005-11-04 2010-10-14 Koninkl Philips Electronics Nv Wiedergabe von bilddaten für mehrfachansicht-anzeige
KR101249988B1 (ko) * 2006-01-27 2013-04-01 삼성전자주식회사 사용자의 위치에 따른 영상을 디스플레이하는 장치 및 방법
WO2007142643A1 (en) * 2006-06-08 2007-12-13 Thomson Licensing Two pass approach to three dimensional reconstruction
GB2447060B (en) * 2007-03-01 2009-08-05 Magiqads Sdn Bhd Method of creation of a virtual three dimensional image to enable its reproduction on planar substrates
KR100891161B1 (ko) 2007-05-22 2009-04-06 광운대학교 산학협력단 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
KR20090042496A (ko) * 2007-10-26 2009-04-30 (주) 살아있는미술관 미술관 운영 시스템 및 그 방법
JP5338228B2 (ja) * 2008-09-29 2013-11-13 カシオ計算機株式会社 画像生成装置、及びプログラム
CN102356638A (zh) * 2009-03-16 2012-02-15 Lg电子株式会社 显示三维图像数据的方法和处理三维图像数据的设备
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5227910B2 (ja) * 2009-07-21 2013-07-03 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム画像表示方法及びゲーム画像表示プログラム
US8284235B2 (en) * 2009-09-28 2012-10-09 Sharp Laboratories Of America, Inc. Reduction of viewer discomfort for stereoscopic images
JP5473096B2 (ja) * 2009-12-07 2014-04-16 ペキン ユニバーシティ イメージベースドビジュアルハルにおける凹状表面のモデリング
US8687044B2 (en) * 2010-02-02 2014-04-01 Microsoft Corporation Depth camera compatibility
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8896668B2 (en) * 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
GB2481366B (en) * 2010-06-03 2014-05-28 Sony Comp Entertainment Europe Entertainment device and entertainment methods
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
JP2012079291A (ja) * 2010-09-08 2012-04-19 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US8692868B2 (en) * 2010-09-28 2014-04-08 Mediatek Inc. Letterbox margin processing method for identifying letterbox margins of target frame according to frame packing type corresponding to 3D video input and related letterbox margin processing apparatus thereof
JP5572532B2 (ja) 2010-12-10 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
JP5723149B2 (ja) 2010-12-29 2015-05-27 任天堂株式会社 画像処理システム、画像処理プログラム、画像処理方法及び画像処理装置
JP5666967B2 (ja) 2011-04-08 2015-02-12 株式会社東芝 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム
JP2012253690A (ja) * 2011-06-06 2012-12-20 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
JP4951148B2 (ja) * 2011-11-15 2012-06-13 株式会社東芝 映像表示装置及び映像表示方法
JP5456820B2 (ja) * 2012-03-28 2014-04-02 株式会社スクウェア・エニックス ゲーム装置
JP5950701B2 (ja) * 2012-06-11 2016-07-13 任天堂株式会社 画像表示システム、パズルゲームシステム、画像表示方法、パズルゲーム方法、画像表示装置、パズルゲーム装置、画像表示プログラム、および、パズルゲームプログラム
US9185387B2 (en) 2012-07-03 2015-11-10 Gopro, Inc. Image blur based on 3D depth information
JP6308513B2 (ja) 2012-07-31 2018-04-11 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体画像表示装置、画像処理装置及び立体画像処理方法
JP5873982B2 (ja) 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
KR101701790B1 (ko) * 2013-01-18 2017-02-02 인텔 코포레이션 디포커스 블러에 대한 분산 추정 광 필드 재구성
US9792502B2 (en) 2014-07-23 2017-10-17 Gopro, Inc. Generating video summaries for a video using video summary templates
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9131209B1 (en) * 2014-10-27 2015-09-08 Can Demirba{hacek over (g)} Method for automated realtime conversion of 2D RGB images and video to red-cyan stereoscopic anaglyph 3D
FR3028703A1 (fr) * 2014-11-13 2016-05-20 B<>Com Procede de rendu stereoscopique d'une scene 3d sur un ecran, dispositif, systeme et programme d'ordinateur associes
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
KR102065692B1 (ko) * 2015-04-17 2020-01-13 한국전자통신연구원 3차원 프린팅을 위한 두께 모델 생성 장치 및 방법
US9639560B1 (en) 2015-10-22 2017-05-02 Gopro, Inc. Systems and methods that effectuate transmission of workflow between computing platforms
US10078644B1 (en) 2016-01-19 2018-09-18 Gopro, Inc. Apparatus and methods for manipulating multicamera content using content proxy
US9871994B1 (en) 2016-01-19 2018-01-16 Gopro, Inc. Apparatus and methods for providing content context using session metadata
US9787862B1 (en) 2016-01-19 2017-10-10 Gopro, Inc. Apparatus and methods for generating content proxy
US10129464B1 (en) 2016-02-18 2018-11-13 Gopro, Inc. User interface for creating composite images
US9972066B1 (en) 2016-03-16 2018-05-15 Gopro, Inc. Systems and methods for providing variable image projection for spherical visual content
US10402938B1 (en) 2016-03-31 2019-09-03 Gopro, Inc. Systems and methods for modifying image distortion (curvature) for viewing distance in post capture
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US10229719B1 (en) 2016-05-09 2019-03-12 Gopro, Inc. Systems and methods for generating highlights for a video
US9953679B1 (en) 2016-05-24 2018-04-24 Gopro, Inc. Systems and methods for generating a time lapse video
US9967515B1 (en) 2016-06-15 2018-05-08 Gopro, Inc. Systems and methods for bidirectional speed ramping
US9922682B1 (en) 2016-06-15 2018-03-20 Gopro, Inc. Systems and methods for organizing video files
US10045120B2 (en) 2016-06-20 2018-08-07 Gopro, Inc. Associating audio with three-dimensional objects in videos
US10395119B1 (en) 2016-08-10 2019-08-27 Gopro, Inc. Systems and methods for determining activities performed during video capture
US9953224B1 (en) 2016-08-23 2018-04-24 Gopro, Inc. Systems and methods for generating a video summary
CN106327458A (zh) * 2016-08-31 2017-01-11 上海交通大学 一种基于图像分层渲染的方法
US10282632B1 (en) 2016-09-21 2019-05-07 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video
US10268898B1 (en) 2016-09-21 2019-04-23 Gopro, Inc. Systems and methods for determining a sample frame order for analyzing a video via segments
US10397415B1 (en) 2016-09-30 2019-08-27 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US10044972B1 (en) 2016-09-30 2018-08-07 Gopro, Inc. Systems and methods for automatically transferring audiovisual content
US11106988B2 (en) 2016-10-06 2021-08-31 Gopro, Inc. Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle
US10002641B1 (en) 2016-10-17 2018-06-19 Gopro, Inc. Systems and methods for determining highlight segment sets
KR101881755B1 (ko) * 2016-11-02 2018-07-25 충북대학교 산학협력단 집적영상 디스플레이의 화질 평가 장치 및 방법
US9972122B1 (en) * 2016-12-20 2018-05-15 Canon Kabushiki Kaisha Method and system for rendering an object in a virtual view
US9916863B1 (en) 2017-02-24 2018-03-13 Gopro, Inc. Systems and methods for editing videos based on shakiness measures
US10339443B1 (en) 2017-02-24 2019-07-02 Gopro, Inc. Systems and methods for processing convolutional neural network operations using textures
US10360663B1 (en) 2017-04-07 2019-07-23 Gopro, Inc. Systems and methods to create a dynamic blur effect in visual content
US10395122B1 (en) 2017-05-12 2019-08-27 Gopro, Inc. Systems and methods for identifying moments in videos
US10614114B1 (en) 2017-07-10 2020-04-07 Gopro, Inc. Systems and methods for creating compilations based on hierarchical clustering
US10402698B1 (en) 2017-07-10 2019-09-03 Gopro, Inc. Systems and methods for identifying interesting moments within videos
JP7068906B2 (ja) * 2018-04-20 2022-05-17 日本放送協会 多視点カメラ制御装置及びそのプログラム
KR102530278B1 (ko) 2018-10-18 2023-05-10 삼성디스플레이 주식회사 표시 유닛을 구비한 전자 장치 및 ar 영상 표시 방법
KR102640871B1 (ko) * 2018-10-30 2024-02-27 삼성전자주식회사 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
EP4033754A1 (en) * 2021-01-21 2022-07-27 Koninklijke Philips N.V. An image synthesis system and method therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175379B1 (en) * 1995-06-29 2001-01-16 Matsushita Electric Industrial Co., Ltd. Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
US20030012425A1 (en) * 1998-11-12 2003-01-16 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61144192A (ja) 1984-12-17 1986-07-01 Nippon Hoso Kyokai <Nhk> 立体テレビジヨン画像表示装置
JP3346599B2 (ja) 1993-04-23 2002-11-18 オリンパス光学工業株式会社 映像表示装置
JPH07168121A (ja) 1993-12-14 1995-07-04 Namco Ltd 画像表示装置
JPH0865715A (ja) 1994-08-22 1996-03-08 Toshiba Corp 立体映像表示方法及び立体映像表示装置
JPH08160335A (ja) * 1994-12-06 1996-06-21 Fuji Xerox Co Ltd 光走査装置
JP2826710B2 (ja) 1995-02-27 1998-11-18 株式会社エイ・ティ・アール人間情報通信研究所 ２眼式立体画像表示方法
JPH0954376A (ja) 1995-06-09 1997-02-25 Pioneer Electron Corp 立体表示装置
JP3579162B2 (ja) 1995-06-29 2004-10-20 松下電器産業株式会社 立体ｃｇ画像生成装置
US5768415A (en) * 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
JP3504111B2 (ja) 1996-06-27 2004-03-08 株式会社東芝 立体視システム、立体視方法、及び、異なる２つの視点から見た一対の画像を立体視可能に表示させるコンピュータプログラムを格納する記憶媒体
JP2001119724A (ja) 1999-10-18 2001-04-27 Minolta Co Ltd 立体画像表示システム、断面画像生成方法および断面画像生成装置
KR100710347B1 (ko) * 2000-05-12 2007-04-23 엘지전자 주식회사 3차원 영상 디스플레이 장치 및 방법
EP1285304B1 (en) 2000-05-19 2004-08-18 BALOGH, Tibor Method and apparatus for displaying 3d images
US7265775B2 (en) * 2002-03-28 2007-09-04 Kabushiki Kaisha Toshiba Three-dimensional display apparatus
JP4096622B2 (ja) 2002-05-21 2008-06-04 株式会社セガ 画像処理方法及び装置、並びにプログラム及び記録媒体
JP3966830B2 (ja) * 2003-03-28 2007-08-29 株式会社東芝 立体表示装置
JP2005110010A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 立体画像生成方法および立体画像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175379B1 (en) * 1995-06-29 2001-01-16 Matsushita Electric Industrial Co., Ltd. Stereoscopic CG image generating apparatus and stereoscopic TV apparatus
US20030012425A1 (en) * 1998-11-12 2003-01-16 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system

Also Published As

Publication number Publication date
JP4125252B2 (ja) 2008-07-30
KR20060045333A (ko) 2006-05-17
US7486817B2 (en) 2009-02-03
KR100596686B1 (ko) 2006-07-10
CN1665313A (zh) 2005-09-07
JP2005252459A (ja) 2005-09-15
US20050195478A1 (en) 2005-09-08
US20090002483A1 (en) 2009-01-01

Similar Documents

Publication Publication Date Title
CN100512454C (zh) 产生图像的装置和方法
KR100812905B1 (ko) 입체 화상 처리 방법, 장치 및 컴퓨터 판독가능 기록 매체
US7321682B2 (en) Image generation system, image generation method, program, and information storage medium
US8207961B2 (en) 3D graphic processing device and stereoscopic image display device using the 3D graphic processing device
EP2340534B1 (en) Optimal depth mapping
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
JP3579162B2 (ja) 立体ｃｇ画像生成装置
US20040066555A1 (en) Method and apparatus for generating stereoscopic images
AU2008204084B2 (en) Method and apparatus for generating stereoscopic image from two-dimensional image by using mesh map
US8249335B2 (en) Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing
JPH0676073A (ja) 立体三次元画像を生成する方法及び装置
EP0707287B1 (en) Image processing apparatus and method
US8749547B2 (en) Three-dimensional stereoscopic image generation
JP4772952B2 (ja) 立体視画像生成装置及び情報記憶媒体
CN113253845A (zh) 一种基于人眼追踪视图显示方法、装置、介质及电子设备
JPH0744701B2 (ja) 立体ス−パ−インポ−ズ装置
Baker Generating images for a time-multiplexed stereoscopic computer graphics system
US6091419A (en) 3-D parallax drawing system and related method
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
Rhee et al. Stereo image synthesis by view morphing with stereo consistency
KR20180013607A (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
US6784885B1 (en) Method and apparatus for three-dimensional parallax drawing
JPH0447384A (ja) 両眼視に基づく２次元画像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090708

Termination date: 20160228

CF01 Termination of patent right due to non-payment of annual fee