CN105723705B - 用于自动立体多视图显示器的图像的生成 - Google Patents

用于自动立体多视图显示器的图像的生成 Download PDF

Info

Publication number
CN105723705B
CN105723705B CN201480063735.7A CN201480063735A CN105723705B CN 105723705 B CN105723705 B CN 105723705B CN 201480063735 A CN201480063735 A CN 201480063735A CN 105723705 B CN105723705 B CN 105723705B
Authority
CN
China
Prior art keywords
image
view
group
contiguous
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480063735.7A
Other languages
English (en)
Other versions
CN105723705A (zh
Inventor
W.H.A.布鲁尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN105723705A publication Critical patent/CN105723705A/zh
Application granted granted Critical
Publication of CN105723705B publication Critical patent/CN105723705B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Abstract

一种自动立体多视图显示器包括第一图像生成器(807),其针对显示器视图的第一组邻接视图中的视图生成第一图像。第二图像生成器(809)针对第二组邻接视图中的视图生成第二图像,并且第三图像生成器(811)针对第三组邻接视图中的至少一个视图生成第三图像。第一图像对应于右眼视角,并且第二图像对应于场景的左眼视角。第三图像对应于右眼视角和左眼视角之间的视角。使用对应于中间视角的过渡组视图可以显著减少串扰和重影效果。其可以与观看者追踪组合来提供允许增加的深度水平的实际和高性能的自动立体多视图显示器。

Description

用于自动立体多视图显示器的图像的生成
技术领域
本发明涉及用于自动立体多视图显示器的图像的生成,以及特别但不排他地,涉及用于使用多视图显示器作为单个观看者的显示器的图像的生成。
背景技术
三维显示器收到日益增多的关注,并且开展了如何为观看者提供三维感知的重要研究。三维(3D)显示器通过为观看者的两只眼睛提供正看着的场景的不同视图,为观看体验添加了第三维度。这可以通过使用户戴上眼镜以使显示的两个视图分开而实现。然而,由于这对于用户相对不便,所以在许多情境下合期望的是,使用直接生成不同视图并且将其投射到用户眼睛的自动立体显示器。实际上,一段时间以来,各种公司已经积极地开发适合于渲染三维影像的自动立体显示器。自动立体设备可以为观看者呈现3D的印象而不需要特殊的头戴装置(headgear)和/或眼镜。
自动立体显示器一般为不同的视角提供不同的视图。以这种方式,可以为观看者的左眼生成第一图像并且为右眼生成第二图像。通过显示合适的图像,即,分别从左和右眼的视点而言是合适的,将3D的印象传达给观看者是可能的。
自动立体显示器倾向于使用诸如透镜状镜头或者屏障掩膜(barrier mask)之类的构件将视图分开并且在不同方向上发送它们使得它们各自到达用户的眼睛。对于立体显示器而言,两个视图是所要求的,但是大多数自动立体显示器典型地使用更多的视图(诸如例如9个视图)。
为了满足对于3D图像效果的期望,创建用于包括描述所捕获的场景的3D方面的数据。例如,对于计算机生成的图形,可以开发和使用三维模型以从给出的观看位置计算图像。这样的方法例如经常用于提供三维效果的计算机游戏。
作为另一示例,诸如电影或电视节目之类的视频内容被越来越多地生成为包括某些3D信息。这样的信息可以使用专用3D相机捕获,所述3D相机从稍微偏移的相机位置捕获两个同时的图像,从而直接生成立体图像。
典型地,自动立体显示器产生视图的“锥体”,其中每个锥体含有对应于场景的不同视角的两个或经常更多个视图。相邻的(或者在一些情况中更远位移的)视图之间的视角差被生成为对应于用户的右眼和左眼之间的视角差。因此,左眼和右眼看着两个合适的视图的观看者将感知三维效果。在图1中图示了这样的系统的示例,其中在一个视图锥中生成了九个不同的视图。
许多自动立体显示器能够产生大量视图。例如,产生九个视图的自动立体显示器并不是罕见的。这样的显示器例如适合于多观看者的情境,其中几个观看者可以同时看着显示器并且全部都体验三维效果。具有甚至更高数量视图的显示器也已经被开发,其包括例如可以提供28个不同的视图的显示器。这样的显示器可以经常使用相对窄的视图锥,使得观看者的眼睛将从多个视图同时接收光。另外,左眼和右眼将典型地置于不相邻的视图中(如在图1的示例中)。
然而,尽管所描述的自动立体显示器提供非常有利的三维体验,但是其具有一些相关联的缺点。例如,自动立体显示器倾向于对观看者的位置高度敏感并且因此倾向于比较不适于动态情境,其中其不能保证人处于非常具体的位置。具体地,正确的三维感知高度地依赖于用户被定位,使得观看者的眼睛感知对应于正确的视角的视图。然而,在一些情形中,用户的眼睛可能不能定位为接收合适的图像视图并且因此一些自动立体显示器应用和情境可以具有迷惑人类视觉系统的趋势,从而导致对于观看者的不舒服的感觉,这可能可导致一些不适或者甚至潜在地导致头痛等等。
许多多视图自动立体显示器的特定缺点是,在视图之间可能存在相对高程度的串扰(cross-talk),并且这可能会使得所感知的三维效果和所感知的图像质量降级。
为了减少观看者感知的串扰,已经提出将显示器的视图分组成两个组,其中一个组的所有视图显示相同的左眼图像,而另一组的所有视图显示相同的右眼图像。因此,已经提出只将左眼和右眼图像/视图分配给自动立体多视图3D显示器的单独多视图输入。
例如,对于28个视图的多视图自动立体显示器而言,视图编号1到14可以显示立体图像的相同的左眼视图(L)并且视图编号15到28可以显示相同的右视图(R)。该布置可以通过下述(其中视图编号竖直地书写)示范:
然而,尽管这样的方法可以减少单独视图之间的串扰(由于它们示出相同的图像),但是其也导致在分别用于左眼视图和右眼视图的视图之间的大量串扰。例如,将存在从视图14(含有L视图)到视图17(含有R视图)或者从视图15(含有R视图)到视图12(含有L视图)的大量串扰。图2图示了可能会在这样的方法中体验的串扰的示例。在该图中,x轴示出了与在视图14和15之间的边界相距的视图数量方面的偏移,而y轴示出相对串扰值。
作为典型的示例,对于28个视图的多视图显示器而言,观看者眼睛可以由大约10个视图分开。随着观看者的眼睛集中于左和右视图之间的过渡(即,视图14和15之间),串扰的量将典型地是可接受的(如在图3中图示的)。然而,如果即便存在与中心的小偏移,这将典型地导致在眼睛之一中的大量串扰(如通过图4图示的)。
因此,在这样的系统中关键的是,用户的位置相对于显示器非常准确,并且实际上,可能要求该用户非常静止地坐着。为了解决此问题,已经提出使用眼/面检测器/追踪器以适配视图锥的方向,使得用户相对于该锥体而言位于中心。然而,为了实现可接受的性能,典型地,使得追踪器高度准确和快速是必要的。实际上,典型地,追踪器必须能够基本上立即追踪用户移动,并且具有几毫米的准确度。就准确度和等待时间而言的这样的严格要求使得这样的追踪系统具有有限的实际使用并且实际上使得其在许多情境下是不可行的方法。
因此,一种用于驱动自动立体显示器的改进的方法将是有利的,并且特别地,将有利的是,一种允许增加的灵活性、减少的复杂度、增加的图像质量、改进的三维感知、更强的三维深度效果、减少的不适、减少的串扰、减少的强度变化和/或增加的性能的方法。
发明内容
因此,本发明寻求单个地或以任何组合地优选地减轻、缓和或消除一个或多个上面提到的缺点。
依据本发明的一方面,提供一种用于为被布置成显示多个图像的自动立体多视图显示器生成图像的装置,该装置包括:用于为多个视图中的第一组邻接视图中的视图生成第一图像的第一图像生成器,该第一图像对应于右眼视角;用于为多个视图中的第二组邻接视图中的视图生成第二图像的第二图像生成器,该第二图像对应于左眼视角;用于为多个视图中的第三组邻接视图中的至少一个视图生成第三图像的第三图像生成器,该第三组邻接视图包括第一组邻接视图和第二组邻接视图之间的视图;并且其中第三图像对应于右眼视角和左眼视角之间的视角。
该方法可以允许对于来自多视图自动立体显示器的三维图像的改进的渲染。该方法可以特别允许当多视图自动立体显示器用于单个观看者时的改进渲染。
具体地,在许多实施例中,该方法可以显著减少所感知的串扰。该方法在许多情境中减少串扰,同时保持非常低程度的强度变化,并且实际上,在许多实施例中,串扰的减少在不需要引入任何附加强度变化的情况下实现。
所减少的串扰可以显著减少对于将用户最佳地放置的要求。因此,该方法可以允许用户在头部移动方面的更高程度的自由,并且可以在使用头部或眼睛追踪器的实施例中显著减少对追踪性能的要求。
该方法可以当图像为多视图自动立体显示器渲染时,提供改进的整体感知的图像质量。
在传统的自动立体多视图显示器中,由不同视图的图像的差别导致的降级以及特别是串扰典型地具有如下这样的重要性,即:视差并且因此三维效果保持在低水平。实际上,对于自动立体多视图显示器的典型的深度范围典型地大约是20-30厘米左右,以便不引入降级,其被感知为降低了图像质量或者甚至潜在地为观看者引起某些不适。使用本发明的方法可以经常提供高得多的深度效果。实际上,已经发现的是,超过一米的深度范围可以在不导致显著图像降级(特别是重影)或者用户不适的情况下实现。因此,该方法可以允许比可以由常规的显示器实现的更强烈得多的深度模式。
在一些实施例中,多视图自动立体显示器可以包括用于为该多视图自动立体显示器生成图像的装置。在一些实施例中,该装置可以在多视图自动立体显示器的外部。例如,该装置可以被包括于诸如机顶盒之类的设备中。因此,在一些实施例中,该装置可以包括用于为多视图自动立体显示器生成驱动信号的输出,该驱动信号包括第一图像、第二图像以及至少第三图像。在一些实施例中,驱动信号可以包括用于多视图自动立体显示器的每个视图的图像。图像可以在驱动信号中以任何合适的形式表示,其包括例如提供一些图像作为对于多个视图的公共图像,作为编码的或未编码的图像,直接作为用于显示器的像素的驱动信号等等。
第一图像、第二图像和第三图像都是相同场景的视图。这些视图位于不同的视角中。实际上,典型地,对于自动立体多视图显示器的所有视图而言,图像由的相同场景生成。图像可以对应于场景的不同视角,其中第一图像对应于用于右眼的视角(或视点),第二图像对应于用于左眼的视角(或视点)。因此,第一图像在被右眼感知时以及第二图像在被左眼感知时将提供场景的三维表示。第三图像将对应于第一和第二图像之间的视角,即,对应于左眼视角和右眼视角之间的视角。
第一图像可以是基本相同的图像。实际上,在大多数实施例中,相同图像用于第一组邻接视图中的所有视图,即,第一图像可以是相同图像。在一些实施例中,典型地基本上感知不到的差别的小差别可以出现在第一图像之间。
第二图像可以基本是相同的图像。实际上,在大多数实施例中,相同图像用于第二组邻接视图中的所有视图,即,第二图像可以是相同图像。在一些实施例中,典型地基本上感知不到的差别的小差别可以出现在第二图像之间。
在一些实施例中,图像中的至少一些图像可以是部分图像。在一些实施例中,针对一只眼睛的完整图像可以通过多个视图的组合而被提供。
具体地,在一些实施例中,第一图像可以是相同的完整图像(其是用于观看者的右眼的图像)的不同的部分图像。相似地,在一些实施例中,第二图像可以是相同的完整图像(其是用于观看者左眼的图像)的不同的部分图像。
在许多实施例中,显示器的视图总数可以不小于九个视图,或者在许多实施例中甚至不少于18个或24个视图。第一组邻接视图中的视图的数量经常有利地至少为三,并且经常至少为五或者七个视图。
第一组邻接视图和第二组邻接视图的至少之一包括多个视图,并且典型地第一和第二组邻接视图两者都包括多个视图。第二组邻接视图中的视图数量经常有利地至少为三并且经常至少为五或七个视图。第三组邻接视图中的视图数量经常有利地至少为三并且经常至少为五或七个视图。
第三组邻接视图具体只包括第一和第二组邻接视图的视图之间的视图,并且可以具体地包括第一和第二组邻接视图之间的所有视图。
关于图像的术语“视角”一般反映了图像相对于由该图像表示的场景的视角,而不是观看者相对于显示器的视角。因此,对于第一图像的右眼视角表示对于观看者右眼的视角并且对于第二图像的左眼视角表示对于观看者左眼的视角,所述观看者处于图像生成或捕获的位置。这不反映用户相对于显示器的位置。
依据本发明的可选特征,该装置进一步包括用于接收三维图像的接收器,并且其中第一图像生成器被布置成从三维图像生成第一图像,第二图像生成器被布置成从三维图像生成第二图像;并且第三图像生成器被布置成从三维图像生成第三图像。
这可以允许一种用于基于适合于分布的图像信号来驱动自动立体多视图显示器的高效的和实际的方法。
三维图像可以是包括某种形式的深度信息的任何图像,该深度信息或者由直接深度数据提供,或者由诸如在相对应于场景的不同视角的图像之间的视差之类的间接深度数据提供。例如,三维图像可以具体地包括单个图像和深度信息、来自不同的视角/视点的相同场景的图像、遮挡信息或者其任何组合。
三维图像可以具体是视频序列的图像。
依据本发明的可选特征,三维图像是包括左眼图像和右眼图像的立体图像,并且第一图像生成器被布置成生成第一图像以对应于右眼图像,第二图像生成器被布置成生成该第二图像以对应于左眼图像;并且第三图像生成器被布置成通过应用到左眼图像和右眼图像中的至少一个图像的视点移位,生成第三图像。
该方法可以提供一种用于基于立体图像驱动自动立体多视图显示器的特别合适的方法,所述立体图像是直接提供用于人的相应眼睛的图像(并且其可以被生成为与使用眼镜的常规三维显示器技术一起使用)。
该方法允许从自动立体多视图显示器提供显著提高的深度效果,因此允许这样的立体图像(其典型具有高程度的深度)被使用,并且实际上,经常被直接使用。
依据本发明的可选特征,该装置进一步包括视差适配器,其被布置成在第一图像、第二图像和第三图像的生成之前适配左眼图像和右眼图像之间的视差。
具体地,适配器可以在图像被用于为自动立体多视图显示器生成图像之前减少左眼图像和右眼图像之间的视差。具体地,经修改的左和右图像可以直接用作第一图像和第二图像,从而直接提供深度效果。深度效果可以通过调整图像之间的视差而调整,并且可以具体用于鉴于使用自动立体多视图显示器可能的加强的深度范围生成具有所期望的深度效果的图像。
依据本发明可选特征,三维图像是具有相关联深度信息的单视点图像,并且第一图像生成器被布置成通过基于深度信息的单视点图像的视点移位生成第一图像,第二图像生成器被布置成通过基于深度信息的单视点图像的视点移位生成第二图像,第二图像的视点移位在第一图像的视点移位的相反方向上;并且其中第三图像生成器被布置成生成第三图像以对应于该单视点图像。
在许多实施例和情境中,这可以提供一种对于自动立体多视图显示器的特别有利的驱动。
依据本发明的可选特征,第三组邻接视图包括多个视图,并且第三图像生成器被布置成为第三组邻接视图的所有视图生成图像以对应于在右眼视角和左眼视角之间的视角。
在许多实施例中,这可以提供改进的性能,并且可以特别地减少串扰以及可能地减少强度变化,从而例如允许提供增加的深度效果。
在许多实施例中,第三组邻接视图中的视图数量可以有利地不小于2、3、5或7。
依据本发明的可选特征,第三图像生成器被布置成为该第三组邻接视图中的多个视图生成作为第三图像的至少一部分的图像。
在一些实施例中,相同的中间视角图像可以用于第三组邻接视图中的所有视图。这在许多情境中可以提供合期望的性能,同时保持低复杂度和计算资源的需求。在许多实施例中,用于第三组邻接视图中的所有视图的图像从第三图像生成,即,第三连续组内的所有视图示出第三图像的至少一部分。
依据本发明的可选特征,第三图像生成器被布置成为第三连续组的多个视图生成图像以对应于与该视图到第一组邻接视图的距离具有单调关系的视角。
第三组邻接视图可以呈现如下这样的图像,即:其对应于右眼视角和左眼视角之间的视角,但是具有从向着右眼视角到向着左眼视角逐步改变的不同视角。所述视角可以单调地以它们分别与第一组连续图像和第二组连续图像相距多近的顺序改变。
依据本发明的可选特征,该关系是线性关系。
这可以在许多情境中提供改进的用户体验,并且可以在许多情境中为观看者与理想位置的偏移提供被最少感知的串扰。
依据本发明的可选特征,该装置进一步包括观看者位置追踪单元,其被布置成生成用户视角估计;以及适配器,其被布置成响应于该用户视角估计适配由多个视图形成的至少一个视图锥的方向。
本发明可以允许改进得多的三维用户体验,其中观看者位置追踪单元可以控制所渲染的图像,使得第三组邻接视图的过渡区域最佳指向用户。由于第三组邻接视图的驱动,所以可以实现具有用户追踪的显著更好的集成。例如,更不准确的追踪方法可以用于提供改进的性能。
依据本发明的可选特征,多视图显示器的多个视图中的所有视图属于第一组邻接视图、第二组邻接视图和第三组邻接视图之一。
这可以在许多实施例中提供改进的性能。
依据本发明的可选特征,第三图像生成器被布置成为第三组邻接视图的至少一些视图生成不同的部分图像。
这在许多实施例中可以提供改进的性能和/或促进的实施方式。实际上,驱动自动立体多视图显示器的方法特别适合于通过为不同视图使用部分图像增加有效分辨率。
部分图像可以对应于对应在右眼视角和左眼视角之间的一个视角的图像的不同部分。
依据本发明的一方面,提供了一种被布置成显示多个视图的自动立体多视图显示器,该显示器包括:用于为多个视图中的第一组邻接视图中的视图生成第一图像的第一图像生成器,该第一图像对应于右眼视角;用于为多个视图中的第二组邻接视图中的视图生成第二图像的第二图像生成器,该第二图像对应于左眼视角;用于为多个视图中的第三组邻接视图中的至少一个视图生成第三图像的第三图像生成器,该第三组邻接视图包括第一组邻接视图和第二组邻接视图之间的视图;并且其中该第三图像对应于右眼视角和左眼视角之间的视角。
依据本发明的一方面,提供了一种为被布置成显示多个视图的自动立体多视图显示器生成图像的方法,该装置包括:为多个视图中的第一组邻接视图中的视图生成第一图像,该第一图像对应于右眼视角;为多个视图中的第二组邻接视图中的视图生成第二图像,该第二图像对应于左眼视角;为多个视图中的第三组邻接视图中的至少一个视图生成第三图像,该第三组邻接视图包括第一组邻接视图和第二组邻接视图之间的视图;并且其中该第三图像对应于右眼视角和左眼视角之间的视角。
本发明的这些和其他方面、特征以及优点参考下面描述的(一个或者多个)实施例将会显而易见,以及予以解释说明。
附图说明
本发明的实施例将仅作为示例参考附图来描述,其中
图1图示了具有九个视图的自动立体多视图显示器的示例;
图2图示了对于自动立体多视图显示器的串扰的示例;
图3图示了对于自动立体多视图显示器的串扰的示例;
图4图示了对于自动立体多视图显示器的串扰的示例;
图5图示了具有九个视图的自动立体多视图显示器的示例;
图6图示了对于自动立体多视角显示器的视角的分配的示例;
图7图示了对于自动立体多视角显示器的视角的分配的示例;
图8图示了依据本发明的一些实施例的自动立体多视图显示器的示例;
图9图示了对于自动立体多视角显示器的视角的分配的示例;
图10图示了对于自动立体多视角显示器的视角的分配的示例;
图11图示了对于自动立体多视角显示器的视角的分配的示例;
图12图示了依据本发明的一些实施例的自动立体多视图显示器的示例;以及
图13图示了对于自动立体多视角显示器的视角的分配的示例。
具体实施方式
下面的描述集中于适用于使用一种用于向单个观看者提供三维图像的自动立体多视图显示器的本发明的实施例。然而,将了解本发明不限于该应用。
自动立体多视图显示器已经被开发,以便提供无眼镜三维图像渲染。这样的显示器可以生成投射对应于场景的不同视角的图像的多个视图。用户将被定位,使得他的眼睛接收不同的视图,因此导致由用户的眼睛感知对应于不同视角的不同图像。这可以用于提供三维感知。
图5中示出了示范性自动立体多视图显示器501。该附图图示了示例的自动立体多视图显示器501如何生成包含多个视图505的总视图锥503,每个视图505可以呈现不同的图像(或者可能是部分图像)。该附图图示了包括九个视图的总视图锥,但是在其他实施例中,可以由自动立体多视图显示器501生成其他数量的视图。实际上,具有显著更多视图的自动立体多视图显示器正在被开发,其包括典型具有28视图的显示器。
典型地,在像素层之上使用例如透镜状屏幕或者屏障掩膜生成不同视图,如将被技术人员众所周知的。在大多显示器中 ,这导致多个视图锥彼此相邻。例如,挨着图5的视图锥503的将会是视图锥的复制或重复(即,视图将被重复)。
在常规的显示器中,视图中的每个视图典型地用于渲染对应于不同视角的图像。例如,视角到视图的分布可以如在图6中图示的。在该附图中,x轴示出视图编号,并且y轴示出视角(在示例中,该锥体覆盖了从0-8的范围,其可以被认为是与例如典型为5-10°的总锥体视角成比例的,(即,该示例可以认为示出8°的锥体)。
常规自动立体多视图显示器中的串扰典型地导致可感知图像的降级,并且在一些情况中甚至导致用户的不适。因此,由自动立体多视图显示器提供的深度的程度典型地减少到相对低的水平,诸如典型地减少到相对于显示器只有20-30厘米。
然而,已经提出的是,自动立体多视图显示器的视图分为两组,其中一侧上的视图提供左眼图像,并且另一侧上的视图提供右眼图像。这样的分布在图7中图示。
在显示器由恰好置于正确位置的单个用户使用的情况中,即,其中眼睛与视图锥的中心等距,这提供了改进的三维图像,因为单独视图之间的串扰减少(因为其在视图锥的一半中全部示出相同的图像)。然而,仍然会在该视图锥的不同侧之间体验到某种串扰。因此,右边的图像可以仍然被左眼感知,且反之亦然。当如由图4图示的用户没有恰好位于中心时,该效果甚至更加显著。
在多个视图中使用相同图像的这种方法可以减少串扰,从而允许提高的深度效果。然而,不同图像之间的串扰仍然显著,并且将典型地导致至少可察觉的明显的重影效应。因此,深度效果将仍然典型地减少。
此外,通过例如不使用视图中的一些视图(例如,通过使得视图中的一些视图成为黑视图)来减少串扰对于用户的甚至小移动而言也会导致强度变化,其趋向于甚至更加可感知的。此外,因为对于准确度和等待时间的极端要求,所以使用眼睛或者面部追踪来跟随用户的移动趋向于是不实际的。
图8图示了依据本发明的一些实施例的显示器的示例。该显示器包括用于为自动立体多视图显示器803生成图像的装置801。
在该示例中,显示器是接收三维图像(或多个图像,例如来自视频序列)并且从多视图显示器803渲染这个(这些)图像的集成设备。因此,该显示器可以就其本身而言被认为是自动立体多视图显示器。将了解的是,在其他实施例中,功能性可以分布,并且特别地,装置801可以生成供应给分开的且外部的自动立体多视图显示器的图像。
例如,在一些实施例中,该装置可以包括生成并且输出包括第一、第二和第三图像的信号的输出单元。该输出信号可以然后被传送到外部并且可能是远程的自动立体多视图显示器,其可以提取图像并且从合适的视图渲染它们。
在图8的显示器中,自动立体多视图显示器803的多个视图被分成(至少)三组邻接视图(contiguous view),其中第一组用于渲染右眼图像,并且第二组用于渲染左眼视图。第三组视图由处于第一组和第二组视图之间的一个或多个视图形成。第三组中的视图然后用于渲染对应于处于右眼图像的视角和左眼图像的视角之间的(一个或多个)视角的图像。因此,第三组的视图形成了在右眼图像和左眼图像之间的过渡部分,并且渲染对应于将在左眼和右眼之间的一个和多个位置看到的一个或多个图像。
例如,可以使用图9的布置。在该示例中,多视图显示器803的28个视图被分成三组邻接视图。第一组邻接视图由视图18-28形成。这些视图用于渲染右眼图像,即,它们用来渲染针对观看者的右眼而生成的图像。第二组邻接视图由视图01-11形成。这些视图用于渲染左眼图像,即,它们用来渲染针对观看者的左眼而生成的图像。因此,视图01-11渲染对应于针对左眼的场景视角的图像,而且视图18-28渲染对应于针对右眼的场景视角的图像。因此,这两组一起渲染场景的三维表示。
将了解,术语“观看者”依据本领域中的常规实践而酌情使用,并且可以因此酌情指显示器输出的物理观看者和用作为了不同眼睛生成图像的参考的概念上的观看者两者(并且例如作为为了图像视角的参考)。
第三组邻接视图由视图12-17形成。因此,第三组邻接视图中的视图置于第一组邻接视图和第二组邻接视图的视图之间。在该示例中,第三组邻接视图中的视图用于渲染中心图像,即,对应于介于对应于左眼的场景的视角和对应于右眼的场景的视角之间的场景的视角的图像。基本上,中心视图可以被认为是对应于如果用户具有介于左眼和右眼之间的中心的眼睛将被感知的视图。
对于单独视图的视角的分布在图10中图示。
因此,在该示例中,一组视图用作在左眼视图和右眼视图之间的分隔器或过渡。所述视图用于提供对应于在左眼和右眼视图之间的视图的中间图像。
图8的装置具体包括接收诸如单个三维图像或者3D视频序列之类的三维图像信息的接收器805。3D图像可以以任何合适的形式提供,其包括作为立体图像、作为具有深度信息的单个图像等等。
接收器805耦合到第一图像生成器807,其为多视图显示器803的第一组邻接视图中的视图生成图像,其被称为第一图像。第一图像生成器807生成图像以对应于场景的右眼视角,即,该图像作为打算被右眼接收的图像而生成。例如,如果立体图像被接收器805接收,第一图像生成器807可以例如生成第一图像,以直接作为对于右眼的所接收的图像。第一图像生成器807耦合到多视图显示器803,并且第一图像被提供给多视图显示器803的合适的视图,即,在具体的示例中的视图18-28。典型地,第一图像全部都可以是相同的图像,即,相同的图像被提供给视图18-28。
此外,接收器805耦合到第二图像生成器809,其为多视图显示器803的第二组邻接视图中的视图生成图像,其被称为第二图像。第二图像生成器809生成图像以对应于场景的左眼视角,即,该图像作为打算被左眼接收的图像而生成。例如,如果立体图像被接收器805接收,第二图像生成器809可以例如生成第二图像,以直接作为对于左眼的所接收的图像。第二图像生成器809耦合到多视图显示器803并且第二图像被提供给多视图显示器803的合适的视图,即,在具体的示例中的视图01-11。典型地,第二图像全部都可以为相同的图像,即,相同的图像被提供给视图01-11。
附加地,接收器805耦合到第三图像生成器811,其为多视图显示器803的第三组邻接视图中的视图生成图像,其被称为第三图像。第三图像生成器811生成图像以对应于场景的、在左眼和右眼的视角之间的视角。在具体的示例中,至少一个第三图像可以被生成为对应于介于针对左眼和右眼的视角之间的视角的中心图像。
中心图像可以例如通过处理左眼和右眼图像之一引入视角的移位而生成。
因此,在图8的系统中,多视图显示器803被提供具有对应于三个不同视角的三个不同图像。第一组邻接视图以对应于针对观看者右眼的图像的第一图像呈现,第二组邻接视图以对应于针对观看者左眼的图像的第二图像呈现,并且第三组邻接视图以对应于针对介于观看者的右眼和左眼之间的视角的图像的第三图像呈现。因此,不同组视图中的每组视图用于呈现场景的图像,但是具有不同的相应视角,而且具体地,其中一组对应于右眼,一组对应于左眼并且一组处于其之间。
这样的方法已经被发现为提供了对于常规方法的大量改进。特别地,已经发现所感知的串扰,并且特别是所感知的重影效果被大量减少。
此外,这在不需要引入例如与不使用一些视图相关联的强度变化的情况下被实现。特别地,如果一些视图被跳过,即使小的头部移动将导致被感知的视图的强度方面(或者甚至哪些视图被感知)的变化,并且这将导致强度变化,其在当前方法中可以通过使用具有对应的强度(和强度分布)的图像来避免。因此,当观看者移动他的头时的图片强度调制被显著减少,从而提供改进得多的用户体验。
该方法可以提供对于观看者移动的显著增加的自由。实际上,与即便几毫米的移动也可以导致可感知的降级的常规方法相比,当前的方法可以典型地将敏感度减小超过一个数量级。实际上,在许多情境中,若干厘米的头部移动将对所感测的图像没有多少影响。这样的改进可以使得在即使没有专用的观看者追踪的情况下显示系统在使用方面也是可行的。此外,其可以大量减少施加于观看者追踪的要求,从而允许并且实际上在许多实施例中使能实现实际的观看者追踪和显示器的控制。
所提供的改进允许提供增加得多的深度效果而不会导致不可接受的图像降级或用户不适。
在示例中,多视图显示器803的所有视图属于第一、第二和第三组邻接视图之一,即,多视图显示器803的所有视图被分成三组。这在大多数情境中可以提供改进的性能,并且特别地,可以提供最佳图像质量。然而,在其他实施例中,一个或多个视图可以不被包括在这些组之一中。例如,外部视图中的一个或多个可以不被使用,以便为其他视图锥提供分隔等等。
在许多实施例中,多视图显示器803包括九个或更多个视图。此外,被包括在第一和第二组邻接视图中的视图数量通常是三个或更多个。另外,在大多数实施例中,第三组邻接视图包括至少两个,并且经常是至少四个视图。
典型地,在每组中的视图的数量将取决于多视图显示器803的视图数量。例如,在许多实施例中,在第一和第二组邻接视图中的视图数量是相同的,而在第三组中的视图数量不少于视图总数的1/8并且不超过视图总数的1/4,并且剩下的视图被分配到第一和第二组邻接视图。
在许多实施例中,第一组邻接视图和第二组邻接视图中的至少之一并且典型地两者都包括视图锥的外侧视图(即,右侧最远或者左侧最远的视图)。另外,典型地,第三组邻接视图包括中心视图。
在示例中,第一图像都是相同的图像(或者可能是相同图像的(不同的)部分)。相似地,第二图像都是相同的图像(或者可能是相同图像的(不同的)部分)。然而,将了解,在许多实施例中,第一和/或第二图像在其可以全部都基本对应于对于左眼或右眼的视角的意义上,可以仅仅是基本上相同的图像。例如,尽管所有第一图像对应于右眼图像,但是这些图像之间可能存在一些差别,例如它们可能对应于略有不同的视角。相似地,尽管所有第二图像对应于左眼图像,但是这些图像之间可能存在一些差别,例如它们可能对应于略有不同的视角。
将了解,该装置的输入可以是任何合适形式的三维图像信息。还将了解,接收器805可以从包括外部源和内部源两者的任何合适的源接收图像信息。
例如,在一些实施例中,该装置可以包括对于给出的场景的三维模型,并且对于不同视图的图像可以通过对于给出的视角直接评估模型而生成。具体地,对于给出的视图方向,可以针对对应于左眼的视点、针对对应于右眼的视点和针对其之间的视点来评估模型。
该方法特别地适合和有利于渲染立体图像。立体图像可以通过为左眼和右眼提供分开的图像而提供三维信息。因此,有效地,每个立体图像包括两个分开的图像,它们是一个场景的同时的图像,但是具有对应于观看者双眼的不同的视角/视点。
在一些实施例中,接收器805可以接收立体图像,并且将右眼图像转发给第一图像生成器807并且将左眼图像转发给第二图像生成器809。第一图像生成器807可以然后进行生成第一图像以对应于所接收的右眼图像。实际上,其可以直接将所接收的右眼图像用作第一图像,或者在一些实施例中,其可以在使用图像之前对其提供某些处理,诸如例如噪声过滤、锐化等等。
相似地,第二图像生成器809可以进行生成第二图像以响应于所接收的左眼图像。实际上,其可以直接将所接收的左眼图像用作第二图像,或者在一些实施例中,其可以在使用图像之前对其提供某些处理,诸如例如噪声过滤、锐化等等。
在一些实施例中,所接收的右眼图像和左眼图像两者可以被供应给第三图像生成器811,其可以通过左眼图像和右眼图像中的至少一个图像的视点移位进行生成(一个或者多个)第三图像。因此,视点或视角移位算法被应用于右眼图像和左眼图像中的至少一个图像。视点移位算法被布置成将图像向中心位置移位。
将了解,可以使用任何合适的视点移位算法,并且许多不同的算法将对技术人员已知。
例如,作为低复杂度的示例,第三图像生成器811可以被布置成标识在左眼图像和右眼图像中的单独的相对应图像对象。两个图像中的每个图像对象的位置可以被确定,并且在第三图像中的位置可以被确定为两个位置的平均值(即,介于相对于左眼图像和右眼图像的图像位置之间的中间)。对于靠近观看者的对象而言,这将导致相对大的移动,然而对于背景中的对象(或对于背景)而言,这典型地将导致不存在移动。在整个图像的处理之后的任何剩余的漏洞(hole)然后可以使用来自左眼图像和右眼图像之一的图像数据来填充(取决于空隙在首要的图像对象(即,具有最大移动的图像对象)的哪侧)。
将理解,可以使用更加复杂和先进的算法,其包括利用附加的深度信息或者可能地利用遮挡层的算法。
该方法可以特别地允许典型地打算用于使用基于眼镜的系统渲染的、这样的立体图像与自动立体多视图显示器一同使用。典型地,立体图像被生成为提供非常强的深度效果,其对于常规自动立体多视图显示器是不实际的。然而,所描述的方法可以允许这样的强深度效果在不引入不可接受的图像质量或不适的情况下被提供。该方法可以进一步提供对多视图显示器的低复杂度的驱动。
在一些实施例中,装置可以被进一步布置成在生成第一图像、第二图像和第三图像之前适配左眼图像和右眼图像之间的视差。因此,所接收的右眼图像和左眼图像可以被处理以生成经修改的右眼图像和经修改的左眼图像,其中之一可以与输入图像一致。上面描述的过程可以然后用于基于经修改的图像生成第一、第二和第三图像。
修改可以具体使得深度效果改变,并且典型地是相对于输入立体图像而减小。因此,三维效果可以调整为特别适合于实际方法和由渲染方法所产生的性质。因此,在特定渲染方法和输入立体图像的适配之间的协同效果允许对于来自自动立体多视图显示器的立体图像的优化的渲染。
特别地,适配器可以调整右眼图像和左眼图像之间的视差。例如,对应的图像对象可以被确定。新图像(比如说左眼图像)然后可以通过移动图像对象使得对应的图像对象之间的视差(位置偏移或差)减少到原始视差的某个比例而生成。例如,位移可以减少到原始立体图像的比如说50%,从而使得深度效果的力度减半。
在一些实施例中,输入图像可以是单图像,即,所接收的(一个或者多个)图像可以对应于单个视点。除了图像之外,可以提供深度信息,诸如例如示出每个像素的相对深度的深度图。
在这样的情境中,图像可以例如被提供给第三图像生成器811并且直接用于生成(一个或者多个)第三图像。具体地,第三图像可以直接生成为所接收的图像。
此外,图像和深度信息可以供应给第一图像生成器807和第二图像生成器809,其可以进行执行视点/视角移位,以将针对单个图像的视角进行移位。第一图像生成器807和第二图像生成器809可以执行相同的但是在相反方向上的视角移位。
将了解,可以使用任何合适的视点移位操作。例如,输入图像的每个像素可以以与指示深度图中的像素的深度成比例的值水平地移位。对于第一和第二图像的移位是在相反的方向上的。任何所产生的漏洞可以由根据最后面的相邻区域进行外推来填充,或者可以例如由除了输入图像之外提供的遮挡数据来填充。
在之前的示例中,第三组邻接视图用于呈现对应于中心图像的单个图像。然而,在其他实施例或情境中,可以生成和使用其他图像。此外,不同的图像可以用于邻接视图的组中的不同视图。然而,在大多数实施例中,第三组邻接视图中的所有视图将包括对应于在左眼和右眼视角之间的视角的场景的图像。这将提供改进的图像质量,并且具体地减小的串扰,从而允许例如增大的深度效果。
因此,鉴于在之前的示例中,第三图像生成器811被布置成针对第三组邻接视图中的多个视图生成图像来作为一个图像的至少一部分,在其他的实施例中,第三图像生成器811可以针对第三组邻接视图的不同视图生成不同图像,例如其对应于在右眼视角和左眼视角之间的不同视角。
对于第三组邻接视图中的图像的视角可以具体地从更靠近右眼视角到更靠近左眼视角逐步地改变。因此,用于第三连续组的图像可以对应于介于在左眼视角和右眼视角之间的视角,但是具有视角的单调增加(或减少)。因此,以从右到左的顺序,视角在从右眼视角到左眼视角的方向上逐步地改变。因此,针对某个视图的视角(该视图比第三组邻接视图的另一视图更往左)将与对于该另一视图的视角相同,或者在其左边。
因此,在许多实施例中,第三图像生成器811有利地生成针对第三连续组中的多个视图的图像以对应于与所述视图到第一组邻接视图的距离具有单调关系的视角。例如,单独的视图离提供右眼视图的视图(从视图的角度)分开的越远,视角离右眼视角越远。
等效地,在许多实施例中,第三图像生成器811有利地生成针对第三连续组中的多个视图的图像以对应于与所述视图到第二组邻接视图的距离具有单调关系的视角。例如,单独的视图离提供左眼视图的视图(从视图的角度)分开的越远,视角离左眼视角越远。
在许多实施例中,具体地,视角可以作为距离到第一和/或第二组邻接视图的函数而线性地改变。
例如,在实施例中,邻接视图的组的分隔或过渡视图可以利用全部不同并且对应于视角的图像提供,所述视角取决于视图到第一或第二邻接组和/或到视图锥的中心的相对位置。例如,第三图像生成器811可以使用视角移位算法来合成对应于线性改变的视角的图像。具体地,替代于使用如在之前的示例中描述的中心图像,第三图像生成器811可以合成下面的图像:
视图13:在L和R之间以20%/80%合成图像/视图
视图14:在L和R之间以40%/60%合成图像/视图
视图15:在L和R之间以60%/40%合成图像/视图
视图16:在L和R之间以80%/20%合成图像/视图
此示例在图11中图示。
在一些实施例中,装置可以如在图12中图示的进一步包括观看者位置追踪单元1201,其被布置成生成用户视角估计(用户视角指示着从用户到显示器的角度)。观看者位置追踪单元1201可以例如从诸如一个或多个相机之类的外部传感器1203接收输入。观看者位置追踪单元1201可以例如使用眼睛检测以估计用户相对于显示器的位置,如将对于技术人员而言是众所周知的。
观看者位置追踪单元1201耦合到适配器1205,其被布置成响应于观看者视角而适配由第一组邻接视图、第二组邻接视图和第三组邻接视图形成的视图锥。
例如,如果用户移动到左边使得他的眼睛不再位于视图14和15之间的边界的中心,而是位于视图13和14之间的边界的中心,适配器1205可以改变图像的生成,使得整个视图锥有效地移位,使得视图锥的中心现在处于新位置的中心。因此,之前对应于视图锥的视图13和14的多视图显示器803的视图现在被重新分配为是视图锥的视图14和15。因此,有效地,由多视图显示器803生成的视图锥有效地向左移位一个视图,从而跟随用户并且使用户保持在视图锥的中心。
将了解,视图锥也可以以小于整个视图的距离移位。具体地,通过对对应于小于一个像素的空间移位的图像执行空间内插滤波,图像可以以小于一个像素的大小而移位。
具体地,在图9中示出的将三个不同的图像分配到视角假定观看者的眼睛恰好在自动立体显示器的视图锥的中心。
这对应于图13的上部的示例,其中,实际上观看者位置追踪单元1201已经标识了观看者的眼睛恰好在锥体的中心,并且适配器1205因此已经控制第一图像生成器807、第二图像生成器809和第三图像生成器811来生成针对视图的图像,如示出的。
然而当用户并非恰好处在中心时,所有单独的视角循环地在可用的角度内(即,在28个视图内)移位。这在图13的下部的示例中作为示例图示,其中观看者位置追踪单元1201已经标识了观看者眼睛的中心位于对应于视图17和18之间的边界的特定位置。因此,用这种方法,由显示器形成的每个视图锥的有效方向/中心响应于用户视角估计而适配。
因此,用户移动被追踪,并且将视图分配到不同组的邻接视图是依赖于用户视角估计而做出的。实际上,在一些实施例中,适配器1205可以被布置成响应于视角估计,将自动立体多视图显示器中的视图中的每个视图分配给第一邻接视图组、第二邻接视图组或第三邻接视图组。
已经发现使用第三组邻接视图的过渡视图允许观看者位置的追踪的减少得多的准确率。实际上,已经发现,该方法使用只有几厘米准确度的观看者位置追踪器而不是要求大约几毫米的实时追踪来提供相当的质量。这可以因此允许具有对准确度(并且因此)等待时间的大量减少的要求的观看者估计。实际上,系统允许自动立体显示器是基于观看者位置追踪的,而不引入不实际的和典型不可实行的复杂和昂贵的追踪系统。
之前的示例集中于其中每个视图提供完整图像的情境。然而,在一些实施例中,一个或多个视图可以只提供部分图像。这意味着,一个特定视角(例如视角06)将不包含填充整个屏幕区域的所有像素。然而,当在特定视角(例如06)中的部分图像与相邻视角(例如05和07)组合时,则整个屏幕区域将被覆盖。
例如,在图9和10的示例中,其中第三组邻接视图的六个图像被生成为对应于相同的视角,每个视图在每个视图中可以仅提供例如完整图像的三分之一。例如,一个视图可以对应于一个区域,下一个视图对应于不同的区域,第三视图对应于又一区域,第四视图再次对应于第一区域等等。用户将典型地同时感知多个视图,并且因此通过组合单独的视图来实现对完整图像的感知。由于对于每个视图的像素仅需要支持较小的区域,所以这样的方法可以提供改进的分辨率。
将了解,相同的方法可以应用到针对第三组邻接视图中的视图的图像,即便其不对应于相同的视角。另外,该方法可以用于在第一和第二组邻接视图中的视图。
将了解,为了清楚起见,上面的描述参考不同功能电路、单元和处理器描述了本发明的实施例。然而,将显而易见的是,可以使用在不同功能的电路、单元或处理器之间的功能性的任何合适的分布,而不偏离本发明。例如,图示为由分开的处理器或控制器执行的功能性可以由相同的处理器或控制器执行。因此,对于具体功能单元或电路的参考仅仅视为对于用于提供所描述的功能性的合适的构件的参考而不是指示严格的逻辑或物理结构或组织。
本发明可以以任何合适的形式实现,所述形式包括硬件、软件、固件或者其任何组合。本发明可以可选地至少部分地实现为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施例的元件和组件可以以任何合适的方式物理地、功能地和逻辑地实现。实际上,功能性可以实现在单个单元中、在多个单元中或者作为其他功能单元的一部分。这样,本发明可以实现在单个单元中,或者可以在不同的单元、电路和处理器之间物理地或功能地分布。
尽管本发明已经联系一些实施例而描述,但是其不打算被限制为本文阐述的特定形式。而是,本发明的范围只由所附权利要求限制。附加地,尽管特征可以表现为联系特定实施例而描述,但是本领域技术人员将认识到,所描述的实施例的各种特征可以依据本发明而组合。在权利要求中,术语“包括”不排除其他元件或步骤的存在。
此外,尽管单独列出,但是多个构件、元素、电路或方法步骤可以由例如单个电路、单元或处理器实现。附加地,尽管单独的特征可以被包括在不同的权利要求中,但是其可以可能有利地组合,并且在不同的权利要求中的包括不暗示特征的组合不是可行和/或有利的。另外,某个特征被包括在某一类别的权利要求中不暗示对该类别的限制,而是指示了该特征酌情等同地适用于其他权利要求类别。此外,权利要求中的特征的顺序不暗示特征必须以此进行工作的任何具体顺序,并且特别地,方法权利要求中的单独步骤的顺序不暗示这些步骤必须以此顺序执行。而是,这些步骤可以以任何合适的顺序执行。附加地,单数参考不排除多个。因此对于“一”、“一个”、“第一”、“第二”等等的参考不排除多个。权利要求中的参考符号仅仅作为明确示例而提供,而将不解释为以任何方式限制权利要求的范围。

Claims (15)

1.一种用于为被布置成显示多个视图的自动立体多视图显示器生成图像的装置;所述装置包括:
第一图像生成器(807),用于针对所述多个视图中的第一组邻接视图中的视图生成第一图像,所述第一图像对应于右眼视角;
第二图像生成器(809),用于针对所述多个视图中的第二组邻接视图中的视图生成第二图像,所述第二图像对应于左眼视角;
第三图像生成器(811),用于针对所述多个视图中的第三组邻接视图中的至少一个视图生成第三图像,所述第三组邻接视图包括在所述第一组邻接视图和所述第二组邻接视图之间的视图;并且
其中所述第三图像对应于在所述右眼视角和所述左眼视角之间的视角。
2.根据权利要求1的所述装置,进一步包括用于接收三维图像的接收器(805),并且其中所述第一图像生成器(807)被布置成从所述三维图像生成所述第一图像,所述第二图像生成器(809)被布置成从所述三维图像生成所述第二图像;并且所述第三图像生成器(811)被布置成从所述三维图像生成所述第三图像。
3.根据权利要求2的所述装置,其中所述三维图像是包括左眼图像和右眼图像的立体图像,并且所述第一图像生成器(807)被布置成生成所述第一图像以对应于所述右眼图像,所述第二图像生成器(809)被布置成生成所述第二图像以对应于所述左眼图像;并且所述第三图像生成器(811)被布置成通过应用到所述左眼图像和所述右眼图像中的至少一个图像的视点移位,生成所述第三图像。
4.根据权利要求3的所述装置,进一步包括视差适配器,其被布置成在生成所述第一图像、所述第二图像和所述第三图像之前,适配在所述左眼图像和所述右眼图像之间的视差。
5.根据权利要求2的所述装置,其中所述三维图像是具有相关联的深度信息的单视点图像,并且所述第一图像生成器(807)被布置成通过基于所述深度信息对所述单视点图像进行视点移位来生成所述第一图像,所述第二图像生成器(809)被布置成通过基于所述深度信息对所述单视点图像进行视点移位来生成所述第二图像,所述第二图像的视点移位在所述第一图像的视点移位的相反方向上;并且其中所述第三图像生成器(811)被布置成生成所述第三图像以对应于所述单视点图像。
6.根据权利要求1的所述装置,其中所述第三组邻接视图包括多个视图,并且所述第三图像生成器(811)被布置成针对所述第三组邻接视图中的所有视图生成图像以对应于在所述右眼视角和所述左眼视角之间的视角。
7.根据权利要求6的所述装置,其中所述第三图像生成器(811)被布置成针对所述第三组邻接视图中的多个视图生成图像,作为所述第三图像的至少一部分。
8.根据权利要求6的所述装置,其中所述第三图像生成器(811)被布置成针对第三连续组中的所述多个视图生成图像,以对应于与所述视图到所述第一组邻接视图的距离具有单调关系的视角。
9.根据权利要求8的所述装置,其中所述关系是线性关系。
10.根据权利要求1的所述装置,进一步包括观看者位置追踪单元(1201),其被布置成生成用户视角估计;以及适配器(1205),其被布置成响应于所述用户视角估计,适配由所述多个视图形成的至少一个视图锥的方向。
11.根据权利要求1的所述装置,其中所述多视图显示器的多个视图中的所有视图属于所述第一组邻接视图、所述第二组邻接视图和所述第三组邻接视图之一。
12.根据权利要求1的所述装置,其中所述第三图像生成器(811)被布置成针对所述第三组邻接视图中的至少一些视图生成不同的部分图像。
13.一种被布置成显示多个视图的自动立体多视图显示器,所述显示器包括:
第一图像生成器(807),用于针对所述多个视图中的第一组邻接视图中的视图生成第一图像,所述第一图像对应于右眼视角;
第二图像生成器(809),用于针对所述多个视图中的第二组邻接视图中的视图生成第二图像,所述第二图像对应于左眼视角;
第三图像生成器(811),用于针对所述多个视图中的第三组邻接视图中的至少一个视图生成第三图像,所述第三组邻接视图包括所述第一组邻接视图和所述第二组邻接视图之间的视图;并且
其中所述第三图像对应于在所述右眼视角和所述左眼视角之间的视角。
14.一种为被布置成显示多个视图的自动立体多视图显示器生成图像的方法,所述方法包括:
针对所述多个视图中的第一组邻接视图中的视图生成第一图像,所述第一图像对应于右眼视角;
针对所述多个视图中的第二组邻接视图中的视图生成第二图像,所述第二图像对应于左眼视角;
针对所述多个视图中的第三组邻接视图中的至少一个视图生成第三图像,所述第三组邻接视图包括在所述第一组邻接视图和所述第二组邻接视图之间的视图;并且
其中所述第三图像对应于在所述右眼视角和所述左眼视角之间的视角。
15.一种用于为被布置成显示多个视图的自动立体多视图显示器生成图像的设备;所述设备包括:
用于针对所述多个视图中的第一组邻接视图中的视图生成第一图像的装置,所述第一图像对应于右眼视角;
用于针对所述多个视图中的第二组邻接视图中的视图生成第二图像的装置,所述第二图像对应于左眼视角;
用于针对所述多个视图中的第三组邻接视图中的至少一个视图生成第三图像的装置,所述第三组邻接视图包括在所述第一组邻接视图和所述第二组邻接视图之间的视图;并且
其中所述第三图像对应于在所述右眼视角和所述左眼视角之间的视角。
CN201480063735.7A 2013-11-20 2014-10-17 用于自动立体多视图显示器的图像的生成 Expired - Fee Related CN105723705B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13193687.4 2013-11-20
EP13193687 2013-11-20
PCT/EP2014/072313 WO2015074807A2 (en) 2013-11-20 2014-10-17 Generation of images for an autosteroscopic multi-view display

Publications (2)

Publication Number Publication Date
CN105723705A CN105723705A (zh) 2016-06-29
CN105723705B true CN105723705B (zh) 2019-07-26

Family

ID=49619834

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480063735.7A Expired - Fee Related CN105723705B (zh) 2013-11-20 2014-10-17 用于自动立体多视图显示器的图像的生成

Country Status (6)

Country Link
US (1) US20160295200A1 (zh)
EP (1) EP3072294A2 (zh)
JP (1) JP2017510092A (zh)
CN (1) CN105723705B (zh)
TW (1) TW201536025A (zh)
WO (1) WO2015074807A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104934B (zh) * 2012-10-04 2019-02-19 陈笛 无眼镜多观众三维显示的组件与方法
KR20180082808A (ko) * 2017-01-11 2018-07-19 삼성전자주식회사 유기금속 화합물, 유기금속 화합물-함유 조성물 및 유기 발광 소자
TWI654447B (zh) 2018-06-20 2019-03-21 明基電通股份有限公司 影像顯示系統及影像顯示方法
CN112602329B (zh) 2018-06-21 2023-08-11 瑞典爱立信有限公司 用于360度视频解码的块置乱
CN112640455A (zh) 2018-06-21 2021-04-09 瑞典爱立信有限公司 视频编码中具有子图块的图块分区
EP3707904A1 (en) * 2018-10-02 2020-09-16 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding pictures based on tile group id
CN110830783B (zh) * 2019-11-28 2021-06-01 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
CN111314687B (zh) 2019-11-28 2021-06-25 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
CN115280788A (zh) * 2020-03-01 2022-11-01 镭亚股份有限公司 多视图风格转换的系统和方法
WO2023219638A1 (en) * 2022-05-10 2023-11-16 Leia Inc. Head-tracking multiview display and method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008122838A1 (en) * 2007-04-04 2008-10-16 Nokia Corporation Improved image quality in stereoscopic multiview displays
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
CN102197653A (zh) * 2008-10-28 2011-09-21 皇家飞利浦电子股份有限公司 三维显示系统
CN103200405A (zh) * 2013-04-03 2013-07-10 清华大学 一种3dv视频编码方法及编码器
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4320271B2 (ja) * 2003-11-28 2009-08-26 博文 伊藤 立体画像表示方法
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 中間画像合成およびマルチビューデータ信号抽出
US8446461B2 (en) * 2010-07-23 2013-05-21 Superd Co. Ltd. Three-dimensional (3D) display method and system
MX2013012070A (es) * 2011-04-20 2014-01-20 Koninkl Philips Nv Indicador de posicion para pantalla tridimensional.
GB2499426A (en) * 2012-02-16 2013-08-21 Dimenco B V Autostereoscopic display device with viewer tracking system
RU2014143033A (ru) * 2012-03-27 2016-05-20 Конинклейке Филипс Н.В. Трехмерный дисплей для множества зрителей
KR101924058B1 (ko) * 2012-04-03 2018-11-30 엘지전자 주식회사 영상표시장치 및 그 동작방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008122838A1 (en) * 2007-04-04 2008-10-16 Nokia Corporation Improved image quality in stereoscopic multiview displays
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
CN102197653A (zh) * 2008-10-28 2011-09-21 皇家飞利浦电子股份有限公司 三维显示系统
CN103200405A (zh) * 2013-04-03 2013-07-10 清华大学 一种3dv视频编码方法及编码器
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法

Also Published As

Publication number Publication date
WO2015074807A2 (en) 2015-05-28
US20160295200A1 (en) 2016-10-06
TW201536025A (zh) 2015-09-16
JP2017510092A (ja) 2017-04-06
WO2015074807A3 (en) 2016-01-21
CN105723705A (zh) 2016-06-29
EP3072294A2 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
CN105723705B (zh) 用于自动立体多视图显示器的图像的生成
US10715782B2 (en) 3D system including a marker mode
EP2332340B1 (en) A method of processing parallax information comprised in a signal
KR101095392B1 (ko) 3-d 영상 디스플레이 스크린상에 3-d 영상들을렌더링하는 시스템 및 방법
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
JP2012518317A (ja) 3d観察者メタデータの転送
JP2014504074A (ja) 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路
TW201223247A (en) 2D to 3D user interface content data conversion
US20110248989A1 (en) 3d display apparatus, method for setting display mode, and 3d display system
TWI531212B (zh) 呈現立體影像之系統及方法
CN103563363A (zh) 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示
US10122987B2 (en) 3D system including additional 2D to 3D conversion
Baker Generating images for a time-multiplexed stereoscopic computer graphics system
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法
Chang et al. Priority depth fusion for the 2D to 3D conversion system
Cheng et al. 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System
CN207603821U (zh) 一种基于集群和渲染的裸眼3d系统
Watt et al. 3D media and the human visual system
Rhee et al. Stereo image synthesis by view morphing with stereo consistency
TWI502960B (zh) 二維轉三維轉換裝置及其方法
WO2017083509A1 (en) Three dimensional system
Dąbała et al. Simulated holography based on stereoscopy and face tracking
US9609313B2 (en) Enhanced 3D display method and system
US20100239183A1 (en) Method and a device for producing a composite image or a composite sequence of images inducing enhanced perception of the relief of at least one subject
JP2014072640A (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190726

Termination date: 20191017

CF01 Termination of patent right due to non-payment of annual fee