CN108693970B - 用于调适可穿戴装置的视频图像的方法和设备 - Google Patents

用于调适可穿戴装置的视频图像的方法和设备 Download PDF

Info

Publication number
CN108693970B
CN108693970B CN201810315610.9A CN201810315610A CN108693970B CN 108693970 B CN108693970 B CN 108693970B CN 201810315610 A CN201810315610 A CN 201810315610A CN 108693970 B CN108693970 B CN 108693970B
Authority
CN
China
Prior art keywords
image
wearable device
view
images
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810315610.9A
Other languages
English (en)
Other versions
CN108693970A (zh
Inventor
A·尼南
N·马门
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN108693970A publication Critical patent/CN108693970A/zh
Application granted granted Critical
Publication of CN108693970B publication Critical patent/CN108693970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking

Abstract

本申请涉及用于调适可穿戴装置的视频图像的方法和设备。确定表示可穿戴装置的实际观看方向的所述可穿戴装置的空间方向。所述可穿戴装置的所述空间方向用于从包括单视图图像的多视图图像中选择一组单视图图像。使显示器图像呈现在所述可穿戴装置的装置显示器上。所述显示器图像表示从所述可穿戴装置的所述实际观看方向观看的单视图图像。基于所述可穿戴装置的所述空间方向和所述一组单视图图像，构建所述显示器图像。

Description

用于调适可穿戴装置的视频图像的方法和设备
技术领域
本发明大体上涉及视频图像，且具体来说，涉及调适可穿戴装置的视频图像。
背景技术
可穿戴装置可用于广泛多种显示器应用，例如与虚拟现实(virtual reality，VR)和扩增现实(augmented reality，AR)、混合现实(mixed reality，MR)、智真(telepresence)、远程医疗(telemedicine)、3D视频、全向视频等有关的那些应用。为了在观看者的体验中增加动态性和互动性，此类应用可直接或间接地监测可穿戴装置的空间位置和观看方向，所述空间位置和观看方向由可穿戴装置或其观看者的物理移动所产生。显示器应用可基于可穿戴装置的空间位置和观看方向而进一步调适所显示的图像。
然而，支持在某一空间分辨率下，在任何时间在不同观看方向上用最高视力观看视频图像的顺畅体验的视频数据的数量可能极大。大量视频数据的传递在许多可操作情形中可能难以进行，尤其是在例如电影院等的位置，其中可能会包括众多可穿戴装置或观看者。
此外，为了处理大量视频数据，可穿戴装置可能会在可穿戴装置变成新观看方向的第一时间和根据新观看方向在可穿戴装置中呈现高质量图像内容的稍晚的第二时间之间产生显著时间滞后(例如，长于12到15毫秒等)。此时间滞后可易于被观看者感知，并且使观看者体验变差。
在此部分中描述的方法是可以实行的方法，但不一定是先前已经构想或实行过的方法。因此，除非另有指示，否则仅凭借在此部分中包含方法，不应该假设在此部分中描述的所有方法都是现有技术。类似地，除非另有指示，否则基于此部分，不应该假设在任何现有技术中已经认识到相对于一或多个方法所识别的问题。
发明内容
一方面，本发明提供一种方法，包括：确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示可穿戴装置在第一时间点的实际观看方向；使用表示可穿戴装置的实际观看方向的可穿戴装置的空间方向从包括多个单视图图像的多视图图像中选择对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，多视图图像中的多个单视图图像中的每一单视图图像：(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图；使显示器图像呈现在可穿戴装置的装置显示器上，所述显示器图像表示如在第一时间点从可穿戴装置的实际观看方向观看的单视图图像，至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，构建所述显示器图像。
另一方面，本发明提供一种方法，包括：确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示可穿戴装置在第一时间点的实际观看方向；接收对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，可穿戴装置的空间方向用于从包括多个单视图图像的多视图图像中选择单视图图像到所述一组两个或两个以上单视图图像中，多视图图像中的多个单视图图像中的每一单视图图像：(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图；至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，构建显示器图像，所述显示器图像呈现在可穿戴装置的装置显示器上，所述显示器图像表示如在第一时间点从可穿戴装置的实际观看方向观看的单视图图像。
另一方面，本发明提供一种用于执行上述方法的设备。
另一方面，本发明提供一种用于执行上述方法的系统。
另一方面，本发明提供一种存储软件指令的非暂时性计算机可读存储媒体，所述软件指令在由一或多个处理器执行时执行上述方法。
另一方面，本发明提供一种包括一或多个处理器和一个或多个存储媒体的计算装置，所述存储媒体存储指令集，所述指令集在由一或多个处理器执行时执行上述方法。
附图说明
借助于实例而非限制在附图的图中说明本发明，且附图中相似参考标号指代类似元件，且其中：
图1A到图1C说明涉及基于图像集合的图像重构的娱乐系统的实例配置；
图2A说明通过可穿戴装置上的图像传感器进行的实例由内而外跟踪；图2B说明从多视图图像产生的实例图像集合；图2C说明可穿戴装置的左和右空间方向的实例确定；
图3A说明将在可穿戴装置的装置显示器上呈现的显示器图像的实例确定；图3B说明基于图像集合中的不同图像子集的单视图图像的实例图像重构；
图4A和图4B说明实例过程流；以及
图5说明在其上可实施如本文中所描述的计算机或计算装置的实例硬件平台。
具体实施方式
本文中描述涉及调适可穿戴装置的视频图像的实例实施例。在以下描述中，出于解释的目的，阐述许多特定细节以便提供对本发明的透彻理解。然而，很明显，可在没有这些特定细节的情况下实践本发明。在其它情况下，并未详尽地描述熟知的结构和装置，以免不必要地封闭、模糊或混淆本发明。
本文中根据以下提纲描述实例实施例：
1.综述
2.实例娱乐系统
3.外部装置跟踪
4.由内而外的装置跟踪
5.图像集合产生
6.基于图像集合的图像重构
7.利用低带宽传输图像集合
8.实例过程流
9.实施机构——硬件概述
10.等效方案、扩展方案、替代方案和杂项
1.综述
此概述呈现本发明的实例实施例的一些方面的基本描述。应注意，此概述不是对实例实施例的各方面的深入或详尽的总结。此外，应注意，此概述并非意图被理解为识别实例实施例的任何特别显著的方面或元件，也并非意图被理解为描绘实例实施例(具体来说)或本发明(一般来说)的任何范围。此概述仅以经精简和简化格式呈现涉及实例实施例的一些概念，并且应理解为仅是对随后的实例实施例的更详细描述的概念性序言。应注意，尽管本文中论述单独的实施例，但是本文中论述的实施例和/或部分实施例的任何组合可进行组合以形成其它实施例。
如本文中所描述的技术可以与3D技术一起使用以提供娱乐体验。这些娱乐体验可利用共享显示器来提供，例如与以下中的任一个有关的那些显示器：杜比3D、RealD、基于线性极化的3D、基于圆极化的3D、基于光谱空间分离的3D等。娱乐体验还可利用可移动装置显示器来提供，例如与以下有关的那些可移动装置显示器：可穿戴装置上的图像投影仪、AR显示器、HoloLens显示器、Magic Leap显示器、混合现实(Mixed Reality，MR)显示器、张量显示器、立体显示器、光场(light field，LF)显示器、Immy显示器、Meta显示器等。实例可穿戴装置和装置显示器可见于阿吉特·尼南(Ajit Ninan)和尼尔·曼明(Neil Mammen)在2017年4月11日提交的第__/___,___号美国临时专利申请(代理人案号：D17013USP1；60175-0303)，申请名称为“扩增3D娱乐系统(AUGMENTED3D ENTERTAINMENT SYSTEMS)”，所述申请的全部内容由此以引用的方式并入，如同在本文中完整阐述一般。
多视图图像可包括相对较大数量的视频数据，且需要相对较大的网络带宽来进行从服务器到客户端装置的流式传输。这在与实时视频应用、近实时视频应用、非实时视频应用、VR应用、AR应用、远程呈现应用、汽车娱乐应用、头盔式显示器应用、抬头显示器应用、比赛、2D显示器应用、3D显示器应用、多视点显示器应用等有关的低延迟图像处理/呈现操作中尤其具有挑战性。
如本文中所描述的技术可用于最小化用于对视频流服务器和视频流客户端之间的多视图图像数据进行流式传输的带宽使用和网络延迟。可穿戴装置的空间位置和/或空间方向可通过以下各项中的一或多个实时或近实时地监测或跟踪：外部装置跟踪器、内部装置跟踪器、由内而外的装置跟踪器、由外而内的装置跟踪器等。
可穿戴装置的空间位置和/或空间方向可被提供到上游装置(例如，视频流服务器等)，以从多视图图像中的相对众多的单视图图像中选择单视图图像的有限集合。不是将多视图图像的所有图像数据发送到下游客户端装置，而是将单视图图像的有限集合发送到下游客户端装置。
单视图图像的有限集合可表示多视图图像的稀疏光场图像表示。稀疏光场图像覆盖在可穿戴装置的实际空间方向周围的两个、三个、四个或更多个观看方向。通过(例如，端点、上游装置执行、接收方执行等)图像内插/重构，单视图图像的有限集合中的单视图图像可用于产生对应于可穿戴装置的实际空间方向的单视图图像。
另外，任选地或可替代地，基于图像集合的图像内插/重构操作可经扩展以分别针对可穿戴装置的左视图和右视图产生单独的单视图图像。
从上游装置传输到下游装置的图像集合可承载具有阶层式图像质量水平的图像数据。这些图像质量水平对应于图像相关特性的经区分水平，所述特性例如空间分辨率、帧速率、动态范围、色域等。
仅表示观看者的整个视野中的极小区域的聚焦区域可被给定最高质量图像数据，而观看者的视野中的其它区域可被给定相对较低质量的图像数据，所述相对较低质量的图像数据相比于具有最高可用质量的图像数据已大大压缩和/或降取样。
例如，图像集合可包含两个或两个以上观看方向的相对较低空间分辨率的经降取样图像子集。相对较低空间分辨率的经降取样图像中的每一个覆盖可穿戴装置的装置显示器所支持的视野。同时，图像集合可包含两个或两个以上观看方向的相对较高空间分辨率的图像子集。相对较高空间分辨率的图像中的每一个覆盖与观看者实时或近实时的视线方向一致的聚焦区域。
不是发送图像集合中具有相对较大的数据体积的所有最高图像质量单视图图像，而是将图像集合中具有小得多的数据体积的(例如，经降取样、大小经压缩、分辨率经压缩等)图像发送到下游装置，以基于对图像集合中的图像数据执行的图像内插/重构而产生和呈现显示器图像。
因为人类视觉系统对聚焦区域之外的空间视敏度相对不敏感，所以如本文中所描述的技术可用于最小化网络带宽要求，从而符合严格的延迟要求，且同时支持相对不含视觉假影、生理性不适等的顺畅观看体验，所述视觉假影、生理性不适等与不采用如本文中所描述的技术的一些其它方法相关联。与所述其它方法相关联的视觉假影、生理性不适等可包含但不一定限于以下中的任一个：例如不能够维持平稳追踪的动作伪影、转换成人类视觉所感知的高分辨率图像的延长滞后、人类视觉的聚焦观看区域内可辨的低分辨率图像、用户的自然视力相关的直觉和向用户实际呈现的全向视频内容之间的失配、当观看者移动观看角度时图像的视觉清晰性的突然下降、从低分辨率到高分辨率的可感知的缓慢转变、当观看者移动观看角度时示出先前被遮挡的图像细节的模糊图像等。
本文中所描述的实例实施例涉及图像重构。确定可穿戴装置的空间方向。可穿戴装置的空间方向表示在第一时间点可穿戴装置的实际观看方向。表示可穿戴装置的实际观看方向的可穿戴装置的空间方向用于从包括多个单视图图像的多视图图像中选择对应于在第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像。多视图图像中的多个单视图图像中的每一单视图图像：(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图。使显示器图像呈现在可穿戴装置的装置显示器上。显示器图像表示如在第一时间点从可穿戴装置的实际观看方向观看的单视图图像。至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，构建显示器图像。
本文中所描述的实例实施例涉及图像重构。确定可穿戴装置的空间方向。可穿戴装置的空间方向表示在第一时间点可穿戴装置的实际观看方向。接收对应于在第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像。可穿戴装置的空间方向用于从包括多个单视图图像的多视图图像中选择单视图图像到所述一组两个或两个以上单视图图像中。多视图图像中的多个单视图图像中的每一单视图图像：(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图。至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，构建显示器图像。显示器图像呈现在可穿戴装置的装置显示器上。显示器图像表示如在第一时间点从可穿戴装置的实际观看方向观看的单视图图像。
在一些实例实施例中，如本文中所描述的机构形成媒体处理系统的一部分，包含但不限于以下中的任一个：基于云的服务器、移动装置、虚拟现实系统、扩增现实系统、抬头显示装置、头盔式显示器装置、CAVE类系统、墙壁大小的显示器、视频游戏装置、显示装置、媒体播放器、媒体服务器、媒体制作系统、相机系统、基于住宅的系统、通信装置、视频处理系统、视频编解码器系统、播音室系统、流媒体服务器、基于云的内容服务系统、手持式装置、游戏机、电视、电影院显示器、笔记本电脑、上网本、平板电脑、蜂窝无线电话、电子书阅读器、销售点终端、台式电脑、计算机工作站、计算机服务器、计算机查询一体机或各种其它种类的终端和媒体处理单元。
所属领域的技术人员将容易清楚对本文中所描述的优选实施例和通用原理及特征的各种修改。因此，本公开并非意在限于所示出的实施例，而是被赋予与本文中所描述的原理和特征一致的最广范围。
2.实例娱乐系统
图1A说明(例如，扩增等)娱乐系统的实例配置100，其在例如电影院、住宅等的3D空间126中包括图像内容接收器110、装置图像呈现器108-1、一或多个可穿戴装置，例如观看者112-1的可穿戴(图像呈现)装置102-1等。图像内容接收器(110)包括多视图(multi-view，MV)图像接收器152、图像集合产生器156、数据存储库154等。装置图像呈现器(108-1)包括图像集合接收器160、装置跟踪器122-1、显示器图像产生器162等。
如图1A中所描绘的组件/装置中的一些或全部可通过一或多个机械组件、一或多个电光组件、一或多个计算装置、模块、单元等实施为软件、硬件、软件和硬件的组合等。如图1A中所描绘的组件/装置中的一些或全部可以通信方式(例如，以无线方式，利用有线连接等)与如图1A中所描绘的一些其它组件/装置或与图1A中未描绘的其它组件/装置耦合。
在一些实施例中，图像内容接收器(110)包括软件、硬件、软件和硬件的组合等，并且经配置以从图像源接收输入图像内容114，所述图像源例如基于云的图像源、结合VR应用、AR应用、远程呈现应用、显示器应用等的相机系统；将输入图像流(114)解码成一或多个输入多视图图像(例如，输入多视图图像的序列等)；等。
另外，任选地或可替代地，在一些实施例中，不是从外部图像源接收一或多个输入多视图图像，而是多视图图像接收器(152)从数据存储库(154)接收或获取一或多个输入多视图图像，所述数据存储库(154)表示一或多个数据库、一或多个数据存储单元/模块/装置等，并且经配置以支持相对于输入多视图图像中的一些或全部等的操作，例如存储、更新、获取、删除等。
在一些实施例中，图像集合产生器(156)包括软件、硬件、软件和硬件的组合等，并且经配置以通过来自装置图像呈现器(108-1)的(例如，双向等)数据流158接收如装置跟踪器(122-1)所跟踪/监测的可穿戴装置(102-1)的位置和方向数据；建立/确定可穿戴装置(102-1)随着时间推移相对于在3D空间(126)中静止的参考坐标系的空间位置和/或空间方向；根据可穿戴装置(102-1)的空间位置和/或空间方向，针对可穿戴装置(102-1)从一或多个多视图图像产生一或多个图像集合；将一或多个图像集合编码成视频流；通过数据流(158)向装置图像呈现器(108-1)提供/传输视频流；等。
另外，任选地或可替代地，图像处理操作中的一些或全部，例如图像旋转确定、图像对准分析、场景切割检测、坐标系之间的变换、时间衰减、显示器管理、内容映射、色彩映射、视野管理等，可通过图像内容接收器(110)执行。
图像内容服务器(110)可用于支持实时视频应用、近实时视频应用、非实时视频应用、VR应用、AR应用、远程呈现应用、汽车娱乐应用、头盔式显示器应用、抬头显示器应用、比赛、2D显示器应用、3D显示器应用、多视图显示器应用等。
观看者(112-1)可进行移动以使得可穿戴装置(102-1)的空间位置和空间方向在运动时间发生改变。在一些实施例中，装置跟踪器(122-1)包括软件、硬件、软件和硬件的组合等，并且经配置以跟踪/监测可穿戴装置(102-1)的空间位置和/或空间方向；基于可穿戴装置(102-1)的空间位置和/或空间方向，产生可穿戴装置(102-1)的位置和方向数据；等。
可穿戴装置(102-1)的位置和方向数据可具有相对精细的时间分辨率(例如，每毫秒、每五毫秒等)。可穿戴装置(102-1)的位置和方向数据可供图像内容接收器(110)使用以在给定时间分辨率(例如，每毫秒、每五毫秒等)下建立/确定可穿戴装置(102-1)的空间位置和/或空间方向。
如本文中所描述的装置跟踪器的实例可包含但不一定仅限于以下中的任一个：外部装置跟踪器、由外而内的装置跟踪器、由内而外的装置跟踪器等。借助实例但非限制，如图1A中所说明的配置(100)中的装置跟踪器(122-1)表示内部装置跟踪器、由内而外的装置跟踪器中的一个，其作为可穿戴装置(102-1)的一部分，并且与可穿戴装置(102-1)处于相同位置、与可穿戴装置(102-1)共同移动等。装置跟踪器(122-1)用以跟踪可穿戴装置(102-1)在3D空间(126)中的空间坐标。
3D空间(126)的实例可包含但不一定仅限于以下中的任一个：电影院、剧院、音乐厅、礼堂、游乐园、酒吧、住宅、房间、展厅、场馆、船、飞机等。3D空间(126)可以是三维体积，其中的空间位置可以相对于3D空间(126)静止的三维空间坐标系(例如，参考坐标系、世界坐标系等)表示。
借助于说明但非限制，用于表示3D空间(126)中的空间位置的参考三维坐标系可以是3D空间(126)的右上角中描绘的参考笛卡尔坐标系。图1A仅描绘参考笛卡尔坐标系的两个实例空间维度，即x轴和z轴；参考笛卡尔坐标系可包括另一空间维度，即从图1A指向外部的同时与x和z轴正交的y轴。参考笛卡尔坐标系可包括坐标系原点，所述坐标系原点位于如图1A中所示的表示为“p”的参考空间位置处。参考空间位置“p”可选自相对于3D空间(126)静止的任何空间位置。
可穿戴装置(102-1)可为但不一定仅限于可在相对于可穿戴装置(102-1)静止的装置静止三维空间坐标系中表示的刚体装置空间位置。装置静止笛卡尔坐标系可用于表示可穿戴装置(102-1)上的空间位置和空间方向。装置静止笛卡尔坐标系包括三个空间维度，所述三个空间维度由包含如图1A中所示的x1轴和z1轴以及在图1A中未描绘的同时与x1和z1轴正交的y1轴的相应轴线表示。装置静止笛卡尔坐标系可包括位于如图1A中所示的表示为“p1”的装置静止空间位置处的坐标系原点。装置静止空间位置“p1”可选自相对于可穿戴装置(102-1)静止的空间位置。在一些实施例中，如果存在作为可穿戴装置(102-1)中的对称点的空间位置，那么此类空间位置可被选为装置静止空间位置“p1”以用作装置静止笛卡尔坐标系的坐标原点。
在一些实施例中，装置跟踪器(122-1)反复地(例如，实时、近实时、在严格的时序预算内、每1毫秒、每2毫秒等)跟踪或确定在多个时间点中的给定时间点可穿戴装置(102-1)在3D空间(126)的参考笛卡尔坐标系中的一或多个空间坐标。在一些实施例中，可穿戴装置(102-1)的一或多个空间坐标可以参考3D空间(126)中的参考笛卡尔坐标系由相对于可穿戴装置(102-1)静止的装置静止空间位置“p1”的一或多个空间坐标表示。
可穿戴装置(102-1)的装置静止空间位置“p1”随着时间推移的空间坐标构成可表示为时间函数的可穿戴装置(102-1)的空间轨迹。可穿戴装置(102-1)的一或多个运动特性的任何组合可根据表示可穿戴装置(102-1)的空间轨迹的这些时间函数确定。
例如，可穿戴装置(102-1)相对于在3D空间(126)中静止的参考点——例如参考笛卡尔坐标系的原点“p”——的线性位置/位移(随着时间推移)可根据可穿戴装置(102-1)的空间轨迹(由如先前所提及的时间函数表示)确定或导出(例如，作为向量差等)。另外，任选地或可替代地，可穿戴装置(102-1)相对于在3D空间(126)中静止的参考点的线性速度、速率、加速度等(随着时间推移)可根据可穿戴装置(102-1)的空间轨迹确定或导出(例如，作为一阶导数、作为二阶导数等)。
类似地，可穿戴装置(102-1)的角位置/位移(例如，a1等)(随着时间推移)可根据装置静止坐标系(例如，x1、y1、z1等)相对于参考笛卡尔坐标系(例如，x、y、z等)的角位置/位移确定或导出。
另外，任选地或可替代地，可穿戴装置(102-1)相对于3D空间(126)中的参考坐标系的线性或角速度、速率、加速度等(随着时间推移)可根据可穿戴装置(102-1)的线性或角位置/位移(例如，p1、a1等)确定或导出(例如，作为一阶导数、作为二阶导数等)。
装置图像呈现器(108-1)的实例可包含但不一定仅限于以下中的任一个：中心图像呈现器、分布式图像呈现器、实施为可穿戴装置(102-1)的一部分的图像呈现器、在可穿戴装置(102-1)外部的图像呈现器、部分实施为可穿戴装置(102-1)的一部分且部分实施在可穿戴装置(102-1)外部的单独装置中的图像呈现器等。
在一些实施例中，装置图像呈现器(108-1)中的图像集合接收器(160)包括软件、硬件、软件和硬件的组合等，并且经配置以通过到图像内容接收器(110)的数据流(158)发送如装置跟踪器(122-1)所跟踪/监测的可穿戴装置(102-1)的位置和方向数据；接收编码有一或多个图像集合的视频流，所述一或多个图像集合根据可穿戴装置(102-1)的位置和方向数据从一或多个多视图图像产生；等。
在一些实施例中，显示器图像产生器(162)：从一或多个图像集合产生一或多个装置显示器图像，所述一或多个图像集合根据可穿戴装置(102-1)的位置和方向数据从可穿戴装置(102-1)的一或多个多视图图像产生；利用可穿戴装置(102-1)向观看者(112-1)呈现一或多个装置显示器图像；等。装置图像呈现器(108-1)可利用可穿戴装置(例如，102-1等)通过一或多个数据连接传送控制信息、状态信息、位置数据、图像数据，例如装置图像、元数据等。实例数据连接可包含但不限于无线数据连接、有线数据连接、基于射频的数据连接、蜂窝式数据连接、Wi-Fi数据连接、基于红外的数据连接、通过HDMI缆线的数据连接、通过光缆的数据连接、通过到座椅/扶手/地板等的高速串行接口(High-Speed SerialInterface，HSSI)、高清串行数字接口(High-Definition Serial Digital Interface，HD-SDI)、12G-SDI、USB缆线的数据连接等等。
另外，任选地或可替代地，图像呈现操作中的一些或全部，例如观看方向跟踪、运动检测、位置检测、旋转确定、坐标系之间的变换、时变图像参数的时间衰减、图像参数的任何其它时间操控、显示器管理、内容映射、色调映射、色彩映射、视野管理、预测、通过鼠标的导航、轨迹球、键盘、步伐跟踪器、实际身体动作等，可通过装置图像呈现器(108-1)执行。
装置图像呈现器(108-1)可用于支持实时视频应用、近实时视频应用、非实时视频应用、VR应用、AR应用、远程呈现应用、汽车娱乐应用、头盔式显示器应用、抬头显示器应用、比赛、2D显示器应用、3D显示器应用、多视图显示器应用等。
如本文中所描述的技术可实施在多种系统架构中。如本文中所描述的一些或所有图像处理操作可通过以下中的一或多个实施：基于云的视频流服务器、与可穿戴装置搭配或并入到可穿戴装置中的视频流服务器、视频流客户端、图像内容接收器、图像呈现器等。基于一或多个因素，例如视频应用的类型、带宽/位速率预算、接收方装置的计算能力、资源、负载等、视频流服务器的计算能力、资源、负载等、图像内容接收器、图像呈现器、基础计算机网络等，一些图像处理操作可通过图像内容接收器执行，而一些其它图像处理操作可通过图像呈现器或甚至通过可穿戴装置等执行。
3.外部装置跟踪
图1B说明(例如，扩增等)娱乐系统的实例配置100-1，其在例如电影院、住宅等的3D空间(例如，126等)中包括图像内容接收器(例如，110等)、装置图像呈现器108-2、装置跟踪器122、一或多个可穿戴装置(例如第一观看者112-1的第一可穿戴(图像呈现)装置(例如，102-1等)、第二观看者112-2的第二可穿戴(图像呈现)装置(例如，102-2等))等。装置图像呈现器(108-2)包括图像集合接收器(例如，160等)、显示器图像产生器(例如，162等)等。
如图1B中所描绘的组件/装置中的一些或全部可通过一或多个机械组件、一或多个电光组件、一或多个计算装置、模块、单元等实施为软件、硬件、软件和硬件的组合等。如图1B中所描绘的组件/装置中的一些或全部可以通信方式(例如，以无线方式，利用有线连接等)与如图1B中所描绘的一些其它组件/装置或与图1B中未描绘的其它组件/装置耦合。
借助实例但非限制，如图1B中所说明的配置(100-1)中的装置跟踪器(122)表示外部装置跟踪器、由外而内的装置跟踪器、可穿戴装置(102-1和102-2)外部的装置跟踪器、远离可穿戴装置(102-1和102-2)的装置跟踪器、远离可穿戴装置(102-1和102-2)的观看者(112-1和112-2)的装置跟踪器等中的一个。例如图像内容接收器(110)、装置图像呈现器(108-2)等的其它装置可能具有或可能不具有它们自身的装置跟踪能力。在一些实施例中，这些其它装置中的一些或全部依赖于装置跟踪器(122)来跟踪或监测可穿戴装置(102-1和102-2)在3D空间(126)中的空间位置和/或空间方向。实例外部装置跟踪器可见于阿吉特·尼南(Ajit Ninan)和尼尔·曼明(Neil Mammen)在2017年4月11提交的第__/___,___号美国临时专利申请(代理人案号：D17011USP1；60175-0301)，申请名称为“无源多可穿戴装置跟踪(PASSIVE MULTI-WEARABLE-DEVICES TRACKING)”，所述申请的全部内容由此以引用的方式并入，如同在本文中完整阐述一般。
在一些实施例中，结合部署在3D空间(126)中的跟踪传感器组合件(例如，124等)操作的装置跟踪器(122)反复地(例如，实时、近实时、在严格的时序预算内、每1毫秒、每2毫秒等)跟踪或确定可穿戴装置(102-1和102-2)中的每一个在给定时间点在3D空间(126)的参考笛卡尔坐标系中的一或多个空间坐标。在一些实施例中，可穿戴装置(102-1和102-2)中的每一个的一或多个空间坐标可以由参考参考笛卡尔坐标系相对于每一个此类可穿戴装置(102-1或102-2)静止的装置静止空间位置(表示为“p1”或“p2”)的一或多个空间坐标表示。
可穿戴装置(102-1或102-2)中的每一个的装置静止空间位置(“p1”或“p2”)的空间坐标构成每一个此类可穿戴装置(102-1或102-2)的空间轨迹。空间轨迹可表示为时间函数。可穿戴装置(102-1或102-2)中的每一个的一或多个运动特性的任何组合可根据表示每一个此类可穿戴装置(102-1或102-2)的空间轨迹的时间函数确定。另外，任选地或可替代地，可穿戴装置(102-1或102-2)中的每一个相对于3D空间(126)中的参考坐标系的线性或角速度、速率、加速度等(随着时间推移)可根据每一个此类可穿戴装置(102-1或102-2)的线性或角位置/位移(例如，p1、a1、p2、a2等)确定或导出(例如，作为一阶导数、作为二阶导数等)。
图像内容接收器(110)可从图像源接收输入图像内容(例如，114等)，所述图像源例如基于云的图像源、结合VR应用、AR应用、远程呈现应用、显示器应用等的相机系统；将输入图像流(114)解码成一或多个输入多视图图像(例如，输入多视图图像的序列等)；等。另外，任选地或可替代地，在一些实施例中，不是从外部图像源接收一或多个输入多视图图像，而是图像内容接收器(110)可以从内部数据存储库(154)接收或获取一或多个多视图图像中的一些或全部。
在一些实施例中，图像内容接收器(110)通过来自装置图像呈现器(108-2)的(例如，双向等)数据流158接收如装置跟踪器(122)所跟踪/监测的可穿戴装置(102-1或102-2)中的每一个的位置和方向数据；建立/确定每一个此类可穿戴装置(102-1或102-2)随着时间推移相对于参考笛卡尔坐标系的空间位置和/或空间方向；根据每一个此类可穿戴装置(102-1或102-2)的空间位置和/或空间方向，针对可穿戴装置(102-1或102-2)中的每一个从一或多个多视图图像产生一或多个图像集合；将每一个此类可穿戴装置(102-1或102-2)的一或多个图像集合编码成相应的视频流；通过数据流(158)(向装置图像呈现器(108-2))提供/传输可穿戴装置的相应视频流；等。
在一些实施例中，如图像内容接收器(110)通过来自装置图像呈现器(108-2)的数据流(158)接收的可穿戴装置(102-1或102-2)中的每一个的位置和方向数据最初由装置跟踪器(122)通过数据流166-2提供到装置图像呈现器(108-2)。在一些其它实施例中，不是通过数据流(158)从装置图像呈现器(108-2)接收可穿戴装置(102-1或102-2)中的每一个的位置和方向数据，而是图像内容接收器(110)通过来自装置跟踪器(122)的(例如，双向等)数据流166-1直接接收如装置跟踪器(122)所跟踪/监测的可穿戴装置(102-1或102-2)中的每一个的位置和方向数据。
观看者(例如，112-1、112-2等)可进行移动以使得可穿戴装置(例如，102-1、102-2等)的空间位置和空间方向在运动时间发生改变。在一些实施例中，装置跟踪器(122)基于可穿戴装置(102-1或102-2)的空间位置和/或空间方向而产生可穿戴装置(102-1或102-2)的位置和方向数据。可穿戴装置(102-1或102-2)的位置和方向数据可具有相对精细的时间分辨率(例如，每毫秒、每五毫秒等)。可穿戴装置(102-1或102-2)的位置和方向数据可供图像内容接收器(110)使用以在给定时间分辨率(例如，每毫秒、每五毫秒等)下建立/确定可穿戴装置(102-1或102-2)的空间位置和/或空间方向。
装置图像呈现器(108-2)的实例可包含但不一定仅限于以下中的任一个：中心图像呈现器、分布式图像呈现器、实施为可穿戴装置(102-1)的一部分的图像呈现器、在可穿戴装置(102-1)外部的图像呈现器、部分实施为可穿戴装置(102-1)的一部分且部分实施在可穿戴装置(102-1)外部的单独装置中的图像呈现器等。
在一些实施例中，装置图像呈现器(108-2)可仅利用单个可穿戴装置(例如，102-1等)，或同时利用超过一个可穿戴装置(例如，102-1和102-2等)操作。
在一些实施例中，装置图像呈现器(108-2)接收可穿戴装置(102-1和102-2)的视频流。视频流中的每一个编码有根据可穿戴装置(102-1和102-2)中的相应可穿戴装置(102-1或102-2)的位置和方向数据从相应可穿戴装置(102-1或102-2)的一或多个多视图图像产生的一或多个图像集合。
在一些实施例中，显示器图像产生器(162)从一或多个图像集合产生一或多个装置显示器图像，所述一或多个图像集合根据可穿戴装置(102-1和102-2)中的相应可穿戴装置(102-1或102-2)的位置和方向数据从相应可穿戴装置(102-1或102-2)的一或多个多视图图像产生；利用相应的可穿戴装置(102-1或102-2)向观看者(112-1或112-2)呈现一或多个显示器图像；等。装置图像呈现器(108-2)可利用可穿戴装置(例如，102-1、102-2等)通过一或多个数据连接传送控制信息、状态信息、位置数据、图像数据，例如装置图像、元数据等。实例数据连接可包含但不限于无线数据连接、有线数据连接、基于射频的数据连接、蜂窝式数据连接、Wi-Fi数据连接、基于红外的数据连接、通过HDMI缆线的数据连接、通过光缆的数据连接、通过到座椅/扶手/地板等的高速串行接口(High-Speed Serial Interface，HSSI)、高清串行数字接口(High-Definition Serial Digital Interface，HD-SDI)、12G-SDI、USB缆线的数据连接等等。
另外，任选地或可替代地，图像呈现操作中的一些或全部，例如观看方向跟踪、运动检测、位置检测、旋转确定、坐标系之间的变换、时变图像参数的时间衰减、图像参数的任何其它时间操控、显示器管理、内容映射、色调映射、色彩映射、视野管理、预测、通过鼠标的导航、轨迹球、键盘、步伐跟踪器、实际身体动作等，可通过装置图像呈现器(108-2)执行。
装置图像呈现器(108-2)可用于支持实时视频应用、近实时视频应用、非实时视频应用、VR应用、AR应用、远程呈现应用、汽车娱乐应用、头盔式显示器应用、抬头显示器应用、比赛、2D显示器应用、3D显示器应用、多视图显示器应用等。
图1C说明扩增娱乐系统的实例配置100-2，其在例如电影院、住宅等的3D空间(例如，126等)中包括电影院图像呈现器106、装置图像呈现器(例如，108-2等)、图像内容接收器(例如，110等)、电影院显示器104、一或多个可穿戴装置，例如可穿戴(图像呈现)装置102等。如图1C中所描绘的组件/装置中的一些或全部可通过一或多个机械组件、一或多个电光组件、一或多个计算装置、模块、单元等实施为软件、硬件、软件和硬件的组合等。如图1C中所描绘的组件/装置中的一些或全部可以通信方式(例如，以无线方式，利用有线连接等)与如图1C中所描绘的一些其它组件/装置或与图1C中未描绘的其它组件/装置耦合。
在一些实施例中，可穿戴装置(102)可例如通过观看者(112)驱动以进行相对于3D空间(126)中的参考笛卡尔坐标系的相对运动。这些相对运动可以由以下中的一或多个的任何组合表示：线性位置/位移、角位置/位移、线性速度/速率、角速度/速率、线性加速度、旋转加速度等。
可穿戴装置(102)的特定空间位置和特定空间方向的特征一般可在于六个空间维度，其中三个与平移有关，其它三个与旋转有关。在一些实施例中，用于表征可穿戴装置(102)的特定空间位置和特定空间方向的六个空间维度相对于彼此完全独立。在这些实施例中，可穿戴装置(102)具有六个自由度。然而，在一些实施例中，由于位置或角度约束，有可能会丧失或从六个自由度中移除一或多个自由度。
在一些实施例中，结合部署在3D空间(126)中的跟踪传感器组合件(例如，124等)操作的装置跟踪器(122)监测例如可穿戴装置(102)等的可穿戴装置在3D空间(126)中的空间位置和空间方向。
在一些实施例中，装置跟踪器(122)跟踪或确定可穿戴装置(包含但不限于可穿戴装置(102))中的每一个在给定时间点(例如，在某一时间间隔内、在3D电影的整个持续时间内等)的空间位置和空间方向。
借助实例但非限制，在多层多视图视频信号中承载输入图像内容(114)，所述多层多视图视频信号包括用于呈现一或多个多视图图像的电影院图像层和一或多个装置图像层。图像内容接收器(110)可将多层多视图视频信号或其中的输入图像内容(114)解码或解复用成电影院图像层和一或多个装置图像层。用于扩增娱乐系统的实例图像层可见于阿吉特·尼南(Ajit Ninan)、尼尔·曼明(Neil Mammen)和蒂龙·布朗(Tyrome Brown)在2017年4月11日提交的第__/___,___号美国临时专利申请(代理人案号：D16152BUSP1；60175-0298)，申请名称为分层式扩增娱乐体验(LAYERED AUGMENTED ENTERTAINMENTEXPERIENCES)”，所述申请的全部内容由此以引用的方式并入，如同在本文中完整阐述一般。
根据电影院图像层，图像内容接收器(110)识别或产生一或多个多视图单层电影院图像。一或多个多视图单层电影院图像可描绘由一或多个多视图(例如，非分层式等)图像描绘的多个视觉对象(例如，118、120等)中的一或多个视觉对象(例如，118等)的第一适当子集，电影院图像层和装置图像层中的单层图像从所述一或多个多视图导出。多视图单层电影院图像可用于导出将呈现在电影院显示器(104)上的电影院显示器图像。
根据一或多个装置图像层，图像内容接收器(110)识别或产生一或多个多视图单层装置图像。一或多个多视图单层装置图像可描绘由一或多个多视图图像描绘的多个视觉对象(例如，118、120等)中的一或多个视觉对象(例如，120等)的一或多个适当子集，电影院图像层和装置图像层中的单层图像从所述一或多个多视图图像导出。多视图单层装置图像可用于选择将包含于图像集合中的图像。图像集合可随后用于导出将呈现在3D空间(126)中存在的一或多个可穿戴装置(例如，102等)的一或多个装置显示器上的装置显示器图像。
在一些实施例中，图像内容接收器(110)向电影院图像呈现器(106)发送或另外提供多视图单层电影院图像。此外，图像内容接收器(110)向装置图像呈现器(108-2)发送或另外产生一或多个图像集合。一或多个图像集合中的每一个可包括选自一或多个多视图单层装置图像的多视图单层装置图像的子集。
基于单层电影院图像，电影院图像呈现器(106)可在电影院显示器(104)上呈现电影院显示器图像。电影院显示器图像可包括2D电影院图像或3D电影院图像，所述3D电影院图像包括左视图电影院图像和右视图电影院图像。
在一些实施例中，装置图像呈现器(108-2)从装置跟踪器(122)接收可穿戴装置(102)随着时间推移(例如，在某一时间间隔内、在3D电影的整个持续时间内等)的空间位置和空间方向。基于可穿戴装置(102)的空间位置和空间方向，装置图像呈现器(108-2)可确定可穿戴装置(102)和电影院显示器(104)之间的空间关系。在一些实施例中，这些空间关系可以由以下中的一或多个表示：可穿戴装置(102)相对于电影院显示器(104)或3D空间(126)中的参考笛卡尔坐标系的线性位置/位移、角位置/位移、线性或角速度、线性或角速率、线性或角加速度等。
例如，基于从一或多个第二多视图单层图像产生的一或多个图像集合，装置图像呈现器(108-2)可确定包括一或多个左视图装置图像和一或多个右视图装置图像的一或多个3D装置图像。装置图像呈现器(108-2)或可穿戴装置(102)可对一或多个左视图装置图像和一或多个右视图装置图像执行空间变换——在呈现这些图像之前——基于可穿戴装置(102)和电影院显示器(104)之间的空间关系。
基于如通过空间变换变换的左视图装置图像和右视图装置图像，装置图像呈现器(108-2)可使可穿戴装置(102)在可穿戴装置(102)的装置显示器116上呈现左视图装置显示器图像和右视图装置显示器图像。
电影院显示器(104)的实例可以是电影院中的屏幕画面器、家庭娱乐系统中的显示器等。电影院显示器(104)在3D空间(126)中可为静止的。
在一些实施例中，装置显示器(116)不是物理显示器，而是图像平面或通过可穿戴装置(102)中的成像器发出的光线所形成的虚拟显示器。实例可穿戴装置和装置显示器可见于阿吉特·尼南(Ajit Ninan)和尼尔·曼明(Neil Mammen)在2017年4月11日提交的第__/___,___号美国临时专利申请(代理人案号：D17013USP1；60175-0303)，申请名称为“扩增3D娱乐系统(AUGMENTED 3D ENTERTAINMENT SYSTEMS)”，所述申请的全部内容由此以引用的方式并入，如同在本文中完整阐述一般。
在一些实施例中，如在电影院显示器(104)上的电影院显示器图像中呈现的视觉对象(例如，118等)的第一适当子集和如在可穿戴装置(102)上的装置显示器图像中呈现的视觉对象(例如，120等)的一或多个第二适当子集描绘位于3D空间中的不同空间位置处的多个视觉对象(例如，118、120等)。3D空间中的这些空间位置可与空间信息中所指定或描述的那些空间位置相同，所述空间信息用于首先将多个视觉对象分割成电影院图像层中的多视图单层电影院图像(或视觉对象的第一适当子集)和一或多个装置图像层中的多视图单层装置图像(或视觉对象的一或多个第二适当子集)。
在一些实施例中，作为呈现(a)电影院显示器图像和/或(b)装置显示器图像的一部分，电影院图像呈现器(106)和/或装置图像呈现器(108-2)执行显示器管理操作。
扩增娱乐系统的配置(100-2)可用于支持实时视频应用、近实时视频应用、非实时视频应用、虚拟现实(virtual reality，VR)应用、扩增现实(augmented reality，AR)应用、远程呈现应用、汽车娱乐应用、头盔式显示器应用、抬头显示器应用、比赛、2D显示器应用、3D显示器应用、多视图显示器应用等。例如，可通过图像内容接收器(110)实时、近实时、非实时等地产生或存取输入图像内容数据(114)中的一些或全部。
4.由内而外的装置跟踪
图2A说明通过如本文中所描述的可穿戴装置(例如，102-1等)上的一或多个图像传感器进行的实例由内而外跟踪，所述可穿戴装置由观看者(例如，112-1等)穿戴。可穿戴装置(102-1)上的图像传感器的实例可包含但不一定仅限于以下中的一或多个：红外相机、图像传感器等。
在一些实施例中，在如本文中所描述地使用可穿戴装置(102-1)观看多视图图像之前，已经校准图像传感器在可穿戴装置(102-1)上的空间位置和空间方向。经校准的图像传感器可位于图像传感器中心点处，所述中心点相对于可穿戴装置(102-1)的代表性空间位置静止且具有与可穿戴装置(102-1)的代表性空间方向成固定空间方向关系的图像传感器光轴。
可穿戴装置(102-1)的代表性空间位置的实例可包含但不一定仅限于以下中的任一个：图1A的装置静止空间位置“p1”、对称点、沿着观看者两眼之间的瞳孔距离的中点等。可穿戴装置(102-1)的代表性空间方向的实例可包含但不一定仅限于以下中的任一个：可穿戴装置(102-1)的装置静止坐标系的z1轴、可穿戴装置(102-1)的一或多个镜片的一或多个光轴、可穿戴装置(102-1)的一或多个光学堆叠的一或多个光轴、可穿戴装置(102-1)的前向中心观看方向等。
仅出于说明的目的，表示图像传感器在可穿戴装置(102-1)上的位置的图像传感器中心点与可穿戴装置(102-1)的代表性空间位置(例如，“p1”等)一致。然而，应注意，在其它实施例中，图像传感器中心点可位于与代表性空间位置“p1”相距某一距离处；因此，中心点和代表性位置大体上可通过空间平移连接。仅出于说明的目的，图像传感器光轴与可穿戴装置(102-1)的代表性空间方向(例如，“z1”等)一致。然而，应注意，在其它实施例中，图像传感器光轴可与代表性空间方向“z1”形成角度；因此，光轴和代表性方向大体上可通过空间旋转连接。
多个基准标记(例如，170-1到170-4等)可部署在3D空间(126)中的不同空间位置(例如，电影院显示器上、电影院显示器周围、顶层上、墙壁上等)处。仅出于说明的目的，基准标记(例如，170-1到170-4等)位于电影院显示器(104)上。这些基准标记(例如，170-1到170-4等)可内嵌于呈现在电影院显示器(104)上的图像中或叠加在这些图像上。基准标记(例如，170-1到170-4等)可发射、反射或再生可被可穿戴装置(102-1)上的图像传感器捕获的光线，例如红外光等，以形成一或多个基准标记跟踪图像。
在一些实施例中，不同基准标记(例如，170-1到170-4等)中的每一个的空间位置参考相对于3D空间(126)静止的参考坐标系的空间坐标是已知的。如图2A中所说明，参考坐标系可以是参考笛卡尔坐标系，所述参考笛卡尔坐标系包括x、y和z轴，并且可位于3D空间(126)中的特定空间位置“p”或坐标原点处。
跟踪被可穿戴装置(102-1)上的图像传感器捕获的图像的一或多个基准标记中的每一个可包括响应于来自多个基准标记的光线而产生的多个图像点(例如，172-1到172-4等)。例如，多个图像点中的第一成像器点(172-1)响应于来自多个基准标记中的第一基准标记(170-1)的光线而产生；多个图像点中的第二成像器点(172-2)响应于来自多个基准标记中的第二基准标记(170-2)的光线而产生；多个图像点中的第三成像器点(172-3)响应于来自多个基准标记中的第三基准标记(170-3)的光线而产生；多个图像点中的第四成像器点(172-4)响应于来自多个基准标记中的第四基准标记(170-4)的光线而产生。
可基于每一个此类图像点在一或多个跟踪图像中的像素位置，确定图像点(例如，172-1到172-4等)中的每一个在静止/相对于图像传感器的装置静止坐标系中的空间坐标中的一些或全部。仅出于说明的目的，静止/相对于可穿戴装置(102-1)(或图像传感器)的装置静止坐标系可包括x1、y1和z1轴，并且可具有位于图像传感器的图像传感器中心点“p1”处的坐标系原点。在一些实施例中，图像传感器的图像传感器中心点“p1”可表示供图像传感器使用以聚集入射光线等的镜片、孔隙和/或光学堆叠的中心点。基于一或多个基准标记跟踪图像中的图像点(例如，172-1、172-2、172-3、172-4等)的像素位置，可确定图像点(例如，172-1、172-2、172-3、172-4等)在静止/相对于可穿戴装置(102-1)(或图像传感器)的装置静止坐标系中的x1和y1空间坐标。
基于已知的多个基准标记(例如，170-1到170-4等)中的每一基准标记(例如，170-1、170-2、170-3、170-4等)在相对于3D空间(126)静止的坐标系中的个别空间坐标以及多个图像点(例如，172-1到172-4等)中的每一对应图像点(例如，172-1、172-2、172-3、172-4等)在静止/相对于图像传感器的装置静止坐标系中的x1和y1空间坐标，可穿戴装置(102-1)可确定图像传感器的一组图像传感器参数(例如，相机参数等)。图像传感器参数可包含但不一定仅限于以下中的一些或全部：图像传感器中心点“p1”的空间坐标(在3D空间(126)中的参考坐标系的x、y和z轴中)、图像平面(178)所位于/图像平面(178)的中心所位于的主点168的空间坐标(在装置静止坐标系的x1、y1和z1轴中)、图像平面(178)所位于/图像平面(178)的中心所位于的主点(168)的空间坐标(在3D空间(126)的参考坐标系的x、y和z轴中)、图像传感器的焦距、像素放大因数、图像偏斜、图像径向失真、装置静止坐标系参考3D空间(126)中的参考坐标系的线性位移/位置、装置静止坐标系参考3D空间(126)中的参考坐标系的角位移/位置等。
图像传感器的所述一组图像传感器参数中的一些图像传感器参数的确定频率可以比图像传感器的所述一组图像传感器参数中的一些其它图像传感器参数的确定频率更小。
例如，图像平面(178)所位于/图像平面(178)的中心所位于的主点(168)在装置静止坐标系的x1、y1和z1轴中的空间坐标、图像传感器的焦距、像素放大因数、图像偏斜、图像径向失真等中的一些或全部可通过在扩增娱乐阶段使用可穿戴装置(102-1)和电影院(104)向观看者(112-1)呈现多视图图像之前分析图像点(例如，172-1到172-4等)和基准标记(例如，170-1到170-4等)来确定。
当可穿戴装置(102-1)和电影院(104)向观看者(112-1)呈现多视图图像时，图像传感器中心点“p1”的空间坐标(在3D空间(126)中的参考坐标系的x、y和z轴中)、图像平面(178)所位于/图像平面(178)的中心所位于的主点(168)的空间坐标(在3D空间(126)中的参考坐标系的x、y和z轴中)、装置静止坐标系参考3D空间(126)中的参考坐标系的线性位移/位置、装置静止坐标系参考3D空间(126)中的参考坐标系的角位移/位置等中的一些或全部可反复地(例如，实时、近实时、在严格的时序预算内、每1毫秒、每2毫秒等)确定。
至少部分地基于所述一组图像传感器参数，可穿戴装置(102-1)可确定可穿戴装置(102-1)的(代表性)空间位置和/或(代表性)空间方向。在图像传感器中心点与可穿戴装置(102-1)的代表性空间位置不一致和/或图像传感器光轴与可穿戴装置(102-1)的代表性空间方向不一致的情形中，可基于通过分析基准标记跟踪图像所确定的图像传感器中心点和图像传感器光轴，执行空间平移和/或空间旋转以确定可穿戴装置(102-1)的(代表性)空间位置和/或(代表性)空间方向。
5.图像集合产生
图2B说明根据可穿戴装置(例如，102-1等)的空间位置和/或空间方向从对应的(输入)多视图图像产生的实例图像集合。
在一些实施例中，通过图像内容接收器(例如，图1A到图1C的110等)从以下中的一或多个的任何组合接收输入多视图图像：图像源、数据存储库、流服务器、媒体广播系统等。
在多个图像层中的单层图像用于分割多视图非分层式图像中的视觉对象的实施例中，输入多视图图像可指代多视图非分层式图像或从多视图非分层式图像导出的多视图单层图像。
多视图图像可为多视图图像序列中的一者，所述多视图图像序列中的每一个被索引到(例如，连续、均匀时间间隔等)时间点序列中的相应(例如，逻辑、媒体播放、实际等)时间点。仅出于说明的目的，在本实例中的多视图图像被索引到第一时间点。
如本文中所使用，多视图图像被索引到的时间点可指代以下中的一个：逻辑时间点(例如，帧序列号等)、媒体播放时间点、从多视图图像导出的显示器图像将呈现的实际(墙壁时钟)时间点等。可在特定时间约束/预算内(例如，在指定图像帧间隔内、在指定图像帧间隔的一部分内、在包含但不限于传输延迟和装置跟踪延迟的特定总时间延迟内、在给定图像刷新速率下的经分配图像帧时间的相对较小部分内，等等)的时间点呈现每一显示器图像。
输入多视图图像可包括对应于多个不同观看角度(例如，202-1到202-12等)的多个单视图图像。多视图图像中的多个单视图图像中的每一单视图图像对应于多个观看方向(例如，202-1到202-12等)中的相应观看方向。换句话说，多视图图像的多个单视图图像中的每一单视图图像表示从相应观看方向观看的多视图图像的视图(或图像)。
在一些实施例中，多视图图像所支持的多个观看方向(例如，202-1到202-12等)表示跨越相对于可穿戴装置(201-1)的隅角的多个不连续角。多个观看方向所跨越的隅角可(但不一定仅限于)大于和/或包含电影院显示器(例如，104等)跨越的隅角，所述隅角最高到全向图像的隅角(例如，4π球面度等)。多个观看方向所跨越的隅角可(但不一定仅限于)以电影院显示器(104)的几何中心为中心。
例如，多视图图像中的多个单视图图像可包括对应于多个观看方向(例如，202-1到202-12等)中的第一观看方向202-1的第一单视图图像、对应于多个观看方向(例如，202-1到202-12等)中的第二观看方向202-2的第二单视图图像等。
可穿戴装置(例如，102-1等)的空间坐标可通过以下中的一或多个跟踪/监测：由外而内的装置跟踪器(例如，122等)、由内而外的装置跟踪器(例如，122-1等)、由外而内和由内而外的装置跟踪器的组合。
响应于从装置跟踪器接收到可穿戴装置(102-1)的位置和方向数据，图像内容接收器(110)可建立/确定在多个时间点(例如，每毫秒、每5毫秒、每20毫秒、每一图像帧间隔等)随着时间推移可穿戴装置(102-1)相对于其中驻存可穿戴装置(102-1)的3D空间(例如，126等)的参考坐标系(例如，包括x、y和z轴并具有坐标原点“p”的参考笛卡尔坐标系，等等)的空间位置和/或空间方向。
例如，基于可穿戴装置(102-1)的位置和方向数据，图像内容接收器(110)确定在第一时间点可穿戴装置(102-1)相对于参考坐标系的第一空间位置“p1”和/或第一空间方向“z1”。可穿戴装置(102-1)的第一空间方向“z1”表示可穿戴装置(102-1)在第一时间点的实际观看方向。
在一些实施例中，图像内容接收器(110)使用可穿戴装置(102-1)在第一时间点的第一空间位置“p1”和/或第一空间方向“z1”从多视图图像中选择单视图图像到图像集合中。图像集合表示含有选自多视图图像的两个、三个、四个或更多个单视图图像的集合。图像集合中的两个或两个以上单视图图像对应于在第一时间点多视图图像所支持的对应的一组两个或两个以上观看方向中的两个或两个以上观看方向。
借助实例但非限制，图像集合是选自多视图图像的多个图像的一组四个图像(或视图)。所述四个图像对应于最接近于可穿戴装置(102-1)在第一时间点的第一空间方向“z1”的四个观看方向202-10、202-11、202-5和202-12。
在一些实施例中，第一空间方向“z1”和多视图图像的多个图像(或视图)中的图像(或视图)对应的观看方向之间的角度大小可用于确定所述图像对应的所述观看方向与第一空间方向“z1”的接近度。在本实例中，图像集合中的四个图像可选为具有可穿戴装置(102-1)的第一空间方向“z1”和四个图像的观看方向之间的四个最小角度大小。
在一些实施例中，通过可穿戴装置上的图像传感器获取的基准标记跟踪图像上的图像点图案(或基础形状)可直接用于从多视图图像中选择将包含于图像集合中的单视图图像。例如，响应于来自基准标记(例如，170-1到170-4等)的光线而产生的图像点(例如，172-1到172-4等)可在图像平面(178)处形成特定图案(或基础形状)，所述特定图案(或基础形状)具有特定方向和形状特征(例如，特定多边形形状、特定二维图案、在二维图像平面中具有特定定向和高宽比的特定图案等)。作为基于可穿戴装置(102-1)的实际观看方向与由单视图图像表示的观看方向的接近度而选择单视图图像的替代或补充，具有特定方向和形状特征的特定图案(或基础形状)可用作从多视图图像的多个单视图图像中选择特定单视图图像作为图像集合的密钥或索引值。
在一些实施例中，多视图图像的多个单视图图像可相对众多或相对密集(例如，多视图图像对应于相对密集的光场图像，等)。在一些实施例中，不同组的两个或两个以上图像可针对观看者(112-1)双眼中的不同眼睛而选择。
例如，可针对观看者(112-1)双眼中的相应眼睛，响应于基准标记，通过两个单独图像传感器中的相应图像传感器产生特定图像点图案(或基础形状)。特定图像点图案(或基础形状)可用作针对观看者(112-1)双眼中的相应眼睛从多视图图像的多个单视图图像中选择特定四个单视图图像作为图像集合的密钥或索引值。
在一些实施例中，如上文所论述，可穿戴装置(102-1)在第一时间点的第一空间方向“z1”可表示可穿戴装置(102-1)从可穿戴装置(102-1)的中心点的实际观看方向；可穿戴装置(102-1)的中心点可对应于观看者(112-1)的瞳孔间距离的中心点。
另外，任选地或可替代地，作为可表示在第一时间点从可穿戴装置(102-1)的中心点的观看方向的第一空间方向“z1”的替代或补充，可针对可穿戴装置(102-1)在第一时间点确定可穿戴装置(102-1)的第一左空间方向和第一右空间方向。可穿戴装置(102-1)的第一左空间方向和第一右空间方向可分别对应于可穿戴装置(102-1)的左镜片(或左光学堆叠)的左观看方向和可穿戴装置(102-1)的右镜片(或右光学堆叠)的右观看方向。
在一些实施例中，可穿戴装置(102-1)的第一左空间方向和第一右空间方向中的每一个可基于由两个单独图像传感器中的相应图像传感器针对观看者(112-1)双眼中的相应眼睛(响应于基准标记)而产生的相应图像点来确定。
在一些实施例中，可穿戴装置(102-1)的第一左空间方向和第一右空间方向中的一者或两者可从可穿戴装置(102-1)的第一空间方向“z1”外插。
图2C说明可穿戴装置(102-1)的第一左空间方向(例如，210-2等)和第一右空间方向(例如，210-1等)的实例确定。第一空间方向“z1”和可穿戴装置(102-1)的第一左空间方向(210-2)与第一右空间方向(210-1)中的每一个之间的偏移角(例如，212等)可基于这些空间方向相对于公共参考平面的几何关系而确定。为了计算偏移，这些空间方向可被视为收敛到零视差(或零像差)平面处的点214，例如可穿戴装置(102-1)中将呈现图像的装置显示器(116)。偏移(212)可基于装置显示器(116)和瞳孔距离之间的距离来计算出。借助实例但非限制，偏移(212)的弧度可计算为瞳孔距离的二分之一除以装置显示器(116)和可穿戴装置(102-1)上的第一空间位置“p1”之间的距离。因此，可穿戴装置(102-1)的第一左空间方向和第一右空间方向可确定为第一空间方向“z1”加上或减去偏移。
在一些实施例中，可穿戴装置(102-1)的第一左空间方向和第一右空间方向中的每一个可被提供到图像内容接收器(110)，并且供图像内容接收器(110)使用以从多视图图像中的多个单视图图像中选择包含于针对观看者(112-1)的每一只眼睛的相应图像集合中的相应单视图图像，而不是使用不同于可穿戴装置(102-1)的第一左空间方向和第一右空间方向中的每一个的第一空间方向“z1”。
因此，基于第一左空间方向而选择到左图像集合中的特定单视图图像可相同于或可不同于基于第一右空间方向而选择到右图像集合中的特定单视图图像。在一些实施例中，左图像集合和右图像集合均可分别进行特定识别并被包含在从多视图图像产生的(总体)图像集合中，所述(总体)图像集合接着可传输/流式传输到下游装置以产生将由可穿戴装置呈现的显示器图像。
在一些实施例中，第一空间方向“z1”可表示可穿戴装置(102-1)的左和右镜片(或光学堆叠)中的一个的空间方向。在这些实施例中，可穿戴装置(102-1)的左和右镜片(或光学堆叠)中的另一个的另一空间方向可通过利用偏移，针对可穿戴装置(102-1)的左和右镜片(或光学堆叠)中的另一个的另一空间方向使用由单独图像传感器产生的单独图像点图案外插第一空间方向“z1”来确定，等等。
另外，任选地或可替代地，不是使用可穿戴装置(102-1)的第一左空间方向和第一右空间方向从多视图图像中的多个单视图图像中选择单视图图像的两个图像集合(一个用于可穿戴装置(102-1)的左侧，另一个用于可穿戴装置(102-1)的右侧)，可使用相应的图像点图案(或基础形状)将图像集合中的一者或两者选择作为密钥。例如，由左图像传感器产生的左图像点图案(或左基础形状)可用作从用于可穿戴装置(102-1)的左侧的多视图图像的多个单视图图像中选择特定单视图图像到左图像集合中的密钥或索引值。由右图像传感器产生的右图像点图案(或右基础形状)可用作从用于可穿戴装置(102-1)的右侧的多视图图像的多个单视图图像中选择特定单视图图像到右图像集合中的另一密钥或另一索引值。
6.基于图像集合的图像重构
图3A说明将在可穿戴(图像呈现)装置(例如，102、102-1、102-2等)的装置显示器(例如，116等)上呈现的显示器图像的实例确定。应注意，在各种实施例中，基于从多视图图像产生的图像集合，可使用多种图像重构技术和/或图像内插技术的任何组合产生某一观看方向(例如，304等)上的显示器图像(例如，302)，所述观看方向可不同于多视图图像所支持的多个观看角度中的所有观看角度。
用于产生显示器图像的图像重构技术和/或图像内插技术可包含但不一定仅限于以基于深度图像呈现(depth image based rendering，DIBR)为基础的图像重构和/或图像内插、以基于深度的图像呈现(depth-based image rendering，DBIR)为基础的图像重构和/或图像内插、以基于点的图像呈现为基础的图像重构和/或图像内插、基于稀疏光场(light field，LF)图像的图像重构和/或图像内插、基于LF重构的图像重构和/或图像内插、基于几何映射(例如，保形映射)的图像重构和/或图像内插等。
例如，图像集合包括分别对应于多视图图像所支持的多个观看方向(例如，202-1到202-12等)中的观看方向(例如，202-10、202-11、202-12、202-5等)的单视图图像(例如，204-10、204-11、204-12、204-5等)，如图2B中所说明。
在一些实施例中，图像呈现器(例如，108-1、108-2等)基于图像内插从图像集合产生一个或两个显示器图像(例如，302等)。在可穿戴装置(例如，102-1等)将显示单像图像的可操作情形中，可产生将显示给观看者(例如，112-1等)的双眼的一个显示器图像。在可穿戴装置(例如，102-1等)将显示立体图像的可操作情形中，可分别产生将呈现/显示给观看者(例如，112-1等)的左眼和右眼的两个显示器图像，即左视图显示器图像和右视图显示器图像。借助实例但非限制，显示器图像(302)表示左视图显示器图像和右视图显示器图像中的一个；左视图显示器图像和右视图显示器图像中的另一个可以类似方式产生。
在一些实施例中，图像呈现器(例如，108-1、108-2等)接收或产生图像集合中的单视图图像(204-10、204-11、204-12和204-5)中的每一个中的像素的深度信息。例如，深度信息可由图像内容接收器(110)接收或产生，并且可被包含为由图像内容接收器(110)产生的图像集合的一部分。图像呈现器(例如，108-1、108-2等)可从图像内容接收器(110)接收深度信息连同图像集合。
另外，任选地或可替代地，图像呈现器(例如，108-1、108-2等)可基于在图像集合中的单层图像(204-10、204-11、204-12和204-5)中表示的像差信息而产生深度信息。在一些实施例中，像差信息可作为用于产生图像集合的输入多视图图像的一部分被提供到图像呈现器(例如，108-1、108-2等)和/或图像内容接收器(110)。在一些其它实施例中，像差信息可通过基于图像集合的单视图图像的像素中的强度和/或色度信息分析图像集合的单视图图像当中的像素对应关系而由图像呈现器(例如，108-1、108-2等)和/或图像内容接收器(110)产生。作为基于最小化基于来自图像集合中的不同单视图图像的像素的强度/色度差定义的代价函数的解决方案，可获得像差信息。
图像相关的几何信息，例如图像集合中的单层图像中的每一个被捕获的图像平面的深度、用于获取单层图像的图像获取装置的光学中心、图像获取装置的焦距、可穿戴装置(102-1)的装置显示器相对于观看者(112-1)所位于的深度、可穿戴装置(102-1)的空间位置和/或空间方向、用于捕获图像的相机几何信息等，可用于将图像集合的图像的像素当中的像差信息转变为图像集合中的图像中的每一个的深度信息。图像相关的几何信息中的一些或全部可作为用于产生图像集合的输入多视图图像的一部分被提供到图像内容接收器(110)和/或图像呈现器(例如，108-1、108-2等)。
基于图像集合中的单视图图像(例如，204-10等)的像素的深度信息和图像相关的几何信息，单层图像(204-10)可平移/旋转到显示器图像(302)的候选显示器图像中。类似地，图像集合中的其它单视图图像(例如，204-11、204-12和204-5等)中的任一个、一些或所有可平移/旋转到显示器图像(302)的候选显示器图像中。一些图像部分可能在图像集合中的一个单层图像中被遮挡，但是可从其它单层图像获得，这是因为图像集合中的图像和显示器图像(302)之间的观看方向不同。因此，从一个单视图图像内插的显示器图像中的以其它方式被遮挡的图像部分可以使用来自图像集合中的其它单视图图像的不被遮挡的图像部分而显现或变得可见。
在一些实施例中，观看方向最接近于显示器图像(302)的观看方向(304)的(图像集合中的)单视图图像可用作基础图像以产生显示器图像(302)或内插到显示器图像(302)中，而其它图像可用于补充应该在显示器图像(302)中的任何遗漏的像素，这是因为基础图像和显示器图像(302)之间的观看方向不同。
在一些实施例中，可穿戴装置(例如，102-1等)包括一或多个视线跟踪装置，其在运行时间实时跟踪并收集视线方向数据以确定观看者(例如，112-1等)与利用可穿戴装置(102-1)呈现/显示的图像同时的视线方向(例如，左眼视线方向和右眼视线方向等)。观看者(112-1)的左眼视线方向和右眼视线方向可不同于可穿戴装置(102-1)的空间方向以及可穿戴装置(102-1)的左视图光学堆叠的左视图空间方向或右视图光学堆叠的右视图空间方向。
实例视线跟踪装置可包含但不一定仅限于以下中的任一个：基于获取眼睛的光吸收图像/映射的视线跟踪装置、基于获取眼睛的光反射图像/映射的视线跟踪装置、使用可穿过眼睛中的不同深度的一或多个光波长的视线跟踪装置等。如本文中所描述的视线跟踪装置可经个性化和/或校准以考虑观看者(112-1)的个人视力/视线特征。在一些实施例中，视线跟踪装置可并入到另一装置中，例如可穿戴装置(102-1)、由内而外的跟踪装置等。
如前文所述，观看者(112-1)的视线方向可能与也可能不与可穿戴装置(102-1)(例如，左镜片或左光学堆叠等)的第一左空间方向和可穿戴装置(102-1)(例如，右镜片或右光学堆叠等)的第一右空间方向一致。借助于说明但非限制，在第一时间点，注视显示器图像(302)的观看者(112-1)的视线方向可确定为在远离用于选择图像集合(用于构建显示器图像(302))中的图像的观看方向(304)的聚焦区域306内(例如，在中心点处、在对称点处，等)。
在一些实施例中，如本文中所描述的图像集合可包括单视图图像的N个子集，其中N是正整数。图像集合中的单视图图像或其中的单视图图像的任何子集可包括在图像帧中的一组像素位置处的一组像素值。此类图像帧可具有空间形状，包含但不一定仅限于以下中的任一个：矩形、多边形、规则形状、不规则形状等。
在一些实施例中，图像集合中的一或多个单视图图像或其中的图像的任何子集可编码成阶层式图像表示，其中不同图像阶层可具有不同空间形状、不同大小、不同高宽比、不同空间分辨率、不同图像刷新速率、不同动态范围等。另外，任选地或可替代地，图像集合中的不同单视图图像可从不同装置(例如，本地装置、远程装置、专用装置、共享装置等)通过不同数据/网络连接(例如，本地连接、远程连接、专用连接、共享连接等)传输或流式传输到接收方装置，例如图像呈现器(例如，108-1、108-2等)、可穿戴装置(例如，102、102-1、102-2等)。
聚焦区域、非聚焦区域、图像阶层(或图像层)等的实例可见于(例如)2016年12月19日提交的第62/435,997号美国临时专利申请，所述申请的全部内容由此以引用的方式并入，如同在本文中完整阐述一般。
7.利用低带宽传输图像集合
图3B说明如本文中所描述的图像集合中的单视图图像的第一子集中的实例单视图图像(例如，204-10等)和同一图像集合中的单视图图像的第二子集中的实例第二单视图图像(例如，308-10等)。
在实例中，单视图图像(204-10)和第二单视图图像(308-10)均可从多视图图像的多个单视图图像中的对应于相同观看方向(202-10)的相同单视图图像导出，图像集合从所述多视图图像导出。在另一实例中，单视图图像(204-10)和第二单视图图像(308-10)可分别从多视图图像的多个单视图图像中的对应于相同观看方向(202-10)的两个单视图图像(例如，具有不同水平的空间分辨率、动态范围、色域等)导出。
在一些实施例中，单视图图像(204-10)是相对较低质量的图像，其可表示多视图图像的多个单视图图像当中的观看方向(202-10)的单视图图像的原始非取样版本的经降取样版本。因为单视图图像(204-10)可能含有比从其对图像(204-10)进行降取样的单视图图像少得多的数据，所以图像(204-10)可在装置之间以相对较快，甚至给定相对受限的位速率传输/流式传输。
在一些实施例中，第二单视图图像(308-10)是相对较高质量的图像(例如，可用的最高质量图像等)，其可表示多视图图像的多个图像(或视图)当中的观看方向(202-10)的图像的原始非取样版本中的图像部分。第二图像(308-10)中表示的图像部分可覆盖相对较小的视野，例如，仅覆盖观看者(112-1)的相应眼睛的聚焦区域(306)。因此，第二单视图图像(308-10)也可能含有比从其提取图像(308-10)中表示的图像部分的图像少得多的数据，图像(308-10)也可在装置之间以相对较快，甚至给定相对受限的位速率传输/流式传输。
图像的第一子集可进一步包括如图3A中所说明的图像集合中的经降取样单视图图像(例如，204-11、204-12和204-5等)。图像的第二子集可进一步包括未经降取样单视图(部分)图像以及第二单视图(部分)图像(308-10)。
例如，单视图图像的第一子集可包括经降取样单视图图像(例如，204-10等)，其中的每一个覆盖与可穿戴装置(102-1)中的相应成像器所支持的整个视野相当或甚至超过(如果不是全部的话)所述视野的相对较大的视野。单视图(部分)图像的第二子集包括单视图图像(例如，308-10等)，其中的每一个覆盖相对较小的视野，例如，仅覆盖观看者(112-1)的相应眼睛的聚焦区域(306)。
如结合图3A中所说明的图像重构/内插可以类似方式应用，以从覆盖相应成像器所支持的视野的单视图图像的第一子集产生/重构相对较低质量的图像，并且从覆盖与观看者(112-1)双眼中的每一只眼睛的视线方向保持同步的观看者(112-1)的相应眼睛的聚焦区域(306)的单视图(部分)图像的第二子集进一步产生/重构相对较高质量的(部分)图像。
相应成像器所支持的视野的相对较低质量的图像和与观看者(112-1)双眼中的每一只眼睛的视线方向保持同步的观看者(112-1)的相应眼睛的聚焦区域(306)的相对较高质量的图像可进行叠加、组合以产生将通过相应的成像器呈现的单个总体显示器图像。例如，相对较低质量的显示器图像可首先经上取样到相对较高质量的图像的相对较高空间分辨率，并接着以相同的相对较高空间分辨率与相对较高质量的图像组合；不存在于相对较高质量的图像中的任何像素可由来自相对较低质量的图像的像素提供。另外，任选地或可替代地，一或多个图像处理操作，包含但不一定限于图像共混、图像混合、模糊、去带化、解块、形态操作、噪声处理操作、去遮挡/遮挡算法等，可用作从所述视野的相对较低质量的图像和聚焦区域(306)的相对较高质量的图像产生总体显示器图像的一部分。
8.实例过程流
图4A说明根据本发明的实例实施例的实例过程流。在一些实例实施例中，一或多个计算装置或组件可执行此过程流。在框402中，图像处理装置(例如，图像内容接收器、图像呈现器、可穿戴装置等)确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示可穿戴装置在第一时间点的实际观看方向。
在框404中，图像处理装置使用表示可穿戴装置的实际观看方向的可穿戴装置的空间方向从包括多个单视图图像的多视图图像中选择在第一时间点对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像。多视图图像中的多个单视图图像中的每一单视图图像(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图。
在框406中，图像处理装置使显示器图像呈现在可穿戴装置的装置显示器上。显示器图像表示在第一时间点从可穿戴装置的实际观看方向观看的单视图图像。至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，构建显示器图像。
在实施例中，多视图图像的多个单视图图像接收有多个单视图图像的深度信息；进一步基于深度信息而构建显示器图像。
在实施例中，基于可穿戴装置的一或多个空间坐标确定可穿戴装置的空间方向；可穿戴装置的一或多个空间坐标包括以下中的一个：仅一或多个旋转坐标、平移坐标和旋转坐标的组合等。
在实施例中，进一步基于可穿戴装置的空间位置而选择一组两个或两个以上单视图图像中的单视图图像。
在实施例中，相对于其中驻存可穿戴装置的3D空间的参考坐标系确定可穿戴装置的空间方向。
在实施例中，多视图图像的多个单视图图像所支持的多个观看方向相对于可穿戴装置的观看者形成隅角。
在实施例中，显示器图像包括形成立体图像的左视图显示器图像和右视图显示器图像。
在实施例中，电影院显示器图像在3D图像空间中描绘多个视觉对象中的视觉对象的第一适当子集；显示器图像表示在3D图像空间中描绘多个视觉对象中的视觉对象的一或多个第二适当子集的装置显示器图像；电影院显示器图像同时呈现在电影院显示器上以供观看者观看，同时显示器图像呈现在可穿戴装置的装置显示器上以供同一观看者观看。
在实施例中，在多层多视图视频信号的电影院图像层中接收在3D图像空间中描绘多个视觉对象中的视觉对象的第一适当子集的电影院显示器图像；在多层多视图视频信号的一或多个装置图像层中接收用于构建显示器图像的图像集合。
在实施例中，图像处理装置经进一步配置以执行：接收与电影院显示器图像相关联的时序信息；使用时序信息以同步呈现电影院显示器图像和装置显示器图像。
在实施例中，基于可穿戴装置的空间方向，通过在图像集合中内插单视图图像构建显示器图像。
在实施例中，图像集合包含各自覆盖相对较大视野的相对较低分辨率图像的子集和各自覆盖观看者的相对较小聚焦区域的相对较高分辨率图像的子集。
在实施例中，通过可穿戴装置构建显示器图像。
在实施例中，通过将显示器图像流式传输到可穿戴装置的视频流服务器构建显示器图像。
在实施例中，从视频流服务器将图像集合传输到可穿戴装置。
在实施例中，在本地从可穿戴装置可存取的存储装置接收多个单视图图像。
图4B说明根据本发明的实例实施例的实例过程流。在一些实例实施例中，一或多个计算装置或组件可执行此过程流。在框452中，图像处理装置(例如，图像内容接收器、图像呈现器、可穿戴装置等)确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示可穿戴装置在第一时间点的实际观看方向。
在框454中，图像处理装置接收在第一时间点对应于一组两个或两个以上观看方向的一组两个或两个以上单视图。可穿戴装置的空间方向用于从包括多个单视图图像的多视图图像中选择单视图图像到所述一组两个或两个以上单视图图像中。多视图图像中的多个单视图图像中的每一单视图图像(a)对应于多个观看方向中的相应观看方向，并且(b)表示从相应观看方向的多视图图像的视图。
在框456中，至少部分地基于可穿戴装置的空间方向和对应于一组两个或两个以上观看方向的一组两个或两个以上单视图图像，图像处理装置构建显示器图像。显示器图像呈现在可穿戴装置的装置显示器上。显示器图像表示在第一时间点从可穿戴装置的实际观看方向观看的单视图图像。
在各种实例实施例中，设备、系统、设备或一或多个其它计算装置执行如所描述的前述方法中的任一种或其一部分。在实施例中，非暂时性计算机可读存储媒体存储软件指令，所述软件指令在由一或多个处理器执行时执行如本文中所描述的方法。
应注意，尽管本文中论述单独的实施例，但是本文中论述的实施例和/或部分实施例的任何组合可进行组合以形成其它实施例。
9.实施机构——硬件概述
根据一个实施例，本文中所描述的技术通过一或多个专用计算装置实施。所述专用计算装置可为硬连线的以执行技术，或可包含经持续编程以执行技术的数字电子装置，如一或多个专用集成电路(application-specific integrated circuits，ASIC)或现场可编程门阵列(field programmable gate array，FPGA)，或可包含经编程以依照固件、存储器、其它存储装置或组合中的程序指令执行技术的一或多个通用的硬件处理器。此类专用计算装置还可将定制硬连线的逻辑、ASIC或FPGA与定制编程组合以实现技术。专用计算装置可为台式电脑系统、便携式计算机系统、手持型装置、联网装置或并有硬连线和/或程序逻辑以实施技术的任何其它装置。
例如，图5是说明在其上可实施本发明的实例实施例的计算机系统500的框图。计算机系统500包含总线502或用于传送信息的其它通信机构，以及与总线502耦合以处理信息的硬件处理器504。硬件处理器504可为(例如)通用微处理器。
计算机系统500还包含主存储器506，例如随机存取存储器(random accessmemory，RAM)或其它动态存储装置，所述主存储器506耦合到总线502以存储将通过处理器504执行的信息和指令。主存储器506还可用于在执行将通过处理器504执行的指令期间存储临时变量或其它中间信息。此类指令在存储于处理器504可存取的非暂时性存储媒体中时将计算机系统500呈现到经定制以执行在指令中指定的操作的专用机器中。
计算系统500进一步包含只读存储器(Read Only Memory，ROM)508或耦合到总线502以存储处理器504的静态信息和指令的其它静态存储装置。
提供存储装置510，例如磁盘或光盘、固态RAM，并且所述存储装置510耦合到总线502以存储信息和指令。
计算机系统500可通过总线502耦合到显示器512，例如液晶显示器，以向计算机观看者显示信息。包含文字数字和其它按键的输入装置514耦合到总线502以向处理器504传送信息和命令选择。另一类型的观看者输入装置是光标控制件516，例如鼠标、轨迹球或光标方向键，以用于向处理器504传送方向信息和命令选择并控制显示器512上的光标移动。此输入装置通常具有两个轴线中的两个自由度，即第一轴(例如，x)和第二轴(例如，y)，从而允许装置指定平面中的位置。
计算机系统500可使用定制的硬连线逻辑、一或多个ASIC或FPGA、固件和/或程序逻辑实施本文中所描述的技术，所述程序逻辑与计算机系统组合使计算机系统500变成专用机器或将计算机系统500成专用机器。根据一个实施例，响应于处理器504执行主存储器506中所含的一或多个指令的一或多个序列，通过计算机系统500执行本文中的技术。此类指令可从例如存储装置510的另一存储媒体读取到主存储器506中。主存储器506中所含的指令的序列的执行使处理器504执行本文中所描述的过程步骤。在替代实施例中，硬连线电路可代替软件指令或与软件指令组合而使用。
如本文所使用的术语“存储媒体”是指存储使机器以特定方式操作的数据和/或指令的任何非暂时性媒体。此类存储媒体可包括非易失性媒体和/或易失性媒体。非易失性媒体包含例如光盘或磁盘，例如存储装置510。易失性媒体包含动态存储器，例如主存储器506。存储媒体的共同形式包含例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其它磁性数据存储媒体、CD-ROM、任何其它光学数据存储媒体、具有孔图案的任何物理媒体、RAM、PROM和EPROM、闪存EPROM、NVRAM、任何其它存储器芯片或盒带。
存储媒体不同于传输媒体，但是可以与传输媒体结合使用。传输媒体参与存储媒体之间的信息传递。例如，传输媒体包含同轴电缆、铜线和光纤，包含包括总线502的线。传输媒体还可采取声波或光波的形式，例如在无线电波和红外数据通信期间产生的那些。
各种形式的媒体可涉及向处理器504运送一或多个指令的一或多个序列以供执行。例如，指令最初可承载在远程计算机的磁盘或固态驱动器上。远程计算机可将指令载入到它的动态存储器中并使用调制解调器通过电话线发送指令。在计算机系统500本地的调制解调器可通过电话线接收数据，并使用红外传输器将数据转换成红外信号。红外检测器可接收红外信号中承载的数据，并且适当的电路可将数据置于总线502上。总线502将数据运送到主存储器506，处理器504从所述主存储器506获取指令并执行。由主存储器506接收的指令可以任选地在处理器504执行之前或之后存储在存储装置510上。
计算机系统500还包含耦合到总线502的通信接口518。通信接口518提供耦合到网络链路520的双向数据通信，所述网络链路520连接到本地网522。例如，通信接口518可为综合业务数字网(integrated services digital network，ISDN)卡、电缆调制解调器、卫星调制解调器或用于提供到对应类型的电话线的数据通信连接的调制解调器。作为另一实例，通信接口518可以是局域网(local area network，LAN)卡，以提供到相容LAN的数据通信连接。还可实施无线链路。在任何此类实施方案中，通信接口518发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。
网络链路520通常提供通过一或多个网络到其它数据装置的数据通信。例如，网络链路520可提供通过本地网522到主机524或到由因特网服务提供方(Internet ServiceProvider，ISP)526操作的数据设备的连接。ISP 526随后通过现在通常被称为“因特网”528的全球包数据通信网络提供数据通信服务。本地网522和因特网528均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和网络链路520上并通过通信接口518的信号是传输媒体的实例形式，所述信号向计算机系统500和从计算机系统500运送数字数据。
计算机系统500可通过网络、网络链路520和通信接口518发送消息和接收数据，包含程序代码。在因特网实例中，服务器530可通过因特网528、ISP 526、本地网522和通信接口518传输请求应用程序的代码。
所接收代码可在其被接收时由处理器504执行，和/或存储在存储装置510或其它非易失性存储器中以供稍后执行。
10.等效方案、扩展方案、替代方案和杂项
在前文说明书中，本发明的实例实施例已经参考可针对不同实施方案变化的许多特定细节进行描述。本发明以及申请人认为是本发明的内容的唯一且专门的指示是从本申请确定的一组权利要求，所述权利要求是此类权利要求公布的特定形式，包含任何后续修正。本文中针对此类权利要求中所含的术语明确地阐述的任何定义将决定此类术语在权利要求中使用的含义。因此，未在权利要求中明确引用的限定、元素、特性、特征、优点或属性不应当以任何方式限制此类权利要求的范围。因此，应在说明性意义上而非限制性意义上看待说明书和图式。

Claims (21)

1.一种方法，其包括：
确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示所述可穿戴装置在第一时间点的实际观看方向；
使用表示所述可穿戴装置的所述实际观看方向的所述可穿戴装置的所述空间方向从包括多个单视图图像的多视图图像中选择对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，所述多视图图像中的所述多个单视图图像中的每一单视图图像(a)对应于多个观看方向中的相应观看方向，并且(b)表示从所述相应观看方向的所述多视图图像的视图；
使显示器图像呈现在所述可穿戴装置的装置显示器上，所述显示器图像表示在所述第一时间点从所述可穿戴装置的所述实际观看方向观看的单视图图像，至少部分地基于所述可穿戴装置的所述空间方向和对应于所述一组两个或两个以上观看方向的所述一组两个或两个以上单视图图像，构建所述显示器图像。
2.根据权利要求1所述的方法，其中所述多视图图像的所述多个单视图图像接收有所述多个单视图图像的深度信息，并且其中进一步基于所述深度信息而构建所述显示器图像。
3.根据权利要求1所述的方法，其中基于所述可穿戴装置的一或多个空间坐标确定所述可穿戴装置的所述空间方向，并且其中所述可穿戴装置的所述一或多个空间坐标包括以下中的一个：仅一或多个旋转坐标，或平移坐标和旋转坐标的组合。
4.根据权利要求1所述的方法，其中进一步基于所述可穿戴装置的空间位置而选择所述一组两个或两个以上单视图图像中的单视图图像。
5.根据权利要求1所述的方法，其中相对于其中驻存所述可穿戴装置的3D空间的参考坐标系确定所述可穿戴装置的所述空间方向。
6.根据权利要求1所述的方法，其中所述多视图图像的所述多个单视图图像所支持的所述多个观看方向相对于所述可穿戴装置的观看者形成立体角。
7.根据权利要求1所述的方法，其中所述显示器图像包括形成立体图像的左视图显示器图像和右视图显示器图像。
8.根据权利要求1所述的方法，其中电影院显示器图像在3D图像空间中描绘多个视觉对象中的视觉对象的第一适当子集；其中所述显示器图像表示在所述3D图像空间中描绘所述多个视觉对象中的视觉对象的一或多个第二适当子集的装置显示器图像；并且其中所述电影院显示器图像呈现在电影院显示器上以供观看者观看，同时所述显示器图像呈现在所述可穿戴装置的所述装置显示器上以供同一观看者观看。
9.根据权利要求8所述的方法，其中在多层多视图视频信号的电影院图像层中接收在所述3D图像空间中描绘所述多个视觉对象中的所述视觉对象的所述第一适当子集的所述电影院显示器图像，并且其中在所述多层多视图视频信号的一或多个装置图像层中接收用于构建所述显示器图像的所述一组两个或两个以上单视图图像。
10.根据权利要求8所述的方法，其进一步包括：
接收与所述电影院显示器图像相关联的时序信息；
使用所述时序信息来同步呈现所述电影院显示器图像和所述装置显示器图像。
11.根据权利要求1所述的方法，其中基于所述可穿戴装置的所述空间方向，通过在所述一组两个或两个以上单视图图像中内插单视图图像构建所述显示器图像。
12.根据权利要求1所述的方法，其中所述一组两个或两个以上单视图图像包含各自覆盖相对较大视野的相对较低分辨率图像的子集和各自覆盖观看者的相对较小聚焦区域的相对较高分辨率图像的子集。
13.根据权利要求1所述的方法，其中通过所述可穿戴装置构建所述显示器图像。
14.根据权利要求1所述的方法，其中通过将所述显示器图像流式传输到所述可穿戴装置的视频流服务器构建所述显示器图像。
15.根据权利要求1所述的方法，其中从视频流服务器将所述一组两个或两个以上单视图图像传输到所述可穿戴装置。
16.根据权利要求1所述的方法，其中在本地从所述可穿戴装置可存取的存储装置接收所述多个单视图图像。
17.一种方法，其包括：
确定可穿戴装置的空间方向，所述可穿戴装置的所述空间方向表示所述可穿戴装置在第一时间点的实际观看方向；
接收对应于所述第一时间点的一组两个或两个以上观看方向的一组两个或两个以上单视图图像，所述可穿戴装置的所述空间方向用于从包括多个单视图图像的多视图图像中选择单视图图像到所述一组两个或两个以上单视图图像中，所述多视图图像中的所述多个单视图图像中的每一单视图图像(a)对应于多个观看方向中的相应观看方向，并且(b)表示从所述相应观看方向的所述多视图图像的视图；
至少部分地基于所述可穿戴装置的所述空间方向和对应于所述一组两个或两个以上观看方向的所述一组两个或两个以上单视图图像，构建显示器图像，所述显示器图像呈现在所述可穿戴装置的装置显示器上，所述显示器图像表示在所述第一时间点从所述可穿戴装置的所述实际观看方向观看的单视图图像。
18.一种执行根据权利要求1到17所述的方法中的任一种的设备。
19.一种执行根据权利要求1到17所述的方法中的任一种的系统。
20.一种存储软件指令的非暂时性计算机可读存储媒体，所述软件指令在由一或多个处理器执行时执行根据权利要求1到17中任一权利要求所述的方法。
21.一种计算装置，其包括一或多个处理器和存储指令集的一或多个存储媒体，所述指令集在由一或多个处理器执行时执行根据权利要求1到17中任一权利要求所述的方法。
CN201810315610.9A 2017-04-11 2018-04-10 用于调适可穿戴装置的视频图像的方法和设备 Active CN108693970B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762484148P 2017-04-11 2017-04-11
US62/484,148 2017-04-11

Publications (2)

Publication Number Publication Date
CN108693970A CN108693970A (zh) 2018-10-23
CN108693970B true CN108693970B (zh) 2022-02-18

Family

ID=63711857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810315610.9A Active CN108693970B (zh) 2017-04-11 2018-04-10 用于调适可穿戴装置的视频图像的方法和设备

Country Status (2)

Country Link
US (1) US11882267B2 (zh)
CN (1) CN108693970B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102434497B1 (ko) 2017-02-03 2022-08-18 워너 브로스. 엔터테인먼트 인크. 가상 현실에서 확장 비디오의 렌더링
US11363250B2 (en) 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Augmented 3D entertainment systems
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
CN113709439A (zh) * 2017-04-11 2021-11-26 杜比实验室特许公司 分层的增强型娱乐体验
CN109752951B (zh) * 2017-11-03 2022-02-08 腾讯科技（深圳）有限公司 控制系统的处理方法、装置、存储介质和电子装置
CN110324601A (zh) * 2018-03-27 2019-10-11 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
CN112462942B (zh) * 2020-12-01 2023-05-16 苏州椒图电子有限公司 一种可穿戴设备及其使用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649988A (zh) * 2011-05-11 2014-03-19 谷歌公司 视点物体选择
CN104488264A (zh) * 2012-07-10 2015-04-01 三星电子株式会社 使用多视点图像的差异信息来估计图像运动的方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
US7408545B1 (en) * 2000-04-28 2008-08-05 Microsoft Corporation Method and system for rendering concentric mosaics
TWI527429B (zh) * 2008-10-28 2016-03-21 皇家飛利浦電子股份有限公司 三維顯示系統
KR101627214B1 (ko) * 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
CN104054335A (zh) * 2012-01-17 2014-09-17 索尼爱立信移动通讯有限公司 便携式电子设备和控制自动立体显示器的方法
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
GB2534847A (en) * 2015-01-28 2016-08-10 Sony Computer Entertainment Europe Ltd Display
WO2017044795A1 (en) * 2015-09-10 2017-03-16 Google Inc. Playing spherical video on a limited bandwidth connection
US10330935B2 (en) 2016-09-22 2019-06-25 Apple Inc. Predictive, foveated virtual reality system
US10726574B2 (en) 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
US11363250B2 (en) 2017-04-11 2022-06-14 Dolby Laboratories Licensing Corporation Augmented 3D entertainment systems
CN113709439A (zh) 2017-04-11 2021-11-26 杜比实验室特许公司 分层的增强型娱乐体验

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103649988A (zh) * 2011-05-11 2014-03-19 谷歌公司 视点物体选择
CN104488264A (zh) * 2012-07-10 2015-04-01 三星电子株式会社 使用多视点图像的差异信息来估计图像运动的方法和装置

Also Published As

Publication number Publication date
US20180295352A1 (en) 2018-10-11
CN108693970A (zh) 2018-10-23
US11882267B2 (en) 2024-01-23

Similar Documents

Publication Publication Date Title
CN108693970B (zh) 用于调适可穿戴装置的视频图像的方法和设备
JP7263451B2 (ja) レイヤ化拡張型エンターテインメント体験
US8228327B2 (en) Non-linear depth rendering of stereoscopic animated images
TW202034688A (zh) 表示場景之影像信號
EP3564905A1 (en) Conversion of a volumetric object in a 3d scene into a simpler representation model
US20230008125A1 (en) Augmenting a view of a real-world environment with a view of a volumetric video object
TW202101373A (zh) 產生及處理一影像屬性像素結構
WO2021130406A1 (en) Method for a telepresence system
TW202046716A (zh) 表示場景之影像信號

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant