CN110622110A - 提供沉浸式现实内容的方法和装置 - Google Patents

提供沉浸式现实内容的方法和装置 Download PDF

Info

Publication number
CN110622110A
CN110622110A CN201880031721.5A CN201880031721A CN110622110A CN 110622110 A CN110622110 A CN 110622110A CN 201880031721 A CN201880031721 A CN 201880031721A CN 110622110 A CN110622110 A CN 110622110A
Authority
CN
China
Prior art keywords
view
field
reality content
content
immersive reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880031721.5A
Other languages
English (en)
Other versions
CN110622110B (zh
Inventor
S.哈米迪-拉德
K.莱昂斯
A.张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN110622110A publication Critical patent/CN110622110A/zh
Application granted granted Critical
Publication of CN110622110B publication Critical patent/CN110622110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供沉浸式现实内容的方法(400)包括：确定(420)来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交，基于视场相交生成(430)第一沉浸式现实内容并提供(440)第一沉浸式现实内容。用于提供沉浸式现实内容的装置(160‑1)包括处理器(172)和耦合至该处理器的至少一个存储器(176)，该处理器被配置为确定来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交，基于视场相交生成第一沉浸式现实内容，并提供第一沉浸式现实内容。还描述计算机可读存储介质，计算机程序和非暂时性制品。

Description

提供沉浸式现实内容的方法和装置
技术领域
本公开涉及沉浸式现实，尤其涉及通过多个互补设备提供沉浸式现实内容。
背景技术
本文描述的任何背景信息旨在向读者介绍本领域的各个方面，其可能与以下描述的本实施例有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本公开的各个方面。因此，应该理解，要鉴于此地阅读这些陈述。
沉浸式技术指代模糊物理世界或现实与数字或模拟世界或现实之间的界线从而创建沉浸感，并且包括虚拟现实，增强现实以及诸如混合现实和融合现实的变型。虚拟现实(VR)已定义为三维环境的现实和沉浸式模拟，其使用交互式软件和硬件创建，并通过身体的运动来进行体验或控制，或简单地放入计算机生成的沉浸式交互式体验。使用VR装备的人典型能够“环顾”人造世界，在人造世界中移动，并与屏幕或护目镜中描绘的功能或项目进行交互。虚拟现实人为地创建感官体验，其可以包括视觉，触觉，听觉以及不常见的气味。增强现实(AR)(以及混合现实和融合现实等变型)是物理的真实世界环境的实时直接或间接视图，其元素通过计算机生成的感官输入(诸如，声音，视频，图形或GPS数据)来增强(补充)。其与称为介导现实(mediated reality)的更一般的概念有关，其中通过计算机修改现实的视图(可能甚至减弱而不是增强)。结果，该技术通过增强对现实的当前感知而起作用。相比之下，虚拟现实用模拟世界代替现实世界。在下文中，我们将这些各种技术统称为沉浸式现实(IR)。沉浸式现实可以显示在计算机监视器，投影仪屏幕上或沉浸式现实耳机(也称为头戴式显示器或HMD)。HMD典型采用眼前的具有屏幕的头戴式护目镜或眼镜的形式。一些模拟可以包括附加感官信息，并通过扬声器或耳机提供声音。另外，可以使用配有传感器的手套或手可穿戴设备。
近年来，IR已成为越来越受到关注的主题。这是因为VR可以实际用于每个领域来执行各种功能，包括测试，娱乐和教学。例如，工程师和建筑师可以在新设计的建模和测试中使用VR。医生可以使用VR提前练习和完善困难的手术，并且军事专家可以通过模拟战场操作来制定策略。可以利用某些“触发”图像来设计印刷的营销材料，在由启用AR的设备使用图像识别进行扫描时，激活促销材料的视频版本。AR可以帮助可视化建筑项目或考古研究。IR还广泛用于游戏和娱乐行业，以提供交互体验并增强观众的娱乐性。IR使创建感受真实的模拟环境成为可能，并且可以准确地复制真实或虚构世界中的真实生活体验。此外，IR覆盖远程通信环境，其以远程呈现和远程存在或虚拟人工产物(VA)的概念向用户提供虚拟的存在。
近来，可用的大视场IR内容(高达360°)已经增长，也称为沉浸式或全景。这样的内容可能不被在沉浸式显示设备(诸如，安装的显示器，智能眼镜，PC屏幕，平板电脑，智能手机等)上观察内容的用户完全可见。这意味着在给定的时刻，用户可能只在观看内容的一部分。然而，用户典型可以通过诸如头部移动，鼠标移动，触摸屏幕，语音等之类的各种方式在内容内导航。
与IR眼镜或HMD相关的一个问题是它们可能没有高分辨率显示器。结果，用户体验不那么强，并且缩放可能受到限制。像手持式显示设备(例如，平板电脑，智能手机)那样的其他设备确实具有较高的分辨率。因此，感兴趣的是创建IR系统，其中使用至少一个较高分辨率的设备来补充至少一个较低分辨率的设备。本公开描述这样的系统。
发明内容
根据本公开的一个方面，提供一种方法，该方法包括：确定来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交，基于视场相交生成第一沉浸式现实(IR)内容并提供第一IR内容。
根据本公开的一方面，提供一种装置，其包括处理器和耦合至处理器的至少一个存储器，该处理器被配置为确定来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交，基于视场相交生成第一沉浸式现实(IR)内容并提供第一IR内容。
根据本公开的一方面，提供一种计算机可读存储介质，该计算机可读存储介质承载包含用于执行上述方法的任何实施例的程序代码指令的软件程序。
根据本公开的一个方面，提供一种非暂时性制品，其有形地体现计算机可读程序代码指令，这些指令在被执行时使计算机执行上述方法的任何实施例。
根据本公开的一个方面，一种计算机程序，包括可由处理器执行以实现上述方法的任何实施例的代码指令。
以上呈现主题的简化概述，以便提供对主题实施例的一些方面的基本理解。该概述不是该主题的详尽概述。其无意于标识实施例的关键或重要元件或描绘主题的范围。其唯一目的是以简化的形式呈现本主题的一些概念，作为稍后呈现的更详细描述的序言。
通过以下参考附图进行的例示性实施例的详细描述，本公开的附加特征和优点将变得明显。
附图说明
根据下面简要描述的以下示例性附图，可以更好地理解本公开：
图1例示根据本公开的实施例的示例性沉浸式现实系统的简化框图；
图2A例示根据本公开的实施例的用户与头戴式显示设备和手持式显示设备进行交互；
图2B例示根据本公开的实施例的用户与头戴式显示设备和显示设备进行交互；
图3A例示根据本公开的实施例的来自头戴式显示设备的视图的图；
图3B例示根据本公开的实施例的来自头戴式显示设备的视图的图；
图3C例示根据本公开的实施例的来自包括手持式显示设备的头戴式显示设备的视图的图；
图3D例示根据本公开的实施例的来自包括手持式显示设备的头戴式显示设备的视图的图；
图3E例示根据本公开的实施例的来自包括手持式显示设备的头戴式显示设备的视图的图；和
图4例示根据本公开实施例的示例性方法的流程图。
具体实施方式
应当理解，附图中示出的元件可以以各种形式的硬件，软件或其组合来实现。优选地，这些元件在一个或多个适当编程的通用设备上以硬件和软件的组合来实现，其可以包括处理器，存储器和输入/输出接口。在本文中，短语“耦合”定义为意指直接连接或通过一个或多个中间组件间接连接。这样的中间组件可以包括基于硬件和软件的组件。
本说明书例示本公开的原理。因此，将认识到，本领域技术人员将能够设想尽管未在本文中明确描述或示出但体现本公开的原理并且包括在其范围内的各种布置。
本文中陈述的所有示例和条件语言旨在用于教育目的，以帮助读者理解本公开的原理和发明人为促进本领域贡献的概念，并且要被解释为不限于这样的特定陈述的示例和条件。
此外，本文中陈述本公开的原理，方面和实施例及其特定示例的所有陈述旨在包含其结构和功能等同物。另外，意图是这样的等同物包括当前已知的等同物以及将来开发的等同物，即，开发的执行相同功能的任何元件，而与结构无关。
因此，例如，本领域技术人员将认识到，本文呈现的框图表示体现本公开原理的说明性电路的概念图。类似地，将认识到，任何流程图，流程示图，状态转换图，伪代码等表示各种处理，其可以基本上以计算机可读介质来表示，并且因此由计算机或处理器执行，无论该计算机或处理器是否明确示出。
通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件，可以提供附图中所示的各种元件的功能。当由处理器提供时，功能可以由单个专用处理器，单个共享处理器或多个单独的处理器(其中一些可以共享)提供。此外，术语“处理器”或“控制器”的明确使用不应解释为专门指能够执行软件的硬件，并且可以隐含包括但不限于数字信号处理器(DSP)硬件，用于存储软件的只读存储器(ROM)，随机存取存储器(RAM)和非易失性贮存器。
还可以包括其他常规和/或定制的硬件。类似地，图中所示的任何开关仅是概念上的。它们的功能可以通过程序逻辑的操作，通过专用逻辑，通过程序控制和专用逻辑的交互，甚至手动操作来实现，特定技术可由实现者选择，如从上下文中更具体地理解的那样。
在其权利要求中，表达为用于执行指定功能的部件的任何元件旨在涵盖执行该功能的任何方式，包括例如a)执行该功能的电路元件的组合或b)任何形式的软件，因此包括固件，微代码等，与用于执行该软件的适当电路相结合以执行该功能。由这样的权利要求定义的公开内容在于以下事实：由各种陈述的部件提供的功能以权利要求要求的方式被组合且提供在一起。因此认为可以提供那些功能的任何部件都等同于本文示出的那些。
本公开针对沉浸式现实(IR)系统，其中可以使用至少一个较高分辨率的设备来补充至少一个较低分辨率的设备的视图。例如，IR眼镜或HMD在视场上的每度的像素数或角度像素密度(类似于平面显示器上的每英寸点数(DPI)或每英寸像素数(PPI))方面可能不具有高分辨率显示器。这主要是由于重量和功率限制，以及尺寸(体积)，光学器件以及视场和像素密度之间的折衷。结果，用户体验不那么强，并且由于低分辨率的阻碍而可能限制缩放。像手持式显示设备(例如，平板电脑，智能电话)那样的其他设备确实具有较高的分辨率并且可以用于补充HMD显示，尽管占据了用户的视场的较小百分比。将IR显示设备(例如，HMD)与具有高分辨率显示器的手持式显示设备组合可以向视图(窗口)的至少选择的一部分提供宽视场和高分辨率视图。在下面的公开中，视场表示从特定点可以看到的空间的总量。该特定点可以是人的眼睛或相机位置。理解的是，如果人拿着相机，则人没有移动头部或身体。
图1例示根据本公开的实施例的示例性沉浸式现实系统100的简化框图。系统100可以处理沉浸式现实内容，由此包括虚拟现实，增强现实，增强虚拟性，混合现实，融合现实等中的至少一种。系统100可以包括能够接收和处理来自用户设备160-1至160-n中的一个或多个的用户请求的服务器或服务提供商105。服务器105可以是例如内容服务器。内容服务器在响应于用户对内容的请求时，可以提供包括各种多媒体资产的节目内容，诸如但不限于电影或电视节目，用于由使用设备160-1至160-n的用户观看，流式传输或下载，或者耦合到设备160-1至160-n。设备160-1至160-n可以是任何消费类电子设备，例如网关，机顶盒，电视，计算机，膝上型计算机，平板电脑，智能电话等。除了内容传递以外，服务器或服务提供商还可以提供其他服务。
各种示例性用户设备160-1至160-n可以在诸如因特网，广域网(WAN)和/或局域网(LAN)之类的通信网络150上与示例性服务器105通信和/或彼此通信(例如，在多用户VR游戏或AR体验中)。服务器105可以与用户设备160-1至160-n通信，以便通过网络连接向用户设备160-1至160-n提供和/或从用户设备160-1至160-n接收相关信息，诸如推荐，用户等级，元数据，网页，媒体内容，销售报价，销售请求等。当处理不可用和/或不能在本地用户设备160-1至160-n上进行时，服务器105还可以提供信息和数据的附加处理。作为示例，服务器105可以是具有处理器110(诸如，例如，Intel处理器)的计算机，以运行诸如例如Windows2008R2，Windows Server 2012R2，Linux操作系统等之类的适当的操作系统。根据本公开，处理器110可以执行软件以执行和控制服务器105的各种功能和组件。
图1还例示服务器或服务提供商105的更多细节。处理器110可以经由控制总线130来控制服务器105的各种功能和组件。服务器105还可以包括存储器125，该存储器125可以表示瞬时存储器(诸如，RAM)，非瞬时存储器(诸如，ROM)，硬盘驱动(HDD)，压缩盘(CD)驱动或数字视频盘(DVD)驱动和/或闪存中的至少一个，以必要时处理和存储不同文件和信息，根据需要，包括计算机程序产品和软件，网页，用户界面信息，用户配置文件，用户推荐，用户等级，元数据，电子程序列表信息，数据库，搜索引擎软件等。搜索引擎和推荐软件可以根据需要存储在服务器105的非暂时性存储器125中，使得可以提供媒体推荐，以例如响应于用户的配置文件和对某些媒体资产的不感兴趣和/或兴趣的等级，和/或使用用户使用文本输入(例如，使用“体育”，“冒险”，“安吉丽娜·朱莉”的查询等)指定的标准进行搜索。
另外，如本领域已知，服务器管理员可以使用不同的用户输入/输出(I/O)设备115与服务器105交互并配置服务器105以运行不同的应用。示例性服务器105的用户I/O或接口设备115可以表示例如鼠标，显示器的触摸屏能力，用于输入用户数据的触摸和/或物理键盘。示例性服务器105的用户接口设备115还可以包括一个或多个扬声器，和/或其他用户指示器设备，用于输出视觉和/或音频声音，用户数据和反馈。
此外，如图1所示，服务器105可以通过通信接口120连接到网络150，以与其他服务器或网站(未示出)和一个或多个用户设备160-1至160-n通信。在内容提供商105表示电视台，有线或卫星电视提供商或其他无线内容提供商的情况下，通信接口120还可以表示电视信号调制器和RF发射机。另外，本领域技术人员将容易理解，可能还需要其他众所周知的服务器组件，诸如例如电源，冷却风扇等，但是为了简化绘图未在图1中示出。
用户设备160-1至160-n可以是包括一个或多个显示器的沉浸式现实视频呈现设备。该设备可以在每个显示器的前面采用诸如透镜之类的光学器件。诸如例如在智能手机或平板电脑的情况下，显示器也可以是沉浸式显示设备的一部分。在另一实施例中，显示器和光学器件可以被嵌入在是设备的一部分或耦合到设备的头盔、眼镜或可穿戴遮阳板中。沉浸式视频呈现或用户设备160-1至160-n还可以包括一个或多个传感器和/或外部辅助设备，如下面进一步描述。
用户设备160-1至160-n可以是但不限于以下的一个或多个，例如，PC，膝上型计算机，平板电脑，智能电话，智能手表，视频接收器，智能电视(TV)，HMD设备或智能眼镜(诸如例如，Oculus Rift(来自Oculus VR)，PlayStation VR(来自索尼)，Gear VR(来自三星)，Google Glass(来自Google)，Moverio BT-200(来自Epson)，CastAR，Laster SeeThru等)，机顶盒，网关等。这样的设备的示例可以是例如Microsoft Windows 10计算机/平板电脑/膝上型计算机，Android手机/平板电脑，Apple IOS手机/平板电脑，Sony TV接收器等。根据本公开的示例性用户设备的简化框图例示在作为设备1的图1的块160-1中，并且在下面进一步描述。在图1中的其他用户设备160-2至160-n中也可以存在类似的组件和特征。
用户设备160-1可以通过网关156以及连接或链路154和158，通过连接或链路155通过有线或无线方式直接耦合到网络/因特网150。用户设备160-1可以包括处理器172，其表示至少一个处理器，用于处理各种数据和信号，并用于控制设备160-1的各种功能和组件，包括视频编码/解码和处理能力，以便播放，显示和/或传输视频内容。处理器172可以经由控制总线171与设备160-1通信并控制设备160-1的各种功能和组件。
用户设备160-1还可以包括显示器179，显示器179在处理器172的控制下经由显示器总线178由显示驱动器/总线组件177驱动。显示器179可以是触摸显示器。另外，显示器179的类型可以是例如液晶显示器(LCD)，发光二极管(LED)，有机发光二极管(OLED)等。另外，根据本发明的示例性用户设备160-1可以在用户设备的外部具有其显示器，或者可以使用附加的或不同的外部显示器来显示由显示驱动器/总线组件177提供的内容。这例如由示例性外部显示器185例示，示例性外部显示器185通过设备160-1的外部显示连接195连接。该连接可以是有线或无线连接。
示例性用户设备160-1还可以包括存储器176，该存储器176可以表示瞬时存储器(诸如，RAM)，和非瞬时存储器(诸如，ROM)，HDD，CD驱动。DVD驱动和/或闪存中的至少一个，以必要时处理和存储不同文件和信息，根据需要包括计算机程序产品和软件(例如，由下面要讨论的图4的流程示图400表示)，网页，用户界面信息，数据库等。另外，设备160-1还可以包括通信接口170，用于例如经由网络150使用链路155与服务器105和/或其他设备耦合和通信，通信接口170也可以使用链路158将设备160-1耦合到网关156。链路155和158可以表示通过例如以太网，电缆网络，FIOS网络，Wi-Fi网络和/或手机网络(例如3G，4G，LTE，5G)等的连接。
沉浸式内容呈现或用户设备160-1的一个功能可以是控制虚拟相机，该虚拟相机捕获被构造为虚拟体的内容的至少一部分。该系统可以包括一个或多个姿势跟踪传感器，其全部或部分地跟踪用户的姿势，例如，用户的头部的姿势，以便处理虚拟相机的姿势。可以提供一个或多个定位传感器以跟踪用户的位移。该系统还可以包括与环境有关的其他传感器，例如以测量照明，温度或声音条件。这样的传感器还可以与用户的身体有关，例如以检测或测量出汗或心率。通过这些传感器获取的信息可以用于处理内容。
根据本公开，示例性设备160-1还可以包括传感器175。在示例性实施例中，传感器175可以至少是音频传感器(诸如，麦克风)，视觉传感器(诸如相机(视频或图片))，陀螺仪，加速计，指南针，运动检测器，可穿戴的手/腿/手臂/身体带，手套，全球定位系统(GPS)传感器，Wi-Fi位置跟踪传感器，射频识别(RFID)标签(或跟踪标签)和/或其他类型的传感器，如前所述。
在根据本公开的另一个非限制性实施例中，示例性外部传感器182、183可以与用户设备160-1分离并且耦合到用户设备160-1(例如，放置在房间的墙壁，天花板，门，另一个内部设备，用户等)。如图1所示，(多个)示例性外部传感器182、183可以分别具有经由设备160-1的外部设备接口173到设备160-1的有线或无线连接192、193，如图1所示。(多个)外部传感器182、183可以是例如麦克风，视觉传感器(诸如照相机(视频或图片))，陀螺仪，加速度计，指南针，运动检测器，可穿戴手/腿/手臂/身体带，手套，全球定位系统(GPS)传感器，Wi-Fi位置跟踪传感器，射频识别(RFID)标签(或跟踪标签)等。根据本公开，传感器数据(例如，来自传感器175、182和/或183的数据)可以经由处理器总线171提供给用户设备160-1的处理器172，以进一步处理。
处理器172可以处理从传感器175、182、183接收到的信号。来自传感器的一些测量可以用于计算设备的姿势和/或位置并控制虚拟相机。可以用于姿势或位置估计的传感器包括例如陀螺仪，加速度计或指南针。在更复杂的系统中，例如，也可以使用一系列相机。处理器172可以执行图像处理以估计HMD的姿势。可以根据环境条件或用户反应使用其他一些测量来处理内容。用于检测环境和用户状况的传感器包括，例如，一个或多个麦克风，光传感器或接触传感器。还可以使用更复杂的系统，例如跟踪用户眼睛的摄像机。在这样的情况下，至少一个处理器172执行图像处理以执行预期的测量。
另外，示例性设备160-1还可以包括用户输入/输出(I/O)设备174。示例性设备160-1的用户I/O或接口设备174可以表示例如鼠标，遥控器，操纵杆，触敏表面(例如，触摸板或触摸屏)，显示器(例如，显示器179和/或185)的触摸屏功能，触摸屏和/或的物理键盘，用于输入用户数据。示例性设备160-1的用户接口设备174还可以包括一个或多个扬声器和/或其他用户指示器设备，用于输出视觉和/或音频，用户数据和反馈。来自用户输入设备的信息可以用于处理内容，管理用户界面或控制虚拟相机的姿势。
要理解，传感器175、182、183和用户输入设备174通过有线或无线通信接口与沉浸式呈现或用户设备160-1内的处理器172通信。
在根据本公开内容的另一个非限制性示例性实施例中，如图1所示，设备160-1可以经由外部设备接口173和链路191耦合到至少一个外部或辅助设备181。设备181可以是例如智能电话，平板电脑，遥控器，键盘设备，外部设备181等。外部设备181可以包括用作用户界面(UI)的触敏表面(例如，触摸板或触觉屏幕)。
在根据本公开的另一个非限制性示例性实施例中，如图1所示，设备160-1可以经由外部设备接口173和链接194耦合到沉浸式现实HMD设备或智能眼镜184(诸如，例如，Oculus Rift(来自Oculus VR)，PlayStation VR(来自索尼)，Gear VR(三星)，GoogleGlass(来自Google)，Moverio BT-200(来自Epson)，CastAR，Laster SeeThru等)。注意，用户设备160-1本身可以是HMD设备或智能眼镜。除了固有的显示器之外，在一个实施例中，HMD设备可以包括至少一个嵌入式相机，其可以用作传感器，例如用于定位(在观察周围环境时)或在指向用户的眼睛时用于用户识别(例如，虹膜识别)。在一个实施例中，HMD设备还可以包括可以用作传感器或语音接口来接受语音命令的嵌入式麦克风。在一个实施例中，HMD设备还可以包括用于提供音频的耳机或耳塞。
典型的HMD具有一个或两个小型显示器，其镜片和半透明镜嵌入眼镜(也称为数据眼镜)，遮阳板或头盔中。显示单元被小型化并且可以包括阴极射线管(CRT)，液晶显示器(LCD)，硅上液晶(LCos)或有机发光二极管(OLED)。一些供应商采用多个微型显示器来提高总分辨率和视场。
HMD的区别在于它们是否只能显示计算机生成的图像(CGI)或VR内容，或者仅显示来自物理世界的实时图像，或者其组合。大多数HMD只能显示计算机生成的图像，有时也称为虚拟图像。一些HMD可以允许将CGI叠加在真实世界的视图上(AR，混合现实，融合现实等)。可以通过利用半反射镜投射CGI并且直接观看真实世界来完成真实世界视图与CGI的组合。该方法通常称为光学透视(see-through)。通过接受来自相机的视频并将其与CGI电子混合，也可以电子地完成真实世界视图与CGI的组合。该方法通常称为视频透视。
继续图1，示例性用户设备160-1至160-n可以使用例如超文本传输协议(HTTP)来访问由服务器105提供的不同媒体资产，推荐，网页，服务或数据库。可以由服务器105运行以服务HTTP协议的众所周知的Web服务器软件应用是Apache HTTP Server软件。同样，用于提供多媒体程序的众所周知的媒体服务器软件应用的示例包括例如Adobe Media Server和Apple HTTP Live Streaming(HLS)Server。使用上面提及的媒体服务器软件和/或其他开放式或专有服务器软件，服务器105可以提供类似于例如如上所述的Amazon，Netflix或M-GO的媒体内容服务。服务器105还可以使用诸如Apple HTTP Live Streaming(HLS)协议，Adobe Real-Time Message Protocol(RTMP)，Microsoft Silverlight Smooth StreamingTransport Protocol等流传输协议来传输各种程序，包括各种多媒体资产，诸如例如，电影，电视节目，软件，游戏，电子书，电子杂志等到终端用户设备160-1，用于经由流，下载，接收等购买和/或观看。
在本公开的一个非限制性示例性实施例中，一个或多个传感器175、182和/或183还可以通过有线(例如，以太网电缆)或无线(例如，802.11标准或Bluetooth)方式(例如，LAN或WAN网络)连接到服务器或者服务器提供商105，并且处理器110可以远程处理一些或全部传感器数据。
要理解，图1中的连接或链接(包括140、155、154、158和191-195)每个可以独立地是有线或无线连接。
要理解，图1中的系统100的各个单独的组件可以包括相关领域的普通技术人员已知的电路或机械部件并且将不进行详细描述。要进一步理解，在图1中描述的示例不是穷举的，并且可以选择其他布置而不脱离本公开的范围。
图2A例示根据本公开的实施例的用户210与HMD设备或IR眼镜220和手持式显示设备230(例如，平板电脑，智能电话等)交互的图200A，其中手持式显示设备230的较高分辨率补充HMD设备220的较低分辨率。HMD设备220可以类似于图1的设备184并且耦合到设备160-1，或者可以类似于包括HMD功能184的设备160-1本身，如先前所解释。手持式显示设备230可以类似于外部设备181并且耦合到设备160-1，或者可以类似于包括显示功能179的设备160-1本身。
手持式设备230和HMD 220可以耦合到服务器(图2A中未示出)，该服务器控制在两个设备上显示什么。在手持式设备230上显示的高分辨率窗口的内容可以取决于该设备关于HMD的相对位置和取向。随着手持式显示设备和HMD移动，可以将其新的位置或取向发送到服务器，并且服务器可以更新显示的内容。关于图1，反映图2A的设备的许多组合是可能的。例如，服务器可以是设备160-1，HMD 220可以是设备184，而手持式显示设备230可以是外部设备181。在另一个示例中，服务器可以是网关154，HMD 220可以是设备160-1并且手持式设备显示设备230可以是外部设备181。在又一示例中，服务器可以是远程服务器105，HMD可以是设备181或184，而手持式显示设备230可以是设备160-1。在不脱离本公开的范围的情况下，其他组合也是可能的。
服务器可以跟踪HMD 220和手持式显示设备230二者的运动。使用两个设备的相对位置和取向，服务器可以计算需要在手持式设备220上显示的IR视场的部分(位置和比例)。还可以连续地同步两个视图以向IR世界提供内聚的组合视图。要理解，服务器可以是单独的设备，或者可以是HMD 220和手持式设备230之一。
图2A包括用于HMD 220的视场240和用于手持式显示设备220的视场250，并且两个视场240和250相交。更具体地，在图2A中，视场250是视场240的子部分。例如，用户210可以看到或观看IR HMD 220提供的具有可用的现有(低)分辨率的宽视场240中的场景。用户210还可以利用他们的手持式显示设备230，并且相对于HMD设备220的视场移动它，以便通过手持式显示设备230的窄视场“窗口”250以较高的分辨率看到或观看内容。此外，用户210可以在将手持式显示设备230保持在适当位置的同时移动其头部，以便相对于HMD的较宽视场240移动窄视场“窗口”250。此外，用户210可以经由设置，姿势或将手持式显示设备230移开/靠近用户的眼睛来放大/缩小手持式显示设备230的内容。在一个实施例中，相反的情况：用户210可以通过将手持式显示设备230移近/移开用户的眼睛来放大/缩小手持式显示设备230的内容。在一个实施例中，在确定视场中可以实时考虑放大/缩小。在一个实施例中，在用于手持式显示设备230的视场确定中可以不考虑放大/缩小，并且可以根据确定的缩放量来进行用于手持式显示设备230的视场确定。确定的缩放量可以由用户建立。
要理解，视场240可以通过至少一个摄像机的图像和/或来自附接到或包括在HMD220中的传感器的数据，或通过耦合到系统的其他相机和/或传感器(例如，图1中的传感器182、183和175)，来检测或确定。类似地，可以通过至少一个摄像机的图像和/或来自附接到或包含在手持式显示设备230中的传感器的数据，或者通过耦合到系统的其他相机或传感器(例如图1中的传感器182、183和175)，来检测或确定视场250。另外，视场240和250之间的相交的确定可以由对来自视场240和250的图像之间的比较得出。图像可以是2D或3D图像。传感器可以检测各个设备的位置，并且可以基于各个位置来确定视场和/或相交。图像和位置的组合也可以用于确定视场和/或相交。
在与数据传输速率相关联的约束下，HMD设备220中显示的IR内容可以与手持式显示设备230中显示的IR内容同步。可以通过本领域已知的方法，例如利用时间戳来完成同步。另外，尽管具有不同级别的分辨率，但是在HMD设备220中显示的IR内容可以是在手持式显示设备230中显示的相同IR内容。此外，如之前描述，在手持式显示设备230中显示的IR内容可以是在HMD设备220中显示的IR内容的子集或较小窗口。
IR内容可以是VR内容，AR内容，混合内容，融合内容等。HMD设备220可以取决于IR内容的类型而不同地操作。另外，HMD设备220可以以下模式之一操作：光学透视模式，视频透视模式或混合的光学-视频透视模式。利用光学透视HMD，可以通过放置在用户的眼前的半透明镜看到现实世界。这些镜还用于将计算机生成的图像反射到用户的眼睛中，从而组合真实世界和虚拟世界的视图。利用视频透视HMD，可以通过安装在头部装置上的两个微型摄像机捕获现实世界图像，并将计算机生成的图像与真实世界的视频表示电子组合。
要理解，设备230不需要是手持式或移动式的。高分辨率IR内容也可以显示在固定(非移动)显示设备上。图2B例示根据本公开的实施例的用户210与HMD设备220和固定显示设备260(例如，TV，计算机监视器等)交互的图200B。在图2B中，固定显示设备260的较高分辨率补充HMD设备220的较低分辨率。HMD设备220可以类似于图1的设备184并且耦合到设备160-1，或者可以类似于自身包括HMD功能184的设备160-1，如先前所解释。固定显示设备230可以类似于外部设备181，185并且耦合到设备160-1，或者可以类似于自身包括显示功能179的设备160-1。可选地，用户210可以利用耦合到固定显示设备230并且控制固定显示设备230的操作的遥控设备265。遥控设备265可以是类似于设备181，用户I/O设备174或传感器182、183的设备。
图2B包括用于HMD 220的视场270和用于固定显示设备220的视场280，并且两个视场270和280相交。更具体地，在图2B中，视场280是视场270的子部分。用户210可以例如看到或观看由IR HMD 220提供的具有可用现有(低)分辨率的宽视场270中的场景。用户210还可以通过固定显示设备260的窄视场“窗口”280以较高的分辨率看到或观看内容。此外，用户210可以移动其头部，以关于HMD的较宽视场270移动窄视场“窗口”280。此外，用户210可以使用遥控器265经由设置来放大/缩小固定显示设备260的内容。在一个实施例中，用户210可以通过移开/移近固定显示设备260来放大/缩小固定显示设备260的内容。在一个实施例中，是相反的情况，用户210可以通过移近/移开固定显示设备260来放大/缩小固定显示设备260的内容。在一个实施例中，在视场确定时可以实时考虑放大/缩小。在一个实施例中，在用于固定显示设备260的视场确定中可以不考虑放大/缩小，并且可以根据确定的缩放量来进行用于固定显示设备260的视场确定。确定的缩放量可以由用户建立。
在与数据传输速率相关联的约束下，HMD设备220中显示的IR内容可以与固定显示设备260中显示的IR内容同步。另外，尽管具有不同级别的分辨率，但是在HMD设备220中显示的IR内容可以是在固定显示设备260中显示的相同IR内容。此外，如之前描述，在固定显示设备260中显示的IR内容可以是在HMD设备220中显示的IR内容的子集或较小窗口。
要理解，视场270可以通过至少一个摄像机的图像和/或来自附接到或包括在HMD220中的传感器的数据，或由耦合到系统的其他相机和/或传感器(例如，图1中的传感器182、183和175)，来检测或确定。类似地，可以通过至少一个摄像机的图像和/或来自附接到或包含在固定显示设备260中的传感器的数据，或者通过耦合到系统的其他相机或传感器(例如图1中的传感器182、183和175)，检测或确定视场280。另外，视场270和280之间的相交的确定可以由对来自视场270和280的图像之间的比较得出。图像可以是2D或3D图像。传感器可以检测各个设备的位置，并且可以基于各个位置来确定视场和/或相交。图像和位置的组合也可以用于确定视场和/或相交。
IR内容可以是VR内容，AR内容，混合内容，融合内容等。HMD设备220可以取决于IR内容的类型而不同地操作。另外，HMD设备220可以以下模式之一操作：光学透视模式，视频透视模式或光学-视频混合透视模式。结合图3A-3E描述操作的附加细节。
图3A例示根据本公开的实施例的来自头戴式显示设备的视图的图300A。图。图3A例示通过类似于图2A和2B中的HMD 220的用户的HMD看到的超市中的冷冻产品的一部分。图300A可以反映来自光学透视HMD的视图，以例示超市内部的真实视图。图300A还可反映来自视频透视HMD的视图，以例示超市内拍摄的真实场景。图300A还可以反映来自HMD的视图，以例示超市的VR场景。
图3B例示根据本公开的实施例的来自包括手持式显示设备390的头戴式显示设备的视图的图300B。图3B例示通过类似于图2A和2B中的HMD 220的用户的HMD看到的超市中的冷冻产品的一部分。图300B可以经由光学透视HMD来反映AR内容的视图，以例示在超市内部添加AR对象310-380的真实视图。图300B还可以经由视频透视HMD来反映AR内容的视图，以例示添加有AR对象310-380的超市的拍摄的真实场景。图300B还可以反映来自HMD的视图，以例示具有VR对象310-380的超市的VR场景。每个AR或VR对象可以是图形和/或文本。在图3B中，对象310-380包括冰箱内产品的图以及包括关于产品的信息的标签。在图3B中，由于尺寸和/或分辨率，对象310-380的标签不清楚可见或不清晰。
图3C例示根据本公开实施例的来自包括手持式显示设备390的头戴式显示设备的视图的图300C。图3C例示通过类似于图2A和2B中的HMD 220的用户的HMD看到的超市中的冷冻产品的一部分。图300C可以经由光学透视HMD来反映AR内容的视图，以例示超市内部添加AR对象310-380的真实视图。每个AR对象可以是图形和/或文本。在图3C中，对象310-380包括冰箱内部的产品的图以及包括关于产品的信息的标签。在图3C中，由于尺寸和/或分辨率，对象320-380的标签不清楚可见或不清晰。
图3C与图3B不同之处在于，通过图300C的HMD透视图可以看到握住手持式显示设备390的用户的手392。另外，手持式显示设备390的屏幕395示出类似于图3B的AR对象310及四周的鱼AR对象315和四周的视图。此外，AR对象315可以是图3B的AR对象310的放大版本。结果，用户现在可以清楚地看到AR对象315中的标签。虽然示例示出手持式设备390的放大显示，但是当手持式设备390具有较高像素密度时缩放可能不是必要的，因为图像中将存在更多细节。因此，手持式设备390补充图3中的视图300B，产生图3C中的视图300C，与图3B中的类似AR对象310相反，AR对象315对于用户清晰。而且，要注意，HDM视图300C在所有方面类似于HMD视图300B，除了AR对象310和周围之外。由于在同一位置存在手持式显示设备390，AR对象310在视图300C中不存在。实际上，AR对象315表示AR对象310，如通过手持式设备390在屏幕395上的看到的。
因此，根据本公开的实施例，当HMD设备的视场(例如，240)和手持式设备的视场(例如，250)相交时，HMD设备不显示两个视场的相交中包括的任何AR对象(例如，图3B的AR对象310)。替代地，HMD设备在HMD设备与手持式设备之间的视场相交中实际上是清楚或透明的，使得可以无障碍地看到手持式设备。因此，HMD显示手持式设备390，并且手持式设备在两个视场之间的相交中显示任何AR对象(例如，AR对象315)。这是为了避免HMD视图和手持式设备视图相互干扰，以使得向观看者带来不好的体验。通过将图3C相关至图2A，视场240和250之间的相交是视场250。因此，视场250内的任何AR对象都不由HMD 220显示。替代地，它们由手持式显示设备230显示。HMD220看到来自手持式设备230的视图和不包括250的其余视图240，加上其中包含的任何AR对象(例如，图3C中的AR对象320-380)。
类似地，通过将图3C相关至图2B，视场270和280之间的相交是视场280。因此，视场280内的任何AR对象都不由HMD 220显示。相反，它们由固定显示设备260显示。HMD 220看到来自固定显示设备260的视图和不包含280的其余视图270，加上其中包含的任何AR对象(例如，图3C中的AR对象320-380)。
如先前提到，视场240、270可以通过至少一个摄像机的图像和/或来自附接到或包括在HMD 220中的传感器的数据，或通过耦合到系统的其他相机和/或传感器(例如，图1中的传感器182、183和175)，进行检测或确定。类似地，视场250可以通过至少一个摄像机的图像和/或来自附接到或包括在手持式显示设备230中的传感器的数据，或通过耦合到系统的其他相机和/或传感器(例如，图1中的传感器182、183和175)，进行检测或确定。同样类似地，视场280可以通过至少一个摄像机的图像和/或来自附接到或包括在固定显示设备260中的传感器的数据，或通过耦合到系统的其他相机和/或传感器(例如，图1中的传感器182、183和175)，进行检测或确定。另外，对视场240和250或270和280之间的相交的确定可以由来自各个视场的图像之间的比较得出。图像可以是2D或3D图像。传感器可以检测各个设备的位置，并且可以基于各个位置来确定视场和/或相交。图像和位置的组合也可以用于确定视场和/或相交。
在一个实施例中，图3C还可以表示来自混合模式HMD的视图300C，其中用户的手392和手持式显示设备390周围的区域表示HMD显示器的透视部分，并且视图300C的其余部分表示视频透视AR类型的图像或VR类型的图像。在这种情况下，基于HMD的视场(例如240)和手持式显示设备的视场(例如250)之间的相交来确定HMD的透视区域。然后，将相交从HMD视图中分割出来。相交可以包括用户的手392和/或周围环境，仅仅手持式显示设备390或仅仅手持式显示设备390的屏幕395。
图3D例示根据本公开实施例的来自包括手持式显示设备390的头戴式显示设备的视图的图300D。图3D是类似于图3的另一示例，并且着重说明这样的情况，其中用户的手持式显示设备现在指向超市的牛奶区而不是鱼区，如图3C所示。因此，图3D不同于图3B在于，通过图300D的HMD透视图可以看见握持手持式显示设备390的用户的手392。另外，手持式显示设备390的屏幕395示出类似于图3B的AR对象330和周围的牛奶AR对象335和周围的图。此外，AR对象335可以是图3B的AR对象330的放大版本。结果，AR对象335中的标签现在对用户而言是清晰的。尽管该示例示出手持式设备390的放大显示，但是当手持式设备390具有较高的像素密度时，缩放可能不是必需的，因为图像中将存在更多细节。因此，手持式设备390补充图3中的视图300B，产生图3C中的视图300D，其中与图3B中类似的AR对象330相反，AR对象335对于用户而言是清晰的。此外，要注意，除了AR对象330和周围之外，HMD视图300D在所有方面类似于HMD视图300B。由于在同一位置存在手持式显示设备390，在视图300D中不存在AR对象330。实际上，AR对象335表示AR对象330，如通过手持式设备390在屏幕395上看到的。
图3E例示根据本公开的实施例的来自包括手持式显示器390设备的头戴式显示设备的视图的图300E。在图3E中，仅示出一个AR对象315，如通过手持式显示设备390观看到。未示出其余的AR对象，以反映本公开的另一实施例。
因此，根据本公开的实施例，当HMD设备的视场(例如，240)和手持式设备的视场(例如，250)相交时，手持式显示设备390显示两个视场的相交中包括的任何AR对象(例如，图3B的AR对象310)，而HMD设备变成完全透视的设备。通过将图3E相关到图2A，视场240和250之间的相交是视场250。因此，视场250内的任何AR对象由手持式显示设备230显示。HMD220是透视的并且从手持式设备230看到该视图。
在该实施例中，可以在HMD和手持式显示设备390中同步示出IR内容。除了分辨率可能不同之外，IR内容也可以是相同的内容。发送到两个设备的IR内容在与数据传输速率关联的约束内也可以是同步的。一旦确定两个设备的视场相交，则HMD设备可以停止示出一起的IR内容并变为透视设备，使得用户可以仅看到手持式显示设备390的内容。该实施例对于VR内容特别感兴趣，但是也可以应用于其他形式的IR内容。
在一个实施例中，当两个视场之间存在任何相交时，HMD转变为完全透视模式。在一个实施例中，仅当视场相交包括手持式设备390的整个屏幕395时，HMD才转变为完全透视模式。
要理解，考虑到任何移动都与HMD和用户而不是与固定显示设备相关联，与图3B-3E类似的示例可能包括固定显示设备(例如，260)而不是手持式显示设备。还要理解，某些情况，例如，在超级市场中走来走去，可能并不表示用光学透视HMD可见的真实场景或用户体验，而是表示通过视频透视HMD可见的记录场景。类似地，该视图可以表示VR场景。
要理解，可能存在包括低分辨率和高分辨率设备的附加设备。例如，用户可以具有两个手持式设备，每只手上一个。在另一示例中，可以在用户导航的空间中放置一个以上的固定显示设备。
根据本公开的一个实施例，提供一种用于提供沉浸式现实内容的设备160-1,181，184，其包括处理器172和耦合至该处理器的至少一个存储器176，该处理器被配置为：确定来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交，基于视场相交生成第一沉浸式现实(IR)内容并提供第一IR内容。可以将第一IR内容提供给第一设备。也可以将第一IR内容提供给第二设备或第三设备。
第一设备(例如，HMD)可以是例如HMD 184，外部物理设备181或160-1本身。第二设备(例如，智能电话，平板电脑，计算机，计算机监视器，电视机等)可以是例如外部物理设备181，显示器185，用户I/O设备174或160-1本身(如果第一个设备是不同设备)。第三设备可以类似于第一设备或第二设备。该装置可以是第一设备，第二设备，第三设备或第四设备，例如服务器。如果第一视场和第二视场不相交，则视场相交为空的或为无效。如果第一视场和第二视场相交，则视场相交为非空或不为无效。IR内容可以是AR，混合现实，融合现实，VR等。
在该装置的一个实施例中，处理器可以还被配置为生成第二IR内容并提供第二IR内容。可以将第二IR内容提供给第二设备，第一设备或第三设备。例如，第一IR内容和第二IR内容可以是在显示第一IR内容的第三设备中的画中画(PIP)显示。在一个实施例中，第二IR内容可以是第二视场的函数。例如，在AR内容中，该内容基于第二设备的第二视场。在一个实施例中，第二IR内容可以基于例如AR或VR内容中的视场相交。例如，对于IR内容，第一IR内容可以是全部内容，并且第二IR内容可以是与视场相交相关联的第一内容的一部分或窗口。在一个实施例中，第二IR内容可以是第一视场的函数。例如，在VR内容中，考虑到可能的不同分辨率和数据率，第二VR内容可以与第一VR内容等效或相同。
在该装置的一个实施例中，处理器可以还被配置为仅在第一视场在视场相交之外的区域中生成第一IR内容。这暗示，当视场相交为空的或为空时，或者等效地，当第一视场与第二视场不相交时，处理器可以还配置为在整个第一视场中生成第一IR内容。并且当视场相交为非空或不为无效时，或者等效地，当第一视场与第二视场相交时，处理器可以还被配置为仅在第一视场中不包括视场相交或在视场相交之外的区域中生成第一IR内容。图3B-3D是满足该实施例的示例。
在该装置的一个实施例中，可以在视场相交中将第一设备设置为透视或透明显示模式。图3C-3E是满足该实施例的示例。
在该装置的一个实施例中，处理器可以被配置为仅在视场相交为空时生成第一IR内容并提供第一内容。因此，当视场相交为非空时或者等效地，当第一视场和第二视场相交时，可能不会生成第一IR内容。图3E是满足该实施例的示例。
在该装置的一个实施例中，当视场相交为非空时或者等效地，当第一视场和第二视场相交时，第一设备可以被设置为透视或透明显示模式。图3E是满足该实施例的示例。
在该装置的一个实施例中，可以基于第一设备的位置和第二设备的位置来确定视场相交。如之前描述，可以通过各种相机和传感器中的至少一个来收集数据。
在该装置的一个实施例中，可以基于来自第一设备的场景的第一视图与来自第二设备的场景的第二视图之间的图像相交来确定视场相交。如之前描述，数据可以由各种相机以及各种相机和传感器中的至少一种来收集。
在该装置的一个实施例中，处理器可以还被配置为接收来自第一设备的场景的第一视图和来自第二设备的场景的第二视图。
在该装置的一个实施例中，IR内容可以是增强现实(AR)内容，处理器还被配置为在第一IR内容中插入与视场相交之外的第一视场的区域相关联的任何AR对象。图3B-3D是满足该实施例的示例。
在该装置的一个实施例中，IR内容可以是增强现实(AR)内容，处理器还被配置为仅在第二IR内容中插入与视场相交相关联的任何AR对象。图3C-3E是满足该实施例的示例。
在该装置的一个实施例中，IR内容可以是增强现实(AR)内容，处理器还被配置为在第二IR内容中插入与视场相交之外的第二视场的区域相关联的任何AR对象。
在该装置的一个实施例中，IR内容可以是虚拟现实(VR)内容，第一IR内容和第二IR内容是相同的内容。
在该装置的一个实施例中，第一IR内容和第二IR内容可以是同步的。
在该装置的一个实施例中，第一设备和第二设备可以具有不同的分辨率。
在该装置的一个实施例中，第一IR内容可以具有比第二IR内容更低的分辨率。
在该装置的一个实施例中，第一IR内容和第二IR内容可以具有不同的数据率，压缩率，帧率和/或纠错编码。
在该装置的一个实施例中，处理器可以还被配置为随着第二设备和第一设备之间的距离减小而缩小第二IR内容。在该装置的一个实施例中，处理器可以还被配置为随着第二设备和第一设备之间的距离增加而缩小第二IR内容。在该装置的一个实施例中，用户可选择放大/缩小。当手持式设备390具有较高的像素密度时，放大/缩小不是必要的，因为图像中将存在更多细节。
在该装置的一个实施例中，处理器可以还被配置为随着第二设备和第一设备之间的距离增加而放大第二IR内容。在该装置的一个实施例中，处理器可以还被配置为随着第二设备和第一设备之间的距离减小而放大第二IR内容。当手持式设备390具有较高的像素密度时，放大/缩小不是必要的，因为在图像中将存在更多的细节。
在该装置的一个实施例中，第一设备可以是一副IR眼镜或HMD。图2A-2B，3A-3E是满足该实施例的示例。
在该装置的一个实施例中，当第一IR内容是AR内容时，HMD可以是光学透视的。图2A-2B，3A-3E是满足该实施例的示例。
在该装置的一个实施例中，当第一IR内容是AR内容时，HMD可以是视频透视的。图2A-2B，3A-3E是满足该实施例的示例。
在该装置的一个实施例中，第二设备可以是手持式显示设备。图2A，3B-3E是满足该实施例的示例。
在该装置的一个实施例中，第二设备可以是固定显示设备。图2B是满足该实施例的示例。
在一个实施例中，该装置可以是第一设备。
在一个实施例中，该装置可以是第二设备。
在一个实施例中，该装置可以是耦合到第一设备和第二设备的第三设备。
要理解，术语“处理器”可以表示以联合架构，串行，并行或混合的方式执行上面描述的功能的至少一个处理器。
图4例示根据本公开的提供沉浸式现实(IR)内容的示例性方法的流程图400。该方法可以包括，在步骤420，确定来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交。然后，在步骤430，该方法可以包括基于视场相交产生第一IR内容。接下来，在步骤440，该方法可以包括提供第一IR内容。可以将第一IR内容提供给第一设备。也可以将第一IR内容提供给第二设备或第三设备。
方法400可以由例如设备160-1执行，包括先前描述的任何实施例。特别地，该方法的步骤可以由处理器172执行。第一设备(例如，HMD)可以是例如HMD 184，外部物理设备181或160-1本身。第二设备(例如，智能电话，平板电脑，计算机，计算机监视器，电视等)可以是例如外部物理设备181，显示器185，用户I/O设备174或160-1本身(如果第一设备是不同设备)。第三设备可以类似于第一设备或第二设备。该方法可以由第一设备，第二设备，第三设备或第四设备(例如，服务器)执行。如果第一视场和第二视场不相交，则视场相交为空的或为无效。如果第一视场和第二视场相交，则视场相交为非空或不为无效。IR内容可以是AR，混合现实，融合现实，VR等。
在一个实施例中，该方法可以还包括在步骤450生成第二IR内容，并在步骤460提供第二IR内容。可以将第二IR内容提供给第二设备，第一设备或第三设备。例如，第一IR内容和第二IR内容可以是在显示第一IR内容的第三设备中的画中画(PIP)显示。步骤450和460可以是可选的，被绕过或被去除。例如，在一个实施例中，步骤450和460可以由单独的装置(例如，第二设备)执行。在一个实施例中，第二IR内容可以是第二视场的函数。例如，在AR内容中，该内容基于第二设备的第二视场。在一个实施例中，第二IR内容可以基于例如AR或VR内容中的视场相交。例如，对于IR内容，第一IR内容可以是全部内容，并且第二IR内容可以是与视场相交相关联的第一内容的一部分或窗口。在一个实施例中，第二IR内容可以是第一视场的函数。例如，在VR内容中，考虑到可能的不同分辨率和数据率，第二VR内容可以与第一VR内容等效或相同。
在该方法的一个实施例中，生成第一IR内容的步骤430还可以包括仅在第一视场在视场相交之外的区域中生成第一IR内容。这意味着，当视场相交为空的或为无效时，或者等效地，当第一视场和第二视场不相交时，生成步骤还可以包括：在整个第一视场中生成第一IR内容。并且当视场相交为非空或不为无效时，或者等效地，当第一视场与第二视场相交时，生成步骤还可以包括仅在不包括视场相交或视场相交之外的第一视场的区域中生成第一IR内容。图3B-3D是满足该实施例的示例。
在该方法的一个实施例中，可以将第一设备设置为在视场相交中透视或透明显示模式。图3C-3E是满足该实施例的示例。
在该方法的一个实施例中，仅当视场相交为空时才可以执行生成第一IR内容的步骤430和提供第一IR内容的步骤440。因此，当视场相交为非空时，或者等效地，当第一视场与第二视场相交时，可能不会生成第一IR内容。图3E是满足该实施例的示例。
在该方法的一个实施例中，当视场相交为非空时，或者等效地，当第一视场和第二视场相交时，可以将第一设备设置为透视或透明显示模式。图3E是满足该实施例的示例。
在该方法的一个实施例中，确定步骤420可以基于第一设备的位置和第二设备的位置。如前所述，可以通过各种照相机和传感器中的至少一个来收集数据。
在该方法的一个实施例中，确定步骤420可基于来自第一设备的场景的第一视图与来自第二设备的场景的第二视图之间的图像相交。如之前描述，可以通过各种相机和传感器中的至少一个来收集数据。
在一个实施例中，该方法还可以包括在步骤410接收来自第一设备的场景的第一视图和来自第二设备的场景的第二视图。步骤410可以是可选的，被绕过或被去除。例如，确定步骤420可以基于第一设备的位置和第二设备的位置。
在该方法的一个实施例中，IR内容可以是AR内容，生成第一IR内容的步骤430还包括在第一IR内容中插入与视场相交之外的第一视场的区域相关联的任何AR对象。图3B-3D是满足该实施例的示例。
在该方法的一个实施例中，IR内容可以是AR内容，生成第二IR内容的步骤450还包括仅在第二IR内容中插入与视场相交相关联的任何AR对象。图3C-3E是满足该实施例的示例。
在该方法的一个实施例中，IR内容可以是AR内容，生成第二IR内容的步骤450还包括在第二IR内容中插入与视场相交之外的第二视场的区域相关联的任何AR对象。
在该方法的一个实施例中，IR内容可以是虚拟现实(VR)内容，第一IR内容和第二IR内容是相同的内容。
在该方法的一个实施例中，第一IR内容和第二IR内容可以是同步的。
在该方法的一个实施例中，第一设备和第二设备可以具有不同的分辨率。
在该方法的一个实施例中，第一IR内容可以具有比第二IR内容低的分辨率。
在该方法的一个实施例中，第一IR内容和第二IR内容可以具有不同的数据率，压缩率，帧率和/或纠错编码。
在该方法的一个实施例中，生成第二IR内容的步骤450还可以包括随着第二设备与第一设备之间的距离减小而缩小第二IR内容。在该方法的一个实施例中，生成第二IR内容的步骤450还可以包括随着第二设备和第一设备之间的距离增加缩小第二IR内容。在该方法的一个实施例中，用户可选择放大/缩小。放大或缩小可能是可选的，被绕过或被去除。
在该方法的一个实施例中，生成第二IR内容的步骤450还可以包括：随着第二设备和第一设备之间的距离增加，放大第二IR内容。在该方法的一个实施例中，生成第二IR内容的步骤450还可以包括随着第二设备和第一设备之间的距离减小，放大第二IR内容。放大或缩小可能是可选的，被绕过或被去除。
在该方法的一个实施例中，第一设备可以是一副IR眼镜或HMD。图2A-2B，3A-3E是满足该实施例的示例。
在该方法的一个实施例中，当第一IR内容是AR内容时，HMD可以是光学透视的。图2A-2B，3A-3E是满足该实施例的示例。
在该方法的一个实施例中，当第一IR内容是AR内容时，HMD可以是视频透视的。图2A-2B，3A-3E是满足该实施例的示例。
在该方法的一个实施例中，第二设备可以是手持式显示设备。图2A，3B-3E是满足该实施例的示例。
在该方法的一个实施例中，第二设备可以是固定显示设备。图2B是满足该实施例的示例。
在该方法的一个实施例中，该方法的步骤可以由第一设备之一执行。
在该方法的一个实施例中，该方法的步骤可以由第二设备执行。
在该方法的一个实施例中，该方法的步骤可以由耦合至第一设备和第二设备的第三设备执行。
重要的是注意，在一些实施例中，处理400中的一个或多个元素可以被组合，以不同的顺序执行或被排除，同时仍然实现本公开的各方面。
此外，方法400可以被实现为计算机程序产品，包括可以由处理器执行的计算机可执行指令。具有计算机可执行指令的计算机程序产品可以存储在相应的上述设备的相应的非暂时性计算机可读存储介质中，例如160-1。
根据本公开的一个方面，提供一种非暂时性计算机可读程序产品，包括用于执行提供沉浸式现实内容的方法400的任何实施例的程序代码指令。
根据本公开的一个方面，提供一种非暂时性制品，其有形地体现在被执行时使计算机执行提供沉浸式现实内容的方法400的任何实施例的计算机可读程序代码指令。
根据本公开的一个方面，一种计算机程序，包括可由处理器执行的代码指令，用于实现提供沉浸式现实内容的方法400的任何实施例。
此外，本公开的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。计算机可读存储介质可以采取体现在一个或多个计算机可读介质中并且具有在其上体现的可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。给定在其中存储信息的固有能力以及从中检索信息的固有能力，本文使用的计算机可读存储介质被认为是非暂时性存储介质。计算机可读存储介质可以是例如但不限于电子，磁性，光学，电磁，红外或半导体系统，装置或设备，或前述的任何合适的组合。
要认识到，以下内容，尽管提供本公开可以应用于的计算机可读存储介质的更具体的示例，但是仅是示例性和非穷尽的列表，如本领域的普通技术人员容易理解的：便携式计算机盘，HDD，ROM，可擦可编程只读存储器(EPROM或闪存)，便携式致密盘只读存储器(CD-ROM)，光学存储设备，磁存储设备，或前述的任何适当组合。
根据本公开的一方面，提供一种计算机可读存储介质，承载包括用于执行提供沉浸式现实内容的方法400的任何实施例的程序代码指令的软件程序。
要认识到，本公开中示出和描述的各种特征是可互换的。除非另有说明，否则一个实施例中示出的特征可以并入另一个实施例中。此外，在各种实施例中描述的特征可以被组合或分离，除非另外指示为不可分离或不可组合。
如前所述，可以通过使用专用硬件以及能够与适当的软件相关联地执行软件的硬件来提供附图中所示的各种元件的功能。此外，当由处理器提供时，功能可以由单个专用处理器，单个共享处理器或多个单独的处理器(其中一些可以共享)提供。
要进一步理解，因为附图中描绘的一些组成系统组件和方法优选地以软件实现，所以系统组件或处理功能块之间的实际连接可以根据其中本公开被编程的方式而不同。给定本文的教导，相关领域的普通技术人员将能够考虑本公开的这些和类似的实现方式或配置。
尽管本文已经参考附图描述例示性实施例，但是要理解，本公开不限于那些精确的实施例，并且在不脱离本公开的范围的情况下，本领域的普通技术人员可以在其中进行各种改变和修改。另外，在不脱离本公开的范围的情况下，可以组合各个实施例。所有这样的改变和修改都旨在被包括在所附权利要求阐述的本公开的范围之内。

Claims (35)

1.一种方法(400)，包括：
确定(420)来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交；
基于所述视场相交生成(430)第一沉浸式现实内容；和
提供(440)所述第一沉浸式现实内容。
2.根据权利要求1所述的方法，还包括：
生成(450)第二沉浸式现实内容；和
提供(460)所述第二沉浸式现实内容。
3.根据权利要求1或2所述的方法，其中，生成所述第一沉浸式现实内容(430)还包括：
仅在所述视场相交之外的第一视场的区域中生成所述第一沉浸式现实内容。
4.根据权利要求1或2所述的方法，其中，仅在所述视场相交为空时才执行生成所述第一沉浸式现实内容(430)和提供所述第一沉浸式现实内容(440)。
5.根据前述权利要求中的任一项所述的方法，其中，所述确定(420)基于所述第一设备的位置和所述第二设备的位置。
6.根据前述权利要求中的任一项所述的方法，其中，所述确定(420)基于来自所述第一设备的场景的第一视图与来自所述第二设备的场景的第二视图之间的图像相交。
7.根据前述权利要求中的任一项所述的方法，还包括：
接收(410)来自所述第一设备的场景的第一视图和来自所述第二设备的场景的第二视图。
8.根据权利要求1-3和5-7中的任一项所述的方法，其中，所述沉浸式现实内容是增强现实内容，所述生成第一沉浸式现实内容(430)还包括：
在所述第一沉浸式现实内容中插入与所述视场相交之外的所述第一视场的区域相关联的任何增强现实对象。
9.根据权利要求2至8中任一项所述的方法，其中，所述沉浸式现实内容是增强现实内容，所述生成所述第二沉浸式现实内容(450)还包括：
仅在所述第二沉浸式现实内容中插入与所述视场相交相关联的任何增强现实对象。
10.根据权利要求2-9中的任一项所述的方法，其中，所述沉浸式现实内容是增强现实内容，所述生成第二沉浸式现实内容(450)还包括：
在所述第二沉浸式现实内容中插入与所述视场相交之外的所述第二视场的区域相关联的任何增强现实对象。
11.根据前述权利要求中的任一项所述的方法，其中，所述第一沉浸式现实内容和所述第二沉浸式现实内容是同步的。
12.根据前述权利要求中的任一项所述的方法，其中，所述第一沉浸式现实内容具有比所述第二沉浸式现实内容低的分辨率。
13.根据前述权利要求中的任一项所述的方法，其中，所述第一设备是头戴式显示器(HMD)设备。
14.根据前述权利要求中的任一项所述的方法，其中，所述第二设备是手持式显示设备。
15.根据前述权利要求中的任一项所述的方法，其中，所述第二设备是固定显示设备。
16.根据前述权利要求中的任一项所述的方法，其中，所述方法的步骤由所述第一设备和所述第二设备之一执行。
17.一种装置(160-1、181、184)，包括处理器(172)和耦合到所述处理器的至少一个存储器(176)，所述处理器被配置为：
确定来自第一设备的第一视场与来自第二设备的第二视场之间的视场相交；
基于所述视场相交生成第一沉浸式现实内容；和
提供所述第一沉浸式现实内容。
18.根据权利要求17所述的装置，其中，所述处理器还被配置为：
生成第二沉浸式现实内容；和
提供所述第二沉浸式现实内容。
19.根据权利要求17或18所述的装置，其中，所述处理器还被配置为：
仅在所述视场相交之外的第一视场的区域中生成所述第一沉浸式现实内容。
20.根据权利要求17或18所述的装置，其中，所述处理器被配置为：
仅在所述视场相交为空时才生成所述第一沉浸式现实内容和提供所述第一内容。
21.根据前述权利要求中的任一项所述的装置，其中，基于所述第一设备的位置和所述第二设备的位置来确定所述视场相交。
22.根据前述权利要求中的任一项所述的装置，其中，基于来自所述第一设备的场景的第一视图与来自所述第二设备的场景的第二视图之间的图像相交确定视场相交。
23.根据前述权利要求中的任一项所述的装置，其中，所述处理器还被配置为：
接收来自所述第一设备的场景的第一视图和来自所述第二设备的场景的第二视图。
24.根据权利要求17-19和21-23中的任一项所述的装置，其中，所述沉浸式现实内容是增强现实内容，所述处理器还被配置为：
在所述第一沉浸式现实内容中插入与在所述视场相交之外的所述第一视场的区域相关联的任何增强现实对象。
25.根据权利要求18至24中任一项所述的装置，其中，所述沉浸式现实内容是增强现实内容，所述处理器还被配置为：
仅在所述第二沉浸式现实内容中插入与所述视场相交相关联的任何增强现实对象。
26.根据权利要求18-25中的任一项所述的装置，其中，所述沉浸式现实内容是增强现实内容，所述处理器还被配置为：
在所述第二沉浸式现实内容中插入与在所述视场相交之外的所述第二视场的区域相关联的任何增强现实对象。
27.根据前述权利要求中的任一项所述的装置，其中，所述第一沉浸式现实内容和所述第二沉浸式现实内容是同步的。
28.根据前述权利要求中的任一项所述的装置，其中，所述第一沉浸式现实内容具有比所述第二沉浸式现实内容低的分辨率。
29.根据前述权利要求中的任一项所述的装置，其中，所述第一设备是头戴式显示器(HMD)设备。
30.根据前述权利要求中的任一项所述的装置，其中，所述第二设备是手持式显示设备。
31.根据前述权利要求中的任一项所述的装置，其中，所述第二设备是固定显示设备。
32.根据前述权利要求中的任一项所述的装置，其中，所述装置是所述第一设备和所述第二设备之一。
33.一种承载软件程序的计算机可读存储介质，所述软件程序包括用于执行根据权利要求1至16中的任一项所述的方法的程序代码指令。
34.一种非暂时性制品，有形地体现在被执行时使计算机执行根据权利要求1至16中任一项所述的方法的计算机可读程序代码指令。
35.一种计算机程序，包括可由处理器执行以实现根据权利要求1至16中的任一项所述的方法的代码指令。
CN201880031721.5A 2017-03-23 2018-02-27 提供沉浸式现实内容的方法和装置 Active CN110622110B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762475310P 2017-03-23 2017-03-23
US62/475,310 2017-03-23
PCT/US2018/019809 WO2018175053A1 (en) 2017-03-23 2018-02-27 Method and apparatus for providing immersive reality content

Publications (2)

Publication Number Publication Date
CN110622110A true CN110622110A (zh) 2019-12-27
CN110622110B CN110622110B (zh) 2024-02-23

Family

ID=61628472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880031721.5A Active CN110622110B (zh) 2017-03-23 2018-02-27 提供沉浸式现实内容的方法和装置

Country Status (4)

Country Link
US (1) US11119567B2 (zh)
EP (1) EP3602244A1 (zh)
CN (1) CN110622110B (zh)
WO (1) WO2018175053A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111602104B (zh) * 2018-01-22 2023-09-01 苹果公司 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
US12003585B2 (en) 2018-06-08 2024-06-04 Vale Group Llc Session-based information exchange
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
US11656835B1 (en) * 2021-12-29 2023-05-23 Transmira, Inc. Systems and methods for spatial conversion and synchronization between geolocal augmented reality and virtual reality modalities associated with real-world physical locations

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9118513D0 (en) * 1991-08-29 1991-10-16 British Aerospace An eye-slaved panoramic display apparatus
US6222675B1 (en) * 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
WO2013083049A1 (zh) * 2011-12-06 2013-06-13 Cheng Dewen 显示装置和系统及其显示方法
US20140051510A1 (en) * 2011-03-02 2014-02-20 Hrvoje Benko Immersive display with peripheral illusions
CN104782113A (zh) * 2012-12-12 2015-07-15 英特尔公司 多焦图像捕捉和显示
US20150350628A1 (en) * 2014-05-28 2015-12-03 Lucasfilm Entertainment CO. LTD. Real-time content immersion system
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20160191893A1 (en) * 2014-12-05 2016-06-30 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content
CN106133645A (zh) * 2014-01-17 2016-11-16 索尼互动娱乐美国有限责任公司 使用第二屏幕作为私用跟踪抬头显示器
WO2016204916A1 (en) * 2015-06-17 2016-12-22 Microsoft Technology Licensing, Llc Hybrid display system
CN106331687A (zh) * 2015-06-30 2017-01-11 汤姆逊许可公司 根据参考部分的位置处理沉浸式视频内容的一部分的方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7071897B2 (en) 2001-07-18 2006-07-04 Hewlett-Packard Development Company, L.P. Immersive augmentation for display systems
US20140152558A1 (en) 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
FR3004817B1 (fr) 2013-04-19 2015-05-15 Thales Sa Systeme de visualisation hybride affichant des informations en superposition sur l exterieur
US11089280B2 (en) * 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9118513D0 (en) * 1991-08-29 1991-10-16 British Aerospace An eye-slaved panoramic display apparatus
US6222675B1 (en) * 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
US20140051510A1 (en) * 2011-03-02 2014-02-20 Hrvoje Benko Immersive display with peripheral illusions
WO2013083049A1 (zh) * 2011-12-06 2013-06-13 Cheng Dewen 显示装置和系统及其显示方法
CN104782113A (zh) * 2012-12-12 2015-07-15 英特尔公司 多焦图像捕捉和显示
CN106133645A (zh) * 2014-01-17 2016-11-16 索尼互动娱乐美国有限责任公司 使用第二屏幕作为私用跟踪抬头显示器
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150350628A1 (en) * 2014-05-28 2015-12-03 Lucasfilm Entertainment CO. LTD. Real-time content immersion system
US20160191893A1 (en) * 2014-12-05 2016-06-30 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content
WO2016204916A1 (en) * 2015-06-17 2016-12-22 Microsoft Technology Licensing, Llc Hybrid display system
CN106331687A (zh) * 2015-06-30 2017-01-11 汤姆逊许可公司 根据参考部分的位置处理沉浸式视频内容的一部分的方法和设备

Also Published As

Publication number Publication date
WO2018175053A1 (en) 2018-09-27
US20200097068A1 (en) 2020-03-26
EP3602244A1 (en) 2020-02-05
US11119567B2 (en) 2021-09-14
CN110622110B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
US20210405761A1 (en) Augmented reality experiences with object manipulation
EP3926441A1 (en) Output of virtual content
US12008153B2 (en) Interactive augmented reality experiences using positional tracking
US9348411B2 (en) Object display with visual verisimilitude
US11854147B2 (en) Augmented reality guidance that generates guidance markers
US20180204380A1 (en) Method and apparatus for providing guidance in a virtual environment
JP6558839B2 (ja) 媒介現実
US20180188801A1 (en) Content Browsing
US10521013B2 (en) High-speed staggered binocular eye tracking systems
US12028626B2 (en) Visual-inertial tracking using rolling shutter cameras
US11675198B2 (en) Eyewear including virtual scene with 3D frames
CN112272817B (zh) 用于在沉浸式现实中提供音频内容的方法和装置
KR20160060582A (ko) 시각 데이터를 처리하는 장치 및 방법, 및 관련된 컴퓨터 프로그램 제품
US11483569B1 (en) Device with dynamic transcode throttling
CN112987914B (zh) 用于内容放置的方法和设备
CN111699460A (zh) 多视图虚拟现实用户界面
EP3510440B1 (en) Electronic device and operation method thereof
US11902534B2 (en) Device with dynamic transcode throttling
CN117420907A (zh) 一种交互控制方法、装置、电子设备及存储介质
Tsai Geometry-aware augmented reality for remote collaboration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant