CN116981978A - 用于动态确定呈现和过渡区域的方法和设备 - Google Patents

用于动态确定呈现和过渡区域的方法和设备 Download PDF

Info

Publication number
CN116981978A
CN116981978A CN202180078020.9A CN202180078020A CN116981978A CN 116981978 A CN116981978 A CN 116981978A CN 202180078020 A CN202180078020 A CN 202180078020A CN 116981978 A CN116981978 A CN 116981978A
Authority
CN
China
Prior art keywords
content
features
implementations
physical environment
presentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180078020.9A
Other languages
English (en)
Inventor
B·H·博伊塞尔
S·S·赵
J·佩伦
D·H·Y·黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116981978A publication Critical patent/CN116981978A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在一个具体实施中，一种用于动态确定用于内容递送的呈现和过渡区域的方法。该方法包括：获取与物理环境相关联的第一组特征；以及检测使得呈现虚拟内容的请求。响应于检测到该请求，该方法还包括：获取与该虚拟内容相关联的第二组特征；至少部分地基于该第一组特征和该第二组特征来生成用于该虚拟内容的呈现区域；以及至少部分地基于该第一组特征和该第二组特征生成被设置成至少部分地围绕该呈现区域的过渡区域。该方法还包括：同时呈现该呈现区域内的该虚拟内容和至少部分地围绕该呈现区域的该过渡区域。

Description

用于动态确定呈现和过渡区域的方法和设备
技术领域
本公开整体涉及内容递送，并且具体地涉及用于动态确定用于内容递送的呈现和过渡区域的系统、方法和方法。
背景技术
在一些情况下，由于当在诸如飞机或汽车的狭小空间中时缺乏观看距离，可能难以以适当比例呈现扩展现实(XR)内容。然而，简单地将XR内容叠置在允许人为地更大观看距离的“门户”中可能由于两者间的视觉不连续性而对用户来说不和谐。
附图说明
因此，本公开可被本领域的普通技术人员理解，更详细的描述可参考一些例示性具体实施的方面，其中一些具体实施在附图中示出。
图1是根据一些具体实施的示例性操作架构的框图。
图2是根据一些具体实施的示例性控制器的框图。
图3是根据一些具体实施的示例性电子设备的框图。
图4A是根据一些具体实施的示例性内容递送架构的框图。
图4B示出了根据一些具体实施的用于第一组特征和第二组特征的示例性数据结构。
图5A至图5E示出了根据一些具体实施的动态内容递送场景的实例的序列。
图6示出了根据一些具体实施的用于另一内容递送场景的实例。
图7是根据一些具体实施的动态确定用于内容递送的呈现和过渡区域的方法的流程图表示。
根据通常的做法，附图中示出的各种特征部可能未按比例绘制。因此，为了清楚起见，可以任意地扩展或减小各种特征部的尺寸。另外，一些附图可能未描绘给定的系统、方法或设备的所有部件。最后，在整个说明书和附图中，类似的附图标号可用于表示类似的特征部。
发明内容
本文所公开的各种具体实施包括用于动态确定用于内容递送的呈现和过渡区域的设备、系统和方法。根据一些具体实施，所述方法在包括非暂态存储器和一个或多个处理器的计算系统处执行，其中所述计算系统通信地耦接到显示设备和一个或多个输入设备。该方法包括：获取与物理环境相关联的第一组特征；以及经由一个或多个输入设备来检测使得呈现虚拟内容(在本文中有时也称为“XR内容”或“图形内容”)的请求。响应于检测到该请求，该方法还包括：获取与该虚拟内容相关联的第二组特征；至少部分地基于该第一组特征和该第二组特征来生成用于该虚拟内容的呈现区域；至少部分地基于该第一组特征和该第二组特征生成被设置成至少部分地围绕该呈现区域的过渡区域。该方法还包括：经由该显示设备，同时呈现该呈现区域内的该虚拟内容和至少部分地围绕该呈现区域的该过渡区域。
根据一些具体实施，一种电子设备包括一个或多个显示器、一个或多个处理器、非暂态存储器和一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个显示器、一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。
根据一些具体实施，一种计算系统包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备进行通信的接口、以及一个或多个程序；一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质具有存储在其中的指令，这些指令当由具有与显示设备和一个或多个输入设备通信的接口的计算系统的一个或多个处理器执行时使所述计算系统执行或使得执行本文所述的方法中的任一种方法的操作。根据一些具体实施，一种计算系统包括一个或多个处理器、非暂态存储器、用于与显示设备和一个或多个输入设备通信的接口、以及用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。
具体实施方式
描述了许多细节以便提供对附图中所示的示例具体实施的透彻理解。然而，附图仅示出了本公开的一些示例方面，因此不应被视为限制。本领域的普通技术人员将理解，其他有效方面和/或变体不包括本文所述的所有具体细节。此外，没有详尽地描述众所周知的系统、方法、部件、设备和电路，以免模糊本文所述的示例性具体实施的更多相关方面。
人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板计算机、膝上型计算机等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。
许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示器能力的窗户或车辆挡风玻璃、被形成为透镜以放置在用户眼睛上的显示器(例如接触镜片)、头戴式耳机/听筒、具有或不具有触觉反馈的输入系统(例如可穿戴或手持式控制器)、扬声器阵列、智能电话、平板计算机和台式/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，诸如μLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。
图1是根据一些具体实施的示例性操作架构100的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，操作架构100包括可选的控制器110和电子设备120(例如，平板计算机、移动电话、膝上型计算机、近眼系统、可穿戴计算设备等)。
在一些具体实施中，控制器110被配置为管理和协调用户150和零个或多个其他用户的XR体验(在本文中有时也称为“XR环境”或“虚拟环境”或“图形环境”)。在一些具体实施中，控制器110包括软件、固件和/或硬件的合适组合。下文参考图2更详细地描述控制器110。在一些具体实施中，控制器110是相对于物理环境105位于本地或远程位置的计算设备。例如，控制器110是位于物理环境105内的本地服务器。在另一个示例中，控制器110是位于物理环境105之外的远程服务器(例如，云服务器、中央服务器等)。在一些具体实施中，控制器110经由一个或多个有线或无线通信信道144(例如，蓝牙、IEEE 802.11x、IEEE802.16x、IEEE 802.3x等)与电子设备120通信地耦接。在一些具体实施中，控制器110的功能由电子设备120提供。这样，在一些具体实施中，控制器110的部件集成到电子设备120中。例如，电子设备120对应于移动电话、平板计算机、膝上型计算机、可穿戴计算设备等。
在一些具体实施中，电子设备120被配置为向用户150呈现音频和/或视频(A/V)内容。在一些具体实施中，电子设备120被配置为向用户150呈现用户界面(UI)和/或XR环境128。在一些具体实施中，电子设备120包括软件、固件和/或硬件的合适组合。下文参考图3更详细地描述电子设备120。
根据一些具体实施，当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR体验，其中物理环境105包括处于电子设备120的视场(FOV)111内的桌子107。这样，在一些具体实施中，用户150将电子设备120拿在他/她的一只或两只手中。在一些具体实施中，在呈现XR体验时，电子设备120被配置为呈现XR内容(在本文中有时也被称为“图形内容”或“虚拟内容”)，包括XR圆柱体109，并使得能够实现显示器122上物理环境105(例如，包括桌子107)的视频透传。例如，包括XR圆柱体109的XR环境128是立体的或三维的(3D)。
在一个示例中，XR圆柱体109对应于显示器锁定的内容，使得当FOV 111由于电子设备120的平移和/或旋转运动而改变时，XR圆柱体109保持显示在显示器122上的相同位置处。作为另一示例，XR圆柱体109对应于世界锁定的内容，使得当FOV 111由于电子设备120的平移和/或旋转运动而改变时，XR圆柱体109保持显示在其原始位置处。因此，在该示例中，如果FOV 111不包括原始位置，则XR环境128将不包括XR圆柱体109。例如，电子设备120对应于近眼系统、移动电话、平板计算机、膝上型计算机、可穿戴计算设备等。
在一些具体实施中，显示器122对应于使得能够实现物理环境105(包括桌子107)的光学透传的加成显示器。例如，显示器122对应于透明透镜，并且电子设备120对应于用户150佩戴的一副眼镜。因此，在一些具体实施中，电子设备120通过将包括XR圆柱体109的XR内容(在本文中有时也称为“图形内容”或“虚拟内容”)投影到加成显示器上而呈现用户界面，其继而从用户150的角度叠置在物理环境105上。在一些具体实施中，电子设备120通过将XR内容(例如，XR圆柱体109)显示在加成显示器上而呈现用户界面，其继而从用户150的角度叠置在物理环境105上。
在一些具体实施中，用户150穿戴电子设备120，诸如近眼系统。因此，电子设备120包括被提供以显示XR内容的一个或多个显示器(例如，单个显示器或每只眼睛一个显示器)。例如，电子设备120包围用户150的FOV。在此类具体实施中，电子设备120通过在一个或多个显示器上显示对应于XR环境128的数据或者通过将对应于XR环境128的数据投影到用户150的视网膜上来呈现XR环境128。
在一些具体实施中，电子设备120包括显示XR环境128的集成显示器(例如，内置显示器)。在一些具体实施中，电子设备120包括可头戴式壳体。在各种具体实施中，可头戴壳体包括附接区，具有显示器的另一设备可附接到该附接区。例如，在一些具体实施中，电子设备120可附接到可头戴式壳体。在各种具体实施中，可头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备120)的接收器。例如，在一些具体实施中，电子设备120滑动/卡扣到可头戴式壳体中或以其他方式附接到该可头戴式壳体。在一些具体实施中，附接到可头戴式壳体的设备的显示器呈现(例如，显示)XR环境128。在一些具体实施中，将电子设备120替换成被配置为呈现XR内容的XR室、壳体或房间，在其中用户150不穿戴电子设备120。
在一些具体实施中，控制器110和/或电子设备120使得用户150的XR表示基于来自电子设备120和/或物理环境105内的可选的远程输入设备的移动信息(例如，身体姿态数据、眼睛跟踪数据、手/肢体跟踪数据等)在XR环境128内移动。在一些具体实施中，可选的远程输入设备对应于物理环境105内的固定或可移动的感官设备(例如，图像传感器、深度传感器、红外(IR)传感器、事件相机、麦克风等)。在一些具体实施中，每个远程输入设备被配置为在用户150物理地在物理环境105内时收集/捕获输入数据并且将输入数据提供给控制器110和/或电子设备120。在一些具体实施中，远程输入设备包括麦克风，并且输入数据包括与用户150相关联的音频数据(例如，语音样本)。在一些具体实施中，远程输入设备包括图像传感器(例如，相机)，并且输入数据包括用户150的图像。在一些具体实施中，输入数据表征用户150在不同时间的身体姿态。在一些具体实施中，输入数据表征用户150在不同时间的头部姿态。在一些具体实施中，输入数据表征在不同时间与用户150的手相关联的手跟踪信息。在一些具体实施中，输入数据表征用户150的身体部分(诸如他/她的手)的速度和/或加速度。在一些具体实施中，输入数据指示用户150的关节位置和/或关节取向。在一些具体实施中，远程输入设备包括反馈设备，诸如扬声器、灯等。
图2是根据一些具体实施的控制器110的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，在一些具体实施中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些具体实施中，该一条或多条通信总线204包括互连系统部件和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备206包括键盘、鼠标、触控板、触摸屏、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些具体实施中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离所述一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些具体实施中，存储器220或存储器220的非暂态计算机可读存储介质存储下文参照图2所述的下述程序、模块和数据结构或者它们的子集。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。
在一些具体实施中，数据获取器242被配置为从控制器110的I/O设备206、电子设备120的I/O设备及传感器306、和任选的远程输入设备中的至少一者获取数据(例如，捕获的物理环境105的图像帧、呈现数据、输入数据、用户交互数据、相机姿态跟踪信息、眼睛跟踪信息、头部/身体姿态跟踪信息、手部/肢体跟踪信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器242包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，映射器和定位器引擎244被配置为映射物理环境105并且至少跟踪电子设备120或用户150相对于物理环境105的定位/位置。为此，在各种具体实施中，映射器和定位器引擎244包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器246被配置为至少向电子设备120传输数据(例如，呈现数据诸如与XR环境相关联的经渲染的图像帧、位置数据等)。为此，在各种具体实施中，数据传输器246包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中，环境分析器410被配置为获取(例如，接收、检索、或生成)与物理环境105相关联的第一组特征。例如，第一组特征表征与物理环境105相关联的各种属性，诸如物理环境105的尺寸、当前照明特征、当前音频特征、声学特征等。下文参考图4A更详细地描述环境分析器410。下文参考图4B更详细地描述第一组特征411。为此，在各种具体实施中，环境分析器410包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容选择器424被配置为基于一个或多个用户请求和/或用户输入(例如，语音命令、从XR内容项的用户界面(UI)菜单中的选择等)，从内容库425中选择XR内容(在本文中有时也称为“图形内容”或“虚拟内容”)。下文参考图4A更详细地描述内容选择器424。为此，在各种具体实施中，内容选择器424包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容库425包括多个内容项，诸如音频/视觉(A/V)内容和/或XR内容、对象、项、场景等。例如，XR内容包括用户捕获的视频、电影、TV剧集和/或其他XR内容的3D重建。在一些具体实施中，内容库425由用户150预先填充或手动创作。在一些具体实施中，内容库425相对于控制器110位于本地。在一些具体实施中，内容库425位于远离控制器110的位置(例如，位于远程服务器、云服务器等处)。
在一些具体实施中，内容分析器430被配置为获取(例如，接收、检索或生成)与由内容选择器424选择的XR内容相关联的第二组特征。例如，第二组特征表征与XR内容相关联的各种属性，诸如针对作为整体的XR内容或其中的每个戏剧场景的内容类型/特征、内容尺寸、合适的观看距离、焦点/消失点、XR内容的照明特征、XR内容的音频特征、XR内容的情绪等。下文参考图4A更详细地描述内容分析器430。下文参考图4B更详细地描述第二组特征413。为此，在各种具体实施中，内容分析器430包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，内容管理器440被配置为基于第一组特征和第二组特征来管理由内容选择器424选择的XR内容的布局、设置、结构等。下文参考图4A更详细地描述内容管理器440。为此，在各种具体实施中，内容管理器440包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，内容管理器440包括内容修改器442、呈现区域生成器444和过渡区域生成器446。
在一些具体实施中，内容修改器442被配置为至少部分地基于第一组特征和第二组特征来修改由内容选择器424选择的XR内容。例如，内容修改器442可改变由内容选择器424选择的XR内容(或其部分)的颜色、纹理、亮度、对比度、一个或多个尺寸等。又如，内容修改器442可改变由内容选择器424选择的XR内容的照明特征、阴影、音频特征等。又如，内容修改器442可将XR内容部分添加到由内容选择器424选择的XR内容的XR内容部分或者移除由该内容选择器选择的XR内容的XR内容部分。下文参考图4A更详细地描述内容修改器442。为此，在各种具体实施中，内容修改器442包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，呈现区域生成器444被配置为至少部分地基于第一组特征和第二组特征来生成XR内容的呈现区域。下文参考图4A和图5A至图5E更详细地描述呈现区域生成器444。为此，在各种具体实施中，呈现区域生成器444包括指令和/或用于指令的逻辑部件以及启发法和用于启发法的元数据。
在一些具体实施中，过渡区域生成器446被配置为至少部分地基于第一组特征和第二组特征来生成被设置成围绕呈现区域的过渡区域。下文参考图4A和图5A至图5E更详细地描述过渡区域生成器446。例如，过渡区域减少了呈现区域和物理环境之间的不连续性(例如，与呈现区域和物理环境之间的不同色彩、亮度、对比度等相关联的视觉不连续性，呈现区域和物理环境之间的深度不连续性，和/或呈现区域和物理环境之间的可能对用户来说不和谐的其他差异)。为此，在各种具体实施中，过渡区域生成器446包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，渲染引擎450被配置为渲染XR环境(在本文中有时也称为“图形环境”或“虚拟环境”)或与其相关联的图像帧，该XR环境包括其中具有XR内容的呈现区域以及围绕该呈现区域的过渡区域。为此，在各种具体实施中，渲染引擎450包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。在一些具体实施中，渲染引擎450包括姿态确定器452、渲染器454、图像处理架构462和合成器464。
在一些具体实施中，姿态确定器452被配置为确定电子设备120和/或用户150相对于A/V内容和/或XR内容的当前相机姿态。下文参考图4A更详细地描述姿态确定器452。为此，在各种具体实施中，姿态确定器452包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，渲染器454被配置为根据与其相关的当前相机姿态来渲染A/V内容和/或XR内容。下文参考图4A更详细地描述渲染器454。为此，在各种具体实施中，渲染器454包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，图像处理架构462被配置为从电子设备120和/或用户150的当前相机姿态获取(例如，接收、检索或捕获)包括物理环境105的一个或多个图像的图像流。在一些具体实施中，图像处理架构462还被配置为对图像流执行一个或多个图像处理操作，诸如扭曲、颜色校正、γ校正、锐化、降噪、白平衡等。下文参考图4A更详细地描述图像处理架构462。为此，在各种具体实施中，图像处理架构462包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，合成器464被配置为将渲染的A/V内容和/或XR内容与来自图像处理架构462的物理环境105的经处理的图像流合成，以产生XR环境的渲染的图像帧以供显示。下文参考图4A更详细地描述合成器464。为此，在各种具体实施中，合成器464包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
尽管数据获取器242、映射器和定位器引擎244、数据传输器246、环境分析器410、内容选择器424、内容分析器430、内容管理器440和渲染引擎450被示出为驻留在单个设备(例如，控制器110)上，但应当理解，在其他具体实施中，数据获取器242、映射器和定位器引擎244、数据传输器246、环境分析器410、内容选择器424、内容分析器430、内容管理器440和渲染引擎450的任何组合可位于分开的计算设备中。
在一些具体实施中，控制器110的功能和/或部件与下文在图3中所示的电子设备120组合或由其提供。此外，图2更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述的具体实施的结构示意图。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图2中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图3是根据一些具体实施的电子设备120(例如，移动电话、平板计算机、膝上型计算机、近眼系统、可穿戴计算设备等)的示例的框图。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。出于该目的，作为非限制性示例，在一些具体实施中，电子设备120包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备及传感器306、一个或多个通信接口308(例如，USB、IEEE802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、IR、BLUETOOTH、ZIGBEE和/或类似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个显示器312、图像捕获设备370(一个或多个任选的面向内部和/或面向外部的图像传感器)、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些具体实施中，一条或多条通信总线304包括互连和控制系统部件之间的通信的电路。在一些具体实施中，一个或多个I/O设备及传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、磁力仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血氧饱和度监测仪、血糖监测仪等)、一个或多个麦克风、一个或多个扬声器、触觉引擎、加热和/或冷却单元、皮肤剪切引擎、一个或多个深度传感器(例如，结构化光、飞行时间、LiDAR等)、定位和映射引擎、眼睛跟踪引擎、身体/头部姿态跟踪引擎、手部/肢体跟踪引擎、相机姿态跟踪引擎等中的至少一者。
在一些具体实施中，一个或多个显示器312被配置为向用户呈现XR环境。在一些具体实施中，一个或多个显示器312也被配置为向用户呈现平面视频内容(例如，与电视剧或电影相关联的二维或“平面”AVI、FLV、WMV、MOV、MP4等文件，或物理环境105的实时视频透传)。在一些具体实施中，一个或多个显示器312对应于触摸屏显示器。在一些具体实施中，一个或多个显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射器显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似显示器类型。在一些具体实施中，一个或多个显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，电子设备120包括单个显示器。又如，电子设备120包括针对用户的每只眼睛的显示器。在一些具体实施中，一个或多个显示器312能够呈现AR和VR内容。在一些具体实施中，一个或多个显示器312能够呈现AR或VR内容。
在一些具体实施中，图像捕获设备370对应于一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、IR图像传感器、基于事件的相机等。在一些具体实施中，图像捕获设备370包括透镜组件、光电二极管和前端架构。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些具体实施中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离所述一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些具体实施中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括可选的操作系统330和呈现引擎340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些具体实施中，呈现引擎340被配置为经由一个或多个显示器312向用户呈现媒体项和/或XR内容。为此，在各种具体实施中，呈现引擎340包括数据获取器342、呈现器470、交互处理程序420和数据传输器350。
在一些具体实施中，数据获取器342被配置为从电子设备120的I/O设备及传感器306、控制器110、和远程输入设备中的至少一者获取数据(例如，呈现数据，诸如与用户界面或XR环境相关联的经渲染的图像帧、输入数据、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息、传感器数据、位置数据等)。为此，在各种具体实施中，数据获取器342包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，呈现器470被配置为经由一个或多个显示器312呈现和更新A/V内容和/或XR内容(例如，与用户界面或XR环境相关联的经渲染的图像帧)。为此，在各种具体实施中，呈现器470包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，交互处理程序420被配置为检测与所呈现的A/V内容和/或XR内容的用户交互(例如，经由手部跟踪检测到的手势输入、经由眼睛跟踪检测到的眼睛注视输入、语音命令等)。为此，在各种具体实施中，交互处理程序420包括指令和/或用于这些指令的逻辑部件以及启发法和用于该启发法的元数据。
在一些具体实施中，数据传输器350被配置为至少向控制器110传输数据(例如，呈现数据、位置数据、用户交互数据、头部跟踪信息、相机姿态跟踪信息、眼睛跟踪信息等)。为此，在各种具体实施中，数据传输器350包括指令和/或用于这些指令的逻辑以及启发法和用于该启发法的元数据。
尽管数据获取器342、呈现器470、交互处理程序420和数据传输器350被示出为驻留在单个设备(例如，电子设备120)上，但应当理解，在其他具体实施中，数据获取器342、呈现器470、交互处理程序420和数据传输器350的任何组合可位于分开的计算设备中。
此外，图3更多地用作存在于特定具体实施中的各种特征部的功能描述，而不是本文所述具体实施的结构示意。如本领域的普通技术人员将认识到的，单独显示的项目可以组合，并且一些项目可以分开。例如，图3中单独示出的一些功能模块可以在单个模块中实现，并且单个功能块的各种功能可在各种具体实施中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些具体实施中，部分地取决于为特定实施方案选择的硬件、软件和/或固件的特定组合。
图4A是根据一些具体实施的示例性内容递送架构400的框图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的示例性具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，内容递送架构400包括在计算系统中，诸如图1和图2中示出的控制器110；图1和图3中示出的电子设备120；和/或它们的合适组合。
如图4A所示，控制器110、电子设备120和/或其组合的一个或多个本地传感器402获取与物理环境105相关联的本地传感器数据403。例如，本地传感器数据403包括物理环境105的同时定位与地图构建(SLAM)信息以及电子设备120或用户150相对于物理环境105的位置、物理环境105的环境照明信息、物理环境105的环境音频信息、物理环境105的声学信息、物理环境105的尺寸信息、物理环境105内的对象的语义标签等。
类似地，如图4A所示，与物理环境105内的任选远程输入设备相关联的一个或多个远程传感器404获取与物理环境105相关联的远程传感器数据405。例如，远程传感器数据405包括物理环境105的SLAM信息以及电子设备120或用户150相对于物理环境105的位置、物理环境105的环境照明信息、物理环境105的环境音频信息、物理环境105的声学信息、物理环境105的尺寸信息、物理环境105内的对象的语义标签等。
根据一些具体实施，隐私架构408摄取本地传感器数据403和远程传感器数据405。在一些具体实施中，隐私架构408包括与用户信息和/或识别信息相关联的一个或多个隐私过滤器。在一些具体实施中，隐私架构408包括选择加入特征部，其中电子设备120通知用户150正在监视哪些用户信息和/或识别信息以及将如何使用这些用户信息和/或识别信息。在一些具体实施中，隐私架构408选择性地防止和/或限制内容递送架构400或其部分获取和/或传输用户信息。为此，隐私架构408响应于提示用户150进行用户偏好和/或选择来接收来自用户150的用户偏好和/或选择。在一些具体实施中，隐私架构408防止内容递送架构400获取和/或传输用户信息，除非并且直到隐私架构408从用户150获取到知情同意。在一些具体实施中，隐私架构408匿名化(例如，加扰、模糊化、加密等)某些类型的用户信息。例如，隐私架构408接收指定隐私架构408将哪些类型的用户信息匿名化的用户输入。作为另一示例，隐私架构408独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。
根据一些具体实施，环境分析器410在经受隐私架构408之后获取本地传感器数据403和远程传感器数据405。在一些具体实施中，环境分析器410基于本地传感器数据403和远程传感器数据405来获取(例如，接收、检索或生成)与物理环境105相关联的第一组特征411。例如，第一组特征411表征与物理环境105相关联的各种属性，诸如物理环境105的尺寸、当前照明特征、当前音频特征、声学特征等。
图4B示出了与物理环境105相关联的第一组特征411的示例性数据结构。如图4B所示，第一组特征411可对应于N元组表征向量或表征张量，其包括与物理环境105相关联的当前环境照明信息482、与物理环境105相关联的当前环境音频信息484、与物理环境105相关联的声学特征486、与物理环境105相关联的物理环境特征488(例如，尺寸、其中的语义标记的对象等)和/或与物理环境105相关联的杂项信息489。本领域的普通技术人员将理解，图4B中的第一组特征411的数据结构仅仅是一个示例，其使得在各种其他具体实施中包括不同的信息部分，并且在各种其他具体实施中以多种方式结构化。
根据一些具体实施，交互处理程序420获取(例如，接收、检索或检测)由用户150提供的一个或多个用户输入421，该一个或多个用户输入与选择A/V内容和/或XR内容以供呈现相关联。例如，一个或多个用户输入421对应于从经由手部跟踪检测到的UI菜单中选择XR内容的手势输入、从经由眼睛跟踪检测到的UI菜单中选择XR内容的眼睛注视输入、从经由麦克风检测到的UI菜单中选择XR内容的语音命令等。
在一些具体实施中，内容选择器424基于一个或多个用户输入421(例如，语音命令、从XR内容项的菜单中的选择等)，从内容库425中选择XR内容427。
在一些具体实施中，内容分析器430获取(例如，接收、检索、或生成)与XR内容427相关联的第二组特征431。例如，第二组特征431表征与XR内容427相关联的各种属性，诸如针对作为整体的XR内容427或其中的每个戏剧场景的XR内容427的内容类型/特征、XR内容427的内容尺寸、XR内容427的适当观看距离、XR内容427的焦点/消失点、XR内容427的照明特征、XR内容427的音频特征、XR内容427的情绪等。
图4B示出了与XR内容427相关联的第二组特征431的示例性数据结构。如图4B所示，第二组特征431可对应于M元组表征向量或表征张量，其包括XR内容427的内容标签/特征492、XR内容427的内容尺寸493、XR内容427的观看/聚焦特征494、XR内容427的照明信息495、XR内容427的音频信息496、XR内容427的情绪/主题497和/或XR内容427的杂项信息498。本领域的普通技术人员将理解，图4B中的第二组特征431的数据结构仅仅是一个示例，其可在各种其他具体实施中包括不同的信息部分，并且可在各种其他具体实施中以多种方式结构化。
在各种具体实施中，内容管理器440基于第一组特征和第二组特征来管理XR内容427的布局、设置、结构等。在一些具体实施中，内容修改器442至少部分地基于第一组特征和第二组特征来修改XR内容。例如，内容修改器442可改变XR内容427的颜色、纹理、亮度、对比度、一个或多个尺寸等。又如，内容修改器442可改变XR内容427的照明特征、阴影、音频特征等。又如，内容修改器442可将XR内容部分添加到XR内容427或移除该XR内容的XR内容部分。
在一些具体实施中，呈现区域生成器444至少部分地基于第一组特征和第二组特征来生成XR内容的呈现区域。例如，对于有关呈现区域532和542的进一步细节，参见在图5A至图5E中示出的实例序列及其以下描述。
在一些具体实施中，过渡区域生成器446至少部分地基于第一组特征和第二组特征来生成被设置成围绕呈现区域的过渡区域。例如，对于有关过渡区域536和548的进一步细节，参见在图5A至图5E中示出的实例序列及其以下描述。
根据一些具体实施，姿态确定器452确定电子设备120和/或用户150相对于XR内容427和/或物理环境105的当前相机姿态。在一些具体实施中，渲染器454根据与其相关的当前相机姿态在由呈现区域生成器444生成的呈现区域内渲染XR内容427，该呈现区域继而由过渡区域生成器446生成的过渡区域围绕。
根据一些具体实施，图像处理架构462从图像捕获设备370获取图像流，该图像流包括来自电子设备120和/或用户150的当前相机姿态的物理环境105的一个或多个图像。在一些具体实施中，图像处理架构462还对图像流执行一个或多个图像处理操作，诸如扭曲、颜色校正、γ校正、锐化、降噪、白平衡等。在一些具体实施中，合成器464将渲染的XR内容与来自图像处理架构462的物理环境105的经处理的图像流合成，以产生XR环境的渲染的图像帧。在各种具体实施中，呈现器470(例如，经由电子设备120的一个或多个显示器312)向用户150呈现XR环境的渲染的图像帧。
图5A至图5E示出了根据一些具体实施的动态内容递送场景的实例510、520、530、540和550的序列。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，实例510、520、530、540和550的序列由计算系统渲染和呈现，该计算系统诸如图1和图2中示出的控制器110；图1和图3中示出的电子设备120；和/或它们的合适的组合。
如图5A至图5E所示，动态内容递送场景包括在电子设备120的显示器122上显示的物理环境105和XR环境128。当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR环境128，该物理环境包括当前不在电子设备120的面向外部的图像传感器的FOV111内的门115。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。
换句话讲，在一些具体实施中，电子设备120被配置为在显示器122上呈现XR内容并且实现物理环境105的至少一部分的光学透传或视频透传。例如，电子设备120对应于移动电话、平板计算机、膝上型计算机、近眼系统、可穿戴计算设备等。
如图5A所示，在动态内容递送场景的实例510期间(例如，与时间T1相关联)，电子设备120呈现包括与XR内容504相关联的可选择XR立方体502的XR环境128。在图5A中，可选择XR立方体502叠置在XR环境128内的物理环境105的表示(例如，与物理环境105相关联的透传视频或光学透传)上。例如，XR内容504对应于由用户150捕获的视频或存储器的3D重建。又如，XR内容504对应于电影、TV剧集、播放等。如图5A所示，电子设备120的面向外部的图像传感器的FOV 111在物理环境105内面向向北。
在图5A中，电子设备120检测来自用户150的语音命令508(例如，“播放与立方体相关联的虚拟内容”)。响应于检测到图5A中的语音命令508，电子设备120使XR内容504分阶段进入到图5B和图5C中的XR环境128中。
如图5B所示，在动态内容递送场景的实例520期间(例如，与时间T2相关联)，电子设备120呈现叠置在XR环境128内物理环境105的表示上的XR内容504。在一些具体实施中，电子设备120仅呈现叠置在XR环境128内物理环境105的表示上的XR内容504的前景部分。
如图5C所示，在动态内容递送场景的实例530期间(例如，与时间T3相关联)，电子设备120在呈现区域532内呈现XR内容504，该XR内容叠置在XR环境128内物理环境105的表示上。例如，呈现区域532充当相对于物理环境105的表示的门户并且切掉物理环境105的表示的一部分。在一些具体实施中，呈现区域532的大小、形状等至少部分地基于与物理环境105相关联的第一组特征和与XR内容504相关联的第二组特征来确定。在图5C中，基于XR内容504内的太阳或另一光源的方向将阴影534添加到XR内容504。
如图5C所示，在动态内容递送场景的实例530期间，电子设备120还呈现围绕XR环境128内的呈现区域532的过渡区域536。在一些具体实施中，过渡区域536的大小、形状、颜色、亮度、对比度、纹理、内容等至少部分地基于与物理环境105相关联的第一组特征和与XR内容504相关联的第二组特征来确定。例如，过渡区域536在视觉上将呈现区域532与XR环境128内物理环境105的表示混合，以便减少两者间的视觉不连续性。换句话讲，过渡区域536减少了呈现区域532和物理环境105之间的不连续性，诸如与呈现区域532和物理环境105之间的不同颜色、亮度、对比度等相关联的视觉不连续性、呈现区域532和物理环境105之间的深度不连续性、和/或呈现区域532和物理环境105之间可能对用户来说不和谐的其他差异。
在一些具体实施中，过渡区域536可不完全围绕呈现区域532而是覆盖呈现区域532的边缘(例如，相对于电子设备和/或用户150的当前姿态)，以便限制XR内容504在呈现区域532内的遮挡。
在图5C和图5D之间，电子设备120检测相机姿态的改变，由此电子设备120的面向外部的图像传感器的FOV 111从图5C中的相对于物理环境105面向向北改变为图5D中的相对于物理环境105面向向西。在图5D中，门115在电子设备120的面向外部的图像传感器的FOV 111内。响应于检测到图5C和5D之间的相机姿态的改变，电子设备120将XR内容504(例如，世界锁定的)留在其位置中并且在图5D中呈现第二XR内容544。
如图5D所示，在动态内容递送场景的实例540期间(例如，与时间T4相关联)，电子设备120在呈现区域542内呈现第二XR内容544，该第二XR内容叠置在XR环境128内的物理环境105的表示上。在图5D中，基于第二XR内容544内的太阳或另一光源的方向将阴影546A和546B添加到第二XR内容544。如图5D所示，在动态内容递送场景的实例540期间，电子设备120还呈现围绕XR环境128内的呈现区域542的过渡区域548。
例如，过渡区域548减少了呈现区域542和物理环境105之间的不连续性，诸如与呈现区域542和物理环境105之间的不同颜色、亮度、对比度等相关联的视觉不连续性、呈现区域542和物理环境105之间的深度不连续性、和/或呈现区域542和物理环境105之间可能对用户来说不和谐的其他差异。在一些具体实施中，过渡区域548可不完全围绕呈现区域542而是覆盖呈现区域542的边缘(例如，相对于电子设备和/或用户150的当前姿态)以便限制XR内容544在呈现区域542内的遮挡。
在图5D和图5E之间，电子设备120检测相机姿态的改变，由此电子设备120的面向外部的图像传感器的FOV 111从图5D中的相对于物理环境105面向向西改变为图5E中的相对于物理环境105面向向北。在图5E中，门115不再在电子设备120的面向外部的图像传感器的FOV 111内。响应于检测到图5D和图5E之间的相机姿态的改变，电子设备120将第二XR内容544(例如，世界锁定的)留在其位置中并且在图5E中呈现XR内容504。
如图5E所示，在动态内容递送场景的实例550期间(例如，与时间T5相关联)，电子设备120在呈现区域532内呈现XR内容504(例如，类似于图5C中的实例530)，该XR内容叠置在XR环境128内的物理环境105的表示上。在图5E中，基于XR内容504内的太阳或另一光源的方向将阴影534添加到XR内容504。如图5E所示，在动态内容递送场景的实例550期间，电子设备120还呈现围绕XR环境128内的呈现区域532的过渡区域536(例如，类似于图5C中的实例530)。
图6示出了根据一些具体实施的用于另一内容递送场景的实例610。尽管示出了一些具体特征，但本领域的技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施的更多相关方面，未示出各种其他特征。为此，作为非限制性示例，由计算系统渲染和呈现实例610，该计算系统诸如为图1和图2中示出的控制器110；图1和图3中示出的电子设备120；和/或它们的合适组合。
如图6所示，动态内容递送场景包括在电子设备120的显示器122上显示的物理环境105和XR环境128。当用户150物理地存在于物理环境105内时，电子设备120向用户150呈现XR环境128，该物理环境包括当前不在电子设备120的面向外部的图像传感器的FOV 111内的门115。因此，在一些具体实施中，用户150将电子设备120握持在他/她的手中，类似于图1中的操作环境100。
换句话讲，在一些具体实施中，电子设备120被配置为在显示器122上呈现XR内容并且实现物理环境105的至少一部分的光学透传或视频透传。例如，电子设备120对应于移动电话、平板计算机、膝上型计算机、近眼系统、可穿戴计算设备等。
如图6所示，在动态内容递送场景的实例610期间(例如，与时间T1相关联)，电子设备120呈现XR环境128，该XR环境包括呈现在呈现区域612内的呈现表面606(例如，XR屏幕)上的XR内容614，该XR内容叠置在XR环境128内的物理环境105的表示上(例如，与物理环境105相关联的透传视频或光学透传)。例如，呈现区域612充当相对于物理环境105的表示的门户并且切掉物理环境105的表示的一部分。在一些具体实施中，呈现区域612的大小、形状等至少部分地基于与物理环境105相关联的第一组特征以及与XR内容614和/或呈现表面606相关联的第二组特征来确定。
如图6所示，在动态内容递送场景的实例610期间，电子设备120还呈现围绕XR环境128内的呈现区域612的过渡区域616。在一些具体实施中，过渡区域612的大小、形状、色彩、亮度、对比度、纹理等至少部分地基于与物理环境105相关联的第一组特征以及与XR内容614和/或呈现表面606相关联的第二组特征来确定。例如，过渡区域616在视觉上将呈现区域612与XR环境128内的物理环境105的表示共混，以便减少两者间的视觉不连续性。
例如，过渡区域616减少了呈现区域612和物理环境105之间的不连续性，诸如与呈现区域612和物理环境105之间的不同颜色、亮度、对比度等相关联的视觉不连续性、呈现区域612和物理环境105之间的深度不连续性、和/或呈现区域612和物理环境105之间可能对用户来说不和谐的其他差异。在一些具体实施中，过渡区域616可不完全围绕呈现区域612而是覆盖呈现区域612的边缘(例如，相对于电子设备和/或用户150的当前姿态)以便限制XR内容614在呈现区域612内的遮挡。
在图6中，物理环境105的北墙与宽度值602相关联，并且呈现表面606与宽度值604相关联。在一些具体实施中，宽度值604大于宽度值602。因此，在一个示例中，呈现区域612使得用户150能够在比物理环境105的物理尺寸宽且/或大的呈现表面606上观看XR内容614。换句话讲，在一些具体实施中，呈现区域612实现了相比于物理环境105中的物理上可能的人为地更大观看距离和更大呈现表面。例如，当观看距离有限而用户150是飞机、汽车、公共汽车等中的乘客时，这是特别有益的。
图7是根据一些具体实施的动态确定用于内容递送的呈现和过渡区域的方法700的流程图表示。在各种具体实施中，方法700在包括非暂态存储器和一个或多个处理器的计算系统处执行，其中该计算系统通信地耦接到显示设备和一个或多个输入设备(例如，图1和图3所示的电子设备120；图1和图2中的控制器110；或它们的合适组合)。在一些具体实施中，方法700由处理逻辑部件(包括硬件、固件、软件或其组合)执行。在一些具体实施中，方法700由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。在一些具体实施中，电子系统对应于平板计算机、膝上型计算机、移动电话、近眼系统、可穿戴计算设备等中的一者。
如上所述，在一些情况下，由于当在诸如飞机或汽车的狭小空间中时缺乏观看距离，可能难以以适当比例来呈现XR内容。然而，简单地将XR内容叠置在允许人为地更大观看距离的“门户”中可能由于两者间的视觉不连续性而对用户来说不和谐。因此，在各种具体实施中，计算系统基于物理环境和XR内容本身的特征来确定呈现区域。继而，呈现区域叠置在物理环境上并且XR内容呈现在其中，以便人为地增大观看距离并且向用户提供更舒适的体验。另外，计算系统还基于物理环境和XR内容本身的特征来确定过渡区域，以便将呈现区域更自然地混合到物理环境中。这有助于减轻呈现区域和物理环境之间的视觉不连续性。换句话讲，当观看距离有限(例如，飞机或汽车乘客)时，计算系统基于物理环境和XR内容本身的特征，来动态确定在其中“切掉”物理环境的适当观看距离处呈现XR内容的呈现区域和混合到物理环境中的过渡区域两者。
如框7-1所示，方法700包括获取与物理环境相关联的第一组特征。在一些具体实施中，计算系统或其部件(例如，图2和图4A中的环境分析器410)获取(例如，接收、检索或生成)与物理环境相关联的第一组特征。在一些具体实施中，第一组特征包括以下项中的至少一者：物理环境的一个或多个尺寸、与物理环境相关联的当前照明特征、与物理环境相关联的当前音频特征、与物理环境相关联的声学特征等。例如，图4B示出了与物理环境105相关联的第一组特征411的示例性数据结构。
如框7-2所示，方法700包括经由一个或多个输入设备检测使得呈现虚拟内容(在本文中有时也称为“XR内容”)的请求。在一些具体实施中，计算系统或其部件(例如，图3和图4A中的交互处理程序420)获取(例如，接收、检索或检测)由用户提供的与选择A/V内容和/或虚拟内容以供呈现相关联的一个或多个用户请求或输入。在一些具体实施中，观看虚拟内容的请求对应于语音命令、手势命令、来自用户界面(UI)菜单的选择等中的一者。例如，一个或多个用户输入对应于从经由手部跟踪检测到的UI菜单中选择虚拟内容的手势输入、从经由眼睛跟踪检测到的UI菜单中选择虚拟内容的眼睛注视输入、从经由麦克风检测到的UI菜单中选择虚拟内容的语音命令等。例如，在图5A中，电子设备120检测来自用户150的语音命令508(例如，“播放与立方体相关联的虚拟内容”)。响应于检测到图5A中的语音命令508，电子设备120使XR内容504分阶段进入到图5B和图5C中的XR环境128中。
如框7-3所示，响应于检测到请求，方法700包括获取与虚拟内容相关联的第二组特征。在一些具体实施中，计算系统或其部件(例如，图2和图4A中的内容分析器430)获取(例如，接收、检索或生成)与虚拟内容相关联的第二组特征。例如，内容分析器430解析和/或分析虚拟内容以生成第二组特征。在一些具体实施中，虚拟内容被预先标记有第二组特征。在一些具体实施中，第二组特征包括以下项中的至少一者：虚拟内容或虚拟内容内的每个戏剧场景的内容特征、内容尺寸、优选观看距离、焦点/消失点、照明特征、音频特征、情绪等。例如，图4B示出了与XR内容427相关联的第二组特征431的示例性数据结构。
如框7-4所示，响应于检测到请求，方法700包括至少部分地基于第一组特征和第二组特征来生成用于虚拟内容的呈现区域。在一些具体实施中，计算系统或其部件(例如，图2和图4A中的呈现区域生成器444)至少部分地基于第一组特征和第二组特征来生成用于虚拟内容的呈现区域。例如，对于有关呈现区域532和542的进一步细节，参见在图5A至图5E中示出的实例序列及其以上描述。
在一些具体实施中，除第一组特征和第二组特征之外，还基于个人半径来生成呈现区域。例如，呈现区域在大小上受预定义个人半径(例如，计算系统和/或用户的当前位置周围的Y米)或“个人泡泡”约束，在该“个人泡泡”内显示物理环境并且不显示虚拟内容以维持对真实世界的锚定。
如框7-5所示，响应于检测到请求，方法700包括至少部分地基于第一组特征和第二组特征来生成被设置成至少部分地围绕呈现区域的过渡区域。例如，过渡区域对应于其中显示虚拟内容的球形(或其一部分)切口或不同形状的体积区域。在一些具体实施中，计算系统或其部件(例如，图2和图4A中的过渡区域生成器446)至少部分地基于第一组特征和第二组特征来生成被设置成至少部分地围绕呈现区域的过渡区域。例如，对于有关过渡区域536和548的进一步细节，参见在图5A至图5E中示出的实例序列及其以上描述。
在一些具体实施中，与过渡区域相关联的色彩、纹理、照明、亮度、对比度、视觉效果、内容等在逐场景基础上是自适应的。例如，如果剧场场景在夜间期间发生，则过渡区域可与指向相对于当前相机姿态的适当方向的星空和月光相关联。在一些具体实施中，过渡区域的宽度、大小、形状和/或其他尺寸在逐场景基础上也是自适应的。
在一些具体实施中，响应于检测到请求，方法700包括至少部分地基于第一组特征和第二组特征来修改虚拟内容。在一些具体实施中，计算系统或其部件(例如，图2和图4A中的内容修改器442)至少部分地基于第一组特征和第二组特征来修改虚拟内容。例如，内容修改器442可改变虚拟内容或其部分的颜色、纹理、亮度、对比度、一个或多个尺寸等。又如，内容修改器442可改变虚拟内容的照明特征、阴影、音频特征等。又如，内容修改器442可将虚拟内容部分添加到虚拟内容或移除虚拟内容的虚拟内容部分。例如，在图5C中，内容修改器442将阴影534添加到XR内容504。
在一些具体实施中，当位于呈现区域内时，虚拟内容比不具有呈现区域的物理环境内的物理上可能大。例如，计算系统可在原本不适配在物理环境内的呈现区域内的大幅面屏幕(例如，IMAX大小屏幕)上显示虚拟内容。例如，在图6中，电子设备120呈现XR环境128，该XR环境包括呈现在呈现区域612内的呈现表面606(例如，XR屏幕)上的XR内容614，该XR内容叠置在XR环境128内的物理环境105的表示上。在图6中，物理环境105的北墙与宽度值602相关联，并且呈现表面606与宽度值604相关联。在一些具体实施中，宽度值604大于宽度值602。因此，在一个示例中，呈现区域612使得用户150能够在比物理环境105的物理尺寸宽且/或大的呈现表面606上观看XR内容614。换句话讲，在一些具体实施中，呈现区域612实现了相比于物理环境105中的物理上可能的人为地更大观看距离和更大呈现表面。
如框7-6所示，方法700包括经由显示设备同时呈现呈现区域内的虚拟内容和至少部分地围绕该呈现区域的过渡区域。例如，在图5C中，电子设备120在呈现区域532内呈现XR内容504，该呈现区域叠置在XR环境128内的物理环境105的表示上。继续该示例，在图5C中，电子设备120还呈现围绕XR环境128内的呈现区域532的过渡区域536。例如，过渡区域536在视觉上将呈现区域532与XR环境128内物理环境105的表示混合，以便减少两者间的视觉不连续性。因此，在一些具体实施中，过渡区域将呈现区域的第一外观和物理环境的第二外观混合。在一些具体实施中，呈现区域叠置在物理环境的视图上。
在一些具体实施中，显示设备对应于透明镜头组件，并且其中呈现区域和其中的虚拟内容被投影到透明镜头组件上。在一些具体实施中，显示设备对应于近眼系统，并且其中呈现第一组媒体项和第二组媒体项包括将呈现区域和其中的虚拟内容与由面向外部的图像传感器捕获的物理环境的一个或多个图像合成。
在一些具体实施中，在呈现区域内呈现虚拟内容包括通过以下方式进行的虚拟内容的分阶段进入动画：呈现叠置在物理环境上的虚拟内容而不呈现呈现区域；在预定时间段之后，在呈现区域内呈现虚拟内容，其中呈现区域叠置物理环境的视图。在一些具体实施中，计算系统首先呈现叠置在物理环境上的虚拟内容并且在预定时间段后(例如，X秒)在呈现区域内呈现虚拟内容。例如，叠置在物理环境上的虚拟内容的初始呈现包括仅呈现虚拟内容内的前景字符和对象。又如，叠置在物理环境上的虚拟内容的初始呈现包括呈现与虚拟内容相关联的前景和背景内容两者。
图5A至图5C分别示出了实例510、520和530的序列，其中XR内容504分阶段进入到XR环境128中。在图5A中，首先在XR环境128内的XR立方体502内显示XR内容504。在图5B中，XR内容504叠置物理环境105的视图。在图5C中，XR内容504呈现在呈现区域532内，该呈现区域继而叠置在物理环境105上。例如，在图5C中，呈现区域532充当相对于物理环境105的表示的门户并且切掉物理环境105的表示的一部分。
在一些具体实施中，方法700包括：检测相对于呈现区域从第一相机姿态到第二相机姿态的改变；以及响应于检测到从第一相机姿态到第二相机姿态的改变，基于第二相机姿态来更新呈现区域内呈现的虚拟内容。例如，相机姿态的改变对应于计算系统和/或用户的旋转和/或平移移动。因此，在一个示例中，用户可接近和/或走来走去呈现区域以及呈现在其中的虚拟内容(例如，世界锁定XR内容)。
在一些具体实施中，响应于检测到从第一相机姿态到第二相机姿态的改变，方法700包括基于第二相机姿态更新过渡区域的外观。例如，过渡区域的经更新外观包括随着相机姿态改变而调整照明、阴影等。
在一些具体实施中，方法700包括：检测相对于呈现区域从第一相机姿态到第二相机姿态的改变；以及响应于检测到相对于呈现区域从第一相机姿态到第二相机姿态的改变，呈现该呈现区域内的第二虚拟内容和围绕该呈现区域的过渡区域。例如，响应于诸如90度或180度头部转动的旋转移动，计算系统呈现与不同场景相关联的第二虚拟内容。继续该示例，如果用户执行反向90度或180度头部转向(例如，世界锁定的XR内容)，则原始场景将保持在其初始位置。
图5C至图5E分别示出了实例530、540和550的序列，其中基于相机姿态的90度改变来更新XR环境128。在图5C和图5D之间，电子设备120检测相机姿态的改变，由此电子设备120的面向外部的图像传感器的FOV 111从图5C中的相对于物理环境105面向向北改变为图5D中的相对于物理环境105面向向西。响应于检测到图5C和5D之间的相机姿态的改变，电子设备120将XR内容504(例如，世界锁定的)留在其位置中并且在图5D中呈现第二XR内容544。在图5D和图5E之间，电子设备120检测相机姿态的改变，由此电子设备120的面向外部的图像传感器的FOV 111从图5D中的相对于物理环境105面向向西改变为图5E中的相对于物理环境105面向向北。响应于检测到图5D和图5E之间的相机姿态的改变，电子设备120将第二XR内容544(例如，世界锁定的)留在其位置中并且在图5E中呈现XR内容504。
虽然上文描述了在所附权利要求书范围内的具体实施的各个方面，但是应当显而易见的是，上述具体实施的各种特征可通过各种各样的形式体现，并且上述任何特定结构和/或功能仅是例示性的。基于本公开，本领域的技术人员应当理解，本文所述的方面可以独立于任何其他方面来实现，并且这些方面中的两个或更多个可以采用各种方式组合。例如，可以使用本文阐述的任何数量的方面来实现装置和/或可以实践方法。另外，除了本文阐述的一个或多个方面之外或者不同于本文阐述的一个或多个方面，可以使用其他结构和/或功能来实现这样的装置和/或可以实践这样的方法。
还将理解的是，虽然术语“第一”、“第二”等可能在本文中用于描述各种元素，但是这些元素不应当被这些术语限定。这些术语只是用于将一个元件与另一元件区分开。例如，第一媒体项可以被称为第二媒体项，并且类似地，第二媒体项可以被称为第一媒体项，这改变描述的含义，只要出现的“第一媒体项”被一致地重命名并且出现的“第二媒体项”被一致地重命名。该第一媒体项和该第二媒体项都是媒体项，但它们不是相同的媒体项。
本文中所使用的术语仅仅是为了描述特定具体实施并非旨在对权利要求进行限制。如在本具体实施的描述和所附权利要求书中所使用的那样，单数形式的“一个”、“一”和“该”旨在也涵盖复数形式，除非上下文清楚地另有指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件，和/或其分组。
如本文所使用的，术语“如果”可以被解释为表示“当所述先决条件为真时”或“在所述先决条件为真时”或“响应于确定”或“根据确定”或“响应于检测到”所述先决条件为真，具体取决于上下文。类似地，短语“如果确定[所述先决条件为真]”或“如果[所述先决条件为真]”或“当[所述先决条件为真]时”被解释为表示“在确定所述先决条件为真时”或“响应于确定”或“根据确定”所述先决条件为真或“当检测到所述先决条件为真时”或“响应于检测到”所述先决条件为真，具体取决于上下文。

Claims (16)

1.一种方法，所述方法包括：
在包括非暂态存储器和一个或多个处理器的计算系统处，其中所述计算系统通信地耦接到显示设备和一个或多个输入设备：
获取与物理环境相关联的第一组特征；
经由所述一个或多个输入设备来检测使得呈现虚拟内容的请求；
响应于检测到所述请求：
获取与所述虚拟内容相关联的第二组特征；
至少部分地基于所述第一组特征和所述第二组特征来生成用于所述虚拟内容的呈现区域；以及
至少部分地基于所述第一组特征和所述第二组特征来生成被设置成至少部分地围绕所述呈现区域的过渡区域；以及
经由所述显示设备同时呈现所述呈现区域内的所述虚拟内容和至少部分地围绕所述呈现区域的所述过渡区域。
2.根据权利要求1所述的方法，其中所述第一组特征包括以下项中的至少一者：所述物理环境的一个或多个尺寸、与所述物理环境相关联的当前照明特征、与所述物理环境相关联的当前音频特征或者与所述物理环境相关联的声学特征。
3.根据权利要求1至2中任一项所述的方法，其中所述第二组特征包括以下项中的至少一者：针对所述虚拟内容或所述虚拟内容内的每个戏剧场景的内容特征、内容尺寸、优选观看距离、焦点/消失点、照明特征、音频特征或者情绪。
4.根据权利要求1至3中任一项所述的方法，其中观看所述虚拟内容的所述请求对应于语音命令、手势命令或来自用户界面(UI)菜单的选择中的一者。
5.根据权利要求1至4中任一项所述的方法，其中所述过渡区域将所述呈现区域的第一外观和所述物理环境的第二外观混合。
6.根据权利要求1至5中任一项所述的方法，其中在所述呈现区域内呈现所述虚拟内容包括通过以下方式进行的所述虚拟内容的分阶段进入动画：
呈现叠置在所述物理环境上的所述虚拟内容，而不呈现所述呈现区域；以及
在预定时间段之后，在所述呈现区域内呈现所述虚拟内容，其中所述呈现区域叠置在所述物理环境的视图上。
7.根据权利要求1至6中任一项所述的方法，其中所述呈现区域除所述第一组特征和所述第二组特征之外还基于个人半径来生成。
8.根据权利要求1至7中任一项所述的方法，所述方法还包括：
响应于检测到所述请求，至少部分地基于所述第一组特征和所述第二组特征来修改所述虚拟内容。
9.根据权利要求8所述的方法，其中所述虚拟内容大于能够在不具有所述呈现区域的所述物理环境中显示的虚拟内容。
10.根据权利要求1至9中任一项所述的方法，所述方法还包括：
检测相对于所述呈现区域从第一相机姿态到第二相机姿态的改变；以及
响应于检测到从所述第一相机姿态到所述第二相机姿态的所述改变，基于所述第二相机姿态来更新所述呈现区域内所呈现的所述虚拟内容。
11.根据权利要求10所述的方法，所述方法还包括：
响应于检测到从所述第一相机姿态到所述第二相机姿态的所述改变，基于所述第二相机姿态来更新所述过渡区域的外观。
12.根据权利要求1至11中任一项所述的方法，所述方法还包括：
检测相对于所述呈现区域从第一相机姿态到第二相机姿态的改变；以及
响应于检测到相对于所述呈现区域从所述第一相机姿态到所述第二相机姿态的所述改变，呈现所述呈现区域内的第二虚拟内容和围绕所述呈现区域的所述过渡区域。
13.根据权利要求1至12中任一项所述的方法，其中所述呈现区域叠置在所述物理环境的视图上。
14.一种设备，所述设备包括：
一个或多个处理器；
非暂态存储器；
接口，所述接口用于与显示设备和一个或多个输入设备进行通信；和
存储在所述非暂态存储器中的一个或多个程序，所述一个或多个程序当由所述一个或多个处理器执行时使所述设备执行权利要求1至13中所述的方法中的任一种方法。
15.一种存储一个或多个程序的非暂态存储器，所述一个或多个程序在由具有用于与显示设备和一个或多个输入设备通信的接口的设备的一个或多个处理器执行时使得所述设备执行根据权利要求1至13所述的方法中的任一种方法。
16.一种设备，所述设备包括：
一个或多个处理器；
非暂态存储器；
接口，所述接口用于与显示设备和一个或多个输入设备进行通信和
用于使所述设备执行权利要求1至13中所述的方法中的任一种方法的装置。
CN202180078020.9A 2020-09-21 2021-07-27 用于动态确定呈现和过渡区域的方法和设备 Pending CN116981978A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063080923P 2020-09-21 2020-09-21
US63/080,923 2020-09-21
PCT/US2021/043293 WO2022060467A1 (en) 2020-09-21 2021-07-27 Method and device for dynamic determination of presentation and transitional regions

Publications (1)

Publication Number Publication Date
CN116981978A true CN116981978A (zh) 2023-10-31

Family

ID=77412347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180078020.9A Pending CN116981978A (zh) 2020-09-21 2021-07-27 用于动态确定呈现和过渡区域的方法和设备

Country Status (3)

Country Link
US (1) US20240112419A1 (zh)
CN (1) CN116981978A (zh)
WO (1) WO2022060467A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934614B2 (en) * 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9922667B2 (en) * 2014-04-17 2018-03-20 Microsoft Technology Licensing, Llc Conversation, presence and context detection for hologram suppression
US10424103B2 (en) * 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US9846968B2 (en) * 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US20190204910A1 (en) * 2018-01-02 2019-07-04 Microsoft Technology Licensing, Llc Saccadic breakthrough mitigation for near-eye display

Also Published As

Publication number Publication date
WO2022060467A1 (en) 2022-03-24
US20240112419A1 (en) 2024-04-04

Similar Documents

Publication Publication Date Title
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
US11867917B2 (en) Small field of view display mitigation using virtual object display characteristics
US20240094815A1 (en) Method and device for debugging program execution and content playback
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
US11423604B2 (en) Method and device for tailoring a synthesized reality experience to a physical setting
US11321926B2 (en) Method and device for content placement
US11430198B1 (en) Method and device for orientation-based view switching
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US20220147143A1 (en) Method and device for performance-based progression of virtual content
EP4254348A2 (en) Method and device for multi-camera hole filling
US11468611B1 (en) Method and device for supplementing a virtual environment
US20240112419A1 (en) Method and Device for Dynamic Determination of Presentation and Transitional Regions
US11886625B1 (en) Method and device for spatially designating private content
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
CN117916691A (zh) 用于基于情境状态启用输入模式的方法和设备
US10964056B1 (en) Dense-based object tracking using multiple reference images
CN117581180A (zh) 用于在3d中导航窗口的方法和设备
CN116458881A (zh) 用于管理注意力累加器的方法和设备
CN116578365A (zh) 用于表面化与电子消息相对应的虚拟对象的方法和设备
WO2023009318A1 (en) Method and device for enabling input modes based on contextual state

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination