CN116490250A - 环境的非对称呈现 - Google Patents

环境的非对称呈现 Download PDF

Info

Publication number
CN116490250A
CN116490250A CN202180079172.0A CN202180079172A CN116490250A CN 116490250 A CN116490250 A CN 116490250A CN 202180079172 A CN202180079172 A CN 202180079172A CN 116490250 A CN116490250 A CN 116490250A
Authority
CN
China
Prior art keywords
user
communication device
data
gui
avatar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180079172.0A
Other languages
English (en)
Inventor
L·R·德利茨·森特诺
J·P·塞拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN116490250A publication Critical patent/CN116490250A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于在多用户通信环境中协作的技术。一种这样的技术包括：在第一通信设备处接收与该第一通信设备的第一用户和第二通信设备的第二用户之间的多用户通信会话相关联的数据；在该第一通信设备处基于与该多用户通信会话相关联的该数据呈现非扩展现实图形用户界面(GUI)，该非扩展现实GUI包括该多用户通信会话中所包括的虚拟对象的非扩展现实表示和该第二用户的表示；以及在该第一通信设备处响应于该数据指示该第二用户的该表示和该虚拟对象之间的交互而更新该非扩展现实GUI以示出该交互。

Description

环境的非对称呈现
背景技术
本公开整体涉及多用户环境。更特别地但非限制性地，本公开涉及用于自动地确定扩展现实(XR)环境中的应用程序状态的技术和系统。
一些设备能够生成并呈现XR环境(XRE)。XRE可包括人们经由电子系统感知和/或与其交互的完全或部分模拟的环境。在XRE中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XRE中模拟的一个或多个虚拟元素的一个或多个特征。一些XRE允许多个用户在XRE内彼此交互。然而，需要一种改进的技术来确定XRE中的应用程序状态。
附图说明
图1以框图形式示出了根据一个或多个实施方案的简化系统图。
图2示出了根据一个或多个实施方案的示例性操作环境的图。
图3是示出了根据本公开的各方面的示例性通信环境的框图。
图4A、图4B、图5A、图5B、图6A和图6B示出了根据本公开的各方面的XR通信(XRC)会话的视图。
图7和图8是示出了根据本公开的各方面的用于在XRC会话中交互的技术的框图。
图9A和图9B示出了根据一个或多个实施方案的用于在各种XR技术中使用的示例性系统。
具体实施方式
本公开涉及供用户在XRC会话内协作的技术。具有一系列能力的一系列设备可访问XRC会话。例如，某些参与设备可能够显示XRC会话的XR视图。其他设备可能不能够显示XR视图并且可替代地渲染非XR视图。一般来讲，用户可参与XRC会话以与虚拟对象以及彼此交互。非XR视图可包括显示可用于交互的虚拟对象以有助于促进与这些虚拟对象或XRC会话中的其他用户的用户交互的用户界面。因此，本文所述的技术提供了用于在XRC会话中交互的改进的用户界面。
人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可以检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可以检测呈现XR环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特性。
许多不同类型的电子系统可以使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板电脑和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。
出于本公开的目的，XR通信(XRC)会话可由两个或更多个设备正在参与的XR环境(XRE)表示。
出于本公开的目的，本地XRC设备是指在XRC会话中被描述的或由被描述的用户控制的当前设备。
出于本公开的目的，共址XRC设备是指共享物理环境和XRC会话的两个设备，使得共址设备的用户可体验相同的物理对象和XR对象。
出于本公开的目的，远程XRC设备是指位于与当前本地XRC设备隔开的物理环境中的辅助设备。在一个或多个实施方案中，该远程XRC设备可为XRC会话的参与者。
出于本公开的目的，共享虚拟元素是指对XRC会话中的参与者可见或以其他方式能够由参与者在XRE中体验的XR对象。
出于本公开的目的，XRC计算环境(XRCE)是指能够托管应用程序的XRC会话的计算环境或容器。XRCE使得应用程序能够在XRC会话内运行。在某些情况下，XRCE可使得XRC会话的用户能够与XRC会话内的所托管应用程序交互。
出于本公开的目的，XRCE实例是指被描述的或由被描述的用户控制的当前设备的XRCE。XRCE实例可允许用户参与XRC会话并且在XRC会话中运行应用程序。
出于本公开的目的，第二XRCE实例是指除本地XRCE实例之外在XRC会话中的辅助设备或由第二用户控制的XRCE。第二XRCE实例可以是远程的或共址的。
出于本公开的目的，XRCE应用程序是指能够在XRCE的背景下执行的应用程序。
出于本公开的目的，第二XRCE应用程序是指除本地XRCE实例之外在XRC会话中的辅助设备或由第二用户控制的XRCE应用程序。第二XRCE应用程序可以是远程的或共址的。
在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为该描述的一部分，本公开的附图中的一些附图以框图形式表示结构和设备，以避免模糊所公开构思的新颖方面。为了清晰起见，可能未对实际具体实施的所有特征进行描述。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何给定流程图的特定顺序仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的各种元件中的任何元件，或者可以不同的顺序，或甚至同时执行图示的操作序列。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或限定本发明的主题，和/或诉诸于所必需的权利要求以确定此类发明主题。在本公开中提到“一个实施方案”或“实施方案”意指结合该实施方案所述的特定特征、结构或特性被包括在所公开主题的至少一个实施方案中，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部涉及相同的实施方案。
应当理解，在任何实际具体实施的开发中(如在任何软件和/或硬件开发项目中那样)，必须要作出许多决策以实现开发者的特定目标(例如，符合与系统和商务相关的约束条件)，并且这些目标在不同具体实施之间可能是不同的。还应理解，此类开发工作可能复杂且耗时，但是尽管如此，对于在受益于本公开而设计和实施图形建模系统的那些普通技术人员而言，这仍然是他们的日常工作。
参见图1，描绘了根据本公开的一个或多个实施方案的通过网络105可通信地连接到附加XR电子设备110和网络存储装置115的XR电子设备100的简化框图。XR电子设备通过以允许XR电子设备的用户将XRE感知为三维(3D)、交互式体验的方式显示XRE而不同于其他电子设备。相比之下，其他电子设备可能够显示二维“窗口”，其可显示进入XRE的3D透视投影。扩展现实电子设备100可为多功能设备的一部分，诸如移动电话、平板电脑、个人数字助理、便携式音乐/视频播放器、可穿戴设备、头戴式系统、基于投影的系统、基站、膝上型计算机、台式计算机、网络设备或诸如本文所述的任何其他电子系统。扩展现实电子设备100、附加XR电子设备110和/或网络存储装置115可附加地或另选地包括一个或多个附加设备(诸如服务器设备、基站、附件设备等等)，在这些附加设备内可容纳各种功能，或者可在这些设备上分布各种功能。诸如网络105的例示性网络包括但不限于本地网络(诸如通用串行总线(USB)网络)、组织的局域网以及广域网(诸如互联网)。根据一个或多个实施方案，XR电子设备100用于参与XRC会话。应当理解，XR电子设备100、附加XR电子设备110和网络存储装置115内的各种部件和功能可不同地分布在设备上或者可分布在附加设备上。XR电子设备100可包括网络接口150，该网络接口与诸如无线电、红外和/或可见光收发器的联网部件交接以用于与其他设备通信。网络接口150可与有线或无线联网部件或两者交接。
扩展现实电子设备100可包括一个或多个处理器125，诸如中央处理单元(CPU)。处理器125可包括片上系统(诸如存在于移动设备中的片上系统)，并且可包括一个或多个专用图形处理单元(GPU)。另外，处理器125可包括相同或不同类型的多个处理器。扩展现实电子设备100还可包括存储器135。存储器135可包括一个或多个不同类型的存储器，该存储器可用于结合处理器125执行设备功能。例如，存储器135可包括高速缓存、ROM、RAM或能够存储计算机可读代码的任何种类的暂态或非暂态计算机可读存储介质。存储器135可存储用于由处理器125执行的各种编程模块，包括XR模块165、XRCE模块170和其他各种应用程序175。扩展现实电子设备100还可包括存储装置130。存储装置130可包括一个或多个非暂态计算机可读介质，该非暂态计算机可读介质包括，例如，磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(诸如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(诸如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。根据一个或多个实施方案，存储装置130可被配置为存储内容项160。
扩展现实电子设备100还可包括一个或多个相机140或其他传感器145，诸如可根据其确定场景深度的深度传感器。在一个或多个实施方案中，一个或多个相机140中的每个相机可为传统RGB相机或深度相机。此外，相机140可包括立体相机或其它多相机系统、飞行时间相机系统等。扩展现实电子设备100还可包括显示器155。显示设备155可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
根据一个或多个实施方案，存储器135可包括一个或多个模块，该一个或多个模块包括能够由处理器125执行以执行功能的计算机可读代码。存储器可包括例如可用于为本地XRC设备提供XR环境的XR模块165。XRCE模块170可生成支持XR环境的环境。例如，XRCE模块170可提供可由XR环境和/或所托管应用程序使用以与扩展现实电子设备100的操作系统(OS)和/或硬件交接的服务和/或应用程序编程接口。XRC会话可以是支持扩展现实电子设备100以及附加扩展现实电子设备110的共享体验的计算环境。
存储器135还可包括OS模块180，用于支持基本功能并管理XR电子设备100的硬件。OS模块180提供应用程序175可在其内执行的环境。在某些情况下，XRCE模块170和XR模块165可在OS模块180的背景下运行。在其他情况下，XRCE模块170和XR模块165可与OS模块180并行地或者代替OS模块来处理基本功能并管理XR电子设备100的硬件。XRCE模块170还提供应用程序175可在其内执行的环境。应用程序175可包括例如可由多个设备(诸如XR电子设备100和附加XR电子设备110)在XRC会话中体验的计算机应用程序。
尽管XR电子设备100被描绘为包括上述多个部件，但在一个或多个实施方案中，各种部件可分布在多个设备上。因此，尽管本文相对于所描绘的特定系统描述了某些调用和传送，但在一个或多个实施方案中，各种调用和传送可基于不同分布的功能而被不同地引导。另外，可使用附加部件，也可组合任何部件的功能的某些组合。
图2示出了根据一个或多个实施方案的示例操作环境的图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施中的示例的更多相关方面，未示出各种其它特征。为此，作为非限制性示例，操作环境240包括第一物理环境，而操作环境250包括第二物理环境。
如图2所示，第一环境240包括正在利用第一电子设备200的第一用户220，第二环境250包括正在利用第二电子设备210的第二用户232。在一个或多个实施方案中，第一电子设备200和第二电子设备210包括移动设备，诸如手持设备、可穿戴设备等等。
在一个或多个实施方案中，第一电子设备200和第二电子设备210经由网络205彼此通信。网络205的示例可包括例如互联网、广域网(WAN)、局域网(LAN)等。在一个或多个实施方案中，第一电子设备200和第二电子设备210可参与XRC会话。
尽管电子设备200和电子设备210可参与共同XRC会话，但虚拟环境可不同地渲染在每个设备上。如图所示，电子设备200可以描绘环境240的物理对象。如图所示，物理桌子222可以在显示器242上被描绘为虚拟桌子224。在一个或多个实施方案中，显示器242可以是直通显示器，并且虚拟桌子224可以只是通过显示器242的物理桌子222的视图。
电子设备200的显示器242还可包括对应于物理环境250中的用户232的化身(avatar)226。出于本公开的目的，化身可以包括用户的虚拟表示。化身可描绘对应用户232的实时动作，包括移动、经更新位置和/或与XRC会话内的各种物理部件和/或虚拟部件的交互。
根据一个或多个实施方案，XRCE可以是支持一个或多个XRCE应用程序或在所有参与设备(诸如电子设备200和电子设备210)上提供XR对象的描绘的其他模块的XRE。如显示器242中所示，呈现面板230A是可对所有参与设备可见的虚拟对象的示例。
作为示例，返回到环境250，电子设备210包括显示器252，在该显示器上描绘了呈现面板虚拟对象230B。应当理解，在一个或多个实施方案中，尽管相同的虚拟对象可在所有参与设备上可见，但根据电子设备的位置、电子设备的取向或与电子设备200和210相关联的其他物理或虚拟特性和/或在显示器242和252内描绘的XRCE可不同地渲染虚拟对象。
返回到环境250，XRC会话的另一个特性是，虽然虚拟对象可在参与设备上共享，但物理世界可看起来是不同的。因此，物理椅子234被描绘为虚拟椅子236。如上所述，以及在一个或多个实施方案中，显示器252可以是直通显示器，并且虚拟椅子236可以是通过直通显示器252的物理椅子234的视图。此外，电子设备210描绘了对应于物理环境240内的用户220的化身238。
根据一个或多个实施方案，诸如呈现面板230的虚拟对象可结合XRCE应用程序渲染。在一个或多个实施方案中，可在XRCE内执行多个XRCE应用程序。例如，XRCE可将XRCE应用程序作为虚拟对象托管在XRCE的虚拟环境内。应用程序可被配置为在XRCE内或之外运行。例如，基于应用程序正在其中执行的操作环境或背景，应用程序可包括多种操作模式，例如XRCE模式和非XRCE模式。可确定应用程序正在XRCE的背景下运行，诸如通过应用程序编程接口(API)并且在XRCE模式下操作。应用程序当在XRCE之外运行时可在非XCRE模式下运行。如本文所用，XRCE应用程序或所托管应用程序还可指在XRCE模式下运行的应用程序，以及仅被配置为在XRCE的背景下运行的应用程序。XRCE可以类似于操作系统的方式提供XRCE应用程序可在其中运行的容器或计算环境。这些容器可作为虚拟对象呈现给用户，使得XRCE应用程序看起来正在窗口中、表面上或另一虚拟对象上执行。
在某些情况下，XRCE应用程序在特定XRCE实例的背景下执行。例如，与第一设备相关联的第一用户可参与同与第二设备相关联的第二用户的XRC会话。在该示例中，XRCE应用程序在第一设备和第二设备两者上执行。基于来自第一用户的输入，第一设备可执行在本地XRCE实例中托管的第一XRCE应用程序。第一XRCE应用程序可与在第二XRCE实例中托管的、在第二设备上执行的第二XRCE应用程序共享数据。在特定XRCE实例的背景下执行所托管应用程序有助于为XRCE内的本地用户提供隐私措施。在某些情况下，XRCE实例可在本地设备中执行。在其他情况下，XRCE实例可至少部分地在网络或所托管设备上执行。
在某些情况下，XRCE的用户可与其他用户共享来自XRCE应用程序的内容。内容的示例包括图像、视频、音频、文档、电子表格、呈现等等。根据一个或多个实施方案，在XRCE内执行的一个或多个XRCE应用程序可在XRC会话的参与者之间共享内容。例如，第一用户可使用XRCE应用程序来与在XRC会话中活动的其他用户(诸如第二设备)共享他们的内容(诸如照片、视频、音乐等)。
图3是示出了根据本公开的各方面的示例性通信环境300的框图。用户可使用具有访问XRC会话的多种能力的多种设备来访问XRC会话。作为示例，第一用户可使用第一通信设备302来访问XRC会话。诸如像膝上型计算机的个人计算设备的第一通信设备302可能够使用非XR图形用户界面(GUI)304来访问XRC会话。第二用户可使用第二通信设备306来访问XRC会话。诸如头戴式设备的第二通信设备306可能够使用XR GUI 308来访问XRC会话。其他用户也可利用诸如智能电话、平板电脑、智能手表等多种设备来访问XRC会话。在某些情况下，非XR GUI 304和XR GUI 308可以是XRCE的一部分。例如，非XR GUI 304可在于第一通信设备302上执行的第一XRCE实例310的背景下执行，并且XR GUI可在第二通信设备306上的第二XRCE实例312的背景下执行。在某些情况下，XRCE实例提供服务和/或对可用于XRC会话的界面的访问。例如，XRCE实例可提供数据传输、联网、音频、视频、化身处理功能等。作为更具体的示例，XRCE实例可提供用于在第一通信设备302和第二通信设备306之间承载XR数据(诸如第一XR数据316和第二XR数据318)的数据流314。可以理解，虽然被示出为第一通信设备302和第二通信设备306之间的直接连接，但数据流可经由任何数量的中间体(诸如路由器、集线器、交换机、网关以及可处理和/或协调数据流的服务器)来路由。
在某些情况下，参与XRC会话的设备之间的数据流可具有与设备之间共同的格式，使得假设适当的网络带宽可用，相同的信息可对每个设备可用。例如，数据流可包括场景图，该场景图包括描述XRC会话的共享虚拟元素的信息，诸如化身、虚拟对象、空间布置信息等。该数据流对于能够呈现XRC会话的设备可以是共同的。虽然数据流可以是共同的，但各种设备显示XRC会话的共享虚拟元素的方式可不同。
根据本公开的各方面，可基于设备的属性和能力来调节给定设备显示描述XRC会话的共享虚拟元素的信息的方式。图4A示出了根据本公开的各方面的XRC会话的非XR第一视图400，并且图4B示出了同一XRC会话的XR第二视图450。值得注意的是，为了清楚起见，第一视图400由与用户1相关联的第一设备显示并且从用户1的化身在XRC会话中的视点(POV)呈现。第二视图450是通向XRC会话的独立于用户的视图。
一般来讲，在XRC会话中，XRC会话的焦点在XRC会话的内容(例如，共享虚拟元素)上。为了增强参与者与XRC会话的内容交互的能力，场景图可对共享虚拟元素进行编码并且然后描述相对于共享虚拟元素的3D关系。在某些情况下，可使用同一场景图来渲染第一视图400和第二视图450。例如，假设这些视图来自同一POV，不能够显示XR视图的第一设备可基于场景图来呈现如第一视图400中所示的视图，而能够显示XR视图的设备可基于场景图来呈现如第二视图450中所示的视图。作为另一个示例，同一场景图可包括一个或多个虚拟对象、用于显示这些虚拟对象的虚拟对象的描述、以及它们相应的位置。第一设备可在虚拟元素UI 408中的列表中显示虚拟对象中的全部虚拟对象或其子集，而第二设备可在第二视图450内显示虚拟对象。能够参与XRC会话的设备可包括特征映射层以有助于设备确定呈现场景图中所述的元素的方式。
特征映射层可用于针对设备转换场景图的各方面。特征映射层可特定于设备或设备类型，并且可限定设备呈现XRC会话的共享虚拟元素的方式。在设备上呈现共享元素的方式可基于设备的能力。例如，头戴式系统可能够显示XRC会话的3D表示，并且特征映射层可考虑这一点。头戴式系统然后可被配置为用在空间上围绕XRC会话的3D布景布置的共享虚拟元素来呈现XRC会话的视图。头戴式系统的用户然后可能够在3D布景中在不同的共享虚拟元素(诸如视频元素402B、游戏元素454、用户1、用户2和用户3)之间进行空间操纵。值得注意的是，附加用户(用户4……用户N)也可存在于3D布景中，但可能在第二视图450中不可见。例如，那些用户可能在第二视图450的POV后面。
诸如台式计算机或膝上型计算机、平板电脑、电话等的某些设备可能够将二维(2D)、非XR视图(例如，非沉浸式)显示到XRC会话的3D布景中，这使XRC会话的空间性(例如，深度)变平。对应特征映射层可指示此类设备在内部渲染3D布景的3D表示并且然后通过光栅化、光线跟踪或以其他方式生成3D布景的2D视口406来显示2D第二视图450。在该示例中，用户1的视口406的位置对应于用户1的化身在XRC会话的3D布景中的位置。当用户1与视口406中的视频元素402A交互(例如，观看)时，用户1在XRC的3D布景中的化身被示出为正在看对应视频元素402B。
在某些情况下，用户的表示可在XRC会话的3D布景中显示为化身。化身可模拟或可不模拟用户的物理特性，并且可模拟或可不模拟用户的面部表情。在某些情况下，化身可指示设备状态。例如，如第二视图450中所示，表示用户1的化身可包括用户1正在使用非XR视图访问XRC会话的指示(此处使用虚线轮廓示出)。在某些情况下，该指示可通过使用2D化身、图像、显示图标、使用不同的化身、替换化身的浮球、定向音频等来进行。如下文进一步论述，使用非XR视图的用户可以当由长相普通的化身表示时可能看起来不自然的方式来导航3D布景，并且包括用户正在使用非XR视图的指示可有助于缓解此类问题。在另一个示例中，当用户正在佩戴头戴式受话器时，化身可被描绘为正在佩戴头戴式受话器。在其他情况下，由用户设备收集的信息可用于更新化身。例如，如果用户正在佩戴能够检测头戴式受话器中的一个或多个头戴式受话器是否被移除(例如，一个或多个耳塞被移除)的头戴式受话器或者能够检测头戴式耳机移除的头戴式耳机，则用户的化身可显示用户的注意力已经被引导到别处的指示，诸如通过使化身变灰、显示特定动画/图标、切换到默认/非活动状态等。
在XR第二视图中，用户可能够指向、突出显示共享虚拟元素或以其他方式与共享虚拟元素交互。在该示例中，用户2被示出为正在与视频元素402B交互。在某些情况下，与诸如XRCE应用程序的虚拟元素的交互可被归一化为相对于虚拟元素的图像空间。例如，用户2触摸视频元素402B的位置可相对于视频元素402B来确定，并且该相对位置可被编码在场景图中。通过对相对于虚拟元素的交互进行编码，尽管在分辨率、长径比、大小等方面可能存在差异，但交互可跨设备进行转换。
在某些情况下，通向XRC会话的非XR视图与XR视图相比可更受空间约束，并且当使用非XR视图时，可能更难看到XRC会话中的其他用户以及可能正在与同一虚拟元素交互的其他用户。例如，在XR视图中，其他用户可以是外围可见的。为了有助于解决此类问题，非XR视图可包括UI元素，诸如用户栏410，从而指示哪些其他用户正在参与XRC会话。虽然在该示例中用户栏410被示出为化身面部的列表，但可以理解，任何UI元素或UI元素的组合可用于传达本文所述的信息。在某些情况下，用户栏410可指示哪些其他用户同与非XR视图相关联的用户一样正在与同一虚拟元素交互。作为示例，如第二视图中所示，用户1和用户2两者正在与视频元素402A/402B交互，而用户3、4……N不与其交互。在该示例中，正在与同一虚拟元素交互的用户(此处为用户2)的化身面部可被示出在用户栏410中。其他用户(用户3、4……N)被示出为转过身，从而指示那些用户未在与视频元素402交互(例如，与之脱离)。例如，用户3正在与游戏元素404B交互，而用户4……N可能正在与其他元素(未示出)交互。在其他实施方案中，可能期望使得用户栏410中的用户的化身面部可见，而不是转过身。在此类情况下，可使用哪些用户未同与非XR视图相关联的用户一样与同一虚拟元素交互或者同与非XR视图相关联的用户一样正在与同一虚拟元素交互的另一个指示，诸如图标、用户排序、突出显示/概述某些用户、使用户变灰等。
如上文所指示，在某些情况下，用户可能够指向、突出显示共享虚拟元素或以其他方式与共享虚拟元素交互。在XRC会话的XR视图中，诸如第二视图450中所示，诸如用户2的用户可能够操纵他们的化身来伸出并触摸视频元素402B。用户2触摸视频元素402B的位置可基于相对于虚拟元素的坐标系来确定并且被编码到场景图中。在某些情况下，渲染XRC会话的非XR视图的设备可能够显示和/或传送触摸/突出信息。例如，交互指示412可基于对应于用户2触摸视频元素402B的位置的编码在场景图中的位置信息而显示在视口406中。在某些情况下，显示交互指示412的方式可基于虚拟元素。例如，不同的XRCE应用程序可以不同的方式显示交互指示412，这取决于例如XRCE应用程序处理此类交互的方式、XRCE应用程序的模式、正在显示的内容等。
如上文所指示，XRC会话的焦点通常在共享虚拟元素上，并且特征映射可包括呈现某些共享虚拟元素而非在空间上围绕3D布景布置的另选方式。在某些情况下，可从场景图确定用户可在XRC会话中与之交互的共享虚拟元素。这些交互式共享虚拟元素可被收集并且显示在2D第二视图450的一部分中。例如，诸如虚拟元素UI 408的UI元素可显示交互式共享虚拟元素的列表。尽管被示出为列表，但可以理解，交互式共享虚拟元素可被显示在任何合适的UI中，诸如轮、网格、下拉、菜单等。通过将交互式共享虚拟元素收集和显示在一起，用户能够更容易地发现在XRC会话中用户可与之交互的虚拟元素。在某些情况下，XRC会话可包括非交互式虚拟元素，诸如装饰性项目、定向表面、背景等，并且此类非交互式虚拟元素可从虚拟元素UI 408中省略。此处，虚拟元素UI 408包括视频元素402A和游戏元素414。在一些情况下，虚拟元素可包括用户可与之交互的XRCE应用程序。例如，游戏元素414可表示XRC会话的用户可以玩的游戏XRCE应用程序。
在某些情况下，用户可与其他用户交互。在此类情况下，可在虚拟元素UI 408中显示其他用户的表示。虚拟元素UI 408中的其他用户的该表示可对应于其他用户的化身，或者可以是另一个表示，诸如用户名、代表性图片、电话号码等的列表。在该示例中，当用户1和用户2两者正在与视频元素402B交互时，用户1和用户2可被认为彼此交互。该交互可在用户栏410中指示，其中用户2的化身面部被示出，而未在与用户1交互的其他用户被示出为转过身。虽然在XRC会话的非XR视图的背景下示出，但应当理解，虚拟元素UI 408和用户栏410可结合包括XRC会话的XR视图的其他视图使用。
用户可通过例如在虚拟元素UI 408中选择视频元素416(被示出为突出显示)来与虚拟元素UI 408交互。在某些情况下，在虚拟元素UI 408中选择交互式虚拟元素可通过移动视口406以面向对应的交互式虚拟元素来在视口406中显示所选择的交互式虚拟元素，此处是视频元素402A。在XRC会话的3D布景中，用户(在该示例中为用户1)的视口406可对应于用户的表示，诸如用户1的化身。因此，在交互式虚拟元素之间移动视口406可通过在交互式虚拟元素之间移动用户的表示来在XRC会话的3D布景中可视化。例如，用户1可从虚拟元素UI 408选择游戏元素414。如图5A所示，第一视图500中所示的视口506可被移动以显示游戏元素504A，并且来自虚拟元素UI 508的游戏元素514可基于选择而突出显示。在图5B所示的第二视图550中，用户1的化身可从视频元素502B移动到游戏元素504B。在某些情况下，用户1的化身可穿过3D布景从视频元素502B自动地移动到游戏元素504B，如同用户1正在移动他们的化身。在其他情况下，用户1的化身可以另一种方式移动，诸如被远程传送、移动图标等。用户栏510还可被更新以指示哪些其他用户同该用户一样正在与同一虚拟元素交互。在该示例中，表示用户3的化身面部现在被示出，而用户2、4……N的化身面部现在被示出为转过身。
在某些情况下，用户可使用虚拟元素UI与另一个用户交互。例如，参考图6，用户1可从虚拟元素UI 608选择用户2。作为响应，第一视图600中所示的视口606可被移动以面向用户2，并且虚拟元素UI 608中对应于用户2的用户元素616可基于选择而突出显示。在某些情况下，可给予用户2在移动视口606之前批准交互的选项。在第二视图650中，用户1的化身可被移动以面向用户2的化身。
根据本公开的各方面，用户中的任一者或两者的化身可基于运动数据来以动画方式显示(animated)。运动数据可从多种传感器提供，这些传感器包括可穿戴、持有或与用户分开的传感器。作为示例，化身的面部可基于由化身表示的用户的表情、基于所捕获的用户的面部图像来以动画方式显示。所捕获的图像可由多种传感器提供，诸如可见光相机、点投影仪、非可见光传感器、超声波、雷达等。传感器可例如被构建到参与设备中，诸如上文结合图2所论述的电子设备。化身的头部的移动还可基于这些所捕获的图像或另一个传感器，诸如头戴式显示器或头戴式受话器中的加速度计。运动数据还可例如由手持式控制器、成像设备或触摸表面捕获，并且此运动用于以动画方式显示(animate)化身的身体、肢体或另一个部分。
可针对每个用户捕获不同的运动数据。例如，第一用户可经由包括相机和/或点投影仪的平板设备参与XRC会话。可分析由相机和/或点投影仪捕获的图像以通过平板设备生成用户的诸如面部的运动数据。参与设备可被配置为从多种传感器收集信息并且根据该信息以共同格式生成运动数据。也就是说，参与设备处理传感器信息以生成共同运动数据。在某些情况下，第一用户的身体/肢体可对相机和/或点投影仪隐藏，并且对应于化身的那些部分的运动数据可能不可用。可用的运动数据可例如在场景图中传送到XRC会话中的其他参与者。另一个参与设备可接收运动数据并且使用该运动数据来以动画方式显示对应于第一用户的化身。在化身的运动数据不可用的情况下，化身的对应部分可保持在默认或非动画位置(例如，手臂靠在旁边，不相对于化身的其余部分移动)。
在某些情况下，交互可由经由XR视图访问XRC会话的用户发起。例如，用户2可通过将他们的化身转向面向用户1、按下按钮、尝试触摸用户1的化身等来尝试与用户1交互。当用户2发起与用户1的交互时，用户1的视口606可被移动以面向用户2，并且虚拟元素UI 608中对应于用户2的用户元素616可被突出显示。在某些情况下，可向用户1呈现批准来自用户2的交互发起的选项。
在某些情况下，共享内容项的特定布置或来自特定POV的视图对于从一个用户向另一个用户传达可能是重要的。在此类情况下，用户可能够将视口606或其他用户的化身临时移动到特定位置。在某些情况下，不是移动视口606或其他用户的化身，而是可使用诸如过肩视图的第三人视图来向其他用户指示另一个用户可能正在临时控制该视图。
图7示出了根据本公开的各方面的用于在多用户通信会话中交互的第一技术700。在框702处，第一通信设备接收与第一通信设备的第一用户和第二通信设备的第二用户之间的多用户通信会话相关联的数据，其中与多用户通信会话相关联的第一数据被配置为呈现为XR图形用户界面(GUI)或非沉浸式GUI，诸如二维(2D)GUI。例如，显示2D图像的非XR设备(诸如膝上型计算机、台式计算机、平板电脑、智能电话等)可参与XRC会话并且从XRC会话接收数据。在一些情况下，非沉浸式GUI与XR GUI的不同之处可在于，非沉浸式GUI包括传统2D元素(例如，平面元素)或2.5D元素，其中元素可具有阴影、相对大小、透视缩短等，以模拟传统平面(例如，2D)显示器上的三维效果。2.5D元素有助于在传面平板显示器上呈现透视图，并且可被认为是用于在传统平面显示器上显示的一种类型的2D图像。在某些情况下，数据可包括描述XRC会话的虚拟环境和元素的场景图。在框704处，第一通信设备确定第一通信设备可渲染非沉浸式GUI。例如，非XR设备可确定非XR设备支持XRC会话的非XR视图，或者非XR设备不支持XRC会话的XR视图。在框706处，第一通信设备基于与多用户通信会话相关联的数据呈现非XR图形用户界面(GUI)，该非XR GUI包括多用户通信会话中所包括的虚拟对象的非XR表示和第二用户的表示。例如，非XR设备可渲染XRC会话的非XR视图。非XR视图可包括指示虚拟元素的虚拟元素UI，这些虚拟元素诸如XRCE应用程序、其他用户以及用户可与之交互的其他交互式虚拟元素。如结合图4A、图5A和图6A的相应元素408、508和608所论述的虚拟元素UI可被显示在任何合适的UI中，诸如轮、网格、下拉、菜单等。在框708处，第一通信设备响应于数据指示第二用户的表示和虚拟对象之间的交互而更新非XR GUI以示出该交互。例如，第一用户(诸如与图5的视口506相关联的用户)可从虚拟元素UI选择虚拟元素以与之交互。可基于该选择更新用户的视口，例如以显示所选择的虚拟元素。
在某些情况下，第一技术700还可包括在第二通信设备处接收与多用户通信会话相关联的第二数据。例如，诸如头戴式系统的XR设备可参与XRC会话并且从XRC会话接收数据。在某些情况下，数据可包括描述XRC会话的虚拟环境和元素的场景图。第二通信设备可基于第二数据呈现XR GUI，该XR GUI包括虚拟对象的XR表示和第一用户在第二用户的环境中的化身，如结合图4B、图5B和图6B的相应元素450、550和650所描述的。第二通信设备可响应于第二数据指示化身和虚拟对象之间的第二交互而更新XR GUI以示出该第二交互。例如，XR GUI可基于来自第一用户的数据呈现示出第一用户正在与虚拟对象交互的环境的视图。
在某些情况下，可在第一通信设备处捕获图像数据。例如，第一设备的一个或多个相机可捕获图像数据。第一通信设备可基于图像数据生成描述第一用户的运动的运动数据。例如，可分析由相机捕获的图像以生成运动数据。第一通信设备可将运动数据传送到第二通信设备。第二通信设备可接收运动数据并且基于运动数据以动画方式显示第一用户的化身。在某些情况下，虚拟对象包括应用程序。在某些情况下，虚拟对象包括多用户通信会话的第三用户的描绘。
在某些情况下，第一通信设备可响应于第二用户正在与不同的虚拟对象交互的指示而更新非XR GUI以示出与虚拟对象脱离的第二用户的表示。例如，如图5A至图6B所示，如果第二用户停止与第一用户正在与之交互的对象交互，则非XR视图的用户栏可被更新以指示第二用户不再与该对象交互。
在某些情况下，其中第一数据和第二数据包括描述多用户通信会话中的虚拟对象和用户的场景图。例如，场景图可对XRC会话的内容(包括用户和共享虚拟元素)进行编码。在某些情况下，场景图被配置为在XR GUI或非沉浸式GUI中呈现。例如，可使用同一场景图来渲染图4的第一视图400和第二视图450。
在某些情况下，非沉浸式GUI是基于场景图呈现的，并且包括呈现通向(into)多用户通信会话的视图的视口、多用户通信会话中的虚拟对象的列表、以及多用户通信会话中的其他用户的指示，如结合图4A、图5A和图6A的相应第一视图400、500和600所描述的。在某些情况下，XR GUI是基于场景图呈现的，并且包括通向多用户通信会话的三维视图，其中虚拟对象和其他用户呈现在第二用户的环境内，如结合图4B、图5B和图6B的相应第二视图450、550和650所描述的。
在某些情况下，第一通信设备可接收对来自虚拟对象的列表的第二虚拟对象的选择。例如，如上文相对于图4的视频元素416所描述的，可在虚拟元素UI中选择虚拟对象。在某些情况下，可生成描述将第一用户移动到第二虚拟对象的第一化身移动数据。例如，基于对虚拟对象的选择，第一通信设备可例如在场景图中描述第一用户的视口和化身向所选择的虚拟对象的移动。在某些情况下，第一运动数据被传送到第二通信设备。在某些情况下，第二通信设备可接收第一化身移动数据并且基于第一化身移动数据移动第一用户的化身。例如，第二通信设备可更新视图以示出第一用户的化身正在移动到所选择的虚拟对象，如图4B和图5B所示。在某些情况下，化身移动可表示为如同用户正在移动化身、被远程传送或移动的其他表示。
在某些情况下，第二通信设备可接收移动到第一用户正在与之交互的虚拟对象的指示。例如，XR设备的第二用户可将他们的化身移动到非XR设备的第一用户正在与之交互的虚拟对象。第二通信设备可生成描述将第二用户移动到虚拟对象的第二化身移动数据，并且将第二运动数据传送到第一通信设备。在某些情况下，第一通信设备可接收第二化身移动数据并且更新其他用户的指示以指示第二用户正在与第一用户交互。例如，如图4A所示，用户栏410可被更新以指示当另一个用户正在与同一虚拟对象交互时该另一个用户正在与第一用户交互。
图8示出了根据本公开的各方面的用于在多用户通信会话中交互的第二技术800。在某些情况下，该第二技术800可扩展第一技术700。在框802处，第二通信设备接收与多用户通信会话相关联的第二数据。例如，第一通信设备可向XRC会话的其他参与者传送与XRC会话相关联的XRC数据。在某些情况下，第一通信设备可以是非XR设备。该数据可由其他参与者接收。在框804处，第二通信设备基于第二数据呈现XR GUI，该XR GUI包括虚拟对象的扩展现实表示和第一用户在第二用户的环境中的化身。例如，XRC数据可包括场景图，并且其他参与设备可至少部分地基于来自第一用户的XRC数据呈现XRC会话的XR视图。在框806处，第二通信设备响应于第二数据指示化身和虚拟对象之间的第二交互而更新扩展现实GUI以示出该第二交互。例如，第一用户可选择虚拟元素以与之交互，并且来自第一用户的XRC数据可包括描述该选择的信息。
图9A和图9B描绘了用于在各种XR技术中使用的示例性系统900。在一些示例中，如图9A所示，系统900包括设备900a。设备900a包括各种部件，诸如处理器902、RF电路904、存储器906、图像传感器908、取向传感器910、麦克风912、位置传感器916、扬声器918、显示器920和触敏表面922。这些部件任选地通过设备900a的通信总线950进行通信。
在一些示例中，系统900的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统900的其他元件在第二设备(例如，头戴式设备)中实现。在一些示例中，设备900a在基站设备或第二设备中实现。
如图9B所示，在一些示例中，系统900包括诸如通过有线连接或无线连接进行通信的两个(或更多个)设备。第一设备900B(例如，基站设备)包括处理器902、RF电路904和存储器906。这些部件任选地通过设备900b的通信总线950进行通信。第二设备900c(例如，头戴式设备)包括各种部件，诸如处理器902、RF电路904、存储器906、图像传感器908、取向传感器910、麦克风912、位置传感器916、扬声器918、显示器920和触敏表面922。这些部件任选地通过设备900c的通信总线950进行通信。
系统900包括处理器902和存储器906。处理器902包括一个或多个通用处理器、一个或多个图形处理器和/或一个或多个数字信号处理器。在一些示例中，存储器906是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，这些计算机可读指令被配置为由处理器902执行以执行下述技术。
系统900包括RF电路904。RF电路904任选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路904任选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。
系统900包括显示器920。显示器920可具有不透明显示器。显示器920可具有透明或半透明显示器，该透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器920可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任何组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个示例中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。显示器920的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、平板电脑、智能电话以及台式计算机或膝上型计算机。另选地，系统900可被设计为接收外部显示器(例如，智能电话)。在一些示例中，系统900是基于投影的系统，该系统使用视网膜投影将图像投影到个体的视网膜上或将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。
在一些示例中，系统900包括用于接收用户输入(诸如轻击输入和轻扫输入)的触敏表面922。在一些示例中，显示器920和触敏表面922形成触敏显示器。
系统900包括图像传感器908。图像传感器908任选地包括可操作以从物理布景获取物理元素的图像的一个或多个可见光图像传感器，诸如电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自物理布景的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到物理布景中。图像传感器908还任选地包括一个或多个事件相机，该一个或多个事件相机被配置为捕获物理布景中物理元素的移动。图像传感器908还任选地包括一个或多个深度传感器，该一个或多个深度传感器被配置为检测物理元素与系统900的距离。在一些示例中，系统900组合使用CCD传感器、事件相机和深度传感器来检测系统900周围的物理布景。在一些示例中，图像传感器908包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理布景中物理元素的图像。在一些示例中，系统900使用图像传感器908来接收用户输入，诸如手势。在一些示例中，系统900使用图像传感器908来检测系统900和/或显示器920在物理布景中的位置和取向。例如，系统900使用图像传感器908来跟踪显示器920相对于物理布景中的一个或多个固定元素的位置和取向。
在一些示例中，系统900包括麦克风912。系统900使用麦克风912来检测来自用户和/或用户的物理布景的声音。在一些示例中，麦克风912包括麦克风阵列(包括多个麦克风)，这些麦克风任选地协同操作，以识别环境噪声或定位物理布景的空间中的声源。
系统900包括用于检测系统900和/或显示器920的取向和/或移动的取向传感器910。例如，系统900使用取向传感器910来跟踪系统900和/或显示器920的位置和/或取向的变化，诸如相对于物理布景中的物理元素。取向传感器910任选地包括一个或多个陀螺仪和/或一个或多个加速度计。
本文定义的技术考虑了获取和利用用户的个人信息的选项。例如，本技术的一个方面是自动地确定特定设备是否可显示XRC会话的XR视图。然而，在收集此类个人信息的情况下，此类信息应在用户知情同意的情况下获得，使得用户了解并控制其个人信息的使用。
有权访问个人信息的各方将仅出于合法且合理的目的使用该信息，并且将遵守至少符合适当法律和法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为满足或超出政府/行业标准。此外，个人信息将不会在任何合理且合法的目的之外被分发、出售或以其他方式共享。
然而，用户可限制各方能获取个人信息的程度。本文所述的过程和设备可允许改变设置或其他偏好，使得用户控制对他们的个人信息的访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。作为示例，用户的个人信息可被掩盖或以其他方式一般化，使得该信息不识别从其获取该信息的特定用户。
应当理解，以上描述旨在是示例性的而非限制性的。已经呈现材料以使本领域的任何技术人员能够作出并使用受权利要求保护的所公开的主题并在特定实施方案的上下文中提供该材料，其变化对于本领域的技术人员而言将是显而易见的(例如，可彼此结合地使用所公开的实施方案中的一些)。因此，图7和图8所示的步骤或动作的特定布置或者图1至图6和图9A至图9B所示的元件的布置不应被解释为限制所公开的主题的范围。因此，应当参考所附权利要求以及赋予此类权利要求的等同形式的完整范围来确定本发明的范围。在所附权利要求书中，术语“包括”和“在其中”被用作相应术语“包含”和“其中”的通俗英语等同形式。

Claims (50)

1.一种方法，包括：
在第一通信设备处接收与所述第一通信设备的第一用户和第二通信设备的第二用户之间的多用户通信会话相关联的第一数据，其中与所述多用户通信会话相关联的所述第一数据被配置为呈现为扩展现实图形用户界面(GUI)或非沉浸式GUI；
确定所述第一通信设备能够渲染所述非沉浸式GUI；
在所述第一通信设备处基于与所述多用户通信会话相关联的所述第一数据呈现所述非沉浸式GUI，所述非沉浸式GUI包括所述多用户通信会话中所包括的虚拟对象的2D表示和所述第二用户的表示；以及
在所述第一通信设备处响应于所述第一数据指示所述第二用户的所述表示和所述虚拟对象之间的交互而更新所述非沉浸式GUI以示出所述交互。
2.根据权利要求1所述的方法，还包括：
在所述第二通信设备处接收与所述多用户通信会话相关联的第二数据；
在所述第二通信设备处基于所述第二数据呈现所述扩展现实GUI，所述扩展现实GUI包括所述虚拟对象的扩展现实表示和所述第一用户在所述第二用户的环境中的化身；以及
在所述第二通信设备处响应于所述第二数据指示所述化身和所述虚拟对象之间的第二交互而更新所述扩展现实GUI以示出所述第二交互。
3.根据权利要求2所述的方法，还包括：
在所述第一通信设备处捕获图像数据；
在所述第一通信设备处基于所述图像数据生成描述所述第一用户的运动的运动数据；以及
将所述运动数据从所述第一通信设备传送到所述第二通信设备。
4.根据权利要求3所述的方法，还包括：
在所述第二通信设备处接收所述运动数据；以及
基于所述运动数据以动画方式显示所述第一用户的所述化身。
5.根据权利要求1至4中任一项所述的方法，其中所述虚拟对象包括应用程序。
6.根据权利要求1至5中任一项所述的方法，其中所述虚拟对象包括所述多用户通信会话的第三用户的描绘。
7.根据权利要求1至6中任一项所述的方法，还包括：在所述第一通信设备处响应于所述第二用户正在与不同的虚拟对象交互的指示而更新所述非沉浸式GUI以示出与所述虚拟对象脱离的所述第二用户的所述表示。
8.根据权利要求1至7中任一项所述的方法，其中所述第一数据和所述第二数据包括描述所述多用户通信会话中的虚拟对象和用户的场景图。
9.根据权利要求8所述的方法，其中所述场景图被配置为由所述扩展现实GUI或所述非沉浸式GUI呈现。
10.根据权利要求1至9中任一项所述的方法，其中所述非沉浸式GUI是基于所述场景图呈现的，并且包括呈现通向所述多用户通信会话的视图的视口、所述多用户通信会话中的虚拟对象的列表、以及所述多用户通信会话中的其他用户的指示。
11.根据权利要求1至10中任一项所述的方法，其中所述扩展现实GUI是基于所述场景图呈现的，并且包括通向所述多用户通信会话的三维视图，其中所述虚拟对象和所述其他用户呈现在所述第二用户的所述环境内。
12.根据权利要求10所述的方法，还包括：
在所述第一通信设备处接收对来自所述虚拟对象的列表的第二虚拟对象的选择；
在所述第一通信设备处生成描述将所述第一用户的所述化身移动到所述第二虚拟对象的第一化身移动数据；以及
将所述第一运动数据从所述第一通信设备传送到所述第二通信设备。
13.根据权利要求12所述的方法，还包括：
在所述第二通信设备处接收所述第一化身移动数据；以及
基于所述第一化身移动数据移动所述第一用户的所述化身。
14.根据权利要求1至12中任一项所述的方法，还包括：
在所述第二通信设备处接收移动到所述第一用户正在与之交互的所述虚拟对象的指示；
在所述第二通信设备处生成描述将所述第二用户的化身移动到所述虚拟对象的第二化身移动数据；以及
将所述第二运动数据从所述第二通信设备传送到所述第一通信设备。
15.根据权利要求14所述的方法，所述方法还包括：
在所述第一通信设备处接收所述第二化身移动数据；以及
更新所述其他用户的指示以指示所述第二用户正在与第一用户交互。
16.一种存储指令的计算机可读存储设备，所述指令能够由一个或多个处理器执行以：
在第一通信设备处接收与所述第一通信设备的第一用户和第二通信设备的第二用户之间的多用户通信会话相关联的第一数据，其中与所述多用户通信会话相关联的所述第一数据被配置为呈现为扩展现实图形用户界面(GUI)或非沉浸式GUI；
确定所述第一通信设备能够渲染所述非沉浸式GUI；
在所述第一通信设备处基于与所述多用户通信会话相关联的所述第一数据呈现所述非沉浸式GUI，所述非沉浸式GUI包括所述多用户通信会话中所包括的虚拟对象的2D表示和所述第二用户的表示；以及
在所述第一通信设备处响应于所述第一数据指示所述第二用户的所述表示和所述虚拟对象之间的交互而更新所述非沉浸式GUI以示出所述交互。
17.根据权利要求16所述的计算机可读存储设备，其中能够由一个或多个处理器执行的所述指令被进一步配置为使得所述一个或多个处理器：
在所述第二通信设备处接收与所述多用户通信会话相关联的第二数据；
在所述第二通信设备处基于所述第二数据呈现所述扩展现实GUI，所述扩展现实GUI包括所述虚拟对象的扩展现实表示和所述第一用户在所述第二用户的环境中的化身；以及
在所述第二通信设备处响应于所述第二数据指示所述化身和所述虚拟对象之间的第二交互而更新所述扩展现实GUI以示出所述第二交互。
18.根据权利要求17所述的计算机可读存储设备，其中能够由一个或多个处理器执行的所述指令被进一步配置为使得所述一个或多个处理器：
在所述第一通信设备处捕获图像数据；
在所述第一通信设备处基于所述图像数据生成描述所述第一用户的运动的运动数据；以及
将所述运动数据从所述第一通信设备传送到所述第二通信设备。
19.根据权利要求18所述的计算机可读存储设备，其中能够由一个或多个处理器执行的所述指令被进一步配置为使得所述一个或多个处理器：
在所述第二通信设备处接收所述运动数据；以及
基于所述运动数据以动画方式显示所述第一用户的所述化身。
20.根据权利要求16至19中任一项所述的计算机可读存储设备，其中所述虚拟对象包括应用程序。
21.根据权利要求16至20中任一项所述的计算机可读存储设备，其中所述虚拟对象包括所述多用户通信会话的第三用户的描绘。
22.根据权利要求16至21中任一项所述的计算机可读存储设备，其中所述非沉浸式GUI中的所述第二用户的所述表示包括图标。
23.根据权利要求16至22中任一项所述的计算机可读存储设备，其中所述指令能够由所述一个或多个处理器进一步执行以在所述第一通信设备处响应于所述第二用户正在与不同的虚拟对象交互的指示而更新所述非沉浸式GUI以示出与所述虚拟对象脱离的所述第二用户的所述表示。
24.根据权利要求16至23中任一项所述的计算机可读存储设备，其中所述第一数据和所述第二数据包括描述所述多用户通信会话中的虚拟对象和用户的场景图。
25.根据权利要求24所述的计算机可读存储设备，其中所述场景图被配置为由所述扩展现实GUI或所述非沉浸式GUI呈现。
26.根据权利要求16至25中任一项所述的计算机可读存储设备，其中所述非沉浸式GUI是基于所述场景图呈现的，并且包括呈现通向所述多用户通信会话的视图的视口、所述多用户通信会话中的虚拟对象的列表、以及所述多用户通信会话中的其他用户的指示。
27.根据权利要求16至26中任一项所述的计算机可读存储设备，其中所述扩展现实GUI是基于所述场景图呈现的，并且包括通向所述多用户通信会话的三维视图，其中所述虚拟对象和所述其他用户呈现在所述第二用户的所述环境内。
28.根据权利要求16至27中任一项所述的计算机可读存储设备，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第一通信设备处接收对来自所述虚拟对象的列表的第二虚拟对象的选择；
在所述第一通信设备处生成描述将所述第一用户的所述化身移动到所述第二虚拟对象的第一化身移动数据；以及
将所述第一运动数据从所述第一通信设备传送到所述第二通信设备。
29.根据权利要求28所述的计算机可读存储设备，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第二通信设备处接收所述第一化身移动数据；以及
基于所述第一化身移动数据移动所述第一用户的所述化身。
30.根据权利要求16至29中任一项所述的计算机可读存储设备，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第二通信设备处接收移动到所述第一用户正在与之交互的所述虚拟对象的指示；
在所述第二通信设备处生成描述将所述第二用户的化身移动到所述虚拟对象的第二化身移动数据；以及
将所述第二运动数据从所述第二通信设备传送到所述第一通信设备。
31.根据权利要求30所述的计算机可读存储设备，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第一通信设备处接收所述第二化身移动数据；以及
更新所述其他用户的指示以指示所述第二用户正在与第一用户交互。
32.一种系统，所述系统包括：
第一通信设备，所述第一通信设备包括：
一个或多个处理器；以及
存储器，所述存储器存储指令，所述指令能够由所述一个或多个处理器执行以：
在第一通信设备处接收与所述第一通信设备的第一用户和
第二通信设备的第二用户之间的多用户通信会话相关联的第一数据，其中与所述多用户通信会话相关联的所述第一数据被配置为呈现为扩展现实图形用户界面(GUI)或非沉浸式GUI；
确定所述第一通信设备能够渲染所述非沉浸式GUI；
在所述第一通信设备处基于与所述多用户通信会话相关联的所述第一数据呈现2DGUI，所述非沉浸式GUI包括所述多用户通信会话中所包括的虚拟对象的2D表示和所述第二用户的表示；以及
在所述第一通信设备处响应于所述第一数据指示所述第二用户的所述表示和所述虚拟对象之间的交互而更新所述非沉浸式GUI以示出所述交互。
33.根据权利要求32所述的系统，还包括：
第二通信设备，所述第二通信设备包括：
第二一个或多个处理器；以及
第二存储器，所述第二存储器存储第二指令，所述第二指令能够由所述第二一个或多个处理器执行以：
在所述第二通信设备处接收与所述多用户通信会话相关联的第二数据；
在所述第二通信设备处基于所述第二数据呈现扩展现实GUI，所述扩展现实GUI包括所述虚拟对象的扩展现实表示和所述第一用户在所述第二用户的环境中的化身；以及
在所述第二通信设备处响应于所述第二数据指示所述化身和所述虚拟对象之间的第二交互而更新所述扩展现实GUI以示出所述第二交互。
34.根据权利要求33所述的系统，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第一通信设备处捕获图像数据；
在所述第一通信设备处基于所述图像数据生成描述所述第一用户的运动的运动数据；以及
将所述运动数据从所述第一通信设备传送到所述第二通信设备。
35.根据权利要求34所述的系统，其中所述第二指令能够由所述第二一个或多个处理器进一步执行以：
在所述第二通信设备处接收所述运动数据；以及
基于所述运动数据以动画方式显示所述第一用户的所述化身。
36.根据权利要求33至35中任一项所述的系统，其中所述虚拟对象包括应用程序。
37.根据权利要求33至36中任一项所述的系统，其中所述虚拟对象包括所述多用户通信会话的第三用户的描绘。
38.根据权利要求33至37中任一项所述的系统，其中所述非沉浸式GUI中的所述第二用户的所述表示包括图标。
39.根据权利要求33至38中任一项所述的系统，其中所述指令能够由所述一个或多个处理器进一步执行以在所述第一通信设备处响应于指示所述第二用户正在与不同的虚拟对象交互的数据而更新所述非沉浸式GUI以示出与所述虚拟对象脱离的所述第二用户的所述表示。
40.根据权利要求33至39中任一项所述的系统，其中所述第一数据和所述第二数据包括描述所述多用户通信会话中的虚拟对象和用户的场景图。
41.根据权利要求40所述的系统，其中所述场景图被配置为由所述扩展现实GUI或所述非沉浸式GUI呈现。
42.根据权利要求33至41中任一项所述的系统，其中所述非沉浸式GUI是基于所述场景图呈现的，并且包括呈现通向所述多用户通信会话的视图的视口、所述多用户通信会话中的虚拟对象的列表、以及所述多用户通信会话中的其他用户的指示。
43.根据权利要求33至42中任一项所述的系统，其中所述扩展现实GUI是基于所述场景图呈现的，并且包括通向所述多用户通信会话的三维视图，其中所述虚拟对象和所述其他用户呈现在所述第二用户的所述环境内。
44.根据权利要求33至43中任一项所述的系统，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第一通信设备处接收对来自所述虚拟对象的列表的第二虚拟对象的选择；
在所述第一通信设备处生成描述将所述第一用户的化身移动到所述第二虚拟对象的第一化身移动数据；以及
将所述第一运动数据从所述第一通信设备传送到所述第二通信设备。
45.根据权利要求44所述的系统，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第二通信设备处接收所述第一化身移动数据；以及
基于所述第一化身移动数据移动所述第一用户的所述化身。
46.根据权利要求33至45中任一项所述的系统，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第二通信设备处接收移动到所述第一用户正在与之交互的所述虚拟对象的指示；
在所述第二通信设备处生成描述将所述第二用户的化身移动到所述虚拟对象的第二化身移动数据；以及
将所述第二运动数据从所述第二通信设备传送到所述第一通信设备。
47.根据权利要求46所述的系统，其中所述指令能够由所述一个或多个处理器进一步执行以：
在所述第一通信设备处接收所述第二化身移动数据；并且更新所述其他用户的指示以指示所述第二用户正在与第一用户交互。
48.根据权利要求1所述的方法，其中所述第一通信设备包括显示2-D图像的设备，并且其中所述第二通信设备包括头戴式显示器。
49.根据权利要求16所述的计算机可读存储设备，其中所述第一通信设备包括显示2-D图像的设备，并且其中所述第二通信设备包括头戴式显示器。
50.根据权利要求32所述的系统，其中所述第一通信设备包括显示2-D图像的设备，并且其中所述第二通信设备包括头戴式显示器。
CN202180079172.0A 2020-09-25 2021-09-10 环境的非对称呈现 Pending CN116490250A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063083321P 2020-09-25 2020-09-25
US63/083,321 2020-09-25
PCT/US2021/049835 WO2022066438A1 (en) 2020-09-25 2021-09-10 Asymmetric presentation of an environment

Publications (1)

Publication Number Publication Date
CN116490250A true CN116490250A (zh) 2023-07-25

Family

ID=78080501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180079172.0A Pending CN116490250A (zh) 2020-09-25 2021-09-10 环境的非对称呈现

Country Status (3)

Country Link
EP (1) EP4217083A1 (zh)
CN (1) CN116490250A (zh)
WO (1) WO2022066438A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240061636A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Perspective Sharing in an Artificial Reality Environment between Two-Dimensional and Artificial Reality Interfaces

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282287B2 (en) * 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US10688396B2 (en) * 2017-04-28 2020-06-23 Sony Interactive Entertainment Inc. Second screen virtual window into VR environment
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
EP3702008A1 (en) * 2019-02-27 2020-09-02 Nokia Technologies Oy Displaying a viewport of a virtual space

Also Published As

Publication number Publication date
US20230308495A1 (en) 2023-09-28
EP4217083A1 (en) 2023-08-02
WO2022066438A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US12003890B2 (en) Environment for remote communication
US20210365228A1 (en) Controlling external devices using reality interfaces
JP2019510321A (ja) 仮想現実用パススルーカメラのユーザインターフェイス要素
CN110888567A (zh) 三维内容中基于位置的虚拟元件模态
CN113646731A (zh) 用于参与共享布景的技术
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
US11709370B2 (en) Presentation of an enriched view of a physical setting
CN113359973B (zh) 环境应用程序模型
US20240111911A1 (en) Method and Device for Spatially Designating Private Content
US20240283669A1 (en) Avatar Spatial Modes
CN116490250A (zh) 环境的非对称呈现
CN112912822A (zh) 在混合现实环境中控制支持音频的连接设备的系统
US12132770B2 (en) Asymmetric presentation of an environment
WO2022066483A1 (en) Conversation privacy for third party applications
KR20230116765A (ko) 다중 카메라 홀 충전을 위한 방법 및 디바이스
US11856039B2 (en) Conversation privacy for third party applications
US11805176B1 (en) Toolbox and context for user interactions
US20230297710A1 (en) Applications in a Multi-User Environment
US11991222B1 (en) Persistent call control user interface element in an artificial reality environment
US20230077410A1 (en) Multi-View Video Codec
CN116529697A (zh) 共享空间边界和幻象表面
CN116206090A (zh) 基于虚拟现实空间的拍摄方法、装置、设备及介质
KR20240058013A (ko) 가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법
CN116472706A (zh) 头像空间模式
CN117197400A (zh) 信息交互方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination