CN113661691B - 用于提供扩展现实环境的电子设备、存储介质和方法 - Google Patents

用于提供扩展现实环境的电子设备、存储介质和方法 Download PDF

Info

Publication number
CN113661691B
CN113661691B CN202080026912.XA CN202080026912A CN113661691B CN 113661691 B CN113661691 B CN 113661691B CN 202080026912 A CN202080026912 A CN 202080026912A CN 113661691 B CN113661691 B CN 113661691B
Authority
CN
China
Prior art keywords
electronic device
virtual representation
participant
communication session
remote participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080026912.XA
Other languages
English (en)
Other versions
CN113661691A (zh
Inventor
D·W·查默斯
J·H·李
R·耐尔
I·内戈伊塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202310533404.6A priority Critical patent/CN116360601A/zh
Publication of CN113661691A publication Critical patent/CN113661691A/zh
Application granted granted Critical
Publication of CN113661691B publication Critical patent/CN113661691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了用于提供扩展现实体验的示例性过程，该过程包括接收呈现通信会话的远程参与者的虚拟表示的请求。响应于接收到呈现该远程参与者的该虚拟表示的该请求，确定电子设备位于物理环境中的第一位置处，并且显示该远程参与者的该虚拟表示，使得该虚拟表示看起来位于该物理环境中的第二位置处。该第二位置不同于该第一位置，并且使用该第一位置的第一坐标来确定该第二位置的第一坐标。

Description

用于提供扩展现实环境的电子设备、存储介质和方法
相关申请的交叉引用
本专利申请要求以下专利申请的优先权：于2020年9月21日提交的名称为“ENVIRONMENT FOR REMOTE COMMUNICATION”的美国临时专利申请序列号63/081,260；于2020年1月24日提交的名称为“ENVIRONMENT FOR REMOTE COMMUNICATION”的美国临时专利申请序列号62/965,559；和于2019年9月27日提交的名称为“COMPUTER-GENERATED REALITYENVIRONMENT FOR REMOTE COMMUNICATION”的美国临时专利申请序列号62/907,195。前述专利申请中的每个专利申请的内容据此全文以引用方式并入本文。
背景技术
1.技术领域
本公开整体涉及通信系统，并且更具体地涉及用于提供与电子通信会话(诸如，会议通话)相关联的环境的技术。
2.相关领域的描述
随着电子设备的功能增加，以及其输出高质量视觉显示的能力的提高，应用程序变得更令人沉浸。一个此类示例是对扩展现实应用程序的主流需求的增加。
发明内容
本公开描述了用于呈现与电子通信会话相关联的扩展现实环境的技术。此类技术任选地补充或替换用于提供多用户扩展现实环境的其他方法。此类技术可改善用户体验，提高隐私性和安全性，并且使扩展现实界面(例如，3D界面)具有高级功能。
例如，在通信会话期间，远程参与者的虚拟表示(例如，头像)呈现在扩展现实环境中。扩展现实环境可呈现给一个或多个本地参与者，其中虚拟表示为本地参与者提供在通信会话期间引导他们关注的共同焦点。在一些实施方案中，至少部分地使用锚定设备的位置来确定虚拟表示的位置，使得例如虚拟表示看起来位于锚定设备上方。这样，本地参与者可通过将锚定设备放置在与他们想要虚拟表示所处的位置对应的位置来控制虚拟表示所处的位置。这允许本地参与者定位锚定设备以使得虚拟表示位于方便的位置。另外，在一些实施方案中，至少部分地使用本地参与者的设备的位置来确定虚拟表示的位置。例如，虚拟表示可在与将扩展现实环境呈现给用户的头戴式设备相同的高度处显示，使得虚拟表示方便地在眼睛高度处呈现给用户。如果存在多个本地参与者，则虚拟表示可在不同高度处显示。例如，虚拟表示可在本地参与者所使用的所有设备的平均高度处显示，或者在最低设备的高度处显示，使得用户都不必仰头来查看虚拟表示。又如，可通过基于不同设备的高度使相应设备在不同高度处呈现虚拟表示来为每个参与者定制扩展现实环境。
在一些实施方案中，当锚定设备移动时，虚拟表示移动(例如，改变位置、旋转)。将虚拟表示与锚定设备一起移动可允许用户通过移动锚定设备来调节虚拟表示的位置(例如，调整到更优选的位置)。这还允许基于锚定设备的定位位置和/或锚定设备的使用方式来在更期望的位置处呈现虚拟表示。例如，当相机应用程序在与远程参与者的通信会话期间在锚定设备上被激活时，或者锚定设备被移动到用于拍摄照片以与远程参与者进行分享的位置中时，虚拟表示可被移动到用户握持锚定设备的肩部上方的位置，以模拟远程参与者与锚定设备的用户并排站立并且靠在用户肩部上方来查看锚定设备上的显示的体验。
在一些实施方案中，虚拟表示基于请求沿通信会话的参与者的方向作姿态。该请求可基于确定通信会话的远程参与者正在将焦点或注意力引导到虚拟表示本地的参与者。例如，如果远程参与者正在看着由远程参与者的设备呈现的本地参与者的表示(例如，视频馈送或头像)，则虚拟表示可通过移动或旋转以面向本地参与者(或与本地参与者相关联的设备)来沿本地参与者(或与本地参与者相关联的设备)的方向作姿态。在一些实施方案中，虚拟表示可在本地参与者和/或锚定设备移动时作姿态以保持朝向本地参与者。例如，当本地参与者或锚定设备移动时，接收姿态请求，并且移动和/或重新定向虚拟表示以保持朝向本地参与者。
在一些实施方案中，一种方法包括：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；以及响应于接收到呈现远程参与者的虚拟表示的请求：将第二电子设备定位在物理环境中的第一位置处；以及在第二电子设备位于物理环境中的第一位置处时，经由显示设备呈现远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第二位置处，其中第二位置不同于第一位置，并且其中使用第一位置的第一坐标来确定第二位置的第一坐标。
在一些实施方案中，一种计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；以及响应于接收到呈现远程参与者的虚拟表示的请求：将第二电子设备定位在物理环境中的第一位置处；以及在第二电子设备位于物理环境中的第一位置处时，经由显示设备呈现远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第二位置处，其中第二位置不同于第一位置，并且其中使用第一位置的第一坐标来确定第二位置的第一坐标。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
在一些实施方案中，第一电子设备包括一个或多个处理器，和存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器，所述一个或多个程序包括用于以下操作的指令：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；以及响应于接收到呈现远程参与者的虚拟表示的请求：将第二电子设备定位在物理环境中的第一位置处；以及在第二电子设备位于物理环境中的第一位置处时，经由显示设备呈现远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第二位置处，其中第二位置不同于第一位置，并且其中使用第一位置的第一坐标来确定第二位置的第一坐标。
在一些实施方案中，第一电子设备包括：用于以下操作的装置：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；和用于以下操作的装置：响应于接收到呈现远程参与者的虚拟表示的请求：将第二电子设备定位在物理环境中的第一位置处；以及在第二电子设备位于物理环境中的第一位置处时，经由显示设备呈现远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第二位置处，其中第二位置不同于第一位置，并且其中使用第一位置的第一坐标来确定第二位置的第一坐标。
在一些实施方案中，一种方法包括：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第一位置处，其中该第一位置不同于物理环境中的第二位置，物理环境中的第二电子设备位于该第二位置处；在物理环境中检测第二电子设备处于物理环境中的第三位置处，该第三位置不同于物理环境中的第二位置；以及响应于检测到第二电子设备处于不同于第二位置的第三位置处，经由第一电子设备的显示设备呈现远程参与者的虚拟表示，使得远程参与者的虚拟表示看起来位于物理环境中的第四位置处，该第四位置不同于第一位置和第三位置。
在一些实施方案中，一种计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第一位置处，其中该第一位置不同于物理环境中的第二位置，物理环境中的第二电子设备位于该第二位置处；在物理环境中检测第二电子设备处于物理环境中的第三位置处，该第三位置不同于物理环境中的第二位置；以及响应于检测到第二电子设备处于不同于第二位置的第三位置处，经由第一电子设备的显示设备呈现远程参与者的虚拟表示，使得远程参与者的虚拟表示看起来位于物理环境中的第四位置处，该第四位置不同于第一位置和第三位置。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
在一些实施方案中，第一电子设备包括一个或多个处理器，和存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器，所述一个或多个程序包括用于以下操作的指令：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第一位置处，其中该第一位置不同于物理环境中的第二位置，物理环境中的第二电子设备位于该第二位置处；在物理环境中检测第二电子设备处于物理环境中的第三位置处，该第三位置不同于物理环境中的第二位置；以及响应于检测到第二电子设备处于不同于第二位置的第三位置处，经由第一电子设备的显示设备呈现远程参与者的虚拟表示，使得远程参与者的虚拟表示看起来位于物理环境中的第四位置处，该第四位置不同于第一位置和第三位置。
在一些实施方案中，第一电子设备包括：用于以下操作的装置：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第一位置处，其中该第一位置不同于物理环境中的第二位置，物理环境中的第二电子设备位于该第二位置处；用于以下操作的装置：在物理环境中检测第二电子设备处于物理环境中的第三位置处，该第三位置不同于物理环境中的第二位置；和用于以下操作的装置：响应于检测到第二电子设备处于不同于第二位置的第三位置处，经由第一电子设备的显示设备呈现远程参与者的虚拟表示，使得远程参与者的虚拟表示看起来位于物理环境中的第四位置处，该第四位置不同于第一位置和第三位置。
在一些实施方案中，一种方法包括：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，其中第一电子设备相对于物理环境中的第二电子设备处于第一取向，该第一取向包括第一电子设备位于距第二电子设备的第一方向上；在第二电子设备相对于第一电子设备处于第一取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求；响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求，呈现远程参与者的虚拟表示沿第一方向作姿态；在呈现远程参与者的虚拟表示沿第一方向作姿态之后并且在第二电子设备相对于第一电子设备处于不同于第一取向的第二取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，该第二取向包括第一电子设备位于距第二电子设备的第二方向上，该第二方向不同于距第二电子设备的第一方向；以及响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，呈现远程参与者的虚拟表示沿第二方向作姿态。
在一些实施方案中，一种计算机可读存储介质存储被配置为由第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，其中第一电子设备相对于物理环境中的第二电子设备处于第一取向，该第一取向包括第一电子设备位于距第二电子设备的第一方向上；在第二电子设备相对于第一电子设备处于第一取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求；响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求，呈现远程参与者的虚拟表示沿第一方向作姿态；在呈现远程参与者的虚拟表示沿第一方向作姿态之后并且在第二电子设备相对于第一电子设备处于不同于第一取向的第二取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，该第二取向包括第一电子设备位于距第二电子设备的第二方向上，该第二方向不同于距第二电子设备的第一方向；以及响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，呈现远程参与者的虚拟表示沿第二方向作姿态。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
在一些实施方案中，第一电子设备包括一个或多个处理器，和存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器，所述一个或多个程序包括用于以下操作的指令：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，其中第一电子设备相对于物理环境中的第二电子设备处于第一取向，该第一取向包括第一电子设备位于距第二电子设备的第一方向上；在第二电子设备相对于第一电子设备处于第一取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求；响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求，呈现远程参与者的虚拟表示沿第一方向作姿态；在呈现远程参与者的虚拟表示沿第一方向作姿态之后并且在第二电子设备相对于第一电子设备处于不同于第一取向的第二取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，该第二取向包括第一电子设备位于距第二电子设备的第二方向上，该第二方向不同于距第二电子设备的第一方向；以及响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，呈现远程参与者的虚拟表示沿第二方向作姿态。
在一些实施方案中，第一电子设备包括：用于以下操作的装置：在经由连接到通信会话的第一电子设备的显示设备呈现扩展现实环境时，经由第一电子设备的显示设备呈现通信会话的远程参与者的虚拟表示，其中第一电子设备相对于物理环境中的第二电子设备处于第一取向，该第一取向包括第一电子设备位于距第二电子设备的第一方向上；用于以下操作的装置：在第二电子设备相对于第一电子设备处于第一取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求；用于以下操作的装置：响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求，呈现远程参与者的虚拟表示沿第一方向作姿态；用于以下操作的装置：在呈现远程参与者的虚拟表示沿第一方向作姿态之后并且在第二电子设备相对于第一电子设备处于不同于第一取向的第二取向时，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，该第二取向包括第一电子设备位于距第二电子设备的第二方向上，该第二方向不同于距第二电子设备的第一方向；和用于以下操作的装置：响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，呈现远程参与者的虚拟表示沿第二方向作姿态。
在一些实施方案中，一种方法包括：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；获得通信会话的远程参与者的能力；以及响应于接收到呈现通信会话的远程参与者的虚拟表示的请求，基于所获得的通信会话的远程参与者的能力来呈现通信会话的远程参与者的虚拟表示，包括：根据所获得的通信会话的远程参与者的能力包括第一类型的能力，以第一视觉特征呈现通信会话的远程参与者的虚拟表示；以及根据所获得的通信会话的远程参与者的能力包括与第一类型的能力不同的第二类型的能力，以与第一视觉特征不同的第二视觉特征呈现通信会话的远程参与者的虚拟表示。
在一些实施方案中，一种计算机可读存储介质存储被配置为由具有显示设备的第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；获得通信会话的远程参与者的能力；以及响应于接收到呈现通信会话的远程参与者的虚拟表示的请求，基于所获得的通信会话的远程参与者的能力来呈现通信会话的远程参与者的虚拟表示，包括：根据所获得的通信会话的远程参与者的能力包括第一类型的能力，以第一视觉特征呈现通信会话的远程参与者的虚拟表示；以及根据所获得的通信会话的远程参与者的能力包括与第一类型的能力不同的第二类型的能力，以与第一视觉特征不同的第二视觉特征呈现通信会话的远程参与者的虚拟表示。
用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态计算机可读存储介质或其他计算机程序产品中。
在一些实施方案中，第一电子设备包括：显示设备；一个或多个处理器，和存储被配置为由所述一个或多个处理器执行的一个或多个程序的存储器，所述一个或多个程序包括用于以下操作的指令：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；获得通信会话的远程参与者的能力；以及响应于接收到呈现通信会话的远程参与者的虚拟表示的请求，基于所获得的通信会话的远程参与者的能力来呈现通信会话的远程参与者的虚拟表示，包括：根据所获得的通信会话的远程参与者的能力包括第一类型的能力，以第一视觉特征呈现通信会话的远程参与者的虚拟表示；以及根据所获得的通信会话的远程参与者的能力包括与第一类型的能力不同的第二类型的能力，以与第一视觉特征不同的第二视觉特征呈现通信会话的远程参与者的虚拟表示。
在一些实施方案中，第一电子设备包括：显示设备；一个或多个处理器；存储器；用于以下操作的装置：在经由第一电子设备的显示设备呈现扩展现实环境时，由第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中第一电子设备连接到通信会话；用于获得通信会话的远程参与者的能力的装置；和用于以下操作的装置：响应于接收到呈现通信会话的远程参与者的虚拟表示的请求，基于所获得的通信会话的远程参与者的能力来呈现通信会话的远程参与者的虚拟表示，包括：根据所获得的通信会话的远程参与者的能力包括第一类型的能力，以第一视觉特征呈现通信会话的远程参与者的虚拟表示；以及根据所获得的通信会话的远程参与者的能力包括与第一类型的能力不同的第二类型的能力，以与第一视觉特征不同的第二视觉特征呈现通信会话的远程参与者的虚拟表示。
附图说明
为了更好地理解各种所述实施方案，应该结合以下附图参考下面的具体实施方式，在附图中，类似的附图标号在所有附图中指示对应的部分。
图1A至图1B描绘了在各种扩展现实技术中使用的示例性系统。
图2A至图2D示出了根据各种实施方案的用于呈现扩展现实环境的技术。
图3描绘了根据各种实施方案的用于呈现扩展现实环境的示例性过程的流程图。
图4A至图4D示出了根据各种实施方案的用于呈现扩展现实环境的技术。
图5描绘了根据各种实施方案的用于呈现扩展现实环境的示例性过程的流程图。
图6A至图6G示出了根据各种实施方案的用于呈现扩展现实环境的技术。
图7描绘了根据各种实施方案的用于呈现扩展现实环境的示例性过程的流程图。
图8A至图8D示出了根据各种实施方案的用于呈现扩展现实环境的技术。
图9示出了根据各种实施方案的用于呈现扩展现实环境的技术。
图10描绘了根据各种实施方案的用于呈现扩展现实环境的示例性过程的流程图。
具体实施方式
以下描述阐述了示例性方法、参数等。此类描述并非意在限制本公开的范围，而是作为对示例性实施方案的描述来提供。
描述了用于与各种扩展现实技术相关地使用此类系统的电子系统和技术的各种示例。
物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
相反，扩展现实(XR)环境是指人们经由电子系统感知和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XR环境中模拟的一个或多个虚拟对象的一个或多个特征。例如，XR系统可以检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特征的调节可以响应于物理运动的表示(例如，声音命令)来进行。
人可以利用其感觉中的任一者来感测XR对象和/或与XR对象交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可以感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可以使能音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可以感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。虚拟现实(VR)环境是指被设计成对于一个或多个感觉完全基于计算机生成的感官输入的模拟环境。VR环境包括人可以感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可以通过在扩展现实环境内人的存在的模拟和/或通过在扩展现实环境内人的物理移动的子集的模拟来感测和/或与VR环境中的虚拟对象交互。
与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，MR环境是完全物理环境作为一端以及VR环境作为另一端之间的任何状况，但不包括这两端。
在一些MR环境中，计算机生成的感官输入可以对来自物理环境的感官输入的变化进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使虚拟对象能够与真实对象(即，来自物理环境的物理物品或其表示)交互。例如，系统可以导致运动使得虚拟树木相对于物理地面看起来是静止的。
MR的示例包括增强现实和增强虚拟。增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或其表示之上的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可以透过该显示器直接查看物理环境。该系统可以被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可以具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投影系统，该投影系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。
AR环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可以对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。又如，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是真实的版本。再如，物理环境的表示可以通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟(AV)环境是指其中虚拟或扩展现实环境结合来自物理环境的一个或多个感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可以具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。又如，虚拟对象可以采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可以采用符合太阳在物理环境中的定位的阴影。
有许多不同类型的电子系统使人能够感测和/或与各种XR环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或没有触觉反馈的可穿戴或手持控制器)、智能电话、平板电脑、和台式/膝上型计算机。头戴式系统可以具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可以被配置成接受外部不透明显示器(例如，智能电话)。头戴式系统可以结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可以具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个示例中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
图1A和图1B示出了用于在各种XR技术中使用的示例性系统100。
在一些示例中，如图1A所示，系统100包括设备100a。设备100a包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件任选地通过设备100a的通信总线150进行通信。
在一些示例中，系统100的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统100的其他元件在设计成由用户佩戴的头戴式显示器(HMD)设备中实现，其中HMD设备与基站设备通信。在一些示例中，设备100a在基站设备或HMD设备中实现。
如图1B所示，在一些示例中，系统100包括两个(或更多个)通信中的设备，诸如通过有线连接或无线连接。第一设备100b(例如，基站设备)包括处理器102、RF电路104和个存储器106。这些部件可选地通过设备100b的通信总线150进行通信。第二设备100c(例如，移动电话、平板电脑、头戴式设备等)包括各种部件，诸如处理器102、RF电路104、存储器106、图像传感器108、取向传感器110、麦克风112、位置传感器116、扬声器118、显示器120和触敏表面122。这些部件可选地通过设备100c的通信总线150进行通信。
在一些示例中，系统100为移动设备。在一些示例中，系统100是HDM设备。在一些示例中，设备100为可穿戴HUD设备。
系统100包括处理器102和存储器106。处理器102包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中，存储器106是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，所述计算机可读指令被配置为由处理器102执行以执行下述技术。
系统100包括RF电路104。RF电路104可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路104可选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。
系统100包括显示器120。在一些示例中，显示器120包括第一显示器(例如，左眼显示器面板)和第二显示器(例如，右眼显示器面板)，每个显示器用于向用户的相应眼睛显示图像。对应的图像同时显示在第一显示器和第二显示器上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供显示器上对象的立体感效应。在一些示例中，显示器120包括单个显示器。对于用户的每只眼睛，对应的图像同时显示在单个显示器的第一区域和第二区域上。可选地，对应的图像包括来自不同视点的相同虚拟对象和/或相同物理对象的表示，从而产生视差效应，该视差效应向用户提供单个显示器上对象的立体感效应。
在一些示例中，系统100包括用于接收用户输入的触敏表面122，诸如轻击输入和轻扫输入。在一些示例中，显示器120和触敏表面122形成触敏显示器。
系统100包括图像传感器108。图像传感器108可选地包括一个或多个可见光图像传感器(诸如电荷耦合设备(CCD)传感器)和/或可操作以从真实环境获得物理对象的图像的互补金属氧化物半导体(CMOS)传感器。图像传感器还可选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自真实环境的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到真实环境中。图像传感器108还可选地包括一个或多个事件相机，这些事件相机被配置为捕获真实环境中的物理对象的移动。图像传感器108还可选地包括一个或多个深度传感器，这些深度传感器被配置为检测物理对象与系统100的距离。在一些示例中，系统100组合使用CCD传感器、事件相机和深度传感器来检测系统100周围的物理环境。在一些示例中，图像传感器108包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器可选地被配置为从两个不同的视角捕获真实环境中的物理对象的图像。在一些示例中，系统100使用图像传感器108来接收用户输入，诸如手势。在一些示例中，系统100使用图像传感器108来检测系统100和/或显示器120在真实环境中的位置和取向。例如，系统100使用图像传感器108来跟踪显示器120相对于真实环境中的一个或多个固定对象的位置和取向。
在一些示例中，系统100包括麦克风112。系统100使用麦克风112来检测来自用户和/或用户的真实环境的声音。在一些示例中，麦克风112包括麦克风阵列(包括多个麦克风)，其任选地串联操作，以便识别环境噪声或在真实环境的空间中定位声源。
系统100包括用于检测系统100和/或显示器120的取向和/或移动的取向传感器110。例如，系统100使用取向传感器110来跟踪系统100和/或显示器120的位置和/或取向的变化，诸如关于真实环境中的物理对象。取向传感器110可选地包括一个或多个陀螺仪和/或一个或多个加速度计。
现在参考图2A至图2D，描述了用于为与远程参与者的通信会话提供XR环境的示例性技术。
图2A描绘了包括设备200A(例如，100a或100c)、设备200B(例如，100a或100c)、设备210(例如，智能电话、100a、100b或100c)和桌子220的物理环境。如图2A所示，设备200A和设备200B是由相应用户握持的平板电脑。在一些实施方案中，设备200A和设备200B是移动电话或头戴式设备。设备200A和设备200B可以是不同类型的设备(例如，设备200A可以是平板电脑，并且设备200B可以是头戴式设备)。设备200A和设备200B包括呈现XR环境的相应显示器202A和202B(例如，显示器202A位于设备200A的面向握持设备200A的用户的一侧(如图4B至图4C所示)，并且显示器202B位于设备200B的面向握持设备200B的用户的一侧，如图2A所示)。设备200A和设备200B可以呈现公共XR环境或在至少一些方面彼此不同的相应XR环境(例如，XR环境共享一些共同特征但为特定用户定制)的相应视角。
在一些实施方案中，设备210与设备200A和/或设备200B通信。出于下文解释的原因，设备210被称为“锚定设备”。桌子220是矩形的，其表面220A(包括边缘220B和220C以及拐角220D)建立任意笛卡尔参照系(以拐角220D作为原点)以解释参考图2A至图2D所述的特征。基于该参照系，锚定设备210具有由坐标X和Y限定的水平(x-y)位置，以及为零的高度(z坐标)(例如，锚定设备210平放在桌子220的表面上)；设备200A具有高度H1；并且设备200B具有高度H2。
图2B描绘了当发起与远程参与者的通信会话时由设备200A和/或设备200B呈现的XR环境的透视图。示例性通信会话包括但不限于电话呼叫、会议呼叫和视频呼叫。在一些实施方案中，锚定设备210、设备200A或设备200B发起设备200A、设备200B和远程参与者之间的通信会话(例如，经由远程设备)。在一些实施方案中，设备200A、设备200B和远程参与者可各自加入或拒绝加入该通信会话。在一些实施方案中，设备200A和/或设备200B经由通往锚定设备210的有线或无线连接而连接到该通信会话。在一些实施方案中，设备200A和/或设备200B直接连接到该通信会话(例如，经由电信或WiFi呼叫/视频会议能力)。在一些实施方案中，远程参与者可以通过例如呼叫锚定设备210、设备200A或设备200B来发起(例如，经由远程设备来发起)该通信会话。
当发起该通信会话时，设备200A和/或设备200B接收呈现该通信会话的远程参与者的虚拟表示的请求。响应于接收到呈现远程参与者的虚拟表示的请求，设备200A和/或设备200B定位锚定设备210(该设备位于物理环境中的位置(X,Y,0)处)并且呈现远程参与者的虚拟表示206(例如，远程参与者的头像)。例如，设备200A从设备200A的角度(例如，基于设备200A的位置和取向)显示(经由显示器202A)包括虚拟表示206的XR环境，并且设备200B从设备200B的角度(例如，基于设备200B的位置和取向)显示(经由显示器202B)包括虚拟表示206的XR环境。
至少部分地使用锚定设备210的位置来确定虚拟表示206的位置(例如，使用锚定设备210的位置的至少一个坐标来确定虚拟表示206的位置的至少一个坐标)。在一些实施方案中，锚定设备210是可以(例如，通过设备200A、200B、GPS、计算机视觉、图像传感器或超宽带技术)定位并用作用于确定虚拟表示206的位置的锚定点的任何对象(锚定对象)。在图2B所示的实施方案中，使用锚定设备210的水平位置来确定虚拟表示206的水平位置(例如，在参照系的x-y平面中的位置)，使得虚拟表示206看起来位于锚定设备210上方(例如，虚拟表示206具有与锚定设备210相同的x坐标和y坐标，但具有不同的高度H3)。
在一些实施方案中，独立于锚定设备210的位置来确定虚拟表示206在XR环境中呈现的高度。在图2B所示的实施方案中，虚拟表示206由设备200A和设备200B两者在相同高度处呈现，并且具体地讲，在H1和H2之间的高度H3(例如，H1和H2的平均值，即(H1+H2)/2)。在一些实施方案中，设备200A和设备200B两者在设备200A和设备200B的最低高度(例如，H1)处呈现虚拟表示206。在一些实施方案中，设备200A和200B两者在设备200A和设备200B的最高高度(例如，H2)处呈现虚拟表示206。在一些实施方案中，设备200A和设备200B在不同高度处呈现虚拟表示206(例如，设备200A在设备200A的高度(H1)处呈现虚拟表示206，并且设备200B在设备200B的高度(H2)处呈现虚拟表示206)。在一些实施方案中，虚拟表示206呈现在除上述那些之外的高度(例如，预先确定的高度、相对于XR环境的参照系的预先确定的高度、或相对于锚定设备210的预先确定的高度)处。在一些实施方案中，虚拟表示206在距锚定设备210预先确定的距离处呈现。
在图2B所示的实施方案中，虚拟表示206是无明显特征的对象(例如，球体)。远程参与者的虚拟表示可以是其他形状(例如，三角形、星形、立方体)并且可以具有各种视觉特征(例如，不同颜色、发光效果、半透明度等)。在一些实施方案中，虚拟表示206包括与远程参与者相关联的图像(例如，二维或三维图像)。
在图2B所示的实施方案中，设备200A和设备200B提供该通信会话的音频输出(分别由波204A和204B表示)。在一些实施方案中，设备200A和/或设备200B提供3D或空间音频，该音频提供对虚拟表示206作为3D空间中的音频源(例如，点音频源)的感知，使得用户感知到来自远程参与者的音频(经由通信会话)，好像该音频来自该虚拟表示一样。在一些实施方案中，当从远程参与者或远程设备接收到音频数据时，虚拟表示206提供视觉指示。例如，虚拟表示206可以改变颜色和/或尺寸(例如，经由动画在颜色和/或尺寸上波动)以指示远程参与者正在讲话。
锚定设备210可以禁止输出通信会话的音频。在一些实施方案中，锚定设备210根据指示通信会话的所有本地参与者具有音频输出设备的数据而禁止输出通信会话的音频。例如，如果设备200A和设备200B经由锚定设备210连接到通信会话，则锚定设备210可将通信会话的音频数据传送到设备200A和设备200B，但不输出通信会话的音频。在一些实施方案中，如下文参考图2D所述，锚定设备210可输出通信会话的音频。
在通信会话期间，锚定设备210可显示用户界面，该用户界面具有关于通信会话的信息(例如，通信会话的持续时间、远程参与者的姓名、来自远程参与者的设备的视频)和/或用于控制通信会话(例如，结束呼叫按钮)的一个或多个示能表示(例如，用户可与之交互的用户界面元素(例如，图标))。在一些实施方案中，锚定设备210可禁止显示具有用于通信会话的信息和/或示能表示的用户界面(例如，为了保护设备200A和设备200B的本地参与者的隐私)。
转到图2C，更新XR环境以包括表示媒体内容的虚拟对象。如图2C所示，设备200A和设备200B停止呈现虚拟表示206并且在原来呈现虚拟表示206的位置呈现媒体内容208。在一些实施方案中，媒体内容208是表示图像、视频或交互式媒体项(例如，游戏或素描板)的虚拟对象。可响应于通信会话中的参与者经由通信会话共享内容来显示媒体内容208。在一些实施方案中，媒体内容208与虚拟表示206同时呈现(例如，媒体内容位于XR环境中的虚拟表示206的上方、下方或侧面)。
转到图2D，示出了其中通信会话的参与者不使用个人音频输出设备(例如，设备200A)的实施方案。如上所述，锚定设备210可输出通信会话的音频212，使得向通信会话的没有个人音频输出设备的参与者提供通信会话的音频。在一些实施方案中，锚定设备210根据接收到在锚定设备210附近存在通信会话的不使用个人音频输出设备的参与者的信息(例如，经由传感器或从另一设备接收数据)来输出通信会话的音频212。
在一些实施方案中，数据被发送到远程参与者(或与远程参与者相关联的设备)，以允许远程参与者具有与图2A至图2D所示的本地参与者类似的体验。例如，可(例如，经由设备200A、200B和/或210)获得表示本地环境的数据并且(例如，经由设备200A、200B和/或210)将其发送到远程参与者。使用该数据，远程设备可向远程参与者呈现与通信会话相关联的XR环境(例如，类似于参考图2A至图2D所述的环境的XR环境)。例如，远程设备可呈现包括本地参与者的虚拟表示的XR环境。表示本地环境的数据可包括例如本地环境的图像或视频、本地参与者的数量、本地参与者的身份、哪个本地参与者(如果有的话)正在提供输入(例如，音频输入(例如，讲话)、运动输入(例如，身体姿态，诸如手或头部姿态)或手动输入(例如，物理地移动设备200A、200B或210，或者激活设备200A、200B或210上的真实按钮或虚拟按钮))的指示。在一些实施方案中，类似于参考图2C描述的特征，来自设备200A、200B或210的媒体内容可由本地参与者选择并被发送到远程参与者以用于在由远程设备呈现的XR环境中显示。
应当认识到，上文相对于图2A至图2D所讨论的实施方案是示例性的，并非旨在进行限制。例如，上述技术可应用于仅包括一个本地参与者、多于两个本地参与者或多于一个远程参与者的通信会话。另外，上文所述的技术可结合到下文参考图3、图4A至图4C、图5、图6A至图6G和图7所述的实施方案中，并且下文所述的技术可结合到上文参考图2A至图2D所述的实施方案中。
现在转到图3，示出了用于提供用于通信会话(例如，电话呼叫、电话会议、视频会议)的XR环境的示例性过程300的流程图，包括上文参考图2A至图2D所述的特征。过程300可使用电子设备(例如，100a、100c、200A或200B)或包括该电子设备的系统(例如，100)来执行，出于描述过程300的目的，将该电子设备称为“第一电子设备”。尽管在图3中以特定顺序描绘了过程300的框，但可以以其他顺序执行这些框。此外，过程300的一个或多个框可以是任选的(例如，省略)和/或可以执行附加框。
在框302处，第一电子设备接收呈现通信会话的远程参与者的虚拟表示(例如，206)的请求。第一电子设备连接到通信会话(例如，经由直接电信或WiFi链路或另一个设备(例如，210))。在一些实施方案中，第一电子设备在经由第一电子设备的显示设备(例如，202A、202B)呈现XR环境时接收呈现虚拟表示的请求。
在一些实施方案中，虚拟表示基于与远程电子设备相关联的用户(例如，唯一地与远程电子设备相关联的用户；远程电子设备是注册到远程参与者的电话；远程电子设备是登录到远程参与者的用户账户的计算机、平板电脑或智能电话)。
在一些实施方案中，接收呈现虚拟表示的请求响应于远程参与者加入通信会话(例如，响应于与远程参与者相关联的设备接受加入通信会话的邀请(接听电话))而发生。在一些实施方案中，接收呈现虚拟表示的请求响应于第一电子设备加入通信会话或接收到加入通信会话的邀请而发生。在一些实施方案中，接收呈现虚拟表示的请求响应于(例如，由第一电子设备)发起通信会话而发生。在一些实施方案中，接收呈现虚拟表示的请求响应于远程参与者被邀请加入通信会话而发生(例如，第一电子设备在等待远程参与者加入通信会话时收到呈现虚拟表示的请求)。
在框304处，第一电子设备将第二电子设备(例如，锚定设备210)定位在物理环境中的第一位置处。在一些实施方案中，第一电子设备响应于接收到呈现远程参与者的虚拟表示的请求而定位第二电子设备。在一些实施方案中，使用GPS、计算机视觉或超宽带技术来定位第二电子设备。在一些实施方案中，第一电子设备通过从另一个源获得表示第二电子设备的位置的数据来定位第二电子设备。
在一些实施方案中，第一电子设备与第二电子设备通信(例如，第一电子设备经由有线或无线(例如，蓝牙、NFC或WiFi)连接来连接到第二电子设备)。在一些实施方案中，第一电子设备经由第二电子设备连接到通信会话。在一些实施方案中，第二电子设备经由通信会话与远程电子设备(例如，与远程参与者相关联的计算机、平板电脑或电话)通信。
在框306处，第一电子设备至少部分地基于第一位置(例如，锚定设备的位置)来(例如，经由显示设备)呈现远程参与者的虚拟表示。在一些实施方案中，第一电子设备响应于接收到呈现远程参与者的虚拟表示的请求而呈现远程参与者的虚拟表示。在一些实施方案中，第一电子设备提供通信会话的音频输出，该音频输出创建对作为该音频输出的音频源的虚拟表示的感知。
在一些实施方案中，远程参与者的虚拟表示呈现在XR环境中。在一些实施方案中，第一电子设备在第二电子设备位于物理环境中的第一位置处时呈现远程参与者的虚拟表示。在一些实施方案中，第一电子设备呈现远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第二位置(例如，第二位置不同于第一位置)。在一些实施方案中，使用第一位置的第一坐标(例如，锚定设备的x坐标)来确定第二位置的第一坐标(例如，虚拟表示的x坐标)。在一些实施方案中，独立于第一位置(例如，锚定设备的位置不是确定远程参与者的虚拟表示的位置的至少一个分量的因素)来确定第二位置的第二坐标(例如，虚拟表示的z坐标或高度)。在一些实施方案中，第二电子设备的位置在任何方面都不是确定虚拟表示的位置的因素。
在一些实施方案中，使用第一位置的第二坐标(例如，锚定设备的y坐标)来确定第二位置的第三坐标(例如，虚拟表示的y坐标)。在一些实施方案中，第二位置在第一位置上方(例如，正上方)(例如，相对于重力方向，相对于XR环境的参照系，或者相对于锚定设备的参照系)。在一些实施方案中，第二位置距第一位置预先确定的距离(例如，虚拟表示以与锚定设备的预先确定的偏移呈现)。
在一些实施方案中，使用不同于第二电子设备的电子设备的位置来确定第二位置的至少一个坐标(例如，虚拟表示的z坐标或高度)(例如，虚拟表示的位置基于第一电子设备的位置和/或另一用户的设备的位置)。在一些实施方案中，使用第三电子设备的位置(例如，第一电子设备的z坐标或高度)和第四电子设备的位置(例如，不同于第一电子设备和第二电子设备的设备、通信会话的另一参与者的设备、共享相同XR环境的连接到或不连接到通信会话的设备的z坐标或高度)来确定第二位置的第二坐标(例如，虚拟表示的z坐标或高度)。在一些实施方案中，使用包括第三电子设备的位置的第一坐标(例如，z坐标或高度)和第四电子设备的位置的第一坐标(例如，z坐标或高度)的平均值来确定第二位置的第二坐标(例如，虚拟表示的z坐标或高度)(例如，虚拟表示在作为第一电子设备的高度和XR环境中通信会话的另一个参与者的设备的高度二者平均值的高度处呈现)。在一些实施方案中，使用第三电子设备的位置的第一坐标(例如，z坐标或高度)和第四电子设备的位置的第一坐标(例如，z坐标或高度)中的最大值来确定第二位置的第二坐标(例如，虚拟表示在与XR环境相关联的连接到通信会话的所有设备中最高的设备的高度处呈现)。在一些实施方案中，使用第三电子设备的位置的第一坐标(例如，z坐标或高度)和第四电子设备的位置的第一坐标(例如，z坐标或高度)中的最小值来确定第二位置的第二坐标(例如，虚拟表示在与XR环境相关联的连接到通信会话的所有设备中最低的设备的高度处呈现)。
在一些实施方案中，与通信会话的参与者相关联的第五电子设备(例如，第四电子设备)呈现远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中的第二位置(例如，远程参与者的虚拟表示由与通信会话的本地参与者相关联的另一个电子设备呈现，使得该虚拟表示看起来具有与第一电子设备呈现的高度相同的高度)。在一些实施方案中，第五电子设备呈现远程参与者的虚拟表示，使得该虚拟表示看起来位于物理环境中不同于第二位置的位置处(例如，远程参与者的虚拟表示由每个设备基于相应设备的高度在不同高度处呈现，例如，使得该虚拟表示看起来位于每个用户的眼睛高度处)。
在一些实施方案中，在呈现远程参与者的虚拟表示之后，第一电子设备接收远程参与者和第一电子设备未经由通信会话连接(例如，第一电子设备或远程参与者(或与远程参与者相关联的设备)与通信会话断开连接或拒绝加入通信会话的邀请(例如，不接听呼叫))的指示。在一些实施方案中，响应于接收到远程参与者和第一电子设备未经由通信会话连接的指示，第一电子设备停止呈现远程参与者的虚拟表示。
在一些实施方案中，第一电子设备(例如，经由显示设备)呈现媒体内容(例如，208；照片、视频、游戏、交互式多媒体)，使得媒体内容看起来位于物理环境中的第三位置(例如，物理环境中的第二位置；不同于第一位置的位置)。在一些实施方案中，使用第一位置的坐标(例如，锚定设备的x坐标)来确定第三位置的第一坐标(例如，媒体内容的x坐标)。在一些实施方案中，媒体内容呈现在第二电子设备上方(例如，正上方)(例如，相对于重力方向)。在一些实施方案中，媒体内容与远程参与者的虚拟表示同时呈现。在一些实施方案中，在没有(例如，代替)远程参与者的虚拟表示的情况下呈现媒体内容(例如，第一电子设备停止呈现虚拟表示，并且在虚拟表示的先前位置或不同位置呈现媒体内容)。
在一些实施方案中，基于远程参与者的姿态移动虚拟表示和/或以动画方式显示虚拟表示。在一些实施方案中，接收表示通信会话的远程参与者的姿态(例如，眼睛姿态/注视或头部位置)的数据，并且响应于接收到表示通信会话的远程参与者的姿态的数据，第一电子设备呈现远程参与者的虚拟表示，使得该虚拟表示从第一状态(例如，定位(位置和/或取向)、尺寸、颜色、形状、视觉配置)改变为不同于第一状态的第二状态(例如，该虚拟表示移动和/或以动画方式显示)。在一些实施方案中，响应于远程参与者将焦点(例如，眼睛姿态/注视或头部位置)从一个本地参与者改变到另一个本地参与者(例如，通过将眼睛注视从显示在远程参与者的设备上的一个本地参与者的表示移动到显示在远程参与者的设备上的另一个本地参与者的表示)，虚拟表示的呈现改变(例如，移动)以聚焦于对应的本地参与者。在一些实施方案中，虚拟表示响应于远程参与者的姿态的移动不与远程参与者的姿态的移动成正比。在一些实施方案中，远程参与者的姿态具有第一量值(例如，眼睛注视的角度方向的变化)，并且虚拟表示的第二状态与虚拟表示的第一状态之间的差异具有不同于第一量值的第二量值。在一些实施方案中，执行远程参与者的姿态/注意力提示的非物理重指向以匹配本地物理环境(例如，包括第一电子设备的环境)的物理配置。在一些实施方案中，远程参与者的姿态包括远程参与者的头部的移动(例如，点头或摇头)。
在一些实施方案中，当远程参与者讲话时，虚拟表示以动画方式显示。在一些实施方案中，接收来自通信会话的远程参与者的表示音频的数据，并且响应于接收到来自通信会话的远程参与者的表示音频的数据，第一电子设备呈现远程参与者的虚拟表示，使得该虚拟表示以动画方式显示(例如，根据来自远程参与者的音频；来自远程参与者的音频的特征(例如，量值、频率)用于以动画方式显示该虚拟表示)。
用于执行上述过程300的特征的能够执行的指令任选地包括在被配置为由一个或多个处理器(例如，处理器102)执行的暂态或非暂态计算机可读存储介质(例如，存储器106)或其他计算机程序产品中。此外，上述过程300的特征可结合到下述过程500、700和1000中，并且下述过程500、700和1000的特征可结合到过程300中。
现在转到图4A至图4D，描述了用于在存在锚定设备的移动时呈现通信会话的远程参与者的虚拟表示的技术。
图4A示出了与通信会话相关联的XR环境。图4A中所示的用户是通信会话的本地参与者并且正在握持设备200A，该设备在锚定设备210上方呈现通信会话的远程参与者的虚拟表示206。在图4A所示的实施方案中，设备200A、虚拟表示206和锚定设备210如上文参考图2A至图2D和图3所述。虽然在图4A中仅示出了一个本地参与者，但下文参考图4A和图4B描述的特征可应用于涉及两个本地参与者(例如，如图2A至图2D所示)或多于两个本地参与者的通信会话。另外，上文参考图2A至图2D和图3所述的特征可与下文所述的特征组合。
转到图4B，本地参与者移动锚定设备210。当锚定设备210移动时，虚拟表示206可根据锚定设备210的移动在XR环境中移动。在图4B所示的实施方案中，虚拟表示206移动以便保持定位在锚定设备210上方。在图4B所示的实施方案中，虚拟表示206保持在与锚定设备210移动之前相同的高度，尽管锚定设备210的高度发生变化。虚拟表示206和锚定设备210之间的距离改变(例如，减小)，以便将虚拟表示206保持在相同高度。在一些实施方案中，虚拟表示206和锚定设备210之间的距离固定，使得在物理环境中升高或降低锚定设备210使得虚拟表示206升高或降低对应的量。在一些实施方案中，如果锚定设备210竖直升高，使得锚定设备210的高度改变而锚定设备210的横向位置(例如，x-y位置)不改变，则虚拟表示206保持静止。
在图4B所示的实施方案中，虚拟表示206相对于物理环境保持在锚定设备210上方，尽管锚定设备210相对于物理环境的角度取向发生变化。也就是说，相对于锚定设备210，从锚定设备210到虚拟表示206的方向随着锚定设备210相对于物理环境的角度取向的改变而改变。在一些实施方案中，锚定设备210在物理环境中的旋转使得虚拟表示206移动(例如，与锚定设备210一起相对于物理环境旋转)。在一些情况下，锚定设备210在物理环境中的旋转使虚拟表示206移动，使得虚拟表示206相对于物理环境不再在锚定设备210上方(例如，从锚定设备201到虚拟表示206的方向相对于锚定设备210固定)。
转到图4C，虚拟表示206可在锚定设备210移动到预先确定的位置或用于特定应用时呈现(例如，在预先确定的位置呈现)。在图4C中，本地参与者竖直地(以横向或纵向取向)定位锚定设备210，使得锚定设备210的显示器面向本地参与者，并且本地参与者可使用锚定设备210背面上的相机210A来捕获图像或视频。在一些实施方案中，在锚定设备210上激活相机应用程序。当锚定设备210定位在预先确定的位置(例如，指示用户打算捕获图像或视频的位置)和/或锚定设备210上激活了预先确定的应用程序(例如，相机应用程序)时，虚拟表示206呈现在预先确定的位置(例如，移动到预先确定的位置)。在图4C中，预先确定的位置在穿戴设备200A的本地参与者的肩部上方(例如，在设备200A的侧面)。当虚拟表示206如图4C所示定位时，锚定设备210的画面和从本地参与者的角度来看的物理环境类似于从虚拟表示206的角度来看的画面(例如，好像虚拟表示206从本地参与者的肩部上方“看”过去)。在一些实施方案中，虚拟表示206响应于锚定设备210被定位在预先确定的位置而呈现在预先确定的位置(例如，无论预先确定的应用程序是否在锚定设备210上激活)。在一些实施方案中，虚拟表示206响应于预先确定的应用程序在锚定设备210上激活而呈现在预先确定的位置中(例如，无论锚定设备210是否处于预先确定的位置)。在一些实施方案中，虚拟表示206响应于在锚定设备210处于预先确定的位置的同时预先确定的应用程序在锚定设备210上激活而呈现在预先确定的位置中。
在图4B至图4C中，用户在拿起锚定设备210时已将设备200A放在桌子220上。在图4B至图4C所示的实施方案中，设备200A继续呈现XR环境，但是从设备200A的角度看不见虚拟表示206(因为设备200A需要向下“看”桌子220)。在设备200A被定位成使得从设备200A的角度能够看见虚拟表示206的实施方案中，设备200A呈现XR环境(包括虚拟表示206)，使得虚拟表示206出现在图4B至图4C所描绘的位置处。
转到图4D，虚拟表示206基于(例如，响应于)从通信会话的远程参与者接收的数据(例如，从与通信会话的远程参与者相关联的设备接收的数据)而定位(例如，定位在预先确定的位置)。从远程参与者接收的数据可表示预先确定的类型的内容(例如，由远程参与者的设备的相机捕获的图像)或远程参与者的设备的预先确定的配置。设备的配置可包括例如设备相对于远程参与者的物理环境的位置(例如，位置和/或取向)和/或设备上的应用程序的状态(例如，相机应用程序激活)。
图4D的左侧示出了通信会话的远程参与者的远程XR环境。远程参与者的XR环境包括远程参与者周围的物理环境，包括远程参与者正在使用的设备410，以及图4A至图4C所示和图4D的右侧的本地参与者的虚拟表示406。在一些实施方案中，虚拟表示406由远程参与者的另一个设备(例如，与远程参与者相关联的移动电话、平板电脑或HMD设备)呈现。如图4D的左侧所示，远程参与者正在举起设备410并使用相机应用程序来捕获远程参与者周围的物理环境的图像。虚拟表示406定位在远程参与者的肩部上方(例如，好像本地参与者站在远程参与者的肩部旁边或从其肩部上方看过去那样)。
图4D的右侧示出了与上述图4D左侧的远程参与者的环境对应的通信会话的本地参与者的XR环境。在图4D的右侧所示的实施方案中，锚定设备210平坦定位在桌子220上，并且由远程参与者的设备410的相机(例如，由设备200A)捕获的内容的表示208呈现在锚定设备210上方(例如，类似于上述图2C)。在呈现表示208时，远程参与者的虚拟表示206呈现在(例如，移动到)本地参与者肩部上方的位置(例如，好像远程参与者站在本地参与者旁边并看着表示208那样)。这样，本地参与者和远程参与者的XR环境模拟参与者彼此并排定位的体验，共享远程参与者的物理环境的相似画面。在一些实施方案中，响应于接收到指示远程参与者已将他或她的设备定位在预先确定的位置(例如，以捕获图像或视频)，预先确定的应用程序(例如，相机应用程序)在远程参与者的设备上激活，或者远程参与者的设备在同时运行预先确定的应用程序时处于预先确定的位置(例如，预先确定的应用程序在远程参与者的设备上激活)的数据，虚拟表示206被呈现在本地参与者肩部上方的预先确定的位置处。
现在转到图5，示出了用于提供用于通信会话(例如，电话呼叫、电话会议、视频会议)的XR环境的示例性过程500的流程图，包括上文参考图4A至图4D所述的特征。过程500可使用电子设备(例如，100a、100c、200A或200B)或包括该电子设备的系统(例如，100)来执行，出于描述过程500的目的，将该电子设备称为“第一电子设备”。尽管在图5中以特定顺序描绘了过程500的框，但可以以其他顺序执行这些框。此外，过程500的一个或多个框可以是任选的(例如，省略)和/或可以执行附加框。
在框502处，第一电子设备(例如，经由第一电子设备的显示设备)呈现通信会话的远程参与者的虚拟表示(例如，206，头像)，使得该虚拟表示看起来位于物理环境中的第一位置(例如，图4A)。第一位置不同于物理环境中的第二位置，物理环境中的第二电子设备(例如，210)位于该第二位置处。在一些实施方案中，第一电子设备在经由第一电子设备的显示设备(例如，202A)呈现XR环境时并且在第一电子设备连接到通信会话时呈现虚拟表示。
在一些实施方案中，使用第二位置确定第一位置(例如，使用锚定设备的位置确定虚拟表示的位置)。在一些实施方案中，远程参与者的虚拟表示经由显示设备在XR环境中呈现。虚拟表示可根据上文参考图2A至图2D和图3所述的任何技术来呈现。例如，虚拟表示(例如，206)的位置可基于锚定设备(例如，210)的位置和/或一个或多个其他电子设备的位置(例如，在第二电子设备上方，距第二电子设备预先确定的距离，在电子设备(例如，第一电子设备)的高度处，在作为多个电子设备(例如，第一电子设备和第三电子设备)的高度的平均值的高度处)。在一些实施方案中，第二电子设备经由通信会话与远程电子设备(例如，410、与远程参与者相关联的计算机、平板电脑或电话)通信。在一些实施方案中，虚拟表示基于与远程电子设备相关联的用户(例如，唯一地与远程电子设备相关联的用户；远程电子设备是注册到远程参与者的电话(或其他电子设备)；远程电子设备是登录到远程参与者的用户账户的计算机、平板电脑或智能电话)。在一些实施方案中，第一电子设备与第二电子设备通信(例如，第一电子设备经由有线或无线(例如，蓝牙、NFC、WiFi)连接来连接到第二电子设备)。在一些实施方案中，第一电子设备经由第二电子设备连接到通信会话。
在一些实施方案中，获得表示第二电子设备在物理环境中的位置的全球定位系统(GPS)数据，并且呈现虚拟表示，使得该虚拟表示看起来是使用GPS数据定位在物理环境中的第一位置(例如，GPS数据用于确定第二电子设备的位置，然后虚拟表示呈现在相对于所确定的第二电子设备的GPS位置的位置处)。在一些实施方案中，利用另一种技术来确定或获得第二电子设备的位置，诸如例如计算机视觉或超宽带技术(例如，使用第一电子设备或另一电子设备上的传感器)。
在一些实施方案中，第二电子设备上的显示器是静态的，而虚拟表示是动态的(例如，以动画方式显示)。例如，虚拟表示的视觉外观(例如，尺寸、形状、颜色)随时间推移而改变(例如，以动画方式显示)以指示远程参与者正在讲话。在一些实施方案中，在第一时间，第二电子设备的显示器处于第一状态(例如，关闭呼叫界面)，并且虚拟表示呈现有第一视觉外观(例如，第一颜色或尺寸)，并且在与第一时间不同的第二时间，第二电子设备的显示器处于第一状态，并且虚拟表示呈现有与第一视觉外观不同的第二视觉外观(例如，第二颜色或尺寸)。
在框504处，在物理环境中的不同于物理环境中的第二位置的第三位置处(例如，经由第一电子设备或经由第二电子设备本身)检测第二电子设备(例如，系统(例如，100)包括检测第二电子设备的运动(例如，从第二位置到第三位置)的传感器)。在一些实施方案中，第二电子设备检测其自身的位置并将其位置信息发送到第一电子设备。在一些实施方案中，系统(例如，100)确定第二电子设备位于与先前检测到的位置不同的位置处。
在框506处，第一电子设备(例如，经由第一电子设备的显示设备)呈现远程参与者的虚拟表示，使得远程参与者的虚拟表示看起来位于物理环境中的第四位置处，该第四位置不同于第一位置的(例如，虚拟表示的初始位置)和第三位置(例如，锚定设备的新位置/当前位置)。在一些实施方案中，响应于检测到第二电子设备处于不同于第二位置的第三位置处(例如，响应于确定第二电子设备已移动；响应于接收到已检测到第二电子设备处于不同于第二位置的第三位置处的指示；响应于接收到第二电子设备已移动的指示)，第一电子设备呈现远程参与者的虚拟表示，使得远程参与者的虚拟表示看起来位于物理环境中的第四位置处，该第四位置不同于第一位置和第三位置。
在一些实施方案中，使用第三位置确定第四位置(例如，使用锚定设备的新位置确定虚拟表示的新位置)。在一些实施方案中，基于检测到的第二电子设备的移动来确定第四位置。在一些实施方案中，物理环境中的第四位置是相对于物理环境中的参考位置(例如，通信会话的本地参与者、通信会话的本地参与者的一部分(例如，头部)，或本地设备(例如，本地参与者的HMD设备)的位置)的预先确定的位置。在一些实施方案中，该预先确定的位置在通信会话的使用第一电子设备的本地参与者的肩部上方。在一些实施方案中，使用参与者和/或第一电子设备的位置确定预先确定的位置(例如，使得虚拟表示与本地参与者并排)。在一些实施方案中，根据确定第二电子设备移动到预先确定的位置(例如，在第一电子设备的用户前方，好像用户正在拍摄照片或视频那样)来移动虚拟表示。在一些实施方案中，物理环境中的第一位置距第二电子设备第一距离(例如，第一偏移距离)，并且物理环境中的第四位置距第二电子设备第二距离(例如，第二偏移距离)，该第二距离不同于第一距离。在一些实施方案中，根据确定第二电子设备移动到预先确定的位置，确定第四位置距第二电子设备第二距离。在一些实施方案中，使用第二电子设备的位置来确定虚拟表示与第二电子设备的偏移。
在一些实施方案中，响应于检测到第二电子设备处于不同于第二位置的第三位置处，第一电子设备呈现远程参与者的虚拟表示，使得远程参与者的虚拟表示看起来朝向(例如，面向)第二电子设备取向。在一些实施方案中，根据确定第二电子设备移动到预先确定的位置，虚拟表示移动(例如，平移和/或重新取向)以面向第二电子设备。例如，当第一参与者拿起第二电子设备以共享在第二电子设备上显示的内容(例如，由锚定设备的相机捕获的先前捕获的照片或实时图像)时，虚拟表示移动以面向第二电子设备(例如，好像远程参与者正看着锚定设备那样)。
在一些实施方案中，基于远程参与者的姿态移动虚拟表示和/或以动画方式显示虚拟表示。在一些实施方案中，接收表示通信会话的远程参与者的姿态(例如，眼睛姿态/注视或头部位置)的数据，并且响应于接收到表示通信会话的远程参与者的姿态的数据，第一电子设备呈现远程参与者的虚拟表示，使得该虚拟表示从第一状态(例如，定位(位置和/或取向)、尺寸、颜色、形状、视觉配置)改变为不同于第一状态的第二状态(例如，该虚拟表示移动和/或以动画方式显示)。在一些实施方案中，响应于远程参与者将焦点(例如，眼睛姿态/注视或头部位置)从一个本地参与者改变到另一个本地参与者(例如，通过将眼睛注视从显示在远程参与者的设备上的一个本地参与者的表示移动到显示在远程参与者的设备上的另一个本地参与者的表示)，虚拟表示的呈现改变(例如，移动)以聚焦于对应的本地参与者。在一些实施方案中，虚拟表示响应于远程参与者的姿态的移动不与远程参与者的姿态的移动成正比。在一些实施方案中，远程参与者的姿态具有第一量值(例如，眼睛注视的角度方向的变化)，并且虚拟表示的第二状态与虚拟表示的第一状态之间的差异具有不同于第一量值的第二量值。在一些实施方案中，执行远程参与者的姿态/注意力提示的非物理重指向以匹配本地物理环境(例如，包括第一电子设备的环境)的物理配置。在一些实施方案中，远程参与者的姿态包括远程参与者的头部的移动(例如，点头或摇头)。
在一些实施方案中，当远程参与者讲话时，虚拟表示以动画方式显示。在一些实施方案中，接收来自通信会话的远程参与者的表示音频的数据，并且响应于接收到来自通信会话的远程参与者的表示音频的数据，第一电子设备呈现远程参与者的虚拟表示，使得该虚拟表示以动画方式显示(例如，根据来自远程参与者的音频；来自远程参与者的音频的特征(例如，量值、频率)用于以动画方式显示该虚拟表示)。
在一些实施方案中，第二电子设备捕获物理环境的一个或多个图像以确定本地参与者的位置。在一些实施方案中，第二电子设备包括传感器(例如，图像传感器或相机)，第二电子设备使用该传感器来捕获物理环境的图像，并且通信会话的本地参与者(例如，第一电子设备的用户，或在由第二电子设备捕获的图像中可见的人)使用物理环境的图像来确定。在一些实施方案中，第二电子设备确定本地参与者的位置。在一些实施方案中，第一电子设备确定本地参与者的位置(例如，第二电子设备将所捕获的图像发送到第一电子设备)。在一些实施方案中，第二电子设备将本地参与者的图像发送到远程参与者。在一些实施方案中，本地参与者的位置由本地参与者的电子设备(例如，HMD设备)上的一个或多个传感器增强。在一些实施方案中，使用由第三电子设备(例如，第一电子设备，或与通信会话的另一本地参与者相关联的电子设备(例如，HMD设备200B))捕获的物理环境的图像来确定通信会话的本地参与者的位置。在一些实施方案中，第三电子设备将由第三电子设备捕获的物理环境的图像发送到第二电子设备。
在一些实施方案中，在呈现远程参与者的虚拟表示之后，接收远程参与者和第一电子设备未经由通信会话连接(例如，远程参与者或第一电子设备与通信会话断开连接或拒绝加入通信会话的邀请(例如，远程参与者不接听呼叫)的指示)；并且响应于接收到远程参与者和第一电子设备未经由通信会话连接的指示，第一电子设备停止呈现远程参与者的虚拟表示。
用于执行上述过程500的特征的可执行指令任选地被包括在被配置为由一个或多个处理器(例如，处理器102)执行的暂态或非暂态计算机可读存储介质(例如，存储器106)或其他计算机程序产品中。此外，上述过程500的特征可结合到上述过程300和下述过程700和1000中，并且上述过程300和下述过程700和1000的特征可结合到过程500中。
转到图6A至图6G，描述了用于使用XR环境中的通信会话的远程参与者的虚拟表示来朝向通信会话的本地参与者作姿态的技术。
图6A示出了与使用设备600A的远程参与者A以及分别使用设备600B和设备600C的本地参与者B和C的通信会话的配置。图6A的上部示出了远程参与者A所在的远程XR环境。远程XR环境包括参与者B的虚拟表示606B和参与者C的虚拟表示606C。图6A的下部示出了参与者A和参与者B所在的本地XR环境。本地XR环境包括参与者A的虚拟表示606A。设备600A(例如，移动电话、平板电脑或HMD设备)呈现远程XR环境，并且设备600B(例如，移动电话、平板电脑或HMD设备)和/或设备600C(例如，移动电话、平板电脑或HMD设备)呈现本地XR环境。虚拟表示606A、606B和606C可根据上文关于虚拟表示206所述的任何技术来呈现。例如，虚拟表示606A可基于锚定设备610的位置来呈现，该锚定设备可具有上述锚定设备210的任何特征。在图6A所示的实施方案中，哪个环境是“远程的”和哪个环境是“本地的”之间的区别是为了解释的目的。在一些实施方案中，图6A的上部中描绘的环境是本地环境，并且图6A的下部中描绘的环境是远程环境。
参与者A在参与者B的虚拟表示606B的方向上观看。根据确定参与者A聚焦于参与者B的虚拟表示606B，参与者A的虚拟表示606A朝向参与者B(或与本地XR环境中的参与者B相关联的设备(例如，600B))作姿态，如虚线箭头608A所示。参与者是否聚焦在虚拟表示上的确定可基于与参与者相关联的设备的位置(例如，设备600A是否指向虚拟表示)，参与者身体的位置(例如，参与者A的头部是否朝虚拟表示转向)和/或参与者的眼睛注视(例如，参与者A的注视是否朝向由设备600A呈现的虚拟表示)。
在一些实施方案中，虚拟表示606A响应于请求而作姿态。例如，在一些实施方案中，远程环境中的一个或多个传感器确定参与者A的焦点，并且基于所确定的焦点，提供对虚拟表示606A根据所确定的焦点作姿态的请求。例如，该请求可从远程系统(例如，设备600A)发送并且由本地系统(例如，锚定设备610、设备600B或设备600C)接收。在一些实施方案中，焦点数据由远程系统(例如，设备600A或将设备600A与锚定设备610、设备600B和/或设备600C连接的远程服务器)提供，并且姿态请求由本地系统基于焦点数据生成。在一些实施方案中，响应于请求，虚拟表示沿实际的对应参与者(例如，参与者B)的方向作姿态。在一些实施方案中，响应于请求，虚拟表示沿与对应参与者(例如，设备600B)相关联的设备的方向作姿态。在本文提供的示例中，朝向参与者的姿态还可以或另选地涉及与该参与者相关联的设备。
参与者的焦点可基于例如眼睛注视、身体取向(例如，头部取向、肩部取向、手指方向)或它们的组合。可基于由例如朝向参与者的相机、锚定设备上的图像传感器、HMD设备上(例如，基于瞳孔位置)确定参与者的注视的传感器、参与者的设备(例如，HMD设备)上的位置传感器(例如，GPS或加速度计)、参与者的设备(例如，HMD设备)上的取向传感器(例如，加速度计或陀螺仪)或它们的组合捕获的信息来确定参与者的焦点。可基于由例如朝向参与者的相机、锚定设备上的图像传感器、参与者的设备(例如，HMD设备)上的位置传感器(例如，GPS或加速度计)、参与者的设备(例如，HMD设备)上的取向传感器(例如，加速度计或陀螺仪)或它们的组合捕获的信息来确定参与者的位置(例如，出于生成沿正确方向的姿态的目的)。
在一些实施方案中，虚拟表示(例如，606A)通过在参与者的方向上取向(或重新取向或旋转)来作姿态。例如，虚拟表示可包括指向与参与者的焦点对应的方向的方向指示符(例如，焦点指示符、608A、608B、608C)。在一些实施方案中，虚拟表示包括指向与参与者焦点对应的方向的前部(例如，面部)。在一些实施方案中，基于虚拟表示的形状、颜色、图案或内容，虚拟表示的前部显而易见。
另外，图6A示出了参与者B和参与者C二者聚焦于参与者A的虚拟表示606A。根据确定参与者B聚焦于参与者A的虚拟表示606A，参与者B的虚拟表示606B朝向远程XR环境中的参与者A作姿态，如虚线箭头608B所示。类似地，根据确定参与者C聚焦于参与者A的虚拟表示606A，参与者C的虚拟表示606C朝向远程XR环境中的参与者A作姿态，如虚线箭头608C所示。
转到图6B，参与者A已将焦点从虚拟表示B改变到虚拟表示C；参与者B已将焦点从虚拟表示606A改变到参与者C；并且参与者C已将焦点从虚拟表示606A改变到参与者B。根据参与者A聚焦于虚拟表示C，虚拟表示A朝向本地XR环境中的参与者C作姿态；根据参与者B聚焦于本地XR环境中的参与者C，虚拟表示B朝向远程XR环境中的虚拟表示C作姿态；并且根据参与者C聚焦于本地XR环境中的参与者B，虚拟表示C朝向远程XR环境中的虚拟表示B作姿态。
在图6B中，参与者C的设备600C相对于锚定设备610处于第一取向。第一取向包括设备600C位于距锚定设备610的第一方向上。如上所述，在该取向中，虚拟表示606A沿第一方向朝设备600C作姿态。在图6C中，参与者C已围绕桌子移动(与图6B相比)并且被定位成更靠近参与者B，使得参与者C握持的设备600C与锚定设备610处于第二取向，其中设备600C位于距锚定设备610的第二方向上。在该取向中，虚拟表示606A沿第二方向作姿态(例如，为了保持朝向设备600C和参与者C)。
根据参与者C(以及因此设备600C)如图6C所示那样定位，虚拟表示C在远程XR环境中被定位(移动)成对应于设备600C和参与者C的新位置。如图6C所示，当虚拟表示C移动时，参与者A保持聚焦于虚拟表示C。在一些实施方案中，参与者B和C的表示在远程环境中是静态的(例如，参与者B和C的虚拟表示呈现在参与者A正在使用的设备的显示器上的相应限定区域中，例如，如图6E至图6G所示，如下所述)。在一些实施方案中，虚拟表示606A作姿态(例如，移动、旋转)以在参与者C移动时保持朝向设备600C，而与远程环境中是否存在随参与者C一起移动的参与者C的表示或者参与者A的焦点是否改变以保持聚焦于参与者C的表示无关。
转到图6D，锚定设备610已相对于设备600C和参与者C移动(与图6C相比)，并且被定位到参与者B的左侧(从图6D中的本地环境的角度来看)，使得由参与者C握持的设备600C与锚定设备610处于第三取向，其中设备600C位于距锚定设备610的第三方向上。在该取向中，虚拟表示606A沿第三方向作姿态(例如，为了保持朝向设备600C和参与者C)。
根据锚定设备610如图6D所示那样定位，虚拟表示B和C在远程XR环境中被定位(移动)成对应于锚定设备610的新位置。如图6D所示，当虚拟表示C移动时，参与者A保持聚焦于虚拟表示C。在一些实施方案中，参与者B和C的表示在远程环境中是静态的。在一些实施方案中，虚拟表示606A作姿态(例如，移动、旋转)以在锚定设备610移动时保持朝向设备600C，而与远程环境中是否存在随锚定设备610一起移动的参与者C的表示或者参与者A的焦点是否改变以保持聚焦于参与者C的表示无关。
图6E至图6G示出了包括参与者A、参与者B和参与者C的通信会话的示例性配置。如图6E所示，锚定设备610包括捕获本地物理环境(包括参与者B和参与者C)的图像和/或视频的前向相机610B(例如，广角相机)。锚定设备610向远程设备620(例如，TV、台式计算机、膝上型计算机、平板电脑、智能电话、向外部显示器或TV提供视频以用于显示的媒体设备)提供所捕获的参与者B和参与者C的图像和/或视频数据。在图6E所示的实施方案中，设备620包括显示器620A。远程设备620呈现(例如，使得显示)参与者B的表示616B和参与者C的表示616C。在图6E所示的实施方案中，表示616B包括基于由锚定设备610提供的图像或视频数据的参与者B的图像或视频。
在图6F中，参与者A聚焦于由设备620呈现的参与者B的表示616B。在图6F所示的实施方案中，设备620包括传感器620B并且被配置为捕获可用于确定参与者A的焦点的图像和/或视频数据。根据参与者A聚焦于表示616B，虚拟表示A在本地XR环境中朝向参与者B作姿态。
在图6F中，表示616B和表示616C由设备620呈现，使得表示在物理上比参与者B和参与者C在本地物理环境中彼此更靠近。参与者A、表示616B和表示616C之间的物理空间关系由图6F中设备620右侧所描绘的三角形图表示。类似地，虚拟表示606A、参与者B和参与者C之间的物理空间关系由图6F中参与者C右侧所描绘的三角图表示。图示仅出于解释的目的而描绘，并非图6F所示的物理环境或XR环境的一部分。如图所示，表示616B与表示616C之间的距离DR小于参与者B与参与者C之间的距离DL。另外，表示616B和表示616C之间相对于参与者A的角间距θR小于参与者B和参与者C之间相对于虚拟表示606A的角间距θL。
转到图6G，参与者A已将焦点从表示616B移动到表示616C，这对应于θR的角旋转。根据参与者A聚焦于虚拟表示C，虚拟表示606A通过将方向指示符608A旋转或移动角度θL来朝向本地XR环境中的参与者C作姿态。由于参与者A、表示616B和表示616C之间的空间关系不同于虚拟表示606A、参与者B和参与者C之间的空间关系，使虚拟表示606A响应于参与者A的焦点变化而朝向参与者C作姿态包括执行将远程环境中参与者A的焦点的物理变化映射到本地XR环境中的对应姿态的转变。由于这两种环境中的配置不同，因此参与者A的焦点的角度变化与虚拟表示606A姿态方向的角度变化之间不是一对一映射。
现在转到图7，示出了用于提供用于通信会话(例如，电话呼叫、电话会议、视频会议)的XR环境的示例性过程700的流程图，包括上文参考图6A至图6G所述的特征。过程700可使用电子设备(例如，100a、100c、200A、200B、410、600A、600B或600C)或包括该电子设备的系统(例如，100)来执行，出于描述过程700的目的，将该电子设备称为“第一电子设备”。尽管在图7中以特定顺序描绘了过程700的框，但可以以其他顺序执行这些框。此外，过程700的一个或多个框可以是任选的(例如，省略)和/或可以执行附加框。
在框702处，第一电子设备(例如，经由第一电子设备的显示设备)呈现通信会话的远程参与者的虚拟表示(例如，606A，头像)。第一电子设备(例如，606C)在呈现虚拟表示时相对于物理环境中的第二电子设备(例如，610，锚定设备)处于第一取向。第一取向包括第一电子设备位于距第二电子设备的第一方向上。在一些实施方案中，第一电子设备在呈现XR环境时和在连接到通信会话时呈现虚拟表示。
在一些实施方案中，远程参与者的虚拟表示经由显示设备在XR环境中呈现。虚拟表示可根据上文参考图2A至图2D、图3、图4A至图4D、图5和图6A至图6E所述的任何技术来呈现。例如，虚拟表示的位置可基于第二电子设备的位置和/或一个或多个其他电子设备的位置(例如，在第二电子设备上方，距第二电子设备预先确定的距离，在电子设备(例如，第一电子设备)的高度处，在作为多个电子设备(例如，第一电子设备和第三电子设备)的高度的平均值的高度处)。在一些实施方案中，第二电子设备经由通信会话与远程电子设备(例如，与远程参与者相关联的计算机、平板电脑或电话)通信。在一些实施方案中，虚拟表示基于与远程电子设备相关联的用户(例如，唯一地与远程电子设备相关联的用户；远程电子设备是注册到远程参与者的电话；远程电子设备是登录到远程参与者的用户账户的计算机、平板电脑或智能电话)。在一些实施方案中，第一电子设备与第二电子设备通信(例如，第一电子设备经由有线或无线(例如，蓝牙、NFC、WiFi)连接来连接到第二电子设备)。在一些实施方案中，第一电子设备经由第二电子设备连接到通信会话。
在框704处，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求。在一些实施方案中，在第二电子设备相对于第一电子设备处于第一取向时(例如，在锚定设备610相对于设备600C处于图6B中所示的取向时)，接收呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求。
在框706处，第一电子设备呈现远程参与者的虚拟表示沿第一方向作姿态。姿态可包括例如取向、移动(平移和/或旋转)、动画、颜色或颜色变化。在一些实施方案中，虚拟表示被取向为面向第一电子设备。在一些实施方案中，响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第一请求，第一电子设备呈现远程参与者的虚拟表示沿第一方向作姿态。
在框708处，在呈现远程参与者的虚拟表示沿第一方向作姿态之后并且在第二电子设备相对于第一电子设备处于不同于第一取向的第二取向(例如，第一电子设备已相对于第二电子设备移动；第二取向可以是图6C中的设备610和设备600C的取向)时，接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求。第二取向包括第一电子设备位于距第二电子设备的第二方向上，该第二方向不同于距第二电子设备的第一方向。
在框710处，第一电子设备呈现远程参与者的虚拟表示沿第二方向作姿态(例如，虚拟表示被重新取向为面向第一电子设备的新位置)。在一些实施方案中，响应于接收到呈现远程参与者的虚拟表示朝向第一电子设备作姿态的第二请求，第一电子设备呈现远程参与者的虚拟表示沿第二方向作姿态。在一些实施方案中，根据(或响应于)确定第一设备和第二电子设备的取向已从第一取向改变到第二取向，第一电子设备呈现远程参与者的虚拟表示沿第二方向作姿态。
在一些实施方案中，当特定用户(例如，第一电子设备的用户)在物理环境内移动时，虚拟表示保持朝向该特定用户。在一些实施方案中，处于第一取向的第一电子设备处于物理环境中的第一位置，处于第二取向的第一电子设备处于物理环境中与物理环境中的第一位置不同的第二位置(例如，第一电子设备在物理环境中移动，而第二电子设备保持静止或在物理环境中的相同位置处)，并且呈现远程参与者的虚拟表示沿第二方向作姿态包括呈现虚拟表示来使得虚拟表示朝向第一电子设备(例如，虚拟表示的前部或方向指示符面向第一电子设备)。在一些实施方案中，呈现虚拟表示来使得虚拟表示朝向第一电子设备包括旋转虚拟表示的呈现。
在一些实施方案中，当第二电子设备在物理环境内移动(例如，如图6C和图6D所示的锚定设备610的移动)时，虚拟表示保持朝向特定用户(例如，第一电子设备的用户)。在一些实施方案中，处于第一取向的第二电子设备处于物理环境中的第一位置，处于第二取向的第二电子设备处于物理环境中与物理环境中的第一位置不同的第二位置(例如，第二电子设备在物理环境中移动，而第一电子设备保持静止或在物理环境中的相同位置处)，并且呈现远程参与者的虚拟表示沿第二方向作姿态包括呈现虚拟表示来使得虚拟表示朝向第一电子设备(例如，虚拟表示的前部或方向指示符面向第一电子设备)。在一些实施方案中，呈现虚拟表示来使得虚拟表示朝向第一电子设备包括平移和/或旋转虚拟表示的呈现。
在一些实施方案中，虚拟表示在第二取向上保持朝向特定用户，而第二取向包括第三电子设备(例如，600B)位于距第二电子设备的第三方向上，该第三方向不同于第二方向。在一些实施方案中，第二取向包括与通信会话的本地参与者相关联的参考点(例如，连接到通信会话的第三电子设备)位于距第二电子设备的第三方向上，该第三方向不同于距第二电子设备的第二方向(例如，第一电子设备相对于第二电子设备所位于的方向)(例如，尽管存在其他本地参与者，虚拟表示仍保持聚焦于第一电子设备)。
在一些实施方案中，获得表示第二电子设备在物理环境中的位置的GPS数据，并且第一电子设备使用该GPS数据来呈现通信会话的远程参与者的虚拟表示(例如，该GPS数据用于确定第二电子设备的位置，然后虚拟表示呈现在相对于所确定的第二电子设备的GPS位置的位置处)。在一些实施方案中，利用另一种技术来确定或获得第二电子设备的位置，诸如例如计算机视觉或超宽带技术(例如，使用第一电子设备或另一电子设备上的传感器)。
在一些实施方案中，虚拟表示的偏移从第一取向改变到第二取向。在一些实施方案中，当第一电子设备和第二电子设备处于第一取向时，虚拟表示在距第二电子设备的第一距离(例如，第一偏移距离)处呈现，并且在第一电子设备和第二电子设备处于第二取向时，虚拟表示在距第二电子设备的第二距离(例如，第二偏移距离)处呈现，该第二距离不同于距第二电子设备的第一距离。在一些实施方案中，根据确定锚定设备移动到预先确定的位置来确定第二距离。在一些实施方案中，使用锚定设备的位置来确定虚拟表示与锚定设备的偏移。
在一些实施方案中，第二电子设备上的显示器是静态的，而虚拟环境中的虚拟表示是动态的。在一些实施方案中，在第一时间，第二电子设备的显示器处于第一状态，并且虚拟表示呈现有第一视觉外观，并且在与第一时间不同的第二时间，第二电子设备的显示器处于第一状态，并且虚拟表示呈现有与第一视觉外观不同的第二视觉外观。
在一些实施方案中，基于远程参与者的姿态移动虚拟表示和/或以动画方式显示虚拟表示。在一些实施方案中，接收表示通信会话的远程参与者的姿态(例如，眼睛姿态/注视或头部位置)的数据，并且响应于接收到表示通信会话的远程参与者的姿态的数据，第一电子设备呈现远程参与者的虚拟表示，使得该虚拟表示从第一状态(例如，定位(位置和/或取向)、尺寸、颜色、形状、视觉配置)改变为不同于第一状态的第二状态(例如，该虚拟表示移动和/或以动画方式显示)。在一些实施方案中，响应于远程参与者将焦点(例如，眼睛姿态/注视或头部位置)从一个本地参与者改变到另一个本地参与者(例如，通过将眼睛注视从显示在远程参与者的设备上的一个本地参与者的表示移动到显示在远程参与者的设备上的另一个本地参与者的表示)，虚拟表示移动以聚焦于对应的本地参与者。在一些实施方案中，虚拟表示响应于远程参与者的姿态的移动不与远程参与者的移动成正比。在一些实施方案中，远程参与者的姿态具有第一量值(例如，眼睛注视的角度方向的变化)，并且虚拟表示的第二状态与虚拟表示的第一状态之间的差异具有不同于第一量值的第二量值。在一些实施方案中，系统执行远程参与者的姿态/注意力提示的非物理重指向以匹配物理环境的物理配置。在一些实施方案中，远程参与者的姿态包括远程参与者的头部的移动(例如，点头或摇头)。
在一些实施方案中，当远程参与者讲话时，虚拟表示以动画方式显示。在一些实施方案中，接收来自通信会话的远程参与者的表示音频的数据，并且响应于接收到来自通信会话的远程参与者的表示音频的数据，第一电子设备呈现远程参与者的虚拟表示，使得该虚拟表示以动画方式显示(例如，根据来自远程参与者的音频；来自远程参与者的音频的特征(例如，量值、频率)用于以动画方式显示该虚拟表示)。
在一些实施方案中，第二电子设备捕获物理环境的一个或多个图像以确定本地参与者的位置。在一些实施方案中，第二电子设备包括传感器(例如，610B、图像传感器或相机)，第二电子设备使用该传感器来捕获物理环境的图像，并且通信会话的本地参与者(例如，第一电子设备的用户，或在由第二电子设备捕获的图像中可见的人)使用物理环境的图像来确定。在一些实施方案中，第二电子设备确定本地参与者的位置。在一些实施方案中，第一电子设备确定本地参与者的位置(例如，第二电子设备将所捕获的图像发送到第一电子设备)。在一些实施方案中，第二电子设备将本地参与者的图像发送到远程参与者。在一些实施方案中，本地参与者的位置由本地参与者的电子设备(例如，600B、600C)上的一个或多个传感器增强。在一些实施方案中，使用由第三电子设备(例如，第一电子设备，或与通信会话的另一本地参与者相关联的电子设备(例如，HMD设备))捕获的物理环境的图像来确定通信会话的本地参与者的位置。在一些实施方案中，第三电子设备将由第三电子设备捕获的物理环境的图像发送到第二电子设备。
在一些实施方案中，在呈现远程参与者的虚拟表示之后，接收远程参与者和第一电子设备未经由通信会话连接(例如，远程参与者或第一电子设备与通信会话断开连接或拒绝加入通信会话的邀请(例如，不接听呼叫)的指示)。响应于接收到远程参与者和第一电子设备未经由通信会话连接的指示，第一电子设备停止呈现远程参与者的虚拟表示。
用于执行上述过程700的特征的可执行指令任选地被包括在被配置为由一个或多个处理器(例如，处理器102)执行的暂态或非暂态计算机可读存储介质(例如，存储器106)或其他计算机程序产品中。此外，上述过程700的特征可结合到上述过程300和500以及下述过程1000中，并且上述过程300和500以及下述过程1000的特征可结合到过程700中。
转到图8A至图8D，描述了用于在XR环境中呈现通信会话的远程参与者的虚拟表示的技术，其中虚拟表示呈现有基于远程参与者的能力的视觉特征。
图8A示出了具有参与者A、参与者B和参与者C的通信会话的配置。参与者A使用设备600A，参与者B使用设备902B，并且参与者C使用设备600C。图8A的上部示出了参与者A所在的本地XR环境。本地XR环境包括参与者B的虚拟表示906B和参与者C的虚拟表示606C。图8A的下部示出了参与者B和参与者C所在的远程XR环境。远程XR环境包括参与者A的虚拟表示606A。设备600A(例如，移动电话、平板电脑、头戴式受话器或HMD设备)呈现本地XR环境，并且设备600C(例如，移动电话、平板电脑或HMD设备)和设备902B呈现远程环境。在一些实施方案中，设备902B是可经由一个或多个输出设备(诸如扬声器和/或显示设备)呈现远程XR环境的设备(例如，移动电话、平板电脑、耳机、HMD设备)。虚拟表示606A、906B和606C可根据上文关于虚拟表示206所述的任何技术来呈现。例如，参与者A的虚拟表示606A可基于锚定设备610的位置呈现在远程环境中，该锚定设可具有上述锚定设备210的任何特征。在图8A所示的实施方案中，哪个环境是“远程的”和哪个环境是“本地的”之间的区别是为了解释的目的。在一些实施方案中，图8A的上部中描绘的环境是远程环境，并且图8A的下部中描绘的环境是本地环境。
如图8A所示，设备600A呈现虚拟表示906B，该虚拟表示具有指示参与者B相对于通信会话的能力的视觉特征。在图8A中，该视觉特征包括参与者B的设备(例如，参与者B正在用于连接到通信会话的设备)的图形表示。这里，该图形表示是代表设备902B的一副耳机。在一些实施方案中，图形表示可包括或替换为代表设备902B和/或参与者B的能力(例如，参与者B使用的设备检测和/或跟踪身体位置和/或运动(诸如头部、手和/或眼睛位置和/或运动)的能力)的一个或多个其他符号和/或文本。在一些实施方案中，响应于确定参与者B正在使用的设备是一副耳机，虚拟表示906B显示为具有图8A中所示的视觉特征(例如，显示为耳机的图形表示)。在一些实施方案中，当参与者B在通信会话期间开始使用设备902B时和/或当参与者B加入与参与者A的通信会话时(例如，当参与者B正在使用设备902B时)作出该确定。
另外，图8A示出了其中虚拟表示906B除了设备902B的表示之外不包括参与者B的表示(诸如头像或参与者B的面部的表示)的实施方案。例如，在图8A中，设备600A呈现具有设备902B的图形表示的虚拟表示906B，而不同时呈现参与者B的任何其他表示。在一些实施方案中，虚拟表示906B可与参与者B的另一个表示同时呈现(例如，如图8D所示)。
在图8A中，包括设备902B的图形表示的虚拟表示906B呈现有用户可选择的属性，诸如颜色、文本、纹理和/或样式属性。在一些实施方案中，参与者B(或参与者A)可定制虚拟表示906B在XR环境中呈现时的属性。在一些实施方案中，参与者B可提供一个或多个输入以改变虚拟表示906B在其显示在设备600A上时的属性。在一些实施方案中，可提供一个或多个输入，并且可在通信会话正在进行时更新虚拟表示906B的一个或多个属性。
如图8A所示，名称标签920B与虚拟表示906B同时显示在设备600A上。名称标签920B包括表示与参与者B相关联的标识符的文本(例如，“用户B”)。在一些实施方案中，名称标签920B可包括与参与者B相关联的一个或多个其他符号、字母、数字。在一些实施方案中，名称标签920B可显示有虚拟表示906B的一个或多个属性，使得名称标签920B的颜色、样式、纹理等匹配虚拟表示906B的颜色、样式、纹理等。
在一些实施方案中，名称标签920B可经由设备600A(例如，设置作为通信中参与者的联系人的名称)和/或设备902B(例如，设置用户账户的名称)上的用户输入与参与者B相关联。在一些实施方案中，名称标签920B可定位在设备600A的其他区域上。在一些实施方案中，仅在作出参与者B正在讲话的确定时和/或已发生对显示在设备600A上的虚拟表示906B的选择时才会显示名称标签920B。
虽然图8A中名称标签920B定位(例如，浮动)在显示在设备600A上的虚拟表示906B上方，但名称标签920B可以相对于虚拟表示906B定位在设备600A上的显示器的其他区域中。例如，名称标签920B可被显示为定位在虚拟表示906B下方的表面上和/或它左侧或右侧的位置处。在一些实施方案中，名称标签920B暂时在设备600A上显示。例如，只有当作出参与者B正在讲话的确定时和/或当参与者A已选择虚拟表示906B时，才能在设备600A上显示名称标签920B。
转到图8B，参与者B在远程环境中移动设备902B(例如，通过将他的头部向右转)。响应于设备902B在远程环境中移动，虚拟表示906B根据设备902B的移动(例如，在与之相同的方向上)而在本地环境中移动(例如，旋转)，以表示设备902B在远程环境中的移动。虚拟表示906B移动是因为设备902B具有使用一个或多个运动跟踪传感器和/或眼睛跟踪传感器来跟踪运动的能力。设备902B具有经由传感器诸如相机和/或惯性测量单元来跟踪参与者头部的移动的能力。在一些实施方案中，设备902B使用传感器来跟踪例如相对于设备902B的参与者的移动的三个自由度或六个自由度。在一些实施方案中，设备902B可以是HMD设备。在一些实施方案中，当设备902B不具有上述跟踪传感器中的一个或多个时，虚拟表示906B不移动(例如，虚拟表示906B保持在图8A中虚拟表示906B先前在显示在设备600A上的位置)。
转到图8C，参与者B正在使用设备904B(例如，在远程环境中参与者B已停止使用设备902B并且已开始使用设备904B)。响应于确定参与者B正在使用设备904B，虚拟表示906B在设备600A上显示为具有视觉特征，在图8C中该视觉特征包括与当参与者B正在使用设备902B时在图8C中的设备600A上显示的图形表示(例如，一副耳机)不同的图形表示(例如，手表)。图8C中的图形表示是定位在图8C的远程环境中参与者B的手腕上的设备904B的表示。例如，响应于检测到参与者B已停止使用设备902B，虚拟表示906B停止显示为具有图8B的图形表示。因此，如图8A至图8C所示，当参与者B正在使用不同类型的设备时，虚拟表示906B显示为具有不同的虚拟特征(例如，不同设备的图形表示)。
在一些实施方案中，当显示为具有图8C的图形表示时，虚拟表示906B可显示为具有与图8B中的图形表示显示的属性不同的一个或多个属性。在一些实施方案中，图8C中的虚拟表示906B包括一个或多个部件和/或可采用与上文关于图8B的虚拟表示906B所述的方式类似的方式来显示。
转到图8D，参与者B正在远程环境中使用设备902B和设备904B。由于参与者B正在远程环境中使用设备902B和设备904B，因此虚拟表示906B以表示设备902B和设备904B两者(和/或由设备902B和设备904B提供的能力)的方式(例如，具有视觉特征)呈现。例如，虚拟表示906B显示为具有设备902B和904B两者在本地环境中的图形表示。这两个图形表示包括图8B中所示的设备902B的图形表示(例如，一副耳机)和图8C中所示的设备904B的图形表示(例如，手表)。换句话讲，当例如远程参与者正在使用多个设备时，虚拟表示906B可以同时指示参与者的多种能力(例如，设备)的方式呈现。
另外，如图8D所示，设备902B和904B的图形表示显示在包括参与者B面部的表示的表示(例如，头像)上。值得注意的是，参与者B脸部的表示不是像图8D中设备902B的图形表示和设备904B的图形表示那样的对象或设备的表示。在一些实施方案中，参与者B面部的表示未在图8D中显示。
转到图9，描述了用于在XR环境中显示与通信会话相关联的图示的技术。
图9示出了处于通信会话中的参与者的图示。图9中的图示是在本地环境中显示在设备600A上并且基于图8D中所示的XR环境的示例性图示。在一些实施方案中，可在远程环境中的一个或多个设备上显示与图9的图示不同的图示(或类似的图示)。
查看图8D和图9，名称标签920A至920C以与图8D的本地环境中参与者A、参与者B和参与者C的布置一致的布置定位。名称标签920A至920C分别对应于与参与者A、参与者B和参与者C相关联的标识符。
在图9所示的实施方案中，方向指示符930B和930C分别从名称标签902A指向名称标签902B和902C，以示出参与者A相对于通信会话中参与者B和参与者C的位置的位置。
在图9中，名称标签920B与虚拟表示906B相邻，该虚拟表示包括用户在图8D中穿戴(和/或使用)的设备902B和904C的图形表示。另一方面，名称标签920C不同时与参与者C的任何虚拟表示相邻。这里，名称标签920B与虚拟表示902B相邻，因为参与者B在通信会话中是活动的(如图8D所示)，并且名称标签920C不同时与参与者C的任何虚拟表示相邻，因为参与者C在通信会话中不是活动的(如图8D所示)。例如，在图8D中，参与者C尚未主动参与(例如，讲话)达预先确定的时间量或已暂时离开通信会话，并且设备600C处于非活动状态。因此，在一些实施方案中，只有当图示呈现在设备上时，才会为非活动用户显示名称标签。
现在转到图10，示出了用于提供用于通信会话(例如，电话呼叫、电话会议、视频会议)的XR环境的示例性过程1000的流程图，包括上文参考图8A至图8D所述的特征。过程1000可使用电子设备(例如，100a、100c、200A、200B、410、600A、600B或600C)或包括该电子设备的系统(例如，100)来执行，出于描述过程1000的目的，将该电子设备称为“第一电子设备”。尽管在图10中以特定顺序描绘了过程1000的框，但是可以以其他顺序执行这些框。此外，过程1000的一个或多个框可以是任选的(例如，省略)和/或可以执行附加框。
在框1002处，在经由第一电子设备(例如，600A)(例如，头戴式受话器、电话、平板电脑、HMD设备、手表、一副耳机(例如，耳塞))的显示设备呈现扩展现实(XR)环境时，接收呈现通信会话的远程参与者(例如，图8A至图8D中的参与者B)的虚拟表示(例如，906B)的请求。在一些实施方案中，第一电子设备未连接到通信会话。
在一些实施方案中，远程参与者的虚拟表示经由显示设备在XR环境中呈现。虚拟表示可根据上文参考图2A至图2D、图3、图4A至图4D、图5、图6A至图6E、图8A至图8D和图9所述的任何技术来呈现。例如，虚拟表示的位置可基于第二电子设备的位置和/或一个或多个其他电子设备的位置(例如，在第二电子设备上方，距第二电子设备预先确定的距离，在电子设备(例如，第一电子设备)的高度处，在作为多个电子设备(例如，第一电子设备和第三电子设备)的高度的平均值的高度处)。在一些实施方案中，第二电子设备经由通信会话与远程电子设备(例如，与远程参与者相关联的计算机、平板电脑或电话)通信。在一些实施方案中，虚拟表示基于与远程电子设备相关联的用户(例如，唯一地与远程电子设备相关联的用户；远程电子设备是注册到远程参与者的电话；远程电子设备是登录到远程参与者的用户账户的计算机、平板电脑或智能电话)。在一些实施方案中，第一电子设备与第二电子设备通信(例如，第一电子设备经由有线或无线(例如，蓝牙、NFC、WiFi)连接来连接到第二电子设备)。在一些实施方案中，第一电子设备经由第二电子设备连接到通信会话。
在框1004处，获得通信会话的远程参与者的能力(例如，902B、904B、设备、传感器、设备的功能)。例如，能力可以是设备，诸如头戴式受话器(例如，HMD)、一副智能眼镜、一副耳机、电话、平板电脑、智能电话、智能手表等，或设备的功能。
在框1006处，响应于接收到呈现通信会话的远程参与者的虚拟表示(例如，906B)的请求，基于所获得的通信会话的远程参与者的能力来呈现通信会话的远程参与者的虚拟表示(例如，906B)。在一些实施方案中，当电子设备加入通信会话或在通信会话中变得激活时，获得该能力。在一些实施方案中，设备所获得的能力正被用于通信会话中。
在框1008处，根据通信会话的远程参与者的所获得的能力(例如，902B、904B)包括(例如，是)第一类型的能力(例如，902B、904B)(例如，头戴式受话器(例如，HMD)、一副智能眼镜、一副耳机、耳塞、电话、平板电脑、智能电话、智能手表)，虚拟表示(例如，906B)呈现有第一视觉特征(例如，耳机的图形表示)。在一些实施方案中，一种类型的能力是一种类型的设备。在一些实施方案中，根据确定通信会话的远程参与者的所获得的能力包括(例如，是)第一类型的能力，虚拟表示呈现有第一视觉特征。
在框1010处，根据通信会话的远程参与者的所获得的能力包括(例如，是)不同于第一类型的能力的第二类型的能力(例如，902B、904B)(例如，头戴式受话器(例如，HMD)、一副智能眼镜、一副耳机、耳塞、电话、平板电脑、智能电话、智能手表)，通信会话的远程参与者的虚拟表示(例如，906B)呈现有不同于第一视觉特征的第二视觉特征(例如，耳塞的图形表示)。在一些实施方案中，根据确定通信会话的远程参与者的所获得的能力包括(例如，是)不同于第一类型的能力的第二类型的能力，通信会话的远程参与者的虚拟表示呈现有不同于第一视觉特征的第二视觉特征。
在一些实施方案中，该能力(例如，902B、904B)包括电子设备(例如，902B、904B)。在一些实施方案中，该能力与远程参与者相关联。在一些实施方案中，视觉特征包括电子设备(例如，902B、904B)的表示。例如，电子设备的表示可以是图形表示。
在一些实施方案中，通信会话的远程参与者的虚拟表示仅包括电子设备(例如，902B、904B)的表示。例如，虚拟表示(例如，906B)不包括除电子设备的表示之外的远程参与者的任何其他表示，诸如字符表示。在一些实施方案中，该能力包括电子设备(例如，902B、904B)的功能。例如，电子设备的功能可包括电子设备的眼睛跟踪、运动感测/跟踪功能。
在一些实施方案中，所确定的能力(例如，902B、904B)包括第一类型的能力和第二类型的能力。在一些实施方案中，作为呈现通信会话的远程参与者的虚拟表示(例如，906B)的一部分，通信会话的远程参与者的虚拟表示与第一视觉特征和第二视觉特征同时呈现。
在一些实施方案中，响应于接收到呈现通信会话的远程参与者的虚拟表示的请求，基于被配置为可由与第一电子设备(例如，600A)相关联的用户选择的设置来呈现通信会话的远程参与者的虚拟表示(例如，906B)。在一些实施方案中，视觉特征显示为具有第一属性。例如，属性可以是设备的特定颜色、样式、纹理。
在一些实施方案中，在以显示为具有第一属性的第一视觉特征呈现通信会话的远程参与者的虚拟表示(例如，906B)时，第一电子设备接收用于将第一属性改变为第二属性的一个或多个输入。在一些实施方案中，响应于接收到用于将第一属性改变为第二属性的一个或多个输入，第一电子设备以具有不同于第一属性的第二属性的第一特征呈现通信会话的远程参与者的虚拟表示(例如，906B)。
在一些实施方案中，作为以第一视觉特征呈现通信会话的远程参与者的虚拟表示的一部分，包括虚拟表示(例如，图8A至图8B中的906B)的移动。例如，虚拟表示的移动可包括以动画方式显示该虚拟表示。在一些实施方案中，虚拟表示的移动基于所获得的通信会话的远程参与者的能力(例如，902B、904B)。在一些实施方案中，虚拟表示的移动基于对所获得的能力的使用。例如，显示在电子设备上的眼镜的虚拟表示可在戴着头戴式受话器的参与者点头时移动。又如，当作出远程参与者正在使用不跟踪头部运动的电话的确定时，该电话的虚拟表示保持静止。在一些实施方案中，当参与者仅在其耳朵上戴着一个耳塞时，虚拟表示不会改变眼睛注视。
在一些实施方案中，根据能力包括第三类型的能力，移动包括第一移动。在一些实施方案中，根据能力包括第四类型能力，移动包括不同于第一移动的第二移动。在一些实施方案中，第一移动是第一类型的移动，诸如旋转移动。在一些实施方案中，第二移动是不同于第一类型的移动的第二类型的移动，诸如横向移动。
在一些实施方案中，在设备上显示一个或多个名称标签。例如，在图8A中，名称标签920B(表示参与者B的名称标签)显示在设备600A(参与者A的设备)上。
在一些实施方案中，可相对于虚拟表示来显示名称标签。例如，名称标签可浮置在虚拟表示上方，如图8A所示。一些实施方案中，名称标签可与虚拟表示相邻。在一些实施方案中，名称标签可显示在相对于虚拟表示定位的表面上，使得名称标签显示在该表示上方、下方、左侧、右侧。
在一些实施方案中，可在特定时间点显示名称标签。在一些实施方案中，仅当作出与名称标签相关联的参与者正在讲话的确定时和/或当用户选择与名称标签对应的虚拟表示时，才显示名称标签。
如关于图9所讨论的，在一些实施方案中，可显示参与者列表。在一些实施方案中，参与者列表可包括方向指示符，诸如图9中的930B和930C。
与者列表可以不同方式显示。在一些实施方案中，参与者列表显示为排序列表。在一些实施方案中，排序列表可对应于虚拟表示的空间放置和/或顺序。
在一些实施方案中，当作出对应于相关联的名称标签(或虚拟表示)的参与者处于活动状态的确定时，虚拟表示被显示为与该名称标签相邻。在一些实施方案中，当确定该参与者不活动时，仅显示名称标签。
用于执行上述过程1000的特征的可执行指令任选地被包括在被配置为由一个或多个处理器(例如，处理器102)执行的暂态或非暂态计算机可读存储介质(例如，存储器106)或其他计算机程序产品中。此外，上述过程1000的特征可结合到上述过程300、500和700中，并且上述过程300、500和700的特征可结合到过程1000中。
上述技术的各方面设想了采集和使用个人信息以提供XR体验的可能性。此类信息应在用户知情同意的情况下收集。
处理此类个人信息的实体将遵守既定的隐私做法和/或隐私政策(例如，由第三方认证的政策)，这些政策(1)通常被认为符合或超过行业或政府要求，(2)用户可访问，(3)根据需要进行更新，并且(4)符合适用法律。处理此类个人信息的实体将把这些信息用于合理且合法的用途，而不在那些合法用途之外进行共享或销售。
然而，用户可选择性地限制个人信息的访问/使用。例如，用户可选择参与或不参与他们的个人信息的收集。此外，尽管上述技术的各方面设想了个人信息的使用，但是这些技术的各方面可在不需要或不使用个人信息的情况下实现。例如，如果采集了位置信息、用户名和/或地址，它们可被一般化和/或屏蔽，使得它们不唯一地识别个体。
出于例示和描述的目的呈现了具体实施方案的前述描述。它们并非旨在穷举或将权利要求的范围限制于所公开的精确形式，并且应当理解，鉴于上述教导，许多修改和变型是可能的。

Claims (16)

1.一种第一电子设备，包括：
显示设备；
一个或多个处理器；和
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
在经由所述第一电子设备的所述显示设备呈现扩展现实环境时由所述第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中所述第一电子设备连接到所述通信会话；
获得所述通信会话的所述远程参与者的能力，其中所述能力包括与所述远程参与者相关联的电子设备或与所述远程参与者相关联的所述电子设备的功能；以及
响应于接收到呈现所述通信会话的所述远程参与者的所述虚拟表示的所述请求，基于所获得的所述通信会话的所述远程参与者的能力来呈现所述通信会话的所述远程参与者的所述虚拟表示，包括：
根据所获得的所述通信会话的所述远程参与者的能力包括第一类型的能力，以第一视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示；以及
根据所获得的所述通信会话的所述远程参与者的能力包括与所述第一类型的能力不同的第二类型的能力，以与所述第一视觉特征不同的第二视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示，其中所述第一视觉特征和所述第二视觉特征各自包括与所述远程参与者相关联的所述电子设备的图形表示。
2.根据权利要求1所述的第一电子设备，其中所述通信会话的所述远程参与者的所述虚拟表示仅包括电子设备的表示。
3.根据权利要求1所述的第一电子设备，其中：
所获得的能力包括所述第一类型的能力和所述第二类型的能力；以及
呈现所述通信会话的所述远程参与者的所述虚拟表示包括将所述通信会话的所述远程参与者的所述虚拟表示与所述第一视觉特征和所述第二视觉特征同时呈现。
4.根据权利要求1所述的第一电子设备，其中所述一个或多个程序还包括用于以下操作的指令：
响应于接收到呈现所述通信会话的所述远程参与者的所述虚拟表示的所述请求，基于被配置为能够由与所述第一电子设备相关联的用户选择的设置来呈现所述通信会话的所述远程参与者的所述虚拟表示。
5.根据权利要求1所述的第一电子设备，其中以所述第一视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示包括呈现所述虚拟表示的移动，其中所述虚拟表示的所述移动基于所获得的所述通信会话的所述远程参与者的能力。
6.一种计算机可读存储介质，所述计算机可读存储介质存储被配置为由具有显示设备的第一电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下操作的指令：
在经由所述第一电子设备的所述显示设备呈现扩展现实环境时由所述第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中所述第一电子设备连接到所述通信会话；
获得所述通信会话的所述远程参与者的能力，其中所述能力包括与所述远程参与者相关联的电子设备或与所述远程参与者相关联的所述电子设备的功能；以及
响应于接收到呈现所述通信会话的所述远程参与者的所述虚拟表示的所述请求，基于所获得的所述通信会话的所述远程参与者的能力来呈现所述通信会话的所述远程参与者的所述虚拟表示，包括：
根据所获得的所述通信会话的所述远程参与者的能力包括第一类型的能力，以第一视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示；以及
根据所获得的所述通信会话的所述远程参与者的能力包括与所述第一类型的能力不同的第二类型的能力，以与所述第一视觉特征不同的第二视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示，其中所述第一视觉特征和所述第二视觉特征各自包括与所述远程参与者相关联的所述电子设备的图形表示。
7.根据权利要求6所述的计算机可读存储介质，其中所述通信会话的所述远程参与者的所述虚拟表示仅包括电子设备的表示。
8.根据权利要求6所述的计算机可读存储介质，其中：
所获得的能力包括所述第一类型的能力和所述第二类型的能力；以及
呈现所述通信会话的所述远程参与者的所述虚拟表示包括将所述通信会话的所述远程参与者的所述虚拟表示与所述第一视觉特征和所述第二视觉特征同时呈现。
9.根据权利要求6所述的计算机可读存储介质，其中所述一个或多个程序还包括用于以下操作的指令：
响应于接收到呈现所述通信会话的所述远程参与者的所述虚拟表示的所述请求，基于被配置为能够由与所述第一电子设备相关联的用户选择的设置来呈现所述通信会话的所述远程参与者的所述虚拟表示。
10.根据权利要求6所述的计算机可读存储介质，其中以所述第一视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示包括呈现所述虚拟表示的移动，其中所述虚拟表示的所述移动基于所获得的所述通信会话的所述远程参与者的能力。
11.一种用于提供扩展现实环境的方法，所述方法包括：
在经由第一电子设备的显示设备呈现扩展现实环境时由所述第一电子设备接收呈现通信会话的远程参与者的虚拟表示的请求，其中所述第一电子设备连接到所述通信会话；
获得所述通信会话的所述远程参与者的能力，其中所述能力包括与所述远程参与者相关联的电子设备或与所述远程参与者相关联的所述电子设备的功能；以及
响应于接收到呈现所述通信会话的所述远程参与者的所述虚拟表示的所述请求，基于所获得的所述通信会话的所述远程参与者的能力来呈现所述通信会话的所述远程参与者的所述虚拟表示，包括：
根据所获得的所述通信会话的所述远程参与者的能力包括第一类型的能力，以第一视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示；以及
根据所获得的所述通信会话的所述远程参与者的能力包括与所述第一类型的能力不同的第二类型的能力，以与所述第一视觉特征不同的第二视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示，其中所述第一视觉特征和所述第二视觉特征各自包括与所述远程参与者相关联的所述电子设备的图形表示。
12.根据权利要求11所述的方法，其中所述通信会话的所述远程参与者的所述虚拟表示仅包括电子设备的表示。
13.根据权利要求11所述的方法，其中：
所获得的能力包括所述第一类型的能力和所述第二类型的能力；并且
呈现所述通信会话的所述远程参与者的所述虚拟表示包括将所述通信会话的所述远程参与者的所述虚拟表示与所述第一视觉特征和所述第二视觉特征同时呈现。
14.根据权利要求11所述的方法，还包括：
响应于接收到呈现所述通信会话的所述远程参与者的所述虚拟表示的所述请求，基于被配置为能够由与所述第一电子设备相关联的用户选择的设置来呈现所述通信会话的所述远程参与者的所述虚拟表示。
15.根据权利要求11所述的方法，其中以所述第一视觉特征呈现所述通信会话的所述远程参与者的所述虚拟表示包括呈现所述虚拟表示的移动，其中所述虚拟表示的所述移动基于所获得的所述通信会话的所述远程参与者的能力。
16.一种第一电子设备，包括：
显示设备；以及
用于执行根据权利要求11至15中任一项所述的方法的装置。
CN202080026912.XA 2019-09-27 2020-09-25 用于提供扩展现实环境的电子设备、存储介质和方法 Active CN113661691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310533404.6A CN116360601A (zh) 2019-09-27 2020-09-25 用于提供扩展现实环境的电子设备、存储介质和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962907195P 2019-09-27 2019-09-27
US62/907,195 2019-09-27
US202062965559P 2020-01-24 2020-01-24
US62/965,559 2020-01-24
US202063081260P 2020-09-21 2020-09-21
US63/081,260 2020-09-21
PCT/US2020/052886 WO2021062278A1 (en) 2019-09-27 2020-09-25 Environment for remote communication

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310533404.6A Division CN116360601A (zh) 2019-09-27 2020-09-25 用于提供扩展现实环境的电子设备、存储介质和方法

Publications (2)

Publication Number Publication Date
CN113661691A CN113661691A (zh) 2021-11-16
CN113661691B true CN113661691B (zh) 2023-08-08

Family

ID=72840644

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310533404.6A Pending CN116360601A (zh) 2019-09-27 2020-09-25 用于提供扩展现实环境的电子设备、存储介质和方法
CN202080026912.XA Active CN113661691B (zh) 2019-09-27 2020-09-25 用于提供扩展现实环境的电子设备、存储介质和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310533404.6A Pending CN116360601A (zh) 2019-09-27 2020-09-25 用于提供扩展现实环境的电子设备、存储介质和方法

Country Status (4)

Country Link
US (2) US11800059B2 (zh)
CN (2) CN116360601A (zh)
DE (1) DE112020001415T5 (zh)
WO (1) WO2021062278A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
JP6644928B1 (ja) 2019-03-29 2020-02-12 株式会社ドワンゴ 配信サーバ、視聴者端末、配信者端末、配信方法、情報処理方法及びプログラム
EP3928192B1 (en) 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
WO2021067789A1 (en) * 2019-10-03 2021-04-08 Super Selfie, Inc. Apparatus and method for remote image capture with automatic subject selection
US11302063B2 (en) 2020-07-21 2022-04-12 Facebook Technologies, Llc 3D conversations in an artificial reality environment
EP4218230A1 (en) * 2020-09-24 2023-08-02 Apple Inc. Avatar spatial modes
US11621979B1 (en) * 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
US20220230399A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Co., Ltd. Extended reality interaction in synchronous virtual spaces using heterogeneous devices
US20230045759A1 (en) * 2021-08-04 2023-02-09 Meta Platforms Technologies, Llc 3D Calling Affordances
WO2023043022A1 (ko) * 2021-09-15 2023-03-23 삼성전자주식회사 모바일 장치의 확장 화면을 표시하는 장치 및 방법
US11676329B1 (en) 2022-01-07 2023-06-13 Meta Platforms Technologies, Llc Mobile device holographic calling with front and back camera capture
US11838370B1 (en) * 2022-10-20 2023-12-05 Rovi Guides, Inc. Systems and methods for enabling communications in an extended reality environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003058518A2 (en) * 2002-01-07 2003-07-17 Stephen James Crampton Method and apparatus for an avatar user interface system
US8866849B1 (en) * 2013-08-28 2014-10-21 Lg Electronics Inc. Portable device supporting videotelephony of a head mounted display and method of controlling therefor
CN107340853A (zh) * 2016-11-18 2017-11-10 北京理工大学 一种基于虚拟现实与手势识别的远程呈现交互方法和系统
CN107534656A (zh) * 2015-04-16 2018-01-02 微软技术许可有限责任公司 用于通信会话参与者的可视配置
US10270983B1 (en) * 2018-05-07 2019-04-23 Apple Inc. Creative camera

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332964B2 (ja) 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
JP5158006B2 (ja) 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
EP2691936A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US20170083993A1 (en) * 2011-06-17 2017-03-23 Magna Legal Services, Llc Systems, methods, and media for providing an interactive presentation to remote participants
US20130007672A1 (en) 2011-06-28 2013-01-03 Google Inc. Methods and Systems for Correlating Head Movement with Items Displayed on a User Interface
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5880115B2 (ja) 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6618681B2 (ja) 2013-12-25 2019-12-11 キヤノンマーケティングジャパン株式会社 情報処理装置及びその制御方法及びプログラム、並びに、情報処理システム
US9524588B2 (en) * 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US10592929B2 (en) 2014-02-19 2020-03-17 VP Holdings, Inc. Systems and methods for delivering content
WO2015140106A1 (en) 2014-03-17 2015-09-24 IT-Universitetet i København Computer-implemented gaze interaction method and apparatus
US10529359B2 (en) 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
US9411412B1 (en) 2014-06-17 2016-08-09 Amazon Technologies, Inc. Controlling a computing device based on user movement about various angular ranges
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
EP2996017B1 (en) 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
US9547365B2 (en) 2014-09-15 2017-01-17 Google Inc. Managing information display
US10007333B2 (en) 2014-11-07 2018-06-26 Eye Labs, LLC High resolution perception of content in a wide field of view of a head-mounted display
US9665249B1 (en) 2014-11-10 2017-05-30 Amazon Technologies, Inc. Approaches for controlling a computing device based on head movement
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的系统和方法
US9852546B2 (en) 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10156721B2 (en) 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10162412B2 (en) 2015-03-27 2018-12-25 Seiko Epson Corporation Display, control method of display, and program
WO2017021902A1 (en) 2015-08-03 2017-02-09 Smartvizs Private Limited System and method for gesture based measurement of virtual reality space
US9886086B2 (en) 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
EP3335070B1 (en) 2015-09-30 2020-11-25 Sony Interactive Entertainment Inc. Methods for optimizing positioning of content on a screen of a head mounted display
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
JP6017664B1 (ja) 2015-12-28 2016-11-02 株式会社コロプラ 情報処理方法及び情報処理プログラム
WO2017136830A1 (en) 2016-02-05 2017-08-10 Prizm Labs, Inc. Physical/virtual game system and methods for manipulating virtual objects within a virtual game environment
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US9459692B1 (en) 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US20170287215A1 (en) 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
US10403043B2 (en) 2016-04-14 2019-09-03 The Research Foundation For The State University Of New York System and method for generating a progressive representation associated with surjectively mapped virtual and physical reality image data
US10885801B2 (en) 2016-05-24 2021-01-05 Tangible Play, Inc. Virtualized tangible programming
US10802665B2 (en) 2016-10-05 2020-10-13 Motorola Solutions, Inc. System and method for projecting graphical objects
US10627900B2 (en) * 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control
US10290152B2 (en) 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10747386B2 (en) 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
CN111448542B (zh) 2017-09-29 2023-07-11 苹果公司 显示应用程序
US10564915B2 (en) 2018-03-05 2020-02-18 Microsoft Technology Licensing, Llc Displaying content based on positional state
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US11036284B2 (en) 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
US10854169B2 (en) 2018-12-14 2020-12-01 Samsung Electronics Co., Ltd. Systems and methods for virtual displays in virtual, mixed, and augmented reality
US10891921B2 (en) 2019-01-04 2021-01-12 Byton Limited Separate operating systems for dashboard display
US11159766B2 (en) * 2019-09-16 2021-10-26 Qualcomm Incorporated Placement of virtual content in environments with a plurality of physical participants
EP3928192B1 (en) 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003058518A2 (en) * 2002-01-07 2003-07-17 Stephen James Crampton Method and apparatus for an avatar user interface system
US8866849B1 (en) * 2013-08-28 2014-10-21 Lg Electronics Inc. Portable device supporting videotelephony of a head mounted display and method of controlling therefor
CN107534656A (zh) * 2015-04-16 2018-01-02 微软技术许可有限责任公司 用于通信会话参与者的可视配置
CN107340853A (zh) * 2016-11-18 2017-11-10 北京理工大学 一种基于虚拟现实与手势识别的远程呈现交互方法和系统
US10270983B1 (en) * 2018-05-07 2019-04-23 Apple Inc. Creative camera

Also Published As

Publication number Publication date
US20230388453A1 (en) 2023-11-30
US20210368136A1 (en) 2021-11-25
CN113661691A (zh) 2021-11-16
CN116360601A (zh) 2023-06-30
WO2021062278A1 (en) 2021-04-01
DE112020001415T5 (de) 2021-12-09
US11800059B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
CN113661691B (zh) 用于提供扩展现实环境的电子设备、存储介质和方法
US11137967B2 (en) Gaze-based user interactions
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
US20220253136A1 (en) Methods for presenting and sharing content in an environment
US11308686B1 (en) Captured image data in a computer-generated reality environment
US20220159178A1 (en) Automated eyewear device sharing system
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
CN110968188A (zh) 基于头部位置的应用程序放置
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
US20210327140A1 (en) Techniques for participation in a shared setting
CN113785260A (zh) 控制计算机生成现实环境中的虚拟对象的表示
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20210325974A1 (en) Attenuating mode
CN116490250A (zh) 环境的非对称呈现
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20230350539A1 (en) Representations of messages in a three-dimensional environment
US20240104859A1 (en) User interfaces for managing live communication sessions
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20230206572A1 (en) Methods for sharing content and interacting with physical devices in a three-dimensional environment
US20240103677A1 (en) User interfaces for managing sharing of content in three-dimensional environments
WO2024064350A1 (en) User interfaces for capturing stereoscopic media
CN112562088A (zh) 基于用户移动来呈现环境

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant