CN119856483A - 用于管理实况通信会话的用户界面 - Google Patents

用于管理实况通信会话的用户界面 Download PDF

Info

Publication number
CN119856483A
CN119856483A CN202380065246.4A CN202380065246A CN119856483A CN 119856483 A CN119856483 A CN 119856483A CN 202380065246 A CN202380065246 A CN 202380065246A CN 119856483 A CN119856483 A CN 119856483A
Authority
CN
China
Prior art keywords
user
communication session
computer system
option
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202380065246.4A
Other languages
English (en)
Inventor
J·钱德
K·E·鲍尔里
邱诗善
J·R·达斯科拉
A·E·德多纳托
K·埃尔阿斯马尔
W·M·霍尔德
S·O·勒梅
L·S·帕兹米诺
J·D·里克瓦尔德
G·耶基斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202510471256.9A priority Critical patent/CN120075386A/zh
Priority to CN202511368896.3A priority patent/CN120915906A/zh
Priority claimed from PCT/US2023/033376 external-priority patent/WO2024064280A1/en
Publication of CN119856483A publication Critical patent/CN119856483A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1093—In-session procedures by adding participants; by removing participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开整体涉及管理实况通信会话。一种计算机系统任选地显示用以邀请相应用户加入正在进行的通信会话的选项。一种计算机系统任选地显示用以修改表示该计算机系统的该用户的化身的外观的一个或多个选项。一种计算机系统任选地将通信会话从空间通信会话转变为非空间通信会话。一种计算机系统任选地显示关于通信会话中的参与者的信息。

Description

用于管理实况通信会话的用户界面
相关申请的交叉引用
本申请要求2023年9月12日提交的名称为“USER INTERFACES FOR MANAGING LIVECOMMUNICATION SESSIONS”的美国专利申请18/367,418号、2023年6月3日提交的名称为“USER INTERFACES FOR MANAGING LIVE COMMUNICATION SESSIONS”的美国临时专利申请63/470,882号以及2022年9月23日提交的名称为“USER INTERFACES FOR MANAGING LIVECOMMUNICATION SESSIONS”的美国临时专利申请63/409,583号的优先权。这些专利申请中的每个专利申请的内容全文以引用方式并入本文。
技术领域
本公开整体涉及与显示生成部件和任选地一个或多个传感器通信的提供计算机生成的体验的计算机系统，这些计算机系统包括但不限于经由显示器提供虚拟现实体验和混合现实体验的电子设备。
背景技术
近年来，用于增强现实的计算机系统的发展显著增加。示例增强现实环境包括至少一些替换或增强物理世界的虚拟元素。用于计算机系统和其他电子计算设备的输入设备(诸如相机、控制器、操纵杆、触敏表面和触摸屏显示器)用于与虚拟/增强现实环境进行交互。示例虚拟元素包括诸如数字图像、视频、文本、图标和控制元素(诸如按钮和其他图形)的虚拟对象。
发明内容
用于管理实况通信会话诸如包括至少一些虚拟元素(例如，应用、增强现实环境、混合现实环境和虚拟现实环境)的那些实况通信会话的一些方法和界面是麻烦、低效并且受限的。例如，对于执行与虚拟对象相关联的动作提供不足控制的系统、需要一系列输入来在增强现实环境中实现期望结果的系统，以及其中虚拟对象操纵复杂、繁琐并且容易出错的系统，会给用户造成显著的认知负担，并且减损虚拟/增强现实环境的体验感。此外，这些方法花费的时间比必要的要长，从而浪费了计算机系统的能量。这后一考虑在电池驱动的设备中是特别重要的。
因此，需要具有用于管理实况通信会话的改进的方法和界面的对用户来说更加高效和直观的计算机系统。此类方法和界面任选地补充或替换用于管理实况通信会话的常规方法。此类方法和界面通过帮助用户理解所提供的输入与设备对这些输入的响应之间的联系，减少了来自用户的输入的数量、程度和/或性质，从而形成了更有效的人机界面。
通过所公开的系统减少或消除了与计算机系统的用户界面相关联的上述缺陷和其他问题。在一些实施方案中，计算机系统是具有相关联显示器的台式计算机。在一些实施方案中，计算机系统是便携式设备(例如，笔记本计算机、平板计算机或手持式设备)。在一些实施方案中，计算机系统是个人电子设备(例如，可穿戴电子设备，诸如手表或头戴式设备)。在一些实施方案中，计算机系统具有触摸板。在一些实施方案中，计算机系统具有一个或多个相机。在一些实施方案中，计算机系统具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施方案中，计算机系统具有一个或多个眼睛跟踪部件。在一些实施方案中，计算机系统具有一个或多个手跟踪部件。在一些实施方案中，除显示生成部件之外，计算机系统还具有一个或多个输出设备，这些输出设备包括一个或多个触觉输出发生器和/或一个或多个音频输出设备。在一些实施方案中，计算机系统具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、存储在存储器中用于执行多个功能的程序或指令集。在一些实施方案中，用户通过触控笔和/或手指在触敏表面上的接触和手势、用户的眼睛和手在相对于GUI(和/或计算机系统)或用户身体的空间中的移动(如由相机和其他移动传感器捕获的)和/或语音输入(如由一个或多个音频输入设备捕获的)与GUI进行交互。在一些实施方案中，通过交互执行的功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时通讯、测试支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的暂态和/或非暂态计算机可读存储介质或其他计算机程序产品中。
需要具有用于管理实况通信会话的改进的方法和界面的电子设备。此类方法和界面可补充或替换用于管理实况通信会话的常规方法。此类方法和界面减少了来自用户的输入的数量、程度和/或性质，并且产生更高效的人机界面。对于电池驱动的计算设备，此类方法和界面节省功率，并且增大电池充电之间的时间间隔。
在一些实施方案中，计算机系统响应于检测到用户的注视和/或手势而显示与控制媒体内容的回放相关联的控件的集合(例如，传输控件和/或其他类型的控件)。在一些实施方案中，计算机系统初始响应于检测到第一输入而以降低显著性状态(例如，具有降低的视觉显著性)显示控件的第一集合，并且然后响应于检测到第二输入而以增加显著性状态显示控件的第二集合(其任选地包括附加控件)。以这种方式，计算机系统任选地向用户提供了用户已开始调用控件的显示的反馈，而不会不适当地使用户从内容分散注意力(例如，通过初始以视觉上较少显著性的方式显示控件)，然后，基于检测到指示用户希望进一步与控件交互的用户输入，以视觉上更多显著性的方式显示控件，以允许与计算机系统更容易且更准确的交互。
本文描述了示例方法。一种示例方法包括：在与显示生成部件和一个或多个传感器通信的计算机系统处：经由该显示生成部件显示多个用户的表示；经由该一个或多个传感器接收对该多个用户中的相应用户的表示的选择；以及响应于接收到对该相应用户的该表示的选择：根据确定存在正在进行的通信会话，经由该显示生成部件显示用以邀请该相应用户加入该正在进行的通信会话的选项；以及根据确定不存在正在进行的通信会话，放弃显示用以邀请该相应用户加入该正在进行的通信会话的该选项。
一种示例方法包括：在与显示生成部件和一个或多个传感器通信的计算机系统处：经由该显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在该实时通信会话期间，该计算机系统的用户由化身表示，该化身在该实时通信会话期间根据该计算机系统的该用户的由该一个或多个传感器检测到的移动而移动；在显示该通信用户界面时，经由该显示生成部件显示可选择用户界面对象；经由该一个或多个传感器检测包括指向该可选择用户界面对象的选择输入的一个或多个输入；以及响应于检测到包括指向该可选择用户界面对象的该选择输入的该一个或多个输入，经由该显示生成部件同时显示化身编辑用户界面，该化身编辑用户界面包括：表示该计算机系统的该用户的该化身；以及用以修改表示该计算机系统的该用户的该化身的外观的一个或多个选项。
一种示例方法包括：在与显示生成部件通信的计算机系统处：在参与作为空间通信会话的通信会话时，其中该空间通信会话包括经由该显示生成部件在3D环境中以空间分布布置显示该通信会话中的多个参与者的表示，其中以该空间分布布置显示该多个参与者包括显示：在该3D环境中在第一非竖直方向上与彼此和该计算机系统的用户间隔开至少阈值量的该多个参与者的该表示；和在不同于该第一非竖直方向的第二非竖直方向上与彼此和该用户间隔开至少该阈值量的该多个参与者的该表示；在显示分布在该3D环境中的该多个参与者的该表示时，检测事件；以及响应于检测到该事件，将该通信会话从该空间通信会话转变为非空间通信会话，该非空间通信会话包括经由该显示生成部件以分组布置显示该通信会话的该多个参与者的至少一个子集的表示，其中在该分组布置中：该多个参与者的该表示在该3D环境中在该第一非竖直方向上彼此间隔开小于该阈值量；该分组布置中第一参与者的表示具有与该空间分布布置中该第一参与者的表示不同的定位；以及该分组布置中第二参与者的表示具有与该空间分布布置中该第二参与者的表示不同的定位。
一种示例方法包括：在与显示生成部件和一个或多个传感器通信的计算机系统处：在处于与该通信会话中的一个或多个参与者的通信会话中时，经由该一个或多个传感器检测该计算机系统的用户的注视输入；以及响应于检测到该注视输入：根据该注视输入满足一个或多个注视标准的集合的确定，经由该显示生成部件显示关于该通信会话中的第一参与者的信息；以及根据该注视输入不满足一个或多个注视标准的该集合的确定，放弃显示关于该通信会话中的该第一参与者的该信息。
本文描述了示例非暂态计算机可读存储介质。一种示例非暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行并且包括用于以下的指令：经由该显示生成部件显示多个用户的表示；经由该一个或多个传感器接收对该多个用户中的相应用户的表示的选择；以及响应于接收到对该相应用户的该表示的选择：根据确定存在正在进行的通信会话，经由该显示生成部件显示用以邀请该相应用户加入该正在进行的通信会话的选项；以及根据确定不存在正在进行的通信会话，放弃显示用以邀请该相应用户加入该正在进行的通信会话的该选项。
一种示例非暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行并且包括用于以下的指令：经由该显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在该实时通信会话期间，该计算机系统的用户由化身表示，该化身在该实时通信会话期间根据该计算机系统的该用户的由该一个或多个传感器检测到的移动而移动；在显示该通信用户界面时，经由该显示生成部件显示可选择用户界面对象；经由该一个或多个传感器检测包括指向该可选择用户界面对象的选择输入的一个或多个输入；以及响应于检测到包括指向该可选择用户界面对象的该选择输入的该一个或多个输入，经由该显示生成部件同时显示化身编辑用户界面，该化身编辑用户界面包括：表示该计算机系统的该用户的该化身；以及用以修改表示该计算机系统的该用户的该化身的外观的一个或多个选项。
一种示例非暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行并且包括用于以下的指令：在参与作为空间通信会话的通信会话时，其中该空间通信会话包括经由该显示生成部件在3D环境中以空间分布布置显示该通信会话中的多个参与者的表示，其中以该空间分布布置显示该多个参与者包括显示：在该3D环境中在第一非竖直方向上与彼此和该计算机系统的用户间隔开至少阈值量的该多个参与者的该表示；和在不同于该第一非竖直方向的第二非竖直方向上与彼此和该用户间隔开至少该阈值量的该多个参与者的该表示；在显示分布在该3D环境中的该多个参与者的该表示时，检测事件；以及响应于检测到该事件，将该通信会话从该空间通信会话转变为非空间通信会话，该非空间通信会话包括经由该显示生成部件以分组布置显示该通信会话的该多个参与者的至少一个子集的表示，其中在该分组布置中：该多个参与者的该表示在该3D环境中在该第一非竖直方向上彼此间隔开小于该阈值量；该分组布置中第一参与者的表示具有与该空间分布布置中第一参与者的表示不同的定位；以及该分组布置中第二参与者的表示具有与该空间分布布置中该第二参与者的表示不同的定位。
一种示例非暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行并且包括用于以下的指令：在处于与该通信会话中的一个或多个参与者的通信会话中时，经由该一个或多个传感器检测该计算机系统的用户的注视输入；以及响应于检测到该注视输入：根据该注视输入满足一个或多个注视标准的集合的确定，经由该显示生成部件显示关于该通信会话中的第一参与者的信息；以及根据该注视输入不满足一个或多个注视标准的该集合的确定，放弃显示关于该通信会话中的该第一参与者的该信息。
本文描述了示例暂态计算机可读存储介质。一种示例暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行，并且包括用于以下的指令：经由该显示生成部件显示多个用户的表示；经由该一个或多个传感器接收对该多个用户中的相应用户的表示的选择；以及响应于接收到对该相应用户的该表示的选择：根据确定存在正在进行的通信会话，经由该显示生成部件显示用以邀请该相应用户加入该正在进行的通信会话的选项；以及根据确定不存在正在进行的通信会话，放弃显示用以邀请该相应用户加入该正在进行的通信会话的该选项。
一种示例暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行并且包括用于以下的指令：经由该显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在该实时通信会话期间，该计算机系统的用户由化身表示，该化身在该实时通信会话期间根据该计算机系统的该用户的由该一个或多个传感器检测到的移动而移动；在显示该通信用户界面时，经由该显示生成部件显示可选择用户界面对象；经由该一个或多个传感器检测包括指向该可选择用户界面对象的选择输入的一个或多个输入；以及响应于检测到包括指向该可选择用户界面对象的该选择输入的该一个或多个输入，经由该显示生成部件同时显示化身编辑用户界面，该化身编辑用户界面包括：表示该计算机系统的该用户的该化身；以及用以修改表示该计算机系统的该用户的该化身的外观的一个或多个选项。
一种示例暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行并且包括用于以下的指令：在参与作为空间通信会话的通信会话时，其中该空间通信会话包括经由该显示生成部件在3D环境中以空间分布布置显示该通信会话中的多个参与者的表示，其中以该空间分布布置显示该多个参与者包括显示：在该3D环境中在第一非竖直方向上与彼此和该计算机系统的用户间隔开至少阈值量的该多个参与者的该表示；和在不同于该第一非竖直方向的第二非竖直方向上与彼此和该用户间隔开至少该阈值量的该多个参与者的该表示；在显示分布在该3D环境中的该多个参与者的该表示时，检测事件；以及响应于检测到该事件，将该通信会话从该空间通信会话转变为非空间通信会话，该非空间通信会话包括经由该显示生成部件以分组布置显示该通信会话的该多个参与者的至少一个子集的表示，其中在该分组布置中：该多个参与者的该表示在该3D环境中在该第一非竖直方向上彼此间隔开小于该阈值量；分组布置中第一参与者的表示具有与空间分布布置中第一参与者的表示不同的定位；以及该分组布置中第二参与者的表示具有与该空间分布布置中该第二参与者的表示不同的定位。
一种示例暂态计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行并且包括用于以下的指令：在处于与该通信会话中的一个或多个参与者的通信会话中时，经由该一个或多个传感器检测该计算机系统的用户的注视输入；以及响应于检测到该注视输入：根据该注视输入满足一个或多个注视标准的集合的确定，经由该显示生成部件显示关于该通信会话中的第一参与者的信息；以及根据该注视输入不满足一个或多个注视标准的该集合的确定，放弃显示关于该通信会话中的该第一参与者的该信息。
本文描述了示例计算机系统。一种示例计算机系统被配置为与显示生成部件和一个或多个传感器通信并且包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下的指令：经由该显示生成部件显示多个用户的表示；经由该一个或多个传感器接收对该多个用户中的相应用户的表示的选择；以及响应于接收到对该相应用户的该表示的选择：根据确定存在正在进行的通信会话，经由该显示生成部件显示用以邀请该相应用户加入该正在进行的通信会话的选项；以及根据确定不存在正在进行的通信会话，放弃显示用以邀请该相应用户加入该正在进行的通信会话的该选项。
一种示例计算机系统被配置为与显示生成部件和一个或多个传感器通信并且包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下的指令：经由该显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在该实时通信会话期间，该计算机系统的用户由化身表示，该化身在该实时通信会话期间根据该计算机系统的该用户的由该一个或多个传感器检测到的移动而移动；在显示该通信用户界面时，经由该显示生成部件显示可选择用户界面对象；经由该一个或多个传感器检测包括指向该可选择用户界面对象的选择输入的一个或多个输入；以及响应于检测到包括指向该可选择用户界面对象的该选择输入的该一个或多个输入，经由该显示生成部件同时显示化身编辑用户界面，该化身编辑用户界面包括：表示该计算机系统的该用户的该化身；以及用以修改表示该计算机系统的该用户的该化身的外观的一个或多个选项。
一种示例计算机系统被配置为与显示生成部件通信并且包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下的指令：在参与作为空间通信会话的通信会话时，其中该空间通信会话包括经由显示生成部件在3D环境中以空间分布布置显示通信会话中的多个参与者的表示，其中以空间分布布置显示多个参与者包括显示：在3D环境中在第一非竖直方向上与彼此和计算机系统的用户间隔开至少阈值量的多个参与者的表示；和在不同于该第一非竖直方向的第二非竖直方向上与彼此和该用户间隔开至少该阈值量的该多个参与者的该表示；在显示分布在该3D环境中的该多个参与者的该表示时，检测事件；以及响应于检测到该事件，将该通信会话从该空间通信会话转变为非空间通信会话，该非空间通信会话包括经由该显示生成部件以分组布置显示该通信会话的该多个参与者的至少一个子集的表示，其中在该分组布置中：该多个参与者的该表示在该3D环境中在该第一非竖直方向上彼此间隔开小于该阈值量；分组布置中第一参与者的表示具有与空间分布布置中第一参与者的表示不同的定位；以及该分组布置中第二参与者的表示具有与该空间分布布置中该第二参与者的表示不同的定位。
一种示例计算机系统被配置为与显示生成部件和一个或多个传感器通信并且包括：一个或多个处理器；以及存储器，该存储器存储被配置为由该一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于以下的指令：在处于与该通信会话中的一个或多个参与者的通信会话中时，经由该一个或多个传感器检测该计算机系统的用户的注视输入；以及响应于检测到该注视输入：根据该注视输入满足一个或多个注视标准的集合的确定，经由该显示生成部件显示关于该通信会话中的第一参与者的信息；以及根据该注视输入不满足一个或多个注视标准的该集合的确定，放弃显示关于该通信会话中的该第一参与者的该信息。
一种示例计算机系统被配置为与显示生成部件和一个或多个传感器通信并且包括：用于经由该显示生成部件显示多个用户的表示的构件；用于经由该一个或多个传感器接收对该多个用户中的相应用户的表示的选择的构件；和用于响应于接收到对该相应用户的该表示的选择而进行以下的构件：根据确定存在正在进行的通信会话，经由该显示生成部件显示用以邀请该相应用户加入该正在进行的通信会话的选项；以及根据确定不存在正在进行的通信会话，放弃显示用以邀请该相应用户加入该正在进行的通信会话的该选项。
一种示例计算机系统被配置为与显示生成部件和一个或多个传感器通信并且包括：用于经由该显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面的构件，其中在该实时通信会话期间，该计算机系统的用户由化身表示，该化身在该实时通信会话期间根据该计算机系统的该用户的由该一个或多个传感器检测到的移动而移动；用于在显示该通信用户界面时，经由该显示生成部件显示可选择用户界面对象的构件；用于经由该一个或多个传感器检测包括指向该可选择用户界面对象的选择输入的一个或多个输入的构件；以及用于响应于检测到包括指向该可选择用户界面对象的该选择输入的该一个或多个输入而进行以下的构件：经由该显示生成部件同时显示化身编辑用户界面，该化身编辑用户界面包括：表示该计算机系统的该用户的该化身；以及用以修改表示该计算机系统的该用户的该化身的外观的一个或多个选项。
一种示例计算机系统被配置为与显示生成部件通信并且包括：用于在参与作为空间通信会话的通信会话时，其中该空间通信会话包括经由该显示生成部件在3D环境中以空间分布布置显示该通信会话中的多个参与者的表示的构件，其中以该空间分布布置显示该多个参与者包括显示：在该3D环境中在第一非竖直方向上与彼此和该计算机系统的用户间隔开至少阈值量的该多个参与者的该表示；和在不同于该第一非竖直方向的第二非竖直方向上与彼此和该用户间隔开至少该阈值量的该多个参与者的该表示；用于在显示分布在该3D环境中的该多个参与者的该表示时，检测事件的构件；以及用于响应于检测到该事件，将该通信会话从该空间通信会话转变为非空间通信会话的构件，该非空间通信会话包括经由该显示生成部件以分组布置显示该通信会话的该多个参与者的至少一个子集的表示，其中在该分组布置中：该多个参与者的该表示在该3D环境中在该第一非竖直方向上彼此间隔开小于该阈值量；分组布置中第一参与者的表示具有与空间分布布置中第一参与者的表示不同的定位；以及该分组布置中第二参与者的表示具有与该空间分布布置中该第二参与者的表示不同的定位。
一种示例计算机系统被配置为与显示生成部件和一个或多个传感器通信并且包括：用于在处于与该通信会话中的一个或多个参与者的通信会话中时，经由该一个或多个传感器检测该计算机系统的用户的注视输入的构件；以及用于响应于检测到该注视输入而进行以下的构件：根据该注视输入满足一个或多个注视标准的集合的确定，经由该显示生成部件显示关于该通信会话中的第一参与者的信息；以及根据该注视输入不满足一个或多个注视标准的该集合的确定，放弃显示关于该通信会话中的该第一参与者的该信息。
本文描述了示例计算机程序产品。一种示例计算机程序产品包括一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行，该一个或多个程序包括用于以下的指令：经由该显示生成部件显示多个用户的表示；经由该一个或多个传感器接收对该多个用户中的相应用户的表示的选择；以及响应于接收到对该相应用户的该表示的选择：根据确定存在正在进行的通信会话，经由该显示生成部件显示用以邀请该相应用户加入该正在进行的通信会话的选项；以及根据确定不存在正在进行的通信会话，放弃显示用以邀请该相应用户加入该正在进行的通信会话的该选项。
一种示例计算机程序产品包括一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行，该一个或多个程序包括用于以下的指令：经由该显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在该实时通信会话期间，该计算机系统的用户由化身表示，该化身在该实时通信会话期间根据该计算机系统的该用户的由该一个或多个传感器检测到的移动而移动；在显示该通信用户界面时，经由该显示生成部件显示可选择用户界面对象；经由该一个或多个传感器检测包括指向该可选择用户界面对象的选择输入的一个或多个输入；以及响应于检测到包括指向该可选择用户界面对象的该选择输入的该一个或多个输入，经由该显示生成部件同时显示化身编辑用户界面，该化身编辑用户界面包括：表示该计算机系统的该用户的该化身；以及用以修改表示该计算机系统的该用户的该化身的外观的一个或多个选项。
一种示例计算机程序产品包括一个或多个程序，该一个或多个程序被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行，该一个或多个程序包括用于以下的指令：在参与作为空间通信会话的通信会话时，其中该空间通信会话包括经由该显示生成部件在3D环境中以空间分布布置显示该通信会话中的多个参与者的表示，其中以该空间分布布置显示该多个参与者包括显示：在该3D环境中在第一非竖直方向上与彼此和该计算机系统的用户间隔开至少阈值量的该多个参与者的该表示；和在不同于该第一非竖直方向的第二非竖直方向上与彼此和该用户间隔开至少该阈值量的该多个参与者的该表示；在显示分布在该3D环境中的该多个参与者的该表示时，检测事件；以及响应于检测到该事件，将该通信会话从该空间通信会话转变为非空间通信会话，该非空间通信会话包括经由该显示生成部件以分组布置显示该通信会话的该多个参与者的至少一个子集的表示，其中在该分组布置中：该多个参与者的该表示在该3D环境中在该第一非竖直方向上彼此间隔开小于该阈值量；分组布置中第一参与者的表示具有与空间分布布置中第一参与者的表示不同的定位；以及该分组布置中第二参与者的表示具有与该空间分布布置中该第二参与者的表示不同的定位。
一种示例计算机程序产品包括一个或多个程序，该一个或多个程序被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行，该一个或多个程序包括用于以下的指令：在处于与该通信会话中的一个或多个参与者的通信会话中时，经由该一个或多个传感器检测该计算机系统的用户的注视输入；以及响应于检测到该注视输入：根据该注视输入满足一个或多个注视标准的集合的确定，经由该显示生成部件显示关于该通信会话中的第一参与者的信息；以及根据该注视输入不满足一个或多个注视标准的该集合的确定，放弃显示关于该通信会话中的该第一参与者的该信息。
需注意，上述各种实施方案可与本文所述任何其他实施方案相结合。本说明书中描述的特征和优点并不全面，具体来说，根据附图、说明书和权利要求书，许多另外的特征和优点对本领域的普通技术人员将是显而易见的。此外，应当指出，出于可读性和指导性目的，在原则上选择了本说明书中使用的语言，并且可不这样选择以描绘或界定本发明的主题。
附图说明
为了更好地理解各种所述实施方案，应结合以下附图参考下面的具体实施方式，其中相似的附图标号在所有附图中是指对应的部分。
图1A是例示根据一些实施方案的用于提供XR体验的计算机系统的操作环境的框图。
图1B至图1P是用于在图1A的操作环境中提供XR体验的计算机系统的示例。
图2是例示根据一些实施方案的计算机系统的被配置为管理和协调用户的XR体验的控制器的框图。
图3是例示根据一些实施方案的计算机系统的被配置为向用户提供XR体验的视觉组成部分的显示生成部件的框图。
图4是例示根据一些实施方案的计算机系统的被配置为捕获用户的手势输入的手跟踪单元的框图。
图5是例示根据一些实施方案的计算机系统的被配置为捕获用户的注视输入的眼睛跟踪单元的框图。
图6是例示根据一些实施方案的闪光辅助的注视跟踪流水线的流程图。
图7A至图7Q例示了根据一些实施方案的用于管理实况通信会话的示例技术。
图8是根据各种实施方案的管理实况通信会话的方法的流程图。
图9是根据各种实施方案的在实况通信会话中提供化身的方法的流程图。
图10A至图10E例示了根据一些实施方案的用于在实况通信会话中提供表示的示例技术。
图11是根据各种实施方案的在实况通信会话中提供表示的方法的流程图。
图12A至图12F例示了根据一些实施方案的用于在实况通信会话中提供信息的示例技术。
图13是根据各种实施方案的在实况通信会话中提供信息的方法的流程图。
具体实施方式
根据一些实施方案，本公开涉及用于向用户提供扩展现实(XR)体验的用户界面。
本文所述的系统、方法和GUI以多种方式改进与虚拟/增强现实环境进行的用户界面交互。
在一些实施方案中，计算机系统允许在用户之间进行实况通信。计算机系统显示多个用户的表示并且接收对多个用户中的相应用户的表示的选择。响应于接收到对相应用户的表示的选择，根据确定存在正在进行的通信会话，计算机系统显示用以邀请相应用户加入正在进行的通信会话的选项，并且根据确定不存在正在进行的通信会话，计算机系统放弃显示用以邀请相应用户加入正在进行的通信会话的选项。
在一些实施方案中，计算机系统提供用于用户改变用户的化身的外观的选项。计算机系统显示用于在实时通信会话中与其他用户通信的通信用户界面。在实时通信会话期间，用户由在实时通信会话期间根据计算机系统的用户的移动而移动的化身表示。在显示通信用户界面时，计算机系统同时显示可选择用户界面对象。在同时显示通信用户界面和可选择用户界面对象时，计算机系统检测包括指向可选择用户界面对象的选择输入的一个或多个输入。响应于检测到包括指向可选择用户界面对象的选择输入的一个或多个输入，计算机系统同时显示化身编辑用户界面，该化身编辑用户界面包括表示计算机系统的用户的化身以及用以修改表示计算机系统的用户的化身的外观的一个或多个选项。
在一些实施方案中，计算机系统在空间通信会话和非空间通信会话之间切换。在参与作为空间通信会话的通信会话时，其中该空间通信会话包括计算机系统在3D环境中以空间分布布置显示通信会话中的多个参与者的表示。以空间分布布置显示多个参与者包括显示在3D环境中在第一非竖直方向上与彼此和用户间隔开至少阈值量的多个参与者的表示，和在不同于第一非竖直方向的第二非竖直方向上与彼此和用户间隔开至少阈值量的多个参与者的表示。在显示分布在3D环境中的多个参与者的表示时，计算机系统检测事件，并且响应于检测到事件，计算机系统将通信会话从空间通信会话转变为非空间通信会话。转变为非空间通信会话包括以分组布置显示通信会话的多个参与者的至少一个子集的表示。在分组布置中，多个参与者的表示在3D环境中在第一非竖直方向上彼此间隔开小于阈值量，分组布置中第一参与者的表示具有与空间分布布置中第一参与者的表示不同的定位，并且分组布置中第二参与者的表示具有与空间分布布置中第二参与者的表示不同的定位。
在一些实施方案中，计算机系统基于用户的注视来在实况通信会话期间提供信息。在处于与通信会话中的一个或多个参与者的通信会话中时，计算机系统检测计算机系统的用户的注视输入。响应于检测到注视输入，根据注视输入满足一个或多个注视标准的集合的确定，计算机系统显示关于通信会话中的第一参与者的信息，并且根据注视输入不满足一个或多个注视标准的集合的确定，计算机系统放弃显示关于通信会话中的第一参与者的信息。
在一些实施方案中，计算机系统在用户界面的第一区域中显示内容。在一些实施方案中，在计算机系统正显示内容时并且在控件的第一集合未以第一状态显示时，计算机系统检测来自用户的第一部分的第一输入。在一些实施方案中，响应于检测到第一输入，并且根据用户的注视在检测到第一输入时指向用户界面的第二区域的确定，计算机系统在用户界面中以第一状态显示一个或多个控件的第一集合，并且根据用户的注视在检测到第一输入时未指向用户界面的第二区域的确定，计算机系统放弃以第一状态显示一个或多个控件的第一集合。
在一些实施方案中，计算机系统在用户界面中显示内容。在一些实施方案中，在显示内容时，计算机系统基于计算机系统的用户的第一部分的移动来检测第一输入。在一些实施方案中，响应于检测到第一输入，计算机系统在用户界面中显示一个或多个控件的第一集合，其中一个或多个控件的第一集合以第一状态显示并且显示在用户界面的第一区域内。在一些实施方案中，在以第一状态显示一个或多个控件的第一集合时：根据满足一个或多个第一标准的确定，该一个或多个第一标准包括在基于用户的不同于用户的第一部分的第二部分的移动来使用户的注意力指向用户界面的第一区域时满足的标准，计算机系统从以第一状态显示一个或多个控件的第一集合转变为以第二状态显示一个或多个控件的第二集合，其中第二状态不同于第一状态。
图1A至图6提供了对用于向用户提供XR体验的示例计算机系统的描述。图7A至图7Q例示了根据一些实施方案的用于管理实况通信会话的示例技术。图8是根据各种实施方案的管理实况通信会话的方法的流程图。图9是根据各种实施方案的在实况通信会话中提供化身的方法的流程图。图7A至图7Q中的用户界面用于例示图8和图9中的过程。图10A至图10E例示了根据一些实施方案的用于在实况通信会话中提供表示的示例技术。图11是根据各种实施方案的在实况通信会话中提供表示的方法的流程图。图10A至图10E中的用户界面用于例示图11中的过程。图12A至图12F例示了根据一些实施方案的用于在实况通信会话中提供信息的示例技术。图13是根据各种实施方案的在实况通信会话中提供信息的方法的流程图。图10A至图10E中的用户界面用于例示图11中的过程。
下文所述的过程通过各种技术增强了设备的可操作性并使用户-设备界面更高效(例如，通过帮助用户提供适当的输入并减少操作设备/与设备交互时的用户错误)，包括通过向用户提供改进的视觉反馈、减少执行操作所需的输入的数量、提供附加的控制选项而不会因附加的显示控件而使用户界面混乱、在条件的集合已经被满足时执行操作而无需进一步的用户输入、改进隐私性和/或安全性、在节省存储空间的同时提供更丰富、更详细和/或更逼真的用户体验、和/或附加的技术。这些技术还通过使得用户能够更快且更有效地使用设备而减少了电力使用并延长了设备的电池寿命。节省电池电量，并且因此节省重量，改进了设备的人体工程学。这些技术还使得能够进行实时通信，允许使用更少和/或不太精确的传感器，从而产生更紧凑、更轻且更便宜的设备，并且使得该设备能够在各种照明条件下使用。这些技术减少了能量使用，从而减少了由设备发出的热量，这对于可穿戴设备特别重要，其中如果完全在设备部件的操作参数内的设备产生太多热量，则对于用户来说，穿戴该设备会变得不舒服。
此外，在本文所述的其中一个或多个步骤取决于已满足一个或多个条件的方法中，应当理解，所述方法可在多次重复中重复，使得在重复的过程中，在方法的不同重复中已满足决定方法中的步骤的所有条件。例如，如果方法需要执行第一步骤(如果满足条件)，以及执行第二步骤(如果不满足条件)，则普通技术人员将了解，重复所声明的步骤，直到满足条件和不满足条件两者(不分先后)。因此，可将被描述为具有取决于已满足一个或多个条件的一个或多个步骤的方法重写为重复直到已满足该方法中所述的每个条件的方法。然而，这不需要系统或计算机可读介质声明该系统或计算机可读介质包含用于基于对应的一个或多个条件的满足来执行视情况而定的操作的指令，并且因此能够确定是否已满足可能的情况，而无需明确地重复方法的步骤直到已满足决定方法中的步骤的所有条件。本领域的普通技术人员还将理解，类似于具有视情况而定的步骤的方法，系统或计算机可读存储介质可根据需要多次重复方法的步骤，以确保已执行所有视情况而定的步骤。
在一些实施方案中，如图1A所示，XR体验经由包括计算机系统101的操作环境100被提供给用户。计算机系统101包括控制器110(例如，便携式电子设备的处理器或远程服务器)、显示生成部件120(例如，头戴式设备(HMD)、显示器、投影仪、触摸屏等)、一个或多个输入设备125(例如，眼睛跟踪设备130、手跟踪设备140、其他输入设备150)、一个或多个输出设备155(例如，扬声器160、触觉输出发生器170和其他输出设备180)、一个或多个传感器190(例如，图像传感器、光传感器、深度传感器、触觉传感器、取向传感器、接近传感器、温度传感器、位置传感器、运动传感器、速度传感器等)，以及任选地一个或多个外围设备195(例如，家用电器、可穿戴设备等)。在一些实施方案中，输入设备125、输出设备155、传感器190和外围设备195中的一者或多者与显示生成部件120集成(例如，在头戴式设备或手持式设备中)。
在描述XR体验时，各种术语用于区别地是指用户可感测并且/或者用户可与其进行交互(例如，利用由生成XR体验的计算机系统101检测到的输入进行交互，这些输入使生成XR体验的计算机系统生成与提供给计算机系统101的各种输入对应的音频、视觉和/或触觉反馈)的若干相关但不同的环境。以下是这些术语的子集：
物理环境：物理环境是指人们在没有电子系统帮助的情况下能够感测和/或交互的物理世界。物理环境诸如物理公园包括物理物品，诸如物理树木、物理建筑物和物理人。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。
扩展现实：相反，扩展现实(XR)环境是指人们经由电子系统感测和/或交互的完全或部分模拟的环境。在XR中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调整在XR环境中模拟的一个或多个虚拟对象的一个或多个特性。例如，XR系统可检测人的头部转动，并且作为响应，以与此类视图和声音在物理环境中改变的方式类似的方式调整呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，对XR环境中虚拟对象的特性的调整可响应于物理运动的表示(例如，声音命令)来进行。人可利用其感觉中的任一者来感测XR对象和/或与之交互，包括视觉、听觉、触觉、味觉和嗅觉。例如，人可感测音频对象和/或与音频对象交互，音频对象创建3D或空间音频环境，3D或空间音频环境提供3D空间中点音频源的感知。又如，音频对象可实现音频透明度，该音频透明度在有或者没有计算机生成的音频的情况下选择性地引入来自物理环境的环境声音。在某些XR环境中，人可感测和/或只与音频对象交互。
XR的示例包括虚拟现实和混合现实。
虚拟现实：虚拟现实(VR)环境是指被设计成对于一个或多个感官完全基于计算机生成的感官输入的模拟环境。VR环境包括人可感测和/或交互的多个虚拟对象。例如，树木、建筑物和代表人的化身的计算机生成的图像是虚拟对象的示例。人可通过在计算机生成的环境内人的存在的模拟和/或通过在计算机生成的环境内人的物理移动的一个子集的模拟来感测和/或与VR环境中的虚拟对象交互。
混合现实：与被设计成完全基于计算机生成的感官输入的VR环境相比，混合现实(MR)环境是指被设计成除了包括计算机生成的感官输入(例如，虚拟对象)之外还引入来自物理环境的感官输入或其表示的模拟环境。在虚拟连续体上，混合现实环境是完全物理环境作为一端和虚拟现实环境作为另一端之间的任何状况，但不包括这两端。在一些MR环境中，计算机生成的感官输入可对来自物理环境的感官输入的改变进行响应。另外，用于呈现MR环境的一些电子系统可以跟踪相对于物理环境的位置和/或取向，以使得虚拟对象能够与现实对象(也就是说，来自物理环境的物理物品或其表示)交互。例如，系统可导致移动，使得虚拟树木相对于物理地面看起来是静止的。
混合现实的示例包括增强现实和增强虚拟。
增强现实：增强现实(AR)环境是指其中一个或多个虚拟对象叠加在物理环境或物理环境的表示上方的模拟环境。例如，用于呈现AR环境的电子系统可具有透明或半透明显示器，人可透过该显示器直接查看物理环境。该系统可被配置为在透明或半透明显示器上呈现虚拟对象，使得人利用该系统感知叠加在物理环境之上的虚拟对象。另选地，系统可具有不透明显示器和一个或多个成像传感器，该成像传感器捕获物理环境的图像或视频，这些图像或视频是物理环境的表示。系统将图像或视频与虚拟对象组合，并在不透明显示器上呈现组合物。人利用系统经由物理环境的图像或视频而间接地查看物理环境，并且感知叠加在物理环境之上的虚拟对象。如本文所用，在不透明显示器上显示的物理环境的视频被称为“透传视频”，意味着系统使用一个或多个图像传感器捕获物理环境的图像，并且在不透明显示器上呈现AR环境时使用那些图像。进一步另选地，系统可以具有投射系统，该投射系统将虚拟对象投射到物理环境中，例如作为全息图或者在物理表面上，使得人利用该系统感知叠加在物理环境之上的虚拟对象。增强现实环境也是指其中物理环境的表示被计算机生成的感官信息进行转换的模拟环境。例如，在提供透传视频中，系统可对一个或多个传感器图像进行转换以施加与成像传感器所捕获的视角不同的选择视角(例如，视点)。作为另一示例，物理环境的表示可以通过图形地修改(例如，放大)其部分而进行转换，使得经修改部分可以是原始捕获图像的代表性的但不是图像逼真版本。再如，物理环境的表示可通过以图形方式消除其部分或将其部分进行模糊处理而进行转换。
增强虚拟：增强虚拟(AV)环境是指其中虚拟环境或计算机生成环境结合了来自物理环境的一项或多项感官输入的模拟环境。感官输入可以是物理环境的一个或多个特性的表示。例如，AV公园可具有虚拟树木和虚拟建筑物，但人的脸部是从对物理人拍摄的图像逼真再现的。作为另一示例，虚拟对象可采用一个或多个成像传感器所成像的物理物品的形状或颜色。再如，虚拟对象可采用符合太阳在物理环境中的定位的阴影。
在增强现实、混合现实或虚拟现实环境中，三维环境的视图对用户是可见的。三维环境的视图通常经由一个或多个显示生成部件(例如，向同一用户的不同眼睛提供立体内容的显示器或一对显示模块)通过虚拟视口对用户可见，该虚拟视口具有视口边界，该视口边界限定经由一个或多个显示生成部件对用户可见的三维环境的范围。在一些实施方案中，由视口边界限定的区域在一个或多个维度上小于用户的视觉范围(例如，基于用户的视觉范围、一个或多个显示生成部件的尺寸、光学属性或其他物理特性、和/或一个或多个显示生成部件相对于用户的眼睛的位置和/或取向)。在一些实施方案中，由视口边界限定的区域在一个或多个维度上大于用户的视觉范围(例如，基于用户的视觉范围、一个或多个显示生成部件的尺寸、光学属性或其他物理特性、和/或一个或多个显示生成部件相对于用户的眼睛的位置和/或取向)。视口和视口边界通常随着一个或多个显示生成部件的移动而移动(例如，对于头戴式设备随着用户的头部移动，或者对于诸如平板电脑或智能电话之类的手持式设备随着用户的手移动)。用户的视点确定在视口中可见的内容，视点通常指定相对于三维环境的位置和方向，并且随着视点偏移，三维环境的视图也将在视口中偏移。对于头戴式设备，视点通常基于用户的头部、面部和/或眼睛的位置、方向，以提供感知上准确的并且在用户正在使用头戴式设备时提供沉浸式体验的三维环境的视图。对于手持式或固定式设备，视点随着手持式或固定式设备的移动和/或随着用户相对于手持式或固定式设备的定位的改变而偏移(例如，用户朝向、远离、向上、向下、向右和/或向左移动)。对于包括具有虚拟透传的显示生成部件的设备，经由一个或多个显示生成部件可见(例如，显示和/或投射)的物理环境的各部分基于与显示生成部件通信的一个或多个相机的视场，该一个或多个相机通常随着显示生成部件的移动而移动(例如，对于头戴式设备随着用户的头部的移动而移动，或者对于诸如平板电脑或智能电话之类的手持式设备随着用户的手的移动而移动)，因为用户的视点随着一个或多个相机的视场的移动而移动(并且经由一个或多个显示生成部件显示的一个或多个虚拟对象的外观基于用户的视点来更新(例如，虚拟对象的显示定位和姿态基于用户的视点的移动来更新))。对于具有光学透传的显示生成部件，经由一个或多个显示生成部件可见(例如，通过显示生成部件的一个或多个部分或完全透明部分光学可见)的物理环境的各部分基于用户通过显示生成部件的部分或完全透明部分的视场(例如，对于头戴式设备随着用户头部的移动而移动，或者对于诸如平板电脑或智能电话之类的手持式设备随着用户的手的移动而移动)，因为用户的视点随着用户通过显示生成部件的部分或完全透明部分的视场的移动而移动(并且一个或多个虚拟对象的外观基于用户的视点来更新)。
在一些实施方案中，物理环境的表示(例如，经由虚拟透传或光学透传显示)可被虚拟环境部分地或完全地遮挡。在一些实施方案中，所显示的虚拟环境的量(例如，未显示的物理环境的量)基于虚拟环境的沉浸水平(例如，相对于物理环境的表示)。例如，增加沉浸水平任选地使更多的虚拟环境被显示，替换和/或遮挡更多的物理环境，并且降低沉浸水平任选地使得显示更少的虚拟环境，从而显露先前未被显示和/或遮挡的物理环境的部分。在一些实施方案中，在特定沉浸水平下，一个或多个第一背景对象(例如，在物理环境的表示中)比一个或多个第二背景对象更多地在视觉上被去强调(例如，变暗淡、变模糊、以增大的透明度显示)，并且一个或多个第三背景对象停止显示。在一些实施方案中，沉浸水平包括由计算机系统显示的虚拟内容(例如，虚拟环境和/或虚拟内容)遮挡虚拟环境周围/后面的背景内容(例如，除了虚拟环境和/或虚拟内容之外的内容)的相关联的程度，任选地包括所显示的背景内容的项目的数量和/或背景内容的所显示视觉特性(例如，颜色、对比度和/或不透明度)，经由显示生成部件显示的虚拟内容的角度范围(例如，以低沉浸度显示的内容的60度，以中等沉浸度显示的内容的120度，或以高沉浸度显示的内容的180度)，和/或由虚拟内容占用的经由显示生成部件显示的视场的比例(例如，由虚拟内容以低沉浸度占用的视场的33％，由虚拟内容以中等沉浸度占用的视场的66％，或由虚拟内容以高沉浸度占用的视场的100％)。在一些实施方案中，背景内容被包括在其上显示有虚拟内容的背景中(例如，物理环境的表示中的背景内容)。在一些实施方案中，背景内容包括用户界面(例如，由计算机系统生成的对应于应用的用户界面)、不与虚拟环境和/或虚拟内容相关联或不包括在虚拟环境和/或虚拟内容中的虚拟对象(例如，由计算机系统生成的文件或其他用户的表示等)，和/或现实对象(例如，表示用户周围的物理环境中的现实对象的透传对象，这些透传对象可见，使得它们经由显示生成部件显示和/或经由显示生成部件的透明或半透明部件可见，因为计算机系统不遮挡/阻碍它们透过显示生成部件的可见性)。在一些实施方案中，在低沉浸水平下(例如，第一沉浸水平)，背景、虚拟和/或现实对象以不被遮挡的方式显示。例如，具有低沉浸水平的虚拟环境任选地与背景内容同时显示，该背景内容任选地以全亮度、颜色和/或半透明度显示。在一些实施方案中，在较高沉浸水平下(例如，高于第一沉浸水平的第二沉浸水平)，背景、虚拟和/或现实对象以被遮挡的方式显示(例如，变暗淡、变模糊或从显示器移除)。例如，显示具有高沉浸水平的相应虚拟环境而不同时显示背景内容(例如，在全屏或完全沉浸模式中)。作为另一示例，以中等沉浸水平显示的虚拟环境与变暗、变模糊或以其他方式被去强调的背景内容同时显示。在一些实施方案中，背景对象的视觉特性在背景对象之间有所不同。例如，在特定沉浸水平下，一个或多个第一背景对象比一个或多个第二背景对象更多地在视觉上被去强调(例如，变暗淡、变模糊和/或以增大的透明度显示)，并且一个或多个第三背景对象停止显示。在一些实施方案中，零沉浸度或零沉浸水平对应于停止显示的虚拟环境，并且作为代替显示物理环境的表示(任选地具有一个或多个虚拟对象，诸如应用、窗口或虚拟三维对象)，而物理环境的表示不被虚拟环境遮挡。使用物理输入元素调整沉浸水平提供了调整沉浸度的快速且高效的方法，这增强了计算机系统的可操作性并且使得用户-设备界面更高效。
视点锁定的虚拟对象：当计算机系统在用户视点中的相同位置和/或定位处显示虚拟对象时，即使用户的视点偏移(例如，改变)，虚拟对象也是视点锁定的。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的前向方向(例如，当用户直视前方时，用户的视点是用户视场的至少一部分)；因此，在不移动用户的头部的情况下，即使在用户的注视偏移时，用户的视点也保持固定。在其中计算机系统具有可相对于用户的头部重新定位的显示生成部件(例如，显示屏幕)的实施方案中，用户的视点是在计算机系统的显示生成部件上呈现给用户的增强现实视图。例如，当用户的视点处于第一取向(例如，用户头部面向北)时在用户的视点的左上角中显示的视点锁定的虚拟对象继续在用户的视点的左上角中显示，即使在用户的视点改变到第二取向(例如，用户头部面向西)时也是如此。换句话讲，在用户的视点中显示视点锁定的虚拟对象的位置和/或定位与用户在物理环境中的定位和/或取向无关。在其中计算机系统是头戴式设备的实施方案中，用户的视点被锁定到用户的头部的取向，使得虚拟对象也被称为“头部锁定虚拟对象”。
环境锁定的视觉对象：当计算机系统在用户的视点中的位置和/或定位处显示虚拟对象时，虚拟对象是环境锁定的(另选地，“世界锁定的”)，该位置和/或定位基于三维环境(例如，物理环境或虚拟环境)中的位置和/或对象(例如，参考该位置和/或对象而选择和/或锚定到该位置和/或对象)。随着用户的视点偏移，环境中相对于用户的视点的位置和/或对象改变，这导致环境锁定的虚拟对象显示在用户视点中的不同位置和/或定位处。例如，锁定到紧接在用户前面的树木上的环境锁定的虚拟对象显示在用户的视点的中心处。当用户的视点向右偏移(例如，用户头部向右转动)使得树木现在在用户的视点中处于中心左侧(例如，用户的视点中的树木定位偏移)时，锁定到树木上的环境锁定的虚拟对象在用户的视点中显示在中心左侧。换句话讲，在用户的视点中显示环境锁定的虚拟对象的位置和/或定位取决于环境中虚拟对象被锁定到其上的位置和/或对象的定位和/或取向。在一些实施方案中，计算机系统使用静止的参照系(例如，在物理环境中锚定到固定位置和/或对象的坐标系)，以便确定在用户的视点中显示环境锁定的虚拟对象的定位。环境锁定的虚拟对象可被锁定到环境的静止部分(例如，地板、墙壁、桌子或其他静止对象)，或可被锁定到环境的可移动部分(例如，车辆、动物、人或甚至独立于用户的视点移动的用户身体的一部分诸如用户的手、手腕、手臂或脚的表示)使得虚拟对象随着视点或环境的该部分移动而移动以保持虚拟对象和环境的该部分之间的固定关系。
在一些实施方案中，环境锁定或视点锁定的虚拟对象表现出惰性跟随行为，其相对于虚拟对象所跟随的参考点的移动而减少或延迟环境锁定或视点锁定的虚拟对象的移动。在一些实施方案中，在表现出惰性跟随行为时，当检测到虚拟对象正在跟随的参考点(例如，环境的一部分、视点或相对于视点固定的点，诸如距离视点5cm至300cm之间的点)的移动时，计算机系统有意地延迟虚拟对象的移动。例如，当参考点(例如，环境的部分或视点)以第一速度移动时，虚拟对象被设备移动以保持锁定到参考点，但以相较于第一速度更慢的第二速度移动(例如，直到参考点停止移动或减慢，此时虚拟对象开始赶上参考点)。在一些实施方案中，当虚拟对象表现出惰性跟随行为时，设备忽略参考点的少量移动(例如，忽略参考点低于阈值移动量的移动，诸如移动0至5度或移动0至50cm)。例如，当参考点(例如，虚拟对象被锁定到的环境的部分或视点)移动第一量时，参考点和虚拟对象之间的距离增大(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的定位)，并且当参考点(例如，虚拟对象被锁定到的环境的部分或视点)移动大于第一量的第二量时，参考点和虚拟对象之间的距离初始增大(例如，因为虚拟对象正被显示以便保持相对于与虚拟对象被锁定到的参考点不同的视点或环境的部分固定或基本上固定的定位)，然后在参考点的移动量增大到高于阈值(例如，“惰性跟随”阈值)时减小，因为虚拟对象被计算机系统移动以保持相对于参考点固定或基本上固定的定位。在一些实施方案中，虚拟对象保持相对于参考点基本上固定的定位包括虚拟对象在一个或多个维度(例如，相对于参考点的定位的上/下、左/右和/或向前/向后)中在参考点的阈值距离(例如，1cm、2cm、3cm、5cm、15cm、20cm、50cm)内显示。
硬件：存在许多不同类型的电子系统，这些电子系统使得人能够感测各种XR环境和/或与各种XR环境进行交互。示例包括头戴式系统、基于投射的系统、平视显示器(HUD)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为被设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持控制器)、智能电话、平板设备和台式/膝上型计算机。头戴式系统可包括集成到头戴式系统中以用于提供音频输出的扬声器和/或其他音频输出设备。头戴式系统可具有一个或多个扬声器和集成的不透明显示器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有介质，通过该介质，代表图像的光被引导到人的眼睛。显示器可利用数字光投射、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任何组合。介质可以是光学波导、全息图介质、光学组合器、光学反射器、或它们的任何组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投射的系统可采用将图形图像投射到人的视网膜上的视网膜投射技术。投射系统也可被配置为将虚拟对象投射到物理环境中，例如作为全息图或在物理表面上。在一些实施方案中，控制器110被配置为管理和协调用户的XR体验。在一些实施方案中，控制器110包括软件、固件和/或硬件的合适组合。下文相对于图2更详细地描述了控制器110。在一些实施方案中，控制器110是相对于场景105(例如，物理环境)处于本地或远程位置的计算设备。例如，控制器110是位于场景105内的本地服务器。又如，控制器110是位于场景105之外的远程服务器(例如，云服务器、中央服务器等)。在一些实施方案中，控制器110经由一个或多个有线或无线通信通道144(例如，蓝牙、IEEE802.11x、IEEE 802.16x、IEEE 802.3x等)与显示生成部件120(例如，HMD、显示器、投影仪、触摸屏等)通信地耦接。在另一个示例中，控制器110包括在显示生成部件120(例如，HMD或包括显示器和一个或多个处理器的便携式电子设备等)、输入设备125中的一个或多个输入设备、输出设备155中的一个或多个输出设备、传感器190中的一个或多个传感器和/或外围装设备195中的一个或多个外围装设备的壳体(例如，物理外壳)内，或者与上述设备中的一者或多者共享相同的物理壳体或支撑结构。
在一些实施方案中，显示生成部件120被配置为向用户提供XR体验(例如，至少XR体验的视觉组成部分)。在一些实施方案中，显示生成部件120包括软件、固件和/或硬件的合适组合。下文相对于图3更详细地描述了显示生成部件120。在一些实施方案中，控制器110的功能由显示生成部件120提供和/或与该显示生成部件组合。
根据一些实施方案，当用户虚拟地和/或物理地存在于场景105内时，显示生成部件120向用户提供XR体验。
在一些实施方案中，显示生成部件穿戴在用户身体的一部分上(例如，他/她的头部上、他/她的手上等)。这样，显示生成部件120包括被提供用于显示XR内容的一个或多个XR显示器。例如，在各种实施方案中，显示生成部件120包围用户的视场。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的手持式设备(诸如智能电话或平板设备)，并且用户保持具有指向用户的视场的显示器和指向场景105的相机的设备。在一些实施方案中，手持式设备被任选地放置在穿戴在用户的头部上的壳体内。在一些实施方案中，手持式设备被任选地放置在用户前面的支撑件(例如，三脚架)上。在一些实施方案中，显示生成部件120是被配置为呈现XR内容的XR室、壳体或房间，其中用户不穿戴或保持显示生成部件120。参考用于显示XR内容的一种类型的硬件(例如，手持式设备或三脚架上的设备)描述的许多用户界面可在用于显示XR内容的另一种类型的硬件(例如，HMD或其他可穿戴计算设备)上实现。例如，示出基于发生在手持式设备或三脚架安装的设备前面的空间中的交互而触发的与XR内容的交互的用户界面可类似地用HMD来实现，其中交互发生在HMD前面的空间中，并且对XR内容的响应经由HMD来显示。类似地，示出基于手持式设备或三脚架安装的设备相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手))的移动而触发的与XR内容的交互的用户界面可类似地用HMD来实现，其中移动是由HMD相对于物理环境(例如，场景105或用户身体的一部分(例如，用户的眼睛、头部或手))的移动引起的。
虽然在图1A中示出了操作环境100的相关特征，但本领域的普通技术人员将从本公开中了解，为了简洁起见并且为了不模糊本文所公开的示例实施方案的更多相关方面，未例示各种其他特征。
图1A至图1P例示了用于执行方法并且提供音频、视觉和/或触觉反馈作为本文所述的用户界面的一部分的计算机系统的各种示例。在一些实施方案中，计算机系统包括用于向计算机系统的用户显示虚拟元素和/或物理环境的表示的一个或多个显示生成部件(例如，第一显示部件1-120a和第二显示部件1-120b和/或第一光学模块11.1.1-104a和第二光学模块11.1.1-104b)，该表示任选地基于检测到的事件和/或由计算机系统检测到的用户输入来生成。由计算机系统生成的用户界面任选地由一个或多个矫正透镜11.3.2-216矫正，该一个或多个矫正透镜任选地可移除地附接到光学模块中的一个或多个光学模块，以使得用户界面更容易被原本会使用眼镜或隐形眼镜来矫正他们的视力的用户查看。虽然本文例示的许多用户界面示出了用户界面的单个视图，但HMD中的用户界面任选地使用两个光学模块(例如，第一显示组件1-120a和第二显示组件1-120b和/或第一光学模块11.1.1-104a和第二光学模块11.1.1-104b)来显示，一个光学模块用于用户的右眼并且不同的光学模块用于用户的左眼，并且向两个不同的眼睛呈现略微不同的图像以生成立体深度的错觉，用户界面的单个视图通常是右眼视图或左眼视图，深度效果在文本中或使用其他示意图或视图进行解释。在一些实施方案中，计算机系统包括用于向计算机系统的用户(当计算机系统未被穿戴时)和/或向计算机系统附近的其他人显示计算机系统的状况信息的一个或多个外部显示器(例如，显示组件1-108)，该状况信息任选地基于检测到的事件和/或由计算机系统检测到的用户输入来生成。在一些实施方案中，计算机系统包括用于生成音频反馈的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由计算机系统检测到的用户输入来生成。在一些实施方案中，计算机系统包括用于检测输入的一个或多个输入设备，诸如用于检测关于设备的物理环境的信息的一个或多个传感器(例如，传感器组件1-356和/或图1I中的一个或多个传感器)，该一个或多个传感器可用于(任选地结合一个或多个照明器，诸如图1I中所述的照明器)生成数字透传图像、捕获对应于物理环境的视觉媒体(例如，照片和/或视频)、或确定物理环境中的物理对象和/或表面的姿态(例如，定位和/或取向)，使得虚拟对象能够基于物理对象和/或表面的检测到的姿态而被放置。在一些实施方案中，计算机系统包括用于检测输入的一个或多个输入设备，诸如用于检测手定位和/或移动的一个或多个传感器(例如，传感器组件1-356和/或图1I中的一个或多个传感器)，该一个或多个传感器可用于(任选地结合一个或多个照明器，诸如图1I中所述的照明器6-124)确定何时执行了一个或多个空中手势。在一些实施方案中，计算机系统包括用于检测输入的一个或多个输入设备，诸如用于检测眼睛移动的一个或多个传感器(例如，图1I中的眼睛跟踪和注视跟踪传感器)，该一个或多个传感器可用于(任选地结合一个或多个灯，诸如图1O中的灯11.3.2-110)确定注意力或注视定位和/或注视移动，这些位置和/或移动可任选地用于基于注视移动和/或停留来检测仅注视的输入。上述各种传感器的组合可用于确定用户面部表情和/或手移动以用于生成用户的化身或表示，诸如用于实时通信会话的拟人化身或表示，其中化身具有基于或类似于设备的用户的检测到的面部表情、手移动和/或身体移动的面部表情、手移动和/或身体移动。注视和/或注意力信息任选地与手跟踪信息组合以基于直接和/或间接输入来确定用户与一个或多个用户界面之间的交互，该直接和/或间接输入诸如空中手势或使用一个或多个硬件输入设备的输入，该硬件输入设备诸如一个或多个按钮(例如，第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328)、旋钮(例如，第一按钮1-128、按钮11.1.1-114和/或拨盘或按钮1-328)、数字表冠(例如，可按压并且可扭转或可旋转的第一按钮1-128、按钮11.1.1-114和/或拨盘或按钮1-328)、触控板、触摸屏、键盘、鼠标和/或其他输入设备。一个或多个按钮(例如，第一按钮1-128、按钮11.1.1-114、第二按钮1-132和/或拨盘或按钮1-328)任选地用于执行系统操作，诸如重新居中对设备的用户可见的三维环境中的内容、显示用于启动应用的主用户界面、开始实时通信会话、或发起虚拟三维背景的显示。旋钮或数字表冠(例如，可按压并且可扭转或可旋转的第一按钮1-128、按钮11.1.1-114和/或拨盘或按钮1-328)任选地可旋转以调整视觉内容的参数，诸如虚拟三维环境的沉浸水平(例如，虚拟内容在三维环境中占据用户视口的程度)或与三维环境和经由光学模块(例如，第一显示组件1-120a和第二显示组件1-120b和/或第一光学模块11.1.1-104a和第二光学模块11.1.1-104b)显示的虚拟内容相关联的其他参数。
图1B例示了被配置为由用户穿上并且提供虚拟和更改/混合现实(VR/AR)体验的头戴式显示(HMD)设备1-100的示例的前视图、顶视图、透视图。HMD 1-100可包括显示单元1-102或组件、连接到显示单元1-102并从该显示单元延伸的电子条带组件1-104，以及在任一端固定到电子条带组件1-104的带组件1-106。电子条带组件1-104和带1-106可以是保持组件的一部分，该保持组件被配置为缠绕在用户的头部周围以保持显示单元1-102抵靠用户的面部。
在至少一个示例中，带组件1-106可包括被配置为缠绕在用户的头部后侧的第一带1-116和被配置为在用户的头部的顶部上方延伸的第二带1-117。如图所示，第二带可在电子条带组件1-104的第一电子条带1-105a与第二电子条带1-105b之间延伸。条带组件1-104和带组件1-106可以是固定机构的一部分，该固定机构从显示单元1-102向后延伸并且被配置为保持显示单元1-102抵靠用户的面部。
在至少一个示例中，固定机构包括第一电子条带1-105a，该第一电子条带包括耦接到显示单元1-102(例如，显示单元1-102的外壳1-150)的第一近端1-134和与第一近端1-134相对的第一远端1-136。固定机构还可包括第二电子条带1-105b，该第二电子条带包括耦接到显示单元1-102的外壳1-150的第二近端1-138和与第二近端1-138相对的第二远端1-140。固定机构还可包括第一带1-116和第二带1-117，第一带包括耦接到第一远端1-136的第一端1-142以及耦接到第二远端1-140的第二端1-144，并且第二带在第一电子条带1-105a与第二电子条带1-105b之间延伸。条带1-105a-b和带1-116可经由连接机构或组件1-114耦接。在至少一个示例中，第二带1-117包括在第一近端1-134与第一远端1-136之间耦接到第一电子条带1-105a的第一端1-146以及在第二近端1-138与第二远端1-140之间耦接到第二电子条带1-105b的第二端1-148。
在至少一个示例中，第一和第二电子条带1-105a-b包括塑料、金属或形成基本上刚性的条带1-105a-b形状的其他结构材料。在至少一个示例中，第一带1-116和第二带1-117由包括编织纺织品、橡胶等的弹性柔性材料形成。第一带1-116和第二带1-117可以是柔性的以在穿上HMD 1-100时适形于用户头部的形状。
在至少一个示例中，第一和第二电子条带1-105a-b中的一者或多者可限定内部条带体积并且包括设置在内部条带体积中的一个或多个电子部件。在一个示例中，如图1B所示，第一电子条带1-105a可包括电子部件1-112。在一个示例中，电子部件1-112可包括扬声器。在一个示例中，电子部件1-112可包括计算部件，诸如处理器。
在至少一个示例中，外壳1-150限定了第一前置开口1-152。前置开口在图1B中以虚线标示为1-152，这是因为显示组件1-108被设置成在组装HMD 1-100时从视场中遮挡第一开口1-152。外壳1-150还可限定后置第二开口1-154。外壳1-150还限定了第一开口1-152与第二开口1-154之间的内部体积。在至少一个示例中，HMD 1-100包括显示组件1-108，该显示组件可包括设置在前开口1-152中或跨该前开口以遮挡前开口1-152的前盖和显示屏幕(在其他图中示出)。在至少一个示例中，显示组件1-108的显示屏幕以及通常的显示组件1-108具有被配置为跟随用户面部的曲率的曲率。显示组件1-108的显示屏幕可以如图所示弯曲以与用户的面部特征和从面部的一侧到另一侧的总体曲率互补，例如从左到右和/或从顶部到底部，其中显示单元1-102被按下。
在至少一个示例中，外壳1-150可限定第一开口1-152与第二开口1-154之间的第一孔1-126以及第一开口1-152与第二开口1-154之间的第二孔1-130。HMD 1-100还可包括设置在第一孔1-128中的第一按钮1-126，以及设置在第二孔1-130中的第二按钮1-132。第一按钮1-128和第二按钮1-132能够通过相应的孔1-126、1-130被按压。在至少一个示例中，第一按钮1-126和/或第二按钮1-132可以是可扭转拨盘以及可按压按钮。在至少一个示例中，第一按钮1-128是可按压并且可扭转的拨盘按钮，并且第二按钮1-132是可按压按钮。
图1C例示了HMD 1-100的后透视图。HMD 1-100可包括从显示组件1-108的外壳1-150围绕外壳1-150的周边向后延伸的光密封件1-110，如图所示。光密封件1-110可被配置为从外壳1-150延伸到用户的面部，围绕用户的眼睛，以阻挡外部光可见。在一个示例中，HMD 1-100可包括第一显示组件1-120a和第二显示组件1-120b，这些显示组件设置在由外壳1-150限定的面向后的第二开口1-154处或其中和/或设置在外壳1-150的内部体积中并且被配置为通过第二开口1-154投射光。在至少一个示例中，每个显示组件1-120a-b可包括相应的显示屏幕1-122a、1-122b，这些显示屏幕被配置为在向后方向上通过第二开口1-154朝向用户的眼睛投射光。
在至少一个示例中，参考图1B和图1C两者，显示组件1-108可以是包括被配置为在第一向前方向上投射光的显示屏幕的前置向前显示组件，并且后置显示屏幕1-122a-b可被配置为在与第一方向相反的第二向后方向上投射光。如上所述，光密封件1-110可被配置为阻挡HMD 1-100外部的光到达用户的眼睛，包括由图1B的前透视图中示出的显示器组件1-108的前向显示屏幕投射的光。在至少一个示例中，HMD 1-100还可包括遮挡外壳1-150与后置显示组件1-120a-b之间的第二开口1-154的幕帘1-124。在至少一个示例中，幕帘1-124可以是弹性的或至少部分弹性的。
图1B和图1C所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1D至图1F所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1D至图1F所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1B和图1C所示的设备、特征、部件和零件的示例中。
图1D例示了HMD 1-200的示例的分解视图，该HMD包括根据那些零件的模块化和选择性耦接而分离的各种部分或零件。例如，HMD 1-200可包括带1-216，该带可选择性地耦接到第一电子条带1-205a和第二电子条带1-205b。第一固定条带1-205a可包括第一电子部件1-212a，并且第二固定条带1-205b可包括第二电子部件1-212b。在至少一个示例中，第一和第二条带1-205a-b能够可移除地耦接到显示单元1-202。
此外，HMD 1-200可包括被配置为可移除地耦接到显示单元1-202的光密封件1-210。HMD 1-200还可包括透镜1-218，该透镜可例如在包括显示屏幕的第一组件和第二显示组件上可移除地耦接到显示单元1-202。透镜1-218可包括被配置用于矫正视力的定制处方透镜。如所指出的，在图1D的分解视图中示出并且在上文描述的每个零件能够被可移除地耦接、附接、重新附接以及更换以更新零件或者为不同的用户换出零件。例如，带诸如带1-216、光密封件诸如光密封件1-210、透镜诸如透镜1-218，以及电子条带诸如电子条带1-205a-b可根据用户而被换出，使得这些部分被定制为贴合并且对应于HMD 1-200的单个用户。
图1D所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1B、图1C和图1E至图1F所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1B、图1C和图1E至图1F所示或所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1D所示的设备、特征、部件和零件的示例中。
图1E例示了HMD的显示单元1-306的示例的分解视图。显示单元1-306可包括前显示组件1-308、框架/外壳组件1-350和幕帘组件1-324。显示单元1-306还可包括设置在框架组件1-356与前显示组件1-308之间的传感器组件1-350、逻辑板组件1-358和冷却组件1-360。在至少一个示例中，显示单元1-306还可包括后置显示组件1-320，该后置显示组件包括设置在框架1-350与幕帘组件1-324之间的第一后置显示屏幕1-322a和第二后置显示屏幕1-322b。
在至少一个示例中，显示单元1-306还可包括马达组件1-362，该马达组件被配置作为用于调整显示组件1-320的显示屏幕1-322a-b相对于框架1-350的定位的调整机构。在至少一个示例中，显示组件1-320机械地耦接到马达组件1-362，每个显示屏幕1-322a-b具有至少一个马达，使得马达能够平移显示屏幕1-322a-b以匹配用户的眼睛的瞳孔间距。
在至少一个示例中，显示单元1-306可包括拨盘或按钮1-328，该拨盘或按钮可相对于框架1-350按压并且可由框架1-350之外的用户访问。按钮1-328可经由控制器电连接到马达组件1-362，使得按钮1-328可由用户操纵以使马达组件1-362的马达调整显示屏幕1-322a-b的定位。
图1E所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1B至图1D和图1F所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1B至图1D和图1F所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1E所示的设备、特征、部件和零件的示例中。
图1F例示了类似于本文所述的其他HMD设备的HMD设备的显示单元1-406的另一示例的分解视图。显示单元1-406可包括前显示组件1-402、传感器组件1-456、逻辑板组件1-458、冷却组件1-460、框架组件1-450、后置显示组件1-421和幕帘组件1-424。显示单元1-406还可包括马达组件1-462，该马达组件用于调整后置显示组件1-421的第一显示子组件1-420a和第二显示子组件1-420b的定位，包括用于瞳孔间调整的第一相应显示屏幕和第二相应显示屏幕，如上所述。
图1F的分解视图所示的各种零件、系统和组件在本文中参考图1B至图1E以及本公开中所参考的后续图更详细地描述。图1F所示的显示单元1-406可与图1B至图1E所示的固定机构组装和集成，这些固定机构包括电子条带、带以及包括光密封件、连接组件等的其他部件。
图1F所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1B至图1E所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1B至图1E所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1F所示的设备、特征、部件和零件的示例中。
图1G例示了本文所述的HMD设备的前盖组件3-100的透视分解视图，例如图1G所示的HMD 3-100的前盖组件3-1或本文所示和所述的任何其他HMD设备。图1G所示的前盖组件3-100可包括透明或半透明盖3-102、护罩3-104(或“遮蓬”)、粘合剂层3-106、包括双凸透镜面板或阵列3-110的显示组件3-108，以及结构装饰件3-112。粘合剂层3-106可将护罩3-104和/或透明盖3-102固定到显示器组件3-108和/或装饰件3-112。装饰件3-112可将前盖组件3-100的各种部件固定到HMD设备的框架或底座。
在至少一个示例中，如图1G所示，包括双凸透镜阵列3-110的透明盖3-102、护罩3-104和显示组件3-108可被弯曲以适应用户面部的曲率。透明盖3-102和护罩3-104可在两个或三个维度上弯曲，例如，在Z-X平面内外沿Z方向竖直弯曲，在Z-X平面内外沿X方向水平弯曲。在至少一个示例中，显示组件3-108可包括双凸透镜阵列3-110以及具有像素的显示面板，这些像素被配置为通过护罩3-104和透明盖3-102投射光。显示组件3-108可在至少一个方向(例如，水平方向)上弯曲，以适应用户的面部从面部的一侧(例如，左侧)到另一侧(例如，右侧)的曲率。在至少一个示例中，显示组件3-108的每个层或部件(其将在随后的附图中示出并且更详细地描述，但是其可包括双凸透镜阵列3-110和显示层)可在水平方向上类似地或同心地弯曲以适应用户面部的曲率。
在至少一个示例中，护罩3-104可包括透明或半透明材料，显示组件3-108通过该透明或半透明材料投射光。在一个示例中，护罩3-104可包括一个或多个不透明部分，例如在护罩3-104的背面上的不透明墨印刷部分或其他不透明膜部分。当HMD设备被穿上时，后表面可以是护罩3-104面向用户的眼睛的表面。在至少一个示例中，不透明部分可在护罩3-104的与后表面相对的前表面上。在至少一个示例中，护罩3-104的一个或多个不透明部分可包括周边部分，该周边部分在视觉上隐藏围绕显示组件3-108的显示屏幕的外周边的任何部件。以这种方式，护罩的不透明部分隐藏了HMD设备的原本会通过透明或半透明盖3-102和/或护罩3-104可见的任何其他部件，包括电子部件、结构部件等。
在至少一个示例中，护罩3-104可限定一个或多个孔透明部分3-120，传感器可通过这些孔透明部分传送和接收信号。在一个示例中，部分3-120是孔，传感器可延伸通过该孔或者通过该孔传送和接收信号。在一个示例中，部分3-120是透明部分，或者比护罩的周围半透明或不透明部分更加透明的部分，通过这些部分，传感器可通过护罩并通过透明盖3-102传送和接收信号。在一个示例中，传感器可包括相机、IR传感器、LUX传感器，或HMD设备的任何其他视觉或非视觉环境传感器。
图1G所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，本文所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1G所示的设备、特征、部件和零件的示例中。
图1H例示了HMD设备6-100的示例的分解视图。HMD设备6-100可包括传感器阵列或系统6-102，该传感器阵列或系统包括安装到HMD 6-100的一个或多个部件的一个或多个传感器、相机、投影仪等。在至少一个示例中，传感器系统6-102可包括托架1-338，传感器系统6-102的一个或多个传感器可固定/紧固在该托架上。
图1I例示了包括前透明盖6-104和传感器系统6-102的HMD设备6-100的一部分。传感器系统6-102可包括多个不同的传感器、发射器、接收器，包括相机、IR传感器、投影仪等。透明盖6-104被例示在传感器系统6-102的前面，以例示各种传感器和发射器的相对定位以及系统6-102的每个传感器/发射器的取向。如本文所引用，“侧向”、“侧面”、“横向”、“水平”和其他类似术语是指如图1J所示的X轴所指示的取向或方向。术语诸如“竖直”、“向上”、“向下”以及类似术语是指如图1J所示的Z轴所指示的取向或方向。术语诸如“向前”、“向后”、“前向”、“后向”以及类似术语是指如图1J所示的Y轴所指示的取向或方向。
在至少一个示例中，透明盖6-104可限定HMD设备6-100的前外表面，并且包括各种传感器及其部件的传感器系统6-102可在Y轴/方向上设置在盖6-104的后面。盖6-104可以是透明的或半透明的，以允许光穿过盖6-104，包括由传感器系统6-102检测到的光和由此发射的光两者。
如本文其他地方所述，HMD设备6-100可包括一个或多个控制器，这些控制器包括用于将传感器系统6-102的各种传感器和发射器与一个或多个母板、处理单元和其他电子设备诸如显示屏幕等电耦接的处理器。此外，如以下将参考其他附图更详细地示出的，传感器系统6-102的各种传感器、发射器和其他部件可被耦接到图1I中未示出的HMD设备6-100的各种结构框架构件、托架等。为了例示清楚起见，图1I示出了传感器系统6-102的部件与其他部件未附接并且未电耦接。
在至少一个示例中，该设备可包括一个或多个控制器，这些控制器具有被配置为执行存储在电耦接到处理器的存储器部件上的指令的处理器。这些指令可包括一个或多个算法或使处理器执行该一个或多个算法，这些算法用于随时间的推移随着相机的初始定位、角度或方向由于意外掉落事件或其他事件而发生碰撞或变形来自我校正本文所述的各种相机的角度和定位。
在至少一个示例中，传感器系统6-102可包括一个或多个场景相机6-106。系统6-102可包括两个场景相机6-102，分别设置在HMD设备6-100的鼻梁或拱形结构的两侧，使得这两个相机6-106中的每一者大致对应于用户在盖6-103后面的左眼和右眼的定位。在至少一个示例中，场景相机6-106通常在Y方向上向前取向以在HMD 6-100的使用期间捕获用户前方的图像。在至少一个示例中，场景相机是彩色相机，并且当使用HMD设备6-100时，提供用于MR视频透传的图像和内容到面向用户的眼睛的显示屏幕。场景相机6-106还可用于环境和对象重建。
在至少一个示例中，传感器系统6-102可包括通常在Y方向上向前指向的第一深度传感器6-108。在至少一个示例中，第一深度传感器6-108可用于环境和对象重建以及用户的手和身体跟踪。在至少一个示例中，传感器系统6-102可包括沿着HMD设备6-100的宽度(例如，沿着X轴)居中设置的第二深度传感器6-110。例如，第二深度传感器6-110可被设置在中央鼻梁上方或用户在穿上HMD 6-100时鼻子上方的适配结构上。在至少一个示例中，第二深度传感器6-110可用于环境和对象重建以及手和身体跟踪。在至少一个示例中，第二深度传感器可包括LIDAR传感器。
在至少一个示例中，传感器系统6-102可包括深度投影仪6-112，该深度投影仪通常面向前以将电磁波(例如，以预先确定的光点图案的形式)投射到用户和/或场景相机6-106的视场中或视场内，或者投射到包括并且超出用户和/或场景相机6-106的视场的视场中或视场内。在至少一个示例中，深度投影仪能够以点光图案的形式投射光的电磁波，这些电磁波从对象反射并回到上述深度传感器中，包括深度传感器6-108、6-110。在至少一个示例中，深度投影仪6-112可用于环境和对象重建以及手和身体跟踪。
在至少一个示例中，传感器系统6-102可包括面向下的相机6-114，其视场通常在Z轴上相对于HDM设备6-100指向下。在至少一个示例中，向下相机6-114可如图所示设置在HMD设备6-100的左侧和右侧上并且用于手和身体跟踪、头戴式耳机跟踪以及面部化身检测和创建以用于在本文其他地方所述的HMD设备6-100的前向显示屏幕上显示用户化身。例如，向下相机6-114可用于捕获HMD设备6-100下方的用户面部的面部表情和移动，包括脸颊、嘴部和下巴。
在至少一个示例中，传感器系统6-102可包括下颌相机6-116。在至少一个示例中，下颌相机6-116可如图所示设置在HMD设备6-100的左侧和右侧上并且用于手和身体跟踪、头戴式耳机跟踪以及面部化身检测和创建以用于在本文其他地方所述的HMD设备6-100的前向显示屏幕上显示用户化身。例如，下颌相机6-116可用于捕获HMD设备6-100下方的用户面部的面部表情和移动，包括用户的下颌、脸颊、嘴部和下巴。用于手和身体跟踪、头戴式耳机跟踪和面部化身
在至少一个示例中，传感器系统6-102可包括侧相机6-118。侧相机6-118可被取向成在X轴或相对于HMD设备6-100的方向上捕获左侧和右侧视图。在至少一个示例中，侧相机6-118可用于手和身体跟踪、头戴式耳机跟踪以及面部化身检测和重新创建。
在至少一个示例中，传感器系统6-102可包括用于在使用期间和/或使用之前确定身份、状况和用户的眼睛的注视方向的多个眼睛跟踪和注视跟踪传感器。在至少一个示例中，眼睛/注视跟踪传感器可包括鼻眼相机6-120，该鼻眼相机被设置在用户的鼻子的任一侧上，并且在穿上HMD设备6-100时邻近用户的鼻子。眼睛/注视传感器还可包括设置在相应用户眼睛下方的用于捕获眼睛的图像以用于面部化身检测和创建、注视跟踪和虹膜标识功能的底部眼睛相机6-122。
在至少一个示例中，传感器系统6-102可包括红外照明器6-124，该红外照明器从HMD设备6-100向外指向以利用IR光照射外部环境以及其中的任何对象，以便利用传感器系统6-102的一个或多个IR传感器进行IR检测。在至少一个示例中，传感器系统6-102可包括闪烁传感器6-126和环境光传感器6-128。在至少一个示例中，闪烁传感器6-126可检测顶灯光刷新速率以避免显示器闪烁。在一个示例中，红外照明器6-124可包括发光二极管，并且可特别地用于低光环境，以用于在低光中照射用户的手和其他对象，以便由传感器系统6-102的红外传感器检测。
在至少一个示例中，多个传感器(包括场景相机6-106、向下相机6-114、下颌相机6-116、侧相机6-118、深度投影仪6-112和深度传感器6-108、6-110)可与电耦接控制器组合使用，以将深度数据与相机数据组合，用于手跟踪和用于尺寸确定，以便更好地进行HMD设备6-100的手跟踪以及对象识别和跟踪功能。在至少一个示例中，上文所述并在图1I中示出的向下相机6-114、下颌相机6-116和侧相机6-118可以是能够在可见和红外光谱中工作的广角相机。在至少一个示例中，这些相机6-114、6-116、6-118可仅在黑白光检测中工作以简化图像处理并获得灵敏度。
图1I所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1J至图1L所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1J至图1L所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1I所示的设备、特征、部件和零件的示例中。
图1J例示了包括固定到框架6-230的盖或护罩6-204的HMD 6-200的示例的下部透视图。在至少一个示例中，传感器系统6-203的传感器6-202可围绕HDM 6-200的周边设置，使得传感器6-203围绕显示区域或区带6-232的周边向外设置，以便不阻碍对所显示的光的查看。在至少一个示例中，传感器可设置在护罩6-204后面并且与护罩的透明部分对准，从而允许传感器和投影仪允许光来回通过护罩6-204。在至少一个示例中，不透明墨或其他不透明材料或膜/层可围绕显示区带6-232设置在护罩6-204上以将HMD 6-200的部件隐藏在显示区带6-232之外而不是由不透明部分限定的透明部分，传感器和投影仪在操作期间通过该不透明部分传送和接收光和电磁信号。在至少一个示例中，护罩6-204允许光从显示器(例如，在显示区域6-232内)穿过，但不允许光从围绕显示器和护罩6-204的周边的显示区域径向向外穿过。
在一些示例中，护罩6-204包括透明部分6-205和不透明部分6-207，如上文和本文其他地方所述。在至少一个示例中，护罩6-207的不透明部分6-204可限定一个或多个透明区域6-209，传感器系统6-202的传感器6-203可通过该透明区域传送和接收信号。在例示的示例中，传感器系统6-202的传感器6-203通过护罩6-204传送和接收信号，或者更具体地通过护罩6-204的不透明部分6-207的透明区域6-209(或由其限定)传送和接收信号，该传感器可包括与图1I的示例中所示的那些相同或类似的传感器，例如深度传感器6-108和6-110、深度投影仪6-112、第一场景相机和第二场景相机6-106、第一向下相机和第二向下相机6-114、第一侧相机和第二侧相机6-118以及第一红外照明器和第二红外照明器6-124。这些传感器也在图1K和图1L的示例中示出。其他传感器、传感器类型、传感器数量和它们的相对定位可包括在HMD的一个或多个其他示例中。
图1J所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1I和图1K至图1L所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1I和图1K至图1L所示或所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1J所示的设备、特征、部件和零件的示例中。
图1K例示了HMD设备6-300的示例的一部分的正视图，包括显示器6-334、托架6-336、6-338以及框架或外壳6-330。图1K所示的示例不包括前盖或护罩以便例示托架6-336、6-338。例如，图1J所示的护罩6-204包括不透明部分6-207，该不透明部分将在视觉上覆盖/阻挡对显示器/显示区域6-334之外(例如，径向地/外围之外)的任何事物的查看，包括传感器6-303和托架6-338。
在至少一个示例中，传感器系统6-302的各种传感器耦接到托架6-336、6-338。在至少一个示例中，场景相机6-306包括相对于彼此的角度的严格公差。例如，两个场景相机6-306之间的安装角度的公差可以是0.5度或更小，例如0.3度或更小。为了实现和保持这种严格公差，在一个示例中，场景相机6-306可安装到托架6-338而不是护罩。托架可包括悬臂，场景相机6-306以及传感器系统6-302的其他传感器可安装在该悬臂上，以在由用户导致其他托架6-226、外壳6-330和/或护罩的任何变形的掉落事件的情况下保持定位和取向不变。
图1K所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1I至图1J和图1L所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1I至图1J和图1L所示或所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1K所示的设备、特征、部件和零件的示例中。
图1L例示了包括前显示器/盖组件6-404和传感器系统6-402的HMD 6-400的示例的底视图。传感器系统6-402可类似于上文和本文其他地方、包括参考图1I至图1K所述的其他传感器系统。在至少一个示例中，下颌相机6-416可面向下以捕获用户的下部面部特征的图像。在一个示例中，下颌相机6-416可直接耦接到框架或外壳6-430或者一个或多个内部托架，这些内部托架直接耦接到所示的框架或外壳6-430。框架或外壳6-430可包括一个或多个孔/开口6-415，下颌相机6-416可通过这些孔/开口传送和接收信号。
图1L所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1I至图1K所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1I至图1K所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1L所示的设备、特征、部件和零件的示例中。
图1M例示了瞳孔间距(IPD)调整系统11.1.1-102的后透视图，该瞳孔间距(IPD)调整系统包括可滑动地接合/耦接到左和右调整子系统11.1.1-106a-b的相应导杆11.1.1-108a-b和马达11.1.1-110a-b的第一和第二光学模块11.1.1-104a-b。IPD调整系统11.1.1-102可耦接到托架11.1.1-112，并且包括与马达11.1.1-110a-b电连通的按钮11.1.1-114。在至少一个示例中，按钮11.1.1-114可经由处理器或其他电路部件与第一和第二马达11.1.1-110a-b电连通，以激活第一和第二马达11.1.1-110a-b并且分别使第一和第二光学模块11.1.1-104a-b相对于彼此改变定位。
在至少一个示例中，第一和第二光学模块11.1.1-104a-b可包括相应的显示屏幕，这些显示屏幕被配置为在穿上HMD 11.1.1-100时朝向用户的眼睛投射光。在至少一个示例中，用户可操纵(例如，按压和/或旋转)按钮11.1.1-114以激活光学模块11.1.1-104a-b的定位调整以匹配用户眼睛的瞳孔间距。光学模块11.1.1-104a-b还可包括用于成像和测量用户的IPD的一个或多个相机或其他传感器/传感器系统，使得光学模块11.1.1-104a-b可被调整以匹配IPD。
在一个示例中，用户可操纵按钮11.1.1-114以引起第一和第二光学模块11.1.1-104a-b的自动定位调整。在一个示例中，用户可操纵按钮11.1.1-114以引起手动调整，使得光学模块11.1.1-104a-b移动得更远或更近(例如当用户以一种方式或另一种方式旋转按钮11.1.1-114时)，直到用户在视觉上匹配她/他自己的IPD。在一个示例中，手动调整经由一个或多个电路以电子方式进行通信，并且用于经由马达11.1.1-110a-b移动光学模块11.1.1-104a-b的电力由电源提供。在一个示例中，经由操纵按钮11.1.1-114的光学模块11.1.1-104a-b的调整和移动经由移动按钮11.1.1-114被机械地致动。
图1M所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在任何其他附图所示和本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考任何其他附图所示或所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1M所示的设备、特征、部件和零件的示例中。
图1N例示了HMD 11.1.2-100的一部分的前透视图，包括限定第一孔11.1.2-106a和第二孔11.1.2-106b的外部结构框架11.1.2-102和内部或中间结构框架11.1.2-104。孔11.1.2-106a-b在图1N中以虚线示出，因为孔11.1.2-106a-b的视图可能被HMD 11.1.2-100的耦接到内部框架11.1.2-104和/或外部框架11.1.2-102的一个或多个其他部件阻挡，如图所示。在至少一个示例中，HMD 11.1.2-100可包括耦接到内部框架11.1.2-104的第一安装托架11.1.2-108。在至少一个示例中，安装托架11.1.2-108在第一和第二孔11.1.2-106a-b之间耦接到内部框架11.1.2-104。
安装托架11.1.2-108可包括耦接到内部框架11.1.2-104的中间或中心部分11.1.2-109。在一些示例中，中间或中心部分11.1.2-109可不是托架11.1.2-108的几何中间或中心。相反，中间/中心部分11.1.2-109可设置在远离中间部分11.1.2-109延伸的第一悬臂式延伸臂和第二悬臂式延伸臂之间。在至少一个示例中，安装托架108包括第一悬臂11.1.2-112和第二悬臂11.1.2-114，这些悬臂远离耦接到内部框架11.1.2-104的安装托架11.1.2-108的中间部分11.1.2-109延伸。
如图1N所示，外部框架11.1.2-102可在其下侧限定弯曲几何形状，以在用户穿上HMD 11.1.2-100时适应用户的鼻子。弯曲几何形状可被称为鼻梁11.1.2-111并且如图所示居中地位于HMD 11.1.2-100的下侧上。在至少一个示例中，安装托架11.1.2-108可在孔11.1.2-106a-b之间连接到内部框架11.1.2-104，使得悬臂11.1.2-112、11.1.2-114远离中间部分11.1.2-109向下并且横向向外延伸以与外部框架11.1.2-102的鼻架11.1.2-111几何形状互补。以这种方式，安装托架11.1.2-108被配置为适应用户的鼻子，如上所述。鼻梁11.1.2-111的几何形状适应鼻子，因为鼻梁11.1.2-111提供了符合用户鼻子的形状的曲率，从上方、上面和周围提供舒适的贴合度。
第一悬臂11.1.2-112可在第一方向上延伸远离安装托架11.1.2-108的中间部分11.1.2-109，并且第二悬臂11.1.2-114可在与第一方向相反的第二方向上延伸远离安装托架11.1.2-10的中间部分11.1.2-109。第一悬臂11.1.2-112和第二悬臂11.1.2-114被称为“悬臂式”或“悬臂”臂，因为每个臂11.1.2-112、11.1.2-114分别包括自由远端11.1.2-116、11.1.2-118，这些自由远端不与内部框架11.1.2-102和外部框架11.1.2-104附连。以这种方式，臂11.1.2-112、11.1.2-114从中间部分11.1.2-109悬伸，该中间部分可连接到内部框架11.1.2-104，而远端11.1.2-102、11.1.2-104未附接。
在至少一个示例中，HMD 11.1.2-100可包括耦接到安装托架11.1.2-108的一个或多个部件。在一个示例中，部件包括多个传感器11.1.2-110a-f。多个传感器11.1.2-110a-f中的每个传感器可包括各种类型的传感器，包括相机、IR传感器等。在一些示例中，传感器11.1.2-110a-f中的一个或多个传感器可用于三维空间中的对象识别，使得保持多个传感器11.1.2-110a-f中的两个或更多个传感器的精确相对位置是重要的。安装托架11.1.2-108的悬臂性质可保护传感器11.1.2-110a-f在因用户意外掉落的情况下免受损坏和更改定位。因为传感器11.1.2-110a-f悬挑在安装托架11.1.2-108的臂11.1.2-112、11.1.2-114上，因此内部框架和/或外部框架11.1.2-104、11.1.2-102的应力和变形不被传递到悬臂11.1.2-112、11.1.2-114，并且因此不会影响耦接/安装到安装托架11.1.2-108的传感器11.1.2-110a-f的相对定位。
图1N所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在本文所述的设备、特征、部件的其他示例中的任一个其他示例中。同样，本文所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1N所示的设备、特征、部件和零件的示例中。
图1O例示了用于电子设备诸如HMD、包括本文所述的HDM设备中的光学模块11.3.2-100的示例。如本文所述的一个或多个其他示例所示，光学模块11.3.2-100可以是HMD内的两个光学模块中的一者，其中每个光学模块被对准以朝向用户的眼睛投射光。以这种方式，第一光学模块可经由显示屏幕向用户的第一只眼睛投射光，并且同一设备的第二光学模块可经由另一显示屏幕向用户的第二只眼睛投射光。
在至少一个示例中，光学模块11.3.2-100可包括光学框架或外壳11.3.2-102，其也可被称为筒或光学模块筒。光学模块11.3.2-100还可包括耦接到外壳11.3.2-102的显示器11.3.2-104，该显示器包括一个或多个显示屏幕。显示器11.3.2-104可耦接到外壳11.3.2-102，使得显示器11.3.2-104被配置为在使用期间穿上显示模块11.3.2-100所属的HMD时朝向用户的眼睛投射光。在至少一个示例中，外壳11.3.2-102可围绕显示器11.3.2-104并且提供用于耦接本文所述的光学模块的其他部件的连接特征部。
在一个示例中，光学模块11.3.2-100可包括耦接到外壳11.3.2-102的一个或多个相机11.3.2-106。相机11.3.2-106可相对于显示器11.3.2-104和外壳11.3.2-102定位，使得相机11.3.2-106被配置为在使用期间捕获用户的眼睛的一个或多个图像。在至少一个示例中，光学模块11.3.2-100还可包括围绕显示器11.3.2-104的灯条带11.3.2-108。在一个示例中，灯条带11.3.2-108设置在显示器11.3.2-104与相机11.3.2-106之间。灯条带11.3.2-108可包括多个灯11.3.2-110。该多个灯可包括一个或多个发光二极管(LED)或被配置为在穿上HMD时朝向用户的眼睛投射光的其他灯。灯条带11.3.2-108中的各个灯11.3.2-110可围绕灯条带11.3.2-108间隔开，并且因此在灯条带11.3.2-108上和显示器11.3.2-104周围的各种位置处围绕显示器11.3.2-104均匀地或不均匀地间隔开。
在至少一个示例中，外壳11.3.2-102限定了查看开口11.3.2-101，当穿上HMD设备时，用户可通过该查看开口查看显示器11.3.2-104。在至少一个示例中，这些LED被配置和布置成通过查看开口11.3.2-101将光发射到用户的眼睛上。在一个示例中，相机11.3.2-106被配置为通过查看开口11.3.2-101捕获用户的眼睛的一个或多个图像。
如上所述，图1O所示的光学模块11.3.2-100的部件和特征中的每一者都可在与HMD一起设置的另一(例如，第二)光学模块中复制，从而与用户的另一只眼睛交互(例如，投射光和捕获图像)。
图1O所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1P所示或本文以其他方式所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，参考图1P或本文以其他方式所示或所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1O所示的设备、特征、部件和零件的示例中。
图1P例示了光学模块11.3.2-200的示例的截面图，包括外壳11.3.2-202、耦接到外壳11.3.2-202的显示组件11.3.2-204以及耦接到外壳11.3.2-202的透镜11.3.2-216。在至少一个示例中，外壳11.3.2-202限定了第一孔或通道11.3.2-212和第二孔或通道11.3.2-214。通道11.3.2-212、11.3.2-214可被配置为可滑动地接合HMD设备的相应轨道或导杆，以允许光学模块11.3.2-200相对于用户的眼睛调整定位，以匹配用户的瞳孔间距(IPD)。外壳11.3.2-202能够可滑动地接合导杆以将光学模块11.3.2-200固定在HMD内的适当位置。
在至少一个示例中，光学模块11.3.2-200还可包括耦接到外壳11.3.2-202并且当穿上HMD时设置在显示组件11.3.2-204与用户的眼睛之间的透镜11.3.2-216。透镜11.3.2-216可被配置为将光从显示组件11.3.2-204引导到用户的眼睛。在至少一个示例中，透镜11.3.2-216可以是透镜组件的一部分，包括可移除地附接到光学模块11.3.2-200的矫正透镜。在至少一个示例中，透镜11.3.2-216设置在灯条带11.3.2-208和一个或多个眼睛跟踪相机11.3.2-206上方，使得相机11.3.2-206被配置为通过透镜11.3.2-216捕获用户的眼睛的图像，并且灯条带11.3.2-208包括被配置为在使用期间通过透镜11.3.2-216将光投射到用户的眼睛的灯。
图1P所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在本文所述的设备、特征、部件和零件的其他示例中的任一个其他示例中。同样，本文所示和所述的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在图1P所示的设备、特征、部件和零件的示例中。
图2是根据一些实施方案的控制器110的示例的框图。虽然例示了某些具体特征，但本领域的技术人员将从本公开中了解，为简洁起见并且为了不模糊本文所公开的实施方案的更多相关方面，未例示各种其他特征。为此，作为非限制性示例，在一些实施方案中，控制器110包括一个或多个处理单元202(例如，微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)、中央处理单元(CPU)、处理内核等)、一个或多个输入/输出(I/O)设备206、一个或多个通信接口208(例如，通用串行总线(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、全球移动通信系统(GSM)、码分多址(CDMA)、时分多址(TDMA)、全球定位系统(GPS)、红外(IR)、蓝牙、ZIGBEE和/或相似类型的接口)、一个或多个编程(例如，I/O)接口210、存储器220以及用于互连这些部件和各种其他部件的一条或多条通信总线204。
在一些实施方案中，一条或多条通信总线204包括互连和控制系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备206包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器等中的至少一种。
存储器220包括高速随机存取存储器，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率随机存取存储器(DDR RAM)或者其他随机存取固态存储器设备。在一些实施方案中，存储器220包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器220任选地包括远离一个或多个处理单元202定位的一个或多个存储设备。存储器220包括非暂态计算机可读存储介质。在一些实施方案中，存储器220或者存储器220的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统230和XR体验模块240。
操作系统230包括用于处理各种基础系统服务和用于执行硬件相关任务的指令。在一些实施方案中，XR体验模块240被配置为管理和协调一个或多个用户的单重或多重XR体验(例如，一个或多个用户的单重XR体验，或一个或多个用户的相应分组的多重XR体验)。为此，在各种实施方案中，XR体验模块240包括数据获取单元241、跟踪单元242、协调单元246和数据发送单元248。
在一些实施方案中，数据获取单元241被配置为从图1A的至少显示生成部件120，以及任选地从输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种实施方案中，数据获取单元241包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，跟踪单元242被配置为映射场景105，并且跟踪至少显示生成部件120相对于图1A场景105的定位/位置，以及任选地跟踪输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者的位置。为此，在各种实施方案中，跟踪单元242包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。在一些实施方案中，跟踪单元242包括手跟踪单元244和/或眼睛跟踪单元243。在一些实施方案中，手跟踪单元244被配置为跟踪用户的手的一个或多个部分的定位/位置，和/或用户的手的一个或多个部分相对于图1A的场景105的、相对于显示生成部件120和/或相对于坐标系(该坐标系是相对于用户的手定义的)的运动。下文相对于图4更详细地描述了手跟踪单元244。在一些实施方案中，眼睛跟踪单元243被配置为跟踪用户注视(或更广泛地，用户的眼睛、面部或头部)相对于场景105(例如，相对于物理环境和/或相对于用户(例如，用户的手))或相对于经由显示生成部件120显示的XR内容的定位或移动。下文相对于图5更详细地描述了眼睛跟踪单元243。
在一些实施方案中，协调单元246被配置为管理和协调由显示生成部件120，以及任选地由输出设备155和/或外围装设备195中的一者或多者呈现给用户的XR体验。为此，在各种实施方案中，协调单元246包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，数据发送单元248被配置为将数据(例如，呈现数据、位置数据等)发送到至少显示生成部件120，并且任选地发送到输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。为此，在各种实施方案中，数据发送单元248包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手跟踪单元244)、协调单元246和数据发送单元248被示为驻留在单个设备(例如，控制器110)上，但应当理解，在其他实施方案中，数据获取单元241、跟踪单元242(例如，包括眼睛跟踪单元243和手跟踪单元244)、协调单元246和数据发送单元248的任何组合可以位于单独计算设备中。
此外，图2更多地用作可存在于特定具体实施中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可组合，并且一些项目可分开。例如，图2中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图3是根据一些实施方案的显示生成部件120的示例的框图。虽然例示了某些具体特征，但本领域的技术人员将从本公开中了解，为简洁起见并且为了不模糊本文所公开的实施方案的更多相关方面，未例示各种其他特征。为此，作为非限制性示例，在一些实施方案中，显示生成部件120(例如，HMD)包括一个或多个处理单元302(例如，微处理器、ASIC、FPGA、GPU、CPU、处理核心等)、一个或多个输入/输出(I/O)设备和传感器306、一个或多个通信接口308(例如，USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE802.16x、GSM、CDMA、TDMA、GPS、IR、蓝牙、ZIGBEE和/或相似类型的接口)、一个或多个编程(例如，I/O)接口310、一个或多个XR显示器312、一个或多个任选的面向内并且/或者面向外的图像传感器314、存储器320以及用于互连这些部件和各种其他部件的一条或多条通信总线304。
在一些实施方案中，一条或多条通信总线304包括用于互连和控制各系统部件之间的通信的电路。在一些实施方案中，一个或多个I/O设备和传感器306包括惯性测量单元(IMU)、加速度计、陀螺仪、温度计、一个或多个生理传感器(例如，血压监测仪、心率监测仪、血液氧传感器、血糖传感器等)、一个或多个传声器、一个或多个扬声器、触觉引擎和/或一个或多个深度传感器(例如，结构光、飞行时间等)等。
在一些实施方案中，一个或多个XR显示器312被配置为向用户提供XR体验。在一些实施方案中，一个或多个XR显示器312对应于全息、数字光处理(DLP)、液晶显示器(LCD)、硅上液晶(LCoS)、有机发光场效应晶体管(OLET)、有机发光二极管(OLED)、表面传导电子发射显示器(SED)、场发射显示器(FED)、量子点发光二极管(QD-LED)、微机电系统(MEMS)和/或相似的显示器类型。在一些实施方案中，一个或多个XR显示器312对应于衍射、反射、偏振、全息等波导显示器。例如，显示生成部件120(例如，HMD)包括单个XR显示器。在另一示例中，显示生成部件120包括针对用户的每只眼睛的XR显示器。在一些实施方案中，一个或多个XR显示器312能够呈现MR和VR内容。在一些实施方案中，一个或多个XR显示器312能够呈现MR或VR内容。
在一些实施方案中，一个或多个图像传感器314被配置为获取与用户面部的包括用户的眼睛的至少一部分对应的图像数据(并且可被称为眼睛跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为获取与用户的手以及任选地用户的手臂的至少一部分对应的图像数据(并且可被称为手跟踪相机)。在一些实施方案中，一个或多个图像传感器314被配置为面向前方，以便获取与在不存在显示生成部件120(例如，HMD)的情况下用户将会看到的场景对应的图像数据(并且可被称为场景相机)。一个或多个任选的图像传感器314可包括一个或多个RGB相机(例如，具有互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器)、一个或多个红外(IR)相机和/或一个或多个基于事件的相机等。
存储器320包括高速随机存取存储器，诸如DRAM、SRAM、DDR RAM或其他随机存取固态存储器设备。在一些实施方案中，存储器320包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存存储器设备或其他非易失性固态存储设备。存储器320任选地包括远离一个或多个处理单元302定位的一个或多个存储设备。存储器320包括非暂态计算机可读存储介质。在一些实施方案中，存储器320或者存储器320的非暂态计算机可读存储介质存储下述程序、模块和数据结构或者它们的子集，其中包括任选的操作系统330和XR呈现模块340。
操作系统330包括用于处理各种基础系统服务和用于执行硬件相关任务的过程。在一些实施方案中，XR呈现模块340被配置为经由一个或多个XR显示器312向用户呈现XR内容。为此，在各种实施方案中，XR呈现模块340包括数据获取单元342、XR呈现单元344、XR映射生成单元346和数据发送单元348。
在一些实施方案中，数据获取单元342被配置为至少从图1A的控制器110获取数据(例如，呈现数据、交互数据、传感器数据、位置数据等)。为此，在各种实施方案中，数据获取单元342包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR呈现单元344被配置为经由一个或多个XR显示器312呈现XR内容。为此，在各种实施方案中，XR呈现单元344包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
在一些实施方案中，XR映射生成单元346被配置为基于媒体内容数据生成XR图(例如，混合现实场景的3D图或可在其中放置计算机生成对象以生成扩展现实的物理环境的图)。为此，在各种实施方案中，XR映射生成单元346包括指令和/或用于该指令的逻辑以及启发法和用于该启发法的元数据。
在一些实施方案中，数据发送单元348被配置为将数据(例如，呈现数据、位置数据等)发送到至少控制器110，以及任选地输入设备125、输出设备155、传感器190和/或外围设备195中的一者或多者。为此，在各种实施方案中，数据发送单元348包括指令和/或用于指令的逻辑以及启发法和用于启发法的元数据。
尽管数据获取单元342、XR呈现单元344、XR映射生成单元346和数据发送单元348被示出为驻留在单个设备(例如，图1A的显示生成部件120)上，但应当理解，在其他实施方案中，数据获取单元342、XR呈现单元344、XR映射生成单元346和数据发送单元348的任何组合可位于单独计算设备中。
此外，图3更多地用作可能存在于特定实施方案中的各种特征的功能描述，与本文所述的实施方案的结构示意图不同。如本领域的普通技术人员将认识到的，单独显示的项目可组合，并且一些项目可分开。例如，图3中单独示出的一些功能模块可在单个模块中实现，并且单个功能块的各种功能可在各种实施方案中通过一个或多个功能块来实现。模块的实际数量和特定功能的划分以及如何在其中分配特征将根据具体实施而变化，并且在一些实施方案中，部分地取决于为特定具体实施选择的硬件、软件和/或固件的特定组合。
图4是手跟踪设备140的示例实施方案的示意性图解。在一些实施方案中，手跟踪设备140(图1A)由手跟踪单元244控制(图2)来跟踪用户的手的一个或多个部分的定位/位置，和/或用户的手的一个或多个部分相对于图1A的场景105(例如，相对于用户周围的物理环境的一部分、相对于显示生成部件120，或者相对于用户的一部分(例如，用户的面部、眼睛或头部)，和/或相对于坐标系(该坐标系是相对于用户的手定义的))的运动。在一些实施方案中，手跟踪设备140是显示生成部件120的一部分(例如，嵌入头戴式设备中或附接到头戴式设备)。在一些实施方案中，手跟踪设备140与显示生成部件120分开(例如，位于单独的外壳中或者附接到单独的物理支撑结构)。
在一些实施方案中，手跟踪设备140包括捕获至少包括人类用户的手406的三维场景信息的图像传感器404(例如，一个或多个IR相机、3D相机、深度相机和/或彩色相机等)。图像传感器404以足够的分辨率捕获手图像，以使得手指及其相应定位能够被区分。图像传感器404通常捕获用户身体的其他部分、还或可能捕获身体的所有部分的图像，并且可具有缩放能力或具有增大放大率的专用传感器以用期望分辨率捕获手的图像。在一些实施方案中，图像传感器404还捕获手406的2D彩色视频图像和场景的其他元素。在一些实施方案中，图像传感器404与其他图像传感器结合使用以捕获场景105的物理环境，或者用作捕获场景105的物理环境的图像传感器。在一些实施方案中，以将图像传感器404或其一部分的视场用于限定交互空间的方式相对于用户或用户的环境定位图像传感器，在该交互空间中，由图像传感器捕获的手移动被视为到控制器110的输入。
在一些实施方案中，图像传感器404将包含3D图数据(以及此外，可能的彩色图像数据)的帧序列输出到控制器110，该控制器从该图数据提取高级信息。该高级信息通常经由应用程序接口(API)提供给在控制器上运行的应用，该应用相应地驱动显示生成部件120。例如，用户可通过移动他的手406并改变他的手位姿来与在控制器110上运行的软件交互。
在一些实施方案中，图像传感器404将斑点图案投射到包含手406的场景上并且捕获所投射图案的图像。在一些实施方案中，控制器110基于图案中斑点的横向偏移来通过三角测量计算场景中的点(包括用户的手的表面上的点)的3D坐标。这种方法是有利的，因为该方法不需要用户保持或穿戴任何种类的信标、传感器或其他标记。该方法给出了场景中的点在距图像传感器404的特定距离处相对于预先确定的参考平面的深度坐标。在本公开中，假设图像传感器404限定x轴、y轴、z轴的正交集合，使得场景中的点的深度坐标对应于由图像传感器测量的z分量。替代地，图像传感器404(例如，手跟踪设备)可基于单个或多个相机或其他类型的传感器而使用其他3D映射方法，诸如立体成像或飞行时间测量。
在一些实施方案中，手跟踪设备140在用户移动他的手(例如，整个手或一根或多根手指)时捕获并处理包含用户的手的深度图的时间序列。在图像传感器404和/或控制器110中的处理器上运行的软件处理3D图数据以提取这些深度图中手的图像块描述符。软件可基于先前的学习过程将这些描述符与存储在数据库408中的图像块描述符匹配，以便估计每个帧中手的姿态。姿态通常包括用户的手关节和手指尖端的3D位置。
软件还可分析手和/或手指在序列中的多个帧上的轨迹以标识手势。本文所述的姿态估计功能可与运动跟踪功能交替，使得每两个(或更多个)帧仅执行一次基于图像块的姿态估计，而跟踪用于找到在剩余帧上发生的姿态的改变。经由上述API向在控制器110上运行的应用提供姿态、运动和手势信息。该程序可例如响应于姿态和/或手势信息而移动和修改呈现在显示生成部件120上的图像，或者执行其他功能。
在一些实施方案中，手势包括空中手势。空中手势是在用户不触碰作为设备(例如，计算机系统101、一个或多个输入设备125和/或手跟踪设备140)的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于检测到的用户身体的一部分(例如，头部、一个或多个手臂、一只或多只手、一根或多根手指和/或一条或多条腿)穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预先确定姿态将移动预先确定的量和/或速度的轻击手势、或包括用户身体的一部分的预先确定的速度或旋转量的摇动手势))的手势。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势包括通过用户的手指相对于其他手指(或用户的手的一部分)的移动执行的用于与XR环境(例如，虚拟或混合现实环境)交互的空中手势。在一些实施方案中，空中手势是在用户不触碰作为设备的一部分的输入元件(或独立于作为设备的一部分的输入元件)的情况下检测到的并且基于所检测到的用户身体的一部分穿过空中的运动(包括用户的身体相对于绝对参考的运动(例如，用户的手臂相对于地面的角度或用户的手相对于地面的距离)、相对于用户身体的另一部分的运动(例如，用户的手相对于用户的肩部的移动、用户的一只手相对于用户的另一只手的移动、和/或用户的手指相对于用户的另一手指或手的一部分的移动)、和/或用户身体的一部分的绝对运动(例如，包括手以预先确定姿态将移动预定量和/或速度的轻击手势、或包括用户身体的一部分的预定速度或旋转量的摇动手势))的手势。
在输入手势是空中手势的一些实施方案中(例如，在不存在与输入设备的物理接触的情况下，该输入设备向计算机系统提供关于哪个用户界面元素是用户输入的目标的信息，诸如与显示在触摸屏上的用户界面元素的接触、或与鼠标或触控板的接触以将光标移动到用户界面元素)，手势考虑用户的注意力(例如，注视)以确定用户输入的目标(例如，对于直接输入，如下所述)。因此，在涉及空中手势的实施方案中，例如，输入手势与用户的手指和/或手的移动组合(例如，同时)检测到朝向用户界面元素的注意力(例如，注视)以执行捏合和/或轻击输入，如下更详细地所述。
在一些实施方案中，直接或间接地参考用户界面对象来执行指向用户界面对象的输入手势。例如，根据用用户的手在对应于三维环境中的用户界面对象的定位的定位(例如，如基于用户的当前视点所确定的)处执行输入，直接在用户界面对象上执行用户输入。在一些实施方案中，在检测到用户对用户界面对象的注意力(例如，注视)时，根据在用户执行输入手势的同时用户的手的定位不在对应于用户界面对象在三维环境中的定位的该定位处，在用户界面对象上间接执行输入手势。例如，对于直接输入手势，使得用户能够通过在对应于用户界面对象的显示定位的定位处或附近(例如，从选项的外部边缘或选项的中心部分测量的0.5cm、1cm、5cm内或0至5cm之间的距离内)发起手势来将用户的输入引导至用户界面对象。对于间接输入手势，使得用户能够通过关注用户界面对象(例如，通过注视用户界面对象)来将用户的输入引导至用户界面对象，并且在关注选项的同时，用户发起输入手势(例如，在计算机系统可检测到的任何定位处)(例如，在不对应于用户界面对象的显示定位的定位处)。
在一些实施方案中，根据一些实施方案，在本文所述的各种示例和实施方案中使用的输入手势(例如，空中手势)包括捏合输入和轻击输入，以用于与虚拟或混合现实环境交互。例如，下文所述的捏合输入和轻击输入被执行为空中手势。
在一些实施方案中，捏合输入是空中手势的一部分，该空中手势包括以下各项中的一项或多项：捏合手势、长捏合手势、捏合并拖动手势或双捏合手势。例如，作为空中手势的捏合手势包括手的两个或更多个手指的移动以彼此接触，也就是说，任选地，随后是彼此立即(例如，在0秒至1秒内)中断接触。作为空中手势的长捏合手势包括在检测到彼此接触的中断之前手的两个或更多个手指彼此接触至少阈值时间量(例如，至少1秒)的移动。例如，长捏合手势包括用户保持捏合手势(例如，其中两个或更多个手指进行接触)，并且长捏合手势继续直到检测到两个或更多个手指之间的接触中断。在一些实施方案中，作为空中手势的双捏合手势包括彼此立即(例如，在预定义时间段内)连续检测到的两个(例如，或更多个)捏合输入(例如，由同一只手执行)。例如，用户执行第一捏合输入(例如，捏合输入或长捏合输入)，释放第一捏合输入(例如，中断两个或更多个手指之间的接触)，并且在释放第一捏合输入之后的预定义时间段内(例如，在1秒内或在2秒内)执行第二捏合输入。
在一些实施方案中，作为空中手势的捏合并拖动手势包括与将用户的手的定位从第一定位(例如，拖动的开始定位)改变到第二定位(例如，拖动的结束定位)的拖动输入结合(例如，跟随)执行的捏合手势(例如，捏合手势或长捏合手势)。在一些实施方案中，用户在执行拖动输入的同时保持捏合手势，并且释放捏合手势(例如，打开他们的两个或更多个手指)以结束拖动手势(例如，在第二定位处)。在一些实施方案中，捏合输入和拖动输入由同一只手执行(例如，用户捏合两个或更多个手指以彼此接触并且利用拖动手势将同一只手移动到空中的第二定位)。在一些实施方案中，由用户的第一只手执行捏合输入，并且由用户的第二只手执行拖动输入(例如，在用户用用户的第一只手继续捏合输入时，用户的第二只手在空中从第一定位移动到第二定位)。在一些实施方案中，作为空中手势的输入手势包括使用用户的两只手执行的输入(例如，捏合和/或轻击输入)。例如，输入手势包括彼此结合(例如，同时或在预定义时间段内)执行的两个(例如，或更多个)捏合输入。例如，使用用户的第一只手执行第一捏合手势(例如，捏合输入、长捏合输入或捏合并拖动输入)，并且结合使用第一只手执行捏合输入，使用另一只手(例如，用户两只手中的第二只手)执行第二捏合输入。在一些实施方案中，用户两只手之间的移动(例如，增加和/或减小用户两只手之间的距离或相对取向)。
在一些实施方案中，作为空中手势执行的轻击输入(例如，指向用户界面元素)包括用户的手指朝向用户界面元素的移动、用户的手朝向用户界面元素的移动(任选地，用户的手指朝向用户界面元素延伸)、用户的手指的向下运动(例如，模仿鼠标点击运动或触摸屏上的轻击)、或用户的手的其他预定义移动。在一些实施方案中，基于执行手指或手的轻击手势移动的手指或手的移动特性来检测作为空中手势执行的轻击输入，该轻击手势移动是手指或手远离用户的视点和/或朝向作为轻击输入的目标的对象，随后是移动的结束。在一些实施方案中，基于执行轻击手势的手指或手的移动特性的改变来检测移动的结束(例如，远离用户的视点和/或朝向作为轻击输入的目标的对象的移动的结束、手指或手的移动方向的反转和/或手指或手的移动的加速方向的反转)。
在一些实施方案中，基于对指向三维环境的一部分的注视的检测来确定用户的注意力指向三维环境的该部分(任选地，不需要其他条件)。在一些实施方案中，基于利用一个或多个附加条件检测到指向三维环境的一部分的注视来确定用户的注意力指向三维环境的该部分，附加条件诸如要求注视指向三维环境的该部分达至少阈值持续时间(例如，停留持续时间)和/或要求注视在用户的视点在距三维环境的该部分的距离阈值内时指向三维环境的该部分，以便设备确定用户的注意力指向三维环境的该部分，其中如果这些附加条件中的一者未满足，则设备确定注意力未指向注视指向的三维环境的该部分(例如，直到满足该一个或多个附加条件)。
在一些实施方案中，用户或用户的一部分的就绪状态配置的检测由计算机系统检测。手的就绪状态配置的检测由计算机系统用作用户可能正准备使用由手执行的一个或多个空中手势输入(例如，捏合、轻击、捏合并拖动、双捏合、长捏合或本文所述的其他空中手势)与计算机系统交互的指示。例如，基于手是否具有预先确定的手形状(例如，拇指和一个或多个手指延伸并间隔开以准备做出捏合或抓取手势的预捏合形状，或者一个或多个手指延伸并且手掌背对用户的预轻击)、基于手是否处于相对于用户的视点的预先确定的定位中(例如，在用户的头部下方并且在用户的腰部上方并从身体延伸出至少15cm、20cm、25cm、30cm或50cm)和/或基于手是否已以特定方式移动(例如，朝向用户的腰部上方并且在用户的头部下方的用户前方的区域移动或远离用户的身体或腿部移动)来确定手的就绪状态。在一些实施方案中，就绪状态被用来确定用户界面的交互式元素是否对注意力(例如，注视)输入作出响应。
在参考空中手势描述输入的场景中，应当理解，可使用附接到用户的一只或多只手或由用户的一只或多只手保持的硬件输入设备来检测类似手势，其中可使用光学跟踪、一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计和/或一个或多个惯性测量单元来跟踪硬件输入设备在空间中的定位，并且使用硬件输入设备的定位和/或移动来代替处于对应空中手势的一只或多只手的定位和/或移动。在参考空中位姿描述输入的场景中，应当理解，可使用附接到用户的一只或多只手或由用户的一只或多只手保持的硬件输入设备来检测类似位姿。可利用硬件输入设备中所含有的控件来检测用户输入，这些控件诸如一个或多个触敏输入元件、一个或多个压敏输入元件、一个或多个按钮、一个或多个旋钮、一个或多个拨号盘、一个或多个操纵杆、可检测手和/或手指的部分相对于彼此、相对于用户的身体和/或相对于用户的物理环境的定位或定位的改变的一只或多只手或手指覆盖物，和/或其他硬件输入设备控件，其中使用利用硬件输入设备中所含有的控件进行的用户输入来代替手和/或手指手势诸如处于对应空中手势的空中轻击或空中捏合。例如，被描述为利用空中轻击或空中捏合输入执行的选择输入可以另选地利用按钮按压、触敏表面上的轻击、压敏表面上的按下或其他硬件输入来检测。作为另一示例，被描述为利用空中捏合和拖动执行的移动输入可基于与硬件输入控件的交互(诸如按钮按下并保持、触敏表面上的触摸、压敏表面上的按下，或硬件输入设备(例如，连同与硬件输入设备相关联的手)穿过空间的移动之后的其他硬件输入)来另选地检测。类似地，包括手相对于彼此的移动的双手输入可利用一个空中手势和手中未在执行空中手势的一个硬件输入设备、在不同的手中保持的两个硬件输入设备、或者由不同的手使用空中手势和/或由上述一个或多个硬件输入设备检测到的输入的各种组合执行的两个空中手势来执行。
在一些实施方案中，软件可例如通过网络以电子形式下载到控制器110，或者可另选地在有形非暂态介质诸如光学、磁性或电子存储器介质上提供。在一些实施方案中，数据库408同样存储在与控制器110相关联的存储器中。另选地或除此之外，计算机的所描述的功能中的一些或所有功能可在专用硬件(诸如，定制或半定制集成电路或可编程数字信号处理器(DSP))中实现。尽管在图4中示出了控制器110，但是以举例的方式，作为与图像传感器404分开的单元，控制器的处理功能中的一些处理功能或所有处理功能可由合适的微处理器和软件或由图像传感器404(例如，手跟踪设备)的外壳内的专用电路或与图像传感器404相关联的其他设备执行。在一些实施方案中，这些处理功能中的至少一些可由与显示生成部件120(例如，在电视接收机、手持式设备或头戴式设备中)集成或与任何其他合适的计算机化设备(诸如，游戏控制台或媒体播放器)集成的合适处理器执行。图像传感器404的感测功能同样可集成到将由传感器输出控制的计算机或其他计算机化装置中。
图4还包括根据一些实施方案的由图像传感器404捕获的深度映射图410的示意图。如上所述，深度图包括具有相应深度值的像素的矩阵。与手406对应的像素412已从该图中的背景和手腕分割出来。深度图410内的每个像素的亮度与其深度值(即，测量的距图像传感器404的z距离)成反比，其中灰色阴影随着深度的增加而变得更暗。控制器110处理这些深度值以便标识和分割图像的具有人类手特性的组成部分(即，相邻像素分组)。这些特性可包括例如总体大小、形状和从深度图序列中的帧到帧的运动。
图4还示意性地例示了根据一些实施方案的控制器110最终从手406的深度映射图410提取的手骨骼414。在图4中，手骨骼414叠加在已从原始深度图分割出来的手背景416上。在一些实施方案中，手的以及任选地在连接到手的手腕或手臂上的关键特征点(例如，与指关节、手指尖端、手掌中心、手的连接到手腕的端部等对应的点)被标识并位于手骨骼414上。在一些实施方案中，控制器110使用这些关键特征点在多个图像帧上的位置和移动来根据一些实施方案确定由手执行的手势或手的当前状态。
图5例示了眼睛跟踪设备130(图1A)的示例实施方案。在一些实施方案中，眼睛跟踪设备130由眼睛跟踪单元243(图2)控制来跟踪用户注视相对于场景105或相对于经由显示生成部件120显示的XR内容的定位和移动。在一些实施方案中，眼睛跟踪设备130与显示生成部件120集成。例如，在一些实施方案中，当显示生成部件120是头戴式设备(诸如，头戴式耳机、头盔、护目镜或眼镜)或放置在可穿戴框架中的手持式设备时，该头戴式设备包括生成XR内容以供用户查看的部件以及用于跟踪用户相对于XR内容的注视的部件两者。在一些实施方案中，眼睛跟踪设备130与显示生成部件120分开。例如，当显示生成部件是手持式设备或XR室时，眼睛跟踪设备130任选地是与手持式设备或XR室分开的设备。在一些实施方案中，眼睛跟踪设备130是头戴式设备或头戴式设备的一部分。在一些实施方案中，头戴式眼睛跟踪设备130任选地与也是头戴式的显示生成部件或不是头戴式的显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地与头戴式显示生成部件结合使用。在一些实施方案中，眼睛跟踪设备130不是头戴式设备，并且任选地是非头戴式显示生成部件的一部分。
在一些实施方案中，显示生成部件120使用显示机构(例如，左近眼显示面板和右近眼显示面板)来在用户眼睛前面显示包括左图像和右图像的帧，从而向用户提供3D虚拟视图。例如，头戴式显示生成部件可包括位于显示器和用户眼睛之间的左光学透镜和右光学透镜(在本文中被称为眼睛透镜)。在一些实施方案中，显示生成部件可包括或耦接到一个或多个外部摄像机，该一个或多个外部摄像机捕获用户的环境的视频以用于显示。在一些实施方案中，头戴式显示生成部件可具有透明或半透明显示器，并且在该透明或半透明显示器上显示虚拟对象，用户可透过该透明或半透明显示器直接查看物理环境。在一些实施方案中，显示生成部件将虚拟对象投射到物理环境中。虚拟对象可例如被投射在物理表面上或作为全息图被投射，使得个体使用系统观察叠加在物理环境上方的虚拟对象。在这种情况下，可能不需要用于左眼和右眼的单独的显示面板和图像帧。
如图5中所示，在一些实施方案中，眼睛跟踪设备130(例如，注视跟踪设备)包括至少一个眼睛跟踪相机(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛发射光(例如，IR或NIR光)的照明源(例如，IR或NIR光源，诸如LED的阵列或环)。眼睛跟踪相机可指向用户眼睛以接收光源直接从眼睛反射的IR或NIR光，或者另选地可指向位于用户眼睛和显示面板之间的“热”镜，这些热镜将来自眼睛的IR或NIR光反射到眼睛跟踪相机，同时允许可见光通过。眼睛跟踪设备130任选地捕获用户眼睛的图像(例如，作为以每秒60帧-120帧(fps)捕获的视频流)，分析这些图像以生成注视跟踪信息，并将注视跟踪信息传送到控制器110。在一些实施方案中，用户的两只眼睛通过相应的眼睛跟踪相机和照明源来单独地跟踪。在一些实施方案中，通过相应的眼睛跟踪相机和照明源来跟踪用户的仅一只眼睛。
在一些实施方案中，眼睛跟踪设备130使用设备特定的校准过程来校准以确定用于特定操作环境100的眼睛跟踪设备的参数，例如LED、相机、热镜(如果存在的话)、眼睛透镜和显示屏幕的3D几何关系和参数。在将AR/VR装备递送给终端用户之前，可在工厂或另一个设施处执行设备特定的校准过程。设备特定的校准过程可以是自动校准过程或手动校准过程。根据一些实施方案，用户特定的校准过程可包括对特定用户的眼睛参数的估计，例如瞳孔位置、中央凹位置、光轴、视轴、眼睛间距等。根据一些实施方案，一旦针对眼睛跟踪设备130确定了设备特定参数和用户特定参数，就可使用闪光辅助方法来处理由眼睛跟踪相机捕获的图像，以确定当前视轴和用户相对于显示器的注视点。
如图5中所示，眼睛跟踪设备130(例如，130A或130B)包括眼睛透镜520和注视跟踪系统，该注视跟踪系统包括定位在用户面部的被执行眼睛跟踪的一侧上的至少一个眼睛跟踪相机540(例如，红外(IR)或近红外(NIR)相机)，以及朝向用户眼睛592发射光(例如，IR或NIR光)的照明源530(例如，IR或NIR光源，诸如NIR发光二极管(LED)的阵列或环)。眼睛跟踪相机540可指向位于用户眼睛592和显示器510(例如，头戴式显示器的左显示器面板或右显示器面板，或者手持式设备的显示器、投影仪等)之间的镜子550(这些镜子反射来自眼睛592的IR或NIR光，同时允许可见光通过)(例如，如图5的顶部部分所示)，或者另选地可指向用户眼睛592以接收来自眼睛592的反射IR或NIR光(例如，如图5的底部部分所示)。
在一些实施方案中，控制器110渲染AR或VR帧562(例如，用于左显示面板和右显示面板的左帧和右帧)并且将帧562提供给显示器510。控制器110将来自眼睛跟踪相机540的注视跟踪输入542用于各种目的，例如用于处理帧562以用于显示。控制器110任选地基于使用闪光辅助方法或其他合适的方法从眼睛跟踪相机540获取的注视跟踪输入542来估计用户在显示器510上的注视点。根据注视跟踪输入542估计的注视点任选地用于确定用户当前正在看向的方向。
以下描述了用户当前注视方向的几种可能的使用案例，并且不旨在进行限制。作为示例使用案例，控制器110可基于所确定的用户注视的方向不同地渲染虚拟内容。例如，控制器110可在根据用户当前注视方向确定的中央凹区域中以比在外围区域中的分辨率更高的分辨率生成虚拟内容。作为另一示例，控制器可至少部分地基于用户当前注视方向来在视图中定位或移动虚拟内容。作为另一示例，控制器可至少部分地基于用户当前注视方向来在视图中显示特定虚拟内容。作为AR应用中的另一示例使用案例，控制器110可引导用于捕获XR体验的物理环境的外部相机在所确定方向上聚焦。然后，外部相机的自动聚焦机构可聚焦于显示器510上用户当前正看向的环境中的对象或表面上。作为另一示例使用案例，眼睛透镜520可以是可聚焦透镜，并且控制器使用注视跟踪信息来调整眼睛透镜520的焦点，使得用户当前正看向的虚拟对象具有适当的聚散度以匹配用户眼睛592的会聚。控制器110可利用注视跟踪信息来引导眼睛透镜520调整焦点，使得用户正看向的靠近的对象出现在正确距离处。
在一些实施方案中，眼睛跟踪设备是头戴式设备的一部分，该部分包括安装在可穿戴外壳中的显示器(例如，显示器510)、两个眼睛透镜(例如，眼睛透镜520)、眼睛跟踪相机(例如，眼睛跟踪相机540)，以及光源(例如，照明源530(例如，IR或NIR LED))。光源朝向用户眼睛592发射光(例如，IR或NIR光)。在一些实施方案中，光源可围绕透镜中的每个透镜布置成环或圆圈，如图5中所示。在一些实施方案中，作为示例，八个照明源530(例如，LED)围绕每个透镜520布置。然而，可使用更多或更少的照明源530，并且可使用照明源530的其他布置和位置。
在一些实施方案中，显示器510发射可见光范围内的光，并且不发射IR或NIR范围内的光，并且因此不会在注视跟踪系统中引入噪声。需注意，眼睛跟踪相机540的位置和角度以举例的方式给出，并且不旨在进行限制。在一些实施方案中，单个眼睛跟踪相机540位于用户面部的每一侧上。在一些实施方案中，可在用户面部的每一侧上使用两个或更多个NIR相机540。在一些实施方案中，可在用户面部的每一侧上使用具有较宽视场(FOV)的相机540和具有较窄FOV的相机540。在一些实施方案中，可在用户面部的每一侧上使用以一个波长(例如，850nm)操作的相机540和以不同波长(例如，940nm)操作的相机540。
如图5所例示的注视跟踪系统的实施方案可例如用于计算机生成的现实、虚拟现实和/或混合现实应用，以向用户提供计算机生成的现实、虚拟现实、增强现实和/或增强虚拟体验。
图6例示了根据一些实施方案的闪光辅助的注视跟踪流水线。在一些实施方案中，注视跟踪流水线通过闪光辅助的注视跟踪系统(例如，如图1A和图5所例示的眼睛跟踪设备130)来实现。闪光辅助的注视跟踪系统可保持跟踪状态。初始，跟踪状态为关闭或“否”。当处于跟踪状态时，当分析当前帧以跟踪当前帧中的瞳孔轮廓和闪光时，闪光辅助的注视跟踪系统使用来自先前帧的先前信息。当未处于跟踪状态时，闪光辅助的注视跟踪系统尝试检测当前帧中的瞳孔和闪光，并且如果成功，则将跟踪状态初始化为“是”并且在跟踪状态下继续下一个帧。
如图6中所示，注视跟踪相机可捕获用户左眼和右眼的左图像和右图像。然后将所捕获的图像输入到注视跟踪流水线以用于在610处开始处理。如返回到元素600的箭头所指示的，注视跟踪系统可例如以每秒60帧至120帧的速率继续捕获用户眼睛的图像。在一些实施方案中，可以将所捕获的图像的每个集合输入到流水线以用于处理。然而，在一些实施方案中或在一些条件下，不是所有所捕获的帧都由流水线处理。
在610处，对于当前所捕获的图像，如果跟踪状态为是，则方法前进到元素640。在610处，如果跟踪状态为否，则如620处所指示的，分析图像以检测图像中的用户瞳孔和闪光。在630处，如果成功检测到瞳孔和闪光，则方法前进到元素640。否则，方法返回到元素610以处理用户眼睛的下一个图像。
在640处，如果从元素610前进，则分析当前帧以部分地基于来自先前帧的先前信息来跟踪瞳孔和闪光。在640处，如果从元素630前进，则基于当前帧中检测到的瞳孔和闪光来初始化跟踪状态。检查元素640处的处理结果以验证跟踪或检测的结果可以是可信的。例如，可检查结果以确定是否在当前帧中成功跟踪或检测到用于执行注视估计的瞳孔和足够数量的闪光。在650处，如果结果不可能是可信的，则在元素660处，跟踪状态被设置为否，并且方法返回到元素610以处理用户眼睛的下一个图像。在650处，如果结果是可信的，则方法前进到元素670。在670处，跟踪状态被设置为是(如果尚未为是)，并且瞳孔和闪光信息被传递到元素680以估计用户的注视点。
图6旨在用作可用于特定具体实施的眼睛跟踪技术的一个示例。如本领域普通技术人员所认识到的，根据各种实施方案，在用于向用户提供XR体验的计算机系统101中，当前存在或未来开发的其他眼睛跟踪技术可用于取代本文所述的闪光辅助的眼睛跟踪技术或与该闪光辅助的眼睛跟踪技术组合使用。
在一些实施方案中，现实世界环境602的捕获的部分用于向用户提供XR体验，例如一个或多个虚拟对象叠加在真实世界环境602的表示上方的混合现实环境。
因此，本文的描述描述了包括现实世界对象的表示和虚拟对象的表示的三维环境(例如，XR环境)的一些实施方案。例如，三维环境任选地包括存在于物理环境中的桌子的表示，该桌子被捕获并在三维环境中显示(例如，经由计算机系统的相机和显示器主动地显示或者经由计算机系统的透明或半透明显示器被动地显示)。如先前所述，三维环境任选地是混合现实系统，其中三维环境基于由计算机系统的一个或多个传感器捕获并经由显示生成部件显示的物理环境。作为混合现实系统，该计算机系统任选地能够选择性地显示物理环境的部分和/或对象，使得物理环境的相应部分和/或对象看起来好像它们存在于由计算机系统显示的三维环境中一样。类似地，该计算机系统任选地能够通过将虚拟对象放置在三维环境中在现实世界中具有对应位置的相应位置处来在三维环境中显示虚拟对象以看起来好像虚拟对象存在于现实世界(例如，物理环境)中一样。例如，该计算机系统任选地显示花瓶，使得该花瓶看起来好像现实的花瓶被放置在物理环境中的桌子的顶部上一样。在一些实施方案中，三维环境中的相应位置在物理环境中具有对应位置。因此，当计算机系统被描述为在相对于物理对象的相应位置(例如，诸如在用户的手处或附近的位置或在物理桌子处或附近的位置)处显示虚拟对象时，计算机系统在三维环境中的特定位置处显示虚拟对象，使得看起来好像虚拟对象在物理环境中的物理对象处或附近一样(例如，虚拟对象显示在三维环境中的与物理环境中如果该虚拟对象是该特定位置处的现实对象则将显示该虚拟对象的位置相对应的位置处)。
在一些实施方案中，在三维环境中显示的(例如，和/或经由显示生成部件可见的)存在于物理环境中的现实世界对象可与仅存在于三维环境中的虚拟对象交互。例如，三维环境可包括桌子和放置在桌子的顶部上的花瓶，其中桌子是物理环境中的物理桌子的视图(或表示)，并且花瓶是虚拟对象。
在三维环境(例如，现实环境、虚拟环境或者包括现实对象和虚拟对象的混合的环境)中，对象有时被称为具有深度或模拟深度，或者对象被称为在不同深度处可见、显示或放置。在本上下文中，深度是指不同于高度或宽度的维度。在一些实施方案中，相对于固定坐标集合定义深度(例如，其中房间或对象具有相对于固定坐标集合定义的高度、深度和宽度)。在一些实施方案中，相对于用户的位置或视点定义深度，在这种情况下，深度维度基于用户的位置和/或用户的视点的位置和角度而变化。在其中相对于用户的相对于环境的表面(例如，环境的地板或地面的表面)定位的位置定义深度的一些实施方案中，沿着平行于表面延伸的线更远离用户的对象被认为在环境中具有更大深度，和/或沿着从用户的位置向外延伸并且平行于环境的表面的轴测量对象的深度(例如，在圆柱或基本上圆柱坐标系中定义深度，其中用户的定位处于从用户的头朝向用户的脚延伸的圆柱的中心)。在其中相对于用户的视点定义深度(例如，相对于空间中的点的方向，该方向确定环境的哪个部分经由头戴式设备或其他显示器可见)的一些实施方案中，沿着平行于用户的视点的方向延伸的线更远离用户的视点的对象被认为在环境中具有更大深度，和/或沿着从用户的视点延伸并且平行于用户的视点的方向的线向外延伸的轴来测量对象的深度(例如，在球面或基本上球面坐标系统中定义深度，其中视点的原点处于从用户的头向外延伸的球体的中心)。在一些实施方案中，相对于用户界面容器(例如，其中显示应用和/或系统内容的窗口或应用)定义深度，其中用户界面容器具有高度和/或宽度，并且深度是与用户界面容器的高度和/或宽度正交的维度。在一些实施方案中，在相对于用户界面容器限定深度的情况下，当容器被放置在三维环境中或被初始显示时(例如，使得容器的深度尺寸向外延伸远离用户或用户的视点)，容器的高度和/或宽度通常与从基于用户的位置(例如，用户的视点或用户的位置)延伸到用户界面容器(例如，用户界面容器的中心或用户界面容器的另一特征点)的直线正交或基本上正交。在一些实施方案中，在相对于用户界面容器定义深度的情况下，对象相对于用户界面容器的深度是指对象沿着用户界面容器的深度维度的定位。在一些实施方案中，多个不同容器可具有不同深度维度(例如，在不同方向上和/或从不同起点延伸远离用户或用户的视点的不同深度维度)。在一些实施方案中，当相对于用户界面容器定义深度时，随着用户界面容器的位置、用户和/或用户的视点改变(例如，或当多个不同的查看者正在三维环境中查看同一容器时，诸如在亲自协作会话期间和/或当多个参与者处于具有包括容器的共享虚拟内容的实时通信会话中时)，深度维度的方向对于用户界面容器保持恒定。在一些实施方案中，对于弯曲容器(例如，包括具有弯曲表面或弯曲内容物区域的容器)，深度维度任选地延伸到弯曲容器的表面中。在一些情况下，z间隔(例如，两个对象在深度维度上的间隔)、z高度(例如，一个对象在深度维度上距另一对象的距离)、z定位(例如，一个对象在深度维度上的定位)、z深度(例如，一个对象在深度维度上的定位)或模拟z维度(例如，用作对象的维度的深度、环境的维度、空间中的方向和/或模拟空间中的方向)用于是指如上描述的深度的概念。
在一些实施方案中，用户任选地能够使用一只或两只手与三维环境中的虚拟对象交互，好像虚拟对象是物理环境中的现实对象一样。例如，如上文所述，计算机系统的一个或多个传感器任选地捕获用户的一只或多只手并且在三维环境中显示用户的手的表示(例如，以类似于在上文所述的三维环境中显示现实世界对象的方式)，或者在一些实施方案中，由于显示生成部件的正显示用户界面的一部分的透明度/半透明度，或由于用户界面到透明/半透明表面上的投射或用户界面到用户的眼睛上或到用户的眼睛的视场中的投射，经由显示生成部件、经由通过用户界面看见物理环境的能力可看到用户的手。因此，在一些实施方案中，用户的手在三维环境中的相应位置处显示并且被视为好像它们是三维环境中的对象一样，这些对象能够与三维环境中的虚拟对象交互，好像这些虚拟对象是物理环境中的物理对象一样。在一些实施方案中，计算机系统能够结合用户的手在物理环境中的移动来更新用户的手在三维环境中的表示的显示。
在下文所述的实施方案中的一些实施方案中，计算机系统任选地能够确定物理世界中的物理对象和三维环境中的虚拟对象之间的“有效”距离，例如，以用于确定物理对象是否正与虚拟对象直接交互(例如，手是否正触摸、抓取、保持等虚拟对象或处于虚拟对象的阈值距离内)。例如，与虚拟对象直接交互的手任选地包括以下中的一者或多者：手的按下虚拟按钮的手指、用户的抓取虚拟花瓶的手、用户的手的合在一起并捏合/保持应用的用户界面以及进行本文所述的其他类型的交互中的任一者的两个手指。例如，当确定用户是否正与虚拟对象交互并且/或者用户正如何与虚拟对象交互时，计算机系统任选地确定用户的手和虚拟对象之间的距离。在一些实施方案中，计算机系统通过确定手在三维环境中的位置和感兴趣虚拟对象在三维环境中的位置之间的距离来确定用户的手和虚拟对象之间的距离。例如，用户的该一只或多只手位于物理世界中的特定定位处，计算机系统任选地捕获该一只或多只手并且在三维环境中的特定对应定位(例如，如果手是虚拟手而不是物理手，则该手将在三维环境中被显示的定位)处显示该一只或多只手。任选地将手在三维环境中的定位与感兴趣虚拟对象在三维环境中的定位进行比较，以确定用户的该一只或多只手和虚拟对象之间的距离。在一些实施方案中，计算机系统任选地通过比较物理世界中的定位(例如，而不是比较三维环境中的定位)来确定物理对象和虚拟对象之间的距离。例如，当确定用户的一只或多只手和虚拟对象之间的距离时，计算机系统任选地确定虚拟对象在物理世界中的对应位置(例如，如果该虚拟对象是物理对象而不是虚拟对象，则该虚拟对象将在物理世界中位于的定位)，然后确定对应物理定位和用户的该一只或多只手之间的距离。在一些实施方案中，任选地使用相同的技术来确定任何物理对象与任何虚拟对象之间的距离。因此，如本文所述，当确定物理对象是否与虚拟对象接触或者物理对象是否处于虚拟对象的阈值距离内时，计算机系统任选地执行上文所述的技术中的任一种技术来将物理对象的位置映射到三维环境和/或将虚拟对象的位置映射到物理环境。
在一些实施方案中，使用相同或类似的技术来确定用户的注视指向何处和何物，和/或由用户保持的物理触笔指向何处和何物处。例如，如果用户的注视指向物理环境中的特定定位，则计算机系统任选地确定三维环境中的对应定位(例如，注视的虚拟定位)，并且如果虚拟对象位于该对应虚拟定位处，则计算机系统任选地确定用户的注视指向该虚拟对象。类似地，该计算机系统任选地能够基于物理触笔的取向来确定该触笔在物理环境中指向的方向。在一些实施方案中，基于该确定，计算机系统确定三维环境中的对应于物理环境中触笔指向的位置的对应虚拟定位，并且任选地确定触笔指向三维环境中的对应虚拟定位处。
类似地，本文所述的实施方案可是指用户(例如，计算机系统的用户)在三维环境中的位置和/或计算机系统在三维环境中的位置。在一些实施方案中，计算机系统的用户正保持、穿戴或以其他方式位于计算机系统处或附近。因此，在一些实施方案中，计算机系统的位置用作用户的位置的代理。在一些实施方案中，计算机系统和/或用户在物理环境中的位置对应于三维环境中的相应位置。例如，计算机系统的位置将是在物理环境中的位置(及其在三维环境中的对应位置)，如果用户站在该位置，面向经由显示生成部件可见的物理环境的相应部分，则用户将从该位置看到物理环境中处于与对象由计算机系统的显示生成部件在三维环境中显示或经由该显示生成部件在三维环境中可见的对象相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此)的这些对象。类似地，如果在三维环境中显示的虚拟对象是物理环境中的物理对象(例如，放置在物理环境中与这些虚拟对象在三维环境中的位置相同的位置处的物理对象，以及在物理环境中具有与在三维环境中时相同的大小和取向的物理对象)，则计算机系统和/或用户的位置是用户将从该位置看到物理环境中处于与由计算机系统的显示生成部件在三维环境中显示的虚拟对象相同的定位、取向和/或大小(例如，绝对意义上和/或相对于彼此和现实世界对象)的这些虚拟对象的定位。
在本公开中，相对于与计算机系统的交互来描述各种输入方法。当使用一个输入设备或输入方法来提供示例，并且使用另一个输入设备或输入方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输入设备或输入方法兼容并且任选地利用该输入设备或输入方法。类似地，相对于与计算机系统的交互来描述各种输出方法。当使用一个输出设备或输出方法来提供示例，并且使用另一个输出设备或输出方法来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的输出设备或输出方法兼容并且任选地利用该输出设备或输出方法。类似地，相对于通过计算机系统与虚拟环境或混合现实环境进行的交互来描述各种方法。当使用与虚拟环境的交互来提供示例时，并且使用混合现实环境来提供另一个示例时，应当理解，每个示例可与相对于另一个示例描述的方法兼容并且任选地利用这些方法。因此，本公开公开了作为多个示例的特征的组合的实施方案，而无需在每个示例实施方案的描述中详尽地列出实施方案的所有特征。
用户界面和相关联的过程
现在将注意力转到可在与显示生成部件和(任选的)一个或多个传感器通信的计算机系统诸如便携式多功能设备或头戴式设备上实现的用户界面(“UI”)和相关联的过程的实施方案。
本文所述的示例例示了计算机系统(例如，设备700)的用户可发起和/或修改其中该用户与其他相应计算机系统的一个或多个用户通信的实况通信会话的方式。在一些实施方案中，实况通信会话是音频通信会话(例如，语音呼叫或电话呼叫)。在一些实施方案中，实况通信会话是视频通信会话(例如，视频通话和/或视频会议)。在一些实施方案中，实况通信会话是XR通信会话，诸如空间通信会话或非空间通信会话。在空间通信会话期间，一个或多个用户在XR环境中分别由对应于用户的三维(3D)表示(例如，化身)进行表示。在一些实施方案中，3D表示具有空间代理，使得3D表示可相对于XR环境中的其他元素和/或用户在XR环境内移动。在非空间通信会话期间，一个或多个用户在XR环境中分别由对应于用户的二维(2D)表示进行表示。在一些实施方案中，2D表示包括用户的视频馈送并且任选地在XR环境内具有固定定位(例如，位置)。
图7A至图7Q例示了管理实况通信会话的示例。图8是用于管理实况通信会话的示例性方法800的流程图。图9是用于在实况通信会话中提供化身的示例性方法900的流程图。图7A至图7Q中的用户界面用于例示下文所述的过程，这些过程包括图8和/或图9中的过程。
虽然图7A至图7Q将设备700例示为具有显示器702的手持式设备(例如，平板电脑、智能电话或膝上型电脑)，但在一些实施方案中，设备700是头戴式设备(HMD)。HMD被配置为被穿戴在设备700的用户的头部上，并且包括在HMD的内部分上和/或中的显示器702。当设备700被穿戴在用户的头部上时，显示器702对于用户是可见的。例如，在一些实施方案中，HMD在被穿戴在用户的头部上时至少部分地覆盖用户的眼睛，使得显示器702定位在用户的眼睛上方和/或前方。在此类实施方案中，显示器702被配置为在其中HMD的用户正参与的实况通信会话期间显示XR环境。
在图7A中，设备700在显示器702上显示包括元素(例如，虚拟元素和/或物理元素)诸如桌子704a和沙发704b的XR环境704。在显示XR环境704时，设备700接收显示通信界面的请求。在一些实施方案中，显示通信界面的请求是按下设备700的按钮703。如图7B所示，响应于接收到请求，设备700显示通信界面710。在一些实施方案中，通信界面710在XR环境704内显示。
通常，通信界面710可用于发起和/或修改实况通信会话(例如，音频通信会话、视频通信会话或XR通信会话)。通信界面710包括置顶联系人712(例如，置顶联系人712a-712g)和新近联系人714(例如，新近联系人714a-714i)。在一些实施方案中，置顶联系人712是由设备700的用户选择以被包括在通信界面710中的联系人(例如，由该用户收藏或置顶的联系人)的集合。在一些实施方案中，新近联系人714是设备700的用户新近地使用设备700以及任选地与设备700的用户相关联的一个或多个其他设备来(例如，经由文本、电话和/或实况通信会话)与之通信的联系人。在一些实施方案中，基于新近联系人714和设备700的用户之间的通信的新近度来布置新近联系人714(例如，对其排序或排名)。
在一些实施方案中，一个或多个置顶联系人712和/或新近联系人714对应于定义的联系人分组。作为示例，置顶联系人712d对应于联系人分组“Surfers”。作为另一示例，新近联系人714d对应于联系人分组“Lake Crew”。
在一些实施方案中，置顶联系人712和/或新近联系人714指示设备700的用户和各种联系人之间的最新近通信。作为示例，置顶联系人712b(“John”)指示该联系人在1分钟前最后一次传送文本消息。任选地，通信界面710包括预览716b，该预览指示由置顶用户712b传送的文本消息的内容。作为另一示例，置顶用户712c指示联系人在2:10时最后一次传送文本反应(例如，“爱心”反应)。作为又一示例，新近联系人714a(“妈妈”)指示设备700的用户最新近地在3:32时在XR通信会话(例如，空间实况通信会话或非空间实况通信会话)中与联系人714a通信。作为又一示例，新近联系人714e(“叔叔Bob”)指示设备700的用户最新近地在9:41时在音频通信会话(例如，电话呼叫)中与联系人714e通信。
在一些实施方案中，置顶联系人712和/或新近联系人714指示对实况通信会话的待定邀请。作为示例，新近联系人714b(“爸爸”)指示设备700的用户可加入与新近联系人714b的实况通信会话。作为又一示例，新近联系人714d(“Lake Crew”)指示该分组中的三个成员当前正处于设备700的用户已被邀请加入的正在进行的实况通信会话中。
在一些实施方案中，通信界面710的联系人712和714可用于管理联系人。以举例的方式，在显示通信界面710时，设备700检测对联系人712e(“Jo”)的选择。在一些实施方案中，对联系人712e的选择是联系人712e上的轻击手势705b。在一些实施方案中，对联系人712e的选择是例如指示对联系人712e的选择的空中手势。如图7C1和/或图7C2所示，响应于检测到对联系人712e的选择，设备700显示与联系人712e相关联的联系人菜单720。
联系人菜单720包括邀请选项720a和扩展选项720b。邀请选项720a在被选择时使设备700将联系人712e邀请到XR通信会话。扩展选项720b在被选择时使设备700显示用于管理联系人712e的一个或多个附加选项。例如，在显示联系人菜单720时，设备700检测对扩展选项720b的选择。在一些实施方案中，对扩展选项720b的选择是扩展选项720b上的轻击手势705c。在一些实施方案中，对扩展选项720b的选择是例如指示对扩展选项720b的选择的空中手势。如图7D所示，响应于检测到对扩展选项720b的选择，设备700扩展联系人菜单720以显示(例如，将扩展选项720b的显示替换为)一个或多个附加选项(例如，选项720c-720f)。
在一些实施方案中，联系人菜单720在被扩展时包括音频选项720c、消息选项720d、信息选项720e和编辑选项720f。音频选项720c在被选择时使设备700发起与联系人712e的(例如，不具有实况视频部件的)音频通信会话。在一些实施方案中，设备700不能够通过蜂窝网络进行通信和/或被配置为使用外部设备来进行音频呼叫。因此，在一些示例中，设备700使用(例如，能够通过蜂窝网络进行通信的)附近设备(例如，移动电话和/或平板电脑)来发起音频通信会话。编辑选项720f在被选择时允许设备700的用户将联系人712e从置顶联系人712移除(或在其中联系人712e尚不是置顶联系人的实施方案中将联系人712e添加到置顶联系人)。消息选项720d在被选择时允许用户向联系人712e传送消息。例如，在显示联系人菜单720时，设备700检测对消息选项720d的选择。在一些实施方案中，对消息选项720d的选择是消息选项720d上的轻击手势705d。在一些实施方案中，对消息选项720d的选择是例如指示对消息选项720d的选择的空中手势。如图7E所示，响应于检测到对消息选项720d的选择，设备700显示(例如，将通信界面710的显示替换为)消息界面730。此后，消息界面730可用于向联系人712e传送消息。
再次参考图7D，信息选项720e在被选择时使设备700显示对应于联系人712e的信息(例如，而不显示对应于其他联系人的附加信息)。例如，在显示联系人菜单720时，设备700检测对信息选项720e的选择。在一些实施方案中，对信息选项720e的选择是信息选项720e上的轻击手势707d。在一些实施方案中，对信息选项720e的选择是例如指示对信息选项720e的选择的空中手势。如图7F所示，响应于检测到对信息选项720e的选择，设备700显示信息界面740。信息界面740包括对应于联系人712e的各种细节，包括但不限于名称和联系人信息。
在一些实施方案中，联系人的设备不能够参与与设备700的XR通信会话。因此，在一些实施方案中，联系人菜单的一个或多个选项可被省略、去强调(例如，变灰或变暗)和/或替换以准确地反映联系人的设备的能力。例如，再次参考图7B，在显示通信界面710时，设备700检测对联系人712g(“Sam”)的选择。在一些实施方案中，对联系人712g的选择是联系人712g上的轻击手势709b。在一些实施方案中，对联系人712g的选择是例如指示对联系人712g的选择的空中手势。如图7C1所示，响应于检测到对联系人712g的选择，设备700显示与联系人712g相关联的联系人菜单722。
由于在一些实施方案中，联系人712g的设备不能够在XR通信会话中与设备700进行通信，因此菜单722不包括邀请选项(例如，邀请选项720a)，并且作为代替包括音频选项722a。音频选项722a在被选择时使设备700发起与联系人712g的音频通信会话。菜单722还包括扩展选项722b，该扩展选项在被选择时使设备700显示针对联系人712g的一个或多个附加选项。
在一些实施方案中，与联系人相关联的联系人菜单包括基于设备700的状态的一个或多个附加选项。作为示例，在一些实施方案中，在其中设备700正参与实况通信会话(例如，XR通信会话或音频通信会话)的实例中，联系人菜单包括用以将联系人邀请到实况通信会话的选项。例如，参考图7B，在参与XR通信会话时并且在显示通信界面710时，设备700检测对联系人714g(“Dylan”)的选择。在一些实施方案中，对联系人714g的选择是联系人714g上的轻击手势711b。在一些实施方案中，对联系人714g的选择是例如指示对联系人714f的选择的空中手势。如图7C1所示，响应于检测到对联系人714g的选择，设备700显示与联系人714g相关联的联系人菜单724。
联系人菜单724包括邀请选项724a、邀请选项724b和扩展选项724c。邀请选项724a在被选择(例如，轻击手势709c)时使设备700将联系人714g邀请到新实况通信会话。邀请选项724b在被选择时使设备700将联系人714g邀请到其中设备700当前正参与的实况通信会话。扩展选项720c在被选择时使设备700显示针对联系人714g的一个或多个附加选项。
在一些实施方案中，(例如，响应于对选项724a的选择而)将联系人邀请到新实况通信会话将使设备700与设备700当前正参与的实况通信会话断开连接和/或终止该实况通信会话。在一些实施方案中，在以此方式终止现有实况通信会话之前，设备700确认用户希望在发起新实况通信会话之前与当前实况通信会话断开连接。例如，如图7G所示，响应于对邀请选项724a的选择，设备700显示包括确认示能表示742的确认界面740。响应于对确认示能表示742的选择，设备700终止当前实况通信会话并且将联系人714f邀请到新实况通信会话。
在一些实施方案中，用户任选地使用通信界面710来向联系人传送消息。例如，参考图7B，在显示通信界面710时，设备700检测对与置顶联系人712b相关联的预览716b的选择。在一些实施方案中，对预览716b的选择是预览716b上的轻击手势707b。在一些实施方案中，对预览716b的选择是例如指示对预览716b的选择的空中手势。如图7C1所示，响应于检测到对预览716b的选择，设备700扩展预览716b以显示回复选项718。
回复选项718在被选择时使设备700显示用于向联系人712b传送消息的回复界面。例如，当在预览716b中显示回复选项718时，设备700检测对回复选项718的选择。在一些实施方案中，对回复选项718的选择是回复选项718上的轻击手势707c。在一些实施方案中，对回复选项718的选择是例如指示对回复选项718的选择的空中手势。如图7H所示，响应于检测到对回复选项718的选择，设备700显示回复界面750，该回复界面可用于向联系人712b传送消息。
在一些实施方案中，图7C1中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备提供。图7C2例示了其中(例如，如图7B和图7C1中所描述的)通信界面X710显示在头戴式设备(HMD)X700的显示模块X702上的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
如图7C2所示，响应于检测到对联系人X712e的选择，HMD X700显示与联系人X712e相关联的联系人菜单X720。在一些实施方案中，HMD X700基于由HMD X700的用户执行的空中手势来检测对联系人X712e的选择。在一些实施方案中，HMD X700检测HMD X700的用户的手X750a和/或X750b，并且确定手X750a和/或X750b的运动是否执行对应于对联系人X712e的选择的预先确定的空中手势。在一些实施方案中，选择联系人X712e的预先确定的空中手势包括捏合手势。在一些实施方案中，捏合手势包括检测手指X750c和拇指X750d朝向彼此的移动。在一些实施方案中，HMD X700基于由HMD X700的用户执行的注视和空中手势输入来检测对联系人X712e的选择。在一些实施方案中，注视和空中手势输入包括检测HMD X700的用户正看向联系人X712e(例如，持续大于预先确定的时间量)并且HMD X700的用户的手X750a和/或X750b执行捏合手势。
联系人菜单X720包括邀请选项X720a和扩展选项X720b。邀请选项X720a在被选择(例如，经由空中手势诸如捏合手势和/或经由注视和捏合手势)时使HMD X700将联系人X712e邀请到XR通信会话。扩展选项X720b在被选择时使HMD X700显示用于管理联系人X712e的一个或多个附加选项。例如，在显示联系人菜单X720时，HMD X700检测对扩展选项X720b的选择。在一些实施方案中，对扩展选项X720b的选择是例如指示对扩展选项X720b的选择的空中手势(例如，捏合手势，和/或注视和捏合手势)。响应于检测到对扩展选项X720b的选择，HMD X700扩展联系人菜单X720以显示(例如，将扩展选项X720b的显示替换为)一个或多个附加选项(例如，选项720c-720f，如图7D所例示)。
在一些实施方案中，当被扩展时，联系人菜单X720包括音频选项(例如，720c)、消息选项(例如，720d)、信息选项(例如，720e)和编辑选项(例如，720f)，例如，如关于图7D所描述的。音频选项在被选择时使HMD X700发起与联系人X712e的(例如，不具有实况视频部件的)音频通信会话。在一些实施方案中，HMD X700不能够通过蜂窝网络进行通信和/或被配置为使用外部设备来进行音频呼叫。因此，在一些示例中，HMD X700使用(例如，能够通过蜂窝网络进行通信的)附近设备(例如，移动电话和/或平板电脑)来发起音频通信会话。编辑选项在被选择时允许HMD X700的用户将联系人X712e从置顶联系人X712移除(或在其中联系人X712e尚不是置顶联系人的实施方案中将联系人X712e添加到置顶联系人)，例如，如关于图7D所描述的。消息选项在被选择时允许用户向联系人X712e传送消息，例如，如关于图7D所描述的。例如，在显示扩展联系人菜单X720时，HMD X700检测对消息选项(例如，720d)的选择。在一些实施方案中，对消息选项的选择是例如指示对消息选项的选择的空中手势(例如，捏合手势，和/或注视和捏合手势)。在一些实施方案中，如图7E所示，响应于检测到对消息选项(例如，720d)的选择，HMD X700显示(例如，将通信界面X710的显示替换为)消息界面(例如，730)。此后，消息界面可用于向联系人X712e传送消息。
在一些实施方案中，与联系人相关联的联系人菜单包括基于HMD X700的状态的一个或多个附加选项。作为示例，在一些实施方案中，在其中HMD X700正参与实况通信会话(例如，XR通信会话或音频通信会话)的实例中，联系人菜单包括用以将联系人邀请到实况通信会话的选项。例如，在参与XR通信会话时并且在显示通信界面X710时，HMD X700检测对联系人X714g(“Dylan”)的选择。在一些实施方案中，对联系人X714g的选择是例如指示对联系人X714f的选择的空中手势(例如，捏合手势，和/或注视和捏合手势)。如图7C2所示，响应于检测到对联系人X714g的选择，HMD X700显示与联系人X714g相关联的联系人菜单X724。
联系人菜单X724包括邀请选项X724a、邀请选项X724b和扩展选项X724c。邀请选项X724a在被选择(例如，经由空中手势诸如捏合手势，和/或注视和捏合手势)时使HMD X700将联系人X714g邀请到新实况通信会话。邀请选项X724b在被选择(例如，经由空中手势，诸如捏合手势，和/或注视和捏合手势)时使HMD X700将联系人X714g邀请到其中HMD X700当前正参与的实况通信会话。扩展选项X724c在被选择时使HMD X700显示针对联系人X714g的一个或多个附加选项。
在一些实施方案中，将联系人邀请到新实况通信会话(例如，响应于对选项X724a的选择)将使HMD X700与HMD X700当前正参与的实况通信会话断开连接和/或终止该实况通信会话。在一些实施方案中，在以此方式终止现有实况通信会话之前，HMD X700确认用户希望在发起新实况通信会话之前与当前实况通信会话断开连接。例如，如图7G所示，响应于对邀请选项X724a的选择，HMD X700可显示包括确认示能表示742的确认界面740。响应于对确认示能表示742的选择(例如，经由空中手势，诸如捏合手势，和/或注视和捏合手势)，HMDX700终止当前实况通信会话并且将联系人X714f邀请到新实况通信会话。
在一些实施方案中，用户任选地使用通信界面X710来向联系人传送消息。例如，在显示通信界面X710时，HMD X700检测对与置顶联系人X712b相关联的预览716b(例如，如图7B所示)的选择。在一些实施方案中，对预览716b的选择是例如指示对预览716b的选择的空中手势(例如，捏合手势，和/或注视和捏合手势)。如图7C2所示，响应于检测到对预览716b的选择，HMD X700扩展预览716b以显示回复选项X718。
回复选项X718在被选择时使HMD X700显示用于向联系人X712b传送消息的回复界面。例如，当在预览716b中显示回复选项X718时，HMD X700检测对回复选项X718的选择。在一些实施方案中，对回复选项X718的选择是例如指示对回复选项X718的选择的空中手势(例如，捏合手势，和/或注视和捏合手势)。如图7H所示，响应于检测到对回复选项X718的选择，HMD X700可显示回复界面750，该回复界面可用于向联系人X712b传送消息。
图1B至图1P所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏幕1-122a-b、第一后向显示屏幕1-322a和第二后向显示屏幕1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或区带6-232和/或显示器/显示区域6-334的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，输入设备X703单独地或以任何组合包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和或拨盘或按钮1-328中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
在一些实施方案中，通信界面710用于生成化身。在一些实施方案中，化身充当XR通信会话中设备700的用户的表示(例如，3D表示)。例如，参考图7B，在显示通信界面710时，设备700检测对化身选项715的选择。在一些实施方案中，对化身选项715的选择是化身选项715上的轻击手势713b。在一些实施方案中，对化身选项715的选择是例如指示对化身选项715的选择的空中手势。如图7I所示，响应于检测到对化身选项715的选择，设备700显示化身界面760。
在图7I处，化身界面760包括第一选项762(例如，相比于第二选项更加逼真)和第二选项764(例如，相比于第一选项不太逼真)。第一选项762在被启用时使设备700的用户的化身反映该用户的外观。例如，在一些实施方案中，当第一选项762被启用时，化身包括对应于用户的一个或多个物理特性的一个或多个视觉特性。第二选项764在被启用时使设备700的用户的化身指示用户(例如，在实况通信会话期间)的运动，而不反映用户的外观。例如，在一些实施方案中，当第二选项764被启用时，使用具有默认外观的化身。在一些实施方案中，当(与第二选项764相比)第一选项762被启用时，设备700的用户的化身由第一表示样式表示，并且化身以第一细节水平(例如，相对于用户的外观和/或用户的一个或多个部分的第一细节水平)进行显示，并且以第一方式指示用户的第一用户部分相对于用户的第二用户部分的定位和移动的定位和移动。在一些实施方案中，当(与第一选项762相比)第二选项764被启用时，设备700的用户的化身由不同于第一表示样式的第二表示样式表示，并且化身以低于第一细节水平(例如，少于用户的外观和/或以更少细节和/或更低细节量模仿用户的外观)的第二细节水平(例如，相对于用户的外观和/或用户的一个或多个部分的第二细节水平)进行显示，并且以不同于第一方式的第二方式指示用户的第一用户部分相对于用户的第二用户部分的定位和移动的定位和移动。
化身界面760还包括菜单选项766，该菜单选项在被选择时使设备700显示化身菜单，如图7I所示。例如，在图7I处，在显示化身界面760时，设备700检测对菜单选项766的选择。在一些实施方案中，对菜单选项766的选择是菜单选项766上的轻击手势705i。在一些实施方案中，对菜单选项766的选择是例如指示对菜单选项766的选择的空中手势。如图7J所示，响应于检测到对菜单选项766的选择，设备700显示化身菜单768。
在图7J处，化身菜单768包括编辑选项768a、创建选项768b和/或删除选项768c。在一些实施方案中，如果针对设备700的用户尚未创建化身，则化身菜单768包括创建选项768b，并且不包括编辑选项768a和删除选项768c。在一些实施方案中，如果针对设备700的用户已创建化身，则化身菜单768包括编辑选项768a和删除选项768c，并且不包括创建选项768b。
在图7J处，在显示化身菜单768时，设备700检测对创建选项768b的选择。在一些实施方案中，对创建选项768b的选择是创建选项768b上的轻击手势705j。在一些实施方案中，对创建选项768b的选择是例如指示对创建选项768b的选择的空中手势。如图7K所示，响应于检测到对创建选项768b的选择，设备700显示设置界面770。
在图7K处，设置界面770包括设置选项772，该设置选项在被选择时使设备700显示化身编辑界面。例如，在显示设置界面770时，设备700检测对设置示能表示772的选择。在一些实施方案中，对设置示能表示772的选择是设置示能表示772上的轻击手势705k。在一些实施方案中，对设置示能表示772的选择是例如指示对设置示能表示772的选择的空中手势。如图7L1所示，响应于检测到对设置示能表示772的选择，设备700显示化身编辑界面780。
在图7L1处，化身编辑界面780包括设备700的用户的化身的实况视图781。在一些实施方案中，设备700根据如由设备700检测到的设备700的用户的移动和/或行为举止显示化身编辑界面780的实况视图781，该实况视图被实时更新。化身编辑界面780还包括用来调整化身的视觉特性的各种设置和/或参数。作为示例，化身编辑界面780包括设置782，这些设置包括亮度设置782a和暖度设置782b。亮度设置782a和暖度设置782b分别用于调整模拟照明和化身的皮肤的温度。作为另一示例，化身编辑界面780包括调色板783，该调色板包括从中选择化身的皮肤的颜色的一个或多个颜色和/或阴影的集合。
在一些实施方案中，如图7L1所例示，化身编辑界面780包括参数784的集合，诸如衬衫参数784a和头饰参数784b。在一些实施方案中，选择参数允许选择化身的一个或多个方面的视觉特性。例如，参考图7M，对衬衫参数784a的选择(例如，对应于参数784a的位置的轻击输入705l或空中手势)使设备700显示参数菜单790，用户可根据该参数菜单从针对衬衫参数784a的任何数量的选项(例如，选项790a-790c)中进行选择。参考图7N，一旦选项已被选择(例如，对应于选项790b的位置的轻击输入705m或空中手势)，用户就可从所选择的选项的样式792(例如，792a-792f)中进行选择，并且相应地更新化身的视觉特性。类似地，在一些实施方案中，对头饰参数784b的选择使设备700显示针对头饰参数784b的头饰选项，并且对选项的选择使设备700显示所选择的选项的类型。
虽然本文相对于分别对应于衬衫和头饰的参数784a和784b进行描述，但将了解，在一些实施方案中，化身编辑界面780的参数任选地对应于化身的其他/附加视觉方面。以举例的方式，在一些实施方案中，参数784用于选择化身的眼戴设备的一个或多个方面(例如，参数784a对应于眼镜，并且参数784b对应于眼罩)。在其中设备700接收对对应于眼镜的参数784a的用户选择的示例中，设备700显示针对眼镜的各种设计(例如，无框、薄框、厚框等)的选项。一旦设备600接收到对设计的用户选择，设备700就将所选择的设计的各种样式显示为类型792以供用户选择。在其中设备700接收对眼罩的用户选择的示例中，设备700显示针对眼罩(例如，左眼罩或右眼罩)的各种设计的选项。一旦设备600接收到对设计的用户选择，设备700就将所选择的设计的各种样式显示为类型792以供用户选择。
在一些实施方案中，化身编辑界面780包括参数786的集合。如图所示，在一些实施方案中，参数786用于选择头发的一个或多个方面。以举例的方式，参数786a对应于发型，参数786b对应于头发颜色，并且参数786c对应于头发挑染。在其他实施方案中，参数786用于选择可访问性特征的一个或多个方面。以举例的方式，在一些实施方案中，参数786a对应于手假体，参数786b对应于助听器，并且参数786c对应于轮椅。
在一些实施方案中，图7L1中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备提供。图7L2例示了其中(例如，如图7L1至图7N中所描述的)化身编辑界面X780显示在头戴式设备(HMD)X700的显示模块X702上的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
在图7L2处，化身编辑界面X780包括HMD X700的用户的化身的实况视图X781。在一些实施方案中，HMD X700根据如由HMD X700检测到的HMD X700的用户的移动和/或行为举止显示化身编辑界面X780的实况视图X781，该实况视图被实时更新。化身编辑界面X780还包括用来调整化身的视觉特性的各种设置和/或参数。作为示例，化身编辑界面X780包括设置X782，这些设置包括亮度设置X782a和暖度设置X782b。亮度设置X782a和暖度设置X782b分别用于调整模拟照明和化身的皮肤的温度。作为另一示例，化身编辑界面X780包括调色板X783，该调色板包括从中选择化身的皮肤的颜色的一个或多个颜色和/或阴影的集合。
在一些实施方案中，如图7L2所例示，化身编辑界面X780包括参数X784的集合，诸如衬衫参数X784a和头饰参数X784b。在一些实施方案中，选择参数允许选择化身的一个或多个方面的视觉特性。例如，对衬衫参数X784a的选择(例如，注视和捏合手势，其中注视由对应于参数X784a的位置的注视指示符X705L表示)使HMD X700显示参数菜单790，用户可根据该参数菜单从针对衬衫参数X784a的任何数量的选项(例如，选项790a至790c)中进行选择，如图7M所示。
在一些实施方案中，HMD X700基于由HMD X700的用户执行的空中手势来检测对衬衫参数X784a的选择。在一些实施方案中，HMD X700检测HMD X700的用户的手X750a和/或X750b，并且确定手X750a和/或X750b的运动是否执行对应于对衬衫参数X784a的选择的预先确定的空中手势。在一些实施方案中，选择衬衫参数X784a的预先确定的空中手势包括捏合手势。在一些实施方案中，捏合手势包括检测手指X750c和拇指X750d朝向彼此的移动。在一些实施方案中，HMD X700基于由HMD X700的用户执行的注视和空中手势输入来检测对衬衫参数X784a的选择。在一些实施方案中，注视和空中手势输入包括检测HMD X700的用户正看向衬衫参数X784a(例如，持续大于预先确定的时间量)并且HMD X700的用户的手X750a和/或X750b执行捏合手势。
参考图7N，一旦选项已被选择(例如，对应于选项790b的位置的轻击输入705m或空中手势)，用户就可从所选择的选项的样式792(例如，792a-792f)中进行选择，并且相应地更新化身的视觉特性。类似地，在一些实施方案中，对头饰参数784b的选择使设备700显示针对头饰参数784b的头饰选项，并且对选项的选择使设备700显示所选择的选项的类型。
虽然本文相对于分别对应于衬衫和头饰的参数X784a和X784b进行描述，但将了解，在一些实施方案中，化身编辑界面X780的参数任选地对应于化身的其他/附加视觉方面。以举例的方式，在一些实施方案中，参数X784用于选择化身的眼戴设备的一个或多个方面(例如，参数X784a对应于眼镜，并且参数X784b对应于眼罩)。在其中HMD X700接收对对应于眼镜的参数X784a的用户选择的示例中，HMD X700显示针对眼镜的各种设计(例如，无框、薄框、厚框等)的选项。一旦HMD X700接收到对设计的用户选择，HMD X700就将所选择的设计的各种样式显示为类型792以供用户选择。在其中HMD X700接收对眼罩的用户选择的示例中，HMD X700显示针对眼罩(例如，左眼罩或右眼罩)的各种设计的选项。一旦HMD X700接收到对设计的用户选择，HMD X700就将所选择的设计的各种样式显示为类型792以供用户选择。
在一些实施方案中，化身编辑界面X780包括参数X786的集合。如图所示，在一些实施方案中，参数X786用于选择头发的一个或多个方面。以举例的方式，参数X786a对应于发型，参数X786b对应于头发颜色，并且参数X786c对应于头发挑染。在其他实施方案中，参数X786用于选择可访问性特征的一个或多个方面。以举例的方式，在一些实施方案中，参数X786a对应于手假体，参数X786b对应于助听器，并且参数X786c对应于轮椅。
图1B至图1P所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏幕1-122a-b、第一后向显示屏幕1-322a和第二后向显示屏幕1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或区带6-232和/或显示器/显示区域6-334的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，输入设备X703单独地或以任何组合包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和或拨盘或按钮1-328中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
参考图7N，在显示化身编辑界面780时，设备700检测对保存选项788的选择。在一些实施方案中，对保存选项788的选择是保存选项788上的轻击手势705n。在一些实施方案中，对保存选项788的选择是例如指示对保存选项788的选择的空中手势。响应于检测到对保存选项788的选择，设备700存储(例如，本地存储和/或远程存储)针对设备700的用户所选择的化身的配置以供后续在XR通信会话中使用。如图7O所示，进一步响应于检测到对设置示能表示772的选择，设备700显示完成界面795，该完成界面指示用户已成功地创建和/或更新用户的化身。
在图7P中，设备700的用户正参与与XR环境704内的联系人712f(“Ann”，图7B)的XR通信会话。在一些实施方案中，XR通信会话是空间通信会话。因此，在一些实施方案中，联系人712f和/或设备700的用户在XR环境704中由3D表示(例如，化身)进行表示。例如，如图7P所示，设备700的用户由(如在自预览706A中所示的)表示700A进行表示，并且联系人712f由表示701A进行表示。
在一些实施方案中，用于设备700的用户的XR环境704的视图从XR环境704内的表示700A的角度进行提供。由于这可阻止用户以其他方式查看表示700A，因此设备700显示包括XR环境704中的表示700A的实况视图的自预览706A。虽然自预览706A被示为位于显示器702的右下角，但将了解，自预览706A可任选地显示在显示器702上的任何位置处。以举例的方式，在一些实施方案中，自预览706A定位成邻近于XR通信会话中的联系人的表示。在一些实施方案中，自预览706A位于例如接近于表示701A的定位708A处。
在一些实施方案中，由XR环境中的3D表示所表示的参与者具有空间代理。因此，在XR通信会话期间，3D表示任选地在XR环境704内移动，使得3D表示相对于XR环境704中的元素(例如，桌子704a和沙发704b)和/或其他参与者移动。在一些实施方案中，3D表示根据对应设备的移动而移动。以举例的方式，3D表示700A可响应于设备700的移动而在XR环境704内移动。在一些实施方案中，3D表示以对应于设备的移动的方式进行移动。例如，如果设备700首先在第一方向上(例如，向左)移动并且其后在第二方向上(例如，向右)移动，则3D表示700A将在XR环境704内以相像的方式在第一方向和第二方向上移动。
在一些实施方案中，在参与XR通信会话时，设备700显示用于管理XR通信会话的一个或多个方面的控件704A的集合，如图7P所示。控件704A的集合包括消息选项704Aa、信息选项704Ab、麦克风选项704Ac、化身选项704Ad、相机选项704Ae以及终止选项704Af。消息选项704Aa在被选择时使设备700显示用于向联系人712f传送消息的消息界面。信息选项704Ab在被选择时使设备700显示对应于联系人712f的信息界面。麦克风选项704Ac在被选择时切换设备700的麦克风的状态(例如，启用或禁用该麦克风)。在一些实施方案中，禁用设备700的麦克风阻止设备700在XR通信会话期间提供音频。相机选项704Ae在被选择时切换设备700的相机的状态(例如，启用或禁用该相机)。在一些实施方案中，禁用设备700的相机阻止设备700在XR通信会话期间提供视频(例如，设备700的用户的视频馈送和/或设备700的用户的表示的移动)。终止选项704Af在被选择时使设备700与XR通信会话断开连接。
化身选项704Ad在被选择时切换(例如，启用或禁用)XR环境704中的3D表示的使用。例如，在显示XR环境704时，设备700检测对化身选项704Ad的选择。在一些实施方案中，对化身选项704Ad的选择是化身选项704Ad上的轻击手势705p。在一些实施方案中，对化身选项704Ad的选择是例如指示对化身选项704Ad的选择的空中手势。如图7Q所示，响应于对化身选项704Ad的选择，设备700禁用XR环境704中的3D表示的使用。
在一些实施方案中，当切换XR环境704中的3D表示的使用时，设备700使XR通信会话在空间通信会话和非空间通信会话之间转变。禁用3D表示的使用使设备700将XR通信会话从空间通信会话转变为非空间通信会话。启用3D表示的使用使设备700将XR通信会话从非空间通信会话转变为空间通信会话。
在一些实施方案中，在非空间通信会话中，XR通信会话中的参与者由2D表示进行表示。以举例的方式，如图7Q所示，设备700的用户由(如在自预览706A中所示的)2D表示710A表示，并且联系人712f由2D表示712A进行表示。
在一些实施方案中，2D表示包括用户的视频馈送(例如，实况视频馈送)。在一些实施方案中，如果用户的视频馈送不可用(例如，设备的相机被禁用)，则用户的2D表示作为代替包括与用户相关联的图像(例如，缩略图)、对应于用户的字母组合和/或另一2D表示。在一些实施方案中，由XR环境中的2D表示所表示的用户不具有空间代理，并且任选地定位在XR环境704中的一个或多个预先确定的位置处。在一些实施方案中，设备600被配置为基于在设备700处接收的用户输入(例如，将表示从第一位置拖动到第二位置的输入)来移动XR环境中的远程参与者的2D表示。在一些实施方案中，设备600不被配置为基于在设备700处接收的用户输入来移动XR环境中的远程参与者的3D表示。
以下参考方法800和方法900提供关于图7A至图7Q的附加描述，其中的每种方法相对于图7A至图7Q进行描述。
图8是根据一些实施方案的用于管理实况通信会话的示例性方法800的流程图。在一些实施方案中，方法800在计算机系统(例如，图1A中的计算机系统101、计算机系统700和/或HMD X700)(例如，智能电话、平板电脑和/或头戴式设备)处执行，该计算机系统与显示生成部件(例如，图1A、图3和图4中的显示生成部件120、显示器702和/或显示器X702)(例如，视觉输出设备、3D显示器、具有图像可投射在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器和/或显示控制器)和一个或多个传感器(例如，触敏表面、陀螺仪、加速度计、运动传感器、移动传感器、麦克风、红外传感器、相机传感器、深度相机、可见光相机、眼睛跟踪传感器、注视跟踪传感器、生理传感器和/或图像传感器)通信。在一些实施方案中，方法800由存储在非暂态(或暂态)计算机可读存储介质中并且由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控件110)执行的指令支配。方法800中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
计算机系统(例如，700和/或X700)经由显示生成部件显示(802)多个用户(例如，不操作计算机系统的用户(远程用户)和/或除了计算机系统的用户之外的用户)的表示(例如，712a-712g和714a-714i)(例如，静态化身、动画化身、图像和/或字母组合)。
计算机系统(例如，700和/或X700)经由一个或多个传感器接收(804)对多个用户中的相应用户的表示(例如，712e、X712e、714g和/或X714g)(例如，静态化身、动画化身、图像和/或字母组合)的选择(例如，705b和/或711b)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。
响应于(806)接收到对相应用户的表示(例如，712e、X712e、714g和/或X714g)的选择并且根据存在正在进行的(例如，活动的和/或当前建立的)通信会话(例如，视频通信会话、音频通信会话、扩展现实通信会话、空间通信会话和/或非空间通信会话)的确定，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示(808)用以邀请相应用户加入正在进行的通信会话的选项(例如，图7C1处的724b和/或图7C2处的X724b)。
响应于(806)接收到对相应用户的表示(例如，712e、X712e、714g和/或X714g)的选择并且根据确定不存在正在进行的通信会话，计算机系统(例如，700和/或X700)放弃显示(810)用以邀请相应用户加入正在进行的通信会话的选项(例如，如图7C1处的菜单720和/或图7C2处的菜单X720中)。有条件地显示用以邀请相应用户加入正在进行的通信会话的选项使得计算机系统的用户能够邀请相应用户，而无需导航到不同用户界面，从而减少执行邀请操作所需的输入的数量。
在一些实施方案中，响应于接收到对相应用户的表示(例如，712e、X712e、714g和/或X714g)的选择(例如，与是否存在正在进行的通信会话的确定无关)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示用以发起与相应用户的新空间通信会话的选项(例如，图7C1处的720a和/或724a和/或图7C2处的X720a和/或X724a)以及针对附加特征的选项(例如，图7C1处的720b和/或724c和/或图7C2处的X720b和/或X724c)(例如，而不显示用于向相应用户发送文本消息和/或显示关于相应用户的附加信息的选项)。在一些实施方案中，在显示针对附加特征的选项(例如，图7C1处的720a和/或724a和/或图7C2处的X720a和/或X724a)时，计算机系统(例如，700和/或X700)接收对针对附加特征的选项(例如，图7C1处的720a和/或724a和/或图7C2处的x720a和/或x724a)的选择(例如，705c和/或709d)。在一些实施方案中，响应于接收到对针对附加特征的选项的选择，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示(例如，通过替换用以邀请相应用户加入正在进行的通信会话的选项的显示)与相应用户相关联的一个或多个选项(例如，图7D处的720c-720f)(例如，用于诸如通过向相应用户发送文本消息和/或显示关于相应用户的附加信息来与相应用户通信的一个或多个选项)。在一些实施方案中，空间通信会话是具有分布在3D环境中的参与通信会话的用户的至少一些(例如，少于所有、多个和/或所有)表示的通信会话。显示用以发起与相应用户的新空间通信会话的选项以及访问附加特征的选项使得计算机系统的用户能够快速地访问用以发起新空间通信会话的选项，而不会使用户界面杂乱，同时仍提供对附加(以及潜在地不常使用的)特征的访问，从而改进人机界面。
在一些实施方案中，响应于接收到对相应用户的表示的选择(例如，与是否存在正在进行的通信会话的确定无关)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示针对附加特征的选项(例如，图7C1处的720b和/或图7C2处的X720b)(例如，而不显示用于向相应用户发送文本消息和/或显示关于相应用户的附加信息的选项)。在一些实施方案中，在显示针对附加特征的选项(例如，图7C1处的720b和/或图7C2处的X720b)时，计算机系统(例如，700和/或X700)经由一个或多个传感器接收对针对附加特征的选项(例如，图7C1处的720b和/或图7C2处的X720b)的选择(例如，705c)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对针对附加特征的选项(例如，图7C1处的720b和/或图7C2处的X720b)的选择，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示(例如，通过替换用以邀请相应用户加入正在进行的通信会话的选项的显示)用以发起与相应用户的(例如，不包括参与者的实况视觉表示和/或不包括视频部件的)音频通信会话的选项(例如，图7D处的720c)(例如，作为与相应用户相关联的一个或多个选项的一部分)。在一些实施方案中，计算机系统经由一个或多个传感器接收对用以发起与相应用户的音频通信会话的选项(例如，图7D处的720c)的选择(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以发起与相应用户的音频通信会话的选项(例如，图7D处的720c)的选择，计算机系统(例如，700和/或X700)发起与相应用户(例如，而不与其他用户)的(例如，不包括参与者的实况视觉表示和/或不包括视频部件的)音频通信会话。显示用以发起音频通信会话的选项使得计算机系统的用户能够开始不包括用户的实况视觉表示的通信会话，而无需发起视频通信会话并且单独地禁用视频部分，从而减少发起音频通信会话所需的输入的数量。
在一些实施方案中，计算机系统发起音频通信会话包括使用在计算机系统(例如，700和/或X700)的预先确定的范围(例如，距离和/或无线范围)内的外部电子设备(例如，智能电话和/或蜂窝电话)来发起音频呼叫(例如，语音呼叫和/或电话呼叫)。在一些实施方案中，针对不具有包括特定在线服务的账户(或不具有活动账户)的相应用户显示用以发起音频通信会话的选项(例如，计算机系统的用户具有包括用于视频和/或扩展现实通信的特定在线服务的账户，但相应用户没有该账户)。使用外部电子设备来经由音频呼叫发起音频通信会话使得计算机系统能够使用外部计算机系统的资源(例如，该外部计算机系统的蜂窝连接和/或CPU处理)，从而改进计算机系统的功能性，同时减少计算机系统的工作负荷。
在一些实施方案中，响应于接收到对相应用户的表示(例如，712e、X712e、714g和/或X714g)的选择(例如，705c和/或711b)(例如，与是否存在正在进行的通信会话的确定无关)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示针对附加特征的选项(例如，720b、X720b、724c和/或X724C)(例如，而不显示用于发起向相应用户传送消息的过程和/或显示关于相应用户的附加信息的选项)。在一些实施方案中，在显示针对附加特征的选项(例如，720b、X720b、724c和/或X724c)时，计算机系统(例如，700和/或X700)经由一个或多个传感器接收对针对附加特征的选项(例如，720b和/或X720b)的选择(例如，705c)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对针对附加特征的选项(例如，720b和/或X720b)的选择(例如，705c)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示(例如，通过替换用以邀请相应用户加入正在进行的通信会话的选项的显示)用以发起向相应用户传送消息的(例如，不包括音频和/或视频的实况发送的)过程的选项(例如，720d)(例如，作为与相应用户相关联的一个或多个选项的一部分)。在一些实施方案中，计算机系统经由一个或多个传感器接收对用以发起向相应用户传送消息的过程的选项(例如，720d)的选择(例如，705d)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以发起向相应用户传送消息的过程的选项(例如，720d)的选择(例如，705d)，计算机系统(例如，700和/或X700)发起向相应用户传送消息(例如，图7E处的730和/或图7H处的750)(例如，而不是向其他用户传送消息)的(例如，不包括参与者的实况视觉表示和/或不包括视频部件的)过程。在一些实施方案中，发起向相应用户传送消息的过程包括显示包括计算机系统的用户和相应用户之间的对话的用户界面，显示键盘和/或显示用于录入消息的文本录入字段。经由附加特征选择提供用以发起向相应用户传送消息的过程的选项使得计算机系统的用户能够快速地发起该过程，而无需指定接收者，从而减少传送消息所需的输入的数量。
在一些实施方案中，响应于接收到对相应用户的表示(例如，712e、X712e、714g和/或X714g)的选择(例如，705c和/或711b)(例如，与是否存在正在进行的通信会话的确定无关)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示针对附加特征的选项(例如，720b、X720b、724c和/或X724c)(例如，而不显示用于发起向相应用户传送消息的过程和/或显示关于相应用户的附加信息的选项)。在一些实施方案中，在显示针对附加特征的选项(例如，720b、X720b、724c和/或X724C)时，计算机系统经由一个或多个传感器接收对针对附加特征的选项(例如，720b、X720b、724c和/或X724c)的选择(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对针对附加特征的选项(例如，720b、X720b、724c和/或X724c)的选择，计算机系统经由显示生成部件显示(例如，通过替换用以邀请相应用户加入正在进行的通信会话的选项的显示)用以显示关于相应用户的附加信息(例如，而不显示关于其他用户的附加信息)的选项(例如，720e)(例如，作为与相应用户相关联的一个或多个选项的一部分)。在一些实施方案中，计算机系统经由一个或多个传感器接收对用以显示关于相应用户的附加信息的选项(例如，720e)的选择(例如，707d)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以显示关于相应用户的附加信息的选项(例如，720e)的选择(例如，707d)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示关于相应用户的(例如，在针对附加特征的选项被选择时不被显示和/或在针对附加信息的选项被选择时不被显示的)附加信息(例如，图7F处的740)(例如，与相应用户的先前通信历史、相应用户的电话号码和/或相应用户的电子邮件地址)(例如，而不显示关于其他用户的附加信息)。向用户提供关于相应用户的附加信息向计算机系统的用户提供关于相应用户和/或相应用户的设备的反馈，从而提供改进的视觉反馈。
在一些实施方案中，响应于接收到对相应用户的表示(例如，712e、X712e、714g和/或X714g)的选择(例如，705c和/或711b)(例如，与是否存在正在进行的通信会话的确定无关)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示针对附加特征的选项(例如，720b、X720b、724c和/或X724c)(例如，而不显示用于发起向相应用户传送消息的过程和/或显示关于相应用户的附加信息的选项)。在一些实施方案中，在显示针对附加特征的选项(例如，720b、X720b、724c和/或X724c)时，计算机系统(例如，700和/或X700)经由一个或多个传感器接收对针对附加特征的选项的选择(例如，705c)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对针对附加特征的选项(例如，720b和/或X720b)的选择(例如，705c)，计算机系统经由显示生成部件显示(例如，通过替换用以邀请相应用户加入正在进行的通信会话的选项的显示)用以将相应用户从收藏页(例如，收藏的用户的列表或分组)移除(例如，而不移除其他用户)的选项(例如，720f)(例如，作为与相应用户相关联的一个或多个选项的一部分)。在一些实施方案中，将相应用户从收藏页移除包括停止将相应用户的表示作为多个用户的表示(例如，静态化身、动画化身、图像和/或字母组合)的一部分进行显示(例如，该表示任选地作为主用户界面的一部分被显示)。在一些实施方案中，计算机系统经由一个或多个传感器接收对用以将相应用户从收藏页(例如，712)移除的选项(例如，720f)的选择(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以将相应用户从收藏页(例如，712)移除的选项(例如，720f)的选择，计算机系统(例如，700和/或X700)发起将相应用户从收藏页移除的过程(例如，请求确认将相应用户从收藏页移除和/或将相应用户从收藏页移除)。发起将相应用户从收藏页移除的过程使得用户能够限制可经由收藏页和/或主用户界面访问的用户，从而减少视觉杂乱并且使得能够将其他用户添加到收藏页，从而提供改进的视觉反馈。
在一些实施方案中，响应于接收到对相应用户的表示(例如，714g和/或X714g)的选择(例如，711b)并且根据存在正在进行的(例如，活动的和/或当前建立的)通信会话(例如，视频通信会话、音频通信会话、扩展现实通信会话、空间通信会话和/或非空间通信会话)的确定，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)并且与用以邀请相应用户加入正在进行的通信会话的选项(例如，724b和/或X724b)同时显示用以发起与相应用户开始新通信会话的过程的选项(例如，724a和/或X724a)。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器接收对用以发起与相应用户开始新通信会话的过程的选项(例如，724a和/或X724a)的选择(例如，709c)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以发起与相应用户开始新通信会话的过程的选项(例如，724a和/或X724a)的选择(例如，709c)，计算机系统(例如，700和/或X700)发起结束正在进行的通信会话(例如，图7G处的740)并且与相应用户开始新通信会话的过程。在一些实施方案中，响应于接收到对用以发起与相应用户开始新通信会话的过程的选项的选择，计算机系统自动(例如，无需要求和/或接收来自用户的附加输入和/或无需请求用户确认)结束正在进行的通信会话并且与相应用户开始新通信会话。提供用以与相应用户开始新通信会话的选项使得计算机系统能够结束正在进行的通信会话并且开始新通信会话，而无需指向结束正在进行的通信会话并且开始新通信会话的单独用户输入，从而减少执行操作所需的输入的数量。
在一些实施方案中，在与相应用户开始新通信会话的过程(例如，图7G处的740)期间，计算机系统(例如，700和/或X700)提示(例如，742)(例如，经由使用扬声器的音频和/或经由使用显示生成部件的显示)确认结束正在进行的通信会话。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器(例如，在显示确认结束正在进行的通信会话的提示时)接收对结束正在进行的通信会话的确认。在一些实施方案中，响应于接收到对结束正在进行的通信会话的确认，计算机系统结束正在进行的通信会话(并且任选地，与相应用户开始新通信会话)。从计算机系统的用户请求确认结束正在进行的通信会话使得计算机系统能够避免用户无意地结束正在进行的通信会话，从而改进人机界面。
在一些实施方案中，多个用户的表示(例如，静态化身、动画化身、图像和/或字母组合)作为(例如，任选地包括新近地与之通信的联系人的表示的)主用户界面的一部分被显示(例如，如图7B至图7D所示)，并且显示用以邀请相应用户加入正在进行的通信会话的选项(例如，724b和/或X724b)和/或显示与相应用户相关联的一个或多个选项(例如，720a-720b、X720a-X720b、724a-724c和/或X724a-X724c)包括遮挡主用户界面(例如，部分地阻挡显示该主用户界面、使该主用户界面变模糊和/或以其他方式部分地遮挡该主用户界面)。在一些实施方案中，主用户界面包括用于显示相应应用的多个用户界面对象(例如，在被激活时使显示第一应用的用户界面的第一用户界面对象，以及在被激活时使显示不同于第一应用的第二应用的用户界面的第二用户界面对象)。在一些实施方案中，响应于检测到相应用户输入(例如，检测到物理按钮的按下和/或检测到相应手势，诸如空中手势)，计算机系统显示主用户界面(例如，而不考虑在接收到相应用户输入时计算机系统正显示的内容)。在一些实施方案中，在计算机系统从低功率模式退出(例如，唤醒)和/或接收到解锁计算机系统的用户输入之后，计算机系统自动显示主用户界面。继续显示主用户界面(在被遮挡时)向用户提供关于用户正访问的内容的上下文，包括关于相应用户的信息(例如，名称和/或联系人信息)。
在一些实施方案中，与相应用户相关联的一个或多个选项包括用以发起向相应用户传送消息的(例如，不包括音频和/或视频的实况发送的)过程的选项(例如，720d)(例如，作为与相应用户相关联的一个或多个选项的一部分)。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器接收对用以发起向相应用户传送消息的过程的选项(例如，720d)的选择(例如，705d)。在一些实施方案中，响应于接收到(例如，705d)用以发起向相应用户传送消息的过程的选项(例如，720d)(并且任选地，根据在接收到对相应用户的表示的选择时不在显示来自相应用户的消息的确定)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示具有第一外观的(用于与相应用户进行消息传送的)消息传送用户界面(例如，图7E处的730)(例如，具有第一大小的消息传送用户界面和/或包括显示键盘的消息传送用户界面)，而不显示主用户界面。显示具有第一外观的消息传送用户界面而不显示主用户界面向用户提供消息传送用户界面处于第一状态的反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，与相应用户相关联的一个或多个选项包括用以发起向相应用户传送消息的(例如，不包括音频和/或视频的实况发送的)过程的选项(例如，718和/或X718)(例如，作为与相应用户相关联的一个或多个选项的一部分)。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器接收对用以发起向相应用户传送消息的过程的选项(例如，718和/或X718)的选择(例如，707c)。在一些实施方案中，响应于接收到对用以发起向相应用户传送消息的过程的选项(例如，718和/或X718)的选择(例如，707c)(并且任选地根据在接收到对相应用户的表示的选择时正显示来自相应用户的消息的确定)，计算机系统(例如，700和/或X700)经由显示生成部件同时显示具有(例如，不同于第一外观的)第二外观的(用于与相应用户进行消息传送的)消息传送用户界面(例如，750)(例如，具有小于第一大小的第二大小的消息传送用户界面和/或不包括显示键盘的消息传送用户界面)以及主用户界面的至少一部分(例如，如图7H所示)(例如，显示遮挡的主用户界面)。显示具有第二外观的消息传送用户界面以及主用户界面的一部分向用户提供消息传送用户界面处于第二状态的反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，主用户界面不是用户可移动的，并且其中(例如，具有第一外观和/或具有第二外观的)消息传送用户界面(例如，750)是用户可移动的。使得用户能够移动消息传送用户界面而不使得用户能够移动主用户界面向用户提供关于哪些元素是主用户界面的一部分并且哪些元素不是主用户界面的一部分的反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，经由显示生成部件(例如，702和/或X702)显示多个用户的表示(例如，712a-712g和714a-714i)包括经由显示生成部件(例如，702和/或X702)显示第一多个用户的第一多个表示的第一分组(例如，712)，其中第一多个用户(例如，712a-712g)被选择成与计算机系统的用户和第一多个用户之间的通信的新近度无关地被包括作为多个用户的表示的一部分(例如，被包括以基于被手动选择为收藏页联系人的一部分和/或基于通信的频率来进行显示)。在一些实施方案中，经由显示生成部件显示多个用户的表示(例如，712a-712g和714a-714i)包括经由显示生成部件(例如，702和/或X702)显示第二多个用户的第二多个表示的第二分组(例如，714)，其中第二多个用户(例如，714a-714i)被选择成基于计算机系统的用户和第二多个用户之间的通信的新近度来被包括作为多个用户的一部分(例如，被包括以基于与之通信的最新近用户来进行显示)。在一些实施方案中，第二多个用户的第二多个表示的次序基于计算机系统的用户和第二多个用户之间的通信的新近度。在一些实施方案中，经由显示生成部件显示多个用户的表示包括：经由显示生成部件显示第一多个用户的第一多个表示的第一分组，其中第一多个用户被选择成与计算机系统的用户和第一多个用户之间的通信的新近度无关地被包括作为多个用户的表示的一部分；以及第二多个用户的第二多个表示的第二分组，其中：根据由计算机系统的用户进行的新近通信包括与一个或多个用户的第一集合的通信，而不包括与一个或多个用户的第二集合的通信的确定，第二多个用户包括一个或多个用户的第一集合，而不包括一个或多个用户的第二集合，并且根据由计算机系统的用户进行的新近通信包括与一个或多个用户的第二集合的通信，而不包括与一个或多个用户的第一集合的通信的确定，第二多个用户包括一个或多个用户的第二集合，而不包括一个或多个用户的第一集合。将第一多个用户分组在一起并且将第二多个用户分组在一起使得计算机系统能够向用户提供关于哪些用户与通信的新近度无关地被选择以及哪些用户基于通信的新近度而被包括的反馈，从而提供改进的视觉反馈。
在一些实施方案中，计算机系统的用户(例如，700和/或X700)和第二多个用户之间的通信的新近度基于多种通信模式(例如，文本消息传送、电话呼叫和/或通信会话(例如，视频通信会话、音频通信会话、扩展现实通信会话、空间通信会话和/或非空间通信会话))。基于使用多种通信模式的通信的新近度来将第二多个用户分组在一起使得计算机系统能够将新近联系人进行分组，而不管通信如何发生，从而提供改进的视觉反馈。
在一些实施方案中，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)并且与用以邀请相应用户加入正在进行的通信会话的选项(例如，724b和/或X724b)和/或与相应用户(例如，724a、X724a、724c和/或X724c)相关联的一个或多个选项同时显示对计算机系统的用户和相应用户之间的新近通信活动的指示(例如，714f和/或X714f)(例如，关于新近呼叫或通信的信息、关于活动呼叫或通信的信息和/或关于新近消息的信息)。显示对新近通信活动的指示以及一个或多个选项使得用户能够看到使用了何种新近通信方法并且快速地选择用于另一通信会话的通信方法，从而减少发起适当类型的通信会话所需的输入的数量。
在一些实施方案中，与相应用户相关联的一个或多个选项(例如，720c-720f)包括用以发起与相应用户的空间通信会话(例如，与分布在3D环境中的参与通信会话的用户的至少一些(例如，少于所有、多个和/或所有)表示的通信会话)的选项(例如，724a和/或X724a)。在一些实施方案中，计算机系统经由一个或多个传感器接收对用以发起与相应用户的空间通信会话的选项(例如，724a和/或X724a)的选择(例如，709c)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以发起与相应用户的空间通信会话的选项(例如，724a和/或X724a)的选择(例如，709c)，计算机系统(例如，700和/或X700)发起与相应用户的空间通信会话(例如，诸如在图7P中)。提供用以发起与相应用户的空间通信会话的选项使得计算机系统能够开始通信会话，而无需指向选择与之一起参与通信会话的用户的单独用户输入，从而减少执行操作所需的输入的数量。
在一些实施方案中，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)并且与多个用户的表示(例如，712a-712g和714a-714i)同时显示用以预览和/或编辑计算机系统的用户的化身的选项(例如，715)。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器接收对用以预览和/或编辑计算机系统的用户的化身的选项(例如，715)的选择(例如，713b)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以预览和/或编辑计算机系统的用户的化身的选项(例如，715)的选择(例如，713b)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示用于预览(例如，经由结合用户的移动而移动的化身自视图)和/或编辑计算机系统的用户的化身的用户界面(例如，760)。显示用户界面以预览和/或编辑计算机的用户的化身向用户提供关于化身的视觉特性和可完成的编辑的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)并且与多个用户的表示(例如，712a-712g和714a-714i)同时显示对计算机系统的用户和多个用户中的第一用户之间的最新近通信(例如，文本消息、已建立呼叫和/或未接呼叫)的第一指示(例如，在图7B处714e处的9:41)(例如，与第一用户的表示邻近地显示或与第一用户的表示重叠地显示)以及对计算机系统(例如，700和/或X700)的用户和多个用户中的不同于第一用户的第二用户之间的最新近通信(例如，文本消息、已建立呼叫和/或未接呼叫)的第二指示(例如，在图7B处714f处的2:21)(例如，与第二用户的表示邻近地显示或与第二用户的表示重叠地显示)。显示对计算机系统的用户和其他相应用户之间的最新近通信的指示向用户提供关于新近通信的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，多个用户的表示中的对应于第一用户的第一表示包括来自第一用户的新近消息(例如，716b)(例如，新近消息的一部分、所接收的文本消息和/或所接收的图像)。在一些实施方案中，多个用户的表示中的对应于第二用户的第二表示包括来自第二用户的新近消息(例如，所接收的文本消息和/或所接收的图像)。显示来自第一用户的新近消息向计算机系统的用户提供关于新近消息的反馈，从而提供增强的视觉反馈。
在一些实施方案中，计算机系统经由一个或多个传感器接收对来自第一用户的新近消息(例如，716b)的选择(例如，707b)(例如，经由触敏表面上的触摸输入和/或经由空中手势)；并且响应于接收到对来自第一用户的新近消息(例如，716b)的选择(例如，707b)，经由显示生成部件(例如，702和/或X702)显示用以回复新近消息的选项(例如，图7C1处的718和/或图7C2处的X718)。在一些实施方案中，响应于接收到对来自第一用户的新近消息的选择，新近消息的显示扩展为显示来自于来自第一用户的新近消息的附加内容。响应于接收到对新近消息的选择而显示用以回复该新近消息的选项使得计算机系统的用户能够快速地回复该消息，而不必首先打开单独应用，从而减少回复该消息所需的输入的数量。
在一些实施方案中，计算机系统经由一个或多个传感器接收对用以回复来自第一用户的新近消息的选项(例如，718和/或X718)的选择(例如，707c)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于接收到对用以回复来自第一用户的新近消息的选项(例如，718和/或X718)的选择(例如，707c)，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示用于回复来自第一用户的新近消息的用户界面(例如，750)(例如，消息用户界面、用于录入消息的键盘、用于录入消息的文本录入字段)。响应于接收到对新近消息的选择而显示用以回复该新近消息的选项使得计算机系统的用户能够快速地回复该消息，而不必首先打开单独应用，从而减少回复该消息所需的输入的数量。
在一些实施方案中，多个用户的表示(例如，712a-712g和714a-714i)(例如，静态化身、动画化身、图像和/或字母组合)作为(例如，任选地包括新近地与之通信的联系人的表示的)主用户界面的一部分被显示(例如，如图7B至图7D所示)。在一些实施方案中，(包括多个用户的表示的)主用户界面响应于检测到硬件按钮(例如，703)(例如，可按压按钮、电容式按钮和/或未被显示生成部件显示的按钮)的激活而被显示。响应于检测到硬件按钮的激活而显示主用户界面使得用户能够快速地访问主用户界面(例如，不管经由显示生成部件显示的内容如何)，从而减少访问主用户界面所需的输入的数量。
在一些实施方案中，方法800、900、1100和/或1300的各方面/操作可在这些方法之间互换、替换和/或添加。例如，图7B的主屏幕与图10A的主屏幕相同。对于另一示例，图10C的实时通信会话与图12A的实时通信会话相同。为了简明起见，此处不再重复这些细节。
图9是在一些实施方案中用于在实况通信会话中提供化身的示例性方法900的流程图。在一些实施方案中，方法900在计算机系统(例如，图1A中的计算机系统101、计算机系统700和/或HMD X700)(例如，智能电话、平板电脑和/或头戴式设备)处执行，该计算机系统与显示生成部件(例如，图1A、图3和图4中的显示生成部件120、显示器702和/或显示器X702)(例如，视觉输出设备、3D显示器、具有图像可投射在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器和/或显示控制器)和一个或多个传感器(例如，触敏表面、陀螺仪、加速度计、运动传感器、移动传感器、麦克风、红外传感器、相机传感器、深度相机、可见光相机、眼睛跟踪传感器、注视跟踪传感器、生理传感器和/或图像传感器)通信。在一些实施方案中，方法900由存储在非暂态(或暂态)计算机可读存储介质中并且由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控件110)执行的指令支配。方法900中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示(902)用于与实时通信会话中的其他用户通信的通信用户界面，其中在实时通信会话期间，计算机系统的用户由化身表示，该化身在实时通信会话期间根据(例如，结合和/或基于)计算机系统的用户的由一个或多个传感器检测到的移动而移动(例如，计算机系统的一个或多个相机检测到用户的移动诸如头部、眼睛、嘴巴、手臂和/或手移动，并且化身根据所检测的移动而移动)。
在显示通信用户界面(例如，760和/或770)时，计算机系统经由显示生成部件显示(904)可选择用户界面对象(例如，762、764、768和/或772)。
计算机系统(例如，在同时显示通信用户界面和可选择用户界面对象时，或者在不同时显示通信用户界面和可选择用户界面对象时)经由一个或多个传感器检测(906)包括指向可选择用户界面对象(例如，762、764、768和/或772)的选择输入的一个或多个输入。在一些实施方案中，在同时显示通信用户界面和可选择用户界面对象时检测到一个或多个输入中的至少一个输入(例如，指向可选择用户界面对象的选择输入和/或一个或多个输入中的不同输入)。
响应于检测到包括指向可选择用户界面对象(例如，762、764、768和/或772)的选择输入的一个或多个输入，计算机系统(例如，700和/或X700)经由显示生成部件同时显示(908)化身编辑用户界面(910)(例如，760、780和/或X780)，该化身编辑用户界面包括表示计算机系统(例如，700和/或X700)的用户的(例如，在780和/或X780的左侧示出的)化身，以及用以修改表示计算机系统(例如，700和/或X700)的用户的(例如，在780和/或X780的左侧示出的)化身的外观的一个或多个选项(912)(例如，782、X782、784、X784、786、X786和/或790)。响应于一个或多个输入而显示包括化身和用以修改化身的外观的选项的化身编辑用户界面向用户提供关于计算机系统的状态、并且具体地化身的外观和可用于修改化身的外观的选项的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，实时通信会话是在扩展现实环境中进行的扩展现实通信会话。在一些实施方案中，(例如，如图7P和/或图7Q所示的)通信用户界面在扩展现实环境中显示。在一些实施方案中，化身编辑用户界面(例如，760、780和/或X780)在扩展现实环境中显示。在一些实施方案中，用户可遍历扩展现实环境以从扩展现实环境内的不同视点查看通信用户界面和/或化身编辑用户界面。在扩展现实环境中显示通信用户界面和化身编辑用户界面向用户提供关于通信会话和正使用的化身的反馈，从而提供改进的视觉反馈。
在一些实施方案中，在显示可选择用户界面对象(例如，762、764、768和/或772)(和/或化身编辑用户界面)之后，计算机系统(例如，700和/或X700)使用表示计算机系统(例如，700和/或X700)的用户的化身(例如，700A)来参与通信会话。在一些实施方案中，可选择用户界面对象和/或化身编辑用户界面在用户进入通信会话之前被显示，从而向用户提供修改表示计算机系统的用户的化身的外观的机会。在用户使用化身来参与通信会话之前显示可选择用户界面对象向用户提供在参与通信会话之前编辑化身的机会，从而减少对导航用户界面以修改化身的需要，并且因此减少所需的输入的数量。在一些实施方案中，计算机系统接收请求发起通信会话的用户输入(例如，经由语音输入、触摸输入、手势、空中手势、注视和/或按钮激活)。在一些实施方案中，响应于接收到请求发起通信会话的用户输入，计算机系统显示可选择用户界面对象和/或化身编辑用户界面对象。在一些实施方案中，在接收到修改表示计算机系统的用户的化身的外观的用户输入之后(或在未接收到该用户输入的情况下)，计算机系统接收继续发起通信会话的用户输入(例如，经由语音输入、触摸输入、手势、空中手势、注视和/或按钮激活)，并且响应于接收到继续发起通信会话的用户输入而发起通信会话。
在一些实施方案中，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)并且与可选择用户界面对象(例如，762、764、768和/或772)同时显示用以发起通信会话(例如，视频通信会话、音频通信会话、扩展现实通信会话、空间通信会话和/或非空间通信会话)的选项。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器检测指向用以发起通信会话的选项的选择输入。在一些实施方案中，响应于检测到指向用以发起通信会话的选项的选择输入，计算机系统发起通信会话。与可选择用户界面对象同时显示用以发起通信会话的选项使得用户能够另选地参与通信会话或修改化身的视觉特性，从而减少所需的输入的数量。
在一些实施方案中，可选择用户界面对象在正在进行的通信会话(例如，在图7P处)(例如，视频通信会话、音频通信会话、扩展现实通信会话、空间通信会话和/或非空间通信会话)期间被显示。在正在进行的通信会话期间显示可选择用户界面对象使得用户能够参与通信会话并且具有用以修改化身的视觉特性的选项，从而减少所需的输入的数量。
在一些实施方案中，计算机系统经由一个或多个传感器检测指向用以修改表示计算机系统(例如，700和/或X700)的用户的化身(例如，如图7M所示)的外观的一个或多个选项(例如，782、X782、784、X784、786、X786和/或790)的输入(例如，触摸输入、手势、空中手势、注视和/或按钮激活)。在一些实施方案中，响应于检测到指向用以修改表示计算机系统(例如，700和/或X700)的用户的化身的外观的一个或多个选项(例如，782、X782、784、X784、786、X786和/或790)的输入，计算机系统(例如，700和/或X700)修改化身的外观(例如，如在图7L1至图7N中)，其中修改化身的外观包括编辑化身。通过编辑化身来修改化身的外观向用户提供关于对化身作出的修改的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，表示计算机系统的用户的化身(例如，如图7M所示)的第一选项(例如，792)(例如，附件和/或照明)可经由化身编辑用户界面编辑，并且表示计算机系统的用户的化身的第二选项(例如，头发颜色、皮肤颜色和/或眼睛颜色)不可经由化身编辑用户界面编辑。在一些实施方案中，化身的第二选项可经由不同用户界面编辑。限制可使用化身编辑用户界面编辑的化身的选项减少化身编辑用户界面的复杂性，从而改进人机界面。
在一些实施方案中，编辑表示计算机系统(例如，700和/或X700)的用户的化身包括向表示计算机系统(例如，700和/或X700)的用户的化身添加眼戴设备(例如，具有不同大小、形状和/或框架类型的眼镜)。向化身添加眼戴设备使得用户能够将化身修改成更接近地显得像用户的视觉外观，从而使化身成为用户的更准确表示并且提供改进的视觉反馈。
在一些实施方案中，用以修改表示计算机系统(例如，700和/或X700)的用户的化身(例如，如图7M所示)的外观的一个或多个选项(例如，782、X782、784、X784、786、X786和/或790)包括针对第一眼戴设备模板的选项和针对不同于第一眼戴设备模板的第二眼戴设备模板的选项。在一些实施方案中，第一眼戴设备模板是第一形状并且第二眼戴设备模板是第二形状，从而使得用户能够针对化身选择不同类型的眼镜(然后任选地针对眼镜选择颜色)。提供眼戴设备模板使得用户能够选择眼戴设备的样式并且将化身修改成更接近地显得像用户的视觉外观，从而使化身成为用户的更准确表示并且提供改进的视觉反馈。
在一些实施方案中，编辑表示计算机系统(例如，700和/或X700)的用户的化身(例如，如图7M所示)包括向表示计算机系统的用户的化身添加一个或多个可访问性选项(例如，眼罩、假肢、助听器和/或轮椅)。提供用于修改化身的可访问性选项使得用户能够将化身修改成更接近地显得像用户的视觉外观，从而使化身成为用户的更准确表示并且提供改进的视觉反馈。
在一些实施方案中，向表示计算机系统(例如，700和/或X700)的用户的化身(例如，如图7M所示)添加一个或多个可访问性选项包括向化身的第一只(例如，左)眼睛添加可访问性选项(例如，眼罩和/或假眼)而不向化身的第二只(例如，右)眼睛添加可访问性选项。使得用户能够向化身的第一只眼睛或第二只眼睛添加可访问性选项使得用户能够将化身修改成更接近地显得像用户的视觉外观，从而使化身成为用户的更准确表示并且提供改进的视觉反馈。
在一些实施方案中，一个或多个选项包括用以改变模拟照明的一个或多个选项(例如，图7M处的782)。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器检测指向用以改变模拟照明的一个或多个选项(例如，图7M处的782)的输入。在一些实施方案中，响应于检测到指向用以改变模拟照明的一个或多个选项的输入，计算机系统修改表示计算机系统的用户的化身的外观，其中修改化身的外观包括改变模拟照明(例如，扩展现实环境中的模拟照明)。使得用户能够改变照亮化身的模拟照明使得用户能够将化身修改成更接近地显得像用户的视觉外观，从而使化身成为用户的更准确表示并且提供改进的视觉反馈。
在一些实施方案中，改变模拟照明包括改变曝光设置(例如，782a和/或X782a)。在一些实施方案中，改变曝光设置直接改变化身的外观和/或改变对用于生成化身的图像数据的处理(例如，增加图像数据的曝光并且基于所修改的图像数据来生成化身)。在一些实施方案中，改变曝光设置有助于校正由于在其中捕获(例如，计算机系统的用户的)图像数据以录入化身的环境中挑战性照明所致的捕获肤色错误。使得用户能够改变用于模拟照明的曝光设置使得用户能够将化身修改成更接近地显得像用户的视觉外观，从而使化身成为用户的更准确表示并且提供改进的视觉反馈。
在一些实施方案中，改变模拟照明包括改变色温设置(例如，782b和/或X782b)。在一些实施方案中，改变色温设置直接改变化身的外观和/或改变用于生成化身的图像数据的处理(例如，改变图像数据的色温并且基于所修改的图像数据来生成化身)。在一些实施方案中，改变色温设置有助于校正由于在其中捕获(例如，计算机系统的用户的)图像数据以录入化身的环境中挑战性照明所致的捕获肤色错误。使得用户能够改变用于模拟照明的色温设置使得用户能够将化身修改成更接近地显得像用户的视觉外观，从而使化身成为用户的更准确表示并且提供改进的视觉反馈。
在一些实施方案中，一个或多个选项包括用以改变表示计算机系统(例如，700和/或X700)的用户的化身的逼真度的一个或多个选项(例如，762和/或764)。在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器检测指向用以改变表示计算机系统的用户的化身的逼真度的一个或多个选项(例如，762和/或764)的输入。在一些实施方案中，响应于检测到指向用以改变表示计算机系统的用户的化身的逼真度的一个或多个选项的输入，计算机系统(例如，700和/或X700)修改化身的逼真度(例如，改变化身看起来有多真和/或改变化身的特征的数量)。改变化身的逼真度使得计算机系统的用户能够改变化身反映用户的视觉外观的接近程度，从而允许用户快速地将化身修改成看似不太像用户，而无需手动地改变化身的不同视觉特性，从而减少所需的输入的数量。
在一些实施方案中，表示计算机系统(例如，700和/或X700)的用户的化身是模拟三维化身。在一些实施方案中，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)并且在当用户由根据(例如，结合和/或基于)计算机系统(例如，700和/或X700)的用户的移动而移动的化身表示时的实时通信会话期间显示用以停止在实时通信会话中使用化身(例如，停止该化身在计算机系统处的显示和/或停止该化身在参与者设备处的显示)的选项(例如，图7P处的704Ad)。在一些实施方案中，计算机系统经由一个或多个传感器检测对用以停止在实时通信会话中使用化身的选项(例如，图7P处的704Ad)的选择(例如，705p)(例如，经由触敏表面上的触摸输入和/或经由空中手势)。在一些实施方案中，响应于检测到对用以停止在实时通信会话中使用化身的选项(例如，图7P处的704Ad)的选择(例如，705p)，计算机系统停止在实时通信会话中使用化身(例如，切换到使用静态图像、二维化身和/或字母组合)。提供用以停止在实时通信会话中使用化身的选项使得用户能够快速地使其他参与者停止看到化身，而无需导航众多用户界面，从而减少所需的输入的数量。
在一些实施方案中，化身编辑用户界面(例如，760、780和/或X780)包括一个或多个化身管理选项(例如，768)。提供一个或多个化身管理选项作为化身编辑用户界面的一部分使得用户能够快速地管理化身，而无需导航众多用户界面，从而减少所需的输入的数量。
在一些实施方案中，一个或多个化身管理选项(例如，768)包括用以创建表示计算机系统的用户的新化身的选项(例如，768b)。在一些实施方案中，计算机系统经由一个或多个传感器检测对用以创建表示计算机系统(例如，700和/或X700)的用户的新化身的选项(例如768b)的选择(例如，705j)。在一些实施方案中，响应于检测到对用以创建表示计算机系统(例如，700和/或X700)的用户的新化身的选项(例如，768b)的选择(例如，705j)，计算机系统(例如，700和/或X700)发起创建表示计算机系统的用户的新化身的过程(例如，显示设置界面770)。在一些实施方案中，发起创建表示计算机系统的用户的新化身的过程包括使用计算机系统来使用任选地定位在计算机系统的与一个或多个显示生成部件中的第一显示生成部件相同的一侧上的第一传感器(例如，经由一个或多个相机)捕获关于计算机系统的用户的一个或多个物理特性的信息(例如，表示一个或多个身体部位的大小、形状、定位、姿态、颜色、深度和/或其他特性和/或用户的身体部位的特征的数据(例如，图像数据、传感器数据和/或深度数据))，并且提示(例如，由第一显示生成部件显示的视觉提示、经由计算机系统的扬声器输出的音频提示和/或触觉提示)计算机系统的用户相对于计算机系统移动用户的头部的定位。在一些实施方案中，计算机系统输出反馈(例如，非视觉指示、一个或多个音频指示和/或一个或多个触觉指示)，该反馈确认已捕获到关于用户的一个或多个物理特性(例如，面部特征、面部表情和/或身体特征)的阈值量(例如，足够)的信息。在一些实施方案中，在(例如，在录入过程期间)捕获到关于计算机系统的用户的一个或多个物理特性的信息(例如，表示用户的一个或多个身体部位和/或身体部位的特征的大小、形状、定位、姿态、颜色、深度和/或其他特性的数据(例如，图像数据、传感器数据和/或深度数据))之后，计算机系统显示用户的基于所捕获的关于用户的一个或多个物理特性的信息生成的表示。提供用以创建新化身的选项作为化身编辑用户界面的一部分使得用户能够快速地管理化身，而无需导航众多用户界面，从而减少所需的输入的数量。
在一些实施方案中，一个或多个化身管理选项(例如，768)包括用以删除表示计算机系统(例如，700和/或X700)的用户的化身的选项(例如，768c)。在一些实施方案中，计算机系统经由一个或多个传感器检测对用以删除表示计算机系统的用户的化身的选项(例如，768c)的选择。在一些实施方案中，响应于检测到对用以删除表示计算机系统(例如，700和/或X700)的用户的化身的选项(例如，768c)的选择，计算机系统(例如，700和/或X700)发起删除(例如，删除和/或请求确认删除)表示计算机系统的用户的化身的过程。提供用以删除化身的选项作为化身编辑用户界面的一部分使得用户能够快速地管理化身，而无需导航众多用户界面，从而减少所需的输入的数量。
在一些实施方案中，表示计算机系统(例如，700和/或X700)的用户的模拟三维化身不可用(例如，已被删除或未被创建)。在一些实施方案中，在当表示计算机系统(例如，700和/或X700)的用户的模拟三维化身不可用时的实时通信会话期间，计算机系统(例如，700和/或X700)使用计算机系统(例如，700和/或X700)的用户的根据(例如，结合和/或基于)计算机系统(例如，700和/或X700)的用户的移动而移动、而不反映计算机系统(例如，700和/或X700)的用户的外观的表示(例如，该表示不具有对应于计算机系统的用户的外观的视觉外观)。在一些实施方案中，计算机系统的用户的根据(例如，结合和/或基于)计算机系统的用户的移动而移动、而不反映计算机系统的用户的外观(例如，不包括计算机系统的用户的用户特定特征，诸如面部特征、皮肤颜色、眼睛颜色和/或头发颜色)的表示经由显示生成部件进行显示，从而使得用户能够看到化身的样子。提供计算机系统的用户的根据计算机系统的用户的移动而移动、而不反映计算机系统的用户的外观的表示使得通信会话的参与者能够在更逼真的化身不可用时查看用户的移动，从而提供改进的视觉反馈。
在一些实施方案中，根据表示计算机系统(例如，700和/或X700)的用户的化身是模拟三维化身的确定，计算机系统(例如，700和/或X700)使得计算机系统(例如，700和/或X700)的用户能够参与空间通信会话(例如，如图7P所示)(例如，通过显示和/或启用用于发起和/或加入空间通信会话的控件)。在一些实施方案中，根据表示计算机系统的用户的化身不是模拟三维化身(例如，是二维化身、是图像、和/或是字母组合)的确定，计算机系统放弃使得计算机系统(例如，700和/或X700)的用户能够参与空间通信会话(例如，通过放弃显示、停止显示、放弃启用和/或停止启用用于发起和/或加入空间通信会话的控件)。在一些实施方案中，空间通信会话是具有分布在3D环境中的参与通信会话的用户的至少一些(例如，少于所有、多个和/或所有)表示的通信会话。当表示用户的化身是模拟三维化身时使得用户能够参与空间通信会话并且当表示计算机系统的用户的化身不是模拟三维化身时放弃使得计算机系统的用户能够参与空间通信会话，向用户提供关于当前表示用户的化身的反馈，从而提供改进的反馈。
在一些实施方案中，在表示计算机系统(例如，700和/或X700)的用户的模拟三维化身不可用(例如，已被删除或未被创建)时并且响应于所检测的一个或多个输入的至少一部分，计算机系统(例如，700和/或X700)经由显示生成部件显示用以创建表示计算机系统的用户的化身的选项(例如，772)。在一些实施方案中，响应于检测到对用以创建表示计算机系统的用户的化身的选项(例如，772)的选择(例如，705k)，计算机系统(例如，700和/或X700)发起创建表示计算机系统的用户的化身的过程(例如，包括780和/或X780的显示)。在一些实施方案中，根据表示计算机系统的用户的(例如，模拟三维或二维)化身不可用的确定，计算机系统显示用以创建表示计算机系统的用户的化身的选项，并且根据表示计算机系统的用户的化身可用的确定，计算机系统放弃显示用以创建表示计算机系统的用户的化身的选项。当表示计算机系统的用户的模拟三维化身不可用时自动显示用以创建表示计算机系统的用户的化身的选项使得计算机系统能够向用户提供关于化身的状况的反馈并且提供用以创建化身的快速访问，从而提供改进的视觉反馈并且减少创建化身所需的输入的数量。
在一些实施方案中，在表示计算机系统的用户的模拟三维化身不可用(例如，已被删除或未被创建)并且响应于所检测的一个或多个输入的至少一部分时，计算机系统(例如，700和/或X700)经由显示生成部件显示用以使用默认化身来表示计算机系统(例如，700和/或X700)的用户的选项。在一些实施方案中，响应于检测到对用以使用默认化身来表示计算机系统(例如，700和/或X700)的用户的选项的选择，计算机系统(例如，700和/或X700)使用默认化身来表示计算机系统(例如，700和/或X700)的用户。当模拟三维化身对于用户不可用时提供用以使用默认化身的选项使得计算机系统能够向用户提供关于化身的可用性的反馈并且使得用户能够快速地使用默认化身，从而提供改进的反馈并且减少使用默认化身所需的输入的数量。
在一些实施方案中，默认化身根据(例如，结合和/或基于)计算机系统(例如，700和/或X700)的用户的移动而移动，而不反映计算机系统(例如，700和/或X700)的用户的外观(例如，该表示不具有对应于计算机系统的用户的外观的视觉外观)。提供根据计算机系统的用户的移动而移动、而不反映计算机系统的用户的外观的默认化身使得通信会话的参与者能够查看用户的移动，从而提供改进的视觉反馈。
在一些实施方案中，当计算机系统(例如，700和/或X700)处于访客模式(例如，其中未注册用户正使用计算机系统的模式、其中未识别用户正使用计算机系统的模式、其中尚未登录到账户的用户正使用计算机系统的模式和/或其中特征的第一集合(例如，内容和/或功能的集合)在无需对访客用户的成功用户认证的情况下变得可对访客用户访问和/或对访客用户解锁(而不使特征的第二集合可对访客用户访问)(例如，基于满足标准的集合，标准的该集合任选地包括在计算机系统的除了当前用户之外的最新近用户(例如，在该用户之前使用计算机系统的最新近用户)是授权用户的情况下满足的第一标准和/或在计算机系统已处于锁定状态(例如，已连续地和/或不间断地处于锁定状态)达自从计算机系统上一次处于解锁状态以来少于阈值持续时间的情况下满足的第二标准)的模式)时，默认化身表示计算机系统(例如，700和/或X700)的用户。当访客正使用计算机系统时使用默认化身使得计算机系统能够提供关于谁正在使用计算机系统的视觉反馈，从而提供增强的视觉反馈。
在一些实施方案中，方法800、900、1100和/或1300的各方面/操作可在这些方法之间互换、替换和/或添加。例如，图7B的主屏幕与图10A的主屏幕相同。对于另一示例，图10C的实时通信会话与图12A的实时通信会话相同。为了简明起见，此处不再重复这些细节。
图10A至图10E例示了在实况通信会话中提供表示的示例。图11是用于在实况通信会话中提供表示的示例性方法1100的流程图。图10A至图10E中的用户界面用于例示下文所述的过程，这些过程包括图11中的过程。
图10A至图10E例示了具有显示器702的设备700(例如，平板电脑、智能电话或膝上型电脑)。虽然设备700被例示为手持式设备，但在一些实施方案中，设备700是头戴式设备(HMD)。HMD被配置为被穿戴在设备700的用户的头部上，并且包括在HMD的内部分上和/或中的显示器702。当设备700被穿戴在用户的头部上时，显示器702对于用户是可见的。例如，在一些实施方案中，HMD在被穿戴在用户的头部上时至少部分地覆盖用户的眼睛，使得显示器702定位在用户的眼睛上方和/或前方。在此类实施方案中，显示器702被配置为在其中HMD的用户正参与的实况通信会话期间显示XR环境。
在图10A中，设备700在显示器702上显示XR环境1004内的通信界面1010。XR环境1004包括元素(例如，虚拟元素和/或物理元素)，诸如桌子1004a和沙发1004b。通信界面1010包括置顶联系人1012(例如，置顶联系人1012a-1012g)和新近联系人1014(例如，新近联系人1014a-1014i)，诸如以上关于图7B至图7D所描述的。
在显示通信界面1010时，设备700检测对联系人1012d的选择，该联系人对应于名称为“Surfers”的联系人分组。在一些实施方案中，对联系人1012d的选择是联系人1012d上的轻击手势1005a。在一些实施方案中，对联系人1012d的选择是例如指示对联系人1012d的选择的空中手势。如图10A所示，响应于检测到对联系人1012d的选择，设备700显示包括邀请选项1016a和扩展选项1016b的联系人菜单1016。
在显示通信界面1010时，设备700检测对邀请选项1016a的选择。在一些实施方案中，对邀请选项1014a的选择是邀请选项1016a上的轻击手势1007a。在一些实施方案中，对邀请选项1016a的选择是例如指示对邀请选项1016a的选择的空中手势。如图10B所示，响应于对邀请选项1014a的选择，设备700发起与联系人分组“Surfers”中的成员的XR通信会话。
在图10B中，设备700针对所发起的XR通信会话显示XR环境1004。任选地，设备700显示通知1018，该通知指示XR通信会话是空间通信会话。
如图10B所示，XR环境1004包括对应于已接受来自设备700的邀请并且已加入实况通信会话的分组“Surfers”中的用户的3D表示1020a和1020b。在一些实施方案中，由于XR通信会话是空间通信会话，因此对应于3D表示1020a和1020b的远程用户具有空间代理。
在图10B处，XR环境1004还包括对应于“Surfers”中的第三用户的表示1020c。由于用户正处于加入XR通信会话的过程中，如由状况1024所指示，因此对应于表示1020c的用户不具有空间代理。在一些实施方案中，在空间通信会话中，加入会话的用户的表示是3D表示(例如，与用户相关联的化身或默认化身)，并且在其他实施方案中，加入会话的用户的表示是2D表示。
在一些实施方案中，设备700在XR环境1004中显示包括表示1019的实况视图的自预览1022，如图10B所示。虽然自预览1019在图10B中被示出为位于显示器702的右下角，但将了解，自预览1019可被显示在显示器702上的任何位置处。
在图10C中，设备700在“Surfers”中的第三用户和第四用户已加入XR通信会话之后显示XR环境1004。在一些实施方案中，当用户加入XR通信会话时，一个或多个表示初始根据模板进行布置。例如，参考图10B至图10C，响应于“Surfers”中的第四成员加入XR通信会话，在XR环境1004中任选地调整表示1020a-1020c的定位以为表示1020d提供足够的间隔。
在一些实施方案中，当XR环境中的3D表示的数量超过阈值量(例如，3、4、5或10)时，设备700将XR通信会话从空间通信会话转变为非空间通信会话。在图10D1中，例如，“Surfers”中的第五用户已加入XR通信会话，从而超过XR通信会话中准许的3D表示的阈值数量(例如，五个)。作为响应，如图10D1所示，设备700将XR通信会话转变为非空间通信会话，并且显示通知1028，该通知指示XR通信会话当前是非空间通信会话。
在一些实施方案中，由于设备700将XR实况通信转变为非空间通信会话，因此3D表示1020a-1020d被分别转变为2D表示1030a-1030d，并且第五用户由2D表示1030e表示。在一些实施方案中，2D表示根据一个或多个模板布置在XR环境1004中。例如，如图10D1所示，2D表示1030a-1030e被居中和/或布置成使得表示之间的距离基本上相等。在一些实施方案中，表示被间隔开，使得表示之间的距离满足在一个或多个非竖直方向和/或竖直方向上的阈值距离。
在一些实施方案中，用户可在XR环境1004内移动一个或多个2D表示。以举例的方式，表示1030a-103e可通过移动抓取器1034来被同时地移动。
在一些实施方案中，图10D1中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备提供。图10D2例示了其中非空间通信会话(例如，如图10B至图10D1中所描述的)在头戴式设备(HMD)X700的显示模块X702上显示在XR环境X1004中的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
如上文参考图10D1所阐述，在一些实施方案中，当XR环境中的3D表示的数量超过阈值量(例如，3、4、5或10)时，HMD X700将XR通信会话从空间通信会话转变为非空间通信会话。在图10D2中，例如，“Surfers”中的第五用户已加入XR通信会话，从而超过XR通信会话中准许的3D表示的阈值数量(例如，五个)。作为响应，如图10D2所示，HMD X700将XR通信会话转变为非空间通信会话，并且显示通知X1028，该通知指示XR通信会话当前是非空间通信会话。
在一些实施方案中，由于HMD X700将XR实况通信转变为非空间通信会话，因此3D表示1020a-1020d(例如，如图10C所示)被分别转变为2D表示X1030a-X1030d，并且第五用户由2D表示X1030e表示。在一些实施方案中，2D表示根据一个或多个模板布置在XR环境X1004中。例如，如图10D2所示，2D表示X1030a-X1030e被居中和/或布置成使得表示之间的距离基本上相等。在一些实施方案中，表示被间隔开，使得表示之间的距离满足在一个或多个非竖直方向和/或竖直方向上的阈值距离。
在一些实施方案中，用户可在XR环境X1004内移动一个或多个2D表示。以举例的方式，表示X1030a-X1030e可通过移动抓取器X1034来被同时地移动。
在一些实施方案中，HMD X700基于由HMD X700的用户执行的空中手势来检测对抓取器X1034的选择。在一些实施方案中，HMD X700检测HMD X700的用户的手X750a和/或X750b，并且确定手X750a和/或X750b的运动是否执行对应于对抓取器X1034的选择的预先确定的空中手势。在一些实施方案中，选择抓取器X1034的预先确定的空中手势包括捏合手势。在一些实施方案中，捏合手势包括检测手指X750c和拇指X750d朝向彼此的移动。在一些实施方案中，HMD X700基于由HMD X700的用户执行的注视和空中手势输入来检测对抓取器X1034的选择。在一些实施方案中，注视和空中手势输入包括检测HMD X700的用户正看向抓取器X1034(例如，持续大于预先确定的时间量)并且HMD X700的用户的手X750a和/或X750b执行捏合手势。
图1B至图1P所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏幕1-122a-b、第一后向显示屏幕1-322a和第二后向显示屏幕1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或区带6-232和/或显示器/显示区域6-334的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，输入设备X703单独地或以任何组合包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和或拨盘或按钮1-328中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
图10E例示了非空间通信会话中的2D表示的另一示例性布置。如图10E所示，表示1030a-1030e以有序堆叠部分地重叠。在一些实施方案中，有序堆叠的次序是静态的。在一些实施方案中，次序是动态的，并且表示根据哪个用户在XR通信会话中最新近地通信进行排序。
在一些实施方案中，2D表示1030a-1030e可在XR通信会话期间沿着一个或多个轴旋转。以举例的方式，2D表示1030a-1030e可沿着X轴、Y轴和Z轴中的任一者或多者旋转。在一些实施方案中，2D表示1030a-1030e的旋转基于对应于2D表示1030a-1030e的用户的移动。作为示例，如果对应于表示1030a的用户将他们的头部倾斜到一侧，则表示1030a以相像的方式沿着z轴旋转，如旋转指示符1032a所指示的。作为另一示例，如果对应于表示1030a的用户前倾，则表示1030a以相像的方式沿着x轴旋转，如旋转指示符1032b所指示的。作为又一示例，如果对应于表示1030a的用户将他们的头转向一侧(例如，向左或向右看)，则表示1030a可以相像的方式沿着y轴旋转，如旋转指示符1032c所指示的。
本文关于当在空间通信中超过3D表示的阈值数量时设备700将XR通信会话从空间通信会话转变为非空间通信会话进行描述。将了解，在一些实施方案中，设备700也将XR通信会话从非空间通信会话转变为空间通信会话。例如，参考图10D1，如果一个或多个用户与XR通信会话断开连接，使得3D表示的数量不再超过阈值数量，则设备700可任选地将XR通信会话从非空间通信会话转变为空间通信会话。
在一些实施方案中，空间通信会话包括3D表示和2D表示两者。因此，再次参考图10D1，如果一个或多个用户将禁用其3D表示的使用(例如，使用化身选项，诸如图7P的化身选项704Ad或另一选项)，使得3D表示的数量将不再超过阈值数量，则设备700可任选地将XR通信会话从非空间通信会话转变为空间通信会话。此后，禁用3D表示的使用的那些用户将由2D表示进行表示，并且其他用户由3D表示进行表示。
关于图10A至图10E的附加描述在下文参考关于图10A至图10E所描述的方法1100来提供。
图11是在一些实施方案中用于在实况通信会话中提供表示的示例性方法1100的流程图。在一些实施方案中，方法1100在计算机系统(例如，图1A中的计算机系统101、计算机系统700和/或HMD X700)(例如，智能电话、平板电脑和/或头戴式设备)处执行，该计算机系统与显示生成部件(例如，图1A、图3和图4中的显示生成部件120、显示器702和/或显示器X702)(例如，视觉输出设备、3D显示器、具有图像可投射在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器和/或显示控制器)通信。在一些实施方案中，方法1100由存储在非暂态(或暂态)计算机可读存储介质中并且由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控件110)执行的指令支配。方法1100中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在参与(1102)作为空间通信会话(例如，在图10B和10C处)(例如，具有分布在3D环境中的参与通信会话的用户的至少一些(例如，少于所有、多个和/或所有)表示的通信会话)的通信会话时，其中该空间通信会话包括经由显示生成部件在3D环境中以空间分布布置显示通信会话中的多个(例如，少于所有、多个和/或所有)参与者的表示(例如，1020a-1020d)(例如，除了计算机系统的正参与通信会话的用户的表示之外或包括计算机系统的正参与通信会话的用户的表示)。
以空间分布布置显示多个参与者包括显示在3D环境(例如，3D虚拟现实环境或3D混合现实环境)中在第一非竖直方向上与彼此和计算机系统的用户(例如，1022)间隔开至少阈值量的多个参与者的表示(例如，1020a-1020d)(1104)。
以空间分布布置显示多个参与者包括显示在不同于第一非竖直方向的第二非竖直方向上与彼此和用户(例如，1022)间隔开至少阈值量的多个参与者的表示(例如，1020a-1020d)(1106)。
在显示分布在3D环境中的多个参与者的表示(例如，1020a-1020d)时，计算机系统(例如，700和/或X700)检测(1108)事件。在一些实施方案中，显示空间通信会话，使得用户中的一些用户的表示看起来位于3D环境内的不同定位(包括例如不同深度)处。
响应于检测到事件，计算机系统将通信会话从空间通信会话转变(1110)为非空间通信会话(例如，如图10D1、图10D2和/或图10E所示)(例如，其中参与通信会话的用户的表示未分布在3D空间中(分布在1D空间中(在一条线上)或2D空间中(在单个平面上)的通信会话))，该非空间通信会话包括经由显示生成部件以分组布置显示通信会话的多个参与者的至少子集(例如，少于所有、所有和/或所有剩余)的表示(例如，1030a-1030e和/或X1030a-X1030e)。
在分组布置中：多个参与者的表示(例如，1030a-1030e和/或X1030a-X1030e)在3D环境中在第一非竖直方向上彼此间隔开小于阈值量(例如，如在图10D1、图10D2和图10E中)(1112)，分组布置中第一参与者的表示具有与空间分布布置中第一参与者的表示不同的定位(1114)，并且分组布置中第二参与者的表示具有与空间分布布置中第二参与者的表示不同的定位(1116)。在一些实施方案中，将通信会话从空间通信会话转变为非空间通信会话包括减少参与通信会话的用户的表示所在的轴的数量(例如，将表示从分布在3D空间中减少到分布在2D空间中)。当检测到事件时从空间通信会话切换到非空间通信会话向用户提供事件已被检测到的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，在非空间通信会话中(例如，如图10D1、图10D2和/或图10E所示)，多个参与者中的第一参与者的表示在第一窗口区域(例如，1030a和/或X1030a)中，并且多个参与者中的第二参与者的表示在不同于第一窗口区域的第二窗口区域(例如，1030b和/或X1030b)中。在一些实施方案中，在空间通信会话中，多个参与者中的第一参与者的表示不在窗口区域中，以及多个参与者中的第二参与者的表示不在窗口区域中(例如，如图10B和图10C中)。在一些实施方案中，在非空间通信会话中，每个表示在单独的窗口中，并且在空间通信会话中，表示不在单独的窗口中。在非空间通信会话中在窗口区域中显示表示以及在空间通信会话中不在窗口区域中显示表示向用户提供关于通信会话的类型的反馈，从而提供改进的视觉反馈。
在一些实施方案中，第一参与者的表示是模拟三维表示(例如，3D化身)并且第二参与者的表示是二维表示(例如，2D化身)。在一些实施方案中，参与者的表示是2D和3D表示/化身的混合。将参与者显示为三维表示和二维表示两者向计算机系统的用户提供关于正由参与者使用的表示的类型的反馈，从而提供改进的视觉反馈。
在一些实施方案中，多个参与者是二维表示(例如，如图10D1和/或图10D2中)。在一些实施方案中，参与通信会话的用户的所有表示是2D表示。将参与者显示为二维表示向计算机系统的用户提供关于正由参与者使用的表示的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，多个参与者是三维表示(例如，如图10C中)。在一些实施方案中，参与通信会话的用户的所有表示是3D表示。将参与者显示为三维表示向计算机系统的用户提供关于正由参与者使用的表示的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，事件是在通信会话期间接收到的、将计算机系统(例如，700和/或X700)的用户的表示从3D表示转变为2D表示的(例如，由计算机系统的用户发起或不由计算机系统的用户发起的)请求。当用户切换到2D表示时从空间通信会话自动切换到非空间通信会话向用户提供用户已改变其表示的反馈，从而提供改进的视觉反馈。
在一些实施方案中，该请求基于通信会话控制区域中的输入(例如，经由语音输入、触摸输入、手势、空中手势、注视和/或按钮激活)。当用户在通信会话控制区域处提供输入时从空间通信会话切换到非空间通信会话向用户提供输入已被接收的反馈，从而提供改进的视觉反馈。
在一些实施方案中，通信会话控制区域(例如，诸如图10B的控制区域)包括用以将计算机系统的用户的表示从3D表示转变为2D表示的选项以及对应于其他通信会话控制的一个或多个选项(例如，使通信会话静音、传送文本消息作为通信会话的一部分、显示关于通信会话的信息和/或离开通信会话)。与计算机系统的用户的表示从3D表示到2D表示的选项同时提供附加控件使得用户能够控制通信会话的更多方面，从而改进人机界面。
在一些实施方案中，事件是在通信会话(例如，如在图10D1和/或图10D2中)期间接收到的将通信会话从空间通信会话转变为非空间通信会话(例如，同时将计算机系统的用户的表示保持为3D表示，或者同时将用户的表示从3D表示改变为2D表示)的(例如，由计算机系统的用户发起或不由计算机系统的用户发起的)请求。基于用户请求来从空间通信会话切换到非空间通信会话使得用户能够控制通信会话的类型，从而改进人机界面。
在一些实施方案中，事件是附加参与者加入通信会话(例如，如在图10D1和/或图10D2中)(例如，其中事件在附加参与者加入使参与者的数量超过可参与空间通信会话的参与者的阈值数量时被触发，或者其中事件与参与者的数量无关地被触发)。在一些实施方案中，在处于空间通信会话中时，附加用户请求加入该通信会话，并且作为响应，根据附加用户加入将超过参与者的阈值数量的确定，通信会话改变为非空间通信会话；并且根据附加用户加入将不超过参与者的阈值数量的确定，通信会话不改变为非空间通信会话(保持空间通信会话)。基于附加参与者加入来从空间通信会话切换到非空间通信会话减少了所需的计算资源并且节省了电池功率。
在一些实施方案中，附加参与者加入通信会话(例如，如图10D1和/或图10D2中)使得由模拟三维表示所表示的参与者的数量超过参与者的阈值数量(例如，与由二维表示所表示的参与者的数量无关)。在一些实施方案中，当空间参与者的数量超过阈值数量时，通信会话改变为非空间通信会话。包括仅3D表示(而不是2D表示)作为阈值的一部分改进计算机资源管理，因为与非3D表示相比，3D表示更加计算密集。
在一些实施方案中，在通信会话是非空间通信会话(例如，如图10D1和/或图10D2中)时，基于相应参与者移动来偏移对应于相应参与者的相应窗口区域(例如，1030a-1030e和/或X1030a-X1030e)的定位。在一些实施方案中，当参与者在非空间通信会话期间移动时，显示参与者的表示的窗口基于所检测的移动来偏移。当相应参与者移动时偏移相应窗口区域向用户提供关于参与者的移动的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，相应窗口区域(例如，1030a-1030e和/或X1030a-X1030e)基于相应参与者的头部定位来在虚拟环境中向前和/或向后移动。当相应参与者移动时偏移相应窗口区域向用户提供关于参与者的移动的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，相应窗口区域(例如，1030a-1030e和/或X1030a-X1030e)基于相应参与者的头部定位来倾斜(例如，顺时针和/或逆时针)。当相应参与者移动时偏移相应窗口区域向用户提供关于参与者的移动的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，第一窗口区域(例如，1030a-1030e和/或X1030a-X1030e)基于显示在第一窗口中的参与者的移动来在第一方向上偏移(例如，向前、向后移动和/或倾斜)，并且第二窗口(例如，1030a-1030e和/或X1030a-X1030e)基于显示在第二窗口中的参与者的移动来在不同于第一方向的第二方向上偏移(例如，向前、向后移动和/或倾斜)。在一些实施方案中，各种参与者的移动引起各种参与者的相应窗口区域的移动。当相应参与者移动时偏移相应窗口区域向用户提供关于特定参与者的移动的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，在参与作为非空间通信会话(例如，如图10D1和/或图10D2中)的通信会话时，计算机系统(例如，700和/或X700)检测第二事件。在一些实施方案中，响应于检测到第二事件，计算机系统(例如，700和/或X700)将通信会话从非空间通信会话转变为空间通信会话(例如，从图10D1和/或图10D2转变回到图10C)。当检测到第二事件时从非空间通信会话切换到空间通信会话向用户提供第二事件已被检测到的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，第二事件是参与者离开通信会话(例如，其中事件在参与者离开时被触发，因为参与者的数量下降到低于可参与空间通信会话的参与者的阈值数量)。在一些实施方案中，在处于非空间通信会话中时，用户离开通信会话，并且作为响应，根据在用户离开之后的参与者将超过参与者的阈值数量的确定，通信会话保持非空间通信会话；并且根据在用户离开之后的参与者将不超过参与者的阈值数量的确定，通信会话改变为空间通信会话。基于参与者离开而从非空间通信会话切换到空间通信会话向用户提供参与者已离开的视觉反馈。另外，参与者离开减少了通信会话所需的计算资源，从而允许使用更多计算资源来使通信会话成为空间通信会话。
在一些实施方案中，第二事件是在通信会话期间接收到的、将计算机系统(例如，700和/或X700)的用户的表示从2D表示转变为3D表示的(例如，由计算机系统的用户发起或不由计算机系统的用户发起的)请求。在一些实施方案中，该请求基于经由语音输入、触摸输入、手势、空中手势、注视和/或按钮激活。当用户切换到3D表示时从非空间通信会话自动切换到空间通信会话向用户提供用户已改变其表示的反馈，从而提供改进的视觉反馈。
在一些实施方案中，第二事件是在通信会话期间接收到的、将通信会话从非空间通信会话转变为空间通信会话(例如，从图10D1和/或图10D2转变回到图10C)的(例如，由计算机系统的用户发起或不由计算机系统的用户发起的)请求。在一些实施方案中，该请求基于经由语音输入、触摸输入、手势、空中手势、注视和/或按钮激活。当用户(例如，在通信会话控制区域处)提供请求改变的输入时从空间通信会话切换到非空间通信会话向用户提供该输入已被接收的反馈，从而提供改进的视觉反馈。
在一些实施方案中，在处于空间通信会话中时，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)在自视图窗口区域(例如，1022)中显示计算机系统(例如，700和/或X700)的用户的表示(例如，3D表示或2D表示)的自视图(例如，1019)。显示用户的表示的自视图向用户提供关于用户的表示的样子的视觉反馈，从而向用户提供改进的视觉反馈。
在一些实施方案中，该自视图窗口区域(例如，1022)与包括正在进行的通信会话的另一参与者的表示的窗口区域重叠(例如，根据该通信会话是在计算机系统的用户和该另一参与者之间并且无其他参与者)。在一些实施方案中，该自视图窗口区域与包括另一参与者的表示的窗口区域具有相同大小。将自视图窗口区域与另一参与者的表示的窗口区域重叠向用户提供关于哪个窗口区域是自视图窗口区域以及哪个窗口区域是另一参与者的表示的反馈，从而提供改进的视觉反馈。
在一些实施方案中，自视图窗口区域(例如，1022)小于包括另一参与者的表示的窗口区域(例如，1020a-1020c)(例如，根据通信会话是在计算机系统的用户和多个其他参与者之间)。在一些实施方案中，自视图窗口区域小于通信会话的一个或多个(或所有)其他参与者的窗口区域。提供在大小上不同于另一参与者的表示的窗口区域的自视图窗口区域向用户提供关于哪个窗口区域是自视图窗口区域以及哪个窗口区域是另一参与者的表示的反馈，从而提供改进的视觉反馈。
在一些实施方案中，在空间通信会话(例如，在图10B和图10C处)期间，使得通信会话的第一参与者能够移动第一参与者的相应表示，并且使得通信会话的第二参与者能够移动第二参与者的相应表示(例如，参与者可相对于其他参与者的表示移动其自己的表示，和/或在扩展现实环境中移动)。在一些实施方案中，在空间通信会话期间，计算机系统的用户无法移动参与者的相应表示。
在一些实施方案中，在非空间通信会话(例如，在图10D1和/或图10D2处)期间，使得计算机系统的用户能够移动包括通信会话的多个参与者的相应表示的相应窗口区域(例如，相对于包括其他参与者的表示的窗口区域)。在一些实施方案中，在非空间通信会话期间，通信会话的参与者不能够移动其自己的相应表示(例如，参与者不具有空间代理，无法相对于其他参与者的表示移动其自己的表示，和/或无法在扩展现实环境中移动)。使得用户能够在空间通信会话期间在扩展现实环境中四处移动向用户提供关于通信会话的类型的反馈，从而提供改进的反馈。
在一些实施方案中，计算机系统(例如，700和/或X700)经由一个或多个传感器(例如，在非空间通信会话期间)检测重新定位包括参与者的相应表示的相应窗口区域的用户输入(例如，经由图10D1的1034和/或图10D2的X1034)。在一些实施方案中，响应于检测到重新定位包括参与者的相应表示的相应窗口区域的用户输入，计算机系统重新定位多个参与者的多个(例如，所有或少于所有)窗口区域。在一些实施方案中，在非空间通信会话期间，(例如，一些或所有)参与者的多个(例如，一些或所有)窗口一起移动。一起移动多个窗口区域使得所有表示能够保持分组在一起并且可更容易查看，而无需用户独立地移动每个窗口区域，从而减少所需的输入的数量。
在一些实施方案中，参与者的相应表示(例如，在2D空间中或在3D空间中)基于预先确定的放置规则(例如，在图10B处和/或在图10D1和10D2处)(例如，在空间通信会话的开始处或在非空间通信会话的开始处)以初始放置进行放置。在一些实施方案中，初始放置是有助于对话的第一放置，其中在第一放置中，参与者的表示相对而立地，诸如以面向彼此的圆形或半圆形布置分布。在一些实施方案中，初始放置是有助于查看共享内容的第二放置，其中在第二放置中，参与者的表示面向同一方向或位置，诸如以面向共享内容的线性或弧形布置分布。基于预先确定的放置规则自动初始放置用户的相应表示减少用户提供放置用户的输入的需要，从而减少所需的输入的数量。
在一些实施方案中，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示当前不是通信会话中的参与者的受邀用户的表示(例如，1020c)(例如，占位符)。在一些实施方案中，根据通信会话是非空间通信会话(和/或当前不是通信会话中的参与者的受邀用户的表示是非空间表示)的确定，计算机系统使得计算机系统的用户能够重新定位当前不是参与者的受邀用户的表示。在一些实施方案中，根据通信会话是空间通信会话(和/或当前不是通信会话中的参与者的受邀用户的表示是空间表示)的确定，计算机系统放弃使得计算机系统的用户能够重新定位当前不是参与者的受邀用户的表示。在一些实施方案中，在显示当前不是通信会话中的参与者的受邀用户的表示时，从计算机系统的用户接收重新定位当前不是参与者的受邀用户的表示的请求(例如，经由语音输入、触摸输入、手势、空中手势、注视和/或按钮激活)。响应于从计算机系统的用户接收到重新定位当前不是参与者的受邀用户的表示的请求：根据通信会话是非空间通信会话(和/或当前不是通信会话中的参与者的受邀用户的表示是非空间表示)的确定，重新定位当前不是参与者的受邀用户的表示，并且根据通信会话是空间通信会话(和/或当前不是通信会话中的参与者的受邀用户的表示是空间表示)的确定，放弃重新定位当前不是参与者的受邀用户的表示。使得计算机系统的用户能够基于通信会话的类型和/或表示的类型来移动受邀用户的表示向用户提供关于通信会话的类型和/或表示的类型的反馈，从而提供改进的视觉反馈。
在一些实施方案中，响应于在空间通信(例如，在图10C处)和非空间通信会话(例如，在图10D1和/或10D2处)之间改变，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示通信会话的模式已改变的指示(例如，1028、X1028和/或1018)。在一些实施方案中，计算机系统指示模式正改变到空间通信会话或非空间通信会话。当在空间模式和非空间模式之间改变通信会话时显示通知向用户提供关于该改变的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，方法800、900、1100和/或1300的各方面/操作可在这些方法之间互换、替换和/或添加。例如，图7B的主屏幕与图10A的主屏幕相同。对于另一示例，图10C的实时通信会话与图12A的实时通信会话相同。为了简明起见，此处不再重复这些细节。
图12A至图12F例示了在实况通信会话中提供信息的示例。图13是用于在实况通信会话中提供信息的示例性方法1300的流程图。图12A至图12F中的用户界面用于例示下文所述的过程，这些过程包括图13中的过程。
图12A至图12F例示了具有显示器702的设备700(例如，平板电脑、智能电话或膝上型电脑)。虽然设备700被例示为手持式设备，但在一些实施方案中，设备700是头戴式设备(HMD)。HMD被配置为被穿戴在设备700的用户的头部上，并且包括在HMD的内部分上和/或中的显示器702。当设备700被穿戴在用户的头部上时，显示器702对于用户是可见的。例如，在一些实施方案中，HMD在被穿戴在用户的头部上时至少部分地覆盖用户的眼睛，使得显示器702定位在用户的眼睛上方和/或前方。在此类实施方案中，显示器702被配置为在其中HMD的用户正参与的实况通信会话期间显示XR环境。
在图12A中，设备700正参与与由XR环境1204中的3D表示1220a-1220d和2D表示1230a表示的用户的XR通信会话。在一些实施方案中，由于尚未超过3D表示的阈值数量(例如，五个)，因此XR通信会话是空间通信会话，并且对应于3D表示1220a-1220d的用户具有空间代理。
在一些实施方案中，设备700在XR环境1204中显示包括表示1218的实况视图的自预览1216。虽然自预览1216被示为位于显示器702的右下角，但将了解，自预览1216可任选地显示在显示器702上的任何位置处。
在一些实施方案中，在参与XR通信会话时，设备700显示状况指示符1208，如图12A所示。在一些实施方案中，状况指示符1208指示XR通信会话的状态。例如，状况指示符1208指示待定邀请何时保持用于XR通信会话，使得设备700的用户意识到一个或多个附加用户可加入XR通信会话。在一些实施方案中，状况指示符1208以第一视觉特性进行显示(例如，使用特定颜色诸如黄色或绿色来显示)以指示一个或多个待定邀请保持存在。在一些实施方案中，状况指示符1208指示设备700何时向XR通信会话的参与者发送音频(例如，使用设备700的麦克风)。在一些实施方案中，状况指示符1208以第二视觉特性进行显示(例如，使用特定颜色诸如橙色或紫色来显示)以指示用于XR通信会话的邀请当前待定。
当在XR通信会话期间显示XR环境1204时，设备700检测对控制杆1240的选择。在一些实施方案中，对控制杆的选择是对控制杆1240的按下(例如，轻击手势或轻击和保持手势)。在一些实施方案中，对控制杆1240的选择基于设备700的用户的注视1205a来检测，如图12A所示。指示用户的注视指向哪里的注视指示符1205a和1205c出于易于理解而被例示，并且未在视觉上作为设备700的用户界面的一部分被显示。在其中设备700是HMD的实施方案中，使得设备700能够基于用户的注视来执行操作。如果例如设备700确定用户的注视满足注视标准的第一集合，则选择控制杆1240(例如，与由用户执行的其他手势诸如手的手势无关)。在一些实施方案中，当设备700的用户看向控制杆1240(或其特定部分)达预先确定的时间量时，满足注视标准的第一集合。如图12B1所示，响应于对控制杆1240的选择，设备700显示关于XR通信会话中的一个或多个用户的信息。在一些实施方案中，以此方式显示的信息被显示达预先确定的时间量(例如，5秒或10秒)，然后停止显示。
在一些实施方案中，由设备700显示的信息包括XR通信会话中的一个或多个用户的名称。作为示例，设备700显示指示表示1220a对应于用户“Jane”，表示1220b对应于用户“Ann”，表示1220d对应于用户“Jesse”并且表示1230a对应于用户“Calvin”的信息。
在一些实施方案中，由设备700显示的信息包括XR通信会话中的一个或多个用户的状况。作为示例，设备700显示指示对应于表示1220a的用户(“Jane”)当前离开的信息。在其中设备是HMD的实施方案中，离开状况可任选地指示用户未穿戴该设备。作为另一示例，设备700显示指示对应于表示1220b的用户(“Ann”)的设备正重新连接到XR通信会话的信息。作为又一示例，设备700显示指示对应于表示1220c的用户正使用与另一用户(“John”)相关联的设备的信息。在一些实施方案中，对应于访客用户的3D表示不同于与设备的用户(例如，所有者)相关联的用户的3D表示。
虽然本文关于响应于对控制杆1240的选择而显示信息进行描述，但在一些实施方案中，对表示的选择(例如，经由轻击输入或注视)使设备700显示针对对应于该表示的用户的信息。
当在XR通信会话期间显示XR环境1204时，设备700确定对控制杆1240的所检测的选择是否持续达阈值时间量。在其中对控制杆1240的选择是对控制杆1240的按下(例如，轻击手势或轻击和保持手势)的实施方案中，设备700确定该按下是否持续达阈值时间量。在其中对控制杆1240的选择基于注视1205a的实施方案中，设备700确定用户的注视1205a是否满足注视标准的第二集合。在一些实施方案中，当设备700的用户继续看向控制杆1240(或其特定部分)达阈值时间量时，满足注视标准的第二集合。如图12C所示，响应于设备700确定对控制杆1240的选择持续达阈值时间量，设备700显示控件1250的集合。在一些实施方案中，控件的集合的一个或多个选项1250a-1250f分别对应于控件704A的集合的选项704Aa-740Af(图7P)。因此，当设备700检测到指向控制杆1240的用户的注视达第一时间量时，显示关于一个或多个参与者的信息，如图12B1所例示，并且当设备700检测到指向控制杆1240的用户的注视达(长于第一时间量的)第二时间量时，显示控件1250的集合，如图12C所例示。
在一些实施方案中，图12B1中描述的技术和用户界面由图1A至图1P中描述的设备中的一个或多个设备提供。图12B2例示了其中关于XR通信会话中的一个或多个用户的(例如，如图12B1中所描述的)信息显示在头戴式设备(HMD)X700的显示模块X702上的实施方案。在一些实施方案中，设备X700包括向同一用户的不同眼睛提供立体内容的一对显示模块。例如，HMD X700包括显示模块X702(其向用户的左眼提供内容)和第二显示模块(其向用户的右眼提供内容)。在一些实施方案中，第二显示模块显示与显示模块X702略微不同的图像以生成立体深度的错觉。
当在XR通信会话期间显示XR环境X1204时，HMD X700检测对控制杆X1240的选择。在一些实施方案中，对控制杆的选择基于HMD X700的用户的注视X1205a来检测。指示用户的注视指向哪里的注视指示符X1205a出于易于理解而被例示，并且未在视觉上作为HMDX700的用户界面的一部分被显示。在实施方案中，使得HMD X700能够基于用户的注视来执行操作。如果例如HMD X700确定用户的注视满足注视标准的第一集合，则选择控制杆X1240(例如，与由用户执行的其他手势诸如手的手势无关)。在一些实施方案中，当HMD X700的用户看向控制杆X1240(或其特定部分)达预先确定的时间量时，满足注视标准的第一集合。如图12B2所示，响应于对控制杆X1240的选择，HMD X700显示关于XR通信会话中的一个或多个用户的信息。在一些实施方案中，以此方式显示的信息被显示达预先确定的时间量(例如，5秒或10秒)，然后停止显示。
在一些实施方案中，由HMD X700显示的信息包括XR通信会话中的一个或多个用户的名称。作为示例，HMD X700显示指示表示X1220a对应于用户“Jane”，表示X1220b对应于用户“Ann”，表示X1220d对应于用户“Jesse”并且表示X1230a对应于用户“Calvin”的信息。
在一些实施方案中，由HMD X700显示的信息包括XR通信会话中的一个或多个用户的状况。作为示例，HMD X700显示指示对应于表示X1220a的用户(“Jane”)当前离开的信息。在实施方案中，离开状况可任选地指示用户未穿戴HMD。作为另一示例，HMD X700显示指示对应于表示X1220b的用户(“Ann”)的设备正重新连接到XR通信会话的信息。作为又一示例，HMD X700显示指示对应于表示X1220c的用户正使用与另一用户(“John”)相关联的设备的信息。在一些实施方案中，对应于访客用户的3D表示不同于与设备的用户(例如，所有者)相关联的用户的3D表示。
虽然本文关于响应于对控制杆X1240的选择而显示信息进行描述，但在一些实施方案中，对表示的选择(例如，经由轻击输入或注视)使HMD X700显示针对对应于该表示的用户的信息。
当在XR通信会话期间显示XR环境X1204时，HMD X700确定对控制杆X1240的所检测的选择是否持续达阈值时间量。在一些实施方案中，HMD X700确定如由注视指示符X1205a指示的用户的注视是否满足注视标准的第二集合。在一些实施方案中，当HMD X700的用户继续看向控制杆X1240(或其特定部分)达阈值时间量时，满足注视标准的第二集合。在一些实施方案中，响应于HMD X700确定对控制杆X1240的选择持续达阈值时间量，HMD X700显示控件1250的集合，如图12C所示。在一些实施方案中，控件的集合的一个或多个选项1250a-1250f分别对应于控件704A的集合的选项704Aa-740Af(图7P)。因此，当HMD X700检测到指向控制杆X1240的用户的注视达第一时间量时，显示关于一个或多个参与者的信息，如图12B2所例示，并且当HMD X700检测到指向控制杆X1240的用户的注视达(长于第一时间量的)第二时间量时，显示控件1250的集合，如图12C所例示。
图1B至图1P所示的特征、部件和/或零件中的任一者、包括其布置和配置可单独地或以任何组合包括在HMD X700中。例如，在一些实施方案中，HMD X700单独地或以任何组合包括HMD 1-100、1-200、3-100、6-100、6-200、6-300、6-400、11.1.1-100和/或11.1.2-100的特征、部件和/或零件中的任一者。在一些实施方案中，显示模块X702单独地或以任何组合包括显示单元1-102、显示单元1-202、显示单元1-306、显示单元1-406、显示生成部件120、显示屏幕1-122a-b、第一后向显示屏幕1-322a和第二后向显示屏幕1-322b、显示器11.3.2-104、第一显示组件1-120a和第二显示组件1-120b、显示组件1-320、显示组件1-421、第一显示子组件1-420a和第二显示子组件1-420b、显示组件3-108、显示组件11.3.2-204、第一光学模块11.1.1-104a和第二光学模块11.1.1-104b、光学模块11.3.2-100、光学模块11.3.2-200、双凸透镜阵列3-110、显示区域或区带6-232和/或显示器/显示区域6-334的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括传感器，该传感器单独地或以任何组合包括传感器190、传感器306、图像传感器314、图像传感器404、传感器组件1-356、传感器组件1-456、传感器系统6-102、传感器系统6-202、传感器6-203、传感器系统6-302、传感器6-303、传感器系统6-402和/或传感器11.1.2-110a-f中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，输入设备X703单独地或以任何组合包括第一按钮1-128、按钮11.1.1-114、第二按钮1-132和或拨盘或按钮1-328中的任一者的特征、部件和/或零件中的任一者。在一些实施方案中，HMD X700包括用于生成音频反馈(例如，音频输出)的一个或多个音频输出部件(例如，电子部件1-112)，该音频反馈任选地基于检测到的事件和/或由HMD X700检测到的用户输入来生成。
在显示控件1250的集合时，设备700检测对控件1250的集合的选择。在一些实施方案中，对控制杆的选择是控件1250上的轻击手势。在一些实施方案中，对控件1250的集合的选择基于设备700的用户的注视1205c来检测。如果例如设备700检测到设备700的用户正看向控件1250的集合(或其特定部分)达阈值时间量，则选择控件1250的集合。如图12D所示，响应于对控件1250的集合的选择，设备700显示用于管理设备700的各种方面的系统控件1260的集合，该各种方面包括但不限于联网、音量和显示亮度，如图12D所例示。
在一些实施方案中，设备700指示哪些用户(如果有的话)在XR通信会话期间正在经历连接中断。在图12E中，例如，表示1220b的视觉特性被修改(例如，“变灰”或以其他方式变暗)，从而指示对应于表示1220b的用户(“Ann”)的设备与参与XR通信会话的一个或多个其他设备具有差的和/或间歇性连接。在一些实施方案中，经历连接中断的用户的表示具有有限空间代理或无空间代理，直到此类中断已被解决。
在一些实施方案中，如果连接恶化成使得不满足(例如，如由时延、带宽、损失和/或吞吐量确定的)阈值连接质量，则将对应于经历连接问题的设备的3D表示从XR环境1204移除，并且任选地，将其由2D表示替换。在一些实施方案中，这指示参与XR通信会话的设备正尝试与用户的设备建立足够的连接(例如，“恢复定位”)，并且任选地，充当占位符，直到连接被重新建立。在图12F中，例如，3D表示1220b被2D表示1230b替换，从而指示对应于3D表示1220b的用户的连接已恶化成使得阈值连接质量未被满足。
关于图12A至图12F的附加描述在下文参考关于图12A至图12F所描述的方法1300来提供。
图13是根据一些实施方案的用于在实况通信会话中提供信息的示例性方法1300的流程图。在一些实施方案中，方法1300在计算机系统(例如，图1A中的计算机系统101、计算机系统700和/或HMD X700)(例如，智能电话、平板电脑和/或头戴式设备)处执行，该计算机系统与显示生成部件(例如，图1A、图3和图4中的显示生成部件120、显示器702和/或显示器X702)(例如，视觉输出设备、3D显示器、具有图像可投射在其上的透明或半透明的至少一部分的显示器(例如，透视显示器)、投影仪、平视显示器和/或显示控制器)和一个或多个传感器(例如，触敏表面、陀螺仪、加速度计、运动传感器、移动传感器、麦克风、红外传感器、相机传感器、深度相机、可见光相机、眼睛跟踪传感器、注视跟踪传感器、生理传感器和/或图像传感器)通信。在一些实施方案中，方法1300由存储在非暂态(或暂态)计算机可读存储介质中并且由计算机系统的一个或多个处理器诸如计算机系统101的一个或多个处理器202(例如，图1A中的控件110)执行的指令支配。方法1300中的一些操作任选地被组合，并且/或者一些操作的次序任选地被改变。
在处于与通信会话中的一个或多个参与者(例如，一个用户、两个用户或5个用户)的通信会话(例如，如图12A至图12F中)(例如，空间通信会话、非空间通信会话、视频通信会话和/或音频通信会话)中时，计算机系统(例如，700和/或X700)经由一个或多个传感器检测(1302)计算机系统(例如，700和/或X700)的用户的注视输入(例如，1205a和/或X1205a)(例如，指向预先确定的区带的注视输入、指向区带或显示对象的注视输入和/或远离区带或显示对象的注视输入)。
响应于检测到注视输入(例如，1205a和/或X1205a)并且根据注视输入(例如，1205a和/或X1205a)满足一个或多个注视标准的集合的确定，计算机系统经由显示生成部件(例如，702和/或X702)显示(1306)关于通信会话中的第一参与者的信息(例如，参与者的名称，如图12B1和/或图12B2中)。
响应于检测到注视输入(例如，1205a和/或X1205a)并且根据注视输入不满足一个或多个注视标准的集合的确定，计算机系统放弃显示(1308)关于通信会话中的第一参与者的信息。响应于检测到注视输入而显示关于第一参与者的信息向用户提供关于第一参与者的反馈，从而提供改进的视觉反馈。
在一些实施方案中，一个或多个注视标准的集合包括当注视输入(例如，1205a和/或X1205a)指向对应于第一参与者的位置时满足的第一位置标准。在一些实施方案中，注视指向对应于参与者中的一个参与者的位置以便满足一个或多个注视标准的集合。在一些实施方案中，当注视指向对应于相应参与者的位置时，显示针对相应参与者的信息。在一些实施方案中，当注视指向第一参与者时，针对第一参与者(而不是第二参与者)满足第一位置标准。在一些实施方案中，一个或多个注视标准的第二集合包括当注视输入指向第二参与者时满足的第三位置标准。在一些实施方案中，响应于检测到注视输入：根据注视输入满足一个或多个注视标准的第二集合的确定，经由显示生成部件显示关于通信会话中的第二参与者的信息(例如，而不显示关于第一参与者的信息)；并且根据注视输入不满足一个或多个注视标准的第二集合的确定，放弃显示关于通信会话中的第二参与者的信息。响应于检测到指向第一参与者的位置的注视输入而显示关于第一参与者的信息向用户提供关于第一参与者的反馈，从而提供改进的视觉反馈。
在一些实施方案中，响应于检测到注视输入(例如，1205a和/或X1205a)并且根据注视输入(例如，1205a和/或X1205a)满足一个或多个注视标准的集合的确定，计算机系统(例如，700和/或X700)显示关于通信会话中的不同于第一参与者(例如，1220a和/或X1220a)的第二参与者(例如，1220b和/或X1220b)的信息(例如，参与者的名称，如在图12B1和/或图12B2中)。在一些实施方案中，计算机系统显示关于正被注视的参与者的信息，而不显示关于其他参与者的信息。响应于检测到指向第一参与者的位置的注视输入而显示关于第一参与者的信息，而不提供关于其他参与者的信息，向用户提供关于用户正看向哪个参与者的反馈，从而提供改进的视觉反馈。
在一些实施方案中，一个或多个注视标准的集合包括当注视输入指向不对应于第一参与者(例如，1220a和/或X1220a)的位置(例如，1240和/或X1240)(例如，远离参与者的表示的位置)时满足的第二位置标准。响应于检测到指向不对应于第一参与者的位置的注视输入而显示关于第一参与者的信息向用户提供关于第一参与者的反馈，而不要求用户看向第一参与者，从而提供改进的视觉反馈。
在一些实施方案中，不对应于第一参与者的位置是系统用户界面元素(例如，1240和/或X1240)的位置。在一些实施方案中，当注视输入指向系统用户界面元素时满足第二位置标准(例如，并且如果注视输入未指向系统用户界面元素，则不满足第二位置标准)。响应于检测到指向系统用户界面元素的注视输入而显示关于第一参与者的信息向用户提供关于第一参与者的反馈，而不要求用户看向第一参与者，从而提供改进的视觉反馈。
在一些实施方案中，响应于检测到注视输入(例如，1205a和/或X1205a)并且根据注视输入(例如，1205a和/或X1205a)满足一个或多个注视标准的第二集合的确定，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示用于通信会话的控件(例如，1250a-1250f)。在一些实施方案中，一个或多个注视标准的第二集合包括一个或多个注视标准的集合并且包括当注视输入(例如，1205a和/或X1205a)继续指向系统用户界面元素(例如，1240和/或X1240)的位置达预定义持续时间时(例如，在已满足一个或多个注视标准的集合之后)满足的持续时间标准。在一些实施方案中，计算机系统检测到用户注视系统用户界面元素的位置并且显示关于第一参与者的信息，然后当用户继续注视系统用户界面元素的位置时，计算机系统显示用于通信会话的控件。基于用户继续注视系统用户界面元素来显示用于通信会话的控件向用户提供对控件的容易访问并且向用户提供注视正被检测到的反馈。
在一些实施方案中，响应于检测到注视输入(例如，1205a和/或X1205a)并且根据注视输入(例如，1205a和/或X1205a)满足一个或多个注视标准的第三集合的确定，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示用于计算机系统的(例如，不对应于用于通信会话的控件)的系统控件(例如，1260)。在一些实施方案中，一个或多个注视标准的第三集合包括一个或多个注视标准的集合并且包括当注视输入继续指向系统用户界面元素(例如，1240和/或X1240)的位置达第二预定义持续时间时(例如，在已满足一个或多个注视标准的集合之后)满足的第二持续时间标准。在一些实施方案中，计算机系统检测到用户注视系统用户界面元素的位置并且显示关于第一参与者的信息，然后当用户继续注视系统用户界面元素的位置时，计算机系统显示系统控件(例如，启用/禁用Wi-Fi、启用/禁用蓝牙、改变系统音量和/或打开/关闭飞行模式)。在一些实施方案中，响应于检测到注视输入并且根据注视输入不满足一个或多个注视标准的第三集合的确定，放弃显示用于计算机系统的系统控件。基于用户继续注视系统用户界面元素来显示系统控件向用户提供对控件的容易访问并且向用户提供注视正被检测到的反馈。
在一些实施方案中，系统用户界面元素(例如，1240和/或X1240)(例如，经由1208)指示通信会话的状态(例如，正在连接、活动、暂停、音频静音和/或麦克风静音)。提供对通信会话的状态的指示向用户提供关于通信会话的状态的改进的视觉反馈。
在一些实施方案中，系统用户界面元素(例如，1240和/或X1240)的颜色指示通信会话的状态(例如，绿色代表打开对通信会话的邀请和/或橙色代表打开音频通道)。针对通信会话的不同状态使用不同颜色向用户提供关于通信会话的状态的改进的视觉反馈。
在一些实施方案中，在显示关于通信会话中的第一参与者的信息(例如，如图12B1和/或图12B2中的名称)之后，计算机系统自动停止显示关于通信会话中的第一参与者的信息(例如，如图12E中)。在一些实施方案中，关于参与者的信息被暂时显示(例如，该信息在预先确定的时间段之后逐渐消失)。暂时显示关于第一参与者的信息向用户提供关于第一参与者的反馈，而不继续占用显示空间，从而向用户提供改进的视觉反馈。
在一些实施方案中，响应于检测到注视输入(例如，1205a和/或X1205a)并且根据注视输入(例如，1205a和/或X1205a)满足一个或多个注视标准的集合的确定，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示关于通信会话中的不同于通信会话中的第一参与者的第二参与者(例如，1220b和/或X1220b)的信息(例如，名称信息)。在一些实施方案中，计算机系统显示关于通信会话的多个参与者的信息。在一些实施方案中，计算机系统显示关于通信会话的所有参与者的信息。
在一些实施方案中，响应于检测到注视输入(例如，1205a和/或X1205a)并且根据注视输入(例如，1205a和/或X1205a)不满足一个或多个注视标准的集合的确定，计算机系统(例如，700和/或X700)放弃显示关于通信会话中的第二参与者的信息。显示关于多个参与者的信息向用户提供关于通信会话的参与者的附加信息，从而提供改进的视觉反馈。
在一些实施方案中，关于第一参与者的信息包括第一参与者的名称(例如，如图12B1和/或图12B2中)。在一些实施方案中，信息包括通信会话的多个(例如，所有)参与者的相应名称。显示参与者的名称向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，关于第一参与者的信息被显示在第一参与者的表示(例如，化身)附近(例如，邻近于该表示或与该表示重叠)(例如，如在图12B1和/或图12B2中)。在一些实施方案中，关于相应参与者的信息被显示在相应参与者的相应表示附近(例如，邻近于该相应表示或与该相应表示重叠)。将关于通信会话的参与者的信息显示在参与者的表示附近向用户提供关于哪种信息对应于哪个参与者的反馈，从而提供改进的视觉反馈。
在一些实施方案中，关于第一参与者的信息包括第一参与者的连接状况(例如，已连接、正在连接或未连接)(例如，如图12C中的“正在重新连接”)。在一些实施方案中，信息包括通信会话的多个(例如，所有)参与者的连接状况。显示参与者的连接状况向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，关于第一参与者的信息包括第一参与者的可用性状况(例如，如处于图12C中的“离开”中)(例如，离开、会议中和/或可用)。在一些实施方案中，信息包括通信会话的多个(例如，所有)参与者的可用性状况。显示参与者的可用性状况和/或离开状况向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，相应参与者(例如，1220a和/或X1220a)的可用性状况(例如，如处于图12C中的“离开”中)基于相应参与者是否穿戴电子设备。在一些实施方案中，停止穿戴正被用于加入通信会话的电子设备的用户的状况被自动改变为离开。基于穿戴着(或不穿戴着)电子设备的相应参与者来显示参与者的可用性状况和/或离开状况向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，关于第一参与者的信息包括第一参与者的麦克风状况(例如，静音或未静音)。在一些实施方案中，信息包括通信会话的多个(例如，所有)参与者的麦克风状况。显示参与者的音频信息和/或麦克风状况向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，关于第一参与者的信息包括对第一参与者是否是访客的指示(例如，如处于图12D中的“访客”中)。在一些实施方案中，信息包括对通信会话的多个(例如，所有)参与者是否是访客的指示。在一些实施方案中，正使用电子设备来参与通信会话的未注册用户被标识为访客。在一些实施方案中，尚未登录到正参与通信会话的设备的账户中的用户被标识为访客。显示参与者是否是访客向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，关于第一参与者的信息包括与第一参与者的设备相关联的标识符(例如，用于通信会话的设备的名称或设备的所有者)(例如，如处于图12D中的“使用John的设备”中)(例如，当第一参与者是访客时或者不管第一参与者是否是访客)。在一些实施方案中，信息包括与(例如，作为访客的)多个参与者的相应设备相关联的标识符。显示与相应参与者的设备(例如，计算机系统和/或智能电话)相关联的标识符向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，在处于与通信会话中的一个或多个参与者(例如，一个用户、两个用户或5个用户)的通信会话(例如，空间通信会话、非空间通信会话、视频通信会话和/或音频通信会话)中并且根据第一参与者是正被用于连接到通信会话的设备的所有者(和/或登录到该设备中)的确定时，计算机系统(例如，700和/或X700)显示第一参与者的第一表示。在一些实施方案中，在处于与通信会话中的一个或多个参与者(例如，一个用户、两个用户或5个用户)的通信会话(例如，空间通信会话、非空间通信会话、视频通信会话和/或音频通信会话)中并且根据第一参与者不是正被用于连接到通信会话的设备的所有者(和/或未登录到该设备中)的确定时，计算机系统(例如，700和/或X700)显示第一参与者的第二表示。在一些实施方案中，访客参与者用化身进行表示，该化身不同于访客参与者正用于参与通信会话的设备的所有者的化身。基于参与者是访客用户还是用于连接到通信会话的设备的所有者来显示参与者的不同化身向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，第二表示是尚未被定制为包括第一参与者(即访客参与者)的面部特征的默认或占位符化身。在一些实施方案中，第一表示是已被定制为包括第一参与者(即设备的所有者)的面部特征的化身。显示访客参与者的默认或占位符化身向用户提供关于通信会话的参与者的信息，从而提供改进的视觉反馈。
在一些实施方案中，计算机系统(例如，700和/或X700)检测通信会话中的第二参与者的状态的改变。在一些实施方案中，响应于检测到第二参与者的状态(例如，离开、可用、正在连接和/或会议中)的改变，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示关于第二参与者的信息(例如，对状态、名称和/或连接状况的指示)(例如，如处于图12F中的“Ann Smith”中)。自动显示关于第二参与者的信息向用户提供关于通信会话的参与者的信息，而不需要用户提供输入，从而提供改进的视觉反馈并且减少所需的输入的数量。
在一些实施方案中，响应于检测到注视输入并且根据注视输入满足一个或多个注视标准的集合的确定，计算机系统(例如，700和/或X700)经由显示生成部件(例如，702和/或X702)显示关于通信会话中的一个或多个参与者中的多个相应参与者的相应信息(例如，如图12C中的参与者的名称)。在一些实施方案中，响应于检测到第二参与者的状态的改变，计算机系统(例如，700和/或X700)放弃经由显示生成部件显示关于不同于第二参与者的第三参与者的信息。在一些实施方案中，当计算机系统检测到满足一个或多个注视标准的集合的注视输入时，计算机系统显示关于通信会话中的参与者中的每个参与者的信息。在一些实施方案中，当计算机系统检测到特定参与者的状态的改变时，计算机系统显示关于该特定参与者的信息，而不显示关于状态未改变的参与者的信息。基于注视输入来显示关于多个参与者的信息以及基于状态改变来显示关于特定参与者的信息向用户提供关于参与者的信息并且向用户指示注视被检测到和/或特定参与者的状态改变。
在一些实施方案中，响应于检测到针对通信会话中的相应参与者的跟踪已丢失(例如，如对于图12E中的1220b)，计算机显示针对相应参与者的跟踪已丢失的指示(例如，如处于图12F中的“恢复定位”)。在一些实施方案中，针对相应参与者的跟踪已丢失的指示包括将相应参与者的表示显示为低逼真度化身(例如，与未丢失跟踪的参与者相比)、占位符/默认化身(例如，字母组合化身)和/或彩色形状(例如，正方形或圆圈)。在一些实施方案中，响应于检测到针对通信会话中的相应参与者的跟踪已丢失：根据相应参与者是第一参与者的确定，显示针对第一参与者的跟踪已丢失(例如，而不显示针对第二参与者的跟踪已丢失)的指示，并且根据相应参与者是第二参与者的确定，显示针对第二参与者的跟踪已丢失(例如，而不显示针对第一参与者的跟踪已丢失)的指示。显示针对通信会话的参与者的跟踪已丢失的指示向用户提供关于参与者的状态的视觉反馈，从而提供改进的视觉反馈。
在一些实施方案中，方法800、900、1100和/或1300的各方面/操作可在这些方法之间互换、替换和/或添加。例如，图7B的主屏幕与图10A的主屏幕相同。对于另一示例，图10C的实时通信会话与图12A的实时通信会话相同。为了简明起见，此处不再重复这些细节。
出于解释的目的，前面的描述是通过参考具体实施方案来描述的。然而，上面的例示性讨论并非旨在是穷尽的或将本发明限制为所公开的精确形式。根据以上教导内容，很多修改形式和变型形式都是可能的。选择和描述实施方案是为了最佳地阐明本发明的原理及其实际应用，以便从而使得本领域的其他技术人员能够最佳地使用具有适合于所构想的特定用途的各种修改的本发明以及各种所描述的实施方案。
如上所述，本发明技术的一个方面在于采集和使用得自各种来源的数据以改进实况通信会话的管理。本公开预期，在一些实例中，这些所采集的数据可包括唯一地标识或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特ID、家庭地址、与用户的健康或健身水平有关的数据或记录(例如，生命体征测量、药物信息、锻炼信息)、出生日期或任何其他标识或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于改进实况通信会话的管理。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于提供对用户总体健康状况的见解，或者可用作对使用技术追求健康目标的个人的积极反馈。
本公开预期，负责这样的个人信息数据的收集、分析、公开、传输、存储或其他用途的实体将遵守完善的隐私政策和/或隐私措施。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和措施。这样的政策应该便于用户访问，并应该随着对数据的收集和/或使用的改变而被更新。来自用户的个人信息应该出于合法且合理的实体用途进行收集，并且不得在这些合法用途之外共享或出售。此外，这样的收集/共享应该在接收到用户的知情同意之后进行。附加地，此类实体应当考虑采取任何必要的步骤，以用于保护和保障对此类个人信息数据的访问权，并确保有权访问个人信息数据的其他实体遵守其他实体的隐私政策和程序。此外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和隐私实践。此外，政策和实践应该适应于采集和/或访问的特定类型的个人信息数据，并适应于包括特别管辖范围的考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应当相应处理。因此，对于每个国家中的不同个人数据类型，应该主张不同的隐私措施。
不顾前述如何，本公开还预期用户选择性地阻挡使用或访问个人信息数据的实施方案。也就是说，本公开预期可提供硬件元件和/或软件元件，以阻碍或阻挡对此类个人信息数据的访问。例如，就实况通信会话而言，本发明技术可被配置为在注册服务期间或者其后的任何时间，允许用户选择“加入”或“退出”参与对个人信息数据的收集。又如，用户可选择不提供用于服务定制的数据。再如，用户可选择限制保持数据的时间长度或者完全禁止定制服务的开发。除了提供“选择加入”和“选择退出”选项以外，本公开还预期提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的意图是个人信息数据应当以最小化无意或未经授权访问或使用的风险的方式来管理和处理。一旦不再需要数据，可通过限制收集数据和删除数据使风险最小化。此外，并且当适用时，包括在某些健康相关应用中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在不需要访问此类个人信息数据的情况下被实现。也就是说，本发明技术的各种实施方案不会由于缺少此类个人信息数据中的所有个人信息数据或其一部分而无法正常进行。例如，实况通信会话可基于非个人信息数据或绝对最低限度量的个人信息诸如与用户相关联的设备所请求的内容、对服务可用的其他非个人信息或可公开获得的信息来提供。
权利要求书(按照条约第19条的修改)
1.一种方法，包括：
在与显示生成部件和一个或多个传感器通信的计算机系统处：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
2.根据权利要求1所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示：
用以发起与所述相应用户的新空间通信会话的选项；以及
针对附加特征的选项；
在显示针对附加特征的所述选项时，接收对针对附加特征的所述选项的选择；以及
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示与所述相应用户相关联的一个或多个选项。
3.根据权利要求1至2中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以发起与所述相应用户的音频通信会话的选项；
经由所述一个或多个传感器接收对用以发起与所述相应用户的音频通信会话的所述选项的选择；以及
响应于接收到对用以发起与所述相应用户的音频通信会话的所述选项的选择，发起与所述相应用户的音频通信会话。
4.根据权利要求3所述的方法，其中发起音频通信会话包括：使用在所述计算机系统的预先确定的范围内的外部电子设备来发起音频呼叫。
5.根据权利要求1至4中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以发起向所述相应用户传送消息的过程的选项；
经由所述一个或多个传感器接收对用以发起向所述相应用户传送消息的过程的所述选项的选择；以及
响应于接收到对用以发起向所述相应用户传送消息的过程的所述选项的选择，发起向所述相应用户传送消息的过程。
6.根据权利要求1至5中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以显示关于所述相应用户的附加信息的选项；
经由所述一个或多个传感器接收对用以显示关于所述相应用户的附加信息的所述选项的选择；以及
响应于接收到对用以显示关于所述相应用户的附加信息的所述选项的选择，经由所述显示生成部件显示关于所述相应用户的附加信息。
7.根据权利要求1至6中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以将所述相应用户从收藏页移除的选项；
经由所述一个或多个传感器接收对用以将所述相应用户从收藏页移除的所述选项的选择；以及
响应于接收到对用以将所述相应用户从收藏页移除的所述选项的选择，发起将所述相应用户从收藏页移除的过程。
8.根据权利要求1至7中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择并且根据确定存在正在进行的通信会话，经由所述显示生成部件并且与用以邀请所述相应用户加入所述正在进行的通信会话的所述选项同时显示用以发起与所述相应用户开始新通信会话的过程的选项；
经由所述一个或多个传感器接收对用以发起与所述相应用户开始新通信会话的过程的所述选项的选择；以及
响应于接收到对用以发起与所述相应用户开始新通信会话的过程的所述选项的选择，发起以下的过程：
结束所述正在进行的通信会话；以及
与所述相应用户开始所述新通信会话。
9.根据权利要求8所述的方法，还包括：
在与所述相应用户开始所述新通信会话的过程期间，提示确认结束所述正在进行的通信会话；
经由所述一个或多个传感器接收对结束所述正在进行的通信会话的确认；以及
响应于接收到对结束所述正在进行的通信会话的确认，结束所述正在进行的通信会话。
10.根据权利要求2至9中任一项所述的方法，其中所述多个用户的所述表示作为主用户界面的一部分被显示，并且显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项和/或显示与所述相应用户相关联的所述一个或多个选项包括遮挡所述主用户界面。
11.根据权利要求10所述的方法，其中与所述相应用户相关联的所述一个或多个选项包括用以发起向所述相应用户传送消息的过程的选项，所述方法还包括：
经由所述一个或多个传感器接收对用以发起向所述相应用户传送消息的过程的所述选项的选择；以及
响应于接收到对用以发起向所述相应用户传送消息的过程的所述选项的选择，经由所述显示生成部件显示具有第一外观的消息传送用户界面，而不显示所述主用户界面。
12.根据权利要求10至11中任一项所述的方法，其中与所述相应用户相关联的所述一个或多个选项包括用以发起向所述相应用户传送消息的过程的选项，所述方法还包括：
经由所述一个或多个传感器接收对用以发起向所述相应用户传送消息的过程的所述选项的选择；以及
响应于接收到对用以发起向所述相应用户传送消息的过程的所述选项的选择，经由所述显示生成部件同时显示具有第二外观的消息传送用户界面以及所述主用户界面的至少一部分。
13.根据权利要求11至12中任一项所述的方法，其中所述主用户界面不是用户可移动的，并且其中所述消息传送用户界面是用户可移动的。
14.根据权利要求1至13中任一项所述的方法，其中经由所述显示生成部件显示所述多个用户的表示包括：
经由所述显示生成部件显示第一多个用户的第一多个表示的第一分组，其中所述第一多个用户被选择成与所述计算机系统的用户和所述第一多个用户之间的通信的新近度无关地被包括作为所述多个用户的所述表示的一部分；以及
经由所述显示生成部件显示第二多个用户的第二多个表示的第二分组，其中所述第二多个用户被选择成基于所述计算机系统的所述用户和所述第二多个用户之间的通信的新近度来被包括作为所述多个用户的一部分。
15.根据权利要求14所述的方法，其中所述计算机系统的用户和所述第二多个用户之间的通信的所述新近度基于多种通信模式。
16.根据权利要求2至15中任一项所述的方法，还包括：
经由所述显示生成部件并且与用以邀请所述相应用户加入所述正在进行的通信会话的所述选项和/或与所述相应用户相关联的所述一个或多个选项同时显示对所述计算机系统的用户和所述相应用户之间的新近通信活动的指示。
17.根据权利要求2至16中任一项所述的方法，其中与所述相应用户相关联的所述一个或多个选项包括用以发起与所述相应用户的空间通信会话的选项，所述方法还包括：
经由所述一个或多个传感器接收对用以发起与所述相应用户的空间通信会话的所述选项的选择；以及
响应于接收到对用以发起与所述相应用户的空间通信会话的所述选项的选择，发起与所述相应用户的空间通信会话。
18.根据权利要求1至17中任一项所述的方法，还包括：
经由所述显示生成部件并且与所述多个用户的所述表示同时显示用以预览和/或编辑所述计算机系统的用户的化身的选项；
经由所述一个或多个传感器接收对用以预览和/或编辑所述计算机系统的所述用户的化身的所述选项的选择；以及
响应于接收到对用以预览和/或编辑所述计算机系统的所述用户的化身的所述选项的选择，经由所述显示生成部件显示用于预览和/或编辑所述计算机系统的所述用户的化身的用户界面。
19.根据权利要求1至18中任一项所述的方法，还包括：
经由所述显示生成部件并且与所述多个用户的所述表示同时显示：
对所述计算机系统的用户和所述多个用户中的第一用户之间的最新近通信的第一指示；以及
对所述计算机系统的所述用户和所述多个用户中的、不同于所述第一用户的第二用户之间的最新近通信的第二指示。
20.根据权利要求1至19中任一项所述的方法，其中所述多个用户的所述表示中的对应于第一用户的第一表示包括来自所述第一用户的新近消息。
21.根据权利要求20所述的方法，还包括：
经由所述一个或多个传感器接收对来自所述第一用户的所述新近消息的选择；以及
响应于接收到对来自所述第一用户的所述新近消息的选择，经由所述显示生成部件显示用以回复所述新近消息的选项。
22.根据权利要求21所述的方法，还包括：
经由所述一个或多个传感器接收对用以回复来自所述第一用户的所述新近消息的所述选项的选择；以及
响应于接收到对用以回复来自所述第一用户的所述新近消息的所述选项的选择，经由所述显示生成部件显示用于回复来自所述第一用户的所述新近消息的用户界面。
23.根据权利要求1至22中任一项所述的方法，其中所述多个用户的所述表示作为主用户界面的一部分被显示，并且其中所述主用户界面响应于检测到硬件按钮的激活而被显示。
24.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至23中任一项所述的方法的指令。
25.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至23中任一项所述的方法的指令。
26.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求1至23中任一项所述的方法的构件。
27.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至23中任一项所述的方法的指令。
28.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
29.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
30.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于经由所述显示生成部件显示多个用户的表示的构件；
用于经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择的构件；以及
用于响应于接收到对所述相应用户的所述表示的选择而进行以下的构件：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
31.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
32.一种方法，包括：
在与显示生成部件和一个或多个传感器通信的计算机系统处：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
33.根据权利要求32所述的方法，其中：
所述实时通信会话是在扩展现实环境中进行的扩展现实通信会话；
所述通信用户界面在所述扩展现实环境中显示；以及
所述化身编辑用户界面在所述扩展现实环境中显示。
34.根据权利要求32至33中任一项所述的方法，还包括：
在显示所述可选择用户界面对象之后，使用表示所述计算机系统的所述用户的所述化身来参与通信会话。
35.根据权利要求34所述的方法，还包括：
经由所述显示生成部件并且与所述可选择用户界面对象同时显示用以发起通信会话的选项；
经由所述一个或多个传感器检测指向用以发起通信会话的所述选项的选择输入；以及
响应于检测到指向用以发起通信会话的所述选项的所述选择输入，发起通信会话。
36.根据权利要求32至35中任一项所述的方法，其中所述可选择用户界面对象在正在进行的通信会话期间显示。
37.根据权利要求32至36中任一项所述的方法，还包括：
经由所述一个或多个传感器检测指向用以修改表示所述计算机系统的所述用户的所述化身的所述外观的所述一个或多个选项的输入；以及
响应于检测到指向用以修改表示所述计算机系统的所述用户的所述化身的所述外观的所述一个或多个选项的输入，修改所述化身的所述外观，其中修改所述化身的所述外观包括编辑所述化身。
38.根据权利要求37所述的方法，其中表示所述计算机系统的所述用户的所述化身的第一选项能够经由所述化身编辑用户界面进行编辑，并且表示所述计算机系统的所述用户的所述化身的第二选项不能够经由所述化身编辑用户界面进行编辑。
39.根据权利要求37至38中任一项所述的方法，其中编辑表示所述计算机系统的所述用户的所述化身包括：向表示所述计算机系统的所述用户的所述化身添加眼戴设备。
40.根据权利要求39所述的方法，其中用以修改表示所述计算机系统的所述用户的所述化身的所述外观的所述一个或多个选项包括针对第一眼戴设备模板的选项和针对不同于所述第一眼戴设备模板的第二眼戴设备模板的选项。
41.根据权利要求37至40中任一项所述的方法，其中编辑表示所述计算机系统的所述用户的所述化身包括：向表示所述计算机系统的所述用户的所述化身添加一个或多个可访问性选项。
42.根据权利要求41所述的方法，其中向表示所述计算机系统的所述用户的所述化身添加一个或多个可访问性选项包括：向所述化身的第一只眼睛添加可访问性选项，而不向所述化身的第二只眼睛添加可访问性选项。
43.根据权利要求32至42中任一项所述的方法，其中所述一个或多个选项包括用以改变模拟照明的一个或多个选项，所述方法还包括：
经由所述一个或多个传感器检测指向用以改变模拟照明的所述一个或多个选项的输入；以及
响应于检测到指向用以改变模拟照明的所述一个或多个选项的输入，修改表示所述计算机系统的所述用户的所述化身的所述外观，其中修改所述化身的所述外观包括改变模拟照明。
44.根据权利要求43所述的方法，其中改变模拟照明包括改变曝光设置。
45.根据权利要求43至44中任一项所述的方法，其中改变模拟照明包括改变色温设置。
46.根据权利要求32至45中任一项所述的方法，其中所述一个或多个选项包括用以改变表示所述计算机系统的所述用户的所述化身的逼真度的一个或多个选项，所述方法还包括：
经由所述一个或多个传感器检测指向用以改变表示所述计算机系统的所述用户的所述化身的所述逼真度的所述一个或多个选项的输入；以及
响应于检测到指向用以改变表示所述计算机系统的所述用户的所述化身的所述逼真度的所述一个或多个选项的输入，修改所述化身的所述逼真度。
47.根据权利要求32至46中任一项所述的方法，其中表示所述计算机系统的所述用户的所述化身是模拟三维化身，所述方法还包括：
经由所述显示生成部件并且在当所述用户由根据所述计算机系统的所述用户的移动而移动的所述化身表示时的所述实时通信会话期间，显示用以停止在所述实时通信会话中使用所述化身的选项；
经由所述一个或多个传感器检测对用以停止在所述实时通信会话中使用所述化身的所述选项的选择；以及
响应于检测到对用以停止在所述实时通信会话中使用所述化身的所述选项的选择，停止在所述实时通信会话中使用所述化身。
48.根据权利要求32至47中任一项所述的方法，其中所述化身编辑用户界面包括一个或多个化身管理选项。
49.根据权利要求48所述的方法，其中所述一个或多个化身管理选项包括用以创建表示所述计算机系统的所述用户的新化身的选项，所述方法还包括：
经由所述一个或多个传感器检测对用以创建表示所述计算机系统的所述用户的新化身的所述选项的选择；以及
响应于检测到对用以创建表示所述计算机系统的所述用户的新化身的所述选项的选择，发起创建表示所述计算机系统的所述用户的新化身的过程。
50.根据权利要求48至49中任一项所述的方法，其中所述一个或多个化身管理选项包括用以删除表示所述计算机系统的所述用户的化身的选项，所述方法还包括：
经由所述一个或多个传感器检测对用以删除表示所述计算机系统的所述用户的化身的所述选项的选择；以及
响应于检测到对用以删除表示所述计算机系统的所述用户的化身的所述选项的选择，发起删除表示所述计算机系统的所述用户的化身的过程。
51.根据权利要求32至50中任一项所述的方法，其中表示所述计算机系统的所述用户的模拟三维化身不可用，所述方法还包括：
在当表示所述计算机系统的所述用户的模拟三维化身不可用时的所述实时通信会话期间，使用所述计算机系统的所述用户的根据所述计算机系统的所述用户的移动而移动、而不反映所述计算机系统的所述用户的外观的表示。
52.根据权利要求32至51中任一项所述的方法，还包括：
根据确定表示所述计算机系统的所述用户的所述化身是模拟三维化身，使得所述计算机系统的所述用户能够参与空间通信会话；以及
根据确定表示所述计算机系统的所述用户的所述化身不是模拟三维化身，放弃使得所述计算机系统的所述用户能够参与空间通信会话。
53.根据权利要求32至52中任一项所述的方法，还包括：
在表示所述计算机系统的所述用户的模拟三维化身不可用时并且响应于所检测的一个或多个输入的至少一部分，经由所述显示生成部件显示用以创建表示所述计算机系统的所述用户的化身的选项；以及
响应于检测到对用以创建表示所述计算机系统的所述用户的化身的所述选项的选择，发起创建表示所述计算机系统的所述用户的化身的过程。
54.根据权利要求32至53中任一项所述的方法，还包括：
在表示所述计算机系统的所述用户的模拟三维化身不可用时并且响应于所检测的一个或多个输入的至少一部分，经由所述显示生成部件显示用以使用默认化身来表示所述计算机系统的所述用户的选项；以及
响应于检测到对用以使用所述默认化身来表示所述计算机系统的所述用户的所述选项的选择，使用所述默认化身来表示所述计算机系统的所述用户。
55.根据权利要求54所述的方法，其中所述默认化身根据所述计算机系统的所述用户的移动而移动，而不反映所述计算机系统的所述用户的外观。
56.根据权利要求54至55中任一项所述的方法，其中当所述计算机系统处于访客模式时，所述默认化身表示所述计算机系统的用户。
57.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求32至56中任一项所述的方法的指令。
58.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求32至56中任一项所述的方法的指令。
59.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求32至56中任一项所述的方法的构件。
60.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求32至56中任一项所述的方法的指令。
61.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
62.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
63.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面的构件，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
用于在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象的构件；
用于经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入的构件；以及
用于响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面的构件，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
64.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
65.一种方法，包括：
在与显示生成部件通信的计算机系统处：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
66.根据权利要求65所述的方法，其中：
在所述非空间通信会话中：
所述多个参与者中的第一参与者的表示在第一窗口区域中，以及
所述多个参与者中的第二参与者的表示在不同于所述第一窗口区域的第二窗口区域中；以及
在所述空间通信会话中：
所述多个参与者中的所述第一参与者的表示不在窗口区域中，以及
所述多个参与者中的所述第二参与者的表示不在窗口区域中。
67.根据权利要求66所述的方法，其中所述第一参与者的所述表示是模拟三维表示，并且所述第二参与者的所述表示是二维表示。
68.根据权利要求66所述的方法，其中所述多个参与者是二维表示。
69.根据权利要求66所述的方法，其中所述多个参与者是三维表示。
70.根据权利要求65至69中任一项所述的方法，其中所述事件是在所述通信会话期间接收到的、将所述计算机系统的所述用户的表示从3D表示转变为2D表示的请求。
71.根据权利要求70所述的方法，其中所述请求基于通信会话控制区域中的输入。
72.根据权利要求71所述的方法，其中所述通信会话控制区域包括用以将所述计算机系统的所述用户的表示从所述3D表示转变为所述2D表示的选项以及对应于其他通信会话控制的一个或多个选项。
73.根据权利要求65至69中任一项所述的方法，其中所述事件是在所述通信会话期间接收到的、将所述通信会话从所述空间通信会话转变为所述非空间通信会话的请求。
74.根据权利要求65至69中任一项所述的方法，其中所述事件是附加参与者加入所述通信会话。
75.根据权利要求74所述的方法，其中所述附加参与者加入所述通信会话使得由模拟三维表示所表示的参与者的数量超过参与者的阈值数量。
76.根据权利要求65至75中任一项所述的方法，还包括：
在所述通信会话是非空间通信会话时，基于相应参与者移动来偏移对应于所述相应参与者的相应窗口区域的定位。
77.根据权利要求76所述的方法，其中所述相应窗口区域基于相应参与者的头部定位来在虚拟环境中向前和/或向后移动。
78.根据权利要求76至77中任一项所述的方法，其中所述相应窗口区域基于相应参与者的头部定位来倾斜。
79.根据权利要求76至78中任一项所述的方法，其中第一窗口区域基于显示在第一窗口中的参与者的移动来在第一方向上偏移，并且第二窗口基于显示在第二窗口中的参与者的移动来在不同于所述第一方向的第二方向上偏移。
80.根据权利要求65至79中任一项所述的方法，还包括：
在参与作为非空间通信会话的所述通信会话时，检测第二事件；以及
响应于检测到所述第二事件，将所述通信会话从所述非空间通信会话转变为所述空间通信会话。
81.根据权利要求80所述的方法，其中所述第二事件是参与者离开所述通信会话。
82.根据权利要求80所述的方法，其中所述第二事件是在所述通信会话期间接收到的、将所述计算机系统的所述用户的表示从2D表示转变为3D表示的请求。
83.根据权利要求80所述的方法，其中所述第二事件是在所述通信会话期间接收到的、将所述通信会话从非空间通信会话转变为空间通信会话的请求。
84.根据权利要求65至83中任一项所述的方法，还包括：
在处于空间通信会话中时，经由所述显示生成部件在自视图窗口区域中显示所述计算机系统的所述用户的表示的自视图。
85.根据权利要求84所述的方法，其中所述自视图窗口区域与包括正在进行的通信会话的另一参与者的表示的窗口区域重叠。
86.根据权利要求84至85中任一项所述的方法，其中所述自视图窗口区域小于包括另一参与者的表示的窗口区域。
87.根据权利要求65至86中任一项所述的方法，其中：
在空间通信会话期间，使得所述通信会话的第一参与者能够移动所述第一参与者的相应表示，并且使得所述通信会话的第二参与者能够移动所述第二参与者的相应表示；以及
在非空间通信会话期间，使得所述计算机系统的用户能够移动包括所述通信会话的所述多个参与者的相应表示的相应窗口区域。
88.根据权利要求87所述的方法，还包括：
经由与所述计算机系统通信的一个或多个传感器检测重新定位包括参与者的相应表示的相应窗口区域的用户输入；以及
响应于检测到重新定位包括所述参与者的所述相应表示的所述相应窗口区域的所述用户输入，重新定位所述多个参与者的多个窗口区域。
89.根据权利要求87至88中任一项所述的方法，其中所述参与者的所述相应表示基于预先确定的放置规则来以初始放置进行放置。
90.根据权利要求87至89中任一项所述的方法，还包括：
经由所述显示生成部件显示当前不是所述通信会话中的参与者的受邀用户的表示；
根据确定所述通信会话是非空间通信会话，使得所述计算机系统的用户能够重新定位当前不是参与者的所述受邀用户的所述表示；以及
根据确定所述通信会话是空间通信会话，放弃使得所述计算机系统的所述用户能够重新定位当前不是参与者的所述受邀用户的所述表示。
91.根据权利要求65至90中任一项所述的方法，还包括：
响应于在空间通信和非空间通信会话之间改变，经由所述显示生成部件显示所述通信会话的模式已改变的指示。
92.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求65至91中任一项所述的方法的指令。
93.一种被配置为与显示生成部件通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求65至91中任一项所述的方法的指令。
94.一种被配置为与显示生成部件通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求65至91中任一项所述的方法的构件。
95.一种计算机程序产品，所述计算机程序产品包括被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求65至91中任一项所述的方法的指令。
96.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
97.一种被配置为与显示生成部件通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
98.一种被配置为与显示生成部件通信的计算机系统，所述计算机系统包括：
用于在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示的构件，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
用于在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件的构件；以及
用于响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话的构件，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
与所述空间分布布置中的所述第二参与者的表示不同的定位。
99.一种计算机程序产品，包括被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
100.一种方法，包括：
在与显示生成部件和一个或多个传感器通信的计算机系统处：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
101.根据权利要求100所述的方法，其中一个或多个注视标准的所述集合包括当所述注视输入指向对应于所述第一参与者的位置时满足的第一位置标准。
102.根据权利要求100至101中任一项所述的方法，还包括：
响应于检测到所述注视输入并且根据确定所述注视输入满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的不同于所述第一参与者的第二参与者的信息。
103.根据权利要求100所述的方法，其中一个或多个注视标准的所述集合包括当所述注视输入指向不对应于所述第一参与者的位置时满足的第二位置标准。
104.根据权利要求103所述的方法，其中不对应于所述第一参与者的所述位置是系统用户界面元素的位置。
105.根据权利要求104所述的方法，还包括：
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的第二集合，经由所述显示生成部件显示用于所述通信会话的控件，其中一个或多个注视标准的所述第二集合包括一个或多个注视标准的所述集合并且包括在所述注视输入继续指向所述系统用户界面元素的所述位置达预定义持续时间时满足的持续时间标准。
106.根据权利要求104至105中任一项所述的方法，还包括：
响应于检测到所述注视输入：
根据所述注视输入满足一个或多个注视标准的第三集合的确定，经由所述显示生成部件显示用于所述计算机系统的系统控件，其中一个或多个注视标准的所述第三集合包括一个或多个注视标准的所述集合并且包括在所述注视输入继续指向所述系统用户界面元素的所述位置达第二预定义持续时间时满足的第二持续时间标准。
107.根据权利要求104至106中任一项所述的方法，其中所述系统用户界面元素指示所述通信会话的状态。
108.根据权利要求107所述的方法，其中所述系统用户界面元素的颜色指示所述通信会话的所述状态。
109.根据权利要求100至108中任一项所述的方法，还包括：
在显示关于所述通信会话中的所述第一参与者的所述信息之后，自动停止显示关于所述通信会话中的所述第一参与者的所述信息。
110.根据权利要求100至109中任一项所述的方法，还包括：
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的所述集合，经由所述显示生成部件显示关于所述通信会话中的不同于所述通信会话中的所述第一参与者的第二参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第二参与者的所述信息。
111.根据权利要求100至110中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的名称。
112.根据权利要求100至111中任一项所述的方法，其中关于所述第一参与者的所述信息显示在所述第一参与者的表示附近。
113.根据权利要求100至112中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的连接状况。
114.根据权利要求100至113中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的可用性状况。
115.根据权利要求114所述的方法，其中相应参与者的可用性状况基于所述相应参与者是否穿戴电子设备。
116.根据权利要求100至115中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的麦克风状况。
117.根据权利要求100至116中任一项所述的方法，其中关于所述第一参与者的所述信息包括对所述第一参与者是否是访客的指示。
118.根据权利要求100至117中任一项所述的方法，其中关于所述第一参与者的所述信息包括与所述第一参与者的设备相关联的标识符。
119.根据权利要求100至118中任一项所述的方法，还包括：
在处于与所述通信会话中的所述一个或多个参与者的所述通信会话中时：
根据确定所述第一参与者是正被用于连接到所述通信会话的设备的所有者，显示所述第一参与者的第一表示；以及
根据确定所述第一参与者不是正被用于连接到所述通信会话的所述设备的所有者，显示所述第一参与者的第二表示。
120.根据权利要求119所述的方法，其中所述第二表示是尚未被定制为包括所述第一参与者的面部特征的默认或占位符化身。
121.根据权利要求100至120中任一项所述的方法，还包括：
检测所述通信会话中的第二参与者的状态的改变；以及
响应于检测到所述第二参与者的所述状态的所述改变，经由所述显示生成部件显示关于所述第二参与者的信息。
122.根据权利要求121所述的方法，还包括：
响应于检测到所述注视输入并且根据确定所述注视输入满足一个或多个注视标准的集合，经由所述显示生成部件显示关于所述通信会话中的所述一个或多个参与者中的多个相应参与者的相应信息；以及
响应于检测到所述第二参与者的所述状态的所述改变，放弃经由所述显示生成部件显示关于不同于所述第二参与者的第三参与者的信息。
123.根据权利要求100至122中任一项所述的方法，还包括：
响应于检测到针对所述通信会话中的相应参与者的跟踪已丢失，显示针对所述相应参与者的跟踪已丢失的指示。
124.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求100至123中任一项所述的方法的指令。
125.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求100至123中任一项所述的方法的指令。
126.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求100至123中任一项所述的方法的构件。
127.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求100至123中任一项所述的方法的指令。
128.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，
经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
129.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
130.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入的构件；以及
用于响应于检测到所述注视输入而进行以下的构件：
根据确定所述注视输入满足一个或多个注视标准的集合，
经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
131.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，
经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。

Claims (131)

1.一种方法，包括：
在与显示生成部件和一个或多个传感器通信的计算机系统处：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
2.根据权利要求1所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示：
用以发起与所述相应用户的新空间通信会话的选项；以及
针对附加特征的选项；
在显示针对附加特征的所述选项时，接收对针对附加特征的所述选项的选择；以及
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示与所述相应用户相关联的一个或多个选项。
3.根据权利要求1至2中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以发起与所述相应用户的音频通信会话的选项；
经由所述一个或多个传感器接收对用以发起与所述相应用户的音频通信会话的所述选项的选择；以及
响应于接收到对用以发起与所述相应用户的音频通信会话的所述选项的选择，发起与所述相应用户的音频通信会话。
4.根据权利要求3所述的方法，其中发起音频通信会话包括：使用在所述计算机系统的预先确定的范围内的外部电子设备来发起音频呼叫。
5.根据权利要求1至4中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以发起向所述相应用户传送消息的过程的选项；
经由所述一个或多个传感器接收对用以发起向所述相应用户传送消息的过程的所述选项的选择；以及
响应于接收到对用以发起向所述相应用户传送消息的过程的所述选项的选择，发起向所述相应用户传送消息的过程。
6.根据权利要求1至5中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以显示关于所述相应用户的附加信息的选项；
经由所述一个或多个传感器接收对用以显示关于所述相应用户的附加信息的所述选项的选择；以及
响应于接收到对用以显示关于所述相应用户的附加信息的所述选项的选择，经由所述显示生成部件显示关于所述相应用户的附加信息。
7.根据权利要求1至6中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择，经由所述显示生成部件显示针对附加特征的选项；
在显示针对附加特征的所述选项时，经由所述一个或多个传感器接收对针对附加特征的所述选项的选择；
响应于接收到对针对附加特征的所述选项的选择，经由所述显示生成部件显示用以将所述相应用户从收藏页移除的选项；
经由所述一个或多个传感器接收对用以将所述相应用户从收藏页移除的所述选项的选择；以及
响应于接收到对用以将所述相应用户从收藏页移除的所述选项的选择，发起将所述相应用户从收藏页移除的过程。
8.根据权利要求1至7中任一项所述的方法，还包括：
响应于接收到对所述相应用户的所述表示的选择并且根据确定存在正在进行的通信会话，经由所述显示生成部件并且与用以邀请所述相应用户加入所述正在进行的通信会话的所述选项同时显示用以发起与所述相应用户开始新通信会话的过程的选项；
经由所述一个或多个传感器接收对用以发起与所述相应用户开始新通信会话的过程的所述选项的选择；以及
响应于接收到对用以发起与所述相应用户开始新通信会话的过程的所述选项的选择，发起以下的过程：
结束所述正在进行的通信会话；以及
与所述相应用户开始所述新通信会话。
9.根据权利要求8所述的方法，还包括：
在与所述相应用户开始所述新通信会话的过程期间，提示确认结束所述正在进行的通信会话；
经由所述一个或多个传感器接收对结束所述正在进行的通信会话的确认；以及
响应于接收到对结束所述正在进行的通信会话的确认，结束所述正在进行的通信会话。
10.根据权利要求2至9中任一项所述的方法，其中所述多个用户的所述表示作为主用户界面的一部分被显示，并且显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项和/或显示与所述相应用户相关联的所述一个或多个选项包括遮挡所述主用户界面。
11.根据权利要求10所述的方法，其中与所述相应用户相关联的所述一个或多个选项包括用以发起向所述相应用户传送消息的过程的选项，所述方法还包括：
经由所述一个或多个传感器接收对用以发起向所述相应用户传送消息的过程的所述选项的选择；以及
响应于接收到对用以发起向所述相应用户传送消息的过程的所述选项的选择，经由所述显示生成部件显示具有第一外观的消息传送用户界面，而不显示所述主用户界面。
12.根据权利要求10至11中任一项所述的方法，其中与所述相应用户相关联的所述一个或多个选项包括用以发起向所述相应用户传送消息的过程的选项，所述方法还包括：
经由所述一个或多个传感器接收对用以发起向所述相应用户传送消息的过程的所述选项的选择；以及
响应于接收到对用以发起向所述相应用户传送消息的过程的所述选项的选择，经由所述显示生成部件同时显示具有第二外观的消息传送用户界面以及所述主用户界面的至少一部分。
13.根据权利要求11至12中任一项所述的方法，其中所述主用户界面不是用户可移动的，并且其中所述消息传送用户界面是用户可移动的。
14.根据权利要求1至13中任一项所述的方法，其中经由所述显示生成部件显示所述多个用户的表示包括：
经由所述显示生成部件显示第一多个用户的第一多个表示的第一分组，其中所述第一多个用户被选择成与所述计算机系统的用户和所述第一多个用户之间的通信的新近度无关地被包括作为所述多个用户的所述表示的一部分；以及
经由所述显示生成部件显示第二多个用户的第二多个表示的第二分组，其中所述第二多个用户被选择成基于所述计算机系统的所述用户和所述第二多个用户之间的通信的新近度来被包括作为所述多个用户的一部分。
15.根据权利要求14所述的方法，其中所述计算机系统的用户和所述第二多个用户之间的通信的所述新近度基于多种通信模式。
16.根据权利要求2至15中任一项所述的方法，还包括：
经由所述显示生成部件并且与用以邀请所述相应用户加入所述正在进行的通信会话的所述选项和/或与所述相应用户相关联的所述一个或多个选项同时显示对所述计算机系统的用户和所述相应用户之间的新近通信活动的指示。
17.根据权利要求2至16中任一项所述的方法，其中与所述相应用户相关联的所述一个或多个选项包括用以发起与所述相应用户的空间通信会话的选项，所述方法还包括：
经由所述一个或多个传感器接收对用以发起与所述相应用户的空间通信会话的所述选项的选择；以及
响应于接收到对用以发起与所述相应用户的空间通信会话的所述选项的选择，发起与所述相应用户的空间通信会话。
18.根据权利要求1至17中任一项所述的方法，还包括：
经由所述显示生成部件并且与所述多个用户的所述表示同时显示用以预览和/或编辑所述计算机系统的用户的化身的选项；
经由所述一个或多个传感器接收对用以预览和/或编辑所述计算机系统的所述用户的化身的所述选项的选择；以及
响应于接收到对用以预览和/或编辑所述计算机系统的所述用户的化身的所述选项的选择，经由所述显示生成部件显示用于预览和/或编辑所述计算机系统的所述用户的化身的用户界面。
19.根据权利要求1至18中任一项所述的方法，还包括：
经由所述显示生成部件并且与所述多个用户的所述表示同时显示：
对所述计算机系统的用户和所述多个用户中的第一用户之间的最新近通信的第一指示；以及
对所述计算机系统的所述用户和所述多个用户中的、不同于所述第一用户的第二用户之间的最新近通信的第二指示。
20.根据权利要求1至19中任一项所述的方法，其中所述多个用户的所述表示中的对应于第一用户的第一表示包括来自所述第一用户的新近消息。
21.根据权利要求20所述的方法，还包括：
经由所述一个或多个传感器接收对来自所述第一用户的所述新近消息的选择；以及
响应于接收到对来自所述第一用户的所述新近消息的选择，经由所述显示生成部件显示用以回复所述新近消息的选项。
22.根据权利要求21所述的方法，还包括：
经由所述一个或多个传感器接收对用以回复来自所述第一用户的所述新近消息的所述选项的选择；以及
响应于接收到对用以回复来自所述第一用户的所述新近消息的所述选项的选择，经由所述显示生成部件显示用于回复来自所述第一用户的所述新近消息的用户界面。
23.根据权利要求1至22中任一项所述的方法，其中所述多个用户的所述表示作为主用户界面的一部分被显示，并且其中所述主用户界面响应于检测到硬件按钮的激活而被显示。
24.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至23中任一项所述的方法的指令。
25.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至23中任一项所述的方法的指令。
26.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求1至23中任一项所述的方法的构件。
27.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求1至23中任一项所述的方法的指令。
28.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
29.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
30.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于经由所述显示生成部件显示多个用户的表示的构件；
用于经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择的构件；以及
用于响应于接收到对所述相应用户的所述表示的选择而进行以下的构件：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
31.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示多个用户的表示；
经由所述一个或多个传感器接收对所述多个用户中的相应用户的表示的选择；以及
响应于接收到对所述相应用户的所述表示的选择：
根据确定存在正在进行的通信会话，经由所述显示生成部件显示用以邀请所述相应用户加入所述正在进行的通信会话的选项；以及
根据确定不存在正在进行的通信会话，放弃显示用以邀请所述相应用户加入所述正在进行的通信会话的所述选项。
32.一种方法，包括：
在与显示生成部件和一个或多个传感器通信的计算机系统处：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
33.根据权利要求32所述的方法，其中：
所述实时通信会话是在扩展现实环境中进行的扩展现实通信会话；
所述通信用户界面在所述扩展现实环境中显示；以及
所述化身编辑用户界面在所述扩展现实环境中显示。
34.根据权利要求32至33中任一项所述的方法，还包括：
在显示所述可选择用户界面对象之后，使用表示所述计算机系统的所述用户的所述化身来参与通信会话。
35.根据权利要求34所述的方法，还包括：
经由所述显示生成部件并且与所述可选择用户界面对象同时显示用以发起通信会话的选项；
经由所述一个或多个传感器检测指向用以发起通信会话的所述选项的选择输入；以及
响应于检测到指向用以发起通信会话的所述选项的所述选择输入，发起通信会话。
36.根据权利要求32至35中任一项所述的方法，其中所述可选择用户界面对象在正在进行的通信会话期间显示。
37.根据权利要求32至36中任一项所述的方法，还包括：
经由所述一个或多个传感器检测指向用以修改表示所述计算机系统的所述用户的所述化身的所述外观的所述一个或多个选项的输入；以及
响应于检测到指向用以修改表示所述计算机系统的所述用户的所述化身的所述外观的所述一个或多个选项的输入，修改所述化身的所述外观，其中修改所述化身的所述外观包括编辑所述化身。
38.根据权利要求37所述的方法，其中表示所述计算机系统的所述用户的所述化身的第一选项能够经由所述化身编辑用户界面进行编辑，并且表示所述计算机系统的所述用户的所述化身的第二选项不能够经由所述化身编辑用户界面进行编辑。
39.根据权利要求37至38中任一项所述的方法，其中编辑表示所述计算机系统的所述用户的所述化身包括：向表示所述计算机系统的所述用户的所述化身添加眼戴设备。
40.根据权利要求39所述的方法，其中用以修改表示所述计算机系统的所述用户的所述化身的所述外观的所述一个或多个选项包括针对第一眼戴设备模板的选项和针对不同于所述第一眼戴设备模板的第二眼戴设备模板的选项。
41.根据权利要求37至40中任一项所述的方法，其中编辑表示所述计算机系统的所述用户的所述化身包括：向表示所述计算机系统的所述用户的所述化身添加一个或多个可访问性选项。
42.根据权利要求41所述的方法，其中向表示所述计算机系统的所述用户的所述化身添加一个或多个可访问性选项包括：向所述化身的第一只眼睛添加可访问性选项，而不向所述化身的第二只眼睛添加可访问性选项。
43.根据权利要求32至42中任一项所述的方法，其中所述一个或多个选项包括用以改变模拟照明的一个或多个选项，所述方法还包括：
经由所述一个或多个传感器检测指向用以改变模拟照明的所述一个或多个选项的输入；以及
响应于检测到指向用以改变模拟照明的所述一个或多个选项的输入，修改表示所述计算机系统的所述用户的所述化身的所述外观，其中修改所述化身的所述外观包括改变模拟照明。
44.根据权利要求43所述的方法，其中改变模拟照明包括改变曝光设置。
45.根据权利要求43至44中任一项所述的方法，其中改变模拟照明包括改变色温设置。
46.根据权利要求32至45中任一项所述的方法，其中所述一个或多个选项包括用以改变表示所述计算机系统的所述用户的所述化身的逼真度的一个或多个选项，所述方法还包括：
经由所述一个或多个传感器检测指向用以改变表示所述计算机系统的所述用户的所述化身的所述逼真度的所述一个或多个选项的输入；以及
响应于检测到指向用以改变表示所述计算机系统的所述用户的所述化身的所述逼真度的所述一个或多个选项的输入，修改所述化身的所述逼真度。
47.根据权利要求32至46中任一项所述的方法，其中表示所述计算机系统的所述用户的所述化身是模拟三维化身，所述方法还包括：
经由所述显示生成部件并且在当所述用户由根据所述计算机系统的所述用户的移动而移动的所述化身表示时的所述实时通信会话期间，显示用以停止在所述实时通信会话中使用所述化身的选项；
经由所述一个或多个传感器检测对用以停止在所述实时通信会话中使用所述化身的所述选项的选择；以及
响应于检测到对用以停止在所述实时通信会话中使用所述化身的所述选项的选择，停止在所述实时通信会话中使用所述化身。
48.根据权利要求32至47中任一项所述的方法，其中所述化身编辑用户界面包括一个或多个化身管理选项。
49.根据权利要求48所述的方法，其中所述一个或多个化身管理选项包括用以创建表示所述计算机系统的所述用户的新化身的选项，所述方法还包括：
经由所述一个或多个传感器检测对用以创建表示所述计算机系统的所述用户的新化身的所述选项的选择；以及
响应于检测到对用以创建表示所述计算机系统的所述用户的新化身的所述选项的选择，发起创建表示所述计算机系统的所述用户的新化身的过程。
50.根据权利要求48至49中任一项所述的方法，其中所述一个或多个化身管理选项包括用以删除表示所述计算机系统的所述用户的化身的选项，所述方法还包括：
经由所述一个或多个传感器检测对用以删除表示所述计算机系统的所述用户的化身的所述选项的选择；以及
响应于检测到对用以删除表示所述计算机系统的所述用户的化身的所述选项的选择，发起删除表示所述计算机系统的所述用户的化身的过程。
51.根据权利要求32至50中任一项所述的方法，其中表示所述计算机系统的所述用户的模拟三维化身不可用，所述方法还包括：
在当表示所述计算机系统的所述用户的模拟三维化身不可用时的所述实时通信会话期间，使用所述计算机系统的所述用户的根据所述计算机系统的所述用户的移动而移动、而不反映所述计算机系统的所述用户的外观的表示。
52.根据权利要求32至51中任一项所述的方法，还包括：
根据确定表示所述计算机系统的所述用户的所述化身是模拟三维化身，使得所述计算机系统的所述用户能够参与空间通信会话；以及
根据确定表示所述计算机系统的所述用户的所述化身不是模拟三维化身，放弃使得所述计算机系统的所述用户能够参与空间通信会话。
53.根据权利要求32至52中任一项所述的方法，还包括：
在表示所述计算机系统的所述用户的模拟三维化身不可用时并且响应于所检测的一个或多个输入的至少一部分，经由所述显示生成部件显示用以创建表示所述计算机系统的所述用户的化身的选项；以及
响应于检测到对用以创建表示所述计算机系统的所述用户的化身的所述选项的选择，发起创建表示所述计算机系统的所述用户的化身的过程。
54.根据权利要求32至53中任一项所述的方法，还包括：
在表示所述计算机系统的所述用户的模拟三维化身不可用时并且响应于所检测的一个或多个输入的至少一部分，经由所述显示生成部件显示用以使用默认化身来表示所述计算机系统的所述用户的选项；以及
响应于检测到对用以使用所述默认化身来表示所述计算机系统的所述用户的所述选项的选择，使用所述默认化身来表示所述计算机系统的所述用户。
55.根据权利要求54所述的方法，其中所述默认化身根据所述计算机系统的所述用户的移动而移动，而不反映所述计算机系统的所述用户的外观。
56.根据权利要求54至55中任一项所述的方法，其中当所述计算机系统处于访客模式时，所述默认化身表示所述计算机系统的用户。
57.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求32至56中任一项所述的方法的指令。
58.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求32至56中任一项所述的方法的指令。
59.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求32至56中任一项所述的方法的构件。
60.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求32至56中任一项所述的方法的指令。
61.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
62.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
63.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面的构件，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
用于在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象的构件；
用于经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入的构件；以及
用于响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面的构件，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
64.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
经由所述显示生成部件显示用于在实时通信会话中与其他用户通信的通信用户界面，其中在所述实时通信会话期间，所述计算机系统的用户由化身表示，所述化身在所述实时通信会话期间根据所述计算机系统的所述用户的、由所述一个或多个传感器检测到的移动而移动；
在显示所述通信用户界面时，经由所述显示生成部件显示可选择用户界面对象；
经由所述一个或多个传感器检测包括指向所述可选择用户界面对象的选择输入的一个或多个输入；以及
响应于检测到包括指向所述可选择用户界面对象的所述选择输入的所述一个或多个输入，经由所述显示生成部件同时显示化身编辑用户界面，所述化身编辑用户界面包括：
表示所述计算机系统的所述用户的所述化身；以及
用以修改表示所述计算机系统的所述用户的所述化身的外观的一个或多个选项。
65.一种方法，包括：
在与显示生成部件通信的计算机系统处：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
66.根据权利要求65所述的方法，其中：
在所述非空间通信会话中：
所述多个参与者中的第一参与者的表示在第一窗口区域中，以及
所述多个参与者中的第二参与者的表示在不同于所述第一窗口区域的第二窗口区域中；以及
在所述空间通信会话中：
所述多个参与者中的所述第一参与者的表示不在窗口区域中，以及
所述多个参与者中的所述第二参与者的表示不在窗口区域中。
67.根据权利要求66所述的方法，其中所述第一参与者的所述表示是模拟三维表示，并且所述第二参与者的所述表示是二维表示。
68.根据权利要求66所述的方法，其中所述多个参与者是二维表示。
69.根据权利要求66所述的方法，其中所述多个参与者是三维表示。
70.根据权利要求65至69中任一项所述的方法，其中所述事件是在所述通信会话期间接收到的、将所述计算机系统的所述用户的表示从3D表示转变为2D表示的请求。
71.根据权利要求70所述的方法，其中所述请求基于通信会话控制区域中的输入。
72.根据权利要求71所述的方法，其中所述通信会话控制区域包括用以将所述计算机系统的所述用户的表示从所述3D表示转变为所述2D表示的选项以及对应于其他通信会话控制的一个或多个选项。
73.根据权利要求65至69中任一项所述的方法，其中所述事件是在所述通信会话期间接收到的、将所述通信会话从所述空间通信会话转变为所述非空间通信会话的请求。
74.根据权利要求65至69中任一项所述的方法，其中所述事件是附加参与者加入所述通信会话。
75.根据权利要求74所述的方法，其中所述附加参与者加入所述通信会话使得由模拟三维表示所表示的参与者的数量超过参与者的阈值数量。
76.根据权利要求65至75中任一项所述的方法，还包括：
在所述通信会话是非空间通信会话时，基于相应参与者移动来偏移对应于所述相应参与者的相应窗口区域的定位。
77.根据权利要求76所述的方法，其中所述相应窗口区域基于相应参与者的头部定位来在虚拟环境中向前和/或向后移动。
78.根据权利要求76至77中任一项所述的方法，其中所述相应窗口区域基于相应参与者的头部定位来倾斜。
79.根据权利要求76至78中任一项所述的方法，其中第一窗口区域基于显示在第一窗口中的参与者的移动来在第一方向上偏移，并且第二窗口基于显示在第二窗口中的参与者的移动来在不同于所述第一方向的第二方向上偏移。
80.根据权利要求65至79中任一项所述的方法，还包括：
在参与作为非空间通信会话的所述通信会话时，检测第二事件；以及
响应于检测到所述第二事件，将所述通信会话从所述非空间通信会话转变为所述空间通信会话。
81.根据权利要求80所述的方法，其中所述第二事件是参与者离开所述通信会话。
82.根据权利要求80所述的方法，其中所述第二事件是在所述通信会话期间接收到的、将所述计算机系统的所述用户的表示从2D表示转变为3D表示的请求。
83.根据权利要求80所述的方法，其中所述第二事件是在所述通信会话期间接收到的、将所述通信会话从非空间通信会话转变为空间通信会话的请求。
84.根据权利要求65至83中任一项所述的方法，还包括：
在处于空间通信会话中时，经由所述显示生成部件在自视图窗口区域中显示所述计算机系统的所述用户的表示的自视图。
85.根据权利要求84所述的方法，其中所述自视图窗口区域与包括正在进行的通信会话的另一参与者的表示的窗口区域重叠。
86.根据权利要求84至85中任一项所述的方法，其中所述自视图窗口区域小于包括另一参与者的表示的窗口区域。
87.根据权利要求65至86中任一项所述的方法，其中：
在空间通信会话期间，使得所述通信会话的第一参与者能够移动所述第一参与者的相应表示，并且使得所述通信会话的第二参与者能够移动所述第二参与者的相应表示；以及
在非空间通信会话期间，使得所述计算机系统的用户能够移动包括所述通信会话的所述多个参与者的相应表示的相应窗口区域。
88.根据权利要求87所述的方法，还包括：
经由所述一个或多个传感器检测重新定位包括参与者的相应表示的相应窗口区域的用户输入；以及
响应于检测到重新定位包括所述参与者的所述相应表示的所述相应窗口区域的所述用户输入，重新定位所述多个参与者的多个窗口区域。
89.根据权利要求87至88中任一项所述的方法，其中所述参与者的所述相应表示基于预先确定的放置规则来以初始放置进行放置。
90.根据权利要求87至89中任一项所述的方法，还包括：
经由所述显示生成部件显示当前不是所述通信会话中的参与者的受邀用户的表示；
根据确定所述通信会话是非空间通信会话，使得所述计算机系统的用户能够重新定位当前不是参与者的所述受邀用户的所述表示；以及
根据确定所述通信会话是空间通信会话，放弃使得所述计算机系统的所述用户能够重新定位当前不是参与者的所述受邀用户的所述表示。
91.根据权利要求65至90中任一项所述的方法，还包括：
响应于在空间通信和非空间通信会话之间改变，经由所述显示生成部件显示所述通信会话的模式已改变的指示。
92.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求65至91中任一项所述的方法的指令。
93.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求65至91中任一项所述的方法的指令。
94.一种被配置为与显示生成部件通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求65至91中任一项所述的方法的构件。
95.一种计算机程序产品，所述计算机程序产品包括被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求65至91中任一项所述的方法的指令。
96.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
97.一种被配置为与显示生成部件通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
98.一种被配置为与显示生成部件通信的计算机系统，所述计算机系统包括：
用于在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示的构件，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
用于在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件的构件；以及
用于响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话的构件，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
与所述空间分布布置中的所述第二参与者的表示不同的定位。
99.一种计算机程序产品，包括被配置为由与显示生成部件通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在参与作为空间通信会话的通信会话时，其中所述空间通信会话包括经由所述显示生成部件在3D环境中以空间分布布置显示所述通信会话中的多个参与者的表示，其中以所述空间分布布置显示所述多个参与者包括显示：
在所述3D环境中在第一非竖直方向上与彼此和所述计算机系统的用户间隔开至少阈值量的所述多个参与者的所述表示；以及
在不同于所述第一非竖直方向的第二非竖直方向上与彼此和所述用户间隔开至少所述阈值量的所述多个参与者的所述表示；
在显示分布在所述3D环境中的所述多个参与者的所述表示时，检测事件；以及
响应于检测到所述事件，将所述通信会话从所述空间通信会话转变为非空间通信会话，所述非空间通信会话包括经由所述显示生成部件以分组布置显示所述通信会话的所述多个参与者的至少一个子集的表示，其中在所述分组布置中：
所述多个参与者的所述表示在所述3D环境中在所述第一非竖直方向上彼此间隔开小于所述阈值量；
所述分组布置中第一参与者的表示具有与所述空间分布布置中所述第一参与者的表示不同的定位；以及
所述分组布置中第二参与者的表示具有与所述空间分布布置中所述第二参与者的表示不同的定位。
100.一种方法，包括：
在与显示生成部件和一个或多个传感器通信的计算机系统处：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
101.根据权利要求100所述的方法，其中一个或多个注视标准的所述集合包括当所述注视输入指向对应于所述第一参与者的位置时满足的第一位置标准。
102.根据权利要求100至101中任一项所述的方法，还包括：
响应于检测到所述注视输入并且根据确定所述注视输入满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的不同于所述第一参与者的第二参与者的信息。
103.根据权利要求100所述的方法，其中一个或多个注视标准的所述集合包括当所述注视输入指向不对应于所述第一参与者的位置时满足的第二位置标准。
104.根据权利要求103所述的方法，其中不对应于所述第一参与者的所述位置是系统用户界面元素的位置。
105.根据权利要求104所述的方法，还包括：
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的第二集合，经由所述显示生成部件显示用于所述通信会话的控件，其中一个或多个注视标准的所述第二集合包括一个或多个注视标准的所述集合并且包括在所述注视输入继续指向所述系统用户界面元素的所述位置达预定义持续时间时满足的持续时间标准。
106.根据权利要求104至105中任一项所述的方法，还包括：
响应于检测到所述注视输入：
根据所述注视输入满足一个或多个注视标准的第三集合的确定，经由所述显示生成部件显示用于所述计算机系统的系统控件，其中一个或多个注视标准的所述第三集合包括一个或多个注视标准的所述集合并且包括在所述注视输入继续指向所述系统用户界面元素的所述位置达第二预定义持续时间时满足的第二持续时间标准。
107.根据权利要求104至106中任一项所述的方法，其中所述系统用户界面元素指示所述通信会话的状态。
108.根据权利要求107所述的方法，其中所述系统用户界面元素的颜色指示所述通信会话的所述状态。
109.根据权利要求100至108中任一项所述的方法，还包括：
在显示关于所述通信会话中的所述第一参与者的所述信息之后，自动停止显示关于所述通信会话中的所述第一参与者的所述信息。
110.根据权利要求100至109中任一项所述的方法，还包括：
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的所述集合，经由所述显示生成部件显示关于所述通信会话中的不同于所述通信会话中的所述第一参与者的第二参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第二参与者的所述信息。
111.根据权利要求100至110中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的名称。
112.根据权利要求100至111中任一项所述的方法，其中关于所述第一参与者的所述信息显示在所述第一参与者的表示附近。
113.根据权利要求100至112中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的连接状况。
114.根据权利要求100至113中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的可用性状况。
115.根据权利要求114所述的方法，其中相应参与者的可用性状况基于所述相应参与者是否穿戴电子设备。
116.根据权利要求100至115中任一项所述的方法，其中关于所述第一参与者的所述信息包括所述第一参与者的麦克风状况。
117.根据权利要求100至116中任一项所述的方法，其中关于所述第一参与者的所述信息包括对所述第一参与者是否是访客的指示。
118.根据权利要求100至117中任一项所述的方法，其中关于所述第一参与者的所述信息包括与所述第一参与者的设备相关联的标识符。
119.根据权利要求100至118中任一项所述的方法，还包括：
在处于与所述通信会话中的所述一个或多个参与者的所述通信会话中时：
根据确定所述第一参与者是正被用于连接到所述通信会话的设备的所有者，显示所述第一参与者的第一表示；以及
根据确定所述第一参与者不是正被用于连接到所述通信会话的所述设备的所有者，显示所述第一参与者的第二表示。
120.根据权利要求119所述的方法，其中所述第二表示是尚未被定制为包括所述第一参与者的面部特征的默认或占位符化身。
121.根据权利要求100至120中任一项所述的方法，还包括：
检测所述通信会话中的第二参与者的状态的改变；以及
响应于检测到所述第二参与者的所述状态的所述改变，经由所述显示生成部件显示关于所述第二参与者的信息。
122.根据权利要求121所述的方法，还包括：
响应于检测到所述注视输入并且根据确定所述注视输入满足一个或多个注视标准的集合，经由所述显示生成部件显示关于所述通信会话中的所述一个或多个参与者中的多个相应参与者的相应信息；以及
响应于检测到所述第二参与者的所述状态的所述改变，放弃经由所述显示生成部件显示关于不同于所述第二参与者的第三参与者的信息。
123.根据权利要求100至122中任一项所述的方法，还包括：
响应于检测到针对所述通信会话中的相应参与者的跟踪已丢失，显示针对所述相应参与者的跟踪已丢失的指示。
124.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求100至123中任一项所述的方法的指令。
125.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求100至123中任一项所述的方法的指令。
126.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于执行根据权利要求100至123中任一项所述的方法的构件。
127.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行根据权利要求100至123中任一项所述的方法的指令。
128.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，
经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
129.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
一个或多个处理器；以及
存储器，所述存储器存储被配置为由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
130.一种被配置为与显示生成部件和一个或多个传感器通信的计算机系统，所述计算机系统包括：
用于在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入的构件；以及
用于响应于检测到所述注视输入而进行以下的构件：
根据确定所述注视输入满足一个或多个注视标准的集合，
经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
131.一种计算机程序产品，包括被配置为由与显示生成部件和一个或多个传感器通信的计算机系统的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于以下的指令：
在处于与通信会话中的一个或多个参与者的所述通信会话中时，经由所述一个或多个传感器检测所述计算机系统的用户的注视输入；以及
响应于检测到所述注视输入：
根据确定所述注视输入满足一个或多个注视标准的集合，
经由所述显示生成部件显示关于所述通信会话中的第一参与者的信息；以及
根据确定所述注视输入不满足一个或多个注视标准的所述集合，放弃显示关于所述通信会话中的所述第一参与者的所述信息。
CN202380065246.4A 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面 Pending CN119856483A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202510471256.9A CN120075386A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面
CN202511368896.3A CN120915906A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202263409583P 2022-09-23 2022-09-23
US63/409,583 2022-09-23
US202363470882P 2023-06-03 2023-06-03
US63/470,882 2023-06-03
US18/367,418 US12417596B2 (en) 2022-09-23 2023-09-12 User interfaces for managing live communication sessions
US18/367,418 2023-09-12
PCT/US2023/033376 WO2024064280A1 (en) 2022-09-23 2023-09-21 User interfaces for managing live communication sessions

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN202511368896.3A Division CN120915906A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面
CN202510471256.9A Division CN120075386A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面

Publications (1)

Publication Number Publication Date
CN119856483A true CN119856483A (zh) 2025-04-18

Family

ID=90359576

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202511368896.3A Pending CN120915906A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面
CN202380065246.4A Pending CN119856483A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面
CN202510471256.9A Pending CN120075386A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202511368896.3A Pending CN120915906A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202510471256.9A Pending CN120075386A (zh) 2022-09-23 2023-09-21 用于管理实况通信会话的用户界面

Country Status (5)

Country Link
US (2) US12417596B2 (zh)
EP (2) EP4591563A1 (zh)
JP (1) JP2025534954A (zh)
KR (2) KR20250144501A (zh)
CN (3) CN120915906A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102210150B1 (ko) 2016-09-23 2021-02-02 애플 인크. 아바타 생성 및 편집
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
EP4538846A3 (en) 2021-05-21 2025-07-09 Apple Inc. Avatar sticker editor user interfaces
US12425511B2 (en) 2021-08-31 2025-09-23 Apple Inc. Methods and systems of interfaces for initiating communications using terrestrial and non-terrestrial networks
US11693529B2 (en) 2021-08-31 2023-07-04 Apple Inc. Methods and interfaces for initiating communications
US20240153182A1 (en) * 2022-11-07 2024-05-09 Meta Platforms Technologies, Llc Embedded sensors in immersive reality headsets to enable social presence
US12422937B1 (en) * 2024-05-31 2025-09-23 Microsoft Technology Licensing, Llc Techniques for 3-D scene decomposition, interoperability and cross-device compatibility for mixed reality experiences

Family Cites Families (565)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5303286A (en) 1991-03-29 1994-04-12 Space Systems/Loral, Inc. Wireless telephone/satellite roaming system
US5146231A (en) 1991-10-04 1992-09-08 Motorola, Inc. Electronic direction finder
US10304450B2 (en) 2016-05-10 2019-05-28 Google Llc LED design language for visual affordance of voice user interfaces
US5446465A (en) 1993-06-18 1995-08-29 Diefes; Debra L. Satellite location and pointing system for use with global positioning system
US5583514A (en) 1994-03-07 1996-12-10 Loral Aerospace Corp. Rapid satellite acquisition device
KR960027050A (ko) 1994-12-30 1996-07-22 김주용 저속 데이타 전용 단말 지구국의 수동 안테나 정렬장치 및 방법
JPH099072A (ja) 1995-06-26 1997-01-10 Aibitsukusu Kk 情報通信システム
WO1997007601A1 (en) 1995-08-15 1997-02-27 Amsc Subsidiary Corporation Improved mobile earth terminal
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US5812932A (en) 1995-11-17 1998-09-22 Globalstar L.P. Mobile satellite user information request system and methods
US6272316B1 (en) 1995-11-17 2001-08-07 Globalstar L.P. Mobile satellite user information request system and methods
CA2239985C (en) 1995-12-08 2002-05-14 Amsc Subsidiary Corporation Mobile communications terminal for satellite communications system
US5863057A (en) 1996-05-01 1999-01-26 Wessels; Larry L. Semitrailer load balancing system
GB2316832B (en) 1996-08-24 2001-05-16 Ico Services Ltd Signal assessed user terminal system access in satellite communication systems
US6072768A (en) 1996-09-04 2000-06-06 Globalstar L.P. Automatic satellite/terrestrial mobile terminal roaming system and method
US5937349A (en) 1996-10-29 1999-08-10 Motorola, Inc. Method and system of tracking dynamic communication parameters during a link interruption
US6147644A (en) 1996-12-30 2000-11-14 Southwest Research Institute Autonomous geolocation and message communication system and method
US5995041A (en) 1996-12-30 1999-11-30 At&T Corp. Communication system with direct link to satellite
US6157896A (en) 1996-12-30 2000-12-05 Southwest Research Institute Geolocation communications method during visibility between an earth-orbit satellite and a transmitter and receiver
US6999779B1 (en) 1997-02-06 2006-02-14 Fujitsu Limited Position information management system
JPH10293860A (ja) 1997-02-24 1998-11-04 Nippon Telegr & Teleph Corp <Ntt> 音声駆動を用いた人物画像表示方法およびその装置
US6580452B1 (en) 1997-03-05 2003-06-17 Sony Corporation Satellite signal loss on-screen notification
US5940739A (en) 1997-10-24 1999-08-17 Conrad; Charles Multiple access satellite communications network
US6108538A (en) 1997-12-01 2000-08-22 Motorola, Inc. Method and apparatus for dynamically controlling hand-off thresholds in a satellite cellular communication system
US6006068A (en) 1998-01-12 1999-12-21 Motorola, Inc. Two-way pager with transmit threshold
US6466213B2 (en) 1998-02-13 2002-10-15 Xerox Corporation Method and apparatus for creating personal autonomous avatars
US6169881B1 (en) 1998-05-04 2001-01-02 Motorola, Inc. Method and apparatus for predicting impending service outages for ground-to-satellite terminal in a satellite communication system
WO1999066394A1 (en) 1998-06-17 1999-12-23 Microsoft Corporation Method for adapting user interface elements based on historical usage
US6232972B1 (en) 1998-06-17 2001-05-15 Microsoft Corporation Method for dynamically displaying controls in a toolbar display based on control usage
JP2000076460A (ja) 1998-06-18 2000-03-14 Minolta Co Ltd モニタ表示装置
US6208858B1 (en) 1998-07-21 2001-03-27 Qualcomm Incorporated System and method for reducing call dropping rates in a multi-beam communication system
US6397054B1 (en) 1998-07-30 2002-05-28 Ericsson Inc. Features for emergency calling and short messaging system
US6263280B1 (en) 1998-11-24 2001-07-17 Ralph J. Stingone, Jr. Global locating and tracking method and system
US8938688B2 (en) 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
JP2000304842A (ja) 1999-04-19 2000-11-02 Seiko Instruments Inc Ｇｐｓ受信率検出装置および携帯型距離・速度計
US6317689B1 (en) 2000-02-09 2001-11-13 Garmin Corporation Method and device for displaying animated navigation information
US20020000931A1 (en) 2000-04-14 2002-01-03 Mark Petronic User interface for a two-way satellite communication system
JP2001320449A (ja) 2000-05-10 2001-11-16 Kenwood Corp 携帯電話装置
US6549848B1 (en) 2000-07-12 2003-04-15 Trimble Navigation Limited Integrated position and direction system with skyplot
RU2277719C2 (ru) 2000-07-21 2006-06-10 Спидскрипт Лтд. Способ работы системы скоростного письма и устройство скоростного письма
KR100377936B1 (ko) 2000-12-16 2003-03-29 삼성전자주식회사 이동통신 단말기의 감정 아이콘 입력방법
GB2370208B (en) 2000-12-18 2005-06-29 Symbian Ltd Computing device with user interface for navigating a contacts list
US7698652B2 (en) 2001-02-09 2010-04-13 Koninklijke Philips Electronics N.V. Rapid retrieval user interface designed around small displays and few buttons for searching long lists
US7233795B1 (en) 2001-03-19 2007-06-19 Ryden Michael V Location based communications system
JP3764070B2 (ja) 2001-06-07 2006-04-05 富士通株式会社 オブジェクト表示プログラムおよびオブジェクト表示装置
JP2003075525A (ja) 2001-09-04 2003-03-12 Uniden Corp 緊急通報用携帯端末
US7039400B2 (en) 2001-09-14 2006-05-02 Atc Technologies, Llc Systems and methods for monitoring terrestrially reused satellite frequencies to reduce potential interference
US20030074647A1 (en) 2001-10-12 2003-04-17 Andrew Felix G.T.I. Automatic software input panel selection based on application program state
JP2003139841A (ja) 2001-10-31 2003-05-14 Hitachi Ltd Ｇｐｓ内蔵携帯端末装置
US8004496B2 (en) 2002-01-08 2011-08-23 Koninklijke Philips Electronics N.V. User interface for electronic devices for controlling the displaying of long sorted lists
JP2003219217A (ja) 2002-01-22 2003-07-31 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及びプログラム
EP1486860A4 (en) 2002-03-05 2010-06-30 Sony Ericsson Mobile Comm Jp Image processing device, image processing program and image processing method
KR100475262B1 (ko) 2002-07-22 2005-04-14 안현기 사용자별 아바타 및 전화번호관리서비스 제공장치 및 그제공방법과 아바타 구현 소프트웨어를 기록한 컴퓨터가읽을 수 있는 기록매체
US6763226B1 (en) 2002-07-31 2004-07-13 Computer Science Central, Inc. Multifunctional world wide walkie talkie, a tri-frequency cellular-satellite wireless instant messenger computer and network for establishing global wireless volp quality of service (qos) communications, unified messaging, and video conferencing via the internet
US7134080B2 (en) 2002-08-23 2006-11-07 International Business Machines Corporation Method and system for a user-following interface
JP2004096265A (ja) 2002-08-30 2004-03-25 Hitachi Ltd 衛星通信サービス方式，衛星通信端末
US7184744B1 (en) 2002-10-10 2007-02-27 Itt Manufacturing Enterprises, Inc. GPS enabled emergency messaging system
KR100471594B1 (ko) 2002-11-26 2005-03-10 엔에이치엔(주) 사용자 정의 이모티콘 이미지를 이용한 컴퓨터 네트워크상에서의 데이터 전송 서비스 제공방법 및 그를 구현하기위한 응용 프로그램을 기록한 컴퓨터가 읽을 수 있는기록매체
US20060258365A1 (en) 2003-02-04 2006-11-16 Sk Telecom Co., Ltd. Method and system for monitoring mobile comunication terminal position determination performance by using wireless communication network and a- gps
KR100501301B1 (ko) 2003-02-25 2005-07-18 엘지전자 주식회사 나침반을 이용한 이동통신 단말기의 3차원 수신감도표시장치 및 그 방법
US20040179037A1 (en) 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate context out-of-band
JP2006520053A (ja) 2003-03-03 2006-08-31 アメリカ オンライン インコーポレイテッド 通信するためにアバターを使用する方法
US20040192368A1 (en) 2003-03-31 2004-09-30 Edwards David W. Method and mobile communication device for receiving a dispatch call
US7221312B2 (en) 2003-06-18 2007-05-22 General Dynamics C4 Systems, Inc. Method and system for detecting interference for global positioning systems
US7974391B2 (en) 2003-07-14 2011-07-05 Orative Corporation Conversation-based user interface
US7311608B1 (en) 2003-10-31 2007-12-25 Microsoft Corporation Online game invitations using friends list
US20050125744A1 (en) 2003-12-04 2005-06-09 Hubbard Scott E. Systems and methods for providing menu availability help information to computer users
US7526306B2 (en) 2003-12-08 2009-04-28 Kyocera Wireless Corp. Push to talk user interface
US20090191893A1 (en) 2004-01-02 2009-07-30 Larry Wardell Smith Strong media-computer satellite smart telephone with integrated global directory
US7298326B2 (en) 2004-03-30 2007-11-20 Duong Minh H Portable device and method employing beam selection to obtain satellite network positioning signals
US20050231512A1 (en) 2004-04-16 2005-10-20 Niles Gregory E Animation of an object using behaviors
US8786506B2 (en) 2004-04-26 2014-07-22 Antennasys, Inc. Compact portable antenna positioner system and method
WO2006006530A1 (ja) 2004-07-09 2006-01-19 Vodafone K.K. 測位方法及び移動通信端末装置
JP2006039610A (ja) 2004-07-22 2006-02-09 Matsushita Electric Ind Co Ltd 緊急通報装置
US7580363B2 (en) 2004-08-16 2009-08-25 Nokia Corporation Apparatus and method for facilitating contact selection in communication devices
US7675423B2 (en) 2004-09-03 2010-03-09 Procon, Inc. Mass occupant emergency notification system using satellite radio downlink
JP4636845B2 (ja) 2004-10-07 2011-02-23 任天堂株式会社 ゲーム装置およびゲームプログラム
US20060095563A1 (en) 2004-10-29 2006-05-04 Shai Benjamin Method and apparatus for presenting network displays utilizing animation
US8498865B1 (en) 2004-11-30 2013-07-30 Vocera Communications, Inc. Speech recognition system and method using group call statistics
WO2006094308A2 (en) 2005-03-04 2006-09-08 Apple Computer, Inc. Multi-functional hand-held device
CN101133385B (zh) 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
WO2006092647A1 (en) 2005-03-04 2006-09-08 Nokia Corporation Offering menu items to a user
WO2006113689A2 (en) 2005-04-17 2006-10-26 Trimble Navigation Limited Enhanced gnss signal processing
US20060294465A1 (en) 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
US8095665B1 (en) 2005-06-30 2012-01-10 Google Inc. User-friendly features for real-time communications
US7438414B2 (en) 2005-07-28 2008-10-21 Outland Research, Llc Gaze discriminating electronic control apparatus, system, method and computer program product
DE602005020456D1 (de) 2005-10-11 2010-05-20 Research In Motion Ltd System und Verfahren zur Organisation von Anwendungsindikatoren auf einer elektronischen Vorrichtung
WO2007047370A2 (en) 2005-10-12 2007-04-26 Atc Technologies, Llc Systems, methods and computer program products for mobility management in hybrid satellite/terrestrial wireless communications systems
KR100679039B1 (ko) 2005-10-21 2007-02-05 삼성전자주식회사 3차원 그래픽 유저 인터페이스, 이를 제공하는 장치 및방법
KR100744318B1 (ko) 2005-12-05 2007-07-30 삼성전자주식회사 약전계 구간에서의 디지털 멀티미디어 방송 서비스를제공하기 위한 장치 및 방법
KR101181766B1 (ko) 2005-12-23 2012-09-12 엘지전자 주식회사 이동통신 단말기에서의 메뉴 표시 방법, 및 그 방법을구현하기 위한 이동통신 단말기
US9250703B2 (en) 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
US20070281725A1 (en) 2006-05-30 2007-12-06 Hyatt Edward C Device and method for silent push-to-talk call pacing
US9378343B1 (en) 2006-06-16 2016-06-28 Nokia Corporation Automatic detection of required network key type
US20080046839A1 (en) 2006-06-27 2008-02-21 Pixtel Media Technology (P) Ltd. Input mode switching methods and devices utilizing the same
US7941760B2 (en) 2006-09-06 2011-05-10 Apple Inc. Soft keyboard display for a portable multifunction device
JP4884912B2 (ja) 2006-10-10 2012-02-29 三菱電機株式会社 電子機器
KR100912877B1 (ko) 2006-12-02 2009-08-18 한국전자통신연구원 ３차원 아바타 생성 기능을 구비한 이동통신 단말기 및３차원 아바타 생성 방법
KR100784969B1 (ko) 2006-12-20 2007-12-11 삼성전자주식회사 휴대 단말기의 사용기록 기반 메뉴 표시 방법
US9569876B2 (en) 2006-12-21 2017-02-14 Brian Mark Shuster Animation control method for multiple participants
US7694313B2 (en) 2006-12-22 2010-04-06 Palm, Inc. Terminating device and a method of operating a terminating device configured to communicate availability status directly between terminating devices
US20080030496A1 (en) * 2007-01-03 2008-02-07 Social Concepts, Inc. On-line interaction system
US7975242B2 (en) 2007-01-07 2011-07-05 Apple Inc. Portable multifunction device, method, and graphical user interface for conference calling
US7671756B2 (en) 2007-01-07 2010-03-02 Apple Inc. Portable electronic device with alert silencing
US8082523B2 (en) 2007-01-07 2011-12-20 Apple Inc. Portable electronic device with graphical user interface supporting application switching
US8816923B2 (en) 2007-02-07 2014-08-26 Electronic Controlled Systems, Inc. Motorized satellite television antenna system
US7865205B1 (en) 2007-03-01 2011-01-04 Sprint Spectrum L.P. Method and system for managing push-to-talk modes
JP2008257363A (ja) 2007-04-02 2008-10-23 Toyota Motor Corp 操作支援装置
US20080250315A1 (en) 2007-04-09 2008-10-09 Nokia Corporation Graphical representation for accessing and representing media files
CN100487637C (zh) 2007-04-30 2009-05-13 陈灿华 触摸式外接键盘
US7827861B2 (en) 2007-06-01 2010-11-09 Second Wind, Inc. Position correction in sodar and meteorological lidar systems
WO2008151422A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. Dynamic user interface for inheritance based avatar generation
CN101325278A (zh) 2007-06-11 2008-12-17 扬智科技股份有限公司 用于数字图像卫星广播的碟型天线的显示方法
WO2008151421A1 (en) 2007-06-11 2008-12-18 Darwin Dimensions Inc. User defined characteristics for inheritance based avatar generation
US20080313686A1 (en) 2007-06-13 2008-12-18 Matvey Thomas R Handheld camcorder accessory with pre-programmed wireless internet access for simplified webcasting and handheld camcorder with built-in pre-programmed wireless internet access for simplified webcasting and method of commercially supplying and supporting same
US8146005B2 (en) 2007-08-07 2012-03-27 International Business Machines Corporation Creating a customized avatar that reflects a user's distinguishable attributes
US8509854B2 (en) 2007-09-18 2013-08-13 Lg Electronics Inc. Mobile terminal and method of controlling operation of the same
US20090083382A1 (en) 2007-09-24 2009-03-26 Yahoo! Inc. Real-time presence of online contacts
US20090100342A1 (en) 2007-10-12 2009-04-16 Gabriel Jakobson Method and system for presenting address and mapping information
JP4556142B2 (ja) 2007-11-27 2010-10-06 ソニー株式会社 ナビゲーション装置及びナビゲーション関連情報表示方法
US8892999B2 (en) 2007-11-30 2014-11-18 Nike, Inc. Interactive avatar for social network services
US9992314B2 (en) 2008-01-24 2018-06-05 Garmin Switzerland Gmbh Automatic device mode switching
US8624727B2 (en) 2008-01-28 2014-01-07 Saigh And Son, Llc Personal safety mobile notification system
KR101629873B1 (ko) 2008-01-30 2016-06-21 구글 인코포레이티드 모바일 디바이스 이벤트의 통지
US8910299B2 (en) 2008-02-08 2014-12-09 Steven Charles Michalske Emergency information access on portable electronic devices
US20090231356A1 (en) 2008-03-17 2009-09-17 Photometria, Inc. Graphical user interface for selection of options from option groups and methods relating to same
KR101527993B1 (ko) 2008-04-05 2015-06-10 소우셜 커뮤니케이션즈 컴퍼니 가상 환경과의 인터페이스 방법
US20090254624A1 (en) 2008-04-08 2009-10-08 Jeff Baudin E-mail message management system
WO2009125481A1 (ja) 2008-04-10 2009-10-15 パイオニア株式会社 画面表示システム及び画面表示プログラム
US20090267828A1 (en) 2008-04-28 2009-10-29 Kabushiki Kaisha Toshiba GPS Signal Receiving Apparatus
JP5383668B2 (ja) 2008-04-30 2014-01-08 株式会社アクロディア キャラクタ表示用データの生成装置および方法
US20090300525A1 (en) 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
CA2729630C (en) 2008-06-30 2017-09-12 Accenture Global Services Limited Modification of avatar attributes for use in a gaming system via a moderator interface
TW201006220A (en) 2008-07-23 2010-02-01 Sanyo Electric Co Communication device
US10983665B2 (en) 2008-08-01 2021-04-20 Samsung Electronics Co., Ltd. Electronic apparatus and method for implementing user interface
US20100030660A1 (en) 2008-08-04 2010-02-04 Sony Computer Entertainment Europe Ltd. Apparatus and method of on-line transaction
JP5493315B2 (ja) 2008-09-05 2014-05-14 富士通モバイルコミュニケーションズ株式会社 携帯端末
US20100083159A1 (en) 2008-09-30 2010-04-01 Dale Llewelyn Mountain Segmented progress indicator
JP2010088067A (ja) 2008-10-03 2010-04-15 Funai Electric Co Ltd 携帯端末
US8941642B2 (en) 2008-10-17 2015-01-27 Kabushiki Kaisha Square Enix System for the creation and editing of three dimensional models
US9288747B2 (en) 2008-11-03 2016-03-15 Ramachandran Subramanian Switching wireless network selection modes in conjunction with selection of a wireless cell set
US8584031B2 (en) 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
US8289286B2 (en) 2008-12-19 2012-10-16 Verizon Patent And Licensing Inc. Zooming keyboard/keypad
KR101513637B1 (ko) 2008-12-31 2015-04-20 엘지전자 주식회사 다중 안테나를 구비한 이동 단말기 및 그의 안테나 정보 표시방법
US8521122B2 (en) 2009-01-28 2013-08-27 Blackberry Limited Mobile device user interface for displaying emergency information
US8775674B2 (en) 2009-02-27 2014-07-08 Telecom Recovery Systems and methods for seamless communications recovery and backup using networked communication devices
JP2010211742A (ja) 2009-03-12 2010-09-24 Hitachi Information & Control Solutions Ltd ソフトウエア実行方法及びプログラム
US20100251176A1 (en) 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with slider buttons
US20120105486A1 (en) 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
US20100271312A1 (en) 2009-04-22 2010-10-28 Rachid Alameh Menu Configuration System and Method for Display on an Electronic Device
US20100302138A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US20100311385A1 (en) 2009-06-03 2010-12-09 Larry Hurwitz Apparatus and method for generating alerts
KR101585467B1 (ko) 2009-06-05 2016-01-15 엘지전자 주식회사 싱글 베이스 칩셋을 이용한 듀얼 심 이동 단말기 및 그의 운용방법
JP5462940B2 (ja) 2009-06-30 2014-04-02 ナイキ インターナショナル リミテッド 消費者製品のデザインの方法
US9094645B2 (en) 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
US9213466B2 (en) 2009-07-20 2015-12-15 Apple Inc. Displaying recently used functions in context sensitive menu
US9563342B2 (en) 2009-07-22 2017-02-07 Behr Process Corporation Automated color selection method and apparatus with compact functionality
US9639983B2 (en) 2009-07-22 2017-05-02 Behr Process Corporation Color selection, coordination and purchase system
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US9317116B2 (en) 2009-09-09 2016-04-19 Immersion Corporation Systems and methods for haptically-enhanced text interfaces
US8624933B2 (en) 2009-09-25 2014-01-07 Apple Inc. Device, method, and graphical user interface for scrolling a multi-section document
US8634765B2 (en) 2009-10-08 2014-01-21 Gerald Plamondon Portable satellite data communication device and related method
EP2508036B1 (en) 2009-12-01 2019-03-06 RingCentral, Inc. Universal call management platform
US20110136428A1 (en) 2009-12-07 2011-06-09 Douglas Ritter Enhanced communication device having terrestrial and satellite communication capabilities
KR101626621B1 (ko) 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
JP2011170834A (ja) 2010-01-19 2011-09-01 Sony Corp 情報処理装置、操作予測方法及び操作予測プログラム
JP2011175440A (ja) 2010-02-24 2011-09-08 Sony Corp 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
US8913004B1 (en) 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US20110230161A1 (en) 2010-03-22 2011-09-22 Fredric Mark Newman Smartphone emergency alarm
JP2011209887A (ja) 2010-03-29 2011-10-20 Sannetto:Kk アバター作成方法、アバター作成プログラム、およびネットワークサービスシステム
JP2011209787A (ja) 2010-03-29 2011-10-20 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US9681113B2 (en) 2010-04-01 2017-06-13 Thomson Licensing Method and system of using floating window in three-dimensional (3D) presentation
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9542038B2 (en) 2010-04-07 2017-01-10 Apple Inc. Personalizing colors of user interfaces
EP2561428B1 (en) 2010-04-21 2017-11-29 BlackBerry Limited Method of interacting with a scrollable area on a portable electronic device
WO2011133845A2 (en) 2010-04-22 2011-10-27 Bae Systems Information And Electronic Systems Integration Inc. Situational awareness integrated network and system for tactical information and communications
WO2011146740A2 (en) 2010-05-19 2011-11-24 Google Inc. Sliding motion to change computer keys
US8694899B2 (en) 2010-06-01 2014-04-08 Apple Inc. Avatars reflecting user states
US20110302518A1 (en) 2010-06-07 2011-12-08 Google Inc. Selecting alternate keyboard characters via motion input
US8670706B2 (en) 2010-06-15 2014-03-11 Roadpost Inc. System and method for optimizing satellite network utilization
JP5134653B2 (ja) 2010-07-08 2013-01-30 株式会社バンダイナムコゲームス プログラム及びユーザ端末
US20120011449A1 (en) 2010-07-09 2012-01-12 Ori Sasson Messaging system
CN101938287B (zh) 2010-07-16 2013-06-05 天津七一二通信广播有限公司 一种手持卫星通信终端及该终端指导用户将天线对准卫星的方法
US8620850B2 (en) 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
US8558844B2 (en) 2010-09-28 2013-10-15 Apple Inc. Systems, methods, and computer-readable media for changing colors of displayed assets
KR101708821B1 (ko) 2010-09-30 2017-02-21 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20120081356A1 (en) * 2010-10-01 2012-04-05 Vasily Filippov Methods and apparatus for rendering applications and widgets on a mobile device interface in a three-dimensional space
US8732609B1 (en) 2010-10-18 2014-05-20 Intuit Inc. Method and system for providing a visual scrollbar position indicator
US8677238B2 (en) 2010-10-21 2014-03-18 Sony Computer Entertainment Inc. Navigation of electronic device menu without requiring visual contact
JP2012100116A (ja) 2010-11-02 2012-05-24 Sony Corp 表示処理装置、表示処理方法およびプログラム
US20120113008A1 (en) 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
US9304592B2 (en) 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
KR20120059994A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 표정 제어점을 이용한 아바타 제어 장치 및 방법
JP2012123475A (ja) 2010-12-06 2012-06-28 Fujitsu Ten Ltd 情報処理装置及び表示方法
US20120158515A1 (en) 2010-12-21 2012-06-21 Yahoo! Inc. Dynamic advertisement serving based on an avatar
US10440402B2 (en) 2011-01-26 2019-10-08 Afterlive.tv Inc Method and system for generating highlights from scored data streams
US8369488B2 (en) 2011-03-15 2013-02-05 At&T Mobility Ii Llc Triggering a 911 voice call from a non-voice message
US8855012B1 (en) 2011-03-18 2014-10-07 Mojyle LLC Mobile, secure and customizable emergency service gateway system
WO2012128361A1 (ja) 2011-03-23 2012-09-27 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
US8594374B1 (en) 2011-03-30 2013-11-26 Amazon Technologies, Inc. Secure device unlock with gaze calibration
US9317111B2 (en) 2011-03-30 2016-04-19 Elwha, Llc Providing greater access to one or more items in response to verifying device transfer
US9215506B2 (en) 2011-03-31 2015-12-15 Tivo Inc. Phrase-based communication system
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US10198097B2 (en) 2011-04-26 2019-02-05 Sentons Inc. Detecting touch input force
US8971946B2 (en) 2011-05-11 2015-03-03 Tikl, Inc. Privacy control in push-to-talk
US8665345B2 (en) 2011-05-18 2014-03-04 Intellectual Ventures Fund 83 Llc Video summary including a feature of interest
CN102790826A (zh) 2011-05-20 2012-11-21 腾讯科技（深圳）有限公司 首字母列表定位方法及移动终端
US8676121B1 (en) 2011-05-31 2014-03-18 Globalstar, Inc. Method and apparatus for transmitting message from short-range wireless device over a satellite network
US9013489B2 (en) 2011-06-06 2015-04-21 Microsoft Technology Licensing, Llc Generation of avatar reflecting player appearance
US8331960B1 (en) 2011-06-08 2012-12-11 Critical Alert Systems Llc Systems and methods for communicating with a paging network operations center through wireless cellular devices
WO2012169679A1 (ko) 2011-06-10 2012-12-13 엘지전자 주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 디스플레이 장치의 음성인식 시스템
JP5915000B2 (ja) 2011-06-13 2016-05-11 ソニー株式会社 情報処理装置及びプログラム
US9411506B1 (en) 2011-06-28 2016-08-09 Google Inc. Providing additional functionality for a group messaging application
US9629005B2 (en) 2015-04-07 2017-04-18 Pismo Labs Technology Limited Systems and methods providing assisted aiming for wireless links
KR20130004857A (ko) 2011-07-04 2013-01-14 삼성전자주식회사 인터넷 서비스를 위한 사용자 인터페이스 제공 방법 및 장치
US9082235B2 (en) 2011-07-12 2015-07-14 Microsoft Technology Licensing, Llc Using facial data for device authentication or subject identification
CN102890598A (zh) 2011-07-21 2013-01-23 国际商业机器公司 预设输入框的输入法模式的方法和系统
US20130024781A1 (en) 2011-07-22 2013-01-24 Sony Corporation Multi-Modal and Updating Interface for Messaging
WO2013016514A1 (en) 2011-07-26 2013-01-31 Mine Safety Appliances Company Incident management and monitoring systems and methods
US20130036380A1 (en) 2011-08-02 2013-02-07 Apple Inc. Graphical User Interface for Tracking and Displaying Views of an Application
KR101832959B1 (ko) 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US20150195179A1 (en) 2011-08-17 2015-07-09 Google Inc. Method and system for customizing toolbar buttons based on usage
US20150135309A1 (en) 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
CN102271241A (zh) 2011-09-02 2011-12-07 北京邮电大学 一种基于面部表情/动作识别的图像通信方法及系统
US10353566B2 (en) 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US20130063366A1 (en) 2011-09-13 2013-03-14 Google Inc. User inputs of a touch-sensitive device
US20170021260A1 (en) 2011-10-07 2017-01-26 Taylor Made Golf Company, Inc. Golf shot tracking systems, devices and methods of use
US9037164B2 (en) 2011-10-19 2015-05-19 Empire Technology Development Llc Changing the orientation of a user based at least in part on transmit power
US9167392B2 (en) 2011-11-02 2015-10-20 Qualcomm Incorporated User experience enhancements for limiting calls in a group communication
US9148637B2 (en) 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
US8752963B2 (en) 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
JP2013097760A (ja) 2011-11-07 2013-05-20 Toshiba Corp 認証システム、端末装置、認証プログラム、認証方法
US8688793B2 (en) 2011-11-08 2014-04-01 Blackberry Limited System and method for insertion of addresses in electronic messages
US8789116B2 (en) 2011-11-18 2014-07-22 Electronic Controlled Systems, Inc. Satellite television antenna system
US9281559B2 (en) 2011-11-29 2016-03-08 Harris Corporation Method for directed antenna alignment through augmented reality
US9743357B2 (en) 2011-12-16 2017-08-22 Joseph Akwo Tabe Energy harvesting computer device in association with a communication device configured with apparatus for boosting signal reception
US9467834B2 (en) 2011-12-23 2016-10-11 Microsoft Technology Licensing, Llc Mobile device emergency service
US20130169742A1 (en) * 2011-12-28 2013-07-04 Google Inc. Video conferencing with unlimited dynamic active participants
KR102022318B1 (ko) 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
KR101907136B1 (ko) 2012-01-27 2018-10-11 라인 가부시키가이샤 유무선 웹을 통한 아바타 서비스 시스템 및 방법
US8929278B2 (en) 2012-02-06 2015-01-06 Maxlinear, Inc. Method and apparatus for content protection and billing for mobile delivery of satellite content
WO2013120851A1 (en) 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
US20150109191A1 (en) 2012-02-16 2015-04-23 Google Inc. Speech Recognition
KR101891536B1 (ko) 2012-02-24 2018-08-27 삼성전자주식회사 휴대단말기의 응급콜 발신 방법 및 장치
US9621932B2 (en) 2012-02-28 2017-04-11 Google Inc. Enhancing live broadcast viewing through display of filtered internet information streams
US20130231077A1 (en) 2012-03-02 2013-09-05 Clandestine Development LLC Personal security system
JP6091595B2 (ja) 2012-03-19 2017-03-08 ロバート ケイ． バックル， モバイルおよび衛星電話サービスを統合するための装置、方法、およびシステム
US8910063B2 (en) 2012-03-27 2014-12-09 Cisco Technology, Inc. Assisted display for command line interfaces
WO2013150341A1 (en) 2012-04-05 2013-10-10 Nokia Corporation Flexible spatial audio capture apparatus
US9369832B1 (en) 2012-04-11 2016-06-14 Delorme Publishing Company Method and system for remotely tracking multiple assets and updating team data
CN102622085A (zh) 2012-04-11 2012-08-01 北京航空航天大学 多维感官人机交互系统及交互方法
US9660321B2 (en) 2012-04-12 2017-05-23 Maxlinear, Inc. Method and system for a mobile application (app) that assists with aiming or aligning a satellite dish or antenna
US20130271319A1 (en) 2012-04-12 2013-10-17 Alan Trerise Method and system for aiming and aligning self-installed broadcast signal receivers
US8996997B2 (en) 2012-04-18 2015-03-31 Sap Se Flip-through format to view notification and related items
US20130286161A1 (en) 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
US20130293686A1 (en) 2012-05-03 2013-11-07 Qualcomm Incorporated 3d reconstruction of human subject using a mobile device
US8948804B2 (en) 2012-05-04 2015-02-03 Voxer Ip Llc Virtual slide-to-lock feature for push-to-talk communication applications
US9423870B2 (en) 2012-05-08 2016-08-23 Google Inc. Input determination method
US9337917B2 (en) 2012-05-08 2016-05-10 Telefonaktiebolaget Lm Ericsson (Publ) Call establishment optimization for IMS based mobile satellite system
KR101806350B1 (ko) 2012-05-09 2017-12-07 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
JP6302155B2 (ja) 2012-05-16 2018-03-28 京セラ株式会社 通信装置、制御方法、プログラム、通信モジュール、及びコントローラ
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9560099B2 (en) 2012-05-23 2017-01-31 Qualcomm Incorporated Systems and methods for group communication using a mobile device using motion and voice activate controls
KR101963589B1 (ko) 2012-06-18 2019-03-29 삼성전자주식회사 휴대단말기에서 ＲＣＳ(Ｒｉｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｕｉｔｅ)의 Ｃａｐａｂｉｌｉｔｙ Ｄｉｓｃｏｖｅｒｙ 수행 방법 및 장치
EP2680615B1 (en) 2012-06-25 2018-08-08 LG Electronics Inc. Mobile terminal and audio zooming method thereof
EP2864804B1 (en) 2012-06-26 2017-11-15 Ariel-University Research and Development Company Ltd. Methods and devices for improved position determination
US9268424B2 (en) 2012-07-18 2016-02-23 Sony Corporation Mobile client device, operation method, recording medium, and operation system
US8996059B2 (en) 2012-07-19 2015-03-31 Kirusa, Inc. Adaptive communication mode for recording a media message
US20150177976A1 (en) 2012-08-08 2015-06-25 Freescale Semiconductor, Inc. Method and system for scrolling a data set across a screen
US20140064463A1 (en) 2012-08-29 2014-03-06 Nagendra Devalla Reddy Visual selection of call path through an interactive voice response map
US10110463B2 (en) 2012-09-11 2018-10-23 Higher Ground Llc Personal communications device for multiple communications systems
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US20140078144A1 (en) 2012-09-14 2014-03-20 Squee, Inc. Systems and methods for avatar creation
CN102905244A (zh) 2012-09-26 2013-01-30 电信科学技术研究院 一种应急通信方法和终端
US9235923B1 (en) 2012-09-28 2016-01-12 Google Inc. Systems and methods for providing a visualization of satellite sightline obstructions
US20140098296A1 (en) 2012-10-04 2014-04-10 Ati Technologies Ulc Method and apparatus for changing a perspective of a video
KR102045841B1 (ko) 2012-10-09 2019-11-18 삼성전자주식회사 전자 장치에서 태스크 추천 아이콘을 생성하는 방법 및 장치
US20140123005A1 (en) 2012-10-25 2014-05-01 Apple Inc. User interface for streaming media stations with virtual playback
KR102004287B1 (ko) 2012-10-17 2019-07-26 에스케이플래닛 주식회사 이모티콘 생성 장치 및 이모티콘 생성 방법
KR101390228B1 (ko) 2012-10-22 2014-05-07 (주)카카오 채팅 영역에 이미지를 표시하는 디바이스 및 방법, 그리고 채팅 데이터를 관리하는 서버
KR20140060039A (ko) 2012-11-09 2014-05-19 삼성전자주식회사 긴급 메시지 전송이 가능한 단말기 및 그 방법
US20150358790A1 (en) 2012-11-12 2015-12-10 ENORCOM Corporation Automated mobile system
US10410180B2 (en) 2012-11-19 2019-09-10 Oath Inc. System and method for touch-based communications
US9766778B2 (en) 2012-11-27 2017-09-19 Vonage Business Inc. Method and apparatus for rapid access to a contact in a contact list
US20140157167A1 (en) 2012-12-05 2014-06-05 Huawei Technologies Co., Ltd. Method and Device for Controlling Icon
KR20140073232A (ko) 2012-12-06 2014-06-16 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US9189131B2 (en) 2012-12-11 2015-11-17 Hewlett-Packard Development Company, L.P. Context menus
CN104782120B (zh) 2012-12-17 2018-08-10 英特尔公司 化身动画制作方法、计算设备和存储介质
US9893799B2 (en) 2012-12-17 2018-02-13 Higher Ground Llc Personal communications device for reliable satellite communications
US10270720B2 (en) 2012-12-20 2019-04-23 Microsoft Technology Licensing, Llc Suggesting related items
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR101755029B1 (ko) 2012-12-29 2017-07-06 애플 인크. 다중 접촉 제스처에 대한 촉각적 출력의 발생을 보류하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US20140195972A1 (en) 2013-01-07 2014-07-10 Electronics And Telecommunications Research Institute Method and apparatus for managing programs or icons
CN103927190A (zh) 2013-01-11 2014-07-16 腾讯科技（深圳）有限公司 网络表情下载方法与装置
US20140213214A1 (en) 2013-01-29 2014-07-31 Robert S. Reis Emergency number calling with personal communications devices
CN103092469A (zh) 2013-01-30 2013-05-08 东莞宇龙通信科技有限公司 终端和图标移动方法
JP6123311B2 (ja) 2013-01-30 2017-05-10 富士通株式会社 移動端末の発信制御システム
US9443415B2 (en) 2013-02-06 2016-09-13 Michael Nepo Disseminating information to facilitate user safety
KR20250004158A (ko) 2013-02-07 2025-01-07 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US8970662B2 (en) 2013-03-12 2015-03-03 Qualcomm Incorporated Output management for electronic communications
US9654761B1 (en) 2013-03-15 2017-05-16 Google Inc. Computer vision algorithm for capturing and refocusing imagery
KR102056080B1 (ko) 2013-03-19 2019-12-16 삼성전자주식회사 상태 정보 제공 방법 및 장치
KR101446520B1 (ko) 2013-03-25 2014-10-06 에이피위성통신주식회사 휴대용 위성통신장치
EP2982006A1 (en) 2013-04-02 2016-02-10 Telefonaktiebolaget L M Ericsson (publ) A radio antenna alignment tool
WO2014161091A1 (en) 2013-04-04 2014-10-09 Rand James S Unified communications system and method
US20140306898A1 (en) 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Key swipe gestures for touch sensitive ui virtual keyboard
US9721166B2 (en) 2013-05-05 2017-08-01 Qognify Ltd. System and method for identifying a particular human in images using an artificial image composite or avatar
US9384751B2 (en) 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
CN104184760B (zh) 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
JP5785218B2 (ja) 2013-05-22 2015-09-24 シャープ株式会社 ネットワークシステム、サーバ、家電、プログラムおよび家電の連携方法
US9747900B2 (en) 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
GB2514603B (en) 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9589357B2 (en) 2013-06-04 2017-03-07 Intel Corporation Avatar-based video encoding
WO2014197339A1 (en) 2013-06-08 2014-12-11 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays
WO2014200729A2 (en) 2013-06-09 2014-12-18 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9154601B2 (en) 2013-07-15 2015-10-06 Microsoft Technology Licensing, Llc Intelligent user interfaces for multiple SIM cards
US9575720B2 (en) 2013-07-31 2017-02-21 Google Inc. Visual confirmation for a recognized voice-initiated action
US10289265B2 (en) 2013-08-15 2019-05-14 Excalibur Ip, Llc Capture and retrieval of a personalized mood icon
KR102089638B1 (ko) 2013-08-26 2020-03-16 삼성전자주식회사 전자장치의 음성 녹음 방법 및 장치
US10001817B2 (en) 2013-09-03 2018-06-19 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US9432109B2 (en) 2013-09-04 2016-08-30 Gilat Satellite Networks Ltd. Satellite communication terminal installation
KR102057944B1 (ko) 2013-09-17 2019-12-23 삼성전자주식회사 단말 장치 및 그의 공유 방법
US9727752B2 (en) 2013-09-25 2017-08-08 Kairos Social Solutions, Inc. Device, system, and method of identifying a specific user from a profile image containing multiple people
US20150100537A1 (en) 2013-10-03 2015-04-09 Microsoft Corporation Emoji for Text Predictions
EP3651136B1 (en) 2013-10-07 2022-12-07 Google LLC Smart-home hazard detector providing non-alarm status signals at opportune moments
US8996639B1 (en) 2013-10-15 2015-03-31 Google Inc. Predictive responses to incoming communications
US9461945B2 (en) 2013-10-18 2016-10-04 Jeffrey P. Phillips Automated messaging response
US9110635B2 (en) 2013-12-03 2015-08-18 Lenova (Singapore) Pte. Ltd. Initiating personal assistant application based on eye tracking and gestures
US10606476B2 (en) 2013-12-04 2020-03-31 Autodesk, Inc. Techniques for interacting with handheld devices
KR102188090B1 (ko) 2013-12-11 2020-12-04 엘지전자 주식회사 스마트 가전제품, 그 작동방법 및 스마트 가전제품을 이용한 음성인식 시스템
KR20150073378A (ko) 2013-12-23 2015-07-01 삼성전자주식회사 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
US9705634B2 (en) 2013-12-30 2017-07-11 Applied Research Associates, Inc. Communication users predictive product
CN103744671B (zh) 2013-12-31 2017-06-27 联想(北京)有限公司 一种信息处理的方法及电子设备
JP6175516B2 (ja) 2014-01-15 2017-08-02 日立マクセル株式会社 端末装置および標高値取得方法
KR102188886B1 (ko) 2014-02-11 2020-12-11 주식회사 엘지유플러스 스마트워치 및 그 커뮤니케이션 방법
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
US11907421B1 (en) 2014-03-01 2024-02-20 sigmund lindsay clements Mixed reality glasses operating public devices with gaze and secondary user input
US10853410B2 (en) 2014-03-04 2020-12-01 Orbit Logic, Inc. Method for providing imaging satellite information on a mobile device
US9344994B2 (en) 2014-03-04 2016-05-17 Orbit Logic, Inc. Method for providing imaging satellite opportunity notifications on a mobile device
GB2524723A (en) 2014-03-11 2015-10-07 Avanti Broadband Ltd Method, apparatus and system for use in satellite broadband installation
US20160014059A1 (en) 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
US9430186B2 (en) 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
US9560185B2 (en) 2014-03-19 2017-01-31 Microsoft Technology Licensing, Llc Hybrid telecommunications network connection indicator
US10802582B1 (en) 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US10845982B2 (en) 2014-04-28 2020-11-24 Facebook, Inc. Providing intelligent transcriptions of sound messages in a messaging application
US9727136B2 (en) 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
JP6448671B2 (ja) 2014-06-23 2019-01-09 ナイキ イノベイト シーブイ 履物設計ツール
CN104063280B (zh) 2014-06-25 2017-09-12 华为技术有限公司 一种智能终端的控制方法
US10069580B2 (en) 2014-06-30 2018-09-04 Ubiquiti Networks, Inc. Wireless radio device alignment tools and methods
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
JP2016015624A (ja) 2014-07-02 2016-01-28 株式会社日立国際電気 映像監視システム
WO2016022204A1 (en) 2014-08-02 2016-02-11 Apple Inc. Context-specific user interfaces
KR101871833B1 (ko) 2014-08-08 2018-06-27 주식회사 엘지유플러스 푸쉬 투 토크 서비스 제공 방법
AU2015312369B2 (en) 2014-09-02 2018-04-05 Apple Inc. Reduced-size interfaces for managing alerts
JP2017527033A (ja) 2014-09-02 2017-09-14 アップル インコーポレイテッド ユーザ入力を受信するためのユーザインタフェース
CN115665320B (zh) 2014-09-02 2024-10-11 苹果公司 电子设备、存储介质和用于操作电子设备的方法
WO2016034670A1 (en) 2014-09-03 2016-03-10 Agt International Gmbh Location-oriented team intercommunication
KR101540544B1 (ko) 2014-09-05 2015-07-30 서용창 캐릭터를 이용한 메시지 서비스 방법, 상기 방법을 수행하는 사용자 단말, 상기 방법을 포함하는 메시지 애플리케이션
CN104182741A (zh) 2014-09-15 2014-12-03 联想(北京)有限公司 一种图像采集提示方法、装置及电子设备
US9942739B2 (en) 2014-09-19 2018-04-10 Rapidsos, Inc. Method and system for emergency call management
US10911645B2 (en) 2014-09-19 2021-02-02 Nec Corporation Image processing device, image processing method, and recording medium
US10317992B2 (en) 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
JP2016076799A (ja) 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット
WO2016060848A1 (en) 2014-10-14 2016-04-21 I.Am.Plus, Llc Multi-media wireless watch
US9906772B2 (en) 2014-11-24 2018-02-27 Mediatek Inc. Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US20170352091A1 (en) 2014-12-16 2017-12-07 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
KR102309070B1 (ko) 2014-12-24 2021-10-07 삼성전자주식회사 전자 장치 및 전자 장치에서의 통신 관련 정보 제공 방법
US9565541B2 (en) 2014-12-29 2017-02-07 Iridium Satellite Llc Emergency communications from a local area network hotspot
US9503177B1 (en) 2014-12-30 2016-11-22 The Directv Group, Inc. Methods and systems for aligning a satellite receiver dish using a smartphone or tablet device
US9521378B1 (en) 2014-12-30 2016-12-13 The Directv Group, Inc. Remote display of satellite receiver information
CN111432503B (zh) 2015-01-06 2023-12-05 三星电子株式会社 电子装置和设置音频设备网络的方法
EP3248180B1 (en) 2015-01-23 2024-10-16 Smartwatcher Technologies AG Personal emergency triggering, notification and communication for smartwatches
JP6152125B2 (ja) 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
KR20160097913A (ko) 2015-02-10 2016-08-18 엘지전자 주식회사 와치 타입 단말기
WO2016133540A1 (en) 2015-02-20 2016-08-25 Hewlett-Packard Development Company, L.P. Eye gaze authentication
TWI540522B (zh) 2015-02-26 2016-07-01 宅妝股份有限公司 採用虛擬實境與擴增實境技術的虛擬購物系統與方法
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
KR101587115B1 (ko) 2015-03-11 2016-01-21 이영규 아바타 메신저 서비스 시스템
US10080111B2 (en) 2015-03-19 2018-09-18 Facebook, Inc. Techniques for communication using audio stickers
US9852543B2 (en) 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
US20170069124A1 (en) 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
US10552019B2 (en) 2015-04-16 2020-02-04 Samsung Electronics Co., Ltd. Portable device and method for controlling brightness of the same
CN106203011B (zh) 2015-05-06 2020-08-25 腾讯科技（深圳）有限公司 进入操作系统桌面的方法和装置
WO2016189350A1 (en) 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
CN108369630A (zh) 2015-05-28 2018-08-03 视觉移动科技有限公司 用于智能家居的手势控制系统和方法
US20160357377A1 (en) 2015-06-07 2016-12-08 Apple Inc. Device, Method, and Graphical User Interface for Collaborative Editing in Documents
US10165949B2 (en) 2015-06-14 2019-01-01 Facense Ltd. Estimating posture using head-mounted cameras
JP6853820B2 (ja) 2015-06-23 2021-03-31 エーシーアンドシー， エルエルシー 緊急警報システム及び方法
US9661117B2 (en) 2015-07-16 2017-05-23 Plantronics, Inc. Wearable devices for headset status and control
US10359496B2 (en) 2015-08-10 2019-07-23 Viasat, Inc. Satellite antenna with sensor for line-of-sight detection
US10796480B2 (en) 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US10893520B2 (en) 2015-08-26 2021-01-12 Qualcomm Incorporated Downlink and synchronization techniques for narrowband wireless communications
US9349414B1 (en) 2015-09-18 2016-05-24 Odile Aimee Furment System and method for simultaneous capture of two video streams
US20170083695A1 (en) 2015-09-21 2017-03-23 The Eye Tribe Method for using eye tracking and eye biometrics for authentication
US9781174B2 (en) 2015-09-21 2017-10-03 Fuji Xerox Co., Ltd. Methods and systems for electronic communications feedback
US20170171636A1 (en) 2015-12-11 2017-06-15 At&T Intellectual Property I, L.P. Providing information to a media device when satellite service to the media device is disrupted
US10833756B2 (en) 2015-12-14 2020-11-10 Higher Ground Llc Satellite communication for the Internet of Things
MX2018007509A (es) 2015-12-17 2018-11-29 Rapidsos Inc Dispositivos y métodos para llamada de emergencia eficiente.
US9749308B2 (en) 2016-01-04 2017-08-29 Bank Of America Corporation System for assessing network authentication requirements based on situational instance
US20170235361A1 (en) 2016-01-20 2017-08-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Interaction based on capturing user intent via eye gaze
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US10038239B2 (en) 2016-01-25 2018-07-31 Sky Perfect Jsat Corporation Antenna adjusting apparatus and antenna adjusting method
EP3207823A1 (en) 2016-02-16 2017-08-23 Braun GmbH Interactive system setup concept
US10459504B2 (en) 2016-03-29 2019-10-29 Gm Global Technology Operations, Llc Telematics service buttons integrated with infotainment system using an uninterrupted power supply with optmized consumption
CN105786394B (zh) 2016-04-01 2019-04-23 百度在线网络技术（北京）有限公司 自动拨打电话的方法和装置
US10390203B2 (en) 2016-05-04 2019-08-20 Michael Romano Multimedia centric adaptive emergency response messaging apparatus and method
US9532004B1 (en) 2016-05-12 2016-12-27 Google Inc. Animated user identifiers
JP6238381B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US10360708B2 (en) 2016-06-30 2019-07-23 Snap Inc. Avatar based ideogram generation
WO2018016464A1 (ja) 2016-07-19 2018-01-25 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
US20180024726A1 (en) 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
KR20180015010A (ko) 2016-08-02 2018-02-12 (주)두닷두 심전도에 근거한 생체 개인 인증 방법 및 그 방법을 이용한 ptt 스마트워치 시스템
US20180047200A1 (en) 2016-08-11 2018-02-15 Jibjab Media Inc. Combining user images and computer-generated illustrations to produce personalized animated digital avatars
US20180063249A1 (en) 2016-08-23 2018-03-01 Vu Trong Nguyen System and method for controlling smart devices
US10466891B2 (en) 2016-09-12 2019-11-05 Apple Inc. Special lock mode user interface
KR102210150B1 (ko) 2016-09-23 2021-02-02 애플 인크. 아바타 생성 및 편집
US10477504B2 (en) 2016-09-26 2019-11-12 Uber Technologies, Inc. Network service over limited network connectivity
US10444373B2 (en) 2016-09-29 2019-10-15 Hughes Network Systems, Llc Method and system for dealing with antenna blockage in a low earth orbit constellation
US10304463B2 (en) 2016-10-03 2019-05-28 Google Llc Multi-user personalization at a voice interface device
US20180095635A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
JP6950708B2 (ja) 2016-12-05 2021-10-13 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム
IT201600127703A1 (it) 2016-12-16 2018-06-16 Gre Lab S R L Unipersonale Metodo e sistema di pagamento sicuro
CN110114825A (zh) 2016-12-30 2019-08-09 哈曼国际工业有限公司 语音识别系统
US20180192264A1 (en) 2016-12-30 2018-07-05 T-Mobile Usa, Inc. Open Access Points for Emergency Calls
CN110114777B (zh) 2016-12-30 2023-10-20 托比股份公司 使用注视信息进行的用户的识别、认证和/或导引
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
KR20180102871A (ko) 2017-03-08 2018-09-18 엘지전자 주식회사 이동단말기 및 이동단말기의 차량 제어 방법
US10810912B2 (en) 2017-03-15 2020-10-20 Aether Inc. Face recognition triggered digital assistant and LED light ring for a smart mirror
US10164723B2 (en) 2017-03-17 2018-12-25 Higher Ground Llc Adaptive augmented reality satellite acquisition
US10116893B1 (en) 2017-04-28 2018-10-30 Higher Ground Llc Selectively controlling a direction of signal transmission using adaptive augmented reality
US10267888B2 (en) 2017-04-28 2019-04-23 Higher Ground Llc Pointing an antenna at a signal source using augmented reality
CN111279730B (zh) 2017-05-02 2022-05-27 Ac&C有限责任公司 紧急警报用户系统和方法
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
KR102439054B1 (ko) 2017-05-16 2022-09-02 애플 인크. 이모지 레코딩 및 전송
US10511707B2 (en) 2017-05-16 2019-12-17 Apple Inc. Voice communication method
US10819840B2 (en) 2017-05-16 2020-10-27 Apple Inc. Voice communication method
US11765114B2 (en) 2017-05-16 2023-09-19 Apple Inc. Voice communication method
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
US10602339B2 (en) 2017-05-17 2020-03-24 Hand Held Products, Inc. Systems and methods for improving alert messaging using device to device communication
US11144845B2 (en) 2017-06-02 2021-10-12 Stitch Fix, Inc. Using artificial intelligence to design a product
FR3067558A1 (fr) 2017-06-14 2018-12-14 Orange Procede de configuration d'un terminal
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US10901094B2 (en) 2017-08-09 2021-01-26 Raytheon Blackbird Technologies, Inc. Multi-mode tracking device
KR102853863B1 (ko) 2017-09-09 2025-09-02 애플 인크. 생체측정 인증의 구현
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
CN112507307B (zh) 2017-09-09 2025-04-08 苹果公司 生物识别认证的实现
WO2018226265A1 (en) 2017-09-09 2018-12-13 Apple Inc. Implementation of biometric authentication
JP6938772B2 (ja) 2017-09-29 2021-09-22 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 視線ベースのユーザ対話
CN107945766A (zh) 2017-11-03 2018-04-20 苏州佳世达电通有限公司 显示装置
CN109862055A (zh) 2017-11-30 2019-06-07 中兴通讯股份有限公司 一种卫星网络通信方法、代理服务装置及网关
US10701542B2 (en) 2017-12-05 2020-06-30 Rapidsos, Inc. Social media content for emergency management
WO2019118020A1 (en) 2017-12-15 2019-06-20 Google Llc Satellite-based narrow-band communication
JP6965304B2 (ja) 2018-01-30 2021-11-10 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
US10859830B2 (en) 2018-01-31 2020-12-08 Sony Interactive Entertainment LLC Image adjustment for an eye tracking system
KR102661019B1 (ko) 2018-02-23 2024-04-26 삼성전자주식회사 얼굴에 대응하는 3차원 아바타를 이용하여 얼굴의 움직임이 반영된 3차원 아바타를 포함하는 이미지를 생성하는 전자 장치 및 그 동작 방법
KR102515023B1 (ko) 2018-02-23 2023-03-29 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102565755B1 (ko) 2018-02-23 2023-08-11 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
KR20190101832A (ko) 2018-02-23 2019-09-02 삼성전자주식회사 전자 장치 및 아바타 기반의 커스텀 객체 운용 방법
US20200380486A1 (en) 2018-03-20 2020-12-03 Rocky Jerome Wright Augmented reality and messaging
US20190318283A1 (en) 2018-04-12 2019-10-17 Crosswind Communications System and method for adaptively executing user routines based on user interactions
CN119697337A (zh) 2018-05-07 2025-03-25 苹果公司 创意相机
CN110457092A (zh) 2018-05-07 2019-11-15 苹果公司 头像创建用户界面
JP7073238B2 (ja) 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
DK180212B1 (en) 2018-05-07 2020-08-19 Apple Inc USER INTERFACE FOR CREATING AVATAR
CN110046020B (zh) 2018-05-07 2021-01-15 苹果公司 电子设备、计算机可读存储介质及电子设备处执行的方法
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US10560562B1 (en) 2018-05-09 2020-02-11 Darpan Tandon Multi-mode smartphone or mobile computing device
US10809898B2 (en) 2018-05-15 2020-10-20 Adobe Inc. Color picker
US11023093B2 (en) 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
US10796470B2 (en) 2018-06-03 2020-10-06 Apple Inc. Optimized avatar asset resource
TWI704490B (zh) 2018-06-04 2020-09-11 和碩聯合科技股份有限公司 語音控制裝置及方法
US20190387092A1 (en) 2018-06-14 2019-12-19 Thomas Ronald Tessier Cellular Telephone Battery Power Augmentation Accessory with Satellite Backup Communication Link
CN108718447A (zh) 2018-06-14 2018-10-30 北京国电高科科技有限公司 短消息应急通信系统及方法
EP3598178A1 (en) 2018-07-20 2020-01-22 Trimble Nantes S.A.S. Portable positioning devices and methods for obtaining a geospatial position
US20200034025A1 (en) 2018-07-26 2020-01-30 Lois Jean Brady Systems and methods for multisensory semiotic communications
US10992621B2 (en) 2018-08-03 2021-04-27 Flash App, LLC Enhanced data sharing to and between mobile device users
KR102530264B1 (ko) 2018-08-08 2023-05-09 삼성전자 주식회사 아바타에 대응하는 속성에 따른 아이템을 제공하는 방법 및 장치
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
EP4415335A3 (en) 2018-10-12 2024-08-21 Armaments Research Company Inc. Firearm monitoring and remote support system
US11300549B2 (en) 2018-10-31 2022-04-12 Clarity Movement Co. Atmospheric monitoring sensor node
US10505726B1 (en) 2018-12-07 2019-12-10 Nike, Inc. System and method for providing cryptographically secured digital assets
US10660153B1 (en) 2018-12-10 2020-05-19 Verizon Patent And Licensing Inc. Emergency call support using multiple network technologies
US11540189B2 (en) 2018-12-12 2022-12-27 At&T Intellectual Property I, L.P. Framework for a 6G ubiquitous access network
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
US11288880B2 (en) 2019-01-18 2022-03-29 Snap Inc. Template-based generation of personalized videos
US10986121B2 (en) 2019-01-24 2021-04-20 Darktrace Limited Multivariate network structure anomaly detector
US10645561B1 (en) 2019-01-29 2020-05-05 Honeywell International Inc. Methods and systems for vehicle position reporting and emergency messaging
KR102664688B1 (ko) 2019-02-19 2024-05-10 삼성전자 주식회사 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
KR102730751B1 (ko) 2019-02-19 2024-11-15 삼성전자 주식회사 아바타 추천 및 다운로드를 지원하는 전자 장치
JP7215254B2 (ja) 2019-03-13 2023-01-31 株式会社リコー 情報処理装置、表示制御方法、及びプログラム
US10834035B2 (en) 2019-03-18 2020-11-10 Universiti Brunei Darussalam Instant messaging for mobile device with offline and online mode
DK201970530A1 (en) 2019-05-06 2021-01-28 Apple Inc Avatar integration with multiple applications
EP4411528A3 (en) 2019-05-06 2024-10-30 Apple Inc. Avatar integration with multiple applications
US10993124B2 (en) 2019-05-16 2021-04-27 Cth Lending Company, Llc Beam-steering satellite communication terminal for field environments
US11144176B2 (en) 2019-06-01 2021-10-12 Apple Inc. User interfaces for electronic voice communications
US11475117B2 (en) 2019-06-18 2022-10-18 Citrix Systems, Inc. Eye and head tracking authentication
US10791536B1 (en) 2019-06-19 2020-09-29 Lyft, Inc. Systems and methods for short range peer-to-peer navigation
US11188190B2 (en) 2019-06-28 2021-11-30 Snap Inc. Generating animation overlays in a communication session
KR102592653B1 (ko) 2019-07-01 2023-10-23 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
US11139852B2 (en) 2019-07-04 2021-10-05 Nortac Defence Limited Situational awareness over a low bandwidth short burst data satellite system
WO2021007588A1 (en) 2019-07-08 2021-01-14 Zoll Medical Corporation Management of medical equipment and responders
US10948603B2 (en) 2019-07-12 2021-03-16 DreamSpaceWorld Co., LTD. Real-time communication between satellites and mobile devices
US10797785B1 (en) 2019-07-12 2020-10-06 DreamSpaceWorld Co., LTD. Real-time communication between satellites and mobile devices
US20220301041A1 (en) 2019-08-12 2022-09-22 Lg Electronics Inc. Virtual fitting provision device and provision method therefor
US11641564B2 (en) 2019-08-16 2023-05-02 Ofinno, Llc Flexible zone-based registration area tracking in a wireless network
US11515937B2 (en) 2019-08-22 2022-11-29 Skylo Technologies, Inc. Hub communication with a satellite network or a terrestrial network
US11106280B1 (en) 2019-09-19 2021-08-31 Apple Inc. On-the-fly calibration for improved on-device eye tracking
US11217036B1 (en) 2019-10-07 2022-01-04 Facebook Technologies, Llc Avatar fidelity and personalization
WO2021071532A1 (en) 2019-10-10 2021-04-15 Google Llc Grid-based enrollment for face authentication
US10959074B1 (en) 2019-11-07 2021-03-23 Qualcomm Incorporated Selection and use of backup communication mode for vehicle-to-vehicle messaging
US11696106B2 (en) 2019-11-07 2023-07-04 Qualcomm Incorporated Configuration of fixed tracking areas and fixed cells for a 5G satellite rat
EP3828858A1 (en) 2019-11-29 2021-06-02 Koninklijke Philips N.V. A personal help button and administrator system for a personal emergency response system (pers)
US11509521B2 (en) 2020-02-03 2022-11-22 Fenix Group, Inc. Multiple communication modes and network services in a self-contained unit
CN111338595B (zh) 2020-02-19 2021-11-19 上海肇观电子科技有限公司 电子系统、电子设备和控制电子设备的方法
US12307066B2 (en) 2020-03-16 2025-05-20 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11736946B2 (en) 2020-04-01 2023-08-22 Higher Ground Llc Satellite relaying for geolocation and mitigation of GNSS denial
US11372520B2 (en) 2020-04-06 2022-06-28 Kyocera Document Solutions Inc. Display input apparatus and image forming apparatus capable of moving plurality of icons from one page to another on display device and displaying moved icons thereon
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US12126937B2 (en) * 2020-05-12 2024-10-22 Truemeeting, Ltd. Method and system for virtual 3D communications having multiple participants per camera
EP4154050A4 (en) 2020-05-22 2024-06-05 Magic Leap, Inc. AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH CORRELATED OPTICAL REGIONS
KR20230026481A (ko) 2020-06-25 2023-02-24 스냅 인코포레이티드 메시징 시스템에서의 아바타 의류 업데이트
JP2022023406A (ja) 2020-07-27 2022-02-08 グローリー株式会社 認証システム、認証装置及び認証方法
US11531118B2 (en) 2020-09-01 2022-12-20 Google Llc GNSS signal modeling
US11287972B1 (en) 2020-09-18 2022-03-29 Motorola Mobility Llc Selectable element selection within a curved display edge
CN117008731A (zh) 2020-09-25 2023-11-07 苹果公司 用于导航用户界面的方法
US11809507B2 (en) 2020-09-30 2023-11-07 Snap Inc. Interfaces to organize and share locations at a destination geolocation in a messaging system
US11943042B2 (en) 2020-10-13 2024-03-26 Space Exploration Technologies Corp. Apparatuses and methods for facilitating satellite visibility for earth-based antenna systems
CN116325720B (zh) 2020-10-21 2025-04-25 谷歌有限责任公司 远程呈现中的深度冲突的动态消解
CN112634416B (zh) 2020-12-23 2023-07-28 北京达佳互联信息技术有限公司 虚拟形象模型的生成方法、装置、电子设备及存储介质
CN117043863A (zh) 2020-12-31 2023-11-10 斯纳普公司 在眼镜装置上记录增强现实内容
US11233974B1 (en) * 2020-12-31 2022-01-25 Capital One Services, Llc Virtual environments associated with processed video streams
EP4271494A1 (en) 2020-12-31 2023-11-08 Snap Inc. Avatar customization system
WO2022147146A1 (en) 2021-01-04 2022-07-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP4216167A4 (en) 2021-01-13 2024-05-01 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN AVATAR VIDEO SERVICE
US20220230379A1 (en) 2021-01-19 2022-07-21 Krikey, Inc. Three-dimensional avatar generation and manipulation using shaders
US20220237660A1 (en) 2021-01-27 2022-07-28 Baüne Ecosystem Inc. Systems and methods for targeted advertising using a customer mobile computer device or a kiosk
US20220256631A1 (en) 2021-02-10 2022-08-11 Qualcomm Incorporated Methods and apparatus to switch between wireless networks
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US12165243B2 (en) 2021-03-30 2024-12-10 Snap Inc. Customizable avatar modification system
EP4538846A3 (en) 2021-05-21 2025-07-09 Apple Inc. Avatar sticker editor user interfaces
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
TW202301083A (zh) 2021-06-28 2023-01-01 見臻科技股份有限公司 提供精準眼動追蹤之光學系統和相關方法
US11349559B1 (en) 2021-07-22 2022-05-31 Higher Ground Llc Accurately determining a round trip time to a satellite
US12425511B2 (en) 2021-08-31 2025-09-23 Apple Inc. Methods and systems of interfaces for initiating communications using terrestrial and non-terrestrial networks
US11693529B2 (en) 2021-08-31 2023-07-04 Apple Inc. Methods and interfaces for initiating communications
KR20230037147A (ko) 2021-09-09 2023-03-16 한국전자통신연구원 비접촉 응시 기반 헤딩 정보를 이용한 사용자 명령 인식 장치 및 이를 이용한 방법
US20230081032A1 (en) 2021-09-13 2023-03-16 Apple Inc. Low-bandwidth and emergency communication user interfaces
US20240028177A1 (en) 2021-09-24 2024-01-25 Apple Inc. Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US11962706B2 (en) 2022-02-07 2024-04-16 Bank Of America Corporation Hosting account linking services to enable dynamic authentication and multi-computer event processing
US20230273985A1 (en) 2022-02-28 2023-08-31 Apple Inc. Devices, methods, and graphical user interfaces for authorizing a secure operation
US20230384860A1 (en) 2022-05-24 2023-11-30 Apple Inc. Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US11995231B2 (en) 2022-07-21 2024-05-28 Dell Products Lp System and method for headset haptic or audio confirmation feedback for gaze activation
US20240103678A1 (en) 2022-09-22 2024-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with extended reality experiences
US20240118746A1 (en) 2022-09-22 2024-04-11 Apple Inc. User interfaces for gaze tracking enrollment
US20240103617A1 (en) 2022-09-22 2024-03-28 Apple Inc. User interfaces for gaze tracking enrollment
US20240257486A1 (en) 2023-01-24 2024-08-01 Apple Inc. Techniques for interacting with virtual avatars and/or user representations

Also Published As

Publication number Publication date
US12417596B2 (en) 2025-09-16
EP4664873A2 (en) 2025-12-17
CN120075386A (zh) 2025-05-30
CN120915906A (zh) 2025-11-07
JP2025534954A (ja) 2025-10-22
EP4591563A1 (en) 2025-07-30
US20250342671A1 (en) 2025-11-06
KR20250049399A (ko) 2025-04-11
EP4664873A3 (en) 2025-12-24
KR20250144501A (ko) 2025-10-10
US20240104859A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
CN120723067A (zh) 用于三维环境中的深度冲突缓解的方法
EP4664873A2 (en) User interfaces for managing live communication sessions
US20240104819A1 (en) Representations of participants in real-time communication sessions
CN119923616A (zh) 用于操纵虚拟对象的方法
CN119948437A (zh) 用于改善用户环境感知的方法
CN120179076A (zh) 用于与扩展现实体验进行交互的设备、方法和图形用户界面
CN120712546A (zh) 用于在三维环境中显示用户界面对象的方法
WO2025024476A1 (en) Systems, devices, and methods for audio presentation in a three-dimensional environment
CN120266082A (zh) 用于三维环境中的深度冲突减轻的方法
CN121127811A (zh) 用于显示人的表示的设备、方法和图形用户界面
KR20250166987A (ko) 사용자 등록 및 인증을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
CN120569698A (zh) 用于设备定位调整的设备、方法和图形用户界面
CN119895356A (zh) 用于管理三维环境中的内容共享的用户界面
CN119948451A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
WO2024064280A1 (en) User interfaces for managing live communication sessions
CN121079655A (zh) 用于提供环境跟踪内容的设备、方法和图形用户界面
CN120166188A (zh) 实时通信会话中参与者的表示
WO2024233224A1 (en) Devices, methods, and graphical user interfaces for providing environment tracking content
WO2024253842A1 (en) Devices, methods, and graphical user interfaces for real-time communication
CN121219693A (zh) 用于在多种操作模式之间转变的设备、方法和图形用户界面
WO2024205852A1 (en) Sound randomization
WO2024158843A1 (en) Techniques for interacting with virtual avatars and/or user representations
CN119948440A (zh) 用于提供计算机生成的体验的设备、方法和图形用户界面
WO2024242869A1 (en) Devices, methods, and graphical user interfaces for biometric feature enrollment
CN121195222A (zh) 用于生物识别特征注册的设备、方法和图形用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination