CN116601921A

CN116601921A - 第三方应用程序的会话隐私

Info

Publication number: CN116601921A
Application number: CN202180078741.XA
Authority: CN
Inventors: L·R·德利茨·森特诺; J·P·塞拉
Original assignee: Apple Inc
Current assignee: Apple Inc
Priority date: 2020-09-24
Filing date: 2021-09-15
Publication date: 2023-08-15
Also published as: US20230300181A1; US20240163319A1; DE112021004966T5; US11856039B2

Abstract

本公开涉及用于在多用户通信会话中协作的技术，包括：在第一设备处，接收在与第二设备的多用户通信会话中启动第一应用程序的请求；在该多用户通信会话中呈现该第一应用程序的环境；通过该多用户通信会话的一个或多个进程从该第一用户接收数据，该数据包括输入数据和第一通信数据；通过该一个或多个进程向该第一应用程序提供该输入数据；通过该一个或多个进程向该第二设备提供该第一通信数据；通过该一个或多个进程从该第二设备接收第二通信数据；以及通过该一个或多个进程在该第一应用程序的该环境中呈现该第二通信数据，其中该第一应用程序被限制访问该第一通信数据和该第二通信数据。

Description

第三方应用程序的会话隐私

背景技术

本公开整体涉及多用户环境。更具体地，但不作为限制，本公开涉及用于在多用户通信环境诸如扩展现实(XR)环境(XRE)的上下文中执行的第三方应用程序的会话隐私的技术和系统。

一些设备能够生成和呈现XRE。XRE可包括人们经由电子系统感知和/或与其交互的完全或部分模拟的环境。在XRE中，跟踪人的物理运动的子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在XRE中模拟的一个或多个虚拟对象的一个或多个特性。一些XRE允许多个用户在XRE中相互交互。然而，所需要的是在XRE中托管应用程序同时管理用户的私人信息的技术。

附图说明

图1以框图形式示出了根据一个或多个实施方案的简化系统图。

图2示出了根据一个或多个实施方案的示例性操作环境的图。

图3A和图3B是示出根据本公开的各方面的用于将应用程序体验带到多用户通信扩展现实环境的接口的线条绘图。

图4是示出根据本公开的各方面的应用程序体验的图。

图5是示出根据本公开的各方面的用于在多用户通信会话中协作的技术的流程图。

图6A至图6B示出了用于在各种扩展现实技术中使用的示例性系统。

具体实施方式

本公开涉及供用户在扩展现实环境(XRE)内协作以共享应用程序体验的技术。某些应用程序可由多个用户在XRE内体验。在某些情况下，期望某些应用程序呈现应用程序环境来代替XRE。例如，游戏应用程序或多用户绘画应用程序可呈现它们自己的环境来代替XRE，同时保留XRE的某些元素，诸如头像和参与者之间的语音通信。在某些情况下，可能存在关于允许应用程序潜在地能够访问语音通信、参与者的视觉表示或关于应用程序体验的参与者的可识别信息的隐私问题。因此，期望允许应用程序呈现应用程序环境来代替XRE，同时防止应用程序访问潜在敏感的信息。

人可以在不借助于电子设备的情况下与物理环境或物理世界交互以及/或者感知物理环境或物理世界。物理环境可包括物理特征，诸如物理对象或表面。物理环境的示例是包括物理植物和动物的物理森林。人可以通过各种手段(诸如听觉、视觉、味觉、触觉和嗅觉)直接感知物理环境以及/或者与物理环境交互。相比之下，人可以使用电子设备与完全或部分模拟的扩展现实(XR)环境交互以及/或者感知该扩展现实环境。该XR环境可以包括混合现实(MR)内容、增强现实(AR)内容、虚拟现实(VR)内容等等。利用XR系统，人的物理运动或其表示的一些可被跟踪，并且作为响应，能够以符合至少一个物理定律的方式调节在XR环境中模拟的虚拟对象的特征。例如，该XR系统可检测用户头部的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。又如，该XR系统可检测呈现XR环境的电子设备(例如，移动电话、平板计算机、膝上型计算机等)的移动，并调节呈现给用户的图形内容和听觉内容(类似于此类视图和声音在物理环境中是如何改变的)。在一些情形中，该XR系统可以响应于诸如物理运动的表示的其他输入(例如，语音命令)而调节图形内容的特征。

许多不同类型的电子系统可使用户能够与XR环境交互和/或感知XR环境。示例的非排他性列表包括抬头显示器(HUD)、头戴式系统、基于投影的系统、具有集成显示能力的窗户或车辆挡风玻璃、形成为放置于用户眼睛上的透镜的显示器(例如，接触镜片)、头戴式受话器/耳机、具有触觉反馈或不具有触觉反馈的输入系统(例如，可穿戴或手持式控制器)、扬声器阵列、智能电话、平板计算机和台式计算机/膝上型计算机。头戴式系统可具有不透明显示器和一个或多个扬声器。其它头戴式系统可被配置为接受不透明外部显示器(例如，智能电话)。头戴式系统可包括用于捕获物理环境的图像或视频的一个或多个图像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可具有媒介，光通过该媒介被引导到用户的眼睛。显示器可利用各种显示技术，例如uLED、OLED、LED、硅基液晶、激光扫描光源、数字光投影或其组合。光波导、光学反射器、全息图媒介、光学组合器及其组合或其它类似技术可用于媒介。在一些具体实施中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图形图像投影到用户的视网膜上的视网膜投影技术。投影系统也可以将虚拟对象投影到物理环境中(例如，作为全息图或投影到物理表面上)。

出于本公开的目的，XR通信(XRC)会话是指XR多用户通信会话，诸如两个或更多个设备正在参与的XRE。

出于本公开的目的，本地XRC设备是指XRC会话中的所描述的或由所描述的用户控制的当前设备。

出于本公开的目的，共址XRC设备是指共享物理环境和XRC会话的两个设备，使得共址设备的用户可体验相同的物理对象和XR对象。

出于本公开的目的，远程XRC设备是指位于与当前本地XRC设备分开的物理环境中的辅助设备。在一个或多个实施方案中，该远程XRC设备可为XRC会话的参与者。

出于本公开的目的，共享虚拟元素是指对XR会话中的参与者可见或XR会话中的参与者能够以其他方式体验的XR对象。

出于本公开的目的，XRC计算环境(XRCE)是指能够托管应用程序的XRC会话的计算环境或容器。XRCE使得应用程序能够在XRC会话内运行。在某些情况下，XRCE可使得XRC会话的用户能够与被托管的应用程序在XRC会话内交互。

出于本公开的目的，XRCE实例是指所描述的或者由所描述的用户控制的当前设备的XRCE。XRCE实例可允许用户参与XRC会话并且在XRC会话中运行应用程序。

出于本公开的目的，第二XRCE实例是指XRC会话中的除了本地XRCE实例之外的辅助设备的XRCE或者由第二用户控制的XRCE。第二XRCE实例可以是远程的或共址的。

出于本公开的目的，XRCE应用程序是指能够在XRCE的上下文中执行的应用程序。

出于本公开的目的，第二XRCE应用程序是指XRC会话中的除了本地XRCE应用程序之外的辅助设备的XRCE应用程序或者由第二用户控制的XRCE应用程序。第二XRCE应用程序可以是远程的或共址的。

在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为该描述的一部分，本公开的附图中的一些附图以框图形式表示结构和设备，以避免模糊所公开构思的新颖方面。为了清晰起见，可能未对实际具体实施的所有特征进行描述。另外，作为本说明书的一部分，本公开的一些附图可以流程图的形式提供。任何特定流程图中的框可以特定顺序呈现。然而，应当理解，任何给定流程图的特定顺序仅用于举例说明一个实施方案。在其他实施方案中，可删除流程图中描绘的各种元件中的任何元件，或者可以不同的顺序，或甚至同时执行图示的操作序列。此外，其他实施方案可包括未被示为流程图的一部分的附加步骤。此外，本公开中所使用的语言已主要被选择用于可读性和指导性目的，并且可能没有被选择为划定或限定本发明的主题，从而诉诸于所必需的权利要求以确定此类发明主题。在本公开中提到“一个实施方案”或“实施方案”意指结合该实施方案所述的特定特征、结构或特性被包括在所公开主题的至少一个实施方案中，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部涉及相同的实施方案。

应当理解，在任何实际具体实施的开发中(如在任何软件和/或硬件开发项目中那样)，必须要作出许多决策以实现开发者的特定目标(例如，符合与系统和商务相关的约束条件)，并且这些目标在不同具体实施之间可能不同。还应理解，此类开发工作可能复杂且耗时，但是尽管如此，对于在受益于本公开而设计和实施图形建模系统的那些普通技术人员而言，这仍然是他们的日常工作。

参见图1，示出了根据本公开的一个或多个实施方案的通过网络105可通信地连接到附加的电子设备110和网络存储装置115的电子设备100的简化框图。电子设备100可为多功能设备诸如移动电话、平板计算机、个人数字助理、便携式音乐/视频播放器、可穿戴设备、头戴式系统、基于投影的系统、基站、膝上型计算机、台式计算机、网络设备或诸如本文所述的任何其他电子系统的一部分。电子设备100、附加的电子设备110和/或网络存储装置115可附加地或另选地包括一个或多个附加的设备(诸如服务器设备、基站、附件设备等等)，在这些附加的设备中可容纳各种功能，或者可在这些设备上分布各种功能。诸如网络105的例示性网络包括但不限于本地网络(诸如通用串行总线(USB)网络)、组织的局域网以及广域网(诸如互联网)。根据一个或多个实施方案，电子设备100用于参与XRC会话。应当理解，电子设备100、附加的电子设备110和网络存储装置115内的各种部件和功能可不同地分布在设备上或者可分布在附加的设备上。

电子设备100可包括一个或多个处理器125，诸如中央处理单元(CPU)。处理器125可包括片上系统(诸如存在于移动设备中的片上系统)，并且可包括一个或多个专用图形处理单元(GPU)。另外，处理器125可包括相同或不同类型的多个处理器。电子设备100还可包括存储器135。存储器135可包括一个或多个不同类型的存储器，该一个或多个不同类型的存储器可用于结合处理器125执行设备功能。例如，存储器135可包括高速缓存、ROM、RAM或能够存储计算机可读代码的任何种类的暂态或非暂态计算机可读存储介质。存储器135可存储用于由处理器125执行的各种编程模块，包括XR模块165、XRCE模块170和其他各种应用程序175。电子设备100还可包括存储装置130。存储装置130可包括一个或多个非暂态计算机可读存储介质，该非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质(例如CD-ROM和数字视频光盘(DVD))以及半导体存储设备(例如电可编程只读存储器(EPROM)和电可擦除可编程只读存储器(EEPROM))。根据一个或多个实施方案，存储装置130可被配置为存储内容项160。

电子设备100还可包括一个或多个相机140或其他传感器145，诸如可根据其确定场景深度的深度传感器。在一个或多个实施方案中，一个或多个相机140中的每个相机可为传统RGB相机或深度相机。此外，相机140可包括立体相机或其他多相机系统、飞行时间相机系统等。电子设备100还可包括显示器155。显示设备155可利用数字光投影、OLED、LED、uLED、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一个实施方案中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。

根据一个或多个实施方案，存储器135可包括一个或多个模块，该一个或多个模块包括能够由处理器125执行以执行功能的计算机可读代码。该存储器可包括，例如可用来为本地XRC设备提供XRE的XR模块165。XRCE模块170可生成支持XRE的环境。例如，XRCE模块170可提供可由XRE和/或被托管的应用程序使用以与电子设备100的操作系统(OS)和/或硬件交接的服务和/或应用程序编程接口。XRC会话可以是支持电子设备100以及附加的电子设备110的共享体验的计算环境。

存储器135还可包括OS模块180，用于支持电子设备100的基本功能和管理电子设备的硬件。OS模块180提供应用程序175可在其中执行的环境。在某些情况下，XRCE模块170和XR模块165可在OS模块180的上下文中运行。在其他情况下，XRCE模块170和XR模块165可与OS模块180并行地或替代OS模块处理电子设备100的基本功能和管理电子设备的硬件。XRCE模块170还提供应用程序175可在其中执行的环境。应用程序175可包括例如可由多个设备(诸如电子设备100和附加的电子设备110)在XRC会话中体验的计算机应用程序。

虽然电子设备100被描述为包括上述众多部件，但在一个或多个实施方案中，各种部件可分布在多个设备上。因此，尽管本文相对于所描绘的特定系统描述了某些调用和传输，但在一个或多个实施方案中，各种调用和传输可基于不同分布的功能而被不同地引导。另外，可使用附加部件，也可组合任何部件的功能的某些组合。

图2示出了根据一个或多个实施方案的示例性操作环境的图。尽管示出了相关特征，但本领域的普通技术人员将从本公开中认识到，为简洁起见并且为了不模糊本文所公开的具体实施中的示例的更多相关方面，未示出各种其它特征。为此，作为非限制性示例，操作环境240包括第一物理环境，而操作环境250包括第二物理环境。

如图2所示，第一环境240包括正在使用第一电子设备200的第一用户220，并且第二环境250包括正在使用第二电子设备210的第二用户232。在一个或多个实施方案中，第一电子设备200和第二电子设备210包括移动设备，诸如手持设备、可穿戴设备等等。

在一个或多个实施方案中，第一电子设备200和第二电子设备210经由网络205互相通信。网络205的示例可包括例如互联网、广域网(WAN)、局域网(LAN)等。在一个或多个实施方案中，第一电子设备200和第二电子设备210可参与XRC会话。

尽管电子设备200和第二电子设备210可参与共同XRC会话，但是XRE在每个设备上可不同地渲染。如图所示，电子设备200可描绘环境240的物理对象。如图所示，物理桌子222可在显示器242上被描绘为虚拟桌子224。在一个或多个实施方案中，显示器242可以是透视显示器，并且虚拟桌子224可只是通过显示器242的物理桌子222的视图。

电子设备200的显示器242还可包括对应于物理环境250中的用户232的头像226。出于本公开的目的，头像可包括用户的虚拟表示。该头像可描绘对应用户232的实时动作，包括移动、经更新位置和/或与XRC会话内的各种物理部件和/或虚拟部件的交互。头像可以模拟或可以不模拟用户的物理特性，并且可以模拟或可以不模拟用户的面部表情。

根据一个或多个实施方案，XRCE可以是支持一个或多个XRCE应用程序或其他模块的XRC会话，该一个或多个XRCE应用程序或其他模块跨所有参与设备诸如电子设备200和第二电子设备210提供对象的描绘。如显示器242中所示，呈现面板230A是可对所有参与设备可见的虚拟对象的示例。

作为示例，返回到环境250，第二电子设备210包括显示器252，在该显示器上描绘了呈现面板虚拟对象230B。应当理解，在一个或多个实施方案中，尽管相同的虚拟对象可跨所有参与设备可见，但是根据电子设备的位置、电子设备的取向或与电子设备200和210相关联的其他物理或虚拟特性和/或在显示器242和252内所描绘的XRCE可不同地渲染该虚拟对象。

返回到环境250，XRC会话的另一个特性是，虽然虚拟对象可跨参与设备共享，但物理世界可看起来是不同的。因此，物理椅子234被描绘为虚拟椅子236。如上所述，以及如一个或多个实施方案，显示器252可以是透视显示器，并且虚拟椅子236可以是通过透视显示器252的物理椅子234的视图。此外，第二电子设备210描绘了对应于物理环境240内的用户220的头像238。

根据一个或多个实施方案，诸如呈现面板230的虚拟对象可结合XRCE应用程序被渲染。在一个或多个实施方案中，可在XRCE内执行多个XRCE应用程序。例如，XRCE可将XRCE应用程序作为虚拟对象托管在XRCE的XRE内。虽然被托管在XRCE内，但XRCE应用程序可作为与XRCE的一个或多个进程分开的进程来执行。如下文进一步讨论，应用程序可被配置为在XRCE内或外运行。例如，基于应用程序正在其中执行的操作环境或上下文，应用程序可包括多个操作模式，例如XRCE模式和非XRCE模式。可确定应用程序诸如通过应用程序编程接口(API)正在XRCE的上下文内运行并且以XRCE模式操作。当在XRCE外运行时，应用程序可以非XRCE模式运行。例如，当在电子设备的OS的上下文中而不是在XRCE中运行时，应用程序以非XRCE模式运行。如本文所用，XRCE应用程序或被托管的应用程序还可指以XRCE模式运行的应用程序以及仅被配置为在XRCE的上下文内运行的应用程序。XRCE可以类似于操作系统的方式提供XRCE应用程序可在其中运行的容器或计算环境。这些容器可作为虚拟对象呈现给用户，使得XRCE应用程序看起来是在窗口中、表面上或另一虚拟对象上执行。

在某些情况下，XRCE应用程序在特定XRCE实例的上下文中执行。例如，与第一设备相关联的第一用户可和与第二设备相关联的第二用户参与XRC会话。该示例中的XRCE应用程序在第一设备和第二设备两者上执行。基于来自第一用户的输入，第一设备可执行在本地XRCE实例中托管的第一XRCE应用程序。第一XRCE应用程序可与在第二设备上执行的在第二XRCE实例中托管的第二XRCE应用程序共享数据。执行在特定XRCE实例的上下文内托管的应用程序帮助为XRCE内的本地用户提供隐私措施。在某些情况下，XRCE实例可在本地设备中执行。在其他情况下，XRCE实例可至少部分地在网络或被托管的设备上执行。

在某些情况下，XRC会话的用户可能期望与XRC会话的其他用户共享XRCE应用程序的应用程序体验。例如，一组用户可能想要一起体验XRCE应用程序，诸如游戏、群画应用程序、生产力应用程序等，作为XRC会话内的共享XRCE应用程序体验。在某些情况下，应用程序可被配置为在XRCE内或外运行。例如，应用程序可确定其诸如通过API正在XRCE的上下文内运行，并且以XRCE模式操作。允许XRCE应用程序访问来自XRCE的数据可引起隐私问题。例如，可能不期望允许XRCE应用程序访问如共享XRCE应用程序体验中的用户之间的语音数据、头像或其他通信数据。为了帮助保持隐私，XRCE应用程序可在XRCE应用程序可接收的数据的类型方面受到限制。

图3A是示出根据本公开的各方面的用于将XRCE应用程序体验带到XRCE的XRCE接口300的线条绘图。在某些情况下，XRCE 302可将视图显示到共享XRC会话中。XRCE 302可包括接口，诸如用户可利用来选择要带到XRCE 302中的应用程序的菜单、手势、语音命令或其他接口。在该示例中，XRCE 302包括用于将应用程序体验带到XRCE 302的菜单304。菜单304可被细分，例如，以便对可用的XRCE应用程序进行分类。在该示例中，选择游戏类别306，该游戏类别显示可被带到XRCE 302中的可用应用程序的列表308。

在某些情况下，XRCE可例如作为后台应用程序运行。例如，用户可切换出活动XRCE并切换到另一个应用程序以浏览和/或选择带到XRC会话中的应用程序。图3B是示出根据本公开的各方面的用于将应用程序体验带到XRC会话350的另一个接口的线条绘图。在该示例中，用于共享内容的接口在XRCE的上下文之外执行。作为示例，用户可在他们的设备上浏览应用程序或内容并且访问用于例如使用按钮、长按、选择内容项等将应用程序体验带到XRCE中的接口。在该示例中，用户可选择应用程序352并且访问与应用程序352相关联的上下文菜单354。上下文菜单354包括将应用程序体验带到XRCE中的菜单项356。在某些情况下，用户可从XRCE内访问XRCE应用程序，而XRCE应用程序对于XRCE的其他用户不可见。在XRCE不运行的某些情况下，可启动XRCE实例，并且然后将应用程序带到XRCE中。

在某些情况下，XRCE可包括应用程序可能够利用的功能。作为示例，第一用户可与第二用户和第三用户处于XRC会话中，并且第一用户可开始与第二用户的XRCE应用程序的应用程序体验。可使用XRCE应用程序正在XRC会话的上下文中执行的指示诸如使用标志或开关来调用或启动XRCE应用程序。在某些情况下，启动XRC会话中的多个用户之间的XRCE应用程序体验可启动每个用户的本地设备上的XRCE应用程序的实例。例如，XRC会话可调用参与应用程序体验的每个用户的每个本地设备上的XRCE应用程序。应用程序可访问允许应用程序利用由XRCE会话提供的特征的一个或多个API。例如，XRCE应用程序可能够调用由XRCE提供的API来访问由XRCE提供的功能。在某些情况下，XRCE可提供当XRCE应用程序在XRCE的上下文中执行时XRCE应用程序可使用的数据传输、联网、音频、视频和头像处理功能。继续该示例，在应用程序体验中的参与者诸如第二用户不具有XRCE应用程序的情况下，XRCE应用程序诸如在第一用户的本地设备上执行的XRCE应用程序可利用XRCE的联网功能并且传输或者使第二设备以其他方式获取XRCE应用程序的版本以供在应用程序体验期间使用。在某些情况下，与完全XRCE应用程序相比，XRCE应用程序的版本可提供减少的或不同的功能。然后，与第一用户相关联的XRCE应用程序的实例可使用由XRCE提供的联网功能来向XRCE应用程序的其他实例传输数据。

根据本公开的各方面，来自XRCE应用程序的图形数据可与视觉表示数据一起被并入到XRC会话的视频流中。视觉表示数据是表示用户的图形数据，诸如头像和/或来自用户的视频数据。视觉表示数据例如由XRCE实例收集并且分布在参与XRC会话的其他设备之间。在某些情况下，视觉表示数据可由另一个XRCE应用程序处理。该其他XRCE应用程序可集成到XRCE中，例如，作为分开来的XRCE的第一方逻辑部件，例如以允许发送单独的更新，或者作为第一或第三方的可信应用程序。

用户可与XRE内的头像相关联。在XRE中，生成头像，将头像打包到视频流中，并且将头像分发给XRC会话的其他参与者。头像的动画和/或应用于头像的效果连同如在XRC会话中的参与者之间的视频(如果有的话)也可由XRCE实例处理并且可基于视频流中的信息。

当XRCE应用程序在XRCE实例的上下文中运行时，诸如在应用程序体验期间，由XRCE应用程序提供的图形可例如经由API传递到XRCE实例，并且作为XRC会话的视频流的一部分被发送。在某些情况下，XRCE应用程序的图形环境可被显示为XRC会话的图形环境的一部分。在其他情况下，在应用程序体验期间，XRCE实例的图形环境可被XRCE应用程序的图形环境替换。图4是示出根据本公开的各方面的应用程序体验400的图。在该示例性应用程序体验400中，代替XRCE实例的图形环境，示出了XRCE应用程序402的图形环境。在某些情况下，由XRCE应用程序生成的图形数据可例如经由API发送到XRCE实例并且与视觉表示数据诸如头像一起集成到XRC会话的视频流中。根据本公开的各方面，XRCE实例继续将表示第一用户404和第二用户406的头像绘制到XRCE应用程序402的图形环境中。例如，在两个用户正在参与XRCE体验的情况下，XRCE应用程序可提供在何处显示表示这两个用户的两个头像的位置信息。头像的动画、效果等可由XRCE实例以与在XRC的图形环境中呈现的那些头像的动画、效果等类似的方式在XRCE应用程序402的图形环境中呈现。例如，XRCE可具有对本地用户的头像信息的访问权限，并且XRCE可在对应于由XRCE应用程序提供的位置信息的位置处渲染表示本地用户的头像。类似地，本地XRCE可从第二XRCE应用程序接收头像信息。头像信息可包含用于渲染和/或以动画方式显示表示第二用户的第二头像的信息。XRCE应用程序可在对应于由XRCE应用程序提供的位置信息的位置处渲染第二头像。在某些情况下，第二XRCE应用程序还可提供一个或多个头像的位置信息。在某些情况下，可基于参与应用程序体验来调节或更改与用户自身相关联的动画或用户自身的图形表示。

当接收视频流时，输入视频流由本地XRCE实例处理，并且XRCE应用程序的图形数据可由XRCE实例直接呈现，或者XRCE应用程序的图形数据可从接收到的视频流中提取并且传递给XRCE应用程序以进行处理和呈现。由于XRCE应用程序只具有对由XRCE应用程序生成或使用的图形数据的访问权限，因此XRCE应用程序不能访问用户的视觉表示。

在某些情况下，XRCE应用程序可能够控制视觉表示数据的各方面。例如，XRCE应用程序可请求XRCE实例不显示用户的图形表示。在此类情况下，可隐藏用户的头像和/或其他图形表示。作为另一示例，XRCE应用程序可向XRCE实例提供用于图形表示的位置信息和/或大小信息。这帮助允许XRCE应用程序指示将例如用户头像定位在XRCE应用程序环境内的何处以帮助优化应用程序体验。在该示例中，第一用户404跨由XRCE应用程序生成的游戏板与第二用户406相对地定位。在某些情况下，XRCE应用程序可改变或更新用户的图形表示的位置和/或大小。在某些情况下，XRCE应用程序可在每个参与者的基础上提供位置信息。例如，XRCE应用程序可能够经由XRCE实例访问关于用户的非个人可识别信息，诸如用户标识符。然后可为每个用户标识符分别提供用户的图形表示的位置和/或大小信息。该非个人可识别信息可在应用程序体验的实例之间改变或随机化。在某些情况下，XRCE应用程序可包括XRCE应用程序内的登录或账户功能。在此类情况下，参与者可登录或创建账户，并且XRCE应用程序可能够将由XRCE实例提供的非个人可识别信息与账户或登录相关联。

根据某些方面，与用户相关联或表示用户的音频内容也可由XRCE应用程序的XRCE实例处理。例如，由XRCE应用程序生成的音频数据诸如音乐、声音效果、交互声音等可由本地XRCE应用程序传递到特定设备的XRCE实例。在某些情况下，XRCE应用程序还可将关于音频数据的元数据诸如定时信息、方向信息等传递给XRCE实例以帮助控制音频数据的回放。然后，XRCE实例可向参与应用程序体验的XRC会话的其他设备传输音频的表示或指示，以便由其他设备再现。应用程序体验的参与者之间的语音音频数据可由XRCE实例处理。例如，在XRC会话期间，从XRC会话的参与者接收语音音频数据以生成音频流，该音频流适当地在参与XRC会话的设备之间传递并由参与XRC会话的设备回放。在应用程序体验期间，XRCE实例继续处理语音音频数据。由XRCE应用程序生成的音频数据可例如由API发送到XRCE实例并且集成到音频流中。例如，XRCE应用程序可提供音频数据，该音频数据可被合并到XRCE实例的音频流中并且被发送到其他参与者以用于回放。所接收的音频流可由XRCE实例处理，并且XRCE应用程序的音频数据可或者由XRCE实例直接呈现，或者音频数据可从所接收的音频流提取并且传递到XRCE应用程序以供回放，而不需要XRCE应用程序访问音频流的其余部分中的其他音频数据诸如语音音频数据。由于XRCE应用程序只具有对由XRCE应用程序生成或使用的音频数据的访问权限，因此XRCE应用程序不能访问应用程序体验的参与者之间的语音音频数据。在某些情况下，XRCE应用程序可能够例如通过向XRCE提供方向性、静音或其他信息来控制语音音频数据的各方面。可在逐个参与者的基础上或者为应用程序体验的所有参与者提供该信息。在某些情况下，语音音频数据可由另一XRCE应用程序处理和/或传输。该其他XRCE应用程序可集成到XRCE中，例如作为XRCE的第一部分逻辑部件，或者作为第一或第三方的可信应用程序。

图5是示出根据本公开的各方面的用于在多用户通信会话500中协作的技术的流程图。在框502处，接收在与第二设备的多用户通信会话中启动第一应用程序的请求。例如，多个用户可在XRC会话中协作，并且第一用户可使用XRCE应用程序开始应用程序体验。第一用户可例如经由XRCE的接口诸如菜单来启动XRCE应用程序。在其他情况下，第一用户可例如经由OS接口或应用程序接口去激活第一设备上的XRCE实例以及启动XRCE应用程序并且开始应用程序体验。在框504处，在多用户通信会话中呈现第一应用程序的环境。例如，可在XRC会话内呈现XRCE应用程序。在某些情况下，可呈现XRCE应用程序的环境来代替XRC会话的XRE。在框506处，多用户通信会话的一个或多个进程接收数据，该数据包括输入数据和第一通信数据。例如，第一用户可向XRCE应用程序提供控制输入以及语音信息。该输入可由XRCE实例接收。在一些情况下，多用户通信会话可使用一个或多个进程来执行。例如，多用户通信会话可包括渲染图形接口的进程、处理通信的另一进程等。在一些情况下，多用户通信会话可包括用于与一个或多个XRCE应用程序交接的进程。该用于与一个或多个XRCE应用程序交接的进程可与多用户通信会话的其他进程分开。例如，第一进程可向多用户通信会话的其他设备提供通信数据和/或从其接收通信数据，并且另一分开的进程可从多用户通信会话中的XRCE应用程序的环境接收信息和/或呈现该环境。在一些情况下，通信数据可由集成到XRCE中的一个或多个进程处理，例如，作为XRCE的第一部分逻辑部件。在框508处，一个或多个进程向第一应用程序提供输入数据。例如，控制输入可由XRCE实例提供给XRCE应用程序。在框510处，一个或多个进程向第二设备提供第一通信数据。例如，XRCE实例可将接收到的语音输入数据传输到参与XRC会话中的应用程序体验的另一设备。语音输入数据可由第一设备接收，例如由第一设备的麦克风接收。语音输入可由XRCE实例处理并且被提供给XRC会话而不被提供给XRCE应用程序。在框512处，一个或多个进程从第二设备接收第二通信数据。例如，XRCE实例可从参与XRC会话中的应用程序体验的另一设备接收语音数据。在框514处，一个或多个进程在第一应用程序的环境中呈现第二通信数据，其中第一应用程序被限制访问第一通信数据和第二通信数据。例如，XRCE实例将接收到的语音数据呈现给第一用户，而不将接收到的语音数据提供给XRCE应用程序。接收到的语音数据可例如由第一设备的一个或多个扬声器呈现。

图6A和图6B描绘了用于各种扩展现实技术的示例性系统600。

在一些示例中，如图6A所示，系统600包括设备600a。设备600a包括各种部件，诸如处理器602、RF电路604、存储器606、图像传感器608、取向传感器610、麦克风612、位置传感器616、扬声器618、显示器620和触敏表面622。这些部件可选地通过设备600a的通信总线650进行通信。

在一些示例中，系统600的元件在基站设备(例如，计算设备，诸如远程服务器、移动设备或膝上型计算机)中实现，并且系统600的其他元件在第二设备(例如，头戴式设备)中实现。在一些示例中，设备600A在基站设备或第二设备中实现。

如图6B所示，在一些示例中，系统600包括诸如通过有线连接或无线连接进行通信的两个(或更多个)设备。第一设备600B(例如，基站设备)包括处理器602、RF电路604和存储器606。这些部件可选地通过设备600B的通信总线650进行通信。第二设备600C(例如，头戴式设备)包括各种部件，诸如处理器602、RF电路604、存储器606、图像传感器608、取向传感器610、麦克风612、位置传感器616、扬声器618、显示器620和触敏表面622。这些部件可选地通过设备600C的通信总线650进行通信。

系统600包括处理器602和存储器606。处理器602包括一个或多个通用处理器、一个或多个图形处理器、和/或一个或多个数字信号处理器。在一些示例中，存储器606是存储计算机可读指令的一个或多个非暂态计算机可读存储介质(例如，闪存存储器，随机存取存储器)，该计算机可读指令被配置为由处理器602执行以执行下述技术。

系统600包括RF电路604。RF电路604可选地包括用于与电子设备、网络(诸如互联网、内联网)和/或无线网络(诸如蜂窝网络和无线局域网(LAN))通信的电路。RF电路604可选地包括用于使用近场通信和/或短程通信(诸如)进行通信的电路。

系统600包括显示器620。显示器620可具有不透明显示器。显示器620可具有透明或半透明显示器，该透明或半透明显示器可结合基板，表示图像的光通过该基板被引导到个体的眼睛。显示器620可结合LED、OLED、数字光投影仪、激光扫描光源、硅上液晶，或这些技术的任何组合。透射光的基板可以是光波导、光组合器、光反射器、全息基板或这些基板的任意组合。在一个示例中，透明或半透明显示器可在不透明状态与透明或半透明状态之间选择性地转换。显示器620的其他示例包括平视显示器、能够显示图形的汽车挡风玻璃、能够显示图形的窗口、能够显示图形的镜片、平板计算机、智能电话以及台式计算机或膝上型计算机。另选地，系统600可被设计为接收外部显示器(例如，智能电话)。在一些示例中，系统600是基于投影的系统，该系统使用视网膜投影将图像投影到个体的视网膜上或将虚拟对象投影到物理布景中(例如，投影到物理表面上或作为全息图)。

在一些示例中，系统600包括用于接收用户输入诸如轻击输入和轻扫输入的触敏表面622。在一些示例中，显示器620和触敏表面622形成触敏显示器。

系统600包括图像传感器608。图像传感器608可选地包括可操作以从物理布景获取物理元素的图像的一个或多个可见光图像传感器，诸如电荷耦合器件(CCD)传感器和/或互补金属氧化物半导体(CMOS)传感器。一个或多个图像传感器还任选地包括一个或多个红外(IR)传感器，诸如无源IR传感器或有源IR传感器，用于检测来自物理布景的红外光。例如，有源IR传感器包括IR发射器，诸如IR点发射器，用于将红外光发射到物理布景中。图像传感器608还可选地包括一个或多个事件相机，该事件相机被配置为捕获物理布景中物理元素的移动。图像传感器608还可选地包括一个或多个深度传感器，该深度传感器被配置为检测物理元素与系统600的距离。在一些示例中，系统600组合使用CCD传感器、事件相机和深度传感器来检测系统600周围的物理布景。在一些示例中，图像传感器608包括第一图像传感器和第二图像传感器。第一图像传感器和第二图像传感器任选地被配置为从两个不同的视角捕获物理布景中物理元素的图像。在一些示例中，系统600使用图像传感器608来接收用户输入，诸如手势。在一些示例中，系统600使用图像传感器608来检测系统600和/或显示器620在物理布景中的位置和取向。例如，系统600使用图像传感器608来跟踪显示器620相对于物理布景中的一个或多个固定元素的位置和取向。

在一些示例中，系统600包括麦克风612。系统600使用麦克风612来检测来自用户和/或用户的物理布景的声音。在一些示例中，麦克风612包括麦克风阵列(包括多个麦克风)，这些麦克风可选地协同操作，以识别环境噪声或定位物理布景的空间中的声源。

系统600包括用于检测系统600和/或显示器620的取向和/或移动的取向传感器610。例如，系统600使用取向传感器610来跟踪系统600和/或显示器620诸如相对于物理布景中的物理元素的位置和/或取向的改变。取向传感器610可选地包括一个或多个陀螺仪和/或一个或多个加速度计。

本文定义的技术考虑了获取并利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的XRE体验和应用程序体验。然而，就收集此类个人信息而言，此类信息应当在用户的知情同意下获得，使得用户知道并控制他们的个人信息的使用。

具有对个人信息的访问权限的各方将仅为了合法和合理的目的而利用该信息，并且将遵守至少符合适当法律和规章的隐私政策和惯例。另外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，个人信息将不会在任何合理和合法的目的之外被分发、出售或以其他方式共享。

然而，用户可限制各方可获得个人信息的程度。本文所述的进程和设备可允许改变设置或其他偏好，使得用户控制对他们的个人信息的访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。作为示例，用户的个人信息可被模糊或以其他方式被一般化，使得该信息不标识从其获得该信息的特定用户。

应当理解，以上描述旨在是示例性的而非限制性的。已经呈现材料以使本领域的任何技术人员能够作出并使用受权利要求保护的所公开的主题并在特定实施方案的上下文中提供该材料，其变化对于本领域的技术人员而言将是显而易见的(例如，可彼此结合地使用所公开的实施方案中的一些)。因此，图5中所示出的步骤或动作的特定布置或者图1至图4和图6中所示出的元件的布置不应被解释为限制所公开的主题的范围。因此，应当参考所附权利要求以及赋予此类权利要求的等同形式的完整范围来确定本发明的范围。在所附权利要求书中，术语“包括”和“在其中”被用作相应术语“包含”和“其中”的通俗英语等同形式。

Claims

1.一种用于在多用户通信会话中协作的方法，包括：

在第一设备处：

接收在与第二设备的多用户通信会话中启动第一应用程序的请求；

在所述多用户通信会话中呈现所述第一应用程序的环境；

通过所述多用户通信会话的一个或多个进程接收数据，所述数据包括输入数据和第一通信数据；

通过所述一个或多个进程向所述第一应用程序提供所述输入数据；

通过所述一个或多个进程向所述第二设备提供所述第一通信数据；

通过所述一个或多个进程从所述第二设备接收第二通信数据；以及

通过所述一个或多个进程在所述第一应用程序的所述环境中呈现所述第二通信数据，其中所述第一应用程序被限制访问所述第一通信数据和所述第二通信数据。

2.根据权利要求1所述的方法，还包括：

通过所述一个或多个进程并且从所述第一应用程序接收第一头像的第一头像位置信息；以及

通过所述一个或多个进程基于所述第一头像位置信息在所述第一应用程序的所述环境中呈现所述第一头像。

3.根据权利要求2所述的方法，还包括：

通过所述一个或多个进程并且从所述第一应用程序接收第二头像位置信息；

通过所述一个或多个进程从所述第二设备接收第二头像信息；以及

基于所述第二头像位置信息和所述第二头像信息呈现第二头像。

4.根据权利要求1-3中任一项所述的方法，其中所述一个或多个进程包括所述多用户通信会话的系统应用程序或可信应用程序。

5.根据权利要求1-4中任一项所述的方法，还包括基于所述输入数据更新所述第一应用程序。

6.根据权利要求1-5中任一项所述的方法，其中所述输入数据使用应用程序编程接口提供给所述第一应用程序。

7.根据权利要求1-6中任一项所述的方法，其中所述第一通信数据被提供用于由所述第一应用程序在所述多用户通信会话中的所述第二设备上运行的实例来呈现。

8.根据权利要求1-7中任一项所述的方法，其中所述环境包括所述第一应用程序的沉浸式环境。

9.根据权利要求1-8中任一项所述的方法，其中所述输入数据包括用于控制所述第一应用程序的操作的数据。

10.根据权利要求1-9中任一项所述的方法，其中所述第一通信数据包括由所述第一设备接收的音频数据，并且其中第二通信数据包括从所述第二设备接收的音频数据。

11.根据权利要求1-10中任一项所述的方法，其中所述第一应用程序包括游戏程序。

12.一种非暂态程序存储设备，包括存储在其上的指令，所述指令使得一个或多个处理器：

在所述多用户通信会话中呈现所述第一应用程序的环境；

通过所述一个或多个进程向所述第一应用程序提供所述输入数据；以及

13.根据权利要求12所述的非暂态程序存储设备，其中所述指令进一步使得所述一个或多个处理器：

14.根据权利要求13所述的非暂态程序存储设备，其中所述指令进一步使得所述一个或多个处理器：

15.根据权利要求12-14中任一项所述的非暂态程序存储设备，其中所述一个或多个进程包括所述多用户通信会话的系统应用程序或可信应用程序。

16.根据权利要求12-15中任一项所述的非暂态程序存储设备，其中所述指令进一步使得所述一个或多个处理器基于所述输入数据更新所述第一应用程序。

17.根据权利要求12-16中任一项所述的非暂态程序存储设备，其中所述输入数据使用应用程序编程接口提供给所述第一应用程序。

18.根据权利要求12-17中任一项所述的非暂态程序存储设备，其中所述第一通信数据被提供用于由所述第一应用程序在所述多用户通信会话中的所述第二设备上运行的实例来呈现。

19.根据权利要求12-18中任一项所述的非暂态程序存储设备，其中所述环境包括所述第一应用程序的沉浸式环境。

20.根据权利要求12-19中任一项所述的非暂态程序存储设备，其中所述输入数据包括用于控制所述第一应用程序的操作的数据。

21.根据权利要求12-20中任一项所述的非暂态程序存储设备，其中所述第一通信数据包括由所述第一设备接收的音频数据，并且其中第二通信数据包括从所述第二设备接收的音频数据。

22.根据权利要求12-21中任一项所述的非暂态程序存储设备，其中所述第一应用程序包括游戏程序。

23.一种电子设备，包括：

存储器；

显示器；

联网设备

输入设备；和

一个或多个处理器，所述一个或多个处理器操作地耦接到所述存储器，其中所述一个或多个处理器被配置为执行使得所述一个或多个处理器进行以下操作的指令：

通过所述显示器在所述多用户通信会话中呈现所述第一应用程序的环境；

从所述输入设备并且通过所述多用户通信会话的一个或多个进程接收数据，所述数据包括输入数据和第一通信数据；

通过所述一个或多个进程经由所述联网设备向所述第二设备提供所述第一通信数据；

通过所述一个或多个进程经由所述联网设备从所述第二设备接收第二通信数据；以及

通过所述一个或多个进程并且经由所述显示器在所述第一应用程序的所述环境中呈现所述第二通信数据，其中所述第一应用程序被限制访问所述第一通信数据和所述第二通信数据。

24.根据权利要求23所述的设备，其中所述一个或多个处理器被配置为执行指令，所述指令进一步使得所述一个或多个处理器：

通过所述一个或多个进程并且经由所述显示器基于所述第一头像位置信息在所述第一应用程序的所述环境中呈现所述第一头像。

25.根据权利要求24所述的设备，其中所述一个或多个处理器被配置为执行指令，所述指令进一步使得所述一个或多个处理器：

通过所述一个或多个进程经由所述联网设备从所述第二设备接收第二头像信息；以及

基于所述第二头像位置信息和所述第二头像信息经由所述显示器呈现第二头像。

26.根据权利要求23-25中任一项所述的设备，其中所述一个或多个进程包括所述多用户通信会话的系统应用程序或可信应用程序。

27.根据权利要求23-26中任一项所述的设备，其中所述指令进一步使得所述一个或多个处理器基于所述输入数据更新所述第一应用程序。

28.根据权利要求23-27中任一项所述的设备，其中所述输入数据使用应用程序编程接口提供给所述第一应用程序。

29.根据权利要求23-28中任一项所述的设备，其中所述第一通信数据被提供用于由所述第一应用程序在所述多用户通信会话中的所述第二设备上运行的实例来呈现。

30.根据权利要求23-29中任一项所述的设备，其中所述环境包括所述第一应用程序的沉浸式环境。

31.根据权利要求23-30中任一项所述的设备，其中所述输入数据包括用于控制所述第一应用程序的操作的数据。

32.根据权利要求23-31中任一项所述的设备，其中所述第一通信数据包括由所述第一设备接收的第一音频数据，并且其中第二通信数据包括经由所述联网设备从所述第二设备接收的第二音频数据。

33.根据权利要求32所述的设备，所述设备还包括麦克风，并且其中所述第一音频数据通过所述麦克风接收。

34.根据权利要求32所述的设备，所述设备还包括一个或多个扬声器，并且其中所述第二音频数据通过所述一个或多个扬声器呈现。

35.根据权利要求23-34中任一项所述的设备，其中所述第一应用程序包括游戏程序。

36.根据权利要求1-11中任一项所述的方法，其中所述多用户通信会话的所述一个或多个进程中的第一进程向所述第二设备提供所述第一通信数据，并且其中所述多用户通信会话的所述一个或多个进程中的第二进程在所述多用户通信会话中呈现所述第一应用程序的所述环境。

37.根据权利要求12-22中任一项所述的非暂态程序存储设备，其中所述多用户通信会话的所述一个或多个进程中的第一进程向所述第二设备提供所述第一通信数据，并且其中所述多用户通信会话的所述一个或多个进程中的第二进程在所述多用户通信会话中呈现所述第一应用程序的所述环境。

38.根据权利要求23-35中任一项所述的设备，其中所述多用户通信会话的所述一个或多个进程中的第一进程向所述第二设备提供所述第一通信数据，并且其中所述多用户通信会话的所述一个或多个进程中的第二进程在所述多用户通信会话中呈现所述第一应用程序的所述环境。