CN117441148A - 无应用程序系统和方法 - Google Patents

Abstract

本主题技术的具体实施提供了无应用程序扩展现实系统和方法。在无应用程序扩展现实环境中，可使用由计算设备的操作系统提供的数据可视化实用程序来针对用户使数据可视化。该操作系统也可与该数据可视化实用程序分开地提供交互工具，该交互工具用于交互由该数据可视化实用程序在混合现实环境中显示的数据。

Description

无应用程序系统和方法

相关申请的交叉引用

本申请要求于2021年6月4日提交的名称为“无应用程序扩展现实系统和方法(Application-Free Extended Reality Systems and Methods)”的美国临时专利申请63/197,233号的优先权的权益，该美国临时专利申请的公开内容据此全文并入本文。

技术领域

本说明书整体涉及提供扩展现实环境，包括例如无应用程序扩展现实系统和方法。

背景技术

电子设备可提供虚拟环境与物理环境的组合，以通过用计算机生成的信息进行增强来提高用户对物理环境的感知。计算机生成的信息可被显示为看起来为如由用户感觉到的物理环境的一部分。扩展现实环境通常由传统的基于应用程序的计算系统来提供，在该计算系统中，用户仅可通过利用应用程序来访问数据并且使用该应用程序的物理和功能边界内的数据来与数据交互。

附图说明

本主题技术的一些特征在所附权利要求书中予以阐述。然而，出于解释的目的，在以下附图中阐述了本主题技术的若干实施方案。

图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的示例性系统架构。

图2示出了根据本主题技术的一个或多个具体实施的电子设备的物理环境的示例。

图3示出了根据本主题技术的一个或多个具体实施的可由电子设备提供的扩展现实环境的示例。

图4示出了根据本主题技术的一个或多个具体实施的扩展现实环境的示例，在该扩展现实环境中提供了多个交互工具。

图5示出了根据本主题技术的一个或多个具体实施的扩展现实环境的示例，在该扩展现实环境中提供了交互工具的多个集合。

图6示出了根据本主题技术的一个或多个具体实施的扩展现实环境的示例，在该扩展现实环境中，使用由电子设备的操作系统提供的数据可视化工具来使数据可视化。

图7示出了根据本主题技术的一个或多个具体实施的扩展现实环境的示例，该扩展现实环境包括交互工具，并且在该扩展现实环境中，使用由电子设备的操作系统提供的数据可视化工具来使多个类型的数据可视化。

图8示出了根据本主题技术的一个或多个具体实施的电子设备的示意图。

图9示出了根据本主题技术的一个或多个具体实施的扩展现实环境的示例，在该扩展现实环境中，在对应虚拟工具箱中提供了交互工具的多个集合。

图10示出了根据本主题技术的一个或多个具体实施的包括交互工具的对应集合的扩展现实环境之间的转变的示例。

图11示出了根据本主题技术的一个或多个具体实施的用于提供对电子设备的操作的示例性过程的流程图。

图12示出了可用于实现本主题技术的一个或多个具体实施的电子系统。

具体实施方式

下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，本主题技术不限于本文阐述的具体细节，而是可采用一个或多个其他具体实施来实践。在一个或多个具体实施中，以框图形式示出了结构和部件，以便避免使本主题技术的概念模糊。

人们可在不使用电子设备的情况下感测物理环境或世界或者与物理环境或世界交互。物理特征诸如物理对象或表面可包括在物理环境内。例如，物理环境可对应于具有物理建筑物、道路和车辆的物理城市。人们可通过各种手段诸如嗅觉、视觉、味觉、听觉和触觉直接感知物理环境或与物理环境交互。这可与扩展现实(XR)环境相反，该XR环境可以是指人们可使用电子设备感测或交互的部分或完全模拟的环境。XR环境可包括虚拟现实(VR)内容、混合现实(MR)内容、增强现实(AR)内容等。使用XR系统，可跟踪人的物理运动或其表示的一部分，并且作为响应，可以符合至少一个自然定律的方式改变XR环境中的虚拟对象的属性。例如，XR系统可检测用户的头部移动，并且以模拟声音和视图将如何在物理环境中改变的方式调整呈现给用户的听觉和图形内容。在其他示例中，XR系统可检测呈现XR环境的电子设备(例如，膝上型计算机、平板电脑、移动电话等)的移动。因此，XR系统可以模拟声音和视图将如何在物理环境中改变的方式来调整呈现给用户的听觉和图形内容。在一些实例中，其他输入诸如身体运动的表示(例如，语音命令)可使XR系统调整图形内容的属性。

众多类型的电子系统可允许用户感测XR环境或与XR环境交互。不完全示例列表包括放置在用户的眼睛上的具有集成显示能力的镜片(例如，隐形眼镜)、抬头显示器(HUD)、基于投影的系统、可头戴式系统、具有集成显示技术的窗户或挡风玻璃、头戴式耳机/听筒、具有或不具有触觉反馈的输入系统(例如，手持式或可佩戴控制器)、智能电话、平板电脑、台式/膝上型计算机和扬声器阵列。头戴式系统可包括不透明显示器和一个或多个扬声器。其他头戴式系统可被配置为接收不透明外部显示器，诸如，智能电话的不透明外部显示器。头戴式系统可使用一个或多个图像传感器来捕获物理环境的图像/视频，或者使用一个或多个麦克风来捕获物理环境的音频。一些头戴式系统可包括透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可通过介质诸如全息介质、光学波导、光学组合器、光学反射器、其他类似技术或它们的组合将表示图像的光引导到用户的眼睛。可使用各种显示技术，诸如硅上液晶、LED、uLED、OLED、激光扫描光源、数字光投影或它们的组合。在一些示例中，透明或半透明显示器可被选择性地控制而变得不透明。基于投影的系统可利用将图像投影到用户的视网膜上的视网膜投影技术，或者可将虚拟内容投影到物理环境中，诸如投影到物理表面上或者作为全息图。

本文所述的本主题技术的具体实施利用电子设备来提供无应用程序环境，在该无应用程序环境中，用于与各种类型的数据交互的交互工具由设备的操作系统提供，并且与任何单独的应用程序分开。在一个或多个具体实施中，交互工具可在扩展现实(XR)环境(诸如虚拟现实环境或混合现实环境)中被提供。

操作系统可与交互工具分开地提供实用程序，该实用程序可用于使各种数据类型中的任何数据类型的数据可视化。在一个或多个可操作情景中，在数据在可视化实用程序中被可视化之前和/或正被可视化时，可向用户并发呈现多个可用交互工具以与数据进行交互。

交互工具的一个例示性示例为虚拟标记物，该虚拟标记物可用于：对在扩展现实环境的一部分中显示的图像进行注释，将数据手写到在扩展现实环境的另一部分中显示的电子表格的单元格中，和/或将输入手写到由操作系统或数据可视化实用程序提供的画布。可由操作系统(例如，并且在任何相关联的数据被显示之前或被显示时)提供的交互工具的其他示例包括：虚拟信用卡，该虚拟信用卡可用于当可购买内容稍后由可视化实用程序显示时进行购买；虚拟游戏控制器，该虚拟游戏控制器可用于控制稍后由可视化实用程序显示的游戏内容；或虚拟播放按钮，该虚拟播放按钮可用于控制稍后由可视化实用程序显示的媒体内容的媒体回放。

图1示出了根据一个或多个具体实施的包括可实现本主题系统的各种电子设备的示例性系统架构100。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

系统架构100包括电子设备105、手持式电子设备104、电子设备110、电子设备115、智能扬声器设备160和服务器120。出于解释的目的，系统架构100在图1中被示为包括电子设备105、手持式电子设备104、电子设备110、电子设备115、智能扬声器设备160和服务器120；然而，系统架构100可包括任何数量的电子设备以及任何数量的服务器或包括多个服务器的数据中心。在一些具体实施中，电子设备105、手持式电子设备104、电子设备110、电子设备115和/或智能扬声器设备160可诸如经由服务器120注册到同一用户账户和/或与同一用户账户相关联。

电子设备105可以为包括能够向用户呈现扩展现实环境的可视化的显示系统，例如由用户穿戴的智能电话、平板设备或头戴式便携式系统(例如，头戴式显示设备)。电子设备105可用电池和/或另一电源供电。在一个示例中，电子设备105的显示系统向用户提供扩展现实环境的立体呈现，使得能够提供特定场景渲染的三维视觉显示。在一个或多个具体实施中，代替利用电子设备105来访问扩展现实环境或除此之外，用户可使用手持式电子设备104，诸如平板电脑、手表、移动设备等。

电子设备105可包括一个或多个相机，诸如相机150(例如，可见光相机、红外相机等)。此外，电子设备105可包括各种传感器152，包括但不限于相机、图像传感器、触摸传感器、麦克风、惯性测量单元(IMU)、心率传感器、温度传感器、激光雷达传感器、飞行时间传感器、雷达传感器、声纳传感器、GPS传感器、Wi-Fi传感器、近场通信传感器、射频传感器、眼睛跟踪传感器等。此外，电子设备105可包括可接收用户输入的硬件元件，诸如硬件按钮或开关。由此类传感器和/或硬件元件检测到的用户输入对应于用于发起在给定扩展现实环境内生成补充虚拟内容的各种输入模态。例如，此类输入模态可包括但不限于面部跟踪、眼睛跟踪(例如，注视方向)、手部跟踪、手势跟踪、生物计量读数(例如，心率、脉搏、瞳孔扩张、呼吸、温度、脑电图、嗅觉)、识别语音或音频(例如，特定热字词)以及激活按钮或开关等。电子设备105也可检测场景中人、对象、设备的存在和/或事件的发生以开始在扩展现实环境内提供或修改虚拟内容。

电子设备105可通信地耦接到基础设备，诸如电子设备110和/或电子设备115。一般来讲，与电子设备105相比，此类基础设备可包括更多计算资源和/或可用功率。在一个示例中，电子设备105可以各种模式操作。例如，电子设备105可独立于任何基础设备以独立模式操作。当电子设备105以独立模式操作时，输入模态的数量可受到电子设备105的功率和/或处理限制的约束，诸如设备的可用电池功率。响应于功率限制，电子设备105可停用设备自身内的某些传感器以保持电池功率和/或释放处理资源。

电子设备105还可以无线连线模式操作(例如，经由无线连接与基础设备连接)，从而与给定基础设备结合工作。电子设备105还可以电子设备105物理地连接到基础设备(例如，经由电缆或一些其他物理连接器)的连接模式工作，并且可利用由基础设备提供的电力资源(例如，在基础设备在物理地连接时对电子设备105充电的情况下)。

当电子设备105以无线连线模式或连接模式操作时，可将处理用户输入和/或渲染扩展现实环境的至少一部分卸载到基础设备，从而减少电子设备105上的处理负担。例如，在一个具体实施中，电子设备105结合电子设备110或电子设备115工作以生成扩展现实环境，该扩展现实环境包括以实时方式在用户与生成的扩展现实环境之间实现不同形式的交互(例如，视觉、听觉和/或物理或触觉交互)的物理对象和/或虚拟对象。在一个示例中，电子设备105提供对应于扩展现实环境的场景的渲染，该场景可被用户感知并以实时方式交互。另外，作为呈现渲染场景的一部分，电子设备105可向用户提供声音和/或触觉或触感反馈。给定渲染场景的内容可能取决于可用处理能力、网络可用性和容量、可用电池功率和当前系统工作负载。

网络106可将例如电子设备105、电子设备110、智能扬声器设备160和/或电子设备115与每个其他设备和/或服务器120通信地(直接或间接)耦接。在一个或多个具体实施中，网络106可以是可包括互联网或可通信地耦接到互联网的设备的互连网络。

电子设备110可包括触摸屏并且可以是例如包括触摸屏的智能电话、便携式计算设备，诸如包括触摸屏的膝上型计算机、包括触摸屏的外围设备(例如数字相机、耳机)、包括触摸屏的平板设备、包括触摸屏的可穿戴设备(诸如手表、腕带等)、包括例如触摸屏的任何其他适当设备或者任何具有触控板的电子设备。在一个或多个具体实施中，电子设备110可不包括触摸屏，但可支持触摸屏类似的手势，诸如在扩展现实环境中。在一个或多个具体实施中，电子设备110可包括触控板。在图1中，通过举例的方式，电子设备110被描绘为具有触摸屏的移动智能电话设备。在一个或多个具体实施中，电子设备110、手持式电子设备104和/或电子设备105可以为和/或可包括下文相对于电子系统所论述的电子设备的全部或部分，该电子系统在下文相对于图12进行论述。在一个或多个具体实施中，电子设备110可以是另一设备，诸如互联网协议(IP)相机、平板电脑或外围设备诸如电子触笔等。

电子设备115可为例如台式计算机、便携式计算设备诸如膝上型计算机、智能电话、外围设备(例如，数字相机、耳机)、平板设备、被配置为与外部显示器诸如电视机交接的机顶盒、可穿戴设备诸如手表、腕带等。在图1中，通过举例的方式，电子设备115被描绘为台式计算机。电子设备115可以为和/或可包括下文相对于图12所论述的电子系统的全部或部分。

服务器120可形成计算机网络或服务器组130的全部或部分，诸如在云计算或数据中心实施中。例如，服务器120存储数据和软件，并且包括用于渲染和生成扩展现实环境的内容诸如图形、图像、视频、音频和多媒体文件的特定硬件(例如，处理器、图形处理器和其他专用或定制处理器)。在一个具体实施中，服务器120可用作云存储服务器，该云存储服务器存储由上述设备和/或服务器120生成的任何前述扩展现实内容，和/或用于生成/渲染此类内容的信息。

智能扬声器设备160可包括用于接受音频(例如，语音)输入的一个或多个麦克风、一个或多个声学设备(诸如扬声器)、用于与电子设备110、电子设备115、网络106、电子设备105和/或手持式电子设备104通信的通信电路、用于存储用于一个或多个应用程序的信息和/或代码的存储器和/或处理电路。智能扬声器设备160可以为和/或可包括下文相对于图12所论述的电子系统的全部或部分。

图2示出了物理环境的示例，在该物理环境中提供了电子设备105。在图2的示例中，用户可在物理环境200中保持或佩戴电子设备105，使得电子设备的显示器201插置在用户的视野与物理环境200的相当大部分(例如，如图中由显示器201的可查看显示区域203的放大的投影所示)之间。在图2的示例中，物理环境200包括物理对象206，用户101可经由显示器201(例如，基于提供给显示器201的不透明具体实施或通过显示器201的透明或半透明具体实施直接提供的图像(来自一个或多个相机(诸如相机150))查看该物理对象的一部分，而用户可直接查看该物理对象的各部分，而无需使用任何技术(如果没有以其他方式阻止查看)。图2也示出了电子设备105可如何存储：数据204；用于使各种类型的数据204可视化的数据可视化实用程序205；以及可由电子设备的操作系统提供以便于与设备和/或数据204进行用户交互的一个或多个交互工具集合207。

图3示出了由电子设备105在物理环境200中(例如，在电子设备105的可查看显示区域203内)生成的XR环境301(例如，虚拟现实环境或混合现实环境，诸如二维混合现实环境或三维混合现实环境)。在图3的示例中，计算机生成的内容正由显示器201在XR环境中(例如，在覆盖在物理环境200的各部分上或前面的可查看显示区域203内)进行显示。在该示例中，计算机生成的内容为虚拟标记物300，该虚拟标记物由电子设备105的显示器201显示为看起来在物理环境200中的三维位置处的可查看显示区域203中。

图4示出了带有在XR环境中显示的附加交互工具的图3的XR环境301。在图3的示例中，该附加交互工具包括虚拟游戏控制器400和虚拟支付工具402(例如在图4中以虚拟美元符号的形式显示，或者可以虚拟信用卡或其他虚拟支付工具的形式显示)。在一个或多个具体实施中，虚拟标记物300可由第一交互工具提供方来提供，并且虚拟游戏控制器400和虚拟支付工具402可由第二交互工具提供方来提供。在一个或多个具体实施中，第一交互工具提供方和/或第二交互工具提供方可与电子设备105的制造商和/或电子设备105的操作系统的提供方不同。例如，虚拟标记物300可由用于与数据(诸如文本数据、图像数据等)进行交互的交互工具的提供方来提供。例如，虚拟游戏控制器400可由游戏内容的提供方来提供。

在一个或多个具体实施中，交互工具(诸如虚拟标记物300和虚拟游戏控制器400以及虚拟支付工具402)可在交互工具的对应集合(在本文中也被称为交互工具集合)中被提供。例如，图5示出了可操作情景，在该可操作情景中，附加交互工具(诸如虚拟荧光笔(virtual highlighter)500和虚拟画笔502)与虚拟标记物300一起显示。在一个或多个具体实施中，用于与文本数据或图像数据进行交互的交互工具的提供方可提供交互工具的集合，该交互工具的集合包括虚拟标记物300、虚拟荧光笔500、虚拟画笔502和/或可用于与文本数据和/或图像数据进行交互的其他交互工具(例如，虚拟剪刀、虚拟粘贴物、虚拟过滤器和/或图像增强和/或调整工具，诸如虚拟颜色滑动器、对比度滑动器、亮度滑动器等)。

在图5的示例中，交互工具的附加交互工具集合207也由显示器201显示。在该示例中，交互工具的附加交互工具集合207包括虚拟播放按钮510、虚拟停止按钮512和虚拟暂停按钮514。应当理解，在图5的示例中，当电子设备上没有应用程序正在运行，并且尚未选择或显示媒体数据以使用虚拟播放按钮510、虚拟停止按钮512和虚拟暂停按钮514进行回放时，虚拟播放按钮510、虚拟停止按钮512和虚拟暂停按钮514由电子设备105的操作系统来提供和显示。当媒体数据被访问(例如，和/或在XR环境301中被可视化)时，先前所显示的虚拟播放按钮510、虚拟停止按钮512和虚拟暂停按钮514可用于控制所访问的媒体数据。这样，电子设备105的操作系统提供媒体交互工具，该媒体交互工具可用于控制任何类型和来自任何源的媒体的回放，而不需要特定于类型的应用程序来对媒体进行访问、可视化和回放。在一个或多个具体实施中，交互工具(诸如虚拟播放按钮510、虚拟停止按钮512、虚拟暂停按钮514和/或其他媒体控制工具(例如，虚拟音量控件或者虚拟倒回或快进按钮和/或滑动器))可在可由电子设备105提供的任何环境中被提供，和/或可在媒体查看XR环境(例如，其中视频数据在虚拟电影院中显示的XR环境)中被提供。

图6示出了示例，在该示例中，数据可视化实用程序205正被用于使文本数据602在XR环境301中的可视化窗口600中可视化。可视化窗口600在各种具体实施中可以为如图中的有边框窗口，或者可以为XR环境301中的无边框区域。在其他可操作情景中，数据可视化实用程序205可用于使其他类型的数据(例如，图像数据、CSV数据、文本数据、媒体数据(诸如音频和/或视频数据)、游戏数据、购物数据、场景描述数据(诸如USDZ数据)等)可视化，如本文所述。如图6所示，在一个或多个可操作情景中，数据可视化实用程序205的可视化窗口600可用于当在混合现实环境中没有交互工具被显示时使数据(诸如文本数据602)显示和/或可视化。在各种可操作情景中，数据可视化实用程序205可用于在交互工具已在混合现实环境中被显示之前、同时或之后使数据可视化。

图7示出了可操作情景，在该可操作情景中，数据可视化实用程序205和虚拟标记物300两者在混合现实环境中被并发显示。在该示例中，虚拟标记物300已用于将手写输入700与正由数据可视化实用程序205显示的文本数据602一起提供到数据可视化实用程序205的显示窗口中。例如，手写输入可以为对文本数据602的注释或附加手写文本，其可与先前存在的文本数据一起被存储在数据文件中。在图7的示例中，虚拟标记物300也已用于提供手写输入(例如，涂鸦702)，其看起来位于XR环境301中的物理对象206上。在一个或多个具体实施中，可在XR环境不再处于使用中之后从电子设备的存储器擦除涂鸦702，或者可将涂鸦702作为XR环境301的一部分进行存储(例如，存储在针对XR环境301的环境数据中)以用于未来在XR环境301中的体验。

该示例示出了由电子设备(诸如电子设备105)的操作系统提供的交互工具可如何独立于任何应用程序而被提供，以及可如何用于与在混合现实环境中的各种不同位置处显示的各种类型的数据(例如，文本数据和环境数据(诸如场景数据))进行交互。在图7的示例中，数据可视化实用程序205使文本数据602在XR环境301中的第一位置处(例如，在第一数据可视化窗口中)可视化，并且数据可视化实用程序205也正用于使不同的数据(诸如图像数据704)在XR环境301中的不同位置处的不同可视化窗口703中可视化。在该示例中，如果期望的话，电子设备105的用户也可使用虚拟标记物300或由电子设备105的操作系统提供的另一交互工具来将手写输入提供到在混合现实环境301中的另一位置处显示的图像数据704之上或之中。

在图7的示例以及本文所述的各种其他示例中，描述了虚拟标记物300和其他虚拟交互工具。应当理解，在扩展现实环境中显示的交互工具中的一个或多个交互工具可在三维扩展现实环境中以对应于对应物理工具的物理形状的三维外观来渲染和显示。例如，尽管在各图中以二维示出虚拟标记物300，但应理解，显示器201以及电子设备105的操作系统能够使虚拟标记物300显示为对于电子设备105的用户而言，看起来好像虚拟标记物300为扩展现实环境中的三维物理标记物。这样，可向电子设备105的用户提供与虚拟交互工具进行交互(如用户将与对应物理工具进行交互那样)的能力。

在图7的示例中，电子设备105的用户可例如伸出他们的手并虚拟地抓住虚拟标记物300，并且使用虚拟标记物在XR环境301中的任何虚拟或真实物理对象上进行书写，正如用户可使用物理环境200中的物理标记物在物理环境中的(例如)一张纸、白板、照片或墙壁上进行书写那样。与基于应用程序的系统(在该系统中，用于对特定类型的数据进行操作的全部工具都由正用于显示该数据的应用程序来提供并且被限定于该应用程序)相比，本文所述的操作系统提供的交互工具在空间上和功能上使交互工具免于被限制于在特定应用程序窗口内使用，并且允许用户以更紧密地匹配用户在物理世界中的体验的方式来更直观地与工具、各种类型的数据以及扩展现实环境本身进行交互。

图7还示出了交互工具(诸如虚拟标记物300)可如何由图形图标来表示，该图形图标可由用户在(例如，三维)空间内拾取、移动、放置、存储和/或以其他方式操纵，该空间包括与数据可视化工具本身和/或正由数据可视化工具可视化的数据远离和分开的区域(例如，区域或体积)。

图8示出了根据一个或多个具体实施的电子设备105的示意图。如图8的示例中所示，电子设备105可存储各种类型的数据204。在该示例中，数据204包括：类型A数据(例如，图像数据)、类型B数据(例如，媒体数据，诸如音频和/或视频数据)、类型N数据(例如，游戏数据)和/或可由计算设备存储和/或显示的任何其他类型的数据(例如，包括电子表格数据，诸如逗号分隔值(CSV)数据或其他表格式数据、编程数据、文本数据、购物数据等)。

在图8的示例中，电子设备105还存储环境数据802，该环境数据用于使用显示器201来生成一个或多个XR(例如，虚拟和/或混合现实)环境(例如，包括XR环境301)。例如，电子设备105可存储：针对第一环境(例如，第一扩展现实环境，诸如生产力环境，该生产力环境包括虚拟工作台或桌和虚拟白板、或者用于增强生产力的其他环境特征和/或特性)的环境I数据；针对第二环境(例如，游戏厅环境，在该游戏厅环境中，各种游戏可供玩耍)的环境数据II；和/或针对其他XR环境(诸如购物环境，在该购物环境中，产品被显示以供购买；或社交媒体环境，在该社交媒体环境中，来自各种源的社交媒体流是可用的和/或被显示)的其他环境数据。在一个或多个具体实施中，环境数据802可包括场景描述数据(例如，USDZ数据)，该场景描述数据针对与一个或多个环境相关联的一个或场景。

在一个或多个具体实施中，环境数据802可以为或包括物理环境数据(例如，如由电子设备105基于传感器数据(诸如相机数据、激光雷达数据、测距传感器数据或来自感测物理环境的特征的传感器的其他传感器数据)所确定的)。在这些示例性具体实施中，环境类型和/或环境特征和/或对象可从传感器数据来被确定，并且用于通知哪些提供方工具集合被呈现和/或提供方工具集合中的工具在用户的物理环境的(例如，穿透或直接)视图中如何和/或在哪里被呈现。例如，电子设备105可提供物理环境的穿透视频视图以呈现给用户，或者用户可以能够(诸如通过透明显示器)直接查看物理环境的一部分。在一些示例中，电子设备105也可基于物理环境中检测到的特征和/或对象来确定物理环境类型(例如，工作环境、家庭环境、游戏环境、购物环境)，选择与检测到的物理环境相关的一个或多个提供方工具集合，并且提供所选择的一个或多个提供方工具集合以呈现给用户，其覆盖在用户的物理环境的(例如，穿透或直接)视图上。

如图8所示，操作系统800可提供XR引擎803，该XR引擎可获得环境数据802并且生成、传递和/或渲染针对扩展现实环境(例如，XR环境301)的场景数据。如图8所示，操作系统800也可提供数据可视化实用程序205。如图所示，数据可视化实用程序205可(例如，响应于由用户进行的激活)访问任何类型的数据204，并且将数据提供给XR引擎803来渲染并生成显示数据以进行显示(例如，通过显示器201在由XR引擎803使用环境数据802生成的XR环境中)。

图8还示出了电子设备105可如何存储一个或多个交互工具集合207，该一个或多个交互工具集合中的每个交互工具集合可包括如本文所述的一个或多个交互工具。在图8的示例中，电子设备105存储第一交互工具集合207-1、第二交互工具集合207-2、第三交互工具集合207-3、和/或交互工具的一个或多个附加集合。在该示例中，第一交互工具集合207-1为来自第一提供方(例如，“提供方1”，诸如操作系统800的提供方之外的软件提供方)的工具集合，第二集合207-2为来自第二提供方(例如，“提供方2”，诸如操作系统800的提供方之外的软件提供方)的工具集合，并且第三第二集合207-3为来自第三提供方(例如，“提供方3”，诸如操作系统800的提供方)的工具集合。尽管在图8中示出了交互工具的三个集合、针对两个环境的环境数据802以及N个数据类型，但是电子设备105可存储和/或访问任何数量的交互工具集合、针对任何数量的环境的环境数据和/或任何数量的类型的数据204。也应理解，交互工具集合可包括一个交互工具、两个交互工具、三个交互工具、四个交互工具或任何数量的交互工具，并且交互工具可由用户和/或由操作系统800添加到交互工具的集合和/或从交互工具的集合移除。

在一个或多个具体实施中，交互工具集合207可独立于数据204的数据类型和环境数据802的XR环境。在一个或多个其他具体实施中，交互工具集合207可被具体地或主要地提供用于与数据的特定类型或一组数据类型一起使用。在一个或多个其他具体实施中，交互工具集合207可被具体地或主要地提供用于在特定XR环境或一组XR环境中使用。

在一个或多个具体实施中，电子设备105可以为无应用程序电子设备，该无应用程序电子设备经由单个数据可视化实用程序205、操作系统800以及由操作系统提供的交互工具集合207来提供交互和其他计算能力的完全集合。然而，如图8所示，在一个或多个具体实施中，除数据可视化实用程序205之外，电子设备105还可任选地包括一个或多个应用程序，诸如应用程序804。例如，应用程序804可以为游戏应用程序，该游戏应用程序利用环境数据802和/或数据204来向用户提供游戏体验。在该示例中，操作系统800(例如，XR引擎803)可渲染和显示由游戏应用程序生成的游戏数据，并且也可渲染由操作系统800与游戏应用程序分开地提供的一个或多个交互工具。在示例中，来自操作系统的游戏数据和交互工具可被渲染到共同游戏环境中，在该共同游戏环境中，用户可利用由操作系统提供的交互工具来与来自游戏应用程序的渲染游戏数据进行交互。然而，在其他具体实施中，数据可视化实用程序205可渲染和显示游戏数据以向用户提供游戏体验，而无需使用游戏应用程序。

在其中电子设备105包括应用程序(诸如应用程序804)的各种具体实施中，交互工具的一个或多个集合207中的一个或多个交互工具可用于与由应用程序中的任何或所有应用程序生成、显示和/或以其他方式提供的数据(例如，包括由多个不同的应用程序在各种时间或并发显示的数据)进行交互(例如，编辑、修改、补充、删除)。

在一个或多个具体实施中，电子设备105的操作系统800可显示一个或多个工具箱，来自交互工具集合207的交互工具可被可视地“存储”在该一个或多个工具箱中。图9示出了示例，在该示例中，图8的交互工具集合207-1、207-2和207-3中的每一者中的交互工具结合相应虚拟工具箱900-1、900-2和900-3来进行显示。

在图9的示例中，交互工具的第一交互工具集合207-1包括虚拟标记物300、虚拟荧光笔500和虚拟画笔502，它们可视地定位在对应虚拟工具箱900-1(例如，生产力工具箱)中。在该示例中，交互工具的第二交互工具集合207-2包括虚拟游戏控制器400和虚拟支付工具402，它们可视地定位在对应虚拟工具箱900-2(例如，游戏工具箱)中。在该示例中，交互工具的第三交互工具集合207-3包括虚拟支付工具402和虚拟购物车902，它们可视地定位在对应虚拟工具箱900-3(例如，购物工具箱)中。如图所示，虚拟支付工具402可被包括在多于一个工具箱以及交互工具的多于一个集合中。在其他具体实施中，操作系统800可提供单个虚拟支付工具402(或支付工具的单个集合，诸如链接到银行账户的虚拟现金以及链接到支付卡账户的虚拟信用卡)，该单个虚拟支付工具可在任何环境中使用和/或可被虚拟地存储在任何工具箱中。

如图9的示例中所示，一个或多个工具箱(诸如虚拟工具箱900-2和900-3)可包括一个或多个空工具位置904。空工具位置904可具有对应于交互工具的形状，该交互工具已从空工具位置被移除，或者可被购买和/或被获得来进行下载以在XR环境中使用。例如，空工具位置904可向用户指示可供购买的其他交互工具。在图9的示例中，虚拟工具箱900-2和虚拟工具箱900-3两者都包括呈虚拟标记物300的形状的空工具位置904。在一个或多个具体实施中，相同虚拟标记物300可被包括和/或可存储在交互工具的交互工具集合207中的多于一个交互工具集合中。在一个或多个其他具体实施中，交互工具的交互工具集合207中的两个或更多个交互工具集合可设置有对于该工具集合而言唯一的两个或更多个相应虚拟标记物。在一个或多个其他具体实施中，一些交互工具可适配在多个虚拟工具箱中，并且一些交互工具可仅适配在一个虚拟工具箱中。

在图9的示例中，虚拟工具箱900-2和900-3两者都包括虚拟支付工具402。在该示例中，交互工具的对应交互工具集合207中的每个对应交互工具集合中的虚拟支付工具402中的每个虚拟支付工具可包括链接到一个或多个支付提供方(例如，银行、信用卡提供方等)的对应虚拟支付工具402。然而，在一个或多个其他具体实施中，操作系统800可提供一个或多个虚拟支付工具402，该一个或多个虚拟支付工具各自链接到支付提供方并且可各自跨多个内容类型、多个交互工具集合207和/或多个XR环境进行使用。

在一个或多个具体实施中，交互工具集合207可被提供用于与数据204的特定类型进行交互或用于成组的数据类型。对应于数据类型的工具集合的例示性示例包括：用于与图像数据进行交互的笔、过滤器集合和对比度/亮度滑动器；用于与表格式数据进行交互的笔和选择工具；用于与文本数据进行交互的笔、标记物、选择工具和虚拟键盘；用于与媒体数据进行交互的播放按钮、停止按钮和暂停按钮；用于与游戏数据进行交互的操纵杆/控制器、绳索和梯子；以及用于与购物数据进行交互的钱包、信用卡和购物车。然而，这些示例只是例示性的，并且操作系统800可提供用于与数据的一个或多个类型中的任何类型进行交互的任何数量的合适的交互工具。

在一个或多个具体实施中，交互工具集合207可被提供用于在对应环境(例如，对应XR环境和/或对应物理环境)中使用。作为例示性示例，图10示出了这样的情景，在该情景中，用户将电子设备105从一个XR环境301(例如，生产力环境)转变到另一XR环境1001(例如，购物环境)。在图10的示例中，用户可正从右到左(例如，在虚线箭头的方向上)输入从XR环境301滑动到XR环境1001的手势。然而，这只是例示性的，并且XR环境之间的各种其他转变可由电子设备105响应于各种其他用户输入来提供。在其他示例中，电子设备105的用户可在物理环境之间物理地转变，并且该物理转变也可由电子设备105进行检测。例如，用户可从办公室移动到家庭、从家庭办公室移动到同一家庭中的客厅、从家庭移动到体育馆或运动场等。在一个或多个具体实施中，若干XR环境和/或物理环境中的每一者可与一个或多个对应交互工具集合207相关联。

在图10的示例中，电子设备105已在XR环境301(例如，生产力环境)中包括在生产力环境中使用的对应交互工具集合207-1(例如，包括交互工具，诸如标记物、荧光笔和画笔)。图10还示出了电子设备105可如何提供在购物环境中使用的不同的对应交互工具集合207-3(例如，包括交互工具，诸如购物车和支付工具)。

例如，购物环境可以为虚拟商店，在该虚拟商店中，电子设备105的用户可在虚拟商店中进行导航以查看待售产品的虚拟表示。在一个或多个具体实施中，电子设备105可通过以下操作来提供XR环境1001：从商家服务器获得针对虚拟商店的环境数据，并且使用从商家服务器获得的环境数据来渲染XR环境1001(例如，利用数据可视化实用程序205和/或XR引擎803)。

与从商家服务器获得的数据分开地，电子设备105可提供交互工具集合207-3以在渲染购物环境中使用。例如，并非显示由商家服务器提供(例如，如有时在商家网页上提供)的购物车和支付按钮，而是电子设备105(例如，电子设备105的操作系统800)可提供可在XR环境1001中使用并且也可在任何其他环境(包括不与商家服务器相关联的环境)中使用的购物车和支付工具。

图10所示的交互工具集合207-1和207-3可被具体地提供用于相应XR环境301和1001(其可整个地为虚拟环境，或者其可以为或包括特定物理环境的部分)，或者可被提供用于可从电子设备105获得的多个不同的环境或所有环境。交互工具集合207-1和207-3可被永久性地包括在对应XR环境中，或者可被建议(例如，由操作系统向用户建议)在特定XR环境中使用，并且也可由用户在其他XR环境内进行访问。

图11示出了根据本主题技术的一个或多个具体实施的用于操作电子设备的示例性过程1100的流程图。出于解释的目的，本文主要参考图1的电子设备105来描述过程1100。然而，过程1100不限于图1的电子设备105，并且过程1100的一个或多个框(或操作)可由其他合适设备(包括电子设备110、电子设备115和/或服务器120)的一个或多个其他部件来执行。进一步出于解释的目的，过程1100的一些框在本文中被描述为顺序地或线性地发生。然而，过程1100的多个框可并行地发生。此外，过程1100的框不必按所示顺序执行，并且/或者过程1100的一个或多个框不必执行和/或可由其他操作替代。

在图11的示例中，在框1102处，计算设备的操作系统(例如，诸如电子设备105的计算设备的操作系统)提供包括数据可视化实用程序(例如，数据可视化实用程序205)的扩展现实环境，该数据可视化实用程序当被激活时在扩展现实环境内提供对多个数据类型(例如，类型A数据、类型B数据、类型N数据)的数据(例如，数据204)的可视化。例如，扩展现实环境可以为二维扩展现实环境或三维扩展现实环境。在一个或多个具体实施中，扩展现实环境可以为无应用程序环境(例如这样的环境，在该环境中，仅数据可视化实用程序可用于数据的可视化，并且在该环境中，仅操作系统提供的工具可用于与可视化数据进行交互)。

在框1104处，操作系统在扩展现实环境中并且独立于数据可视化实用程序来提供用于与该多个数据类型中的每个相应数据类型的数据进行交互的交互工具的相应集合(例如，交互工具集合207)以进行呈现。在一个或多个具体实施中，交互工具的集合中的多于一个集合以及交互工具的每个集合中的交互工具中的多于一个交互工具可选择以在扩展现实环境中进行并发呈现。在一个或多个具体实施中，在操作系统提供用于与该多个数据类型中的每个相应数据类型的数据进行交互的交互工具的相应集合以进行呈现之前，交互工具的集合中的第一集合和第二集合分别由第一交互工具提供方和第二交互工具提供方提供给计算设备，第一交互工具提供方和第二交互工具提供方中的至少一者与操作系统的提供方不同。

在一个或多个具体实施中，交互工具的相应集合中针对该多个数据类型中的一个数据类型的交互工具为第一集合中的第一交互工具，并且第二集合中的第二交互工具被并发呈现，以用于与该多个数据类型中正由数据可视化实用程序可视化的该一个数据类型的数据进行交互(例如，如上文结合图5所述)。在一个或多个具体实施中，可在三维扩展现实环境中以三维外观来呈现交互工具的相应集合中的交互工具，三维外观对应于对应物理工具的物理形状。

在框1106处，在提供交互工具的相应集合以进行呈现之后，操作系统接收对该多个数据类型中的一个数据类型的数据的选择，以利用数据可视化实用程序来进行可视化。在一个或多个具体实施中，接收对该多个数据类型中的一个数据类型的数据的选择可包括：利用交互工具的相应集合中的交互工具来接收选择。例如，保持虚拟标记物(诸如虚拟标记物300)的用户可使用虚拟标记物来选择存储在电子设备处的文档或图像(例如，通过利用虚拟标记物指向、敲击对应于存储文档或图像的文件的图标或以其他方式结合该图标来做手势)。在其他具体实施中，可在不使用交互工具的情况下选择进行可视化的数据(例如，用户可用他们的手指向、敲击对应于文档或图像的图标或以其他方式结合该图标来做手势，或者可通过凝视图标或使用其他眼睛控制的手势和/或移动来选择数据)。在一个或多个其他可操作情景中，可在显示任何交互工具之前选择数据进行可视化(例如，如结合图6所述)。

在框1108处，操作系统响应于接收到选择而激活数据可视化实用程序。

在框1110处，激活的数据可视化实用程序使该多个数据类型中的该一个数据类型的数据可视化(例如，渲染和显示)。作为例示性示例，数据可视化实用程序可使媒体数据、游戏数据、文档、图像、文本或可由计算设备显示的任何其他数据可视化。

在框1112处，当该多个数据类型中的该一个数据类型的数据正由数据可视化实用程序可视化时，操作系统从计算设备的至少一个传感器接收对应于以下的输入(用户输入)：交互工具的相应集合中针对该多个数据类型中的该一个数据类型的交互工具，以与正被可视化的数据进行用户交互。作为例示性示例，输入可包括传感器数据，该传感器数据指示进行以下操作的用户手势：抓住并移动由操作系统提供的虚拟标记物，以在由数据可视化实用程序显示的图像上进行绘制。作为另一例示性示例，输入可包括传感器数据，该传感器数据指示进行以下操作的用户手势：抓住并操纵由操作系统提供的虚拟支付工具，以对由数据可视化实用程序显示的产品进行购买。作为另一例示性示例，输入可包括传感器数据，该传感器数据指示进行以下操作的用户手势：虚拟地按下由操作系统提供的虚拟播放按钮，以开始回放由数据可视化实用程序显示的媒体数据。

在一个或多个具体实施中，可并发显示交互工具中的两个或更多个交互工具。例如，电子设备可在扩展现实环境中并发呈现交互工具的相应集合中的交互工具以及交互工具中的至少另一交互工具，以修改该多个数据类型中正由数据可视化实用程序可视化的该一个数据类型的数据。在一个或多个具体实施中，当在扩展现实环境中的第一位置处利用激活的数据可视化实用程序来使该多个数据类型中的该一个数据类型的数据可视化时，电子设备也可在扩展现实环境中的第二位置处利用数据可视化实用程序来使该多个数据类型中的另一数据类型的数据可视化(例如，如结合图7所述)。

在一个或多个具体实施中，当该多个数据类型中的该另一数据类型中的一个数据类型的数据正由数据可视化实用程序在第二位置处可视化时，电子设备可在扩展现实环境中显示交互工具的相应集合中针对该多个数据类型中的该另一数据类型的交互工具。在各种可操作情景中，交互工具的相应集合中针对该多个数据类型中的该另一数据类型的交互工具可与交互工具的相应集合中针对该多个数据类型中的该一个数据类型的交互工具相同或不同。电子设备也可接收对交互工具的相应集合中针对该多个数据类型中的该另一数据类型的交互工具的用户选择(例如，用户可使用手势来虚拟地抓住显示的交互工具)。电子设备也可从该至少一个传感器接收对应于以下的输入：使用交互工具的相应集合中针对该多个数据类型中的该另一数据类型的所选择的交互工具来进行的与该多个数据类型中正由数据可视化实用程序在第二位置处可视化的该另一数据类型中的该一个数据类型的数据的交互(例如，当抓住所选择的交互工具时，用户可在数据的附近或数据的方向上移动或以其他方式操纵交互工具，以添加附加数据、移除数据、修改数据、向远程设备发送数据或以其他方式与可视化数据进行交互)。

在一个或多个具体实施中，计算设备也可去激活数据可视化实用程序(例如，响应于用户关闭对应可视化窗口)，并且从在扩展现实环境中的显示移除交互工具的相应集合。计算设备也可进行以下操作：接收对该多个数据类型中的另一数据类型的数据的附加选择，以利用数据可视化实用程序来进行可视化；响应于接收到附加选择而激活数据可视化实用程序；利用激活的数据可视化实用程序来使该多个数据类型中的附加数据类型的数据可视化；以及在利用激活的数据可视化实用程序来使该多个数据类型中的该附加数据类型的数据可视化之后，提供用于与该多个数据类型中的该附加数据类型的数据进行交互的至少一个交互工具。这样，在一个或多个具体实施中，因为数据可视化实用程序和交互工具是由操作系统分开地提供的(例如，并非数据访问和交互工具两者都由基于应用程序的系统中的应用程序提供并且被限定于该应用程序)，所以数据也可在没有交互工具被显示时被可视化。

如上所述，本主题技术的各方面可包括：获得和/或使用可从特定和合法的源获得的数据以操作扩展现实系统。本主题公开理解，在一些情况下，该数据可包括唯一地识别或可用于识别特定的人的个人信息。此类信息可包括：视频数据、三维几何结构数据、人口统计数据、基于位置的数据、在线标识、电话号码、手势数据、眼睛跟踪数据、电子邮件地址、家庭地址、与用户的健康或健身级别相关的生物计量数据或记录(例如，生命体征测量结果、药物信息、锻炼信息)、出生日期或任何其他个人信息。

本主题公开认识到，在本公开技术中使用此类个人信息可使用户受益。例如，个人信息可用于提供无应用程序XR环境。

本主题公开理解，负责对个人信息的收集、分析、公开、传输、存储或其他使用的实体将遵守既定的隐私政策和/或隐私惯例。特别地，将期望这些实体实现和一贯地应用一般被公认为满足或超过针对维护用户隐私的行业或政府要求的隐私惯例。将期望关于对个人数据的使用的此类信息可由用户突出地并方便地访问，并且随对数据的采集和/或使用发生变化而被更新。期望来自用户的个人信息被收集仅用于合法用途。另外，期望此类收集/共享仅在接收到用户同意书或在适用法律中所规定的其他合法依据之后发生。另外，期望此类实体考虑采取任何适当的步骤来保卫和保障对个人信息的访问，并且确保有权访问个人信息的其他人遵守其隐私政策和程序。另外，此类实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和惯例。此外，期望政策和惯例针对正被采集和/或访问的特定类型的个人信息进行调制，并且针对适用法律和标准(包括可施加较高标准的辖区专有法律和标准)进行调制。例如，在美国，对健康数据的采集或访问可能受到联邦法律和/或州法律的管控，诸如健康保险流通与责任法案(HIPAA)；并且其他国家的健康数据可能受到其他法规和政策的约束并被期望进行相应处理。

不管前述内容如何，本主题公开也理解可提供这样的实施方案，在该实施方案中，为用户提供用于阻止对个人信息的使用或访问的选项。即，本主题公开理解，可提供硬件元件和/或软件元件以防止或阻止对个人信息的访问。例如，就提供无应用程序XR环境而言，本主题技术可允许用户选择加入或退出包括个人信息的采集和/或共享(作为注册过程的一部分或任何其他时间)的各方面。除提供用于选择加入或退出的选项之外，本主题公开还可包括与个人信息访问或使用有关的通知。例如，可在下载/安装应用程序时向用户提供个人信息将被访问的通知，并且随后在应用程序访问个人信息之前(例如，紧接在应用程序访问个人信息之前)提醒该通知。

此外，本主题公开期望对个人信息进行处理和管理，以便使未授权或无意的使用或访问的风险最小化。风险的最小化可包括：当数据正被使用时限制数据采集和数据删除。另外，并且在适用的用例(包括针对各种健康相关的使用)中，数据可被去识别以保护用户的隐私。对于适当的用例，数据去识别可包括：标识的移除、对存储的数据的特异性或量进行管理(例如，以区域特异性而不是地址特异性、或者以对于脸部或其他个人特征的识别而言不足的尺度来采集或存储位置)、对数据的存储进行管理(例如，通过存储遍及多个用户所聚集的数据)和/或可使用有差别的隐私和/或其他方法。

因此，虽然本主题公开广义地考虑在一个或多个具体实施中对个人信息的使用，但本主题公开理解，可在不触及个人信息的情况下实现各种具体实施(即，公开了不会由于个人信息的不可存取性而使得不可进行操作的具体实施)。

图12示出了可用于实现本主题技术的一个或多个具体实施的电子系统1200。电子系统1200可以为如图1所示的电子设备105、手持式电子设备104、电子设备110、电子设备115、智能扬声器设备160和/或服务器120和/或可以为它们的一部分。电子系统1200可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统1200包括总线1208、一个或多个处理单元1212、系统存储器1204(和/或缓存)、ROM 1210、永久性存储设备1202、输入设备接口1214、输出设备接口1206以及一个或多个网络接口1216，或其子集及变体形式。

总线1208总体表示通信地连接电子系统1200的许多内部设备的所有系统总线、外围设备总线和芯片组总线。在一个或多个具体实施中，总线1208将一个或多个处理单元1212与ROM 1210、系统存储器1204和永久性存储设备1202通信地连接。一个或多个处理单元1212从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行本主题公开的过程。在不同的具体实施中，该一个或多个处理单元1212可为单个处理器或者多核处理器。

ROM 1210存储一个或多个处理单元1212以及电子系统1200的其他模块所需的静态数据和指令。另一方面，永久性存储设备1202可为读写存储器设备。永久性存储设备1202可为即使在电子系统1200关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其相应盘驱动器)可被用作永久性存储设备1202。

在一个或多个具体实施中，可移除存储设备(诸如软盘、闪存驱动器及其对应的磁盘驱动器)可以用作永久性存储设备1202。与永久性存储设备1202一样，系统存储器1204可为读写存储器设备。然而，与永久性存储设备1202不同，系统存储器1204可为易失性读写存储器，诸如随机存取存储器。系统存储器1204可存储一个或多个处理单元1212在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程存储在系统存储器1204、永久性存储设备1202和/或ROM 1210(它们各自被实现为非暂态计算机可读介质)中。该一个或多个处理单元1212从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过程。

总线1208还连接至输入设备接口1214和输出设备接口1206。输入设备接口1214使得用户能够向电子系统1200传送信息以及选择命令。可与输入设备接口1214一起使用的输入设备可包括例如字母数字混合键盘和指向设备(也称为“光标控制设备”)。输出设备接口1206可例如使得能够显示电子系统1200所生成的图像。可与输出设备接口1206一起使用的输出设备可包括例如打印机和显示设备，诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、柔性显示器、平板显示器、固态显示器、投影仪或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。

最后，如图12所示，总线1208还通过一个或多个网络接口1216将电子系统1200耦接到一个或多个网络以及/或者耦接到一个或多个网络节点，诸如图1中所示的电子设备110。以此方式，电子系统1200可为计算机网络(诸如LAN、广域网(“WAN”)或内联网)的一部分，或者可为网络的网络(诸如互联网)的一部分。电子系统1200的任何或所有部件可与本主题公开一起使用。

上述这些功能可在计算机软件、固件或硬件中实现。该技术可使用一个或多个计算机程序产品实现。可编程处理器和计算机可包括在移动设备中或封装为移动设备。该过程和逻辑流程可由一个或多个可编程处理器和一个或多个可编程逻辑电路执行。通用和专用计算设备以及存储设备可通过通信网络互连。

一些具体实施包括将计算机程序指令存储在机器可读或计算机可读介质(也称为计算机可读存储介质、机器可读介质或机器可读存储介质)中的电子部件，诸如微处理器、存储装置以及存储器。此类计算机可读介质的一些示例包括RAM、ROM、只读光盘(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-RW)、只读数字通用光盘(例如，DVD-ROM、双层DVD-ROM)、各种可刻录/可重写DVD(例如，DVD-RAM、DVD-RW、DVD+RW等)、闪存存储器(例如，SD卡，mini-SD卡、micro-SD卡等)、磁性和/或固态硬盘驱动器、只读和可刻录盘、超密度光盘、任何其他光学或磁性介质以及软盘。计算机可读介质可存储计算机程序，该计算机程序可由至少一个处理单元执行并且包括用于执行各种操作的指令集。计算机程序或者计算机代码的示例包括机器代码，诸如由编译器所产生的机器代码，以及包括可由计算机、电子部件或微处理器使用解译器来执行的更高级别代码的文件。

虽然上述论述主要涉及执行软件的微处理器或多核处理器，但一些具体实施由一个或多个集成电路诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)执行。在一些具体实施中，此类集成电路执行存储在电路自身上的指令。

如本说明书以及本专利申请的任何权利要求所用，术语“计算机”、“服务器”、“处理器”及“存储器”均是指电子或其它技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语显示或正在显示意指在电子设备上显示。如本说明书以及本专利申请的任何权利要求所使用的，术语“计算机可读介质”以及“计算机可读媒介”完全限于以可由计算机读取的形式存储信息的可触摸的有形物体。这些术语不包括任何无线信号、有线下载信号以及任何其他短暂信号。

为了提供与用户的交互，本说明书中所述的主题的具体实施可在具有用于向用户显示信息的显示设备以及用户可用来向计算机提供输入的键盘和指向设备的计算机上实现，显示设备为例如CRT(阴极射线管)或LCD(液晶显示器)监视器，指向设备为例如鼠标或轨迹球。其他种类的设备也可用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。此外，计算机可通过向用户所使用的设备发送文档以及从其接收文档来与用户进行交互；例如，通过响应于从用户客户端设备上的web浏览器接收的请求而将网页发送到该web浏览器。

本说明书中所述的主题的实施方案可在计算系统中实现，该计算系统包括后端部件，例如作为数据服务器，或者包括中间件部件，例如应用服务器，或者包括前端部件，例如具有图形用户界面或Web浏览器的客户端计算机，用户可通过该图形用户界面或Web浏览器与本说明书中所述的主题的具体实施进行交互，或者包括一个或多个此类后端部件、中间件部件或前端部件的任何组合。系统的部件可通过任何形式或介质的数字数据通信例如通信网络来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)和对等网络(例如，自组织对等网络)。

计算系统可包括客户端和服务器。客户端和服务器一般是相互远离的，并且可通过通信网络进行交互。客户端和服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。在某些具体实施中，服务器将数据(例如，HTML页面)传输到客户端设备(例如，为了向与该客户端设备交互的用户显示数据以及从与该客户端设备交互的用户接收用户输入)。在服务器处可以从客户端设备接收客户端设备处生成的数据(例如，用户交互的结果)。

根据本公开的各方面，提供了一种方法，该方法包括：利用计算设备的操作系统来提供包括数据可视化实用程序的扩展现实环境，该数据可视化实用程序当被激活时在扩展现实环境内提供对多个数据类型的数据的呈现；利用操作系统在扩展现实环境中并且独立于数据可视化实用程序来提供用于与该多个数据类型中的每个相应数据类型的数据进行交互的交互工具的相应集合以进行呈现，其中交互工具的集合中的多于一个集合以及交互工具的每个集合中的交互工具中的多于一个交互工具可选择以在扩展现实环境中进行并发呈现；在提供交互工具的相应集合以进行呈现之后，接收对该多个数据类型中的一个数据类型的数据的选择，以利用数据可视化实用程序来进行呈现；响应于接收到选择而激活数据可视化实用程序；利用激活的数据可视化实用程序来呈现该多个数据类型中的该一个数据类型的数据；以及当该多个数据类型中的该一个数据类型的数据正由数据可视化实用程序呈现时，从计算设备的至少一个传感器接收与交互工具的相应集合中针对该多个数据类型中的该一个数据类型的交互工具相对应的输入，以与正被呈现的数据进行用户交互。

根据本公开的各方面，提供了一种计算设备，该计算设备包括：存储器，该存储器存储操作系统；至少一个传感器；以及交互工具的多个集合；以及至少一个处理器，该至少一个处理器被配置为：利用操作系统来提供包括数据可视化实用程序的扩展现实环境，该数据可视化实用程序当被激活时在扩展现实环境内提供对多个数据类型的数据的呈现；利用操作系统在扩展现实环境中并且独立于数据可视化实用程序来提供用于与该多个数据类型中的每个相应数据类型的数据进行交互的交互工具的相应集合以进行呈现，其中交互工具的集合中的多于一个集合以及交互工具的每个集合中的交互工具中的多于一个交互工具可选择以在扩展现实环境中进行并发呈现；在提供交互工具的相应集合以进行呈现之后，接收对该多个数据类型中的一个数据类型的数据的选择，以利用数据可视化实用程序来进行呈现；响应于接收到选择而激活数据可视化实用程序；利用激活的数据可视化实用程序来呈现该多个数据类型中的该一个数据类型的数据；以及当该多个数据类型中的该一个数据类型的数据正由数据可视化实用程序呈现时，从该至少一个传感器接收与交互工具的相应集合中针对该多个数据类型中的该一个数据类型的交互工具相对应的输入，以与正被呈现的数据进行用户交互。

根据本公开的各方面，提供了非暂态计算机可读介质，该非暂态计算机可读介质存储指令，该指令当由一个或多个处理器执行时使得该一个或多个处理器执行包括以下各项的操作：利用计算设备的操作系统来提供包括数据可视化实用程序的扩展现实环境，该数据可视化实用程序当被激活时在扩展现实环境内提供对多个数据类型的数据的呈现；利用操作系统在扩展现实环境中并且独立于数据可视化实用程序来提供用于与该多个数据类型中的每个相应数据类型的数据进行交互的交互工具的相应集合以进行呈现，其中交互工具的集合中的多于一个集合以及交互工具的每个集合中的交互工具中的多于一个交互工具可选择以在扩展现实环境中进行并发呈现；在提供交互工具的相应集合以进行呈现之后，接收对该多个数据类型中的一个数据类型的数据的选择，以利用数据可视化实用程序来进行呈现；响应于接收到选择而激活数据可视化实用程序；利用激活的数据可视化实用程序来呈现该多个数据类型中的该一个数据类型的数据；以及当该多个数据类型中的该一个数据类型的数据正由数据可视化实用程序呈现时，从计算设备的至少一个传感器接收与交互工具的相应集合中针对该多个数据类型中的该一个数据类型的交互工具相对应的输入，以与正被呈现的数据进行用户交互。

本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用程序以及对整个系统施加的设计约束。所述功能可针对每个特定应用以不同方式实现。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。

应当理解，本发明所公开的过程中的步骤的特定顺序或分级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的步骤的特定顺序或者分级结构可被重新布置。该步骤中的一些步骤可被同时执行。所附方法权利要求呈现样本次序中的各种步骤的元素，并且不意味着限于所呈现的特定顺序或分级结构。

先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。先前描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的各个方面，而是旨在使得全部范围与语言权利要求书一致，其中提及单数形式的要素并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和副标题(如果有的话)仅用于方便，并不限制本文所述的本发明。

如本文所用，术语网站可包括网站的任何方面，包括一个或多个网页、用于托管或存储网络相关内容的一个或多个服务器等。因此，术语网站可与术语网页和服务器互换使用。谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。例如，部件或被配置为监视和控制操作的处理器也可能意味着处理器被编程以监视和控制操作或者处理器能够操作以监视和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。

如本文所用，术语自动可包括由计算机或机器的执行而无需用户干预；例如，通过响应于计算机或机器或其他启动机构的谓词动作的指令。字词“示例”在本文用于意指“用作示例或者例示”。本文作为“示例”所述的任何方面或者设计不一定被理解为比其他方面或者设计优选或者有利。

短语诸如“方面”不意味此方面对本主题技术是必需的或者此方面应用于本主题技术的所有配置。与一个方面相关的公开可应用于所有配置，或者一个或多个配置。一个方面可提供一个或多个示例。短语诸如方面可指一个或多个方面，反之亦然。短语诸如“实施方案”不意味此实施方案对本主题技术是必需的或者此实施方案应用于本主题技术的所有配置。与一个实施方案相关的公开可应用于所有实施方案，或者一个或多个实施方案。一个实施方案可提供一个或多个示例。短语诸如“实施方案”可指一个或多个实施方案，反之亦然。短语诸如“配置”不意味此配置是本主题技术必需的或者此配置应用于本主题技术的所有配置。与配置相关的公开可应用于所有配置或者一个或多个配置。配置可提供一个或多个示例。短语诸如“配置”可指一个或多个配置，反之亦然。

Claims (45)

1.一种方法，包括：

利用计算设备的操作系统来提供包括数据可视化实用程序的扩展现实环境，所述数据可视化实用程序当被激活时在所述扩展现实环境内提供对多个数据类型的数据的呈现；

利用所述操作系统在所述扩展现实环境中并且独立于所述数据可视化实用程序来提供用于与所述多个数据类型中的每个相应数据类型的数据进行交互的交互工具的相应集合以进行呈现，其中所述交互工具的集合中的多于一个集合以及所述交互工具的集合中的所述多于一个集合中的每个集合中的所述交互工具中的多于一个交互工具能够选择以在所述扩展现实环境中进行并发呈现；

在提供所述交互工具的所述相应集合以进行呈现之后，接收对所述多个数据类型中的一个数据类型的数据的选择，以利用所述数据可视化实用程序来进行呈现；

响应于接收到所述选择而激活所述数据可视化实用程序；

利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述一个数据类型的所述数据；以及

当所述多个数据类型中的所述一个数据类型的所述数据正由所述数据可视化实用程序呈现时，从所述计算设备的至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的交互工具相对应的输入，以与正被呈现的所述数据进行用户交互。

2.根据权利要求1所述的方法，其中在所述操作系统提供用于与所述多个数据类型中的每个相应数据类型的所述数据进行交互的所述交互工具的所述相应集合以进行呈现之前，交互工具的所述集合中的第一集合和第二集合分别由第一交互工具提供方和第二交互工具提供方提供给所述计算设备，所述第一交互工具提供方和所述第二交互工具提供方中的至少一者与所述操作系统的提供方不同。

3.根据权利要求2所述的方法，其中交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具为所述第一集合中的第一交互工具，并且其中所述第二集合中的第二交互工具被并发呈现，以用于与所述多个数据类型中正由所述数据可视化实用程序呈现的所述一个数据类型的所述数据进行交互。

4.根据权利要求1至3中任一项所述的方法，其中所述扩展现实环境为三维扩展现实环境。

5.根据权利要求4所述的方法，还包括：在所述三维扩展现实环境中以三维外观来呈现交互工具的所述相应集合中的所述交互工具，所述三维外观对应于对应物理工具的物理形状。

6.根据权利要求1至5中任一项所述的方法，其中接收对所述多个数据类型中的一个数据类型的所述数据的所述选择包括：利用交互工具的所述相应集合中的所述交互工具来接收所述选择。

7.根据权利要求6所述的方法，还包括：在所述扩展现实环境中并发呈现交互工具的所述相应集合中的所述交互工具以及交互工具的所述相应集合中的所述交互工具中的至少另一交互工具，以修改所述多个数据类型中正由所述数据可视化实用程序呈现的所述一个数据类型的所述数据。

8.根据权利要求1至7中任一项所述的方法，其中所述扩展现实环境为无应用程序环境。

9.根据权利要求1至8中任一项所述的方法，还包括：当在所述扩展现实环境中的第一位置处利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述一个数据类型的所述数据时，在所述扩展现实环境中的第二位置处利用所述数据可视化实用程序来呈现所述多个数据类型中的另一数据类型的数据。

10.根据权利要求9所述的方法，还包括：当所述多个数据类型中的所述另一数据类型中的一个数据类型的所述数据正由所述数据可视化实用程序在所述第二位置处呈现时：

在所述扩展现实环境中呈现交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的交互工具；

接收对交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具的用户选择；以及

从所述计算设备的所述至少一个传感器接收对应于以下的用户输入：使用交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所选择的交互工具来进行的与所述多个数据类型中正由所述数据可视化实用程序在所述第二位置处呈现的所述另一数据类型中的所述一个数据类型的所述数据的交互。

11.根据权利要求10所述的方法，其中交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具相同。

12.根据权利要求10所述的方法，其中交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具不同。

13.根据权利要求9所述的方法，还包括：

从所述计算设备的所述至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具相对应的输入，以与所述多个数据类型中在所述第一位置处的所述一个数据类型的所述数据进行用户交互；以及

从所述计算设备的所述至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的相同交互工具相对应的输入，以与所述多个数据类型中在所述第二位置处的所述另一数据类型的所述数据进行用户交互。

14.根据权利要求1至13中任一项所述的方法，还包括：

去激活所述数据可视化实用程序；以及

从在所述扩展现实环境中的呈现移除交互工具的所述相应集合。

15.根据权利要求14所述的方法，还包括：

接收对所述多个数据类型中的另一数据类型的数据的附加选择，以利用所述数据可视化实用程序来进行呈现；

响应于接收到所述附加选择而激活所述数据可视化实用程序；

利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述另一数据类型的所述数据；以及

在利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述另一数据类型的所述数据之后，提供用于与所述多个数据类型中的所述另一数据类型的所述数据进行交互的至少一个交互工具以进行呈现。

16.一种计算设备，包括：

存储器，所述存储器存储操作系统以及交互工具的多个集合；

至少一个传感器；和

至少一个处理器，所述至少一个处理器被配置为：

利用所述操作系统来提供包括数据可视化实用程序的扩展现实环境，所述数据可视化实用程序当被激活时在所述扩展现实环境内提供对多个数据类型的数据的呈现；

利用所述操作系统在所述扩展现实环境中并且独立于所述数据可视化实用程序来提供用于与所述多个数据类型中的每个相应数据类型的数据进行交互的所述交互工具的相应集合以进行呈现，其中交互工具的所述多个集合中的多于一个集合以及交互工具的所述集合中的所述多于一个集合中的每个集合中的所述交互工具中的多于一个交互工具能够选择以在所述扩展现实环境中进行并发呈现；

在提供所述交互工具的所述相应集合以进行呈现之后，接收对所述多个数据类型中的一个数据类型的数据的选择，以利用所述数据可视化实用程序来进行呈现；

响应于接收到所述选择而激活所述数据可视化实用程序；

利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述一个数据类型的所述数据；以及

当所述多个数据类型中的所述一个数据类型的所述数据正由所述数据可视化实用程序呈现时，从所述至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的交互工具相对应的输入，以与正被呈现的所述数据进行用户交互。

17.根据权利要求16所述的计算设备，其中，在所述操作系统提供用于与所述多个数据类型中的每个相应数据类型的所述数据进行交互的所述交互工具的所述相应集合以进行呈现之前，交互工具的所述集合中的第一集合和第二集合由所述计算设备分别从第一交互工具提供方和第二交互工具提供方获得，所述第一交互工具提供方和所述第二交互工具提供方中的至少一者与所述操作系统的提供方不同。

18.根据权利要求17所述的计算设备，其中交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具为所述第一集合中的第一交互工具，并且其中所述第二集合中的第二交互工具被并发呈现，以用于与所述多个数据类型中正由所述数据可视化实用程序呈现的所述一个数据类型的所述数据进行交互。

19.根据权利要求16至18中任一项所述的计算设备，其中所述扩展现实环境为三维扩展现实环境。

20.根据权利要求19所述的计算设备，其中所述至少一个处理器还被配置为在所述三维扩展现实环境中以三维外观来呈现交互工具的所述相应集合中的所述交互工具，所述三维外观对应于对应物理工具的物理形状。

21.根据权利要求16至20中任一项所述的计算设备，其中所述至少一个处理器被配置为利用交互工具的所述相应集合中的所述交互工具来接收对所述多个数据类型中的一个数据类型的所述数据的所述选择。

22.根据权利要求21所述的计算设备，其中所述至少一个处理器还被配置为：在所述扩展现实环境中并发呈现交互工具的所述相应集合中的所述交互工具以及交互工具的所述相应集合中的所述交互工具中的至少另一交互工具，以修改所述多个数据类型中正由所述数据可视化实用程序呈现的所述一个数据类型的所述数据。

23.根据权利要求16至21中任一项所述的计算设备，其中所述扩展现实环境为无应用程序环境。

24.根据权利要求16至23中任一项所述的计算设备，其中所述至少一个处理器还被配置为：当在所述扩展现实环境中的第一位置处利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述一个数据类型的所述数据时，在所述扩展现实环境中的第二位置处利用所述数据可视化实用程序来呈现所述多个数据类型中的另一数据类型的数据。

25.根据权利要求24所述的计算设备，其中所述至少一个处理器还被配置为当所述多个数据类型中的所述另一数据类型中的一个数据类型的所述数据正由所述数据可视化实用程序在所述第二位置处呈现时：

在所述扩展现实环境中呈现交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的交互工具；

接收对交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具的用户选择；以及

从所述至少一个传感器接收对应于以下的输入：使用交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所选择的交互工具来进行的与所述多个数据类型中正由所述数据可视化实用程序在所述第二位置处呈现的所述另一数据类型中的所述一个数据类型的所述数据的交互。

26.根据权利要求25所述的计算设备，其中交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具相同。

27.根据权利要求25所述的计算设备，其中交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具不同。

28.根据权利要求24所述的计算设备，其中所述至少一个处理器还被配置为：

从所述至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具相对应的输入，以与所述多个数据类型中在所述第一位置处的所述一个数据类型的所述数据进行用户交互；以及

从所述至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的相同交互工具相对应的输入，以与所述多个数据类型中在所述第二位置处的所述另一数据类型的所述数据进行用户交互。

29.根据权利要求16至28中任一项所述的计算设备，其中所述至少一个处理器还被配置为：

去激活所述数据可视化实用程序；以及

从在所述扩展现实环境中的呈现移除交互工具的所述相应集合。

30.根据权利要求29所述的计算设备，其中所述至少一个处理器还被配置为：

接收对所述多个数据类型中的另一数据类型的数据的附加选择，以利用所述数据可视化实用程序来进行呈现；

响应于接收到所述附加选择而激活所述数据可视化实用程序；

利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述另一数据类型的所述数据；以及

在利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述另一数据类型的所述数据之后，提供用于与所述多个数据类型中的所述另一数据类型的所述数据进行交互的至少一个交互工具以进行呈现。

31.一种非暂态计算机可读介质，所述非暂态计算机可读介质存储指令，所述指令当由一个或多个处理器执行时使得所述一个或多个处理器执行包括以下各项的操作：

利用计算设备的操作系统来提供包括数据可视化实用程序的扩展现实环境，所述数据可视化实用程序当被激活时在所述扩展现实环境内提供对多个数据类型的数据的呈现；

利用所述操作系统在所述扩展现实环境中并且独立于所述数据可视化实用程序来提供用于与所述多个数据类型中的每个相应数据类型的数据进行交互的交互工具的相应集合以进行呈现，其中交互工具的所述集合中的多于一个集合以及交互工具的所述集合中的所述多于一个集合中的每个集合中的所述交互工具中的多于一个交互工具能够选择以在所述扩展现实环境中进行并发呈现；

在提供所述交互工具的所述相应集合以进行呈现之后，接收对所述多个数据类型中的一个数据类型的数据的选择，以利用所述数据可视化实用程序来进行呈现；

响应于接收到所述选择而激活所述数据可视化实用程序；

利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述一个数据类型的所述数据；以及

当所述多个数据类型中的所述一个数据类型的所述数据正由所述数据可视化实用程序呈现时，从所述计算设备的至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的交互工具相对应的输入，以与正被呈现的所述数据进行用户交互。

32.根据权利要求31所述的非暂态计算机可读介质，其中，在所述操作系统提供用于与所述多个数据类型中的每个相应数据类型的所述数据进行交互的所述交互工具的所述相应集合以进行呈现之前，交互工具的所述集合中的第一集合和第二集合分别由第一交互工具提供方和第二交互工具提供方提供给所述计算设备，所述第一交互工具提供方和所述第二交互工具提供方中的至少一者与所述操作系统的提供方不同。

33.根据权利要求32所述的非暂态计算机可读介质，其中交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具为所述第一集合中的第一交互工具，并且其中所述第二集合中的第二交互工具被并发呈现，以用于与所述多个数据类型中正由所述数据可视化实用程序呈现的所述一个数据类型的所述数据进行交互。

34.根据权利要求31至33中任一项所述的非暂态计算机可读介质，其中所述扩展现实环境为三维扩展现实环境。

35.根据权利要求34所述的非暂态计算机可读介质，所述操作还包括在所述三维扩展现实环境中以三维外观来呈现交互工具的所述相应集合中的所述交互工具，所述三维外观对应于对应物理工具的物理形状。

36.根据权利要求31所述的非暂态计算机可读介质，其中接收对所述多个数据类型中的一个数据类型的所述数据的所述选择包括利用交互工具的所述相应集合中的所述交互工具来接收所述选择。

37.根据权利要求36所述的非暂态计算机可读介质，所述操作还包括在所述扩展现实环境中并发呈现交互工具的所述相应集合中的所述交互工具以及交互工具的所述相应集合中的至少另一交互工具，以修改所述多个数据类型中正由所述数据可视化实用程序呈现的所述一个数据类型的所述数据。

38.根据权利要求31至37中任一项所述的非暂态计算机可读介质，其中所述扩展现实环境为无应用程序环境。

39.根据权利要求31至38中任一项所述的非暂态计算机可读介质，所述操作还包括：当在所述扩展现实环境中的第一位置处利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述一个数据类型的所述数据时，在所述扩展现实环境中的第二位置处利用所述数据可视化实用程序来呈现所述多个数据类型中的另一数据类型的数据。

40.根据权利要求39所述的非暂态计算机可读介质，所述操作还包括：当所述多个数据类型中的所述另一数据类型中的一个数据类型的所述数据正由所述数据可视化实用程序在所述第二位置处呈现时：

在所述扩展现实环境中呈现交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的交互工具；

接收对交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具的用户选择；以及

从所述至少一个传感器接收对应于以下的输入：使用交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所选择的交互工具来进行的与所述多个数据类型中正由所述数据可视化实用程序在所述第二位置处呈现的所述另一数据类型中的所述一个数据类型的所述数据的交互。

41.根据权利要求40所述的非暂态计算机可读介质，其中交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具相同。

42.根据权利要求40所述的非暂态计算机可读介质，其中交互工具的所述相应集合中针对所述多个数据类型中的所述另一数据类型的所述交互工具与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具不同。

43.根据权利要求39所述的非暂态计算机可读介质，所述操作还包括：

从所述至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的所述交互工具相对应的输入，以与所述多个数据类型中在所述第一位置处的所述一个数据类型的所述数据进行用户交互；以及

从所述至少一个传感器接收与交互工具的所述相应集合中针对所述多个数据类型中的所述一个数据类型的相同交互工具相对应的输入，以与所述多个数据类型中在所述第二位置处的所述另一数据类型的所述数据进行用户交互。

44.根据权利要求31至43中任一项所述的非暂态计算机可读介质，其中所述操作还包括：

去激活所述数据可视化实用程序；以及

从在所述扩展现实环境中的呈现移除交互工具的所述相应集合。

45.根据权利要求44所述的非暂态计算机可读介质，其中所述操作还包括：

接收对所述多个数据类型中的另一数据类型的数据的附加选择，以利用所述数据可视化实用程序来进行呈现；

响应于接收到所述附加选择而激活所述数据可视化实用程序；

利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述另一数据类型的所述数据；以及

在利用所激活的数据可视化实用程序来呈现所述多个数据类型中的所述另一数据类型的所述数据之后，提供用于与所述多个数据类型中的所述另一数据类型的所述数据进行交互的至少一个交互工具以进行呈现。