CN113961076A - 对象全息增强 - Google Patents

Abstract

本公开涉及对象全息增强。用于使用混合现实设备来增强真实世界对象的设备、系统和方法，涉及：捕获图像数据，图像数据用于由混合现实设备观测到的物理空间中包括的真实世界对象；基于图像数据，将真实世界对象自动地分类为与对象分类相关联；基于真实世界对象与对象分类相关联，自动地标识软件应用；将软件应用与真实世界对象相关联；以及与真实世界对象相关联地，在混合现实设备上执行软件应用。

Description

对象全息增强

相关申请引用

本申请是国际申请号为PCT/US2018/034261、国际申请日为2018年5月24日、进入中国国家阶段日期为2019年12月13日、中国国家申请号为201880040127.2、发明名称为“对象全息增强”的发明专利申请的分案申请。

技术领域

本公开涉及混合现实设备。

背景技术

许多消费者电子设备，诸如“物联网”类型的设备，包括有限的或者没有显示器和/或用户输入硬件。替代地，这样的设备依赖于对其他系统的使用来完全控制或以其他方式实现它们的能力。例如，许多IoT类型的设备依赖于对智能电话和定制智能电话应用的使用来与它们交互和控制它们。正确地标识并且然后成功地安装和配置这样的应用经常是不确定和/或冗长的过程。即使在设备已经与智能电话应用成功地配对之后，诸如必须为显著数目的设备安装单独的应用、为特定设备访问适当的应用、以及智能电话形状因子和界面上的限制等体验也是冗长且复杂的。这样的因素对于这样的设备的广泛采用造成了显著障碍。

发明内容

用于混合现实设备的系统被公开。该系统可以包括一个或多个面向外的图像传感器，该一个或多个面向外的图像传感器被包括在混合现实设备中并且被配置为：捕获第一图像数据，第一图像数据用于由混合现实设备观测到的物理空间中包括的第一真实世界对象。该系统还可以包括：对象分类器，被配置为基于所捕获的第一图像数据，将第一真实世界对象自动地分类为与第一对象分类相关联；以及应用标识器，被配置为基于第一真实世界对象与第一对象分类相关联，自动地标识第一软件应用。另外，该系统可以包括控制器，控制器被配置为：存储将第一软件应用与第一真实世界对象相关联的数据；以及与第一真实世界对象相关联地，在混合现实设备上执行第一软件应用。

在另一方面，用于使用混合现实设备来增强真实世界对象的方法被公开。该方法可以包括：捕获第一图像数据，第一图像数据用于由混合现实设备观测到的物理空间中包括的第一真实世界对象；以及基于第一图像数据，将第一真实世界对象自动地分类为与第一对象分类相关联。该方法还可以包括：基于第一真实世界对象与第一对象分类相关联，自动地标识第一软件应用；将第一软件应用与第一真实世界对象相关联；以及与第一真实世界对象相关联地，在混合现实设备上执行第一软件应用。

该概述被提供来以简化的形式介绍概念的选集，这些概念在下文在详细描述中进一步被描述。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实施方式。

附图说明

附图通过仅示例的方式，而非通过限制的方式描绘了根据本教导的一个或多个实施方式。在附图中，相似的参考标号指代相同或类似的元素。

图1A图示了混合现实(MR)设备的示例，并且图1B图示了图1A中图示的MR设备的框图。

图2图示了用户在具有多个真实对象的物理空间中时佩戴MR设备的示例。

图3图示了用于与图2中图示的MR设备一起使用的处理环境和相关系统的示意性示例。

图4图示了用于使用在MR设备上执行的软件应用来增强真实世界对象的方法和/或过程的示例。

图5图示了用户在具有多个真实对象的物理空间中时佩戴MR设备的示例，其中针对真实对象中的一些真实对象，视觉指示符被显示给用户。

图6图示了用户利用指示符来选择对象的示例。

图7图示了虚拟菜单被显示给用户的示例。

图8图示了软件应用被显示给用户的示例。

图9图示了处于第一位置的第一对象的示例，其具有与第一真实世界对象相关联的软件应用所提供的图形虚拟界面。

图10图示了具有其图形虚拟界面的处于第二位置的图9中示出的第一对象的示例。

图11图示了具有对应化身的第一对象的示例。

图12图示了第二真实世界对象的示例，其具有与第二真实世界对象相关联的软件应用所提供的虚拟界面。

图13图示了第三真实世界对象的示例，其具有与第三真实世界对象相关联的软件应用所提供的虚拟界面。

图14图示了物理空间中的多个对象的示例。

图15图示了示出本公开的各方面可以在其上被实施的示例计算机系统的框图。

具体实施方式

在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，应当明显的是，本教导可以没有这样的细节而被实践。在其他实例中，公知的方法、过程、组件、和/或电路已经在相对高层级处被描述，而没有细节，以便避免不必要地使本教导的各方面模糊不清。

图1A图示了混合现实(MR)设备100的示例，并且图1B图示了图1A中图示的MR设备100的框图。在图1A和图1B中图示的示例中，MR设备100是头戴式MR设备，其意图在普通使用期间被佩戴在用户的头部上，包括头戴式显示器(HMD)设备。然而，要指出的是，本公开明确地不限于头戴式MR设备，并且本文中描述的技术可以与其他类型的MR设备一起使用，包括但不限于智能电话设备、平板计算机、笔记本计算机、以及包括被配置为提供混合现实能力的抬头显示器的设备或系统。混合现实是指一种允许在显示器中将虚拟图像与真实世界物理环境混合的体验。例如，真实世界对象和/或真实世界空间可以利用对应的虚拟对象而被标识和增强。混合现实可以利用例如虚拟现实技术或增强现实技术来实施。

MR设备100包括显示子系统120，显示子系统120用于向MR设备100的用户显示图像。在图1A中图示的示例中，显示子系统120旨在靠近用户的眼睛并且包括透视HMD设备，该透视HMD设备包括一个或多个透明或半透明的透视透镜122，这些透视透镜122被布置为使得图像可以被投射到透视透镜122上，或者由位于透视透镜122内的图像产生元件(例如，透视OLED显示器)产生。佩戴MR设备100的用户通过透视透镜122而具有真实世界空间的实际直接视图(而不是真实世界空间的图像表示)，并且同时查看增强用户的真实世界空间的直接视图的虚拟对象(它们可以称为虚拟图像或全息图)。要指出的是，本公开明确地不限于使用透视显示设备的MR设备。在一些实施方式中，显示子系统120可以是不透明的，并且在用户的视场的全部或部分中不允许用户通过显示子系统120直接查看场景。这样的实施方式包括但不限于：增强现实设备，被布置为在MR设备100的前面显示物理空间的视觉图像，并且虚拟对象被添加以增强物理空间的显示；以及虚拟现实设备，被布置为在MR设备100的前面在与物理空间中的真实世界对象的位置相对应的位置处显示虚拟对象。在一些实施方式中，MR设备100可以被具体化在手持移动设备中，该手持移动设备被布置为在显示设备(诸如LCD面板)上显示增强。在这样的实施方式中，手持移动设备可以被布置为提供“窗口”，其中虚拟增强可以被显示用于MR设备100周围的场景。

MR设备100还包括一个或多个面向外的图像传感器130，图像传感器130被配置为获取用于MR设备100周围和/或前面的真实世界场景的图像数据。面向外的图像传感器130可以包括被布置为捕获二维视觉图像的一个或多个数字成像相机132。在一些实施方式中，两个成像相机132可以用于捕获立体图像。面向外的成像传感器130还可以包括一个或多个深度相机134，诸如但不限于，飞行时间深度相机，深度相机134被布置为捕获深度图像数据，诸如深度图，深度图提供从MR设备100到(多个)深度相机134的视场(FOV)的各个部分的估计的和/或测量的距离。经由(多个)深度相机134获得的深度图像数据可以被记录到其他图像数据，诸如经由(多个)成像相机132同时捕获的图像。面向外的图像传感器130可以被配置为捕获个体图像和/或图像序列(例如，以可配置的帧速率或多个帧速率)。在一些实施方式中，与MR设备100相关联的面向外的图像传感器130或其他传感器可以被配置为评估和/或标识外部条件，包括但不限于，一天中的时间、照明的方向、氛围、温度和其他条件。外部条件可以向MR设备100提供(多个)附加因素，以确定要显示给用户的虚拟图形元素的类型。

如图1A和图1B中图示的，MR设备100还可以包括注视检测子系统130，注视检测子系统130被配置为检测(或提供传感器数据用于检测)用户的每只眼睛的注视方向。注视检测子系统130可以被布置为以任何合适的方式来确定用户的眼睛中的每只眼睛的注视方向。例如，在图1A和图1B中图示的示例中，注视检测子系统130包括被布置为引起光的闪烁以从用户的每个眼球反射的一个或多个闪烁源132(诸如红外光源)、以及被布置为捕获用户的每个眼球的图像的一个或多个图像传感器134。从经由(多个)图像传感器134采集的图像数据中确定的来自用户眼球的闪烁中的变化可以用于确定注视方向。此外，从用户的眼睛投射的注视线与外部显示器相交的地点可以用于确定用户正在注视的对象或位置(例如，由显示子系统120显示的虚拟对象)。注视检测子系统130可以具有任何合适数目和布置的闪烁源和图像传感器。在一个非限制性示例实施例中，四个闪烁源和一个图像传感器被用于每只眼睛。再者，在一些实施方式中，注视检测子系统130可以被配置为辅助MR设备100更准确地标识感兴趣的真实世界对象并且将这样的对象与虚拟应用相关联。

MR设备100可以包括地点子系统150，地点子系统150被布置为提供MR设备100的地点。地点子系统150可以被布置为基于从导航卫星系统(诸如但不限于，GPS(美国)、GLONASS(俄罗斯)、Galileo(欧洲)和CNSS(中国))接收的信号、以及增强这样的信号的技术(诸如但不限于，增强GPS(A-GPS))来确定当前地点。地点子系统150可以被布置为基于标识发射设备的射频(RF)信号和针对这样的设备所确定的地点来确定地点。通过示例的方式，Wi-Fi、蓝牙、Zigbee、RFID、NFC和蜂窝通信包括可以用于地点确定的设备标识符。MR设备100可以被布置为使用由地点子系统150提供的地点作为近似地点，其基于由其他传感器收集的数据而被精细化。MR设备100可以包括音频硬件，音频硬件包括被布置为检测声音(诸如来自MR设备100的用户的口头命令)的一个或多个麦克风170、和/或被布置为向用户输出声音(诸如口头询问、响应、指令和/或信息)的一个或多个扬声器180。

MR设备100可以包括一个或多个运动传感器160，运动传感器160被布置为测量和报告MR设备100的运动作为运动数据。在一些实施方式中，(多个)运动传感器160可以包括惯性测量单元(IMU)，该IMU包括加速度计(诸如3轴加速度计)、陀螺仪(诸如3轴陀螺仪)、和/或磁力计(诸如3轴磁力计)。MR设备100可以被布置为使用该运动数据来确定MR设备100的位置和/或取向的改变、和/或场景中的对象相对于MR设备100的位置和/或取向的相应改变。(多个)面向外的图像传感器130、(多个)图像传感器144、地点子系统150中包括的传感器、(多个)运动传感器160和(多个)麦克风170(它们被包括在头戴式MR设备100中或耦合到头戴式MR设备100)可以单独地或共同地作为头戴式传感器。经由这样的头戴式传感器收集的数据反映用户头部的位置和取向。

MR设备100还包括控制器110，控制器110包括逻辑子系统112、数据保持子系统114和通信子系统116。逻辑子系统112可以包括例如一个或多个处理器，该一个或多个处理器被配置为执行指令并且根据这样的指令与图1A和图1B中图示的MR设备100的其他元件通信，以实现涉及MR设备100的本公开的各个方面。这样的方面包括但不限于，配置和控制设备，处理传感器输入，与其他计算机系统通信，和/或经由显示子系统120来显示虚拟对象。数据保持子系统114包括一个或多个存储器设备(诸如但不限于DRAM设备)和/或一个或多个存储设备(诸如但不限于闪存设备)。数据保持子系统114包括一个或多个介质，其上存储有由逻辑子系统112可执行的指令，这些指令使得逻辑子系统112实现涉及MR设备100的本公开的各个方面。这样的指令可以被包括作为操作系统、应用程序、或其他可执行程序的一部分。通信子系统116被布置为允许MR设备100与其他计算机系统通信。这样的通信可以经由例如Wi-Fi、蜂窝数据通信、和/或蓝牙来执行。

将明白，MR设备100通过示例的方式被提供，并且因此不意味着限制。因此，将理解，不偏离本公开的范围，MR设备100可以包括除了所示出的那些之外的附加的和/或替换的传感器、相机、麦克风、输入设备、输出设备等。此外，不偏离本公开的范围，MR设备及其各种传感器和子组件的物理配置可以采取各种不同的形式。

图2图示了用户240在物理空间200中利用MR设备250的示例。如图2中示出的，用户240位于物理空间200内，并且正在通过MR设备250查看物理空间200。在图2中图示的示例中，MR设备250是允许用户240直接查看物理空间200的头戴式透视MR设备，并且包括图1A和图1B中图示的MR设备100的元件。然而，要理解的是，这仅是示例实施方式，并且关于图1A和图1B所描述的MR设备的各种其他示例中的任何示例也可以用于实施所公开的技术。

为了本申请的目的，术语“物理空间”是指真实世界的面积或体积。物理空间的地点、边界和/或其他属性可以部分地通过一个或多个坐标来描述，包括但不限于，二维(2D)坐标和三维(3D)坐标。例如，物理空间200可以部分地使用标识多边形的转角(诸如矩形的四个转角)和/或定义体积的多个坐标来描述。在一些示例中，物理空间可以部分地使用坐标(例如，用于房间的角落)以及描述相对于该坐标的矩形空间的长度、宽度和取向来描述。在一些示例中，这样的坐标可以包括相对于地球(例如，纬度、经度、以及高度或海拔，或者具有在地球中心处的原点的三维笛卡尔坐标)或另一天体或天文对象(无论是人造的还是天然的)的绝对坐标。在一些示例中，这样的坐标可以包括相对于例如所选择的绝对坐标(例如，地球上的固定地点)、结构(包括但不限于固定的、移动的和临时的结构)或对象而定义的相对坐标。相对坐标可以相对于可移动对象来定义，诸如但不限于集装箱、运输集装箱或车辆(例如，三维笛卡尔坐标系可以针对游轮来定义，具有平行于船的中心线的轴线，并且具有位于船上、船中或船附近的定义位置处的原点)。物理空间的属性也可以部分地通过一个或多个方向(绝对或相对)、取向(绝对或相对)和/或距离(例如，在给定方向上距坐标的距离)来描述。在一些实施方式中，用于描述物理空间的坐标、方向、取向和/或距离本身可以在以下方面来描述：精确度和/或准确度的量(例如，扫描仪在更大距离处可能较不精确或准确)，其是否被估计(例如，在属性被观测之前，可以对属性进行初始猜测或估计)，测量的方法(例如，是使用GPS还是光学扫描仪测量的)，估计的误差，和/或其被确定的时间。用于物理空间的边界可以部分地通过对象和/或表面来描述。例如，MR设备250可以对墙壁202和204以及地板206进行标识和分类，将相应的标识符指配给墙壁202和204以及地板206，并且将物理空间200描述为部分地由墙壁202和204以及地板206来界定。

物理空间可以包括其他物理空间，被包括在其他物理空间中，和/或与其他物理空间重叠。例如，图2中图示的物理空间200可以被包括在包围房屋的更大的物理空间内。尽管图2中图示的物理空间200是由墙壁(诸如墙壁202和204)界定的房间，但是物理空间不限于房间或不必然是由墙壁、天花板或其他结构界定的封闭区域。例如，反映不同活动在其中被执行的区域的多个物理空间可以被定义在没有内墙的大型仓库或工厂内。在另一示例中，物理空间200可以包括与车辆或任何类型的移动船只相关联的空间，诸如但不限于，汽车、卡车、小船、轮船、飞机、航天器、航天飞机和车站。因此，在一些实施方式中，物理空间200可以部分地通过不是地球界定的坐标来描述，并且可以包括基于标准经度和纬度的坐标系不适用的区域，诸如被设计用于太空探索或地球以外的其他旅程的舰船中包括的物理空间。

物理空间可以与一个或多个分类(其也可以称为类型、标记或标签)相关联。例如，物理空间200可以与诸如“封闭空间”、“房间”、“客厅”和“内部空间”等分类相关联。用于物理空间的分类可以与在物理空间内通常发生或执行的一个或多个活动和/或活动的类型相关联。用于物理空间的分类可以与物理空间内通常使用或包括的一个或多个对象和/或对象的类型相关联。如下文更详细地讨论的，MR设备250可以被配置为自动地确定物理空间的地点和/或边界，并且可以被配置为对物理空间自动地分类。针对物理空间的自动分类可以开始于一般分类，并且随着时间的流逝，更具体的分类可以替代或被添加到更一般的分类。例如，MR设备250初始地通常可以将物理空间200分类为“封闭的房间”，并且后来已经收集关于物理空间200的足够信息以将其分类为“客厅”。物理空间的地点、边界和/或分类可以手动地被指定和/或修改，包括通过使用MR设备250。

物理空间，诸如图2中图示的房间，可以包括或包含各种真实世界(即，有形)对象。在图2的示例中，除了其他事物之外，物理空间200还包括第一真实世界对象210、第二真实世界对象220和第三真实世界对象230。真实世界对象也可以称为“物理对象”，或者在一些上下文中简称为“对象”。出于参考目的，真实世界对象在不同的实施方式中可以被认为和/或指定为“静态的”或“动态的”。例如，在一个实施方式中，第一真实世界对象210可以被指定为动态对象，而第二真实世界对象220和第三真实世界对象230两者可以被指定为静态对象。为了本申请的目的，静态对象是指这样的对象，其通常被意图为在使用或与对象交互期间保持静止或处于基本上相同的位置或地点。术语“静态”的使用不应当被理解为意指对象不能移动或被移动，或者必须保持在相同位置，而是在对象的典型使用或观测中，对象是静止的。例如，用户240可以拿起第三真实世界对象230并且将其移动到新地点。相比之下，动态对象是这样的对象，其被确定为能够运动或移动，并且可以被预期为贯穿其使用或在其观测期间规律地改变位置和/或取向。然而，动态对象不需要总是处于运动中，并且可以在显著时间段内处于静止。另外，动态对象可以包括被配置为移动的机械设备(诸如各种机器人或车辆)以及附接到移动对象的对象，诸如由人佩戴或携带在人身上的便携式设备或配件。

图2图示了用户240正在第一次在物理空间200中利用MR设备250的时间。在这时，描述物理空间200和/或位于其中的真实世界对象的数据结构可能处于初始配置或状态。例如，用于物理空间200的边界可能尚未被确定，和/或用于真实世界对象210、220和230的地点和标识可能尚未被确定。然而，当用户240存在于物理空间200中时，MR设备250可以发起并且继续如下的过程：捕获图像数据(包括例如视觉图像和深度图像数据)，并且使用所捕获的图像数据来识别、标识、记录、分类、或以其他方式分析物理空间200和位于其中的对象。

图3图示了用于与图2中图示的MR设备250一起使用的处理环境302和相关系统的示意性示例。系统300包括图2中图示的MR设备250。包括在MR设备250中的是处理环境302，处理环境302说明了由MR设备250实施的特征(其也可以称为组件或模块)的示例。在该示例中，这些特征至少部分地使用图1B中图示的控制器110来实施，控制器110包括逻辑子系统112(被布置为执行程序指令)、数据保持子系统114(包括工作存储器和存储装置)、以及通信子系统116(在该示例中提供与(多个)网络340的通信)。处理环境302中包括的特征可以通过由逻辑子系统112执行的程序指令和数据保持子系统116中存储的数据来全部或部分地实施。处理环境302包括操作系统304，操作系统304提供底层结构以允许硬件元件(诸如图1B中图示的元件)与处理环境302的所图示特征的更高层级功能交互。

姿态估计器306被配置为使用由(多个)运动传感器160提供的运动数据来估计MR设备250的当前或未来姿态。在一些示例中，姿态估计器306还可以使用由(多个)面向外的图像传感器130和/或图像预处理器310提供的图像数据(包括例如视觉图像和/或深度图像数据)。在一些示例中，姿态估计器306还可以使用由地点子系统150提供的地点数据。所得到的姿态可以是，例如，指示3D位置(绝对或相对)和取向(诸如滚转值、倾斜值和平移值)两者的六自由度(6DOF)姿态、或者包括分量三个3D矢量的矩阵，三个3D矢量分别指示位置、向前方向轴和向上方向轴。姿态估计的示例在美国专利No.8,711,206(标题为“MobileCamera Localization Using Depth Maps”并且于2014年4月9日发布)和美国专利申请公布号US 2012/0306850(标题为“Distributed Asynchronous Localization and Mappingfor Augmented Reality”并且于2013年11月19日公布)中描述。

图像预处理器308被配置为：执行对(多个)面向外的图像传感器130所提供的图像数据的初始处理(诸如视觉图像数据和/或深度图像数据)，以提供经处理的图像数据用于由处理环境302和/或其他计算机系统(诸如对象标识系统360和/或空间标识系统370)的其他特征使用。在一些示例中，图像预处理器308可以执行对图像数据的过滤、校正、或其他预处理。在一些示例中，图像预处理器308可以基于视觉和/或深度图像数据将图像数据分割成区域。

场景映射器310被配置为：使用由姿态估计器306提供的姿态数据和/或由(多个)面向外的图像传感器130和/或图像预处理器308提供的图像数据，来生成由MR设备250观测到的场景的3D模型，诸如物理空间200的如下部分，针对这些部分，图像数据已经由(多个)面向外的图像传感器130所捕获。当用户240在物理空间200四处移动时，由(多个)面向外的图像传感器130捕获的视场以各种细节水平捕获物理空间200的各个部分(例如，当更接近于真实世界对象时，更高的细节水平可以被捕获)。3D模型的一部分可以使用点云来描述，该点云可以基于新图像数据持续地精细化和/或调节。3D模型的一部分可以使用对象描述来描述。例如，在确定墙壁202的相关特性之后，与墙壁202相对应的3D模型的一部分可以被描述为一个或多个3D形状和/或表面(例如，描述为由其四个转角定义的四边形)以替代点云。对于先前分析的物理空间，3D模型的部分可以基于存储的和/或取回的对象数据和/或空间数据初始地被生成。3D模型可以包括与3D模型的各个区域相关联的视觉图像数据，并且场景映射器310可以被配置为将视觉图像缝合在一起和/或生成用于3D点的纹理和/或颜色值。针对表面已经被检测到但对应的对象尚未被标识和/或表征的3D模型的部分，或者由对象分类器316指示为具有增加或减少的兴趣的部分，场景映射器310可以维持更高的细节水平或者增加处理资源。场景映射器310可以被配置为识别基本3D表面，诸如平面表面。3D模型的部分可以被提取作为深度图像数据以用于由处理环境302的其他特征使用。

在一些实施方式中，处理环境302可以包括姿势识别器312，姿势识别器312被配置为：使用由(多个)面向外的图像传感器130、图像预处理器308和/或场景映射器310提供的图像数据，来识别由用户240执行的手势。在一些实施方式中，处理环境302可以包括注视跟踪器314，注视跟踪器314被配置为使用由注视检测子系统130提供的数据来确定用户240的眼睛中的每只眼睛的注视方向。注视跟踪器314可以确定用户240当前正在看的位置和/或用户240正在看的方向；该确定可以基于由姿态估计器306提供的姿态数据。所确定的位置和/或方向可以用于标识用户240在视觉上所聚焦的场景、真实世界对象、或虚拟图像的区域。

对象分类器316被配置为对真实世界对象进行标识和分类，并且确定在由MR设备250观测到的场景中的真实世界对象的位置和/或姿态，诸如但不限于，在图2中图示的物理空间200中找到的真实世界对象210、220和230。对象分类器316也可以被称为“对象标识器”、“对象标识器/分类器”、“真实世界对象标识器”、或“真实世界对象分类器”。除了其他事物之外，对象分类器316被配置为还使用由(多个)面向外的图像传感器130、图像预处理器308和/或场景映射器310提供的图像数据。要指出的是，由对象分类器316对真实世界对象的分类不要求(并且在一些实施方式中不利用)视觉标签(诸如，例如，QR码或条形码)或将被印在或粘贴到真实世界对象的其他标记。针对真实世界对象的对象分类可以明确地或固有地指示它是动态对象还是静态对象。在图3中图示的示例中，对象分类器316被配置为，经由(多个)网络340，与远程对象分类系统360协同工作以对真实世界对象进行标识和/或分类。在给定的实施例中，实施本文中描述的用于对真实世界对象进行标识和/或分类的各种技术的操作可以由对象分类器316利用MR设备250中可用的资源，或者由对象分类系统360全部地或部分地执行。在一些示例中，响应于对象分类器316不能与对象分类系统360通信，或者对象分类器316与对象分类系统360之间的带宽限制，一些操作可以使用MR设备250中可用的资源选择性地被执行。

除了其他事物之外，对象分类系统360被配置为还从MR设备250接收图像数据，并且对出现在所提供的图像数据中的真实世界对象进行标识和/或分类。这允许MR设备250利用对象分类系统360可用的更复杂的技术和/或模型、更大量的计算能力、以及更大量的数据。在一些示例中，对象分类系统360可以被配置为取回对象/空间跟踪系统350中存储的用于物理空间的空间数据，以减少由MR设备250传输的数据量。在一些示例中，对象分类系统360可以被配置为将用于真实世界对象的对象数据存储在对象/空间跟踪系统350中。

在一些实施方式中，除了其他事物之外，对象分类系统360被配置为还使用机器学习和推理技术，基于图像数据(包括用于真实世界对象的图像数据)，对真实世界对象进行标识和/或分类。例如，对象分类360可以被配置为执行图像数据的语义分割或语义标记。机器学习技术可以生成一个或多个模型，用于基于以标记的或其他方式先前表征的图像数据的形式的训练数据的全集，来标识和/或表征真实世界对象。在一些实施方式中，训练数据的一个或多个部分可以经由MR设备250和/或其他用户系统(包括其他MR设备344a至344q)来提供。训练数据可以被持续地更新，并且由对象分类系统360使用的模型中的一个或多个模型被修正或再生以反映对训练数据的更新。在一些实施方式中，对象分类器316可以被配置为从对象分类系统360获得一个或多个模型，并且使用所获得的模型，而使用MR设备250中包括的资源来执行真实世界对象标识和/或分类。例如，MR设备250可以获得如下的模型，这些模型对于对MR设备250被预期遇到的真实世界对象进行标识和/或分类是有效的。

在一些实施方式中，对象分类器316和/或对象分类系统360可以被配置为访问、接收和/或使用除了图像数据之外的其他信息，以对真实世界对象进行标识、分类和/或定位。例如，MR设备250可以被布置为接收和解码由真实世界对象生成或与之相关联的各种无线信号，并且使用所得到的信息来确定特定的真实世界对象或特定类型的真实世界对象在MR设备250附近。例如，电子设备可以广播Wi-Fi、蓝牙(包括信标传输)、NFC(近场通信)、RFID(射频标识)、或其他射频(RF)信号，或者可以生成光学(包括例如调制红外光)或音频(包括例如可听见的声音、次声波和/或超声波)信号，其包括标识符，诸如但不限于，介质访问控制(MAC)地址、通用唯一标识符(UUID)、制造者标识符、和/或设备型号标识符。MR设备250可以包括对于这样的无线信号有效的一个或多个传感器、接收器和/或发射器。这样的标识符可以被传输到对象分类系统360，用于附加于或替代图像数据，用来对真实世界对象进行标识和/或分类。在一些示例中，对象分类器316可以基于由MR设备250接收的无线信号，将真实世界对象标识和/或分类为与一个或多个物理空间相关联。对象分类器316可以被配置为，在一些情况下，与广播设备无线地交互以获得有关广播设备的更多信息或者确认其标识。这样的交互可以根据从对象分类系统360接收的信息和/或指令来执行。在一些实施方式中，MR设备250可以包括无线接收器，该无线接收器被布置为诸如通过对阵列接收器的使用来确定广播设备的方向。所确定的方向可以用于验证或改进对真实世界对象的标识和/或分类。在一些实施方式中，MR设备250可以测量所接收的无线信号的强度，并且基于所测量的强度来估计到广播设备的距离。所估计的距离可以用于验证或改进对真实世界对象的标识和/或分类。在一些示例中，与由MR设备250或用户240使用的另一MR设备先前分类的真实世界对象相关联的对象分类、与附近的真实世界对象相关联的对象分类(针对用户240和/或其他用户被分类)、和/或用于MR设备250当前所在的物理空间的物理空间分类，可以用于验证或改进对真实世界对象的标识和/或分类。在一些示例中，出现在真实世界对象上的文本可以使用光学字符识别来处理，并且用于对真实世界对象自动地进行标识和/或分类。例如，制造者名称或型号可能被印在真实世界对象上(包括外表面和/或内表面，诸如在门内)。

在一些示例中，对象分类器316和/或对象分类系统360可以被配置为：自动地标识可以促进对真实世界对象的标识或分类的附加信息。作为第一示例，响应于真实世界对象接收到一般分类，可以允许针对真实世界对象的更具体分类被获得的附加信息可以被标识。例如，真实世界对象可以被分类为通用冰箱，可以存在软件应用针对其可用的“智能”冰箱类型或型号的各种更具体的分类。对象分类器316和/或对象分类系统360可以标识对于确定更具体的分类之一是否可以应用于真实世界对象有用的附加信息。作为第二示例，响应于多个可能的分类选项针对真实世界对象被标识，可以允许更确定性的分类的附加信息可以被标识。对象分类系统360可以向对象分类器316指示所标识的附加信息，并且响应于该指示，MR设备250可以执行动作以获得附加信息，并且将其提供给对象分类系统360。附加信息的示例包括但不限于，更高分辨率图像数据、针对物理空间和/或真实世界对象的当前未捕获区域的图像数据、来自选项列表的选项的用户选择、和/或对经由MR设备250呈现的询问的用户响应(例如，由用户240提供的口述或文本响应)。

在另一示例中，真实世界对象可以被分类为通用娱乐系统，诸如电视、游戏控制台、媒体中心、社交联网或通信设备、音乐播放器、或其他这样的系统。可以存在软件应用针对其可用的娱乐系统的各种更具体的分类。对象分类器316和/或对象分类系统360可以标识对于确定更具体的分类之一是否可以应用于娱乐系统有用的附加信息。例如，如果真实世界对象是视频游戏控制台和电视显示器，则在一些实施方式中，MR设备250可以与由视频游戏控制台在显示器上呈现的图像或其他媒体协力工作。在一个实施方式中，用户可以通过MR设备250来查看由视频游戏控制台正显示的图像或媒体。在查看电视屏幕上显示的媒体的同时，媒体图像可以由MR设备250通过一个或多个附加信息点来增强。例如，用户可能正在电视上观看体育比赛，同时通过MR设备250的全息显示器访问或查看与比赛相关联的统计数据。另外，在一些实施方式中，当用户在观看体验期间改变位置或地点时(例如，移动到不同的房间)，电视屏幕上正呈现的媒体的虚拟副本可以通过MR设备250被显示。在一个实施方式中，电视屏幕可以被虚拟地显示给用户作为他们视场中的自由浮动的图形元素，并且为用户提供基本上不间断的观看体验。当用户返回到电视时，MR设备250可以停止媒体副本的显示。

对象标识器316可以基于针对真实世界对象所存储的对象数据，对先前标识和/或分类的真实世界对象进行标识和/或分类，而允许MR设备250更快速地识别同一对象。除了用于执行当前未标识和/或未归类的真实世界对象的初始标识和/或分类之外，对象分类器316还可以用于执行已经标识的真实世界对象的重新分类和/或进一步分类。对象分类器316可以被配置为接收和处理从用户240接收的输入，该输入指示对象分类与真实世界对象不正确地关联(这可能促使真实世界对象的重新分类)，和/或明确地标识针对真实世界对象的对象分类。

在一些示例中，对象分类器316和/或对象分类系统360可以被配置为针对真实世界对象来估计姿态。对于动态对象，对象分类器316可以被配置为执行姿态估计，以更好地实现针对运动对象的实时姿态估计。对于静态对象，姿态估计由对象分类系统360来执行可能是合适的。对象分类器316被配置为针对已标识和/或分类的真实世界对象来确定地点。

在一些实施方式中，由对象分类器316标识和/或分类的真实世界对象可以包括真实世界特征，诸如图2中图示的墙壁202和204以及地板206。这样的真实世界特征可以根据本文中针对真实世界对象(诸如真实世界对象210、220和230)所描述的各种技术来标识和/或分类，或者更简单的技术可以用于这样的真实世界特征，诸如但不限于，将大的且基本竖直的平面标识为墙壁，和/或将大约在用户240的预期的脚部水平处的大的水平面标识为地板或地面。

空间分类器318被配置为针对由MR设备250观测到的物理空间，诸如但不限于图2中图示的物理空间200，进行标识、分类和确定边界。空间分类器318还可以被称为“空间标识器”、“空间标识器/分类器”、“物理空间标识器”、或“物理空间分类器”。除了其他事物之外，空间分类器318被配置为还使用与由对象分类器316标识的真实世界对象相关联的分类。在一些示例中，空间分类器318还被配置为使用其他对象数据，诸如真实世界对象的地点和/或姿态。与某些对象分类相关联的真实世界对象的存在或缺失，单独地或者组合与其他分类相关联的或不相关联的真实世界对象，可以与物理空间分类强相关。例如，包括分别被分类为冰箱、微波炉和水槽的真实世界对象的物理空间可以被确定为具有是厨房的显著概率，并且该概率通过被分类为床、长沙发或咖啡桌的真实世界对象的缺失可以进一步增加。空间分类器318可以针对物理空间生成初始边界，并且基于由MR设备250捕获的附加图像数据(包括由对象分类器316基于这样的图像数据进行的分类)随着时间推移而继续细化该边界。

在一些示例中，空间分类器318可以被配置为：使用从空间分类器318它自己所确定的边界来计算的物理空间的尺寸和/或形状，用于对物理空间的分类。例如，一些壁橱可以基于它们的小尺寸而被识别。在一些示例中，第一物理空间可以基于与包括第一空间、被包括在第一空间中、和/或与第一空间重叠的一个或多个物理空间相关联的一个或多个空间分类而被分类。对物理空间的分类可以基于墙壁、门、窗户和其他相对固定的特征的尺寸、数目、类型和/或放置；地板表面的类型(例如，地毯、硬木、瓷砖或层压板)；特征(诸如但不限于，墙壁、天花板、壁挂物、窗帘、家具和/或电器)的颜色。在一些示例中，边界或物理空间可以基于用户240在哪些地点花费时间以及在一段时间内哪些对象被使用来确定。上文描述的用于验证或改进对真实世界对象的标识和/或分类的各种技术可以类似地应用于对物理空间进行分类。空间分类器318可以基于针对物理空间所存储的空间数据，对先前标识和/或分类的物理空间进行标识和/或分类，而允许MR设备250更快地识别同一物理空间。

在图3中图示的示例中，空间分类器318被配置为，经由(多个)网络340，与远程空间分类系统370协同工作，以针对物理空间进行标识、分类和确定边界。在给定的实施例中，实施本文中描述的用于针对物理空间进行标识、分类和确定边界的各种技术的操作，可以由空间分类器318利用MR设备250中可用的资源，或者由空间分类系统370全部地或部分地执行。在一些示例中，响应于空间分类器318不能与空间分类系统370通信，或者空间分类器318与空间分类系统370之间的带宽限制，一些操作可以使用MR设备250中可用的资源选择性地被执行。

除了其他事物之外，空间分类系统370被配置为还接收用于位于物理空间中的真实世界对象的对象数据，包括但不限于，与真实世界对象相关联的分类、真实世界对象的地点、和/或真实世界对象的姿态，并且使用所接收的对象数据来针对物理空间进行标识、分类、和/或确定边界。这允许MR设备250利用空间分类系统370可用的更复杂的技术和/或模型、更大量的计算能力、以及更大量的数据。在一些示例中，空间分类系统370可以被配置为取回对象/空间跟踪系统350中存储的用于真实世界对象的对象数据，以减少由MR设备250传输的数据量。在一些示例中，空间分类系统370可以被配置为将用于物理空间的空间数据存储在对象/空间跟踪系统350中。

在一些实施方式中，除了其他事物之外，空间分类系统370被配置为还使用机器学习和推理技术来对物理空间进行标识、分类和/或确定边界。机器学习技术可以生成一个或多个模型，用于基于训练数据的全集来对物理空间进行标识、分类和/或确定边界，训练数据的一个或多个部分可以经由MR设备250和/或其他用户系统(包括其他MR设备344a至344q)来提供。训练数据可以被持续地更新，并且由空间分类系统370使用的模型中的一个或多个模型被修正或再生以反映对训练数据的更新。在一些实施方式中，空间分类器318可以被配置为：从空间分类系统370获得一个或多个模型，并且使用所获得的模型，而使用MR设备250中包括的资源来对物理空间进行标识、分类、和/或确定边界。例如，MR设备250可以获得如下的模型，这些模型对于对MR设备250被预期遇到的物理空间进行标识、分类、和/或确定边界是有效的。

应用标识器320被配置为：基于与真实世界对象相关联的对象分类，来标识用于增强真实世界对象的一个或多个软件应用。应用标识器320也可以被称为“软件应用标识器”。在一些示例中，该标识可以基于与真实世界对象被包括在其中的物理空间相关联的空间分类。在一些示例中，该标识可以基于用于用户240和/或其他用户的用户历史数据。用户历史数据的示例项目包括但不限于，软件应用已经与真实世界对象相关联的总时间量、软件应用已经与真实世界对象一起活跃地被使用的总时间量、和/或与软件应用已经与其相关联或一起活跃地被使用的真实世界对象相关联的对象分类。在图3中图示的示例中，应用标识器320被配置为，经由(多个)网络340，与远程应用推荐系统380协同工作，以标识用于增强真实世界对象的软件应用。在给定的实施例中，实施本文中描述的用于标识用于增强真实世界对象的软件应用的各种技术的操作，可以由应用标识器320或者由应用推荐系统380全部地或部分地执行。在一些示例中，由应用标识器320标识的软件应用可以由MR设备250经由(多个)网络340从应用存储库390下载。在一些实施方式中，应用存储库390可以包括“应用商店”，该“应用商店”被配置为允许用户240购买所选择的软件应用。尽管在图3中仅图示了一个应用存储库390，但是在一些示例中，由应用标识器320标识的软件应用可以从多个这样的应用存储库来获得。

在一些示例中，应用标识器320和/或应用推荐系统380可以类似地被配置为：基于与物理空间相关联的空间分类，来标识用于增强物理空间的一个或多个软件应用。在一些实施方式中，物理空间可以与软件应用相关联，并且由应用提供的虚拟界面可以被系链到物理空间内的地点或对象。例如，当用户240在特定的物理空间中时，虚拟界面可以被显示给用户240。在一个实施方式中，应用可以与厨房相关联，并且该应用被配置为提供与厨房的功能有关的虚拟界面(例如，食谱、测量单位转换计算器、购物清单、存货清单、示出原料或物品被存放在何处的地图等)。在一个实施方式中，与物理空间相关联的应用所提供的虚拟界面可以在用户240处于该物理空间中的整个时段期间被显示，或者可以替换地通过快捷方式选项轻松地被访问。此外，在其他实施方式中，一经进入他们自己的住宅、所建立的住所、工作场所、或其他频繁拜访的物理空间，可以存在通用的、全面的、或总体的虚拟界面可用于用户240。通用虚拟界面可以在用户240处于建筑物或区域中的整个时段期间被显示，或者可以通过快捷方式选项容易地被访问。

除了其他事物之外，应用推荐系统380被配置为还接收用于真实世界对象的对象数据，包括但不限于，与真实世界对象相关联的分类，并且使用所接收的对象数据来标识用于增强真实世界对象的软件应用。这允许MR设备250利用应用推荐系统380可用的更复杂的技术和/或模型、更大量的计算能力、以及更大量的数据。在一些示例中，应用推荐系统380可以被配置为：取回对象/空间跟踪系统350中存储的用于真实世界对象的对象数据、和/或用于包括真实世界对象的物理空间的空间数据，以减少由MR设备250传输的数据量。在一些实施方式中，除了其他事物之外，应用推荐系统380被配置为还使用机器学习和推理技术，来标识用于增强真实世界对象的软件应用。

视觉绘制器322被配置为使用MR设备250中包括的显示子系统120来绘制虚拟图形元素，其可以包括使用显示子系统120的三维全息虚拟对象、二维图像、颜色和其他信息的实例。视觉绘制器322和与真实世界对象相关联的软件应用共同工作，以绘制虚拟图形元素用于显示给用户240。处理环境302可以包括音频处理器324，音频处理器324被配置为处理由(多个)麦克风170接收的声音，和/或生成由(多个)扬声器180输出的声音。在一些示例中，音频处理器324可以被配置为：在具有经由(多个)网络340来自远程系统的辅助下或在没有该辅助下，执行对用户240说出的命令或响应的语音识别。在一些示例中，音频处理器324可以被配置为：在具有经由(多个)网络340来自远程系统的辅助下或在没有该辅助下，执行生成话音以向用户240提供信息、指令和/或询问。

处理环境302包括对象数据存储装置330，对象数据存储装置330被配置为存储与多个相应的真实世界对象相关联的多个对象数据331a至331m。对象数据331a至331m的部分可能已经由对象分类器316、空间分类器318、和/或应用标识器320生成。对象数据331a至331m的部分可能已经经由(多个)网络340从对象/空间跟踪系统350(例如，从存储在其中的对象数据352a至352y中的一个或多个)取回。用于真实世界对象的对象数据可以包括但不限于，与真实世界对象相关联的对象分类、真实世界对象的地点、针对真实世界对象的所估计的姿态、由应用标识器320针对真实世界对象标识的一个或多个软件应用、用于真实世界对象所在的物理空间的标识符、当前与真实世界对象相关联的一个或多个软件应用、和/或与真实世界对象相关联的一个或多个软件应用所生成的应用数据。

处理环境包括空间数据存储装置332，空间数据存储装置332被配置为存储与多个相应的物理空间相关联的多个空间数据333a至333n。空间数据333a至333n的部分可能已经由对象分类器316、空间分类器318、和/或应用标识器320生成。空间数据333a至333n的部分可以已经经由(多个)网络340从对象/空间跟踪系统350(例如，从存储在其中的空间数据354a至354y中的一个或多个)取回。用于物理空间的空间数据可以包括但不限于，与物理空间相关联的空间分类、物理空间的地点、物理空间的一个或多个边界、用于物理空间中包括的真实世界对象的标识符、由应用标识器320针对物理空间标识的一个或多个软件应用、当前与物理空间相关联的一个或多个软件应用、和/或与物理空间相关联的一个或多个软件应用所生成的应用数据。

对象数据和/或对象数据的部分可以在MR设备250与对象/空间跟踪系统350之间交换。空间数据和/或对象数据的部分可以在MR设备250与对象/空间跟踪系统350之间交换。在一些示例中，响应于MR设备250的地点和/或MR设备250进入和/或离开物理空间，对象数据可以被移入或移出对象数据存储装置330。在一些示例中，响应于MR设备250的地点，空间数据可以被移入或移出对象数据存储装置330。在一些示例或情况中，由其他用户系统342(诸如MR设备344a至344q)生成的对象数据352a至352y的部分和/或空间数据354a至354z的部分可以由MR设备250取回。对象/空间跟踪系统350可以被配置为实施访问控制机制和策略，以限制或以其他方式控制对象数据和/或空间数据在各种用户、用户组、和/或组织之间的共享。

应用存储装置334被配置为存储软件应用335a至335x以用于在MR设备250上执行。所存储的软件应用335a至335x可以包括与真实世界对象相关联的软件应用。应用存储装置334还可以被配置为存储用于相应软件应用335a至335x的应用数据336a至336x。应用数据可以包括针对与应用相关联的一个或多个真实世界对象的标识符。应用数据可以包括针对与软件应用相关联的个体真实世界对象的数据。

(多个)网络340包括一个或多个数据通信网络，该一个或多个数据通信网络允许数据在MR设备250与对象/空间跟踪系统350、对象分类系统360、空间分类系统370、应用推荐系统380、和/或应用存储库390之间进行通信。(多个)网络340可以包括，例如，连接对象/空间跟踪系统350、对象分类系统360、空间分类系统370、应用推荐系统380、和/或应用存储库390中的两个或更多个的互联网、互联网服务提供商(ISP)连接、本地有线或无线网络(诸如但不限于Wi-Fi或以太网)、短范围无线网络(诸如但不限于蓝牙)、和/或内部网络。

要指出的是，在其他实施例中，上文针对系统300描述的各种功能可以通过与图3中图示的不同的系统来实施。例如，被描述为由对象标识系统360执行的功能中的一些功能，诸如使用模型数据366来标识对象、和/或存储未标识的对象数据368，可以在处理环境302内执行。

图4图示了用于使用在MR设备上执行的软件应用来增强真实世界对象的方法和/或过程的示例。图4中图示的方法和/或过程可以使用上文关于图1A-图3描述的各种设备、系统、元件和特征来实施。在步骤405处，MR设备捕获用于物理空间的图像数据。例如，这可以如上文关于(多个)面向外的图像传感器130、图像预处理器308和场景映射器310所描述的来执行。在步骤410处，MR设备将在步骤405中捕获的图像数据中示出的真实世界对象自动地分类。例如，这可以如上文关于对象分类器316所描述的来执行。在一些示例中，步骤410可以包括子步骤415，在子步骤415中，远程对象分类系统被用来对真实世界对象进行分类。例如，这可以如上文关于对象分类系统360所描述的来执行。

在步骤420处，MR设备基于在410处与真实世界对象相关联的一个或多个分类来自动地标识一个或多个软件应用。例如，这可以在很大程度上如上文关于应用标识器320所描述的来执行。在一些示例中，步骤420可以包括子步骤425，在子步骤425中，远程应用推荐系统被用来标识软件应用中的一个或多个。例如，这可以如上文关于应用标识器320所描述的来执行。在一些示例中，在步骤420之后，步骤425可以执行，在步骤425中，视觉指示符被显示给MR设备的用户：一个或多个软件应用已经被标识用于增强真实世界对象。在一些示例中，在步骤425之后，步骤430可以执行，在步骤430中，在步骤420处标识的软件应用中的一些或全部被呈现给MR设备的用户，作为用于经由MR设备来增强真实世界对象的建议和/或选项。步骤430可以响应于用户经由MR设备与真实世界对象交互，和/或用户与在425处显示的视觉指示符交互而被执行。

在步骤430之后，在步骤435处，MR设备可以接收由MR设备自动地标识并且在步骤430处被呈现的软件应用中的一个软件应用的用户选择。在一些示例中，这可能导致该软件应用被下载和安装在MR设备上，诸如通过从图3中图示的应用存储库390下载该软件应用。在步骤440处，诸如在步骤435之后，MR设备将在步骤420处标识的软件应用与真实世界对象相关联。例如，在步骤435处选择的软件应用可以在步骤440处与真实世界对象相关联。在步骤445处，在步骤440处与真实世界对象相关联的软件应用在MR设备上与真实世界对象相关联地被执行。在一些示例中，在步骤450处，在445处执行的软件应用可以经由MR设备显示图形虚拟界面，以便表现为位于真实世界对象附近。下文关于图5-图14描述的各种技术可以结合图4中图示的步骤来使用，并且关于图5-图14所描述的技术的各方面可以使用关于图1-图4所描述的技术来实施。

在不同的实施方式中，一旦MR设备250已经确定存在于物理空间200中的对象中的任何对象是否已经被分类，MR设备250可以发起第二过程。要指出的是，该第二过程可以在对象已经被标识为存在但尚未被分类时执行。图5图示了一种示例，其中图2中图示的MR设备250已经对第一真实世界对象210、第二真实世界对象220和第三真实世界对象230中的每个进行了标识和分类。另外，MR设备250已经基于真实世界对象210、220和230的相应对象分类，自动地标识了用于真实世界对象210、220和230中的每个的一个或多个软件应用。如图5中所图示的，在一些实施方式中，视觉指示符然后可以在如下的每个真实世界对象附近被显示给用户240，针对该真实世界对象，一个或多个软件应用已经自动地被标识并且该真实世界对象尚未与软件应用相关联。例如，图标、真实世界对象周围的光环、通知、光、和/或其他虚拟图像或成系列的图像(例如，用于动画序列)可以经由MR设备250被显示，和/或声音可以由MR设备250输出。一个实施方式由图5中的三个全息八面体指示符510、520和530所图示，其中第一视觉指示符510与第一真实世界对象210相关联并且经由MR设备250被显示，以便向用户240表现为接近于第一真实世界对象210，第二视觉指示符520与第二真实世界对象220相关联并且以类似的方式被显示为接近于第二真实世界对象220，并且第三视觉指示符530与第三真实世界对象230相关联并且以类似的方式显示为接近于第三真实世界对象230。视觉指示符中的每个可以充当对用户240的通知：一个或多个软件应用已经自动地被标识用于增强相关联的真实世界对象。

因此，在不同的实施方式中，一旦真实世界对象已经由MR设备250分类并且一个或多个软件应用被标识用于增强真实世界对象，用户240可以选定是否发起选择将与真实世界对象相关联的软件应用的过程。在一些实施方式中，视觉指示符本身可以是用户界面的类型，从而用户240朝向视觉指示符或在视觉指示符上做出的姿势或其他运动可以向MR设备250通知：软件应用选择界面应当被显示给用户240，或者替换地，视觉指示符不应当被显示(例如，如果用户240当前对增强与视觉指示符相关联的真实世界对象不感兴趣)。在其他实施方式中，用户240可以提供其他类型的输入，诸如语音指令或注视相关命令输入(诸如在预定时间量内聚焦于真实世界对象或相关联的视觉指示符)，和/或初始视觉指示符可以不被显示。此外，应当理解，在一些其他实施方式或情况下，不是显示用于真实世界对象的视觉指示符，而是MR设备250可以响应于真实世界对象被分类，将软件应用与真实世界对象(例如，默认软件应用)自动地相关联，和/或与真实世界对象相关联地自动地执行软件应用，而不要求来自用户240的输入。在一些情况下，与真实世界对象相关联的软件应用可以响应于用户240意图与真实对象交互的确定而自动地被执行。在另一实施方式中，对附加信息的请求可以被显示给用户240，而准许用户240使用MR设备250来收集附加图像数据(例如，真实世界对象和/或物理空间的先前未捕获的区域或表面)以用于分类，从多个分类选项中选定，和/或提供有关真实世界对象的附加信息。该附加信息对于允许真实世界对象被分类可以是有效的。

在一些实施方式中，一旦软件应用已经与真实世界对象相关联(无论是由用户240选择还是由MR设备250自动地选择)，用户240后续可以关联可用于真实世界对象的不同的或替换的软件应用。在一些实施方式中，用户240可以明确地标识将与真实世界对象相关联的特定软件应用，即使所标识的软件应用未基于与真实世界对象相关联的对象分类自动地被标识。在一些实施方式中，多于一个软件应用可以与真实世界对象相关联。

为了向读者提供对本文所描述的过程和系统的更多理解，图6-图8图示了示例步骤系列的实施方式，其中软件应用与真实世界对象相关联。在图6中，用户240可以选择用于交互或操纵的对象，这里是第一真实世界对象210。在一个实施方式中，用户240可以例如通过用手部620(通过点状线图示)按压或推动所显示的指示符，来与第一指示符510手动地接合或交互。然而，在其他实施方式中，如本文所描述的其他姿势或输入类型可以由用户240提供，并且由MR设备250接受。在图7中示出的可选步骤中，虚拟菜单710被显示给用户240。虚拟菜单710可以包括各种选项，包括但不限于，访问软件应用源、列表或商店；关于对象和/或关于由系统作出的分类的信息；纠正或调整对象的分类的机会；关于如何使用系统的各种特征的说明；(多个)标签；用于输入查询或请求附加信息的键盘；用于向菜单说出命令的语音界面；用于关闭第一指示符510的选项、改变与第一指示符510相关联的指示符类型或视觉资料的选项、选择与第一真实世界对象210相关联的软件应用的选项(例如，在下拉菜单或搜索中)；和/或其他选项。在图7中示出的示例中，虚拟菜单710包括多个选项和/或信息。在一个实施方式中，虚拟菜单710包括第一标签722(这里是“萨姆的无人机”)和第二标签724(这里是“XyFly型号330A”)，其中每个标签可以是默认标签或由用户240输入。另外，虚拟菜单710可以包括第一按钮726和第二按钮728，第一按钮726包括用于访问更多信息的选项，第二按钮728包括用于改变目前与对象相关联的分类的选项。虚拟菜单710还可以显示一个或多个建议的软件应用(诸如第一建议应用730、第二建议应用740和第三建议应用750)、以及用于显示其他建议的第三按钮760、和/或用于允许用户240搜索其他软件应用的第四按钮762。

现在参考图8，用户240已经确认或选择用于与第一真实世界对象210一起使用的软件应用。在图8中，指示符不再可见，并且替代地，第一软件应用810的图形虚拟界面以图形方式显示给用户240。在一个实施方式中，基于由系统对对象的分类和标识，第一软件应用810可以包括与所理解的第一真实世界对象210的运转相关联的图形虚拟界面。换言之，第一软件应用810可以被配置为投射或显示被理解为与所选择的特定对象具有工作关系的任何界面或视觉表示。因此，第一软件应用810基于第一软件应用810与真实对象的关联性而被呈现给用户240。

此外，应当理解，在一些实施方式中，当第一软件应用810被启动时，第一软件应用810的(多个)图形元素可以被配置为保持连接、附接、链接、锚定、或以其他方式系链到对象。因此，在不同的实施方式中，当用户240移动穿过环境时，第一软件应用810的图形元素保持在第一真实世界对象210的附近或邻近。在一些实施方式中，用于软件应用的图形元素(诸如图形虚拟界面)可以被理解为相对于与其相关联的对象在空间上基本上是固定的。当用户240移动走开时，软件应用的图形虚拟界面保持固连或系链到对象。当对象不再位于经由MR设备250显示给用户240的视场中时，软件应用的图形虚拟界面可以不显示给用户240。然而，当用户240返回以查看对象时，软件应用的图形虚拟界面将再次在对象附近或对象上可见。

例如，在一些实施方式中，第一软件应用810的图形虚拟界面可以“悬停”在第一真实世界对象210上方，与第一真实世界对象210相邻，和/或被转移到第一真实世界对象210的一部分上。在一个实施方式中，第一软件应用810的图形虚拟界面是相对静止的并且可以基本上被固定，从而仅在用户240正在从特定视角查看第一真实世界对象210时，用户240才完全看到第一软件应用810的图形虚拟界面，并且从其他视角则具有第一软件应用810的图形虚拟界面的更有限的视图。然而，在其他实施方式中，第一软件应用810的图形虚拟界面可以是动态的，并且可以旋转或以其他方式调节其相对于第一真实世界对象210的位置或取向，以便对跨越第一真实世界对象210的多个视角的用户240可见和可访问。在图8的示例中，第一真实世界对象210具有第一对象位置820，并且第一软件应用810的图形虚拟界面具有第一界面位置830。在一些实施方式中，MR设备250可以被配置为在距对象的特定或平均距离或范围处呈现(多个)图形元素。另外，在一些实施方式中，第一软件应用810的图形虚拟界面可以被键控为：仅在用户240处于距第一真实世界对象210在指定距离之内时，或者在第一真实世界对象210的至少显著部分为可见时才出现。在一些情况下，随着用户240相对于对象的位置改变，第一软件应用810的图形虚拟界面在大小上可以改变。例如，当用户240移动而进一步远离第一真实世界对象210时，第一软件应用810的图形虚拟界面在大小、可感知性、可辨别性、亮度、或其他特征上可以减小。类似地，当用户240移动而更靠近第一真实世界对象210时，第一软件应用810的图形虚拟界面在大小、可感知性、可辨别性、亮度、或其他特征上可以增大。在一些实施方式中，当MR设备250在对象及其(多个)相关联的图形元素的指定距离之内时，MR设备250可以被配置为向用户240发出听觉或振动通知。在其他实施方式中，第一软件应用810的实际位置或显示或其他设置可以由用户240来调节以适应他们的偏好。

尽管图6-图8呈现了软件应用与对象的关联过程的一个实施方式，但是应当理解，该过程在其他实施方式中可以变化。例如，在一个实施方式中，用户240可以能够直接从指示符(图6)前进到图形虚拟界面(图8)而无需与虚拟菜单交互(图7)。因此，在一些情况下，用户240可以向系统指示(手动地、经由姿势、经由语音、经由注视、或其他这样的输入)指令，以立即呈现用于对象的默认关联软件应用，而无需与任何其他选项或步骤的交互。另外，如上文指出的，在一些实施方式中，用户240可以能够直接跳到用于对象的相关联的软件应用的显示，而无需指示符(图6)或菜单(图7)的呈现。

在不同的实施方式中，应当理解，在初始分类过程之后由用户240与MR设备250进行的对象的后续交互或视图将由MR设备250记住或存储。因此，当用户240返回到已分类的对象时，相关联的软件应用将自动地被呈现给用户240。另外，在一些实施方式中，相关联的软件应用可以存储在先前交互期间输入的设置，并且在后续交互中调用它们。在一个实施方式中，由用户240选择的频繁命令或设置可以作为“快速启动”选项优先地被显示或提供在软件应用上。另外，在一些实施方式中，对象的坐标或地点可以由MR设备250用来辅助于更快地确定对象是否为系统先前已分类的同一对象。换言之，MR设备250将标识对象，并且存储与对象和对象周围的物理空间两者有关的信息。在一个实施方式中，MR设备250可以分析和标识对象，并且还分析和处理对象的环境上下文。例如，如果对象是电视，则MR设备250可以将对象分类为电视，并且通过对其相对于相邻或邻近物品的存在进行映射来对电视的空间位置进行分类。电视可以例如被放置在桌子上，并且桌子可以具有特定的尺寸和着色。当用户240再次查看该对象时，桌子的尺寸和着色可以向MR设备250提供关于以下的增加的置信度：该对象是较早标识的同一电视，并且相关联的软件应用应当被显示给用户240。在其他实施方式中，对象周围的环境的任何方面可以由MR设备250用来帮助确定对象是否先前已经被分类，和/或用来显示(多个)适当的相关联的软件应用。

为了提供对所公开的实施方式的更多理解，关于图9-图11来提供关于MR设备250和第一真实世界对象210的操作的进一步细节。在图9中，第一真实世界对象210和用户240被描绘在物理空间200中。如先前所指出的，第一真实世界对象210是动态对象。在这种情况下，第一真实世界对象210可以被理解为包括能够移动的对象。在图9-图11的示例中，第一真实世界对象210是无人机。无人机可以包括宽范围的形状、大小，并且具有各种功能。通常，无人机能够飞行并且有可操纵性。无人机经常可以通过遥控器或其他手动输入来控制。在图9中，第一真实世界对象210表示标准无人机，其能够按需要飞行、悬停、在三个维度上移动，并且在空中执行不同的特技动作。因此，无人机可以轻易地改变物理坐标，并且从一个位置移动到另一位置。在其他实施方式中，第一真实世界对象210可以表示任何类型的动态或静态对象，包括但不限于，无线电控制或远程控制的车辆、自动化或自主车辆、家用或商业技术，诸如机器人真空吸尘器、玩具、安全系统、可编程设备、电器、娱乐系统、时钟、蜂窝设备、机械、计算机、手表、车辆、智能设备、自动化设备、机器人配件、轮椅、风扇、灯、或任何其他这样的设备。

在图9中，第一真实世界对象210或无人机位于第一对象位置820。当用户240注视或看着第一真实世界对象210时，第一软件应用810的图形虚拟界面也在第一界面位置830被显示给用户240。在这种情况下，第一软件应用810包括用于控制和/或操作无人机的图形虚拟界面。换言之，当用户240在操作MR设备250的同时初始地看着无人机时，MR设备250能够将对象标识为无人机，基于正被接收的视觉输入来确定关于无人机的标识的附加细节，对该对象进行分类，并且向用户240提供用于与无人机配对的软件应用。该软件应用被系链到无人机，从而在用户240看着无人机的每个场合或时段期间，相关联的软件应用也将被使得可用于用户240。

接下来参考图10，可以看到无人机已经从图9的第一对象位置820移动到第二位置1020。如上文也讨论的，相关联的软件应用可以被配置为保持系链到对象。因此，在一些实施方式中，当动态对象移动穿过空间时，图形虚拟界面也以基本对应的方式移动。换言之，如图9和图10中示出的，当无人机从第一对象位置820移动到第二位置1020时，第一软件应用810的图形虚拟界面跟随或保持附接在无人机的特定范围内或附近。在图10中，点状线表示图形虚拟界面的位置从第一界面位置830到第二界面位置1030的变化。在一个实施方式中，第二界面位置1030被配置为接近于第二对象位置1020。在一些实施方式中，MR设备250可以包括如下的选项：调节图形虚拟界面应当相对于对象被显示的接近水平或平均距离。在一个实施方式中，图形虚拟界面可以被配置为在动态对象改变位置时在动态对象旁边以相似速度滑动或移动。因此，当无人机或其他动态对象移动穿过物理空间时，用户240可以继续观测和操作对象，而没有中断或者需要将他们的视觉注意力转移到别处。

在不同的实施方式中，附加特征可以在MR设备250的使用期间被供应。例如，对象可以与其他类型的图形元素相关联(即，附加于上文描述的图形虚拟界面，或作为对其的替换)。在一些实施方式中，某种化身或其他视觉表示或图像可以被投射在对象的表面的至少一部分上。投射的化身可以是叠加在对象的至少一部分上的任何图像或图形或图标。投射的化身可以是部分透明或不透明的。在一些实施方式中，化身可以是向对象的视觉增进或补充，或者可以利用投射的图像基本上或完全替代对象的视图。换言之，对象的外观可以通过化身在对象的视图上的叠加来仿真或修改。

在图11中，第一真实世界对象210包括虚拟服装或化身1110。在一些实施方式中，化身1110可以从MR设备250可用的图像集合中选择，或者在其他实施方式中，可以由用户240定制。此外，在不同的实施方式中，化身1110可以按照与如上文所描述的虚拟界面类似的方式连接或系链到对象。因此，当对象移动或改变位置时，叠加在对象上的化身也可以按对应的方式移动。换言之，参考图11，当无人机移动穿过物理环境时，用户240可以观测到无人机具有已修改的外观，其被呈现为与对象相关联的连续全息显示。在无人机操作、移动和执行各种活动时，用户240可以享受观看无人机，同时感知到与无人机的真实(物理)外观不同的外部外观。在另一实施方式中，化身1110还向用户240提供图形虚拟界面。因此，在单个基本上统一的投射中，对象可以与全息的修改后的外观以及用于对该对象的用户控制的全息界面两者相关联。然而，在其他实施方式中，相关联的软件应用和化身可以包括由MR设备250生成的两个分开的投射。

关于图12和图13来描述MR设备250的操作的另外的示例。在图12中，第二真实世界对象220被示出为具有第二软件应用1200的对应图形虚拟界面1220，其被系链到第二真实世界对象220。出于该示例的目的，第二真实世界对象220是静态对象。然而，本文所描述的特征可以应用到任何类型的对象。在图12中，出于简单的目的，第二真实世界对象220包括一种类型的音乐播放器。MR设备250已经分析了该对象，标识了音乐播放器，并且显示与音乐播放器相关联的第二软件应用1200。在一个实施方式中，第二软件应用200是被配置为像触摸屏显示器的全息扁平面板。在其他实施方式中，第二软件应用1300可以表现为三维的。在这种情况下，第二软件应用1200向用户240呈现一系列的全息输入供给，诸如按钮、开关、刻度盘、或其他输入界面或控件。例如，第二软件应用1300包括旋钮1210。旋钮1210可以用于调节(例如，增大音乐播放器的音量，或者减小音乐播放器的音量)。MR设备250可以辨别用户240的手指何时正在以这样的方式移动，以便对应于对全息控件之一的使用或操纵。例如，当用户240通过在第一方向上转动或旋转他们的手指来与旋钮1210交互时，真实对象(这里是音乐播放器)可以通过增大音乐的音量来响应。类似地，当用户240通过在不同的第二方向上转动或旋转他们的手指来与旋钮1210交互时，音乐播放器可以通过减小音乐的音量来响应。其他控件通过第二软件应用1200可以是可用的。在其他实施方式中，第二软件应用1200可以被理解为包括用于任何其他相关联的“智能”对象的适当控件。应当理解，本文中呈现的示例仅出于说明性目的，并且与对象相关联的软件应用可以与这里描述的软件应用相差很大。

另外，MR设备250可以提供各种虚拟界面类型或图形元素。在不同的实施方式中，MR设备250可以被配置为显示图形虚拟界面，该图形虚拟界面可以为用户240提供用于获得与所选择的对象有关的信息的选项。对象可以是智能的或被动的，和/或静态的或动态的。例如，参考图13，第三真实世界对象230被描绘为具有第三软件应用1300。在该示例中，第三真实世界对象230包括盆栽植物。MR设备250已经分析了该对象，对盆栽植物进行了标识和分类，并且显示与盆栽植物相关联的第三软件应用1300的(多个)图形元素。在这种情况下，第三软件应用1300可以包括各种交互式选项，包括但不限于，活动、信息、配方、指令、应用、建议、提醒、列表、指南、视频、图像、帮助、支持、想法、或者用于用户240学习、涉及、或与真实对象进一步接合的其他机会。在一些实施方式中，呈现的(多个)图形元素可以是用于由MR设备250归类或分类在特定类别之一中的对象的默认图形虚拟界面。然而，在其他实施方式中，软件应用可以由用户240选择用于与特定对象一起使用。换言之，用户240可能希望关联如下的软件应用，其包括与盆栽植物有关的可调节的提醒或待办事项列表。在图13中，显示给用户240的第三软件应用1300在第一选项卡1310中提供浇水日程安排，并且在第二选项卡1320中提供用于植物品种的植物参考指南。在该示例中，如果用户240选择第一选项卡1310，则浇水日程安排将被呈现，并且用于调整或查看日程安排的选项可以被显示。类似地，如果第二选项卡1320被选择，则用于植物的参考指南将被显示，其具有用于搜索各种术语或主题的选项。在一些实施方式中，软件应用可以被配置为基于用户输入、指令、来自软件应用的命令、或其他信息，向用户240提供警报1330或其他通知。应当理解，本文中呈现的示例仅用于说明性目的，并且与对象相关联的软件应用可以与这里描述的软件应用相差很大。在一些实施方式中，该对象可以被链接到其他对象，以为用户240提供统一的图形虚拟界面。作为一个示例，在图13中，用于土壤的数字湿度仪表可以被添加到盆栽植物，并且第三软件应用1300可以被配置用于与盆栽植物相关联，以及提供对数字仪表的控制。因此，在一些实施方式中，多个对象可以被分组或聚集以用于与单个软件应用相关联。

如早前指出的，在一些实施方式中，用户240可以使用语音命令或听觉指令来通过MR设备250与他们的环境中的对象交互。在一些情况下，用户240可以将语音控件与他们的环境(诸如房间、房屋、办公室、建筑物、商店、礼堂、或其他物理空间)中的各种对象或设备一起使用。例如，用户240可以向MR设备250说出请求，用以开启或关闭(或以其他方式调节或操作)被分类在房间或房屋中的特定类别中的设备中的一个或多个、或全部。用户240可以标识应当通过所指配的语义标签(例如，“餐厅中的灯具”、“房屋中的所有灯”、“地下室灯”、“天花板灯”、“夜灯”、“户外泛光灯”、以及其他这样的标识符语义标签)来调节的设备。各种设备可以与任何其他语义标签相关联，以准许用户240通过MR设备250轻易地且自然地与不同对象交互。

另外，在不同的实施方式中，MR设备250可以被配置为更全局地评估物理环境，以便微调呈现给用户的选项。在一些实施方式中，MR设备250可以对房间或物理空间自动地分类，并且确定用于对象的物理上下文或语义标签。在一些情况下，对象在其中被标识的物理上下文可能影响显示给用户的内容。作为一个示例，MR设备250可以检测到用户卧室中的音频扬声器，并且可以建议与该地点或地点类型相关联的歌曲。相比之下，在厨房(其中新闻可能比音乐更经常被播放)中检测到的扬声器可以由MR设备250与用于新闻应用的选项相关联。

在另一示例中，用户240可以通过向MR设备250提供方向性提示来选择对象。在一些实施方式中，方向性提示可以包括在佩戴MR设备250时用户注视的方向。这可以提供MR设备250用以确定用户240正在指代哪个对象所必要的信息。如图14中示出的，用户240站在第一房间1400中。第一房间1400包括第一光源1410和第二光源1420，两者均被开启。用户240可能希望仅关闭单个灯。通过将他或她的注视指向应当被关闭的光源，用户240可以向MR设备250指示他或她意图将哪个灯作为后续语音命令的对象。在该示例中，用户240在注视第一光源1410的同时可以说出命令，诸如“关闭该灯”。MR设备250可以处理语音命令和注视的方向，以确定第一光源是所意图的对象。在该情况下，MR设备250可以关闭第一光源1410并且使第二光源1420保持开启。

在其他实施方式中，用户240的地点可以由MR设备250用来确定哪个对象是语音命令的所意图的接收者。例如，如果第一光源位于第一房间中并且第二光源位于第二房间中，则当用户240站在第一房间中时用于关闭灯的命令可以被理解为指向与用户240位于同一房间中的第一光源。

图15图示了示出本公开的各方面可以在其上被实施的示例计算机系统1500的框图。计算机系统1500包括总线1502或用于传送信息的其他通信机构、以及与总线1502耦合以用于处理信息的处理器1504。计算机系统1500还包括主存储器1506，诸如随机访问存储器(RAM)或其他动态存储设备，其耦合到总线1502以用于存储信息和将由处理器1504执行的指令。主存储器1506也可以用于在将由处理器1504执行的指令的执行期间存储临时变量或其他中间信息。计算机系统1500可以实施，例如，图3中图示的用户系统342、对象/空间跟踪系统350、对象分类系统360、空间分类系统370、应用推荐系统380、和/或应用存储库390中的一个或多个、或部分。计算机系统1500还可以实施，例如，图4中图示的操作中的一个或多个、或部分。

计算机系统1500还可以包括只读存储器(ROM)1508或其他静态存储设备，其耦合到总线1502以用于存储用于处理器1504的静态信息和指令。存储设备1510，诸如闪存或其他非易失性存储器，可以耦合到总线1502以用于存储信息和指令。

计算机系统1500可以经由总线1502耦合到显示器1512，诸如液晶显示器(LCD)，以用于显示信息。一个或多个用户输入设备，诸如示例用户输入设备1514，可以耦合到总线1502并且可以被配置用于：接收各种用户输入(诸如用户命令选择)并且将这些用户输入传送给处理器1504或主存储器1506。用户输入设备1514可以包括物理结构、或虚拟实施方式、或两者，以提供用户输入模式或选项，用于控制例如通过显示器1512或通过其他技术对用户可见的光标，并且这样的模式或操作可以包括例如虚拟鼠标、轨迹球、或光标方向键。

计算机系统1500可以包括以重叠或交错的方式执行相应的程序指令的处理器1504的相应资源。指令可以从另一机器可读介质(诸如存储设备1510)读入主存储器1506。在一些示例中，硬连线电路可以被使用以代替或组合软件指令。如本文中使用的术语“机器可读介质”是指参与提供使得机器以特定方式操作的数据的任何介质。这样的介质可以采取各种形式，包括但不限于，非易失性介质、易失性介质、和传输介质。非易失性介质可以包括例如光盘或磁盘，诸如存储设备1510。传输介质可以包括光学路径、或者电或声信号传播路径，并且可以包括声波或光波，诸如在无线电波和红外数据通信期间生成的那些声波或光波，其能够承载由物理机构可检测以用于输入到机器的指令。

计算机系统1500还可以包括耦合到总线1502的通信接口1518，其用于耦合至连接到本地网络1522的网络链路1520的双向数据通信。网络链路1520可以通过一个或多个网络向其他数据设备提供数据通信。例如，网络链路1520可以通过本地网络1522向主机计算机1524或者向由互联网服务提供商(ISP)1526操作的数据装备提供连接，以通过互联网1528来访问服务器1530，例如，以获得用于应用程序的代码。

所公开的实施方式可以并入在以下中描述的特征、组件、方法、系统、软件和其他方面中的任何项：美国专利申请公开号US2015/0235432(标题为“Augmented RealityComputing with Inertial Sensors”并且于2015年8月20日公开)、US 2016/0077785(标题为“Executable Virtual Objects Associated With Real Objects”并且于2016年3月17日公开)、US 2016/0173293(标题为“3D Mapping of Internet of Things Devices”并且于2016年6月16日公开)、US2016/0292850(标题为“Personal Audio/Visual System”并且于2016年10月6日公开)和US 2017/0004655(标题为“Mixed Reality Interactions”并且于2017年1月5日公开)。

尽管前面已经描述了被认为是最佳模式和/或其他示例的内容，但是要理解，各种修改可以在其中作出，并且本文中公开的主题可以按各种形式和示例来实施，并且这些教导可以被应用在许多应用中，本文仅描述了其中的一些。通过随后的权利要求，所意图的是要求保护落入本教导的真实范围内的任何和所有应用、修改和变化。

除非另有陈述，否则在本说明书中，包括在随后的权利要求中阐述的所有测量、值、额定值、位置、大小、尺寸和其他规格都是近似的，而非精确的。它们旨在具有与它们所涉及的功能以及它们所属于的领域中的习惯相一致的合理范围。

保护范围仅由现在随后的权利要求来限制。该范围旨在并且应当被解释为与以下一样宽：其与根据本说明书和后续审查历史被解释时的权利要求中所使用的语言的普通含义相一致，并且包括所有结构性和功能性等同物。尽管如此，所有权利要求均不旨在包含不满足专利法第101、102或103章的要求的主题，它们也不应当以这样的方式被解释。对这样的主题的任何非故意的包含据此被放弃。

除了紧接在上文所陈述的之外，已经陈述或说明的内容均无意或不应当被解释为导致任何组件、步骤、特征、对象、权益、优势或等同物贡献给公众，无论其是否被记载在权利要求中。

将理解，除了在本文中已经另外阐述具体含义的场合之外，本文中使用的术语和表述具有与关于它们对应的相应探究和研究领域的这样的术语和表述相符的普通含义。关系术语，诸如第一和第二等，可以仅用于将一个实体或动作与另一实体或动作区分开，而不必然要求或暗示这样的实体或动作之间的任何实际的这样的关系或顺序。术语“包括”、“包括有”、或其任何其他变体旨在覆盖非排他性包括，从而包括元素列表的过程、方法、制品、或装置不仅包括那些元素，还可以包括未明确列出或这样的过程、方法、制品、或装置所固有的其他元素。在没有另外的限制的情况下，以“一个”或“一种”在前的元素不排除在包括该元素的过程、方法、制品、或装置中存在附加的相同元素。

本公开的摘要被提供以允许读者快速地弄清技术公开的性质。其以如下的理解被提交：其将不被用于解释或限制权利要求的范围或含义。另外，在前述详细描述中，可以看出各种特征在各种示例中被分组在一起以用于精简本公开的目的。本公开的该方法将不被解释为反映如下意图：权利要求需要比每个权利要求中明确记载的特征更多的特征。相反，如随后的权利要求反映的，发明性主题在于少于单个所公开的示例的所有特征。因此，随后的权利要求据此被并入到详细描述中，并且每个权利要求独立地作为单独要求保护的主题。

Claims (18)

1.一种混合现实设备，包括：

一个或多个传感器，被包括在所述混合现实设备中并且被配置为在第一真实世界对象靠近所述混合现实设备时获取第一传感器数据；

对象分类器，被配置为基于所述第一传感器数据，将所述第一真实世界对象自动分类为与第一对象分类相关联；

应用标识器，被配置为自动标识与所述第一对象分类相关联第一软件应用，其中所述第一软件应用未被安装在所述混合现实设备上；以及

控制器，被配置为：

存储将所述第一软件应用与所述第一真实世界对象相关联的数据，以及

在所述混合现实设备上与所述第一真实世界对象相关联地执行所述第一软件应用，

其中：

所述对象分类器还被配置为：结合在所述第一软件应用程序与所述第一真实世界对象的关联之后所述混合现实设备返回靠近所述第一真实世界对象，确定所述第一真实世界对象先前被分类；以及

所述控制器还被配置为：响应于所述第一真实世界对象先前被分类的确定以及所述第一软件应用与所述第一真实世界对象的所述关联，在所述混合现实设备上与所述第一真实世界对象相关联地自动呈现所述第一软件应用。

2.根据权利要求1所述的混合现实设备，包括：

其中所述一个或多个传感器被配置为在包括所述第一真实世界对象的多个真实世界对象靠近所述混合现实设备时获取所述第一传感器数据，并且其中所述第一真实世界对象被配置为响应经由无线通信介质接收的来自所述混合现实设备的第一命令；并且其中所述控制器还被配置为：

通过将来自所述混合现实设备的光源的光反射离开用户的眼睛、检测从所述用户的所述眼睛反射的光并且基于从所述用户的所述眼睛反射的光的变化确定所述用户的注视的方向，来确定所述混合现实设备的所述用户的所述注视的所述方向指向所述第一现实世界对象；以及

响应于指向所述第一真实世界对象的所述注视的所述方向，在所述混合现实设备上执行所述第一软件应用，以使所述第一软件应用经由所述无线通信介质向所述第一真实世界对象发出所述第一命令。

3.根据权利要求2所述的混合现实设备，其中：

包括所述第一真实世界对象的所述多个真实世界对象被包括在由所述混合现实设备观察到的物理空间中；

所述第一软件应用程序被配置为显示图形虚拟界面；并且所述混合现实设备还包括：

显示子系统，被配置为向所述混合现实设备的所述用户显示图像，以及

视觉绘制器，被配置为使用所述显示子系统重复显示所述图形虚拟界面，以便在所述混合现实设备移动穿过所述物理空间时，继续实时地表现为位于所述第一真实世界对象附近。

4.根据权利要求1所述的混合现实设备，其中：

所述控制器还被配置为自动配置所述第一软件应用以经由所述无线通信介质向所述第一真实世界对象发出所述第一命令。

5.根据权利要求1所述的混合现实设备，还包括：

对象分类器，被配置为基于所述第一传感器数据，将所述第一真实世界对象自动分类为与第一对象分类相关联；其中：

所述控制器被配置为：

响应于所述第一软件应用的自动标识，使用所述混合现实设备显示视觉指示符，以便所述混合现实设备的所述用户表现为位于所述第一真实世界对象附近，所述视觉指示符向所述用户指示能够使用未安装在所述混合现实设备上的一个或多个软件应用来增强所述第一真实世界对象，

经由所述混合现实设备，检测与显示的所述视觉指示符的用户交互，以及

响应于检测到所述用户交互，提供用户界面，所述用户界面被配置为经由所述混合现实设备接收将所述第一软件应用与所述第一真实世界对象相关联的用户指令；以及

响应于接收到所述用户指令，发生所述第一软件应用与所述第一真实世界对象的关联。

6.一种混合现实设备，包括：

一个或多个传感器，被包括在所述混合现实设备中并且被配置为在第一真实世界对象靠近所述混合现实设备时获取第一传感器数据；

对象分类器，被配置为基于所述第一传感器数据，将所述第一真实世界对象自动分类为与第一对象分类相关联；

应用标识器，被配置为自动地标识与所述第一对象分类相关联第一软件应用，其中所述第一软件应用未被安装在所述混合现实设备上；以及

控制器，被配置为：

存储将所述第一软件应用与所述第一真实世界对象相关联的数据，以及

在所述混合现实设备上与所述第一真实世界对象相关联地执行所述第一软件应用，

其中：

所述一个或多个传感器还被配置为在所述第一真实世界对象靠近所述混合现实设备时获取第二传感器数据；

所述对象分类器还被配置为基于所述第二传感器数据，将所述第一真实世界对象自动分类为与一般对象分类相关联；以及

所述应用标识器还被配置为基于所述一般对象分类自动地标识附加信息，所述附加信息用于确定多个具体分类中的一个分类是否应用于所述第一真实世界对象，其中所述多个具体分类包括所述第一对象分类；以及

所述混合现实设备被配置为响应于自动地标识出所述附加信息，提供所述第一传感器数据作为所标识的附加信息。

7.根据权利要求6所述的混合现实设备，还包括：

所述应用标识器还被配置为：基于所述第一真实世界对象与所述第一对象分类相关联，自动标识多个软件应用，其中所述第一软件应用被包括在所述多个软件应用中，并且所述第一软件应用的自动标识通过所述多个软件应用的自动标识来执行；

所述控制器还被配置为：

经由所述混合现实设备中包括的显示器，呈现所述多个软件应用作为用于与所述第一真实世界对象的关联的建议，

经由所述混合现实设备接收对所呈现的所述多个软件应用中的所述第一软件应用的用户选择，以及

响应于接收到的所述用户选择，在所述混合现实设备上自动地下载和安装所述第一软件应用；以及

响应于接收到的所述选择，发生所述第一软件应用与所述第一真实世界对象的所述关联。

8.根据权利要求6所述的混合现实设备，其中：

其中所述第一真实世界对象被包括在由所述混合现实设备观察到的物理空间中；

所述对象分类器还被配置为基于由所述混合现实设备获取的第二传感器数据，将所述物理空间中包括的多个真实世界对象自动分类为与相应的对象分类相关联；

所述混合现实设备还包括空间分类器，所述空间分类器被配置为基于与所述多个真实世界对象相关联的所述对象分类，将所述物理空间自动分类为与物理空间分类相关联；

所述应用标识器还被配置为自动地标识与所述物理空间分类相关联的第二软件应用，其中所述第二软件应用未被安装在所述混合现实设备上；以及

所述控制器还被配置为：

将所述第二软件应用与所述物理空间相关联，以及

在与所述物理空间相关联的所述混合现实设备上执行所述第二软件应用。

9.根据权利要求6所述的混合现实设备，其中：

所述第一传感器数据包括由所述混合现实设备通过由所述第一真实世界对象传输的一个或多个无线信号接收的信息；以及

所述第一真实世界对象的所述自动分类部分地基于接收到的所述信息的内容。

10.一种用于使用混合现实设备来增强真实世界对象的方法，所述方法包括：

在第一真实世界对象靠近所述混合现实设备时获取第一传感器数据；

基于所述第一传感器数据，将所述第一真实世界对象自动分类为与第一对象分类相关联；

自动标识与所述第一对象分类相关联第一软件应用，其中所述第一软件应用未被安装在所述混合现实设备上；

将所述第一软件应用与所述第一真实世界对象相关联；

在所述混合现实设备上与所述第一真实世界对象相关联地执行所述第一软件应用；

在所述第一真实世界对象靠近所述混合现实设备时获取第二传感器数据；

基于所述第二传感器数据，将所述第一真实世界对象自动分类为与一般对象分类相关联；

基于所述一般对象分类自动地标识附加信息，所述附加信息用于确定多个具体分类中的一个分类是否应用于所述第一真实世界对象，其中所述多个具体分类包括所述第一对象分类；以及

响应于标识出所述附加信息，提供所述第一传感器数据作为所标识的附加信息。

11.根据权利要求10所述的方法，还包括：

基于所述第一真实世界对象与所述第一对象分类相关联，自动标识多个软件应用，其中所述第一软件应用被包括在所述多个软件应用中，并且所述第一软件应用的所述自动标识通过所述多个软件应用的自动标识来执行；

经由所述混合现实设备中包括的显示器，呈现多个软件应用作为用于与所述第一真实世界对象的关联的建议；

经由所述混合现实设备接收对所呈现的所述多个软件应用中的所述第一软件应用的用户选择，以及

响应于接收到的所述用户选择，在所述混合现实设备上自动下载和安装所述第一软件应用；以及

响应于接收到的所述选择，发生将所述第一软件应用与所述第一真实世界对象相关联。

12.根据权利要求10所述的方法，其中所述第一真实世界对象被包括在由所述混合现实设备观察到的物理空间中，所述方法还包括：

基于由所述混合现实设备获取的第二传感器数据，将所述物理空间中包括的多个真实世界对象自动分类为与相应的对象分类相关联；

基于与所述多个真实世界对象相关联的所述对象分类，将所述物理空间自动分类为与物理空间分类相关联；

自动地标识与所述物理空间分类相关联的第二软件应用，其中所述第二软件应用未被安装在所述混合现实设备上；

将所述第二软件应用与所述物理空间相关联，以及

在与所述物理空间相关联的所述混合现实设备上执行所述第二软件应用。

13.根据权利要求10所述的方法，其中：

所述第一传感器数据包括由所述混合现实设备通过由所述第一真实世界对象传输的一个或多个无线信号接收的信息；以及

所述第一真实世界对象的所述自动分类部分地基于接收到的所述信息的内容。

14.一种用于使用混合现实设备来增强真实世界对象的方法，所述方法包括：

在第一真实世界对象靠近所述混合现实设备时获取第一传感器数据；

基于所述第一传感器数据，将所述第一真实世界对象自动分类为与第一对象分类相关联；

自动标识与所述第一对象分类相关联第一软件应用，其中所述第一软件应用未被安装在所述混合现实设备上；

将所述第一软件应用与所述第一真实世界对象相关联；

在所述混合现实设备上与所述第一真实世界对象相关联地执行所述第一软件应用；

结合在所述第一软件应用程序与所述第一真实世界对象的关联之后所述混合现实设备返回靠近所述第一真实世界对象，确定所述第一真实世界对象先前被分类；以及

响应于所述第一真实世界对象先前被分类的确定以及所述第一软件应用与所述第一真实世界对象的所述关联，在所述混合现实设备上与所述第一真实世界对象相关联地自动呈现所述第一软件应用。

15.根据权利要求14所述的方法，其中：

获取所述第一传感器数据包括：在包括所述第一真实世界对象的多个真实世界对象靠近所述混合现实设备时获取所述第一传感器数据，其中所述第一真实世界对象是能够通过所述混合现实设备查看的真实世界空间的一部分，并且其中所述第一真实世界对象被配置为响应经由无线通信介质接收的来自所述混合现实设备的第一命令；所述方法还包括：

通过将来自混合现实设备的光源的光反射离开用户的眼睛、检测从所述用户的所述眼睛反射的光并且基于从所述用户的所述眼睛反射的光的变化确定所述用户的注视的方向，来确定所述混合现实设备的所述用户的所述注视的所述方向指向所述第一现实世界对象；以及

响应于指向所述第一真实世界对象的所述注视的所述方向，在所述混合现实设备上执行所述第一软件应用，以使所述第一软件应用经由所述无线通信介质向所述第一真实世界对象发出所述第一命令。

16.根据权利要求15所述的方法，其中：

所述第一真实世界对象被包括在由所述混合现实设备观察到的物理空间中；

所述第一软件应用程序被配置为显示图形虚拟界面；以及

所述方法还包括：使用所述混合现实设备重复显示所述图形虚拟界面，以便在所述混合现实设备移动穿过所述物理空间时，继续实时地表现为位于所述第一真实世界对象附近。

17.根据权利要求15所述的方法，还包括：

自动配置所述第一软件应用以经由所述无线通信介质向所述第一真实世界对象发出所述第一命令。

18.根据权利要求15所述的方法，还包括：

基于所述第一传感器数据，将所述第一真实世界对象自动分类为与第一对象分类相关联；

响应于自动标识出所述第一软件应用，使用所述混合现实设备显示视觉指示符，以便所述混合现实设备的所述用户表现为位于所述第一真实世界对象附近，所述视觉指示符向所述用户指示能够使用未安装在所述混合现实设备上的一个或多个软件应用来增强所述第一真实世界对象；

经由所述混合现实设备，检测与显示的所述视觉指示符的用户交互；以及

响应于检测到所述用户交互，提供用户界面，所述用户界面被配置为经由所述混合现实设备接收将所述第一软件应用与所述第一真实世界对象相关联的用户指令，

其中响应于接收到所述用户指令，发生将所述第一软件应用与所述第一真实世界对象关联。

Images