CN113835519A - 增强现实系统 - Google Patents

Abstract

本发明公开了一种AR系统，该AR系统包括用户界面、被布置为生成表示该AR系统的用户所处的环境的一部分的传感器数据的一个或多个传感器、以及存储器。存储器被布置为存储：将用户与环境中的一个或多个对象相关联的对象关联数据、以及指示一个或多个对象中的每个对象的相应位置的对象位置数据。AR系统被布置为：确定用户的位置；根据所生成的传感器数据和用户的所确定的位置来确定一个或多个对象中的一个对象的经更新位置；更新所存储的对象位置数据以指示一个或多个对象中的所述一个对象的所确定的经更新位置；以及经由用户界面根据一个或多个对象中的所述一个对象的经更新位置来输出信息。

Description

增强现实系统

技术领域

本发明涉及增强现实(AR)系统。本发明与AR系统的使用具有特定但非排他性的相关性，以跟踪用户的财产。

背景技术

例如，由于在离开公共场所时离开了财产而丢失了财产，可能会导致严重的不便，并且如果无法找到或回收财产，则可能是代价很高的。该问题对于具有例如由痴呆引起的记忆问题的人和/或对于其不在可能不容易被注意到的小物品可能特别普遍。例如，人们常常带智能电话、一副耳机、一套钥匙、钱包和/或手提袋离开家。

提供视觉信息以增强用户对环境的体验的增强现实(AR)设备诸如AR头戴式耳机变得更小、更轻，并且具有允许长时间和/或日常使用的形状因数。

发明内容

根据第一方面，提供了一种增强现实(AR)系统。AR系统包括用户界面、被布置为生成表示AR系统的用户所处的环境的一部分的传感器数据的一个或多个传感器、以及存储器。存储器被布置为存储：将用户与环境中的一个或多个对象相关联的对象关联数据、以及指示一个或多个对象中的每个对象的相应位置的对象位置数据。AR系统被布置为：确定用户的位置；根据所生成的传感器数据和用户的所确定的位置来确定一个或多个对象中的一个对象的经更新位置；更新所存储的对象位置数据以指示一个或多个对象中的所述一个对象的所确定的经更新位置；以及经由用户界面根据一个或多个对象中的所述一个对象的经更新位置来输出信息。

在示例中，传感器数据包括图像数据，并且确定一个或多个对象中的所述一个对象的经更新位置包括处理图像数据以检测一个或多个对象中的所述一个对象。

在示例中，确定一个或多个对象中的所述一个对象的经更新位置包括确定用户当前是否持有一个或多个对象中的所述一个对象，并且经更新对象位置数据指示用户当前是否持有一个或多个对象中的所述一个对象。

在示例中，AR系统被布置为根据经更新位置数据检测或预期一个或多个对象中的所述一个对象与用户的分离，根据一个或多个对象中的所述一个对象与用户的所检测的或所预期的分离来生成警报，并且经由用户界面输出警报。警报可包括指示一个或多个对象中的所述一个对象的经更新位置的信息。

在示例中，存储器被进一步布置为存储指示一个或多个特权位置的特权位置数据，并且根据对象的经更新位置是否对应于一个或多个特权位置中的任一个特权位置来生成警报。

在示例中，系统被布置为使用用户的所确定的位置来检测或预期用户离开特权位置，并且根据用户离开所述特权位置的检测或预期来生成警报。

在示例中，AR系统被布置为基于所生成的传感器数据来检测用户之外的人对一个或多个对象中的所述一个对象的拾取，并且根据用户之外的人对一个或多个对象中的所述一个对象的所检测的拾取来检测或预期一个或多个对象中的所述一个对象与用户的分离。AR系统可被布置为在检测到用户之外的人拾取一个或多个对象中的所述一个对象时，捕获用户之外的人的图像。

在示例中，经由用户界面输出信息是响应于来自用户的请求。可使用语音识别和手势识别中的至少一者来得出请求。

在示例中，AR系统被布置为根据由一个或多个传感器生成的另外的传感器数据来更新所存储的对象关联数据，以将用户与环境中的另外的对象相关联。另外的传感器数据可包括另外的图像数据，并且所存储的对象关联数据的更新可包括处理另外的图像数据以学习另外的对象的外观。对象关联数据的更新可取决于来自用户的输入，例如使用语音识别和手势识别中的至少一者得出。

在示例中，AR系统被布置为使用同时定位和测绘SLAM来确定用户的位置。

在示例中，用户界面包括一个或多个显示器，并且AR系统被布置为在一个或多个显示器上可视地输出信息。

在示例中，一个或多个对象中的所述一个对象是被布置为传输无线信号的设备，并且AR系统被布置为使用所传输的无线信号来识别一个或多个对象中的所述一个对象。

根据第二方面，提供了一种计算机实现的方法。该方法包括：存储将环境中的一个或多个对象与AR系统的用户相关联的对象关联数据；接收表示用户所处的环境的一部分的传感器数据；确定用户的位置；根据所接收的传感器数据和用户的所确定的位置来确定与用户相关联的一个或多个对象中的一个对象的位置；存储指示一个或多个对象中的所述一个对象的所确定的位置的对象位置数据；以及经由AR系统的用户界面根据一个或多个对象中的所述一个对象的所确定的位置来输出信息。

通过以下参照附图给出的仅以举例的方式给出的本发明的优选实施方案的描述，本发明的其他特征和优点将变得显而易见。

附图说明

图1是示出根据示例的增强现实(AR)系统的示意性框图；

图2示出了包括一副智能眼镜的AR系统的示例；

图3是示出根据示例的生成用于经由AR系统的用户界面输出的信息的计算机实现的方法的流程图；

图4A和图4B示出了由图2的AR系统输出的信息的示例；

图5是示出根据示例的生成用于经由AR系统的用户界面输出的警报的计算机实现的方法的流程图；

图6A至图6C示出了由图2的AR系统输出的警报的示例；

图7是示出根据示例的生成用于经由AR系统的用户界面输出的警报的另外的计算机实现的方法的流程图；并且

图8是示出根据示例的生成将AR设备的用户与环境中的对象相关联的数据的计算机实现的方法的流程图。

具体实施方式

图1示出了AR系统100的示例。AR系统100可体现为单个AR设备，例如头戴式耳机、一副智能眼镜或任何其他类型的合适的可穿戴设备。AR系统100可另选地包括通过有线或无线方式连接的多个设备。将参考图2更详细地描述该具体实施方式。

AR系统100包括一个或多个传感器102，该一个或多个传感器被布置为生成表示AR系统100的用户所处的环境的一部分的传感器数据。传感器102可以是单个设备诸如AR头戴式耳机的部件，或者另选地可以是多个所连接的设备的部件。传感器102包括用于生成图像数据的一个或多个相机，该图像数据表示落入一个或多个相机的视场内的环境的一部分。视场可在竖直和/或水平方向上界定，这取决于相机的数量和位置。例如，相机可被布置为面向与佩戴AR头戴式耳机的用户的头部基本上相同的方向，在这种情况下，一个或多个相机的视场可包括用户的整个或部分视场。另选地，视场可包括较宽区域，例如完全包围用户。相机可包括立体相机，AR系统可使用立体匹配从立体相机得出指示到环境中对象的距离的深度信息。另选地或除此之外，传感器102可包括用于生成深度信息的深度传感器，例如红外相机、声音导航测距(声纳)收发器和/或光检测和测距(LIDAR)系统。AR系统100可被配置为组合图像数据和相关联的深度信息以生成环境的一部分的三维表示，例如以RGB-D格式，和/或作为点云或体积表示。

传感器102包括用于确定AR系统100的用户的位置和/或取向(统称为位置或姿势)的位置传感器。位置传感器可包括全球定位系统(GPS)模块、一个或多个加速度计和/或用于确定取向的霍尔效应磁力计(电子罗盘)。除此之外或另选地，AR系统100可以能够通过使用同时定位和测绘(SLAM)技术分析图像数据和/或深度信息来确定或细化用户的估计位置。

AR系统100包括用户可经由其与AR系统100进行交互的用户界面104。用户界面104包括输入设备和输出设备，其可以是单个AR设备的部件，或者另选地可以是多个所连接的设备的部件。输出设备被布置成为用户输出信息，并且包括用于向用户提供视觉信息以增强用户的环境体验的一个或多个显示器。一个或多个显示器可包括不透明显示器，该不透明显示器被布置为生成和显示与使用一个或多个相机和/或深度传感器生成的环境的一部分的表示对应的图像数据，其中附加信息或虚拟对象与所生成的环境的表示重叠或以其他方式组合。除此之外或另选地，一个或多个显示器可包括透明显示器，用户可通过该透明显示器直接观察环境，并且例如使用波导或激光扫描显示技术在该透明显示器上投影信息或虚拟对象。

输出设备可包括例如安装在听筒或耳机中的一个或多个扬声器，从而允许AR系统100以音频的形式向用户输出信息。音频可包括例如合成的或预先记录的语音、瑕疵、蜂鸣声、点击、音乐或适于向用户传达信息的任何其他声音。

输出设备还可包括触觉输出设备，该触觉输出设备被布置为生成力以引起AR系统100的一部分或全部的运动，包括例如振动、点击或可由用户的触感检测到的其他运动。在一个示例中，AR头戴式耳机可向另外的设备诸如智能手表、健身跟踪器、手镯或其他可穿戴设备或智能电话发送信号，使得该另外的设备为用户提供触觉输出。

用户界面104的输入设备被布置为从AR系统100的用户接收信息。输入设备可包括用于捕获由用户发出的语音或其他声音的一个或多个麦克风。例如，输入设备可包括麦克风阵列，AR系统100可从该麦克风阵列确定到音频源的方向，从而允许AR系统100将由用户发出的声音与环境中的其他声音区分开。AR系统100还可被布置为执行语音识别并对来自用户的口头指令作出反应。

输入设备可包括被布置为跟踪用户眼睛的取向和/或运动的一个或多个眼睛跟踪传感器。眼睛跟踪传感器可例如为能够通过分析由面向眼睛的相机生成的眼睛的图像来跟踪眼睛的取向的光学眼睛跟踪传感器。眼睛跟踪传感器可生成眼睛跟踪数据，AR系统100可从该眼睛跟踪数据确定用户当前正在查看环境的哪个部分或环境中的哪个对象。眼睛跟踪传感器还可用于确定用户何时眨眼或闭合他或她的眼睛，AR系统100可将该眼睛用作输入信号。

输入设备还可包括按钮或触摸输入设备。例如，AR系统100可包括一个或多个滚轮、触敏区域或触控板。如上所述，输入设备可以是容纳传感器102的AR设备的一部分，或者可以是单独的远程设备的一部分。

在一些示例中，AR系统100的一个或多个相机还可用作用户输入设备，例如以便于手势识别。此外，加速度计和/或电子罗盘可用于确定用户何时点头或摇头。

AR系统100包括存储器108和处理电路110。存储器108和处理电路110可以是容纳传感器102的AR设备的一部分。另选地，存储器108和处理电路110中的一些可以是一个或多个单独设备的一部分，例如专用计算设备、智能电话、平板电脑或膝上型计算机、台式计算机、服务器或联网系统中的一个或多个设备。在示例中，某些数据存储和处理任务在AR设备处本地发生，而其他数据存储和处理任务远程发生。这样，由AR设备执行的数据存储和处理可保持到必要的最小值，从而允许AR设备具有对于AR设备的长时间使用和/或日常使用而言实用且有吸引力的尺寸、重量和形状因数。

存储器电路108包括例如一个或多个固态驱动器(SSD)形式的非易失性存储装置，以及非易失性和易失性随机存取存储器(RAM)，例如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)。可包括其他类型的存储器，诸如可移除存储装置、同步DRAM等。

处理电路110可包括各种处理单元，包括中央处理单元(CPU)、图形处理单元(GPU)和/或用于有效地执行神经网络操作的专用神经处理单元(NPU)。对于本发明，神经网络可用于某些任务，包括对象检测和SLAM，如将在下文更详细地描述。处理电路110可包括其他专家处理单元，诸如专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)。

存储器108保持程序代码形式的机器可读指令，该机器可读指令在由处理电路110执行时使得AR系统100执行下文所述的方法。存储器108还被布置为存储用于执行所述方法的另外的数据。该示例中的另外的数据包括由一个或多个传感器102生成的传感器数据、将AR系统100的用户与环境中的一个或多个物理对象相关联的对象关联数据、以及指示一个或多个对象中的每个对象的相应位置的对象位置数据。

图2示出了AR系统200的示例，该AR系统包括一副智能眼镜202和智能电话203上的相关联的应用程序。在该示例中，智能眼镜202和智能电话203在配对过程期间配对，但在其他示例中，智能眼镜202可与另一类型的设备诸如智能手表或平板电脑配对，或者另选地可在不与任何另外的设备配对的情况下起作用。

智能眼镜202包括中心框架部分204和两个折叠臂206a、206b，其中中心部分204用作两个镜片208a、208b的支撑件。中心框架部分204和臂206a、206b容纳各种传感器和用户界面部件，如下文将描述的。在该示例中，镜片208a、208b是中性的，但是在其他示例中，镜片可以是与特定用户的处方匹配的矫正镜片，和/或可以是着色的，例如在智能太阳镜的情况下。镜片208a、208b中的每一者是透明显示器，对应的投影部件210a、210b被布置在该透明显示器上以向用户显示信息。

中心框架部分204容纳两个前向相机212a、212b，其中组合视场大致对应于用户的视场。AR系统200被布置为使用立体匹配来分析由相机212a、212b生成的图像数据以确定深度信息。中心框架部分204还容纳用于接收来自用户的人声输入的麦克风阵列214，以及用于分别跟踪用户的右眼和左眼的取向和运动的光学眼睛跟踪传感器216a、216b。臂206a、206b容纳专用电源、处理电路和存储器电路，以及全球定位系统(GPS)接收器、电子罗盘、加速度计，以及包括用于与运行相关联的应用程序的智能电话203进行无线通信的天线的通信模块。需注意，虽然智能眼镜202在该示例中包括智能眼镜202独立于智能电话203起作用的必要部件，但智能电话203还包括智能眼镜202的某些等效部件，例如GPS接收器和加速度计。在适当的情况下，AR系统200可利用智能电话203的部件来代替智能眼镜202的等效部件，例如以节省智能眼镜202的电池电力。

AR系统200被布置为使用智能眼镜202的车载GPS接收器和电子罗盘和/或通过使用SLAM处理来自相机212a、212b的图像数据来确定用户的位置(即，位置和取向)。AR系统200可被配置为连续地监测用户的位置，或者另选地仅在检测到某些事件时(例如，在加速度计检测到用户的移动时)确定用户的位置。

智能眼镜202可根据用户的偏好进行配置，例如使用智能电话203上的应用程序或直接使用智能眼镜202的输入设备。例如，用户可使用应用程序来选择显示在镜片208a、208b上的信息的类型，以及智能眼镜202是否如上所述连续地监测用户的位置。应用程序在智能电话203上具有相关联的存储，除了智能眼镜202的存储器电路之外，该相关联的存储也可用于存储供AR系统200使用的数据。AR系统200还可利用智能电话203的处理能力来执行某些资源密集型处理任务，诸如SLAM。在智能眼镜202和智能电话203之间共享AR系统200的存储和处理需求允许智能眼镜202的尺寸、重量和形状因数类似于一副常规眼镜，使得用户可长期且每天舒适地佩戴智能眼镜202。

图3示出了由根据本发明的AR系统200执行的方法的示例。应当理解，虽然参考AR系统200描述了该方法，但是在不脱离本发明的范围的情况下，AR系统100的任何合适的实施方案可执行相同的方法。

在302处，AR系统200存储与环境中的一个或多个对象相关联的对象关联数据。AR系统200可存储多个用户的关联数据。在该示例中，智能电话203上的应用程序可用于查看对象关联数据。AR系统200存储用户John Doe的对象关联数据，指示John Doe与三个对象-一套钥匙、钱包和智能电话203相关联。在该示例中，应用程序以用户的姓名示出表格，其中行对应于与用户相关联的不同对象。标题为“O”的列包括表示对象的图标。标题为“P”的列指示用户当前是否持有对象。标题为“L”的列指示对象的位置。参考图8描述了用于生成、存储和更新对象关联数据的方法。

在304处，AR系统200接收表示AR系统200的用户所处的环境的一部分的传感器数据。在该示例中，传感器数据包括由前向相机212a、212b生成的图像数据。相机212a、212b被布置为连续地生成图像数据帧以供AR系统200分析。图像数据帧以足够高以捕获环境中发生的事件但足够低以使AR系统200可实时分析图像数据的速率生成。在其他示例中，传感器数据可包括其他类型的数据，例如深度信息。

在306处，AR系统200确定AR系统200的用户的位置。根据AR系统200可用的信息，所确定的位置可以是全局位置，或者可以是相对于用户所在的房间或其他附近区域的局部坐标系的局部位置。在该示例中，AR系统200被布置为使用智能眼镜202的车载GPS接收器、加速度计和/或电子罗盘和/或通过处理来自相机212a、212b的图像数据来确定用户的位置和取向。例如，AR系统200可使用GPS接收器和电子罗盘来确定用户的大致位置和取向，然后如果用户处于合适的位置(例如，如果用户在室内)，则使用SLAM来确定精确的位置和取向。另选地，如果AR系统200不能使用GPS接收器来确定用户的全局位置，则AR系统200可使用SLAM来确定局部位置。除此之外或另选地，AR系统200可使用计算机视觉技术诸如场景识别来确定用户的位置。例如，AR系统200可使用场景识别来确定用户在酒吧或餐厅中，或者在用户的家中。

在308处，AR系统200根据在306处接收的传感器数据和在308处确定的用户的位置来确定被指示为与用户相关联的对象中的一个对象的位置。在该示例中，AR系统200使用对象检测来处理由相机212a、212b生成的图像数据。在检测到与用户相关联的对象中的一个对象时，AR系统200确定所检测的对象相对于用户的位置。在该示例中，使用利用立体匹配得出的深度信息在三个维度上确定所检测的对象相对于用户的位置。AR系统200然后根据用户的所确定的位置来确定对象的位置。对象的位置可以是全局位置、相对于局部坐标系的局部位置或两者的组合。例如，如果在306处确定的用户的位置是全局位置，则AR系统200可确定对象的全局位置。如果在306处确定的用户的位置是局部位置，则AR系统200可确定对象的局部位置。

除了确定所检测的对象的位置之外，AR系统200还确定用户当前是否持有所检测的对象，例如当前握持对象、将对象携带在口袋中，或者在对象是衣物物品的情况下穿戴对象。为此，AR系统200被布置为识别用户何时拾取或放下对象。因为相机212a、212b是前向的，其视场大致等于用户的视场，所以当用户拾取或放下对象时，对象将很可能在相机212a、212b的视场中。在本示例中，为了识别对象何时被拾取或放下，训练基于卷积神经网络的机器学习分类器以识别用户何时将对象握持在其手中。如果在由相机212a、212b捕获的图像序列中，确定对象保留在用户手中，同时离开相机212a、212b的视场，则AR系统200将确定对象已被用户拾取，并且用户因此持有对象。相比之下，如果在图像序列中，先是确定对象在用户手中并且随后确定对象不在用户手中但仍然在视场中，则AR系统200可确定对象已被放下或放置在环境内，因此用户不再持有对象。应当理解，可采用其他方法来识别用户何时拾取或放下对象。更一般地，如果AR系统200检测到环境中的对象并且对象未被用户握持，则AR系统200将确定用户当前未持有所检测的对象。在310处，AR系统200存储指示所确定的对象位置的对象位置数据。对象位置数据可例如包括给定对象的所确定的位置的精确全局坐标或局部坐标，该给定对象的所确定的位置包括纬度、经度和高度。在不脱离本发明的范围的情况下，其他表示也是可能的。例如，已经表明，如果地球的表面正被划分成三米方格的网格，则可以使用英语语言的三个字词的排列唯一地识别三米方格中的每一个。

除了所确定的对象位置的坐标表示之外，AR系统200还可例如通过与本地或基于云的标测软件进行交互和/或通过识别由用户指定的位置诸如“家”、“工作”等来确定名称或其他标识符，诸如经更新位置的邮政编码。通过使用用户的所确定的位置并通过分析从相机212a、212b接收的图像数据，AR系统200可能能够确定对象位置的非常特定的标识符，例如“在您工作的办公桌上”或“在Eagle酒吧的吧台上”。在本示例中，对象位置数据还指示用户当前是否持有对象。

在另一个示例中，AR系统可以分级方式存储对象位置数据。例如，AR系统可识别第一对象何时被放置在第二对象诸如袋子内，从而在第一对象和第二对象的位置之间形成关联。然后，对象位置数据将指示第一对象的位置与第二对象的位置相同，直到AR系统200确定两个对象的位置不再相关联。类似地，对象位置数据可指示诸如信用卡的第一对象位于诸如手提带的第二对象内，该第二对象位于诸如手提包的第三对象内。AR系统200将在三个对象的位置之间形成关联，使得对象位置数据指示所有三个对象的位置与手提包的位置相同，直到AR系统200确定三个对象的位置不再相关联。

在312处，AR系统200根据所存储的对象位置数据输出信息。该信息可例如指示针对与用户相关联的对象中的一个对象最近所确定的位置。在一个示例中，AR系统200响应于来自用户的请求而输出信息。该请求可包括经由麦克风阵列214接收的言语请求，在这种情况下，AR系统200可使用语音识别和自然语言处理来识别该请求和/或确定该请求的内容。言语请求可例如包括用户询问“我的钥匙在哪里？”。除此之外或另选地，该请求可包括手势，在这种情况下，AR系统200可通过分析从相机212a、212b接收的图像数据来识别该请求。可经由任何其他合适的输入方法来接收请求。

AR系统200可经由AR系统200的任何用户界面向用户输出信息，例如通过在智能眼镜202的镜片208a、208b上显示信息。图4A示出了其中显示指示与用户相关联的对象的位置的信息的示例。所显示的信息包括表示对象(一套钥匙)的图标402、表示到针对对象最近所确定的位置的方向的箭头404、以及指示到针对对象最近所确定的位置的距离的文本。图4B示出了另一个示例，其中显示了指示与用户相关联的对象的位置的信息。所显示的信息包括表示对象(钱包)的图标406，以及针对对象最近所确定的位置的文本描述。在另一个示例中，该信息可包括由相机212a、212b捕获的图像，示出AR系统200上次检测到对象的位置。

作为在镜片208a、208b上显示信息的替代方案，AR系统200可经由智能电话203上的应用程序输出信息。在图2的示例中，应用程序显示指示与用户相关联的若干对象的对象位置数据的表。标题为“P”的列指示用户John Doe当前是否持有每个对象(“Y”指示用户当前持有对象，“N”指示用户当前未持有对象)。在这种情况下，John Doe当前未持有该套钥匙或钱包，但是当前持有智能电话203。标题为“L”的列指示每个对象的位置。在该示例中，该表不显示智能电话203的位置，因为已经确定JohnDoe当前持有智能电话203。

在上述示例中，为AR系统200的用户可视地显示信息。在其他示例中，信息可经由任何其他合适的方法传送给用户，例如作为包括合成或预先记录的语音的音频。

图5示出了由AR系统200(或AR系统100的任何其他合适的实施方案)执行的另一种方法。图5的操作502-510与图3的操作302-310相同。在512处，AR系统200检测或预期用户与和用户相关联的对象中的一个对象的分离。例如，如果对象在相机218a、218b的视场中，并且对象或用户移动使得对象不再在视场中，则可以检测到这种分离。例如，如果对象与相机212a、212b的轴线的角度分离超过预先确定的阈值，则可以预期分离，指示用户已经远离对象。

如果用户将对象放下到特定位置，则AR系统200可预期对象与用户的分离。例如，如果AR系统200检测到用户将一套钥匙放置在公共场所的表面上，则AR系统200可预期该套钥匙与用户的分离。AR系统200还可使用眼睛跟踪传感器216a、216b来确定用户在放下对象时是否直接看向对象。如果用户没有直接看向对象，则AR系统200可确定用户没有专注于对象，并且因此预期对象与用户的分离。

当对象在相机212a、212b的视场之外时，AR系统200可进一步预测或检测对象与用户的分离。例如，AR系统200可从在506处确定的用户的位置检测到用户正在远离对象移动，并且因此检测到用户与对象之间的分离。例如，如果确定用户与对象之间的距离增大到超过预先确定的阈值，则可检测到用户与对象之间的分离。另选地，AR系统200可确定用户正在离开对象所在的楼宇而不持有该对象，从而检测到用户与对象之间的分离。例如，AR系统200可识别用户将一套钥匙放置在餐厅中的桌子上，并存储指示钥匙的位置的对象位置数据。稍后，AR系统200可确定用户正在离开餐厅，同时不持有该套钥匙，从而检测到用户与该套钥匙之间的分离。

如果AR系统200确定对象已经在相机212a、212b的视场中移动，则还可以检测或预期到分离。例如，如果用户之外的人已拾取对象(这可指示对象正被窃取)，或者如果对象从表面掉落，则对象可能移动。AR系统200还能够在对象不处于相机212a、212b的视场中时检测对象的位置或运动。例如，AR系统200可基于由所连接的设备传输的无线信号(诸如蓝牙信号或Wi-Fi信号)来检测所连接的设备(诸如智能电话203)的运动。

在514处，AR系统200根据所检测的或所预期的对象与用户的分离来生成警报，并且在516处，经由用户界面输出警报。在该示例中，警报是投影在智能眼镜202的镜片208a、208b上的视觉警报。在其他示例中，警报可另选地或除此之外具有音频分量，诸如预先记录或合成的语音或任何其他声音。警报可识别对象，和/或可包括指示由对象位置数据指示的对象的位置的信息。在一些示例中，可根据不同事件生成不同级别的警报。例如，响应于用户远离对象使得对象不再在相机212a、212b的视场中，AR系统200可在预期用户与对象分离时生成第一警报。AR系统200随后可在检测到用户与对象分离时生成第二警报，例如如果用户移动远离对象或者如果用户离开对象所在的楼宇。虽然第一警报可以是相对不引人注目的视觉警报，例如在镜片208a、208b的周边处显示的箭头，但是第二警报可以更具侵入性，例如居中显示在镜片208a、208b上，和/或包括音频分量。如果AR系统200检测到对象被窃取，则AR系统200可生成高优先级警报，例如包括音频分量。图6A至图6C示出了为AR系统200的用户生成警报的示例。在图6A中，AR系统200已在桌子604上识别用户的智能电话203。在该示例中，边框602显示在镜片208b上以向用户指示AR系统200已识别出智能电话203。更新所存储的对象位置数据以指示智能电话203在桌子604上的位置。在图6B中，用户已经开始在箭头A所指示的方向上移动。在图6C中，用户已经继续在箭头A所指示的方向上移动，使得智能电话203不再在相机212a、212b的视场中。在该示例中，当如对象位置数据所指示的智能电话203的位置从相机212a、212b的视场内部移动到相机212a、212b的视场外部时，AR系统200检测到用户与智能电话203的分离。AR系统200因此以箭头606的形式在镜片208b上生成并显示指向由对象位置数据指示的智能电话203的位置的警报。

图7示出了由AR系统200(或AR系统100的任何其他合适的实施方案)执行的另一种方法。图7的操作702-712与图5的操作502-512相同，除了在702处，AR系统200还存储指示一个或多个特权位置的特权位置数据。特权位置可包括例如用户的家和/或用户的工作地点。在该示例中，用户可经由智能电话202上的应用程序通过手动输入位置的细节或通过指示用户当前位于特权位置处来输入特权位置。在其他示例中，AR系统可例如通过在长时间段内分析用户的位置来自动将位置识别为用户的家。在该示例中，特权位置数据指示每个特权位置的一组精确坐标，但是在其他示例中，特权位置数据可包括附加信息，例如使用SLAM生成的家或其他楼宇的布局。

在712处，在检测或预期到用户与对象关联数据中指示的对象中的一个对象之间的分离之后，AR系统200在714处确定由对象位置数据指示的对象位置是否对应于一个或多个特权位置中的任一个特权位置。在本示例中，如果对象的位置距特权位置的所指示的坐标小于阈值距离，则确定对象的位置对应于该特权位置。在其他示例中，例如，在特权位置包括家或其他楼宇的布局的情况下，AR系统可以准确地确定对象的位置是否在楼宇内，因此对应于特权位置。

在本示例中，如果AR系统200确定对象的位置对应于特权位置，则AR系统200对于对象与用户的所检测或所预期的分离不采取进一步动作。具体地讲，如果对象留在特权位置处，则AR系统200被阻止警示用户。例如，用户可选择在家中留下一个或多个对象，在这种情况下，当用户离开家时AR系统200将不期望警示用户。即使用户意外地将对象留在家中，与意外地将对象留在别处相比，这也可能导致较少的不便和/或成本。如果AR系统200确定对象不位于特权位置，则AR系统在716和718处生成并输出警报，如图5中的514和516处所述。

尽管在图7的示例中，AR系统200被布置为在确定对象不位于特权位置时生成警报，但是AR系统200可替代地被配置为在确定对象位于特权位置时生成警报。此外，不同的特权位置可适用于不同的对象。例如，如果用户离开家而没有带属于指定的一组对象的对象(例如，一套钥匙或智能电话)，则用户可能希望被通知，但是如果用户离开家而没有带不属于指定的一组对象的对象，则用户可能不希望被通知。

图8示出了由AR系统200(或AR系统100的任何其他合适的实施方案)执行以存储对象关联数据的方法的示例，该对象关联数据将AR系统200的用户与先前未被AR系统200知道的新事项相关联。在802处，AR系统200接收由相机212a、212b生成的图像数据。在该示例中，智能电话203上的应用程序提示用户以不同的取向将新对象保持在相机212a、212b的视场中，使得相机212a、212b以各种不同的取向捕获对象的图像。

在804处，AR系统200学习对象的外观。在该示例中，AR系统200处理处于不同取向的对象的图像以使用监督学习来训练分类器，其中处于不同取向的对象的图像用作训练数据。AR系统200由此学习以从各种角度识别对象，并且因此能够在对象出现在后续图像中时识别对象。在该示例中，AR系统200将唯一标识符与对象相关联，并且AR系统200被训练以在检测到图像中的对象时除了唯一标识符以外还确定包含对象的边框的坐标。在该示例中，预先训练AR系统200以识别对象的某些通用类别，例如“智能电话”或“钥匙”。这允许AR系统200有效地检测通用类别的对象，从而降低训练AR系统200学习特定对象的外观的难度。该原理被称为迁移学习。

在806处，AR系统200已学习对象的外观，从而存储指示用户与对象之间的关联的对象关联数据。在该示例中，对象关联数据包括对象的唯一标识符、表示对象的图标或图像、以及任选地对象的名称。

在图8的示例中，AR系统200在提示用户将对象保持在相机212a、212b的视图中之后学习对象的外观。在其他示例中，AR系统可自动生成对象关联数据，例如，其中AR系统检测到频繁出现在用户的家中或另一特权位置中的特定对象。在其他示例中，用户可将唯一的AR标签或标记放置在对象上，可训练AR系统检测该对象。在另外的示例中，AR系统可以学习对象的其他特征，例如在无线配对过程期间获得的所连接的设备的身份标识。对象关联然后可包括作为设备外观的替代或补充的设备的身份标识。AR系统然后可基于由设备传输的无线信号来识别设备。

上述实施方案应理解为本发明的示例性示例。设想了本发明的另外的实施方案。例如，AR系统可被训练以识别除AR系统的用户之外的某些人(例如，用户家庭的成员或用户的朋友)。AR系统可识别所识别的人中的一者拾取对象，并且存储指示对象由该人持有的对象位置数据。此外，如果AR系统识别出用户之外的人拾取对象，则AR系统确定用户是否是所识别的人中的一者。如果人被识别，则AR系统不执行进一步的动作。如果人未被识别，则AR系统发出警报以指示该人可能正在窃取对象。AR系统还可被配置为捕获和存储可能正在窃取对象的人的图像，以供随后用于识别该人。除此之外或另选地，警报的生成可取决于人是否拾取特权位置中的对象。例如，如果AR系统识别出用户的家中的另一人正在拾取的对象，则AR系统可不执行进一步的动作。具有宽视场例如完全围绕用户的AR系统特别适用于此类应用。

应当理解，相对于任何一个实施方案所述的任何特征结构可单独使用，或与所述的其他特征结构组合使用，并且还可与任何其他实施方案的一个或多个特征结构组合使用，或与任何其他实施方案的任何特征结构组合使用。此外，在不脱离所附权利要求中限定的本发明的范围的情况下，也可采用上文未描述的等同物和修改形式。

Claims (10)

1.一种增强现实AR系统，包括：

用户界面；

一个或多个传感器，所述一个或多个传感器被布置为生成表示所述AR系统的用户所处的环境的一部分的传感器数据；和

存储器，所述存储器被布置为存储：

将所述用户与所述环境中的一个或多个对象相关联的对象关联数据；和

指示所述一个或多个对象中的每个对象的相应位置的对象位置数据，

其中所述AR系统被布置为：

确定所述用户的位置；

根据所生成的传感器数据和所述用户的所确定的位置来确定所述一个或多个对象中的一个对象的经更新位置；

更新所存储的对象位置数据以指示所述一个或多个对象中的所述一个对象的所确定的经更新位置；以及

经由所述用户界面根据所述一个或多个对象中的所述一个对象的所述经更新位置输出信息。

2.根据权利要求1所述的AR系统，其中：

所述传感器数据包括图像数据；并且

所述确定所述一个或多个对象中的所述一个对象的所述经更新位置包括处理所述图像数据以检测所述一个或多个对象中的所述一个对象。

3.根据权利要求1所述的AR系统，其中：

确定所述一个或多个对象中的所述一个对象的所述经更新位置包括确定所述用户当前是否持有所述一个或多个对象中的所述一个对象；并且

所述经更新对象位置数据指示所述用户当前是否持有所述一个或多个对象中的所述一个对象。

4.根据权利要求1所述的AR系统，所述AR系统被布置为：

根据所述经更新位置数据来检测或预期所述一个或多个对象中的所述一个对象与所述用户的分离；

根据所述一个或多个对象中的所述一个对象与所述用户的所检测或所预期的分离来生成警报；以及

经由所述用户界面输出所述警报。

5.根据权利要求4所述的AR系统，其中：

所述存储器被进一步布置为存储指示一个或多个特权位置的特权位置数据；并且

所述警报的所述生成是根据所述对象的所述经更新位置是否对应于所述一个或多个特权位置中的任一个特权位置。

6.根据权利要求5所述的AR系统，所述AR系统被布置为使用所述用户的所确定的位置来检测或预期所述用户离开所述一个或多个特权位置中的一个特权位置，

其中所述警报的所述生成是根据所述用户离开所述一个或多个特权位置中的所述一个特权位置的所述检测或预期。

7.根据权利要求4所述的AR系统，所述AR系统被布置为使用所生成的传感器数据来检测所述用户之外的人对所述一个或多个对象中的所述一个对象的拾取，

其中所述一个或多个对象中的所述一个对象与所述用户的所述分离的所述检测或预期是根据所述用户之外的所述人对所述一个或多个对象中的所述一个对象的所检测的拾取。

8.根据权利要求7所述的AR系统，所述AR系统被布置为在检测到所述用户之外的所述人对所述一个或多个对象中的所述一个对象的所述拾取时，捕获所述用户之外的所述人的图像。

9.一种计算机实现的方法，包括：

存储将环境中的一个或多个对象与AR系统的用户相关联的对象关联数据；

接收表示所述用户所处的所述环境的一部分的传感器数据；

确定所述用户的位置；

根据所接收的传感器数据和所述用户的所确定的位置来确定与所述用户相关联的所述一个或多个对象中的一个对象的位置；

存储指示所述一个或多个对象中的所述一个对象的所确定的位置的对象位置数据；以及

经由所述AR系统的用户界面根据所述一个或多个对象中的所述一个对象的所确定的位置来输出信息。

10.一种包括机器可读指令的计算机程序产品，所述机器可读指令在由计算系统执行时使得所述计算系统：

存储将环境中的一个或多个对象与AR系统的用户相关联的对象关联数据；

接收表示所述用户所处的所述环境的一部分的传感器数据；

确定所述用户的位置；

根据所接收的传感器数据和所述用户的所确定的位置来确定与所述用户相关联的所述一个或多个对象中的一个对象的位置；

存储指示所述一个或多个对象中的所述一个对象的所确定的位置的对象位置数据；以及

经由所述AR系统的用户界面根据所述一个或多个对象中的所述一个对象的所确定的位置来输出信息。

Images