CN111902696A - 利用多个图中的图的对象和位置跟踪 - Google Patents

Abstract

一种可穿戴设备被配置有各种传感设备，这些传感设备针对用户周围的物理环境循环地监测和收集数据，以帮助定位和跟踪真实世界对象。各种异质传感设备将对象和物理世界数字化。每个传感设备被配置有阈值数据变化，其中当由一个或多个传感设备采集的数据超过阈值时，对每个传感器图或传感设备执行查询。查询到的传感器图数据被存储在空间图中的节点内，其中节点使用边被彼此连接以在对象与空间之间创建空间关系。可以将对象上传到与空间图相关联的对象图中，其中利用可用传感器中的每个可用传感器将对象数字化。这一数字信息随后可以用于例如定位对象。

Description

利用多个图中的图的对象和位置跟踪

背景技术

室内定位系统(IPS)用于在办公楼、购物中心或仓库等物理环境内跟踪对象的位置。例如，IPS可以包括使用射频识别设备(RFID)来跟踪对象，并且基于计算设备对诸如Wi-Fi接入点或蓝牙信标等网络设备的信号强度来对用户的位置进行三角测量。各种传感器和其他技术也可以用于对象跟踪、室内跟踪，诸如行人航位推算(PDR)、相机和全球定位系统(GPS)。相应IPS具有对于某些场景有利的特性，并且同样具有对于其他场景不利的特性。

发明内容

在可穿戴设备、远程服务器或边缘计算单元上实例化的空间图周期性地查询与传感设备相关联的所有可用传感器，以为每个查询建立节点，综合从每个传感器查询的数据，并且使用该数据在物理环境内跟踪对象。与可穿戴设备相关联的多个传感设备在物理环境内被使用，并且不断地打开以收集环境的数据并且绘制传感器图。传感器和所实现的技术可以包括温度计、GPS、加速度计、惯性测量单元(IMU)、陀螺仪、麦克风、相机、Wi-Fi等。空间图上的每个节点表示在创建节点时从每个传感器拉取的传感器图的集合。然后使用边在空间上链接每个节点，从而创建空间打印链。可以使用节点内的数据来跟踪物理环境内的对象。例如，相机可以识别用户的棒球手套，并且麦克风可以识别汽车钥匙的紧贴声音。棒球手套和汽车钥匙可以分别记录在空间图的一个或多个节点内，这允许用户随后在查询存储空间图的计算设备时定位每个对象。

存在两种场景，其中可穿戴设备、远程服务器或边缘计算单元执行将传感器图数据与新创建的节点相关联的空间打印。一个场景是一个或多个传感器图的数据变化超过阈值水平，第二场景是用户将对象上传到对象图。在这两种情况下，都会查询各种传感器图和传感设备，从而创建用户的环境和对象的数字副本。

远程服务器或边缘计算单元可以被配置为链接两个不同的空间打印链，空间打印链由一系列节点和边组成。例如，第一空间打印链可以先前已经被上传，而第二空间打印链可以最近已经被扫描和上传。当可穿戴设备与边缘计算单元或远程服务器处于在线状态时运行的在线链接器可以查找两个链之间的关系并且将两个链连接起来以创建逻辑上可跟踪的一系列节点。例如，当可穿戴设备在线，操作并且将传感器数据传输到边缘计算单元时，边缘计算单元可以在空间打印链之间查找连接以在链之间创建有机连接(例如，诸如通过查找两个独立的链的节点之间的连接)。在线链接器可以在可穿戴设备或边缘计算单元处本地操作，在远程服务器处远程操作，也可以在组件的组合处操作。另外，如果空间打印链之间没有明确的连接或关系，则可以使用离线链接器。离线链接器可以访问远程服务器上的先前上传的空间打印链，并且查找用于连接这两个链的相似性、关系或连接。

随着时间的流逝，远程服务器中的数据可能会过时。例如，当数据过时，包含太大的文件大小，不相关或被用户视为不必要时，数据可能会过时。在这些情况下，远程服务器上的垃圾收集器可以周期性地搜索并且删除这样的数据以节省存储容量。

有利地，可穿戴设备、边缘计算单元和远程服务器提供了一种系统，在该系统中，针对物理环境周期性地收集异构数据并且将其收集到空间图中。空间图提供了真实世界对象和位置的表示，并且使用各种传感器数据的集合将真实世界对象数字化。此外，可以合成数据以标识对象并且就对象在真实世界中的位置而进行逻辑连接。例如，远程服务器可以被配置为识别真实世界对象并且做出关于对象在物理环境中位于何处的推断。节点和边提供了与物理世界相关的概念和空间关系，并且从而可以在绝对位置不可用时为物品提供实际或近似位置。

在这点上，室内定位系统(IPS)的当前配置解决了诸如GPS等其他技术(当用户在室内时，其可能不是很有用)中存在的问题。当用户在室内时，空间图、节点和边的配置可以补充GPS技术或完全取代GPS技术，以提供准确的位置和对象跟踪。另外，该配置可以改进其中某些传感数据有时无法获取的其他IPS技术，其中查询相应节点的所有传感器图可以为对象跟踪和定位技术提供重要的有用数据。

提供本“发明内容”以便以简化的形式介绍一些概念，这些概念将在下面的“具体实施方式”中进一步描述。本“发明内容”既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中指出的任何或所有缺点的实现。应当理解，上述主题可以被实现为计算机控制的设备、计算机进程、计算系统、或者诸如一个或多个计算机可读存储介质等制品。通过阅读以下详细说明并且查看相关附图，这些和各种其他特征将变得很清楚。

附图说明

图1示出了与可穿戴设备相关联的说明性组件；

图2示出了从图1中的一个或多个传感设备获取的说明性传感信息；

图3示出了可穿戴设备的说明性系统架构；

图4示出了可穿戴设备在其中与远程服务器和边缘计算单元交互的说明性环境；

图5示出了物理环境和不同类型的传感图的示意图；

图6示出了具有由Wi-Fi信号强度的变化触发的传感图的空间打印的示意图；

图7示出了具有空间图和节点的示意图；

图8示出了具有对象图的示意图；

图9示出了其中标记的对象已经改变位置的示意图；

图10示出了其中一组键是对象图中的标记的对象的示意图；

图11示出了其中在线链接器链接两个空间打印链的示意图；

图12示出了利用离线链接器和垃圾收集器的示意图；

图13至图15示出了由一个或多个可穿戴设备、边缘计算单元或远程服务器执行的说明性过程；

图16是可以部分地用于实现使用一维射线传感器来对环境绘图的说明性可穿戴设备的简化框图；以及

图17是可以部分地用于实现利用多个图中的图的对象和位置跟踪的说明性计算机系统的简化框图。

相似的附图标记在附图中指示相似的元素。除非另有说明，否则元素未按比例绘制。

具体实施方式

图1示出了与可穿戴设备105相关联的说明性硬件组件。可穿戴设备105可以包括被配置为由用户容易且方便地穿戴以实现各种功能并且提供有益用户体验的多种不同计算设备中的一种或多种。

包括显示器和输入系统的可穿戴设备105可以利用各种类型的用户接口。一些可穿戴设备可以通过语音交互以及所感测到的手势和/或用户活动来操作。可穿戴设备可以被配置为以非介入方式连续操作，并且还可以支持依赖于显式用户交互或其他用户输入的功能和用户体验。可穿戴设备还可以被配置有通信和联网接口，以使得其能够与本地和远程用户、设备、系统、服务和资源交互。

可穿戴设备105被配置为包括各种传感器，如下所述，该传感器可以被配置为检测和/或测量运动、光、表面、温度、湿度、位置、高度、和描述用户或设备环境的其他参数。可以将其他传感器支撑在可穿戴设备上，这些传感器直接或间接位于用户的身体上，以监测描述用户的生理状态的参数，诸如运动、身体和/或身体部位的位置或姿势、脉搏、皮肤温度等。传感器可以按照各种组合操作，以便在某些情况下，可以由可穿戴设备中的合适系统使用来自一个以上的传感器的数据、或者通过将传感器数据与可用于设备的其他信息相结合来导出给定的描述性参数。

图1中描绘的可穿戴设备的硬件组件不是穷举性的，并且用于示出各种传感器，这些传感器可以生成数据图并且被并入空间图中，如下面进一步详细讨论的。所实现的异构传感器的聚合有助于为对象或物理环境开发完整的数字简档。可穿戴设备包括处理器110、存储器115和众多的传感设备(即，传感器)120。然而，所采用的可穿戴设备或计算设备可以使用或多或少的图1中列出的传感设备。传感设备可以包括全球定位系统(GPS)125、Wi-Fi收发器130、

收发器135、相机140、温度计145、磁力计150、麦克风155、计步器160、加速度计165、陀螺仪170、惯性测量单元(IMU)175、接近传感器180、气压计185和光传感器190。

图2示出了可穿戴设备或外部计算设备(例如，边缘计算单元或远程服务器)基于从传感设备120获取的数据来导出的说明性类型的传感信息205。例如，通过合成从一个或多个传感器获取的数据，可以确定可穿戴设备是位于210内部还是外部。此外，行人航位推算(PDR)215原理可以用于使用例如IMU(诸如加速度计、陀螺仪和磁力计的集合)来获取测量。PDR测量可以指示用户行驶的距离和方向，诸如在GPS设备不可用时(例如，用户在室内)。传感信息可以使用例如GPS设备指示或近似纬度和经度220。对象识别225可以使用相机来执行，并且温度230可以使用温度计来获取。未示出的其他类型的传感信息使用一个或多个传感设备120可以获取。

图3示出了可穿戴设备105的说明性系统架构300。如图所示，可穿戴设备105可以使用诸如眼镜、盖子、手套、头带、头戴式耳机、帽子、头盔、耳塞、鞋子、腕带和皮带等被戴上的组件来实现，和/或使用诸如颈带、手臂/腿带、挂绳等附件将放置在用户身上。可穿戴设备也可以合并或嵌入衣服中。在典型的实现中，可穿戴设备可以被配置为在设备使用电池电力操作以促进便携性和移动性时提供免提和免视的体验。

以简化的形式，该架构在概念上分层布置，并且包括硬件层315、操作系统(OS)层310和应用层305。硬件层315提供可穿戴设备105使用的各种硬件到其上方的层的抽象(例如，网络和无线电硬件等)。在该说明性示例中并且如图1所示，硬件层支持(多个)处理器110、存储器115、传感设备120和网络连接组件(例如，Wi-Fi收发器)。尽管未示出，但是其他组件也是可能的，诸如输入/输出设备、显示屏等。

在该说明性示例中，应用层305支持各种应用330，包括如本文中讨论的被配置为空间打印335的应用。空间打印被配置为在空间图内生成节点，从每个采用的传感器拉取数据，并且将所拉取的数据与所生成的节点相关联。当针对相应传感设备的当前检测到的数据改变并且超过阈值时，在空间图内创建节点。每个传感器可以被配置有其自己的阈值参数。因此，例如，当PDR数据指示用户行驶了六英尺的阈值时，可穿戴设备可以在空间图内创建节点并且执行空间打印，其中所有传感器的数据被收集并且与该新创建的节点相关联。在附加示例中，当温度计检测到温度升高或降低五度或十度，相机识别出对象，麦克风识别出对象的声音等时，可以执行空间打印。在这点上，可以将某些对象的特性预先存储在存储器中，以便可穿戴设备上的传感器随后可以比较和识别这些对象。

未示出的其他应用可以包括被配置为提供到万维网、游戏等的连接性的网络浏览器。尽管在图3中仅描述了某些应用，但是可穿戴设备可以使用任何数目的应用，无论是专有的或由第三方开发。这些应用通常使用本地执行代码来实现。但是，在某些情况下，这些应用可以依赖由远程服务器或其他计算平台(诸如由服务提供方或其他基于云的资源支持的平台)提供的服务和/或远程代码执行。

OS层310在其他操作中支持管理系统320和操作应用325，诸如操作空间打印应用335(如箭头所示)。OS层可以与应用和硬件层互操作以执行各种功能。

图4示出了用户405在其中操作可穿戴设备105的示例性环境400，并且可穿戴设备被配置为通过网络410与诸如远程服务器420和边缘计算单元425等外部计算设备互操作。网络可以包括局域网、广域网、因特网和万维网。在这点上，边缘计算单元可以位于可穿戴设备的现场，接收空间图数据，并且然后将数据转发到远程服务器。另外，可以利用替代计算设备，诸如平板计算机和智能电话(未示出)，替代计算设备与可穿戴设备类似地配置。此外，如图4所示，其他用户可以在远程服务器或边缘计算单元中注册，其中其他用户可以利用自己的空间图数据，也可以在征得用户和用户同意的情况下将空间图与一个或多个其他用户组合。

远程服务器和边缘计算单元可以与空间打印应用335的可扩展性客户端415互操作，其中外部计算设备可以在从可穿戴设备的传感器接收到收集的数据时全部或部分地构造空间图。可穿戴设备可以例如收集数据，其中可扩展性客户端将数据转发到外部计算机设备之一以进行处理。因此，关于空间打印或空间图构造的任何讨论可以是可穿戴设备本地的，在远程服务器或边缘计算单元处在其外部，或者其组合。

图5示出了示出物理环境和不同类型的传感图505的示意图。例如，当用户405导航物理环境(在该示例中是办公大楼)时，各种传感图可以生成数据。其他类型的物理环境包括商店、房屋等。传感图可以是直接从单个传感器获取的数据，也可以是从一个传感器或传感器组合获取的信息(图2)。在该示例中，传感图是关于用户位于内部还是外部的确定、温度、PDR(例如，行进距离)、相机(例如，对象识别)、纬度和经度的变化、以及Wi-Fi(例如，信号强度的变化)。

图6示出了由于Wi-Fi信号强度的改变而发生的说明性空间印刷。例如，用户405导航办公楼，并且可能发生Wi-Fi信号强度的阈值改变。作为该阈值改变的结果，可穿戴设备实时查询每个传感器图和/或传感设备，即，当检测到阈值改变时，可以立即或实际上立即查询数据。Wi-Fi信号的阈值变化可以是分贝(dBm)强度的变化，诸如正负-10dBm。传感器图可以是特定传感设备的数据的当前表示或从传感设备导出的类型的信息(例如，PDR数据)。

在对每个传感器图执行查询之后，将在该位置创建节点。图7示出了其中根据空间印刷335功能已经创建了各种节点705的示意图。例如，当与一个或多个传感器相关联的传感器数据超过设定阈值时，可以创建每个节点。因此，图6示出了触发数据拉取的Wi-Fi信号强度的示例，但是其他传感器图也具有阈值水平，诸如指示用户走过阈值英尺数的PDR数据。

可以在可穿戴设备、远程服务器或边缘计算单元之一或组合上执行空间打印335功能。例如，可穿戴设备可以在其传感器之一超过阈值时自动执行空间打印，在该空间打印中，其查询传感数据。可穿戴设备可以创建节点或将数据转发到外部计算设备之一以生成节点和空间图715。

节点705被包含在空间图715内，并且如图7所示，对应于物理环境内拉取相应节点的数据的实际位置。空间图表示传感器图505的集合，并且是对位置和对象如何彼此相关有深刻理解的高阶元图。通过将多个传感信息放置在关系节点中，可以了解对象及其环境之间的关系。

节点与边725连接，边725在两个或更多个节点之间提供逻辑和可跟踪连接。因此，例如，可以在节点之间跟踪各种传感器图数据，以帮助跟踪用户的脚步，从而可以共同使用这些数据。与绝对定位相反，这有助于相对于位置、对象和环境特性来跟踪对象位置。当某些计算设备在技术上不足(诸如用于室内跟踪的GPS)时，这对于室内定位系统(IPS)可能很有用。例如，如果在超市内温度为32°时，一个或多个节点从智能电话检测到蓝牙连接，则这可以表明用户先前在超市的冷冻食品区靠近他的智能电话。这可以指示用户不仅在超市内而且在超市内的冷冻食品区中搜索丢失的智能电话。

调出720示出了可以在给定节点处拉取的示例性数据。在该示例中，数据指示可穿戴设备位于内部，温度为65°，PDR指示用户距离上一节点两英尺远，用户的位置为北40°，西73°，并且用户的Wi-Fi强度额定在-60dBm。尽管空间打印可以查询每个传感器图505，但是在替代实施例中，仅可以查询相关的传感器图。例如，一旦可穿戴设备确定用户在办公大楼内，则温度数据就可能不相关并且因此就不会被提取。

图7示出了上下文提供器730可以与可穿戴设备或创建空间图的其他设备(诸如边缘计算单元或远程服务器(图4))一起使用。上下文提供方可以是提供关于用户的环境的信息的外部服务。例如，与服务器735相关联的外部服务可以提供关于用户位于其中的办公大楼的信息并且对信息绘图。数据可以包括建筑物内的调度信息(例如，在办公室112的会议)、环境内的人数、关于环境内的位置的细节(例如，超市的不同食物区域、洗手间位置、特定个人办公室的位置)、以及关于环境的地址和公司名称信息。另外，还可以检索关于环境的传感信息，诸如连接到加热或冷却系统的温度信息、基于传感数据的对象在环境中的位置等。该信息可以补充从传感设备导出的传感信息。可以从外部服务获取的本文中列出的信息不是穷举性的，并且任何数目的服务或数据库可以用来补充空间图数据。

图8示出了其中对象图805用于用户或应用开发者的说明性环境。在该示例中，对象A(由数字810表示)已经被用户标记或添加。该对象可能已经通过与关联于可穿戴设备或诸如个人计算机(PC)或智能电话(未示出)等单独的计算设备的用户接口的用户交互来输入。当标记了对象时，对象变为对象图805内的节点被存储在存储器中，该节点可以与空间图相关联。对象的标记还触发对每个传感设备或传感器图的查询。该查询有助于确定组成对象的传感器数据，从而数字化并且创建具有各种异质传感特性的对象的蓝图。例如，相机可以捕获对象的图像，而麦克风可以记录对象的声音(诸如键)；这些数据然后被存储在存储器中。

图9示出了对象A在其中移动位置的说明性环境。在这种情况下，可穿戴设备可以通过删除前一空间打印的边来更新对象的位置(图8)，并且为上次检测到对象的空间打印创建新的边(图9)。

图10示出了其中将真实世界对象用作用于跟踪的对象的说明性环境。在该示例中，一组键1005先前已经输入到对象图805中，并且用户可能已经查询了可穿戴设备或其他计算设备以将他的键定位在办公室内。节点1010可以与用户的先前行进相关联，诸如当天的早些时候、前一天等。在分析空间图数据时，可穿戴设备可以确定可穿戴设备上的麦克风检测到在办公室106处或附近响动的键。可穿戴设备或用户的个人设备(例如，智能电话)可以向用户显示推断出的键的位置或节点。可以支持推断位置或节点的其他相关数据是室温(例如，室内或办公室的典型温度)以及可能已经捕获的图像(例如，办公室的物理环境和对象)。然后，用户可以开始在办公室106附近搜索他的钥匙的行程。

由于空间图包括多个节点和数据的空间打印，因此可穿戴设备可以利用一系列节点和边或空间打印链来创建到键的推理和逻辑路径或方向。因此，一旦创建，通常可以遍历空间打印链和空间图。例如，可穿戴设备可以在所生成的空间打印链的相反方向上为用户提供方向，以跟踪用户的行进路线到钥匙被丢失并且可能位于其中的位置。空间图中的每个节点与特定传感数据相关联。因此，当用户在办公室中导航时，这些方向可以为用户跟踪并且提供到该位置的方向。例如，当用户继续遵循这些方向并且可穿戴设备继续感测后续数据时，与先前存在的节点相关联的先前数据可以验证后续数据与先前数据相符。这允许用户遍历空间图中的节点，并且接收后续且可验证的指令。

作为一个示例，可穿戴设备可以识别出在节点1015处温度下降了五度。因此，可穿戴设备将后续传感器数据与先前的传感器数据进行验证，并且因此还可以指导用户继续笔直行走。允许用户遍历空间图的节点上的数据的其他示例包括识别该位置处的特定对象的相机、检测狭窄空间的接近传感器、检测太多或太少光的光传感器等。

图11示出了其中在线链接器1105在空间打印链被构造时链接它们的说明性环境。例如，空间图可以在本地被存储在可穿戴设备或边缘计算单元处，或者在构造时在远程被存储在远程服务器处(图4)。当可穿戴设备再次进入可穿戴设备将在其中运行并且创建空间打印的在线或连接状态时，可以搜索现有空间打印链(例如，连接的节点和边)以查找与正在开发的空间打印链的连接。这可以使空间打印链在遇到和生成时有机地连接起来。在线链接器功能可以在可穿戴设备、边缘计算单元、远程服务器、或这些组件的组合处执行。

例如，可以基于节点或空间打印链之间的关系或相似性进行连接。例如，如果两个节点或链彼此相邻放置并且在附近的时间创建，则可以产生连接。图11示出了第一空间打印链1120和第二空间打印链1125。在该示例中，在连接1115处在对象B附近的节点是两个链之间的逻辑连接。允许链之间的连接的相似性可以具有最小或最大阈值要求，诸如在某个时间段(例如，五分钟)内创建的阈值要求，或者定位在彼此的阈值距离(例如，十英尺)内。

图12示出了详细的说明性详细环境，该环境示出了对象图中的其他对象、离线链接器1205和垃圾收集器1210。有时，空间打印链可能无法连接，诸如当单独的链之间的距离过大时，或者当没有直接链路时。在这种情况下，远程服务器可以搜索最近上传的数据与以前上传的数据之间的连接。离线链接器可以查找例如具有在空间上彼此靠近的节点并且在空间图数据中包括一个或多个相似性的空间打印链。例如，时间、位置和其他相关的传感器数据可以帮助定位节点和边之间的逻辑连接。

垃圾收集器1210可以标识和删除随着时间的过去变得陈旧的数据、节点、边等。例如，陈旧的数据可以基于其年龄(例如，太旧而没有用)、大小(例如，文件太大并且占用了太多的内存空间)、有用性(例如，用户将某些类型或时间帧数据标识为无关)等进行标识。

图13是说明性方法1300的流程图，其中计算设备将独特的传感数据与节点相关联。除非特别说明，否则流程图中所示和所附文本中描述的方法或步骤不限于特定的顺序或序列。另外，某些方法或步骤可以同时发生或同时执行，并且不是所有的方法或步骤都必须在给定实现中执行(具体取决于这样的实现的要求)，并且可以可选地利用一些方法或步骤。

在步骤1305中，接收传感数据的第一集合，其中该数据包括多个传感图，每个传感图与不同的传感信息相关联。在步骤1310中，在空间图中创建第一节点。在步骤1315中，将传感数据的第一集合与第一节点相关联。

图14是说明性方法1400的流程图，其中计算设备将传感图用于空间图。在步骤1405中，分配用于传感数据的阈值水平，其中传感数据是从传感设备中导出的。在步骤1410中，监测与每个传感设备相关联的传感数据的状态。在步骤1415中，当超过分配的阈值水平中的一个或多个阈值水平时，针对每个传感设备触发状态日志。状态日志可以包括例如与各种传感设备或传感器图相关联的当前数据的数据拉取。在步骤1420中，将构造的传感器图中的每个传感器图收集到空间图中。空间图可以例如将传感设备的状态日志分配给空间图中的节点。

图15是说明性方法1500的流程图，其中计算设备创建标记的对象的蓝图。在步骤1505中，在空间图内建立一系列节点和边，其中边连接节点并且节点与传感器数据相关联。在步骤1510中，在空间图或与空间图相关联的对象图内标记用于跟踪的对象。在步骤1515中，激活由计算设备可控制的传感器以捕获当前传感器数据蓝图。例如，可以查询每个传感设备，其中从每个传感设备拉取数据。在步骤1520中，将对象与最近创建的节点以及该节点的传感器数据相关联。

图16示出了能够执行本文中描述的各种组件以为网络应用提供当前用户和设备认证的设备的说明性架构1600。因此，图16所示的架构1600示出了可以适用于可穿戴设备、服务器计算机、移动电话、PDA、智能电话、台式计算机、上网本计算机、平板计算机、GPS设备、游戏控制台和/或便携式计算机的架构。架构1600可以用于执行本文中提出的组件的任何方面。

图16所示的架构1600包括一个或多个处理器1602(例如，中央处理单元、图形处理单元等)、系统存储器1604(包括RAM(随机存取存储器)1606和ROM(只读存储器)1608))、以及在操作上和功能上耦合架构1600中组件的系统总线1610。包含有助于诸如在启动过程中在架构1600中的元素之间传递信息的基本例程的基本输入/输出系统通常被存储在ROM1608中。架构1600还包括用于存储用于实现应用、文件系统和操作系统的软件代码或其他计算机执行的代码的大容量存储设备1612。大容量存储设备1612通过连接到总线1610的大容量存储控制器(未示出)连接到处理器1602。大容量存储设备1612及其相关联的计算机可读存储介质为架构1600提供了非易失性存储。尽管本文中包含的计算机可读存储介质的描述是指大容量存储设备，诸如硬盘或CD-ROM驱动器，但是本领域技术人员应当理解，计算机可读存储介质可以是架构1600可以访问的任何可用的存储介质。

架构1600还支持包括一个或多个传感器或组件的传感器封装1630，传感器或组件被配置为检测描述环境的参数和/或检测描述设备用户的参数或其组合。例如，对于可穿戴计算设备，传感器可以直接或间接定位在用户的身体上。传感器可以被配置为连续地或周期性地运行，并且通常以免提和/或无眼方式运行。该架构还支持电源和/或电池组件(由附图标记1615共同标识)。例如，在可穿戴设备应用中，一个或多个电池或电源组可以是可充电的或可更换的，以促进便携性和移动性。

作为示例而非限制，计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性的可移动和不可移动介质。例如，计算机可读介质包括但不限于RAM、ROM、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、闪存或其他固态存储技术、CD-ROM、DVD、HD-DVD(高清DVD)、蓝光或其他光学存储设备、盒式磁带、磁带、磁盘存储设备或其他磁性存储设备、或者可以用于存储期望信息并且可以由架构1600访问的任何其他介质。

根据各种实施例，架构1600可以使用通过网络到远程计算机的逻辑连接在联网环境中操作。架构1600可以通过连接到总线1610的网络接口单元1616连接到网络。应当理解，网络接口单元1616也可以用于连接到其他类型的网络和远程计算机系统。架构1600还可以包括输入/输出控制器1618，以用于接收和处理来自很多其他设备的输入，包括键盘、鼠标、触摸板、触摸屏、控制设备(诸如按钮和开关)或电子笔(图16中未示出)。类似地，输入/输出控制器1618可以将输出提供给显示屏、用户接口、打印机或其他类型的输出设备(在图16中也未示出)。

架构1600可以包括语音识别单元(未示出)，以促进用户通过语音命令、自然语言界面或通过与个人数字助理(诸如由Microsoft Corporation提供的

个人数字助理)的语音交互来与支持该架构的设备交互。架构1600可以包括手势识别单元(未示出)，以促进用户通过所感测的手势、运动和/或其他感测的输入来与支持该架构的设备交互。

应当理解，本文中描述的软件组件在被加载到处理器1602中并且被执行时可以将处理器1602和整个架构1600从通用计算系统转换成被定制为促进本文中介绍的功能的专用计算系统。处理器1602可以由任何数目的晶体管或其他分立电路元件(其可以单独或共同地呈现任何数目的状态)构成。更具体地，处理器1602可以响应于包含在本文中公开的软件模块内的可执行指令而作为有限状态机操作。这些计算机可执行指令可以通过指定处理器1602如何在状态之间转换来对处理器1602进行转换，从而对构成处理器1602的晶体管或其他分立的硬件元件进行转换。

对本文中提出的软件模块进行编码还可以转换本文中提出的计算机存储可读介质的物理结构。在本说明书的不同实现中，物理结构的特定转换可以取决于各种因素。这样的因素的示例可以包括但不限于用于实现计算机存储可读介质的技术、计算机存储可读介质被表征为主要存储还是辅助存储等。例如，如果计算机存储可读介质被实现为基于半导体的存储器，则可以通过转换半导体存储器的物理状态来将本文中公开的软件编码在计算机存储可读介质上。例如，软件可以转换构成半导体存储器的晶体管、电容器或其他分立电路元件的状态。软件还可以转换这些组件的物理状态，以便在其上存储数据。

作为另一示例，本文中公开的计算机可读存储介质可以使用磁性或光学技术来实现。在这样的实现中，当软件被编码在其中时，本文中提出的软件可以转换磁性或光学介质的物理状态。这些转换可以包括改变给定磁性介质内特定位置的磁性特性。这些转换还可以包括改变给定光学介质内特定位置的物理特征或特性，以改变这些位置的光学特性。在不背离本说明书的范围和精神的情况下，物理介质的其他转换是可能的，提供前述示例仅是为了促进该讨论。

鉴于以上所述，应当理解，在架构1600中发生了很多类型的物理转换，以便存储和执行本文中提出的软件组件。还应当理解，架构1600可以包括其他类型的计算设备，包括可穿戴设备、手持计算机、嵌入式计算机系统、智能电话、PDA、以及本领域技术人员已知的其他类型的计算设备。还可以预期，机架构1600可以并非包括图16所示的所有组件，可以包括图16中未明确示出的其他组件，也可以采用与图16所示架构完全不同的架构。

图17是诸如可穿戴设备等说明性计算机系统1700的简化框图，利用该计算机系统可以实现利用多个图中的图的本发明的对象和位置跟踪。尽管本文中讨论了可穿戴设备，但是也可以使用具有本文中讨论的类似配置的其他计算设备，包括智能电话、平板计算设备、个人计算机(PC)、膝上型计算机等。计算机系统1700包括处理器1705、系统存储器1711和系统总线1714，系统总线1714将包括系统存储器1711在内的各种系统组件耦合到处理器1705。系统总线1714可以是使用各种总线架构中的任何一种的几种类型的总线结构中的任何一种，包括存储器总线或存储器控制器、外围总线或本地总线。系统存储器1711包括只读存储器(ROM)1717和随机存取存储器(RAM)1721。基本输入/输出系统(BIOS)1725(包含帮助诸如在启动期间在计算机系统1700内的元件之间传递信息的基本例程)被存储在ROM 1717中。计算机系统1700还可以包括：硬盘驱动器1728，用于读取和写入内部设置的硬盘(未示出)；磁盘驱动器1730，用于读取或写入可移动磁盘1733(例如，软盘)；以及光盘驱动器1738，用于读取或写入可移动光盘1743，诸如CD(压缩盘)、DVD(数字通用盘)或其他光学介质。硬盘驱动器1728、磁盘驱动器1730和光盘驱动器1738分别通过硬盘驱动器接口1746、磁盘驱动器接口1749和光盘驱动器接口1752连接到系统总线1714。驱动器及其相关联的计算机可读存储介质为计算机系统1700提供了计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。尽管该说明性示例包括硬盘、可移动磁盘1733和可移动光盘1743，但是在利用多个图中的图的本发明的对象和位置跟踪的一些应用中，还可以使用其他类型的计算机可读存储介质，该介质可以存储可以由计算机访问的数据，诸如磁带、闪存卡、数字视频磁盘、数据盒带、随机存取存储器(RAM)、只读存储器(ROM)等。另外，如本文中使用的，术语计算机可读存储介质包括介质类型的一个或多个实例(例如，一个或多个磁盘、一个或多个CD等)。为了本说明书和权利要求的目的，短语“计算机可读存储介质”及其变体是非暂态的，并且不包括波、信号和/或其他暂态和/或无形通信介质。

多个程序模块可以被存储在硬盘、磁盘、光盘、ROM 1717或RAM1721上，包括操作系统1755、一个或多个应用程序1757、其他程序模块1760和程序数据1763.用户可以通过诸如键盘1766等输入设备和诸如鼠标等指示设备1768将命令和信息输入计算机系统1700。其他输入设备(未示出)可以包括麦克风、操纵杆、游戏板、卫星天线、扫描仪、轨迹球、触摸板、触摸屏、触敏设备、语音命令模块或设备、用户动作或用户手势捕获设备等。这些和其他输入设备通常通过耦合到系统总线1714的串行端口接口1771连接到处理器1705，但是也可以通过其他接口连接，诸如并行端口、游戏端口或通用串行总线(USB)。监视器1773或其他类型的显示设备也经由诸如视频适配器1775等接口连接到系统总线1714。除了监视器1773之外，可穿戴设备和个人计算机通常可以包括其他外围输出设备(未示出)，诸如扬声器和打印机。图17所示的说明性示例还包括主机适配器1778、小型计算机系统接口(SCSI)总线1783和连接到SCSI总线1783的外部存储设备1776。

计算机系统1700可以使用与一个或多个远程计算机(诸如远程计算机1788)的逻辑连接在联网环境中操作。远程计算机1788可以被选择作为个人计算机、服务器、路由器、网络PC、对等设备或其他公共网络节点，并且通常包括上面相对于计算机系统1700所述的很多或所有元素，尽管在图17中仅示出了单个代表性的远程存储器/存储设备1790。图17中描绘的设备包括局域网(LAN)1793和广域网(WAN)1795。这样的联网环境通常被部署在例如办公室、企业范围的计算机网络、内联网和因特网中。

当在LAN网络环境中使用时，计算机系统1700通过网络接口或适配器1796连接到局域网1793。当在WAN网络环境中使用时，计算机系统1700通常包括宽带调制解调器1798、网络网关、或用于通过广域网1795(诸如因特网)建立通信的其他装置。宽带调制解调器1798(可以是内部的或外部的)经由串行端口接口1771连接到系统总线1714。在网络环境中，与计算机系统1700有关的程序模块或其部分可以被存储在远程存储器存储设备1790中。注意，图17所示的网络连接是说明性的，并且可以根据利用多个图中的图的本发明的对象和位置跟踪的应用的特定要求来使用在计算机之间建立通信链接的其他方式。

现在通过说明的方式而不是作为所有实施例的详尽列表来呈现利用多个图中的图的本发明的对象和位置跟踪的各种示例性实施例。一个示例包括一种被配置为收集和合成传感数据以跟踪对象的计算设备，该计算设备包括：一个或多个处理器；以及被配置为存储空间图和与空间图中的节点相关联的传感数据的存储器，存储器具有计算机可读指令，计算机可读指令在由一个或多个处理器执行时，引起计算设备：接收传感数据的第一集合，其中第一集合包括多个传感图，每个传感图与不同的传感信息相关联；在空间图中创建第一节点；并且将传感数据的第一集合与第一节点相关联。

在另一示例中，计算机可读指令还引起计算设备：接收传感数据的后续集合；在空间图中创建后续节点；将传感数据的后续集合与后续节点相关联；并且在空间图中创建将第一节点链接到后续节点的边，其中第一节点变为后续节点的先前存在的节点。在另一示例中，计算机可读指令还引起计算设备：创建一系列节点和边以创建空间打印链；基于与一系列节点中的一个或多个节点相关联的传感数据来定位对象；并且针对用户遍历空间打印链内的边和节点创建方向，其中方向将用户引向对象，其中与节点相关联的当前传感数据和先前传感数据被用于创建方向。在另一示例中，传感数据的集合在传感图中的一个或多个测量超过阈值时被接收。在另一示例中，当传感图中的测量中的至少一个测量超过阈值时，每个传感设备被查询以针对新节点生成传感数据。在另一示例中，传感数据从被配置为针对一个或多个可穿戴设备存储节点和传感数据的用户的计算设备或边缘计算单元被接收。在另一示例中，计算机可读指令还引起计算设备：与外部上下文提供方通信，外部上下文提供方为物理环境提供附加的上下文和传感信息，其中上下文或传感信息至少包括针对物理环境的地图、占用空间的人数、物理环境内的调度事件、关于物理环境中的房间的细节、或要与节点相关联的传感信息。在另一示例中，计算机可读指令还引起计算设备：使用节点和连接节点的边的集合来构造空间打印链，其中每个空间打印链包括空间打印链自己的节点和边的相应集合；并且连接两个不同的空间打印链以形成一个单个空间打印链。在另一示例中，两个不同的空间打印链在离线计算设备建立因特网连接并且向计算设备传输空间打印链时被连接。在另一示例中，两个不同的空间打印链在两个链彼此共享关系时被连接。

另一示例包括一种由物理环境内的本地计算设备执行的、用于针对空间图生成传感数据的方法，该方法包括：针对由与本地计算设备相关联的每个传感设备开发的传感数据分配阈值水平；监测与每个传感设备相关联的传感数据的状态；当与相应传感设备相关联的分配的阈值水平中的一个或多个阈值水平根据状态监测而被超过时，针对传感设备中的每个传感设备触发状态日志，其中本地计算设备基于针对每个传感设备的当前传感数据构造传感器图；将构造的传感器图中的每个传感器图收集到空间图中，其中空间图将针对传感设备的状态日志分配给空间图中的节点。

在另一示例中，针对每个传感设备的分配的阈值水平表示传感器状态中的变化。在另一示例中，传感设备包括以下至少一种：全球定位系统(GPS)、Wi-Fi、

相机、温度计、磁力计、计步器、加速度计、陀螺仪、惯性测量单元(IMU)、麦克风、接近传感器、气压计和光传感器中。在另一示例中，该方法还包括：在本地计算设备的用户接口(UI)处接收用于使用空间图标记对象的输入；并且响应于所接收的输入，向传感设备查询与所标记的对象相关联的传感器数据，以针对所标记的对象生成数据蓝图。在另一示例中，该方法还包括：接收用于定位所标记的对象的后续输入；在空间图内表示所标记的对象的一个或多个节点处定位指示；并且在UI上输出一个或多个节点或所定位的指示的与一个或多个节点相关联的位置。在另一示例中，指示包括从对象被标记开始的原始传感器数据与空间图中的后续数据之间的对应关系。

另一示例包括一种或多种基于硬件的计算机可读存储设备，该设备存储指令，这些指令在由设置在计算设备中的一个或多个处理器执行时，引起计算设备：在空间图内建立一系列节点和边，其中边连接节点并且节点与传感器数据相关联，传感器数据是在每个相应节点的创建的同时捕获的；标记用于在空间图或与空间图相关联的对象图内跟踪的对象；查询计算设备可访问的传感器以捕获当前传感器数据蓝图，其中传感器包括不同类型的传感器；并且将对象与最近创建的节点和该节点的传感器数据相关联。

在另一示例中，指令还引起计算设备：当可穿戴设备导航物理区域时，创建附加节点；使用所创建的节点的传感器数据检测对象的新位置；并且当检测到对象的新位置时，删除对象与先前节点的关联，并且在对象与新节点之间创建新的关联。在另一示例中，指令还引起计算设备使空间图中的陈旧节点失效，其中陈旧节点是相对于时间而言较旧的或包含不相关的传感器数据的节点。在另一示例中，指令还引起计算设备接收对对象的位置的请求；并且针对空间图内的节点使用传感器数据蓝图来提供用于遍历空间图内通向对象的节点的方向。

以上描述的主题仅以说明的方式提供，而不应当解释为限制性的。在不遵循所示出和描述的示例实施例和应用的情况下，并且在不脱离在所附权利要求中阐述的本发明的真实精神和范围的情况下，可以对本文中描述的主题进行各种修改和改变。

Claims (15)

1.一种被配置为收集和合成传感数据以跟踪对象的计算设备，包括：

一个或多个处理器；以及

存储器，被配置为存储空间图和与所述空间图中的节点相关联的所述传感数据，所述存储器具有计算机可读指令，所述计算机可读指令在由所述一个或多个处理器执行时，引起所述计算设备：

接收传感数据的第一集合，其中所述第一集合包括多个传感图，每个传感图与不同的传感信息相关联；

在所述空间图中创建第一节点；以及

将传感数据的所述第一集合与所述第一节点相关联。

2.根据权利要求1所述的计算设备，其中所述计算机可读指令还引起所述计算设备：

接收传感数据的后续集合；

在所述空间图中创建后续节点；

将传感数据的所述后续集合与所述后续节点相关联；以及

在所述空间图中创建将所述第一节点链接到所述后续节点的边，其中所述第一节点变为所述后续节点的先前存在的节点。

3.根据权利要求2所述的计算设备，其中所述计算机可读指令还引起所述计算设备：

创建一系列节点和边以创建空间打印链；

基于与所述一系列节点中的一个或多个节点相关联的传感数据来定位对象；以及

针对用户遍历所述空间打印链内的所述边和节点创建方向，其中所述方向将所述用户引向所述对象，

其中与节点相关联的当前传感数据和先前传感数据被用于创建所述方向。

4.根据权利要求2所述的计算设备，其中传感数据的集合在所述传感图中的一个或多个测量超过阈值时被接收。

5.根据权利要求4所述的计算设备，其中当所述传感图中的所述测量中的至少一个测量超过所述阈值时，每个传感设备被查询以针对新节点生成所述传感数据。

6.根据权利要求1所述的计算设备，其中所述传感数据从被配置为针对一个或多个可穿戴设备存储所述节点和传感数据的用户的计算设备或边缘计算单元被接收。

7.根据权利要求1所述的计算设备，其中所述计算机可读指令还引起所述计算设备：

与外部上下文提供方通信，所述外部上下文提供方为物理环境提供附加的上下文和传感信息，其中所述上下文或传感信息至少包括针对所述物理环境的地图、占用空间的人数、所述物理环境内的调度事件、关于所述物理环境中的房间的细节、或要与所述节点相关联的传感信息。

8.根据权利要求1所述的计算设备，其中所述计算机可读指令还引起所述计算设备：

使用节点和连接所述节点的边的集合来构造空间打印链，其中每个空间打印链包括所述空间打印链自己的节点和边的相应集合；以及

连接两个不同的空间打印链以形成一个单个空间打印链。

9.根据权利要求8所述的计算设备，其中所述两个不同的空间打印链在离线计算设备建立因特网连接并且向所述计算设备传输所述空间打印链时被连接。

10.根据权利要求8所述的计算设备，其中所述两个不同的空间打印链在两个链彼此共享关系时被连接。

11.一种由物理环境内的本地计算设备执行的、用于针对空间图生成传感数据的方法，包括：

针对由与所述本地计算设备相关联的每个传感设备开发的所述传感数据分配阈值水平；

监测与每个传感设备相关联的所述传感数据的状态；

当与相应传感设备相关联的分配的所述阈值水平中的一个或多个阈值水平根据状态监测而被超过时，针对所述传感设备中的每个传感设备触发状态日志，其中所述本地计算设备基于针对每个传感设备的当前传感数据构造传感器图；以及

将构造的所述传感器图中的每个传感器图收集到所述空间图中，其中所述空间图将针对所述传感设备的所述状态日志分配给所述空间图中的节点。

12.根据权利要求11所述的方法，其中针对每个传感设备的分配的所述阈值水平表示传感器状态中的变化。

13.根据权利要求11所述的方法，其中所述传感设备包括以下至少一种：全球定位系统(GPS)、Wi-Fi、

相机、温度计、磁力计、计步器、加速度计、陀螺仪、惯性测量单元(IMU)、麦克风、接近传感器、气压计和光传感器。

14.根据权利要求11所述的方法，还包括：

在所述本地计算设备的用户接口(UI)处接收用于使用所述空间图标记对象的输入；以及

响应于所接收的所述输入，向所述传感设备查询与所标记的所述对象相关联的传感器数据，以针对所标记的所述对象生成数据蓝图。

15.根据权利要求14所述的方法，还包括：

接收用于定位所标记的所述对象的后续输入；

在所述空间图内表示所标记的所述对象的一个或多个节点处定位指示；以及

在所述UI上输出所述一个或多个节点或所定位的所述指示的与所述一个或多个节点相关联的位置。

Images