CN105408762A - 使用相机和无线信号的设备定位 - Google Patents

Abstract

源无线指纹（108,110,112）与源图像（A,B,C）相关联。寻找具有与源无线指纹的阈值相似度的一个或多个合格的编目无线指纹。类似地，寻找具有与源图像的阈值相似度的一个或多个合格的编目图像。获取源无线指纹和源图像的设备的当前位置被推断为所选合格的编目无线指纹和所选合格的编目图像的所选编目位置。

Description

使用相机和无线信号的设备定位

背景技术

许多应用和技术受益于准确地识别设备的位置和方位。然而，这样的位置和方位识别可能是困难的，尤其是在室内情况下。

发明内容

提供本发明内容来以简化形式引入以下在具体实施方式中进一步描述的概念的选择。本发明内容不意图识别所要求保护的主题的关键特征或必要特征，也不意图用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决本公开内容的任何部分中所提到的任何或全部缺点的实施方式。

源无线指纹与源图像相关联。寻找具有与源无线指纹的阈值相似度的一个或多个合格的编目无线指纹。类似地，寻找具有与源图像的阈值相似度的一个或多个合格的编目图像。获取源无线指纹和源图像的设备的当前位置被推断为所选合格的编目无线指纹和所选合格的编目图像的所选编目位置。

附图说明

图1A示出了在不同位置处测量的示例编目无线指纹。

图1B示出了从不同位置拍摄的示例编目图像。

图2示出了来自未知位置的示例源无线指纹和源图像。

图3是设备定位的示例方法。

图4示出了从编目无线指纹对合格的无线指纹的选择。

图5示出了从编目图像对合格的图像的选择。

图6示出了设备定位的另一示例方法。

图7示出了在不同方位下从相同位置获取不同图像。

图8A和8B示出了在不同方位下获取不同图像。

图9示意性地示出了依照本公开内容的实施例的计算系统。

具体实施方式

本公开内容针对准确的设备定位。在历史上，大多数设备定位方法已经排他地依赖于单个源输入来确定设备的位置（例如GPS、三角测量或图像分析）。然而，信息的单个源可能不能解决每一个位置模糊性。例如，仅使用图像数据的设备定位的方法可能不能准确地寻找在视觉上相似（例如相同办公大楼中的不同走廊）或视觉上混乱（例如购物商场）的环境中的设备的位置。本公开内容概述了使用与图像分析组合的无线指纹的准确设备定位。

图1A示出了示例环境100。示例环境包括在视觉上相似的两个房间（即第一层102和第三层104）和在视觉上不同的一个房间（即第二层106）。严格依赖于基于图像的方法的设备定位技术将很可能不可用于区分第一层102和第三层104。为了缓解该问题，每一个房间可以与在房间中的不同位置捕获的无线指纹相关联。因此，第三层104的位置A与在位置A处所捕获的无线指纹108相关联，第二层106的位置B与在位置B处所捕获的无线指纹110相关联，并且第一层102的位置C与在位置C处所捕获的无线指纹112相关联。在位置A-C处所捕获的无线指纹作为编目无线指纹114而包括在可以在设备定位期间参考的位置目录。

在位置A-C处捕获的无线指纹还与在位置A-C处捕获的图像相关联。图1B示出了在与图1A的无线指纹相同的位置处捕获的编目图像116。如所示出的，第三层104的位置A与在位置A处捕获的编目图像118相关联，第二层106的位置B与在位置B处捕获的编目图像120相关联，并且第一层102的位置C与在位置C处捕获的编目图像122相关联。在位置A-C处捕获的图像也作为编目图像116包括在编目位置中。

每一个编目无线指纹与编目位置和编目图像二者相关联，并且因此每一个编目图像与编目位置和编目无线指纹二者相关联。编目图像116与编目无线指纹114之间的对应关系是一对一的（即，每一个图像与特定的无线指纹相关联）。

相关联的编目无线指纹、编目图像和编目位置形成位置限定包。尽管编目无线指纹与编目图像之间的对应关系是一对一的，但是多个位置限定包可以与单个位置或房间相关联。例如，图1A和1B的第三层可以由包括在房间内的多个位置处捕获的图像和无线指纹的多个位置限定包来限定。

当与由设备在编目中所包括的位置处或其附近所捕获的源图像和源无线指纹相比较时，编目位置可以用于设备定位。图2示出了由设备D在第三层104上捕获的源图像202和源无线指纹200。由于第三层的附近位置A包括在编目位置中，所以很可能的是可以确定设备的准确位置。

图3示出了设备定位的示例方法300。方法300可以通过包括相机和无线输入的设备来执行和/或通过分析由这样的设备捕获的图像和无线指纹的分离计算系统来执行。在302处，方法300包括接收由某一位置处的设备识别的源无线指纹（诸如图2的源无线指纹200）。源无线指纹可以包括来自多个无线接入点的无线信号并且可以指示每一个不同的无线接入点的信号强度。在某些非限制性示例中，源无线指纹可以表征为归一化的稀疏向量，其中每一个无线接入点与向量的不同维度相对应，并且每一个无线接入点的归一化信号强度是稀疏向量的该维度的幅度。

在304处，方法300包括接收源图像（诸如图2的源图像202）。源图像与源无线指纹200同时捕获。源图像可以是静止图像或者来自视频图像的一个或多个帧，并且可以由用户所携带的设备捕获（如图2中所示）。另外，源图像可以与源无线指纹相关联。

在306处，方法300包括寻找一个或多个合格的编目无线指纹。可以通过比较源无线指纹的信号强度与编目无线指纹的信号强度来将编目无线指纹确定为合格的。

图4示出了图2的源无线指纹200和图1A的编目无线指纹114。在该非限制性示例中，来自位置A的编目无线指纹108具有与全部九个所包括的无线接入点的源无线指纹200相似的信号强度。因此，来自点A的编目无线指纹被视为合格的无线指纹400。

寻找合格的无线指纹可以包括寻找具有与源无线指纹的阈值相似度的一个或多个编目无线指纹。阈值相似度可以以任何适当的方式定义。例如，针对每一个所检测的无线接入点所测量的信号强度（诸如源无线指纹200的信号强度E）可以与来自编目无线指纹的对应编目信号强度（诸如编目无线指纹114的信号强度E’、E’’和E’’’）相比较。如果每一个所测量的信号强度与每一个对应的编目信号强度足够相似，则编目无线指纹可以确定为合格的。如图4中所示，来自位置A的编目无线指纹108被确定为合格的无线指纹400。

在某些非限制性示例中，源无线指纹和编目无线指纹可以通过归一化的稀疏向量表示。例如，源无线指纹200可以通过具有长度一和表示针对每一个所检测的无线接入点所测量的信号强度的九个元素的归一化稀疏向量表示。编目无线指纹114可以以相同方式通过归一化的稀疏向量表示。

当编目无线指纹和源无线指纹二者通过归一化的稀疏向量表示时，两个向量之间的点积可以是零与一之间的数（当两个向量完全不相似时为零，并且当两个向量精确匹配时为一）。使用向量点积，可以将阈值相似度设定为拒绝不足够匹配的向量组合并且接受足够匹配的向量组合的数。在一些示例中，阈值相似度被设定为0.4。然而，可以使用任何适当的数作为选择合格的无线指纹的阈值相似度。

源无线指纹和合格的编目无线指纹不必针对其点积准确地匹配以满足阈值相似度。例如，位置A的编目无线指纹108可以确定为合格的，尽管存在丢失的所测量的信号强度F，因为所有其它所测量的信号强度与编目信号强度足够相似。

以上列出的示例意图用于说明性目的并且不意在以任何方式限制本公开内容的范围。另外，可以采用其它适当的方法来促进寻找一个或多个合格的无线指纹。

返回到图3，在308处，方法300包括寻找一个或多个合格的编目图像。合格的编目图像可以使用各种图像比较策略来寻找。

图5示出了图2的源图像202和图1B的编目图像116。在该非限制性示例中，来自点A的编目图像118和来自点C的编目图像122与源图像202相似。因此，编目图像118和编目图像122被视为合格的图像500（被示为合格的图像502和合格的图像504），并且与各自相关联的编目位置（即第一层102的位置C和第三层104的位置A）可以是图2的设备D的实际位置。

在某些示例中，当编目图像具有与源图像的阈值相似度时，它们可以被确定为合格的。阈值相似度可以用于通过选择哪个和候选无线指纹相关联的编目图像与源图像最接近地匹配来拒绝与源图像不充分相似的编目图像。

可以使用实际上任何图像分析/比较技术来将编目图像与源图像相比较。所选合格的编目图像可以选择成如由所采用的图像分析/比较技术判断的与源图像具有最大相似度。

当一起考虑时，合格的编目无线指纹和合格的图像可以用于推断设备的当前位置。因此，在310处，方法300包括将设备的当前位置推断为所选合格的编目无线指纹和所选合格的编目图像的所选编目位置。

例如，图4的合格的无线指纹400和图5的合格的图像502与第三层上的位置A相关联。然而，图5的合格的图像504与第一层上的位置C相关联。因此，设备的所推断的当前位置很可能是第三层，因为其是合格的编目无线指纹和合格的编目图像二者的编目位置。

位置的目录可以使用由环境中的设备搜集的源图像和源无线指纹来更新。例如，可以将所推断的当前位置编目为与源图像和源无线指纹一起的编目位置，并且该新编目的信息可以用于随后的测试。

在一些示例中，寻找一个或多个合格的无线指纹可以包括针对一个或多个候选无线指纹过滤一个或多个编目无线指纹。图6示出了使用经过滤的候选无线指纹的设备定位的示例方法600。

如图3中类似地示出的，在602处，方法600包括接收源无线指纹。另外，在604处，方法600包括接收源图像。接收源无线指纹和源图像的方法类似于以上关于图3讨论的那些。

在606处，方法600包括针对候选无线指纹过滤编目无线指纹。候选无线指纹可以具有与源无线指纹的阈值相似度，并且过滤的方法可以类似于以上所描述的比较源无线指纹和编目无线指纹的方法中的任意。因为多个编目无线指纹可以具有与源无线指纹的阈值相似度，所以可以通过确定一个或多个候选无线指纹中的哪个具有最接近地匹配源图像的相关联编目图像来消除欺骗性候选无线指纹。相应地，在608处，方法600包括选择与候选无线指纹相关联的哪个编目图像最接近地匹配源图像。

所选编目图像可以用于推断设备的当前位置。因此，在610处，方法600包括将设备的当前位置推断为所选编目图像的所选编目位置。

应当指出的是，在某些非限制性示例中，过滤编目图像可以发生在选择充足匹配的无线指纹之前。因此，寻找一个或多个合格的图像可以包括针对一个或多个候选图像过滤一个或多个编目图像。一个或多个候选图像可以具有与源图像的阈值相似度，并且过滤的方法可以包括以上描述的图像比较方法中的任意。因为多个编目图像可以被选择为候选图像，所以可以通过确定一个或多个候选图像中的哪个具有最接近地匹配源无线指纹的相关联编目无线指纹来消除欺骗性候选图像。

在某些示例中，每一个编目图像可以与编目方位（例如偏航、俯仰、滚动）相关联。图7示出了在点A处捕获的反映不同方位的两个不同编目图像（即用于方位X的图像和用于方位Y的图像），其描述设备在两个图像中的每一个被捕获时所具有的方位。

所记录的方位（例如偏航、俯仰、滚动或者另一适当方位描述）可以作为用于编目图像的编目方位而包括在编目位置中。另外，每一个编目方位可以与编目图像相关联，该编目图像还可以与编目无线指纹相关联。

编目方位可以用于推断设备的当前方位。图8A和8B示出了其中设备可以处于相似位置但是不同方位（例如设备方位A和设备方位B）的示例环境800。由设备捕获的源图像可以反映设备在源图像被捕获时的方位（例如用于方位A的图像由方位为A的设备捕获，并且用于方位B的图像由方位为B的设备捕获）。当与图7的位置A处所捕获的编目图像相比较时，用于图8A的方位A的图像与用于编目方位Y的图像匹配。因此，设备的当前方位可以被推断为编目方位Y，并且所选编目图像的所选编目方位可以准确地将源方位与编目方位相匹配。

当一起考虑时，编目位置和编目方位可以共同地限定可与编目图像相关联的编目六自由度姿态。编目六自由度姿态可以包括关于x、y、z位置以及偏航、俯仰、滚动的准确信息。因此，编目六自由度姿态可以允许包括设备方位的准确设备定位。

设备的当前方位和当前位置可以用于确定设备的当前六自由度姿态。此外，设备的当前方位和当前位置可以共同地限定设备的当前六自由度姿态，并且设备的当前六自由度姿态可以被推断为所选编目图像的所选六自由度姿态。

位置的目录可以使用源图像方位更新，并且可以将所推断的当前方位编目为与源图像和源无线指纹一起的编目方位。另外，当前六自由度姿态还可以编目为与当前方位和当前位置相关联的编目六自由度姿态。

在一些实施例中，本文描述的方法和过程可以束缚于一个或多个计算设备的计算系统。特别地，这样的方法和过程可以实施为计算机应用程序或服务、应用编程接口（API）、库和/或其它计算机程序产品。

图9示意性地示出了可以展现以上描述的一个或多个方法和过程的计算系统900的非限制性实施例。以简化形式示出计算系统900。计算系统900可以采取一个或多个个人计算机、服务器计算机、平板计算机、家用娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备（例如智能电话）和/或其它计算设备的形式。计算系统900可以是用于获取源图像或编目图像的相机和/或用于获取源无线指纹或编目无线指纹的设备的部分。可替换地，计算系统900可以是被配置成分析其它设备所获取的图像和/或无线指纹的一个或多个分离的设备。

计算系统900包括逻辑机902和存储机904。计算系统900可以可选地包括显示子系统906、输入子系统908、通信子系统910和/或未在图9中示出的其它组件。

逻辑机902包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可以被配置成执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的部分的指令。这样的指令可以实施为执行任务、实施数据类型、转变一个或多个组件的状态、实施技术效果或者以其它方式达到期望结果。

逻辑机可以包括被配置成执行软件指令的一个或多个处理器。可替换地或附加地，逻辑机可以包括一个或多个硬件或固件逻辑机，其被配置成执行硬件或固件指令。逻辑机的处理器可以是单核或多核的，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机的各个组件可选地可以分布在两个或更多的分离设备之中，两个或更多的分离设备可以远程地定位和/或配置用于协调式处理。逻辑机的方面可以是虚拟化的并且由配置在云计算配置中的远程可访问的联网计算设备执行。

存储机904包括一个或多个物理设备，其被配置成保存由逻辑机可执行以实施本文描述的方法和过程的指令。当这样的方法和过程被实施时，存储机904的状态可以被转换——例如转换成保存不同数据。

存储机904可以包括可移除和/或内置的设备。存储机904可以包括光学存储器（例如CD、DVD、HD-DVD、蓝光盘等）、半导体存储器（例如RAM、EPROM、EEPROM等）和/或磁存储器（例如硬盘驱动器、软盘驱动器、带驱动器、MRAM等）以及其它。存储机904可以包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址的设备。

将领会到，存储机904包括一个或多个物理设备。然而，本文描述的指令的方面可替换地可以通过通信介质（例如电磁信号、光学信号等）传播，其没有由物理设备保持有限的持续时间。

逻辑机902和存储机器904的方面可以一起集成到一个或多个硬件逻辑组件中。这样的硬件逻辑组件可以包括例如现场可编程门阵列（FPGA）、程序特定和应用特定的集成电路（PASIC/ASIC）、程序特定和应用特定的标准产品（PSSP/ASSP）、片上系统（SOC）和复杂可编程逻辑器件（CPLD）。

当被包括时，显示子系统906可以用于呈现由存储机904保存的数据的视觉表示。该视觉表示可以采取图形用户界面（GUI）的形式。因为本文描述的方法和过程改变由存储机保存的数据，并且因而变换存储机的状态，所以显示子系统906的状态可以同样地被变换成在视觉上表示底层数据中的改变。显示子系统906可以包括视觉上利用任何类型的技术的一个或多个显示设备。这样的显示设备可以与逻辑机902和/或存储机904组合在共享的外壳中，或者这样的显示设备可以是外围显示设备。

当被包括时，输入子系统908可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选自然用户界面（NUI）元件部分或者与其对接。这样的元件部分可以是集成的或外围的，并且输入动作的传导和/或处理可以在板上或板外处置。示例NUI元件部分可以包括用于语音和/或话音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部追踪器、眼睛追踪器、加速度和/或陀螺仪；以及用于评估脑部活动的电场感测元件部分。

当被包括时，通信子系统910可以被配置成将计算系统900与一个或多个其它计算设备通信耦合。通信子系统910可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络或有线或无线局域网或广域网进行通信。在一些实施例中，通信子系统可以允许计算系统900经由诸如互联网之类的网络向其它设备发送消息和/或自其它设备接收消息。

将理解到，本文描述的配置和/或方案在本性上是示例性的，并且这些具体实施例或示例不应以限制性意义被考虑，因为众多变化是可能的。本文描述的具体例程或方法可以表示任何数目的处理策略中的一个或多个。因此，所图示和/或描述的各种动作可以以所图示和/或描述的序列、以其它序列、并行地执行，或者被省略。同样地，可以改变以上描述的过程的顺序。

本公开内容的主题包括各种过程、系统和配置和本文公开的其它特征、功能、动作和/或属性以及其任何和全部等同物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种计算设备上的设备定位方法，所述方法包括：

接收由一位置处的设备所识别的源无线指纹；

接收与所述源无线指纹相关联的源图像，所述源图像由所述位置处的所述设备捕获；

寻找具有与所述源无线指纹的阈值相似度的一个或多个合格的编目无线指纹，每一个编目无线指纹与编目位置和编目图像相关联；

寻找具有与所述源图像的阈值相似度的一个或多个合格的编目图像，每一个编目图像与编目位置和编目无线指纹相关联；以及

将所述设备的当前位置推断为所选合格的编目无线指纹和所选合格的编目图像的所选编目位置。

2.权利要求1的方法，其中每一个编目图像与编目方位相关联，并且还包括将所述设备的当前方位推断为所选合格的编目图像的所选编目方位。

3.权利要求2的方法，还包括将所推断的当前方位编目为与源图像和源无线指纹一起的编目方位。

4.权利要求2的方法，其中所述当前方位和所述当前位置共同地限定所述设备的六自由度姿态。

5.权利要求1的方法，其中所述源无线指纹指示多个不同无线接入点中的每一个的信号强度。

6.权利要求5的方法，其中寻找具有与所述源无线指纹的阈值相似度的一个或多个合格的无线指纹包括将源无线指纹的信号强度与编目无线指纹的对应信号强度相比较。

7.权利要求1的方法，其中寻找一个或多个合格的无线指纹包括针对具有与所述源无线指纹的阈值相似度的一个或多个候选无线指纹过滤所述一个或多个编目无线指纹，并且寻找一个或多个合格的图像包括确定所述一个或多个候选无线指纹中的哪个具有最接近地匹配所述源图像的相关联编目图像。

8.权利要求1的方法，其中寻找一个或多个合格的图像包括针对具有与所述源图像的阈值相似度的一个或多个候选图像过滤所述一个或多个编目图像，并且寻找一个或多个合格的无线指纹包括确定所述一个或多个候选图像中的哪个具有最接近地匹配所述源无线指纹的相关联编目无线指纹。

9.权利要求1的方法，还包括将所推断的当前位置编目为与源图像和源无线指纹一起的编目位置。

10.一种被配置用于设备定位的计算系统，所述系统包括：

逻辑机；

保存由所述逻辑机可执行以进行以下操作的指令的存储机：

　　接收由一位置处的设备识别的源无线指纹；

　　接收与所述源无线指纹相关联的源图像，所述源图像由所述位置处的设备捕获并且与六自由度姿态相关联；

　　针对具有与所述源无线指纹的阈值相似度的一个或多个候选无线指纹过滤一个或多个编目无线指纹，每一个编目无线指纹与编目位置和编目图像相关联；

　　选择哪个与候选无线指纹相关联的编目图像最接近地匹配所述源图像；以及

　　将所述设备的当前六自由度姿态推断为所选编目图像的所选六自由度姿态。