CN102960036B - 众包视觉和传感器勘测绘图 - Google Patents

Abstract

一种用于增强基于先前存储的可视数据提供位置信息的系统。装置可以利用传感器以至少感测在一个位置的可视信息。感测的可视信息可以包括属性，这些属性可以限定为记录的可视信息中的一个或者多个可视元素。一个或者多个可视元素然后可以与位置关联存储于绘图数据库中。

Description

众包视觉和传感器勘测绘图

技术领域

本发明涉及定位和/或绘图，并且具体地涉及通过使用先前存储的传感器信息有助于定位和/或绘图。

背景技术

无线功能持续在现代社会中激增。用户需求已经驱使开发者不仅创建新的具有无线功能的装置，而且在原先未提供无线功能的现有应用中实现这一能力。另外，灵活平台的问世已经增加产品供给，并且类似地已经增加用户需求。无线功能不再限于可听通信(例如语音)而是可以在支持需要数据传送的各种应用时实施无线功能。

当前以各种形式供给的至少一个与通信有关的应用是电子定位。基本的电子定位可以在坐标方面、关于可视呈现(例如地图)等提供装置的当前位置。然而，获得原始定位信息的手段可以变化。装置供给可以包括并入用于从卫星获得电子定位信息的全球定位系统(GPS)接收器。另外，远程无线通信系统(例如蜂窝)也可以通过诸如基于小区的三角测量等方法提供电子定位信息，而近程无线系统可以能够通过确定与特定无线接入点的邻近度等提供相似信息。

在室外的电子定位可以为用户提供充分性能，因为除了电子定位信息容易可用于快速位置分辨之外，频繁更新的地图也可以可用于多数人口众多的地区。相同条件未存在于结构(例如大楼)内。结构内部专属的地图信息可能不可用，并且可用的地图信息可能太笼统(例如不准确)。另外，全球定位信号未在室内良好传播，并且未被阻止进入结构的任何定位信号可能基于干扰源普遍存在于结构内而不可靠。作为结果，已知的定位和/或绘图系统在实施于结构内时的性能如果未完全不工作则仍然可能很慢并且可能缺乏为了有效而需要的精确度。

发明内容

本发明的示例实施例可以涉及用于基于先前存储的可视数据增强位置信息的提供的方法、计算机程序产品、装置和系统。装置可以利用传感器以至少感测在一个位置的可视信息。感测的可视信息可以包括可以在记录的可视信息中作为一个或者多个可视元素而限定的属性。一个或者多个可视元素然后可以与位置关联存储于绘图数据库中。

根据本发明的至少一个实施例，装置可以至少感测与位置有关的可视信息。位置可以例如在结构(例如大楼)中，并且可视信息可以是位置的电子图像、视频流等。记录的可视信息可以包括元素信息，诸如一个或者多个属性，该信息可用于标识位置(例如用于固定位置在结构内的定位)并且用于确定装置在该位置内的相对或者绝对定位。示例属性可以包括对象、开口、形状、颜色等。

然后可以在通过在绘图数据库中与位置对应记录元素信息来在绘图数据库中创建位置的标识时利用元素信息。在一些实例中，在待存储的元素信息与已经存储于数据库中的元素信息之间的对应可能未总是容易清楚。与位置关联的其它信息(例如，感测的信号强度和/或场强信息)然后可以用来标识用于存储元素信息的绘图数据库内的恰当关联。以此方式，可以制定基于在结构内的各种位置捕获的可视信息对整个结构的表示。整个结构的表示可以例如用于电子定位。电子定位可以包括在结构内的可标识位置、坐标、到达所需位置的方向等向装置的用户提供相对和/或绝对装置位置。另外，在一些实例中，存储于绘图数据库中的可视元素信息可以足够全面，从而可以编译结构的内部的可显示于装置上的地图并且可以在可显示地图的界限内在装置上向用户示出装置的相对和/或绝对位置。

前述发明内容包括本发明的并非旨在于限制的示例实施例。上述实施例仅用来说明可以在本发明的实现方式中利用的所选方面或者步骤。然而容易理解与一个示例实施例有关的一个或者多个方面或者步骤可以与其它实施例的一个或者多个方面或者步骤组合以创建仍然在本发明的范围内的新实施例。因此，本领域普通技术人员将理解，本发明的各种实施例可以并入来自其它实施例的方面或者可以与其它实施例组合实施。

附图说明

现在将从与以下附图结合进行的对各种示例实施例的以下描述中理解本发明：

图1公开可在实现本发明的至少一个实施例时使用的示例装置、通信配置和网络架构。

图2公开关于可与本发明的至少一个实施例一起使用的示例通信接口的附加细节。

图3公开关于可以与本发明的至少一个实施例一起使用的示例近邻和近程无线资源的附加细节。

图4公开根据本发明至少一个实施例的示例操作环境和其中呈现的挑战。

图5A公开根据本发明至少一个实施例的示例可视信息。

图5B公开根据本发明至少一个实施例的可视信息内的示例元素限定。

图6公开根据本发明至少一个实施例基于可视信息的位置的示例表示。

图7公开根据本发明至少一个实施例的基于可视信息创建位置的代表地图的示例。

图8公开用于根据本发明至少一个实施例的示例可视信息记录和存储过程的流程图。

具体实施方式

尽管下文已经在多个实施例方面描述本发明，但是其中可以进行各种改变而未脱离本发明的如在所附权利要求中限定的精神实质和范围。

I.可以用来实现本发明一些实施例的示例系统

在图1中公开可用于实现本发明各种实施例的系统的示例。系统包括例如根据特定应用的要求可以在配置中包括或者从配置中省略的单元、因此并非旨在于以任何方式限制本发明。

计算设备100可以对应于各种支持处理的装置，这些装置包括但不限于微型个人计算机(UMPC)、笔记本、膝上型计算机、桌面型计算机、工程工作站、个人数字助理(PDA)、计算机化网络、有线或者无线终端/节点等、移动手持机、机顶盒、个人视频记录器(PVR)、自动柜员机(ATM)、游戏控制台等。在102-108公开代表基本示例部件的单元，这些部件包括计算设备100中的功能单元。处理器102可以包括配置成执行指令的一个或者多个设备。在至少一个场景中，处理器102执行程序代码(例如存储于存储器中的计算机可执行指令组)可以使计算设备100执行如下过程，这些过程例如包括可以产生数据、事件或者其它输出活动的方法步骤。处理器102可以是专用(例如单片)微处理器设备或者可以是诸如ASIC、门阵列、多芯片模块(MCM)等复合设备的部分。

处理器102可以经由有线或者无线总线电耦合到计算设备100中的其它功能部件。例如处理器102可以访问存储器104以便获得存储的信息(例如程序代码、数据等)用于在处理期间使用。存储器104一般可以包括可以在静态或者动态模式中操作的可拆卸或者嵌入式存储器。另外，存储器104可以包括只读存储器(ROM)、随机存取存储器(RAM)和诸如闪存、EPROM等可重写存储器。在图1中的100I/O示出了基于磁、电子和/或光学技术的可拆卸存储介质的示例，并且这些示例例如使用用作数据输入/输出装置。代码可以包括任何解译或者编译的计算机语言，该语言包括计算机可执行的指令。代码和/或数据可以用来创建诸如操作系统、通信实用程序、用户接口、更专门化程序模块等软件模块。

一个或者多个接口106也可以耦合到计算设备100中的各种部件。这些接口可以允许装置间的通信(例如软件或者协议接口)、装置到装置的通信(例如有线或者无线通信接口)以及甚至装置到用户的通信(例如用户接口)。这些接口允许计算设备100内的部件、其它装置和用户与计算设备100交互。另外，接口106可以传达机器可读数据，诸如在计算机可读介质上实现的电子、磁或者光学信号或者可以将用户的动作转译成计算设备100可以理解的活动(例如在键盘上键入、向蜂窝手持机的接收器中说话、触摸触屏设备上的按钮等)。接口106还可以允许处理器102和/或存储器104与其它模块108对接。例如其它模块108可以包括一个或者多个支持由计算设备100提供的更专门化功能的部件。

计算设备100可以如图1中所示经由各种网络与其它装置交互。例如集线器110可以向设备、比如计算机114和服务器116提供有线和/或无线支持。集线器110还可以耦合到路由器112，该路由器允许局域网(LAN)上的设备与广域网(WAN，比如因特网120)上的设备交互。在这样的场景中，另一路由器130可以向路由器112发送信息和从路由器112接收信息，从而每个LAN上的设备可以通信。另外，在这一示例配置中描绘的所有部件并非本发明的实施所必需的。例如在路由器130支持的LAN中无需附加集线器，因为路由器可以支持这一功能。

另外，近程和远程无线通信140的各种提供商可以支持与远程设备的交互。这些提供商例如可以使用远程基于地面的蜂窝系统和卫星通信和/或近程无线接入点以便提供与因特网120的无线连接。例如个人数字助理(PDA)142和蜂窝手持机144可以经由无线通信140的提供商提供的因特网连接与计算设备100通信。可以在设备、比如膝上型计算机146中以配置成允许近程和/或远程无线通信的硬件和/或软件资源的形式包括相似功能。另外，公开的装置中的任何或者所有装置可以参与直接交互，诸如在膝上型计算机146与具有无线功能的装置148之间的近程无线交互。作为示例的具有无线功能的装置148可以范围从更复杂的独立的具有无线功能的设备到用于支持装置、比如膝上型计算机146中的功能的外围设备。

现在关于图2讨论关于相对于图1中的计算设备100示出的示例接口部件106的更多细节。首先，比如在106公开的接口不限于仅与这里仅为了说明而利用的计算设备100一起使用。因而接口装置可以实施于图1中公开的装置(例如142、144等)中的任何装置中。如先前阐述的那样，接口106可以包括(例如在200标识的)用于向计算装置100传达数据的接口和其它类型的接口220，这些接口例如包括用户接口222。例如多无线电控制器202可以管理远程无线接口204(例如蜂窝语音和数据网络)、近程无线接口206(例如蓝牙和WLAN网络)、近邻无线接口208(例如用于如下交互，在该交换中，电子、磁、电磁和光学信息扫描仪解译机器可读数据)、有线接口210(例如以太网)等的互操作。这里已经仅出于说明的目的而呈现图2中所示示例接口，因此这些示例未旨在于使本发明的各种实施例限于利用任何特定接口。本发明的实施例也可以利用图2中未具体标识的接口。

多无线电控制器202可以管理接口204-210中的一些或者所有接口的操作。例如多无线电控制器202可以通过分配如下具体时间段来防止可能相互干扰的接口在相同时间操作，每个接口被允许在这些具体时间段期间操作。另外，多无线电控制器202可以能够处理环境信息、比如操作环境中的感测干扰以选择将对干扰更有弹性的接口。这些多无线电控制场景并非为了涵盖可能控制功能的穷尽列举而是仅作为多无线电控制器202如何可以与图2中的接口204-210交互的示例来给出。

图2中公开的示例通信接口配置106根据本发明的至少一个实施例还可以包括诸如图3中阐述的示例近邻无线接口208。用于可视感测的资源可以至少包括能够记录活动和/或静止图像数据、亮/暗数据、颜色数据等的相机或者相似传感器设备。可以在装置中并入的近邻感测接口的其它示例可以包括但不限于用于传达数据，诸如射频标识(RFID)信息的射频(RF)收发器、用于磁墨字符识别(MICR)磁场检测等的磁传感器以及用于通过短距离传达IR信息的红外线(IR)发送器/接收器。

另外，示例近程无线接口206可以包括用于支持各种形式的近程无线通信的硬件和/或软件资源。接口206可以支持的无线通信的示例可以包括但不限于无线局域联网(WLAN)、蓝牙通信、蓝牙低能通信、无线通用串行总线(WUSB)通信等。这些通信形式可以在各种应用中支持在两个或者更多手持无线通信设备之间、在手持无线通信设备与静止接入点之间、与外围接口设备等的无线交互。

II.示例操作环境

基于无线通信的辅助全球定位(A-GPS)和其它电子定位解决方案可以可接受地执行，并且可以提供其中卫星/基站的信号质量和数目通常很好的室外广泛覆盖。以地形特征、道路、交通状况和其它有关信息为特征的如下准确地图可以支持这一性能，已经彻底地绘制这些地图并且根据卫星图像、空中摄影、来自用户群体的反馈等持续地维护这些地图。可用定位解决方案和特征丰富的地图可以提供优良用户体验(在实例中如例如包括测量和行人导航使用)。

该情形在导航被带到室内时变得完全不同。已知的定位技术在室内具有很有限能力，因此通常失败。这些失败有许多原因。首先，现有定位/绘图解决方案可能实施起来昂贵并且困难、地图信息对于许多公用/私有结构不存在，并且提供这一信息需要当前仅由私有公司提供的广泛建模可视化和/或绘图。另外，现有解决方案可能提供不稳定和/或不可预测的性能，这可能出现于外部定位信号不可用或者不可靠，并且室内信号缺乏充分位置分辨率。

本发明的各种实施例可以提供一种用于在传统定位技术可能不可用或者不充分的场景中的更快和更准确位置确定的手段。问题情形的示例是在结构(诸如大楼)内提供电子定位。尽管这里出于说明的目的而利用大楼内的定位，但是本发明的各种实施例不限于在这一具体应用中使用。其中传统定位技术未提供充分性能(例如速度、分辨率等)的几乎任何情形可以通过本发明的以下示例实施例和/或实现方式体验改进。

图4中公开的部分平面图400将帮助说明可能在结构(例如大楼)内体验的对传统电子定位的各种挑战。从卫星402和远程传输404(例如蜂窝)接收的信息可以在可以有效接收这些信号的室外时有效。然而结构可能呈现如图4中所示明显反射或者完全阻止这样的信号的物理障碍。用户406然后可能必须依赖于在大楼内提供的无线电子通信以便电子地确定位置。例如，无线接入点(AP)408、410、412和414可以提供如平面图400中所示电子无线通信。除了简单地提供数据通信(例如接入诸如因特网之类的LAN或者WAN资源)之外，这些接入点也可以提供定位信息。可以运用用于确定位置的各种方法，每种方法具有不同数量的精确度。例如与特定AP(例如AP 408)的连接416指示用户410在该AP的通信范围内。然而这样的估计所提供的分辨率尤其在大楼的更小界限内极为不确切。

另外，来自各种接入点的信号可以用于各种位置发现算法。例如可以运用基于与多个AP的连接的位置三角测量或者到达方向(DoA)估计，以便确定从信号的接收器朝着发射器的相对方向。然而，AP 408-AP 414发射的各种信号416可能经历大楼或者结构内的大量干扰/反射点418。例如包含金属管道的墙壁、包含各种拐角和其它对象的走廊、电梯轴杆以及其它高功率设备可能引起信号干扰或者反射418。干扰/反射点418可能造成明显延迟或者完全未接收AP信号416。另外，可能从如下方向接收这些信号，这些方向未指示原来从其发送信号的实际方向，因此这些信号可能在运用这些传统位置发现技术时引起延迟或者不准确。

III.示例扩展指纹

根据本发明的至少一个实施例，公开一种可缩放和全局的解决方案以用于在可能对于现有定位和/或绘图系统成问题的情形中提供电子定位功能。电子定位/绘图可以基于“众包(crowd-sourced)”信息，该信息可以例如包括用户收集的与位置有关的信息并且出于定位/绘图目的而被自愿地提供。众包信息还可以视为“传感器勘测”，因为信息可以由用户装置中的传感器记录。感测的信息中的至少一些信息然后可以存储于一个或者多个数据库中作为“扩展指纹”，这些指纹可以包括从感测的信息提取的可用于定位/绘图的元素。例如扩展指纹可以包括从在一个位置捕获的图像或者视频流提取的可视地标。在一些实现方式中，扩展指纹也可以包括可以在含糊去除中可用的与位置有关的其它信息，诸如无线电和/或运动传感器数据，该含糊去除可以出现于将扩展指纹组合成代表绘图数据库时。然后可以利用绘图数据库作为用于物理上约束的无线电地图的来源，这些地图实现单独或者与全球导航卫星系统(GNSS)、蜂窝和/或近程无线通信和运动传感器组合高效使用视觉传感器用于在用户装置中本地或者在无线通信中与绘图服务器共同生成的室内导航。

物理上约束的无线电地图如可以在本领域中理解它们的那样未与室内地图相似。物理上约束的无线电地图可以包括可以有利于更准确2D/3D装置定位的特征——而不是对于增强装置的用户接口(例如增强地图的呈现，该地图反映装置的当前位置)有价值/有意义的特征——的汇集。因此，室内地图数据涉及改进的位置可视化(例如向用户显示大楼地图及其内部、对用于导航的信息寻路由等)。这一地图数据(未必)没有与除了物理上约束的无线电地图之外的位置信息源相同的格式，也没有相同可视属性等。

扩展指纹不应视为包含完全可视位置图像，而应视为诸如墙壁、屋顶、颜色、窗和门位置、出口标志、WLAN AP位置等有代表性格的2D/3D物理元素和属性的汇集。更具体而言，这些可视元素不是从单个图像或者从视频流获得的通用频域特征，例如比例不变特征变换(SIFT)。它们也可以与用来精化布置的RF环境(例如WLAN/CI AP、RSSI)测量、相对比例和定向(例如罗盘)测量组合。

在至少一个示例实现方式中，也可以有可能依赖于用户交互以固定扩展指纹中包含的可视元素的定向、添加诸如水平、地址等其它相关信息和属性并且例如使用预定义对象库来人工编辑提取的属性/特征。这些动作可以帮助进一步精化定位系统所提供的位置近似。另外，在扩展指纹中包含的可视信息未必包括以下项目以避免隐私违反问题：实际原始图像、可能已经在创建图像时存在的人的脸部和可能已经在创建图像时记录的音频信息。扩展指纹信息可以记录于绘图数据库中。绘图数据库可以包括本地或者远程信息存储位置，在该位置可以从贡献终端收集扩展指纹或者系列扩展指纹。绘图数据库也有可能存储代表相同位置(例如特征地图)的多个扩展指纹，该位置可以基于从贡献装置接收的输入来持续地更新/升级。

IV.用于扩展指纹的示例可视元素捕获和处理

尽管以下公开内容聚焦于可视信息捕获和处理以便限定可视信息内存在的各种元素，但是可视信息仅为可以存储于扩展指纹中的感测信息的一个示例。如关于含糊去除而进一步讨论的那样，可以在一个位置捕获并且与扩展指纹关联地存储其它形式的感测信息。

可以从参与装置中的视觉传感器人工或者自动获得扩展指纹中包含的可视元素信息。示例视觉传感器可以包括但不限于相机、视频相机或者立体相机，这些相机可以通过确定图像的用户的位置或者根据图像(视频)流或者从图像/视频提取的元素流测量运动来生成联系位置固定。在图5A中的500公开可视信息的示例。尽管图像信息500是大楼走廊的图片，但是本发明的各种实施例并非仅限于在这样的区域中使用。该示例公开可以在办公大楼中发现的典型走廊，因此包括将在典型办公大楼走廊中发现的特征。

现在参照图5B，公开从单个图像提取元素的示例。可视传感器(在这一情况下为相机)可以在用户在室内行走和/或导航之时捕获图像。用户还可以用“透视”方式使用装置，其中室内地图可以叠加于屏幕上，并且特征提取然后可以用以下方式继续。初始地，可以通过从图像/视频流向空“画布”或者平面图投影尺度限制元素来提取二维(2-D)或者三维(3-D)布局。图5B中的白实线502公开用于可视信息中的走廊的布局尺度。接着可以在可视信息500中限定门、开放区域、楼梯、窗。左上到右下交叉影线在可视图像信息500中限定门504和开放区域506(例如交叉走廊开口)。前述开口限定还可以包括限定/测量可视信息中标识的元素的比例(例如相对于门、交叉走廊等的高度)。限定/测量可以例如基于图像信息中的诸如天花板的高度、门的尺度、人的高度等已知值。更多元素限定可以包括标识可视信息中的附加属性。这些属性可以包括标志(例如出口标志512和紧急标志514)、灭火器510和其它与紧急有关的方面516、墙壁颜色和/或标记、诸如灯开关、WLAN AP天线等墙壁和天花板属性。

另外，元素限定还可以包括对诸如在508公开的接入点定位。接入点限定可以帮助关于与接入点的距离连结可视位置与实际位置。因此，在对应元素信息在绘图数据库中不容易可标识的实例中，诸如关于接入点的位置这样的信息可以帮助分辨对应元素。在一些实例中，可视信息内的接入点的标识和限定可以促进捕获图像信息的装置也针对来自接入点的信号执行感测。以此方式，可以与可视图像信息500一起获得并且记录位置信息(例如，关于接入点为绝对或者相对)。

可以比如图6中阐述的那样组织从图像提取(例如在扩展指纹中限定)的特征。可见，扩展指纹本身可能不可用作室内地图，因为它限于在记录图像时传感器的可视范围(例如未透视墙壁或者门背后)，但是它对于定位并且标记用于位置信息的可视传感器和有用来源极为有用。扩展指纹600可以包括图5B中限定的特征中的一些或者所有特征。例如，扩展指纹600可以包括基于尺度502的走廊尺度，可以具有基于限定的门开口504的门604。另外，该表示可以基于限定的位置508指示接入点608的存在，并且可以包括基于在可视图像中进行的限定510-516的各种标志或者其它对象610-616。另外，该表示可以包括信息602，该信息602标识在捕获图像信息时从装置的方向并且可能甚至是装置的实际位置。根据本发明的至少一个实施例，图像信息500或者视频流等可能未以它们的原捕获形式向绘图服务器发送，但是可以仅发送提取的特征/属性。向绘图服务器提供提取的特征/属性信息不仅通过减少待存储于绘图数据库中的数据量来节约空间而且也可以避免隐私问题，因为可以不向绘图服务器发送或者在绘图服务器上存储敏感或者私人图像信息。

视觉和传感器勘测绘图数据库生成的至少一个重要方面是众包。数据库生成的一个有利实现方式是集成扩展指纹信息的“收获(harvesting)”与已经实现的框架(例如用于WiFi/蜂窝ID数据汇集的框架)的协议和软件。由于在至少一个示例实现方式中，扩展指纹信息未携带实际图像(仅有室内导航相关的数据)，所以可以避免任何与隐私有关的问题。

根据本发明的至少一个实施例，可以存储扩展指纹，然后组装成更大区域的表示(例如物理上约束的无线电地图)。图7公开基于个别扩展指纹生成平面图的示例。绘图系统可以从各种来源(例如用户装置、大楼相机等)取回扩展指纹，并且可以组合它们以形成绘图数据库。在图7中，个别扩展指纹700、702、704、706和708可以各自已经从箭头602在每个扩展指纹中指示的视角来记录。具体而言，记录每个扩展指纹的装置可以已经位于箭头602所示相对位置，并且装置中的可视传感器(例如相机)可以已经在每个箭头602指向的方向上指向。可以基于共同元素组合个别扩展指纹。例如，元素710可以存在于扩展指纹700与702之间的走廊交点。类似地，元素712可以存在于扩展指纹702和704中，元素714可以存在于扩展指纹704和708二者中，并且元素716可以存在于扩展指纹706和708二者中。这些共同元素可以帮助“重新组装”扩展指纹，并且用来关联绘图数据库中的这些扩展指纹。

在图7的示例中不言而喻，从其记录每个扩展指纹的箭头602所示视角可能不便于将个别扩展指纹“直接”关联成整体。这可能出现是因为没有如下限制或者标准，该限制或者标准控制从其记录扩展指纹的方向或者定向。因此如关于扩展指纹702、706和708所示，处理设备(例如记录装置或者远程实体，比如绘图数据库)可能必须在扩展指纹内的元素可以与已经记录于绘图数据库中的与其它扩展指纹关联的相同元素关联之前对扩展指纹重新定向。重新定向可以包括旋转或者“自旋”视角，从而可以在绘图数据库中关联相同元素。

在已经记录足够的有代表性的扩展指纹之后，可以根据绘图数据库生成物理上约束的无线电地图。更具体而言，可以单独在装置中本地或者与远程定位的处理资源(比如绘图服务器)组合地对扩展指纹进行组合，以创建特定位置的有代表性的2-D或者3-D(例如包括楼层/房间/室内区域特异性的大楼地图)。比例和投影校正可以基于从图像提取的各种元素，但是一旦组合就可以基于在绘图数据库中建立的标准规范化并且校正比例因子、旋转等。根据本发明的至少一个实施例，与缩放和/或重新定向有关的过程可以出现于感测装置中(例如基于元素信息)、绘图数据库中(例如基于已经存储于数据库中的扩展指纹)或者可以出现于两个实体中作为全部感测、元素提取和扩展指纹存储过程的部分。

在一些示例中，基于特征的地图可能不可用作可向用户呈现的室内地图，因为将可能有可能未准确记录的间隙、盲拐角等，但是仍然可以用于定位目的。在至少一个示例使用场景中，可以将关于装置的当前环境感测的信息与本地驻留于装置中或者远程驻留(例如绘图服务器中)的物理上约束的无线电地图进行比较。比较的结果可以用来近似用于位置的相对(例如关于可以在装置的当前位置附近的其它本地地标)或者绝对(例如基于更大坐标系，比如全局定位测量)位置。除了仅提供当前位置之外，物理上约束的无线电地图也可以用于其它应用，比如将用户引向结构内的其它区域。甚至可以有可能的是在绘图数据库中收集足够元素信息，从而可以编译可向用户显示的地图。然后可以在可显示地图的界限内向用户示出当前装置位置，从而用户可以可视地将他们的位置与他们的临近环境、他们希望的目的位置等相关。

在以恒定速率操作的仅单个装置报告提取的元素信息时，可以相对容易地将扩展指纹合并成依赖于在图像中限定的匹配可视元素的绘图数据库。然而，当不同装置在随机时间、在各种位置并且用可变成组提取的元素执行特征绘图时，问题可能显现。例如，不同对象可以在不同时间存在于一个位置，因此与相同位置对应的扩展指纹的差异可能不可避免。这样的可变条件尤其在通过众包获得各种扩展指纹时未出乎意料。也可能基于缺乏区分而出现问题。如果大楼无大量可视区分(例如典型办公大楼通常具有从楼层到楼层的相同内部设计)，则通过仅依赖于提取的可视元素来合并扩展指纹可能有挑战性。

用于空间“含糊(ambiguity)”去除的至少一个提出的替代方式是通过使用其它传感器信息(例如WiFi测量)以提供用于对扩展指纹定位的粗略位置信息。例如绘图服务器可以从装置接收包括无线信号信息的扩展指纹。绘图服务器然后可以在不同时间瞬间从另一装置接收包含无线信号信息的扩展指纹。一旦绘图数据库具有充分足量的条目，则服务器可以开始“挖掘”DB。根据本发明的至少一个实施例，可以通过根据无线指纹对扩展指纹信息排序和/或聚类(例如通过链接限定为元素的任何AP)来启动挖掘，并且然后可以分析与具有可视元素的无线信号信息一起取得的可视元素中的相似和匹配，以便将扩展指纹合并成绘图数据库中的组合表示。

现在在图8中公开根据本发明至少一个示例实施例的用于可视信息捕获和存储的示例过程的流程图。绘图过程可以在步骤800中启动。然后可以在步骤802中关于是否应当为位置(例如装置的当前位置)创建扩展指纹进行确定。如果无需扩展指纹(例如位置已经记录于绘图数据库中)，则在步骤804中，该过程可以在步骤804中终止并且返回到步骤800以预备下一绘图序列。在本发明的一个替代实施例中，可以省略步骤802，因为可以总是捕获扩展指纹信息用于更新绘图数据库中存在的信息。可以例如在通过众包提供信息时利用这样的实施例。

如果在步骤802中确定应当存储新扩展指纹，则在步骤806中可以针对当前装置位置存储可视图像信息。可以经由装置中的可视传感器(例如相机)捕获这一信息。在步骤808中，可以处理可视信息以便限定扩展指纹内存在的地标元素。然后可以将这些元素与绘图数据库进行比较以查看是否已经存储元素。这一评估可以帮助将来自扩展指纹的元素与从其获得图像信息的对应位置进行关联。如果可以在绘图数据库中标识恰当关联，则可以在步骤812中录入元素信息并且该过程可以同样在步骤804中终止。

然而如果不能在步骤810中标识恰当关联，则在步骤814中可以例如在含糊去除过程方面利用其它关联信息以便标识从其创建扩展指纹的位置。如果在步骤816中标识位置，则可以在与实际位置对应的绘图数据库中记录信息，并且该过程可以同样在步骤804中终止。然而如果不能在步骤816中为元素信息限定恰当位置，则该过程然后移向步骤818，其中为根据扩展指纹信息限定的元素在绘图数据库中创建新位置。该过程可以同样在步骤804中终止，并且返回到步骤800预备启动下一绘图序列。

尽管上文已经公开本发明的各种示例配置，但是本发明未严格地限于先前实施例。

例如本发明根据至少一个示例实施例可以包括一种装置，该装置包括：用于利用装置中的感测资源以至少感测与装置的位置对应的可视信息的装置；用于通过在可视信息内限定与位置的属性对应的一个或者多个可视元素来标识属性的装置；以及用于通过在绘图数据库中与位置关联记录一个或者多个可视元素来在绘图数据库中创建位置的表示的装置。

本发明的至少一个其它示例实施例可以包括电子信号，这些信号使装置：利用装置中的感测资源以至少感测与装置的位置对应的可视信息；通过在可视信息内限定与位置的属性对应的一个或者多个可视元素来标识属性；并且通过在绘图数据库中与位置关联记录一个或者多个可视元素来在绘图数据库中创建位置的表示。

因而本领域技术人员将清楚其中可以进行形式和细节上的各种改变而未脱离本发明的精神实质和范围。本发明的广度和范围不应受任何上文描述的示例实施例限制而是应当仅根据所附权利要求及其等效含义来限定。

Claims (12)

1.一种用于基于先前存储的可视数据增强室内位置信息的提供的方法，包括：

利用装置中的感测资源以至少感测与所述装置的位置对应的可视信息；

通过在所述可视信息内限定与所述位置的属性对应的一个或者多个可视元素来标识所述属性；

根据所感测的所述可视信息提取所限定的所述一个或者多个可视元素；以及

通过在绘图数据库中记录与所述位置关联的所述一个或者多个可视元素而非所感测的所述可视信息来在所述绘图数据库中创建所述位置的表示。

2.根据权利要求1所述的方法，其中所述感测资源至少包括相机，并且所述可视信息是在所述位置捕获的电子图像。

3.根据权利要求1所述的方法，其中所述位置的所述属性可以包括在所述位置的物理对象、走廊、门口、形状或者颜色。

4.根据权利要求1所述的方法，其中在所述绘图数据库中记录与所述位置关联的所述一个或者多个可视元素包括确定是否所述一个或者多个可视元素中的任何可视元素已经存在于所述绘图数据库中。

5.根据权利要求4所述的方法，还包括利用所述装置中的所述感测资源以感测在所述位置的电子信号和/或场。

6.根据权利要求5所述的方法，其中确定是否所述一个或者多个可视元素中的任何可视元素已经存在于所述绘图数据库中包括使用在所述位置感测的所述电子信号和/或场以发现所述绘图数据库中的所述一个或者多个可视元素。

7.根据权利要求5所述的方法，其中在所述绘图数据库中记录与所述位置关联的所述一个或者多个可视元素包括在所述一个或者多个可视元素并未已经存在于所述绘图数据库中时标识所述位置为新位置。

8.根据权利要求1-7中任一项所述的方法，其中所述绘图数据库包括用于一个或者多个位置的表示，所述一个或者多个位置在所述绘图数据库中组合在一起以形成地图，所述一个或者多个位置至少基于与位置的每个表示对应的所述一个或者多个可视元素中的共同可视元素来组合在一起。

9.根据权利要求8所述的方法，其中所述地图对应于结构内部，所述位置的表示对应于所述结构内部的区域。

10.一种用于基于先前存储的可视数据增强室内位置信息的提供的装置，包括：

至少一个处理器；以及

至少一个存储器，包括可执行指令，所述至少一个存储器和所述可执行指令被配置成与所述至少一个处理器配合以使所述装置至少执行权利要求1至9中任一项所述的方法。

11.一种用于基于先前存储的可视数据增强室内位置信息的提供的装置，包括用于执行权利要求1至9中任一项所述的方法的装置。

12.一种用于基于先前存储的可视数据增强室内位置信息的提供的系统，包括：

装置；以及

绘图数据库；

所述装置利用装置中的感测资源以至少感测与所述装置的位置对应的可视信息并且通过在所述可视信息内限定与所述位置的属性对应的一个或者多个可视元素来标识所述属性；以及

所述装置还根据所感测的所述可视信息提取所限定的所述一个或者多个可视元素以及通过在所述绘图数据库中记录与所述位置关联的所述一个或者多个可视元素而非所感测的所述可视信息来在所述绘图数据库中创建所述位置的表示。