CN104428817A - 移动装置上的传感器辅助广域定位 - Google Patents

移动装置上的传感器辅助广域定位 Download PDF

Info

Publication number
CN104428817A
CN104428817A CN201380036633.1A CN201380036633A CN104428817A CN 104428817 A CN104428817 A CN 104428817A CN 201380036633 A CN201380036633 A CN 201380036633A CN 104428817 A CN104428817 A CN 104428817A
Authority
CN
China
Prior art keywords
feature
model
interval
normal line
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380036633.1A
Other languages
English (en)
Inventor
克莱门斯·阿斯
亚历山德罗·穆洛尼
格哈德·赖特迈尔
迪特尔·施马尔施蒂格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN104428817A publication Critical patent/CN104428817A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种移动装置例如在广域环境中共同使用视觉及定向传感器数据来用于六自由度定位。图像或视频流在接收地理定向数据的同时被捕捉，且可用以产生环境的全景柱面图。基于所述地理定向数据来存取存储在数据库中的模型特征的区间。所述模型特征是来自由来自所述环境的多个图像的所提取特征而产生的所述环境的预产生重建。将所述重建注册到全局定向，且基于类似的地理定向来将所述模型特征存储在区间中。将来自所述全景柱面图的特征匹配到所述区间中的模型特征以产生对应特征的集合，所述特征用以确定摄像机的位置及定向。

Description

移动装置上的传感器辅助广域定位
未决临时申请案的交叉参考
本申请案主张2012年12月18日申请的且名为“移动装置上的传感器辅助广域定位(Sensor-Aided Wide-Area Localization On Mobile Devices)”的第13/719,012号美国申请案的优先权，所述申请案继而根据35USC 119来主张2012年7月12日申请的且名为“移动装置上的传感器辅助广域定位(Sensor-Aided Wide-Area Localization On MobileDevices)”的第61/670,990号美国临时申请案的优先权，所述两案均受让给其受让人且通过引用的方式并入本文中。
技术领域
本文所述的标的物的实施例大体上涉及定位与跟踪，且更具体来说涉及基于视觉的移动装置的跟踪。
背景技术
相对于用户的环境的高度准确的6自由度(DOF)自定位对于扩增实境(AR)中的正确的且视觉愉快的结果为必然需要的。用以执行自定位的有效方式为使用所述环境的稀疏的3D点云重建及执行摄像机实况图像与所述重建之间的特征匹配。根据特征匹配，可估计位置及定向，即姿势。在移动AR(例如，在例如蜂窝式电话或智能电话等移动装置上执行的AR)中面临的挑战在于经常在广域环境(例如，户外)中产生的姿势估计。由于AR应用程序的交互性质，定位时间对AR应用程序的用户体验具有直接的影响，因为其确定用户在与所述应用程序的交互可开始之前必须等待多长时间。因此，希望用移动装置中的有限的处理功率来在(例如)几秒内快速地定位移动装置，同时针对所要应用程序维持姿势(位置及定向)的必要准确性，例如用于位置的亚米级准确性及用于定向的小于5°角度误差。
在计算机视觉(CV)领域中，已使用在计算上要求高的算法主要在粗尺度上解决了定位问题。此外，通常使用高达几米的准确性来解决定位任务。另外，典型的定位解决方案仅用两自由度(2DOF)或三自由度(3DOF)来确定位置，而非全六自由度(6DOF)姿势。因此，常规的定位方法并不直接适于移动AR应用程序或其它类似地要求高的应用程序。
发明内容
一种移动装置例如在广域环境中共同使用视觉、定向及任选地位置传感器数据来用于六自由度定位。图像或视频流在接收地理定向数据的同时被捕捉，且可用以产生环境的全景柱面图。基于所述地理定向数据来存取存储在数据库中的模型特征的区间。举例来说，可基于所述移动装置的粗略位置来从数据库获得包含模型特征的多个区间的数据集块，且基于地理定向数据来从数据库存取适当的区间。所述模型特征是来自由来自环境的多个图像的所提取特征而产生的所述环境的预产生重建。将所述重建注册到全局定向，且基于类似的地理定向来将所述模型特征存储在区间中。将来自所述全景柱面图的特征匹配到所述区间中的模型特征以产生对应特征的集合，所述特征用以确定摄像机的位置及定向。
在一个实施方案中，一种方法包含：捕捉环境的图像；接收与图像相关联的地理定向数据；基于地理定向数据来从数据库存取模型特征的区间，其中所述模型特征是来自环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；从所述图像提取特征；比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的集合；及使用对应特征的集合来确定摄像机的位置及定向。
在一个实施方案中，一种设备包含：摄像机，其能够捕捉环境的图像；定向传感器，其能够提供地理定向数据；及处理器，其耦合到所述摄像机及所述定向传感器，所述处理器经配置以：从图像提取特征，确定每一特征的地理定向；基于每一特征的地理定向来存取数据库的模型特征的区间，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；比较从所述图像提取的特征与模型特征的区间以产生对应特征的集合；及使用对应特征的集合来确定摄像机的位置及定向。
在一个实施方案中，一种设备包含：用于捕捉环境的图像的装置；用于接收与图像相关联的地理定向数据的装置；用于基于地理定向数据来从数据库存取模型特征的区间的装置，其中所述模型特征是来自环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；用于从所述图像提取特征的装置；用于比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的集合的装置；及用于使用对应特征的集合来确定摄像机的位置及定向的装置。
在一个实施方案中，一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含：用以接收与环境的图像相关联的地理定向数据的程序代码；用以基于地理定向数据来从数据库存取模型特征的区间的程序代码，其中所述模型特征是来自环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；用以从所述图像提取特征的程序代码；用以比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征的集合的程序代码；及用以使用对应特征的集合来确定摄像机的位置及定向的程序代码。
在一个实施方案中，一种方法包含：获得环境的多个图像；从所述多个图像提取特征；使用所述特征产生所述环境的重建；将所述环境的重建注册到全局定向；使地理定向与每一特征相关联；及存储所述环境的重建，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。
在一个实施方案中，一种设备包含：数据库；处理器，其耦合到所述数据库，所述处理器经配置以使用从环境的多个图像提取的特征来产生所述环境的重建，将所述环境的所述重建注册到全局定向，使地理定向与每一特征相关联；及将所述环境的所述重建存储在所述数据库中，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。
在一个实施方案中，一种设备包含：用于获得环境的多个图像的装置；用于从所述多个图像提取特征的装置；用于使用所述特征产生所述环境的重建的装置；用于将所述环境的重建注册到全局定向的装置；用于使地理定向与每一特征相关联的装置；及用于存储所述环境的重建的装置，其中所述特征一起分区为多个区间，其中每区间与地理定向的不同预定范围相关联。
在一个实施方案中，一种包含存储在其上的程序代码的非暂时性计算机可读媒体包含：用以从环境的多个图像提取特征的程序代码；用以使用所述特征产生所述环境的重建的程序代码；用以将所述环境的重建注册到全局定向的程序代码；用以使地理定向与每一特征相关联的程序代码；及用以存储所述环境的重建的程序代码，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。
附图说明
图1说明展示包含移动装置及数据库的系统的框图，所述系统能够实现视觉及多个传感器(GPS、指南针、加速度计)的联合使用以用于高度准确的6DOF定位。
图2是说明可由图1中所示的系统使用的数据产生及定位方法的框图。
图3说明定向感知特征提取，包含重力及法线向量。
图4及5说明使用地理定向的定向感知特征分区(binning)。
图6说明针对两个不同距离阈值的用于传感器辅助系统及没有传感器的系统的定位性能的比较。
图7说明使用两个不同距离阈值的用于传感器辅助系统及未使用传感器的系统的定位性能的比较。
图8展示用于传感器辅助及没有传感器的系统的内围层的比较。
图9说明用于成功定位估计的平均平移误差。
图10说明用于成功定位估计的平均旋转误差。
图11展示用于使用传感器的系统及没有传感器的系统的定位的平均执行时间。
图12展示使用用于使用传感器的系统及没有传感器的系统的来定位结果的时间。
图13是说明使用地理定向数据的定位方法的流程图。
图14是能够使用地理定向数据来定位的移动装置的框图。
图15是说明用于基于地理定向的环境的重建模型的数据产生的方法的流程图。
图16是用于基于地理定向的环境的重建模型的能够数据产生的服务器的框图。
具体实施方式
图1说明展示包含移动装置100及具有数据库135的服务器130的系统的框图，所述系统能够实现计算机视觉及多个传感器(GPS、指南针、加速度计)的联合使用以用于高度准确的6DOF定位，例如在广域环境中。数据库135存储基于全局定向而分割的环境的三维(3D)特征，及移动装置100存取所述分割特征以用于基于传感器信息(例如，指南针或磁力计数据)的基于视觉的定位。
图1将移动装置100的前侧说明为包含外壳101、显示器102(其可为触摸屏显示器)、以及扬声器104及麦克风106。移动装置100进一步包含用以使环境成像的前向摄像机110及传感器112(其可包含磁力计、回转仪、加速度计等)。移动装置100能够使用常规定位技术来确定其位置，例如使用卫星定位系统(SPS)122的粗糙GPS测量、或使用例如存取点124或蜂窝式塔126等无线源的三角测量。发射器的SPS系统122经定位以使实体能够至少部分基于从发射器接收的信号来确定实体在地球上或上方的位置。在特定实例中，此类发射器可位于地球轨道卫星载具(SV)上，例如，在例如全球定位系统(GPS)等全球导航卫星系统(GNSS)、伽利略(Galileo)、格洛纳斯(Glonass)或指南针或其它非全球系统的星座中。因此，如本文所使用，SPS可包含一或多个全球及/或区域导航卫星系统及/或扩增系统的任何组合，及SPS信号可包含SPS、SPS类似物及/或与此类一或多个SPS相关联的其它信号。
如本文所使用，“移动装置”指任何便携式电子装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助手(PDA)、或其它合适的移动装置。移动装置可能够接收无线通信及/或导航信号，例如导航定位信号。术语“移动装置”还意图包含例如通过短程无线、红外线、电线连接或其它连接与个人导航装置(PND)通信的装置，不管卫星信号接收、辅助数据接收及/或位置相关处理是发生在装置处还是在PND处。而且，“移动装置”意图包含所有电子装置，包含能够捕捉其环境的图像(或视频)的无线通信装置、计算机、膝上型计算机、平板计算机等。
移动装置100基于移动装置100的大致位置及全局定向而经由无线网络120来使用远程服务器130来存取数据库135。数据库135可包含3D特征的多个数据集，每一数据集与不同位置相关联。另外，存储在数据库135中的3D特征的每一数据集基于全局定向而分割。因此，使用(例如)如SPS 122所确定的移动装置100的位置，可存取存储在数据库135中的3D特征的相关数据集。此外，使用从传感器112接收的全局定向数据，匹配移动装置100的全局定向的3D特征的分割子集可经存取且用于与摄像机110所捕捉的图像的特征匹配。所述特征匹配可由移动装置100执行(例如，其中将数据库135的至少一部分提供给移动装置100)，或由远程服务器130执行(例如，其中移动装置100进一步发射图像数据(例如，图像本身或来自图像的提取特征)到远程服务器130)。
图2是说明可由图1中所示的系统使用的定位系统200的框图。如图2中所展示，定位系统200可分为离线数据产生210及在线定位220。对于离线数据产生210，通过获得待重建的区的多个图像来执行图像获取212。所述图像可通过用单个摄像机拍摄照片、众包来自多个摄像机的图像或使用相关区的所存储图像来获取。在所获取图像上执行重建及注册(214)。举例来说，使用快速鲁棒特征(SURF)或其它适当的提取方法(例如来自加速段测试的特征(FAST)角落检测器或尺度不变特征变换(SIFT))来从所述图像提取特征。接着可使用运动结构法则(SfM)技术来产生稀疏的点云重建。将所得重建注册到全局坐标系(包含位置及定向)，这可通过对准来自附接到图像的SPS标记的重建而手动地或自动地进行。
在从图像提取特征用于重建及注册期间(214)，定向感知描述符(例如，描述地理方向及重力的向量)包含在特征描述中。通过实例方式，图3说明成像窗口250的透视图，其中3D点252经说明为包含主要描述符254以及法线向量256及重力向量258(如果需要)。法线向量为垂直于3D点所属的表面的向量。此类法线向量可通过计算将3D点252连接到可在图像获取期间看见所述3D点的所有摄像机的向量的平均值来近似计算。因此，所得重建中的每一个别3D点为定向感知特征，其不仅表征描述符而且表征法线向量及(如果需要)重力向量。由于所述重建为竖直定向的，所以重力向量可用作共同特征定向而非使用图像梯度。在现场定位期间，移动装置100的定向传感器(例如，加速度计或回转仪)可提供所需的重力向量。
在所得重建上执行定向感知特征封装(216)。举例来说，所得重建可(例如)使用矩形网格而分割为若干重叠块。每一块可覆盖特定的预界定区，例如50×50米。如果需要，所述块可重叠(例如)5到10米每一块中的特征可存储在单独的数据集中，有时在本文中称作数据集块。另外，每一数据集块中的特征基于法线向量相对于真实地理定向的定向(即，北、南、东西)而再分为数据子集，有时在本文称作区间或数据集区间。由于SURF或类似提取的特征可在例如±45°的视角改变下适度地重新检测，所以可产生区间而使得角度范围重叠，例如可使用八个区间，每一区间覆盖60°的范围。
通过实例方式，图4说明八个区间的地理定向的范围，每一区间覆盖60°的范围，其中每一区间由不同的几何形状识别，例如，白色正方形所识别的区间包含具有指向东±30°的法线向量的特征，黑色三角形所识别的区间包含具有指向北±30°的法线向量的特征等。出于说明目的，图5展示包含形成内部庭院304的若干建筑物302A、302B、302C及302D的区300的俯视图。庭院304可为(例如)图5中所示的区300的重建中的单块，不过当然，如果所述庭院304较大，例如大于50×50米，那么庭院304可为所述重建中的多个块。图5中还说明可从庭院304内部可见的区300的重建中的许多特征，其中所述特征由具有图4中所识别的几何形状中的一者的基底以及在与所述特征相关联的法线向量的方向上的箭头来识别。如图5中可见，由庭院304形成的单块包含具有不同法线向量的多个特征。所述重建中的特征中的每一者基于所述特征的法线向量的地理定向而与适当区间相关联。应注意，可能的是可将来自同一结构上不同位置的特征的向量放置在不同区间中。举例来说，当建筑物的正面具有突出的3D结构(例如，装饰或招牌)时，当从特定方向观察建筑物时从突出的3D结构提取的特征可为可见的，且因此可具有不同的法线向量且因此放置在与所述正面的其它部分提取的特征不同的区间中。
通过将所述重建的每一块中的特征放置在适当地理定向的识别区间中，可针对每一区间产生用于加速匹配的近似搜索结构作为定向感知特征封装的部分(216)。因此，所述重建中经结构化为包含用于重叠地理定向识别区间的数据的子集的数据集的每一块存储在共同特征数据库218中，使得可按需检索数据集。
在定位220期间，例如在视频流中捕捉图像，所述图像可用于自定位，即通过比较特征数据库218中的特征的子集来确定全局姿势的估计。在一个实施方案中，所捕捉图像可用以产生全景柱面图222。大体来说，对于准确的自定位，用于三角测量的宽基线是所需要的且因此使用全景柱面图为有利的，但未必是必需的。普通移动装置(例如蜂窝式电话或智能电话)通常包含具有狭窄视场(FOV)的摄像机。大多数移动装置中发现的摄像机的狭窄FOV一般不足以提供用于三角测量的宽基线。因此，全景柱面图可通过逐帧地跟踪图像的实况视频流且通过匹配来自图像的提取特征而将所述图像匹配到全景柱面图上而产生。在图像的视频流的逐帧跟踪以产生全景柱面图期间，从所捕捉图像递增地提取特征。比较每一新捕捉图像的特征与全景柱面图的先前提取特征以将新捕捉的图像映射到全景柱面图上。所得全景柱面图可为(例如)2048×512像素。随着全景柱面图增长，环境的FOV增加以提供用于定位的较宽基线。
通过实例方式，图6说明产生建筑物370的全景柱面图360的移动装置100。通过在捕捉视频流中的图像的同时旋转移动装置100来产生全景柱面图360，逐帧地提取及跟踪图像中的特征362以将来自视频流的每一图像364映射到全景柱面图360上。移动装置100中的传感器112(例如，加速度计及磁力计)用以在捕捉特征时确定每一特征362的重力向量366及法线向量368的地理定向367。另外，移动装置100使用(例如)SPS位置固定来确定其大致位置(纬度，经度)，其足够准确来识别用户当前所位于的重建中的(例如)50×50米块。
如图2中所说明，基于移动装置100的估计姿势224来存取特征数据库218，其包含(例如)如由SPS估计确定的大致位置及如由(例如)传感器112确定的定向。从特征数据库218检索对应于移动装置的大致位置的数据集块以用于匹配来自全景柱面图的特征。代替匹配全景柱面图中的个别特征与来自对应数据集块的所有特征，基于地理定向(即，与包含来自全景柱面图的特征的法线向量的地理定向的法线向量的范围相关联的区间)来匹配所述特征与来自数据的适当子集的特征。因此，如图2中所说明，从特征数据库218提供与移动装置的位置相关联的数据集块226以用于定向感知特征提取及匹配228，其中数据集块226包含基于法线向量相对于真实地理定向的定向的特征的多个子集(即，区间)。
来自定向感知特征提取及匹配228的已建立对应关系用于全局姿势估计230。全局姿势估计可为确定移动装置的全6DOF全局姿势的稳固3点姿势(3PP)算法通过产生移动装置100的全局姿势估计，将全景柱面图注册到世界参考系。对准全景柱面图与世界参考系的过程需要针对全景柱面图仅完成一次。
另外，可基于222中所产生的全景柱面图来执行局部定向跟踪232。局部定向跟踪(例如)使用特征提取及匹配技术来比较移动装置所捕捉的当前图像与全景柱面图，以确定移动装置的局部定向估计。来自232的局部定向估计可与全局姿势估计230组合以产生可用于(例如)实况扩增234或其它适当的应用的组合姿势。
图7-12说明在定位过程期间在图2的230中产生的全局姿势估计上执行的定量测试的结果。如果从地面真实位置的平移距离低于指定阈值，那么将定位视为成功的。平移距离仅被视为具有正确位置估计的可能性，但关于所揭示定位过程的错误定向估计为非常低的。
通过在5°的步骤(最初指向建筑物正面)中将全景柱面图从30°裁剪到360°来用不同的FOV来模仿全景柱面图。图7说明针对两个不同距离阈值60cm及150cm的用于传感器辅助系统(例如本文所述的)与未使用传感器的系统的定位性能的比较。如图7中可见，针对较宽松的距离阈值(即，150cm)而得到较大改进，这是归因于小的FOV违反的3PP算法的宽基线需求。此外，如可见，具有传感器的系统相比未使用传感器的先前定位技术而改进了多达15％。应注意在FOV与定位时间(T2L)之间存在正比关系。T2L为速度的测量，即，应用程序启动与产生定位估计之间的时间，其实际上为用户在定位成功之前必须花费在捕捉全景柱面图上的时间。T2L与全景柱面图的FOV成正比，全景柱面图通过在捕捉图像的同时旋转摄像机而产生。因此，具有较小FOV的定位性能的改进导致T2L的减少，即，将图7中的性能曲线推向左上拐角意味着T2L的显著降低。
图8展示用于传感器辅助系统(例如本文所述的)与未使用传感器的系统的内围层的平均数目的比较。归因于传感器辅助特征管理，内围层的数目可增加多达50％。此继而大大增加了稳固性，因为内围层的平均百分比仅介于特征对应关系的总数的5％-10％之间。
图9及图10分别说明针对例如本文所述的传感器辅助系统的相对于全景柱面图的FOV的用于30cm的距离阈值的平移误差及角度误差。如图9中可见，如果定位成功，那么平移误差在所有三个维度上低于15cm，其中x为摄像机的左边与右边，y为垂直方向，及z为前向。此外，如可见，平移误差随着全景柱面图的FOV增加而减少。类似地，如图10中可见，角度误差对于所有旋转轴低于1.5°，且进一步随着全景柱面图的FOV增加而减少。
图11及12说明在使用iPhone 4S的定位过程期间在图2的230中产生的全局姿势估计的定形确认的结果。所述定性确认通过在一个块的区中记录21不同的视频流连同伴随的传感器测量来执行。在随机观察方向上起始视频流，且在产生全景柱面图的同时使用垂直轴周围的恒定旋转速度。使用及未使用传感器而在同一装置上处理视频流。
图11展示用于使用传感器的方法及没有传感器的方法的个别过程(在几毫秒中)的平均执行时间。如可见，传感器主要对特征匹配时间具有影响，其归因于以下事实：当使用传感器时，与匹配数据集中的所有特征相对比，特征仅与对应于其法线向量的特征匹配。姿势估计的速度也在使用传感器的情况下得以改进。这是归因于所发现内围层的较高百分比。
图12展示用于具有传感器的方法及没有传感器的方法的T2L结果。如可见，传感器辅助方法相比没有传感器的方法而具有1.71s的平均T2L的改进，其几乎快了四倍。因此，平均来说，用户可预期使用本发明传感器辅助方法的AR应用将与基于没有传感器的常规定位方法的应用相比而初始化一半的时间。
图13是说明使用地理定向数据的定位方法的流程图。如所说明，移动装置捕捉环境的图像(402)，其可为(例如)来自一连串视频帧的帧。在一个实施方案中(如上所述)，图像可用以产生环境的全景柱面图的至少一部分(402)。全景柱面图的至少所述部分可通过从环境的捕捉图像提取特征且将所捕捉图像映射到全景柱面图而产生。例如从定向传感器接收(404)与所述图像相关联的地理定向数据。举例来说，可在捕捉图像期间或之前或之后不久来接收地理定向数据，使得地理定向数据大致与捕捉图像同时。基于地理定向数据而从数据库存取模型特征的区间，其中所述模型特征是来自环境的预产生三维模型且基于模型特征的地理定向而在数据库中分区(406)。从图像提取特征(407)。比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征集合(408)。通过实例的方式，所提取特征可用以产生环境的全景柱面图的部分，所提取特征存储在环境的全景柱面图中，且比较所存储特征与模型特征。对应特征的集合用以确定摄像机的位置及定向(410)。如果需要，除了在步骤404中接收地理定向数据之外，还可(例如)从SPS接收器接收位置数据。当接收位置数据时，在步骤406中从数据库存取模型特征的区间包含：基于位置数据来从数据库存取模型特征的数据集块，其中模型特征的数据集块包括模型特征的多个区间；及使用地理定向数据来在数据集块中存取来自模型特征的多个区间的模型特征的区间。所述方法可包含确定每一特征的法线向量及使所述地理定向数据与每一特征的法线向量相关联。因此，在步骤406中从数据库存取模型特征的区间可包含使用与每一特征的法线向量相关联的地理定向数据来从具有法线向量的模型特征的对应区间检索模型特征，其中所述法线向量在包含与法线向量相关联的地理定向数据的地理定向的范围中。另外，可(例如)根据每一特征的加速度计来确定重力向量。当比较从图像提取的特征与模型特征的区间中的模型特征时可使用重力向量来产生对应特征集合，其中每一模型特征具有相关联的重力向量。
图14是能够使用地理定向数据来定位的移动装置100的框图。移动装置100可包含无线接口103以经由如图1中所说明的无线网络120通过远程服务器130来存取数据库135。移动装置100进一步包含摄像机110及传感器112(其可包含磁力计、指南针、回转仪、加速度计等)。移动装置100可进一步包含用于接收位置数据的SPS接收器107。移动装置100可进一步包含用户接口109，其可包含(例如)显示器以及小键盘、或用户可经由其将信息输入到移动装置100中的其它输入装置。
无线接口103可用于任何多种无线通信网络中，例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等。术语“网络”及“系统”常常互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实施一或多个无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS-2000及IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。GSM及W-CDMA描述于来自名为“第3代合作伙伴计划”(3GPP)的联合会的文献中。Cdma2000描述于来自名为“第3代合作伙伴计划2”(3GPP2)的联合会的文献中。3GPP及3GPP2文献是公开可用的。WLAN可为IEEE 802.11x网络，及WPAN可为网络、IEEE 802.15x或某一其它类型的网络。此外，可使用WWAN、WLAN及/或WPAN的任何组合。
移动装置100还包含控制单元105，其连接到摄像机110、传感器112、SPS接收器107及无线接口103且与上述元件通信。控制单元105接受并处理传感器112及摄像机110所提供的定向数据及图像数据以及通过SPS接收器107及无线接口103提供的数据。控制单元105可由总线105b、处理器105p及相关联存储器105m、硬件105h、固件105f及软件105s来提供。控制单元105可进一步包含存储装置105d，其可用以将数据库或数据库的一部分局部地存储在移动装置100上。控制单元105经进一步说明为包含全景产生模块222，其使用摄像机110所捕捉的图像来产生全景柱面图。控制单元105进一步包含特征提取及匹配模块228，其基于地理定向而从全景柱面图提取特征且将所述特征与来自数据库的特征匹配。全局姿势模块230基于对应特征而确定移动装置的姿势，及局部定向跟踪模块232跟踪移动装置相对于全景柱面图的姿势。AR单元234可用以基于全局姿势及跟踪来呈现图形数据。
为了清晰性而将各种模块222、228、230、232及234与处理器105p分开说明，但所述模块可为处理器105p的部分或基于运行在处理器105p中的软件105s中的指令而实施于处理器中，或可实施于硬件105h或固件105f中。如本文所使用，将理解处理器105p可(但无需必定)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)及类似物。术语处理器意图描述系统所实施的功能而非特定硬件。此外，如本文所使用，术语“存储器”指任何类型的计算机存储媒体，包含与移动装置相关联的长期、短期或其它存储器，且并不限于任何特定类型的存储器或任何特定数目个存储器、或其上存储存储器的媒体类型。
本文所述的方法可取决于应用而由各种装置实施。举例来说，这些方法可实施于硬件105h、固件113f、软件105s或其任何组合中。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、或经设计以执行本文所述的功能的其它电子单元、或其组合中。
对于固件及/或软件实施方案，可用执行本文所述功能的模块(例如，程序、函数等等)来实施所述方法。有形地体现指令的任何机器可读媒体可用于实施本文所述的方法。举例来说，软件代码可存储在存储器105m中及由处理器105p执行。存储器105m可实施于处理器105p内或其外部。如果以固件及/或软件实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含用数据结构编码的非暂时性计算机可读媒体及用计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式(且非限制)，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体；如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。上述组合也应包含在计算机可读媒体的范围内。
因此，移动装置100可包含用于捕捉环境的图像的装置，其可为(例如)摄像机110。用于接收与图像相关联的地理定向数据的装置可为(例如)传感器112，例如磁力计、回转仪、指南针等。用于基于地理定向数据而从数据库存取模型特征的区间的装置，其中模型特征是来自所述环境的预产生三维模型且基于模型特征的地理定向而在数据库中分区，所述装置可为(例如)用以与图1中所示的远程服务器130及数据库135或存储数据库105d(如果所述数据库或数据库的一部分局部地存储在移动装置100上)通信的无线接口103。用于从图像提取特征的装置可为(例如)特征提取及匹配模块228。用于比较从图像提取的特征与模型特征的区间中的模型特征以产生对应特征集合的装置可为(例如)特征提取及匹配模块228。用于使用对应特征集合以确定设备的位置及定向的装置可为(例如)全局姿势模块230。移动装置可进一步包含用于使用从图像提取的特征来产生环境的全景柱面图的至少一部分的装置，其可为(例如)全景产生模块222。所述移动装置可进一步包含用于接收位置数据的装置，其可为(例如)SPS接收器107。用于确定每一特征的法线向量的装置可为(例如)全景产生模块222及/或特征提取及匹配模块228。用于确定每一特征的重力向量的装置可为(例如)传感器112，例如加速度计。用于使用重力向量来使地理定向数据与每一特征的法线向量相关联的装置可为(例如)全景产生模块222及/或特征提取及匹配模块228。
图15是说明用于基于地理定向的环境的重建模型的数据产生的方法的流程图。如所说明，获得环境的多个图像(502)。从多个图像提取特征(504)，及使用所述特征来产生环境的重建(506)。将环境的重建注册到全局定向(508)。地理定向与每一特征相关联(510)。举例来说，可针对每一特征确定法线向量，及每一特征的法线向量的定向可关于地理定向而相关联。可通过以下操作来确定特征的法线向量：确定连接特征的三维位置与捕捉环境的多个图像中的三维位置的图像的所有摄像机的位置的向量；及计算作为法线向量的向量的平均值。存储环境的重建，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联(512)，即，每一区间包含具有属于针对每一区间而不同的预定范围内的相关联地理定向的特征。另外，可从移动装置接收地理定向信息，且作为响应而基于地理定向信息来检索环境的重建的所存储特征。
图16是用于基于地理定向的环境的重建模型的能够数据产生的服务器130的框图。服务器130包含用以与环境的图像数据通信且接收图像数据且可用以与移动装置通信的外部接口131。服务器130可进一步包含用户接口132，其可包含(例如)显示器以及小键盘、或用户可经由其将信息输入到服务器130中的其它输入装置。
外部接口131可为用于任何多种无线通信网络中的路由器(未图示)的有线接口或无线接口，所述无线通信网络例如无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等。术语“网络”及“系统”常常互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)等等。CDMA网络可实施一或多个无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS-2000及IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某一其它RAT。GSM及W-CDMA描述于来自名为“第3代合作伙伴计划”(3GPP)的联合会的文献中。Cdma2000描述于来自名为“第3代合作伙伴计划2”(3GPP2)的联合会的文献中。3GPP及3GPP2文献是公开可用的。WLAN可为IEEE 802.11x网络，及WPAN可为网络、IEEE 802.15x或某一其它类型的网络。此外，可使用WWAN、WLAN及/或WPAN的任何组合。
服务器130还包含控制单元133，其连接到外部接口131且与其通信。控制单元133接受环境的图像数据且进行处理。控制单元133可由总线133b、处理器133p及相关联存储器133m、硬件133h、固件133f及软件133s来提供。控制单元133经进一步说明为包含图像获取模块212，其(例如)经由外部接口131而获取环境的图像。重建及注册模块214从图像提取特征，且重建注册到全局定向的环境。特征封装模块216使地理定向与每一特征相关联。环境的重建存储在数据库135中，其中所述特征基于类似地理定向而分区。
为了清晰性而将不同的模块212、214及216与处理器133p分开说明，但所述模块可为处理器133p的部分或基于运行在处理器中的软件133s中的指令而实施于处理器133p中，或可实施于硬件133h或固件133f中。如本文所使用，将理解处理器133p可(但无需必定)包含一或多个微处理器、嵌入式处理器、控制器、专用集成电路(ASIC)、数字信号处理器(DSP)及类似物。术语处理器意图描述系统所实施的功能而非特定硬件。此外，如本文所使用，术语“存储器”指任何类型的计算机存储媒体，包含与移动装置相关联的长期、短期或其它存储器，且并不限于任何特定类型的存储器或任何特定数目个存储器、或其上存储存储器的媒体类型。
本文所述的方法可取决于应用而由各种装置实施。举例来说，这些方法可实施于硬件133h、固件113f、软件133s或其任何组合中。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、或经设计以执行本文所述的功能的其它电子单元、或其组合中。
对于固件及/或软件实施方案，可用执行本文所述功能的模块(例如，程序、函数等等)来实施所述方法。有形地体现指令的任何机器可读媒体可用于实施本文所述的方法。举例来说，软件代码可存储在存储器133m中及由处理器133p执行。存储器133m可实施于处理器133p内或其外部。如果以固件及/或软件实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。实例包含用数据结构编码的非暂时性计算机可读媒体及用计算机程序编码的计算机可读媒体。计算机可读媒体包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式(且非限制)，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体；如本文所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘通过激光以光学方式复制数据。上文的组合也应包含在计算机可读媒体的范围内。
服务器130可包含用于获得环境的多个图像的装置，其可为(例如)图像获取模块212。用于从多个图像提取特征的装置可为(例如)重建及注册模块214。用于使用所述特征来产生环境的重建的装置可为(例如)重建及注册模块214。用于将环境的重建注册到全局定向的装置可为(例如)用于使地理定向与每一特征相关联的装置。用于存储环境的重建(其中特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联)的装置可为(例如)特征封装模块216及数据库135。另外，服务器130可包含用于确定每一特征的法线向量的装置，其可为(例如)重建及注册模块214。用于使每一特征的法线向量的定向关于地理定向而相关联的装置可为(例如)重建及注册模块214。用于从移动装置接收位置信息的装置可为外部接口131。用于检索与位置信息相关联的数据集块的装置可为(例如)数据库135。
尽管为了指导目的结合具体实施例来说明本发明，但本发明并不限于其。可在不偏离本发明的范围的情况下进行各种调适及修改。因此，随附权利要求书的精神及范围不应限于前述描述。

Claims (36)

1.一种方法，其包括：
用摄像机捕捉环境的图像；
接收与所述图像相关联的地理定向数据；
基于所述地理定向数据而从数据库存取模型特征的区间，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；
从所述图像提取特征；
比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对应特征的集合；及
使用对应特征的所述集合来确定所述摄像机的位置及定向。
2.根据权利要求1所述的方法，其进一步包括：
使用从所述图像提取的所述特征来产生所述环境的全景柱面图的至少一部分；
其中比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征使用来自所述全景柱面图的所述部分的特征。
3.根据权利要求1所述的方法，其中所述环境的所述图像是来自视频流的帧。
4.根据权利要求1所述的方法，其进一步包括：
接收与所述图像相关联的位置数据；且
其中基于所述地理定向数据而从所述数据库存取模型特征的所述区间包括：基于所述位置数据来从所述数据库存取模型特征的数据集块，其中模型特征的所述数据集块包括模型特征的多个区间；及使用所述地理定向数据来在所述数据集块中存取来自模型特征的所述多个区间的模型特征的所述区间。
5.根据权利要求1所述的方法，其进一步包括：
确定每一特征的法线向量；及
使所述地理定向数据与每一特征的所述法线向量相关联；
其中基于所述地理定向数据来从所述数据库存取模型特征的所述区间包括使用与每一特征的所述法线向量相关联的所述地理定向数据来从具有法线向量的模型特征的对应区间检索模型特征，其中所述法线向量在包含与所述法线向量相关联的所述地理定向数据的地理定向的范围中。
6.根据权利要求5所述的方法，其进一步包括：
确定每一特征的重力向量；及
当比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征以产生对应特征的所述集合时使用所述重力向量，其中每一模型特征具有相关联的重力向量。
7.一种设备，其包括：
摄像机，其能够捕捉环境的图像；
定向传感器，其能够提供地理定向数据；及
处理器，其耦合到所述摄像机及所述定向传感器，所述处理器经配置以：从图像提取特征，确定每一特征的地理定向；基于每一特征的所述地理定向来存取数据库的模型特征的区间，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的所述地理定向而在所述数据库中分区；比较从所述图像提取的所述特征与模型特征的所述区间以产生对应特征的集合；及使用对应特征的所述集合来确定所述摄像机的位置及定向。
8.根据权利要求7所述的设备，其中所述处理器经进一步经配置以：
使用从所述图像提取的所述特征来产生所述环境的全景柱面图的至少一部分；
其中所述处理器经配置以通过经配置以使用来自所述全景柱面图的所述部分的特征来比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征。
9.根据权利要求7所述的设备，其进一步包括：
位置传感器，其能够确定所述设备的粗略位置；
其中所述处理器耦合到所述位置传感器且经进一步配置以基于所述粗略位置而从所述数据库存取模型特征的数据集块，其中模型特征的所述数据集块包括模型特征的多个区间，及所述处理器经配置以使用所述地理定向数据来在所述数据集块中存取来自模型特征的所述多个区间的模型特征的所述区间。
10.根据权利要求7所述的设备，其中所述处理器经进一步配置以确定每一特征的法线向量；及使所述地理定向数据与每一特征的所述法线向量相关联；其中所述处理器经配置以通过经配置以使用与每一特征的所述法线向量相关联的所述地理定向数据而基于所述地理定向数据来从所述数据库存取模型特征的所述区间，从而从具有法线向量的模型特征的对应区间检索模型特征，其中所述法线向量在包含与所述法线向量相关联的所述地理定向数据的地理定向的范围中。
11.根据权利要求10所述的设备，其进一步包括：
加速度计，其用以确定重力的方向；
其中所述处理器耦合到所述加速度计且经进一步配置以确定每一特征的重力向量，且在比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征以产生对应特征的所述集合时使用所述重力向量，其中每一模型特征具有相关联的重力向量。
12.根据权利要求7所述的设备，其进一步包括：
无线接口，其能够与耦合到所述数据库的远程服务器通信，其中所述处理器经配置以经由所述无线接口从所述数据库存取模型特征的所述区间。
13.一种设备，其包括：
用于捕捉环境的图像的装置；
用于接收与所述图像相关联的地理定向数据的装置；
用于基于所述地理定向数据而从数据库存取模型特征的区间的装置，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；
用于从所述图像提取特征的装置；
用于比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对应特征的集合的装置；及
用于使用对应特征的所述集合来确定所述设备的位置及定向的装置。
14.根据权利要求13所述的设备，其进一步包括用于使用从所述图像提取的所述特征来产生所述环境的全景柱面图的至少一部分的装置，其中所述用于比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征的装置使用来自所述全景柱面图的所述部分的特征。
15.根据权利要求13所述的设备，其进一步包括：
用于接收位置数据的装置；且
其中所述用于基于所述地理定向数据而从所述数据库存取模型特征的所述区间的装置基于所述位置数据而从所述数据库存取模型特征的数据集块，其中模型特征的所述数据集块包括模型特征的多个区间；及使用所述地理定向数据来在所述数据集块中存取来自模型特征的所述多个区间的模型特征的所述区间。
16.根据权利要求13所述的设备，其进一步包括：
用于确定每一特征的法线向量的装置；及
用于使所述地理定向数据与每一特征的所述法线向量相关联的装置；
其中所述用于基于所述地理定向数据来从所述数据库存取模型特征的所述区间的装置使用与每一特征的所述法线向量相关联的所述地理定向数据来从具有法线向量的模型特征的对应区间检索模型特征，其中所述法线向量在包含与所述法线向量相关联的所述地理定向数据的地理定向的范围中。
17.根据权利要求16所述的设备，其进一步包括：
用于确定每一特征的重力向量的装置；及
用于在比较从所述图像提取的所述特征与模型特征的所述区间中的所述模型特征以产生对应特征的所述集合时使用所述重力向量的装置，其中每一模型特征具有相关联的重力向量。
18.一种非暂时性计算机可读媒体，其包含存储在其上的程序代码，其包括：
用以接收与用摄像机捕捉的环境的图像相关联的地理定向数据的程序代码；
用以基于所述地理定向数据而从数据库存取模型特征的区间的程序代码，其中所述模型特征是来自所述环境的预产生三维模型且基于所述模型特征的地理定向而在所述数据库中分区；
用以从所述图像提取特征的程序代码；
用以比较从所述图像提取的所述特征与模型特征的所述区间中的模型特征以产生对应特征的集合的程序代码；及
用以使用对应特征的所述集合来确定所述摄像机的位置及定向的程序代码。
19.根据权利要求18所述的非暂时性计算机可读媒体，其进一步包括：
用以接收与所述图像相关联的位置数据的程序代码；且
其中所述用以基于所述地理定向数据而从所述数据库存取模型特征的所述区间的程序代码包括：用以基于所述位置数据来从所述数据库存取模型特征的数据集块的程序代码，其中模型特征的所述数据集块包括模型特征的多个区间；及使用所述地理定向数据来在所述数据集块中存取来自模型特征的所述多个区间的模型特征的所述区间。
20.根据权利要求18所述的非暂时性计算机可读媒体，其进一步包括：
用以确定每一特征的法线向量的程序代码；及
用以使所述地理定向数据与每一特征的所述法线向量相关联的程序代码；
其中所述用以基于所述地理定向数据来从所述数据库存取模型特征的所述区间的程序代码包括用以使用与每一特征的所述法线向量相关联的所述地理定向数据来从具有法线向量的模型特征的对应区间检索模型特征的程序代码，其中所述法线向量在包含与所述法线向量相关联的所述地理定向数据的地理定向的范围中。
21.一种方法，其包括：
获得环境的多个图像；
从所述多个图像提取特征；
使用所述特征产生所述环境的重建；
将所述环境的所述重建注册到全局定向；
使地理定向与每一特征相关联；及
存储所述环境的所述重建，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。
22.根据权利要求21所述的方法，其中使所述地理定向与每一特征相关联包括：
确定每一特征的法线向量；及
使每一特征的所述法线向量的定向关于所述地理定向而相关联。
23.根据权利要求22所述的方法，其中确定特征的所述法线向量包括：
确定连接所述特征的三维位置与捕捉所述环境的所述多个图像中的所述三维位置的图像的所有摄像机的位置的向量；及
计算所述向量的平均值作为所述法线向量。
24.根据权利要求21所述的方法，其进一步包括：
基于位置而将所述环境的所述重建存储在多个数据集块中，其中每一数据集块包括特征的不同多个区间；
接收来自移动装置的位置数据；及
检索与所述位置数据相关联的数据集块。
25.一种设备，其包括：
数据库；
处理器，其耦合到所述数据库，所述处理器经配置以使用从环境的多个图像提取的特征来产生所述环境的重建，将所述环境的所述重建注册到全局定向，使地理定向与每一特征相关联；及将所述环境的所述重建存储在所述数据库中，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。
26.根据权利要求25所述的设备，其中所述处理器经配置以通过经配置以确定每一特征的法线向量而使所述地理定向与每一特征相关联；及使每一特征的所述法线向量的定向关于所述地理定向而相关联。
27.根据权利要求26所述的设备，其中所述处理器经配置以通过经配置以确定连接所述特征的3D点与使所述3D点成像的所有摄像机的向量而确定所述特征的所述法线向量；及计算所述向量的平均值作为所述法线向量。
28.根据权利要求25所述的设备，其进一步包括：
外部接口，其能够接收来自移动装置的位置信息；且
其中所述处理器经进一步配置以基于位置而将所述环境的所述重建存储在多个数据集块中，其中每一数据集块包括特征的不同多个区间。
29.一种设备，其包括：
用于获得环境的多个图像的装置；
用于从所述多个图像提取特征的装置；
用于使用所述特征产生所述环境的重建的装置；
用于将所述环境的所述重建注册到全局定向的装置；
用于使地理定向与每一特征相关联的装置；及
用于存储所述环境的所述重建的装置，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。
30.根据权利要求29所述的设备，其中所述用于使所述地理定向与每一特征相关联的装置包括用于确定每一特征的法线向量的装置；以及用于使每一特征的所述法线向量的定向关于所述地理定向而相关联的装置。
31.根据权利要求30所述的设备，其中所述用于确定特征的所述法线向量的装置确定连接所述特征的三维位置与捕捉所述环境的所述多个图像中的所述三维位置的图像的所有摄像机的位置的向量；以及计算所述向量的平均值作为所述法线向量。
32.根据权利要求29所述的设备，其中所述用于存储所述环境的所述重建的装置基于位置而将所述重建存储在多个数据集块中，其中每一数据集块包括特征的不同多个区间，所述设备进一步包括：
用于接收来自移动装置的位置信息的装置；及
用于检索与所述位置信息相关联的数据集块的装置。
33.一种非暂时性计算机可读媒体，其包含存储在其上的程序代码，其包括：
用以从环境的多个图像提取特征的程序代码；
用以使用所述特征来产生所述环境的重建的程序代码；
用以将所述环境的所述重建注册到全局定向的程序代码；
用以使地理定向与每一特征相关联的程序代码；及
用以存储所述环境的所述重建的程序代码，其中所述特征一起分区为多个区间，其中每一区间与地理定向的不同预定范围相关联。
34.根据权利要求33所述的非暂时性计算机可读媒体，其中所述用以使所述地理定向与每一特征相关联的程序代码包括：
用以确定每一特征的法线向量的程序代码；及
用以使每一特征的所述法线向量的定向关于所述地理定向而相关联的程序代码。
35.根据权利要求34所述的非暂时性计算机可读媒体，其中所述用以确定所述特征的所述法线向量的程序代码包括：
用以确定连接所述特征的三维位置与捕捉所述环境的所述多个图像中的所述三维位置的图像的所有摄像机的位置的向量的程序代码；及
用以计算所述向量的平均值作为所述法线向量的程序代码。
36.根据权利要求33所述的非暂时性计算机可读媒体，其进一步包括：
用以基于位置而将所述环境的所述重建存储在多个数据集块中的程序代码，其中每一数据集块包括特征的不同多个区间；
用以接收来自移动装置的位置数据的程序代码；及
用以检索与所述位置数据相关联的数据集块的程序代码。
CN201380036633.1A 2012-07-12 2013-06-12 移动装置上的传感器辅助广域定位 Pending CN104428817A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261670990P 2012-07-12 2012-07-12
US61/670,990 2012-07-12
US13/719,012 2012-12-18
US13/719,012 US9031283B2 (en) 2012-07-12 2012-12-18 Sensor-aided wide-area localization on mobile devices
PCT/US2013/045468 WO2014011346A1 (en) 2012-07-12 2013-06-12 Sensor-aided wide-area localization on mobile devices

Publications (1)

Publication Number Publication Date
CN104428817A true CN104428817A (zh) 2015-03-18

Family

ID=49914023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380036633.1A Pending CN104428817A (zh) 2012-07-12 2013-06-12 移动装置上的传感器辅助广域定位

Country Status (3)

Country Link
US (1) US9031283B2 (zh)
CN (1) CN104428817A (zh)
WO (1) WO2014011346A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924590A (zh) * 2015-10-30 2018-04-17 斯纳普公司 增强现实系统中的基于图像的跟踪
US11380051B2 (en) 2015-11-30 2022-07-05 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US11748579B2 (en) 2017-02-20 2023-09-05 Snap Inc. Augmented reality speech balloon system
US12033253B2 (en) 2017-04-20 2024-07-09 Snap Inc. Augmented reality typography personalization system

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305364B2 (en) * 2013-02-19 2016-04-05 Caterpillar Inc. Motion estimation systems and methods
US20150215532A1 (en) * 2014-01-24 2015-07-30 Amazon Technologies, Inc. Panoramic image capture
US10157189B1 (en) 2014-04-09 2018-12-18 Vortex Intellectual Property Holding LLC Method and computer program for providing location data to mobile devices
US9418284B1 (en) * 2014-04-09 2016-08-16 Vortex Intellectual Property Holding LLC Method, system and computer program for locating mobile devices based on imaging
US10735902B1 (en) 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
US9911190B1 (en) * 2014-04-09 2018-03-06 Vortex Intellectual Property Holding LLC Method and computer program for generating a database for use in locating mobile devices based on imaging
WO2015164696A1 (en) * 2014-04-25 2015-10-29 Google Technology Holdings LLC Electronic device localization based on imagery
US9846963B2 (en) * 2014-10-03 2017-12-19 Samsung Electronics Co., Ltd. 3-dimensional model generation using edges
GB2535190A (en) 2015-02-12 2016-08-17 Nokia Technologies Oy A method, a system, an apparatus and a computer program product for image-based retrieval
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2016196825A1 (en) * 2015-06-02 2016-12-08 360fly, Inc. Mobile device-mountable panoramic camera system method of displaying images captured therefrom
US20160366393A1 (en) * 2015-06-11 2016-12-15 Intel IP Corporation Three-dimensional advanced imaging
KR102434406B1 (ko) * 2016-01-05 2022-08-22 한국전자통신연구원 공간 구조 인식을 통한 증강 현실 장치 및 그 방법
KR102288504B1 (ko) 2016-02-04 2021-08-10 애플 인크. 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
US9881378B2 (en) 2016-02-12 2018-01-30 Vortex Intellectual Property Holding LLC Position determining techniques using image analysis of marks with encoded or associated position data
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US10818188B2 (en) * 2016-12-13 2020-10-27 Direct Current Capital LLC Method for dispatching a vehicle to a user's location
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10319149B1 (en) 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
EP3607509B1 (en) 2017-04-07 2024-06-26 BXB Digital PTY Limited Systems and methods for tracking promotions
WO2018204499A1 (en) 2017-05-02 2018-11-08 BXB Digital Pty Limited Systems and methods for pallet identification
US10832208B2 (en) 2017-05-02 2020-11-10 BXB Digital Pty Limited Systems and methods for facility matching and localization
CN110892452A (zh) * 2017-05-04 2020-03-17 Mim软件有限公司 用于预测性融合的系统和方法
WO2018204912A1 (en) 2017-05-05 2018-11-08 BXB Digital Pty Limited Pallet with tracking device
US11493348B2 (en) 2017-06-23 2022-11-08 Direct Current Capital LLC Methods for executing autonomous rideshare requests
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10347008B2 (en) 2017-08-14 2019-07-09 Trimble Inc. Self positioning camera system to 3D CAD/BIM model
MA49985A (fr) 2017-08-21 2020-07-01 Bxb Digital Pty Ltd Systèmes et procédés de suivi de palettes utilisant une architecture en étoile
US10740974B1 (en) 2017-09-15 2020-08-11 Snap Inc. Augmented reality system
MX2020004068A (es) 2017-10-20 2020-11-06 Bxb Digital Pty Ltd Sistemas y métodos para el seguimiento de portadores de bienes.
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
JP7496311B2 (ja) 2017-12-20 2024-06-06 マジック リープ， インコーポレイテッド 拡張現実視認デバイスのための挿入体
EP3502837B1 (en) * 2017-12-21 2021-08-11 Nokia Technologies Oy Apparatus, method and computer program for controlling scrolling of content
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
WO2019232282A1 (en) 2018-05-30 2019-12-05 Magic Leap, Inc. Compact variable focus configurations
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
EP3803545A4 (en) 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
CN116820239A (zh) 2018-08-03 2023-09-29 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
CN112955073A (zh) 2018-08-22 2021-06-11 奇跃公司 患者观察系统
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
EP3629290B1 (en) 2018-09-26 2023-01-04 Apple Inc. Localization for mobile devices
CN113196138B (zh) 2018-11-16 2023-08-25 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
US10816637B2 (en) 2018-12-27 2020-10-27 Chep Technology Pty Limited Site matching for asset tracking
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
WO2020163603A1 (en) 2019-02-06 2020-08-13 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
CN113424237B (zh) 2019-02-25 2023-07-25 Bxb数码私人有限公司 供应链中的智能物理封闭件
US11762623B2 (en) 2019-03-12 2023-09-19 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
WO2020223636A1 (en) * 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
US10997747B2 (en) 2019-05-09 2021-05-04 Trimble Inc. Target positioning with bundle adjustment
US11002541B2 (en) 2019-07-23 2021-05-11 Trimble Inc. Target positioning with electronic distance measuring and bundle adjustment
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
US11412350B2 (en) * 2019-09-19 2022-08-09 Apple Inc. Mobile device navigation system
CN114730490A (zh) 2019-11-14 2022-07-08 奇跃公司 用于虚拟现实和增强现实的系统和方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
US11074701B2 (en) 2019-12-13 2021-07-27 Reconstruct Inc. Interior photographic documentation of architectural and industrial environments using 360 panoramic videos
US11748913B2 (en) * 2021-03-01 2023-09-05 Qualcomm Incorporated Modeling objects from monocular camera outputs
SE544775C2 (en) * 2021-03-30 2022-11-08 Saab Ab A method, software product, device and system for determining a direction at a position
US11567163B2 (en) * 2021-04-07 2023-01-31 Zebra Technologies Corporation Mobile device locationing
US12026834B2 (en) 2021-06-15 2024-07-02 Reconstruct Inc. Method to determine from photographs the placement and progress of building elements in comparison with a building plan
CN114092697B (zh) * 2021-11-09 2022-05-06 南京林业大学 注意力融合全局和局部深度特征的建筑立面语义分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1435507A2 (en) * 2002-12-31 2004-07-07 Robert Bosch Gmbh Hierarchical system and method for on-demand loading of data in a navigation system
US20060007308A1 (en) * 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
CN101097152A (zh) * 2006-06-30 2008-01-02 爱信艾达株式会社 导航装置
CN102109353A (zh) * 2009-12-24 2011-06-29 比亚迪股份有限公司 一种实现三维导航的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US8588464B2 (en) 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US20100004995A1 (en) 2008-07-07 2010-01-07 Google Inc. Claiming Real Estate in Panoramic or 3D Mapping Environments for Advertising
US9766089B2 (en) 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1435507A2 (en) * 2002-12-31 2004-07-07 Robert Bosch Gmbh Hierarchical system and method for on-demand loading of data in a navigation system
US20060007308A1 (en) * 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
CN101097152A (zh) * 2006-06-30 2008-01-02 爱信艾达株式会社 导航装置
CN102109353A (zh) * 2009-12-24 2011-06-29 比亚迪股份有限公司 一种实现三维导航的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924590A (zh) * 2015-10-30 2018-04-17 斯纳普公司 增强现实系统中的基于图像的跟踪
US11315331B2 (en) 2015-10-30 2022-04-26 Snap Inc. Image based tracking in augmented reality systems
CN107924590B (zh) * 2015-10-30 2023-06-09 斯纳普公司 增强现实系统中的基于图像的跟踪
US11769307B2 (en) 2015-10-30 2023-09-26 Snap Inc. Image based tracking in augmented reality systems
US11380051B2 (en) 2015-11-30 2022-07-05 Snap Inc. Image and point cloud based tracking and in augmented reality systems
US11748579B2 (en) 2017-02-20 2023-09-05 Snap Inc. Augmented reality speech balloon system
US12033253B2 (en) 2017-04-20 2024-07-09 Snap Inc. Augmented reality typography personalization system

Also Published As

Publication number Publication date
US20140016821A1 (en) 2014-01-16
US9031283B2 (en) 2015-05-12
WO2014011346A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
CN104428817A (zh) 移动装置上的传感器辅助广域定位
US10134196B2 (en) Mobile augmented reality system
Ventura et al. Global localization from monocular slam on a mobile phone
US9324003B2 (en) Location of image capture device and object features in a captured image
CN102939742B (zh) 相机视图与地图视图之间的用户界面转变
CN105761242B (zh) 一种基于计算机双目视觉与惯性测量的盲人行走定位方法
CN105593877A (zh) 基于动态地构建的环境地图数据进行物体追踪
KR20140121861A (ko) 반대쌍 카메라들을 이용하여 디바이스의 위치를 결정하는 시스템 및 방법
CN105009120A (zh) 基于客户端-服务器的动态搜索
CN105580029A (zh) 动态扩展地图数据以进行物体检测和追踪
TW201142749A (en) Orientation determination of a mobile station using side and top view images
KR101182421B1 (ko) 실내 이미지 촬영 위치 정보 획득 시스템 및 방법
JP2018513493A (ja) ポーズ決定のための非マッチング特徴に基づく視覚動き推定
WO2015142760A1 (en) Adaptive resolution in optical flow computations for an image processing system
CN114120301A (zh) 一种位姿确定方法、装置及设备
CN114185073A (zh) 一种位姿显示方法、装置及系统
Sui et al. An accurate indoor localization approach using cellphone camera
CN107683496B (zh) 用于3d地图的假设线地图绘制和验证
Jeon et al. Design of positioning DB automatic update method using Google tango tablet for image based localization system
Antigny et al. Hybrid visual and inertial position and orientation estimation based on known urban 3D models
Menke et al. Multi-modal indoor positioning of mobile devices
US20190347856A1 (en) Affixing Digital Content to Physical Objects in Augmented Reality
Moun et al. Localization and building identification in outdoor environment for smartphone using integrated GPS and camera
Antigny et al. Continuous pose estimation for urban pedestrian mobility applications on smart-handheld devices
KR101640020B1 (ko) 강화 이미지 제공 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150318