CN105143821A - 依据slam地图的广域定位 - Google Patents

依据slam地图的广域定位 Download PDF

Info

Publication number
CN105143821A
CN105143821A CN201480023184.1A CN201480023184A CN105143821A CN 105143821 A CN105143821 A CN 105143821A CN 201480023184 A CN201480023184 A CN 201480023184A CN 105143821 A CN105143821 A CN 105143821A
Authority
CN
China
Prior art keywords
key frame
server
map
mobile device
wal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480023184.1A
Other languages
English (en)
Inventor
迪特尔·施马尔施蒂格
克莱门斯·阿斯
乔纳森·文图拉
克里斯蒂安·皮尔基海姆
格哈德·赖特迈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105143821A publication Critical patent/CN105143821A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V3/00—Electric or magnetic prospecting or detecting; Measuring magnetic field characteristics of the earth, e.g. declination, deviation
    • G01V3/38—Processing data, e.g. for analysis, for interpretation, for correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

本发明公开了用于依据同时定位及建图SLAM地图执行广域定位的示范性方法、设备和系统。移动装置可以用一或多个接收到的图像来选择本地环境的基于第一关键帧的SLAM地图。可以确定所述移动装置在所述本地环境内的相应定位，并且所述相应定位可基于所述基于关键帧的SLAM地图。所述移动装置可以将所述第一关键帧发送到服务器并接收表示对所述移动装置上的本地地图的校正的第一全球定位响应。所述第一全球定位响应可以包含旋转信息、平移信息和比例信息。服务器可以从移动装置接收关键帧，并且通过使从所述移动装置接收到的关键帧特征与服务器地图特征匹配来在服务器地图内定位所述关键帧。

Description

依据SLAM地图的广域定位
相关申请案的交叉参考
本申请要求美国临时申请US61/817,782的权益，本申请于2013年4月30日提出，且将本申请清楚地并入本文作为参考。
技术领域
本申请大体涉及在客户端-服务器环境中的定位和建图的领域。
背景技术
移动装置(例如智能电话)可用于联机创建和追踪三维地图环境(例如，同时定位及建图)。然而，移动装置可具有有限的存储和处理，尤其是相对于强大的固定安装服务器系统而言。因此，移动装置精确且独立地确定环境的特征丰富且详细的地图的能力可能受到限制。移动装置可能不具有地图的本地数据库，或者即使确实存在本地数据库，但本地数据库可存储有限数量的地图元素或具有有限的地图细节。特别是在大城市的环境中，需要存储大型广域地图的存储器可能超出典型的移动装置的能力范围。
存储大型地图的一个替代方案是使移动装置访问服务器处的地图。然而，远程访问地图的一个问题是在与服务器通信时可能有长等待时间。例如，将查询数据发送到服务器、处理查询以及将响应数据返回到移动装置可能有关联的延迟时间，而所述关联的延迟时间使这样的系统不适于现实世界使用。在等待服务器响应时，移动装置可能已从第一服务器查询所表示的位置移开。结果，所计算的以及与服务器交换的环境数据在其到达移动装置时可能过时了。
发明内容
本文公开的实施例可涉及一种用于广域定位的方法。所述方法包含：用一或多个图像来初始化本地环境的基于关键帧的同时定位及建图(SLAM)地图，其中所述初始化包括从所述图像中的一者中选择第一关键帧。所述方法进一步包含：在移动装置处确定移动装置在本地环境内的相应定位，其中所述相应定位基于所述基于关键帧的SLAM地图。所述方法进一步包含：从移动装置将第一关键帧发送到服务器，以及在移动装置处接收来自服务器的第一全球定位响应。
本文公开的实施例可涉及一种用于广域定位的设备，所述设备包含：用于由移动装置用一或多个图像来初始化本地环境的基于关键帧的同时定位及建图(SLAM)地图的装置，其中所述初始化包括从所述图像中的一者中选择第一关键帧。所述设备进一步包含：用于在移动装置处确定移动装置在本地环境内的相应定位的装置，其中所述相应定位基于所述基于关键帧的SLAM地图。所述设备进一步包含：用于从移动装置将第一关键帧发送到服务器的装置和用于在移动装置处接收来自服务器的第一全球定位响应的装置。
本文公开的实施例可涉及一种用以执行广域定位的移动装置，所述移动装置包括硬件和软件，所述硬件和软件用于：由所述移动装置用一或多个图像来初始化本地环境的基于关键帧的同时定位及建图(SLAM)地图，其中所述初始化包括从所述图像中的一者中选择第一关键帧。所述移动装置还可以在所述移动装置处确定所述移动装置在本地环境内的相应定位，其中所述相应定位基于所述基于关键帧的SLAM地图。所述移动装置还可以从所述移动装置将第一关键帧发送到服务器，以及在所述移动装置处接收来自服务器的第一关键帧响应。
本文公开的实施例涉及一种非暂时性存储媒体，其上存储有指令，所述指令响应于由移动装置中的处理器实施而实施以下操作：由移动装置用一或多个图像来初始化本地环境的基于关键帧的同时定位及建图(SLAM)地图，其中所述初始化包括从所述图像中的一者中选择第一关键帧。所述非暂时性存储媒体进一步包含：在移动装置处确定移动装置在本地环境内的相应定位，其中所述相应定位基于所述基于关键帧的SLAM地图。所述非暂时性存储媒体进一步包含从移动装置将第一关键帧发送到服务器，以及在移动装置处接收来自服务器的第一全球定位响应。
本文公开的实施例可涉及一种用于在服务器处的广域定位的机器实现的方法。在一个实施例中，在服务器处接收到来自移动装置的基于关键帧的SLAM地图的一或多个关键帧，并且定位所述一或多个关键帧。定位可以包括使来自所述一或多个接收到的关键帧的关键帧特征与服务器地图的特征匹配。在一个实施例中，将定位结果提供到移动装置。
本文公开的实施例可以涉及一种用以执行广域定位的服务器。在一个实施例中，在服务器处接收到来自移动装置的基于关键帧的SLAM地图的一或多个关键帧，并且定位所述一或多个关键帧。定位可以包括使来自所述一或多个接收到的关键帧的关键帧特征与服务器地图的特征匹配。在一个实施例中，将定位结果提供到移动装置。
本文公开的实施例涉及一种装置，所述装置包括用于广域定位的硬件和软件。在一个实施例中，在服务器处接收到来自移动装置的基于关键帧的SLAM地图的一或多个关键帧，并且定位所述一或多个关键帧。定位可以包括使来自所述一或多个接收到的关键帧的关键帧特征与服务器地图的特征匹配。在一个实施例中，将定位结果提供到移动装置。
本文公开的实施例可涉及一种非暂时性存储媒体，其上存储有指令，所述指令用于：在服务器处接收到来自移动装置的基于关键帧的SLAM地图的一或多个关键帧，并且定位所述一或多个关键帧。定位可以包括使来自所述一或多个接收到的关键帧的关键帧特征与服务器地图的特征匹配。在一个实施例中，将定位结果提供到移动装置。
根据附图和具体实施方式，其它特征和优点将显而易见。
附图说明
图1示出了一个实施例中的经配置以执行广域定位的装置的示范性框图；
图2示出了经配置以执行广域定位的示范性服务器的框图；
图3示出了与广域环境进行的示范性客户端-服务器交互的框图；
图4是示出了一种在移动装置处执行的广域定位的示范性方法的流程图；
图5是示出了一种在服务器处执行的广域定位的示范性方法的流程图；和
图6示出了执行广域定位的服务器与客户端之间的通信的示范性流程图。
具体实施方式
词“示范性”或“实例”在本文中用来指“用作实例、例子或说明”。本文中描述为“示范性”或描述为“实例”的任何方面或实施例不一定要解释成优于或胜于其它方面或实施例。
图1是示出了一种可在其中实践本发明的实施例的系统的框图。所述系统可以是装置100，装置100可包含控制单元160。控制单元160可以包含通用处理器161、广域定位(WAL)模块167和存储器164。为了清楚起见，WAL模块167与处理器161和/或硬件162分离地示出，但是WAL模块167可以基于软件165和固件163中的指令而组合和/或实现在处理器161和/或硬件162中。注意，控制单元160可以经配置以实现如下面描述的执行广域定位的各方法。例如，控制单元160可以经配置以实现下面图4中描述的移动装置100的各功能。
装置100还可以包含耦合到一或多个总线177或信号线的若干装置传感器，所述总线177或信号线进一步耦合到处理器或者模块中的至少一者。装置100可以是：移动装置、无线装置、蜂窝电话、个人数字助理、可佩戴的装置(例如，眼镜、手表、头部佩戴物或类似的附接到身体的装置)、机器人、移动计算机、平板电脑、个人计算机、膝上型计算机或具有处理能力的任何类型的装置。
在一个实施例中，装置100是移动/便携式平台。装置100可以包含俘获图像的装置，例如相机114，并且可选地可包含传感器111，传感器111可用于提供数据，装置100用所述数据可以用于确定位置和定向(即姿势)。例如，传感器可包含加速度计、陀螺仪、石英石传感器、用作线性加速度计的微机电系统(MEMS)传感器、电子罗盘、磁强计或其它类似的运动感测元件。装置100还可以用正面或背面的相机(例如相机114)俘获环境的图像。装置100还可包含用户接口150，用户接口150包含用于显示增强现实图像的装置，例如显示器112。用户接口150还可包括键盘、小键盘152或用户通过其可以将信息输入到装置100中的其它输入装置。如果需要，用触摸屏/传感器将虚拟键盘集成到显示器112中，可使键盘或小键盘152成为不必要。用户接口150还可包含麦克风154和扬声器156，例如，如果装置100是移动平台(例如蜂窝电话)的话。装置100可包含其它元件，例如卫星位置系统接收器、动力装置(例如电池)以及通常与便携式电子设备和非便携式电子设备相关联的其它组件。
装置100可用作移动装置或无线装置，并且可通过穿过无线网络的一或多个无线通信链路进行通信，所述一或多个无线通信链路基于任何合适的无线通信技术或以其它方式支持任何合适的无线通信技术。例如，在某些方面中，装置100可以是客户端或服务器，并且可与无线网络相关联。在一些方面中，无线网络可包括人体区域网络或个人区域网络(例如超宽带网络)。在一些方面中，网络可以包括局域网或广域网。无线装置可支持或以其它方式使用各种无线通信技术、协议或标准(例如3G、LTE、高级LTE、4G、CDMA、TDMA、OFDM、OFDMA、WiMAX和Wi-Fi)中的一或多者。类似地，无线装置可支持或以其它方式使用各种相应的调制或多路复用方案中的一或多者。移动无线装置可与服务器、其它移动装置、蜂窝电话、其它有线和无线计算机、互联网网站等进行无线通信。
如上所述，装置100可以是便携式电子装置(例如智能电话、专用的增强现实(AR)装置、游戏装置或具有AR处理和显示能力的其它装置)。本文描述的实现AR系统的装置可用于各种环境(例如购物中心、街上、办公室、家里或用户可使用他们的装置的任何地方)。用户可以在各种情形下与他们的装置100的多个特征通过接口相联系。在AR环境下，用户可使用他们的装置，通过他们的装置的显示器来查看现实世界的表示。用户可通过使用他们的装置的相机与他们的允许AR的装置交互，以接收现实世界的图像/视频以及以一方式处理图像，使得附加的或可替换的信息叠加到装置上的所显示的现实世界图像/视频上。当用户在他们的装置上查看AR实现时，现实世界对象或场景可在装置显示器上实时替换或更改。可将虚拟对象(例如文本、图像、视频)插入到在装置显示器上描绘的场景的表示中。
图2示出了经配置以执行广域定位的示范性服务器的框图。服务器200(例如WAL服务器)可包括一或多个处理器205、网络接口210、地图数据库215、服务器WAL模块220和存储器225。所述一或多个处理器205可以经配置以控制服务器200的操作。网络接口210可经配置以与网络(未示出)进行通信，所述网络可经配置以与其它服务器、计算机和装置(例如装置100)进行通信。地图数据库215可以经配置以存储不同场所的3D地图、地标、地图和其它用户定义的信息。在其它实施例中，其它类型的数据组织和存储(例如平面文件)可以用于管理如本文中所用的不同场地的3D地图、地标、地图和其它用户定义的信息。服务器WAL模块220可以经配置以实现使用地图数据库215执行广域定位的各方法。例如，服务器WAL模块220可以经配置以实现下面图5中描述的各功能。在一些实施例中，服务器WAL模块220不是单独的模块或引擎，而是将其实现在软件中，或将其集成到存储器225(例如服务器200)的WAL服务器中。存储器225可以经配置以存储WAL服务器的程序代码、指令和数据。
图3示出了与广域环境进行的示范性客户端-服务器交互的框图。如本文中所用，广域可以包含比房间或建筑物更大的区域，并且可以是城市的多个街区、整个城镇或城市，或更大。在一个实施例中，WAL客户端可以执行SLAM，同时追踪广域(例如广域300)。在移动到由移动装置的第一位置100到第二位置100'所示的不同子地点时，WAL客户端可以通过网络320与服务器200(例如WAL服务器)或基于云的系统进行通信。WAL客户端可以在不同位置和视点(例如第一视点305和第二视点310)俘获图像。WAL客户端可以如下面更加详细描述的那样将视点的表示(例如，作为关键帧)发送到WAL服务器。
在一个实施例中，WAL客户端-服务器系统(WAL系统)可以包含一或多个WAL客户端(例如装置100)和一或多个WAL服务器(例如WAL服务器200)。WAL系统可以将WAL服务器的电力和存储能力与WAL客户端的本地处理能力和相机视点一起使用，以实现完整的六个自由度(6DOF)的广域定位。本文中所用的相对定位是指确定装置100或WAL客户端的位置和姿势。本文中所用的全球定位是指确定在广域地图(例如WAL服务器上的3D地图)内的位置和姿势。
WAL客户端可以使用基于关键帧的SLAM地图而不是使用单个视点(例如为3D场景的2D投影的图像)来向WAL服务器查询全球定位。因此，所公开的使用从多个角度俘获的信息的方法可提供在含有许多相似特征的区域内的定位结果。例如，某些建筑物可能与某些传感器的视点在视觉上不能区分，或对于很多建筑物，墙壁的一部分可能是相同的。然而，在WAL服务器处理了移动装置的关键帧中的一或多者后，WAL服务器可以参考地图数据库来确定全球定位。由移动装置发送的初始关键帧可能不含有唯一或可区别的信息。然而，WAL客户端可以继续用WAL客户端上的SLAM地图提供相对定位，并且WAL服务器可以继续接收更新的关键帧并继续在增量基础上尝试全球定位。在一个实施例中，SLAM是计算传感器相对于环境的位置和定向的同时建立所述环境(例如WAL客户端环境)的地图的过程。上述传感器可以是一阵列的从场景俘获信息的一或多个相机(例如，相机114)。传感器信息可以是可视信息(例如标准成像装置)或直接深度信息(例如无源立体或有源深度相机)中的一者或其组合。来自SLAM系统的输出可以是相对于环境的传感器姿势(位置和定向)，以及某种形式的SLAM地图。
SLAM地图(即客户端地图、本地/相应的重构或客户端侧的重构)可以包含以下各者中的一或多者：关键帧、三角测量的特征点以及关键帧和特征点之间的关联。关键帧可以由俘获的图像(例如由装置相机114俘获的图像)和用来产生图像的相机参数(例如，相机在坐标系中的姿势)组成。如本文中所用的特征点(即特征)是作为图像的令人感兴趣的或显著的一部分。从图像提取的特征可以表示沿着三维空间的不同的点(例如轴线X、Y及Z上的坐标)，并且每一特征点可具有关联的特征位置。每个特征点可表示3D位置，并且与表面法线和一或多个描述符相关联。接着，在WAL服务器上的姿势检测可以涉及使SLAM地图的一或多个方面与服务器地图匹配。WAL服务器可以通过使来自SLAM地图的描述符与来自WAL服务器数据库的描述符匹配从而形成3D到3D的对应关系来确定姿势。在一些实施例中，SLAM地图包含至少稀疏的点(其可包含一般信息)和/或稠密的表面网格。
当装置100四处移动时，WAL客户端可以接收用于更新WAL客户端上的SLAM地图的附加的图像帧。例如，可以俘获附加的特征点及关键帧，并且将这些附加的特征点及关键帧结合到装置100(例如WAL客户端)上的SLAM地图中。WAL客户端可以将来自SLAM地图的数据以增量的方式上传到WAL服务器。在一些实施例中，WAL客户端将关键帧上传到WAL服务器。
在一个实施例中，在接收到来自WAL客户端的SLAM地图后，WAL服务器可以用服务器地图或地图数据库来确定全球定位。在一个实施例中，服务器地图是由环境的图像俘获的集合重构的稀疏的3D重构。WAL服务器可以使从相机图像中提取的2D特征与服务器地图中包含的3D特征匹配(即重构)。根据匹配的特征的2D-3D对应关系，WAL服务器可以确定相机姿势。
使用SLAM框架，所公开的方法可以减少要从装置100发送到WAL服务器的数据量，以及减少关联的网络延迟，从而允许由发送到WAL服务器的数据计算相机的现场姿势。所述方法还使得来自多个视点的增量信息能够产生提高的定位精度。
在一个实施例中，WAL客户端可以初始化基于关键帧的SLAM，以独立于WAL服务器的服务器地图创建SLAM地图。WAL客户端可提取一或多个特征点(例如与场景相关联的3D地图点)，并且可以由一组特征点的对应关系估计6DOF相机的位置和定向。在一个实施例中，WAL客户端可以独立地初始化SLAM地图，而无需接收信息或通过通信的方式耦合到云或WAL服务器。例如，WAL客户端可初始化SLAM地图，而无需先读取预先填充的地图、CAD模型、场景中的标记或来自WAL服务器的其它预定义的描述符。
图4是示出了一个实施例中的一种在移动装置(例如WAL客户端)处执行的广域定位的方法的流程图。在框405，一个实施例(例如，实施例可以是WAL客户端或装置100的软件或硬件)接收移动装置的本地环境的一或多个图像。例如，移动装置可具有来自包含图像流的相机传感器的视频馈送。
在框410，实施例利用一或多个图像初始化本地环境的基于关键帧的同时定位及建图(SLAM)地图。初始化可包括从这些图像中的一者中选择第一关键帧(例如，带有计算的相机位置的图像)。
在框415，实施例确定移动装置在本地环境内的相应定位(例如，用于确定地点和姿势的相对定位)。相对定位可以基于在WAL客户端(例如，移动装置)上在本地确定的基于关键帧的SLAM地图。
在框420，实施例将第一关键帧发送到服务器。在其它实施例中，WAL客户端可以将一或多个关键帧以及相应的相机标定信息发送到服务器。例如，相机标定信息可以包含相机在坐标系中的姿势，相机的姿势用来俘获关联的图像。WAL服务器可以使用WAL服务器(例如，在重建内部或服务器地图内部)处的关键帧以及待定位(例如，确定全球定位)的标定信息。
在框425，实施例接收来自服务器的第一全球定位响应。全球定位响应可基于第一关键帧的特征点和关联的描述符与服务器的特征点和关联的描述符的匹配来确定。全球定位响应可表示对移动装置上的本地地图的校正，且可以包含旋转信息、平移信息和比例信息。在一个实施例中，服务器可以考虑多个关键帧同时匹配，并使用服务器地图或地图数据库来确定全球定位。在一些实施例中，响应关键帧增量更新，服务器可将第二或更多的全球定位响应发送到移动装置。
在一个实施例中，WAL客户端使用移动装置的基于关键帧的SLAM框架并结合使用WAL服务器。基于关键帧的SLAM框架可以在WAL客户端上在本地实施，且除了SLAM地图之外，可以提供连续的相对的六个自由度的运动检测。SLAM地图可以包含关键帧(例如，带有计算的相机位置的图像)，以及三角测量的特征点。WAL客户端可以使用SLAM地图用于本地追踪，以及(如果追踪丢失)用于重新定位。例如，如果全球定位丢失，WAL客户端可以使用SLAM地图继续追踪。
追踪丢失可以通过在当前相机图像中成功地追踪的特征的数量来确定。如果这一数量低于预定阈值，则认为追踪丢失。WAL客户端可以通过直接比较当前图像对存储在WAL客户端上的关键帧图像执行重新定位以查找匹配。此外，WAL客户端可以通过比较当前映像中的特征与本地存储在WAL客户端上的特征来执行重新定位以查找匹配。因为图像和特征可以本地存储在WAL客户端上，所以可以在与WAL服务器不进行任何通信的情况下，执行重新定位。
在一个实施例中，通过WAL客户端所获得的新信息(例如，对SLAM地图的更新)可以发送到WAL服务器以更新服务器地图。在一个实施例中，装置100(也称为WAL客户端)可以经配置以建立一个SLAM环境，同时使相对于SLAM环境的装置100的姿势能够由WAL服务器进行计算。
在一个实施例中，WAL客户端将一或多个关键帧和相应的相机标定信息发送到WAL服务器作为定位查询(LQ)。在一个实施例中，可从当前LQ省略自最后的LQ以来由WAL服务器接收到的数据(例如，关键帧)。以前由WAL服务器接收到的LQ可以存储和缓存。这种数据连续性使WAL服务器可以从WAL客户端中搜遍所有地图点，而无需将所有先前发送的关键帧重新发射到WAL服务器。在其它实施例中，WAL客户端可以发送整个SLAM地图或带有各自的LQ的多个关键帧，这意味着在WAL服务器上不需要临时存储。
WAL服务器和WAL客户端能够以增量方式更新SLAM环境，可以以增量方式启用广域定位，例如大城市街区，即使整个城市街区可不会以单个有限的相机视图俘获。此外，将SLAM环境的关键帧作为LQ发送到WAL服务器可以提高WAL客户端确定全球定位的能力，因为WAL服务器可以处理以第一次接收到的LQ开始的SLAM地图的一部分。
除了使用SLAM框架来定位装置100，WAL客户端可确定何时将LQ发送到WAL服务器200。当发送LQ中的关键帧时，可进行传输优化。例如，SLAM环境的部分可以以增量方式发送到WAL服务器200。在一些实施方案中，随着新的关键帧添加到WAL客户端上的SLAM地图，后台处理可以使一或多个关键帧流到WAL服务器。WAL服务器可以经配置以拥有会话处理能力，从而管理从一或多个WAL客户传入的多个关键帧。WAL服务器还可以经配置以使用服务器地图执行迭代最近点(ICP)匹配。WAL服务器可通过缓存以前的结果(例如，从描述符匹配)将新的或最近接收到的关键帧合并到ICP匹配中。
WAL服务器可以执行ICP匹配而不必使WAL客户端重新处理整个SLAM地图。这种方法可以支持增量关键帧处理(本文也称为增量更新)。与在大小相同的全新地图内定位相比，增量关键帧处理可以提高定位的效率(例如，相应定位)。当执行增强现实应用程序定位时，效率的提高可以是特别有用的。利用这种方法，新信息流变为可用，因为WAL客户端扩展SLAM地图的大小而不是具有在其处将数据发送到WAL服务器的明确决定点。因此，公开的方法因为可能发送新的信息而优化发送到WAL服务器的信息量。
图5是示出了一个实施例中的一种在WAL服务器处执行广域定位的方法的流程图。在框505，一个实施例(例如，所述实施例可以是WAL服务器的软件或硬件)接收来自WAL客户端的关键帧。在一个实施例中，WAL服务器也可以接收每个关键帧相应的相机标定。
在框510，实施例可以在服务器地图内定位一或多个关键帧。由WAL服务器接收到的关键帧可以在SLAM地图的相同的本地坐标系中登记。WAL服务器可以同时处理(即，匹配其它关键帧或服务器地图)从一或多个WAL客户端的接收到的多个关键帧。例如，WAL服务器可以处理来自第一客户端的第一关键帧，同时处理来自第二客户端的第二关键帧。WAL服务器还可在同一时间处理来自同一客户端的两个关键帧。WAL服务器可以通过极线约束链接在多个关键帧中观察到的特征点。在一个实施例中，WAL服务器可以将来自所有关键帧的所有特征点匹配到服务器地图或地图数据库内的所有特征点。匹配多个关键帧会导致比将单个关键帧匹配到服务器地图更多数量的候选匹配。例如，对于每个关键帧，WAL服务器可以计算三点姿势。三点姿势可以通过将关键帧图像中的特征匹配到地图数据库，并查找相当于一致姿势估计的三或更多个的2D-3D匹配。
在框515，实施例可以将定位结果提供到WAL客户端。WAL客户端可以使用定位结果连同WAL客户端上的标定以提供SLAM地图的尺寸估计。单个关键帧可以足以至少确定SLAM地图关于环境的定向估计(例如，相机定向)，不过也可以通过传感器(例如，加速度计或罗盘)测量提供定向估计。若要确定地图比例，WAL服务器可以登记两个关键帧，或一个关键帧加单个3D点(即，特征点)，这些可以在服务器地图中正确地匹配(即，重建)。若要验证登记，WAL服务器可以比较来自SLAM地图的相对相机姿势与来自关键帧登记过程的相对相机姿势。
在另一个实施例中，WAL客户端将3D点的地图(例如，SLAM地图)提供到WAL服务器。WAL服务器可以使SLAM地图与服务器地图匹配(即，重建)，且扩展基于图像的服务器地图和来自WAL客户端的SLAM地图的点。经扩展的地图可用于合并服务器地图中未标明的新对象或区域。在一个实施例中，服务器地图的外观可以用来自在WAL客户端的实时图像传送或视频的关键帧来更新。
上面描述的WAL客户端-服务器系统提供用于室内和室外环境的实时准确登记的相机姿势追踪。WAL客户端上的SLAM地图的独立性允许在任何定位延迟期间连续的六个自由度的追踪。因为SLAM系统在WAL客户端(例如，装置100)处是自包含的，全球定位的成本可只会在SLAM地图展开时发生，且可在SLAM地图内追踪，而不必执行全球特征查找。
在一个实施例中，WAL服务器维护关键帧、特征点、带有3D位置信息的描述符以及潜在表面法线组成的服务器地图和/或地图数据库215。WAL服务器关键帧、特征点和描述符可以类似于在WAL客户端处确定的关键帧、特征点和描述符。然而，在WAL服务器上的关键帧、特征点和描述符可相当于在脱机过程中预先生成的3D地图的部分。
可以利用具有未知比例因子的迭代最近点(ICP)算法完成SLAM地图到服务器地图的匹配方面。WAL服务器可以使用一种用于匹配的高效数据结构，使得描述符之间的最近邻搜索可以很快计算出。这些数据结构可以采取树(例如聚类算法、kD-树、二进制树)、哈希表，或最近邻分类器的形式。
在一个实施例中，WAL服务器可以将从WAL客户端接收到的描述符与地图数据库或服务器地图中的描述符进行比较。当WAL服务器确定WAL服务器和WAL客户端的描述符是同一类型时，通过发现WAL服务器地图数据库中描述符的最近邻的WAL客户端描述符，WAL服务器将WAL客户端发送的关键帧匹配到WAL服务器上的关键帧。在WAL服务器和WAL客户端上的描述符可以向量表示对象或场景的部分的外观。可能的描述符可包含但不限于尺度不变特征变换(SIFT)和快速鲁棒特征(SURF)。WAL服务器还可以使用来自客户端传感器的附加信息先验(例如SLAM地图相关联的罗盘信息)，进一步帮助确定最近邻。
在一个实施例中，由于SLAM地图和服务器地图的特征点之间可能的偏差，WAL服务器可以执行ICP匹配和全球最小化以提供抵御杂点。在一个实施例中，在ICP之前，WAL服务器可以执行SLAM地图和带有特征点的服务器地图的表面密集采样。WAL服务器可执行基于块的多视图立体算法以创建来自服务器地图和SLAM地图的密集表面点云。WAL服务器也可使用密集点云用于ICP匹配。在另一个实施例中，WAL服务器匹配SLAM地图的点云和服务器地图直接假设的共同点。
在WAL服务器上的地图数据库的描述符可以与由WAL客户端计算的描述符不同(例如，具有更大的处理复杂度)，或者可替换地没有描述符可用。例如，WAL客户端可创建低处理器开销描述符，而具有更大的处理能力的WAL服务器可以具有带有相对处理器密集型的描述符的服务器地图或地图数据库。在一些实施例中，WAL服务器可以计算从WAL客户端接收到的关键帧的新的或不同的描述符。WAL服务器可以计算来自从WAL客户端收到的3D特征点的一或多个关键帧。特征点计算可在联机时执行，同时接收来自WAL客户端的新的关键帧。WAL服务器可以使用提取的特征点，而不是作为SLAM地图的一部分从WAL客户端接收的特征点。
可使用众所周知的技术提取特征点，例如SIFT，所述技术定位特征点且生成它们的描述符。另外，可使用其它技术，如SURF、梯度位置方向直方图(GLOH)或类似的技术。
在一个实施例中，可按照空间组织地图数据库(例如，可除去或包含一或多个服务器地图的地图数据库215)。例如，可以使用嵌入式装置传感器确定WAL客户端的定向。当在地图数据库内匹配关键帧时，WAL服务器可以在最初专注于搜索在WAL客户端的定向的邻域内的关键帧。在另一个实施例中，WAL服务器关键帧匹配可专注于匹配移动装置俘获的对象的地图点，并使用初始搜索结果来协助地图数据库的后续搜索。WAL服务器关键帧到地图数据库的匹配可以使用从GPS、A-GPS或Skyhook式WiFi位置获得的大概地点信息。上文所述的各种方法可以应用于提高地图数据库中的关键帧的匹配效率。
在一个实施例中，如果WAL客户端未初始化SLAM地图，则WAL客户端可以使用旋转追踪器或陀螺仪来检测已经发生不足够的平移。如果存在不足够的平移并且SLAM地图未初始化，则WAL客户端可以替代地向WAL服务器提供单个关键帧或全景图像。使用单个关键帧或全景图像，WAL服务器可以继续对全球定位执行操作，同时WAL客户端尝试初始化本地SLAM地图。例如，WAL服务器可以在地图数据库与单个关键帧之间执行ICP匹配。
在一个实施例中，一旦未能重新定位第一SLAM地图，WAL客户端可以开始构建第二SLAM地图。WAL服务器可以使用来自第二SLAM地图的信息以将定位结果提供到WAL客户端。WAL客户端可以将第一SLAM地图保存到存储器，并且，如果存在足够重叠，之后可以合并第一SLAM地图和第二SLAM地图。WAL服务器可以偏置用于每个特征基上的重叠的搜索，因为重叠是从第一SLAM地图重新投影到第二SLAM地图的特征的直接结果。
在一个实施例中，来自SLAM地图的信息可以用于更新服务器地图。具体来说，WAL服务器可以添加新的特征(带有描述符的图像中的2d点)和点(场景中的3d点，其链接到2d特征)，这些新的特征和点来自从当前的服务器地图中缺失的WAL客户端的关键帧。添加特征可以改善服务器地图，且使WAL服务器实现更好地弥补时间变更。例如，WAL客户端可尝试定位带有当在冬季期间树木落叶时俘获的关键帧的SLAM地图。WAL服务器可以接收带有缺失叶子的树木以合并到服务器地图的关键帧。WAL服务器可以存储取决于以年计的时间的服务器地图的多个变更。
在一个实施例中，WAL服务器可用发送到WAL客户端的定位响应(LR)对LQ作出响应。LR可以是指示定位匹配对WAL客户端发送的LQ不可行的状态消息。
在一个实施例中，WAL服务器可以用LR作出响应，所述LR包括表示对SLAM地图的校正以使其与全球坐标系统对准的旋转、平移和比例信息。一旦接收到LR，WAL客户端可以相应地变换SLAM地图。WAL服务器还可发送关键帧图像中的3D点和2D特征地点。3D点和2D特征地点可以作为在光束法平差过程中的约束,从而使用非线性优化获得更好的SLAM地图的对准/校正。这可以用来在SLAM地图中避免漂移(即，地点随时间的改变)。
WAL客户端对应定位与在WAL服务器确定的全球定位的同步过程可以与相机的帧速率相比相对较慢，且可以在接收到LR之前采用数十帧。然而，虽然WAL服务器处理LQ，但WAL客户端可相对于SLAM地图原点使用SLAM执行视觉姿势跟踪。因此，由于LQ计算相对于SLAM地图原点的转换，在计算LR之后，通过链接从相机到SLAM地图原点的转换，以及从SLAM地图原点到LQ关键帧姿势的转换，可以计算对象和相机之间的相对转换。
在一个实施例中，WAL客户端可以继续更新本地地图，同时WAL服务器计算全球校对(即，全球定位)，且因此全球校对在等到它返回到WAL客户端的时候是过时的。在这种情况下，由WAL服务器提供的转换可以接近近似，使得WAL客户端的光束法平差过程可以迭代地将解决方案移动到最佳全球校正。
图6示出了WAL服务器(例如，服务器200)和WAL客户端(例如，装置100)之间的通信同时执行广域定位的示例性流程图。在图6中示出抽样时间段：t0612到t1622，t1622到t2632，t2632到t3642，t3642到t4652，t5652到t5662，以及t5662到t6672。
在第一时间窗口t0612到t1622期间，WAL客户端可以在框605初始化SLAM。SLAM初始化可与上面更详细地描述的SLAM初始化相一致。一旦初始化，WAL客户端可以继续到框610，以利用从俘获到的图像(例如，来自一体化相机114的图像)中提取的信息来更新SLAM地图。WAL客户端可以继续俘获图像，且通过独立于框620、635、650和665中的WAL服务器操作的时间t6672，更新本地SLAM地图(例如，框625、640、655和670)。
在下一个时间窗口t1622到t2632期间，WAL客户端可以将第一LQ615发送到WAL服务器。LQ可以包含在更新SLAM地图的同时生成的关键帧。一旦在框620接收到LQ，WAL服务器可以处理包含一或多个关键帧的第一LQ。
在下一个时间窗口t2632到t3642期间，WAL客户端可以在框625继续更新SLAM地图。WAL客户端可以将第二不同的LQ630发送到WAL服务器，WAL服务器可以包含在第一LQ615中发送关键帧后生成的一或多个关键帧。一旦在框635接收到LQ，WAL服务器可以处理包含一或多个关键帧的第一LQ。WAL服务器可同时处理第二LQ，确定第一LQ615的匹配。
在下一个时间窗口t3642到t4652期间，WAL客户端可以在框640继续更新SLAM地图。一旦确定第一LQ与服务器地图或地图数据库匹配或不匹配，WAL服务器可以将第一定位响应645发送到WAL客户端。WAL服务器可以同时处理和匹配第二LQ650，以在发送第一LR645的同时确定第二LQ的匹配。
在下一个时间窗口t5652到t6662期间，WAL客户端可以在框655处理来自WAL服务器的第一LR，且继续更新SLAM地图。一旦确定第二LQ与服务器地图或地图数据库匹配或不匹配，WAL服务器可以将第二定位响应660发送到WAL客户端。WAL服务器还可以更新服务器地图和/或地图数据库以包含从WAL客户端接收到的LQ中提取的更新的地图信息。
在下一个时间窗口t5662到t6672，WAL客户端可以在框670处理来自WAL服务器的第二LR，且继续更新SLAM地图。一旦确定LQ的匹配或不匹配，WAL服务器可继续发送第二定位响应(未显示)。WAL服务器还可以继续更新服务器地图和/或地图数据库以包含从WAL客户端接收到的LQ中提取的更新的地图信息。
图6的事件可以以与上述不同的顺序或序列发生。例如，一接收到带有更新的地图信息的LQ，WAL服务器就可以更新服务器地图。
装置100可以在一些实施例中包括增强现实(AR)系统以显示现实世界场景之外的覆盖或对象(例如，提供增强现实表示)。通过装置的相机接收现实世界的图像/视频且将附加的或其它信息叠加或覆盖到装置上显示的现实世界图像/视频，用户可与AR型装置交互。当用户在他们的装置上观看AR实施方案时，WAL可以实时取代或更改现实世界对象。WAL可以将虚拟对象(例如，文本、图像、视频或3D对象)插入装置显示器上描绘的场景的表示。例如，自定义的虚拟照片另外可插入现实世界的标志、海报或图片框架。WAL可以通过使用增强的精确定位来提供增强AR体验。例如，场景的增强可更精确地放入现实世界表示，因为利用更详细地在下面描述WAL服务器的辅助可以准确地确定WAL客户端的地方和姿势。
此处所述的WAL客户端和WAL服务器实施例可实现为软件、固件、硬件、模块或引擎。在一个实施例中，此处所述的WAL客户端的特征可由装置100中的通用处理器161实现，从而完成以前所需的功能(例如，图4中所示的功能)。在一个实施例中，此处所述的WAL服务器的特征可由服务器200中的通用处理器205实现，从而完成以前所需的功能(如图5所示的功能)。
本文所述的方法和移动装置可以通过取决于应用程序的各种方式实现。例如，这些方法可以以硬件、固件、软件或其组合实现。对于硬件实施方案，处理单元可以实现在设计为执行此处描述的功能的一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、其它电子单元，或其组合中。此处，术语“控制逻辑”涵盖软件、硬件、固件或组合实现的逻辑。
对于固件和/或软件实施方案，所述方法可以利用执行此处描述的功能的模块(例如，程序、函数，等等)实现。任何机器可读媒体明确体现的指令可用于实现此处所述的方法。例如，软件代码可以存储在存储器中，且由处理单元执行。存储器可以在处理单元内部或处理单元外部实现。此处所用的术语“存储器”指任何类型的长期、短期、易失性、非易失性或其它存储装置，且不限于任何特定类型的存储器或任何特定数量的存储器，或者存储存储器的媒体的类型。
如果以固件和/或软件实现，功能可存储为在计算机可读媒体上的一或多个指令或代码。实例包含数据结构编码的计算机可读媒体和计算机程序编码的计算机可读媒体。计算机可读媒体可采取制造商制品的形式。计算机可读媒体包含物理计算机存储媒体及/或其它非暂时性媒体。存储媒体可以是可由计算机接入的任何可用媒体。作为实例，并非限制，这种计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或其它光学磁盘存储器、磁盘存储器或其它磁性存储装置或或可用以存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体；在此使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地重现数据，而光盘使用激光光学地重现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
除了计算机可读媒体上的存储，指令和/或数据还可提供作为通信设备中包含的传输媒体上的信号。例如，通信设备可包含收发器，所述收发器具有指示指令和数据的信号。指令和数据经配置以导致一或多个处理器实现权利要求书概述的功能。也就是说，通信设备包含带有指示信息的信号的传输媒体以执行公开的功能。在第一次，通信设备中包含的传输媒体可包含第一部分信息以执行公开的功能，而在第二次，通信设备中包含的传输媒体可包含第二部分信息以执行公开的功能。
本发明可与各种无线通信网络，例如，无线广域网(WWAN)、无线局域网(WLAN)、无线个域网(WPAN)等等实现结合。术语“网络”和“系统”经常互换使用。术语“位置”和“地点”经常互换使用。WWAN可以是码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)网络、WiMAX(IEEE802.16)网络等等。CDMA网络可实现一或多个无线接入技术(RAT)，例如cdma2000、宽带-CDMA(W-CDMA)，等等。Cdma2000包括IS-95、IS2000和IS-856标准。TDMA网络可实现全球移动通信(GSM)、数字高级移动电话系统(D-AMPS)，或一些其它RAT。在来自命名为“第三代合作伙伴项目”(3GPP)的联盟的文档中描述了GSM和W-CDMA。在来自命名为“第三代合作伙伴项目2”(3GPP2)的联盟的文档中描述了Cdma2000。3GPP和3GPP2文档公开可用。WLAN可以是IEEE802.11x网络，且WPAN可以是蓝牙网络、IEEE802.15x或一些其它类型的网络。也可与WWAN、WLAN和/或WPAN的任意组合结合来实现技术。
移动站是指能够接收无线通信和/或导航信号的装置，例如手机或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、笔记本电脑或其它合适的移动装置。术语“移动站”也指包含与个人导航装置(PND)通信的装置，例如，通过短程无线、红外、金属线连接或其它连接，也不论卫星信号接收、援助数据接收，和/或与位置相关联的处理是否在装置或在PND发生。此外，“移动站”旨在包含都能够与服务器进行通信(例如，通过互联网、Wi-Fi或其它网络)的所有装置，包括无线通信装置、计算机、笔记本电脑等，也不论卫星信号接收、援助数据接收，和/或与位置相关联的处理是否在装置、在服务器，或在与网络相关联的另一个装置发生。上述的任何可操作组合也被视为“移动站”。
某物“优化”、“必需”的标示或其它标示并不表示当前发明仅适用于优化的系统，或“必需”元件存在的系统(或其它标示产生的其它限制)。这些标示仅指特定描述的实施方案。当然，许多实施方案是可行的。技术可以使用此处讨论的这些协议以外的协议，包含正在开发或将开发的协议。
一个相关领域的技术人员将认识到，可使用公开的实施例的许多可能的修改和组合，但仍然使用相同的基本机制和方法。为实现解释目的，上述描述已参考具体实施例进行书写。然而，上述说明性讨论不旨在详尽无遗，或限制本发明的确切公开形式。鉴于上述教导，很多的修改和变更都是可能的。选择和描述实施例来解释本发明的原则和它们的实际应用，并使本领域的其它技术人员利用适合于特定使用设想的各种修改来最好地利用本发明和各种实施例。

Claims (28)

1.一种在移动装置处执行广域定位的方法，其包括：
接收所述移动装置的本地环境的一或多个图像；
用所述一或多个图像来初始化所述本地环境的基于关键帧的同步定位及建图SLAM地图，其中所述初始化包括从所述图像中的一者中选择第一关键帧；
确定所述移动装置在所述本地环境内的相应定位，其中所述相应定位基于所述基于关键帧的SLAM地图；
将所述第一关键帧发送到服务器；以及
接收来自所述服务器的第一全球定位响应。
2.根据权利要求1所述的方法，其进一步包括：
参考所述基于关键帧的SLAM地图，以提供相对的六个自由度的移动装置运动检测。
3.根据权利要求1所述的方法，其中基于使所述第一关键帧的特征点和关联的描述符与服务器地图的特征点和关联的描述符匹配来确定所述第一全球定位响应，且其中所述第一全球定位响应对所述移动装置上的本地地图提供校正，且包含以下各者中的一或多者：旋转信息、平移信息和比例信息。
4.根据权利要求1所述的方法，其中发送到所述服务器的所述第一关键帧含有一或多个新对象或场景，以扩展服务器地图。
5.根据权利要求1所述的方法，其进一步包括：
借助于所述本地环境的所述SLAM来产生第二关键帧；
将所述第二关键帧发送到所述服务器作为增量更新；以及
响应于所述服务器接收到所述增量更新，接收来自所述服务器的第二全球定位响应。
6.根据权利要求1所述的方法，其进一步包括：
在初始化所述基于关键帧的SLAM地图后在所述移动装置处显示所述本地环境的增强现实表示；以及
在追踪所述移动装置的移动的同时更新所述环境的所述增强现实表示。
7.根据权利要求1所述的方法，其中所述第一关键帧包括相机图像、相机位置和在俘获所述相机图像时的相机定向。
8.一种非暂时性存储媒体，其上存储有指令，所述指令响应于由移动装置中的处理器执行而实施一种方法，其包括：
接收所述移动装置的本地环境的一或多个图像；
用所述一或多个图像来初始化所述本地环境的基于关键帧的同步定位及建图SLAM地图，其中所述初始化包括从所述图像中的一者中选择第一关键帧；
确定所述移动装置在所述本地环境内的相应定位，其中所述相应定位基于所述基于关键帧的SLAM地图；
将所述第一关键帧发送到服务器；以及
接收来自所述服务器的第一全球定位响应。
9.根据权利要求8所述的媒体，其进一步包括：
参考所述基于关键帧的SLAM地图，以提供相对的六个自由度的移动装置运动检测。
10.根据权利要求8所述的媒体，其中基于使所述第一关键帧的特征点和关联的描述符与服务器地图的特征点和关联的描述符匹配来确定所述第一全球定位响应，且其中所述第一全球定位响应对所述移动装置上的本地地图提供校正，且包含以下各者中的一或多者：旋转信息、平移信息和比例信息。
11.根据权利要求8所述的媒体，其中发送到所述服务器的所述第一关键帧含有一或多个新对象或场景，以扩展服务器地图。
12.根据权利要求8所述的媒体，其进一步包括：
从所述本地环境的所述一或多个图像中选择第二关键帧；
将所述第二关键帧发送到所述服务器作为增量更新；以及
响应于所述服务器接收到所述增量更新，接收来自所述服务器的第二全球定位响应。
13.根据权利要求8所述的媒体，其进一步包括：
在初始化所述基于关键帧的SLAM地图后在所述移动装置处显示所述本地环境的增强现实表示；以及
在追踪所述移动装置的移动的同时更新所述环境的所述增强现实表示。
14.根据权利要求8所述的媒体，其中所述第一关键帧包括相机图像、相机位置和在俘获所述相机图像时的相机定向。
15.一种用于执行广域定位的移动装置，其包括：
用于接收所述移动装置的本地环境的一或多个图像的装置；
用于用所述一或多个图像来初始化所述本地环境的基于关键帧的同步定位及建图SLAM地图的装置，其中所述初始化包括从所述图像中的一者中选择第一关键帧；
用于确定所述移动装置在所述本地环境内的相应定位的装置，其中所述相应定位基于所述基于关键帧的SLAM地图；
用于将所述第一关键帧发送到服务器的装置；以及
用于接收来自所述服务器的第一全球定位响应的装置。
16.根据权利要求15所述的移动装置，其进一步包括：
用于参考所述基于关键帧的SLAM地图以提供相对的六个自由度的移动装置运动检测的装置。
17.根据权利要求15所述的移动装置，其中基于用于使所述第一关键帧的特征点和关联的描述符与服务器地图的特征点和关联的描述符匹配的装置来确定所述第一全球定位响应，且其中所述第一全球定位响应对所述移动装置上的本地地图提供校正，且包含以下各者中的一或多者：旋转信息、平移信息和比例信息。
18.根据权利要求15所述的移动装置，其中发送到所述服务器的所述第一关键帧含有一或多个新对象或场景，以扩展服务器地图。
19.根据权利要求15所述的移动装置，其进一步包括：
用于从所述本地环境的所述一或多个图像中选择第二关键帧的装置；
用于将所述第二关键帧发送到所述服务器作为增量更新的装置；以及
用于响应于所述服务器接收到所述增量更新而接收来自所述服务器的第二全球定位响应的装置。
20.根据权利要求15所述的移动装置，其进一步包括：
用于在初始化所述基于关键帧的SLAM地图后在所述移动装置处显示所述本地环境的增强现实表示的装置；以及
用于在追踪所述移动装置的移动的同时更新所述环境的所述增强现实表示的装置。
21.根据权利要求15所述的移动装置，其中所述第一关键帧包括相机图像、相机位置和在俘获所述相机图像时的相机定向。
22.一种移动装置，其包括：
处理器；
存储装置，其耦合到所述处理器并且能够配置以用于存储指令，所述指令在由所述处理器执行时致使所述处理器实施以下操作：
在耦合到所述移动装置的图像俘获装置处接收所述移动装置的本地环境的一或多个图像；
用所述一或多个图像来初始化所述本地环境的基于关键帧的同步定位及建图SLAM地图，其中所述初始化包括从所述图像中的一者中选择第一关键帧；
确定所述移动装置在所述本地环境内的相应定位，其中所述相应定位基于所述基于关键帧的SLAM地图；
将所述第一关键帧发送到服务器；以及
接收来自所述服务器的第一全球定位响应。
23.根据权利要求22所述的移动装置，其进一步包括指令，所述指令用于：
参考所述基于关键帧的SLAM地图，以提供相对的六个自由度的移动装置运动检测。
24.根据权利要求22所述的移动装置，其中基于使所述第一关键帧的特征点和关联的描述符与服务器地图的特征点和关联的描述符匹配来确定所述第一全球定位响应，且其中所述第一全球定位响应对所述移动装置上的本地地图提供校正，且包含以下各者中的一或多者：旋转信息、平移信息和比例信息。
25.根据权利要求22所述的移动装置，其中发送到所述服务器的所述第一关键帧含有一或多个新对象或场景，以扩展服务器地图。
26.根据权利要求22所述的移动装置，其进一步包括指令，所述指令致使所述处理器执行以下操作：
从所述本地环境的所述一或多个图像中选择第二关键帧；
将所述第二关键帧发送到所述服务器作为增量更新；以及
响应于所述服务器接收到所述增量更新，接收来自所述服务器的第二全球定位响应。
27.根据权利要求22所述的移动装置，其进一步包括指令，所述指令致使所述处理器执行以下操作：
在初始化所述基于关键帧的SLAM地图后在所述移动装置处显示所述本地环境的增强现实表示；以及
在追踪所述移动装置的移动的同时更新所述环境的所述增强现实表示。
28.根据权利要求22所述的移动装置，其中所述第一关键帧包括相机图像、相机位置和在俘获所述相机图像时的相机定向。
CN201480023184.1A 2013-04-30 2014-04-29 依据slam地图的广域定位 Pending CN105143821A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361817782P 2013-04-30 2013-04-30
US61/817,782 2013-04-30
US14/139,856 US20140323148A1 (en) 2013-04-30 2013-12-23 Wide area localization from slam maps
US14/139,856 2013-12-23
PCT/US2014/035853 WO2014179297A1 (en) 2013-04-30 2014-04-29 Wide area localization from slam maps

Publications (1)

Publication Number Publication Date
CN105143821A true CN105143821A (zh) 2015-12-09

Family

ID=51789649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480023184.1A Pending CN105143821A (zh) 2013-04-30 2014-04-29 依据slam地图的广域定位

Country Status (6)

Country Link
US (1) US20140323148A1 (zh)
EP (1) EP2992299A1 (zh)
JP (1) JP2016528476A (zh)
KR (1) KR20160003731A (zh)
CN (1) CN105143821A (zh)
WO (1) WO2014179297A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017128934A1 (zh) * 2016-01-29 2017-08-03 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN107025661A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
WO2018098811A1 (zh) * 2016-12-02 2018-06-07 深圳前海达闼云端智能科技有限公司 定位方法和装置
CN108235725A (zh) * 2018-02-26 2018-06-29 深圳前海达闼云端智能科技有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
CN108846867A (zh) * 2018-08-29 2018-11-20 安徽云能天智能科技有限责任公司 一种基于多目全景惯导的slam系统
CN109074407A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
CN109074638A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 融合建图方法、相关装置及计算机可读存储介质
CN109195675A (zh) * 2016-05-31 2019-01-11 微软技术许可有限责任公司 稀疏slam坐标系的共享
CN109804411A (zh) * 2016-08-30 2019-05-24 C3D增强现实解决方案有限公司 用于同时定位和映射的系统和方法
CN110152293A (zh) * 2018-02-13 2019-08-23 腾讯科技（深圳）有限公司 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN110189366A (zh) * 2019-04-17 2019-08-30 北京迈格威科技有限公司 一种激光粗配准方法、装置、移动终端及存储介质
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及系统
CN110855601A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 Ar/vr场景地图获取方法
CN111339228A (zh) * 2020-02-18 2020-06-26 Oppo广东移动通信有限公司 一种地图更新方法、设备、云服务器和存储介质
CN111405485A (zh) * 2020-03-17 2020-07-10 中国建设银行股份有限公司 用户定位方法及系统
CN112513713A (zh) * 2018-07-23 2021-03-16 奇跃公司 用于地图构建的系统和方法
CN112785700A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 虚拟物体显示方法、全局地图更新方法以及设备
CN113515112A (zh) * 2020-03-26 2021-10-19 顺丰科技有限公司 机器人移动方法、装置、计算机设备和存储介质
WO2022110776A1 (zh) * 2020-11-30 2022-06-02 浙江商汤科技开发有限公司 定位方法及装置、电子设备、存储介质、计算机程序产品、计算机程序
CN115088255A (zh) * 2020-02-19 2022-09-20 Oppo广东移动通信有限公司 定位方法、电子设备和存储介质
WO2023083256A1 (zh) * 2021-11-15 2023-05-19 杭州海康威视数字技术股份有限公司 位姿显示方法、装置及系统、服务器以及存储介质

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9307368B1 (en) * 2013-05-14 2016-04-05 Google Inc. Automatically generating and maintaining a floor plan
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
JP5646018B1 (ja) * 2013-08-07 2014-12-24 三菱電機株式会社 設置場所策定支援方法、端末装置、設置場所策定支援システム及びプログラム
US9478029B2 (en) * 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
WO2016077798A1 (en) 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10185775B2 (en) 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US9874451B2 (en) 2015-04-21 2018-01-23 Here Global B.V. Fresh hybrid routing independent of map version and provider
US10033941B2 (en) 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US9811734B2 (en) 2015-05-11 2017-11-07 Google Inc. Crowd-sourced creation and updating of area description file for mobile device localization
US20160335275A1 (en) * 2015-05-11 2016-11-17 Google Inc. Privacy-sensitive query for localization area description file
TW201719572A (zh) * 2015-11-19 2017-06-01 國立交通大學 三維模型分析及搜尋方法
KR20180090355A (ko) 2015-12-04 2018-08-10 매직 립, 인코포레이티드 리로컬리제이션 시스템들 및 방법들
WO2017123387A1 (en) * 2016-01-13 2017-07-20 Jingyi Yu Three-dimensional acquisition and rendering
JP6897668B2 (ja) * 2016-03-30 2021-07-07 ソニーグループ株式会社 情報処理方法および情報処理装置
AU2017291131B2 (en) 2016-06-30 2022-03-31 Magic Leap, Inc. Estimating pose in 3D space
JP6972105B2 (ja) 2016-08-02 2021-11-24 マジック リープ, インコーポレイテッドMagic Leap, Inc. 固定距離の仮想現実システムおよび拡張現実システムならびに方法
EP3494447B1 (en) 2016-08-04 2021-05-19 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10169914B2 (en) 2016-08-26 2019-01-01 Osense Technology Co., Ltd. Method and system for indoor positioning and device for creating indoor maps thereof
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10748061B2 (en) * 2016-12-19 2020-08-18 Futurewei Technologies, Inc. Simultaneous localization and mapping with reinforcement learning
EP3543650A4 (en) * 2016-12-23 2020-01-01 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. LOCATION METHOD, TERMINAL AND SERVER
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
EP3571627A2 (en) 2017-01-19 2019-11-27 Mindmaze Holding S.A. Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location including for at least one of a virtual and augmented reality system
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
WO2018146558A2 (en) 2017-02-07 2018-08-16 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision and tracking
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
CA3054617A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
KR102366781B1 (ko) 2017-03-17 2022-02-22 매직 립, 인코포레이티드 컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
US10466953B2 (en) * 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
KR101941852B1 (ko) * 2017-04-05 2019-01-24 충북대학교 산학협력단 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치
GB201705767D0 (en) * 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
CN108932515B (zh) * 2017-05-26 2020-11-10 杭州海康机器人技术有限公司 一种基于闭环检测进行拓扑节点位置校正的方法和装置
US10885714B2 (en) * 2017-07-07 2021-01-05 Niantic, Inc. Cloud enabled augmented reality
US10198843B1 (en) * 2017-07-21 2019-02-05 Accenture Global Solutions Limited Conversion of 2D diagrams to 3D rich immersive content
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN107862720B (zh) * 2017-11-24 2020-05-22 北京华捷艾米科技有限公司 基于多地图融合的位姿优化方法及位姿优化系统
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
US10915781B2 (en) * 2018-03-01 2021-02-09 Htc Corporation Scene reconstructing system, scene reconstructing method and non-transitory computer-readable medium
US11450102B2 (en) 2018-03-02 2022-09-20 Purdue Research Foundation System and method for spatially mapping smart objects within augmented reality scenes
KR102557049B1 (ko) * 2018-03-30 2023-07-19 한국전자통신연구원 Slam 기반 카메라 추적에서 라벨된 키프레임을 이용한 이미지 특징 매칭 방법 및 장치
US11035933B2 (en) 2018-05-04 2021-06-15 Honda Motor Co., Ltd. Transition map between lidar and high-definition map
US11321929B2 (en) * 2018-05-18 2022-05-03 Purdue Research Foundation System and method for spatially registering multiple augmented reality devices
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN108829368B (zh) * 2018-06-29 2021-07-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
CN112470464B (zh) 2018-07-23 2023-11-28 奇跃公司 场顺序显示器中的场内子码时序
DE102018214927A1 (de) * 2018-09-03 2020-03-05 Siemens Schweiz Ag Verfahren, Vorrichtung und Verwaltungssystem zum Prüfen einer Route für ein mobiles technisches System in einem Bauwerk
KR102682524B1 (ko) 2018-09-11 2024-07-08 삼성전자주식회사 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
KR102033075B1 (ko) * 2018-10-05 2019-10-16 (주)한국플랫폼서비스기술 딥러닝을 이용한 위치정보 시스템 및 그 제공방법
DE102018125397A1 (de) * 2018-10-15 2020-04-16 Visualix GmbH Verfahren und Vorrichtung zur Bestimmung einer Umgebungskarte
TWI674393B (zh) * 2018-11-09 2019-10-11 財團法人車輛研究測試中心 多定位系統切換與融合校正方法及其裝置
US20200182623A1 (en) * 2018-12-10 2020-06-11 Zebra Technologies Corporation Method, system and apparatus for dynamic target feature mapping
JP2020173656A (ja) 2019-04-11 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
CN112013844B (zh) 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
JP7223449B2 (ja) * 2019-08-23 2023-02-16 上海亦我信息技術有限公司 撮影に基づく３ｄモデリングシステム
US11412350B2 (en) * 2019-09-19 2022-08-09 Apple Inc. Mobile device navigation system
CN112785715B (zh) * 2019-11-08 2024-06-25 华为技术有限公司 虚拟物体显示方法以及电子设备
JP2021092881A (ja) * 2019-12-09 2021-06-17 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
KR102457588B1 (ko) * 2019-12-13 2022-10-24 주식회사 케이티 자율주행 로봇, 자율주행 로봇의 위치 추정 서버 및 이를 이용한 자율주행 로봇의 위치 추정 방법
TWI775247B (zh) * 2019-12-20 2022-08-21 美商尼安蒂克公司 合併來自地圖建立裝置之局部地圖
CN111340870B (zh) * 2020-01-15 2022-04-01 西安交通大学 基于视觉的拓扑地图生成方法
CN111369628A (zh) * 2020-03-05 2020-07-03 南京华捷艾米软件科技有限公司 一种多相机集中式协同slam方法及系统
CN111539982B (zh) * 2020-04-17 2023-09-15 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN114111817B (zh) * 2021-11-22 2023-10-13 武汉中海庭数据技术有限公司 基于slam地图与高精度地图匹配的车辆定位方法及系统
CN115937011B (zh) * 2022-09-08 2023-08-04 安徽工程大学 一种基于时滞特征回归的关键帧位姿优化视觉slam方法、存储介质及设备
CN115376051B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 关键帧的管理方法及管理装置、slam方法、电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046390A (zh) * 2006-03-29 2007-10-03 株式会社电装 导航设备与对车辆导航的方法
CN102238466A (zh) * 2010-04-20 2011-11-09 上海博路信息技术有限公司 一种移动增强现实的手机系统
WO2012049674A2 (en) * 2010-10-10 2012-04-19 Rafael Advanced Defense Systems Ltd. Network-based real time registered augmented reality for mobile devices
US20120209514A1 (en) * 2011-02-14 2012-08-16 Microsoft Corporation Change invariant scene recognition by an agent
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20130045751A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Logo detection for indoor positioning

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9154919B2 (en) * 2013-04-22 2015-10-06 Alcatel Lucent Localization systems and methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046390A (zh) * 2006-03-29 2007-10-03 株式会社电装 导航设备与对车辆导航的方法
CN102238466A (zh) * 2010-04-20 2011-11-09 上海博路信息技术有限公司 一种移动增强现实的手机系统
WO2012049674A2 (en) * 2010-10-10 2012-04-19 Rafael Advanced Defense Systems Ltd. Network-based real time registered augmented reality for mobile devices
US20120209514A1 (en) * 2011-02-14 2012-08-16 Microsoft Corporation Change invariant scene recognition by an agent
US20120249741A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Anchoring virtual images to real world surfaces in augmented reality systems
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20130045751A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Logo detection for indoor positioning

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025662A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN107025661A (zh) * 2016-01-29 2017-08-08 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN107025662B (zh) * 2016-01-29 2020-06-09 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
WO2017128934A1 (zh) * 2016-01-29 2017-08-03 成都理想境界科技有限公司 一种实现增强现实的方法、服务器、终端及系统
CN109195675A (zh) * 2016-05-31 2019-01-11 微软技术许可有限责任公司 稀疏slam坐标系的共享
CN114201050B (zh) * 2016-05-31 2024-05-28 微软技术许可有限责任公司 稀疏slam坐标系的共享
CN114201050A (zh) * 2016-05-31 2022-03-18 微软技术许可有限责任公司 稀疏slam坐标系的共享
CN109804411A (zh) * 2016-08-30 2019-05-24 C3D增强现实解决方案有限公司 用于同时定位和映射的系统和方法
CN109804411B (zh) * 2016-08-30 2023-02-17 斯纳普公司 用于同时定位和映射的系统和方法
WO2018098811A1 (zh) * 2016-12-02 2018-06-07 深圳前海达闼云端智能科技有限公司 定位方法和装置
CN110152293A (zh) * 2018-02-13 2019-08-23 腾讯科技（深圳）有限公司 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN108235725B (zh) * 2018-02-26 2021-08-10 达闼机器人有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
WO2019161517A1 (zh) * 2018-02-26 2019-08-29 深圳前海达闼云端智能科技有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
US11761767B2 (en) 2018-02-26 2023-09-19 Cloudminds Robotics Co., Ltd. Method, device, apparatus, and application for cloud-based trajectory map generation
CN108235725A (zh) * 2018-02-26 2018-06-29 深圳前海达闼云端智能科技有限公司 基于云端的轨迹地图生成方法、装置、设备及应用程序
CN112513713B (zh) * 2018-07-23 2022-07-15 奇跃公司 用于地图构建的系统和方法
CN109074407A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
CN112513713A (zh) * 2018-07-23 2021-03-16 奇跃公司 用于地图构建的系统和方法
CN109074638A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 融合建图方法、相关装置及计算机可读存储介质
CN109074638B (zh) * 2018-07-23 2020-04-24 深圳前海达闼云端智能科技有限公司 融合建图方法、相关装置及计算机可读存储介质
CN110855601B (zh) * 2018-08-21 2021-11-19 华为技术有限公司 Ar/vr场景地图获取方法
CN110855601A (zh) * 2018-08-21 2020-02-28 华为技术有限公司 Ar/vr场景地图获取方法
CN108846867A (zh) * 2018-08-29 2018-11-20 安徽云能天智能科技有限责任公司 一种基于多目全景惯导的slam系统
CN110189366A (zh) * 2019-04-17 2019-08-30 北京迈格威科技有限公司 一种激光粗配准方法、装置、移动终端及存储介质
CN110189366B (zh) * 2019-04-17 2021-07-06 北京迈格威科技有限公司 一种激光粗配准方法、装置、移动终端及存储介质
CN110648398A (zh) * 2019-08-07 2020-01-03 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及系统
CN110648398B (zh) * 2019-08-07 2020-09-11 武汉九州位讯科技有限公司 基于无人机航摄数据的正射影像实时生成方法及系统
CN112785700A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 虚拟物体显示方法、全局地图更新方法以及设备
CN111339228B (zh) * 2020-02-18 2023-08-11 Oppo广东移动通信有限公司 一种地图更新方法、设备、云服务器和存储介质
CN111339228A (zh) * 2020-02-18 2020-06-26 Oppo广东移动通信有限公司 一种地图更新方法、设备、云服务器和存储介质
CN115088255A (zh) * 2020-02-19 2022-09-20 Oppo广东移动通信有限公司 定位方法、电子设备和存储介质
CN115088255B (zh) * 2020-02-19 2024-04-12 Oppo广东移动通信有限公司 定位方法、电子设备和存储介质
CN111405485B (zh) * 2020-03-17 2021-08-06 中国建设银行股份有限公司 用户定位方法及系统
CN111405485A (zh) * 2020-03-17 2020-07-10 中国建设银行股份有限公司 用户定位方法及系统
CN113515112A (zh) * 2020-03-26 2021-10-19 顺丰科技有限公司 机器人移动方法、装置、计算机设备和存储介质
WO2022110776A1 (zh) * 2020-11-30 2022-06-02 浙江商汤科技开发有限公司 定位方法及装置、电子设备、存储介质、计算机程序产品、计算机程序
WO2023083256A1 (zh) * 2021-11-15 2023-05-19 杭州海康威视数字技术股份有限公司 位姿显示方法、装置及系统、服务器以及存储介质

Also Published As

Publication number Publication date
US20140323148A1 (en) 2014-10-30
WO2014179297A1 (en) 2014-11-06
KR20160003731A (ko) 2016-01-11
JP2016528476A (ja) 2016-09-15
EP2992299A1 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105143821A (zh) 依据slam地图的广域定位
US11900547B2 (en) Cross reality system for large scale environments
US11532124B2 (en) Cross reality system with WIFI/GPS based map merge
Ventura et al. Global localization from monocular slam on a mobile phone
EP3234806B1 (en) Scalable 3d mapping system
CN105009120B (zh) 基于客户端-服务器的动态搜索
EP2625847B1 (en) Network-based real time registered augmented reality for mobile devices
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9424255B2 (en) Server-assisted object recognition and tracking for mobile devices
KR102169492B1 (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
CN112785715B (zh) 虚拟物体显示方法以及电子设备
CN105580029A (zh) 动态扩展地图数据以进行物体检测和追踪
CN105556243A (zh) 用于使用轨迹进行位置估计的方法及设备
CN103632626A (zh) 一种基于移动互联网的智能导游实现方法、装置及移动客户端
CN104897165A (zh) 基于拍摄景物的导航方法及其系统
AU2013334573A1 (en) Augmented reality control systems
CN102946476B (zh) 一种快速定位的方法及装置
CN117232544A (zh) 地点引导方法、装置、存储介质及智能眼镜
CN112785700B (zh) 虚拟物体显示方法、全局地图更新方法以及设备
US20240185524A1 (en) Augmented three-dimensional structure generation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151209