CN105556329A - 混合照片导航及地图绘制 - Google Patents

混合照片导航及地图绘制 Download PDF

Info

Publication number
CN105556329A
CN105556329A CN201480051831.XA CN201480051831A CN105556329A CN 105556329 A CN105556329 A CN 105556329A CN 201480051831 A CN201480051831 A CN 201480051831A CN 105556329 A CN105556329 A CN 105556329A
Authority
CN
China
Prior art keywords
image
track
map
measuring assembly
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480051831.XA
Other languages
English (en)
Other versions
CN105556329B (zh
Inventor
M·L·默格里恩
C·布鲁纳
赵辉
M·R·查里
A·拉马南达恩
M·拉马钱德兰
A·狄亚吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105556329A publication Critical patent/CN105556329A/zh
Application granted granted Critical
Publication of CN105556329B publication Critical patent/CN105556329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G01S5/0264—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems at least one of the systems being a non-radio wave positioning system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所揭示实施例结合在穿越在结构中及围绕所述结构的若干地点时俘获所述结构的一连串外部及内部图像而从多个传感器获得多个测量集合。每一测量集合可与至少一个图像相关联。从所述结构的外部图像及UE的对应室外轨迹确定所述结构的外部结构包络。以绝对坐标确定所述结构的位置及定向以及所述结构包络。另外，可基于所述结构的内部图像、绝对坐标的结构包络及在穿越室内区域以俘获所述内部图像期间与所述UE的所述室内轨迹相关联的测量来获得绝对坐标的所述结构的室内地图。

Description

混合照片导航及地图绘制
相关申请案的交叉引用
本申请案主张2014年9月25日申请的题为“混合照片导航及地图绘制(HybridPhotoNavigationandMapping)”的第14/497,219号美国申请案的权益及优先权，所述美国申请案主张2013年年9月27日申请的题为“在惯性导航的上下文中使用特征辅助的偏离目标跟踪(Off-TargetTrackingUsingFeatureAidingintheContextofInertialNavigation)”的第61/883,921号美国临时申请案的权益及优先权，所述两个申请案以全文引用的方式并入本文中。
技术领域
本文中揭示的标的物大体涉及地面定位系统，且明确地说，涉及用于混合照片导航及地图绘制的系统及方法。
背景技术
通常需要知道例如蜂窝电话等终端的地点。举例来说，定位业务(LCS)客户端可能需要在紧急服务呼叫的情况下知道终端的地点或向终端的用户提供某一服务，例如，导航辅助或测向。术语“地点(location)”与“位置(position)”是同义的，且在本文中可互换地使用。
一种确定例如移动装置等用户设备(UE)的地点的方法是基于信号从多个天线到达的时间的测量。举例来说，UE可测量来自多个基站天线的所接收信号的时间差。因为基站天线的位置已知，所以观测到的时间差可用于计算终端的地点。
UE可利用基站年历(BSA)来执行测量计算及/或可将测量发送到地点服务器以用于位置计算。术语高级前向链路三边测量(AFLT)用于描述在码分多址(CDMA)系统中的地面定位，而术语观测到达时间差(OTDOA)在宽带CDMA(WCDMA)及长期演进(LTE)系统的情况下使用。
然而，当前位置定位解决方案集中于室外地图绘制/导航，其中可使用全球导航卫星系统(GNSS)及/或地面蜂窝式(AFLT/OTDOA/参考信号时间差(RSTD))的测量来确定UE的位置。相比之下，对于其中对SPS/地面信号的存取可能不存在、受限及/或受多路径影响的室内地点，不存在可容易部署的具成本效益的定位/导航系统。此外，大规模辅助室内导航的室内地图的获取及维持已被认为成本过高的。
准确度及从室外到室内地图的顺畅转变两者促进使用室内地图作为导航辅助。举例来说，在建筑物中的房间内定位UE同时还提供外部上下文(例如指示房间及/或建筑物地点相关的室外较大区域地图)的能力对于用户定向且在提供导航辅助时可为有帮助的。通常，当前SPS/无线导航系统即使可用也不会提供用于室内地图绘制/导航解决方案的适当准确度。
因此，存在对于具成本效益地获取及维持地图(包含室内地图)以部分地支持全网络室内导航系统的部署的相干策略的需要。
发明内容
在一些实施例中，一种在用户设备(UE)上的方法可包括：在穿越结构内的多个地点时俘获所述结构的内部的多个图像；俘获多个测量集合，其中每一测量集合对应于至少一个图像，且每一测量集合包括惯性测量单元(IMU)测量或可用无线测量中的至少一者；以及部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹。在一些实施例中，所述所估计轨迹、所俘获图像及对应测量集合可发送到无线地耦合到所述UE的服务器；且可从所述服务器接收基于所述所估计轨迹、所俘获图像及对应测量集合而接收的所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
在另一方面中，一种用户设备(UE)可包括：摄像机，其在穿越结构内的多个地点时俘获所述结构的内部的多个图像；多个传感器，所述传感器包括惯性测量单元(IMU)；无线模块，其经配置以采集可用无线信号的测量；以及处理器，其耦合到所述摄像机、传感器及无线模块。在一些实施例中，所述处理器可经配置以：获得结构的内部的多个图像，获得多个测量集合，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量及可用无线测量中的至少一者；部分地基于所述所俘获图像及所述多个测量集合估计UE的轨迹，将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器；以及基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
在另一方面中，一种用户设备(UE)可包括：成像装置，其经配置以在穿越结构内的多个地点时俘获所述结构的内部的多个图像；感测装置，所述感测装置包括惯性测量单元(IMU)、经配置以采集可用无线信号的测量的无线测量装置、用于获得结构的内部的多个图像的装置、用于获得多个测量集合的装置，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量及可用无线测量中的至少一者；用于部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹的装置，用于将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器的装置；以及用于基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图的装置，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
所揭示实施例还涉及一种包括指令的非暂时性计算机可读媒体，所述指令在由处理器执行时致使所述处理器经配置以：在穿越结构内的多个地点时俘获所述结构的内部的多个图像；俘获多个测量集合，其中每一测量集合对应于至少一个图像，且每一测量集合包括惯性测量单元(IMU)测量或可用无线测量中的至少一者；部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹；将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器；以及基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
可由服务器(包含地点服务器)、移动站等中的一或多个使用LPP、LPPe或其它协议执行所揭示的方法。所揭示的实施例还涉及由处理器使用非暂时性计算机可读媒体或计算机可读存储器建立、存储、存取、读取或修改的软件、固件及程序指令。
附图说明
图1A展示说明经启用而以与所揭示实施例一致的方式支持混合照片导航及地图绘制的UE的某些示范性特征的示意性框图。
图1B展示示范性可佩戴式用户装置。
图2展示能够提供地点服务到UE(包含地点辅助数据或地点信息的传送)的系统的架构。
图3A及3B展示指示在多种情形中的不同定位技术的可用性连同相关联的地点精度、定位不明确性及功率消耗的表。
图4为能够以与所揭示实施例一致的方式执行地图绘制的示范性应用程序400的框图。
图5A展示处于从人造卫星(SV)及/或无线网络的信号接收可用的地点的用户。
图5B为零售商店的简化俯视图，其说明建立及映射用于室内导航系统的目标的示范性方法。
图6A展示用于无线地图产生的示范性方法的流程图。
图6B展示在UE沿循轨迹时可能在各种地点及时间点出现的视线及非视线条件。
图7A展示在结构内的用户与移动台。
图7B展示由处于室内地点的移动装置上的摄像机俘获的图像。
图8展示与所揭示实施例一致的示范性地图绘制数据收集方法的流程图。
图9展示在混合照片地图绘制期间的示范性高阶数据流。
图10A到10C展示说明用于基于照片、无线、磁性及气压数据产生地图的方法的流程图。
图11展示说明能够确定MS的地点的系统中一些实体的简化框图。
图12展示说明经启用以支持位置确定以及众包地图产生及导航的服务器的示意性框图。
图13展示与所揭示实施例一致的混合照片地图绘制的示范性方法的流程图。
具体实施方式
术语“用户装置”(UD)或“用户设备”(UE)或在本文中可互换地使用并且可指代一种装置，例如蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信及/或导航信号的其它合适的移动装置。术语还旨在包含例如通过短程无线、红外、有线连接或其它连接与个人导航装置(PND)通信的装置，不管在所述装置或所述PND处是否发生卫星信号接收、辅助数据接收及/或位置相关的处理。UE可表示移动电话、记事本计算机或膝上型计算机，或其可为本文中出于产生街道地图及/或延迟及/或信号强度图的目的收集测量集的车辆。
另外，术语UE、UD、“移动站”或“移动装置”旨在包含所有装置，包含无线及有线通信装置、计算机、膝上型计算机等，其能够例如通过因特网、Wi-Fi、蜂窝式无线网络、DSL网络、封包电缆网络或其它网络，而不管所述装置、服务器或与所述网络相关联的另一装置处是否发生卫星信号接收、辅助数据接收及/或位置相关的处理。上述的任何可操作组合也被视为“移动装置”。
图1A展示说明经启用以支持基于无线信号与基于传感器的测量的组合的地图绘制(包含基于摄像机或其它图像的技术)的UE100的某些示范性特征的示意性框图。另外，在一些实施例中，UE100还可通过组合基于图像的技术与基于无线信号及传感器的技术来支持混合照片导航。术语“混合”用以指使用基于传感器、基于图像及/或基于无线信号的技术中的一或多者的组合来以根据本文所揭示的实施例的方式执行地图绘制及导航。在一些实施例中，UE100可支持混合照片地图绘制。在一些实施例中，UE100可进一步支持混合照片导航及地点确定。
MS100可(例如)包含可用一或多个连接120(例如，总线、线、纤维、连结等)操作性地相互耦合的一或多个处理单元或处理单元150、存储器130、收发器110(例如，无线网络接口)及(如可适用)GNSS或卫星定位系统(SPS)接收器140、光学传感器/摄像机180、磁力计、高度计、气压计及传感器组185(共同地被称作传感器185)、惯性测量单元(IMU)170、非暂时性计算机可读媒体160、显示器190及存储器130。在某些实例实施方案中，UE100的全部或部分可呈芯片组及/或类似者的形式。磁力计可能能够测量地球磁场的强度及/或方向，且可充当指南针及/或提供UE100的行进方向的指示。高度计可用以提供在经校准层面上的海拔的指示，而气压计可提供大气压力的指示，其可用以获得海拔的确定。
可使GNSS/SPS接收器140能够接收与一或多个SPS资源相关联的信号。所接收的GNSS/SPS信号可用以确定UE100的位置。收发器110可(例如)包含使得能够在一或多个类型的无线通信网络上发射一或多个信号的发射器112及接收在一或多个类型的无线通信网络上发射的一或多个信号的接收器114。
在一些实施例中，UE100可包括例如CCD或CMOS传感器的图像传感器及/或摄像机180，其在下文被称作“摄像机180”。摄像机180可将光学图像转换为电子或数字图像，且可将所俘获图像发送到处理单元150。举例来说，如图1B中所示，在一些实施例中，摄像机180可收容在可佩戴式移动装置中，且可在操作上耦合到显示器190、处理单元150及/或UE100中的其它功能单元。
在一些实施例中，处理单元150还可从一或多个传感器185接收输入，所述传感器可包含多种传感器185，例如磁力计、高度计及/或气压计。此外，传感器185可包含环境光传感器、声学换能器(例如，麦克风/扬声器)、超声换能器及/或深度传感器中的一或多者，深度传感器可用以获取深度信息及/或确定到目标的距离。一般来说，以上非穷尽性传感器列表及传感器组185可包含正越来越多地被并入到现代智能电话及其它移动装置内的各种其它类型的传感器及换能器。
在一些实施例中，UE100还可包含惯性测量单元(IMU)170。在一些实施例中，IMU170(可包括3轴加速度计、3轴陀螺仪及/或磁力计)可将速度、定向及/或其它位置相关信息提供到处理单元150。在一些实施例中，IMU170可经配置以测量且输出同步到摄像机180对每一图像帧的俘获及/或UE100中的传感器185所采集的测量的所测量信息。在一些实施例中，IMU170的输出可由处理单元150用来确定UE100的位置及定向。
术语“无线测量”在本文中用以指SPS、蜂窝式、WLAN、WPAN及其它无线电信号的测量。术语“非无线测量”指包含(但不限于)IMU、气压计、高度计及磁力计测量的传感器测量。在一些实施例中，可使由UE进行的无线测量的俘获与非无线测量的俘获同步。另外，可将无线及/或非无线测量的俘获与由UE进行的图像的俘获同步。举例来说，测量(无线及/或非无线)及俘获的图像可带时间戳，且测量与图像可基于时间戳而相互关联。测量与图像及/或与彼此的关联可与测量/图像记录同时发生，及/或在基于与测量相关联的时间戳的稍后时间点发生。
术语“测量集合”用以指由UE在测量地点在一时间点或在时间点的某一指定间隔内执行的信号测量。进行的信号测量可与地图绘制及/或位置确定有关。进行的信号测量也可取决于UE100、UE100的能力、环境特性及/或可用于UE100在特定地点/时间进行的测量的信号特性。通常，测量集合可包括图像、无线测量及非无线测量，其中测量集合中的每一元素可已在时间点的某一指定时间间隔内记录。由UE100记录的测量集合可存储在UE100上的存储器130中及/或发送到服务器，在服务器处，其可经处理及/或与相关于那个测量地点的其它测量聚集在一起。举例来说，测量集合可存储在基站年历(BSA)中及/或用于地图绘制/地点确定。
可使用硬件、固件与软件的组合来实施处理单元150。在一些实施例中，处理单元150可包含地图绘制模块(MM)152、导航模块(NM)154，及地点辅助数据模块(LADM)158。在一些实施例中，LADM158可处理所接收的地点辅助数据。地点辅助数据可呈分层地图信息的形式，例如多路径及可见地图辅助信息、观测到达时间差(OTDOA)辅助信息，包含PRS辅助信息，等。在一些实施例中，处理单元150还可包含计算机视觉模块(CVM)155，所述计算机视觉模块可实施多种图像处理及CV功能。
如本文中所使用的术语“地图层”指针对UE的位置及位置不确定性定制的信息，例如地点辅助信息。地图的每一层可包括关于参数的信息，其中提供关于所述层共同的绝对或全球坐标的信息。一般来说，地图层可包括各种类型的信息。举例来说，地图层可包括以下各者中的一或多者：使接收信号强度与地图地点相关的接收信号强度地图层；使信噪比(SNR)与地图地点相关的SNR地图层；使前向链路校准(FLC)信息与地图地点相关的FLC层；等。
在一些实施例中，摄像机180可包含多个摄像机、前置及/或后置摄像机、广角摄像机，且还可并有CCD、CMOS及/或其它传感器。可为静态摄像机及/或摄影机的摄像机180可俘获环境的一系列2维(2D)静态及/或视频图像帧，且将所俘获图像帧发送到处理单元150。在一些实施例中，摄像机180可为可佩戴式摄像机或外部摄像机，其可操作耦合到UE100中的其它功能单元，但收容之处与其它功能单元分开。在一个实施例中，由摄像机180俘获的图像可呈原始未压缩格式，且可在经处理及/或存储在存储器160中前被压缩。在一些实施例中，图像压缩可由处理单元150(例如，由CVM155)使用无损或有损压缩技术来执行。
在一些实施例中，摄像机180可为深度感测摄像机或可耦合到深度传感器。术语“深度传感器”用以指可用以独立地及/或与摄像机180一起获得用于环境的深度信息的功能单元。在一些实施例中，可包括RGBD摄像机，除了彩色(RGB)图像之外，当启用深度传感器时，其还可俘获每像素深度(D)信息。作为另一实例，在一些实施例中，摄像机110可呈3D飞行时间(3DTOF)摄像机的形式。在具有3DTOF摄像机110的实施例中，深度传感器可呈耦合到3DTOF摄像机110的频闪光灯的形式，其可照亮场景中的物件，且反射光可由摄像机110中的CCD/CMOS传感器俘获。可通过测量光脉冲行进到目标且回到传感器所花时间来获得深度信息。
作为另一实例，深度传感器可呈耦合到摄像机110的光源的形式。在一个实施例中，光源可将可由一或多个窄频带的光组成的结构化或纹理化的光图案投影到场景中的物件上。接着可通过利用由物件的表面形状引起的经投影图案的几何失真来获得深度信息。在一个实施例中，可从例如对齐到RGB摄像机的红外结构光投影仪与红外摄像机的组合的立体传感器获得深度信息。在一些实施例中，摄像机180可为能够俘获3维(3D)图像的立体摄像机。在另一实施例中，摄像机180可包含能够估计深度信息的深度传感器。举例来说，深度传感器可形成无源立体视觉传感器的部分，无源立体视觉传感器可使用两个或两个以上摄像机获得场景的深度信息。可使用俘获的场景中的两个摄像机共同的点的像素坐标连同摄像机姿势信息及/或三角测量技术来获得每像素深度信息。在一些实施例中，当深度传感器不在使用中时，可停用深度传感器。举例来说，可将深度传感器置于待用模式中，或当不使用时断电。在一些实施例中，处理器150可在一或多个时间点停用(或启用)深度感测。
处理单元150还可执行处理由摄像机180俘获的图像帧的软件。举例来说，处理单元150可能能够处理从摄像机180接收的一或多个图像帧以确定摄像机180的姿势，从而实施各种计算机视觉及图像处理算法及/或执行对应于从摄像机180接收的图像的环境的3D重建。摄像机180的姿势指摄像机180相对于参考系的位置及定向。在一些实施例中，可针对6自由度(6-DOF)确定摄像机姿势，所述6自由度指三个平移分量(其可由参考系的X、Y、Z坐标给定)及三个角度分量(例如，相对于同一参考系的横滚、俯仰及偏航)。
在一些实施例中，摄像机180及/或UE100的姿势可由处理单元150使用视觉跟踪解决方案基于由摄像机180俘获的图像帧来确定及/或跟踪。在一些实施例中，CVM155可使用例如专用集成电路(ASIC)、数字信号处理器(DSP)及/或专用处理器(例如，处理单元150)的专用电路来实施。在一些实施例中，CVM155可包含与UE100上的一或多个其它处理器通信的功能性。
在一些实施例中，CVM155可实施各种计算机视觉及/或图像处理方法，例如3D重建、图像压缩及滤波。CVM155还可实施基于计算机视觉的跟踪、基于模型的跟踪、同时定位与地图绘制(SLAM)等。在一些实施例中，由CVM155实施的方法可基于由摄像机180俘获的色彩或灰阶图像数据，其可用以产生摄像机的6-DOF姿势测量的估计。
SLAM指一类技术，其中在建立环境的地图(例如，正由UE100模型化的环境的地图)的同时跟踪UE100相对于所述地图的姿势。SLAM技术包含视觉SLAM(VLSAM)，其中由摄像机(例如，UE100上的摄像机180)俘获的图像可用以在建立环境的地图的同时跟踪所述摄像机相对于所述地图的姿势。VSLAM因此可以涉及在跟踪摄像机的6DOF姿势的同时还确定周围环境的3-D结构。例如，在一些实施例中，VSLAM技术可检测一或多个所俘获图像帧中的突出特征小片且将所俘获的成像帧存储为关键帧或参考帧。在基于关键帧的SLAM中，可接着(例如)通过比较当前所俘获图像帧与一或多个先前俘获及/或存储的关键帧来确定摄像机的姿势。
在一些实施例中，CVM155可包括3D重建模块，其可使用摄像机姿势及每像素地图信息来建立环境的3D模型或表示。在一些实施例中，可使用专用电路实施3D重建模块，所述专用电路例如专用集成电路(ASIC)、数字信号处理器(DSP)及/或专用处理器(例如，处理单元150)。3D重建模块可使用点云中的一组3D点来获得结构的3D模型，可从结构的图像确定所述点。
在一个实施例中，处理单元150可通过使用单筒VSLAM技术建置UE100周围的环境的粗略地图以用于摄像机180的准确且稳健6DOF跟踪来轨道摄像机180的位置。术语单筒指使用单个非立体摄像机俘获图像或无深度信息的所俘获的图像。
可以多种方式实现跟踪空间坐标系统中的UE及/或摄像机姿势。在卫星定位系统(SPS)信号不可用或不可靠的情况下(例如在室内环境中)，可使用视觉与惯性跟踪系统的组合进行此跟踪。举例来说，由摄像机180俘获的图像可结合由IMU170及/或传感器组185中的传感器(例如，高度计、气压计、磁力计等)进行的测量用以确定UE100及/或摄像机180的姿势。在一些实施例中，基于VSLAM的技术可部分用以校正IMU170中的错误(例如，偏差及漂移)。在可用的情况下，也可使用GPS坐标提供地点信息。在一些实施例中，混合视觉-惯性跟踪器可并有具有扩展卡尔曼滤波器(EKF)的SLAM/VSLAM系统，从而将各种输入提供到EKF以跟踪摄像机180及/或UE100的姿势。卡尔曼滤波器(KF)为广泛使用的用于跟踪及姿势估计的方法。具体来说，KF随着时间推移递归地对一连串噪声输入测量进行操作以产生基础系统状态的统计上最优估计(其可包含未知变量的估计)。EKF线性化非线性模型以促进KF的应用。
在一些实施例中，摄像机的姿势可用以重新校准IMU170中的传感器，及/或补偿及/或移除与传感器185及/或IMU170中的传感器的测量的偏差。举例来说，IMU170及/或传感器185可输出与由UE100中的摄像机180进行的每一图像帧的俘获同步的所测量信息。当可(例如)基于VLSAM准确地估计摄像机姿势(例如，图像中的一或多个对应特征点的成功检测)时，则可使用VSLAM估计的摄像机姿势对由IMU170及/或传感器185进行的测量应用校正，及/或重新校准IMU170/传感器185，使得由IMU170及/或传感器185进行的测量可更紧密地跟踪VSLAM确定的姿势。
在另一实施例中，可与由摄像机180进行的深度图像的俘获一起俘获的来自深度传感器的深度数据可用以实时(或离线)产生且递增地更新环境的3D或体积模型。举例来说，可通过基于观测到的可用深度数据跟踪相对于3D模型的实况深度图像帧来获得当前摄像机姿势。作为一个实例，在一连串俘获的深度图像中的每一深度图像可与实时SLAM一起用以产生及/或递增地更新3D模型，同时基于每一帧中的深度数据跟踪摄像机180的姿势。借助于深度传感器及SLAM技术，用户可能能够产生平滑递增更新的3D重建。在一些实施例中，为了节省电力，当基于SLAM的3D重建技术确定对于现有3D模型来说新的信息已被成像时，可启用深度传感器以获取深度信息。
另外，在3D重建能力为不可用UE100的情况下，所俘获图像数据连同摄像机姿势及与图像帧的俘获或摄像机姿势的确定一起俘获或测量的其它传感器数据可存储在存储器130、媒体160中，及/或使用发射器114发送到服务器，其中数据可经离线处理以获得环境的3D模型及/或地图。因此，本文中揭示的一或多个方法也可由与UE100通信的服务器离线执行。
在一些情况下，3D模型可呈可用以显现正被模型化的3D环境的纹理化3D网格、线框模型、体积数据集合、CAD模型等的形式。举例来说，在其中使用3D网格的实施例中，可使用VSLAM技术中的关键帧来获取环境的点云表示。术语点云指坐标系统(例如，具有X、Y及Z坐标的3D坐标系统)中的一组数据点。随后可使用适当的分散数据内插方法将点云表示转换为3D网格。在一些情况下，可在3D重建期间获得且使用基于一组分散数据点的稀疏点云表示。
另外，在一些实施例中，处理单元150可进一步包括定位引擎(PE)或位置确定模块(PDM)156(下文称为PDM156)，其可独立地使用从图像、传感器及由UE100进行的无线测量导出的信息或结合所接收的地点辅助数据确定UE100的位置及位置不确定性估计。举例来说，LADM158可处理包括多路径及可见地图辅助信息的地点辅助信息、PRS时序图案及/或静音信息等，所述信息可接着由处理单元150用以选择信号获取/测量策略及/或确定初始地点。在一些实施例中，处理单元150还可能能够直接地或结合图1中展示的一或多个其它功能块处理各种其它所接收(例如)长期演进(LTE)定位协议(LPP)或LPP扩展(LPPe)消息(包含辅助信息)。
在一些实施例中，UE100可包含可在内部或外部的一或多个UE天线(未展示)。UE天线可用以发射及/或接收由收发器110及/或SPS接收器140处理的信号。在一些实施例中，UE天线可耦合到收发器110及SPS接收器140。在一些实施例中，由UE100接收(发射)的信号的测量可在UE天线与收发器110的连接点处执行。举例来说，用于接收(发射)的RF信号测量的参考的测量点可为接收器114(发射器112)的输入(输出)端子及UE天线的输出(输入)端子。在具有多个UE天线或天线阵列的UE100中，天线连接器可被看作表示多个UE天线的聚集输出(输入)的虚拟点。在一些实施例中，UE100可测量包含信号强度的接收的信号，并且可由处理单元150处理TOA测量及原始测量。
取决于应用，可通过各种装置来实施本文中所描述的方法。举例来说，可使用硬件、固件、软件或其任何组合中的模块来实施这些方法。对于硬件实施方案，处理单元可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述功能的其它电子单元，或其组合内。
对于固件及/或软体实施方案，可使用执行本文中所描述的功能的代码、程序、功能等等来实施所述方法。在实施本文所描述的方法时，可使用有形地体现指令的任何机器可读媒体。举例来说，软件代码可存储在连接到处理单元150且由处理单元150执行的非暂时性计算机可读媒体160或存储器130中。存储器可实施于处理器单元内或处理器单元外部。在本文中使用时，术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其它存储器，且不应限于任何特定类型的存储器或任何特定数目的存储器或存储存储器的媒体的类型。在一些实施例中，存储器130可持有促进混合照片导航及地图绘制、图像处理、SLAM、跟踪、模型化、3D重建及由处理器150上的MM152、NM154、CVM155及/或PDM156执行的其它任务。举例来说，存储器160可持有数据、俘获的静态图像、深度信息、视频帧、程序结果、3D模型、关键帧以及由IMU170、各种传感器185提供的数据。
如果以固件及/或软件实施，那么功能可作为一或多个指令或程序代码存储在计算机可读媒体(例如，媒体160及/或存储器130)上。实例包含编码有计算机程序及与所述程序相关联或由所述程序使用的数据的计算机可读媒体。举例来说，包含存储于其上的程序代码的计算机可读媒体可包含以与所揭示的实施例一致的方式支持混合照片地图绘制及导航的程序代码。所述代码可部分地通过使用地点辅助信息来进一步支持高级前向链路三边测量(AFLT)/混合AFLT/参考信号时间差(RSTD)/OTDOA测量及定位。计算机可读媒体160包含物理计算机存储媒体。存储媒体可以是可由计算机存取的任何可用的媒体。作为实例而非限制，此计算机可读媒体可包括RAM、ROM、快闪存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机访问的任何其它媒体；如本文中所使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各自的组合也应包含在计算机可读媒体的范围内。
除了存储在计算机可读媒体160上之外，还可将指令及/或数据提供为通信设备中包含的发射媒体上的信号。举例来说，通信设备可包含可通过接收器112接收指示指令及数据的信号的收发器110。指令及数据可使一或多个处理器实施混合照片地图绘制及导航及/或AFLT/混合AFLT/RSTD/OTDOA测量及定位，及/或本文中概述的其它功能。即，通信设备包含具有指示用以执行所揭示的功能的信息的信号的发射媒体。
存储器130可表示任何数据存储机构。存储器130可包含(例如)主存储器及/或辅助存储器。主存储器可包含(例如)随机存取存储器、只读存储器等。虽然在此实例中说明为与处理单元150分开，但应理解，主存储器的全部或一部分可提供在处理单元150内或以其它方式与处理单元150共置/耦合。举例来说，辅助存储器可包含例如与主存储器及/或一或多个数据存储装置或系统相同或类似类型的存储器，例如磁盘驱动器、光盘驱动器、磁带驱动器、固态存储器驱动器等。
在某些实施方案中，辅助存储器可操作性地接收或以其它方式可配置以耦合到非暂时性计算机可读媒体160。因而，在某些实例实施方案中，本文中提出的方法及/或设备可整体或部分呈可包含存储于其上的计算机可实施指令1108的计算机可读媒体160的形式，所述指令如果由至少一个处理单元150执行，那么可操作性地使其能够执行如本文中所描述的实例操作的全部或部分。计算机可读媒体160可为存储器130的一部分。
另外，UE100可包含能够显现彩色图像(包含3D图像)的屏幕或显示器190。在一些实施例中，显示器190可用于显示由摄像机180俘获的实况图像、图形用户接口(GUI)、程序输出等。在一些实施例中，显示器190可包括及/或收容有触摸屏，以准许用户经由虚拟键盘、图标、菜单或其它图形用户接口(GUI)、用户手势及/或输入装置(例如触控笔及其它写入工具)的某一组合输入数据。在一些实施例中，可使用液晶显示器(LCD)显示器或发光二极管(LED)显示器(例如有机LED(OLED)显示器)实施显示器190。在其它实施例中，例如，如图1B中所展示，显示器190可为可操作耦合到摄像机180、处理单元150及/或UE100中的其它功能单元的可佩戴式显示器或平视显示器。
图2展示能够将地点及/或导航服务提供到UE(包含传送地点辅助数据或地点信息)的系统200的架构。在一些情况下，系统200可以与本文中揭示的实施例一致的方式用于地图绘制服务，例如，用于混合照片地图绘制。
举例来说，在一些情况下，服务器250可任选地将地图或其它地点辅助信息发送到UE100(或多个UE100)，所述地图或信息可由UE100用以估计大致地点。另外，可将可由UE100俘获的一或多个图像帧、视频及/或其它测量发送到服务器150。举例来说，在一些情况下，基于所接收地点辅助数据(例如，由LADM158)，UE100可获得包含无线信号测量及/或可与由摄像机180进行的图像俘获一起俘获的使用传感器185的测量的测量。俘获的图像及/或测量可由UE100本地使用及/或可发送到服务器250。举例来说，俘获的图像及测量可由UE100及/或服务器150用以产生或更新地点的模型/地图及/或更新基站年历(BSA)数据。可接着将经更新数据/BSA数据发送到一或多个UE100作为地点辅助数据。
如图2中所说明，UE100可经由网络230及统称为天线240的基站天线240-1到240-4与服务器250通信，所述天线可能与网络230相关联。在一些情况下，服务器250可提供地图绘制服务器、地点服务器、BSA服务器、位置确定实体(PDE)或另一网络实体中的一或多者的功能性。地点及其它信息的传送可以适于UE100及服务器250两者的速率发生。
在一些实施例中，系统100可使用例如UE100与服务器250之间的LPP或LPPe消息等消息。LPP协议为众所周知的并且在来自被称为第三代合作伙伴计划(3GPP)的组织的各种公开可用的技术指标中描述。LPPe已由开放移动联盟(OMA)定义并且可以与LPP组合使用以使得每一组合的LPP/LPPe消息将为包括嵌入式LPPe消息的LPP消息。
在一些实施例中，UE100可接收并且测量来自基站天线240的信号，所述信号可用于位置确定。天线240可形成无线通信网络的部分，所述网络可为无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等。术语“网络”与“系统”通常在本文中可互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)、WiMax等等。
CDMA网络可以实施一或多个无线电接入技术(RAT)，例如cdma2000、宽带CDMA(W-CDMA)等。Cdma2000包含IS-95、IS-2000及IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。GSM、W-CDMA及LTE描述于来自被称为“第三代合作伙伴计划”(3GPP)的组织的文献中。CDMA2000描述于来自名称为“第3代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP及3GPP2文献是公开可用的。WLAN可为IEEE802.11x网络，并且WPAN可为蓝牙网络、IEEE802.15x或某种其它类型的网络。所述技术还可结合WWAN、WLAN及/或WPAN的任何组合来实施。举例来说，天线240及网络230可形成例如演进UMTS陆地无线接入网(E-UTRAN)(LTE)网络、W-CDMAUTRAN网络、GSM/EDGE无线接入网(GERAN)、1xRTT网络、演进数据优化(EvDO)网络、WiMax网络或WLAN的部分。
UE100还可从统称为宇宙飞船(SV)280的一或多个地球轨道SV280-1至280-4接收信号，所述地球轨道宇宙飞船可为SPS/GNSS的部分。例如，SV280可在例如美国全球定位系统(GPS)、欧洲伽利略系统、俄罗斯Glonass系统或中国指南针系统的GNSS的群集中。根据某些方面，本文中所呈现的技术不限于SPS的全球系统(例如，GNSS)。举例来说，本文中所提供的技术可应用于或以其它方式经启用以用于在各种地区性系统中使用，例如，日本上方的准天顶卫星系统(QZSS)、印度上方的印度地区性导航卫星系统(IRNSS)、及/或可与一或多个全球的及/或地区性导航卫星系统相关联或以其它方式经启用以供一或多个全球的及/或地区性导航卫星系统使用的各种扩增系统(例如，基于卫星的扩增系统(SBAS))。借助实例但非限制，SBAS可以包含提供完整性信息、差分校正等的增强系统，例如，广域增强系统(WAAS)、欧洲地球同步导航叠加服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强导航或GPS及地理增强导航系统(GAGAN)，及/或类似者。因此，如本文所使用，SPS可包含一或多个全球及/或地区性导航卫星系统及/或扩增系统的任何组合，且SPS信号可包含SPS、类似SPS及/或与此类一或多个SPS相关联的其它信号。
为简单起见，图2中仅展示一个UE100及服务器250。通常，系统100可包括具有额外网络230、LCS客户端260、移动站100、服务器250、(基站)天线240及宇宙飞船(SV)280的由245-k(0≤k≤Ncells，其中Ncells为小区的数目)指定的多个小区。系统100可进一步包括包含宏小区及毫微微小区的小区以符合本文所揭示的实施例的方式的混合。
MS100可能能够通过支持定位及地点服务的一或多个网络230与服务器250无线通信，所述服务可包含(但不限于)由OMA定义的安全用户平面地点(SUPL)定位解决方案及由适用于LTE服务网络的3GPP定义的控制平面定位解决方案。举例来说，可代表接入服务器250(其可提供与地点服务器相关联的功能性)且发出对UE100的地点的请求的LCS客户端260执行地点服务(LCS)。服务器250可接着以UE100的地点估计响应于LCS客户端260。LCS客户端260还可称为SUPL代理，例如当服务器250及UE100所使用的定位解决方案为SUPL时。在一些实施例中，UE100还可包含LCS客户端或SUPL代理(图1中未展示)，所述LCS客户端或SUPL代理可发出对例如UE100内的PDM156的某一能定位的功能的地点请求且稍后接收回UE100的地点估计。UE100内的LCS客户端或SUPL代理可针对UE100的用户执行地点服务，例如提供导航方向或识别UE100附近的关注点。
服务器250可呈SUPL定位平台(SLP)、演进型服务移动定位中心(eSMLC)、服务移动定位中心(SMLC)、网关移动定位中心(GMLC)、位置确定实体(PDE)、独立SMLC(SAS)及/或类似者的形式。
如图2中所示，UE100可经由网络230及可与网络230相关联的天线240与服务器250通信。UE100可接收且测量来自天线240的信号，所述信号可用于位置确定。举例来说，为了促进位置确定，UE100可接收且测量来自分别可与小区245-1、245-2、245-3及245-4相关联的一或多个天线240-1、240-2、240-3及/或240-4的信号。UE100还可使用从SV280(其可形成SPS的部分)接收的信号确定其位置。作为另一实例，UE100可使用混合定位方案，其使用UE100上的全球定位系统(GPS)或SPS接收器140且基于来自传感器185的测量及/或所俘获图像结合AFLT及GPS测量(例如，来自SV280)计算其位置。在一些实施例中，GNSS'、地面测量(例如AFLT、小区区段测量、WLAN测量、OTDOA)及/或传感器测量(例如使用IMU170、传感器185、摄像机或图像传感器(其可包含深度传感器)等的测量)可用于获得位置估计。
在一些实施例中，获得的位置估计可为粗略及/或初始位置估计，且可以符合所揭示实施例的方式进行改进。通常，由UE100进行的测量可与网络相关的测量(例如存储在BSA中的测量)组合以增强UE100及/或天线240的计算位置的可用性及准确度。
作为另一实例，在供WCDMA及LTE使用的基于OTDOA的定位中，UE100可测量从多个基站天线240接收的信号的时间差。因为天线240的位置已知，所以观测到的时间差可用于计算UE100的地点。举例来说，定位参考信号(PRS)的到达的测量时间差(其被称为参考信号时间差(RSTD))可连同每一小区的绝对或相对发射时序及针对参考及相邻小区的天线240的已知位置一起用以计算UE100的位置。
在供CDMA使用的基于AFLT的定位中，UE100可测量导频信号的相位，所述信号经同步至绝对时间标度(例如，GPS时间)并且从四个基站天线240-1到240-4发射。来自天线240-i(1≤i≤4)的导频信号的所测量的相位可用于计算UE100与个别天线之间的距离。距离测量集可用于计算UE100的地点，假设天线240的时间偏移已知。
MS100可通过比较小区信号的到达时间与绝对时间标度来获得前向链路小区信号的时间同步的量度。UE100可在此测量时记录已知GPS位置及GPS时间，并且使用如天线240-1的小区发射器的已知位置，可确定小区信号的到达时间偏差。
小区信号的时间偏差的确定被称为前向链路校准(FLC)。在一些情况下，UE100可将原始测量信息发送到服务器250，所述服务器可执行前向链路校准。举例来说，将距离校正量化为前向链路校准值(FLC)。FLC改善定位准确度，因为即使小区之间约为100ns的同步变化也将会转化为30米的测距误差。因此，FLC准确度促进地面定位系统中的最优性能。然而，即使在小区245内，FLC也可能基于多种因素(例如信号衰减、堵塞、多路径，等)而随UE的位置而变化。举例来说，在室内或密集城市环境(其中堵塞及/或多路径较为常见)中，对室内或密集城市环境进行地图绘制及/或获得准确位置估计可能存在挑战。举例来说，例如来自SV280及/或来自一或多个天线240的信号的各种信号可为不可用的或弱的，由此限制仅基于无线信号的位置确定技术。
因此，本文中揭示的实施例促进使用本文中揭示的混合照片地图绘制及导航技术在室内环境中的地图绘制及导航，且由此改善位置估计且扩展地面定位系统部署及利用。
图3A及3B展示指示在多种情形中的不同定位技术的可用性连同相关联的定位精度、定位不明确性及功率消耗的表。位置不明确性指使用所述技术确定的位置不正确的可能性。举例来说，在不同地点处拍摄的两个图像中的若干特征点可能匹配，从而使得难以确定移动装置的实际地点。
如图3A中所展示，基于SPS的定位技术通常在全球范围内在室外高度可用，展现高室外精度、低室外位置不明确性及合理的功率消耗。然而，如图3B所示，SPS信号在室内可能并不始终可用，且在室内可用时，SPS信号强度可能弱。因此，较之于移动台在室外时，室内精度可能较低且室内不明确性较高。另外，到卫星的视线(LOS)促进与SPS系统的时间拼接。时间拼接指准确地使从各种传感器获得的测量与共同时间标度上的所俘获图像相关且对准的能力。
惯性导航技术在室内及在室外皆高度可用，且展现合理的功率消耗，但由于漂移及其它偏差，其精度通常较低，范围从中等到良好。IMU测量更易时间拼接且与其它测量相关。
照片导航在室内及在室外皆高度可用，但展现较高功率消耗以及较高的室内及室外定位不明确性。举例来说，有时可在各种不同地点获得类似图像，从而使在无额外图像及/或其它感测输入的情况下对单个地点的识别困难。另一方面，当可将移动台局限于一区域时，则定位精度高。举例来说，可能存在已知地标可见的有限地点集合，因此基于所俘获图像，可准确地确定UE的地点以用于地图绘制及导航两者。所俘获图像可相对快速地进行时间拼接且与其它测量相关。
基于WAN的位置技术在室外及在室内皆展现良好可用性，且当可用时，具有相对强的信号。然而，WAN信号具有有限的全球可用性，因为可能存在未由蜂窝式信号服务到的区域。基于WAN的定位技术展现相对低功率消耗，具有中等室外及室内精度，低室内及室外定位不明确性，且可以合理的容易性进行时间拼接。
最后，基于LAN或信标的定位技术展现在室外的合理可用性及在室内的良好可用性，但信号强度可能随地点而显著变化。LAN信号具有良好的全球可用性，展现合理的功率消耗，具有中等室外及室内精度，低室内及室外定位不明确性，且可以合理容易性进行时间拼接。
如可从图3A及3B以及以上描述看出，当个别地使用时，定位技术具有各种强度及缺点。因此，当使用依赖于以上方法中的一者的当前地点确定技术时，地图绘制及/或导航解决方案常常为次优的。
因此，本文中揭示的方法组合来自多个传感器的测量与图像及无线信号测量以促进地点确定。举例来说，SPS具有全球范围，而强WAN信号可帮助在局部室内环境中的低功率背景导航，尤其在无线接入点的地点已知的情形中。当与由摄像机图像及来自惯性传感器(当无线信号不可用时，其可提供额外输入)的测量提供的优良局部精度组合时，可实现更稳健且准确的定位解决方案。
然而，缺乏地图，尤其是室内地点的地图。另外，即使在室内地图可用时，室内地图也并不提供关于整个较大区域地图的上下文。因此，用户可能不能够将房间、走廊等的地点置于较宽区域地图中。在没有准确地图的情况下，位置信息的最优利用是困难的。举例来说，在没有可用地图的情况下，不可提供从点A(例如，在室内)到点B(例如，在室外)或从点B到点A的导航指令。因此，以低成本获得室内地点的可靠且准确的地图可促进现有移动装置功能性的更佳使用。因此，所揭示技术还组合来自多个传感器的测量与图像及无线信号测量以促进地图绘制及/或导航。举例来说，在与精确“照片”及/或可见度地图一起使用时，可增强基于图像的导航技术。类似地，由摄像机所俘获的图像提供的精确校准可用以提供有效的室内无线导航。本文所揭示的这些及其它技术与移动装置一起使用以获得并更新地点的地图且实现导航功能性。
在一些实施例中，可使用地图绘制模块(MM)152将UE100置于“地图绘制模式”中。在地图绘制模式中，UE100上的摄像机180可结合来自传感器185(包含磁力计、高度计及气压计)及IMU170的测量而以指定帧率俘获图像或视频。举例来说，用户在使用UE100用于地图绘制时将UE100置于地图绘制模式。在地图绘制模式中，可将摄像机置于“广角”模式中。另外，在地图绘制模式中，可俘获高分辨率图像，但所述图像可经压缩、滤波或更改以减小大小。在一些实施例中，由摄像机180俘获的图像可以高分辨率在本地存储及/或发送到服务器250供稍后处理。举例来说，在一些实施例中，可将图像减小到向量地图或向量图像，其提供多种不同内容及分辨率以适合不同需求。
另外，在一些实施例中，在处于地图绘制模式中时，CV模块155可经配置以使用“曼哈顿世界(ManhattanWorld)”假设。广泛地用以从图像及/或点云产生都市结构的3D重建的曼哈顿世界(MW)假设假定由摄像机俘获的场景或图像由具有显著方向的逐个平面表面组成。通常，当使用MW假设确定建筑物几何形状时，假定场景中的三个相互正交的方向的主导。还可假定水平及铅垂表面及边缘。MW假设促进从2D图像进行3D重建。各种熟知技术可用于基于俘获的图像的3D重建。举例来说，在一个示范性实施例中，可从图像提取主要平面方向(例如，X、Y、Z)，可针对图像中的平面产生假设(例如，基于图像中的特征点密度)中，且可通过使图像像素与平面中的一或多者相关联来获得3D重建。当与深度传感器一起使用时，MW假设可促进基于获取的深度信息的更快3D重建。当使用惯性传感器确定装置定向及摄像机角度时，MW假设可促进垂直及水平边缘及表面及其相应地点、定向与关系的更有效率的辨别。
在一些实施例中，当用户正行进通过一区域及/或经诱导行进通过一区域时，可机会性地启动UE100上的地图绘制模式，所述区域为：(i)尚未进行地图绘制的区域，及/或(ii)需要更新地图数据的区域。举例来说，当在地图绘制模式中时，基于关于在服务器处的地点的众包数据(或此数据的不存在)，UE可请求结构的内部及/或外部的“调查”。在另一实施例中，可使用机会性众包，且可基于UE的所估计地点要求用户进入地图绘制模式。在一些实施例中，可获得用户的同意，且用户可主动地参与机会性众包地图绘制。在一些实施例中，例如，在摄像机180可佩戴的情况下，可自动触发图像俘获及传感器数据收集，且基于先前获得的用户同意，数据可存储在UE100上及/或发射到服务器250。术语“众包”用以指收集的图像、RF、传感器与来自多个移动台及/或PDE的与定位有关的测量的集合及后续聚集。在一些实施例中，在检测到用户处于可能需要进行地图绘制(或更新现有地图)的结构附近后，可要求或诱导用户以与所揭示的实施例一致的方式执行地图绘制。
图4为能够以与所揭示实施例一致的方式执行地图绘制的示范性应用程序400的框图。在一些实施例中，应用程序400的部分可在使用处理单元150的UE100上及/或在无线耦合到UE100的服务器上运行。在一些实施例中，应用程序400可使用利用CVM155及EKF组件405的SLAM-EKF拓扑。在一些实施例中，与应用程序400相关联的功能性可由硬件或软件或其组合实施。
如图4中所说明，CVM155可接收同步到无线及非无线测量的俘获的图像帧。取决于可用功能性，可俘获所述图像帧，作为一系列静态图像及/或作为视频的部分。利用视频俘获的实施例可(例如)以每秒30帧接收图像。其它实施例可利用其它帧率。CVM155可使用摄像机校准。固有的摄像机校准可包含主点、焦距及径向失真。外在摄像机校准参数可包含相对于IMU170的旋转及平移信息。可估计旋转，或在一些情况下，可假定IMU与摄像机对准。
如上文所概述，CVM155可使用多种算法中的任一者来确定并检测图像帧中的关键点。在一些实施例中，关键点检测可导致关键点的测量的2D摄像机坐标的识别，所述摄像机坐标经中继到EKF组件405。EKF组件405可进一步与CVM155共享关键点的预测的2D摄像机坐标以使关键点搜索空间变窄。当一或多个关键点由CVM155找出位置时，这些关键点的2D摄像机坐标可提供到EKF组件405。在一些实施例中，CVM155也可基于图像帧中的关键点的地点提供可由CVM155确定的6个自由度(6DOF)摄像机姿势。
在一些实施例中，输入6DOF摄像机姿势(由CVM155提供)可由EKF405基于由CVM155及/或IMU及/或无线测量供应的输入改进以获得UE在绝对坐标中的姿势。由EKF确定的6DOF摄像机姿势也可用以计算目标的地点。EKF组件405可利用来自CVM155的2D关键点测量连同无线及/或非无线测量跟踪摄像机180/UE100在绝对坐标中的6DOF姿势。举例来说，EKF组件405可使用最近GPS或其它无线测量(当可用时)来将测量集合锚定到绝对座标框架。术语“绝对坐标”或“全球坐标”用以指例如由GPS提供的绝对SPS坐标或例如用于地图绘制及导航的全球大地坐标系统(WGS)标准的任何其它全球坐标系统。在一些实施例中，除了图像帧中的检测的特征点的3D地点外，EKF组件405还可将重力向量提供到CVM155。在一些实施例中，可在姿势估计过程期间或作为姿势估计过程的部分来获得关键点的重力及3-D地点。关于重力的确定的更多信息，请见伊格尔·S.琼斯(EagleS.Jones)、斯特凡诺·索托(StefanoSoatto)的“视觉-惯性导航、地图绘制及本地化：可缩放实时因果方法(Visual-InertialNavigation,MappingAndLocalization:AScalableReal-TimeCausalApproach)”(2010)。在使用常规视觉-惯性技术的系统中，可确定UE的轨迹。然而，常规技术未揭示基于测量的3D结构包络确定及室内地图的确定，其中将结构3D包络信息及室内地图对齐到绝对坐标。
在一些实施例中，地图绘制应用程序可引导用户在使用EKF的同时获得额外测量。举例来说，可发指令给用户以步行到已经进行地图绘制的区域中以允许发生闭合回路检测，且接着联合地从数据收集迭代对所估计地图/关键点、轨迹及闭合回路检测以及(如果可用)GPS定位进行全球捆绑调整。
通过确定相对于目标的UE/摄像机姿势且将测量锚定到绝对坐标，UE的绝对姿势可由EKF405确定。
EKF组件405可进一步确定与IMU170及/或其它传感器相关联的任何偏差，其可用以减轻漂移。例如全球捆绑调整(GBA)等全球优化技术可由EKF405用以校正漂移及在地图绘制期间于UE的封闭回路轨迹的计算中使用，如以下进一步概述。
图5A展示处于从SV280及/或无线网络230的信号接收可用的地点的用户。在地图绘制模式中，在应用程序的引导下，UE100可在用户围绕室外地点(例如建筑物)行进时收集图像。举例来说，可引导用户沿循轨迹410，且UE100可在用户围绕结构427行进时收集图像。因为SPS及蜂窝式测量通常在室外可用，因此可基于SPS/蜂窝式测量确定轨迹410。在发生信号中断的情况下，IMU170及/或传感器组185进行的带时间戳的测量可结合带时间戳的所俘获图像用以跨越中断进行拼接。举例来说，可通过摄像机180结合来自IMU170及/或传感器组185的带时间戳的测量来俘获结构427的带时间戳的图像以跟踪用户移动。在一些实施例中，时间戳可用以使来自不同传感器的测量相关及/或跨越信号/测量中断进行时间拼接，如下文进一步解释。
在一些实施例中，MM152可引导用户俘获突出视觉特征的图像，包含外部可见标牌(例如商店标牌“XYZ商店”)、窗户、门、悬垂物、拐角点、相邻结构，等。举例来说，如果墙壁中具有窗户，那么可作出墙壁在“外部”及“内部”两者的推断。在从外侧及内侧检视时，可使用那一窗户对准相同墙壁的两个不同视图。因此，MM152可引导用户俘获可能从结构的内侧及外侧两者可见的特征。
在一些实施例中，所俘获图像可由CVM155处理以确定与一或多个图像相关联的描述符，以确定结构427的外部3D结构包络、轨迹410及/或经处理而以本文所揭示的实施例一致的方式获得其它信息。在一些实施例中，所俘获图像可发送到服务器，且可在服务器处发生特征描述符及与所俘获图像相关的测量的处理，所述服务器可将结果(例如对齐到绝对坐标的闭合回路轨迹及/或对齐到绝对坐标的外部3D结构包络)返回到UE100。在一些实施例中，用户的轨迹可经校正以通过返回到先前拍摄的视觉特征而解决漂移。可接着确定“闭合回路”轨迹且使用其来校正漂移。可基于经校正及/或闭合回路轨迹来确定对齐到绝对坐标的结构427的外部3D结构包络。举例来说，在一些实施例中，可使用UE100上的应用程序400来处理所俘获图像及测量。
在收集图像、无线(例如，SPS及蜂窝式)测量及/或非无线(例如，IMU170及传感器组185)测量之后，用户可从室外地点430进入零售商店450。
图5B展示零售商店450的简化俯视图，其说明建立用于室内导航系统的目标的示范性方法。目标为突出的视觉特征(其可包含过道标牌460)、潜在地外部可见特征(例如通路470及/或窗户475)、边缘、拐角点等。
如图5B中所示，可使用从UE100接收的输入产生零售商店450的地图。UE用户(例如，商店经理)可搜集数据以建立零售商店450的地图。在一些实施例中，例如UE100上的MM152等地图绘制应用程序可引导用户俘获过道标牌460-1到460-8、通路470、窗户475及/或其它外部可见特征、边缘、拐角点的图像，顶灯布置的图像，等。
举例来说，用户可带着移动装置步行走过商店，遵循通过或接近用户可能穿越的地点的路径435。图4B中展示的路径435仅作为一实例而提供。在一些实施例中，MM152可建议用户将沿循的更多详尽路径。举例来说，在一些实施例中，MM152可引导用户在一系列闭合回路中穿越商店450。在一个实施例中，可引导用户在每一相交点处向一个方向转弯。举例来说，可引导用户在每一相交点处右转(右手规则)或在每一相交点处左转(左手规则)以增大在一系列闭合回路中将发生所述地点的穿越的可能性。在穿越路径435期间，UE100/MM152可从LADM158(如果地点辅助信息可用于所述地点)、CVM156(关于所俘获图像的处理)及/或PDM156(例如，以确定UE100的估计地点)接收输入。
在一些实施例中，UE100/MM152可利用来自摄像机180、IMU170及/或传感器组185的带时间戳的视觉及惯性信息以跟踪用户穿过商店的移动。举例来说，可通过摄像机180结合来自IMU179及/或传感器组185的带时间戳的测量俘获商店的带时间戳的图像以跟踪用户移动。在一些实施例中，时间戳可用以使测量相关及/或跨越信号/测量中断进行时间拼接。举例来说，如果无线测量从时间t1到t2不可用，那么可使用IMU170的测量来在从t1到t2的时间间隔期间使用在时间t1确定的UE100的基于SPS的地点来部分地确定UE的地点。另外，摄像机180俘获的图像及/或传感器组185进行的测量及/或其它无线测量可基于时间戳而与IMU170进行的测量相关，且用以校正IMU170的偏置及/或使用IMU170确定的地点/轨迹(以与本文所揭示的实施例一致的方式)。在一些实施例中，可使用所俘获图像及与图像的俘获同步的IMU测量来执行跟踪。
在一些实施例中，路径435还可包含UE100可使用基于SPS的定位来使得由地图绘制应用程序提供的地点信息能够以SPS接收器140提供的绝对坐标系统锚定的地点(例如就在商店450外部或接近窗户475的地点430)。举例来说，在一些实施例中，MM152可在SPS信号可用的地点处开始地图绘制，且可通过基于与测量相关联的时间戳对测量集合进行时间拼接及/或通过使用带时间戳的所俘获图像来确定UE100在各个时间的地点。
在一些实施例中，如果准确的SPS信号在穿越路径435期间在一或多个点(例如，窗户475附近)处可用，那么MM152可确定额外的基于SPS的UE地点，所述地点可基于其准确度、可见卫星的数目或载波相位的可用性而用作额外或新的锚点。
在用户步行走过零售商店450时，可指定各种目标。指定可取决于所要功能性而自动地及/或手动地出现。在所说明的实例中过道标牌460(包括标牌460-1到460-8)被指定为目标。举例来说，MM152可包含商店经理可借以俘获过道标牌的图像且将其指定为目标的用户接口。手动指定可适用于指定目标110的人员知晓目标110不大可能改变(由此帮助确保其将随后可辨识为基于视觉的定位(VBP)系统的目标)的情况。
在一些实施例中，US100所搜集的数据可发送到服务器以建置零售商店450的地图以供消费者后续使用。举例来说，目标110的带时间戳的图像及关于UE100在俘获所述图像时的位置的带时间戳的测量可发送到服务器，所述服务器可建置目标中的每一者的描述符。描述符可包含例如目标上的特征点。图像描述符可呈此项技术中熟知的的尺度不变特征变换(SIFT)、加速稳健描述符(SURF)等形式。所确定/存储的图像描述符可在稍后时刻由图像或目标检测器用以确定UE的姿势。
在一些实施例中，UE100可确定对应于路径435的初始轨迹。举例来说，在一个实施例中，可基于如由EKF405输出的UE100的姿势及/或特征点的3D地点确定轨迹。在一些实施例中，初始轨迹及/或图像及/或其它测量可发送到无线地耦合到UE100的服务器。所述服务器可使用UE的初始地点430及对齐到绝对坐标的结构的可用外部3D包络的知识来确定室内地图。举例来说，服务器可使用以下各者中的一或多者连同可用3D外部包络以产生室内地图：i)将轨迹与早先确定的结构的可用3D外部包络对准的外部可见室内特征，例如门、窗户等，或II)所俘获图像中在所述结构附近的内部可见外部关键点。举例来说，结构附近的关键点的知识可基于在外部地图绘制阶段期间(例如，在沿循轨迹410俘获图像时)俘获的图像而为可用的。
举例来说，一旦已产生商店的地图，即可将图像描述符提供到消费者作为地点辅助数据，以促进目标辨识及执行IMU170的漂移/偏差校正。在一些实施例中，取决于UE100上可用的能力，可基于带时间戳的所俘获图像及带时间戳的无线(例如，SPS或蜂窝式)及非无线(例如，IMU170或传感器组185)测量来在UE100上建置地图。
在穿越收集数据以进行地图建立的零售商店450时，所确定的地点(例如，由EKF405输出的UE100的姿势)可能经受漂移。对于1％漂移误差，例如，100m的路径长度将导致约1m的漂移。为了校正漂移误差，可对由UE100/MM152搜集的数据及/或在用户已完成搜集数据后由EKF405输出的UE100的姿势执行闭合回路检测(LCD)及全球捆绑调整(GBA)。在一些实施例中，可在服务器(例如，建立地图的服务器)上执行LCD及GBA。举例来说，UE100可将收集的数据及/或估计的轨迹发送到服务器，服务器可执行LCD及GBA任务。然而，取决于UE100上可用的能力，可在UE100上执行LCD及GBA中的一或多者。
在一些实施例中，LCD可识别图像中的先前查看的特征以确定漂移。使用由UE100/MM152搜集的数据，CVM155可使用来自由摄像机180俘获的图像的特征信息确定具有共同特征信息的区域440。举例来说，可基于摄像机姿势及与第一图像相关联的测量针对第一图像中的第一静态特征确定第一组坐标。可在由摄像机俘获且与第二组坐标相关联的后续图像中识别第一静态特征。因为与特征相关联的地点尚未改变，所以LCD算法可确定在UE100的轨迹上的漂移。举例来说，LCD算法可通过将第一组坐标指派到同一特征的任何后续访问来“闭合所述回路”。可接着使用GBA算法来校正并对准测量以减轻或消除从最初估计轨迹(对应于路径435)的漂移错误且计算经更新“闭合回路”轨迹(也对应于路径435)，所述经更新“闭合回路”轨迹可用以导出零售商店450的地图。
作为简化实例，在用户于第一时间穿越商店450中的地点440-1时，UE100上的CVM155可在与地点440-1相关联的第一所俘获图像中标示第一特征，且确定与第一特征相关联的第一估计地点。举例来说，第一特征点可与座标(x1,y1,z1)相关联。在用户再次通过区域440-1且在第二图像中俘获所述第一特征时，与所述特征相关联的座标可估计为(x2,y2,z2)。类似地，与区域440-2相关联的第二特征可能在第一次通过期间与座标(x3,y3,z3)相关联且在第二次通过期间与座标(x4,y4,z4)相关联。与静态特征相关联的座标的差异可归于漂移。因为漂移持续地发生，因此可校正整个轨迹。在一个实施例中，一旦用户已完成搜集数据，即可将与地点440-1及440-2相关联的特征信息(连同所有其它数据)(例如与路径435相关联的所估计轨迹)提供到服务器。服务器可执行LCD算法且识别商店经理两次通过的区域440-1及440-2，且确定座标(x1,y1,z1)及(x2,y2,z2)对应于第一特征，而座标(x3,y3,z3)及(x2,y2,z2)对应于第二特征。因此，LCD处理可通过将座标(x1,y1，z1)指派给第一特征的第二访问且将座标(x3,y3,z3)指派给第二特征的第二访问而为闭合回路的。漂移可看作在最初所估计轨迹上发生。
可接着使用全球捆绑调整来校正漂移且确定与路径435相关联的闭合回路轨迹。举例来说，闭合回路轨迹可反映经调整以减轻漂移的UE地点。可使用所述闭合回路轨迹来部分地确定商店450的地图。
一旦建立地图，即可将其提供到或使其可用于UE100上的一或多个应用程序(例如，NM154)。地图可用以巡览零售商店450。另外，在使用地图时，可使用上文概述的技术跟踪消费者的移动装置的地点。尽管估计地点可能在导航期间漂移，但可在每当NM154(或CVM155)检测到任何先前存储的目标(例如示范性目标460-1到460-8)时校正UE100的地点。举例来说，CVM155中的图像或对象检测算法可提供摄像机/UE姿势以按上文解释的方式校正漂移。
取决于所要功能性，地图可包含多种额外特征中的任一者。举例来说，地图可并有楼层平面图，且可以产品放置、每日特价品等等扩增以在用户巡览零售商店450时增强用户体验。
在一些实施例中，可确定及/或存储如由UE100在地图建置阶段期间确定的Wi-Fi或WLAN接入点(AP)的识别码及地点。在一些实施例中，AP的已知地点(例如，来自导航期间的地图数据)还可用以获得UE100的地点的估计。举例来说，例如接收信号强度指示(RSSI)、往返时间(RTT)及/或其它AP无线信号测量等WLAN测量可用以确定UE100在商店450中的估计地点。在一些实施例中，估计地点可由VBP算法用以通过将搜索目标限制为检测在估计地点附近的那些目标而减小与目标检测相关的处理负载。例如在消费者在进入零售商店300之后开始在某一点使用商店地图时，此种功能性可为有益的。在最初不具有地点的情况下，NM154可得益于基于WLAN测量确定的估计地点。
举例来说，如果NM154确定UE位于零售商店450的前方附近(例如，靠近区域440-1)，那么有可能NM154可在商店450前方附近遇到目标460-1、460-3、460-5或460-7中的一或多者。然而，不大可能NM154将检测到处于商店450后方的目标460-2、460-4、460-6或460-8中的任一者。因此，NM154可在基于其当前地点搜索特征时不考虑目标460-2、460-4、460-6或460-8。
注意，上文关于图5B所描述的技术还可结合图5A中的室外地图绘制来使用。举例来说，可部分地基于与先前成像及存储的特征相关联的地点来如上文所概述确定路径410(图5A中)的闭合回路轨迹。
图6A展示用于无线地图产生的示范性方法500的流程图。在一些实施例中，方法500可由UE100执行。在一些实施例中，方法500的部分可由UE100及/或服务器150执行。在步骤510中，UE100可进入地图绘制模式。
在“地图绘制模式”中，UE100可以相对高速率收集连续GNSS、摄像机及惯性数据及其它传感器数据。另外，在地图绘制模式中，例如RF测量、GNSS测量及来自惯性、磁力计、高度计及/或气压传感器的数据的感测测量可与图像的俘获一起俘获。在地图绘制模式中，可使用实际GNSS测量数据(例如，连续载波相位可观测量(如与通常在智能电话中看到的“位置输出”相对))以提供用于视觉里程计过程的再一锚定且使UE时钟状态稳定，只要对于至少一或多个SPS卫星280存在视线(LOS)条件。
在各种时间点可存在到一或多个卫星的非视线(NLOS)条件，但如果在那些时间存在到其它卫星的LOS条件，那么，可将LOS卫星的载波相位观测拼接在一起。举例来说，如图6B中所展示，在时间T0，当沿循轨迹410时，UE100可接收来自SV280-1及280-2、天线240-1的LOS信号，而从SV280-3、天线240-3及AP620-1接收的信号可为NLOS。另外，在后续时间T1且在轨迹410上的不同地点处，UE100可接收来自SV280-3及天线240-3的LOS信号，而来自SV280-1及280-2、天线240-1及AP620-1的信号可为NLOS。
因此，如果在各种时间存在关于SV280-1、280-2及/或280-3中的一或多者的LOS条件，那么可将LOS卫星的载波相位观测拼接在一起。在存在载波相位可观测量的短暂中断(常常被称作循环滑移)或存在非LOS(NLOS)条件的情形中，来自惯性传感器、气压传感器、磁力计及/或基于图像的里程计的组合的数据可用以跨中断“拼接”及确定UE位置。
参考图6A，在步骤515中，可接着基于SPS/GNSS与传感器测量的组合确定UE的6-轨迹。举例来说，当惯性轨迹漂移小于某一阈值(例如，小于GPSL1波长的一半)时，可使用惯性拼接。
在步骤520中，可基于所俘获图像、IMU170的测量、传感器185的测量及无线(SPS及/或RF)信号测量获得3D建筑物包络(或外部3D结构包络)及/或外部3D地图。在一些实施例中，可引导用户俘获相邻地标、结构、建筑物悬垂物等的图像，同时保持结构(例如结构427)在视图中。术语“建筑物包络”指充当建筑物的内部与外部环境之间的物理分隔器的建筑物/结构的外壳。在一些实施例中，可使用MW假设来部分地确定建筑物包络。
在步骤525中，可确定UE100的闭合回路轨迹。举例来说，在一个以上卫星存在LOS条件(由此准许同时多个载波相位观测)的情况下，可使惯性轨迹变稳定。举例来说，可引导用户/MS返回到先前在数据收集期间拍照的视觉特征。可例如使用VSLAM技术计算用于两个图像的摄像机姿势。基于与所述两个图像相关联的摄像机姿势，IMU(陀螺仪及加速度计错误)可经建模而使得轨迹得以重新估计以返回到不具有明显错误的视觉特征。可将此闭合回路轨迹看作具有7个自由度(7-DOF)，其指示位置不确定性的3个维度、旋转不确定性的3个维度及接收器时钟偏差的一额外“维度”。接收器时钟偏差在使例如与GNSS、WWAN及WLANRTT相关联的那些测量等无线测距测量相关时是有用的，其中约1ns的时序误差会转化为约1英尺的测距错误。在GNSS卫星的LOS条件中，经校正的载波相位测量可具有大约1cm的精确度，但未知的积分常数。可通过在动态载波相位处理技术中已知的许多技术来确定此积分常数。应了解，在不知晓绝对积分常数的情况下，轨迹上的载波相位的改变有助于确定精确UE位置及轨迹上的时钟偏差概况。精确UE位置及轨迹上的时钟偏差概况对于以精细精度建立精确的无线延迟地图是重要的。
在许多情况下，可保持大约数米的绝对误差，但可有效地减轻归因于无线多路径变化的失真，从而提供精确轨迹及因此具有多个精确相关联地图层的精确地图，其中相关联可都准确到好于一米，即使在地图绘制时并不知晓结构的绝对位置好于一米。在装置处于到GNSS信号的LOS中时，那么有可能建立可用以不仅合作校正IMU传感器并且还确定其它测量源(例如，WWAN、WLAN、气压传感器及磁力计)的较大偏差及稳定性的高度精确轨迹。
在步骤530中，在一些实施例中，可接着基于重新估计的7-DOF轨迹重新确定3D建筑物包络。在一些实施例中，可使用MW假设确定建筑物包络。举例来说，可假定多数墙壁为铅垂(极佳地，垂直)且按90度角会合。因此，以此方式，可将建筑物的初始“开放回路”3D照片模型调整到矩形墙壁及垂直对准。还可假定墙壁垂直或平行。接着，可从视觉里程计数据对照此调整的3D照片模型重新计算UE100的轨迹。在步骤535中，可接着部分地通过使用GNSS伪距测量来将建筑物的位置对齐到全球坐标。在一些实施例中，可基于空中图像结合房顶悬垂物或其它特征的本地视图来调整结构的外部包络。
在步骤540中，可接着将重新估计的轨迹对齐到全球坐标。在一些实施例中，可使用差分方法减轻由于多路径、卫星位置、卫星时钟漂移、残余电离层及对流层信号延迟等引起的伪距测量误差，其中可使用针对卫星位置及时钟、电离层活动及对流层湿润延迟等的更准确模型来减轻误差。此外，在载波相位观测同时可用的程度上，可使用代码载波变平滑来减小多路径误差且可适当地加权具有大代码载波方差的测量。
在一些实施例中，可使用载波相位差分GNSS处理来进一步改善具有浮动或固定(解决的)载波循环不明确性的装置轨迹估计。载波相位差分GNSS处理通常使用在已对齐到全球坐标系统的已知基准地点处的附近参考接收器。在此情况下，残余大气压误差大大地消除且可解决循环不明确性。
在替代实施例中，可使用视觉里程计将装置轨迹拼接在一起以随着时间的过去形成合成载波相位差分过程。因为与卫星有关的误差及大气压误差相对慢地改变，所以可一开始不通过差分处理来维持本地地图的精确度，且当适当参考数据变得可用时，可随后添加差分处理以用于地图对齐及解释。参考数据可包含实际卫星位置、定向及时钟偏移的观测。
在一些实施例中，可在说明卫星天线的相位方向图时确定卫星定向，使得可确定且应用广泛区域卫星载波相位校正。如果使用地面参考接收器网络确定卫星定向或产生信号相位变化的任何其它因数(具有或无卫星天线相位校正)，那么可接着将所得“差分校正”本地化，以用于在地图处理中使用。
在一些实施例中，在步骤545中，从传感器在地图绘制模式中获得的测量也可用以产生及/或更新可存储在服务器250上的一或多个现有地图。这些地图可包含室外2D道路地图或楼层平面图、照片地图(其可包含3D可导航特征数据库)、热图(其可指示在各种地点处的一或多个天线的信号强度)及/或空间可变FLC地图(其可指示在各种地点处的天线的信号延迟)中的一或多者。在一些实施例中，所述地图中的一或多者可以不同等级的位置粒度作为测量存储在现有地图层中及/或与测量一起聚集在现有地图层中。如本文中所使用的术语“地图层”指针对UE的位置及位置不确定性定制的信息，例如，地点辅助信息。每一测量类型可能存在不同地图层，其中所有地图层可对齐到相同的本地或绝对坐标。举例来说，对于所关注的每一无线信号，可能存在以下各者中的至少一者：延迟、信号强度或衰减地图层。可能存在气压变化注释层。可能存在磁场变化层，从而提供对标准地球磁场模型的本地校正。
在一些实施例中，当在地图绘制模式中时，UE100可请求及/或接收地点辅助信息以确定初始地点估计，其也可以地图层的形式提供。举例来说，基于UE100的估计的第一位置及位置不确定性，包括第一FLC值的地点辅助信息可在第一地图层中对UE100提供。当UE100的位置/位置不确定性经基于先前提供的地点辅助信息改进或重新估计时，可从另一地图层检索基于改进的位置估计/位置不确定性的FLC值以有助于UE位置的更准确确定。
通常，地图层可包括各种其它类型的信息。举例来说，地图层可包括以下各项中的一或多个：使接收信号强度与地图地点相关的接收信号强度地图层；使SNR与地图地点相关的信噪比(SNR)地图层；指示LOS条件很可能相对于一或多个天线的地图地点的视线(LOS)地图层；非视线地图层，NLOS地图层指示NLOS或身体阻挡条件很可能相对于一或多个天线的地图地点，等等。
在一些实施例中，地图层还可包括为BSA中的地点提供天线的多路径程度的指示的至少一个多路径层。另外，在一实施例中，多路径层可进一步包括以下各项中的至少一者：指示天线的长阴影区的长阴影层，所述长阴影层包括长阴影区中的排除区、对多路径量值的指示及/或天线的信号衰减程度；或指示天线的短阴影区的短阴影层，所述短阴影层包括短阴影区中的天线信号的时序粒度信息；或指示天线的至少一个覆盖区域中的唯一发射模型的发射模式层。在一些实施例中，UE100可使用一或多个地图层中的信息估计地点及地点不确定性，且基于地点及地点不确定性，可请求额外地图层。在一些实施例中，可基于UE100的地点/地点不确定性将多个地图层提供到UE100。一般来说，可基于用于与UE100通信的协议、用于通信的可用带宽、信号条件、成本、通信、存储器及/或在UE100处可用的处理能力及各种其它参数将包括地图层的地点辅助信息提供到UE100。
类似地，当从UE100接收到测量时，可使用所述测量产生及/或更新现有地图层。举例来说，新测量可代替用以确定一或多个地图层的一或多个较旧的测量。举例来说，可更新早于某一时间周期的测量，及/或一或多个地图层中被视为不可靠或不准确的测量(例如，其中位置不确定性估计超出当前测量中的结果)。在一些实施例中，可将新测量与较旧的测量聚集在一起。举例来说，当统计显著时，可通过将所述测量与现有测量聚集在一起来计算平均、中值及/或其它统计度量以产生一或多个经更新地图层。应了解，需要适当版本控制机构来维持所提供的地图层的及时性、精度及准确性。
图7A展示在结构527内的用户与移动台。如图7B中所示，由摄像机180俘获且显示在商场内的UE100上的显示器190上的图像640可展示例如关注点610及630等一或多个商店标牌，其在图7A中分别展示为商店“ABC书”及“PQR鞋”。在结构527中，UE100可能能够间歇性地从SV280中的一或多者接收信号。然而，来自接入点(AP)520的信号可能可用。举例来说，AP620-1及620-2可为用于部署在结构527内的WLAN网络的接入点，且可由UE100接入。然而，如上文所论述，在一些情况下，在处于结构527内时，UE100仅可间歇性地从SV280及/或天线240-1及240-2接收信号。
在一些实施例中，在用户在UE100处于地图绘制模式中的情况下穿越结构527内的室内地点时，可继续收集上文详述的图像及其它感测数据。在一些实施例中，可引导用户俘获例如图片、标牌、房间编号、各种其它标记及/或“拐角点”等特征点的图像，其可用来唯一地识别一地点。举例来说，用户可俘获分别对应于商店标牌“ABC书”及“PQR鞋”的关注点610及630。在一些实施例中，SLAM/VSLAM技术可结合地点辅助数据及其它测量(例如，无线测量及/或传感器测量)来用以部分地通过使用所俘获图像中的特征点(例如关注点610及630)确定摄像机姿势来获得地图。在一些实施例中，基于EKF的技术可用以确定用户/UE所沿循的地点/轨迹。
参考图6A，在一些实施例中，在步骤550中，数据(包含由摄像机180俘获的图像、IMU170的测量、传感器(包含气压/高度计/磁力计)185的测量、在穿越室内区域期间俘获的RF测量及/或SPS测量(如果存在))可由UE100处理及/或发送到服务器250以确定UE100的7-DOF室内轨迹。
在步骤555中，可从结合其它传感器测量俘获的图像产生室内区域的3D模型及/或地图。举例来说，可使用高度计、磁力计、气压及IMU测量来部分地产生室内地图及/或作为所产生地图的可靠性的指示符。另外，在其中一或多个AP可用的情况下，可使用包含往返时间(RTT)及/或接收信号强度指示符(RSSI)的RF测量来表征AP，例如AP620-1及620-2(图6A中)。在一些实施例中，MW假设可用以从所俘获图像重建室内区域的3D模型。举例来说，CVM155可用以执行重建，及/或可由服务器250离线地执行重建。
在一些实施例中，可利用到所连接/邻近空间(其可在室内或室外)的指针来组织室内地图集合。举例来说，在针对单个结构获得地图或正产生地图时，可添加关于邻近结构及/或结构单元的信息以促进直到及/或到相邻结构的导航。举例来说，在多层办公楼中，如果地图划分成个别层，那么电梯井及楼梯井以及用户可沿途停下的每一楼层的情境信息(每一门外部的霍尔模型)可包含于每一地图中。“连接器”地图可为单独的，或可提供为与每一个别地图重叠的层。
在步骤560中，可接着使在步骤555中产生的室内模型与在步骤530中确定的建筑物包络对齐/对准。在一些实施例中，在使图像对齐到外部地图时，可使用例如窗户、门等可在内部及外部两者皆可见的外部可见室内结构特征。在一些实施例中，每一房间或适当室内结构单元可个别地解析，且接着对齐到外部包络。
举例来说，如果墙壁中具有窗户，那么可作出墙壁在“外部”及“内部”两者的推断。在从外侧及内侧检视时，可使用那一窗户对准相同墙壁的两个不同视图。另外，可通过在外部视图中从窗户边缘到外部拐角的距离及在内部视图中从相同窗户边缘到相关联内侧拐角的距离之间的差来推断墙壁厚度。还可从窗台的深度来推断墙壁厚度(如果窗台或周围的视图容易可用)。在许多但非所有情况下，结构的所有外壁将有效地具有相同厚度。因此，有可能形成室内地图(假定此情况)，但视需要检查所述假设且查找数据中的例外状况。多个方法可用以确定外壁厚度且经组合以形成比仅使用一个方法的情况更准确的测量。一旦墙壁厚度已知，就可精确地对齐及对准具有内表面及外表面两者的墙壁，从而建立较大内部一致性且使得有可能将室内地图对齐到更准确导出的外壳形状、定向及地点。
在一些情况下，不具有外表面的内壁可能具有与外壁不同的厚度。再次，第一次地图建模可假定所有内壁具有相同宽度。举例来说，在美国，内部非承重墙壁通常具有2×4框架，而外壁可使用2×6或2×8框架。此外，外部板壁可添加较多厚度到外壁。可通过将多个房间一起组装到建筑物地图中且使其“对齐”到外壁来形成整个模型，从而在处理中解决外部及内壁厚度。还可合理地预期给定结构中的墙壁厚度及/或构造材料可类似于其相邻者。因此，一旦已知第一结构墙壁厚度，那么可假定相邻墙壁厚度相同，直到证实并非如此，或可独立地求出多个墙壁厚度，且接着比较。在确定房顶间距、表面积等时可遵循类似处理，如此项技术中所熟知。
在步骤565中，在一些实施例中，可发指令给用户/MS以返回到先前在数据收集期间拍摄的视觉特征，可确定闭合回路轨迹以减轻IMU170(例如，陀螺仪及/或加速度计)错误中的错误，以使得可重新估计轨迹以返回到不具有明显错误的视觉特征。在一些实施例中，可引导用户使用一系列一或多个闭合回路穿越室内区域以最小化惯性传感器错误的影响。举例来说，发指令给用户以在每一相交点处右转(或左转)的右手(或左手)规则可用以形成闭合回路，且确保对结构内部的完整覆盖。
在步骤570中，可接着基于来自步骤365的重新估计的闭合回路轨迹来重新处理室内区域的3D模型。在一些实施例中，在步骤375中，可接着基于所述3D模型产生室内地图。
在一些实施例中，所收集数据的全部或部分可在UE100上处理及/或发送到服务器250进行处理。在一些实施例中，如果地图可用于相邻及/或所附属结构，那么用于当前结构及所附属/相邻结构的室内/室外地图可例如通过使用外部图像而拼接在一起。在一些实施例中，到邻近结构地图的指针/关联可高速缓冲存储于UE中及/或服务器上。在一些实施例中，在“智能眼镜”或其它可佩戴式装置耦合到例如具有摄像机的蓝牙耳机等电话的情况下，可触发智能眼镜/可佩戴式装置上的摄像机。
图8展示与所揭示实施例一致的示范性地图绘制数据收集方法700的流程图。在一些实施例中，方法700可由UE100执行。在一些实施例中，方法700的部分可由UE700及/或服务器150执行。在一些实施例中，当在地图绘制模式中时，方法700的部分可由UE100执行。举例来说，可在步骤705中调用方法700，且UE100可进入或被置于地图绘制模式中。
接下来，在步骤710中，可开始对无线信号的搜索。在一些实施例中，请求及/或从服务器150接收的地点辅助数据可由UE100用以选择用于无线信号搜索的策略。在一些实施例中，地点辅助数据可包含WWAN、WLAN及/或GNSS辅助数据。在步骤712中，可对无线信号搜索提供反馈。举例来说，可从服务小区及一或多个相邻WLAN小区245、一或多个GNSSSV280及/或一或多个WLANAP620接收信号并记下其绝对及/或相对信号强度。
在步骤720中，可启动UE100上的一或多个传感器。举例来说，可启动摄像机180、传感器185及/或IMU170。在一些实施例中，传感器185及/或IMU170的测量可同步到通过摄像机180对图像帧的俘获。在一些实施例中，如果无线定位(例如，基于GNSS及/或混合测量的定位)基于在步骤710/712中获得的信号而可用，那么IMU170可基于无线定位而利用初始位置进行初始化。
在一些实施例中，当将UE100置于地图绘制模式中时，可结合从15fps到30fps的视频帧率及/或基于从15fps到30fps的视频帧率细粒度地进行传感器测量。在一些实施例中，可基于俘获的图像使用利用CV技术确定的摄像机姿势校准一或多个传感器。在一些实施例中，在应用层面获得的图像时间戳、从应用程序编程接口(API)获得的传感器时间戳、时间戳之间的偏移及/或基于曝光时间的摄像机时间戳中的抖动可用于：(i)使各种传感器测量相关，(ii)使俘获的图像与传感器测量相关，及/或(iii)对所述测量进行时间拼接。在一些实施例中，当使传感器测量与图像相关时，可使用相对时间戳或偏移。
在一些实施例中，在步骤722中，可在IMU170的校准时任选地对用户发指令。在一个实施例中，可使用由摄像机180俘获的图像校准IMU170。举例来说，可对用户发指令以使摄像机指向目标对象及/执行运动序列。在步骤725中，可向用户提供与运动序列及/或校准的进展有关的反馈。举例来说，基于计算机视觉(CV)的技术可用以获得多个图像的摄像机姿势。可部分通过比较所述多个帧中的每一者的基于CV的姿势与所述帧的对应的IMU确定姿势来校准IMU170。在一些实施例中，可使用使CV测量与IMU170错误状态相关的观测等式来校准IMU170，所述观测等式可使用众所周知的EKF技术进行建模。
在步骤730中，可起始用于UE100上的天线的天线方向图的确定。在一些情形中，可在室外执行天线方向图确定。每一天线将具有其自身的相位及增益型样。当UE100的定向已知时，可在用户以典型姿势拿着装置且将其围绕一或多个轴线旋转时确定天线方向图。
因此，在步骤732中，可对用户给予关于UE100的运动的指令，使得可确定用于UE100的天线方向图信息。在一些实施例中，为了有助于UE100的运动或移动的性能，在步骤735中，就移动装置的方向及/或天线方向图确定过程的完成程度而言，可提供反馈。在一些实施例中，可使用在显示器190上展示的图形用户接口(GUI)提供反馈。
在步骤737中，UE100可提供天线方向图确定已完成且可产生UE100的天线方向图739的指示。在一些实施例中，基于在沿循的轨迹(例如，轨迹410)的路程上的UE100的估计的定向，可进一步校正在步骤737中确定的天线方向图，例如，在方法500中的步骤540(图5A)期间。为了增加的准确性且为了进一步减轻任何残余GNSS载波多路径，在轨迹410的部分中，其中观测指示沿循惯性轨迹，载波多路径最具挑战性，在高度超定轨迹解决方案可用的情况下，可制订及移除及/或去加权任何残余相位误差。因此，天线方向图校正可发生，甚至在步骤737的完成之后及/或与有关于方法500中的室外轨迹的确定的一或多个步骤(例如，图5A中的515到540)的执行一起。在一些实施例中，可使用天线方向图数据739减轻对后续RF信号特性化的天线方向图效应。
在步骤740中，可将UE100置于室外包络数据收集模式中；且在步骤742中，可对用户发出关于室外数据收集的指令。举例来说，可将摄像机180置于广角模式中，且可引导用户俘获门、窗户及在室内也可见的其它特征/结构要素的图像。作为另一实例，可引导用户俘获任何屋顶悬垂物的图像，使得在从屋顶结构的空中成像与从下面的悬垂物的相片的组合确立建筑物周边的过程中，可从屋顶尺寸将其减去。应了解，悬垂物可在建筑物的所有侧上相同，但并不始终相同。因此，模型可假定单个观测的悬垂物在整个周边周围相同，且接着稍后在地图确定过程期间校正此假设。同样，可进行屋顶悬垂物的若干估计且沿着单个外壁平均化所述估计。因此，不仅跟踪悬垂物长度及屋顶间距的估计而且知晓这些参数(呈不确定性参数的形式)的程度是重要的。
在步骤745，可向用户提供关于待沿循的轨迹的反馈。举例来说，可要求UE100的用户沿循连续轨迹以获得从所有侧的结构的视图，同时维持结构的最优距离及/或视图。在一些实施例中，可指引用户俘获附近结构、地标等的图像，同时保持室外结构绘制于视图中。也可要求用户调整摄像机指向，使得可立刻看到全部边缘，例如，建筑物拐角的完全伸展、屋檐或基墙的全长、墙壁与天花板之间的边缘的全长等。可要求用户环绕(例如)建筑物或城市街区的周边，且返回到其开始点以使惯性导航的回路闭合，且确认针对全部回路精确地跟踪所述轨迹。如果在过多卫星上的锁定丢失或IMU校准受损达大于简短时间周期，那么可要求用户返回跟踪以使用视觉装置重新获取轨迹，确保已恢复锁定且接着在路线上继续。
在步骤747中，如果用于室外包络确定的图像俘获及测量过程不完整，那么可在步骤740开始另一迭代。举例来说，可要求用户重复轨迹410以使载波相位连续性最大化及/或避免特定困难的多路径位置，同时仍维持结构的良好视觉视图。天空中的卫星地点可显示给用户，同时表示何时失去及/或恢复锁定，以向用户提供其如何保留装置及维持锁定的快速反馈。
在步骤750中，可将UE100置于室内数据收集模式中；且在步骤752中，可对用户发出关于室内数据收集的指令。举例来说，可引导用户俘获各种室内特征的图像，所述特征包含标牌、门、窗户、边缘、拐角或其它唯一特征等。如果这些特征还在外部可见，那么其可用以将结构的室内模型对准或对齐到结构的外部包络。在一些实施例中，可引导用户使用一系列闭合回路穿越室内区域以最小化惯性传感器错误的影响。在另一实施例中，发指令给用户以在每一相交点处及/或在某一测量距离之后右转(或左转)的右手(或左手)规则可用以形成闭合回路且确保对结构的完整覆盖。另外，可引导用户记录门及窗框处的墙壁宽度的图像。另外，高度计、气压计等的测量可用以确定高度，且磁力计的测量可用以获得UE100的行进方向，其可用于结合IMU170的测量而使用及/或补充IMU170的测量。在一些情况下，可发指令给用户以在可能时从多个角度获得无线AP的图片。在一些实施例中，可在AP上执行对象检测以获得制造商及甚至可能型号以及相关联的已知模型特定特性，且确定AP相对及/或绝对地点。
在步骤755，可向用户提供关于室内数据收集处理的反馈。举例来说，可向用户提供指示：是否一或多个所俘获图像缺乏特征及/或是否图像及/或是否一或多个图像特征丰富。另外，在其中一或多个AP可用的情况下，可使用包含往返时间(RTT)及/或接收信号强度指示符(RSSI)或热图的RF测量来表征AP。在一些实施例中，在地图绘制模式中，UE100可跟踪GNSS及WAN信号的信号强度、准确度及/或可用性，且可推断房顶、墙壁、窗户及门的RF穿透性以包含在地图数据中。此外，应用程序可从天线方向图739推断身体阻挡以确定每一所测量RF信号是否经过用户身体。
在步骤757中，如果用于室内包络确定的图像俘获及测量处理不完整或确定为不充分，那么可在步骤750中开始另一迭代。举例来说，可要求用户重复室内数据收集。
在步骤760中，收集的测量及图像可经处理以获得地图数据763。在一些实施例中，可在例如服务器250的服务器上离线执行步骤760。举例来说，UE100可将收集的测量及图像发射到服务器250。举例来说，服务器250可为基站年历(BSA)服务器及/或可处理及/或将测量/图像与从其它移动台接收的数据聚集在一起的另一位置服务器。在一些实施例中，可使传感器/RF/SPS/测量与俘获的图像相关以获得地图数据763。
在步骤770中，可基于地图数据763产生一或多个地图773。在一些实施例中，可基于地图数据763更新现有地图以获得地图773。在一些实施例中，可将地图773组织为处于不同等级的UE位置粒度的层。
在步骤780中，可提示用户结束地图绘制模式或重复方法700中的一或多个步骤。在一些实施例中，当提示用户结束地图绘制模式时，可对用户展示地图数据763及/或所收集的数据的概述。基于用户输入，可在步骤785终止地图绘制模式，及/或可重复方法700中的一或多个步骤。
图9展示在混合照片地图绘制期间的示范性高阶数据流800。在一些实施例中，在室外数据收集阶段810-1期间，可收集以下各者中的一或多者：摄像机及惯性数据813、无线测量数据815(其可包含GNSS、WAN及LAN测量)、气压或高度计数据817、天线方向图739，及磁力计数据819。
在室外数据处理阶段820，在室外数据收集阶段810-1中收集的数据可用以获得室外开放回路轨迹823，可接着使用所述室外开放回路轨迹获得外部3D建筑物包络825、室外无线地图827及室外闭合回路轨迹829。
在一些实施例中，在室内数据收集阶段810-2期间，可在室内收集以下各者中的一或多者：摄像机及惯性数据813、无线测量数据815(其可包含GNSS、WAN及LAN测量)、气压或高度计数据817、天线方向图739，及磁力计数据819。
在室内数据处理阶段830，可使用外部3D建筑物包络825、室外无线地图829及室外闭合回路轨迹827连同在810-1中收集到的数据来获得室内开放回路轨迹833，可接着使用所述室内开放回路轨迹来获得内部3D建筑物模型835。可使内部3D建筑物模型与外部3D建筑物包络825对齐以获得第一内部及外部3D建筑物模型837，所述第一内部及外部3D建筑物模型可与摄像机及惯性数据一起用来获得室内闭合回路轨迹839。
在地图产生阶段840中，可沿着室内闭合回路轨迹839使用分别在数据收集阶段810-1及810-2中在室外及在室内收集的数据中的一些或全部来更新内部及外部3D建筑物模型837且产生各种地图。举例来说，可获得室内及室外3D无线地图、磁性地图层气压注释等。
气压压力通常随着建筑物内的高度改变而遵循标准绝热直减率。然而，一些建筑物或建筑物的部分可能加压。可由于建筑物加压而推断从标准绝热直减率的任何偏离。那些偏离以及偏离的任何不确定性可作为气压注释标注到地图上。举例来说，“将从楼层24到36预测观测为高于绝热直减率XMMHg的气压压力”。
图10A展示说明用于基于照片、无线、磁性及气压数据的产生地图的方法900的流程图。在一些实施例中，方法900的部分可由UE100及/或服务器250执行。在一些实施例中，在调用方法900之前或在初始化步骤期间，UE100可通过进入地图绘制模式而俘获各种测量。举例来说，在地图绘制模式中，UE100可以相对高速率收集连续GNSS、摄像机及惯性数据及其它传感器数据。另外，在地图绘制模式中，例如RF测量、GNSS测量及来自惯性、磁力计、高度计及/或气压传感器的数据的感测测量可与图像的俘获一起俘获。
在步骤905中，可基于摄像机及惯性数据813以及无线测量数据815确定UE的室外7-DOF开放回路轨迹823。举例来说，SPS/GNSS/LAN/WAN测量、IMU170测量与摄像机180俘获的图像的组合可用以确定UE100的7-DOF轨迹。举例来说，在惯性轨迹漂移小于某一阈值(例如，小于GPSL1波长的一半)时，可使用惯性拼接。
在步骤910中，在一些实施例中，可基于室外7-DOF开放回路轨迹823获得外部3D建筑物包络825。
在步骤915中，可通过对照外部3D建筑物包络825重新处理视觉里程计而获得室外7-DOF闭合回路轨迹829。举例来说，在一个以上卫星存在LOS条件由此准许同时多个载波相位观测的情况下，可通过返回到先前在数据收集期间拍摄的视觉特征而使惯性轨迹稳定，且可对陀螺仪及加速度计错误进行建模，使得轨迹得以重新估计以返回到不具有明显错误的视觉特征。在一些实施例中，MW假设可用于确定外部3D建筑物包络825。接着，可从对照此经调整3D照片模型的视觉里程计数据重新计算UE100的轨迹，以获得室外7-DOF闭合回路轨迹829。接下来，在步骤920中，可基于7-DOF闭合回路轨迹829更新及/或重新处理3D建筑物包络825。
参看图10B，在一些实施例中，在步骤925中，也可部分通过使用经更新的3D建筑物包络825及无线测量815将建筑物的位置及定向对齐到全球坐标。在步骤930中，可接着将室外7-DOF闭合回路轨迹829对齐到全球坐标。
在一些实施例中，在步骤930中，还可使用天线方向图739、经更新的3D建筑物包络825及无线测量815产生及/或更新一或多个现有室外无线地图835。在一些实施例中，室外无线地图835可经产生及/或存储在服务器250上。这些地图可包含室外2D道路地图或楼层平面图、照片地图(其可包含3D可导航特征数据库)、热图(其可指示在各种地点处的一或多个天线的信号强度)及/或空间可变FLC地图(其可指示在各种地点处的天线的信号延迟)中的一或多者。在一些实施例中，地图中的一或多者可以不同等级的位置粒度作为层存储。
在步骤940中，可基于摄像机及惯性数据813、室内无线测量数据815以及气压及/或高度计数据817估计室内7-DOF回路轨迹833。举例来说，可使用SPS/GNSS/LAN/WAN测量、IMU170测量与摄像机180俘获的图像的组合来确定UE100的7-DOF轨迹。在无线信号中断的情况下，摄像机及惯性数据813可用以将测量拼接在一起以获得轨迹。在一些实施例中，可基于摄像机及惯性数据813以及气压及/或高度计数据817而不参考室内无线测量数据815来估计室内7-DOF回路轨迹833，因为室内测量可能不可用及/或受多路径显著影响。
在图10C中，在步骤945中，可从摄像机及惯性数据813、室内无线测量数据815以及室内7-DOF回路轨迹833产生内部3D建筑物模型835及/或室内区域的地图。举例来说，可使用高度计、磁力计、气压及IMU测量来连同图像数据部分地产生室内地图。在一些实施例中，MW假设可用以从所俘获图像重建室内区域的3D模型。举例来说，CVM155可用以执行重建，及/或可由服务器250离线地执行重建。在其中深度传感器在UE100上可用的实施例中，所提供的深度数据可用以重建室内区域。另外，在其中室内无线测量数据815包含用于一或多个AP的数据的情况下，包含往返时间(RTT)及/或接收信号强度指示符(RSSI)的RF测量可用以表征AP，例如AP620-1及620-2(图7A中)。
在步骤950中，可部分地通过使3D内部建筑物模型835与外部3D建筑物包络825对齐/对准而从3D内部建筑物模型835获得内部及外部3D建筑物模型837。在一些实施例中，在将图像对齐到外部地图时，可使用例如窗户、门等可在内部及外部两者可见的结构特征。在一些实施例中，每一房间或适当的室内结构单元可个别地解析，且接着对齐到外部包络。
在步骤955中，在一些实施例中，可通过对照内部及外部3D建筑物模型837重新处理视觉里程计而确定室内7-DOF闭合回路轨迹839。举例来说，通过返回到先前在数据收集期间拍摄的视觉特征，可补偿IMU170中的错误，且可重新估计轨迹以返回到不具有明显错误的视觉特征。
在步骤960中，可接着基于室内7-DOF闭合回路轨迹839以及惯性及摄像机数据813重新处理/更新3D模型建筑物模型837。在一些实施例中，在步骤960中，可接着基于3D模型产生室内地图。
在步骤965中，可基于室外无线地图835、无线测量数据815、天线方向图739及3D模型建筑物模型837获得3D室内/室外无线地图841。
在步骤970中，可使用磁力计数据819来产生磁性地图层847，且在步骤975中，可使用气压数据817来产生气压地图注释。
在一些实施例中，所收集的数据中的全部或部分可在UE100上处理及/或发送到服务器250进行处理。在一些实施例中，如果地图可用于相邻及/或所附属结构，那么可将用于当前结构及所附属/相邻结构的室内/室外地图拼接在一起，例如，通过使用外部图像。在一些实施例中，可将到附近结构地图的指针/关联高速缓冲存储在UE中及/或服务器上。在一些实施例中，在将“智能眼镜”或其它可佩戴式装置(例如，具有摄像机的蓝牙头戴式耳机)耦合到电话时，可触发智能眼镜/可佩戴式装置上的摄像机。
图11展示说明能够确定UE100的地点的系统1000中的一些实体的简化框图。在一些实施例中，系统1000可形成UE辅助定位系统的部分。参看图10，UE100可测量来自参考来源1070的信号以获得初始测量1002及/或初始地点估计1004。参考来源1070可表示来自与网络230相关联的SV280及/或天线240及/或AP620的信号。UE100还可获得初始测量1002，例如用于SV280的伪测距测量及/或来天线240的OTDOA/RSTD相关测量。
在一些情况下，UE100还可通过使用初始测量1002获得初始地点估计1004。有时被称为“前缀”的初始地点估计1004可为UE100的位置的粗略估计。在一些情况下，由UE100进行的测距测量可用以获得初始地点估计1004。在一些情况下，与服务小区或最强小区或最早小区或另一小区相关联的地点可用作初始地点估计1004。举例来说，服务小区或最强小区或最早小区或某一其它小区的形心可用作初始地点估计1004。作为另一实例，小区内的随机或默认开始地点可用作初始地点估计1004。可从小区扇区识别码、网络ID、系统ID及由基站发射的其它信息获得小区有关信息。UE100可将初始地点估计1004及/或初始测量1002(例如，来自一或多个GNSS的卫星测量，或来自一或多个网络的例如OTDOA及/或RSTD的网络测量，等)提供到服务器250。在一些情形中，UE100可不确定初始地点估计1004，而是，由UE100采集的初始测量1002可发送到服务器250，所述服务器可使用初始测量1002来确定UE100的初始初始估计1004。
服务器250可接着基于初始地点估计1004将与地点有关的信息(例如，地点辅助数据1006)提供到UE100。在一些实施例中，地点辅助数据可由LDAM158、MM152、PDM156及/或NM154中的一或多者接收，且可用以辅助UE100获取及测量来自SV280及/或天线240的信号，及/或改进从测量1002获得的任何初始地点估计1004。在一些实施例中，地点辅助数据可按适应于初始地点估计1004及与初始地点估计1004相关联的位置不确定性的粒度包含地图层及/或其它信息。
举例来说，在一些情况下可呈具备安全用户平面(SUPL)功能的终端(SET)的形式的UE100可与服务器250通信且使用地点辅助数据1006获得额外测量1008。在一些实施例中，额外测量1008可包括各种与FLC有关的测量及/或导频相位测量、到达时间、RSTD/OTDOA测量、与基站天线的时间偏移有关的测量、GPS(例如，伪距)测量等。在一些情况下，响应于接收到地点辅助数据或缺少其，UE100可进入地图绘制模式且俘获额外测量1008，额外测量可包含来自摄像机180、IMU170、传感器185及如以上概述的其它无线(GNSS/WAN/LAN)信号测量的测量。在一些实施例中，UE100可通过网络230将额外测量208发送到服务器250或另一PDE，及/或将测量存储在存储器130中。
在一些实施例中，服务器250、UE100或另一PDE可使用额外测量208来获得UE100的改进的地点。在一些实施例中，UE100可使用额外测量1008来直接获得改进的地点估计。另外，在一些实施例中，可将UE100的改进的地点估计传达到LCS客户端260。当UE100的位置/位置不确定性经基于先前提供的地点辅助信息改进或重新估计时，可从另一地图层检索基于改进的位置估计/位置不确定性的FLC值及/或其它信息以有助于UE位置的更准确的确定。一般来说，位置定位可由MS辅助，其中UE100通过基站将原始或经预处理的测量数据发送回网络中的PDE以在位置确定中使用；或者，所述位置定位可为基于MS的，其中由UE100执行位置计算。
提供位置确定服务的无线通信系统通常在例如基站年历(BSA)数据库、地图数据库等的一或多个数据库中存储及/或聚集校准信息及用于地点确定的其它测量。举例来说，数据库可包含具有地图层的地图，其可包含各种其它类型的信息。
举例来说，地图层可包括以下各项中的一或多个：使接收信号强度与地图地点相关的接收信号强度地图层；使SNR与地图地点相关的信噪比(SNR)地图层；指示LOS条件很可能相对于一或多个天线的地图地点的视线(LOS)地图层；非视线地图层，NLOS地图层指示NLOS或身体阻挡条件很可能相对于一或多个天线的地图地点，等等。在一些实施例中，所述地图层还可包含至少一个多路径层以提供用于BSA中的地点的天线的多路径范围的指示。在一实施例中，多路径层可进一步包括以下各项中的至少一者：指示天线的长阴影区的长阴影层，所述长阴影层包括长阴影区中的排除区、对多路径量值的指示及/或天线的信号衰减程度；或指示天线的短阴影区的短阴影层，所述短阴影层包括短阴影区中的天线信号的时序粒度信息；或指示天线的至少一个覆盖区域中的唯一发射模型的发射模式层。
在一些实施例中，UE100可使用一或多个地图层中的信息估计地点及地点不确定性，且基于地点及地点不确定性，可请求或检索额外地图层。在一些实施例中，可基于UE100的地点/地点不确定性将多个地图层提供到UE100。一般来说，可基于用于与UE100通信的协议、用于通信的可用带宽、信号条件、成本、通信、存储器及/或在UE100处可用的处理能力及各种其它参数将包括地图层的地点辅助信息提供到UE100。
在一些实施例中，地图上的每一区域可通过一或多个边界点的座标(例如，纬度、经度、海拔高度)识别，所述座标可取决于地图层的粒度。因此，在这些实施例中，关于区域内的点的测量可聚集并且与区域相关联。可基于UE100的位置/位置不确定性将聚集的测量及有关数据的阶层中的一些或全部提供给其。
BSA数据库可存储/聚集校准及与其它基站有关的信息。基站的BSA记录可指定基站标识信息、基站天线的位置(例如，海拔高度、经纬度)天线的一位置处的FLC值、天线定向、范围、转发器信息等。如本文所使用的术语“FLC值”可指代FLC值及FLC残差两者。FLC残差可以距离单位(例如，米)指定，而FLC值可以时间单位(例如，秒)指定。在一些实施例中，BSA还可包含如以下各项的信息：基站区段覆盖区域的中心、基站信号的最大范围、一或多个覆盖区域/子区域上方的平均地形高度、一或多个覆盖区域/子区域上方的地形高度标准差、往返延迟(RTD)校准信息、CDMA系统中的伪随机噪声(PN)增量、基站天线位置中的不确定性、前向链路延迟校准中的不确定性以及往返延迟校准中的不确定性。
在一些实施例中，促进地面定位系统校准的系统可聚集额外测量1008，包含FLC相关测量及多个移动站/PDE的改进的位置估计。在一些实施例中，由多个移动台中的每一者进行的在地图绘制模式中的测量可在服务器上聚集并存储，并且可基于所述聚集导出统计显著性。举例来说，可由所述聚集导出标准差、差异、平均值、中值及其它统计量度。在一些实施例中，由UE100采集的测量可用以代替数据库中的测量。举例来说，如果视觉图像及/或其它测量指示结构的内部已相对于存储的3D建筑物模型837改变，那么可基于最新的测量将存储的建筑物模型837更新及/或用新建筑物模型代替。类似地，可基于新测量更新外部3D建筑物包络825、3D无线地图841、磁性地图层847及/或气压地图注释849及/或其它地图层中的一或多者。因此，UE100可接收数据库中呈信息的形式的地点辅助数据1006，且由UE100在地图绘制模式中俘获得额外测量1008可用以更新现有数据库。
举例来说，基于存储在数据库中的信息的粒度，与UE100相关联的改进的地点估计及由UE100在那些地点处进行的测量(包含俘获的图像)可与由其它移动台针对同一地点及/或针对在那个地点附近的区进行的测量相关联及/或聚集在一起。在一些实施例中，可将俘获的图像中的一或多者作为关键帧或参考帧连同与关键帧图像相关联的估计的摄像机姿势一起存储。在一些实施例中，外部及内部3D模型837可包含关键帧。
在一些实施例中，改进的位置估计可基于与定位相关联的质量阈值而与聚集测量相关联。举例来说，表示与每一定位相关联的误差估计的“水平估计位置误差”(HEPE)质量量度可用于确定将哪些测量添加及/或聚集到BSA数据库。举例来说，与定位相关联的测量(取决于所要准确度或位置粒度，其具有小于某一指定阈值的HEPE值)可添加及/或与数据库聚集。
在一些实施例中，基站年历数据库最初可配置有默认、平均或估计FLC值及合理地精确天线位置。在一些实施例中，可基于从多个UE'120及/或PDE接收的多个额外测量208使用及更新现有BSA。基于通过多个MS'120/PDE进行的重复测量，天线位置估计及空间可变FLC值将不断地随时间而改善。产生更大程度的天线位置确定性，所述确定性可用于改善前向链路校准准确度。
在一些实施例中，服务器250可聚集来自一群移动件的原始测量信息以利用处于与测量相关联的不同粒度的信息建立统计显著地图。在一些实施例中，服务器250可执行BSA、地图及/或地点服务器的功能中的一些或全部。举例来说，服务器250可收集且格式化地点数据，产生且更新地图或模型，可为移动台进行位置估计提供辅助，及/或可执行计算以获得移动台的位置估计。在一些实施例中，服务器250可包括BSA服务器，所述服务器可管理存储完整BSA的BSA数据库。
例如包含摄影的众包及来自多个移动台/PDE的其它测量的实施例可提供包含室内地图的连续维护的地图数据，且减少或移除对资源集中现场工作的需求。在一些实施例中，由于由公众拥有的移动装置进行的频繁众包取样，可贯穿网络维持高取样率。在一些实施例中，众包测量可用以建置及/或更新数据库/BSA。
因为信息的取样速率、统计显著性以及准确度与一地点处的用户密度成比例，所以将频繁校准具有较高用户密度的常用地点。因此，此类基于群众的校准系统可优化其本身到用户定位之处及/或地点服务重复地使用之处。相比而言，通常基于网络几何结构或信号传播模型的一些指标来校准现有系统，所述指标可能不反映使用模型。另外，移动站用户常去的常用地点还将倾向于具有最新统计显著且精确的信息。另外，在符合本文所揭示的实施例的系统的部署期间，可快速地基于更频繁聚集的测量获得常用地点的FLC信息，从而促进部署。
在一些实施例中，摄影数据及测量还可通过“战争驾驶(wardriving)”来收集及/或补充。在战争驾驶中，用户可俘获图像，进行传感器测量及进行无线信号的测量，其可与UE位置相关以获得地图。收集的测量可与存储在数据库中的测量聚集及/或用以补充及/或代替存储在数据库中的测量及/或更新现有地图。在一些实施例中，可诱导UE用户(例如，需要测量/地图绘制的地点或路线附近的用户)行进到所述地点及/或采用指定路线。举例来说，针对所要地点附近或沿所述路线的建立的呈现金奖励、折扣、自由飞行时间或激励形式的奖励可用作激励。在一些实施例中，可获得用户同意以在智能电话上安装可定期对服务器250报告测量的应用程序。
在一些实施例中，提供到UE100的地图中的信息可包含以下各者中的一或多者的指示：信号的检测的可能性、在UE100的估计的位置处的信号的可能准确性连同UE100的初始位置不确定性的估计。另外，在一些实施例中，提供到UE100的地图还可包含以下各者中的一或多者的指示：LOS条件的可能性、长多路径条件的缺少及/或UE100处于长还是短阴影区中的确定。地图可包含例如eNodeB天线地点、天线场型及输出功率等简单注释，以使得移动设备可用一级模型执行简单链接分析。另外，地图可含有所述一级模型与更局部化的模型之间的差异，含有高阶校正项。
现在参考图12，其为说明经启用以支持混合照片地图绘制及导航的服务器250的示意性框图。在一些实施例中，服务器250还可提供对位置确定以及众包地图产生及导航的支持。在一些实施例中，服务器250可通过以符合所揭示实施例的方式提供包含分层地图的地点辅助信息来支持地点确定。另外，在一些实施例中，服务器250可以符合所揭示实施例的方式基于由一或多个UE'100报告的测量及信息更新数据库(例如，BSA、地图及/或配置数据库)。在一些实施例中，服务器250可包含(例如)一或多个处理单元1152、存储器1154、存储装置1160以及(如适用)通信接口1190(例如，有线或无线网络接口)，以上各组件可以操作方式使用一或多个连接1156(例如，总线、线路、光纤链路等)耦合。在某些实例实施方案中，服务器250的某一部分可呈芯片组及/或类似者的形式。
通信接口1190可包含支持有线发射及/或接收的各种有线及无线连接并且，在需要时可另外或替代地支持一或多个信号通过一或多个类型的无线通信网络的发射及接收。通信接口1190还可包含用于与各种其它计算机及外围配置通信的接口。举例来说，在一实施例中，通信接口1190可包括实施由服务器250执行的通信功能中的一或多种功能的网络接口卡、输入输出卡、芯片及/或ASIC。在一些实施例中，通信接口1190还可与网络230连接以获得各种网络配置相关信息，例如由网络中的基站使用的PCI、配置的PRS信息及/或时序信息。举例来说，通信接口1190可利用以3GPPTS36.455定义的LPP附件(LPPa)协议或对这种协议的修改以从网络230中的基站获得PCI、配置的PRS、时序及/或其它信息。处理单元1152可以符合所揭示实施例的方式使用所接收信息中的一些或全部来产生地点辅助数据。
处理单元1152可使用硬件、固件及软件的组合加以实施。在一些实施例中，处理单元1152可包含服务器位置辅助数据模块1166，所述模范组可产生包含具有多路径及可见性信息的分层地图、空间可变FLC数据、PRS时序及静音辅助信息等的位置辅助信息以用于发射到移动站100。在一些实施例中，服务器位置辅助数据模块1166还可产生位置辅助信息以用于发射到移动站100。处理单元1152还可能能够直接或者结合图11中所示的一或多个其它功能块处理各种其它LPP/LPPe辅助信息。在一些实施例中，处理单元1152可产生如长期演进(LTE)定位协议(LPP)或LPP扩展(LPPe)消息的地点辅助信息。
图13展示与所揭示实施例一致的混合照片地图绘制的示范性方法的流程图1300。在一些实施例中，方法1300可由UE及/或无线地耦合到UE的服务器执行。在一些实施例中，方法1300可由UE上的地图绘制应用程序执行。举例来说，地图绘制应用程序可提供关于图像的俘获及/或待沿循的轨迹的指令。
在一些实施例中，在步骤1310中，可在穿越结构内的多个地点时俘获结构的内部的多个图像。
接下来，在步骤1320中，可俘获多个测量集合，其中每一测量集合对应于至少一个图像，且每一测量集合包括惯性测量单元(IMU)测量或可用无线测量中的至少一者。在一些实施例中，可在俘获对应图像的短时间窗内俘获每一测量集合。在一些实施例中，每一测量集合进一步包括以下各者中的一或多者：气压测量；或高度计测量；或磁力计测量。在一些实施例中，所述无线测量包括以下各者中的一或多者：无线广域网(WWAN)测量，包括以下各者中的一者：观测到达时间差(OTDOA)测量，或参考信号时间差(RSTD)测量，或高级前向链路三边测量(AFLT)测量，或混合AFLT测量；或无线局域网(WLAN)测量，包括接入点(AP)信号的射频(RF)测量。
在步骤1330中，可部分地基于所俘获图像及多个测量集合估计UE所穿越的轨迹。可例如通过以下操作估计所述轨迹：以绝对坐标获得所述结构附近的UE的位置；以及部分地基于以绝对坐标获得的所述UE的所述位置估计所述轨迹。在一些实施例中，可通过以下操作估计所述UE的轨迹：将视觉同时定位与地图绘制(VSLAM)技术应用于所述多个图像的子集以确定所述UE相对于所述子集中的每一图像的对应6自由度(6DOF)姿势，所述6DOF姿势是基于图像的所述子集中的关键点而确定；以及对于所述子集中的每一图像，部分地基于所述对应6DOF姿势及所述测量集合而以绝对坐标确定所述UE的对应姿势。在一些实施例中，对于所述子集中的每一图像，可通过以下操作以绝对坐标确定所述UE的对应姿势：将对应6DOF姿势及对应测量集合提供到扩展卡尔曼滤波器(EKF)，且所述EKF可部分地基于所提供信息而以绝对坐标确定所述UE的所述对应姿势。
在步骤1340中，可将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器。
在步骤1350中，可从服务器接收对齐到绝对坐标的结构的室内地图。所接收室内地图可基于所述所估计轨迹、所俘获图像及对应测量集合，且可包括关于UE的经校正轨迹的信息。
在一些实施例中，室内地图可包含对准到绝对坐标的多个层。所述多个对准的层可包含以下各者中的至少两者：平面图地图，或3维结构模型，或对未由标准绝热直减率模型预测到的气压压力的任何变化的注释，或对未由标准地球磁场模型预测到的磁场的任何变化的注释，或与被绘制地图的结构相关联的WWAN信号的衰减或延迟，或对所述结构内的WWAN信号强度的任何变化的注释，或与所述被绘制地图的结构相关联的WLAN信号的衰减或延迟，或所述结构内的WLANAP地点的指示，或所述结构内的WLAN场强度的指示，或所述结构内的WLANRTT延迟校准的指示。在一些实施例中，UE的经校正轨迹可对应于可以绝对坐标提供的UE的闭合回路轨迹。
本文在流程图及消息流程中描述的方法可依据应用由各种装置实施。例如，这些方法可以用硬件、固件、软件或其任何组合来实施。对于硬件实施，处理单元1152可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述功能的其它电子单元，或其组合内。
尽管出于指导性目的，结合具体实施例来说明本发明，但本发明不限于此。在不脱离本发明的范围的情况下可作出各种改编及修改。因此，所附权利要求书的精神及范围不应限于前述描述。

Claims (30)

1.一种在用户设备UE上的方法，其包括：
在穿越结构内的多个地点时俘获所述结构的内部的多个图像；
俘获多个测量集合，其中每一测量集合对应于至少一个图像，且每一测量集合包括惯性测量单元IMU测量或可用无线测量中的至少一者；
部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹；
将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器；以及
基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
2.根据权利要求1所述的方法，其中估计所述UE的所述轨迹包括：
以绝对坐标获得所述结构附近的所述UE的位置；以及
部分地基于以绝对坐标获得的所述UE的所述位置估计所述轨迹。
3.根据权利要求2所述的方法，其中估计所述UE的所述轨迹包括：
将视觉同时定位与地图绘制VSLAM技术应用于所述多个图像的子集以确定所述UE相对于所述子集中的每一图像的对应6自由度6DOF姿势，所述6DOF姿势是基于图像的所述子集中的关键点而确定；以及
对于所述子集中的每一图像，部分地基于所述对应6DOF姿势及所述测量集合而以绝对坐标确定所述UE的对应姿势。
4.根据权利要求3所述的方法，其中以绝对坐标确定所述UE的所述对应姿势包括：
对于所述子集中的每一图像，将所述对应6DOF姿势及所述对应测量集合提供到扩展卡尔曼滤波器EKF，其中所述EKF以绝对坐标确定所述UE的所述对应姿势。
5.根据权利要求1所述的方法，其中每一测量集合进一步包括以下各者中的一或多者：
气压测量；或
高度计测量；或
磁力计测量。
6.根据权利要求5所述的方法，其中室内地图包含对准到所述绝对坐标的多个层。
7.根据权利要求6所述的方法，其中所述多个对准的层包含以下各者中的至少两者：
平面图地图，或
3维结构模型，或
对未由标准绝热直减率模型预测到的气压压力的任何变化的注释，或
对未由标准地球磁场模型预测到的磁场的任何变化的注释，或
与所述被绘制地图的结构相关联的WWAN信号的衰减或延迟，或
对所述结构内的WWAN信号强度的任何变化的注释，或
与所述被绘制地图的结构相关联的WLAN信号的衰减或延迟，或
所述结构内的WLANAP地点的指示，或
所述结构内的WLAN场强度的指示，或
所述结构内的WLANRTT延迟校准的指示。
8.根据权利要求1所述的方法，其中所述无线测量包括以下各者中的一或多者：
包括以下各者中的一者的无线广域网WWAN测量：
观测到达时间差OTDOA测量，或
参考信号时间差RSTD测量，或
高级前向链路三边测量AFLT测量，或
混合AFLT测量；或
包括接入点AP信号的射频RF测量的无线局域网WLAN测量。
9.根据权利要求1所述的方法，其中所述UE的所述经校正轨迹对应于所述UE的闭合回路轨迹。
10.根据权利要求1所述的方法，其中方法是由所述UE上的地图绘制应用程序执行，其中所述地图绘制应用程序提供关于图像的所述俘获的指令。
11.一种用户设备UE，其包括：
摄像机，其经配置以在穿越结构内的多个地点时俘获所述结构的内部的多个图像；
多个传感器，所述传感器包括惯性测量单元IMU，
无线模块，其经配置以采集可用无线信号的测量，及
处理器，其耦合到所述摄像机、传感器及无线模块，其中所述处理器经配置以：
获得结构的所述内部的所述多个图像；
获得多个测量集合，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量或可用无线测量中的至少一者；
部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹；
将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器；以及
基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
12.根据权利要求11所述的UE，其中为估计所述UE的所述轨迹，所述处理器经配置以：
以绝对坐标获得所述结构附近的所述UE的位置；以及
部分地基于以绝对坐标获得的所述UE的所述位置估计所述UE的所述轨迹。
13.根据权利要求12所述的UE，其中为估计所述UE的所述轨迹，所述处理器经配置以：
将视觉同时定位与地图绘制VSLAM技术应用于所述多个图像的子集以确定所述UE相对于所述子集中的每一图像的对应6自由度6DOF姿势，所述6DOF姿势是基于图像的所述子集中的关键点而确定；以及
对于所述子集中的每一图像，部分地基于所述对应6DOF姿势及所述测量集合而以绝对坐标确定所述UE的对应姿势。
14.根据权利要求13所述的UE，其中为以绝对坐标确定对应于所述子集中的每一图像的所述UE的姿势，所述处理器经配置以：
对于所述子集中的每一图像，将所述对应6DOF姿势及所述对应测量集合提供到扩展卡尔曼滤波器EKF，其中所述EKF以绝对坐标确定所述UE的所述对应姿势。
15.根据权利要求11所述的UE，其中每一测量集合进一步包括以下各者中的一或多者：
气压测量；或
高度计测量；或
磁力计测量。
16.根据权利要求15所述的UE，其中室内地图包含对准到所述绝对坐标的多个层。
17.根据权利要求16所述的UE，其中所述多个对准的层包含以下各者中的至少两者：
平面图地图，或
3维结构模型，或
对未由标准绝热直减率模型预测到的气压压力的任何变化的注释，或
对未由标准地球磁场模型预测到的磁场的任何变化的注释，或
与所述被绘制地图的结构相关联的WWAN信号的衰减或延迟，或
对所述结构内的WWAN信号强度的任何变化的注释，或
与所述被绘制地图的结构相关联的WLAN信号的衰减或延迟，或
所述结构内的WLANAP地点的指示，或
所述结构内的WLAN场强度的指示，或
所述结构内的WLANRTT延迟校准的指示。
18.根据权利要求11所述的UE，其中所述无线测量包括以下各者中的一或多者：
包括以下各者中的一者的无线广域网WWAN测量：
观测到达时间差OTDOA测量，或
参考信号时间差RSTD测量，或
高级前向链路三边测量AFLT测量，或
混合AFLT测量；或
包括接入点AP信号的射频RF测量的无线局域网WLAN测量。
19.根据权利要求11所述的UE，其中所述UE的所述经校正轨迹对应于所述UE的闭合回路轨迹。
20.根据权利要求11所述的UE，其中所述处理器经配置以提供关于图像的所述俘获的用户指令。
21.一种用户设备UE，其包括：
成像装置，其经配置以在穿越结构内的多个地点时俘获所述结构的内部的多个图像；
感测装置，所述感测装置包括惯性测量单元IMU装置；
无线测量装置，其经配置以采集可用无线信号的测量；
用于获得结构的所述内部的所述多个图像的装置；
用于获得多个测量集合的装置，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量或可用无线测量中的至少一者；
用于部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹的装置；
用于将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器的装置；以及
用于基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图的装置，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
22.根据权利要求21所述的UE，其中用于估计所述UE的所述轨迹的装置包括：
用于以绝对坐标获得所述结构附近的所述UE的位置的装置，且其中所述用于估计所述UE的所述轨迹的装置部分地基于以绝对坐标获得的所述UE的所述位置估计所述UE的所述轨迹。
23.根据权利要求22所述的UE，其中用于估计所述UE的所述轨迹的装置包括：
用于将视觉同时定位与地图绘制VSLAM技术应用于所述多个图像的子集以确定所述UE相对于所述子集中的每一图像的对应6自由度6DOF姿势的装置，所述6DOF姿势是基于图像的所述子集中的关键点而确定；以及
用于对于所述子集中的每一图像，部分地基于所述对应6DOF姿势及所述测量集合而以绝对坐标确定所述UE的对应姿势的装置。
24.根据权利要求23所述的UE，其中用于以绝对坐标确定对应于所述子集中的每一图像的所述UE的姿势的装置包括：
用于对于所述子集中的每一图像，将所述对应6DOF姿势及所述对应测量集合提供到扩展卡尔曼滤波器EKF装置的装置，其中所述EKF装置以绝对坐标确定所述UE的所述对应姿势。
25.根据权利要求21所述的UE，其中每一测量集合进一步包括以下各者中的一或多者：
气压测量；或
高度计测量；或
磁力计测量。
26.一种包括指令的非暂时性计算机可读媒体，所述指令在由处理器执行时致使所述处理器经配置以：
在穿越结构内的多个地点时俘获所述结构的内部的多个图像；
俘获多个测量集合，其中每一测量集合对应于至少一个图像，且每一测量集合包括惯性测量单元IMU测量或可用无线测量中的至少一者；
部分地基于所述所俘获图像及所述多个测量集合估计所述UE的轨迹；
将所述所估计轨迹、所俘获图像及对应测量集合发送到无线地耦合到所述UE的服务器；以及
基于所述所估计轨迹、所俘获图像及对应测量集合从所述服务器接收所述结构的室内地图，其中所述室内地图对齐到绝对坐标且包括关于所述UE的经校正轨迹的信息。
27.根据权利要求26所述的计算机可读媒体，其中估计所述UE的轨迹的所述指令致使所述处理器：
以绝对坐标获得所述结构附近的所述UE的位置；以及
部分地基于以绝对坐标获得的所述UE的所述位置估计所述轨迹。
28.根据权利要求27所述的计算机可读媒体，其中估计所述UE的轨迹的所述指令致使所述处理器：
将视觉同时定位与地图绘制VSLAM技术应用于所述多个图像的子集以确定所述UE相对于所述子集中的每一图像的对应6自由度6DOF姿势，所述6DOF姿势是基于图像的所述子集中的关键点而确定；以及
对于所述子集中的每一图像，部分地基于所述对应6DOF姿势及所述测量集合而以绝对坐标确定所述UE的对应姿势。
29.根据权利要求28所述的计算机可读媒体，其中以绝对坐标确定所述UE的所述对应姿势的所述指令致使所述处理器：
对于所述子集中的每一图像，将所述对应6DOF姿势及所述对应测量集合提供到扩展卡尔曼滤波器EKF，其中所述EKF以绝对坐标确定所述UE的所述对应姿势。
30.根据权利要求26所述的计算机可读媒体，其中每一测量集合进一步包括以下各者中的一或多者：
气压测量；或
高度计测量；或
磁力计测量。
CN201480051831.XA 2013-09-27 2014-09-26 混合照片导航及地图绘制 Active CN105556329B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361883921P 2013-09-27 2013-09-27
US61/883,921 2013-09-27
US14/497,219 US9400930B2 (en) 2013-09-27 2014-09-25 Hybrid photo navigation and mapping
US14/497,219 2014-09-25
PCT/US2014/057702 WO2015048434A1 (en) 2013-09-27 2014-09-26 Hybrid photo navigation and mapping

Publications (2)

Publication Number Publication Date
CN105556329A true CN105556329A (zh) 2016-05-04
CN105556329B CN105556329B (zh) 2017-10-10

Family

ID=52739773

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480051831.XA Active CN105556329B (zh) 2013-09-27 2014-09-26 混合照片导航及地图绘制
CN201480052634.XA Active CN105579811B (zh) 2013-09-27 2014-09-26 用于外部混合照片制图的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480052634.XA Active CN105579811B (zh) 2013-09-27 2014-09-26 用于外部混合照片制图的方法

Country Status (6)

Country Link
US (4) US9400930B2 (zh)
EP (2) EP3049820B1 (zh)
JP (2) JP6072361B2 (zh)
KR (2) KR101753267B1 (zh)
CN (2) CN105556329B (zh)
WO (3) WO2015048397A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106403942A (zh) * 2016-08-30 2017-02-15 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
CN107223269A (zh) * 2016-12-29 2017-09-29 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN107218935A (zh) * 2017-05-23 2017-09-29 河南华泰规划勘测设计咨询有限公司 一种室内空间测绘数据管理系统
CN107257547A (zh) * 2017-07-18 2017-10-17 歌尔科技有限公司 设备定位方法及装置
CN107784633A (zh) * 2017-09-04 2018-03-09 黄仁杰 适用于平面测量的无人机航拍图像校准方法
CN107967699A (zh) * 2016-10-19 2018-04-27 财团法人资讯工业策进会 视觉定位装置及方法
CN108376415A (zh) * 2018-02-13 2018-08-07 中国联合网络通信集团有限公司 一种轨迹填充的方法及装置
CN108988974A (zh) * 2018-06-19 2018-12-11 远形时空科技（北京）有限公司 时间延时的测量方法、装置和对电子设备时间同步的系统
CN109154501A (zh) * 2016-06-09 2019-01-04 高通股份有限公司 视觉导航系统中的几何匹配
CN109584289A (zh) * 2017-09-28 2019-04-05 百度（美国）有限责任公司 适应地图创建中状态转换的系统和方法
CN109643373A (zh) * 2016-06-30 2019-04-16 奇跃公司 估计3d空间中的姿态
CN109831736A (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及客户端
CN110019570A (zh) * 2017-07-21 2019-07-16 百度在线网络技术（北京）有限公司 用于构建地图的方法、装置及终端设备
CN110706356A (zh) * 2019-09-19 2020-01-17 百度在线网络技术（北京）有限公司 路径绘制方法、装置、电子设备和存储介质
CN110866927A (zh) * 2019-11-21 2020-03-06 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111034286A (zh) * 2017-08-21 2020-04-17 索尼公司 用于报告定位数据的方法
CN111458735A (zh) * 2020-04-23 2020-07-28 内蒙古师范大学 自动识别指定位置闭合航线的方法及系统
CN111798536A (zh) * 2020-06-15 2020-10-20 北京三快在线科技有限公司 一种定位地图的构建方法及装置
CN111817775A (zh) * 2020-08-31 2020-10-23 亚太卫星宽带通信（深圳）有限公司 一种星地协同更新终端位置的方法及卫星通信系统
CN111879318A (zh) * 2019-05-03 2020-11-03 苹果公司 用于稳定定位估计的基于图像的技术
CN114967843A (zh) * 2022-03-31 2022-08-30 Oppo广东移动通信有限公司 终端配件、电子设备及定位方法

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9733091B2 (en) * 2007-05-31 2017-08-15 Trx Systems, Inc. Collaborative creation of indoor maps
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
CN102960037B (zh) * 2010-05-19 2016-08-10 诺基亚技术有限公司 物理上约束的无线电地图
US20160349057A1 (en) * 2010-10-13 2016-12-01 Elbit Systems Ltd. Multiple data sources pedestrian navigation system
US9625720B2 (en) * 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9400930B2 (en) 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
EP3228983A1 (en) 2014-05-05 2017-10-11 Hexagon Technology Center GmbH Surveying system
US9964409B1 (en) * 2014-05-27 2018-05-08 Apple Inc. Localized map generation
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US9488481B2 (en) * 2014-10-14 2016-11-08 General Electric Company Map presentation for multi-floor buildings
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
WO2016069499A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for surface informatics based detection with machine-to-machine networks and smartphones
US20160295548A1 (en) * 2015-04-03 2016-10-06 Hyundai Motor Company Apparatus for Controlling Message Receiving Mode and Method Thereof
US20160314592A1 (en) * 2015-04-23 2016-10-27 Nokia Technologies Oy Method and apparatus for registration of interior and exterior three dimensional scans based on a semantic feature of a structure
US10033941B2 (en) * 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US10878278B1 (en) * 2015-05-16 2020-12-29 Sturfee, Inc. Geo-localization based on remotely sensed visual features
US10390324B2 (en) * 2015-05-25 2019-08-20 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive measurement report mapping for UE positioning
CN107534840A (zh) * 2015-06-29 2018-01-02 尤比库姆特有限责任公司 在无线局域网络中的帧时间同步化
JP6594686B2 (ja) * 2015-07-14 2019-10-23 東急建設株式会社 三次元形状計測装置、三次元形状計測方法、及びプログラム
JP6546658B2 (ja) * 2015-07-16 2019-07-17 日本電信電話株式会社 衛星信号受信装置、衛星信号受信方法及びプログラム
US10324195B2 (en) 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
US9738399B2 (en) * 2015-07-29 2017-08-22 Hon Hai Precision Industry Co., Ltd. Unmanned aerial vehicle control method and unmanned aerial vehicle using same
US10048058B2 (en) * 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
CN107925718B (zh) * 2015-07-31 2020-09-11 深圳市大疆创新科技有限公司 用于图像处理的系统和方法
DE102015010264A1 (de) * 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
US10517062B2 (en) * 2015-08-12 2019-12-24 Lg Electronics Inc. Method for measuring location of user equipment in wireless communication system, and apparatus for performing same
US9952354B2 (en) 2015-09-11 2018-04-24 At&T Intellectual Property I, L.P. User equipment local barometric calibration
US9772395B2 (en) 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US10395116B2 (en) * 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
US10706615B2 (en) * 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US20170178330A1 (en) * 2015-12-17 2017-06-22 Institute For Information Industry System and method for interior mobile mapping
US10219782B2 (en) * 2016-01-29 2019-03-05 Noble Sensors, Llc Position correlated ultrasonic imaging
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames
US10591593B2 (en) 2016-03-19 2020-03-17 Hipscience, Llc Point of reference displacement and motion sensor
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US11232583B2 (en) * 2016-03-25 2022-01-25 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera
WO2017172778A1 (en) * 2016-03-28 2017-10-05 Sri International Collaborative navigation and mapping
WO2017171908A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Geo-information reporting for vehicle-to-vehicle sidelink communications
US10719983B2 (en) * 2016-04-06 2020-07-21 Anagog Ltd. Three dimensional map generation based on crowdsourced positioning readings
WO2017184040A1 (en) * 2016-04-20 2017-10-26 Telefonaktiebolaget Lm Ericsson (Publ) A wireless device, a positioning node and methods therein for positioning of a wireless device in a wireless communications network
US10234856B2 (en) * 2016-05-12 2019-03-19 Caterpillar Inc. System and method for controlling a machine
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
AU2017285718C1 (en) * 2016-06-14 2019-08-29 Rodney HERRING Software-defined radio earth atmosphere imager
TWI594643B (zh) * 2016-07-01 2017-08-01 晶睿通訊股份有限公司 無線收發系統、無線接收裝置及無線收發方法
CN107621265A (zh) * 2016-07-14 2018-01-23 百度在线网络技术（北京）有限公司 一种用于进行室内导航的方法和装置
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
EP3494549A4 (en) * 2016-08-02 2019-08-14 Magic Leap, Inc. SYSTEMS AND METHODS FOR FIXED AND INCREASED DISTANCE VIRTUAL REALITY
EP3501011A4 (en) * 2016-08-19 2020-09-09 Movidius Ltd. ROUTE PLANNING USING SPARKLING VOLUMETRIC DATA
US10928245B2 (en) * 2016-09-15 2021-02-23 Siteco Gmbh Light measurement using an autonomous vehicle
US10210603B2 (en) * 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
US10901420B2 (en) 2016-11-04 2021-01-26 Intel Corporation Unmanned aerial vehicle-based systems and methods for agricultural landscape modeling
JP7213809B2 (ja) * 2016-12-09 2023-01-27 トムトム グローバル コンテント ベスローテン フエンノートシャップ ビデオベースの位置決め及びマッピングの方法及びシステム
GB201621903D0 (en) * 2016-12-21 2017-02-01 Blue Vision Labs Uk Ltd Localisation
TW201823687A (zh) * 2016-12-30 2018-07-01 鴻海精密工業股份有限公司 導航系統及其使用方法
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
CN106899935B (zh) * 2017-01-18 2018-08-14 深圳大学 一种基于无线接收设备和摄像头的室内定位方法及系统
US11205283B2 (en) * 2017-02-16 2021-12-21 Qualcomm Incorporated Camera auto-calibration with gyroscope
US10816676B2 (en) * 2017-02-25 2020-10-27 Uti Limited Partnership GNSS/INS integration deep inside of inertial sensors
US10327218B2 (en) 2017-03-16 2019-06-18 Qualcomm Incorporated Robust downlink positioning
US10097757B1 (en) 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
CN110520904B (zh) * 2017-03-29 2023-07-25 乐天集团股份有限公司 显示控制装置、显示控制方法及程序
KR102309297B1 (ko) * 2017-03-31 2021-10-06 엘지전자 주식회사 단말기 및 그 제어 방법
GB201705767D0 (en) * 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
US11740083B2 (en) * 2017-05-04 2023-08-29 Google Llc Methods and apparatus for curbside surveying
US10664502B2 (en) 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10495762B2 (en) 2017-05-19 2019-12-03 Qualcomm Incorporated Non-line-of-sight (NLoS) satellite detection at a vehicle using a camera
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
CN107167143A (zh) * 2017-07-05 2017-09-15 乐高乐佳（北京）信息技术有限公司 基于关键点的导向性导航方法、装置及设备
GB201712126D0 (en) 2017-07-27 2017-09-13 Crofton Group Ltd 3D model generation system and method
US10375669B2 (en) * 2017-08-04 2019-08-06 Qualcomm Incorporated Methods and systems for locating a mobile device using an asynchronous wireless network
CN107577646A (zh) * 2017-08-23 2018-01-12 上海莫斐信息技术有限公司 一种高精度轨迹运算方法及系统
US10848199B1 (en) * 2017-08-29 2020-11-24 Syed Karim Systems and methods for communicating data over satellites
CN107703144A (zh) * 2017-08-29 2018-02-16 南京航空航天大学 一种用于辅助船舶检测的穿戴式设备及检测方法
CN107421537B (zh) * 2017-09-14 2020-07-17 桂林电子科技大学 基于惯性传感器刚体网格的物体运动姿态感知方法和系统
US10776652B2 (en) * 2017-09-28 2020-09-15 Baidu Usa Llc Systems and methods to improve visual feature detection using motion-related data
US10802157B2 (en) * 2017-09-28 2020-10-13 Apple Inc. Three-dimensional city models and shadow mapping to improve altitude fixes in urban environments
US11243291B2 (en) * 2017-10-27 2022-02-08 Lg Electronics Inc. Method for performing OTDOA-related operation by terminal in wireless communication system, and apparatus therefor
US11740321B2 (en) * 2017-11-30 2023-08-29 Apple Inc. Visual inertial odometry health fitting
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
CN108235256B (zh) * 2017-12-29 2021-09-14 幻视信息科技（深圳）有限公司 一种基于slam的复合定位方法、装置及存储介质
EP4250255A3 (en) * 2018-02-02 2024-03-13 Panasonic Intellectual Property Corporation of America Information transmitting method, and client device
EP3760974A4 (en) * 2018-02-28 2021-12-15 Furuno Electric Co., Ltd. NAVIGATION DEVICE, VSLAM CORRECTION PROCEDURE, SPATIAL INFORMATION APPRECIATION PROGRAM, VSLAM CORRECTION PROGRAM AND SPATIAL INFORMATION APPRECIATION PROGRAM
CN108490388B (zh) * 2018-03-13 2021-06-29 同济大学 一种基于uwb与vlc技术的多源联合室内定位方法
US10982968B2 (en) 2018-03-29 2021-04-20 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation
CN109029496B (zh) * 2018-05-30 2022-03-08 北京市遥感信息研究所 一种适用于大面阵光学相机单场地辐射定标方法
US10970924B2 (en) * 2018-06-17 2021-04-06 Foresight Ai Inc. Reconstruction of a scene from a moving camera
CN112544097A (zh) * 2018-07-06 2021-03-23 诺基亚技术有限公司 用于执行三维无线电模型构建的方法、装置和计算机程序
WO2020014706A1 (en) 2018-07-13 2020-01-16 Labrador Systems, Inc. Visual navigation for mobile devices operable in differing environmental lighting conditions
CN109074407A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
US11080877B2 (en) 2018-08-02 2021-08-03 Matthew B. Schoen Systems and methods of measuring an object in a scene of a captured image
US11200421B1 (en) * 2018-08-22 2021-12-14 United Services Automobile Association (Usaa) Guided inspection system and method
US10834532B2 (en) 2018-08-23 2020-11-10 NEC Laboratories Europe GmbH Method and system for wireless localization data acquisition and calibration with image localization
BR112021004229A2 (pt) 2018-09-07 2021-05-25 Huawei Technologies Co., Ltd. dispositivo e método para realizar localização e mapeamento simultâneos
CN109195106B (zh) * 2018-09-17 2020-01-03 北京三快在线科技有限公司 列车内定位方法和装置
EP3855216A4 (en) * 2018-09-21 2022-07-06 Furuno Electric Co., Ltd. NAVIGATION DEVICE AND METHOD AND PROGRAM FOR GENERATION OF NAVIGATION ASSISTANCE INFORMATION
KR101948728B1 (ko) * 2018-09-28 2019-02-15 네이버랩스 주식회사 데이터 수집 방법 및 시스템
US11061145B2 (en) * 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
CN109520503A (zh) * 2018-11-27 2019-03-26 南京工业大学 一种平方根容积模糊自适应卡尔曼滤波slam方法
EP3668197B1 (en) 2018-12-12 2021-11-03 Rohde & Schwarz GmbH & Co. KG Method and radio for setting the transmission power of a radio transmission
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
CN109859178B (zh) * 2019-01-18 2020-11-03 北京航空航天大学 一种基于fpga的红外遥感图像实时目标检测方法
US11004224B2 (en) * 2019-01-22 2021-05-11 Velodyne Lidar Usa, Inc. Generation of structured map data from vehicle sensors and camera arrays
US11105735B1 (en) * 2019-02-19 2021-08-31 United Services Automobile Association (Usaa) Systems and methods for detecting properties relating to building components
US10922831B2 (en) * 2019-02-20 2021-02-16 Dell Products, L.P. Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications
EP3933443A4 (en) * 2019-02-25 2022-12-28 Furuno Electric Co., Ltd. MOTIONAL INFORMATION CALCULATION DEVICE AND MOTIONAL INFORMATION CALCULATION METHOD
US11037018B2 (en) 2019-04-09 2021-06-15 Simmonds Precision Products, Inc. Navigation augmentation system and method
CN110376431A (zh) * 2019-05-29 2019-10-25 国网宁夏电力有限公司电力科学研究院 一种计量采集异常故障的解决方法
CN114556050A (zh) * 2019-06-17 2022-05-27 罗希特·塞思 使用具有漂移校正的运动传感器的相对位置跟踪
CN110519701B (zh) * 2019-08-15 2021-02-12 广州小鹏汽车科技有限公司 定位信息的创建方法、车载终端、服务器设备和定位系统
WO2021035471A1 (en) * 2019-08-26 2021-03-04 Beijing Voyager Technology Co., Ltd. Systems and methods for positioning a target subject
US10908299B1 (en) 2019-08-30 2021-02-02 Huawei Technologies Co., Ltd. User equipment positioning apparatus and methods
CN110634104B (zh) * 2019-09-05 2022-11-18 北京智行者科技股份有限公司 多地图拼接方法及装置
CN110645986B (zh) * 2019-09-27 2023-07-14 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110702139B (zh) * 2019-09-29 2021-08-27 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
WO2021068031A1 (en) * 2019-10-11 2021-04-15 Foundat Pty Ltd Geographically referencing an item
US11417104B2 (en) * 2019-11-01 2022-08-16 Walmart Apollo, Llc Systems and methods for automatically determining location of an object inside a retail store
CN111079654A (zh) * 2019-12-18 2020-04-28 济南大陆机电股份有限公司 一种基于图片识别的水文设备信息采集方法及系统
US20230186496A1 (en) * 2020-05-11 2023-06-15 Carnegie Mellon University Vision Sensing Device and Method
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
CN113691929B (zh) * 2020-05-15 2022-07-26 大唐移动通信设备有限公司 定位方法及装置
GB2596867A (en) * 2020-07-10 2022-01-12 Scout Drone Inspection As Inspection device for inspecting a building or structure
EP3944806A1 (de) * 2020-07-29 2022-02-02 Carl Zeiss Vision International GmbH Verfahren zum bestimmen des nahpunkts, zum bestimmen der nahpunktdistanz, zum bestimmen eines sphärischen brechwertes sowie zum herstellen eines brillenglases sowie entsprechende mobile endgeräte und computerprogramme
EP4050459A1 (en) * 2021-02-24 2022-08-31 V-Labs SA Calibration of a display device
CN112669250B (zh) * 2021-03-16 2021-09-17 湖北亿咖通科技有限公司 一种轨迹对齐方法及电子设备
US11567163B2 (en) * 2021-04-07 2023-01-31 Zebra Technologies Corporation Mobile device locationing
US11494920B1 (en) * 2021-04-29 2022-11-08 Jumio Corporation Multi-sensor motion analysis to check camera pipeline integrity
US20230003544A1 (en) * 2021-06-14 2023-01-05 Astra Navigation, Inc. Embedding a Magnetic Map into an Image File
CN113449058B (zh) * 2021-06-25 2023-06-02 安克创新科技股份有限公司 一种地图数据传输方法、清洁机器人及存储介质
US11741631B2 (en) 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture
CN113405555B (zh) * 2021-08-19 2021-11-23 智己汽车科技有限公司 一种自动驾驶的定位传感方法、系统及装置
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
WO2023118957A1 (en) * 2021-12-23 2023-06-29 Bosch Car Multimedia Portugal, S.A. System for distributed mapping of atmospheric attenuation in satellite communications
CN117517215A (zh) * 2023-11-09 2024-02-06 中国矿业大学 一记录生态资源变化状态的遥感检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151418A (zh) * 2005-04-29 2008-03-26 G&G诺芙尼威德米和克斯克德米有限公司 用于构建杂草地图的装置
WO2011014431A1 (en) * 2009-07-29 2011-02-03 Hemisphere Gps Llc System and method for augmenting dgnss with internally-generated differential correction
CN102109348A (zh) * 2009-12-25 2011-06-29 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
US20130083964A1 (en) * 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
CN103105852A (zh) * 2011-11-14 2013-05-15 联想(北京)有限公司 位移计算方法和设备及即时定位与地图构建方法和设备
US8532885B1 (en) * 2012-04-04 2013-09-10 Hemisphere Gnss Inc. Automatic GNSS signal allocation between remote and base receivers

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532770A (ja) 1998-11-20 2002-10-02 ジオメトリックス インコーポレイテッド 映像に関連してカメラポーズを決定する方法及びシステム
JP2006351024A (ja) * 2002-05-24 2006-12-28 Olympus Corp 視野一致型情報呈示システム及びそれに用いられる携帯情報端末
US7657079B2 (en) 2002-06-28 2010-02-02 Intel Corporation Single constraint at a time (SCAAT) tracking of a virtual reality (VR) display
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
US20050234679A1 (en) * 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
CN1954628A (zh) 2004-05-06 2007-04-25 三菱电机株式会社 移动终端、服务器、信息提供系统以及移动终端的通信方法、服务器的通信方法、信息提供系统的信息提供方法
US7848881B2 (en) 2005-07-05 2010-12-07 Containertrac, Inc. Automatic past error corrections for location and inventory tracking
US8483704B2 (en) 2005-07-25 2013-07-09 Qualcomm Incorporated Method and apparatus for maintaining a fingerprint for a wireless network
US7599789B2 (en) 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
WO2008024772A1 (en) 2006-08-21 2008-02-28 University Of Florida Research Foundation, Inc. Image-based system and method for vehicle guidance and navigation
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
US7628074B2 (en) 2007-03-15 2009-12-08 Mitsubishi Electric Research Laboratories, Inc. System and method for motion capture in natural environments
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
JP5396585B2 (ja) * 2008-05-02 2014-01-22 株式会社ジオ技術研究所 地物特定方法
US8259692B2 (en) 2008-07-11 2012-09-04 Nokia Corporation Method providing positioning and navigation inside large buildings
US8538688B2 (en) 2008-11-18 2013-09-17 Nokia Corporation User generated pedestrian and indoor shortcut routes for navigation systems
US20100178934A1 (en) 2009-01-13 2010-07-15 Qualcomm Incorporated Environment-specific measurement weighting in wireless positioning
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100255856A1 (en) 2009-04-03 2010-10-07 Microsoft Corporation Location Sensing Selection for Mobile Devices
US8290511B2 (en) 2009-10-01 2012-10-16 Qualcomm Incorporated Venue application for mobile station position estimation
US9157745B2 (en) 2010-01-14 2015-10-13 Qualcomm Incorporated Scalable routing for mobile station navigation with location context identifier
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
JP2011170599A (ja) * 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
JP5685828B2 (ja) * 2010-03-31 2015-03-18 富士通株式会社 可搬型携帯端末、可搬型携帯端末の測位プログラム及び測位システム
GB2479537B8 (en) 2010-04-12 2017-06-14 Vitec Group Plc Camera pose correction
US9641814B2 (en) 2010-05-19 2017-05-02 Nokia Technologies Oy Crowd sourced vision and sensor-surveyed mapping
US9229089B2 (en) * 2010-06-10 2016-01-05 Qualcomm Incorporated Acquisition of navigation assistance information for a mobile station
US20130202197A1 (en) 2010-06-11 2013-08-08 Edmund Cochrane Reeler System and Method for Manipulating Data Having Spatial Co-ordinates
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US8892118B2 (en) 2010-07-23 2014-11-18 Qualcomm Incorporated Methods and apparatuses for use in providing position assistance data to mobile stations
US9234965B2 (en) 2010-09-17 2016-01-12 Qualcomm Incorporated Indoor positioning using pressure sensors
US9286810B2 (en) 2010-09-24 2016-03-15 Irobot Corporation Systems and methods for VSLAM optimization
US8676623B2 (en) 2010-11-18 2014-03-18 Navteq B.V. Building directory aided navigation
KR101207535B1 (ko) * 2010-12-31 2012-12-03 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
US20120190379A1 (en) 2011-01-25 2012-07-26 T-Mobile Usa, Inc. Intelligent Management of Location Sensor
US8320939B1 (en) 2011-04-21 2012-11-27 Google Inc. Crowd-sourced information for interior localization and navigation
US8510041B1 (en) 2011-05-02 2013-08-13 Google Inc. Automatic correction of trajectory data
US20120303255A1 (en) 2011-05-26 2012-11-29 INRO Technologies Limited Method and apparatus for providing accurate localization for an industrial vehicle
US8787944B2 (en) * 2011-08-18 2014-07-22 Rivada Research, Llc Method and system for providing enhanced location based information for wireless handsets
WO2013040411A1 (en) 2011-09-15 2013-03-21 Honda Motor Co., Ltd. System and method for dynamic localization of wheeled mobile robots
US9155675B2 (en) 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
US20140031980A1 (en) 2011-11-11 2014-01-30 Jens-Steffen Gutmann Systems and methods for extending slam to multiple regions
US8626198B2 (en) 2011-11-16 2014-01-07 Qualcomm Incorporated Characterizing an indoor structure based on detected movements and/or position locations of a mobile device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
WO2013108243A1 (en) 2012-01-18 2013-07-25 Weisman Israel Hybrid-based system and method for indoor localization
US20130222369A1 (en) 2012-02-23 2013-08-29 Charles D. Huston System and Method for Creating an Environment and for Sharing a Location Based Experience in an Environment
JP5966542B2 (ja) * 2012-04-10 2016-08-10 富士通株式会社 軌跡解析装置および軌跡解析プログラム
US10082584B2 (en) 2012-06-21 2018-09-25 Microsoft Technology Licensing, Llc Hybrid device location determination system
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
WO2014160342A1 (en) * 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9400930B2 (en) 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101151418A (zh) * 2005-04-29 2008-03-26 G&G诺芙尼威德米和克斯克德米有限公司 用于构建杂草地图的装置
WO2011014431A1 (en) * 2009-07-29 2011-02-03 Hemisphere Gps Llc System and method for augmenting dgnss with internally-generated differential correction
CN102109348A (zh) * 2009-12-25 2011-06-29 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
US20130083964A1 (en) * 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
CN103105852A (zh) * 2011-11-14 2013-05-15 联想(北京)有限公司 位移计算方法和设备及即时定位与地图构建方法和设备
US8532885B1 (en) * 2012-04-04 2013-09-10 Hemisphere Gnss Inc. Automatic GNSS signal allocation between remote and base receivers

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109154501B (zh) * 2016-06-09 2020-01-24 高通股份有限公司 视觉导航系统中的几何匹配
CN109154501A (zh) * 2016-06-09 2019-01-04 高通股份有限公司 视觉导航系统中的几何匹配
US11765339B2 (en) 2016-06-30 2023-09-19 Magic Leap, Inc. Estimating pose in 3D space
CN109643373A (zh) * 2016-06-30 2019-04-16 奇跃公司 估计3d空间中的姿态
CN106403942B (zh) * 2016-08-30 2022-04-29 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
CN106403942A (zh) * 2016-08-30 2017-02-15 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
CN107967699A (zh) * 2016-10-19 2018-04-27 财团法人资讯工业策进会 视觉定位装置及方法
CN107223269A (zh) * 2016-12-29 2017-09-29 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN107218935A (zh) * 2017-05-23 2017-09-29 河南华泰规划勘测设计咨询有限公司 一种室内空间测绘数据管理系统
CN107257547A (zh) * 2017-07-18 2017-10-17 歌尔科技有限公司 设备定位方法及装置
CN107257547B (zh) * 2017-07-18 2020-05-22 歌尔科技有限公司 设备定位方法及装置
CN110019570B (zh) * 2017-07-21 2020-03-20 百度在线网络技术（北京）有限公司 用于构建地图的方法、装置及终端设备
CN110019570A (zh) * 2017-07-21 2019-07-16 百度在线网络技术（北京）有限公司 用于构建地图的方法、装置及终端设备
CN111034286A (zh) * 2017-08-21 2020-04-17 索尼公司 用于报告定位数据的方法
CN107784633A (zh) * 2017-09-04 2018-03-09 黄仁杰 适用于平面测量的无人机航拍图像校准方法
CN107784633B (zh) * 2017-09-04 2021-04-13 黄仁杰 适用于平面测量的无人机航拍图像校准方法
CN109584289B (zh) * 2017-09-28 2023-06-13 百度（美国）有限责任公司 用于对移动系统执行定位和地图创建的系统和方法
CN109584289A (zh) * 2017-09-28 2019-04-05 百度（美国）有限责任公司 适应地图创建中状态转换的系统和方法
CN109831736A (zh) * 2017-11-23 2019-05-31 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及客户端
CN108376415A (zh) * 2018-02-13 2018-08-07 中国联合网络通信集团有限公司 一种轨迹填充的方法及装置
CN108376415B (zh) * 2018-02-13 2022-01-21 中国联合网络通信集团有限公司 一种轨迹填充的方法及装置
CN108988974A (zh) * 2018-06-19 2018-12-11 远形时空科技（北京）有限公司 时间延时的测量方法、装置和对电子设备时间同步的系统
CN111879318A (zh) * 2019-05-03 2020-11-03 苹果公司 用于稳定定位估计的基于图像的技术
CN110706356A (zh) * 2019-09-19 2020-01-17 百度在线网络技术（北京）有限公司 路径绘制方法、装置、电子设备和存储介质
CN110866927B (zh) * 2019-11-21 2021-07-20 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN110866927A (zh) * 2019-11-21 2020-03-06 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111458735A (zh) * 2020-04-23 2020-07-28 内蒙古师范大学 自动识别指定位置闭合航线的方法及系统
CN111458735B (zh) * 2020-04-23 2023-02-24 内蒙古师范大学 自动识别指定位置闭合航线的方法及系统
CN111798536A (zh) * 2020-06-15 2020-10-20 北京三快在线科技有限公司 一种定位地图的构建方法及装置
CN111798536B (zh) * 2020-06-15 2024-03-22 北京三快在线科技有限公司 一种定位地图的构建方法及装置
CN111817775A (zh) * 2020-08-31 2020-10-23 亚太卫星宽带通信（深圳）有限公司 一种星地协同更新终端位置的方法及卫星通信系统
CN114967843A (zh) * 2022-03-31 2022-08-30 Oppo广东移动通信有限公司 终端配件、电子设备及定位方法

Also Published As

Publication number Publication date
KR20160063367A (ko) 2016-06-03
EP3049820A1 (en) 2016-08-03
US9947100B2 (en) 2018-04-17
EP3049821A2 (en) 2016-08-03
JP2016540186A (ja) 2016-12-22
US20160307328A1 (en) 2016-10-20
KR20160061401A (ko) 2016-05-31
JP6072360B2 (ja) 2017-02-01
CN105579811A (zh) 2016-05-11
JP2016540187A (ja) 2016-12-22
WO2015048434A1 (en) 2015-04-02
JP6072361B2 (ja) 2017-02-01
KR101753267B1 (ko) 2017-07-19
EP3049820B1 (en) 2019-12-25
KR101750469B1 (ko) 2017-07-04
US20150094089A1 (en) 2015-04-02
WO2015088628A3 (en) 2015-07-30
WO2015088628A2 (en) 2015-06-18
EP3049821B1 (en) 2019-01-02
US9405972B2 (en) 2016-08-02
US9400930B2 (en) 2016-07-26
CN105556329B (zh) 2017-10-10
US20150094952A1 (en) 2015-04-02
US20150092048A1 (en) 2015-04-02
WO2015048397A1 (en) 2015-04-02
CN105579811B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN105556329B (zh) 混合照片导航及地图绘制
KR102252566B1 (ko) 로케이션 서비스를 개선하기 위해 3차원 로케이션 정보를 사용하기 위한 시스템 및 방법
US9476717B2 (en) Simultaneous localization and mapping by using Earth's magnetic fields
CN110383099B (zh) 稳健下行链路定位
JP2018526626A (ja) 視覚慣性オドメトリ姿勢ドリフト較正
TW201350795A (zh) 使用地面實況量測的地圖修改
KR20130116923A (ko) 이미지 프로세싱에 기초한 카메라-기반 포지션 로케이션 및 네비게이션
US20190011262A1 (en) Checking map alignment
EP4332631A1 (en) Global optimization methods for mobile coordinate scanners
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
Ruotsalainen et al. The Present and Future of Indoor Navigation
Rydell et al. Chameleon v2: Improved imaging-inertial indoor navigation
US20220276394A1 (en) Map-aided satellite selection
Di Pietra Seamless Positioning and Navigation in Urban Environment
KR20220008328A (ko) 실제와 가상을 결합한 위치 추적 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant