CN105579811A - 外部混合照片制图 - Google Patents

外部混合照片制图 Download PDF

Info

Publication number
CN105579811A
CN105579811A CN201480052634.XA CN201480052634A CN105579811A CN 105579811 A CN105579811 A CN 105579811A CN 201480052634 A CN201480052634 A CN 201480052634A CN 105579811 A CN105579811 A CN 105579811A
Authority
CN
China
Prior art keywords
track
image
measurement
map
gnss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480052634.XA
Other languages
English (en)
Other versions
CN105579811B (zh
Inventor
M·L·默格里恩
C·布鲁纳
A·拉马南达恩
M·拉马钱德兰
A·狄亚吉
M·R·查里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN105579811A publication Critical patent/CN105579811A/zh
Application granted granted Critical
Publication of CN105579811B publication Critical patent/CN105579811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G01S5/0264—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems at least one of the systems being a non-radio wave positioning system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所揭示的实施例涉及基于捕获的图像和与每一所捕获图像相关联的测量集合将用户设备UE用于结构的3D外部包络的产生。在一些实施例中，捕获结构的一连串外部图像，且可同时获得包括惯性测量单元IMU测量、无线测量(包含全球导航卫星GNSS测量)和/或其它非无线传感器测量的对应的测量集合。可确定所述UE在全球坐标中的闭合回路轨迹，且可基于所述闭合回路轨迹和选自所述结构的所述一连串外部图像的图像子集中的特征点获得所述结构的3D结构包络。

Description

外部混合照片制图
对相关申请案的交叉参考
本申请案主张2014年9月25日申请的题为“外部混合照片制图(ExteriorHybridPhotoMapping)”的美国申请案第14/497,235号的权益和优先权，所述美国申请案主张2013年年9月27日申请的题为“在惯性导航的情境中使用特征辅助的偏离目标追踪(Off-TargetTrackingUsingFeatureAidingintheContextofInertialNavigation)”的美国临时申请案第61/883,921号的权益和优先权，所述两个申请案被以引用的方式全部并入本文中。
技术领域
本文中揭示的标的物大体涉及地面定位系统，且明确地说，涉及用于外部混合照片制图的系统和方法。
背景技术
制图技术正日益移动远离基于卫星成像和摄影测量的政府地图，到详细的局部化地图。大多数当前室外制图策略聚焦于使用能够收集大量数据的重设备且昂贵的“战争驾驶”车。然而，由战争驾驶车收集的数据常为私有的且不能由绝大多数移动装置用户使用。此外，因为战争驾驶车的使用限于车辆能进入的区域，所以用户常去的许多位置不能被制图。
另外，尝试使用GPS接收器、相机和线上绘图工具来制图已受到限制且繁琐。此外，尚无显著尝试来例如通过确定结构的大小、三维(3D)形状、定向和位置来对室外结构的外部制图。结构的巨大量使传统制图技术不可行。另一方面，所述许多这些未制图的结构留下了限制本地地图中的细节的空隙。此外，因为结构不断地拆毁、改建、更新或重建造，所以保持室外结构的外部的准确被更新地图常常成本过高。
因此，存在对于相关策略以成本节约方式获取且维持结构的外部地图的需求。
发明内容
在一些实施例中，一种在用户设备(UE)上的方法可包括：当穿越结构附近的多个位置时捕获所述结构的外部的多个图像；捕获多个测量集合，其中每一测量集合对应于至少一个图像且包括惯性测量单元(IMU)测量或具有用于可用无线测量的校正信息的所述无线测量中的至少一者；以及部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹。在一些实施例中，可将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应的测量集合中的一或多者发送到无线耦合到所述UE的服务器；且可从所述服务器接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络，其中所述接收到的经校正轨迹部分基于所述UE的所述估计的轨迹、捕获的图像和/或测量集合。
在另一方面，一种用户设备(UE)可包括：相机，其经配置以当穿越结构附近的多个位置时捕获所述结构的外部的多个图像；多个传感器，所述传感器包括惯性测量单元(IMU)；无线模块，其经配置以进行可用无线信号的测量，和获取用于所述无线测量的校正信息；以及一处理器，其耦合到所述相机、传感器和无线模块。另外，所述处理器可经配置以：获得结构的所述外部的所述多个图像；获得多个测量集合，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量和具有用于无线测量的校正信息的所述可用无线测量中的至少一者；部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹；将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应的测量集合中的一或多者发送到无线耦合到所述UE的服务器；以及部分基于所述UE的所述估计的轨迹、捕获的图像和测量集合接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络。
在另一方面，一种用户设备(UE)可包括：成像装置，其经配置以当穿越结构附近的多个位置时捕获所述结构的外部的多个图像；感测装置，所述感测装置惯性测量单元(IMU)装置；无线测量装置，其经配置以进行可用无线信号的测量，和获取用于所述无线测量的校正信息；用于获得结构的所述外部的所述多个图像的装置；用于获得多个测量集合的装置，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量和具有用于无线测量的校正信息的所述可用无线测量中的至少一者；用于部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹的装置；用于将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应的测量集合中的一或多者发送到无线耦合到所述UE的服务器的装置；以及部分基于所述UE的所述估计的轨迹、捕获的图像和测量集合接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络的装置。
在一些实施例中，一种非暂时性计算机可读媒体可包括在由处理器执行时使所述处理器经配置以进行以下操作的指令：当穿越结构附近的多个位置时捕获所述结构的外部的多个图像；捕获多个测量集合，其中每一测量集合对应于至少一个图像且包括惯性测量单元(IMU)测量或具有用于可用无线测量的校正信息的所述无线测量中的至少一者；部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹；将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应的测量集合中的一或多者发送到无线耦合到所述UE的服务器；以及部分基于所述UE的所述估计的轨迹、捕获的图像和测量集合接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络。
揭示的方法可由例如服务器(包含位置服务器)、移动台、移动装置等的一或多个UE使用LPP、LPPe或其它协议执行。揭示的实施例还涉及由处理器使用非暂时性计算机可读媒体或计算机可读存储器创建、存储、存取、读取或修改的软件、固件和程序指令。
附图说明
图1A展示说明使得能够以与所揭示的实施例一致的方式支持混合照片导航和制图的UE的某些示范性特征的示意性框图。
图1B展示示范性可佩戴用户装置。
图2展示能够将位置和/或导航服务提供到UE(包含位置辅助数据或位置信息的传送)的系统的架构。
图3A和3B展示指示在多种情形中的不同定位技术的可用性连同相关联的位置精确度、定位不明确性和功率消耗的表。
图4A为能够以与所揭示的实施例一致的方式执行制图的示范性应用程序400的框图。
图4B展示在可运行制图应用程序且自人造卫星(SV)和/或无线网络的信号接收可为可用的环境中的用户。
图5A展示用于无线地图产生的示范性方法的流程图。
图5B展示当UE沿着轨迹时在各种位置和时间点出现的视线和非视线条件。
图6展示与所揭示的实施例一致的制图数据收集的示范性方法的流程图。
图7展示在混合照片制图期间的示范性高阶数据流。
图8A和8B展示说明用于基于照片、无线、磁性和气压数据的地图产生的方法的流程图。
图9展示说明能够确定UE的位置的系统中一些实体的简化框图。
图10展示说明使得能够混合照片制图和导航的服务器的示意性框图。
图11展示与所揭示的实施例一致的混合照片制图的示范性方法的流程图。
具体实施方式
术语“用户装置(UD)”、“用户设备(UE)”在本文中可互换地使用且可指一种装置，例如，蜂窝式或其它无线通信装置、个人通信系统(PCS)装置、个人导航装置(PND)、个人信息管理器(PIM)、个人数字助理(PDA)、膝上型计算机或能够接收无线通信和/或导航信号的其它合适的移动装置。术语还希望包含例如通过短程无线、红外、有线连接或其它连接与个人导航装置(PND)通信的装置，不管在所述装置或所述PND处是否发生卫星信号接收、辅助数据接收和/或与位置有关的处理。UE可表示移动电话、记事本计算机或膝上型计算机，或其可为本文中出于创建街道地图和/或延迟和/或信号强度图的目的收集测量集的车辆。
另外，术语UD、UE、“移动台”、“移动装置”或“目标”希望包含所有装置，包含无线和缆线通信装置、计算机、膝上型计算机等，其能够例如经由因特网、Wi-Fi、蜂窝式无线网络、DSL网络、封包电缆网络或其它网络与服务器通信，且不管在所述装置处、在服务器处或在与所述网络相关联的另一装置处是否发生卫星信号接收、辅助数据接收和/或与位置有关的处理。上述各者的任何可操作的组合也被考虑为“用户装置”。
图1A展示说明使得能够支持基于无线信号与基于传感器的测量的组合的制图(包含基于相机或其它图像的技术)的UE100的某些示范性特征的示意性框图。另外，在一些实施例中，UE100也可通过组合基于图像的技术与基于无线信号和/或传感器的技术来支持混合照片制图。术语“混合”用以指使用基于传感器、基于图像和/或基于无线信号的技术中的一或多者的组合以与本文中揭示的实施例一致的方式执行制图和外部结构包络判定。在一些实施例中，UE100可支持混合照片制图。在一些实施例中，UE100可进一步支持混合照片导航和位置确定。
UE100可(例如)包含用一或多个连接120(例如，总线、线、纤维、连结等)操作性地相互耦合的一或多个处理单元或处理单元150、存储器130、收发器110(例如，无线网络接口)和(如可适用)GNSS或卫星定位系统(SPS)接收器140、光学传感器/相机180、磁力计、高度计、气压计和传感器组185(共同地被称作传感器185)、惯性测量单元(IMU)170、非暂时性计算机可读媒体160、显示器190和存储器130。在某些实例实施方案中，UE100的全部或部分可呈芯片组和/或类似者的形式。磁力计可能能够测量地球磁场的强度和/或方向，且可充当指南针和/或提供UE100的行进方向的指示。高度计可用以提供在经校准层面上的海拔的指示，而气压计可提供大气压力的指示，其也可用以获得海拔的判定。
可使GNSS/SPS接收器140能够接收与一或多个SPS资源相关联的信号。接收到的GNSS/SPS信号可用以确定UE100的位置。收发器110可(例如)包含使得能够在一或多个类型的无线通信网络上发射一或多个信号的传输器112和接收在一或多个类型的无线通信网络上发射的一或多个信号的接收器114。
在一些实施例中，UE100可包括例如CCD或CMOS传感器的图像传感器及/或相机180，其在下文被称作“相机180”。相机180可将光学图像转换成电子或数字图像，且可将捕获的图像发送到处理单元150。举例来说，如图1B中所展示，在一些实施例中，相机180可容纳于可佩戴用户装置中，且可操作耦合到UE100中的显示器190、处理单元150和/或其它功能单元。
在一些实施例中，处理单元150也可接收来自可包含磁力计、高度计和/或气压计的一或多个传感器185的输入。此外，传感器185可包含环境光传感器、声换能器(例如，麦克风/扬声器)、超声换能器和/或深度传感器中的一或多者，深度传感器可用以获取深度信息和/或确定到目标的距离。一般来说，在不详尽的传感器组185中的以上传感器的列表可包含正日益被并入到现代智能手机和其它用户设备内的各种其它类型的传感器和换能器。
在一些实施例中，UE100还可包含惯性测量单元(IMU)170。在一些实施例中，可包括3轴加速度计、3轴回转仪和/或磁力计的IMU170可将速度、定向和/或其它与位置有关的信息提供到处理单元150。在一些实施例中，IMU170可经配置以测量与相机180进行的每一图像帧的捕获同步的信息，且输出测量的信息，和/或由UE100中的传感器185进行的测量。在一些实施例中，IMU170的输出可由处理单元150用以确定UE100的位置及定向。
术语“无线测量”在本文中用以指SPS、蜂窝式、WLAN、WPAN和其它无线电信号的测量。术语“非无线测量”指包含(但不限于)IMU、气压计、高度计和磁力计测量的传感器测量。在一些实施例中，可将由UE进行的无线测量的捕获与非无线测量的捕获同步。另外，可将无线和/或非无线测量的捕获与由UE进行的图像的捕获同步。举例来说，测量(无线和/或非无线)和捕获的图像可带时间戳，且测量和图像可基于时间戳而相互关联。测量与图像和/或与彼此的关联可与测量/图像记录同时发生，和/或在基于与测量相关联的时间戳的稍后时间点发生。
术语“测量集合”用以指由UE在测量位置在一时间点或在时间点的某一指定间隔内执行的信号测量。进行的信号测量可与制图和/或位置确定有关。进行的信号测量也可取决于UE100、UE100的能力、环境特性和/或可用于UE100在特定位置/时间进行的测量的信号特性。典型地，测量集合可包括图像、无线测量和非无线测量，其中测量集合中的每一元素可已在时间点的某一指定时间间隔内记录。由UE100记录的测量集合可存储在UE100上的存储器130中和/或发送到服务器，在服务器处，其可经处理和/或与相关于那个测量位置的其它测量聚集在一起。举例来说，测量集合可存储在基站历书(BSA)中和/或用于制图/位置确定。
可使用硬件、固件与软件的组合来实施处理单元150。在一些实施例中，处理单元150可包含映射模块(MM)152、导航模块(NM)154和位置辅助数据模块(LADM)158。在一些实施例中，LADM158可处理接收到的位置辅助数据以估计UE的位置。位置辅助数据可呈分层地图信息的形式，例如，多路径且可见地图辅助信息、观测到达时间差(OTDOA)辅助信息(包含PRS辅助信息)等。在一些实施例中，处理单元150还可包含计算机视觉模块(CVM)155，其可实施多种图像处理和CV功能。
如本文中所使用的术语“地图层”指针对UE的位置和位置不确定性定制的信息，例如，位置辅助信息。地图的每一层可包括关于参数的信息，其中提供关于层共同的绝对或全球坐标的信息。一般来说，地图层可包括各种类型的信息。举例来说，地图层可包括以下各者中的一或多者：使接收信号强度与地图位置相关的接收信号强度地图层；使信噪比(SNR)与地图位置相关的SNR地图层；使前向链路校准(FLC)信息与地图位置相关的FLC层；等。
在一些实施例中，相机180可包含多个相机、前置和/或后置相机、广角相机，且也可并有CCD、CMOS和/或其它传感器。可为静态相机和/或摄像机的相机180可捕获环境的一系列2维(2D)静态和/或视频图像帧，且将所捕获图像帧发送到处理单元150。在一些实施例中，相机180可为可佩戴相机或外部相机，其可操作耦合到UE100中的其它功能单元，但容纳之处与其它功能单元分开。在一个实施例中，由相机180捕获的图像可呈原始未压缩格式，且可在经处理和/或存储在存储器160中前被压缩。在一些实施例中，图像压缩可由处理单元150(例如，由CVM155)使用无损或有损压缩技术来执行。
在一些实施例中，相机180可为深度感测相机或可耦合到深度传感器。术语“深度传感器”用以指可用以独立和/或与相机180一起获得用于环境的深度信息的功能单元。在一些实施例中，可包括RGBD相机，除了色彩(RGB)图像之外，当启用深度传感器时，其还可捕获每像素深度(D)信息。作为另一实例，在一些实施例中，相机110可呈3D飞行时间(3DTOF)相机的形式。在具有3DTOF相机110的实施例中，深度传感器可呈耦合到3DTOF相机110的频闪光灯的形式，其可照亮场景中的物件，且反射光可由相机110中的CCD/CMOS传感器捕获。可通过测量光脉冲行进到目标且回到传感器所花时间来获得深度信息。
作为另一实例，深度传感器可呈耦合到相机110的光源的形式。在一个实施例中，光源可将可由一或多个窄频带的光组成的结构化或纹理化的光图案投影到场景中的物件上。接着可通过利用由物件的表面形状引起的经投影图案的几何失真来获得深度信息。在一个实施例中，可从例如对齐到RGB相机的红外结构光投影仪与红外相机的组合的立体传感器获得深度信息。在一些实施例中，相机180可为能够捕获3维(3D)图像的立体相机。在另一实施例中，相机180可包含能够估计深度信息的深度传感器。举例来说，深度传感器可形成无源立体视觉传感器的部分，无源立体视觉传感器可使用两个或两个以上相机获得场景的深度信息。可使用捕获的场景中的两个相机共同的点的像素坐标连同相机姿势信息和/或三角测量技术来获得每像素深度信息。在一些实施例中，当深度传感器不在使用中时，可停用深度传感器。举例来说，可将深度传感器置于待用模式中，或当不使用时断电。在一些实施例中，处理器150可在一或多个时间点停用(或启用)深度感测。
处理单元150也可执行处理由相机180捕获的图像帧的软件。举例来说，处理单元150可能能够处理从相机180接收的一或多个图像帧以确定相机180的姿势，从而实施各种计算机视觉和图像处理算法和/或执行对应于从相机180接收的图像的环境的3D重建。相机180的姿势指相机180相对于参考系的位置和定向。在一些实施例中，可针对6自由度(6-DOF)确定相机姿势，所述6自由度指三个平移分量(其可由参考系的X、Y、Z坐标给定)和三个角度分量(例如，相对于同一参考系的横滚、俯仰和偏航)。
在一些实施例中，相机180和/或UE100的姿势可由处理单元150使用视觉追踪解决方案基于由相机180捕获的图像帧来判定和/或追踪。在一些实施例中，CVM155可使用例如专用集成电路(ASIC)、数字信号处理器(DSP)和/或专用处理器(例如，处理单元150)的专用电路来实施。在一些实施例中，CVM155可包含与UE100上的一或多个其它处理器通信的功能性。
在一些实施例中，CVM155可实施各种计算机视觉和/或图像处理方法，例如3D重建、图像压缩和滤波。CVM155也可实施基于计算机视觉的追踪、基于模型的追踪、同时定位与制图(SLAM)等。在一些实施例中，由CVM155实施的方法可基于由相机180捕获的色彩或灰阶图像数据，其可用以产生相机的6-DOF姿势测量结果的估计。
SLAM指一类技术，其中在创建环境的地图(例如，正由UE100模型化的环境的地图)的同时追踪UE100相对于所述地图的姿势。SLAM技术包含视觉SLAM(VLSAM)，其中由相机(例如，UE100上的相机180)俘获的图像可用以在创建环境的地图的同时追踪所述相机相对于所述地图的姿势。VSLAM因此可涉及在追踪相机的6DOF姿势的同时确定周围环境的3-D结构。举例来说，在一些实施例中，VSLAM技术可检测一或多个所捕获图像帧中的突出特征补片或关键点或特征描述符，且将所捕获的成像帧作为关键帧或参考帧存储。在基于关键帧的SLAM中，可接着(例如)通过比较当前所捕获图像帧与一或多个先前捕获和/或存储的关键帧来确定相机的姿势。图像特征描述符可为此项技术中熟知的尺度不变特征变换(SIFT)、加速稳固描述符(SURF)等形式。确定的/存储的图像描述符可在稍后时点由图像或物件检测器用以确定UE的姿势。
在一些实施例中，CVM155可包括3D重建模块，其可使用相机姿势及每像素地图信息来创建环境的3D模型或表示。在一些实施例中，可使用专用电路实施3D重建模块，所述专用电路例如专用集成电路(ASIC)、数字信号处理器(DSP)和/或专用处理器(例如，处理单元150)。3D重建模块可使用点云中的一组3D点来获得结构的3D模型，可从结构的图像确定所述点。
在一个实施例中，处理单元150可通过使用单筒VSLAM技术建置UE100周围的环境的粗略地图以用于相机180的准确且稳固6DOF追踪来轨道相机180的位置。术语单筒指使用单一非立体相机捕获图像或无深度信息的所捕获的图像。
可以多种方式实现追踪空间坐标系统中的UE和/或相机姿势。在卫星定位系统(SPS)信号不可用或不可靠的情况下，例如，在密集型户外环境中，可使用视觉与惯性追踪系统的组合来进行此追踪。举例来说，由相机180捕获的图像可与由IMU170和/或传感器组185中的传感器(例如，高度计、气压计、磁力计等)进行的测量和/或其它无线测量(例如，WWAN信号测量)一起用以确定UE100和/或相机180的姿势。在一些实施例中，基于VSLAM的技术可部分用以校正IMU170中的错误(例如，偏差和漂移)。在可用的情况下，也可使用GPS坐标提供位置信息。在一些实施例中，混合视觉惯性追踪器可并有具有扩展卡尔曼滤波器(EKF)的SLAM/VSLAM系统，从而将各种输入提供到EKF以追踪相机180和/或UE100的姿势。卡尔曼滤波器(KF)为用于追踪和姿势估计的广泛使用的方法。具体来说，KF递归地对随着时间的过去的一连串噪声输入测量结果操作以产生底层系统状态的统计上最佳的估计(其可包含未知变量的估计)。EKF线性化非线性模型以促进KF的应用。
在一些实施例中，相机的姿势可用以重新校准IMU170中的传感器，和/或补偿和/或去除与传感器185和/或IMU170中的传感器的测量结果的偏差。举例来说，IMU170和/或传感器185可输出与由UE100中的相机180进行的每一图像帧的捕获同步的经测量信息。当可(例如)基于VLSAM准确地估计相机姿势(例如，图像中的一或多个对应特征点的成功检测)时，则可使用VSLAM估计的相机姿势对由IMU170和/或传感器185进行的测量应用校正，和/或重新校准IMU170/传感器185，使得由IMU170和/或传感器185进行的测量可更紧密地追踪VSLAM确定的姿势。
在另一实施例中，可与由相机180进行的深度图像的捕获一起捕获的来自深度传感器的深度数据可用以实时(或离线)产生且递增地更新环境的3D或体积模型。举例来说，可通过基于观测到的可用深度数据追踪相对于3D模型的实况深度图像帧来获得当前相机姿势。作为一个实例，在一连串捕获的深度图像中的每一深度图像可与实时SLAM一起用以产生和/或递增地更新3D模型，同时基于每一帧中的深度数据追踪相机180的姿势。借助于深度传感器和SLAM技术，用户可能能够产生平滑递增更新的3D重建。在一些实施例中，为了省电，当基于SLAM的3D重建技术确定对于现有3D模型来说新的信息已被成像时，可使深度传感器能够获取深度信息。
另外，在3D重建能力为不可用UE100的个例中，所捕获图像数据连同相机姿势和与图像帧的捕获或相机姿势的确定一起捕获或测量的其它传感器数据可存储在存储器130、媒体160中，和/或使用发射器114发送到服务器，其中数据可经离线处理以获得环境的3D模型和/或地图。因此，本文中揭示的一或多个方法也可由与UE100通信的服务器离线执行。
在一些情况下，3D模型可呈可用以显现正被模型化的3D环境的纹理化3D网格、体积数据集合、CAD模型、线框模型等的形式。举例来说，在使用3D网格的实施例中，可使用VSLAM技术中的关键帧来获取环境的点云表示。术语点云指坐标系统(例如，具有X、Y和Z坐标的3D坐标系统)中的一组数据点。然后可使用适当的分散数据内插方法将点云表示转换成3D网格。在一些情况下，可在3D重建期间获得与使用基于一组分散数据点的稀疏点云表示。
另外，在一些实施例中，处理单元150可进一步包括定位引擎(PE)或位置确定模块(PDM)156(下文，PDM156)，其可独立地使用从图像、传感器和由UE100进行的无线测量导出的信息或结合接收到的位置辅助数据确定UE100的位置和位置不确定性估计。举例来说，LADM158可处理包括多路径和可见地图辅助信息的位置辅助信息、PRS时序图案和/或静音信息等，所述信息可接着由处理单元150用以选择信号获取/测量策略和/或确定初始位置。在一些实施例中，处理单元150也可能能够直接或与图1A中展示的一或多个其它功能块一起处理包含辅助信息的各种其它接收到的例如长期演进(LTE)定位协议(LPP)或LPP扩展(LPPe)消息。
在一些实施例中，UE100可包含可为内部或外部的一或多个UE天线(未图示)。UE天线可用以发射和/或接收由收发器110和/或SPS接收器140处理的信号。在一些实施例中，UE天线可耦合到收发器110和SPS接收器140。在一些实施例中，由UE100接收(发射)的信号的测量可在UE天线与收发器110的连接点处执行。举例来说，用于接收(发射)的RF信号测量的参考的测量点可为接收器114(发射器112)的输入(输出)端子和UE天线的输出(输入)端子。在具有多个UE天线或天线阵列的UE100中，天线连接器可被看作表示多个UE天线的聚集输出(输入)的虚拟点。在一些实施例中，UE100可测量包含信号强度的接收的信号，并且可由处理单元150处理TOA测量结果和原始测量结果。
取决于应用，本文中所描述的方法可由各种装置来实施。举例来说，可使用硬件、固件、软件或其任何组合中的模块来实施这些方法。对于硬件实施方案，处理单元150可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元或其组合内。
对于固件和/或软体实施方案，可使用执行本文中所描述的功能的代码、程序、功能等等来实施所述方法。在实施本文中所描述的方法时，可使用任何有形地体现指令的机器可读媒体。举例来说，软件代码可存储在连接到处理单元150且由处理单元150执行的非暂时性计算机可读媒体160或存储器130中。存储器可实施于处理器单元内或处理器单元外部。如本文中所使用，术语“存储器”指任何类型的长期、短期、易失性、非易失性或其它存储器，且不应限于任何特定类型的存储器或任何特定数目个存储器或其上存储有存储器的任何特定类型的媒体。在一些实施例中，存储器130可持有有助于混合照片导航和制图、图像处理、SLAM、追踪、模型化、3D重建和由处理器150上的MM152、NM154、CVM155和/或PDM156执行的其它任务。举例来说，存储器160可持有数据、捕获的静态图像、深度信息、视频帧、程序结果、3D模型、关键帧以及由IMU170、各种传感器185提供的数据。
如果以固件和/或软件实施，那么功能可作为一或多个指令或程序代码存储在计算机可读媒体(例如，媒体160和/或存储器130)上。实例包含编码有计算机程序和与所述程序相关联或由所述程序使用的数据的计算机可读媒体。举例来说，包含存储于其上的程序代码的计算机可读媒体可包含以与所揭示的实施例一致的方式支持混合照片制图和导航的程序代码。所述代码可部分通过使用位置辅助信息进一步支持高级前向链路三边测量(AFLT)/混合AFLT/参考信号时间差(RSTD)/OTDOA测量和定位。计算机可读媒体160包含物理计算机存储媒体。存储媒体可为可由计算机存取的任何可用的媒体。借助于实例而非限制，此非暂时性计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM、闪存或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用以存储呈指令和/或数据的形式的所要程序代码且可由计算机访问的任何其它媒体；如本文中所使用的磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。
除了存储在计算机可读媒体160上之外，还可将指令和/或数据提供为通信设备中包含的发射媒体上的信号。举例来说，通信设备可包含可通过接收器112接收指示指令和数据的信号的收发器110。指令和数据可使一或多个处理器实施混合照片制图和导航和/或AFLT/混合AFLT/RSTD/OTDOA测量和定位，和/或本文中概述的其它功能。即，通信设备包含具有指示执行所揭示的功能的信息的信号的发射媒体。
存储器130可表示任何数据存储机构。存储器130可包含(例如)主存储器和/或辅助存储器。主存储器可包含(例如)随机存取存储器、只读存储器等。虽然在此实例中说明为与处理单元150分开，但应理解，主存储器的全部或部分可在处理单元150内提供，或以其它方式与处理单元150处于相同位置/与处理单元150耦合。辅助存储器可包含(例如)与主存储器和/或一或多个数据存储装置或系统相同或类似类型的存储器，例如，硬盘驱动器、光盘驱动器、磁带驱动器、固态存储器驱动器等。
在某些实施方案中，辅助存储器可操作性地收纳或以其它方式可配置以耦合到非暂时性计算机可读媒体160。因而，在某些实例实施方案中，本文中提出的方法和/或设备可整体或部分呈可包含存储于其上的计算机可实施指令1108的计算机可读媒体160的形式，所述指令如果由至少一个处理单元150执行，那么可操作性地使其能够执行如本文中所描述的实例操作的全部或部分。计算机可读媒体160可为存储器130的一部分。
另外，UE100可包含能够显现彩色图像(包含3D图像)的屏幕或显示器190。在一些实施例中，显示器190可用以显示由相机180、图形用户接口(GUI)、程序输出等捕获的实况图像。在一些实施例中，显示器190可包括触摸屏和/或与触摸屏容纳在一起以准许用户经由虚拟键盘、图标、菜单或其它图形用户接口(GUI)、用户手势和/或输入装置(例如，触笔和其它写入实施)的某一组合输入数据。在一些实施例中，可使用液晶显示器(LCD)显示器或发光二极管(LED)显示器(例如，有机LED(OLED)显示器)来实施显示器190。在其它实施例中，例如，如图1B中所展示，显示器190可为可操作耦合到相机180、处理单元150和/或UE100中的其它功能单元的可佩戴显示器或抬头显示器。
图2展示能够将位置和/或导航服务提供到UE(包含位置辅助数据或位置信息的传送)的系统200的架构。在一些情况下，系统200可以与本文中揭示的实施例一致的方式用于制图服务，例如，用于供混合照片制图使用。
举例来说，在一些情况下，服务器250可任选地将地图或其它位置辅助信息发送到UE100(或多个UD100)，所述地图或信息可由UE100用以估计大致位置。另外，可将可由UE100捕获的一或多个图像帧、视频和/或其它测量结果发送到服务器150。举例来说，在一些情况下，基于接收到的位置辅助数据(例如，由LADM158)，UE100可获得包含无线信号测量和/或可与由相机180进行的图像的捕获一起捕获的使用传感器185的测量的测量结果。捕获的图像和/或测量结果可由UE100本地使用和/或可发送到服务器250。举例来说，捕获的图像和测量结果可由UE100和/或服务器150用以产生或更新位置的模型/地图和/或更新基站历书(BSA)数据。可接着将经更新的数据/BSA数据发送到一或多个UE100，作为位置辅助数据。
如图2中所说明，UE100可通过网络230和可与网络230相关联的基站天线240-1到240-4(共同地被称作天线240)与服务器250通信。在一些情况下，服务器250可提供制图服务器、位置服务器、BSA服务器、位置确定实体(PDE)或另一网络实体中的一或多者的功能性。位置和其它信息的传送可以适于UE100及服务器250两者的速率发生。
在一些实施例中，系统100可使用例如UE100与服务器250之间的LPP或LPPe消息的消息。LPP协议为众所周知的，且描述于来自被称为第三代合作伙伴计划(3GPP)的组织的各种公开可获得技术规范中。LPPe已由开放移动联盟(OMA)定义并且可与LPP组合使用使得每一组合的LPP/LPPe消息将为包括嵌入式LPPe消息的LPP消息。
在一些实施例中，UE100可接收并且测量来自基站天线240的信号，所述信号可用于位置确定。天线240可形成无线通信网络的部分，所述网络可为无线广域网(WWAN)、无线局域网(WLAN)、无线个人局域网(WPAN)等等。术语“网络”与“系统”通常在本文中可互换地使用。WWAN可为码分多址(CDMA)网络、时分多址(TDMA)网络、频分多址(FDMA)网络、正交频分多址(OFDMA)网络、单载波频分多址(SC-FDMA)网络、长期演进(LTE)、WiMax等等。
CDMA网络可实施一或多个无线电接入技术(RAT)，例如，cdma2000、宽带CDMA(W-CDMA)等等。Cdma2000包含IS-95、IS-2000和IS-856标准。TDMA网络可实施全球移动通信系统(GSM)、数字高级移动电话系统(D-AMPS)或某种其它RAT。GSM、W-CDMA及LTE描述于来自被称为“第三代合作伙伴计划”(3GPP)的组织的文献中。Cdma2000描述于来自名称为“第3代合作伙伴计划2”(3GPP2)的协会的文献中。3GPP和3GPP2文献是可公开获得的。WLAN可为IEEE802.11x网络，且WPAN可为蓝牙网络、IEEE802.15x或某种其它类型的网络。所述技术还可结合WWAN、WLAN和/或WPAN的任何组合来实施。举例来说，天线240和网络230可形成例如演进型UMTS陆地无线接入网(E-UTRAN)(LTE)网络、W-CDMAUTRAN网络、GSM/EDGE无线接入网(GERAN)、1xRTT网络、演进数据优化(EvDO)网络、WiMax网络或WLAN的部分。
UE100也可接收来自共同地被称作航天器(SV)280的一或多个地球轨道SV280-1到280-4的信号，所述SV可为SPS/GNSS的部分。举例来说，SV280可在GNSS群集中，例如，美国全球定位系统(GPS)、欧洲伽利略系统、俄罗斯格洛纳斯(Glonass)系统或中国指南针系统。根据某些方面，本文中所提出的技术并不限于SPS的全球系统(例如，GNSS)。举例来说，本文中所提供的技术可应用于或另外经启用以用于在各种区域性系统中使用，例如，日本上方的准天顶卫星系统(QZSS)、印度上方的印度区域性导航卫星系统(IRNSS)和/或可与一或多个全球和/或区域性导航卫星系统相关联或另外经启用以供一或多个全球和/或区域性导航卫星系统使用的各种扩增系统(例如，基于卫星的扩增系统(SBAS))。借助实例但非限制，SBAS可包含提供完整性信息、差分校正等的扩增系统，例如，广域扩增系统(WAAS)、欧洲地球同步卫星导航叠加服务(EGNOS)、多功能卫星扩增系统(MSAS)、GPS辅助地理扩增导航或GPS和地理扩增导航系统(GAGAN)和/或类似者。因此，如本文所使用，SPS可包含一或多个全球和/或区域性导航卫星系统和/或扩增系统的任何组合，且SPS信号可包含SPS、类似SPS和/或与此一或多个SPS相关联的其它信号。
为简单起见，仅一个UE100和服务器250展示于图2中。一般来说，系统100可包括由245-k(0≤k≤Ncells，其中Ncells为小区的数目)指示的多个小区，并具有额外网络230、LCS客户端260、UD100、服务器250、(基站)天线240和航天器(SV)280。系统100可以与本文中揭示的实施例一致的方式进一步包括包含宏小区和毫微微小区的小区的混合。
UE100可能能够通过支持定位及位置服务的一或多个网络230与服务器250无线通信，所述服务可包含(但不限于)由OMA定义的安全用户平面位置(SUPL)位置解决方案及由供LTE服务网络使用的3GPP定义的控制平面位置解决方案。举例来说，可代表LCS客户端260执行位置服务(LCS)，所述LCS客户端访问服务器250(其可提供与位置服务器相关联的功能性)且发出对UE100的位置的请求。服务器250可接着用对UE100的位置估计响应LCS客户端260。LCS客户端260也可被称为SUPL代理，例如，当由服务器250和UE100使用的位置解决方案为SUPL时。在一些实施例中，UE100还可包含LCS客户端或SUPL代理(图1中未展示)，其可将位置请求发出到某一能够定位的功能件(例如，UE100内的PDM156)且稍后接收回对UE100的位置估计。UE100内的LCS客户端或SUPL代理可执行针对UE100的用户的位置服务，例如，提供导航方向或识别UE100附近的兴趣点。
服务器250可呈SUPL位置平台(SLP)、演进型服务移动位置中心(eSMLC)、服务移动位置中心(SMLC)、网关移动位置中心(GMLC)、位置确定实体(PDE)、独立SMLC(SAS)和/或类似者的形式。
如图2中所说明，UE100可通过网络230和天线240(其可与网络230相关联)与服务器250通信。UE100可接收且测量来自天线240的信号，其可用于位置确定。举例来说，UE100可接收且测量来自可分别与小区245-1、245-2、245-3和245-4相关联的天线240-1、240-2、240-3和/或240-4中的一或多者的信号，以便有助于位置确定。作为另一实例，UE100可使用混合定位位置方案，使用UE100上的全球定位系统(GPS)接收器且基于来自传感器185的测量和/或捕获的图像结合AFLT和GPS测量(例如，来自SV280)计算其定位。在一些实施例中，可使用GNSS、地面测量(例如，AFLT、小区扇区测量、WLAN测量、OTDOA)和/或传感器测量(例如，使用IMU170、传感器185、相机或图像传感器(其可包含深度传感器)等的测量)的组合获得位置估计。
在一些实施例中，获得的位置估计可为粗略的和/或初始位置估计并且可以与所揭示的实施例一致的方式改进。一般来说，由UE100进行的测量可与与网络有关的测量(例如，存储在BSA中的测量)组合，以增强UE100和/或天线240的计算的位置的可用性和准确性。
作为另一实例，在基于OTDOA的定位(其供WCDMA和LTE使用)中，UE100可测量来自多个基站天线240的接收的信号的时间差。因为天线240的位置已知，所以可使用观测的时间差计算UE100的位置。举例来说，被称为参考信号时间差(RSTD)的定位参考信号(PRS)的测量的到达时间差可与每一小区的绝对或相对发射时序和用于参考和相邻小区的天线240的已知位置一起使用来计算UE100的位置。
在供CDMA使用的基于AFLT的定位中，UE100可测量导频信号的相位，所述信号经同步至绝对时间标度(例如，GPS时间)，并且从四个基站天线240-1到240-4发射。来自天线240-i(1≤i≤4)的导频信号的测量的相位可用以计算UE100与个别天线之间的距离。假设天线240的时间偏移已知，距离测量的集合可用以计算UE100的位置。
UE100可通过比较小区信号的到达时间与绝对时间标度来获得前向链路小区信号的时间同步的量度。UE100可在此测量时记录已知GPS位置和GPS时间，并且使用如天线240-1的小区发射器的已知位置，可确定小区信号的到达时间偏差。
小区信号的时间偏差的确定被称为前向链路校准(FLC)。在一些情况下，UE100可将原始测量信息发送到服务器250，所述服务器可执行前向链路校准。举例来说，将距离校正量化为前向链路校准值(FLC)。FLC改善定位精度，因为甚至小区之间约为100ns的同步变化将转化为30米的测距误差。因此，FLC准确性有助于地面定位系统中的理想性能。然而，甚至在小区245内，FLC可随UE的位置基于多种因素(例如，信号衰减、堵塞、多路径等)而变化。举例来说，在堵塞和/或多路径较普遍的密集型都市环境中，对环境制图以确定外部结构包络和/或获得准确位置估计可呈现难题。举例来说，例如来自SV280和/或来自一或多个天线240的信号的各种信号可为不可用的或弱的，由此限制仅基于无线信号的位置确定技术。
因此，本文中揭示的实施例有助于使用本文中揭示的混合照片制图和导航技术在室内环境中的制图和导航，且由此改良位置估计且扩展地面定位系统部署和利用。
图3A和3B展示指示在多种情形中的不同定位技术的可用性连同相关联的位置精确度、定位不明确性和功率消耗的表。位置不明确性指使用所述技术确定的位置不正确的可能性。举例来说，在不同位置处拍摄的两个图像中的若干特征点可匹配，从而使得难以确定用户装置的实际位置。
如图3A中所展示，基于SPS的定位技术通常在全球范围内在室外高度可用，展现高室外精确度、低室外位置不明确性和合理的功率消耗。另外，到卫星的视线(LOS)有助于与SPS系统的时间拼接。时间拼接指准确地使从各种传感器获得的测量与共同时间标度上的捕获的图像相关且对准的能力。
惯性导航技术在室内和在室外高度可用，且展现合理的功率消耗，但由于漂移和其它偏差，其精确度为通常自中等到良好的较低测距。IMU测量更易时间拼接且与其它测量相关。
照片导航在室外高度可用，但展现较高功率消耗和较高室外位置不明确性。举例来说，有时可在各种不同位置获得类似图像，从而使在无额外图像和/或其它感官输入的情况下对单一位置的识别困难。另一方面，当可将UE局限于一区域时，位置精确度则高。举例来说，可存在已知地标或结构特征自其可见的一组有限位置，因此基于所捕获图像，可准确地确定UE的位置以用于制图和导航两者。捕获的图像可相对快速地经时间拼接且与其它测量相关。
基于WAN的位置技术在室外和在室内都展现良好可用性，且当可用时，具有相对强的信号。然而，WAN信号具有有限全球可用性，因为可存在未由蜂窝式信号服务到的区域。基于WAN的位置技术展现相对低的功率消耗，具有中等室外精确度、低室外位置不明确性，且可相当容易地经时间拼接。
最后，基于LAN或信标的位置技术在室外展现合理的可用性，但信号强度可随位置而显著变化。LAN信号具有良好全球可用性，展现合理的功率消耗，具有中等室外精确度、低室外位置不明确性，且可相当容易地经时间拼接。
如可自图3A和3B和以上描述看出，当个别地使用时，位置技术具有各种强度和缺点。因此，当使用依赖于以上方法中的一者的当前位置确定技术时，制图和/或导航解决方案常常为次优的。
因此，本文中揭示的方法组合来自多个传感器的测量与图像和无线信号测量以有助于位置确定。举例来说，SPS具有全球范围，而强WAN信号可帮助在局部室内环境中的低功率背景导航，尤其在无线接入点的位置已知的情形中。当与由相机图像和来自惯性传感器(当无线信号不可用时，其可提供额外输入)的测量提供的优异局部精确度组合时，可实现更稳固且准确的定位解决方案。
然而，存在地图缺乏，尤其以有助于用户定向和导航的方式展示建筑物和结构的外部特征的地图。在无这些准确且详细地图的情况下，位置信息的最佳化利用是困难的。举例来说，虽然从点A到点B的简单导航指令可具备基本地图，但可存在可导致用户沮丧的相当大的不明确性。沿着从点A到点B的路径提供结构信息或用于结构的其它视觉线索可减少不明确性和用户沮丧。因此，以低成本获得位置的可靠、准确且详细地图可有助于现有用户装置功能性的更佳使用。
在一些实施例中，展示对齐到地图的局部地标或结构的外部包络可有助于地图的用户定向和使用。因此，揭示的技术还组合来自多个传感器的测量与图像和无线信号测量以有助于制图和/或导航。举例来说，当供精确“照片”和/或可见度地图使用时，可增强基于图像的导航技术。类似地，由相机所捕获的图像提供的精确校准可用以提供有效的室外无线导航。本文中揭示的这些和其它技术供用户装置使用以获得且更新位置的地图和启用导航功能性。
在一些实施例中，可使用制图模块(MM)152将UE100置于“制图模式”中。在制图模式中，UE100上的相机180可结合来自传感器185(其可包含各种非无线/非RF传感器，例如，磁力计、高度计、气压计和/或其它磁力计、高度计、气压计和/或其它)和IMU170的测量以指定帧率捕获图像或视频。举例来说，当使用UE100来制图时，用户可将UE100置于制图模式中。在制图模式中，可将相机置于“广角”模式中。另外，在制图模式中，可捕获高分辨率图像，但所述图像可经压缩、滤波或更改以减小大小。在一些实施例中，由相机180捕获的图像可以高分辨率在本地存储和/或发送到服务器250供稍后处理。举例来说，在一些实施例中，可将图像减小到向量地图或向量图像，其提供多种不同内容和分辨率以适合不同需求。
另外，在一些实施例中，当在制图模式中时，CV模块155可经配置以使用“曼哈顿世界”假定。广泛地用以从图像和/或点云产生都市结构的3D重建的曼哈顿世界(MW)假定假定由相机捕获的场景或图像由具有显著方向的逐个平面表面组成。通常，当使用MW假定确定建筑物几何形状时，假定场景中的三个相互正交的方向的主导。也可假定水平和铅垂表面和边缘。MW假定有助于从2D图像的3D重建。各种熟知技术可用于基于捕获的图像的3D重建。举例来说，在一个示范性实施例中，可从图像提取主要平面方向(例如，X、Y、Z)，可针对图像中的平面产生假设(例如，基于图像中的特征点密度)中，且可通过使图像像素与平面中的一或多者相关联来获得3D重建。当供深度传感器使用时，MW假定可有助于基于获取的深度信息的更快3D重建。当使用惯性传感器确定装置定向和相机角度时，MW假定可有助于垂直和水平边缘和表面和其相应位置、定向与关系的更有效率的辨别。
在一些实施例中，当用户正行进通过一区域和/或经诱导行进通过一区域时，可机会性地启动UE100上的制图模式，所述区域为：(i)尚未经制图的区域，和/或(ii)更新地图数据是合乎需要的区域。举例来说，当在制图模式中时，基于关于在服务器处的位置的众包数据(或此数据的不存在)，UE可请求结构的内部和/或外部的“调查”。在另一实施例中，可使用机会性众包，且可基于UD的所估计位置要求用户进入制图模式。在一些实施例中，可获得用户的同意，且用户可主动地参与机会性众包制图。在一些实施例中，例如，在相机180可佩戴的情况下，可自动触发图像捕获和传感器数据收集，且基于先前获得的用户同意，数据可存储在UE100上和/或发射到服务器250。术语“众包”用以指收集的图像、RF、传感器与来自多个UD和/或PDE的与定位有关的测量的集合和后续聚合。在一些实施例中，在检测到用户在可为制图(或更新现有地图)合乎需要的结构附近后，可要求或诱导用户以与所揭示的实施例一致的方式执行制图。由于结构的数目和结构的改变频率，维持经更新地图(包含结构的外部结构包络)的传统方法即使可能，但成本过高。众包与本文中揭示的制图方法一起的使用有助于包含结构的3D外部包络的地图的维护与更新。另外，交通任务重的区域更有可能具有频率更新且准确的地图。因此，以与所揭示的实施例一致的方式获得的包含建筑物的外部3D结构包络的基于众包地图数据的地图数据库更有可能填充有针对具有对准确且经更新数据的较高需求的区域的数据。
图4A为能够以与所揭示的实施例一致的方式执行制图的示范性应用程序400的框图。在一些实施例中，应用程序400的部分可在使用处理单元150的UE100上和/或在无线耦合到UE100的服务器上运行。在一些实施例中，应用程序400可使用利用CVM155和EKF组件405的SLAM-EKF拓扑。在一些实施例中，与应用程序400相关联的功能性可由硬件或软件或其组合实施。
参看图4B，其展示在可运行制图应用程序400且来自人造卫星(SV)280和/或无线网络的信号接收可为可用的环境中的用户。因此，在图4B中，可将UE100置于制图模式中，且当用户在室外位置(例如，建筑物427)周围行进时，UE100可收集图像，如由所述应用程序指引。
举例来说，可指引用户沿着轨迹410，且当用户在结构427周围行进时，UE100可收集图像。在一些实施例中，与图像的捕获一起，UE100可获得包括无线和非无线测量的测量集合，其中每一测量集合与至少一个图像相关联。举例来说，UE100可确定其位置且记录在轨迹410上的各种位置处的来自SV280的信号的测量。此外，与图像捕获一起，UE100也可记录来自无线网络230和/或天线240-1和240-2的无线信号的测量。此外，与图像捕获一起，UE100也可记录来自IMU170和/或一或多个传感器185(包含磁力计、高度计、气压计等)的测量。举例来说，在一些实施例中，MM152可开始在SPS信号可用的位置处的制图，且可通过基于与测量相关联的时间戳来时间拼接测量集合和/或通过对带时间戳的捕获的图像使用VSLAM来确定UE100在各种时间的位置。
在一些实施例中，制图应用程序和/或MM152可指引用户捕获突出视觉特征的图像，所述突出视觉特征包含外部可见标牌(例如，商店标牌“XYZ商店”)、窗、门、悬垂物、拐角点、相邻结构等。举例来说，如果墙壁在其中具有窗，那么可作出其为“外部”和“内部”两者的推断。所述窗当从外部和内部查看时，可用以对准同一墙壁的两个不同视图。因此，MM152可指引用户捕获有可能从结构的内部和外部都可见的特征。
因此，如图4B中所说明，CVM155可接收与无线和非无线测量的捕获同步的结构427的外部的图像帧。取决于可用功能性，可捕获所述图像帧，作为一系列静态图像和/或作为视频的部分。利用视频捕获的实施例可(例如)以每秒30帧接收图像。其它实施例可利用其它帧率。CVM155可使用相机校准。内在相机校准可包含主点、焦距和径向失真。外在相机校准参数可包含相对于IMU170的旋转和平移信息。可估计旋转，或在一些情况下，可假定IMU与相机对准。
如上所概括，CVM155可使用多种算法中的任一者来确定和检测图像帧中的关键点以估计6自由度(6DOF)相机/相对于当前图像帧的UE姿势。所捕获图像帧中的某一子集可作为关键帧存储。在一些实施例中，CVM155可使用在先前图像帧中确定的姿势作为初始姿势，接着可基于图像帧中的关键点的位置改进所述姿势。当UE100的姿势已改变大于某一阈值时，当前图像帧可由CM155存储为新关键帧。关键点和其它图像对应性相对于先前图像帧或存储的关键帧的位置也可用以估计场景几何形状。举例来说，CVM155可将深度信息指派到结构427的特征，且可反复地创建结构427的3D模型。在一些实施例中，MW假定可用以简化对于结构的3D外部包络确定。
在一些实施例中，关键点检测可导致关键点的测量的2D相机坐标的识别，所述相机坐标经中继到EKF组件405。EKF组件405可进一步与CVM155共享关键点的预测的2D相机坐标以使关键点搜索空间变窄。当一或多个关键点由CVM155找出位置时，这些关键点的2D相机坐标可提供到EKF组件405。在一些实施例中，CVM155也可基于图像帧中的关键点的位置提供可由CVM155确定的6自由度(6DOF)相机姿势。
在一些实施例中，输入6DOF相机姿势(由CVM155提供)可由EKF405基于由CVM155和/或IMU和/或无线测量供应的输入改进以获得UE在绝对坐标中的姿势。由EKF确定的6DOF相机姿势也可用以计算/更新目标特征中的一或多者的3D位置。EKF组件405可利用来自CVM155的2D关键点测量连同无线和/或非无线测量追踪相机180/UE100在绝对坐标中的6DOF姿势。举例来说，EKF组件405可使用最近GPS或其它无线测量(当可用时)来将测量集合锚定到绝对座标框架。
术语“绝对坐标”或“全球坐标”用以指例如由GPS提供的绝对SPS坐标或例如用于制图和导航的全球大地坐标系统(WGS)标准的任何其它全球坐标系统。在一些实施例中，除了图像帧中的检测的特征点的3D位置外，EKF组件405还可将重力向量提供到CVM155。在一些实施例中，可在姿势估计过程期间或作为姿势估计过程的部分来获得关键点的重力和3-D位置。关于重力的确定的更多信息，请见伊格尔·S.琼斯、斯特凡诺·索托的“视觉-惯性导航、制图和定位：可缩放实时因果方法(Visual-InertialNavigation,MappingAndLocalization:AScalableReal-TimeCausalApproach)”(2010)。在使用常规视觉-惯性技术的系统中，可确定UE的轨迹。然而，常规技术未揭示基于测量的3D结构包络确定和室外地图的确定，其中将结构3D包络信息和室外地图对齐到绝对坐标。
通过确定相对于目标的UE/相机姿势且将测量结果锚定到绝对坐标，UE的绝对姿势可由EKF405确定。
EKF组件405可进一步确定与IMU170和/或其它传感器相关联的任何偏差，其可用以减轻漂移。例如全球集束调整(GBA)的全球优化技术可由EKF405用以校正漂移和在制图期间于UE的闭合回路轨迹的计算中使用，如以下进一步概述。
举例来说，在一些实施例中，制图应用程序可指引用户返回到先前成像的特征。在一些实施例中，可通过返回到先前拍照的视觉特征来校正用户的轨迹，以说明漂移。“闭合回路”轨迹可接着经确定且用以校正漂移。可基于经校正和/或闭合回路轨迹来确定对齐到绝对坐标的结构427的外部3D结构包络。
在一些实施例中，可将由UE100搜集的数据(包含估计的轨迹和/或3D结构包络)发送到服务器以建置室外地图，其可包含用于对齐到室外地图上的绝对坐标的结构427的3D结构包络信息。
当穿越收集用于地图创建的数据的路径410时，确定的位置(例如，由EKF405输出的UE100的姿势)可经受漂移。对于1％漂移误差，例如，100m的路径长度将导致约1m的漂移。为了校正漂移误差，可对由UE100/MM152搜集的数据及/或在用户已完成搜集数据后由EKF405输出的UE100的姿势执行回路闭合检测(LCD)和全球集束调整(GBA)。在一些实施例中，可在服务器(例如，创建地图的服务器)上执行LCD和GBA。举例来说，UE100可将收集的数据和/或估计的轨迹发送到服务器，服务器可执行LCD和GBA任务。然而，取决于UE100上可用的能力，可在UE100上执行LCD和GBA中的一或多者。
举例来说，在一些实施例中，制图应用程序可指引用户返回到先前成像的特征。在一些实施例中，LCD可识别图像中的先前查看的特征以确定漂移。使用由UE100/MM152搜集的数据，CVM155可使用来自由相机180捕获的图像的特征信息确定具有共同特征信息的区域。举例来说，可基于相机姿势和与第一图像相关联的测量针对第一图像中的第一静态特征确定第一组坐标。可在由相机捕获且与第二组坐标相关联的后续图像中识别第一静态特征。因为与特征相关联的位置尚未改变，所以LCD算法可确定在UE100的轨迹上的漂移。举例来说，LCD算法可通过将第一组坐标指派到同一特征的任何后续访问来“闭合所述回路”。GBA算法可接着用以校正且对准测量以减轻或消除自一开始估计的轨迹(对应于路径410)的漂移误差，且计算经更新“闭合回路”轨迹(还对应于路径410)。在一些实施例中，可与一开始估计的外部3D结构包络一起使用经更新闭合回路轨迹以获得结构427的经更新外部3D结构包络，可将其对齐到室外地图上的绝对坐标。
图5A展示用于无线地图产生的示范性方法500的流程图。在一些实施例中，方法500可由UE100执行。在一些实施例中，方法500的部分可由UE100和/或服务器150执行。
在步骤510中，UE100可进入制图模式。在“制图模式”中，UE100可以相对高速率收集连续GNSS、相机和惯性数据和其它传感器数据。另外，在制图模式中，例如RF测量、GNSS测量和来自惯性、磁力计、高度计和/或气压传感器的数据的感官测量可与图像的捕获一起捕获。在制图模式中，可使用实际GNSS测量数据(例如，连续载波相位可观测量(如与通常在智能电话中看到的“位置输出”相对))以提供用于视觉里程计过程的再一锚定且使UE时钟状态稳定，只要对于至少一或多个SPS卫星280存在视线(LOS)条件。
通常，从SV180接收的数据可具有若干误差源。举例来说，误差可归因于时钟漂移、电离层延迟、多路径、较低数目个可见卫星、卫星几何形状、相对于地平面的卫星高程等而出现。在一些实施例中，SPS接收器可包含可测量与载波有关的信息的载波相位接收器。当结合码相位测量和差分技术使用时，通常具有比其承载的伪随机噪声(PRN)序列高得多的频率的载波有助于更准确位置确定。载波相位测量与差分校正一起的使用可产生分表位置准确性。在一些实施例中，UE可使用实时载波相位差分GPS(CDGPS)技术确定UE在各种点和时间的位置。UE位置可部分(例如)用以计算轨迹410(在图4中)。
在步骤515中，可基于惯性测量确定UE100的6-DOF“开放回路”轨迹。举例来说，由UE100上的IMU170或传感器185进行的测量可用以确定从初始或开始位置的轨迹。由于传感器中归因于漂移和其它偏差的误差，如由IMU170和/或传感器185测量的轨迹将从UE100所沿着的实际轨迹发散。因此，术语“开放回路”指即使UE的轨迹在开始位置处端接仅从由IMU170/传感器185进行的测量确定的轨迹可仍指示轨迹结束点不同于开始位置的可能性。
在一些实施例中，在步骤518中，由IMU170/传感器185进行的测量、无线测量(例如，SPS/WLAN)、捕获的图像和其它传感器测量可用以校正惯性轨迹。举例来说，GNSS测量可用以校正惯性轨迹。在一些实施例中，捕获的测量数据可在UE100上处理和/或发送到服务器供处理。在一些实施例中，可使用浮动整数载波变平滑的代码测量，或可解决载波循环不明确性。在强GPS信号条件的情况下，可使用GPS载波差拍相位计数来使码相位变平滑。当MS正在室外移动时，代码多路径可快速改变，其有助于码相位变平滑。举例来说，可从GNSS测量发动机获得针对每一卫星“频道”的多个类型的测量，包含：码相位、多普勒和累积差拍相位，亦被称为积分载波相位或累积Δ范围。以上详述的测量和/或技术中的一或多者可用于在各种时间点的更精确的经校正绝对UE位置确定。经校正绝对UE位置可用以进行UE100所沿着的轨迹校正(例如，对7-DOF轨迹410)。
虽然绝对误差可偶尔地持续，但使用揭示的技术，可有效地减轻归因于无线多路径变化的失真，由此提供精确轨迹及因此具有多个精确相关联的地图层的精确地图。举例来说，甚至在结构误差的绝对位置的不确定性在制图时大约为一米的情况下，在各种地图层中的关联可仍全部准确到好于一米。因此，在一些实施例中，当装置处于到GNSS信号的LOS中时，可确定精确轨迹。确定的精确轨迹可用以合作校正IMU传感器，且还确定其它测量源和/或传感器185(例如，WWAN、WLAN、气压传感器和磁力计)的潜在较大偏差和稳定性。
在步骤520中，可基于捕获的图像、无线(SPS和/或RF)信号测量、由IMU170进行的测量和/或由传感器185进行的测量获得3D建筑物包络或外部3D结构包络和/或外部3D地图。在一些实施例中，可指引用户捕获相邻地标、结构、建筑物悬垂物等的图像，同时保持结构(例如，结构427)在视图中。术语“建筑物包络”指充当建筑物的内部与外部环境之间的物理分隔器的建筑物/结构的外壳。
在步骤525中，可确定UE100的闭合回路轨迹。举例来说，在存在到一个以上卫星的LOS条件(由此准许同时多个载波相位观测)的情况下，可使惯性轨迹变稳定。举例来说，可指引用户/UE100返回到先前在数据收集期间拍照的视觉特征。当检测到先前查看的位置或特征时，可重新估计经估计的轨迹，其被称为“回路闭合”。可(例如)基于两个图像中的视觉特征的位置使用VSLAM技术计算两个图像的相机姿势。在一些实施例中，可使用扩展卡尔曼滤波器(EKF)或其它技术来融合相机与惯性(加速度计/回转仪)测量结果以获得捕获的图像的6DOF相机姿势。基于与两个图像相关联的相机姿势，可模型化IMU(陀螺和加速度计误差)170测量，使得重新估计轨迹以返回到拍照的视觉特征，而无明显的误差。可将此闭合回路轨迹看作具有7自由度(7-DOF)，其指示位置不确定性的3个维度、旋转不确定性的3个维度和接收器时钟偏差的一额外“维度”。
接收器时钟偏差涉及无线距离测量，例如，与GNSS、WWAN和WLANRTT相关联的无线距离测量。接收器时钟偏差可适用于改善准确性，这是因为甚至大约1ns的时序误差可转化成大约1英尺的测距误差。在到GNSS卫星的LOS条件中，经校正的载波相位测量可具有大约1cm的精确度，但未知的积分常数。可通过在动态载波相位处理技术中已知的许多技术来确定积分常数。在一些实施例中，在轨迹上的载波相位的改变可用以在不知晓积分常数的情况下确定所述轨迹上的精确UE位置和时钟偏差分布。在一些实施例中，在轨迹上的载波相位的改变可有助于精确无线延迟地图的创建，甚至在积分常数未知或不可用的情况下。
在许多情况下，可保持大约数米的绝对误差，但可有效地减轻归因于无线多路径变化的失真，从而提供精确轨迹及因此具有多个精确相关联地图层的精确地图，其中相关联可都准确到优于一米，即使在制图时并不知晓结构的绝对位置优于一米。在装置处于到GNSS信号的LOS中时，那么有可能创建可用以不仅合作校正IMU传感器并且还确定其它测量源(例如，WWAN、WLAN、气压传感器和磁力计)的较大偏差和稳定性的高度精确轨迹。
在步骤527中，可使用从捕获的图像确定的可见特征针对外部包络确定外部摄影特征地图。举例来说，可创建针对结构的外部的特征点的稀疏3D地图。可(例如)使用熟知卢卡斯-卡拉德(Lukas-Kanade)方法或其变化执行特征检测和追踪。
在步骤529中，GNSS载波相位数据可用以修复自动追踪的损失，且可接着应用校正以利于绝对位置的确定。举例来说，如果存在关于SV中的一或多者的LOS条件，同时在各种时间存在关于其它SV的非LOS(NLOS)条件，那么可将LOS卫星的载波相位观测拼接在一起。在存在载波相位可观测量的短暂中断(常常被称作循环滑移)或存在NLOS条件的情形中，来自惯性传感器、气压传感器、磁力计和/或基于图像的里程计的组合的数据可用以跨中断“拼接”且确定UE位置。
在各种时间点可存在到一或多个卫星的非视线(NLOS)条件，但如果在那些时间存在到其它卫星的LOS条件，那么，可将LOS卫星的载波相位观测拼接在一起。举例来说，如图5B中所展示，在时间T0，当沿着轨迹410时，UE100可接收来自SV280-1和280-2、天线240-1的LOS信号，而从SV280-3、天线240-3和AP620-1接收的信号可为NLOS。另外，在后续时间T1且在轨迹410上的不同位置处，UE100可接收来自SV280-3和天线240-3的LOS信号，而来自SV280-1和280-2、天线240-1和AP620-1的信号可为NLOS。
因此，如果在各种时间存在关于SV280-1、280-2和/或280-3中的一或多者的LOS条件，那么可将LOS卫星的载波相位观测拼接在一起。在存在载波相位可观测量的短暂中断(常常被称作循环滑移)或存在非LOS(NLOS)条件的情形中，来自惯性传感器、气压传感器、磁力计、和/或基于图像的里程计的组合的数据可用以跨中断“拼接”和确定UE位置。
举例来说，当惯性轨迹漂移小于某一阈值(例如，小于GPSL1波长的一半)时，可使用惯性拼接。在一些实施例中，如果在一周期内来自SV280和/或天线240的信号不可用，那么可使用来自IMU170的测量确定从所述位置的轨迹和来自SV280和/或天线240的信号最后可用于所述位置的时间点和SV/天线信号下一次变得可用的时间点。在一些实施例中，可应用重新处理的载波相位数据和/或拼接以校正7-DOF或闭合回路轨迹。
参看图5B，在步骤530中，在一些实施例中，可接着基于重新估计的7-DOF轨迹重新确定3D建筑物包络。在一些实施例中，可使用MW假定确定建筑物包络。举例来说，可假定多数墙壁为铅垂(极佳地，垂直)且按90度角会合。因此，以此方式，可将建筑物的初始“开放回路”3D照片模型调整到矩形墙壁和垂直对准。也可假定墙壁垂直或平行。接着，可从视觉里程计数据对照此调整的3D照片模型重新计算UE100的轨迹。
在步骤535中，可接着部分地通过使用GNSS伪距测量来将建筑物的位置对齐到全球坐标。在一些实施例中，可基于空中图像(例如，卫星或其它空间图像)结合屋顶悬垂物或其它特征的局部视图来调整结构的外部包络。可从各种政府和/或其它公开可获取数据库获得各种分辨率下的结构的空中图像。
在步骤540中，可接着将重新估计的轨迹对齐到全球坐标。在一些实施例中，可使用差分方法减轻由于多路径、卫星位置、卫星时钟漂移、残余电离层和对流层信号延迟等引起的伪距测量误差，其中可使用针对卫星位置和时钟、电离层活动和对流层湿润延迟等的更准确模型来减轻误差。此外，在载波相位观测同时可用的程度上，可使用代码载波变平滑来减小多路径误差且可适当地加权具有大代码载波方差的测量。
在一些实施例中，可使用载波相位差分GNSS处理来进一步改善具有浮动或固定(解决的)载波循环不明确性的装置轨迹估计。载波相位差分GNSS处理通常使用在已对齐到全球坐标系统的已知基准位置处的附近参考接收器。在此情况下，残余大气压误差大大地消除且可解决循环不明确性。
在替代实施例中，可使用视觉里程计将装置轨迹拼接在一起以随着时间的过去形成合成载波相位差分过程。因为与卫星有关的误差和大气压误差相对慢地改变，所以可一开始不通过差分处理来维持本地地图的精确度，且当适当参考数据变得可用时，可随后添加差分处理以用于地图对齐和澄清。参考数据可包含实际卫星位置、定向和时钟偏移的观测。
在一些实施例中，可在说明卫星天线的相位方向图时确定卫星定向，使得可确定且应用广泛区域卫星载波相位校正。如果使用地面参考接收器网络确定卫星定向或产生信号相位变化的任何其它因数(具有或无卫星天线相位校正)，那么可接着将所得“差分校正”本地化，以用于在地图处理中使用。
在一些实施例中，在步骤542中，可获得气压偏移观测。随着建筑物内的高度改变，气压通常遵循标准绝热递减率。然而，可对一些建筑物或建筑物的部分加压。可将自标准绝热递减率的任何偏差推断为建筑物加压的结果。可将那些偏差以及偏差的任何不确定性注释为对地图的气压标注。举例来说，“观测为比绝热递减率高XmmHg的气压将预测从24楼到36楼。”
在步骤544中，可基于天线方向图校正无线测量。举例来说，在进入制图模式期间或前，可将UE100置于校准模式中。当在校准中时，可起始用于UE100上的天线的天线方向图的确定。在一些情形中，可在室外执行天线方向图确定。每一天线将具有其自身的相位和增益型样。当UE100的定向已知时，可在用户以典型姿势拿着装置且将其围绕一或多个轴线旋转时确定天线方向图。可使用获得的天线方向图数据减轻对后续RF信号特性化的天线方向图效应。
在步骤545中，从传感器在制图模式中获得的测量也可用以产生和/或更新可存储在服务器250上的一或多个现有地图。这些地图可包含室外2D道路地图或楼层平面图、照片地图(其可包含3D可导航特征数据库)、热图(其可指示在各种位置处的一或多个天线的信号强度)和/或空间可变FLC地图(其可指示在各种位置处的天线的信号延迟)中的一或多者。
在一些实施例中，所述地图中的一或多者可以不同等级的位置粒度作为测量存储在现有地图层中和/或与测量一起聚集在现有地图层中。如本文中使用的术语“地图层”指适应于UD的位置和位置不确定性的信息，例如，测量数据、从测量数据导出的信息、位置辅助信息等。对于每一测量类型，可存在都对齐到同一本地或绝对坐标的不同层。举例来说，对于所关注的每一无线信号，可存在以下各项中的至少一者：FLC延迟、信号强度或衰减地图层。可存在气压变化标注层。可存在磁场变化层，从而提供对标准地球磁场模型的本地校正。
在一些实施例中，当在制图模式中时，UE100可请求和/或接收位置辅助信息以确定初始位置估计，其也可以地图层的形式提供。举例来说，基于UE100的估计的第一位置和位置不确定性，包括第一FLC值的位置辅助信息可在第一地图层中对UE100提供。当UE100的位置/位置不确定性经基于先前提供的位置辅助信息改进或重新估计时，可从另一地图层检索基于改进的位置估计/位置不确定性的FLC值以有助于UE位置的更准确确定。
一般来说，地图层可包括各种其它类型的信息。举例来说，地图层可包括以下各项中的一或多者：使接收信号强度与地图位置相关的接收信号强度地图层；使信噪比(SNR)与地图位置相关的SNR地图层；指示关于一或多个天线视线(LOS)条件有可能的地图位置的LOS地图层；非视线地图层，NLOS地图层指示关于一或多个天线NLOS或身体阻挡条件有可能的地图位置，等等。
在一些实施例中，地图层还可包括至少一个多路径层以为BSA中的位置提供天线的多路径的延展的指示。另外，在一实施例中，多路径层可进一步包括以下各项中的至少一者：指示天线的长阴影区的长阴影层，所述长阴影层包括长阴影区中的排除地带、对多路径量值的指示和/或天线的信号衰减程度；或指示天线的短阴影区的短阴影层，所述短阴影层包括短阴影区中的天线信号的时序粒度信息；或指示天线的至少一个覆盖区域中的唯一发射型样的发射型样层。在一些实施例中，UE100可使用一或多个地图层中的信息估计位置和位置不确定性，且基于位置和位置不确定性，可请求额外地图层。在一些实施例中，可基于UE100的位置/位置不确定性将多个地图层提供到UE100。一般来说，可基于用于与UE100通信的协议、用于通信的可用带宽、信号条件、成本、通信、存储器和/或在UE100处可用的处理能力和各种其它参数将包括地图层的位置辅助信息提供到UE100。
类似地，当从UE100接收到测量结果时，可使用所述测量结果产生和/或更新现有地图层。举例来说，新测量结果可代替用以确定一或多个地图层的一或多个较旧的测量结果。举例来说，可更新早于某一时间周期的测量结果，和/或一或多个地图层中被视为不可靠或不准确的测量结果(例如，其中位置不确定性估计超出当前测量中的结果)。在一些实施例中，可将新测量结果与较旧的测量结果聚集在一起。举例来说，当统计显著时，可通过将所述测量结果与现有测量结果聚集在一起来计算平均、中值和/或其它统计度量以产生一或多个经更新地图层。在一些实施例中，可使用适当版本控制机构维持提供的地图层的及时性、精确度和准确性。
在步骤550中，如果结构的室外包络的确定不完整(步骤550中的“否”)，那么可重复所述过程或所述过程的部分且在步骤515开始另一反复。
如果室外包络的确定完整(步骤550中的“是”)，那么可将测量的所关注的数据记录于UE100上和/或发射到服务器。举例来说，可将数据记录于与制图应用程序相关联的数据库135中。在一些实施例中，可将数据存储在存储器130、可去除媒体和/或计算机可读媒体160和/或耦合到UE100的其它存储装置中。
在一些实施例中，所收集的数据中的全部或部分可在UE100上处理和/或发送到服务器250供处理。在一些实施例中，如果地图可用于相邻和/或附着结构，那么可将用于当前结构和附着/相邻结构的室内/室外地图拼接在一起，例如，通过使用外部图像。在一些实施例中，可将到附近结构地图的指针/关联高速缓冲存储在UE100中和/或服务器上。在一些实施例中，在将“智能眼镜”或其它可佩戴装置(例如，具有相机的蓝牙头戴式耳机)耦合到电话时，可当将UE100置于制图模式中时触发智能眼镜/可佩戴装置上的相机。
图6展示与所揭示的实施例一致的制图数据收集600的示范性方法的流程图。在一些实施例中，方法600可由UE100执行。在一些实施例中，方法600的部分可由UE600和/或服务器150执行。在一些实施例中，当在制图模式中时，方法600的部分可由UE100执行。举例来说，可在步骤605中调用方法600，且UE100可进入制图模式或置于制图模式中。
接下来，在步骤610中，可开始对无线信号的搜索。在一些实施例中，请求和/或从服务器150接收的位置辅助数据可由UE100用以选择用于无线信号搜索的策略。在一些实施例中，位置辅助数据可包含WWAN、WLAN和/或GNSS辅助数据。在步骤612中，可对无线信号搜索提供反馈。举例来说，可从服务小区和一或多个相邻WWAN小区245、一或多个GNSSSV280和/或一或多个WLANAP620和所注意到的其绝对和/或相对信号强度接收信号。
在步骤620中，可启动UE100上的一或多个传感器。举例来说，可启动相机180、传感器185和/或IMU170。在一些实施例中，可使传感器185和/或IMU170的测量与由相机180进行的图像帧的捕获同步。在一些实施例中，如果无线定位(例如，基于GNSS和/或混合测量的定位)基于在步骤610/612中获得的信号可用，那么可基于无线定位用初始位置来初始化IMU170。
在一些实施例中，当将UE100置于制图模式中时，可结合从15fps到30fps的视频帧率和/或基于从15fps到30fps的视频帧率细粒度地进行传感器测量。在一些实施例中，可基于捕获的图像使用使用CV技术确定的相机姿势校准一或多个传感器。在一些实施例中，在应用层面获得的图像时间戳、从应用程序编程接口(API)获得的传感器时间戳、时间戳之间的偏移和/或基于曝光时间的相机时间戳中的抖动可用于：(i)使各种传感器测量相关，(ii)使捕获的图像与传感器测量相关，和/或(iii)时间拼接所述测量。在一些实施例中，当使传感器测量与图像相关时，可使用相对时间戳或偏移。
在一些实施例中，在步骤622中，可在IMU170的校准时任选地对用户发指令。在一个实施例中，可使用由相机180捕获的图像校准IMU170。举例来说，可对用户发指令以使相机指向目标对象和/执行运动序列。在步骤625中，可对用户提供与运动序列和/或校准的进展有关的反馈。举例来说，基于计算机视觉(CV)的技术可用以获得多个图像的相机姿势。可部分通过比较所述多个帧中的每一者的基于CV的姿势与所述帧的对应的IMU确定姿势来校准IMU170。在一些实施例中，可使用使CV测量与IMU170误差状态有关的观测等式来校准IMU170，可使用熟知卡尔曼滤波器技术来模型化所述误差状态。
在步骤630中，可起始用于UE100上的天线的天线方向图的确定。在一些情形中，可在室外执行天线方向图确定。每一天线将具有其自身的相位和增益型样。当UE100的定向已知时，可在用户以典型姿势拿着装置且将其围绕一或多个轴线旋转时确定天线方向图。
因此，在步骤632中，可对用户给予关于UE100的运动的指令，使得可确定用于UE100的天线方向图信息。在一些实施例中，为了有助于UE100的运动或移动的性能，在步骤635中，就移动装置的方向和/或天线方向图确定过程的完成程度而言，可提供反馈。在一些实施例中，可使用在显示器190上展示的图形用户接口(GUI)提供反馈。
在步骤637中，UE100可提供天线方向图确定已完成且可产生UE100的天线方向图639的指示。在一些实施例中，基于在沿着的轨迹(例如，轨迹410)的路程上的UE100的估计的定向，可进一步校正在步骤637中确定的天线方向图，例如，在方法500中的步骤540(图5A)期间。为了增加的准确性且为了进一步减轻任何残余GNSS载波多路径，在轨迹410的部分中，其中观测指示沿着惯性轨迹，载波多路径最具挑战性，在高度超定轨迹解决方案可用的情况下，可制订和去除和/或去加权任何残余相位误差。因此，天线方向图校正可发生，甚至在步骤637的完成之后和/或与有关于方法500中的室外轨迹的确定的一或多个步骤(例如，图5A中的515到540)的执行一起。在一些实施例中，可使用天线方向图数据639减轻对后续RF信号特性化的天线方向图效应。
在步骤640中，可将UE100置于室外包络数据收集模式中；且，在步骤642中，可对用户发出关于室外数据收集的指令。举例来说，可将相机180置于广角模式中，且可指引用户捕获门、窗和在室内也可见的其它特征/结构要素的图像。作为另一实例，可指引用户捕获任何屋顶悬垂物的图像，使得在从屋顶结构的空中成像与从下面的悬垂物的照片的组合确立建筑物周边的过程中，可从屋顶尺寸将其减去。应了解，悬垂物可在建筑物的所有侧上相同，但并不一直相同。因此，模型可假定单一观测的悬垂物在整个周边周围相同，且接着稍后在地图确定过程期间校正此假定。同样地，可进行屋顶悬垂物的若干估计且沿着单一外墙平均化所述估计。因此，不仅追踪悬垂物长度和屋顶间距的估计而且知晓这些参数(呈不确定性参数的形式)的程度是重要的。
在步骤645，可对用户提供关于待沿着的轨迹的反馈。举例来说，可要求UE100的用户沿着连续轨迹以获得从所有侧的结构的视图，同时维持结构的最优距离和/或视图。在一些实施例中，可指引用户捕获附近结构、地标等的图像，同时保持室外结构绘制于视图中。也可要求用户指向相机，使得可立刻看到全部边缘，例如，建筑物拐角的完全伸展、屋檐或基墙的全长、墙壁与天花板之间的边缘的全长等。可要求用户环绕(例如)建筑物或城市街区的周边，且返回到其开始点以使惯性导航的回路闭合，且确认针对全部回路精确地追踪所述轨迹。如果失去了自动追踪过多卫星或IMU校准被危及大于短暂的时间周期，那么可要求用户返回追踪。在一些实施例中，可要求用户使用视觉装置重新获取轨迹，确保已恢复自动追踪且接着在所述路线上继续。
在步骤647中，如果用于室外包络确定的图像捕获和测量过程不完整，那么可在步骤640开始另一反复。举例来说，可要求用户重复轨迹410以使载波相位连续性最大化和/或避免特定困难的多路径位置，同时仍维持结构的良好视觉视图。在一些实施例中，可对用户显示天空中的卫星位置，伴有失去和/或恢复自动追踪的时间的表示，以给用户提供针对其正如何拿着装置且维持自动追踪的迅速反馈。
在步骤660中，收集的测量和图像可经处理以获得地图数据663。在一些实施例中，可在例如服务器250的服务器上离线执行步骤660。举例来说，UE100可将收集的测量和图像发射到服务器250。举例来说，服务器250可为基站历书(BSA)服务器和/或可处理和/或将测量/图像与从其它UD接收的数据聚集在一起的另一位置服务器。在一些实施例中，可使传感器/RF/SPS/测量与捕获的图像相关以获得地图数据663。
在步骤670中，可基于地图数据663产生一或多个地图673。在一些实施例中，可基于地图数据663更新现有地图以获得地图673。在一些实施例中，可将地图673组织为处于不同等级的UE位置粒度的层。在步骤665中，例如地图上的结构的外部包络的结果可任选地对用户显示。
在步骤680中，可提示用户结束制图模式或重复方法600中的一或多个步骤。在一些实施例中，当揭示用户结束制图模式时，可对用户展示地图数据663和/或收集的数据的概述。基于用户输入，制图模式可在步骤685终止，和/或可重复方法600中的一或多个步骤。
图7展示在混合照片制图期间的示范性高阶数据流700。在一些实施例中，在室外数据收集阶段710-1期间，可收集相机和惯性数据713、无线测量数据715(其可包含GNSS、WAN和LAN测量)、气压或高度计数据717、天线方向图639和磁力计数据719中的一或多者。
在室外数据处理阶段720中，在室外数据收集阶段710-1中收集的数据可用以获得室外开放回路轨迹723，可接着使用所述室外开放回路轨迹获得外部3D建筑物包络725、室外无线地图727和室外闭合回路轨迹729。
在地图产生阶段740中，在数据收集阶段710-1和710-2中的在室外收集的数据中的一些或全部可分别用以更新外部3D建筑物模型737和产生各种地图。举例来说，可获得室外3D无线地图、磁性地图层、气压标注等。
随着建筑物内的高度改变，气压通常遵循标准绝热递减率。然而，可对一些建筑物或建筑物的部分加压。可将自标准绝热递减率的任何偏差推断为建筑物加压的结果。可将那些偏差以及偏差的任何不确定性注释为对地图的气压标注749。举例来说，“观测为比绝热递减率高XmmHg的气压将预测从24楼到36楼。”
图8A展示说明用于基于照片、无线、磁性和气压数据的地图产生的方法800的流程图。在一些实施例中，方法800的部分可由UE100和/或服务器250执行。在一些实施例中，在方法800的调用前或在初始化步骤期间，UE100可进入制图模式。举例来说，在制图模式中，UE100可以相对高速率收集连续GNSS、相机和惯性数据和其它传感器数据。另外，在制图模式中，例如RF测量、GNSS测量和来自惯性、磁力计、高度计和/或气压传感器的数据的感官测量可与图像的捕获一起捕获。
在步骤805中，可基于相机中的惯性数据和惯性数据713确定UE的室外6-DOF开放回路轨迹723。
在步骤810中，在一些实施例中，可基于室外6-DOF开放回路轨迹723获得外部3D建筑物包络725。
在步骤815中，可通过对照外部3D建筑物包络725重新处理视觉里程计来获得室外7-DOF闭合回路轨迹729。在一些实施例中，可使用SPS/GNSS/LAN/WAN测量、IMU170测量和由相机180捕获的图像的组合确定UE100的室外7-DOF闭合回路轨迹729。举例来说，当惯性轨迹漂移小于某一阈值(例如，小于GPSL1波长的一半)时，可使用惯性拼接。举例来说，在存在到一个以上卫星的LOS条件(由此准许同时多个载波相位观测)的情况下，可通过返回到先前在数据收集期间拍照的视觉特征来使惯性轨迹稳定，且可模型化陀螺和加速度计误差，使得轨迹经重新估计以返回到无显而易见误差的视觉特征。
在一些实施例中，MW假定可用于外部3D建筑物包络725的确定中。接着，可从视觉里程计数据对照此调整的3D照片模型重新计算UE100的轨迹以获得室外7-DOF闭合回路轨迹729。
接下来，在步骤820中，可基于7-DOF闭合回路轨迹729更新和/或重新处理3D建筑物包络725。
参看图8B，在一些实施例中，在步骤825中，也可部分通过使用经更新的3D建筑物包络725和无线(例如，GNSS)测量715将建筑物的位置及定向对齐到全球坐标。在步骤830中，可接着将室外7-DOF闭合回路轨迹729对齐到全球坐标。
在一些实施例中，在步骤830中，也可使用天线方向图639、经更新的3D建筑物包络725和无线测量715产生和/或更新一或多个现有室外无线地图735。在一些实施例中，室外无线地图735可经产生和/或存储在服务器250上。这些地图可包含室外2D道路地图或楼层平面图、照片地图(其可包含3D可导航特征数据库)、热图(其可指示在各种位置处的一或多个天线的信号强度)和/或空间可变FLC地图(其可指示在各种位置处的天线的信号延迟)中的一或多者。在一些实施例中，地图中的一或多者可以不同等级的位置粒度作为层存储。
在步骤835中，可基于室外闭合回路轨迹729、无线测量数据815、天线方向图739和3D模型建筑物模型837获得3D室外无线地图735。
在步骤840中，可使用磁力计数据819产生磁性地图层847，且在步骤875中，可使用气压数据817产生气压地图标注849。
在一些实施例中，所收集的数据中的全部或部分可在UE100上处理和/或发送到服务器250供处理。在一些实施例中，如果地图可用于相邻和/或附着结构，那么可将用于当前结构和附着/相邻结构的室内/室外地图拼接在一起，例如，通过使用外部图像。在一些实施例中，可将到附近结构地图的指针/关联高速缓冲存储在UD中和/或服务器上。在一些实施例中，在将“智能眼镜”或其它可佩戴装置(例如，具有相机的蓝牙头戴式耳机)耦合到电话时，可触发智能眼镜/可佩戴装置上的相机。
图9展示说明能够确定UE100的位置的系统900中的一些实体的简化框图。在一些实施例中，系统900可形成UE辅助定位系统的部分。参看图9，UE100可测量来自参考源970的信号以获得初始测量902和/或初始位置估计904。参考源970可表示来自SV280和/或天线240和/或与网络230相关联的AP620的信号。UE100也可获得初始测量902，例如，用于SV280的伪距离测量和/或来自天线240的与OTDOA/RSTD有关的测量。
在一些情况下，UE100也可通过使用初始测量902获得初始位置估计904。有时被称为“前缀”的初始位置估计904可为UE100的位置的粗略估计。在一些情况下，由UE100进行的距离测量可用以获得初始位置估计904。在一些情况下，与服务小区或最强小区或最早小区或另一小区相关联的位置可用作初始位置估计904。举例来说，服务小区或最强小区或最早小区或某一其它小区的形心可用作初始位置估计904。作为另一实例，小区内的随机或默认开始位置可用作初始位置估计904。可从小区扇区身份、网络ID、系统ID和由基站发射的其它信息获得小区有关信息。UE100可将初始位置估计904和/或初始测量902(例如，来自一或多个GNSS的卫星测量，或来自一或多个网络的例如OTDOA和/或RSTD的网络测量，等)提供到服务器250。在一些情形中，UE100可不确定初始位置估计904，取而代之，由UE100进行的初始测量902可发送到服务器250，所述服务器可使用初始测量902来确定UE100的初始位置估计904。
服务器250可接着基于初始位置估计904将与位置有关的信息(例如，位置辅助数据906)提供到UE100。在一些实施例中，位置辅助数据可由LDAM158、MM152、PDM156和/或NM154中的一或多者接收，且可用以辅助UE100获取和测量来自SV280和/或天线240的信号，和/或改进从测量902获得的任何初始位置估计904。在一些实施例中，位置辅助数据可按适应于初始位置估计904和与初始位置估计904相关联的位置不确定性的粒度包含地图层和/或其它信息。
举例来说，在一些情况下可呈具备安全用户平面(SUPL)功能的终端(SET)的形式的UE100可与服务器250通信且使用位置辅助数据906获得额外测量908。在一些实施例中，额外测量908可包括各种与FLC有关的测量和/或导频相位测量、到达时间、RSTD/OTDOA测量、与基站天线的时间偏移有关的测量、GPS(例如，伪距)测量等。在一些情况下，响应于接收到位置辅助数据或缺少其，UE100可进入制图模式且捕获额外测量908，额外测量可包含来自相机180、IMU170、传感器185和如以上概述的其它无线(GNSS/WAN/LAN)信号测量的测量。在一些实施例中，UE100可通过网络230将额外测量208发送到服务器250或另一PDE，和/或将测量存储在存储器130中。
在一些实施例中，服务器250、UE100或另一PDE可使用额外测量208来获得UE100的改进的位置。在一些实施例中，UE100可使用额外测量1008来直接获得改进的位置估计。另外，在一些实施例中，可将UE100的改进的位置估计传递到LCS客户端260。当UE100的位置/位置不确定性经基于先前提供的位置辅助信息改进或重新估计时，可从另一地图层检索基于改进的位置估计/位置不确定性的FLC值和/或其它信息以有助于UE位置的更准确的确定。一般来说，定位位置可为UD辅助式的，其中UE100通过基站将原始或经预处理的测量数据发送回网络中的PDE以在位置确定中使用；或者，所述定位位置可为基于UD的，其中由UE100执行位置计算。
提供位置确定服务的无线通信系统通常在例如基站历书(BSA)数据库、地图数据库等的一或多个数据库中存储和/或聚集校准信息和用于位置确定的其它测量。举例来说，数据库可包含具有地图层的地图，其可包含各种其它类型的信息。
举例来说，地图层可包含以下各者中的一或多者：使接收信号强度与地图位置相关的接收信号强度；使信噪比(SNR)与地图位置相关的SNR地图层；指示关于一或多个天线视线(LOS)条件有可能的地图位置的LOS地图层；非视线地图层，NLOS地图层指示NLOS或身体阻挡条件有可能关于一或多个天线的地图位置，等等。在一些实施例中，地图层还可包含至少一个多路径层以为BSA中的位置提供天线的多路径的延展的指示。另外，在一实施例中，多路径层可进一步包括以下各项中的至少一者：指示天线的长阴影区的长阴影层，所述长阴影层包括长阴影区中的排除地带、对多路径量值的指示和/或天线的信号衰减程度；或指示天线的短阴影区的短阴影层，所述短阴影层包括短阴影区中的天线信号的时序粒度信息；或指示天线的至少一个覆盖区域中的唯一发射型样的发射型样层。
在一些实施例中，UE100可使用一或多个地图层中的信息估计位置和位置不确定性，且基于位置和位置不确定性，可请求或检索额外地图层。在一些实施例中，可基于UE100的位置/位置不确定性将多个地图层提供到UE100。一般来说，可基于用于与UE100通信的协议、用于通信的可用带宽、信号条件、成本、通信、存储器和/或在UE100处可用的处理能力和各种其它参数将包括地图层的位置辅助信息提供到UE100。
在一些实施例中，地图上的每一区可由一或多个边界点的坐标(例如，纬度、经度、海拔)识别，所述坐标可取决于地图层的粒度。因此，在这些实施例中，关于区内的点的测量可聚集并且与区域相关联。可基于UE100的位置/位置不确定性将聚集的测量和有关数据的阶层中的一些或全部提供给其。
BSA数据库可存储/聚集校准和与其它基站有关的信息。基站的BSA记录可指定基站标识信息、基站天线的位置(例如，海拔、纬度和经度)、天线的一位置处的FLC值、天线定向、范围、转发器信息等。如本文所使用的术语“FLC值”可指FLC值和FLC残差两者。FLC残差可以距离单位(例如，米)指定，而FLC值可以时间单位(例如，秒)指定。在一些实施例中，BSA还可包含例如以下各项的信息：基站扇区覆盖区域的中心、基站信号的最大范围、一或多个覆盖区域/子区域上的平均地形高度、一或多个覆盖区域/子区域上的地形高度标准差、往返延迟(RTD)校准信息、CDMA系统中的伪随机噪声(PN)增量、基站天线位置中的不确定性、前向链路延迟校准中的不确定性和往返延迟校准中的不确定性。
在一些实施例中，有助于地面定位系统校准的系统可聚集额外测量1008，包含与FLC有关的测量和多个UD/PDE进行的改进的位置估计。在一些实施例中，由多个UD中的每一者进行的在制图模式中的测量可在服务器上聚集并存储，并且可基于所述聚集导出统计显著性。举例来说，可从所述聚集导出标准差、方差、平均值、中值和其它统计量度。在一些实施例中，由UE100进行的测量可用以代替数据库中的测量。举例来说，如果视觉图像和/或其它测量指示结构的内部已相对于存储的3D建筑物模型837改变，那么可基于最新的测量将存储的建筑物模型837更新和/或用新建筑物模型代替。类似地，可基于新测量更新外部3D建筑物包络825、3D无线地图841、磁性地图层847和/或气压地图标注849和/或其它地图层中的一或多者。因此，UE100可接收数据库中呈信息的形式的位置辅助数据1006，且由UE100在制图模式中捕获得额外测量1008可用以更新现有数据库。
举例来说，基于存储在数据库中的信息的粒度，与UE100相关联的改进的位置估计和由UE100在那些位置处进行的测量(包含捕获的图像)可与由其它UE针对同一位置和/或针对在那个位置附近的区进行的测量相关联和/或聚集在一起。在一些实施例中，可将捕获的图像中的一或多者作为关键帧或参考帧连同与关键帧图像相关联的估计的相机姿势一起存储。在一些实施例中，外部3D包络725可包含关键帧。
在一些实施例中，改进的位置估计可基于与定位相关联的质量阈值而与聚集的测量相关联。举例来说，表示与每一定位相关联的误差估计的“水平估计位置误差”(HEPE)质量量度可用以确定将哪些测量添加和/或聚合到BSA数据库。举例来说，具有小于某一指定阈值(取决于所要的准确性或位置粒度)的HEPE值的与定位相关联的测量可经添加和/或与数据库聚集在一起。
在一些实施例中，基站历书数据库可一开始配置有默认、平均或估计的FLC值和合理的准确天线位置。在一些实施例中，可基于从多个UE100和/或PDE接收的多个额外测量208使用和更新现有BSA。基于由多个UE100/PDE进行的重复测量，天线位置估计和空间可变FLC值将不断地随时间改善，从而导致较大的天线位置确定性，所述确定性可用以改善前向链路校准准确性。
在一些实施例中，服务器250可聚集来自一群UD的原始测量信息以按与测量相关联的不同粒度创建具有信息的统计显著地图。在一些实施例中，服务器250可执行BSA、地图和/或位置服务器的功能中的一些或全部。举例来说，服务器250可收集和格式化位置数据，产生和更新地图或模型，可提供辅助到UD以用于位置估计，和/或可执行计算以获得针对UE的位置估计。在一些实施例中，服务器250可包括BSA服务器，所述服务器可管理存储完整BSA的BSA数据库。
例如包含摄影的众包和来自多个UD/PDE的其它测量的实施例可提供包含室内地图的连续维护的地图数据，且减少或去除对资源集中现场工作的需求。在一些实施例中，由于由多个用户拥有的装置进行的频繁众包采样，可贯穿网络维持高采样速率。在一些实施例中，众包测量可用以建置和/或更新数据库/BSA。
因为信息的取样速率、统计显著性和准确性与一位置处的用户密度成比例，所以将频繁地校准具有较高用户密度的受欢迎位置。因此，此类基于群众的校准系统可优化自身到用户所位于之处和/或位置服务重复地使用之处。相比之下，通常基于网络几何结构或信号传播模型的一些度量来校准现有系统，所述指标可能不反映使用型样。另外，UE用户常去的受欢迎位置还将倾向于具有最新、统计显著且准确的信息。另外，在与本文中揭示的实施例一致的系统的部署期间，可快速地基于较频繁搜集的测量获得受欢迎位置的FLC信息，从而有助于部署。
在一些实施例中，摄影数据和测量还可通过“战争驾驶”收集和/或补充。在战争驾驶中，用户可捕获图像，进行传感器测量和进行无线信号的测量，其可与UE位置相关以获得地图。收集的测量可与存储在数据库中的测量聚集和/或用以补充和/或代替存储在数据库中的测量和/或更新现有地图。在一些实施例中，可诱导UE用户(例如，需要测量/制图的位置或路线附近的用户)行进到所述位置和/或采用指定路线。举例来说，针对所要的位置附近或沿所述路线的建立的呈现金奖励、回扣、免费飞行时间或鼓励形式的奖励可用作鼓励。在一些实施例中，可获得用户同意以在智能电话上安装可定期对服务器250报告测量结果的应用程序。
在一些实施例中，提供到UE100的地图中的信息可包含以下各者中的一或多者的指示：信号的检测的可能性、在UE100的估计的位置处的信号的可能准确性连同UE100的初始位置不确定性的估计。另外，在一些实施例中，提供到UE100的地图还可包含以下各者中的一或多者的指示：LOS条件的可能性、长多路径条件的缺少和/或UE100处于长还是短阴影区中的确定。地图可包含如eNodeB天线位置、天线方向图和输出功率的简单标注，使得UE可用一阶模型执行简单链接分析。另外，地图可含有此一阶模型与含有较高阶校正项的更局部化的模型之间的差异。
现在对图10进行参看，其为说明使得能够支持混合照片地图绘制和导航的服务器250的示意性框图。在一些实施例中，服务器250也可提供对位置确定和众包地图产生和导航的支持。在一些实施例中，服务器250可以与所揭示的实施例一致的方式通过提供包含分层地图的位置辅助信息来支持位置确定。另外，在一些实施例中，服务器250可以与所揭示的实施例一致的方式基于由一或多个UD100报告的测量和信息更新数据库(例如，BSA、地图和/或配置数据库)。在一些实施例中，服务器250可包含(例如)可操作性地与一或多个连接1056(例如，总线、线、纤维、连结等)耦合的一或多个处理单元1052、存储器1054、存储装置1060和(如适用的)通信接口1090(例如，缆线或无线网络接口)。在某些实例实施方案中，服务器250的某一部分可呈芯片组和/或类似者的形式。
通信接口1090可包含支持有线发射和/或接收的多种有线和无线连接，并且，如果需要，可另外或替代地支持一或多个信号通过一或多个类型的无线通信网络的发射和接收。通信接口1090还可包含用于与各种其它计算机和周边装置通信的接口。举例来说，在一个实施例中，通信接口1090可包括网络接口卡、输入-输出卡、芯片和/或实施由服务器250执行的通信功能中的一或多者的ASIC。在一些实施例中，通信接口1090也可与网络230接合以获得多种与网络配置有关的信息，例如，PCI、配置的PRS信息和/或由网络中的基站使用的时序信息。举例来说，通信接口1090可使用在3GPPTS36.455或此协议的修订中定义的LPP附录(LPPa)协议以从网络230中的基站获得PCI、配置的PRS、时序和/或其它信息。处理单元1052可以与所揭示的实施例一致的方式使用接收到的信息中的一些或全部以产生位置辅助数据。
可使用硬件、固件与软件的组合实施处理单元1052。在一些实施例中，处理单元1052可包含服务器位置辅助数据模块1066，其可产生用于发射到UD100的位置辅助信息(包含分层地图)，具有多路径和可见性信息、空间可变FLC数据、PRS时序和静音辅助信息等。在一些实施例中，服务器位置辅助数据模块1066也可产生用于发射到UD100的位置辅助信息。处理单元1052也可能够直接或与图10中展示的一或多个其它功能块一起处理各种其它LPP/LPPe辅助信息。在一些实施例中，处理单元1052可产生位置辅助信息，作为长期演进(LTE)定位协议(LPP)或LPP扩展(LPPe)消息。
另外，在一些实施例中，处理单元1052可进一步包括位置确定模块(未图示)，所述模块可使用由UE100从测量获得的信息来确定UE100的位置和位置不确定性估计。
在一些实施例中，处理单元1052还可包括数据库更新模块1068，所述模块可使由UE100进行的测量与对应的位置估计和位置不确定性估计相关并且更新一或多个BSA和/或校准数据库。举例来说，对于从UE100接收的测量，BSA更新模块1068可基于与测量相关联的位置估计和/或位置不确定性估计聚集接收到的测量信息与存储的BSA数据。位置估计和位置不确定性估计可由UE100确定和从所述UE接收，由服务器250(例如，由服务器250上的PDM)或由另一网络实体确定。
在一些实施例中，处理单元1052可表示可配置以执行与服务器250的操作有关的数据信号计算程序或过程的至少一部分的一或多个电路。
图11展示与所揭示的实施例一致的混合照片制图的示范性方法的流程图1100。在一些实施例中，方法1100可由UE100和/或无线耦合到UE100的服务器执行。在一些实施例中，方法1100可由UE100、服务器250或其某一组合执行。
在一些实施例中，在步骤1110中，当穿越结构附近的多个位置时，可捕获所述结构的外部的多个图像。
在步骤1120中，可在图像捕获的短时间窗内捕获多个测量集合，其中每一测量集合对应于至少一个图像且包括惯性测量单元(IMU)测量或具有用于可用无线测量的校正信息的所述无线测量中的至少一者。
在一些实施例中，无线测量可包括：全球导航卫星系统(GNSS)测量，其包括差分校正代码和载波相位可观测量，且其中用于无线测量的校正信息包括以下各者中的一或多者：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息和GNSS大气压校正。
另外，在一些实施例中，用于无线测量的校正信息由UE从网络服务器接收。举例来说，UE可将未校正的无线测量发送到网络服务器和从网络服务器接收经校正的无线测量信息。在一些实施例中，用于无线测量的校正信息可包括用于UE的天线方向图信息。
无线测量可进一步包括无线广域网(WWAN)测量，其包括以下各者中的一或多者：观测到达时间差(OTDOA)测量，或参考信号时间差(RSTD)测量，或高级前向链路三边测量(AFLT)测量，或混合AFLT测量。
接下来，在步骤1130中，可部分基于捕获的图像和对应的多个测量集合估计结构的3D结构包络和/或UE的轨迹。在一些实施例中，可通过以下操作来估计UE的轨迹：针对轨迹上的位置子集中的每一位置，将以下各者中的一或多者应用到在所述位置处的GNSS测量：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息或GNSS大气压校正；针对所述子集中的每一位置，基于经校正的GNSS测量获得对应的经校正位置；和部分基于对应于所述子集中的每一位置的经校正位置确定轨迹。
在一些实施例中，可通过以下操作来确定UE的估计的轨迹和结构的3D结构包络：将视觉同时定位与制图(VSLAM)技术应用于结构的多个图像的子集以确定场景几何形状和UE相对于所述子集中的每一图像和场景几何形状的6自由度(6DOF)姿势，所述姿势是基于所述图像子集中的关键点确定；和部分基于场景几何形状获得结构的外部3D结构包络；和部分基于估计的6DOF姿势获得估计的轨迹。举例来说，可通过将6DOF姿势提供到扩展卡尔曼滤波器(EKF)来获得估计的轨迹，其中EKF部分基于6DOF姿势、IMU测量和可用的无线测量确定UE在绝对坐标中的姿势。
在步骤1140中，可将UE的估计的轨迹和3D结构包络、捕获的图像和/或对应的测量集合中的一或多者发送到无线耦合到UE的服务器。
在步骤1150中，对齐到绝对坐标的UE的经校正轨迹和结构的3D结构包络可由UE接收。对齐到绝对坐标的接收到的经校正轨迹和/或结构包络可部分基于UE的估计的轨迹和/或捕获的图像和/或测量集合。经校正轨迹可对应于UE的闭合回路轨迹。另外，在一些实施例中，对齐到绝对坐标的经校正轨迹和结构的3D结构包络可与包括经校正轨迹和3D结构包络的室外地图一起接收，其中室外地图可包括对齐到绝对坐标的多个地图层。
在一些实施例中，多个层可包含以下中的至少两者：平面图地图；或3D结构地图，具有用于相邻结构的外部3D结构包络信息；与结构相关联的WWAN信号的衰减或延迟，或针对结构附近的WWAN信号强度的任何变化的标注；或视线(LOS)地图层，指示针对地图上的第一多个绝对坐标中的每一绝对坐标在相对于绝对坐标的视线中的对应的WLAN天线。
本文中在流程图和消息流中描述的方法可取决于应用由各种装置实施。举例来说，这些方法可以硬件、固件、软件或其任何组合实施。对于硬件实施方案，处理单元1152可实施于一或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述功能的其它电子单元或其组合内。
尽管出于指导性目的，结合具体实施例来说明本发明，但本发明不限于此。在不脱离本发明的范围的情况下可作出各种改编和修改。因此，所附权利要求书的精神和范围不应限于前述描述。

Claims (30)

1.一种在用户设备UE上的方法，所述方法包括：
当穿越结构附近的多个位置时，捕获所述结构的外部的多个图像；
捕获多个测量集合，其中每一测量集合对应于至少一个图像且包括惯性测量单元IMU测量或具有用于可用无线测量的校正信息的所述无线测量中的至少一者；
部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹；
将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应测量集合中的一或多者发送到无线耦合到所述UE的服务器；以及
部分基于所述UE的所述估计的轨迹、捕获的图像和测量集合，接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络。
2.根据权利要求1所述的方法，其中所述无线测量包括：
包括差分校正代码和载波相位可观测量的全球导航卫星系统GNSS测量，且其中用于所述无线测量的所述校正信息包括以下各者中的一或多者：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息和GNSS大气压校正。
3.根据权利要求2所述的方法，其中估计所述UE的所述轨迹包括：
针对所述轨迹上的位置子集中的每一位置，将所述以下各者中的一或多者应用于所述位置的GNSS测量：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息或GNSS大气压校正；
针对所述子集中的每一位置，基于所述经校正GNSS测量获得对应的经校正位置；以及
部分基于对应于所述子集中的每一位置的所述经校正位置确定轨迹。
4.根据权利要求2所述的方法，其中用于所述无线测量的所述校正信息由所述UE从网络服务器接收。
5.根据权利要求2所述的方法，其中所述UE将所述无线测量发送到网络服务器且从所述网络服务器接收经校正的无线测量信息。
6.根据权利要求1所述的方法，其中所述无线测量进一步包括无线广域网WWAN测量，其包括以下各者中的一或多者：
观测到达时间差OTDOA测量，或参考信号时间差RSTD测量，或
高级前向链路三边测量AFLT测量，或
混合AFLT测量。
7.根据权利要求1所述的方法，其中用于所述无线测量的校正信息包括用于所述UE的天线方向图信息。
8.根据权利要求1所述的方法，其中所述经校正轨迹对应于所述UE的闭合回路轨迹。
9.根据权利要求1所述的方法，其中接收对齐到绝对坐标的所述经校正轨迹和所述结构的3D结构包络包括：
接收包括所述经校正轨迹和所述3D结构包络的室外地图，其中所述室外地图包括对齐到所述绝对坐标的多个地图层。
10.根据权利要求9所述的方法，其中所述多个层包含以下各者中的至少两者：
平面图地图；或
3D结构地图，具有相邻结构的外部3D结构包络信息；
与所述结构相关联的WWAN信号的衰减或延迟，或
针对所述结构附近的WWAN信号强度的任何变化的标注；或
视线LOS地图层，针对所述地图上的第一多个绝对坐标中的每一绝对坐标指示相对于所述绝对坐标的视线中的对应WLAN天线。
11.根据权利要求1所述的方法，其中估计所述轨迹和所述结构的3D结构包络包括：
将视觉同时定位与制图VSLAM技术应用于所述结构的所述多个图像的子集以确定场景几何形状和所述UE相对于所述子集中的每一图像和场景几何形状的6自由度6DOF姿势，所述姿势是基于所述图像子集中的关键点确定；以及
部分基于所述场景几何形状获得所述结构的所述外部3D结构包络；以及
部分基于所述估计的6DOF姿势获得所述估计的轨迹。
12.根据权利要求11所述的方法，其中获得所述估计的轨迹包括：
将所述6DOF姿势提供到扩展卡尔曼滤波器EKF，其中所述EKF部分基于所述6DOF姿势、IMU测量和可用无线测量确定所述UE在绝对坐标中的姿势。
13.一种用户设备UE，其包括：
相机，其经配置以当穿越结构附近的多个位置时捕获所述结构的外部的多个图像；
多个传感器，所述传感器包括惯性测量单元IMU；
无线模块，其经配置以进行可用无线信号的测量，和获取用于所述无线测量的校正信息；
处理器，其耦合到所述相机、传感器和无线模块，其中所述处理器经配置以：
获得结构的所述外部的所述多个图像；
获得多个测量集合，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量或具有用于可用无线测量的校正信息的所述无线测量中的至少一者；
部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹；
将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应测量集合中的一或多者发送到无线耦合到所述UE的服务器；以及
部分基于所述UE的所述估计的轨迹、捕获的图像和测量集合，接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络。
14.根据权利要求13所述的UE，其中所述无线测量包括：
包括差分校正代码和载波相位可观测量的全球导航卫星系统GNSS测量，且其中用于所述无线测量的所述校正信息包括以下各者中的一或多者：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息和GNSS大气压校正。
15.根据权利要求14所述的UE，其中为估计所述UE的所述轨迹，所述处理器经配置以：
针对所述轨迹上的位置子集中的每一位置，将所述以下各者中的一或多者应用于所述位置的GNSS测量：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息或GNSS大气压校正；
针对所述子集中的每一位置，基于所述经校正GNSS测量获得对应的经校正位置；以及
部分基于对应于所述子集中的每一位置的所述经校正位置确定轨迹。
16.根据权利要求14所述的UE，其中用于所述无线测量的所述校正信息由所述无线模块从网络服务器接收。
17.根据权利要求14所述的UE，其中：
所述无线模块将所述无线测量发送到网络服务器和从所述网络服务器接收经校正的无线测量信息。
18.根据权利要求13所述的UE，其中所述无线测量进一步包括无线广域网WWAN测量，其包括以下各者中的一或多者：
观测到达时间差OTDOA测量，或参考信号时间差RSTD测量，或
高级前向链路三边测量AFLT测量，或
混合AFLT测量。
19.根据权利要求13所述的UE，其中用于所述无线测量的校正信息包括用于所述UE的天线方向图信息。
20.根据权利要求13所述的UE，其中所述经校正轨迹对应于所述UE的闭合回路轨迹。
21.根据权利要求13所述的UE，其中为接收对齐到绝对坐标的所述经校正轨迹和所述结构的3D结构包络，所述处理器经配置以：
接收包括所述经校正轨迹和所述3D结构包络的室外地图，其中所述室外地图包括对齐到所述绝对坐标的多个地图层。
22.根据权利要求21所述的UE，其中所述多个层包含以下各者中的至少两者：
平面图地图；或
3D结构地图，具有相邻结构的外部3D结构包络信息；
与所述结构相关联的WWAN信号的衰减或延迟，或
针对所述结构附近的WWAN信号强度的任何变化的标注；或
视线LOS地图层，针对所述地图上的第一多个绝对坐标中的每一绝对坐标指示相对于所述绝对坐标的视线中的对应WLAN天线。
23.根据权利要求13所述的UE，其中为估计所述UE的所述轨迹和所述结构的3D结构包络，所述处理器经配置以：
将视觉同时定位与制图VSLAM技术应用于所述结构的所述多个图像的子集以确定场景几何形状和所述UE相对于所述子集中的每一图像和场景几何形状的6自由度6DOF姿势，所述姿势是基于所述图像子集中的关键点确定；以及
部分基于所述场景几何形状获得所述结构的所述外部3D结构包络；以及
部分基于所述估计的6DOF姿势获得所述估计的轨迹。
24.根据权利要求23所述的UE，其中为获得所述UE的所述估计的轨迹，所述处理器经配置以：
将所述6DOF姿势提供到扩展卡尔曼滤波器EKF，其中所述EKF部分基于所述6DOF姿势、IMU测量和可用无线测量确定所述UE在绝对坐标中的姿势。
25.一种用户设备UE，其包括：
成像装置，其经配置以当穿越结构附近的多个位置时捕获所述结构的外部的多个图像；
感测装置，所述感测装置包括惯性测量单元IMU装置；
无线测量装置，其经配置以进行可用无线信号的测量，和获取用于所述无线测量的校正信息；
用于获得结构的所述外部的所述多个图像的装置；
用于获得多个测量集合的装置，其中每一测量集合对应于所述多个图像中的至少一个图像，且每一测量集合包括IMU测量或具有用于可用无线测量的校正信息的所述无线测量中的至少一者；
用于部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹的装置；
用于将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应测量集合中的一或多者发送到无线耦合到所述UE的服务器的装置；以及
用于部分基于所述UE的所述估计的轨迹、捕获的图像和测量集合接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络的装置。
26.根据权利要求25所述的UE，其中所述无线测量包括：
包括差分校正代码和载波相位可观测量的全球导航卫星系统GNSS测量，且其中用于所述无线测量的所述校正信息包括以下各者中的一或多者：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息和GNSS大气压校正。
27.一种包括指令的非暂时性计算机可读媒体，所述指令在由处理器执行时使所述处理器经配置以：
当穿越结构附近的多个位置时，捕获所述结构的外部的多个图像；
捕获多个测量集合，其中每一测量集合对应于至少一个图像且包括惯性测量单元IMU测量或具有用于可用无线测量的校正信息的所述无线测量中的至少一者；
部分基于所述捕获的图像和所述对应的多个测量集合估计所述结构的3D结构包络和所述UE的轨迹；
将所述UE的所述估计的轨迹和所述3D结构包络、捕获的图像或所述对应测量集合中的一或多者发送到无线耦合到所述UE的服务器；以及
部分基于所述UE的所述估计的轨迹、捕获的图像和测量集合接收对齐到绝对坐标的所述UE的经校正轨迹和所述结构的3D结构包络。
28.根据权利要求27所述的计算机可读媒体，其中所述无线测量包括：
包括差分校正代码和载波相位可观测量的全球导航卫星系统GNSS测量，且其中用于所述无线测量的所述校正信息包括以下各者中的一或多者：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息和GNSS大气压校正。
29.根据权利要求28所述的计算机可读媒体，其中估计所述UE的轨迹的所述指令使所述处理器：
针对所述轨迹上的位置子集中的每一位置，将所述以下各者中的一或多者应用于所述位置的GNSS测量：GNSS代码和载波差分校正、GNSS精确轨道和时钟信息或GNSS大气压校正；
针对所述子集中的每一位置，基于所述经校正GNSS测量获得对应的经校正位置；以及
部分基于对应于所述子集中的每一位置的所述经校正位置确定轨迹。
30.根据权利要求28所述的计算机可读媒体，其中用于所述无线测量的所述校正信息由所述UE从网络服务器接收。
CN201480052634.XA 2013-09-27 2014-09-26 用于外部混合照片制图的方法 Active CN105579811B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361883921P 2013-09-27 2013-09-27
US61/883,921 2013-09-27
US14/497,235 US9405972B2 (en) 2013-09-27 2014-09-25 Exterior hybrid photo mapping
US14/497,235 2014-09-25
PCT/US2014/057723 WO2015088628A2 (en) 2013-09-27 2014-09-26 Exterior hybrid photo mapping

Publications (2)

Publication Number Publication Date
CN105579811A true CN105579811A (zh) 2016-05-11
CN105579811B CN105579811B (zh) 2019-06-28

Family

ID=52739773

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480052634.XA Active CN105579811B (zh) 2013-09-27 2014-09-26 用于外部混合照片制图的方法
CN201480051831.XA Active CN105556329B (zh) 2013-09-27 2014-09-26 混合照片导航及地图绘制

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480051831.XA Active CN105556329B (zh) 2013-09-27 2014-09-26 混合照片导航及地图绘制

Country Status (6)

Country Link
US (4) US9400930B2 (zh)
EP (2) EP3049820B1 (zh)
JP (2) JP6072361B2 (zh)
KR (2) KR101750469B1 (zh)
CN (2) CN105579811B (zh)
WO (3) WO2015048397A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863422A (zh) * 2016-06-14 2019-06-07 罗德尼·赫林 软件定义的无线电地球大气成像器
CN110100151A (zh) * 2017-01-04 2019-08-06 高通股份有限公司 在视觉惯性测距中使用全球定位系统速度的系统及方法
CN110702139A (zh) * 2019-09-29 2020-01-17 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
CN117517215A (zh) * 2023-11-09 2024-02-06 中国矿业大学 一记录生态资源变化状态的遥感检测方法

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9733091B2 (en) * 2007-05-31 2017-08-15 Trx Systems, Inc. Collaborative creation of indoor maps
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
EP2572544A4 (en) * 2010-05-19 2017-01-18 Nokia Technologies Oy Physically-constrained radiomaps
US20160349057A1 (en) * 2010-10-13 2016-12-01 Elbit Systems Ltd. Multiple data sources pedestrian navigation system
US9625720B2 (en) * 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9400930B2 (en) 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
EP3196594B1 (en) 2014-05-05 2021-08-11 Hexagon Technology Center GmbH Surveying system
US9964409B1 (en) * 2014-05-27 2018-05-08 Apple Inc. Localized map generation
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US9488481B2 (en) * 2014-10-14 2016-11-08 General Electric Company Map presentation for multi-floor buildings
US10091418B2 (en) * 2014-10-24 2018-10-02 Bounce Imaging, Inc. Imaging systems and methods
US10419657B2 (en) * 2014-10-26 2019-09-17 Galileo Group, Inc. Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to machine networks
US20160295548A1 (en) * 2015-04-03 2016-10-06 Hyundai Motor Company Apparatus for Controlling Message Receiving Mode and Method Thereof
US20160314592A1 (en) * 2015-04-23 2016-10-27 Nokia Technologies Oy Method and apparatus for registration of interior and exterior three dimensional scans based on a semantic feature of a structure
US10033941B2 (en) * 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US10878278B1 (en) * 2015-05-16 2020-12-29 Sturfee, Inc. Geo-localization based on remotely sensed visual features
WO2016190806A1 (en) * 2015-05-25 2016-12-01 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive measurement report mapping for ue positioning
CN107534840A (zh) * 2015-06-29 2018-01-02 尤比库姆特有限责任公司 在无线局域网络中的帧时间同步化
JP6594686B2 (ja) * 2015-07-14 2019-10-23 東急建設株式会社 三次元形状計測装置、三次元形状計測方法、及びプログラム
WO2017010230A1 (ja) * 2015-07-16 2017-01-19 日本電信電話株式会社 衛星信号受信装置、衛星信号受信方法及びプログラム
US10324195B2 (en) 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
US10048058B2 (en) * 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
US9738399B2 (en) * 2015-07-29 2017-08-22 Hon Hai Precision Industry Co., Ltd. Unmanned aerial vehicle control method and unmanned aerial vehicle using same
CN107925718B (zh) * 2015-07-31 2020-09-11 深圳市大疆创新科技有限公司 用于图像处理的系统和方法
DE102015010264A1 (de) * 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
US10517062B2 (en) * 2015-08-12 2019-12-24 Lg Electronics Inc. Method for measuring location of user equipment in wireless communication system, and apparatus for performing same
US9952354B2 (en) 2015-09-11 2018-04-24 At&T Intellectual Property I, L.P. User equipment local barometric calibration
US9772395B2 (en) * 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US10395116B2 (en) * 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
US10706615B2 (en) * 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US20170178330A1 (en) * 2015-12-17 2017-06-22 Institute For Information Industry System and method for interior mobile mapping
JP2019503268A (ja) * 2016-01-29 2019-02-07 ノーブル センサーズ、エルエルシー 位置と関係付けられた超音波撮像
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames
US10565723B2 (en) * 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10591593B2 (en) 2016-03-19 2020-03-17 Hipscience, Llc Point of reference displacement and motion sensor
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US11232583B2 (en) * 2016-03-25 2022-01-25 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera
WO2017172778A1 (en) * 2016-03-28 2017-10-05 Sri International Collaborative navigation and mapping
US10820336B2 (en) * 2016-04-01 2020-10-27 Intel Corporation Geo-information reporting for vehicle-to-vehicle sidelink communications
US10719983B2 (en) * 2016-04-06 2020-07-21 Anagog Ltd. Three dimensional map generation based on crowdsourced positioning readings
WO2017184040A1 (en) * 2016-04-20 2017-10-26 Telefonaktiebolaget Lm Ericsson (Publ) A wireless device, a positioning node and methods therein for positioning of a wireless device in a wireless communications network
US10234856B2 (en) * 2016-05-12 2019-03-19 Caterpillar Inc. System and method for controlling a machine
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US9965689B2 (en) 2016-06-09 2018-05-08 Qualcomm Incorporated Geometric matching in visual navigation systems
NZ749449A (en) * 2016-06-30 2023-06-30 Magic Leap Inc Estimating pose in 3d space
TWI594643B (zh) * 2016-07-01 2017-08-01 晶睿通訊股份有限公司 無線收發系統、無線接收裝置及無線收發方法
CN107621265A (zh) * 2016-07-14 2018-01-23 百度在线网络技术（北京）有限公司 一种用于进行室内导航的方法和装置
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
US10649211B2 (en) * 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
EP3501010B1 (en) 2016-08-19 2023-11-01 Movidius Ltd. Rendering operations using sparse volumetric data
CN106403942B (zh) * 2016-08-30 2022-04-29 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
US10739142B2 (en) * 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US10928245B2 (en) * 2016-09-15 2021-02-23 Siteco Gmbh Light measurement using an autonomous vehicle
US10210603B2 (en) * 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
US10928821B2 (en) 2016-11-04 2021-02-23 Intel Corporation Unmanned aerial vehicle-based systems and methods for generating landscape models
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
GB201621903D0 (en) * 2016-12-21 2017-02-01 Blue Vision Labs Uk Ltd Localisation
CN107223269B (zh) * 2016-12-29 2021-09-28 达闼机器人有限公司 三维场景定位方法和装置
TW201823687A (zh) * 2016-12-30 2018-07-01 鴻海精密工業股份有限公司 導航系統及其使用方法
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
CN106899935B (zh) * 2017-01-18 2018-08-14 深圳大学 一种基于无线接收设备和摄像头的室内定位方法及系统
US11205283B2 (en) * 2017-02-16 2021-12-21 Qualcomm Incorporated Camera auto-calibration with gyroscope
US10816676B2 (en) * 2017-02-25 2020-10-27 Uti Limited Partnership GNSS/INS integration deep inside of inertial sensors
US10327218B2 (en) 2017-03-16 2019-06-18 Qualcomm Incorporated Robust downlink positioning
US10097757B1 (en) 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
EP3591623A4 (en) * 2017-03-29 2020-11-04 Rakuten, Inc. DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCESS AND PROGRAM
KR102309297B1 (ko) * 2017-03-31 2021-10-06 엘지전자 주식회사 단말기 및 그 제어 방법
GB201705767D0 (en) * 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
US11740083B2 (en) * 2017-05-04 2023-08-29 Google Llc Methods and apparatus for curbside surveying
US10664502B2 (en) * 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10495762B2 (en) 2017-05-19 2019-12-03 Qualcomm Incorporated Non-line-of-sight (NLoS) satellite detection at a vehicle using a camera
CN107218935A (zh) * 2017-05-23 2017-09-29 河南华泰规划勘测设计咨询有限公司 一种室内空间测绘数据管理系统
US10417816B2 (en) * 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
CN107167143A (zh) * 2017-07-05 2017-09-15 乐高乐佳（北京）信息技术有限公司 基于关键点的导向性导航方法、装置及设备
CN107257547B (zh) * 2017-07-18 2020-05-22 歌尔科技有限公司 设备定位方法及装置
CN110019570B (zh) * 2017-07-21 2020-03-20 百度在线网络技术（北京）有限公司 用于构建地图的方法、装置及终端设备
GB201712126D0 (en) 2017-07-27 2017-09-13 Crofton Group Ltd 3D model generation system and method
US10375669B2 (en) * 2017-08-04 2019-08-06 Qualcomm Incorporated Methods and systems for locating a mobile device using an asynchronous wireless network
WO2019039983A1 (en) * 2017-08-21 2019-02-28 Sony Mobile Communications Inc METHOD FOR REPORTING POSITIONING DATA
CN107577646A (zh) * 2017-08-23 2018-01-12 上海莫斐信息技术有限公司 一种高精度轨迹运算方法及系统
CN107703144A (zh) * 2017-08-29 2018-02-16 南京航空航天大学 一种用于辅助船舶检测的穿戴式设备及检测方法
US10848199B1 (en) * 2017-08-29 2020-11-24 Syed Karim Systems and methods for communicating data over satellites
CN107784633B (zh) * 2017-09-04 2021-04-13 黄仁杰 适用于平面测量的无人机航拍图像校准方法
CN107421537B (zh) * 2017-09-14 2020-07-17 桂林电子科技大学 基于惯性传感器刚体网格的物体运动姿态感知方法和系统
US10776652B2 (en) * 2017-09-28 2020-09-15 Baidu Usa Llc Systems and methods to improve visual feature detection using motion-related data
US11175148B2 (en) * 2017-09-28 2021-11-16 Baidu Usa Llc Systems and methods to accommodate state transitions in mapping
US10802157B2 (en) * 2017-09-28 2020-10-13 Apple Inc. Three-dimensional city models and shadow mapping to improve altitude fixes in urban environments
US11243291B2 (en) * 2017-10-27 2022-02-08 Lg Electronics Inc. Method for performing OTDOA-related operation by terminal in wireless communication system, and apparatus therefor
CN109831736B (zh) * 2017-11-23 2022-01-18 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及客户端
US11740321B2 (en) * 2017-11-30 2023-08-29 Apple Inc. Visual inertial odometry health fitting
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
CN108235256B (zh) * 2017-12-29 2021-09-14 幻视信息科技（深圳）有限公司 一种基于slam的复合定位方法、装置及存储介质
WO2019151427A1 (ja) * 2018-02-02 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報送信方法及びクライアント装置
CN108376415B (zh) * 2018-02-13 2022-01-21 中国联合网络通信集团有限公司 一种轨迹填充的方法及装置
JP6923739B2 (ja) * 2018-02-28 2021-08-25 古野電気株式会社 航法装置、ｖｓｌａｍ補正方法、空間情報推定方法、ｖｓｌａｍ補正プログラム、および、空間情報推定プログラム
CN108490388B (zh) * 2018-03-13 2021-06-29 同济大学 一种基于uwb与vlc技术的多源联合室内定位方法
US10982968B2 (en) 2018-03-29 2021-04-20 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation
CN109029496B (zh) * 2018-05-30 2022-03-08 北京市遥感信息研究所 一种适用于大面阵光学相机单场地辐射定标方法
US10970924B2 (en) * 2018-06-17 2021-04-06 Foresight Ai Inc. Reconstruction of a scene from a moving camera
CN108988974B (zh) * 2018-06-19 2020-04-07 远形时空科技（北京）有限公司 时间延时的测量方法、装置和对电子设备时间同步的系统
CN112544097A (zh) * 2018-07-06 2021-03-23 诺基亚技术有限公司 用于执行三维无线电模型构建的方法、装置和计算机程序
CN112714858B (zh) 2018-07-13 2024-07-09 拉布拉多系统公司 能够在不同环境照明条件下操作的移动设备的视觉导航
WO2020019116A1 (zh) * 2018-07-23 2020-01-30 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
US11080877B2 (en) 2018-08-02 2021-08-03 Matthew B. Schoen Systems and methods of measuring an object in a scene of a captured image
US11200421B1 (en) * 2018-08-22 2021-12-14 United Services Automobile Association (Usaa) Guided inspection system and method
US10834532B2 (en) * 2018-08-23 2020-11-10 NEC Laboratories Europe GmbH Method and system for wireless localization data acquisition and calibration with image localization
EP3818499A1 (en) * 2018-09-07 2021-05-12 Huawei Technologies Co., Ltd. Device and method for performing simultaneous localization and mapping
CN109195106B (zh) * 2018-09-17 2020-01-03 北京三快在线科技有限公司 列车内定位方法和装置
CN112840235A (zh) * 2018-09-21 2021-05-25 古野电气株式会社 导航装置、导航支援信息的生成方法及生成程序
KR101948728B1 (ko) * 2018-09-28 2019-02-15 네이버랩스 주식회사 데이터 수집 방법 및 시스템
US11061145B2 (en) * 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
CN109520503A (zh) * 2018-11-27 2019-03-26 南京工业大学 一种平方根容积模糊自适应卡尔曼滤波slam方法
EP3668197B1 (en) 2018-12-12 2021-11-03 Rohde & Schwarz GmbH & Co. KG Method and radio for setting the transmission power of a radio transmission
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
CN109859178B (zh) * 2019-01-18 2020-11-03 北京航空航天大学 一种基于fpga的红外遥感图像实时目标检测方法
US11004224B2 (en) * 2019-01-22 2021-05-11 Velodyne Lidar Usa, Inc. Generation of structured map data from vehicle sensors and camera arrays
US11105735B1 (en) * 2019-02-19 2021-08-31 United Services Automobile Association (Usaa) Systems and methods for detecting properties relating to building components
US10922831B2 (en) * 2019-02-20 2021-02-16 Dell Products, L.P. Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications
CN113474680A (zh) * 2019-02-25 2021-10-01 古野电气株式会社 移动信息计算装置以及移动信息计算方法
US11037018B2 (en) 2019-04-09 2021-06-15 Simmonds Precision Products, Inc. Navigation augmentation system and method
US11249197B2 (en) 2019-05-03 2022-02-15 Apple Inc. Image-based techniques for stabilizing positioning estimates
CN110376431A (zh) * 2019-05-29 2019-10-25 国网宁夏电力有限公司电力科学研究院 一种计量采集异常故障的解决方法
CA3143762A1 (en) * 2019-06-17 2020-12-24 Rohit Seth Relative position tracking using motion sensor with drift correction
CN110519701B (zh) * 2019-08-15 2021-02-12 广州小鹏汽车科技有限公司 定位信息的创建方法、车载终端、服务器设备和定位系统
CN112400122B (zh) * 2019-08-26 2024-07-16 北京航迹科技有限公司 定位目标对象的系统和方法
US10908299B1 (en) 2019-08-30 2021-02-02 Huawei Technologies Co., Ltd. User equipment positioning apparatus and methods
CN110634104B (zh) * 2019-09-05 2022-11-18 北京智行者科技股份有限公司 多地图拼接方法及装置
CN110706356B (zh) * 2019-09-19 2023-06-16 阿波罗智联(北京)科技有限公司 路径绘制方法、装置、电子设备和存储介质
CN110645986B (zh) * 2019-09-27 2023-07-14 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
EP4042291A4 (en) * 2019-10-11 2024-01-24 Foundat Pty Ltd GEOGRAPHICAL REFERENCE OF AN OBJECT
US11417104B2 (en) * 2019-11-01 2022-08-16 Walmart Apollo, Llc Systems and methods for automatically determining location of an object inside a retail store
CN110866927B (zh) * 2019-11-21 2021-07-20 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111079654A (zh) * 2019-12-18 2020-04-28 济南大陆机电股份有限公司 一种基于图片识别的水文设备信息采集方法及系统
CN111458735B (zh) * 2020-04-23 2023-02-24 内蒙古师范大学 自动识别指定位置闭合航线的方法及系统
US20230186496A1 (en) * 2020-05-11 2023-06-15 Carnegie Mellon University Vision Sensing Device and Method
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
CN113691929B (zh) * 2020-05-15 2022-07-26 大唐移动通信设备有限公司 定位方法及装置
CN111798536B (zh) * 2020-06-15 2024-03-22 北京三快在线科技有限公司 一种定位地图的构建方法及装置
GB2596867A (en) * 2020-07-10 2022-01-12 Scout Drone Inspection As Inspection device for inspecting a building or structure
EP3944806A1 (de) * 2020-07-29 2022-02-02 Carl Zeiss Vision International GmbH Verfahren zum bestimmen des nahpunkts, zum bestimmen der nahpunktdistanz, zum bestimmen eines sphärischen brechwertes sowie zum herstellen eines brillenglases sowie entsprechende mobile endgeräte und computerprogramme
CN111817775B (zh) * 2020-08-31 2020-12-15 亚太卫星宽带通信（深圳）有限公司 一种星地协同更新终端位置的方法及卫星通信系统
EP4050459A1 (en) * 2021-02-24 2022-08-31 V-Labs SA Calibration of a display device
CN112669250B (zh) * 2021-03-16 2021-09-17 湖北亿咖通科技有限公司 一种轨迹对齐方法及电子设备
US11567163B2 (en) * 2021-04-07 2023-01-31 Zebra Technologies Corporation Mobile device locationing
US11494920B1 (en) * 2021-04-29 2022-11-08 Jumio Corporation Multi-sensor motion analysis to check camera pipeline integrity
US20230003544A1 (en) * 2021-06-14 2023-01-05 Astra Navigation, Inc. Embedding a Magnetic Map into an Image File
CN113449058B (zh) * 2021-06-25 2023-06-02 安克创新科技股份有限公司 一种地图数据传输方法、清洁机器人及存储介质
US11741631B2 (en) 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture
CN113405555B (zh) * 2021-08-19 2021-11-23 智己汽车科技有限公司 一种自动驾驶的定位传感方法、系统及装置
US12062245B2 (en) 2021-08-31 2024-08-13 Vilnius Gediminas Technical University System and method for real-time creation and execution of a human digital twin
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
US12114238B2 (en) 2021-11-29 2024-10-08 Here Global B.V. Indoor localization based on detection of building-perimeter features
WO2023118957A1 (en) * 2021-12-23 2023-06-29 Bosch Car Multimedia Portugal, S.A. System for distributed mapping of atmospheric attenuation in satellite communications
US20230245464A1 (en) * 2022-01-28 2023-08-03 GM Global Technology Operations LLC Visual wireless based positioning exploiting multipath for outdoor positioning
CN114967843A (zh) * 2022-03-31 2022-08-30 Oppo广东移动通信有限公司 终端配件、电子设备及定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248304A1 (en) * 2008-03-28 2009-10-01 Regents Of The University Of Minnesota Vision-aided inertial navigation
KR20120078339A (ko) * 2010-12-31 2012-07-10 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统
US20130083964A1 (en) * 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
US8510041B1 (en) * 2011-05-02 2013-08-13 Google Inc. Automatic correction of trajectory data
US8532885B1 (en) * 2012-04-04 2013-09-10 Hemisphere Gnss Inc. Automatic GNSS signal allocation between remote and base receivers

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1068489A2 (en) 1998-11-20 2001-01-17 Geometrix, Inc. Vision-assisted camera pose determination
JP2006351024A (ja) * 2002-05-24 2006-12-28 Olympus Corp 視野一致型情報呈示システム及びそれに用いられる携帯情報端末
US7657079B2 (en) 2002-06-28 2010-02-02 Intel Corporation Single constraint at a time (SCAAT) tracking of a virtual reality (VR) display
US7145478B2 (en) 2002-12-17 2006-12-05 Evolution Robotics, Inc. Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system
US20050234679A1 (en) * 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
JPWO2005109933A1 (ja) 2004-05-06 2008-03-21 三菱電機株式会社 移動体端末及びサーバ及び情報提供システム及び移動体端末の通信方法及びサーバの通信方法及び情報提供システムの情報提供方法
HU3056U (en) * 2005-04-29 2006-03-28 G & G Noevenyvedelmi Es Keresk Construction for making weed map
US7848881B2 (en) 2005-07-05 2010-12-07 Containertrac, Inc. Automatic past error corrections for location and inventory tracking
US8483704B2 (en) 2005-07-25 2013-07-09 Qualcomm Incorporated Method and apparatus for maintaining a fingerprint for a wireless network
US7599789B2 (en) 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
WO2008024772A1 (en) 2006-08-21 2008-02-28 University Of Florida Research Foundation, Inc. Image-based system and method for vehicle guidance and navigation
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
US7628074B2 (en) 2007-03-15 2009-12-08 Mitsubishi Electric Research Laboratories, Inc. System and method for motion capture in natural environments
JP5396585B2 (ja) * 2008-05-02 2014-01-22 株式会社ジオ技術研究所 地物特定方法
US8259692B2 (en) 2008-07-11 2012-09-04 Nokia Corporation Method providing positioning and navigation inside large buildings
US8538688B2 (en) 2008-11-18 2013-09-17 Nokia Corporation User generated pedestrian and indoor shortcut routes for navigation systems
US20100178934A1 (en) 2009-01-13 2010-07-15 Qualcomm Incorporated Environment-specific measurement weighting in wireless positioning
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100255856A1 (en) 2009-04-03 2010-10-07 Microsoft Corporation Location Sensing Selection for Mobile Devices
US8174437B2 (en) * 2009-07-29 2012-05-08 Hemisphere Gps Llc System and method for augmenting DGNSS with internally-generated differential correction
US8290511B2 (en) 2009-10-01 2012-10-16 Qualcomm Incorporated Venue application for mobile station position estimation
CN102109348B (zh) * 2009-12-25 2013-01-16 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
US9157745B2 (en) 2010-01-14 2015-10-13 Qualcomm Incorporated Scalable routing for mobile station navigation with location context identifier
JP2011170599A (ja) * 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
JP5685828B2 (ja) * 2010-03-31 2015-03-18 富士通株式会社 可搬型携帯端末、可搬型携帯端末の測位プログラム及び測位システム
GB2479537B8 (en) 2010-04-12 2017-06-14 Vitec Group Plc Camera pose correction
EP2572542A4 (en) 2010-05-19 2017-01-04 Nokia Technologies Oy Crowd-sourced vision and sensor-surveyed mapping
US9229089B2 (en) * 2010-06-10 2016-01-05 Qualcomm Incorporated Acquisition of navigation assistance information for a mobile station
WO2011153624A2 (en) 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US8892118B2 (en) 2010-07-23 2014-11-18 Qualcomm Incorporated Methods and apparatuses for use in providing position assistance data to mobile stations
US9234965B2 (en) 2010-09-17 2016-01-12 Qualcomm Incorporated Indoor positioning using pressure sensors
AU2011305154B2 (en) 2010-09-24 2015-02-05 Irobot Corporation Systems and methods for VSLAM optimization
US8676623B2 (en) 2010-11-18 2014-03-18 Navteq B.V. Building directory aided navigation
US20120190379A1 (en) 2011-01-25 2012-07-26 T-Mobile Usa, Inc. Intelligent Management of Location Sensor
US8320939B1 (en) 2011-04-21 2012-11-27 Google Inc. Crowd-sourced information for interior localization and navigation
US20120303255A1 (en) 2011-05-26 2012-11-29 INRO Technologies Limited Method and apparatus for providing accurate localization for an industrial vehicle
US8787944B2 (en) * 2011-08-18 2014-07-22 Rivada Research, Llc Method and system for providing enhanced location based information for wireless handsets
WO2013040411A1 (en) 2011-09-15 2013-03-21 Honda Motor Co., Ltd. System and method for dynamic localization of wheeled mobile robots
US9155675B2 (en) 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
US20140031980A1 (en) 2011-11-11 2014-01-30 Jens-Steffen Gutmann Systems and methods for extending slam to multiple regions
CN103105852B (zh) * 2011-11-14 2016-03-30 联想(北京)有限公司 位移计算方法和设备及即时定位与地图构建方法和设备
US8626198B2 (en) 2011-11-16 2014-01-07 Qualcomm Incorporated Characterizing an indoor structure based on detected movements and/or position locations of a mobile device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
WO2013108243A1 (en) 2012-01-18 2013-07-25 Weisman Israel Hybrid-based system and method for indoor localization
EP2817785B1 (en) 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
JP5966542B2 (ja) * 2012-04-10 2016-08-10 富士通株式会社 軌跡解析装置および軌跡解析プログラム
US10082584B2 (en) 2012-06-21 2018-09-25 Microsoft Technology Licensing, Llc Hybrid device location determination system
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
WO2014160342A1 (en) * 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US9400930B2 (en) 2013-09-27 2016-07-26 Qualcomm Incorporated Hybrid photo navigation and mapping

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090248304A1 (en) * 2008-03-28 2009-10-01 Regents Of The University Of Minnesota Vision-aided inertial navigation
CN102834696A (zh) * 2010-01-18 2012-12-19 高通股份有限公司 使用物体来对准和校准惯性导航系统
KR20120078339A (ko) * 2010-12-31 2012-07-10 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
US8510041B1 (en) * 2011-05-02 2013-08-13 Google Inc. Automatic correction of trajectory data
US20130083964A1 (en) * 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
US8532885B1 (en) * 2012-04-04 2013-09-10 Hemisphere Gnss Inc. Automatic GNSS signal allocation between remote and base receivers

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109863422A (zh) * 2016-06-14 2019-06-07 罗德尼·赫林 软件定义的无线电地球大气成像器
CN109863422B (zh) * 2016-06-14 2023-09-01 罗德尼·赫林 软件定义的无线电地球大气成像器
CN110100151A (zh) * 2017-01-04 2019-08-06 高通股份有限公司 在视觉惯性测距中使用全球定位系统速度的系统及方法
CN110702139A (zh) * 2019-09-29 2020-01-17 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
CN110702139B (zh) * 2019-09-29 2021-08-27 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
CN117517215A (zh) * 2023-11-09 2024-02-06 中国矿业大学 一记录生态资源变化状态的遥感检测方法

Also Published As

Publication number Publication date
WO2015048434A1 (en) 2015-04-02
US20150094089A1 (en) 2015-04-02
WO2015088628A3 (en) 2015-07-30
JP2016540186A (ja) 2016-12-22
US9405972B2 (en) 2016-08-02
JP6072360B2 (ja) 2017-02-01
US20150094952A1 (en) 2015-04-02
EP3049821A2 (en) 2016-08-03
US20150092048A1 (en) 2015-04-02
EP3049821B1 (en) 2019-01-02
KR20160063367A (ko) 2016-06-03
WO2015048397A1 (en) 2015-04-02
CN105556329B (zh) 2017-10-10
KR20160061401A (ko) 2016-05-31
JP2016540187A (ja) 2016-12-22
EP3049820B1 (en) 2019-12-25
US9947100B2 (en) 2018-04-17
CN105556329A (zh) 2016-05-04
US9400930B2 (en) 2016-07-26
US20160307328A1 (en) 2016-10-20
KR101750469B1 (ko) 2017-07-04
CN105579811B (zh) 2019-06-28
EP3049820A1 (en) 2016-08-03
JP6072361B2 (ja) 2017-02-01
WO2015088628A2 (en) 2015-06-18
KR101753267B1 (ko) 2017-07-19

Similar Documents

Publication Publication Date Title
CN105579811A (zh) 外部混合照片制图
CN107850673B (zh) 视觉惯性测距姿态漂移校准
US9980246B2 (en) Systems and methods for using three-dimensional location information to improve location services
Sermet et al. Crowdsourced approaches for stage measurements at ungauged locations using smartphones
CN110383099B (zh) 稳健下行链路定位
US20190011262A1 (en) Checking map alignment
KR100469801B1 (ko) 실시간 항측 기준점 측량시스템 및 방법
KR102618070B1 (ko) 프리즘이 탑재된 드론기반 gnss 음영지역에서의 위치정보취득 방법 및 그 장치
JP2021143861A (ja) 情報処理装置、情報処理方法及び情報処理システム
US20220276394A1 (en) Map-aided satellite selection
Ellum et al. Land-based integrated systems for mapping and GIS applications
JP2024509880A (ja) センサーデータを使用して改善された位置精度
Frentzos et al. Developing an image based low-cost mobile mapping system for GIS data acquisition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant