CN114364945A - 移动设备导航系统 - Google Patents

移动设备导航系统 Download PDF

Info

Publication number
CN114364945A
CN114364945A CN202080064280.6A CN202080064280A CN114364945A CN 114364945 A CN114364945 A CN 114364945A CN 202080064280 A CN202080064280 A CN 202080064280A CN 114364945 A CN114364945 A CN 114364945A
Authority
CN
China
Prior art keywords
computing device
location
user interface
image data
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080064280.6A
Other languages
English (en)
Inventor
R·W·梅尔
I·T·米勒
A·S·豪威尔
V·R·马伊吉
O·鲁普
D·乌布利希
O·纳罗蒂茨基
C·利普斯基
S·P·切尔
裵晓埈
S·哥达
P·J·科尔曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of CN114364945A publication Critical patent/CN114364945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006—Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Instructional Devices (AREA)

Abstract

位置标测和导航用户界面可以经由移动计算设备生成和呈现。移动设备可以使用内部系统来检测其位置和取向，并可以使用设备相机来捕获图像数据。移动设备还可以从地图服务器检索与设备的当前位置相对应的地图信息。使用在设备处捕获的图像数据、当前位置数据和对应的本地地图信息，移动设备可以确定或更新设备的当前取向读数。还可以为设备确定位置错误和更新的位置数据，并可以使用更新的设备取向和/或位置数据来生成地图用户界面并将其显示在移动设备上。

Description

移动设备导航系统
相关申请的交叉引用
本申请要求2019年9月19日提交的美国非临时专利申请第16/576,673号的权益，其中该申请的全部内容据此以引用的方式并入以用于所有目的。
背景技术
借助移动定位技术和现代移动计算设备的附加能力，这些移动设备经常被用作标测和导航工具。移动设备(诸如智能电话、智能手表或其他可穿戴计算设备)可使用全球定位系统(GPS)接收器或其他移动定位技术来识别其当前坐标，并且然后可使用从地图服务器接收的地图数据经由地图应用程序来查看并跟踪其当前位置。还可以经由移动设备提供导航能力，其中移动设备和/或服务器导航部件可以确定当前位置与选定目的地之间的路线。导航系统可基于路段数据、交通数据和用户选定的交通方式(例如，步行、骑自行车、驾驶等)使用优化算法来为用户选择最佳路线。
对于标测和导航能力，移动设备可以提供显示各种位置和导航数据的用户界面。地图用户界面可以包括用户的当前位置、取向、街道地址和附近的地标。导航用户界面可以提供到目的地的逐向导航，并且可以指示下一个转弯的距离和方向。标测和导航用户界面还可以支持各种不同的视图，包括具有地图数据和/或卫星图像的俯视(或鸟瞰)图、逐向导航视图、街景等。
但是，当移动设备支持位置标测和导航能力时，这些能力可能很容易受到设备处检测到的位置或传感器数据中的任何错误的影响。例如，即使是移动设备生成的设备位置数据、设备取向数据或设备移动数据中的相对较小的错误，也可能导致严重的标测和导航错误，以及用户困惑和迷失方向。
发明内容
本文描述了用于经由移动计算设备生成和呈现用户界面的技术。在各种实施方案中，用户界面可对应于地图用户界面和/或导航用户界面，以及/或者可被配置为提供地理参考增强内容的其他基于增强现实的应用程序。移动设备(诸如智能电话、平板电脑或智能手表)可以从移动设备的各种传感器或硬件部件接收数据，包括设备位置和取向数据，以及由设备相机捕获的图像数据。移动设备还可以例如从地图数据服务器的地理服务模块接收对应于设备的当前位置的地图信息。使用在设备处捕获的图像数据、当前位置数据和对应于当前位置的地图信息，移动设备可以确定移动设备的当前取向。例如，可以分析捕获的图像数据以检测街道或人行道边界、建筑物、地标、街道透视消失点、水平线等，并且可以将这些检测到的对象与对应的本地地图数据进行比较。在一些情况下，确定的取向数据可用于更新由内部罗盘或其他设备取向系统获得的先前设备取向读数。移动设备的内部罗盘或取向系统在某些情况下也可以基于确定的取向被重新配置或重新校准。类似的技术可用于为移动设备确定更新的位置数据，检测由移动设备的位置/定位系统提供的数据内的错误，以及根据需要重新配置或重新校准设备的位置/定位系统。
本文所述的附加方面涉及使用更新的设备取向和/或位置数据在移动设备上生成和显示用户界面(例如，地图和/或行人导航用户界面)。在一些实施方案中，可以通过将与设备的当前位置和取向相对应的导航用户界面部件集合叠加到由设备相机捕获的当前图像数据上来生成和渲染增强现实(AR)导航用户界面。可以根据基于对捕获的图像数据和对应的本地地图数据的分析确定(或更新)的设备取向和/或位置数据来生成基于AR的用户界面。生成基于AR的地图用户界面、街景或逐向导航视图可包括基于确定的位置和取向数据来将标签(例如，作为AR叠加)生成和渲染到街道、建筑物和地标等上。在某些实施方案中，基于AR的地图用户界面可以被设计为行人用户界面，包括逐向步行导航指令，叠加在由设备捕获的当前前向图像数据上。
例如，一些实施方案涉及经由计算设备生成地图用户界面的方法。此类方法可以包括：由计算设备接收与由该计算设备的相机捕获的一个或多个图像相对应的图像数据；接收与计算设备的位置相对应的位置信息；接收与计算设备的位置相对应的地图信息，至少部分地基于以下项来确定计算设备的取向：(a)由计算设备的相机捕获的图像数据、(b)与计算设备的位置相对应的位置信息以及(c)与位置相对应的地图信息；生成被配置为显示计算设备的当前位置的地图用户界面以及表示计算设备的当前位置的阈值距离内的一个或多个对象的一个或多个用户界面元素，其中生成地图用户界面包括在地图用户界面内选择和定位一个或多个对象，并且其中在地图用户界面内对对象进行的选择或定位中的至少一者至少部分地基于计算设备的确定的取向；以及在计算设备的屏幕上呈现地图用户界面。在另外的实施方案中，此类方法还可以包括从计算设备的罗盘接收方向读数，其中确定计算设备的取向进一步至少部分地基于从罗盘接收的方向读数。此外，此类方法可以包括至少部分地基于计算设备的确定的取向来重新配置计算设备的罗盘。在一些实施方案中，与计算设备的位置相对应的位置信息可以包括以下项中的至少一项：从计算设备的全球定位系统(GPS)接收器接收的数据、识别计算设备可访问的一个或多个WiFi网络的数据或识别经由短距离无线通信协议与计算设备通信的一个或多个附加设备的数据。在此类方法的某些实施方案中，位置信息可以对应于计算设备的位置并且包括从计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且这些方法还可以包括：至少部分地基于以下项来确定与计算设备的位置相对应的更新的位置信息：(a)由计算设备的相机捕获的图像数据、(b)从计算设备的GPS接收器接收的坐标数据以及(c)与位置相对应的地图信息；以及至少部分地基于确定的更新的位置信息来重新配置计算设备的GPS接收器。在此类方法的另一些实施方案中，确定计算设备的取向还可包括：对由计算设备的相机捕获的图像数据进行分析；检测图像数据内的一个或多个街道边界；以及将一个或多个街道边界的一个或多个轨线与接收到的地图信息内的街道矢量数据进行比较。在此类方法的另一些实施方案中，确定计算设备的取向还可以包括对由计算设备的相机捕获的图像数据进行分析，以及检测图像数据内的水平线。在另一些实施方案中，此类方法可以包括为计算设备生成从计算设备的当前位置到第二位置的路线，其中地图用户界面至少部分地基于路线显示下一个方向指令。
下文将详细描述本公开的这些实施方案和其他实施方案。例如，其他实施方案涉及包括用于执行本文所述的所有方法的计算机可执行指令的系统、设备和计算机可读介质。
通过参考以下具体实施方式和附图，可更好地理解本发明的实施方案的实质和优点。
附图说明
图1是示出根据本公开的实施方案的行人的显示导航用户界面的移动设备的图。
图2是示出根据本公开的实施方案的移动设备导航系统的部件的框图。
图3是示出根据本公开的实施方案的移动设备导航系统的接口和部件的另一框图。
图4是示出根据本公开的实施方案的用于经由移动计算设备生成和显示导航用户界面的方法的流程图。
图5至图7是示出根据本公开的实施方案的导航用户界面的示例性显示屏幕的图。
图8是示出根据本公开的实施方案的移动设备导航系统的用户设备和服务提供方计算机的框图。
具体实施方式
本公开的各方面提供了用于使用经由移动设备的相机捕获的图像数据以及本地地图数据(例如，从地图服务器或地理服务模块接收的地图图块)，以确定移动设备的取向和/或精确位置的各种技术(例如，方法、系统、设备、存储用于执行计算功能的计算机可执行指令的计算机可读介质等)。在一些情况下，确定的取向数据和位置数据可用于更新由设备的内部取向或位置/定位系统获得的先前设备取向读数或设备位置确定。在一些情况下，还可以基于更新的取向和位置读数重新配置或重新校准移动设备的内部取向或位置/定位系统。
本公开的附加方面提供了用于使用更新的设备取向和/或位置数据来在移动设备上产生和显示地图和导航用户界面的技术。在一些实施方案中，可以通过将与设备的当前位置和取向相对应的导航用户界面部件集合叠加到由设备相机捕获的当前图像数据上来生成和渲染增强现实(AR)导航用户界面。
图1是示出根据本公开的某些实施方案的行人的显示导航用户界面的移动设备的图。在该示例中，行人用户正手持移动设备110，该移动设备当前正在显示移动导航应用程序的用户界面115。尽管为了清楚起见在该示例中示出了简化的用户界面115，但移动导航应用程序可以显示地图和导航图形用户界面部件，诸如用户附近的一般区域的地图，包括附近的街道、建筑物和地标，以及用户在地图上的当前位置的标识。本文所述的实施方案可应用于地图视图用户界面(例如，在地图上示出用户的当前位置)以及导航用户界面(例如，示出用户的当前位置、选定目的地和/或将用户引导到位置的方向)两者。移动地图应用程序(当配置有导航功能时也可以称为移动导航应用程序)可以从远程地图服务器120中的地图数据存储库中检索地图数据。移动地图和/或导航应用程序可以将地图元素(例如，街道、建筑物、地标等)显示为图形部件和几何形状，并且/或者通过使用用户界面中显示的地图内的实际图像数据。例如，移动导航应用程序可以被配置为接收和显示卫星图像数据或先前捕获的街景图像数据以用于地图渲染。在其他示例中，移动导航应用程序可以被配置为显示增强现实用户界面，其中实时图像数据经由移动设备110上的相机捕获，并且叠加有标签和其他图形部件以将导航功能提供给用户。移动导航应用程序还可以在被引导到目的地时为用户支持不同的用户界面视图，诸如俯视(或鸟瞰)图、逐向导航视图、街景和增强现实视图。
在该示例中，图1中所示的移动导航应用程序可以被配置为行人导航系统，其可以在几个方面不同于基于车辆的导航系统。例如，某些基于车辆的导航系统可能不检测或使用设备的取向来生成用户界面显示。相反，基于车辆的GPS导航系统或执行移动导航应用程序的“车辆模式”的智能电话可以假设显示器的取向应对应于车辆的行驶方向。因此，如果执行移动导航应用程序的“车辆模式”的智能电话在车辆向前行驶时转向，则无需旋转用户界面来反映设备的取向的变化。然而，在图1所示的行人导航系统中，移动设备110的取向的变化可以指示行人已转身或改变方向，并且因此用户界面115应被改变以反映新的设备取向。
另外，与某些基于车辆的导航系统不同，移动设备110在行人导航系统中的当前位置不可以被假设为在道路或高速公路上，或者甚至在人行道或路径上。因此，行人导航系统可以基于移动设备110的位置的甚至很小的差异来为用户界面115生成不同的显示。例如，行人导航系统可以在用户界面115内显示不同的数据，这取决于用户正在街道的哪一侧行走，或者用户何时穿过停车场、路径或场地等。
当生成用户界面115时，行人导航系统也可能不假设用户处于街道水平，而是可以检测用户何时低于或高于街道水平(例如，在地铁隧道中、阳台或屋顶上)。因此，在某些实施方案中，行人导航系统可以确定移动设备110是处于街道水平、处于街道水平之上还是处于街道水平之下，并且可以相应地生成用户界面115。
图2是示出根据本公开的一个或多个实施方案的移动设备导航系统的部件的框图。该示例中的移动设备导航系统200可以对应于被配置为经由用户的移动设备110向行人用户提供位置标测和导航功能的行人导航系统。导航系统200包括地图/导航移动应用程序210、增强现实系统220、媒体系统230、地图数据存储库240、位置系统(或移动定位系统)205和运动系统260。移动设备导航系统200的不同部件和系统210-260可以在移动设备110内、计算机服务器120内、和/或如本文所述的一个或多个第三方系统内实现。例如，在一些实施方案中，移动应用程序210、增强现实系统220、媒体系统230、位置系统250和运动系统260可以在用户的移动设备110内实现，并且地图数据存储库240可以由服务器120提供。
地图/导航应用程序210可以对应于安装在用户的移动设备110上的移动应用程序。应用程序210可以被配置为显示地图数据并经由用户界面120提供各种位置标测和导航功能。例如，响应于在移动设备110上打开或启动应用程序210，应用程序210可以显示具有与用户的当前位置相对应的元素的地图用户界面，并提供到选定目的地的方向。在一些实施方案中，地图/导航应用程序210可以被配置为提供增强现实(AR)用户界面，其中地图/导航部件被生成并叠加在经由移动设备110上的相机捕获的实时图像数据上。因此，应用程序210可以包括逐向路线规划引擎，以及如该示例中所示的增强现实叠加部件。
增强现实系统220可以包括被配置为生成地图/导航部件以叠加在移动设备110上的AR导航用户界面内的部件。在该示例中，增强现实系统220包括语义图像分割部件、基于图像的航向估计部件、长基线视觉惯性测距(VIO)部件和地理参考AR内容提供方。
媒体系统230包括一个或多个设备相机，这些相机捕获图像数据以用于AR导航用户界面。AR系统220可以在地图/导航应用程序210正在使用并且被配置为显示AR导航界面的时间段期间向媒体系统230发送请求以激活移动设备110的前置相机。在这些时间段期间，媒体系统230可以连续激活前置相机，并将捕获的图像数据提供给AR系统220以用于AR导航用户界面。
可以在与移动设备110分离的地图服务器120内实现的地图数据存储库240包括地图图块的数据库。地图图块包含表示特定区域内的物理对象(例如，建筑物、街道、自然地标等)的对象标识符、属性和地理坐标的集合。当使用地图/导航应用程序210时，AR系统220可以基于移动设备110的当前位置从地图数据存储库240请求适当的地图图块。
位置/定位系统250可以配置有一个或多个位置子系统，这些位置子系统被配置为确定移动设备110的位置和取向。在该示例中，位置/定位系统250包括位置估计器、VIO稳定位置部件、罗盘/相机航向仲裁部件、行人地图匹配部件。位置/定位系统250可以被配置为在被地图/导航应用程序210请求时提供设备位置数据。在一些情况下，设备定位系统250可以包括GPS接收器或被配置为检测移动设备110的当前地理坐标的其他移动定位技术。附加地或另选地，位置/定位系统250可以被配置为检测可以从其确定移动设备110的位置的无线网络、无线接入点和/或其他附近的设备(例如，已知的蓝牙设备、NFC标签等)。
位置/定位系统250还可以响应来自地图/导航应用程序210的请求来确定当前设备取向。在一些情况下，设备取向可以由移动设备110的内部罗盘确定。在其他情况下，可以使用三角测量通过检测信号在移动设备110的不同天线处的到达时间的差异来计算设备取向。
运动系统260可以包括运动传感器，诸如加速度计和陀螺仪。在一些实施方案中，运动系统260可以被配置为向AR系统220和/或向位置/定位系统250提供设备运动数据。例如，可以将运动数据从运动系统260提供到AR系统220，以供AR系统220在生成AR内容时使用。另外，运动系统260可用于基于诸如移动设备110内的加速度计和陀螺仪的运动传感器来检测设备位置和/或设备取向。例如，假设移动设备110的初始位置或取向是已知的，在三个维度上监测和跟踪设备加速度数据和/或陀螺仪数据可以允许移动设备110计算更新的位置或更新的取向。
图3是示出根据本公开的实施方案的移动设备导航系统的接口和部件的另一框图。该示例中所示的移动设备导航系统300可以与上面讨论的导航系统200类似或相同，其中附加细节示出了另外的部件以及系统与部件之间的通信路径。在其他实施方案中，不同于导航系统200，移动设备导航系统300可以对应于行人导航系统的单独具体实施。
图4是示出根据本公开的实施方案的经由移动计算设备生成和显示导航用户界面的示例性过程的流程图。如下所述，该过程中的步骤可以由用户设备110执行，诸如智能电话或执行移动设备导航系统的其他移动设备。因此，可以参考如上文在图1至图3中所述的设备和系统来描述特征和功能。然而，应当理解，生成和显示本文所述的导航用户界面的过程不限于上文所述的特定计算环境和系统，而是可以在各种其他计算环境和系统内执行。
在步骤401中，移动设备导航系统200接收由移动设备100的一个或多个相机230捕获的成像数据。在一些实施方案中，可以响应于用户启动或发起移动导航应用程序210来执行步骤401中的图像数据的捕获。例如，移动应用程序210或增强现实系统220可以被配置为响应于移动应用程序210被打开或启动，或者响应于经由移动应用程序210的用户界面做出的用户动作(例如，用户发起行人导航模式)来激活一个或多个设备相机。在其他示例中，设备相机可以被配置为在移动设备110的操作期间连续捕获数据，在这种情况下，AR系统220可以在移动应用程序210被用户打开或启动之前接收图像数据的连续流。
在步骤401中接收的图像数据可以对应于经由移动设备的一个或多个相机捕获的数字图像和/或视频数据。在某些情况下，最大化在步骤401中接收的图像数据量可能是有利的。如下所述，最大化在步骤401中收集的图像数据量可以允许图像数据中表示的对象更容易与相应的地图数据匹配，并且还可以提供更多的整体图像数据以在确定设备取向和/或位置时进行分析。因此，在一些实施方案中，在步骤401中接收图像数据可以包括激活移动设备110上的多个相机，诸如前置相机、面向用户的相机和/或任何其他可用的相机，以最大化收集的图像数据量。在一些情况下，也可以使用广角或全景相机模式，以增加在步骤401中收集图像数据的角度。另外，在一些实施方案中，在步骤401中接收的图像数据可以由同一位置的一个或多个单独的计算设备收集，并且然后传输到移动设备110。例如，在用户的第一移动设备110(例如，智能电话)上执行的导航系统可以激活用户的其他设备中的一个或多个其他设备(诸如第二智能电话、智能手表或具有相机的其他可穿戴设备等)上的相机。因此，其他用户设备可以收集附加图像数据，并且可以将图像数据传输回正在执行导航系统的第一移动设备110。
在步骤402中，移动设备导航系统200可以接收和/或确定移动设备110的当前位置数据。在一些实施方案中，响应于用户打开或激活地图/导航移动应用程序210，移动设备110可以激活内部标准定位服务(SPS)接收器，诸如GPS接收器或其他移动定位系统。移动设备110上的一个或多个SPS接收器可能够使用SPS天线从一个或多个SPS卫星接收信号。在各种实施方案中，移动设备110上的SPS接收器可以支持对来自SPS系统(诸如全球导航卫星系统(GNSS)(例如，全球定位系统(GPS))、伽利略系统、格洛纳斯系统、日本上空的准天顶卫星系统(QZSS)、印度上空的印度区域导航卫星系统(IRNSS)、中国上空的北斗系统等)的航天器(SV)的信号的测量。此外，SPS接收器可以与各种增强系统(例如，基于卫星的增强系统(SBAS))一起使用，这些增强系统可以与一个或多个全球或区域导航卫星系统相关联或以其他方式能够与一个或多个全球或区域导航卫星系统一起使用。以举例而非限制性的方式，SBAS可以包括提供完整性信息、差分校正等的增强系统，诸如例如广域增强系统(WAAS)、欧洲地球同步导航重叠服务(EGNOS)、多功能卫星增强系统(MSAS)、GPS辅助地理增强导航或GPS和地理增强导航系统(GAGAN)等。因此，如本文所用，SPS可以包括一个或多个全球或区域导航卫星系统或增强系统的任何组合，并且SPS信号可以包括SPS、类SPS或与此类一个或多个SPS相关联的其他信号。
用于在步骤402中接收移动设备110的当前位置的其他技术可以包括基于设备经由短距离无线通信协议(包括移动设备110当前连接到的任何无线网络和/或无线接入点)到一个或多个附加设备的连接来确定当前设备位置。例如，在使用地图/导航移动应用程序期间，移动设备110可以通过一个或多个无线接入点或其他网络部件连接到一个或多个无线网络。无线接入点可以包括诸如无线路由器、调制解调器、交换机、移动热点、机顶盒等的设备，这些设备允许移动设备130与局域网(“LAN”)、广域网(“WAN”)进行无线连接和通信。某些无线网络和/或无线接入点可以与某些地理位置(例如，家庭、工作场所、商家提供的WiFi网络等)相关联，并且因此移动设备110可以基于当前可用于由移动设备110连接的无线网络和无线接入点的集合来确定其当前地理位置。
在步骤402中用于确定移动设备110的当前位置的各种技术可以具有不同级别的准确度和可靠性。例如，GPS标准定位服务(SPS)和GPS精确定位服务(PPS)可以提供不同级别的准确度，并且任一标准的接收器的准确度可能受到信号问题和卫星视距遮挡、测量偏差以及随机误差的影响。另外，在一些实施方案中，基于移动设备110检测到的无线网络和无线接入点来确定移动设备110的位置可能不如使用GPS精确。例如，来自已知无线接入点的信号可能仅允许将移动设备110定位在几百英尺内，这取决于无线接入点的传输范围。因此，应当理解，下面的各个步骤可以基于步骤402中位置确定的准确度和可靠性来进行定制。例如，当步骤402中的位置确定不太精确或更可能容易出错时，可以检索更大地理范围的地图信息(步骤403)。
在步骤403中，移动设备导航系统200可以接收在移动设备110的当前位置处或附近的区域的地图信息。在一些实施方案中，移动设备110的位置/定位系统250可以从地图服务器120请求与移动设备110的当前位置和附近区域相对应的地图信息(例如，一个或多个地图图块)。地图服务器120可以包括一个或多个地图数据存储库240，存储表示不同地图区域的地图图块或其他地图数据文件/结构的目录。在一些情况下，单个地图图块可以表示一平方公里面积的土地。在一些情况下，响应于用户在移动设备110上打开或发起地图/导航应用程序210，可以在步骤403中检索地图信息(例如，一个或多个地图图块)。在其他情况下，位置系统250可以被配置为周期性地或连续地跟踪移动设备110的当前位置，并根据需要从地图服务器120请求新的周围地图信息。
在步骤403中接收的地图信息可以包括地图图块或其他类似格式的地图数据文件或结构，其包括识别由地图图块覆盖的区域内的物理对象的地理坐标的集合。例如，覆盖特定区域的地图图块可以包括坐标数据，该坐标数据定义了该区域内所有街道、路径、建筑物、自然或人造地标以及其他任何固定对象的精确大小、形状和边界。除了地理坐标之外，地图图块还可以包含识别每个唯一对象及其类型(例如街道、路径、建筑物、水体、其他自然地标等)、对象名称或标签数据以及其他对象属性的数据。在步骤403中接收的地图图块或其他地图信息可以包括地图/导航应用程序210渲染区域的地图图形用户界面所需的任何和所有数据。
附加地或另选地，在步骤403中接收的地图信息可以包括移动设备110的当前位置或其附近的图像数据。例如，位置系统250可以从对应于当前位置和周围区域的一个或多个外部服务器120检索卫星图像数据或先前捕获的街景图像数据。又如，在步骤403中接收的地图信息可以包括物理对象图像(例如，建筑物、地标等)的目录以及物理对象的已知地理坐标。如下面更详细讨论的，可以对在步骤403中接收的地图信息进行分析并将其与在移动设备110处捕获的图像数据进行比较。因此，当在步骤403中接收到非图像地图信息(例如，地图图块)时，与捕获的图像数据的比较可以基于与对象大小、形状等的比较。然而，当在步骤403中接收到地图图像数据时，与在移动设备110处捕获的图像数据的比较可以包括图像匹配等。
在一些实施方案中，可从地图服务器120接收地图信息，而无需一直向地图服务器120提供移动设备110的精确位置。例如，移动设备110的位置/定位系统250可以请求和接收覆盖相对较大区域的一个或多个地图图块，而无需一直将移动设备110的位置坐标传输到地图服务器120。此类实施方案可以提供关于保护隐私和安全的技术优势，包括完全支持本文所述的地图/导航功能(例如，行人导航系统、基于AR的地图/导航用户界面等)，而无需移动设备110将其位置传输到任何外部服务器120。
在步骤404中，移动设备导航系统200可以基于对在移动设备110处捕获的图像数据、移动设备110的当前位置和/或针对移动设备110的当前位置接收的地图信息进行的分析来确定移动设备110的当前取向。在一些实施方案中，取向确定可以由在移动设备110上执行的AR系统220内的基于图像的航向估计部件222来执行。例如，基于图像的航向估计部件222可以最初在步骤403中接收的地图信息内绘制移动设备110的当前位置。航向估计部件222然后可以使用地图信息来确定当前在(或应该)在移动设备110附近的一个或多个物理对象。航向估计部件222然后可以将在步骤401中在移动设备110处捕获的图像数据与在当前位置处或附近的地图数据内识别的物理对象的特性进行比较。在一些实施方案中，此类比较可包括对在移动设备110处捕获的图像数据进行分析以检测线段、形状和其他可识别对象，并且然后将这些对象与地图数据内识别出的附近物理对象进行比较。如上所述，还可以在移动设备110处捕获的图像数据与接收自一个或多个地图服务器120的地图信息内的地图数据图像(例如，先前的街景图像、卫星图像、图像库等)之间执行图像匹配比较。
步骤404中进行的分析可以包括：检测在移动设备110处捕获的图像数据内的任何可辨别对象；确定此类对象的属性；以及然后尝试将对象匹配到地图数据中识别出的附近物理对象。在各种示例中，对象匹配可以基于对象形状、大小、颜色、对象之间的关系或图像数据内的任何其他可检测模式。
在某些示例中，基于图像的航向估计部件222可以对由移动设备110捕获的图像数据进行分析以检测捕获的图像数据内的街道、人行道或步行/自行车路径。可以通过识别与街道边界、路缘、人行道线或边界和/或街道内的绘制线相对应的平行或接近平行的线段来检测这些对象。基于线段的方向(或轨线)，估计部件222可以确定移动设备110相对于街道、人行道或路径(或相对于街道、人行道或路径的特定段)的取向。基于平行或接近平行的线段之间的角度或距离，估计部件222还可以确定移动设备110与街道、人行道或路径等之间的距离。估计部件222然后可以识别地图信息中对应的街道、人行道或路径，例如，对街道、人行道或路径的位置、方向、宽度、弯曲形态或其他区分特性进行比较。最后，估计部件222可以基于(1)存储在地图信息内的街道、人行道或路径段的方向(或街道矢量)，以及(2)移动设备110与街道、人行道或路径段的相对取向来确定移动设备110的当前取向，这可以通过对捕获的图像数据的分析来确定。在一些实施方案中，航向估计部件222还可以对图像进行分析以检测平行或接近平行的街道边界、人行道线或铁轨等的消失点，可以将移动设备110视角的消失点的方向与地图信息内的街道、路径、铁轨等的方向进行比较，以确定移动设备110的当前取向。
在其他示例中，基于图像的航向估计部件222可以对由移动设备110捕获的图像数据进行分析以检测建筑物或其他地标，并且可以将建筑物或地标与地图信息中的对应对象进行比较以确定移动设备110的当前取向。例如，估计部件222可以识别附近建筑物或地标的特性(例如，大小、形状、位置或取向)，以便将建筑物或地标与地图信息内的对应对象进行匹配。在将建筑物或地标与地图信息内的对象进行匹配之后，航向估计部件222可以基于(1)存储在地图信息内的对象的位置和取向，以及(2)移动设备110与捕获的图像数据内的对象(或对象的至少一个表面)的相对取向来确定移动设备110的当前取向。
除了将附近的建筑物或其他地标与地图信息内的对应对象进行匹配之外，航向估计部件222还可以识别由设备捕获的图像数据内的远距离对象，只要这些远距离对象的位置和/或航向是已知或可以确定的。例如，航向估计部件222可以识别由移动设备210捕获的图像数据内的太阳、月亮、水平线或其他远距离地标(例如，山脉、水体、无线电塔、飞行器警告灯塔等)，以使用与上述技术类似的技术来确定移动设备的当前取向。不管在210中用于对移动设备进行取向的物理对象的类型如何，过程的步骤都可以包括：将由移动设备110捕获的图像数据内的物理对象与接收到的地图信息中的对应对象进行匹配；从接收到的地图信息确定对象的绝对取向；以及然后基于对象的绝对取向和移动设备110相对于对象的相对取向来确定移动设备的当前取向。
在一些实施方案中，来自移动设备110的内部罗盘的数据也可用于步骤404中的设备取向确定。如上所述，来自移动设备110的罗盘数据在一些情况下可能不准确或不可靠。然而，航向估计部件222可以潜在地以有限的方式使用罗盘数据例如以确定设备所指向的总体方向(例如，在90度或180度等的范围内)，其可用作图像分析和对象比较过程的起始点。
虽然上述示例涉及确定移动设备110的当前取向，但是可以使用类似的技术来确定移动设备110的当前位置。如上所述，经由移动设备110的位置/定位系统250接收的位置数据(或位置信息)可能不准确或不精确。例如，基于位置/定位技术的信号干扰、错误读数或设计限制，在步骤402中接收到的当前设备位置可能不准确，误差从几英尺到半英里或更多。在这些情况下，在步骤402中确定的当前位置数据可以足够准确以允许移动设备导航系统200请求适当的地图图块/地图信息，但对于地图/导航移动应用程序210可能不够准确。
因此，步骤404还可以包括执行类似的图像处理和对象比较步骤以确定移动设备110的当前位置。例如，位置/定位系统250内和/或AR系统220内的位置估计器252可以将由移动设备110捕获的图像数据内的一个或多个物理对象与接收到的地图信息中的对应对象进行匹配。位置估计器252然后可以例如通过使用对象的大小和对象边缘之间的角度来计算移动设备110与对象之间的直线距离，来确定或估计移动设备110与一个或多个物理对象之间的距离。然后可以使用存储在地图信息中的对象的绝对位置以及移动设备110与相同对象之间的距离来计算移动设备110的当前位置。例如，移动设备110的绝对位置可以通过使用到两个或更多个对象的距离的三角测量来确定，或者基于到一个或多个对象的确定的距离和取向来确定。
在某些实施方案中，移动设备导航系统200可以使用类似于上述确定设备取向和/或位置的技术来确定移动设备110何时处于街道水平、高于街道水平或低于街道水平。例如，对由移动设备110捕获的图像数据进行的分析可以包括检测相对于附近的物理对象的上角或下角。当地图信息确认那些物理对象处于街道水平时，行人导航系统200可以确定移动设备110在街道水平之上或之下的竖直定位。
在步骤405中，移动设备导航系统200的部件可以使用在步骤404中对设备取向和设备位置进行的确定，来选择和定位待经由地图/导航应用程序210呈现的用户界面元素。在一些实施方案中，地图/导航应用程序210的用户界面的生成可以完全由地图/导航应用程序210本身来执行。在其他实施方案中，例如，经由地图/导航应用程序210提供基于增强现实(AR)的行人导航系统，然后可以使用单独的AR系统220来选择和定位待经由基于AR的界面呈现的用户界面元素。
如上所述，当地图/导航应用程序210是行人导航应用程序，或者可以被配置为在行人导航模式(与在驾驶导航模式下操作时不同)下操作时，移动设备110的取向可以确定为用户界面生成的显示。例如，如果使用导航应用程序210的行人在停留在相同位置时转动移动设备110，则可以更新用户界面以显示现在在移动设备110前面的街道、建筑物和其他对象的新集合。基于移动设备110的取向来更新显示的行人导航系统可以包括增强现实(AR)导航系统和图形非AR导航系统两者。AR行人导航系统可以显示从移动设备110的前置相机捕获的实时图像数据，其叠加有标签和其他图形部件以向用户提供导航功能。
图形部件(例如，图形街道和对象、标签、方向窗口、转向指示器等)的选择和图形部件的特定定位两者可以基于在步骤404中确定的设备取向和/或位置数据。最初，基于设备位置和取向，app/导航移动应用程序210和/或AR系统220可以确定哪些物理对象直接在移动设备110的前面和视野中。对于全图形(非AR)用户界面，这些物理对象(例如，街道、建筑物、自然地标等)，移动应用程序210可以确定这些部件的大小、位置和屏幕位置以对应于用户的当前视角。对于AR和非AR用户界面，可以为用户界面中渲染的每个物理对象生成标签，并且可以选择标签的大小和布置以匹配被渲染对象的大小和取向。对于基于AR的行人导航应用程序，可以对显示在AR界面中的相机图像数据进行分析以识别当前示出在图像中的特定物理对象(例如，街道、建筑物等)，并且AR系统220可以生成以对象的图像上的适当大小、布置位置和取向待渲染到屏幕上的对象标签。
除了对界面中示出的物理对象进行标记之外，地图/导航应用程序210还可以提供具有附加部件的地图或导航相关功能，包括显示用户的当前位置、目的地位置和预计到达时间、逐向导航指令等。在一些实施方案中，移动应用程序210和/或AR系统220可以基于物理对象在用户界面内的表示来确定图形用户界面部件的大小和布置。例如，方向指令窗口、箭头等可以定位在屏幕上并适当调整大小，以免遮挡街道标志、交通信号灯、迎面而来的移动对象等。另外，AR系统220还可以选择待用于标记对象和用于待覆盖在基于AR的行人导航用户界面中的其他用户界面部件的对比色。例如，在夜间使用行人导航系统等期间，街道和建筑物标签、箭头和方向指令可以浅色渲染。
在步骤406中，地图/导航用户界面可以由移动应用程序110生成并渲染在移动设备110的显示屏幕上。如上所述，本文所述的各种技术可以应用于位置标测专用应用程序以及导航应用程序，以及用于增强现实用户界面和图形非AR用户界面。因此，在步骤406中生成和渲染的地图/导航用户界面可以适当地包括地图特定和/或导航特定用户界面元素，并且可以或不可以被渲染为增强现实用户界面。例如，本文所述的技术也可以应用于任何增强现实应用程序，以允许该应用程序提供地理参考增强现实内容。
图5至图7示出了根据本公开的实施方案的导航用户界面的三个示例性显示屏幕。在图5中，移动设备110被示出为渲染由行人导航系统生成的增强现实用户界面500。在该示例中，增强现实用户界面500包括显示经由移动设备的前置相机捕获的实时图像数据的AR窗口510，和具有为用户516显示当前方向指令516的图形部件的叠加窗口515，以及用户的当前位置和路线的俯视地图视图517。如该示例所示，当前方向指令(即“转向”)已基于用户的当前取向和位置而被选择和显示。在图6中，用户已转向并且用户界面600已基于为移动设备110检测的新取向而更新。在该示例中，俯视地图视图617已被更新以反映取向，并且转向指令已被替换为根据当前路线通知用户即将到来的转动的单独图形窗口616。最后，在图7中，行人正在接近目的地，并且俯视地图视图717和方向指令窗口716两者已相应地更新。
图8示出了根据至少一个实施方案的行人导航系统800的部件。系统800可以包括可以利用任何合适的通信协议经由网络806相互通信的用户设备802和/或服务提供方计算机804。
在一些示例中，网络806可以包括许多不同类型的网络(诸如，有线网络、互联网、无线网络、蜂窝网络、其他专用网络和/或公共网络)中的任一者或它们的组合。虽然所例示的示例表示用户设备802通过网络806与服务提供方计算机804通信，但所述技术可同等地应用于用户设备802通过固定电话、经由信息亭或以任何其他合适的方式与服务提供方计算机804交互的实例中。应当理解，所述技术可应用于其他客户端/服务器布置以及非客户端/服务器布置(例如，本地存储的应用程序等)中。例如，在一些实施方案中，下面更详细讨论的地理服务模块854和/或导航模块856可以全部或部分地在用户设备802上操作。另外，用户设备802可以通过用户设备802的部件(例如，地图应用程序模块804)访问地理服务模块854和/或导航模块856的功能，以及/或者经由地理服务模块854和/或导航模块856提供的用户界面和/或API访问服务提供方计算机804。
如上所述，用户设备802可以被配置为使用增强现实叠加来执行或以其他方式管理用于呈现用于提供地图数据和行人导航数据的用户界面(例如，图5至图7的用户界面500、600和700)的应用程序或指令。用户设备802可为任何类型的计算设备，诸如但不限于移动电话(例如，智能电话)、平板电脑、个人数字助理(PDA)、膝上型计算机、台式计算机、瘦客户端设备、智能手表、无线耳机等。
在一种例示性配置中，用户设备802可包括至少一个存储器820和一个或多个处理单元(或处理器)822。处理器822可适当地以硬件、计算机可执行指令或它们的组合实现。处理器822的计算机可执行指令或固件具体实施可包括以任何合适的编程语言编写的计算机可执行指令或机器可执行指令，以执行所述的各种功能。
存储器820可存储能够在处理器822上加载和执行的程序指令以及在执行这些程序期间生成的数据。根据用户设备802的配置和类型，存储器820可为易失性存储器(诸如随机存取存储器(RAM))和/或非易失性存储器(诸如只读存储器(ROM)、闪存存储器等)。用户设备802还可包括附加可移除存储装置和/或不可移除存储装置824，包括但不限于磁存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的非暂态计算机可读介质可为计算设备提供计算机可读指令、数据结构、程序模块及其他数据的非易失性存储装置。在一些具体实施中，存储器820可包括多种不同类型的存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。虽然本文所述的易失性存储器可以被称为RAM，但是从主机和/或电源拔下后将不会保留其中所存储的数据的任何易失性存储器都是适当的。
可移除及不可移除的存储器820和附加的存储装置824均为非暂态计算机可读存储介质的示例。例如，非暂态计算机可读存储介质可包括易失性或非易失性、可移除或不可移除介质，其通过任何方法或技术实现为用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据。存储器820和附加的存储装置824均为非暂态计算机存储介质的示例。可存在于用户设备802中的附加类型的计算机存储介质可包括但不限于：相变RAM(PRAM)、SRAM、DRAM、RAM、ROM、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、光盘只读存储器(CD-ROM)、数字视频光盘(DVD)或其他光存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备或任何其他可用于存储所需的信息并可被用户设备802访问的介质。上述任意组合也应该包括在非暂态计算机可读存储介质的范围内。
另选地，计算机可读通信介质可包括计算机可读指令、程序模块或在数据信号诸如载波或其他传输手段内传输的其他数据。然而，如本文所用，计算机可读存储介质不包括计算机可读通信介质。
用户设备802还可包含通信连接件826，该通信连接件允许用户设备802经由一个或多个网络与数据存储库、另一个计算设备或服务器、用户终端和/或其他设备进行通信。此类网络可包括许多不同类型的网络中的任一种或组合，诸如有线网络、互联网、无线网络、蜂窝网络、卫星网络、其他专用网络和/或公共网络或者它们的任意组合。用户设备802还可包括I/O设备828，诸如触摸输入设备、图像捕捉设备、视频捕捉设备、键盘、鼠标、笔、语音输入设备、显示器、扬声器、打印机等。
更详细地转到存储器820的内容，存储器820可包括操作系统830和/或用于实现本文所公开的特征的一个或多个应用程序或服务。存储器820可以包括数据存储库832，该数据存储库可以被配置为存储地图数据(例如，地图图块)和/或导航数据(例如，逐向导航)，以供在用户设备802上提供车辆和/或行人导航功能的地图应用程序模块804使用。
在一些示例中，地图应用程序模块804可被配置为在用户设备802处(例如，在I/O设备828的显示器处)提供用户界面500、600和700。作为提供用户界面500-700的一部分，地图应用程序模块804可被配置为(例如，从数据存储库832)检索地图图块和/或导航数据，并访问增强现实模块(例如，AR工具包)，以便在用户界面500-700内呈现结合了地图和/或导航数据的增强现实叠加。
在一些方面中，服务提供方计算机804可以是任何合适类型的计算设备，诸如但不限于移动电话、智能电话、个人数字助理(PDA)、膝上型计算机、台式计算机、服务器计算机、瘦客户端设备、平板电脑等，另外，应当指出的是，在一些实施方案中，服务提供方计算机804由在托管计算环境中实现的一个或多个虚拟机执行。托管计算环境可以包括一个或多个快速供应和释放的计算资源，这些计算资源可以包括计算、联网和/或存储设备。托管计算环境也可以称为云计算环境。在一些示例中，服务提供方计算机804可以经由网络806与用户设备802通信。服务提供方计算机804可以包括一个或多个服务器，这些服务器可能被布置在集群中，作为服务器场，或作为彼此不关联的单独服务器。这些服务器可以被配置为将本文所述的功能实现为集成的分布式计算环境的一部分。
在一种例示性配置中，服务提供方计算机804可包括至少一个存储器840和一个或多个处理单元(或处理器)842。处理器842可根据适当情况在硬件、计算机可执行指令、固件或它们的组合中实现。处理器842的计算机可执行指令或固件具体实施可包括以任何合适的编程语言编写的计算机可执行指令或机器可执行指令，以执行所述的各种功能。
存储器840可存储能够在处理器842上加载和执行的程序指令以及在执行这些程序期间生成的数据。根据服务提供方计算机804的配置和类型，存储器840可为易失性存储器(诸如RAM)和/或非易失性存储器(诸如ROM、闪存存储器等)。服务提供方计算机804或服务器也可包括附加存储装置844，其可包括可移除存储装置和/或不可移除存储装置。附加存储装置844可包括但不限于磁性存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的计算机可读介质可为计算设备提供计算机可读指令、数据结构、程序模块及其他数据的非易失性存储装置。在一些具体实施中，存储器840可包括多种不同类型的存储器，诸如SRAM、DRAM或ROM。
存储器840、附加存储装置844(不管是可移除的还是不可移除的)均为计算机可读存储介质的示例。例如，计算机可读存储介质可包括易失性或非易失性、可移除或不可移除介质，其以任何方法或技术实现以用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据。存储器840和附加存储装置844均为计算机存储介质的示例。可存在于服务提供方计算机804中的其他类型的计算机存储介质可包括但不限于：PRAM、SRAM、DRAM、RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、DVD或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁性存储设备、或任何其他可用于存储所期望信息并可被服务提供方计算机804访问的介质。上述任意者的组合也应该包括在计算机可读介质的范围内。
另选地，计算机可读通信介质可包括计算机可读指令、程序模块或在数据信号诸如载波或其他传输手段内传输的其他数据。然而，如本文所用，计算机可读存储介质不包括计算机可读通信介质。
服务提供方计算机804还可包含通信连接件846，该通信连接件允许服务提供方计算机804在网络806上与所存储的数据库、另一计算设备(例如用户设备802)或服务器、用户终端和/或其他设备进行通信。服务提供方计算机804还可包括I/O设备848，诸如键盘、鼠标、笔、语音输入设备、触摸输入设备、显示器、扬声器、打印机等。
更详细地转到存储器840的内容，存储器840可包括操作系统850、一个或多个数据存储库852、和/或用于实现本文所公开的特征的一个或多个应用程序、模块或服务，所述特征诸如是由地理服务模块854和导航模型856提供的特征。在至少一个实施方案中，地理服务模块854可以被配置为执行结合上面在图2至图3中讨论的地理服务模型所述的任何操作，包括接收和响应对与地理位置或范围相对应的地图数据(例如，地图图块)和/或卫星图像数据的请求。可以在地理服务模块854或单独模块内实现的导航模型856可以被配置为使用基于交通方式(例如，步行、骑自行车、驾驶等)、地图数据(例如，路段、人行道、路径或踪迹数据等)、当前交通状况和历史交通模式等的路线优化算法来接收和响应对点对点方向的请求。
用户设备802可以配置有地图应用程序模块804和为用户提供基于增强现实的行人导航系统的增强现实模块806。尽管在图8中未示出，但用户设备802还可以包括附加的底层硬件和软件部件以及模块以支持行人导航功能，包括位置部件(例如，GPS接收器)、取向部件(例如，罗盘)、媒体部件(例如，一个或多个设备相机)和运动检测部件(例如，加速度计、陀螺仪等)。如上所述，用户设备802的这些部件可以与地图应用程序模块804和增强现实模块806结合使用，以确定待由AR行人导航系统使用的更新的取向数据和/或位置数据。以举例的方式，用户可以在具有图像捕获功能/硬件、位置功能/硬件和取向功能/硬件的用户设备802(例如，智能电话、平板电脑、可穿戴设备等)上发起行人导航特征。用户设备802可以从这些部件捕获图像数据、位置数据和/或取向数据，并结合从服务提供方计算机804接收的地图数据对数据进行分析。基于可以在用户设备802的各种模块内执行的分析技术，可以为用户设备802确定更新的取向数据和/或位置数据。地图应用程序804可以提供基于更新的取向数据和/或位置数据的AR行人导航功能。
在一些实施方案中，可使用在用户的设备上执行的应用来执行本文描述的一些或全部操作。电路、逻辑模块、处理器和/或其他部件可被配置为执行本文描述的各种操作。本领域的技术人员应当理解，根据具体实施，可通过特定部件的设计、设置、互连、和/或编程来完成此类配置，并且再次根据具体实施，所配置的部件可针对不同操作为可重新配置的或不是可重新配置的。例如，可通过提供适当的可执行代码来配置可编程处理器；可通过适当地连接逻辑门和其他电路元件来配置专用逻辑电路；等等。
在本专利申请中所描述的任何软件组件或功能可被实现为由处理器执行的软件代码，该处理器使用任何合适的计算机语言，诸如例如Java、C、C++、C#、Objective-C、Swift、或使用例如常规的或面向对象的技术的脚本语言诸如Perl或Python。软件代码可作为一系列指令或命令而被存储在计算机可读介质上，以实现存储和/或传输。适当的非暂态计算机可读介质可包括随机存取存储器(RAM)、只读存储器(ROM)、磁介质(诸如硬盘驱动器或软盘)、或光学介质(诸如光盘(CD)或DVD(数字多用盘))、闪存存储器等。计算机可读介质可为此类存储设备或传输设备的任何组合。
可在各种计算机可读存储介质上对结合本公开的各种特征的计算机程序进行编码；适当介质包括磁盘或磁带、光学存储介质，诸如光盘(CD)或DVD(数字多用盘)、闪存存储器等。编码有程序代码的计算机可读存储介质可与兼容设备一起被封装或从其他设备单独被提供。此外，可经由符合多种协议的有线光学和/或无线网络(包括互联网)来编码和传输程序代码，从而允许例如经由互联网下载进行分发。任何此类计算机可读介质可驻留在或位于单个计算机产品(例如，固态驱动器、硬盘驱动器、CD或整个计算机系统)内，并且可存在于或位于系统或网络内的不同计算机产品内。计算机系统可包括监视器、打印机或用于将本文所提及的任何结果提供给用户的其他合适的显示器。
除非明确地做出相反指示，否则对“一个”、“一种”或“该”的表述旨在表示“一个或多个”。除非明确地做出相反指示，否则对“或”的使用旨在表示“包容性或”而不是“排他性或”。提及“第一”部件并不一定要求提供第二部件。此外，除非明确表述，否则提及“第一”部件或“第二”部件不会将所提及的部件限制到特定位置。术语“基于”意在表示“至少部分地基于”。
出于所有目的，本文提及的所有专利、专利申请、公开和说明书均以全文引用方式并入本文。不承认任何文献为现有技术
此外，如上所述，本技术的一个方面是收集和使用可从各种源获得的数据以改进应用程序和/或人员共享来自主机应用程序的内容的建议。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。此类个人信息数据可包括人口统计数据、基于定位的数据、电话号码、电子邮件地址、twitter ID、家庭地址、与用户的健康或健身等级相关的数据或记录(例如，生命信号测量、药物信息、锻炼信息)、出生日期、或任何其他识别信息或个人信息。
本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于确定共享用户更感兴趣的内容的应用程序和人员的建议。因此，此类个人信息数据的使用使得用户能够更有效地控制内容的共享。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践
不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在共享内容对象的情况下，本主题技术可被配置为在注册服务期间或随后的任何时间允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可以选择不提供对应于他们先前与各种应用程序的交互的数据，以及他们的共享偏好和/或历史用户交互。再如，用户可以选择限制维护先前的应用程序交互和共享数据的时间长度，或者完全禁止收集和跟踪此类数据。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可以基于非个人信息数据或绝对最低限度的个人信息(诸如与用户相关联的设备所请求的内容、内容共享系统可用的其他非个人信息或公开可用信息)来选择共享对应用程序和人员的建议并将其提供给用户。
条款1包括一种经由计算设备生成用户界面的方法，所述方法包括：由计算设备接收与由所述计算设备的相机捕获的一个或多个图像相对应的图像数据；由所述计算设备接收与所述计算设备的位置相对应的位置信息；由所述计算设备接收与所述计算设备的所述位置相对应的地图信息；由所述计算设备至少部分地基于以下项来确定所述计算设备的取向：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)与所述计算设备的所述位置相对应的所述位置信息和(c)与所述位置相对应的所述地图信息；由所述计算设备生成被配置为显示所述计算设备的当前位置的用户界面，以及表示在所述计算设备的所述当前位置的阈值距离内的一个或多个对象的一个或多个用户界面元素，其中生成所述用户界面包括在所述用户界面内选择和定位所述一个或多个对象，并且其中在所述用户界面内选择或定位所述对象中的至少一者至少部分地基于所述计算设备的所述确定的取向；以及由所述计算设备在所述计算设备的屏幕上呈现所述用户界面。
条款2包括根据条款1所述的方法，还包括从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述取向进一步至少部分地基于从所述罗盘接收的所述方向读数。
条款3包括根据条款2所述的方法，还包括至少部分地基于所述计算设备的所述确定的取向来重新配置所述计算设备的所述罗盘。
条款4包括根据条款1所述的方法，其中与所述计算设备的所述位置相对应的所述位置信息包括以下项中的至少一项：从所述计算设备的全球定位系统(GPS)接收器接收的数据、识别所述计算设备可访问的一个或多个WiFi网络的数据或识别经由短距离无线通信协议与所述计算设备通信的一个或多个附加设备的数据。
条款5包括根据条款1所述的方法，其中与所述计算设备的所述位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述方法还包括：至少部分地基于以下项来确定与所述计算设备的所述位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述位置相对应的所述地图信息；以及至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
条款6包括根据条款1所述的方法，其中确定所述计算设备的所述取向包括：对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的一个或多个街道边界；以及将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较
条款7包括根据条款6所述的方法，其中确定所述计算设备的所述取向还包括对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的水平线。
条款8包括根据条款1所述的方法，还包括为所述计算设备生成从所述计算设备的所述当前位置到第二位置的路线，其中所述用户界面至少部分地基于所述路线显示下一个方向指令。
条款9包括一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机可执行指令，所述计算机可执行指令当由所述计算设备的一个或多个处理器执行时致使所述一个或多个处理器：接收与由所述计算设备的相机捕获的一个或多个图像相对应的图像数据；接收与所述计算设备的位置相对应的位置信息；接收与所述计算设备的所述位置相对应的地图信息；至少部分地基于以下项来确定所述计算设备的取向：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)与所述计算设备的所述位置相对应的所述位置信息和(c)与所述位置相对应的所述地图信息；生成被配置为显示所述计算设备的当前位置的用户界面，以及表示在所述计算设备的所述当前位置的阈值距离内的一个或多个对象的一个或多个用户界面元素，其中生成所述用户界面包括在所述用户界面内选择和定位所述一个或多个对象，并且其中在所述用户界面内选择或定位所述对象中的至少一者至少部分地基于所述计算设备的所述确定的取向；以及在所述计算设备的屏幕上呈现所述用户界面。
条款10包括根据条款9所述的非暂态计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述取向进一步至少部分地基于从所述罗盘接收的所述方向读数。
条款11包括根据条款10所述的非暂态计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：至少部分地基于所述计算设备的所述确定的取向来重新配置所述计算设备的所述罗盘。
条款12包括根据条款9所述的非暂态计算机可读存储介质，其中与所述计算设备的所述位置相对应的所述位置信息包括以下项中的至少一项：从所述计算设备的全球定位系统(GPS)接收器接收的数据、识别所述计算设备可访问的一个或多个WiFi网络的数据或识别经由短距离无线通信协议与所述计算设备通信的一个或多个附加设备的数据。
条款13包括根据条款9所述的非暂态计算机可读存储介质，其中与所述计算设备的所述位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述计算机可执行指令还致使所述一个或多个处理器：至少部分地基于以下项来确定与所述计算设备的所述位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述位置相对应的所述地图信息；以及至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
条款14包括根据条款9所述的非暂态计算机可读存储介质，其中确定所述计算设备的所述取向包括：对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的一个或多个街道边界；以及将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
条款15包括根据条款14所述的非暂态计算机可读存储介质，其中确定所述计算设备的所述取向还包括对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的水平线。
条款16包括根据条款9所述的非暂态计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：为所述计算设备生成从所述计算设备的所述当前位置到第二位置的路线，其中所述用户界面至少部分地基于所述路线显示下一个方向指令。
条款17包括一种计算设备，所述计算设备包括：一个或多个处理器，所述一个或多个处理器与一个或多个存储器通信，所述一个或多个处理器被配置为执行存储在所述一个或多个存储器上的计算机可执行指令以至少：接收与由计算设备的相机捕获的一个或多个图像相对应的图像数据；接收与所述计算设备的位置相对应的位置信息；接收与所述计算设备的所述位置相对应的地图信息；至少部分地基于以下项来确定所述计算设备的取向：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)与所述计算设备的所述位置相对应的所述位置信息和(c)与所述位置相对应的所述地图信息；生成被配置为显示所述计算设备的当前位置的用户界面，以及表示在所述计算设备的所述当前位置的阈值距离内的一个或多个对象的一个或多个用户界面元素，其中生成所述用户界面包括在所述用户界面内选择和定位所述一个或多个对象，并且其中在所述用户界面内选择或定位所述对象中的至少一者至少部分地基于所述计算设备的所述确定的取向；以及在所述计算设备的屏幕上呈现所述用户界面。
条款18包括根据条款17所述的计算设备，其中所述指令还被执行以至少：从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述取向进一步至少部分地基于从所述罗盘接收的所述方向读数；以及至少部分地基于所述计算设备的所述确定的取向来重新配置所述计算设备的所述罗盘。
条款19包括根据条款17所述的计算设备，其中确定所述计算设备的所述取向包括：对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的一个或多个街道边界；以及
将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
条款20包括根据条款17所述的计算设备，其中与所述计算设备的所述位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述指令还被执行以至少：至少部分地基于以下项来确定与所述计算设备的所述位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述位置相对应的所述地图信息；以及
至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
权利要求书(按照条约第19条的修改)
1.一种经由计算设备生成用户界面的方法，所述方法包括：
在沿着从第一物理位置到第二物理位置的路线进行导航的同时，由计算设备接收与在所述计算设备的当前位置处由相机捕获的一个或多个图像相对应的图像数据；
由所述计算设备接收与所述计算设备的所述当前位置相对应的位置信息；
由所述计算设备接收与所述计算设备的所述当前位置相对应的地图信息；
由所述计算设备至少部分地基于以下项来确定所述计算设备的方向取向：(a)在所述当前位置处由所述计算设备的所述相机捕获的所述图像数据内捕获的一个或多个对象、(b)与所述计算设备的所述当前位置相对应的所述位置信息和(c)与所述当前位置相对应的所述地图信息；
由所述计算设备生成被配置为显示所述计算设备的所述当前位置的用户界面和一个或多个用户界面元素，所述一个或多个用户界面元素表示与基于所述计算设备的所述当前位置和所述方向取向的针对所述路线的导航方向相对应的导航用户界面部件，并且其中生成所述用户界面包括将所述导航用户界面部件叠加在由所述相机捕获的所述图像数据上；以及
由所述计算设备在所述计算设备的屏幕上呈现所述用户界面。
2.根据权利要求1所述的方法，还包括从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述方向取向进一步至少部分地基于从所述罗盘接收的所述方向读数。
3.根据权利要求2所述的方法，还包括至少部分地基于所述计算设备的所述确定的方向取向来重新配置所述计算设备的所述罗盘。
4.根据权利要求1所述的方法，其中与所述计算设备的所述当前位置相对应的所述位置信息包括以下项中的至少一项：从所述计算设备的全球定位系统(GPS)接收器接收的数据、识别所述计算设备可访问的一个或多个WiFi网络的数据或识别经由短距离无线通信协议与所述计算设备通信的一个或多个附加设备的数据。
5.根据权利要求1所述的方法，其中与所述计算设备的所述当前位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述方法还包括：
至少部分地基于以下项来确定与所述计算设备的所述当前位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述当前位置相对应的所述地图信息；以及
至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
6.根据权利要求1所述的方法，其中确定所述计算设备的所述方向取向包括：
对由所述计算设备的所述相机捕获的所述图像数据进行分析，并且检测所述图像数据内的一个或多个街道边界；以及
将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
7.根据权利要求6所述的方法，其中确定所述计算设备的所述方向取向还包括对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的水平线。
8.根据权利要求1所述的方法，还包括：
为所述计算设备生成从所述计算设备的所述当前位置到所述第二物理位置的路线，其中所述用户界面至少部分地基于所述路线显示下一个方向指令。
9.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机可执行指令，所述计算机可执行指令当由计算设备的一个或多个处理器执行时致使所述一个或多个处理器：
在沿着从第一物理位置到第二物理位置的路线进行导航的同时，接收与在所述计算设备的当前位置处由相机捕获的一个或多个图像相对应的图像数据；
接收与所述计算设备的所述当前位置相对应的位置信息；
接收与所述计算设备的所述当前位置相对应的地图信息；
至少部分地基于以下项来确定所述计算设备的方向取向：(a)在所述当前位置处由所述计算设备的所述相机捕获的所述图像数据内捕获的一个或多个对象、(b)与所述计算设备的所述当前位置相对应的所述位置信息和(c)与所述当前位置相对应的所述地图信息；
生成被配置为显示所述计算设备的所述当前位置的用户界面和一个或多个用户界面元素，所述一个或多个用户界面元素表示与基于所述计算设备的所述当前位置和所述方向取向的针对所述路线的导航方向相对应的导航用户界面部件，并且其中生成所述用户界面包括将所述导航用户界面部件叠加在由所述相机捕获的所述图像数据上；以及
在所述计算设备的屏幕上呈现所述用户界面。
10.根据权利要求9所述的计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：
从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述方向取向进一步至少部分地基于从所述罗盘接收的所述方向读数。
11.根据权利要求10所述的计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：
至少部分地基于所述计算设备的所述确定的方向取向来重新配置所述计算设备的所述罗盘。
12.根据权利要求9所述的计算机可读存储介质，其中与所述计算设备的所述当前位置相对应的所述位置信息包括以下项中的至少一项：从所述计算设备的全球定位系统(GPS)接收器接收的数据、识别所述计算设备可访问的一个或多个WiFi网络的数据或识别经由短距离无线通信协议与所述计算设备通信的一个或多个附加设备的数据。
13.根据权利要求9所述的计算机可读存储介质，其中与所述计算设备的所述当前位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述计算机可执行指令还致使所述一个或多个处理器：
至少部分地基于以下项来确定与所述计算设备的所述当前位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述当前位置相对应的所述地图信息；以及
至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
14.根据权利要求9所述的计算机可读存储介质，其中确定所述计算设备的所述方向取向包括：
对由所述计算设备的所述相机捕获的所述图像数据进行分析，并且检测所述图像数据内的一个或多个街道边界；以及
将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
15.根据权利要求14所述的计算机可读存储介质，其中确定所述计算设备的所述方向取向还包括对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的水平线。
16.根据权利要求9所述的计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：
为所述计算设备生成从所述计算设备的所述当前位置到所述第二物理位置的路线，其中所述用户界面至少部分地基于所述路线显示下一个方向指令。
17.一种计算设备，包括：
与一个或多个存储器通信的一个或多个处理器，所述一个或多个处理器被配置为执行存储在所述一个或多个存储器上的计算机可执行指令以至少：
在沿着从第一物理位置到第二物理位置的路线进行导航的同时，接收与由所述计算设备的相机捕获的一个或多个图像相对应的图像数据；
接收与所述计算设备的所述当前位置相对应的位置信息；
接收与所述计算设备的所述当前位置相对应的地图信息；
至少部分地基于以下项来确定所述计算设备的方向取向：(a)在所述当前位置处由所述计算设备的所述相机捕获的所述图像数据内捕获的一个或多个对象、(b)与所述计算设备的所述当前位置相对应的所述位置信息和(c)与所述当前位置相对应的所述地图信息；
生成被配置为显示所述计算设备的所述当前位置的用户界面和一个或多个用户界面元素，所述一个或多个用户界面元素表示与基于所述计算设备的所述当前位置和所述方向取向的针对所述路线的导航方向相对应的导航用户界面部件，并且其中生成所述用户界面包括将所述导航用户界面部件叠加在由所述相机捕获的所述图像数据上；以及
在所述计算设备的屏幕上呈现所述用户界面。
18.根据权利要求17所述的计算设备，其中所述指令还被执行以至少：
从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述方向取向进一步至少部分地基于从所述罗盘接收的所述方向读数；以及
至少部分地基于所述计算设备的所述确定的方向取向来重新配置所述计算设备的所述罗盘。
19.根据权利要求17所述的计算设备，其中确定所述计算设备的所述方向取向包括：
对由所述计算设备的所述相机捕获的所述图像数据进行分析，并且检测所述图像数据内的一个或多个街道边界；以及
将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
20.根据权利要求17所述的计算设备，其中与所述计算设备的所述当前位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述指令还被执行以至少：
至少部分地基于以下项来确定与所述计算设备的所述当前位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述当前位置相对应的所述地图信息；以及
至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。

Claims (20)

1.一种经由计算设备生成用户界面的方法，所述方法包括：
在沿着从第一物理位置到第二物理位置的路线进行导航的同时，由计算设备接收与在所述计算设备的当前位置处由相机捕获的一个或多个图像相对应的图像数据；
由所述计算设备接收与所述计算设备的所述当前位置相对应的位置信息；
由所述计算设备接收与所述计算设备的所述当前位置相对应的地图信息；
由所述计算设备至少部分地基于以下项来确定所述计算设备的取向：(a)在所述当前位置处由所述计算设备的所述相机捕获的所述图像数据、(b)与所述计算设备的所述当前位置相对应的所述位置信息和(c)与所述当前位置相对应的所述地图信息；
由所述计算设备生成被配置为显示所述计算设备的所述当前位置的用户界面和一个或多个用户界面元素，所述一个或多个用户界面元素表示与基于所述计算设备的所述当前位置和所述取向的针对所述路线的导航方向相对应的导航用户界面部件，并且其中生成所述用户界面包括将所述导航用户界面部件叠加在由所述相机捕获的所述图像数据上；以及
由所述计算设备在所述计算设备的屏幕上呈现所述用户界面。
2.根据权利要求1所述的方法，还包括从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述取向进一步至少部分地基于从所述罗盘接收的所述方向读数。
3.根据权利要求2所述的方法，还包括至少部分地基于所述计算设备的所述确定的取向来重新配置所述计算设备的所述罗盘。
4.根据权利要求1所述的方法，其中与所述计算设备的所述位置相对应的所述位置信息包括以下项中的至少一项：从所述计算设备的全球定位系统(GPS)接收器接收的数据、识别所述计算设备可访问的一个或多个WiFi网络的数据或识别经由短距离无线通信协议与所述计算设备通信的一个或多个附加设备的数据。
5.根据权利要求1所述的方法，其中与所述计算设备的所述位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述方法还包括：
至少部分地基于以下项来确定与所述计算设备的所述位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述位置相对应的所述地图信息；以及
至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
6.根据权利要求1所述的方法，其中确定所述计算设备的所述取向包括：
对由所述计算设备的所述相机捕获的所述图像数据进行分析，并且检测所述图像数据内的一个或多个街道边界；以及
将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
7.根据权利要求6所述的方法，其中确定所述计算设备的所述取向还包括对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的水平线。
8.根据权利要求1所述的方法，还包括：
为所述计算设备生成从所述计算设备的所述当前位置到第二位置的路线，其中所述用户界面至少部分地基于所述路线显示下一个方向指令。
9.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机可执行指令，所述计算机可执行指令当由计算设备的一个或多个处理器执行时致使所述一个或多个处理器：
在沿着从第一物理位置到第二物理位置的路线进行导航的同时，接收与在所述计算设备的当前位置处由相机捕获的一个或多个图像相对应的图像数据；
接收与所述计算设备的所述当前位置相对应的位置信息；
接收与所述计算设备的所述位置相对应的地图信息；
至少部分地基于以下项来确定所述计算设备的取向：(a)在所述当前位置处由所述计算设备的所述相机捕获的所述图像数据、(b)与所述计算设备的所述当前位置相对应的所述位置信息和(c)与所述当前位置相对应的所述地图信息；
生成被配置为显示所述计算设备的所述当前位置的用户界面和一个或多个用户界面元素，所述一个或多个用户界面元素表示与基于所述计算设备的所述当前位置和所述取向的针对所述路线的导航方向相对应的导航用户界面部件，并且其中生成所述用户界面包括将所述导航用户界面部件叠加在由所述相机捕获的所述图像数据上；以及
在所述计算设备的屏幕上呈现所述用户界面。
10.根据权利要求9所述的计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：
从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述取向进一步至少部分地基于从所述罗盘接收的所述方向读数。
11.根据权利要求10所述的计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：
至少部分地基于所述计算设备的所述确定的取向来重新配置所述计算设备的所述罗盘。
12.根据权利要求9所述的计算机可读存储介质，其中与所述计算设备的所述位置相对应的所述位置信息包括以下项中的至少一项：从所述计算设备的全球定位系统(GPS)接收器接收的数据、识别所述计算设备可访问的一个或多个WiFi网络的数据或识别经由短距离无线通信协议与所述计算设备通信的一个或多个附加设备的数据。
13.根据权利要求9所述的计算机可读存储介质，其中与所述计算设备的所述位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述计算机可执行指令还致使所述一个或多个处理器：
至少部分地基于以下项来确定与所述计算设备的所述位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述位置相对应的所述地图信息；以及
至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
14.根据权利要求9所述的计算机可读存储介质，其中确定所述计算设备的所述取向包括：
对由所述计算设备的所述相机捕获的所述图像数据进行分析，并且检测所述图像数据内的一个或多个街道边界；以及
将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
15.根据权利要求14所述的计算机可读存储介质，其中确定所述计算设备的所述取向还包括对由所述计算设备的所述相机捕获的所述图像数据进行分析，以及检测所述图像数据内的水平线。
16.根据权利要求9所述的计算机可读存储介质，所述计算机可执行指令还致使所述一个或多个处理器：
为所述计算设备生成从所述计算设备的所述当前位置到第二位置的路线，其中所述用户界面至少部分地基于所述路线显示下一个方向指令。
17.一种计算设备，包括：
与一个或多个存储器通信的一个或多个处理器，所述一个或多个处理器被配置为执行存储在所述一个或多个存储器上的计算机可执行指令以至少：
在沿着从第一物理位置到第二物理位置的路线进行导航的同时，接收与由所述计算设备的相机捕获的一个或多个图像相对应的图像数据；
接收与所述计算设备的所述当前位置相对应的位置信息；
接收与所述计算设备的所述当前位置相对应的地图信息；
至少部分地基于以下项来确定所述计算设备的取向：(a)在所述当前位置处由所述计算设备的所述相机捕获的所述图像数据、(b)与所述计算设备的所述当前位置相对应的所述位置信息和(c)与所述当前位置相对应的所述地图信息；
生成被配置为显示所述计算设备的所述当前位置的用户界面和一个或多个用户界面元素，所述一个或多个用户界面元素表示与基于所述计算设备的所述当前位置和所述取向的针对所述路线的导航方向相对应的导航用户界面部件，并且其中生成所述用户界面包括将所述导航用户界面部件叠加在由所述相机捕获的所述图像数据上；以及
在所述计算设备的屏幕上呈现所述用户界面。
18.根据权利要求17所述的计算设备，其中所述指令还被执行以至少：
从所述计算设备的罗盘接收方向读数，其中确定所述计算设备的所述取向进一步至少部分地基于从所述罗盘接收的所述方向读数；以及
至少部分地基于所述计算设备的所述确定的取向来重新配置所述计算设备的所述罗盘。
19.根据权利要求17所述的计算设备，其中确定所述计算设备的所述取向包括：
对由所述计算设备的所述相机捕获的所述图像数据进行分析，并且检测所述图像数据内的一个或多个街道边界；以及
将所述一个或多个街道边界的一条或多条轨线与所述接收到的地图信息内的街道矢量数据进行比较。
20.根据权利要求17所述的计算设备，其中与所述计算设备的所述位置相对应的所述位置信息包括从所述计算设备的全球定位系统(GPS)接收器接收的坐标数据，并且其中所述指令还被执行以至少：
至少部分地基于以下项来确定与所述计算设备的所述位置相对应的更新的位置信息：(a)由所述计算设备的所述相机捕获的所述图像数据、(b)从所述计算设备的所述GPS接收器接收的所述坐标数据和(c)与所述位置相对应的所述地图信息；以及
至少部分地基于所述确定的更新的位置信息来重新配置所述计算设备的所述GPS接收器。
CN202080064280.6A 2019-09-19 2020-07-28 移动设备导航系统 Pending CN114364945A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/576,573 2019-09-19
US16/576,573 US11412350B2 (en) 2019-09-19 2019-09-19 Mobile device navigation system
PCT/US2020/043801 WO2021055105A1 (en) 2019-09-19 2020-07-28 Mobile device navigation system

Publications (1)

Publication Number Publication Date
CN114364945A true CN114364945A (zh) 2022-04-15

Family

ID=72047142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080064280.6A Pending CN114364945A (zh) 2019-09-19 2020-07-28 移动设备导航系统

Country Status (7)

Country Link
US (2) US11412350B2 (zh)
EP (1) EP4007892A1 (zh)
JP (1) JP2022547326A (zh)
KR (1) KR20220040494A (zh)
CN (1) CN114364945A (zh)
AU (2) AU2020351072B2 (zh)
WO (1) WO2021055105A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180238690A1 (en) * 2017-02-17 2018-08-23 The Charles Stark Draper Laboratory, Inc. Stellar-Landscape/Horizon Image Navigation
US20210102820A1 (en) * 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
WO2020190254A1 (en) * 2019-03-15 2020-09-24 Google Llc Pickup and drop-off location identification for ridesharing and delivery via augmented reality
US20200348143A1 (en) * 2019-05-03 2020-11-05 Apple Inc. Adjusting heading sensor output based on image data
US11396271B2 (en) * 2020-06-18 2022-07-26 Ford Global Technologies, Llc System and method for communicating between autonomous vehicle and vulnerable road users
US11377125B2 (en) * 2020-06-30 2022-07-05 Rivian Ip Holdings, Llc Vehicle rideshare localization and passenger identification for autonomous vehicles
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
US11474881B1 (en) 2021-03-31 2022-10-18 Bank Of America Corporation Optimizing distributed and parallelized batch data processing
US11874817B2 (en) 2021-03-31 2024-01-16 Bank Of America Corporation Optimizing distributed and parallelized batch data processing
CN117940214A (zh) * 2021-07-08 2024-04-26 欧罗科技公司 治疗功效预测系统和方法
CN113899359B (zh) * 2021-09-30 2023-02-17 北京百度网讯科技有限公司 导航方法、装置、设备以及存储介质
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
FR3130058A1 (fr) * 2021-12-03 2023-06-09 Orange Procédé de gestion de la représentation de points d’intérêts
CN114136307B (zh) * 2021-12-07 2024-01-26 上汽大众汽车有限公司 一种车载导航系统地图全自动更新方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102884398A (zh) * 2010-05-07 2013-01-16 高通股份有限公司 取向传感器校准
US8810599B1 (en) * 2010-11-02 2014-08-19 Google Inc. Image recognition in an augmented reality application
CN105676253A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
US20170074675A1 (en) * 2010-02-12 2017-03-16 Apple Inc. Augmented reality maps
US20170176208A1 (en) * 2015-12-17 2017-06-22 Samsung Electronics Co., Ltd Method for providing map information and electronic device for supporing the same
KR20180055158A (ko) * 2016-11-16 2018-05-25 홍익대학교 산학협력단 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버
JP2018147393A (ja) * 2017-03-08 2018-09-20 株式会社デンソー 標識認識システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3554124B2 (ja) * 1996-12-18 2004-08-18 株式会社日立製作所 画像表示装置及びナビゲーションシステム
JP4672190B2 (ja) * 2001-04-26 2011-04-20 三菱電機株式会社 映像ナビゲーション装置
CN100470199C (zh) 2003-03-07 2009-03-18 株式会社日本耐美得 步行导航设备和方法
EP1614992B1 (en) 2003-04-17 2013-10-23 Navitime Japan Co., Ltd. Pedestrian navigation device, pedestrian navigation system, pedestrian navigation method and program
JP4095590B2 (ja) 2004-07-15 2008-06-04 株式会社ナビタイムジャパン 歩行者用ナビゲーションシステムおよび情報配信サーバならびにプログラム
JP2007304667A (ja) 2006-05-08 2007-11-22 Sony Computer Entertainment Inc ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
US9683853B2 (en) * 2009-01-23 2017-06-20 Fuji Xerox Co., Ltd. Image matching in support of mobile navigation
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US9684989B2 (en) * 2010-06-16 2017-06-20 Qualcomm Incorporated User interface transition between camera view and map view
US8694251B2 (en) 2010-11-25 2014-04-08 Texas Instruments Incorporated Attitude estimation for pedestrian navigation using low cost mems accelerometer in mobile applications, and processing methods, apparatus and systems
US20120176525A1 (en) * 2011-01-12 2012-07-12 Qualcomm Incorporated Non-map-based mobile interface
US20120194547A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
JPWO2012133371A1 (ja) * 2011-03-28 2014-07-28 日本電気株式会社 撮像位置および撮像方向推定装置、撮像装置、撮像位置および撮像方向推定方法ならびにプログラム
US8594701B2 (en) 2011-10-11 2013-11-26 Qualcomm Incorporated System and/or method for pedestrian navigation
US9870429B2 (en) * 2011-11-30 2018-01-16 Nokia Technologies Oy Method and apparatus for web-based augmented reality application viewer
US9031283B2 (en) * 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US9383218B2 (en) * 2013-01-04 2016-07-05 Mx Technologies, Inc. Augmented reality financial institution branch locator
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
JP6575325B2 (ja) * 2015-11-27 2019-09-18 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム
JP2019027965A (ja) * 2017-08-01 2019-02-21 パイオニア株式会社 補正装置、補正方法およびプログラム
US11085786B2 (en) 2018-01-19 2021-08-10 Apple Inc. Navigation using augmented reality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170074675A1 (en) * 2010-02-12 2017-03-16 Apple Inc. Augmented reality maps
CN102884398A (zh) * 2010-05-07 2013-01-16 高通股份有限公司 取向传感器校准
US8810599B1 (en) * 2010-11-02 2014-08-19 Google Inc. Image recognition in an augmented reality application
US20170176208A1 (en) * 2015-12-17 2017-06-22 Samsung Electronics Co., Ltd Method for providing map information and electronic device for supporing the same
CN105676253A (zh) * 2016-01-15 2016-06-15 武汉光庭科技有限公司 一种自动驾驶中基于城市道路标线地图的纵向定位系统及其方法
KR20180055158A (ko) * 2016-11-16 2018-05-25 홍익대학교 산학협력단 도심 환경에서 스트리트 뷰 서비스를 이용한 gps 위치 보정 방법 및 서버
JP2018147393A (ja) * 2017-03-08 2018-09-20 株式会社デンソー 標識認識システム

Also Published As

Publication number Publication date
EP4007892A1 (en) 2022-06-08
AU2023210652A1 (en) 2023-08-24
JP2022547326A (ja) 2022-11-11
KR20220040494A (ko) 2022-03-30
WO2021055105A1 (en) 2021-03-25
AU2020351072B2 (en) 2023-05-11
US11943679B2 (en) 2024-03-26
US20220345849A1 (en) 2022-10-27
US20210092555A1 (en) 2021-03-25
AU2020351072A1 (en) 2022-03-31
US11412350B2 (en) 2022-08-09

Similar Documents

Publication Publication Date Title
US11943679B2 (en) Mobile device navigation system
US9684081B2 (en) Method and apparatus for providing a location data error map
US11501104B2 (en) Method, apparatus, and system for providing image labeling for cross view alignment
AU2018230677B2 (en) Target detection and mapping
KR20190028359A (ko) 필수 이미지 및 위치 캡처 시스템 및 방법
US20180202811A1 (en) Navigation using an image of a topological map
EP3644013B1 (en) Method, apparatus, and system for location correction based on feature point correspondence
US9411822B2 (en) System and method of generating and using open sky data
US9945684B2 (en) Frequency-based direction guidance
CN107885763B (zh) 室内图中兴趣点信息的更新方法、装置及计算机可读介质
US20120236172A1 (en) Multi Mode Augmented Reality Search Systems
US20210406546A1 (en) Method and device for using augmented reality in transportation
WO2019024885A1 (zh) 一种信息显示方法及装置
CN111837013A (zh) 用于基于影像确定地理方位的方法和系统
CN107869991B (zh) 室内位置数据的采集方法及装置、计算机设备及可读介质
Lee et al. Distant object localization with a single image obtained from a smartphone in an urban environment
US20230059402A1 (en) Method, apparatus, and system for providing increased accuracy for a positioning receiver in a multipath signal environment
US20150286870A1 (en) Multi Mode Augmented Reality Search Systems
US20150286869A1 (en) Multi Mode Augmented Reality Search Systems
US20150277719A1 (en) System and method for providing simplified path and points of interest user interfaces
US11487025B1 (en) Method for inferring GPS location

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination