CN111837013A - 用于基于影像确定地理方位的方法和系统 - Google Patents

用于基于影像确定地理方位的方法和系统 Download PDF

Info

Publication number
CN111837013A
CN111837013A CN201880090882.1A CN201880090882A CN111837013A CN 111837013 A CN111837013 A CN 111837013A CN 201880090882 A CN201880090882 A CN 201880090882A CN 111837013 A CN111837013 A CN 111837013A
Authority
CN
China
Prior art keywords
camera
geographic
relative
geographic position
travel route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880090882.1A
Other languages
English (en)
Inventor
D.J.菲利普
Z.杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN111837013A publication Critical patent/CN111837013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开针对至少部分地基于影像来确定地理方位。具体地，本公开的方法和系统可以：接收由相机(118)生成并表示包括物理真实世界环境的至少一部分的影像的数据，该物理真实世界环境包括相机(118)和行进路线(312)；以及至少部分地基于数据和机器学习模型来确定相机(118)相对于行进路线(312)的地理方位。

Description

用于基于影像确定地理方位的方法和系统
优先权声明
本申请要求2018年3月7日提交并且题为“METHODS AND SYSTEMS FORDETERMINING GEOGRAPHIC ORIENTATION BASED ON IMAGERY(用于基于影像确定地理方位的方法和系统)”的美国专利申请序列号62/639,674的优先权，其公开内容通过引用而整体并入本文。
技术领域
本公开总体上涉及确定地理方位。更具体地，本公开涉及至少部分地基于影像来确定地理方位。
背景技术
移动计算设备(例如，智能手机、平板计算机等)无处不在，并且通常包括一整套传感器(例如，相机、全球定位系统(GPS)接收器、接近传感器、环境光传感器、加速度计、磁力计、陀螺仪传感器、无线电设备、指纹传感器、气压计、面部识别传感器等)。许多现代移动计算设备可以(例如，基于由GPS接收器生成的、经由无线网络接口接收的数据等)准确地确定它们的地理位置。然而，准确地确定移动设备的地理方位仍然是棘手的挑战。例如，虽然基于经由GPS接收器接收的数据来确定地理方位是可能的，但是这样的确定通常是不准确的，尤其是当设备静止和/或受到来自周围结构(例如，位于“都市峡谷”等)的干扰时。类似地，虽然可以使用磁力计来确定地理方位，但是这样的确定经常是不精确或错误的，因为设备本身可能干扰磁力计。
发明内容
本公开的实施例的各方面和优点将在以下描述中被部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。
本公开的一个示例方面针对一种计算机实施的方法。该方法可以包括由计算系统接收由相机生成并表示包括物理真实世界环境的至少一部分的影像的数据，该物理真实世界环境包括相机和行进路线。该方法还可以包括由计算系统至少部分地基于数据和机器学习模型来确定相机相对于行进路线的地理方位。
本公开的另一个示例方面针对一种系统。该系统可以包括一个或多个处理器以及存储指令的存储器，该指令在由一个或多个处理器执行时使得系统执行操作。该操作可以包括接收由相机生成并表示包括物理真实世界环境的至少一部分的影像的数据，该物理真实世界环境包括相机和行进路线。该操作还可以包括至少部分地基于数据和机器学习模型来确定相机相对于行进路线的两个可能的地理方位，两个可能的地理方位相差一百八十度。该操作还可以包括从两个可能的地理方位当中选择相机相对于行进路线的地理方位。
本公开的又一个示例方面针对一个或多个非暂时性计算机可读介质。该一个或多个非暂时性计算机可读介质可以包括指令，该指令在由一个或多个计算机执行时使得一个或多个计算机执行操作。该操作可以包括接收由相机生成并表示包括物理真实世界环境的至少一部分的影像的数据，该物理真实世界环境包括相机和具有相对于物理真实世界环境的已知方位的行进路线。该操作还可以包括至少部分地基于数据和机器学习模型来确定相机相对于行进路线的地理方位。该操作还可以包括至少部分地基于相机相对于行进路线的地理方位和行进路线相对于物理真实世界环境的已知方位，确定相机相对于物理真实世界环境的地理方位。
本公开的其他方面针对各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
参考以下描述和所附权利要求，将变得更好理解本公开的各种实施例的这些以及其他特征、方面和优点。并入本说明书并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用来解释相关原理。
附图说明
在参考附图的说明书中阐述了写给本领域普通技术人员的实施例的详细讨论，其中：
图1描绘了根据本公开的示例实施例的示例计算环境；
图2描绘了根据本公开的示例实施例的示例事件序列；
图3描绘了根据本公开的示例实施例的示例地理区域的示例地图；
图4描绘了根据本公开的示例实施例的示例物理真实世界环境的一部分的示例场景；
图5描绘了根据本公开的示例实施例的示例物理真实世界环境的一部分的示例图像；
图6描绘了根据本公开的示例实施例的示例方位；并且
图7描绘了根据本公开的示例实施例的示例方法。
具体实施方式
本公开的各示例方面针对至少部分地基于影像来确定地理方位。具体地，物理真实世界环境可以包括行进路线。行进路线可以包括例如街道、道路、大道、小巷、林荫大道、公路、高速公路、公园道路、铁路轨道等，其有或没有一个或多个邻近的人行道、走道、路径、路缘、路肩等。位于环境中的用户可以利用用户设备(例如，相机系统、移动计算设备、智能手机、可穿戴设备等)的相机来生成表示包括环境的至少一部分的影像的数据。根据本公开的各方面，计算系统(例如，用户设备、远离用户设备的计算系统等)可以接收这样的数据，并且可以至少部分地基于数据和机器学习(Maching Learning，ML)模型来确定相机(例如，相机、用户设备、用户等)相对于行进路线的地理方位。
在一些实施例中，行进路线相对于环境(例如，相对于世界、磁北等)的地理方位可以是已知的、预定的、由计算系统确定的等等。在这样的实施例中的一些中，计算系统可以至少部分地基于相机相对于行进路线的地理方位和行进路线相对于环境的地理方位来确定相机(例如，相机、用户设备、用户等)相对于环境(例如，相对于世界、磁北等)的地理方位。
在一些实施例中，计算系统可以(例如，至少部分地基于表示影像的数据、机器学习模型等)确定相机相对于行进路线的两个可能的地理方位，这两个可能的地理方位可以相差一百八十度。例如，计算系统可以确定相机正直接向上或向下面向行进路线(例如，相对于行进路线朝向零度角或一百八十度角)，以这样或那样的方式垂直于行进路线(例如，相对于行进路线朝向九十度角或二百七十度角)，以这样或那样的方式倾斜于行进路线(例如，相对于行进路线朝向四十五度角或二百二十五度角)等等。在这样的实施例中的一些中，计算系统可以从两个可能的地理方位当中选择相机相对于行进路线的地理方位。
在一些实施例中，计算系统可以至少部分地基于影像中的照明变化来选择相机相对于行进路线的地理方位。例如，计算系统可以(例如，至少部分地基于影像中的照明变化等)确定环境中的光源(例如，太阳、月亮、人造光源等)相对于相机的位置；光源相对于行进路线的方位可以是已知的、预定的、由计算系统确定的等等；并且计算系统可以至少部分地基于光源相对于相机的位置、光源相对于行进路线的方位等来选择相机相对于行进路线的地理方位。在这样的实施例中的一些中，计算系统可以至少部分地基于相机生成表示影像的数据的所在时间来选择相机相对于行进路线的地理方位。例如，这样的数据可以包括指示相机生成表示影像的数据的所在时间的时间戳，并且计算系统可以至少部分地基于相机生成表示影像的数据的所在时间等来确定光源相对于行进路线的方位。
在一些实施例中，计算系统可以在影像中识别建筑物、不同行进路线等的至少一部分。在这样的实施例中的一些中，计算系统可以至少部分地基于建筑物、不同行进路线等的至少一部分来选择相机相对于行进路线的地理方位。例如，计算系统可以(例如，至少部分地基于影像等)确定建筑物、不同行进路线等的至少一部分相对于相机的位置；建筑物、不同行进路线等的至少一部分相对于行进路线的方位可以是已知的、预定的、由计算系统确定的等等；并且计算系统可以至少部分地基于建筑物、不同行进路线等的至少一部分相对于相机的位置，建筑物、不同行进路线等的至少一部分相对于行进路线的方位，等等，来选择相机相对于行进路线的地理方位。
在一些实施例中，计算系统可以在影像中识别与建筑物、不同行进路线等的至少一部分相关联的文本。例如，建筑物上的标记可以包括指示建筑物的街道地址、与建筑物相关联的组织的名称等的文本。类似地，标记可以包括指示不同行进路线的名称等的文本。在这样的实施例中的一些中，计算系统可以至少部分地基于所识别的文本来识别建筑物、不同行进路线等的至少一部分。例如，计算系统可以对包括指示建筑物的街道地址、组织的街道地址、组织名称、行进路线名称、信息的一个或多个部分之间的关联等的信息的数据库进行存储、访问等等；并且计算系统可以至少部分地基于识别数据库中包括所识别的文本的至少一部分等的一个或多个条目来识别建筑物、不同行进路线等的至少一部分。
在一些实施例中，用户设备可以包括无线网络接口、除了相机之外的一个或多个传感器(例如，磁力计、全球定位系统(GPS)接收器)等。在这样的实施例中的一些中，计算系统可以至少部分地基于由无线网络接口、(多个)附加传感器等生成的数据来确定用户设备相对于环境(例如，相对于世界、磁北等)的地理方位；并且计算系统可以至少部分地基于所确定的用户设备相对于环境的地理方位来选择相机相对于行进路线的地理方位。
在一些实施例中，计算系统可以(例如，至少部分地基于由无线网络接口、(多个)附加传感器等生成的数据)确定相机、用户设备、用户等的地理位置。在这样的实施例中的一些中，计算系统可以至少部分地基于相机、用户设备、用户等的地理位置来识别行进路线。可附加地或可替代地，计算系统可以至少部分地基于相机、用户设备、用户等的地理位置来确定行进路线相对于环境的地理方位。
在一些实施例中，计算系统可以至少部分地基于所确定的相机、用户设备、用户等的地理位置，从用于确定相机相对于行进路线的地理方位的多个不同的机器学习模型当中选择机器学习模型。这样的模型可以至少部分地基于包括来自不同的对应的地理区域的影像的训练数据，并且所选择的模型可以至少部分地基于包括来自包括所确定的相机、用户设备、用户等的地理位置的地理区域的影像的训练数据。在这样的实施例中的一些中，来自这样的地理区域的影像不需要包括包含行进路线的影像。
在一些实施例中，机器学习模型可以至少部分地基于从由安装在车辆上的相机生成的全景影像裁切的训练数据。这样的车辆可以包括一个或多个传感器(例如，磁力计、GPS接收器等)，该一个或多个传感器用于确定安装在车辆上的相机相对于行进路线(当安装在车辆上的相机捕捉全景影像时车辆在该行进路线的一部分上行进)和物理真实世界环境(其包括车辆和其一部分上行进有车辆的行进路线)等的地理方位。对于图像中的每个图像，这样的训练数据可以包括图像相对于行进路线的地理方位，当安装在车辆上的相机捕捉从其裁切图像的全景影像时车辆在该行进路线的一部分上行进。例如，可以至少部分地基于当安装在车辆上的相机捕捉从其裁切图像的全景影像时由车辆的(多个)传感器生成的数据来确定这样的图像的地理方位。
在一些实施例中，计算系统可以向应用通信传送至少部分地基于相机相对于行进路线、环境等的地理方位的数据。这样的应用可以包括例如地理地图应用、地理导航应用、增强现实(AR)应用等。例如，计算系统可以经由应用编程接口(API)等接收由应用做出的对这样的数据的请求，并且计算系统可以经由API等向应用通信传送(例如，返回等)数据。
在本文中描述的操作、功能等可以由用户设备、远离用户设备的计算系统、用户设备和远离用户设备的计算系统的组合等执行。例如，在一些实施例中，用户设备可以(例如，从相机等)本地接收表示影像的数据，可以本地确定(多个)地理方位，等等。可附加地或可替代地，远离用户设备的计算系统可以(例如，经由一个或多个网络等)从用户设备接收表示影像的数据，可以确定(多个)地理方位，等等。
在本文中描述的方法和系统可以提供多个技术效果和益处。例如，在本文中描述的方法和系统可以使计算系统能够准确且高效地确定相机、用户设备、用户等相对于其环境的方位。具体地，因为在本文中描述的用于确定相对于行进路线的方位的相机、表示影像的数据以及方法通常不受来自用户设备、环境等的干扰(例如，磁干扰、无线电干扰等)，所以在本文中描述的方法和系统可以使计算系统能够比传统方法更高效且准确地确定相机、用户设备、用户等相对于其环境的方位，传统方法通常易受这样的干扰等的影响。
现在参考附图，将更详细讨论本公开的示例实施例。
图1描绘了根据本公开的示例实施例的示例计算环境。参考图1，环境100可以包括用户设备102、一个或多个网络104、以及计算系统106。(多个)网络104(例如，一个或多个有线网络、无线网络等)可以与用户设备102和计算系统106接合。
用户设备102可以包括能够执行在本文中描述的操作、功能等中的一个或多个的一个或多个设备，例如相机系统、膝上型计算设备、台式计算设备、移动计算设备、平板计算设备、智能手机、媒体设备、可穿戴设备、这样的设备中的一个或多个的组合等。用户设备102可以包括一个或多个处理器108、通信接口110、传感器116和存储器112(例如，用于存储可执行指令、数据等的一个或多个硬件组件)。(多个)通信接口110可以使用户设备102能够(例如，经由(多个)网络104等)与计算系统106通信。例如，(多个)网络104可以包括一个或多个无线网络，并且(多个)通信接口110可以包括一个或多个无线网络接口，其被配置为使用户设备102能够(例如，经由(多个)网络104的(多个)无线网络等)与计算系统106通信。(多个)传感器116可以包括一个或多个设备，其被配置为至少部分地基于用户设备102所在的物理真实世界环境来生成数据。例如，(多个)传感器116可以包括一个或多个相机118、全球定位系统(GPS)接收器120、磁力计122等。存储器112可以包括(例如，存储等)指令114，指令114在由(多个)处理器108执行时可以使得用户设备102执行在本文中描述的一个或多个操作、功能等。
计算系统106可以远离用户设备102，并且可以包括能够执行在本文中描述的操作、功能等中的一个或多个的一个或多个设备，例如台式计算设备、服务器、大型机、这样的设备中的一个或多个的组合等。计算系统106可以包括一个或多个处理器124、通信接口126和存储器128(例如，用于存储可执行指令、数据等的一个或多个硬件组件)。(多个)通信接口126可以使计算系统106能够(例如，经由(多个)网络104等)与用户设备102通信。存储器128可以包括(例如，存储等)指令130，指令130在由(多个)处理器124执行时可以使得计算系统106执行在本文中描述的一个或多个操作、功能等。
不管在本文中描述或暗示的属性如何，除非另有明确指示，否则在本文中描述的操作、功能等可以由用户设备102和/或计算系统106(例如，由用户设备102、由计算系统106、由用户设备102和计算系统106的组合等等)执行。
图2描绘了根据本公开的示例实施例的示例事件序列。参考图2，在(202)，用户设备102可以确定其在物理真实世界环境内的地理位置、其相对于这样的环境的地理方位等。
在一些实施例中，用户设备102可以至少部分地基于由(多个)通信接口110、(多个)传感器116等生成的数据来确定其地理位置、方位等。例如，用户设备102可以至少部分地基于由(多个)通信接口110的无线网络接口生成的数据(例如，指示用户设备102相对于位置、方位等已知的一个或多个无线电信号源的位置、方位等)、由(多个)GPS接收器120生成的数据(例如，指示用户设备102相对于位置、方位等已知的一个或多个卫星信号源的位置、方位等)和/或由(多个)磁力计122生成的数据(例如，指示用户设备102相对于位置、方位等已知的一个或多个磁场源的位置、方位等)来确定其地理位置、方位等。将理解，这样的确定是估计，而不是绝对。还将理解，关于地理方位，这样的估计可能是不准确的、不精确的、错误的等等。
图3描绘了根据本公开的示例实施例的示例地理区域的示例地图。参考图3，地图300可以描绘包括用户设备102可以位于的位置308的地理区域。该区域可以包括行进路线312和322，以及建筑物302、310、314、316、318和320。建筑物302、310、314、316、318和320可以与一个或多个组织(例如，居住者、所有者、租户等)相关联。例如，建筑物302可以包括与组织(例如，THIP KHAO等)相关联的部分304和与不同组织(例如，allegro等)相关联的部分306。由地图300描绘的区域可以是用户设备102所在的物理真实世界环境(例如，世界等)的一部分。
图4描绘了根据本公开的示例实施例的示例物理真实世界环境的一部分的示例场景。参考图4，场景400可以描绘用户设备102所在(例如，在位置308处等等)的物理真实世界环境的一部分。例如，场景400可以包括行进路线312和322的部分以及建筑物302的部分304和306。建筑物302可以包括文本402(例如，建筑物302的街道地址等)，部分306可以包括文本404(例如，与部分306相关联的组织的名称等)，并且部分304可以包括文本406(例如，与部分304相关联的组织的名称等)。场景400还可以包括对象408(例如，树等)和410(例如，人造光源、具有文本的标记(未示出)(诸如行进路线322的名称)等)。
回到图2，在(204)，用户设备102可以生成表示其所在的环境的至少一部分的影像的数据。例如，用户设备102可以包括(例如，存储、执行等)一个或多个应用(例如，地理地图应用、地理导航应用、增强现实(AR)应用等)，其被配置为利用至少部分地基于用户设备102的地理方位的数据；(多个)这样的应用可以提示用户设备102的用户从位置308捕捉影像；用户可以利用(多个)相机118中的一个或多个来捕捉这样的影像；并且(多个)相机118可以生成表示由场景400描绘的环境的一部分的影像的数据。
图5描绘了根据本公开的示例实施例的示例物理真实世界环境的一部分的示例图像。参考图5，由(多个)相机118生成的数据可以包括表示图像500的数据，如图所示，图像500可以包括行进路线312、对象408和建筑物302(包括文本404和406)的至少一部分。
回到图2，在(206)，用户设备102可以接收关于其地理方位(例如，对至少部分地基于其地理方位的数据等)的请求。例如，在一些实施例中，被包括在用户设备102上的(多个)应用可以经由应用编程接口(API)等做出这样的请求。
在(208)，用户设备102可以(例如，经由(多个)网络104，如从(多个)网络104向下延伸的线上的交叉影线框所指示的，等等)向计算系统106通信传送数据，计算系统106可以接收该数据。例如，这样的数据可以包括指示在(202)确定的用户设备102的地理位置(例如，位置308等)、方位等的数据，表示图像500的数据，等等。
在(210)，用户设备102和/或计算系统106可以至少部分地基于表示图像500的数据来确定(多个)相机118(例如，(多个)相机118、用户设备102、用户等)相对于行进路线312(例如，在位置308处等等)的一个或多个可能的地理方位。例如，在(210A)，用户设备102可以(例如，至少部分地基于指示在(202)确定的用户设备102的地理位置(例如，位置308等)、方位等的数据，表示图像500的数据，等等)确定(多个)可能的地理方位。可附加地或可替代地，在(210B)，计算系统106可以(例如，至少部分地基于在(208)通信传送的数据等)确定(多个)可能的地理方位。
可以至少部分地基于机器学习模型(例如，神经网络等)来确定(多个)可能的地理方位。例如，这样的模型可以被配置(例如，训练、优化等)为确定相机相对于行进路线的地理方位，并且用户设备102和/或计算系统106可以利用模型来至少部分地基于表示图像500的数据等(例如，图像500内的行进路线312、建筑物302、对象408等的部分的一个或多个位置、方位等，等等)来确定(多个)可能的地理方位。
在一些实施例中，用户设备102和/或计算系统106可以例如至少部分地基于在(202)确定的地理位置(例如，位置308等)，从用于确定相机相对于行进路线的地理方位的多个不同的机器学习模型当中选择机器学习模型。这样的模型可以至少部分地基于包括来自不同的对应的地理区域的影像的训练数据，并且所选择的模型可以至少部分地基于包括来自由地图300描绘的区域的影像等的训练数据。在这样的实施例中的一些中，来自由地图300描绘的区域的影像等不需要包括包含行进路线312的影像。
在一些实施例中，机器学习模型可以至少部分地基于从由安装在车辆上的相机生成的全景影像裁切的训练数据。这样的车辆可以包括一个或多个传感器(例如，磁力计、GPS接收器等)，该一个或多个传感器用于确定安装在车辆上的相机相对于行进路线(当安装在车辆上的相机捕捉全景影像时车辆在该行进路线的一部分上行进)和物理真实世界环境(其包括车辆和其一部分上行进有车辆的行进路线)等的地理方位。对于图像中的每个图像，这样的训练数据可以包括图像相对于行进路线的地理方位，当安装在车辆上的相机捕捉从其裁切图像的全景影像时车辆在该行进路线的一部分上行进。例如，可以至少部分地基于当安装在车辆上的相机捕捉从其裁切图像的全景影像时由车辆的(多个)传感器生成的数据来确定这样的图像的地理方位。
可附加地或可替代地，机器学习模型可以至少部分地基于包括由沿着(例如，在中间、沿着边等等)一个或多个行进路线(例如，在由地图300描绘的区域内等等)行进(例如，行走等)的一个或多个用户携带的一个或多个相机生成的影像的训练数据。
在一些实施例中，在利用机器学习模型确定(多个)可能的地理方位之前，用户设备102和/或计算系统106可以根据被包括在训练数据中的影像来对图像500进行裁切、压缩、调整大小、重定向等等。在一些实施例中，机器学习模型可以被配置为生成(多个)可能的方位的概率地图等。在一些实施例中，机器学习模型可以被配置为至少部分地基于被包括在影像中的一个或多个行进路线的一个或多个部分的一个或多个几何形状(例如，表达为一个或多个线方程等)等来确定(多个)可能的方位。在一些实施例中，(多个)可能的方位中的每一个可以被表达为四维四元数等。在这样的实施例中的一些中，机器学习模型可以为每个可能的方位确定四元数的四维对数方差等。
在一些实施例中，机器学习模型可以包括作为回归网络的基础的卷积神经网络等。在一些实施例中，机器学习模型可以包括一个或多个全连接层、最终回归层等(例如，在基础网络的顶部上等等)。
在一些实施例中，机器学习模型可以包括L2损失函数(例如，关于标准化四元数等)。例如，机器学习模型可以包括以下函数：
Figure BDA0002669218820000101
其中：
Figure BDA0002669218820000102
可以对应于地面真值(ground truth)单位四元数(例如，四维矢量等)；并且q可以对应于例如未标准化的预测四元数(例如，四维矢量等)。
在一些实施例中，机器学习模型可以包括置信度损失，例如结合预测方差的高斯对数似然性。例如，机器学习模型可以包括以下函数：
Figure BDA0002669218820000111
其中，logv可以对应于q的预测对数方差(例如，四维矢量等)。
这样的损失可以假设地面真值位于给定观察的输入的正态分布上，并且可以尝试预测平均值
Figure BDA0002669218820000112
以及这样的分布的对数方差logv等。可以假设正态分布是轴对齐的等高线(例如，具有不同对角元素的对角协方差矩阵等)。
在一些实施例中，(多个)可能的地理方位可以包括相差一百八十度的两个方位。例如，用户设备102和/或计算系统106可以确定(多个)相机118直接向上或向下面向行进路线312(例如，相对于行进路线312朝向零度角或一百八十度角)，以这样或那样的方式垂直于行进路线312(例如，相对于行进路线312朝向九十度角或二百七十度角)，以这样或那样的方式倾斜于行进路线312(例如，相对于行进路线312朝向四十五度角或二百二十五度角)等等。
图6描绘了根据本公开的示例实施例的示例方位。参考图6，空间600可以表示用户设备102所在(例如，在位置308处等等)的物理真实世界环境内的平面。空间600可以包括环境的参考方位608(例如，磁北等)。在位置308处，行进路线312可以处于方位606(例如，从方位608偏移角度a等等)。所确定的(多个)可能的方位可以包括方位602(例如，从方位606偏移角度b、从方位608偏移角度c等等)和604(例如，从方位602偏移180°，从方位606偏移角度b加上180°，以及从方位608偏移角度c加上180°，等等)。在确定可能的方位时，用户设备102和/或计算系统106可以(例如，至少部分地基于图像500内的行进路线312、建筑物302、对象408等的部分的一个或多个位置、方位等，等等)确定至少部分地基于图像500内的行进路线312例如相对于(多个)相机118(例如，图像500的中心线等)的偏移(例如，角度b、角度b加上180°等)的方位602和/或604。
回到图2，在(212)，用户设备102和/或计算系统106可以从(多个)可能的方位当中选择(多个)相机118相对于行进路线312的方位。例如，在(212A)，用户设备102可以从方位602和604当中(例如，至少部分地基于指示在(202)确定的用户设备102的地理位置(例如，位置308等)、方位等的数据，表示图像500的数据，等等)选择方位602。可附加地或可替代地，在(212B)，计算系统106可以从方位602和604当中(例如，至少部分地基于在(208)通信传送的数据等)选择方位602。
在一些实施例中，可以至少部分地基于在(202)确定的用户设备102的方位从(多个)可能的方位当中选择方位。如上所指示的，将理解，在(202)确定的用户设备102的方位可能是不准确的、不精确的、错误的等等(例如，对于确定用户设备102的准确方位不可靠等等)。然而，还将理解，不管其缺点如何，在(202)确定的用户设备102的方位可以用于从(多个)可能的方位当中准确地选择(多个)相机118相对于行进路线312的方位(例如，从方位602和604当中进行选择等等)。
在一些实施例中，用户设备102和/或计算系统106可以至少部分地基于图像500中的照明变化来选择方位。例如，用户设备102和/或计算系统106可以(例如，至少部分地基于图像500中的照明变化等)确定环境中的光源(例如，人造光源(例如，对象410等)、太阳、月亮等)相对于(多个)相机118的位置；光源相对于行进路线312的方位可以是已知的、预定的、由用户设备102和/或计算系统106确定的等等；并且用户设备102和/或计算系统106可以至少部分地基于光源相对于(多个)相机118的位置、光源相对于行进路线312的方位等来选择方位。在这样的实施例中的一些中，用户设备102和/或计算系统106可以至少部分地基于(多个)相机118生成表示图像500的数据的所在时间来选择方位。例如，这样的数据可以包括指示(多个)相机118生成表示图像500的数据的所在时间的时间戳，并且用户设备102和/或计算系统106可以至少部分地基于(多个)相机118生成表示图像500的数据等的所在时间来确定光源相对于行进路线312的方位。
在一些实施例中，用户设备102和/或计算系统106可以在图像500中识别建筑物、不同行进路线等的至少一部分。在这样的实施例中的一些中，用户设备102和/或计算系统106可以至少部分地基于建筑物、不同行进路线等的至少一部分来选择方位。例如，用户设备102和/或计算系统106可以(例如，至少部分地基于图像500等)确定图像500中的建筑物302的一部分等相对于(多个)相机118的位置；建筑物302的一部分等相对于行进路线312的方位可以是已知的、预定的、由用户设备102和/或计算系统106确定的等等；并且用户设备102和/或计算系统106可以至少部分地基于建筑物302的一部分等相对于(多个)相机118的位置、建筑物302的一部分等相对于行进路线312的方位等等来选择方位。例如，将理解，如果图像500包括建筑物310、314、316、318和/或320、行进路线322等的一个或多个部分，则用户设备102和/或计算系统106可以选择不同的方位。
在一些实施例中，用户设备102和/或计算系统106可以在图像500中识别与建筑物、不同行进路线等的至少一部分相关联的文本。例如，建筑物302上的标记可以包括指示建筑物302的街道地址的文本402、指示组织关联部分306的名称的文本404、指示组织关联部分304的名称的文本406等。类似地，对象410可以包括具有指示行进路线322的名称的文本(未示出)等的标记。在这样的实施例中的一些中，用户设备102和/或计算系统106可以至少部分地基于所识别的文本来识别建筑物、不同行进路线等的至少一部分。例如，用户设备102和/或计算系统106可以对数据库进行存储、访问等等，其中该数据库包括指示建筑物的街道地址(例如，建筑物302的街道地址等)、组织的街道地址(例如，与部分304和306相关联的组织的街道地址等)、组织名称(例如，与部分304和306相关联的组织的名称等)、行进路线名称(例如，行进路线322的名称等)和/或信息的一个或多个部分之间的关联(例如，与部分304和306相关联的组织的街道地址和与部分304和306相关联的组织的名称之间的关联等)的信息；并且用户设备102和/或计算系统106可以至少部分地基于识别数据库中包括所识别的文本(例如，文本404和406、被包括在对象410的标记上的文本等)的至少一部分的一个或多个条目来识别部分304和/或306、行进路线322等。
在(214)，用户设备102和/或计算系统106可以(例如，至少部分地基于所选择的方位等)确定(多个)相机118(例如，(多个)相机118、用户设备102、用户等)相对于物理真实世界环境(例如，相对于方位608等)的地理方位。例如，在(214A)，用户设备102可以(例如，至少部分地基于(多个)相机118相对于行进路线312(例如，相对于方位606等)的方位(例如，方位602等)，指示在(202)确定的用户设备102的地理位置(例如，位置308等)、方位等的数据，表示图像500的数据，等等)确定(多个)相机118相对于环境(例如，相对于方位608等)的地理方位(例如，方位602等)。可附加地或可替代地，在(214B)，计算系统106可以(例如，至少部分地基于(多个)相机118相对于行进路线312(例如，相对于方位606等)的方位(例如，方位602等)、在(208)通信传送的数据等)确定(多个)相机118相对于环境(例如，相对于方位608等)的地理方位(例如，方位602等)。
在一些实施例中，确定(多个)相机118相对于环境的地理方位可以包括确定行进路线312相对于环境(例如，相对于方位608等)的地理方位(例如，方位606等)。例如，用户设备102和/或计算系统106可以(例如，至少部分地基于地图300、位置308等)识别行进路线312；行进路线312相对于环境(例如，相对于方位608等)的方位(例如，方位606等)可以是(例如，至少部分地基于地图300、位置308等)已知的、预定的、由用户设备102和/或计算系统106确定的等等；并且用户设备102和/或计算系统106可以例如通过将行进路线312相对于环境(例如，相对于方位608等)的方位(例如，方位606等)的偏移(例如，角度a等)与(多个)相机118相对于行进路线312(例如，相对于方位606等)的方位(例如，方位602等)的偏移(例如，角度b等)进行组合以确定(多个)相机118相对于环境(例如，相对于方位608等)的方位(例如，方位602等)的偏移(例如，角度c等)，至少部分地基于行进路线312相对于环境(例如，相对于方位608等)的方位(例如，方位606等)和(多个)相机118相对于行进路线312(例如，相对于方位606等)的方位(例如，方位602等)，来确定(多个)相机118相对于环境(例如，相对于方位608等)的方位(例如，方位602等)。
在(216)，计算系统106可以向用户设备102通信传送数据，用户设备102可以该接收数据。例如，这样的数据可以指示(多个)相机118相对于行进路线312(例如，相对于方位606等)的方位(例如，方位602等)和/或(多个)相机118相对于环境(例如，相对于方位608等)的方位。
在(218)，用户设备102可以至少部分地基于(多个)相机118相对于行进路线312(例如，相对于方位606等)的方位(例如，方位602等)和/或(多个)相机118相对于环境(例如，相对于方位608等)的方位来通信传送(例如，返回等)数据。
图7描绘了根据本公开的示例实施例的示例方法。参考图7，在(702)，计算系统可以接收由相机生成并表示包括物理真实世界环境的至少一部分的影像的数据，该物理真实世界环境包括相机和行进路线。例如，用户设备102和/或计算系统106可以接收由(多个)相机118生成并表示图像500的数据。
在(704)，计算系统可以至少部分地基于数据和机器学习模型来确定相机相对于行进路线的地理方位。例如，用户设备102和/或计算系统106可以至少部分地基于表示图像500的数据以及机器学习模型来确定(多个)相机118相对于行进路线312(例如，相对于方位606等)的地理方位(例如，方位602等)。
在(706)，计算系统可以确定行进路线相对于包括相机和行进路线的物理真实世界环境的地理方位。例如，用户设备102和/或计算系统106可以确定行进路线312相对于包括由场景400描绘的一部分的物理真实世界环境(例如，相对于方位608等)的地理方位(例如，方位606等)。
在(708)，计算系统可以至少部分地基于相机相对于行进路线的地理方位和行进路线相对于物理真实世界环境的地理方位来确定相机相对于物理真实世界环境的地理方位。例如，用户设备102和/或计算系统106可以至少部分地基于(多个)相机118相对于行进路线312(例如，方位606等)的地理方位(例如，方位602等)和行进路线312相对于包括由场景400描绘的一部分的物理真实世界环境(例如，相对于方位608等)的地理方位(例如，方位606等)来确定(多个)相机118相对于包括由场景400描绘的一部分的物理真实世界环境(例如，相对于方位608等)的地理方位(例如，方位602等)。
在本文中讨论的技术参考服务器、数据库、软件应用和/或其他基于计算机的系统，以及所采取的动作和向和/或从这样的系统传送的信息。基于计算机的系统的固有灵活性允许各种各样可能的配置、组合、和/或组件之间和/或当中的任务和/或功能的划分。例如，在本文中讨论的过程可以使用单个设备或组件和/或组合工作的多个设备或组件来实施。数据库和/或应用可以在单个系统上实施和/或跨多个系统分布。分布式组件可以顺序和/或并行操作。
在以上描述中讨论了元件之间的各种连接。这些连接是通用的，并且除非另有指定，否则可以是直接的和/或间接的、有线的和/或无线的。在这方面，说明书不旨在进行限制。
所描绘和/或描述的步骤仅仅是说明性的，并且可以被省略、组合和/或以不同于所描绘和/或描述的次序执行；所描绘的步骤的编号仅仅是为了便于参考，并且不暗示任何特定的排序是必要的或优选的。
在本文中描述的功能和/或步骤可以被体现在计算机可用数据和/或计算机可执行指令中，该指令由一个或多个计算机和/或其他设备执行以执行在本文中描述的一个或多个功能。通常，这样的数据和/或指令包括例程、程序、对象、组件、数据结构等，其在由计算机和/或其他数据处理设备中的一个或多个处理器执行时执行特定的任务和/或实施特定的数据类型。计算机可执行指令可以被存储在计算机可读介质(诸如硬盘、光盘、可移动存储介质、固态存储器、只读存储器(RAM)等)上。如将理解的，这样的指令的功能可以根据需要而组合和/或分布。此外，功能可以全部或部分被体现在固件和/或硬件等同物(诸如集成电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等)中。特定的数据结构可以用于更有效地实施本公开的一个或多个方面，并且这样的数据结构被认为在本文中描述的计算机可执行指令和/或计算机可用数据的范围内。
尽管不是必需的，但是本领域普通技术人员将理解，在本文中描述的各个方面可以被体现为方法、系统、装置和/或存储计算机可执行指令的一个或多个计算机可读介质。因此，各方面可以采取完全硬件实施例、完全软件实施例、完全固件实施例和/或以任何组合对软件、硬件和/或固件方面进行组合的实施例的形式。
如本文所描述的，各种方法和行动可以是跨一个或多个计算设备和/或网络操作的。该功能可以以任何方式被分布，或者可以位于单个计算设备(例如，服务器、客户端计算机、用户设备等)中。
已经根据本公开的说明性实施例描述了本公开的各方面。通过阅读本公开，本领域普通技术人员可以想到所附权利要求的范围和精神内的许多其他实施例、修改和/或变化。例如，本领域的普通技术人员可以理解，所描绘和/或描述的步骤可以以不同于所述次序被执行，和/或一个或多个所示步骤可以是可选的和/或被组合。所附权利要求中的任何和所有特征可以以任何可能的方式被组合和/或重新排列。
虽然已经针对本主题的各种具体示例实施例详细描述了本主题，但是每个示例都是通过解释而不是限制本公开而提供的。本领域技术人员在理解了前述内容后，可以容易地给出这样的实施例的变更、变化和/或等同物。因此，如对本领域普通技术人员来说显而易见的是，本主题公开不排除包括对本主题的这样的修改、变化和/或添加。例如，作为一个实施例的一部分而示出和/或描述的特征可以与另一个实施例一起使用，以产生又一个实施例。因此，本公开旨在覆盖这样的变更、变化和/或等同物。

Claims (20)

1.一种计算机实施的方法，包括：
由计算系统接收由相机生成并表示包括物理真实世界环境的至少一部分的影像的数据，所述物理真实世界环境包括所述相机和行进路线；以及
由计算系统至少部分地基于所述数据和机器学习模型来确定所述相机相对于所述行进路线的地理方位。
2.根据权利要求1所述的计算机实施的方法，包括：
由计算系统确定所述行进路线相对于所述物理真实世界环境的地理方位；以及
由计算系统至少部分地基于所述相机相对于所述行进路线的地理方位和所述行进路线相对于所述物理真实世界环境的地理方位来确定所述相机相对于所述物理真实世界环境的地理方位。
3.根据权利要求1所述的计算机实施的方法，其中，确定所述相机相对于所述行进路线的地理方位包括：
至少部分地基于所述机器学习模型，确定所述相机相对于所述行进路线的两个可能的地理方位，所述两个可能的地理方位相差一百八十度；以及
从所述两个可能的地理方位当中选择所述相机相对于所述行进路线的地理方位。
4.根据权利要求3所述的计算机实施的方法，其中，选择所述相机相对于所述行进路线的地理方位包括至少部分地基于所述影像中的照明变化来选择所述相机相对于所述行进路线的地理方位。
5.根据权利要求4所述的计算机实施的方法，其中，选择所述相机相对于所述行进路线的地理方位包括至少部分地基于所述影像中的照明变化和所述相机生成所述数据的所在时间来选择所述相机相对于所述行进路线的地理方位。
6.根据权利要求3所述的计算机实施的方法，其中，选择所述相机相对于所述行进路线的地理方位包括：
在所述影像中识别建筑物的至少一部分或不同行进路线的至少一部分中的一个或多个；以及
至少部分地基于建筑物的至少一部分或不同行进路线的至少一部分中的一个或多个来选择所述相机相对于所述行进路线的地理方位。
7.根据权利要求6所述的计算机实施的方法，其中，识别建筑物的至少一部分或不同行进路线的至少一部分中的一个或多个包括：
在所述影像中识别与建筑物的至少一部分或不同行进路线的至少一部分中的一个或多个相关联的文本；以及
至少部分地基于所述文本，识别建筑物的至少一部分或不同行进路线的至少一部分中的一个或多个。
8.根据权利要求3所述的计算机实施的方法，其中：
用户设备包括所述相机；
所述用户设备包括全球定位系统(GPS)接收器、磁力计或无线网络接口中的一个或多个；并且
选择所述相机相对于所述行进路线的地理方位包括：
至少部分地基于由所述GPS接收器、所述磁力计或所述无线网络接口中的一个或多个生成的数据，确定所述用户设备相对于所述物理真实世界环境的地理方位；以及
至少部分地基于所述用户设备相对于所述物理真实世界环境的地理方位，选择所述相机相对于所述行进路线的地理方位。
9.根据权利要求1所述的计算机实施的方法，其中，确定所述相机相对于所述行进路线的地理方位包括：
确定所述相机的地理位置；以及
至少部分地基于所述相机的地理位置，从用于确定所述相机相对于所述行进路线的地理方位的多个不同的机器学习模型当中选择所述机器学习模型，所述多个不同的机器学习模型至少部分地基于包括来自不同的对应的地理区域的影像的训练数据，所述机器学习模型至少部分地基于包括来自包括所述相机的地理位置的地理区域的影像的训练数据，来自所述地理区域的影像不包括包含所述行进路线的影像。
10.根据权利要求1所述的计算机实施的方法，其中，所述机器学习模型至少部分地基于训练数据，所述训练数据包括：
从由安装在包括一个或多个传感器的车辆上的相机生成的全景影像裁切的多个图像，所述一个或多个传感器用于确定安装在所述车辆上的所述相机相对于以下中的一个或多个的地理方位：行进路线或物理真实世界环境，其中，当安装在所述车辆上的所述相机捕捉全景影像时所述车辆在所述行进路线的一部分上行进，所述物理真实世界环境包括所述车辆和其一部分上行进有所述车辆的所述行进路线；以及
对于所述多个图像中的每个图像，所述图像相对于行进路线的地理方位，其中，当安装在所述车辆上的所述相机捕捉从其裁切所述图像的全景影像时，所述车辆在所述行进路线的一部分上行进，所述图像的地理方位是至少部分地基于当安装在所述车辆上的所述相机捕捉从其裁切所述图像的全景影像时由所述一个或多个传感器生成的数据而确定的。
11.根据权利要求1所述的计算机实施的方法，包括由计算系统向地理地图应用或地理导航应用中的一个或多个通信传送至少部分地基于地理方位的数据。
12.根据权利要求1所述的计算机实施的方法，包括由计算系统向增强现实(AR)应用通信传送至少部分地基于地理方位的数据。
13.根据权利要求1所述的计算机实施的方法，其中：
用户设备包括所述相机；
接收数据包括由所述用户设备从所述相机本地接收数据；并且
确定地理方位包括由所述用户设备本地确定地理方位。
14.根据权利要求1所述的计算机实施的方法，其中：
用户设备包括所述相机；
接收数据包括由远离所述用户设备的计算系统并且经由一个或多个网络接收数据，所述一个或多个网络与所述用户设备和远离所述用户设备的计算系统接合；并且
确定地理方位包括由远离所述用户设备的计算系统确定地理方位。
15.一种系统，包括：
一个或多个处理器；以及
存储器，其存储指令，所述指令在由所述一个或多个处理器执行时使得所述系统执行操作，所述操作包括：
接收由相机生成并表示包括物理真实世界环境的至少一部分的影像的数据，所述物理真实世界环境包括所述相机和行进路线；
至少部分地基于所述数据和机器学习模型，确定所述相机相对于所述行进路线的两个可能的地理方位，所述两个可能的地理方位相差一百八十度；以及
从所述两个可能的地理方位当中选择所述相机相对于所述行进路线的地理方位。
16.根据权利要求15所述的系统，其中，所述操作包括：
确定所述行进路线相对于所述物理真实世界环境的地理方位；以及
至少部分地基于所述相机相对于所述行进路线的地理方位和所述行进路线相对于所述物理真实世界环境的地理方位，确定所述相机相对于所述物理真实世界环境的地理方位。
17.根据权利要求15所述的系统，其中，选择所述相机相对于所述行进路线的地理方位包括至少部分地基于以下中的一个或多个来选择所述相机相对于所述行进路线的地理方位：
所述影像中的照明变化；
在所述影像中识别建筑物的至少一部分或不同行进路线的至少一部分中的一个或多个；或
包括所述相机的用户设备相对于所述物理真实世界环境的地理方位。
18.一个或多个非暂时性计算机可读介质，包括指令，所述指令在由一个或多个计算机执行时使得所述一个或多个计算机执行操作，所述操作包括：
接收由相机生成并表示包括物理真实世界环境的至少一部分的影像的数据，所述物理真实世界环境包括所述相机和具有相对于所述物理真实世界环境的已知方位的行进路线；
至少部分地基于所述数据和机器学习模型，确定所述相机相对于所述行进路线的地理方位；以及
至少部分地基于所述相机相对于所述行进路线的地理方位和所述行进路线相对于所述物理真实世界环境的所述已知方位，确定所述相机相对于所述物理真实世界环境的地理方位。
19.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，确定所述相机相对于所述行进路线的地理方位包括：
至少部分地基于所述机器学习模型，确定所述相机相对于所述行进路线的两个可能的地理方位，所述两个可能的地理方位相差一百八十度；以及
从所述两个可能的地理方位当中选择所述相机相对于所述行进路线的地理方位。
20.根据权利要求18所述的一个或多个非暂时性计算机可读介质，其中，确定所述相机相对于所述行进路线的地理方位包括：
确定所述相机的地理位置；以及
至少部分地基于所述相机的地理位置，从用于确定相机相对于行进路线的地理方位的多个不同的机器学习模型当中选择所述机器学习模型，所述多个不同的机器学习模型至少部分地基于包括来自不同的对应的地理区域的影像的训练数据，所述机器学习模型至少部分地基于包括来自包括所述相机的地理位置的地理区域的影像的训练数据，来自所述地理区域的所述影像不包括包含所述行进路线的影像。
CN201880090882.1A 2018-03-07 2018-03-12 用于基于影像确定地理方位的方法和系统 Pending CN111837013A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862639674P 2018-03-07 2018-03-07
US62/639,674 2018-03-07
PCT/US2018/021957 WO2019172941A1 (en) 2018-03-07 2018-03-12 Methods and systems for determining geographic orientation based on imagery

Publications (1)

Publication Number Publication Date
CN111837013A true CN111837013A (zh) 2020-10-27

Family

ID=61827832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090882.1A Pending CN111837013A (zh) 2018-03-07 2018-03-12 用于基于影像确定地理方位的方法和系统

Country Status (4)

Country Link
US (2) US11994405B2 (zh)
EP (1) EP3746744A1 (zh)
CN (1) CN111837013A (zh)
WO (1) WO2019172941A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101186A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 전자 장치 및 그의 제어 방법
IL265818A (en) * 2019-04-02 2020-10-28 Ception Tech Ltd System and method for determining the position and orientation of an object in space
US11669995B2 (en) * 2019-12-26 2023-06-06 Google Llc Orientation determination for mobile computing devices
US20230057652A1 (en) 2021-08-19 2023-02-23 Geotab Inc. Mobile Image Surveillance Systems

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101484346A (zh) * 2006-06-30 2009-07-15 通用电气公司 使用捕获的图像导航的系统和方法
CN105391970A (zh) * 2014-08-27 2016-03-09 Metaio有限公司 提供由车辆的场景相机捕获的至少一个图像的方法和系统
CN106032990A (zh) * 2015-03-21 2016-10-19 吴红平 实景导航系统的工作方法
CN106164982A (zh) * 2014-04-25 2016-11-23 谷歌技术控股有限责任公司 基于影像的电子设备定位
US20170186186A1 (en) * 2014-02-24 2017-06-29 Nissan Motor Co., Ltd. Self-Position Calculating Apparatus and Self-Position Calculating Method
CN107169402A (zh) * 2016-03-08 2017-09-15 福特全球技术公司 车辆车道定位
EP3223196A1 (en) * 2016-03-24 2017-09-27 Delphi Technologies, Inc. A method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle
CN107270888A (zh) * 2017-06-20 2017-10-20 歌尔科技有限公司 一种测量经纬度的方法、装置和相机
US20180045519A1 (en) * 2016-08-09 2018-02-15 Nauto, Inc. System and method for precision localization and mapping

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017074966A1 (en) * 2015-10-26 2017-05-04 Netradyne Inc. Joint processing for embedded data inference
US10818188B2 (en) * 2016-12-13 2020-10-27 Direct Current Capital LLC Method for dispatching a vehicle to a user's location
CN109229109B (zh) * 2017-07-04 2020-03-31 百度在线网络技术（北京）有限公司 判断车辆行驶方向的方法、装置、设备和计算机存储介质
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium
US11205236B1 (en) * 2018-01-24 2021-12-21 State Farm Mutual Automobile Insurance Company System and method for facilitating real estate transactions by analyzing user-provided data
US10339622B1 (en) * 2018-03-02 2019-07-02 Capital One Services, Llc Systems and methods for enhancing machine vision object recognition through accumulated classifications

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101484346A (zh) * 2006-06-30 2009-07-15 通用电气公司 使用捕获的图像导航的系统和方法
US20170186186A1 (en) * 2014-02-24 2017-06-29 Nissan Motor Co., Ltd. Self-Position Calculating Apparatus and Self-Position Calculating Method
CN106164982A (zh) * 2014-04-25 2016-11-23 谷歌技术控股有限责任公司 基于影像的电子设备定位
CN105391970A (zh) * 2014-08-27 2016-03-09 Metaio有限公司 提供由车辆的场景相机捕获的至少一个图像的方法和系统
CN106032990A (zh) * 2015-03-21 2016-10-19 吴红平 实景导航系统的工作方法
CN107169402A (zh) * 2016-03-08 2017-09-15 福特全球技术公司 车辆车道定位
EP3223196A1 (en) * 2016-03-24 2017-09-27 Delphi Technologies, Inc. A method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle
US20170278014A1 (en) * 2016-03-24 2017-09-28 Delphi Technologies, Inc. Method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle
US20180045519A1 (en) * 2016-08-09 2018-02-15 Nauto, Inc. System and method for precision localization and mapping
CN107270888A (zh) * 2017-06-20 2017-10-20 歌尔科技有限公司 一种测量经纬度的方法、装置和相机

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DARREN CAULFIELD等: "Direction of camera based on shadows", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/238085975_DIRECTION_OF_CAMERA_BASED_ON_SHADOWS》, pages 1 - 56 *
GEORGES BAATZ等: "Leveraging 3D City Models for Rotation Invariant Place-of-Interest Recognition", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, pages 315 - 334 *
LEI LI等: "How many images can tell you the direction: A new method of navigation based on images", 《2016 INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS (ICMLC)》, pages 1031 - 1036 *
LI BAI等: "A Sensor Fusion Framework Using Multiple Particle Filters for Video-Based Navigation", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》, pages 348 - 358 *

Also Published As

Publication number Publication date
EP3746744A1 (en) 2020-12-09
US20240133704A1 (en) 2024-04-25
US20210041259A1 (en) 2021-02-11
US11994405B2 (en) 2024-05-28
WO2019172941A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
US11959771B2 (en) Creation and use of enhanced maps
US20230213350A1 (en) Systems and method for using visual landmarks in initial navigation
US11943679B2 (en) Mobile device navigation system
US11501104B2 (en) Method, apparatus, and system for providing image labeling for cross view alignment
US20240133704A1 (en) Methods and Systems for Determining Geographic Orientation Based on Imagery
US11215462B2 (en) Method, apparatus, and system for location correction based on feature point correspondence
Fedorov et al. A framework for outdoor mobile augmented reality and its application to mountain peak detection
CN112789480B (zh) 用于将两个或更多个用户导航到会面位置的方法和设备
US11783504B2 (en) Geolocation system
JP2024519424A (ja) 複数の磁気ナビゲーションデバイスからのオーバーラップする磁気測定データの相関付け及びこのデータによる地磁気マップの更新
KR102655068B1 (ko) 항공영상 기반 도로 검출장치 및 그 방법
Antigny et al. Fusion of 3D GIS, vision, inertial and magnetic data for improved urban pedestrian navigation and augmented reality applications
US11480438B2 (en) Identifying and displaying smooth and demarked paths
Karan et al. Indoor and outdoor navigation application development with augmented reality technology
US20240013554A1 (en) Method, apparatus, and system for providing machine learning-based registration of imagery with different perspectives
US10896533B2 (en) Automated identification of geographic site boundaries
Brata et al. An Enhancement of Outdoor Location-Based Augmented Reality Anchor Precision through VSLAM and Google Street View
JP2021144010A (ja) 携帯端末、ナビゲーション方法、及び、コンピュータプログラム
CN117893634A (zh) 一种同时定位与地图构建方法及相关设备
Gautam et al. Multimedia for mobile environment: image enhanced navigation
CN112556701A (zh) 用于定位交通工具的方法、装置、设备和存储介质
CN103017779A (zh) 移动摄像机对路景图像的处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination