CN114286923A - 由数据集对应关系定义的全球坐标系 - Google Patents

由数据集对应关系定义的全球坐标系 Download PDF

Info

Publication number
CN114286923A
CN114286923A CN201980099077.XA CN201980099077A CN114286923A CN 114286923 A CN114286923 A CN 114286923A CN 201980099077 A CN201980099077 A CN 201980099077A CN 114286923 A CN114286923 A CN 114286923A
Authority
CN
China
Prior art keywords
data
data set
earth
geodetic
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980099077.XA
Other languages
English (en)
Inventor
B.克林纳
D.马丁
V.迪科夫
J.K.O.阿夫维德森
J.B.罗斯博鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN114286923A publication Critical patent/CN114286923A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G01C1/02—Theodolites
    • G01C1/04—Theodolites combined with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本公开针对用于生成大地基准的方法和系统。大地基准可以建立坐标系和/或一组参考点，这组参考点描述了地球和/或位于其上的对象的一部分或全部的各自的位置。一般而言，计算系统可以使用来自一个或更多个来源的各种传感器数据来生成大地基准，所述各种传感器数据包括：卫星影像、航空影像、航空光检测和测距数据(LIDAR)、地面影像、地面LIDAR和/或其它形式的传感器数据。该数据可以用作参考数据集，该参考数据集可以与附加的传感器数据(例如，第二数据集)组合以确定在数据集中表示的重叠区域之间的对应关系。对共同覆盖地球的区域继续这个过程可以用于创建整个地球的大地基准，而无需使用地球表面的数学抽象。

Description

由数据集对应关系定义的全球坐标系
技术领域
本公开总体上涉及大地基准。更特别地，本公开涉及用于生成大地基准的计算系统和方法。
背景技术
大地基准是用于定义沿着地球表面的坐标点的参考系统。一般而言，这些系统定义了地球的几何近似(例如，椭球体、球面表示或谐波的组合等)。然后可以将坐标点投影到几何近似上以提供参考系统。
大陆位置的变化(例如，由于大陆漂移、海平面升高等)、建筑物的变化(例如，由于建造)或坐标点投影于其上的地球的其它特征的变化可能导致对地图绘制和导航应用的挑战，因为当前系统利用不受地球本身的特征约束的数学抽象。广泛采用的全球坐标系(基准)已经存在，例如世界大地坐标系(WGS)或地心地固坐标系(ECEF)。然而，这些现有的基准可能有缺陷，尤其是在某些地方，诸如城市，因为它们独立于地球表面上的随时间变化的特征而发展。例如，当大陆移动时，其上的建筑物随着它们在现有基准(WGS84)中的坐标发生变化而移位。
本领域需要用于产生大地基准的方法，该方法利用地球的物理特征并且可以容易地更新。虽然以前在一些大地基准中使用了锚点位置，但它们的使用对提高相对位置准确度几乎没有什么作用，相对位置准确度对于导航到一些位置可以是重要的。此外，在没有完全改变基准的情况下，可能难以更新锚点位置。这里公开了用于生成大地基准的方法和系统，其利用可随时间被更新和参考的数据驱动表示。
发明内容
本公开的实施例的方面和优点将在以下描述中被部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践而获知。
本公开的一个示例方面针对用于生成大地基准的方法。这些方法中的每个可以包括使用一个或更多个计算设备执行以下动作：获得源自参考数据集的一组基准坐标，该参考数据集包括与地球的一部分的第一部分对应的地理数据；获得第二数据集，该第二数据集包含与地球的所述一部分的第二部分对应的传感器数据，地球的所述一部分的第二部分与地球的所述一部分的第一部分至少部分重叠；确定参考数据集和第二数据集之间的一组对应关系；至少部分地基于所述一组对应关系来确定用于第二数据集的一组变换坐标；以及将所述一组基准坐标更新为包括所述一组变换坐标。
另一个示例方面针对利用定位或位置信息的应用。使用这里公开的方法和系统而生成的大地基准可以用于提供更高的相对准确度，该更高的相对准确度可以改善用于诸如增强现实、导航和无人驾驶汽车的应用的定位信息。本公开的方面还涉及用于从根据本公开的实施例生成的大地基准访问数据的方法。
本公开的其它方面针对实现这里公开的或可通过本公开的实践获得的技术的各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
本公开的各种实施例的这些和其它特征、方面和优点将参考以下描述和所附权利要求被更好地理解。被并入本说明书并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细讨论，附图中：
图1A绘出了根据本公开的示例实施例的用于生成大地基准的示例计算系统的框图。
图1B绘出了根据本公开的示例实施例的用于生成大地基准的示例计算设备的框图。
图1C绘出了根据本公开的示例实施例的用于生成大地基准的示例计算设备的框图。
图2绘出了根据本公开的示例实施例的用于生成大地基准的示例方法的框图。
图3绘出了根据本公开的示例实施例的用于生成大地基准的示例方法的流程图。
图4绘出了根据本公开的示例实施例而生成的示例大地基准的框图。
跨多个附图重复的附图标记旨在标识各种实施方式中的相同特征。
具体实施方式
概述
一般而言，本公开针对用于为地球的一部分生成大地基准的方法和系统。大地基准可以建立坐标系和/或一组参考点，这组参考点描述地球的一部分或全部和/或位于其上的对象的各自的位置。一般而言，计算系统可以使用来自一个或更多个来源的各种传感器数据(诸如，例如，卫星影像、航空影像、航空光检测和测距数据(LIDAR)、地面影像、地面LIDAR和/或其它形式的传感器数据)来生成大地基准。特别地，计算系统可以识别从两个或更多个不同数据源收集的传感器数据的两个或更多个表示(例如，三维模型)之间的一组对应关系。在一些情况下，第一数据集可以被视为具有已建立位置的参考集，第二数据集可以相对于参考集进行变换和对齐以实现数据集的融合。示例对应关系可以包括图像特征(例如，颜色、形状、边缘、绘出的对象等)、结构或空间特征(例如，在点云内捕获的空间特征、形状、边缘等)和/或其它特征。计算系统可以使用识别出的这一组对应关系来对齐传感器数据集，以生成具有高相对准确度(例如，而非精确的地理位置准确度)的一致大地基准。换句话说，通过对齐来自多个来源的传感器数据，与标准坐标系相比，可以提高地球上的对象的位置的相对准确度。例如，世界大地坐标系(WGS)依赖于假设地球形状的抽象。相比之下，这里公开的方法和系统利用传感器信息来创建数据驱动的表示，该表示可以在接收到新的或改善的传感器数据后定期更新。此外，这些方法可以用于生成锚定到可观测地点或特征的基准，而不是作为分离的数学抽象漂浮在地球上空。
因此，通过这里描述的联合对齐技术产生的(多个)大地基准可以在数据集被组合时提供它们之间的良好对齐。特别地，所提出的技术并不只关注真实的地理准确度或假设地球的椭球模型，而是生成可以表现出强烈的内部一致性和相对准确度/位置的(多个)大地基准。在实践中，数据集之间的一致性和它们之中的相对准确度常常比地理位置的绝对准确度更重要。绝对地理位置仅用GPS进行常规测量，这在城市地区严重下降。因此，对于许多应用来说，绝对位置不如确保呈现给用户的所有地理数据相互一致(即，确保对应的对象(例如，道路、建筑物、地标)共同位于在单个产品中可见的所有数据集内)来得重要。作为一个示例，即使基于用于执行增强现实的大地基准而生成的位置偏离了若干米，只要用户位置以及任何注释、建筑物立面和/或其它虚拟元素也偏离相同的若干米，用户体验就不会下降。只要相对准确度高，所有地理表示对于用户来说应该是一致的，这提供了良好的用户体验。
更特别地，本公开的一示例方面包括一种用于生成大地基准的方法。一般而言，该方法包括获得或以其它方式接收参考数据集，该参考数据集包括各种地理数据，这些地理数据可以包括来自GPS设备、加速度计、相机、RADAR、LIDAR或其它数据捕获设备的传感器信息。参考数据集还可以可选地与现有的一组基准坐标(例如，WGS坐标)相关联，这组基准坐标可以用作用于生成大地基准的初始参考系。为了扩大初始参考系，可以(例如，从卫星、航空和/或地面影像)获得附加的传感器数据。该附加的传感器数据可以用于创建第二数据集，该第二数据集可以通过识别重叠区域(例如，使用图像对齐或其它形式的特征匹配来识别对应关系)与参考数据集对齐。通过将第二数据集与参考数据集对齐，可以识别出一组对应关系，这一组对应关系可以用于将基准坐标分配给第二数据集，从而将第二数据集与参考数据集融合。
本公开的另一示例方面包括至少部分地基于所述一组对应关系来确定用于第二数据集的一组变换坐标。在某些实施方式中，确定这组变换坐标可以包括部分地基于所述一组对应关系来计算变换字段、以及将变换字段应用于第二数据集的至少一部分。一般而言，这组变换坐标可以包括第二数据集中包括的每个数据点或第二数据集中包括的一些数据点(例如，第二数据集的所述一部分中包括的每个数据点或第二数据集的所述一部分中包括的一些数据点)的坐标。
作为说明的一示例，图像数据可以由一个或更多个飞机和/或卫星收集以形成初始参考数据集。图像数据可以与GPS坐标(例如，纬度和经度)相关联，GPS坐标可以用于将初始的一组基准坐标分配给图像数据。为了扩展基准坐标。可以从现有数据集(例如，街道图像)或从新数据集(例如，附加的卫星影像)获取附加的传感器数据。一般而言，附加的传感器数据应该与参考数据集有某些对应关系或重叠(即，绘出或表示地球的(多个)相同部分中的至少一些)。使用对齐模型(例如，图像比较、特征映射等)，可以识别参考数据集和附加的传感器数据之间的重叠区域。空间映射这些组的对应关系可以用于确定变换字段，该变换字段可以在两个数据集中创建图像空间的连续表示。可以通过将变换字段应用于第二数据集的至少一部分来为第二数据集生成真实世界基准坐标。在一示例实施方式中，变换字段可以包括矩阵运算，该矩阵运算可以采用可由所述一组对应关系生成的空间表示并使用这组基准坐标的一些或一部分来外推坐标点(例如，纬度、经度和海拔)。
一般而言，获得参考数据集可以通过(例如，从相机)接收所传输的数据、访问所保存的数据或两者来完成。参考数据集可以包括各种不同的数据，包括时间、图像和空间，这些不同的数据可以彼此独立或彼此相关联。例如，无人机可以用于在不同的海拔捕获洛杉矶上空区域的视频和/或静止图像。因为经度、纬度和海拔对于所拍摄的每个视频和图像是已知的，所以该初始数据可以为基准提供基础。
将一组基准坐标分配给参考数据集可以包括访问作为参考数据集的部分而被包括的经度、纬度和海拔信息。替代地或附加地，通过映射无人机的航向(例如，速度、方向等)并在航向基准坐标中分配每个点，可以采用新的基础或参考点以用作基准坐标。例如，可以执行多视图立体和/或束调整技术来确定三维模型，该三维模型以一定程度的内部误差为每个点提供纬度、经度和/或海拔坐标。因此，基准坐标可以包括诸如经度、纬度和海拔的空间坐标和/或可以相对于其它基准坐标来表达。本公开的方面还可以包括使大地基准参考时间的能力。因此，基准坐标也可以包括时间信息，这可以为在快速改变的空间(诸如城市)中的使用提供优势。
与获得参考数据集类似，第二数据集可以使用多种方法来获得，并且不必限于使用与用于获得参考数据集相同的传感器模态。例如，参考数据集可以包括航空影像，而第二数据集包括在地面上拍摄的图像。作为另一示例，参考数据集可以包括彩色图像，而第二数据集包括黑白图像。作为又一示例，参考数据集可以包括位置(例如，GPS)信息，而第二数据集仅包括图像数据。模态、数据收集装置和/或其它数据特性/属性中可能存在许多其它差异。替代地，第二数据集可以在形态上与参考数据集高度相似或相同。
本公开的另一方面包括确定参考数据集和第二数据集之间的一组对应关系。理想地，这一组对应关系应识别参考数据集和第二数据集之间的重叠或对应关系的区域或点。因为地球是连续的空间，所以这些重叠区域可以用于确定空间信息，诸如可用于将空间信息从一个数据集(例如，参考数据集)转换为第二数据集的距离。
作为一个示例实施方式，可以使用各种图像特征匹配技术、迭代最近点算法等来识别对应关系。在一些实施方式中，可以在原始传感器数据之间识别对应关系。在其它实施方式中，可以使用诸如鸟瞰图表示、三维建模(例如，网格模型)等的各种预处理技术来生成传感器数据的表示，并且可以相对于这些表示来识别对应关系(例如，LIDAR数据集可以能够被匹配到已经映射在大地基准内的建筑物的角落)。
作为另一示例实施方式，确定所述一组对应关系可以使用机器学习模型(例如，神经网络)来完成。例如，确定两个或更多个图像之间的相似性可以使用分类器来完成，该分类器被配置为输出两个图像显示相同区域的置信度。此外，因为参考数据集和第二数据集可以包括不同的传感器模态，所以可以使用多种机器学习或数据处理技术来提高确定所述一组对应关系的准确度。
作为另一示例，确定所述一组对应关系可以包括：由一个或更多个计算设备确定位点，处理参考数据集中包括的与该位点相关联的影像以创建多个参考分片(shard)，处理第二数据集中包括的与该位点相关联的影像以创建多个第二分片，以及至少部分地基于通过将至少一个参考分片与至少一个第二分片进行比较来计算对齐。在一些实施方式中，计算对齐可以包括：选择一个参考分片的一方面以及将该方面三角化到一个或更多个第二分片。
本公开的另一方面包括部分地基于所述一组对应关系来计算变换字段。一般而言，变换字段可以用于将基准坐标分配给第二个数据集中表示的区域。可以使用各种技术(诸如经由迭代最近点算法的网格到网格、图像到图像变换、光流技术和/或其它技术(例如，平均或局部平均各种对应关系之间的距离))来计算变换字段。
如这里所使用的，使用变换字段来确定的所分配的基准坐标被称为变换坐标。在一些实施方式中，可以应用变换字段来将变换坐标分配给第二数据集中包括的所有区域。在某些实施方式中，变换字段可以仅应用于将变换坐标分配给第二数据集中包括的一些区域。例如，变换字段可以包括预测的准确度，使得变换字段在第二数据集的某些区域(例如，在所述一组对应关系中的一对应关系的15英尺内的区域)上更准确。部分地基于预测的准确度或其它度量，变换字段可以将坐标仅分配给第二数据集中的某些区域。
本公开的另一方面包括将一组基准坐标更新为包括至少一些变换坐标(例如，通过应用变换字段分配给第二传感器数据集的坐标)。
对共同覆盖整个地球的数据集重复该过程可以用于创建全球大地基准。参考数据集(例如，与参考数据集相关联的基准坐标)的版本控制和更新可能导致参考数据集随时间变化。例如，可以添加新的覆盖范围来扩展参考数据集。附加地或替代地，更新过的传感器信息可以由新的或现有的设备捕获以精炼参考数据集。为了将这些变化合并到大地基准中，可以创建参考数据集的不可变快照，该不可变快照可以与标识符(例如，名称、时间等)相关联。因此，在某些点，可以生成全新基准或版本的大地基准，并使其被不可变参考数据集参考，该不可变参考数据集可以被称为历元(epoch)。
大地基准坐标可以与参考数据集的历元和/或快照相关联，并且用户可以通过API访问历元和/或创建转换以在快照之间进行投影。作为一示例实施方式，用户设备可以使用API来访问与大地基准相关联的信息以提供相对于用户设备的位置信息。因此，可以实现这样的系统，其为诸如增强现实(AR)的应用访问大地基准，这可以为需要高度局部准确度的AR应用提供优势。此外，诸如杂货店或机场的本地化应用可以开发数据集，该数据集可以与参考的数据集相结合，以创建大型内部空间的基准坐标，该基准坐标也可以作为API快照的参考，该API快照可以供客户使用以进行引导和/或用于自动补货。
除了访问位置或导航信息之外，用户还可以在历元之间投影坐标(例如，以开发表面变化特征的时间表示)。作为一示例实施方式，在历元之间进行投影可以包括执行与根据本公开的用于生成大地基准的方法类似的操作。例如，因为每个历元与参考数据集的不可变快照相关联。为了在两个历元之间进行投影，用户可以指定一个历元作为参考历元，并将另一个历元指定为第二历元。然后可以将与参考历元相关联的参考数据集和与第二历元相关联的参考数据集对齐以确定可部分地用于创建变换字段的对应关系，该变换字段用于将变换坐标分配给与第二历元相关联的参考数据集。以这种方式，可以将使用某个历元生成的基准坐标投影到另一历元。
对于一些AR应用，本公开的方法和系统可以被配置为处理实时数据。例如，由用户设备捕获的视频可以被获得以用作第二数据集或被包括在第二数据集中以提供可用于基本上实时生成基准坐标的本地传感器信息。然后诸如图像层的AR信息可以显示在用户设备上，并在记录新区域或位置的视频时实时更新。
对于本公开的实施方式，大地基准可以展示高度的相对准确度。例如，某些实施方式可以展示在所有方向上每300m约0.5cm至约10cm的相对准确度。因此，对于基准内的每个点，距每个点具有300m半径的球体内的位置和/或对象在其绝对距离的约0.5cm至约10cm(例如，约1cm)内。在一些实施方式中，基准坐标不是固定的，而是可以随着新的传感器数据变得可用而定期更新，从而允许基准坐标随时间“浮动”或以其它方式变换，类似于由于各种自然地质作用导致的在地球表面上的各个点所经历的相对位置变化。浮动坐标的一方面还可以包括将基准坐标集中更新到特定区域，诸如刚刚经历了自然灾害(例如，地震)的区域。
作为一示例技术效果，这里公开的实施例可以允许开发不依赖于地球的几何近似的大地基准。通过利用一些初始坐标信息，可以从可展示高度的相对准确度的传感器信息构建大地基准。使用这种相对准确度高的信息可以允许在标准基准中不易捕获的本地化信息(诸如可用于AR应用或用于改善业务流程的建筑物内部信息)的进步。替代地，使用根据本公开的方法可以更容易地捕获诸如城市的区域中的变动的景观或由于自然原因而经历变化的景观，因为该信息可以在变化发生时实时并入基准中。例如，新建筑物的建造可以导致用于包括在参考数据集中的新数据，这进而又可以提高准确度，可以以该准确度来确定大地基准。此外，更新参考数据集的能力确保，可以随着时间的推移通过仅更新数据集(即参考数据集)来保持整个大地基准的准确度，该数据集在地理覆盖范围方面可以显著小于将要由大地基准覆盖的区域，从而导致更新过程的技术效率的提高。
现在参考附图，将进一步详细讨论本公开的示例实施例。
示例设备和系统
图1A绘出了根据本公开的示例实施例的用于生成大地基准的示例计算系统100的框图。系统100可以包括通过网络180通信耦合的用户计算设备102、服务器计算系统130和训练计算系统150。
用户计算设备102可以是任何类型的计算设备，诸如例如个人计算设备(例如，膝上型电脑或台式电脑)、移动计算设备(例如，智能电话或平板电脑)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其它类型的计算设备。
用户计算设备102包括一个或更多个处理器112和存储器114。一个或更多个处理器112可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或在操作上连接的多个处理器。存储器114可以包括一个或更多个非暂时性计算机可读存储介质(诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等)及其组合。存储器114可以存储由处理器112运行以使用户计算设备102执行操作的数据116和指令118。
在一些实施方式中，用户计算设备102可以存储或包括一个或更多个对齐模型120。例如，对齐模型120可以是或者可以包括各种机器学习模型，诸如神经网络(例如，深度神经网络)或其它类型的机器学习模型，包括非线性模型和/或线性模型。神经网络可以包括前馈神经网络、循环神经网络(例如，长短期记忆循环神经网络)、卷积神经网络或其它形式的神经网络。
附加地或替代地，对齐模型未必是学习模型，而是可以执行各种特征匹配算法(诸如运动恢复结构、图像比较、特征映射等)，以识别参考数据集和(例如，第二数据集中包括的)附加的传感器数据之间的重叠区域。在一些实施方式中，计算对齐可以包括识别代表参考数据集中包括的某些数据和第二数据集中的某些数据之间的一般重叠区域的位点。位点内的数据属性可以被分解为一个或更多个分片，该一个或更多个分片定义了数据的较低表示(例如，图像的一部分、图像的黑白表示、图像的光滑表面表示(诸如形状表示)或其组合)。在一些实施方式中，计算对齐可以至少部分地基于通过将至少一个参考分片(其根据参考数据集中包括的数据来确定)与至少一个第二分片(其根据第二数据集中包括的数据来确定)进行比较。例如，一个参考分片的一方面可以被选择并被三角化到一个或更多个第二分片。可以针对第二数据集中包括的每个数据点重复这个过程，并且可以平滑三角化的对齐以考虑姿势或传感器数据的轻微变化。作为另一示例，可以在每个分片处计算刚性变换以生成一组点，并且可以通过在整个数据集中的每个点之间进行三角化来执行内插。
在一些实施方式中，一个或更多个对齐模型120可以通过网络180从服务器计算系统130被接收，被存储在用户计算设备存储器114中，然后由一个或更多个处理器112使用或以其它方式实施。在一些实施方式中，用户计算设备102可以实现单个对齐模型120的多个并行实例(例如，以并行确定参考数据集和第二数据集之间的对应关系)。这些用例可以在多于一个第二数据集可用时或者在第二数据集较大(例如，基于与参考数据集中包括的示例相比，第二数据集中包括的示例的数量)的情况下提供优势，并且数据集之间的对应关系映射可以通过分割第二数据集被更高效地处理。
更特别地，对齐模型120可以起到确定由计算系统130获得的参考数据集和由计算系统130获得的第二数据集之间的一组对应关系的作用。作为一示例，可以使用各种图像特征匹配技术、迭代最近点算法等来识别对应关系。在一些实施方式中，可以在作为参考数据集和/或第二数据集的部分而被包括的原始传感器数据之间识别对应关系。在其它实施方式中，可以使用诸如鸟瞰图表示、三维建模(例如，网格模型)等的各种预处理技术来生成传感器数据的表示，并且可以相对于这些表示来识别对应关系。
在某些实施方式中，所述一组对应关系可以部分地用于计算变换字段，该变换字段可以用于分配或以其它方式确定第二数据集的变换坐标，以生成在参考数据集和第二数据集中表示的一部分地球的连续坐标表示。定义这种连续表示的坐标可以用作大地基准。对齐模型120的一方面可以包括迭代另外的第二数据集(例如，第三数据集、第四数据集等)以继续确定可用于更新或以其它方式扩展大地基准从而表示地球的另外部分的对应关系。
附加地或替代地，一个或更多个对齐模型140可以被包括在服务器计算系统130中或由服务器计算系统130以其它方式存储和实现，该服务器计算系统130根据客户机-服务器关系与用户计算设备102通信。例如，(多个)对齐模型140可以作为网络服务的一部分由服务器计算系统130实现。因此，一个或更多个模型120可以在用户计算设备102处存储和实现，并且/或者一个或更多个模型140可以在服务器计算系统130处存储和实现。
用户计算设备102还可以包括接收用户输入的一个或更多个用户输入部件122。例如，用户输入部件122可以是对用户输入对象(例如，手指或手写笔)的触摸敏感的触敏部件(例如，触敏显示屏或触摸板)。触敏部件可以用于实现虚拟键盘。其它示例用户输入部件包括麦克风、传统键盘或用户可通过其来提供用户输入的其它手段。
服务器计算系统130包括一个或更多个处理器132和存储器134。一个或更多个处理器132可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)，并且可以是一个处理器或在操作上连接的多个处理器。存储器134可以包括一个或更多个非暂时性计算机可读存储介质(诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等)及其组合。存储器134可以存储由处理器132运行以使服务器计算系统130执行操作的数据136和指令138。
在一些实施方式中，服务器计算系统130包括一个或更多个服务器计算设备，或由一个或更多个服务器计算设备实现。在服务器计算系统130包括多个服务器计算设备的情况下，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。
如上所述，服务器计算系统130可以存储或以其它方式包括一个或更多个机器学习对齐模型140。例如，模型140可以是或者可以包括各种机器学习模型。示例机器学习模型包括神经网络或其它多层非线性模型。示例神经网络包括前馈神经网络、深度神经网络、循环神经网络和卷积神经网络。
用户计算设备102和/或服务器计算系统130可以经由与通过网络180通信耦合的对齐计算系统150的相互作用来训练模型120和/或140。训练计算系统150可以与服务器计算系统130分离，或者可以是服务器计算系统130的一部分。
训练计算系统150可以包括一个或更多个处理器152和存储器154。一个或更多个处理器152可以是任何合适的处理设备(例如，处理器核心、微处理器、ASIC、FPGA、控制器、微控制器等)并且可以是一个处理器或在操作上连接的多个处理器。存储器154可以包括一个或更多个非暂时性计算机可读存储介质(诸如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等)及其组合。存储器154可以存储由处理器152运行以使训练计算系统150执行操作的数据156和指令158。在一些实施方式中，训练计算系统150包括一个或更多个服务器计算设备，或由一个或更多个服务器计算设备实现。
训练计算系统150可以包括模型训练器160，该模型训练器160使用各种训练或学习技术(诸如，例如，错误的反向传播)来训练存储在用户计算设备102和/或服务器计算系统130处的机器学习模型120和/或140。在一些实施方式中，执行错误的反向传播可以包括执行沿时间的截断反向传播。模型训练器160可以执行多种泛化技术(例如，权重衰减、丢弃等)以提高被训练模型的泛化能力。
特别地，模型训练器160可以基于一组训练数据162来训练对齐模型120和/或140。训练数据162可以包括例如部分航空图像(诸如可以包括颜色、光或其它数据方面的卫星或相机图像)以及地面图像(诸如照片和/或视频)。在一些实施方式中，模型训练器可以不被使用或者作为计算系统的部分而被包括。例如，在一些实施方式中，对齐模型可以使用一种或更多种无监督学习技术来确定所述一组对应关系。
在某些实施方式中，如果用户已经提供同意，则用于包括在第二数据集中的训练示例和/或数据可以由用户计算设备102提供。因此，在这样的实施方式中，提供给用户计算设备102的对齐模型120可以由训练计算系统150对从用户计算设备102接收到的用户特定的数据进行训练。在一些情况下，这个过程可以被称为使模型个性化。
模型训练器160包括用于提供期望功能的计算机逻辑。模型训练器160可以以控制通用处理器的硬件、固件和/或软件来实现。例如，在一些实施方式中，模型训练器160包括存储在存储设备上、加载到存储器中并由一个或更多个处理器运行的程序文件。在其它实施方式中，模型训练器160包括存储在有形计算机可读存储介质(诸如RAM硬盘或者光学介质或磁性介质)中的一组或更多组计算机可运行指令。
网络180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。一般而言，通过网络180的通信可以经由任何类型的有线和/或无线连接使用多种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)来执行。
图1A示出了可以用于实现本公开的一个示例计算系统。也可以使用其它计算系统。例如，在一些实施方式中，用户计算设备102可以包括模型训练器160和训练数据集162。在这样的实施方式中，模型120可以在用户计算设备102本地被训练和使用。在一些这样的实施方式中，用户计算设备102可以实现模型训练器160以基于用户特定的数据使模型120个性化。
图1B绘出了根据本公开的示例实施例来执行的示例计算设备10的框图。计算设备10可以是用户计算设备或服务器计算设备。
计算设备10包括多个应用(例如，应用1至N)。每个应用可以包含其自己的机器学习库和(多个)机器学习模型。例如，每个应用可以包括机器学习模型。示例应用包括文本消息收发应用、电子邮件应用、增强现实应用、相机应用、GPS应用、虚拟键盘应用、浏览器应用等。
如图1B所示，每个应用可以与计算设备的许多其它部件(诸如例如一个或更多个传感器、上下文管理器、设备状态部件和/或附加部件)通信。在一些实施方式中，每个应用可以使用API(例如，公共API)与每个设备部件通信。在一些实施方式中，每个应用使用的API特定于该应用。例如，增强现实(AR)应用可以包括用于与对齐模型和/或对齐模型的输出(诸如大地基准)进行通信的API。
图1C绘出了根据本公开的示例实施例来执行的示例计算设备50的框图。计算设备50可以是用户计算设备或服务器计算设备。
计算设备50包括多个应用(例如，应用1至N)。每个应用与中央智能层进行通信。示例应用包括文本消息收发应用、电子邮件应用、增强现实应用、相机应用、GPS应用、虚拟键盘应用、浏览器应用等。在一些实施方式中，每个应用可以使用API(例如，跨所有应用的公共API)与中央智能层(和存储在其中的(多个)模型)进行通信。
中央智能层包括许多机器学习模型。例如，如图1C所示，相应的机器学习模型(例如，模型)可以被提供给每个应用并由中央智能层管理。在其它实施方式中，两个或更多个应用可以共用单个机器学习模型。例如，在一些实施方式中，中央智能层可以为所有应用提供单个模型(例如，单个模型)。在一些实施方式中，中央智能层被包括在计算设备50的操作系统内或由计算设备50的操作系统实现。
中央智能层可以与中央设备数据层进行通信。中央设备数据层可以是计算设备50的数据集中存储库。如图1C所示，中央设备数据层可以与计算设备的许多其它部件(诸如例如一个或更多个传感器、上下文管理器、设备状态部件和/或附加部件)进行通信。在一些实施方式中，中央设备数据层可以使用API(例如，私有API)与每个设备部件进行通信。
示例模型布置
图2绘出了根据本公开的示例实施例的示例对齐模型220的框图。在一些实施方式中，对齐模型220可以被训练或以其它方式被配置为接收参考数据集202和第二数据集204，参考数据集202和第二数据集204中的每个包括代表地球的一部分或另一连续区域的信息。作为参考数据集202和第二数据集204的接收的结果，对齐模型220可以提供输出数据，诸如一组对应关系，然后可以使用该输出数据来确定用于更新大地基准206的基准坐标。在某些实施方式中，用户设备102可以通过通信网络180来访问大地基准206，以访问或以其它方式接收位置信息以用于用户设备102上的应用，诸如增强现实应用、地图绘制应用等。
示例方法
图3绘出了根据本公开的示例实施例来执行的示例方法的流程图。尽管图3出于说明和讨论的目的绘出了按特定顺序执行的步骤，但是本公开的方法不限于特别未出的顺序或布置。在不偏离本公开的范围的情况下，可以以各种方式省略、重新排列、组合和/或调整方法300的各个步骤。
在302，计算系统可以获得包括与地球的一部分的第一部分对应的地理数据的参考数据集。在某些实施方式中，参考数据集可以包括各种传感器信息，诸如包括由空中载具(例如，无人机、卫星、飞机等)捕获的视频或照片的航空影像。获得参考数据集可以包括访问所存储的数据的库、生成新的传感器数据、和/或更新或以其它方式修改现有数据(例如，所存储的数据)。
在304，计算系统可以确定用于参考数据集的一组基准坐标。在一些实施方式中，这一组基准坐标可以在使用诸如GPS设备的传感器进行测量时从现有的一组基准坐标(例如，WGS坐标)获得。替代地，这一组基准坐标可以通过传感器数据的手动或自动标记来定义，该传感器数据可以部分地使用相关联的传感器信息(例如，飞行速度、大气压力、飞行方向等)来确定。
在306，计算系统可以获得包含与地球的所述一部分的第二部分对应的传感器数据的第二数据集，第二部分与地球的所述一部分的第一部分至少部分重叠。对于本公开的实施方式，第二数据集可以包括来自与参考数据集中包括的传感器数据不同的模态或相同的模态的传感器数据。作为一示例，第二数据集中包括的传感器数据可以包括从一个或更多人获得的地面图像。相比之下，参考数据集中包括的传感器数据可以包括三维航空图像。作为另一示例，参考数据集和第二数据集可以都包括相同类型的传感器数据。一般而言，参考数据集和第二数据集中包括的传感器数据的至少一部分应对应于地球的同一部分。例如，加利福尼亚州洛杉矶(LA)和周围郊区的航空图像可以被包括在示例参考数据集中，并且示例第二数据集可以包括延伸到周边区域(诸如加利福尼亚州亨廷顿海滩)的LA郊区的地面图像。
在308，计算系统可以确定参考数据集和第二数据集之间的一组对应关系。在一些实施方式中，确定这一组对应关系可以包括使用机器学习模型来识别每个数据集中的相似特征。在一示例实施方式中，机器学习模型可以被配置为可使用训练数据集来训练的有监督模型。替代地，机器学习模型可以被配置为无监督模型。一般而言，确定这一组对应关系可以包括将参考数据集和第二数据集提供给一个或更多个机器学习模型，该一个或更多个机器学习模型可以各自独立地是无监督模型或有监督模型。在一示例实施方式中，可以并行使用两个自洽模型来将参考数据集和第二数据集中表示的区域分割成较低的数据表示(例如，分割成比特)。然后可以基于识别出一个或更多个对应关系来对齐较低的数据表示。示例对应关系可以包括传感器数据的颜色、形状、背景和/或其它特征。
在310，计算系统可以部分地基于这一组对应关系来计算变换字段。可以使用各种技术(诸如经由迭代最近点算法的网格到网格、图像到图像变换、光流技术和/或其它技术(例如，平均或局部平均各种对应关系之间的距离))来计算变换字段。
在312，计算系统可以通过将变换字段应用于第二数据集的至少一部分来确定一组变换坐标。一般而言，变换字段可以用于，诸如通过将针对参考数据集获得的相似(例如，相同)基准坐标分配给第二数据集中的重叠区域并使用回归或另一种技术外推第二数据集中表示的其它区域以生成在参考数据集和第二数据集两者中表示的地理区域的连续表示，映射参考数据集和第二数据集之间的点。作为一示例，每个数据集中表示的区域上的每个对应关系可以组合成表示该区域的点的地图。这些点可以被三角化并且被可选地平滑化(例如，使用平均算法)以开发变换字段，该变换字段可以扩展到第二数据集中包括的其它数据。
在314，计算系统可以将所述一组基准坐标更新为包括变换坐标的子集。在一示例实施方式中，为了扩展大地基准以并入第二数据集所示的区域，所述一组基准坐标可以被更新为包括分配给第二数据集中表示的地理区域的变换坐标。对共同覆盖整个地球的数据集(例如，第二数据集)重复这个过程可以用于创建整个地球的大地基准，而无需对地球表面进行数学抽象。
示例基准配置
图4绘出了根据本公开的示例实施例的示例大地基准配置的框图。尽管图4将大地基准206绘出为包括根据本公开的实施例而生成的大地基准的一个或更多个实例(例如，大地基准1、2、……、N)，但是应理解，这些实例或快照可以是单独存储的而不是被包括在单个大地基准中。尽管如此，无论是单独存储还是作为单个基准的部分来存储，API 402可以被配置为提供对大地基准的所述一个或更多个实例的访问，每个实例可以与静态参考数据集202相关联。因此，由于新的传感器数据和/或更新过的传感器数据导致参考数据集202中的变化，因此大地基准的新版本或新历元可以被创建并分开存储在各种计算设备上或存储在单个计算设备上。
附加公开
这里讨论的技术参考了服务器、数据库、软件应用和其它基于计算机的系统，以及所采取的动作及发送到和从这些系统发送的信息。基于计算机的系统固有的灵活性允许在部件的两两之间和三者以上之间对任务和功能进行多种可能的配置、组合和划分。例如，这里讨论的过程可以使用单个设备或部件或者组合工作的多个设备或部件来实现。数据库和应用可以在单个系统上实现，或分布在多个系统上。分布式部件可以依次或并行操作。
虽然本主题已针对其各种具体示例实施例进行了详细描述，但是每个示例作为解释而不是对本公开的限制来提供。本领域技术人员在获得对前述内容的理解后可以容易地产出对这些实施例的更改、变化和等同物。因此，对于本领域普通技术人员将显而易见的是，主题公开内容不排除包括对本主题的修改、变化和/或添加。例如，作为一个实施例的部分被示出或描述的特征可以与另一实施例一起使用以产生又一实施例。因此，意图是本公开涵盖这样的更改、变化和等同物。

Claims (26)

1.一种计算系统，包括：
一个或更多个处理器；以及
一个或更多个非暂时性计算机可读介质，共同存储：
大地基准，分别为位于地球表面的至少一部分上的多个对象提供坐标，其中由大地基准为所述多个对象提供的坐标独立于地球表面形状的近似；以及
指令，当由所述一个或更多个处理器运行时使计算系统执行操作，所述操作包括提供大地基准的至少一部分以用于确定所述多个对象之一或附加对象的相对位置。
2.根据任何前述权利要求所述的计算系统，其中大地基准已经通过多个地理数据集的联合对齐而产生。
3.根据权利要求2所述的计算系统，其中所述多个地理数据集包括至少两个不同的地理数据集，所述至少两个不同的地理数据集包括至少两种不同模态的地理数据。
4.根据任何前述权利要求所述的计算系统，其中当附加的地理数据集与大地基准对齐时，允许由大地基准为所述多个对象提供的坐标随时间改变。
5.根据任何前述权利要求所述的计算系统，其中提供大地基准的所述至少一部分包括提供大地基准的所述至少一部分以用于确定所述附加对象相对于所述多个对象中的至少一个的相对位置，其中所述附加对象包括与用户相关联的用户设备。
6.一种计算机实现的方法，用于为地球的一部分生成大地基准，该方法包括：
由一个或更多个计算设备获得源自参考数据集的一组基准坐标，该参考数据集包括与地球的所述一部分的第一部分对应的地理数据；
由所述一个或更多个计算设备获得包含与地球的所述一部分的第二部分对应的传感器数据的第二数据集，其中地球的所述一部分的第二部分与地球的所述一部分的第一部分至少部分重叠；
由所述一个或更多个计算设备确定参考数据集和第二数据集之间的一组对应关系；
由所述一个或更多个计算设备至少部分地基于所述一组对应关系来确定用于第二数据集的一组变换坐标；以及
由所述一个或更多个计算设备将所述一组基准坐标更新为包括所述一组变换坐标。
7.根据权利要求6所述的计算机实现的方法，其中由所述一个或更多个计算设备至少部分地基于所述一组对应关系来确定用于第二数据集的一组变换坐标包括：
由所述一个或更多个计算设备部分地基于所述一组对应关系来计算变换字段；以及
由所述一个或更多个计算设备通过将变换字段应用于第二数据集的至少一部分来确定用于第二数据集的所述一组变换坐标。
8.根据权利要求6所述的计算机实现的方法，其中参考数据集和第二数据集分别包括来自至少两种不同传感器模态的传感器数据。
9.根据权利要求6-8中任一项所述的计算机实现的方法，其中参考数据集包括三维卫星影像、航空影像或两者，并且第二数据集包括地面影像。
10.根据权利要求6-9中任一项所述的计算机实现的方法，还包括由所述一个或更多个计算设备将参考数据集更新为包括第二数据集中的已使用变换字段被映射的点的子集。
11.根据权利要求6-10中任一项所述的计算机实现的方法，还包括由所述一个或更多个计算设备创建快照，其中快照包括大地基准的时间参考表示。
12.根据权利要求6-11中任一项所述的计算机实现的方法，其中由所述一个或更多个计算设备确定一组对应关系包括：
由所述一个或更多个计算设备确定位点；
由所述一个或更多个计算设备处理参考数据集中包括的与所述位点相关联的影像以创建多个参考分片；
由所述一个或更多个计算设备处理第二数据集中包括的与所述位点相关联的影像以创建多个第二分片；
由所述一个或更多个计算设备至少部分地基于通过将至少一个参考分片与至少一个第二分片进行比较来计算对齐。
13.根据权利要求12所述的计算机实现的方法，其中由所述一个或更多个计算设备计算对齐包括：
由所述一个或更多个计算设备选择一个参考分片的一方面；以及
由所述一个或更多个计算设备将所述一方面三角化到第二分片中的一个或更多个。
14.根据权利要求6-13中任一项所述的计算机实现的方法，其中大地基准在所有方向上展示每300m约0.5cm至约10cm的相对准确度。
15.根据权利要求6-14中任一项所述的计算机实现的方法，其中传感器数据包括以下一项或更多项：彩色图像、视频以及光检测和测距数据。
16.根据权利要求6-15中任一项所述的计算机实现的方法，还包括将包括来自大地基准的信息的数据包传输到用户设备。
17.根据权利要求16所述的计算机实现的方法，其中数据包中包括的信息包括地理定位特征数据，该地理定位特征数据可用于确定所述用户设备相对于该特征数据的位置。
18.根据权利要求16所述的计算机实现的方法，其中数据包中包括的信息包括位置信息，该位置信息将参考位置分配给所述用户设备并为在距所述参考位置一半径内的对象分配相对位置。
19.根据权利要求17或18中任一项所述的计算机实现的方法，其中所述用户设备被配置为部分地基于数据包来显示增强现实层。
20.一种计算系统，配置为生成地球的一部分的大地基准，该计算系统包括：
一个或更多个处理器；
一个或更多个非暂时性计算机可读介质，共同存储指令，所述指令当由所述一个或更多个处理器运行时使计算系统执行操作，所述操作包括：
获得源自参考数据集的一组基准坐标，该参考数据集包括与地球的所述一部分的第一部分对应的地理数据；
获得第二数据集，该第二数据集包含与地球的所述一部分的第二部分对应的传感器数据，其中地球的所述一部分的第二部分与地球的所述一部分的第一部分至少部分重叠；
确定参考数据集和第二数据集之间的一组对应关系；
至少部分地基于所述一组对应关系来确定用于第二数据集的一组变换坐标；以及
将所述一组基准坐标更新为包括所述一组变换坐标。
21.根据权利要求20所述的计算系统，其中计算系统被配置为根据应用编程接口(API)进行操作，该API使用户设备能够使用标准化通信来访问大地基准或与大地基准相关联的信息。
22.根据权利要求21所述的计算系统，还包括使用API将包括与大地基准相关联的信息的数据包传输到所述用户设备。
23.根据权利要求22所述的计算系统，其中数据包中包括的信息包括位置信息，该位置信息将参考位置分配给所述用户设备并为在距参考位置一半径内的对象分配相对位置。
24.根据权利要求23所述的计算系统，其中在所述用户设备的约300m内的对象的各自的相对位置展示了约0.5cm至约10cm的位置准确度。
25.根据权利要求22-24中任一项所述的计算系统，其中与大地基准相关联的信息包括历元，以及其中历元与参考数据集的时间参考表示相关联。
26.一个或更多个有形非暂时性计算机可读介质，存储计算机可读指令，所述计算机可读指令当由一个或更多个处理器运行时使所述一个或更多个处理器执行操作，所述操作包括：
获得源自参考数据集的一组基准坐标，该参考数据集包括与地球的一部分的第一部分对应的地理数据；
获得第二数据集，该第二数据集包含与地球的所述一部分的第二部分对应的传感器数据，其中地球的所述一部分的第二部分与地球的所述一部分的第一部分至少部分重叠；
确定参考数据集和第二数据集之间的一组对应关系；
至少部分地基于所述一组对应关系来确定用于第二数据集的一组变换坐标；以及
将所述一组基准坐标更新为包括所述一组变换坐标。
CN201980099077.XA 2019-06-26 2019-06-26 由数据集对应关系定义的全球坐标系 Pending CN114286923A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/039278 WO2020263248A2 (en) 2019-06-26 2019-06-26 Worldwide coordinate frame defined by data set correspondences

Publications (1)

Publication Number Publication Date
CN114286923A true CN114286923A (zh) 2022-04-05

Family

ID=67297340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099077.XA Pending CN114286923A (zh) 2019-06-26 2019-06-26 由数据集对应关系定义的全球坐标系

Country Status (6)

Country Link
US (1) US20220244056A1 (zh)
EP (1) EP3990860A2 (zh)
JP (1) JP2022539352A (zh)
KR (1) KR20220024948A (zh)
CN (1) CN114286923A (zh)
WO (1) WO2020263248A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118658015A (zh) * 2024-08-20 2024-09-17 江西和壹科技有限公司 基于深度学习的地图资源识别方法、系统及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11435756B2 (en) * 2019-12-01 2022-09-06 Nvidia Corporation Visual odometry in autonomous machine applications
CN118229518B (zh) * 2024-05-27 2024-07-26 四川惟邦新创科技有限公司 一种不同坐标系下地图瓦片转换方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090154793A1 (en) * 2007-12-17 2009-06-18 Electronics And Telecommunications Research Institute Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
CN101903746A (zh) * 2007-12-28 2010-12-01 电子地图有限公司 用于组合来自第一数字地图数据库的第一分区和来自第二数字地图数据库的第二分区的方法和设备
CN101971214A (zh) * 2008-03-13 2011-02-09 微软公司 用于产生无缝正射图像的平台
CN102246159A (zh) * 2008-12-09 2011-11-16 通腾北美有限公司 产生测地参考数据库产品的方法
US9104695B1 (en) * 2009-07-27 2015-08-11 Palantir Technologies, Inc. Geotagging structured data
CN104904200A (zh) * 2012-09-10 2015-09-09 广稹阿马斯公司 使用多设备的环境的多维数据捕捉
US20170004345A1 (en) * 2015-07-02 2017-01-05 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program
CN108710140A (zh) * 2018-04-19 2018-10-26 广州南方卫星导航仪器有限公司 固定基准站的位置坐标校正方法及系统、改进型rtk快速测量方法及系统
CN109612447A (zh) * 2018-12-29 2019-04-12 湖南璇玑信息科技有限公司 遥感影像地图数据的增强定位变换模型的构建方法、增强定位方法及增强定位服务器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208458B2 (en) * 2008-10-02 2015-12-08 Certusview Technologies, Llc Methods and apparatus for analyzing locate and marking operations with respect to facilities maps
US8527308B2 (en) * 2008-10-02 2013-09-03 Certusview Technologies, Llc Methods and apparatus for overlaying electronic locate information on facilities map information and/or other image information displayed on a locate device
US8874375B2 (en) * 2010-10-06 2014-10-28 Verizon Patent And Licensing Inc. Digital map projection
US8848983B1 (en) * 2012-05-31 2014-09-30 Google Inc. System and method for ranking geographic features using viewshed analysis
US20140015858A1 (en) * 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US20140023996A1 (en) * 2012-07-18 2014-01-23 F3 & Associates, Inc. Three Dimensional Model Objects
US9164651B2 (en) * 2013-04-11 2015-10-20 Google Inc. Management of geographic data layers in a geographic information system
US9625612B2 (en) * 2013-09-09 2017-04-18 Google Inc. Landmark identification from point cloud generated from geographic imagery data
US9804748B2 (en) * 2013-11-01 2017-10-31 Google Inc. Scale sensitive treatment of features in a geographic information system
US8761457B1 (en) * 2013-11-27 2014-06-24 Google Inc. Aligning ground based images and aerial imagery
US20160203624A1 (en) * 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
US9437034B1 (en) * 2014-12-15 2016-09-06 Google Inc. Multiview texturing for three-dimensional models
US9779544B2 (en) * 2014-12-23 2017-10-03 Google Inc. Labeling for three-dimensional occluded shapes
US10275939B2 (en) * 2015-11-05 2019-04-30 Google Llc Determining two-dimensional images using three-dimensional models
US11201981B1 (en) * 2016-06-20 2021-12-14 Pipbin, Inc. System for notification of user accessibility of curated location-dependent content in an augmented estate
WO2018106328A1 (en) * 2016-12-08 2018-06-14 Google Llc Contextual map view
GB2568661A (en) * 2017-03-20 2019-05-29 Google Llc Systems and methods of determining an improved user location using real world map and sensor data
US20180283882A1 (en) * 2017-04-04 2018-10-04 Appropolis Inc. Location-based services system and method therefor
US11199631B2 (en) * 2017-04-07 2021-12-14 Criterionix, L.L.C. Apparatus and methods for geo-locating one or more objects
PE20201430A1 (es) * 2017-09-07 2020-12-09 Cmte Dev Ltd Sistema y metodo de procesamiento de datos espaciales
EP3746744A1 (en) * 2018-03-07 2020-12-09 Google LLC Methods and systems for determining geographic orientation based on imagery
CN112105892B (zh) * 2018-09-12 2024-07-30 谷歌有限责任公司 使用运动数据和面元数据识别地图特征的方法和系统
US11255680B2 (en) * 2019-03-13 2022-02-22 Here Global B.V. Maplets for maintaining and updating a self-healing high definition map
US11860212B1 (en) * 2022-07-29 2024-01-02 Sas Institute Inc. Grid status monitoring system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090154793A1 (en) * 2007-12-17 2009-06-18 Electronics And Telecommunications Research Institute Digital photogrammetric method and apparatus using intergrated modeling of different types of sensors
CN101903746A (zh) * 2007-12-28 2010-12-01 电子地图有限公司 用于组合来自第一数字地图数据库的第一分区和来自第二数字地图数据库的第二分区的方法和设备
CN101971214A (zh) * 2008-03-13 2011-02-09 微软公司 用于产生无缝正射图像的平台
CN102246159A (zh) * 2008-12-09 2011-11-16 通腾北美有限公司 产生测地参考数据库产品的方法
US9104695B1 (en) * 2009-07-27 2015-08-11 Palantir Technologies, Inc. Geotagging structured data
CN104904200A (zh) * 2012-09-10 2015-09-09 广稹阿马斯公司 使用多设备的环境的多维数据捕捉
US20170004345A1 (en) * 2015-07-02 2017-01-05 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program
CN108710140A (zh) * 2018-04-19 2018-10-26 广州南方卫星导航仪器有限公司 固定基准站的位置坐标校正方法及系统、改进型rtk快速测量方法及系统
CN109612447A (zh) * 2018-12-29 2019-04-12 湖南璇玑信息科技有限公司 遥感影像地图数据的增强定位变换模型的构建方法、增强定位方法及增强定位服务器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118658015A (zh) * 2024-08-20 2024-09-17 江西和壹科技有限公司 基于深度学习的地图资源识别方法、系统及存储介质

Also Published As

Publication number Publication date
EP3990860A2 (en) 2022-05-04
KR20220024948A (ko) 2022-03-03
WO2020263248A2 (en) 2020-12-30
JP2022539352A (ja) 2022-09-08
US20220244056A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
US10962366B2 (en) Visual odometry and pairwise alignment for high definition map creation
US11727272B2 (en) LIDAR-based detection of traffic signs for navigation of autonomous vehicles
CN110869981B (zh) 用于自主车辆的高清晰度地图数据的向量数据编码
US10127670B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
US8392853B2 (en) Transparent interface used to independently manipulate and interrogate N-dimensional focus objects in virtual and real visualization systems
US20200081134A1 (en) Validation of global navigation satellite system location data with other sensor data
JP7273927B2 (ja) 画像ベースの測位方法及びシステム
US20160300389A1 (en) Correlated immersive virtual simulation for indoor navigation
US11927449B2 (en) Using map-based constraints for determining vehicle state
EP3645971B1 (en) Map feature identification using motion data and surfel data
CN112102497B (zh) 用于将应用和交互附接到静态对象的系统和方法
US10733777B2 (en) Annotation generation for an image network
US20150088466A1 (en) Structure Determination in a Geographic Area
JP7365385B2 (ja) マップの生成方法及びそれを用いた画像ベースの測位システム
Ahmed et al. A GIS-based mathematical approach for generating 3d terrain model from high-resolution UAV imageries
CN114286923A (zh) 由数据集对应关系定义的全球坐标系
CN112102464A (zh) 现实世界项目的虚拟创建
Guan et al. Detecting visually salient scene areas and deriving their relative spatial relations from continuous street-view panoramas
CN114092660A (zh) 高精地图生成方法、装置及用于生成地图的车辆
CN112104689B (zh) 基于位置的应用激活
Ma et al. Low‐Altitude Photogrammetry and Remote Sensing in UAV for Improving Mapping Accuracy
Praschl et al. Utilization of geographic data for the creation of occlusion models in the context of mixed reality applications
Gargari et al. Dynamic 3D network design for UAV-based photogrammetry in mountainous terrain
Mead Low-cost UAV Photogrammetry: An Application for Archaeological Survey in the Upper Gila River Watershed, New Mexico
Aksamentov et al. Algorithm of Georeferencing and Optimization of 3D Terrain Models for Robot Path Planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination