CN112105892A - 使用运动数据和面元数据识别地图特征 - Google Patents

使用运动数据和面元数据识别地图特征 Download PDF

Info

Publication number
CN112105892A
CN112105892A CN201880093434.7A CN201880093434A CN112105892A CN 112105892 A CN112105892 A CN 112105892A CN 201880093434 A CN201880093434 A CN 201880093434A CN 112105892 A CN112105892 A CN 112105892A
Authority
CN
China
Prior art keywords
data
location
geographic
identifying
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880093434.7A
Other languages
English (en)
Other versions
CN112105892B (zh
Inventor
M.斯普拉格
K.奥伊西
L.布鲁诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112105892A publication Critical patent/CN112105892A/zh
Application granted granted Critical
Publication of CN112105892B publication Critical patent/CN112105892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/3867Geometry of map features, e.g. shape points, polygons or for simplified maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

公开了用于基于与地理区域相关联的面元数据和运动数据为地图元素生成地理数据的系统和方法。计算系统可获得指示至少一个对象在由地图表示的地理区域中的移动的运动数据。该计算系统可另外获得指示与由地图表示的地理区域中的结构的表面相关联的一个或多个表面元素的面元数据。该计算系统可至少部分地基于面元数据和运动数据的相关性来识别结构的入口。该计算系统可生成指示该结构的入口的地理位置的地理数据。

Description

使用运动数据和面元数据识别地图特征
技术领域
本公开一般地涉及提供和/或显示与地理区域相关联的地图数据的地图绘制应用。
背景技术
地理信息系统(GIS)是用于归档、检索和处理根据其元素的地理坐标已存储和索引的数据的系统。该系统通常可利用各种数据类型,诸如图像、地图和表格。GIS技术可集成至基于因特网的地图绘制应用中。
这样的地图绘制应用可是显示交互式数字地图的软件应用,或者可与显示交互式数字地图的软件应用相关联。例如,地图绘制应用可以在笔记本电脑和平板电脑、移动电话、汽车导航系统、手持式全球定位系统(GPS)单元等上运行。这些装置中的许多装置都配备了触摸屏、触摸板或以其他方式配置从而接收包括手指手势的输入。例如,用户可以通过在期望方向上滑动他的手指来平移地图,通过将两个手指捏在一起来放大区域等。
通常,地图绘制应用可显示各种类型的地理数据,包括地形数据、街道数据、城市公交信息和交通数据。此外,地理数据可以是示意性的或基于摄影的,诸如卫星图像。另外,地图绘制应用可以二维(2D)或三维(3D)格式显示信息。
发明内容
本公开的实施例的方面和优点将在以下描述中部分地阐述,或者可以从描述中获悉,或者可以通过实施例的实践而获知。
本公开的一个示例方面涉及一种用于提供地图信息的计算系统。该计算系统包括一个或多个处理器以及一个或多个非暂时性计算机可读介质,该介质储存由一个或多个处理器执行时使计算系统执行操作的指令。操作包括获得指示至少一个对象在由地图表示的地理区域中的移动的运动数据;获得指示与由地图表示的地理区域中的结构的表面相关联的一个或多个表面元素的面元数据,至少部分基于面元数据和运动数据的相关性来识别结构的入口,以及生成指示该结构入口的地理位置的地理数据。
本公开的其他示例方面涉及系统、设备、计算机程序产品(诸如有形的、非暂时性的计算机可读介质,但也诸如可通过通信网络下载而不必以非暂时性形式储存的软件)、用户界面、存储装置和用于提供地图数据以在用户界面中显示的电子装置。
参考以下描述和所附权利要求,将更好地理解各个实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的实施例,并且与描述一起用于解释相关原理。
附图说明
在说明书中参考附图阐述了针对本领域普通技术人员的实施例的详细讨论,在附图中:
图1示出了根据示例实施例的用于从地理信息系统确定和提供地理数据的示例系统的框图。
图2示出了根据示例实施例的框图,该框图以图形方式显示了基于与地图元素相关联的面元(surfel)数据和运动数据来确定地图元素的特征的位置数据。
图3是示出根据示例实施例的基于与地图元素相关联的面元数据和运动数据为地图元素的特征生成地图数据的示例方法的流程图。
图4示出了根据示例实施例的以图形方式显示基于多边形数据和运动数据确定特征的候选位置的框图。
图5是示出根据示例实施例的用于基于多边形数据和运动数据生成指示特征的候选位置的数据的示例方法的流程图。
图6示出了以图形方式显示基于面元数据将地图特征的候选位置投影至投影位置的投影的框图。
图7示出了以图形方式显示基于地图特征的候选位置和投影位置的结合来确定地图特征的位置数据的框图。
图8是示出用于基于投影位置来确定地图特征的地理位置的示例方法的流程图。
图9示出了显示根据示例实施例的基于地图特征的投影位置的修改的多边形数据的框图。
图10是示出根据示例实施例的用于基于地图特征的投影位置来修改多边形数据的示例方法的流程图。
具体实施方式
现在将详细参考实施例,在附图中显示了这些实施例的一个或多个示例。通过解释说明实施例而不是限制本公开来提供每个示例。实际上,对于本领域技术人员将显而易见的是,在不背离本公开的范围或精神的情况下,可对实施例进行各种修改和变化。例如,作为一个实施例的一部分显示或描述的特征可与另一实施例一起使用以产生又一实施例。因此,目的是本公开的各方面覆盖这样的修改和变化。
一般地,本公开针对用于确定与地理信息服务相关联的地图元素的特征的地理信息的系统和方法。例如,所公开的技术可以用于确定与地理区域的地图相关联地示出的建筑物或其他结构的入口的位置。更具体地,所公开的技术涉及与运动数据以及可选地与其他地理信息相结合的面元数据的利用,以确定地图元素的特征的位置。例如,可以获得代表地图元素的一个或多个表面元素(诸如建筑物或其他结构的墙壁的外表面)的面元数据。面元数据例如可以表示从街景中可以看到的一个或多个墙壁或其他元素的表面。另外,可以获得表示一个或多个对象在地理区域中的移动的运动数据。该运动数据可以指示至少一个对象的运动路径。运动数据可与面元数据相关以识别结构的特征。更具体地,运动数据可包括指示一个或多个对象的运动的一个或多个轨迹。例如,运动数据中的一个或多个轨迹与从面元数据中识别出的墙壁的交集(intersection)可用于确定结构特征(诸如建筑物的入口)的地理位置。用语“入口”用于指可能发生对象进入或离开的结构的任何位置。入口可以指行人或其他对象通过其进入和/或离开建筑物的门或开口。在一些示例中,附加数据和/或操作可以用于确定地图元素特征的地理位置。
根据本公开的一些方面,可以获得包括限定了由地图元素表示的建筑物或其他结构的外部维度(例如,周界(perimeter))的至少一部分的多边形数据的地理数据。另外,可获得指示一个或多个对象在包括地图元素的地理区域中的移动的运动数据。可分析与地图元素相关联的运动数据和多边形数据,以确定地图元素的特征的候选位置。例如,表示建筑物墙壁的多边形数据和运动数据轨迹的交集可以识别为建筑物入口的候选位置。可使用位置数据,诸如纬度/经度坐标、以地球为中心的地球固定坐标、世界大地坐标系或其他合适的坐标限定候选位置。另外,用于候选位置的数据还可限定地图元素特征的候选位置的一个或多个物理属性,诸如尺寸(例如,入口的高度和/或宽度)或其他物理属性信息。可选地,指示候选位置的数据还可以识别与候选位置相关联的重要性、置信度和/或方向。
根据示例实施例,可至少部分地基于与地图元素相关联的面元数据来改善地图元素的特征的候选位置。例如,可获得指示与结构相关联的表面元素诸如建筑物的墙壁的面元数据。面元数据可将建筑物墙壁表示为点组(a set of points),也称为面元(surfel)。在某些情况下,与多边形数据相比,面元数据可以表示建筑物墙壁的更准确位置。可使用诸如通过LIDAR或视觉成像的高精度感测来生成建筑物墙壁的面元。在某些示例中,面元包括可形成圆盘(disc)的密集点组。面元可包括限定圆盘属性的信息,诸如圆盘的平坦度和/或法线。在一些示例中,可根据点和相关联的法向矢量来描述面元。在一些实施例中,从一个或多个LIDAR传感器收集的LIDAR数据可用于生成环境中对象表面的面元数据。例如,车辆或行人可横穿一个或多个行人路并使用一个或多个传感器来收集与外部环境相关联的面元数据。在获得LIDAR数据的同时,可以获得视觉成像、位置数据和/或其他数据。视觉成像和LIDAR数据可基于与每个视觉成像和LIDAR数据相关联的位置识别信息而紧密对准。而且,从附接至公共平台的传感器联合收集的数据可提供数据对准。在一些实施例中,视觉成像可以用于生成面元数据。例如,来自多个客户端装置的视觉成像可聚合以生成与外部环境相关联的面元数据。
面元数据可用于识别地图元素的特征的位置。例如,与由多边形数据限定的结构墙壁相关联的入口的候选位置可投影到从面元数据识别出的墙壁上。在基于面元数据将候选位置投影到投影位置之后,可确定结构入口的最终地理位置。在某些示例中,最终地理位置与投影地理位置相同。在其他示例中,可通过结合候选位置与投影位置来确定最终地理位置。例如,可基于减小候选位置的点组与投影位置的点组之间的距离来修改候选位置。可确定减小第一点组与第二点组之间的累积距离的更新的对准。可生成指示最终地理位置的地理数据。
举例而言,多边形数据可以包括一组以地球为中心的地球固定坐标,这些坐标将结构限定为与地图相关联的地理区域中的边界框。边界框可以例如表示建筑物的周界。可以使用各种技术和数据源,诸如通过对航空成像、卫星成像、街道成像等的分析来生成多边形数据。该分析可以是手动的或计算机实现的。在某些示例中,一个或多个机器学习模型可用于基于此类成像等自动生成与结构关联的地理数据。可替代地或另外地,可手动添加多边形数据(例如,通过服务的运营商或结构的所有者与地理信息服务进行交互)。
例如,可使用各种技术和数据源来生成运动数据,诸如通过收集位置数据(例如GPS数据)、移动数据(例如加速度、速度)和/或基于一个或多个对象穿过地理区域的移动的其他数据。可以基于传感器数据来生成运动数据,该传感器数据包括客户端装置随时间的位置和/或移动。运动数据可以指示一个或多个运动路径,每个运动路径可根据地理区域中多个对象的移动来确定。这样的运动数据可以用于构建指示建筑物布局、行人通道、步道等的运动地图。另外地和/或可替代地,运动数据可以从指示客户端装置进入或离开建筑物的位置的传感器数据生成,诸如通过检测与不同通信协议相关联的信号强度的变化。例如,Wi-Fi信号的减少和GPS信号的增加可解释为装置离开建筑物的指示。可从与多个用户相关联的多个客户端装置收集运动数据。该运动数据可以指示多个用户在该地理区域中的移动。在一些示例中,可以将与来自多个客户端装置的传感器数据相关联的各个轨迹聚合为一个或多个聚合轨迹。另外地和/或可替代地,运动数据可以包括占用数据,该占用数据指示在一段时间内在特定位置存在或在特定位置移动的用户数量。此外,运动数据可以包括与移动方向相关联的行人步行路径。以这种方式,可基于行人移动的方向来确定入口是“进口”还是“出口”。例如,如果阈值百分比(例如80%)的行人正通过入口行进建筑物,则可推断出该入口是用于进入建筑物的。
本公开的实施例可以在确定地图元素的特征的位置数据中利用附加数据。例如,门检测机器学习模型可以用于从运动数据和多边形数据检测到的候选位置中去除误报。在一些示例中,人类操作员还可以从候选位置去除误报。另外地和/或可替代地,可以使用机器学习模型来初始生成包括入口坐标的多边形数据。在一些示例中,可以使用对象检测机器学习模型来检测对象,然后可通过对准视图中的对象将其用于修改位置数据。面元数据可以用于基于深度检测对准地图元素,而对象检测模型可用于在正交方向(诸如相对于深度方向的左/右方向)上对准地图元素。
根据一些实施方式,可基于与结构的至少一个外壁相关联的面元数据来修改或以其他方式改善包括用于该结构的多边形数据的地理数据。例如,可以获得包括建筑物的初始多边形数据的地理数据。还可获得与在与该结构相关联的地理区域中的对象移动相关联的运动数据,并且基于来自该运动数据和该结构的墙壁的多边形数据的轨迹的交集来确定该结构的候选入口位置。然后,可获得与墙壁相关联的面元数据。入口的候选位置可投影到结构的墙壁上,如从面元数据导出或由面元数据识别。如前所述,可从投影的入口位置确定结构入口的最终地理位置。
可基于与该结构的墙壁相关联的面元数据来修改限定该结构的原始多边形表示的地理数据。例如,可确定表示墙壁位置的多边形数据与表示墙壁位置的面元数据之间的失准或视差。在一些示例中,可基于结构入口的候选位置与投影位置之间的差异来确定失准。表示墙壁的多边形表示与面元数据之间的失准可用于修改地理数据中结构的原始多边形数据。
根据一些示例,可通过将结构的所选墙壁的多边形数据与所选墙壁的面元数据对准来修改包括结构的多边形数据的地理数据。例如,可以选择墙壁的多边形表示的顶点组或点组,并将其与面元数据的顶点组或点组进行比较。可调整多边形数据的顶点或点以与面元数据的相应顶点或点对准。在对准与面元数据相对应的墙壁之后,可基于用于移位后的墙壁数据的新多边形数据来修改多边形数据的其余部分。
在一些示例中,可通过生成基于原始多边形数据和面元数据的结合的新多边形数据来修改结构的原始多边形数据。例如,可将多边形数据的顶点组或点组与面元数据的相应顶点组或点组进行比较。可确定多边形数据的点与面元数据的相应点之间的差。可基于原始多边形数据中的点与面元数据中的点之间的距离的最小化来确定多边形数据的新点组。在示例实施例中可以应用最小二乘技术。可确定减小了多边形数据中的点组与面元数据中的点组之间的累积距离的更新的对准方式。
根据所公开技术的一些方面,基于面元数据的结构入口的投影位置可用于推断系统不具有面元数据的一个或多个点的位置数据。例如,可基于建筑物的运动数据和多边形数据来确定第一墙壁上的第一建筑物入口的候选位置。类似地,可基于建筑物的运动数据和多边形数据来确定第二墙壁上的第二建筑物入口的候选位置。可获得与建筑物入口的候选位置相对应的第一墙壁的面元数据。第一建筑物入口的候选位置可投影到墙壁的面元数据上,并确定候选位置与投影位置之间的失准。基于第一建筑物入口的候选位置与投影位置之间的失准,第二建筑物入口的候选位置可投影到新位置。例如,第一建筑物入口的候选位置与投影位置之间的偏移量可应用于第二建筑物入口的候选位置,以确定第二建筑物入口的投影位置。第二建筑物入口的最终地理位置可确定为投影位置,或从投影位置和候选位置的结合中确定。以此方式,可在无需获取第二建筑物入口的面元数据的情况下确定第二建筑物入口的最终地理位置。注意,当第一建筑物入口和第二建筑物入口是同一建筑物的一部分时,或者当第二建筑物入口是以某种方式(直接地或通过其他建筑物间接地)连接至第一入口的建筑物的不同建筑物的一部分时,可确定第二建筑物入口的位置。例如,可以基于商业区中的第一建筑物的入口的位置来确定商业区中的第二建筑物的入口的位置。
根据一些方面,可执行对根据面元数据和运动数据确定的结构特征的最终地理位置的验证。在一些示例中,人类操作员可以在结构墙壁的视觉图像上指示结构入口的位置。例如,基于位置数据和/或传感器的共享位置,视觉图像可以与面元数据紧密相关。例如,可以同时收集视觉数据和面元数据,诸如通过将用于生成面元数据的一个或多个传感器(例如LIDAR)和用于生成视觉数据的一个或多个传感器附接至相同平台来收集。传感器可以附接至由车辆或人携带的平台(例如在背包中)。由于传感器的共享位置和/或方向,所得的面元数据和视觉数据紧密相关。由人类操作员识别的入口位置的比较可与确定的最终地理位置进行比较。在其他示例中,可以训练机器学习模型以基于结构的成像识别入口的位置。可将机器学习模型确定的位置与最终地理位置进行比较,以验证确定。
本公开的系统和方法可提供许多技术效果和益处。例如,本文公开的系统和方法提供了可由包括服务器诸如那些主管地理信息系统的服务器的计算系统所利用的技术,以确定并提供包括用于地理区域中的结构和结构的特征的地理数据的地图数据。另外,本文公开的系统和方法提供了可由包括通信装置的计算系统所利用的技术,以改进显示地图信息的图形用户界面。本文公开的系统和方法可以对利用有限的数据集(诸如仅多边形数据)来确定和表示地图元素和特征的位置的现有系统提供特定的改进。所公开的技术使得能够基于运动数据和面元数据的结合来确定地图元素的位置数据,以提供更准确的地理信息。所公开的技术允许针对各种地图元素确定更准确的地图数据,以便在通信装置上显示更准确的地图信息,并以更易于访问的方式显示地图信息。作为示例,所公开的技术可以使得能够生成改进的地图数据,该地图数据描述了结构特征的位置,可使自动实体(诸如包裹递送机器人、仓库服务机器人等)更有效地移动。再例如,更有效的车辆(例如自动驾驶车辆)路线安排,诸如可以用于将乘客放在期望结构的入口处,而不是一般的结构位置。这样的路线安排可以通过节省油耗、时间等来改进车辆的运行。
作为示例,本公开的实施例可以解决常规计算装置不能为地图元素的特征(诸如建筑物的入口)提供准确的地理数据的问题。具体地,本公开使得能够确定不能直接获得的地图元素的特征的位置数据。这可以通过将表示结构的墙壁的一个或多个表面元素的面元数据与指示一个或多个对象的移动的运动数据相关联来实现。例如,墙壁的运动数据和面元数据的交集可以用于推断建筑物入口的位置信息。在一些示例中,附加的多边形数据可用于进一步改进对于地图元素的特征的位置数据的确定。例如,多边形数据和运动数据可首先关联以识别墙壁特征的候选位置。然后候选位置可投影到墙壁的面元数据上。投影位置和/或候选位置可用于确定特征的最终位置数据。
作为示例,本公开的实施例还可以解决常规计算装置基于附加数据源无法改进地图元素的多边形数据的问题。具体地,本公开可用于基于多边形数据与面元数据的相关性来修改可以从航拍成像等确定的多边形数据。这可以通过确定与多边形数据相关联的地图特征的候选位置和与面元数据相关联的地图特征的投影位置之间的失准来实现。失准可用于修改结构的初始多边形数据。可基于修改的多边形数据生成该结构的更新地理数据。
在一些实施方式中,为了获得本文描述的技术的益处,可能要求用户允许收集和分析与用户或其装置相关联的位置信息。例如,在一些实施方式中,可以向用户提供控制程序或特征是否收集这样的信息的机会。如果用户不允许收集和使用这样的信号,则用户可能无法享受本文所述技术的益处。还可向用户提供撤消或修改准许的工具。另外,某些信息或数据可在存储或使用之前以一个或多个方式处理,以便去除个人身份信息。作为示例,计算系统可获得可指示位置的实时位置数据,而无需识别任何特定用户或特定用户计算装置。
现在参考附图,将更详细地讨论本公开的示例方面。
图1示出了示例计算环境100的框图,在该示例计算环境中,可以实践本公开的实施例以生成包括用于地图元素特征的地理信息的地图数据,诸如描述建筑物或其他物理结构的入口的地理信息。可使用包括服务器计算系统130的客户端-服务器架构来实现环境100,服务器计算系统130通过网络180与一个或多个用户计算装置102、104、106(例如客户端装置)通信。可使用其他合适的架构实现环境100,诸如单个计算装置或附加的计算装置。
环境100包括服务器计算系统130,诸如Web服务器和/或应用服务器等。服务器计算系统130可主管地理信息系统140,诸如与地图服务关联的地理信息系统。服务器计算系统130可使用任何合适的计算装置来实现。服务器计算系统130可具有一个或多个处理器132和一个或多个存储装置134。服务器计算系统130还可包括用于通过网络180与一个或多个用户计算装置进行通信的网络接口。网络接口可包括用于与一个或多个网络接合的任何合适的组件,包括例如发射器、接收器、端口、控制器、天线或其他合适的组件。
一个或多个处理器132可包括任何合适的处理装置,诸如微处理器、微控制器、集成电路、逻辑装置或其他合适的处理装置。一个或多个存储装置134可包括一个或多个计算机可读介质,包括但不限于非暂时性计算机可读介质、RAM、ROM、硬盘驱动器、闪存驱动器或其他存储装置。一个或多个存储装置134可存储由一个或多个处理器132可访问的信息,包括可由一个或多个处理器132运行的计算机可读指令138。指令138可以是当由一个或多个处理器132运行时使一个或多个处理器132执行操作的任何指令集。例如,指令138可由一个或多个处理器132运行以实现地图管理器142。因此,尽管与指令138分开示出,但是地图管理器142可以作为指令138被包括在存储器134中。
如图1所示,一个或多个存储装置134还可储存可由一个或多个处理器132检索、操纵、创建或储存的数据136。数据136可例如包括地图数据146、运动数据148、面元数据150和/或地图元素记录152。数据136可储存在一个或多个数据库中。一个或多个数据库可通过高带宽LAN或WAN连接至服务器计算系统130,或者也可以通过网络180连接至服务器计算系统130。一个或多个数据库可以拆分,以便将它们定位在多个地点。
服务器计算系统130可与一个或多个客户端装置诸如用户计算装置102、104、106交换数据。用户计算装置102、104、106是通信装置的一个示例。尽管在图1中示出了三个客户端装置,然而,任意数量的客户端装置可通过网络180连接至服务器计算系统130。每个客户端装置可为任何合适类型的计算装置,诸如通用计算机、专用计算机、便携式计算机、台式机、移动装置、导航系统、智能手机、平板电脑、可穿戴计算装置、带有一个或多个处理器的显示器或其他合适的计算装置。
与服务器计算系统130类似,用户计算装置102、104、106可包括一个或多个处理器112和存储器114。一个或多个处理器112可包括一个或多个中央处理单元(CPU)、专用于有效地渲染图像或执行其他专门的计算的图形处理单元(GPU)、和/或其他处理装置。存储器114可包括一个或多个计算机可读介质,并且可储存可由一个或多个处理器112访问的信息,包括可由一个或多个处理器112运行的指令118和数据116。例如,存储器114可储存指令118,用于实现数字地图绘制应用120以显示根据本公开的示例方面确定的地图数据和其他数据。
图1的用户计算装置可包括用于向用户提供并从用户接收信息的各种输入/输出装置,诸如触摸屏、触摸板、数据输入键、扬声器和/或适于语音识别的麦克风。例如,用户计算装置可具有用于呈现图形用户界面122的显示装置,根据本公开的示例方面,该图形用户界面122在地图视口124内显示该数据和其他数据。
用户计算装置还可包括用于通过网络180与一个或多个远程计算装置(例如服务器计算系统130)通信的网络接口。该网络接口可包括用于与一个或多个网络接合的任何合适的组件,包括例如发射器、接收器、端口、控制器、天线或其他合适的组件。
网络180可为任何类型的通信网络,诸如局域网(例如内部网)、广域网(例如因特网)、蜂窝网络或其某种组合。网络180还可包括用户计算装置102、104、106与服务器计算系统130之间的直接连接。通常,服务器计算系统130与用户计算装置102、104、106之间的通信可通过使用任何类型的有线和/或无线连接、使用各种通信协议(例如TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如HTML、XML)和/或保护方案(例如VPN、安全的HTTP、SSL)的网络接口来实现。
服务器计算系统130可主管地理信息系统(GIS)140。GIS 140可实施地图绘制应用、虚拟地球仪应用或任何其他合适的GIS。GIS 140可提供用于对已根据与地理空间数据相关联的地理坐标诸如纬度、经度和高度坐标索引和储存的地理空间数据进行归档、检索和操纵。GIS 140可结合卫星成像、照片、地图、模型和其他地理数据以及互联网搜索功能,以使用户可查看行星的成像(例如与多个地理区域相关联的地图数据)和相关的地理信息(例如,诸如岛屿和城市的地点以及诸如当地餐馆、医院、公园、酒店和学校的兴趣点)。GIS140还允许用户进行本地搜索,以获取到一个位置或两个位置之间的行进方向,或者以其他方式检索所选区域的地图数据。用户可虚拟地从空间(例如,地球上方的某个有利位置)飞到输入的目标地址或位置及其附近,诸如邻居或其他感兴趣的区域。结果可以感兴趣区域的二维或三维表示形式显示。在某些情况下,用户可平移、倾斜和旋转视图以查看三维地形和建筑物。
GIS 140还可允许用户注释地图和/或使数据层可显示例如公园、学校、医院、机场、购物中心以及其他兴趣点或地点。GIS 140还可允许用户分层多个搜索、保存结果到文件夹以及与其他人共享搜索结果和地图。
用户计算装置102可包括在用户计算装置102与GIS 140之间提供接口的数字地图绘制应用120,诸如地理空间浏览器或其他合适的查看器。例如,数字地图绘制应用可被配置为在图形用户界面122的地图视口124中显示数字地图数据。用户计算装置106的用户可使用图形用户界面122与数字地图绘制应用120进行交互,以便于用户计算装置102与GIS140之间的交互。数字地图绘制应用可提供用于查看地理数据(例如数字地图数据)的用户界面。图形用户界面可包括用户可与之交互的多个用户界面元素,以便于用户计算装置102与GIS 140之间的通信。
根据本公开的示例方面,数字地图绘制应用120可被配置为显示包括地图区域的所选区域的地理区域的地图视图。如所指示的,这样的地图视图可便于用于查看数字地图绘制应用120的用户的更直观的用户体验。以这种方式,用户计算装置102可与GIS 140通信以便于向用户提供地图视图。
地理信息系统140可包括地图管理器142,该地图管理器142包括地图元素管理器144。地图元素管理器144可被配置为确定地图元素数据,从而与与诸如用户所选区域的地理区域相关联的地图一同显示。例如,地理区域可以为在用户计算装置102上的数字地图绘制应用120的视口内显示的地理区域。在一些实施方式中,用户可通过与数字地图绘制应用120的交互选择地理区域。
地图元素管理器144可生成或以其他方式确定用于地图元素记录152的数据,诸如描述地图元素诸如建筑物、道路、地理特征、水体等的位置和物理属性的数据。这样的地图元素通常可以称为指示现实世界中存在的任何类型的物理实体的结构。地图元素记录152可以包括指示与地图元素有关的特征位置的数据。例如,用于建筑物的地图元素记录152可以包括描述入口、走廊、窗户等位置的特征位置数据154。在一些示例中,地图元素记录152可以包括描述建筑物或其他结构的外部维度的多边形数据156。多边形数据可以包括一组以地球为中心的地球固定坐标,这些坐标将结构限定为与地图关联的地理区域中的边界框。边界框可以例如表示建筑物的周界。可以使用各种技术和数据源,诸如通过对航空成像、卫星成像、街道级别成像等的分析来生成多边形数据。该分析可以是手动的或计算机实现的。在一些示例中,一个或多个机器学习模型可用于基于这样的成像等自动生成与结构相关联的地理数据。可替代地或另外地,可手动添加多边形数据(例如,通过与由服务运营商或建筑物所有者提供的服务地理信息服务的交互)。
地图元素管理器144可使用运动数据148和面元数据150为地图元素记录152生成特征位置数据154。举例而言,地图元素管理器144可访问描述地图元素的一个或多个表面元素的面元数据,诸如建筑物或其他结构的墙壁的外表面。地图元素管理器144可访问描述一个或多个对象在包括地图元素的地理区域中的移动的运动数据。可相对于面元数据分析运动数据,以识别结构的特征。例如,来自运动数据的一个或多个轨迹与从面元数据识别出的墙壁的交集可用于确定结构特征诸如建筑物的入口的地理位置。在确定了这样的地理位置之后,地图元素管理器144可储存指示地图元素特征的地理位置的特征位置数据154。特征位置数据154可以包括各种信息。例如,特征位置数据154可以包括描述现实世界中地图元素特征的位置的一组坐标或其他地理数据。另外地和/或可替代地,特征位置数据可以描述地图元素特征的物理属性,诸如门或其他入口的维度。
根据示例实施例,LIDAR数据和/或其他图像数据可与位置信息相关联,从而定位面元数据,以使得可与运动数据进行比较。可利用面元数据获得与一个或多个传感器的位置相对应的位置信息,从而可导出描述地图元素的面元的精确位置。在一些示例中,可通过遍历一个或多个行进路线同时收集LIDAR数据和GPS、或在获得LIDAR数据时识别LIDAR传感器的位置的其他位置信息来获得与位置信息对准的面元数据。可以在获得LIDAR数据和位置数据的同时获得视觉成像和/或其他数据。视觉成像和LIDAR数据可基于与每个视觉成像和LIDAR数据相关联的位置识别信息而紧密对准。
在一些实施例中,地图元素管理器144可以使用诸如现有地图数据146、特征位置数据154和/或多边形数据156的附加数据来生成用于地图元素特征的特征位置数据154。例如,可以获得描述了由地图元素表示的建筑物或其他结构的外部维度的至少一部分的多边形数据156。可分析与地图元素相关联的运动数据和多边形数据,以确定地图元素特征的候选位置。例如,表示建筑物墙壁的多边形数据和指示用户移动穿过墙壁位置的运动数据轨迹的交集可以识别为建筑物入口的候选位置。可至少部分地基于与地图元素相关联的面元数据来改善地图元素的特征的候选位置。例如,可获得指示与结构相关联的表面元素(诸如建筑物的墙壁)的面元数据。由多边形数据限定的入口的候选位置可投影到从面元数据中导出的墙壁上。在基于面元数据将候选位置投影到投影位置之后,可确定建筑物入口的最终地理位置。最终地理位置可为投影地理位置,或可通过结合候选位置和投影位置来确定。例如,可通过减小来自候选位置的第一点组与来自投影位置的第二点组之间的累积距离来确定更新的对准。
地图元素管理器144可基于与结构的至少一个外墙壁相关联的面元数据来另外地和/或可替换地更新包括用于该结构的多边形数据156的地理数据。例如,可确定表示墙壁位置的多边形数据与表示墙壁位置的面元数据之间的失准或视差。在一些示例中,可基于入口的候选位置与投影位置之间的差异来确定失准。多边形表示与表示墙壁的面元数据之间的失准可用于修改地理数据中结构的原始多边形数据。
地图元素管理器144可另外地和/或可替代地执行对根据面元数据和运动数据确定的结构特征的最终地理位置的验证。在一些示例中,人类操作员可以在结构(例如,结构的墙壁)的视觉图像上指示特征的位置,诸如建筑物的入口。视觉图像可以与面元数据紧密相关。由人类操作员识别的入口位置的比较可与确定的最终地理位置进行比较。在其他示例中,可以训练机器学习模型以基于建筑物的成像识别建筑物入口的位置。由机器学习模型确定的位置可与最终地理位置进行比较,以验证确定。
图2示出了根据示例实施例的框图,该框图以图形方式显示了基于与地图元素相关联的面元数据和运动数据来确定地图元素的特征的位置数据。图中示出了由面元数据限定的地图元素的表面的位置252,以及与地图元素的表面相交的运动数据轨迹254的表示。面元数据表示地图元素的一个或多个表面元素,诸如建筑物或其他结构的墙壁的外表面。可使用一个或多个传感器生成面元数据,这些传感器能够将地理区域的环境捕获为密集点组。面元可以限定形成圆盘的密集点组。面元可包括限定圆盘属性的附加信息,诸如圆盘的平坦度和/或法线。可根据点和相关联的法向矢量描述面元。可使用一个或多个LIDAR传感器、图像传感器(例如RGB相机)或任何其他能够生成高清数据来描述包括与地图元素对应的结构的环境的感测装置来为地图元素生成面元数据。
运动数据轨迹254指示一个或多个对象在包括地图元素表面的位置253的地理区域中的移动。可以基于指示用户计算装置或其他通信装置的位置和/或移动的传感器数据来生成运动数据。例如,计算装置102、104、106可以以一个或多个间隔将位置数据提供至地理信息系统140。运动数据可以指示至少一个对象的运动路径。运动数据还可以包括指示速度、加速度或其他与客户端装置的移动有关的信息的移动数据。运动数据可随时间聚集,以识别多个客户端装置以及因此用户在地理区域中的移动。在示例实施例中,运动数据可以包括一个或多个运动数据轨迹,其指示多个客户端装置随时间的移动。在一些示例中,运动数据轨迹可将客户端装置的移动描述为位置坐标集。位置可使用全局和/或局部坐标来限定。运动数据可以用于构建指示建筑物布局、行人通道、步道等的运动图。另外和/或替代地,可从指示客户端装置进入或离开建筑物的位置的传感器数据生成运动数据,诸如通过检测Wi-Fi信号的减少和GPS信号的增加,这指示装置离开建筑物。
地图元素的特征的位置256可基于运动数据轨迹254和由面元数据限定的地图元素表面的位置252的相关性来确定。例如,运动数据轨迹254和地图元素表面的位置252的交集可识别为地图元素的特征的地理位置。例如,运动数据指示由面元数据限定的行人穿过墙壁的移动的位置可识别为建筑物的入口。
在图2中,地图元素管理器144可识别运动数据轨迹254和由面元数据限定的地图元素表面的位置252相交的位置256。举例而言,地图元素管理器144可确定限定墙壁的面元数据和限定运动数据轨迹的运动数据是否具有一个或多个公共位置坐标。如果是这样,则地图元素管理器144可将公共位置坐标识别为墙壁表面的面元数据和运动数据轨迹的交集。例如,地图元素管理器144可将面元数据和运动数据轨迹的交集识别为建筑物或其他结构的入口。
图3是示出根据示例实施例的基于与地图元素相关联的面元数据和运动数据为地图元素的特征生成地图数据的示例方法300的流程图。方法300的一个或多个部分可由一个或多个计算装置诸如服务器计算系统130或用户计算装置102、104、106实施,如图1所示。本文描述的方法300的一个或多个部分可实施为对本文描述的装置的硬件组件(例如,如图1所示)的算法,例如,生成描述地图元素的特征位置的地理数据。在示例实施例中,方法300可以由服务器计算系统130的地图元素管理器144执行。尽管为了说明和讨论,图3示出了以特定顺序执行的步骤,然而下文描述的图3的方法以及方法400、500和700不限于具体示出的顺序或布置。方法300、400、500和700的各个步骤可以以各种方式省略、重新布置、结合和/或调整,而不背离本公开的范围。
在步骤(302),可获得指示对象在地理区域中的移动的运动数据。运动数据可描述一个或多个对象在包括一个或多个地图元素诸如建筑物或其他结构的地理区域中的移动。例如,运动数据轨迹可表示对象在建筑物或其他结构所在的地理区域中的移动。例如,由一个或多个客户端装置捕获的行人的聚集移动可以指示移动通道、移动路线、步道、人行道等。例如,可以识别出穿越人行道时可能发生的平行于建筑物面向街道的墙壁的行人的移动。这样的运动数据轨迹可以指示行人的运动路线(例如,沿着人行道)的存在。类似地,可以识别出从建筑物的外部到内部或从内部到外部的穿越(traversing)时可能发生的垂直于建筑物面向街道的墙壁的行人的移动。在某些具体示例中,可以识别这两个运动数据模式的交集。作为另一示例,与行人从平行于结构至垂直于结构的移动相关联的运动模式可以用作该结构的入口的信号。
在步骤(304),可获得描述地理区域中一个或多个地图元素的表面的面元数据。面元数据可表示地图元素的一个或多个表面元素,诸如建筑物或其他结构的墙壁的外表面。面元数据可将建筑物墙壁表示为点组,也称为面元。面元数据可使用现实坐标系或局部坐标系来包括面元的精确位置。
在步骤(306),面元数据与运动数据相关。可识别从运动数据导出的一个或多个轨迹与从面元数据导出的墙壁的交集。例如,面元数据和运动数据中的一个或多个公共坐标可识别为两个数据集的交集。
在步骤(308),基于面元数据和运动数据的相关性来识别地图元素的特征的地理位置。可识别面元数据和运动数据的一个或多个交集。例如,可基于面元数据和运动数据的交集来识别行人移动穿过建筑物或其他结构的墙壁的位置。面元数据和运动数据的交集可指示地图元素特征。例如,由面元数据和运动数据两者中公共坐识别别的位置可指示建筑物或其他结构的入口。
在步骤(310),基于面元数据和运动数据的相关性来生成指示地图元素的特征的位置的地理数据。地理数据可以诸如通过使用一个或多个现实世界或相对坐标来识别地图元素的特征的位置。另外,地理数据还可以包括指示特征的一个或多个物理属性的数据。例如,用于建筑物入口的地理数据可以指示入口的维度,诸如通过包括指示入口的高度和/或宽度的附加数据作为地理数据的一部分。
在步骤(312),验证地图元素的地理数据。在一些示例中,人类操作员可以在结构的视觉图像上指示该结构的特征的位置,例如建筑物入口的位置。人类操作员可以另外指示特征的维度,诸如通过在视觉图像中概述特征。例如,可以使用与图像数据和/或面元数据的获取相关联的位置数据,将视觉图像与面元数据紧密相关。由人类操作员识别的建筑物入口位置的比较可与由地图元素管理器144确定的建筑物特征的地理位置进行比较。在其他示例中,可以使用自动计算技术执行验证。例如,可以训练机器学习模型以基于描述建筑物的成像或其他传感器数据来识别建筑物门的位置。由机器学习模型确定的位置可与候选地理位置进行比较,以验证由地图元素管理器144生成的地理数据。
图4示出了根据示例实施例的以图形方式显示基于多边形数据和运动数据确定地图元素的特征的候选位置的框图。图中示出了由多边形数据限定或从多边形数据导出的结构(例如建筑物)的边界框322。另外,示出了与结构的表面(例如,建筑物的墙壁的外表面)的位置323相交的运动数据轨迹254。多边形数据限定了地图元素的外部维度(例如,周界)的至少一部分,该地图元素在此示例中包括在位置323具有表面的结构。多边形数据可以包括纬度/经度坐标、以地球为中心的地球固定坐标、世界大地测量系统坐标或描述结构周界或外部维度的其他合适的坐标。
运动数据轨迹324指示一个或多个对象在包括从多边形数据中导出的结构的表面位置323的地理区域中的移动。可以分析与该结构相关联的运动数据和多边形数据,以确定地图元素特征的候选位置。地图元素管理器144可基于描述建筑物的多边形数据和描述为运动数据轨迹324的对象移动通过建筑物表面的位置323的运动数据的交集,确定表面特征的地理位置。基于运动数据轨迹324与限定表面位置323的多边形数据的交集,识别地图特征的候选位置326。可识别由限定运动数据轨迹324的运动数据和限定表面位置323的多边形数据共享的一个或多个公共坐标。公共坐标可识别为地图元素特征的一个或多个候选位置。例如,地图元素管理器144可将多边形数据和运动数据轨迹的交集识别为建筑物入口的候选位置。入口的候选位置还可限定地图元素特征的物理属性,诸如建筑物入口的维度。可选地,指示候选位置的数据还可识别与候选位置相关联的重要性、置信度和/或方向。
图5是示出了基于改善地图元素特征的候选位置来生成地图元素特征的地图数据的示例方法400的流程图。根据示例实施例,可至少部分地基于描述地图元素的面元数据来改善候选位置。如图1所示,例如,方法400的一个或多个部分可以由一个或多个计算装置来实施,诸如服务器计算系统130或用户计算装置102、104、106。本文描述的方法400的一个或多个部分可实施为本文描述的装置的硬件组件上的算法(例如,如图1中所示),例如,以生成描述地图元素的特征的位置的地理数据。在示例实施例中,方法400可以由服务器计算系统130的地图元素管理器144执行。
在步骤(402),获得包括限定地图元素的边界框的至少一部分的多边形数据的地理数据。例如,多边形数据可以限定建筑物或其他结构的周界或外部维度的至少一部分。在一些示例中,多边形数据限定的结构少于结构的所有外部维度。
在步骤(404),识别与包括地图元素的地理区域相关联的一个或多个运动数据轨迹(或其他运动数据)。运动数据轨迹可指示一个或多个对象的移动。在一些示例中,可使用GPS或其他坐标识别运动数据轨迹。
在步骤(406),基于运动数据和多边形数据的比较来确定运动数据轨迹和边界框的一个或多个交集。可确定从运动数据导出的一个或多个轨迹与从多边形数据导出的墙壁的交集。例如,多边形数据和运动数据中的一个或多个公共坐标可识别为两个数据集的交集。
在步骤(408),基于运动数据和多边形数据的一个或多个交集来确定地图元素特征的候选位置。可基于多边形数据和运动数据之间的交集(或其他重叠)来确定对象移动通过建筑物墙壁的位置。由多边形数据和运动数据两者中的公共坐标识别的位置可指示建筑物或其他结构的入口。
在步骤(410),至少部分地基于面元数据来改善地图元素特征的候选位置。例如,可至少部分地基于面元数据修改候选位置。可以使用各种技术基于面元数据修改候选位置。例如,与建筑物的墙壁相关联的入口的候选位置可投影到所限定的墙壁的位置或以其他方式从建筑物的面元数据导出。可基于投影位置来确定入口或其他地图元素特征的最终地理位置。在一些示例中,最终地理位置直接对应于投影位置。在其他示例中,可基于减小候选位置的点与投影位置的点之间的距离的技术来确定最终地理位置。
在步骤(412),基于改善的候选位置来生成地图元素特征的地理数据。地理数据可以使用一个或多个现实世界或相对坐来标识别地图元素的地图特征的位置。另外,地理数据还可以包括指示特征的一个或多个物理属性诸如特征的尺寸的数据。
在步骤408,地图元素特征的候选位置可以另外地和/或可替代地使用其他技术生成。例如,在步骤408,入口检测机器学习模型可以用于从运动数据检测到的候选位置中去除误报。另外地和/或可替代地,在步骤408,机器学习模型可以用于初始生成包括入口坐标的多边形数据。
在步骤410,可以使用附加和/或替代技术改善地图元素的候选位置。例如,地图元素管理器144可以识别一个或多个视觉图像,诸如与地图元素特征的候选位置相对应的街景图像。一个或多个视觉图像可提供至机器学习模型和/或操作员,以基于候选位置进行进一步分析。例如,可以训练机器学习模型以识别和可选地突出(例如,通过在周围画线)一个或多个图像中的入口或其他地图元素特征。可替代地,人类操作员可以识别并可选地突出显示入口或其他地图元素特征。可由地图元素管理器144生成用于突出显示的地图元素特征的以地球为中心的地球固定(ECEF)坐标组或其他坐标组。该坐标可用于在地图元素特征的ECEF空间中构建多边形。如果地图元素管理器未针对候选位置生成ECEF坐标,则可以去除误报。
图6是以图形方式示出了基于面元数据的地图特征的候选位置到投影位置的投影的框图。示出了从多边形数据导出的地图元素的一部分的第一位置452,以及从面元数据导出的地图元素的第二位置454。在该特定示例中,每个位置452、454分别示出了从多边形数据和面元数据导出的建筑物墙壁表面的位置。相对于位置452示出了建筑物墙壁的入口特征的候选位置456。如先前所述,可以基于运动数据和多边形数据的交集来确定候选位置。
图6示出了候选位置456在从建筑物的面元数据导出的墙壁表面上的投影。候选位置456投影到面元数据上以生成入口特征的投影位置458。候选位置可以使用各种技术投影到投影位置。在一些示例中,可识别对应于来自多边形数据的坐标组的面元数据的坐标组,该多边形数据限定了地图元素特征的候选位置。例如,来自多边形数据的一个或多个坐标组可以转换为面元数据中的一个或多个坐标。
可至少部分地基于地图元素特征的投影位置来确定地图元素特征的最终地理位置。在一些实施例中,最终地理位置与投影位置相同。在其他实施例中,可通过结合候选位置和投影位置来确定最终地理位置。
图7示出了以图形方式显示基于候选位置和投影位置的结合来确定地图元素特征的地理位置的框图。图7示出了边界框502的俯视图,该边界框502表示由多边形数据限定的建筑物的位置。在由多边形数据所限定的位置503处,地图元素特征的候选位置506示出在建筑物的墙壁表面上。在图7中示出从面元数据导出的建筑物墙壁的位置504。相对于从面元数据导出的建筑物,示出了候选位置506的投影位置508。
基于候选位置506和投影位置508的结合来确定地图元素特征的地理位置510。在示例实施例中,可以基于减小候选位置的点组与投影位置的点组之间的距离修改候选位置。可确定减小第一点组和第二点组之间的累积距离的更新的对准。可生成指示最终地理位置的地理数据。
图8是示出了基于地图元素特征的候选位置和投影位置的结合来生成地图元素的特征的地图数据的示例方法500的流程图。在示例实施例中,方法500可以在图5的步骤410执行,以基于描述地图元素的面元数据来改善地图元素特征的候选位置。如图1所示,例如,方法500的一个或多个部分可由一个或多个计算装置来实施,诸如服务器计算系统130或用户计算装置102、104、106。本文描述的方法500的一个或多个部分可实施为对本文描述的装置的硬件组件(例如,如图1中所示)的算法,例如,确定地图元素特征的地理位置。在示例实施例中,方法500可以由服务器计算系统130的地图元素管理器144执行。
在步骤(552),获得识别诸如建筑物入口的地图元素特征的候选位置的地理数据。地理数据可以基于与地图元素相关联的多边形数据来限定候选位置。
在步骤(554),识别最接近候选位置的地图元素的部分的面元数据。例如,如果建筑物入口的候选位置被限定为建筑物的面向街道的墙壁,则可识别建筑物的面向街道的墙壁的面元数据。
在步骤(556),基于用于地图元素的部分的面元数据投影地图元素特征的候选位置。例如,可确定在面元数据中与候选位置相对应的多边形数据中的一个或多个坐标。可基于候选位置的投影来确定地图元素特征的投影位置。
在步骤(558),可基于投影位置来确定地图元素特征的地理位置。在一些示例中,可从步骤556将地图元素特征的地理位置确定为投影位置。在其他示例中,可基于投影位置和候选位置的结合来确定地图元素特征的地理位置。
根据示例实施例,可基于建筑物的选定墙壁的原始多边形数据和选定墙壁的面元数据修改包括建筑物的多边形数据的地理数据。图9是示出了根据示例实施例的基于地图特征的投影位置来生成修改的多边形数据的框图。图9示出了边界框602的俯视图,该边界框602表示由多边形数据限定的结构的位置。在由多边形数据限定的位置603处地图元素特征的候选位置606示出在结构的墙壁表面上。还示出了从面元数据导出的结构的墙壁的位置604。相对于从面元数据导出的结构的墙壁,示出了地图元素特征的投影位置608。
可基于在地图元素特征的候选位置606与地图元素特征的投影位置608之间检测到的失准修改用于结构的多边形数据。如图9所示,建筑物的原始多边形数据可通过基于原始多边形数据和面元数据的结合来生成新的多边形数据进行修改。图9示出了表示可使用面元数据确定的结构的重新对准的位置的修改的边界框610。
可以选择结构墙壁的边界框602的顶点组或点组,并将其与来自面元数据的墙壁的位置604的顶点组或点组进行比较。多边形数据的顶点或点可调整,以增加多边形数据和面元数据之间的对准。在基于面元数据对准墙壁的多边形数据之后,可基于位移后的墙壁数据的新多边形数据修改多边形数据的其余部分。
更具体地,多边形数据的顶点组或点组可与面元数据的对应的顶点组或点组进行比较。可确定多边形数据的每个点与面元数据的对应点之间的差异。可基于原始多边形数据中与面元数据中的点之间的距离的最小化来确定多边形数据的新点组。在示例实施例中,可以应用最小二乘技术。可确定减小了多边形数据中的点组与面元数据中的点组之间的累积距离的更新的对准。
在更新了地图元素的多边形数据之后,更新的多边形数据可以用于生成地图元素特征的其他候选位置。例如,运动数据可与更新的多边形数据进行比较,以检测运动数据和更新的多边形数据之间的任何交集。
在一些示例中,面元数据可以用于在第一方向上提供重新对准,诸如在与包含地图元素特征的结构的表面正交的方向上(例如,纵向611)。例如,由车辆上的传感器生成的面元数据可以提供相对于车辆位置的地图元素的坐标或位置数据。这样的测量可以用于基于面元数据在深度方向上对准多边形数据。
根据一些实施例,可以基于对象检测过程来提供在与深度方向正交的方向(例如,横向613)上的重新对准。例如,对象检测机器学习模型可以用于对准视图中的对象。例如,机器学习模型可以用于将由面元数据表示的街道标志与假定的标志位置对准。基于目标检测,可确定横向中的面元数据和多边形数据之间的对准。然后可基于检测到的对象失准来重新对准多边形数据。
图10是示出了基于检测到的地图元素特征的候选位置与投影位置之间的失准来生成地图元素的修改的多边形数据的示例方法700的流程图。如图1所示,例如,方法700的一个或多个部分可由一个或多个计算装置诸如服务器计算系统130或用户计算装置102、104、106实施。本文描述的方法700的一个或多个部分可实施为本文描述的装置的硬件组件上的算法(例如,如图1所示),以例如生成描述地图元素的至少一部分的多边形数据。
在步骤(702),检测地图元素特征的候选位置与地图元素特征的投影位置之间的失准。可以检测到各种失准。例如,可检测到指定候选位置的一个或多个坐标与指定投影位置的一个或多个坐标之间的偏移。在一些示例中,偏移可在第一方向(例如,深度方向)上,诸如在与限定结构墙壁的表面的平面正交的方向上。第一方向可对应于结构墙壁与生成墙壁的面元数据的传感器数据之间的方向。
在步骤(704),识别来自原始多边形数据的与包括候选位置的地图元素的至少一部分相对应的点组或顶点组。在一些示例中,点组或顶点组可来自地图元素特征的候选位置。在其他示例中,点组或顶点组可以包括候选位置之外的顶点的点,诸如与候选位置所位于的结构墙壁相对应的点组。
在步骤(706),识别来自面元数据的与包括投影位置的地图元素的至少一部分相对应的点组或顶点组。来自面元数据的点组或顶点组对应于来自多边形数据的点组或顶点组。在一些示例中,点组或顶点组可来自地图元素特征的投影位置。在其他示例中,点组或顶点组可以包括在投影位置之外的顶点的点,诸如与候选位置所位于的结构墙壁相对应的点组。
在步骤(708),基于减小点组之间的总距离来修改建筑物的原始多边形数据。可确定减少了多边形数据中的点组与面元数据中的点组之间的累积距离的更新的对准。修改的多边形数据可反映建筑物的更新的对准。
本文讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统,以及对此类系统采取的行动和发送的信息。本领域的普通技术人员将认识到,基于计算机的系统的固有灵活性允许两个部件之间以及多个部件之间的任务和功能的多种可能的配置、结合和划分。例如,可以使用单个服务器或组合工作的多个服务器来实施本文讨论的服务器进程。数据库和应用可以在单个系统上实施,也可以分布在多个系统上。分布式组件可以顺序或并行运行。
尽管已经针对本主题的具体示例实施例对本主题进行了详细描述,但是应当理解,本领域技术人员在理解前述内容后可以容易地产生对本主题的替代、变型和等同的实施例。因此,本公开的范围是作为示例而不是作为限制,并且本公开不排除包括对本主题的这样的修改、变型和/或添加,这对于本领域普通技术人员显而易见的。

Claims (20)

1.一种用于提供地图信息的计算系统,包括:
一个或多个处理器;以及
一个或多个非暂时性计算机可读介质,其储存由所述一个或多个处理器运行时使计算系统执行操作的指令,所述操作包括:
获得指示至少一个对象在由地图表示的地理区域中的移动的运动数据;
获得指示与由地图表示的地理区域中的结构的表面相关联的一个或多个表面元素的面元数据;
至少部分地基于面元数据和运动数据的相关性来识别结构的入口;以及
生成指示结构的入口的地理位置的地理数据。
2.根据权利要求1所述的计算系统,其中,所述操作还包括:
从指示所述至少一个对象的移动的运动数据识别至少一个运动数据轨迹;以及
至少部分地基于面元数据来识别结构的墙壁;
其中,识别入口包括至少部分地基于所述至少一个运动数据轨迹与从面元数据识别的墙壁的交集,确定入口的地理位置。
3.根据权利要求2所述的计算系统,其中,所述操作还包括:
获得入口的候选位置;
其中确定入口的地理位置包括至少部分地基于运动数据轨迹与从面元数据识别的墙壁的交集,修改候选位置。
4.根据权利要求1所述的计算系统,其中,所述操作还包括:
获得表示结构的周界的多边形数据;
从指示所述至少一个对象的移动的运动数据识别至少一个运动数据轨迹;以及
基于所述至少一个运动数据轨迹和多边形数据的交集来识别入口的候选位置。
5.根据权利要求4所述的计算系统,其中,识别所述结构的所述入口包括:
至少部分地基于面元数据识别结构的墙壁;
至少部分地基于结构特征的候选位置在从面元数据识别出的墙壁上的投影,确定入口的投影位置;以及
至少部分地基于入口的投影位置确定入口的地理位置。
6.根据权利要求5所述的计算系统,还包括:
基于入口的投影位置和入口的候选位置的比较,生成结构的更新的多边形数据。
7.根据权利要求6所述的计算系统,其中,生成更新的多边形数据包括:
确定从多边形数据识别的结构的至少一部分与从面元数据识别的墙壁的至少一部分之间的失准;以及
基于多边形数据与面元数据之间的失准修改多边形数据。
8.根据权利要求7所述的计算系统,其中,修改所述多边形数据包括:
识别与多边形数据相关联的一个或多个点的第一组;
识别与面元数据相关联的一个或多个点的第二组;以及
确定减小第一点组与第二点组之间的累积距离的更新的对准。
9.根据权利要求8所述的计算系统,其中:
所述第一点组识别结构的至少一个顶点;以及
所述第二点组识别墙壁的至少一个顶点。
10.根据前述权利要求中的任一项所述的计算系统,其中:
运动数据指示所述至少一个对象的运动路径。
11.根据前述权利要求中的任一项所述的计算系统,其中:
运动数据指示所述至少一个对象的外部/内部变迁;以及
所述外部/内部变迁至少部分地基于与客户端装置的第一天线相关联的第一信号强度和与客户端装置的第二天线相关联的第二信号强度的比较。
12.一种生成与地理信息服务相关联的地理信息的计算机实现的方法,所述方法包括:
获得指示至少一个对象在由地图表示的地理区域中的移动的运动数据;
获得指示与由地图表示的地理区域中的结构的表面相关联的一个或多个表面元素的面元数据;
至少部分地基于面元数据和运动数据的相关性来识别结构的结构特征的地理位置;以及
生成指示结构特征的地理位置的地理数据。
13.根据权利要求12所述的计算机实现的方法,还包括:
从指示所述至少一个对象的移动的运动数据识别至少一个运动数据轨迹;以及
至少部分地基于面元数据来识别结构的墙壁;
其中,识别地理位置包括至少部分地基于所述至少一个运动数据轨迹与从面元数据识别的墙壁的交集,确定结构特征的地理位置。
14.根据权利要求12所述的计算机实现的方法,还包括:
获得表示结构的周界的多边形数据;
从指示所述至少一个对象的移动的运动数据识别至少一个运动数据轨迹;以及
基于所述至少一个运动数据轨迹和多边形数据的交集来识别结构特征的候选位置。
15.根据权利要求14所述的计算机实现的方法,其中,识别结构特征的地理位置包括:
至少部分地基于面元数据来识别结构的墙壁;以及
至少部分地基于结构特征的候选位置在从面元数据来识别的墙壁上的投影,确定结构特征的地理位置。
16.根据权利要求15所述的计算机实现的方法,还包括:
基于结构特征的地理位置与结构特征的候选位置的比较,生成结构的更新的多边形数据。
17.一个或多个非暂时性计算机可读介质,其储存由一个或多个处理器运行时使所述一个或多个处理器执行操作的指令,所述操作包括:
获得指示至少一个对象在由地图表示的地理区域中的移动的运动数据;
获得指示与由地图表示的地理区域中的结构的表面相关联的一个或多个表面元素的面元数据;
至少部分地基于面元数据和运动数据的相关性来识别结构的结构特征的地理位置;以及
生成指示结构特征的地理位置的地理数据。
18.根据权利要求17所述的一个或多个非暂时性计算机可读介质,其中,所述操作还包括:
获得表示结构的周界的多边形数据;
从指示所述至少一个对象的移动的运动数据识别至少一个运动数据轨迹;以及
基于所述至少一个运动数据轨迹和多边形数据的交集来识别结构特征的候选位置。
19.根据权利要求18所述的一个或多个非暂时性计算机可读介质,其中,识别结构特征的地理位置包括:
至少部分地基于面元数据来识别结构的墙壁;以及
至少部分地基于结构特征的候选位置在从面元数据识别的墙壁上的投影,确定结构特征的地理位置。
20.根据权利要求19所述的一个或多个非暂时性计算机可读介质,还包括:
基于结构特征的地理位置与结构特征的候选位置的比较,生成结构的更新的多边形数据。
CN201880093434.7A 2018-09-12 2018-09-12 使用运动数据和面元数据识别地图特征的方法和系统 Active CN112105892B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2018/050600 WO2020055391A1 (en) 2018-09-12 2018-09-12 Map feature identification using motion data and surfel data

Publications (2)

Publication Number Publication Date
CN112105892A true CN112105892A (zh) 2020-12-18
CN112105892B CN112105892B (zh) 2024-07-30

Family

ID=63788028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880093434.7A Active CN112105892B (zh) 2018-09-12 2018-09-12 使用运动数据和面元数据识别地图特征的方法和系统

Country Status (4)

Country Link
US (2) US11454502B2 (zh)
EP (1) EP3645971B1 (zh)
CN (1) CN112105892B (zh)
WO (1) WO2020055391A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220024948A (ko) * 2019-06-26 2022-03-03 구글 엘엘씨 데이터세트 대응관계에 의해 정의된 전세계 좌표 프레임
US11541903B2 (en) * 2020-06-03 2023-01-03 Waymo Llc Autonomous driving with surfel maps
US12038286B2 (en) * 2020-08-03 2024-07-16 Capital One Services, Llc Utilizing machine learning and a network of trust for crowd and traffic control and for mapping a geographical area
US11417110B2 (en) * 2020-09-09 2022-08-16 Waymo Llc Annotated surfel maps
US11561552B2 (en) * 2020-09-15 2023-01-24 Waymo Llc Detecting environment changes using surfel data
US11734880B2 (en) * 2020-12-31 2023-08-22 Waymo Llc Sensor calibration with environment map
DE102023105585A1 (de) 2023-03-07 2024-09-12 Dspace Gmbh SLAM-Verfahren

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201221150D0 (en) * 2012-11-23 2013-01-09 Tomtom Belgium Nv Method of extracting gps traces to display driving trajectories through an area over one or more junctions
CN106605123A (zh) * 2014-08-29 2017-04-26 三星电子株式会社 用于确定入口位置和感兴趣区域的系统
US20180087922A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Discovering points of entry to a location
CN108337907A (zh) * 2015-06-09 2018-07-27 谷歌有限责任公司 生成并显示与移动设备的当前地理位置相关联的位置实体信息的系统和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006030717A (ja) 2004-07-20 2006-02-02 Gosei:Kk Gis上のポリゴンデータ編集方法
US8775073B2 (en) * 2008-05-30 2014-07-08 Navteq B.V. Data mining in a digital map database to identify insufficient merge lanes along roads and enabling precautionary actions in a vehicle
US8209143B1 (en) 2009-09-15 2012-06-26 Google Inc. Accurate alignment of multiple laser scans using a template surface
US9244152B1 (en) * 2012-06-01 2016-01-26 Amazon Technologies, Inc. Determining device locations using movement, signal strength
US9275302B1 (en) * 2012-08-24 2016-03-01 Amazon Technologies, Inc. Object detection and identification
US9253606B2 (en) * 2013-03-04 2016-02-02 Here Global B.V. Structure access characteristics determined from mobile unit data
US11172126B2 (en) 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
EP2800055A1 (en) 2013-04-30 2014-11-05 3DDynamics Bvba Method and system for generating a 3D model
US9235775B2 (en) * 2014-06-08 2016-01-12 Uber Technologies, Inc. Entrance detection from street-level imagery
US9694498B2 (en) 2015-03-30 2017-07-04 X Development Llc Imager for detecting visual light and projected patterns
GB2538751A (en) * 2015-05-27 2016-11-30 Imp College Of Science Tech And Medicine Modelling a three-dimensional space
US11043026B1 (en) * 2017-01-28 2021-06-22 Pointivo, Inc. Systems and methods for processing 2D/3D data for structures of interest in a scene and wireframes generated therefrom

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201221150D0 (en) * 2012-11-23 2013-01-09 Tomtom Belgium Nv Method of extracting gps traces to display driving trajectories through an area over one or more junctions
CN104884899A (zh) * 2012-11-23 2015-09-02 通腾比利时公司 确定穿过交通运输网络的一或多个交叉口的轨迹的方法
CN106605123A (zh) * 2014-08-29 2017-04-26 三星电子株式会社 用于确定入口位置和感兴趣区域的系统
CN108337907A (zh) * 2015-06-09 2018-07-27 谷歌有限责任公司 生成并显示与移动设备的当前地理位置相关联的位置实体信息的系统和方法
US20180087922A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Discovering points of entry to a location

Also Published As

Publication number Publication date
WO2020055391A1 (en) 2020-03-19
US12092479B2 (en) 2024-09-17
EP3645971A1 (en) 2020-05-06
CN112105892B (zh) 2024-07-30
US20230016153A1 (en) 2023-01-19
US20200080848A1 (en) 2020-03-12
US11454502B2 (en) 2022-09-27
EP3645971B1 (en) 2024-02-14

Similar Documents

Publication Publication Date Title
CN112105892B (zh) 使用运动数据和面元数据识别地图特征的方法和系统
CN112204343B (zh) 高清晰地图数据的可视化
US10598489B2 (en) Visual odometry and pairwise alignment for high definition map creation
US10841496B2 (en) Lidar to camera calibration based on edge detection
US10670416B2 (en) Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
US8467810B2 (en) Method and system for reporting errors in a geographic database
US9625612B2 (en) Landmark identification from point cloud generated from geographic imagery data
WO2020264222A1 (en) Image-based keypoint generation
US20130162665A1 (en) Image view in mapping
US20140002439A1 (en) Alternate Viewpoint Image Enhancement
WO2021003487A1 (en) Training data generation for dynamic objects using high definition map data
KR102108488B1 (ko) 컨텍스트적 지도 뷰
US11290705B2 (en) Rendering augmented reality with occlusion
CN111402387A (zh) 从用于导航自主车辆的高清晰度地图的点云中移除短时点
EP4202833A1 (en) Method, apparatus, and system for pole extraction from a single image
US20220197893A1 (en) Aerial vehicle and edge device collaboration for visual positioning image database management and updating
EP4202835A1 (en) Method, apparatus, and system for pole extraction from optical imagery
CN118786466A (zh) 基于地理数据提供增强现实视图

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant