CN112084835A - 基于航拍数据和遥测数据生成地图特征 - Google Patents

基于航拍数据和遥测数据生成地图特征 Download PDF

Info

Publication number
CN112084835A
CN112084835A CN202010533658.4A CN202010533658A CN112084835A CN 112084835 A CN112084835 A CN 112084835A CN 202010533658 A CN202010533658 A CN 202010533658A CN 112084835 A CN112084835 A CN 112084835A
Authority
CN
China
Prior art keywords
data
map
road
map features
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010533658.4A
Other languages
English (en)
Inventor
O.布兰
Y.G.门吉斯图
S.马赫什
M.A.洛什
D.H.克里福德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112084835A publication Critical patent/CN112084835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)

Abstract

在根据本公开的各个方面的一个示例实施方式中，一种用于生成地图特征的计算机实施的方法包括通过处理设备接收航拍图像数据。该方法还包括通过处理设备接收遥测数据。该方法还包括通过处理设备对航拍图像数据和遥测数据执行数据融合以生成地图特征。该方法进一步包括通过处理系统至少部分地基于地图特征来控制车辆。

Description

基于航拍数据和遥测数据生成地图特征
技术领域
本公开总体上涉及数据处理系统，并且更具体地涉及基于航拍数据和遥测数据生成地图特征。
背景技术
高清晰度地图通过提供精确的定位和姿势估计来使自动驾驶车辆(例如，自动驾驶汽车、自动驾驶摩托车、自动驾驶船或任何其他类型的汽车或自动驾驶汽车)导航。通常使用配备有传感器(例如相机、雷达、激光雷达等)的驾驶测绘车辆来获得高清地图。高清晰度地图包括道路特征，例如车道标记、车道宽度、曲率信息等)，其可实现自动驾驶导航。道路特征从由驾驶测绘车辆的传感器收集的数据中提取。
发明内容
在一个示例性实施例中，一种用于生成地图特征的计算机实施的方法包括通过处理设备接收航拍图像数据。该方法还包括通过处理设备接收遥测数据。该方法还包括通过处理设备对航拍图像数据和遥测数据执行数据融合以生成地图特征。该方法进一步包括通过处理系统至少部分地基于地图特征来控制车辆。
在一些示例中，执行数据融合还包括接收道路的起点和道路的终点的地理位置。在一些示例中，执行数据融合还包括从导航地图中提取沿着道路的起点和道路的终点之间的道路的节点。在一些示例中，执行数据融合还包括执行图像处理分析以检测地图特征。在一些示例中，执行数据融合还包括将地图特征转换为坐标格式。在一些示例中，执行数据融合还包括对地图特征执行后处理以细化地图特征。在一些示例中，地图特征包括车道宽度、曲率、航向、车道标记、车道宽度、道路边缘、停车杆或人行横道中的至少一个。在一些示例中，该方法包括至少部分地基于地面勘测数据来更新具有地图特征的地图。
在另一示例性实施例中，一种车辆中的系统，该系统具有包括计算机可读指令的存储器和用于执行计算机可读指令以执行用于生成地图特征的方法的处理设备。在示例中，该方法包括通过处理设备接收航拍图像数据。该方法还包括通过处理设备接收遥测数据。该方法还包括通过处理设备对航拍图像数据和遥测数据执行数据融合以生成地图特征。该方法进一步包括通过处理系统至少部分地基于地图特征来控制车辆。
在一些示例中，执行数据融合还包括接收道路的起点和道路的终点的地理位置。在一些示例中，执行数据融合还包括从导航地图中提取沿着道路的起点和道路的终点之间的道路的节点。在一些示例中，执行数据融合还包括执行图像处理分析以检测地图特征。在一些示例中，执行数据融合还包括将地图特征转换为坐标格式。在一些示例中，执行数据融合还包括对地图特征执行后处理以细化地图特征。在一些示例中，地图特征包括车道宽度、曲率、航向、车道标记、车道宽度、道路边缘、停车杆或人行横道中的至少一个。在一些示例中，该方法包括至少部分地基于地面勘测数据来更新具有地图特征的地图。
在又一示例性实施例中，一种计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有在其上实施的程序指令，其中，计算机可读存储介质本身不是瞬态信号，该程序指令可由处理设备执行以引起处理设备执行用于生成地图特征的方法。在示例中，该方法包括通过处理设备接收航拍图像数据。该方法还包括通过处理设备接收遥测数据。该方法还包括通过处理设备对航拍图像数据和遥测数据执行数据融合以生成地图特征。该方法进一步包括通过处理系统至少部分地基于地图特征来控制车辆。
在一些示例中，执行数据融合还包括接收道路的起点和道路的终点的地理位置。在一些示例中，执行数据融合还包括从导航地图中提取沿着道路的起点和道路的终点之间的道路的节点。在一些示例中，执行数据融合还包括执行图像处理分析以检测地图特征。
当结合附图考虑时，从以下详细描述，本公开的以上特征和优点以及其他特征和优点将是显而易见的。
附图说明
在下面的详细描述中，其他特征、优点和细节仅通过示例出现，该详细描述参考附图，在附图中：
图1描绘了根据本文所述的一个或多个示例的用于基于航拍数据和遥测数据生成地图特征的处理系统的框图；
图2描绘了根据本文所述的一个或多个示例的用于基于航拍数据和遥测数据生成地图特征的方法的流程图；
图3描绘了根据本文所述的一个或多个示例的用于基于航拍数据和遥测数据来生成地图特征的方法的流程图；
图4A和图4B描绘了根据本文所述的一个或多个示例的导航地图；
图5描绘了根据本文描述的一个或多个示例的具有提取的节点和丢失的节点的图4B的导航地图，并且还描绘了与所述节点之一相关联的航拍图像形式的航拍图像数据；
图6描绘了根据本文所述的一个或多个示例的在执行图像处理分析之前和之后的航拍图像；
图7描绘了根据本文所述的一个或多个示例的用于对所检测的地图特征进行后处理以细化所检测的地图特征的方法的流程图；
图8描绘了根据本文所述的一个或多个示例的在图7中导出的地图数据的示例图表；
图9描绘了根据本文描述的一个或多个示例的用于针对中等清晰度地图校正地图特征差异的方法的流程图；和
图10描绘了用于实现本文描述的技术的处理系统的框图。
具体实施方式
以下描述本质上仅是示例性的，并且无意于限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。如本文中所使用的，术语模块是指处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或组的)和存储器、组合逻辑电路和/或提供所述功能的其他合适部件。
高清晰度地图通过提供精确的定位和姿势估计来使自动驾驶车辆(例如，自动驾驶汽车、自动驾驶摩托车、自动驾驶船或任何其他类型的汽车或自动驾驶汽车)导航。通常使用配备有传感器(例如相机、雷达、激光雷达等)的驾驶测绘车辆来获得高清地图。然而，该方法耗时、昂贵并且需要专门的驾驶测绘车辆来收集用于创建地图的数据。此外，数据可以限于例如公共道路，而私人道路可能对驾驶测绘车辆是不可通过的。
本技术提供了基于航拍数据和遥测数据来生成地图特征，而无需通常用于生成地图特征的专用驾驶测绘车辆。即，本技术生成具有与高清晰度地图相同的特征并且以自动驾驶车辆可以利用的相同格式的中等清晰度地图。这为创建自动驾驶车辆的高清地图特征提供了一种经济高效的解决方案。本技术也是可扩展的(scalable)，并且因为不需要测绘车辆来驾驶到新区域，所以减少了为新区域创建地图的准备时间(lead time)。此外，本技术提供了简化的维护和地图更新，因为可以在获取更多最新的航拍或车辆遥测数据时更新地图。
本技术提供了一种用于使用标准清晰度(导航)地图、航拍图像、街景图像和/或遥测数据来创建类似HD的地图特征的新方法。地图特征的示例包括车道宽度、曲率、行进方向、车道标记/类型、车道宽度、道路边缘、停车杆、人行横道等。遥测数据的使用填充了航拍影像中所遮盖的道路区域。
图1描绘了根据本文所述的一个或多个示例的用于基于航拍数据和遥测数据生成地图特征的处理系统100的框图。在示例中，处理系统100可以布置在车辆101中或与车辆101相关联。处理系统100包括处理设备102、存储器104、特征提取和数据处理引擎110以及车辆控制引擎112。处理系统100包括和/或通信耦合到航拍数据库120、遥测数据数据库122和地图特征数据库130。在其他示例中，处理系统100可以包括和/或通信耦合到其他数据库，例如导航地图数据库、街景图像数据库等。
关于图1描述的各种部件、模块、引擎等可以被实现为存储在计算机可读存储介质上的指令，作为硬件模块，作为专用硬件(例如，专用硬件、集成的专用电路(ASIC)、作为嵌入式控制器、硬连线电路等)，或作为这些中的某一或某些组合。
在示例中，本文描述的模块、部件、控制器、引擎等可以是硬件和编程的组合。编程可以是存储在有形存储器上的处理器可执行指令，并且硬件可以包括用于执行那些指令的处理设备102(例如，图10的处理器1021)。因此，系统存储器104(例如，图10的随机存取存储器1024)可以存储程序指令，该程序指令在由处理设备102执行时实现本文所述的引擎。其他引擎、部件、模块、控制器等也可以用于包括本文其他示例中描述的其他特征和功能。
现在参照图2所示的方法描述图1所示的部件的特征和功能。特别地，图2描绘了根据本文所述的一个或多个示例的用于基于航拍数据和遥测数据生成地图特征的方法200的流程图。方法200可以例如由图1的处理系统100、图10的处理系统1000，或由另一合适的处理系统或设备或其组合来实现。
在框202处，特征提取和数据处理引擎110诸如从航拍数据数据库120接收航拍图像数据。可以收集为由相机从航拍视点(例如，直升机、飞机、气球、卫星等)拍摄的图像形式的航拍数据。
在框204处，特征提取和数据处理引擎110诸如从遥测数据数据库122接收遥测数据。随着车辆横越道路，从一个或多个车辆接收随时间变化的遥测数据。例如，许多车辆每天可能穿越同一条道路。可以从这些车辆中收集匿名遥测数据。该遥测数据不能单独识别车辆，但可以共同用于检测地图特征。
在框206处，特征提取和数据处理引擎110对航拍图像数据和遥测数据执行数据融合，以生成存储在地图特征数据库130中的地图特征。数据融合包括分析和组合来自航拍影像数据和遥测数据的数据以生成地图特征。关于图3描述了用于基于航拍数据和遥测生成地图特征的示例方法。
继续参考图2，在框208处，控制引擎112至少部分地基于地图特征来控制车辆101。控制车辆101可以包括增加/减小速度，改变方向等。例如，如果地图特征指示车辆101正在驶出车道，则车辆控制引擎112可以控制车辆101保持该车道。由于基于航拍图像数据和遥测数据生成的地图特征，因此这是可能的。因此，通过使用所生成的地图特征来控制车辆来改善车辆技术。
还可以包括其他过程，并且应该理解，图2中描绘的过程仅用于说明，并且可以增加其他过程，或者可以删除、修改或重新布置现有过程，而不脱离本公开的范围和精神。
图3描绘了根据本文所述的一个或多个示例的用于基于航拍数据和遥测数据生成地图特征的方法300的流程图。在一些示例中，方法300被称为“数据融合”。方法300可以例如由图1的处理系统100、图10的处理系统1000或由另一合适的处理系统或设备或其组合来实现。
在框302处，特征提取和数据处理引擎110接收道路起点和终点的地理位置。地理位置包括指定道路起点和道路的终点的坐标。
在框304处，特征提取和数据处理引擎110从导航地图中提取沿道路起点和终点之间的道路的节点。可以从存储导航地图的数据库(例如开放式街道地图(OSM)数据库)接收导航地图。图4A描绘了导航地图400，该导航地图400具有沿道路404在道路的起点406和终点408之间的提取的节点402。如所示的，导航地图400包括沿道路404具有缺失节点的区域。可以在图3的框306处对这些缺失节点进行插值。
特别地，继续参考图3，在框306处，特征提取和数据处理引擎110插值丢失的节点，以提供对道路的起点和终点之间的整个道路的覆盖。图4B描绘了导航地图400，其具有在道路的起点406和终点408之间沿着道路404的提取的节点402和缺失的节点403。
在框308处，特征提取和数据处理引擎110接收用于与道路相关联的每个节点的航拍图像数据。例如，接收用于节点402、403中的每个节点的航拍图像数据。图5描绘了具有所提取的节点402和丢失的节点403的图4B的导航地图400，并且描绘了为与节点402,403中的每个关联的航拍图像500形式的航拍图像数据。诸如航拍图像500的航拍图像数据由相机或其他成像设备捕获，其可以与卫星、直升机、飞机、气球或其他航拍设备相关联。例如，一架飞机可以使用相机(或多个相机)对地理区域进行航拍勘测。
继续参考图3，在框310处，特征提取和数据处理引擎110执行图像处理分析以检测地图特征。例如，特征提取和数据处理引擎110对诸如图5的航拍图像500的航拍图像数据执行图像处理分析。图6中描绘了由特征提取和数据处理引擎110执行的图像处理分析的示例。特别地，图6描绘了在执行图像处理分析之前(即600a)和之后(即600b)的航拍图像600。更特别地，特征提取和数据处理引擎110对航拍图像600a执行图像处理分析，以检测叠加在航拍图像600b上的地图特征602、604、606。在该示例中，地图特征602、604、606表示车道边界。更特别地，地图特征602、606代表边缘车道边界，而地图特征604代表中心车道边界。在其他示例中，特征提取和数据处理引擎110可以检测除车道标记/边界以外的地图特征。这样的其他地图特征的示例可以包括停车杆、转弯箭头、人行横道、转弯箭头等，但是不受限制。
继续参考图3，在框312处，特征提取和数据处理引擎110将检测到的地图特征转换为坐标格式。例如，特征提取和数据处理引擎110将检测到的地图特征转换为WGS84格式的坐标。WGS84格式的坐标基于1984年世界大地测量系统，该系统是在测绘、大地测量和包括GPS在内的卫星导航中使用的标准。也可以使用其他坐标格式，并且本公开不限于此。
在框314处，特征提取和数据处理引擎110对检测到的地图特征执行后处理，以细化检测到的地图特征。
可以通过使用遥测数据和在道路上检测到的其他车道标记来估计道路的几何形状以对航拍影像中被遮挡区域(例如由于树木、建筑物、阴影等)中缺少的车道标记/道路边缘进行后处理。例如，可以通过从遥测数据估计道路的几何形状和曲率来恢复由于树木而在航拍图像中丢失的线段。一旦估计了道路几何形状，就可以扩展检测到的车道标记，以恢复在树下缺失的车道标记。后处理的示例示出在图7中。
特别地，图7描绘了根据本文所述的一个或多个示例的用于后处理检测到的地图特征以细化检测到的地图特征的方法700的流程图。在框702处，特征提取和数据处理引擎110接收沿道路的图像(例如，航拍图像500、航拍图像702a等)。接下来，在框704处，将模型应用于图像。
根据本文描述的示例，特征提取和数据处理引擎110可以利用机器学习功能来完成本文描述的特征提取和数据处理引擎110的各种操作。更具体地，特征提取和数据处理引擎110可以合并并利用基于规则的决策作出和AI推理来完成本文描述的特征提取和数据处理引擎110的各种操作。短语“机器学习”广义上描述了从数据中学习的电子系统的功能。机器学习系统、引擎或模块可以包括可训练的机器学习算法，其例如可以在外部云环境中进行训练，以学习当前未知的输入和输出之间的功能关系，并且结果模型可由特征提取和数据处理引擎110以识别地图特征。在一个或多个实施例中，可以使用具有要被训练以执行当前未知功能的能力的人工神经网络(ANN)来实现机器学习功能。在机器学习和认知科学中，人工神经网络是一系列统计学习模型，它们受到动物特别是大脑的生物神经网络的启发。人工神经网络可以用来估计或近似依赖大量输入的系统和功能。
ANN可以实施为互连处理器元件的所谓的“神经形态”系统，其充当模拟的“神经元”并以电子信号的形式在彼此之间交换“消息”。类似于在生物神经元之间传递信息的突触神经递质连接的所谓“可塑性”，在ANN中在模拟神经元之间传递电子消息的连接被提供有与给定连接的强度或弱度相对应的数字权重(weights)。可以基于经验调节和调整权重，使ANN适应输入并能够学习。例如，用于手写识别的ANN由可以由输入图像的像素激活的一组输入神经元定义。在由网络设计者确定的功能加权和转换之后，这些输入神经元的激活随后传递给其他下游神经元，这些下游神经元通常被称为“隐藏”神经元。重复该过程，直到激活输出神经元。激活的输出神经元确定读取了哪个字符。
继续参考框704，特征提取和数据处理引擎110在框704处将模型应用于图像以在框710处创建图像段。在框708处基于注释的训练航拍图像在框706对模型进行训练。
在框710处创建的图像片段表示沿着道路的图像的部分或图像片段。作为示例，图像片段可以是10米、20米、25米、30米等。图像片段的示例被描绘为图像710a。在框712处，车道标记被聚类，如图像712a所示。在示例图像712a中，示出了三个聚类(cluster)：一个聚类代表虚线车道标记中的一个，一个聚类表示虚线车道标记中的另一个，以及一个聚类表示实车道标记。在框714处，将曲线拟合技术应用于来自框712的每个聚类车道标记，以使用示例图像714a中所示的统计技术将曲线拟合到每个车道标记的聚类。
在框716处，对车道标记进行排顺序或排次序，例如从右到左(即，交通的方向)，尽管其他排序/次序也是可能的并且在本公开的范围内。在框718处，确定来自曲线的采样点(来自框714)。沿曲线以规则间隔(例如0.5米、1米等)获取采样点。这些在图像718a中被描绘为对应于车道标记的“点”。如所示的，这些点是均匀间隔的(即，以规则的间隔)。
在框720处，为每个采样点生成参数。参数的示例包括形状、曲线、航向、取向、方向、坐标等。一旦生成参数，在框722处，将来自方法700的后处理技术的地图数据输出或导出为地图数据。
图8描绘了在图7的框722处导出的地图数据的示例图表800。在此示例中，每隔1米，一点位于车道标记上。还使用方法700的后处理技术确定用于每个点的航向(纬度和经度)、曲率、片段ID、车道标记类型、x截面ID、车道宽度和车道标记顺序。
图9描绘了根据本文所述的一个或多个示例的用于为中等清晰度地图校正地图特征差异的方法900的流程图。在此示例中，数据收集工具可用于估计中等清晰度地图差异，并在生产之前对其进行校正以进行持续改进。
在框910处，经由预处理(912)和特征提取(914)发生基于航拍图像的地图特征检测。在框920处，数据收集车辆通过处理激光雷达(或雷达)数据来执行地面勘测(922)并执行特征提取(924)。在框930处，车辆使用GPS(932)和速度传感器(934)收集遥测数据，并周期性地提供遥测数据的更新(936)。处理(942)在框914和924处的特征提取的结果以及在框936处的更新，以将中等清晰度地图与地面勘测和车辆数据进行比较以修正差异(940)。该比较可以发生在车辆中以识别地图差异。一旦差异得到校正，就发布新版本的中等清晰度地图(950)。
还可以包括其他过程，并且应该理解，图9中所示的过程代表图示，并且可以增加其他过程，或者可以删除、修改或重新布置现有过程，而不背离本公开的范围和精神。
应当理解，本公开能够与现在已知或以后开发的任何其他类型的计算环境结合实现。例如，图10描绘了用于实现本文描述的技术的处理系统1000的框图。在示例中，处理系统1000具有一个或多个中央处理单元(处理器)1021a，1021b，1021c等(统称或通称为处理器1021和/或称为处理设备)。在本公开的各个方面中，每个处理器1021可以包括精简指令集计算机(RISC)微处理器。处理器1021经由系统总线1033耦接至系统存储器(例如，随机存取存储器(RAM)1024)和各种其他部件。只读存储器(ROM)1022耦接至系统总线1033，并且可包括基本输入/输出系统(BIOS)，它控制处理系统1000的某些基本功能。
进一步描绘了输入/输出(I/O)适配器1027和耦合到系统总线1033的网络适配器1026。I/O适配器1027可以是与硬盘1023和/或存储设备1025或任何其他类似的部件通信的小型计算机系统接口(SCSI)适配器。I/O适配器1027、硬盘1023和存储设备1025在本文中统称为大容量存储器1034。用于在处理系统1000上执行的操作系统1040可以存储在大容量存储器1034中。网络适配器1026将系统总线1033与外部网络1036互连，使处理系统1000能够与其他此类系统进行通信。
显示器(例如，显示监视器)1035通过显示器适配器1032连接到系统总线1033，显示器适配器1032可以包括图形适配器以改善图形密集型应用程序和视频控制器的性能。在本公开的一方面，适配器1026、1027和/或1032可以连接至一个或多个I/O总线，该I/O总线经由中间总线桥(未示出)连接至系统总线1033。用于连接外围设备(例如硬盘控制器、网络适配器和图形适配器)的合适I/O总线通常包括通用协议，例如外围部件互连(PCI)。附加的输入/输出设备被示为经由用户接口适配器1028和显示适配器1032连接到系统总线1033。键盘1029、鼠标1030和扬声器1031可以经由用户接口适配器1028互连到系统总线1033，其可以包括例如，将多个设备适配器集成到单个集成电路中的Super I/O芯片。
在本公开的一些方面，处理系统1000包括图形处理单元1037。图形处理单元1037是专用电子电路，其被设计为操纵和改变存储器以加速旨在输出到显示器的帧缓冲器中的图像的创建。通常，图形处理单元1037在操纵计算机图形和图像处理方面非常有效，并且具有高度并行的结构，这使其对于并行处理大数据块的算法而言比通用CPU更有效。
因此，如本文所配置的，处理系统1000包括处理器1021形式的处理能力，包括系统存储器(例如，RAM 1024)和大容量存储器1034的存储能力，诸如键盘1029和鼠标1030的输入装置，以及包括扬声器1031和显示器1035的输出能力。在本公开的一些方面，系统存储器(例如，RAM 1024)和大容量存储器1034的一部分共同存储操作系统1040，以协调处理系统1000中所示的各个部件的功能。
已经出于说明的目的给出了本公开的各种示例的描述，但是其不旨在是穷举的或限于所公开的实施例。在不脱离所描述技术的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。选择本文使用的术语是为了最好地解释本技术的原理，相对于市场上发现的技术的实际应用或技术改进，或者使本领域的其他普通技术人员能够理解本文公开的技术。
尽管已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物代替其元件。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是，本技术不限于所公开的特定实施例，而是将包括落入本申请范围内的所有实施例。

Claims (10)

1.一种用于生成地图特征的计算机实施的方法，该方法包括：
通过处理设备接收航拍图像数据；
通过处理设备接收遥测数据；
通过处理设备对航拍图像数据和遥测数据执行数据融合，以生成地图特征；和
通过处理系统至少部分地基于地图特征来控制车辆。
2.根据权利要求1所述的计算机实施的方法，其中，执行数据融合还包括接收道路的起点和道路的终点的地理位置。
3.根据权利要求2所述的计算机实施的方法，其中，执行数据融合还包括从导航地图中提取沿道路的起点和道路的终点之间的道路的节点。
4.根据权利要求3所述的计算机实施的方法，其中，执行数据融合还包括执行图像处理分析以检测所述地图特征。
5.根据权利要求4所述的计算机实施的方法，其中，执行数据融合还包括将所述地图特征转换成坐标格式。
6.根据权利要求4所述的计算机实施的方法，其中，执行数据融合还包括对所述地图特征执行后处理以细化所述地图特征。
7.根据权利要求1所述的计算机实施的方法，其中，所述地图特征包括车道宽度、曲率、航向、车道标记、车道宽度、道路边缘、停车杆或人行横道中的至少一个。
8.根据权利要求1所述的计算机实施的方法，还包括至少部分地基于地面勘测数据来更新具有所述地图特征的地图。
9.一种车辆中的系统，包括：
存储器，包括计算机可读指令；和
处理设备，用于执行计算机可读指令，以执行用于生成地图特征的方法，该方法包括：
通过处理设备接收航拍图像数据；
通过处理设备接收遥测数据；
通过处理设备对航拍图像数据和遥测数据执行数据融合，以生成地图特征；和
通过处理系统至少部分地基于地图特征来控制车辆。
10.根据权利要求9所述的系统，其中，执行数据融合还包括接收道路的起点和道路的终点的地理位置。
CN202010533658.4A 2019-06-14 2020-06-12 基于航拍数据和遥测数据生成地图特征 Pending CN112084835A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/441,866 2019-06-14
US16/441,866 US20200394838A1 (en) 2019-06-14 2019-06-14 Generating Map Features Based on Aerial Data and Telemetry Data

Publications (1)

Publication Number Publication Date
CN112084835A true CN112084835A (zh) 2020-12-15

Family

ID=73735899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010533658.4A Pending CN112084835A (zh) 2019-06-14 2020-06-12 基于航拍数据和遥测数据生成地图特征

Country Status (2)

Country Link
US (1) US20200394838A1 (zh)
CN (1) CN112084835A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078335A (zh) * 2020-07-30 2022-02-22 通用汽车环球科技运作有限责任公司 通过融合航空图像和遥测数据检测道路边缘的系统和方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455813B2 (en) * 2019-11-14 2022-09-27 Nec Corporation Parametric top-view representation of complex road scenes
US11408750B2 (en) * 2020-06-29 2022-08-09 Toyota Research Institute, Inc. Prioritizing collecting of information for a map
US20230063809A1 (en) * 2021-08-25 2023-03-02 GM Global Technology Operations LLC Method for improving road topology through sequence estimation and anchor point detetection
CN113676792B (zh) * 2021-10-22 2022-01-18 四川腾盾科技有限公司 一种基于多信道自动优选的大型无人机遥测数据融合方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266161A1 (en) * 2007-11-16 2010-10-21 Marcin Michal Kmiecik Method and apparatus for producing lane information
US20140146173A1 (en) * 2012-11-26 2014-05-29 Trimble Navigation Limited Integrated Aerial Photogrammetry Surveys
CN104572065A (zh) * 2013-10-15 2015-04-29 福特全球技术公司 远程车辆监控系统和方法
US20170328716A1 (en) * 2016-05-16 2017-11-16 Northrop Grumman Systems Corporation Vision-aided aerial navigation
US20180237000A1 (en) * 2017-02-23 2018-08-23 GM Global Technology Operations LLC Effective rolling radius
CN108509826A (zh) * 2017-02-27 2018-09-07 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
US20190130182A1 (en) * 2017-11-01 2019-05-02 Here Global B.V. Road modeling from overhead imagery

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100266161A1 (en) * 2007-11-16 2010-10-21 Marcin Michal Kmiecik Method and apparatus for producing lane information
US20140146173A1 (en) * 2012-11-26 2014-05-29 Trimble Navigation Limited Integrated Aerial Photogrammetry Surveys
CN104572065A (zh) * 2013-10-15 2015-04-29 福特全球技术公司 远程车辆监控系统和方法
US20170328716A1 (en) * 2016-05-16 2017-11-16 Northrop Grumman Systems Corporation Vision-aided aerial navigation
US20180237000A1 (en) * 2017-02-23 2018-08-23 GM Global Technology Operations LLC Effective rolling radius
CN108509826A (zh) * 2017-02-27 2018-09-07 千寻位置网络有限公司 一种遥感影像的道路识别方法及其系统
US20190130182A1 (en) * 2017-11-01 2019-05-02 Here Global B.V. Road modeling from overhead imagery

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114078335A (zh) * 2020-07-30 2022-02-22 通用汽车环球科技运作有限责任公司 通过融合航空图像和遥测数据检测道路边缘的系统和方法
CN114078335B (zh) * 2020-07-30 2024-04-12 通用汽车环球科技运作有限责任公司 通过融合航空图像和遥测数据检测道路边缘的系统和方法

Also Published As

Publication number Publication date
US20200394838A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US10417816B2 (en) System and method for digital environment reconstruction
CN112084835A (zh) 基于航拍数据和遥测数据生成地图特征
US10579058B2 (en) Apparatus and method for generating training data to train neural network determining information associated with road included in image
US20170300763A1 (en) Road feature detection using a vehicle camera system
EP4152204A1 (en) Lane line detection method, and related apparatus
CN109061703A (zh) 用于定位的方法、装置、设备和计算机可读存储介质
CN112740268B (zh) 目标检测方法和装置
CN111771206A (zh) 用于自动驾驶车辆的地图分区系统
CN111771229A (zh) 用于自动驾驶车辆的点云重影效果检测系统
CN112055805A (zh) 用于自动驾驶车辆的点云登记系统
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
US10402670B2 (en) Parallel scene primitive detection using a surround camera system
CN112334906B (zh) 从机器学习模型输出推断出的实例分割
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
EP3690744A1 (en) Method for integrating driving images acquired from vehicles performing cooperative driving and driving image integrating device using same
CN108428254A (zh) 三维地图的构建方法及装置
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN113449692A (zh) 一种基于无人机的地图车道信息更新方法及其系统
Hartmann et al. Towards autonomous self-assessment of digital maps
WO2023023336A1 (en) Detected object path prediction for vision-based systems
CN113011285B (zh) 车道线检测方法、装置、自动驾驶车辆及可读存储介质
CN117130010B (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination