CN110462343B - 使用自动标记的图像来对车辆进行导航的方法和系统 - Google Patents

使用自动标记的图像来对车辆进行导航的方法和系统 Download PDF

Info

Publication number
CN110462343B
CN110462343B CN201880022359.5A CN201880022359A CN110462343B CN 110462343 B CN110462343 B CN 110462343B CN 201880022359 A CN201880022359 A CN 201880022359A CN 110462343 B CN110462343 B CN 110462343B
Authority
CN
China
Prior art keywords
image
features
map
electronic processor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880022359.5A
Other languages
English (en)
Other versions
CN110462343A (zh
Inventor
K.贝伦特
J.威特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN110462343A publication Critical patent/CN110462343A/zh
Application granted granted Critical
Publication of CN110462343B publication Critical patent/CN110462343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/3673—Labelling using text of road map data items, e.g. road names, POI names
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Library & Information Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

一种使用自动标记的图像用于导航车辆的方法和系统。该系统包含被配置为捕获道路的图像的相机和通信连接到该相机的电子处理器。电子处理器被配置为加载包含第一多个特征的地图并接收图像。该图像包含第二多个特征。电子处理器还被配置为将地图投影到图像上；检测图像内的第二多个特征；并且通过将第一多个特征与第二多个特征对准，将地图与图像对准。电子处理器还被配置为将描述第一多个特征中的一个的标记复制到第二多个特征中对应的一个上以创建标记的图像，并且使用标记的图像以辅助车辆的导航。

Description

使用自动标记的图像来对车辆进行导航的方法和系统
背景技术
高精度地图被用在驾驶辅助系统中，这种高精度地图包含关于位于高精度地图内的对象的信息。这些地图用于弥合最先进的实时车道检测装置与用于半自动驾驶的对象检测可靠性和范围的要求(仅凭现有的车道检测装置通常无法满足这种要求)之间的差距。
发明内容
高精度地图提供(除別的以外)信息以辅助执行车辆操纵。特别地，高精度地图提供与对象(诸如，道路、车道标志、和道路基础架构)的定位和特点有关的信息。在一些情形中，高精度地图还通过提供关于与车辆相关的地标和兴趣区的信息来辅助驾驶员。在一些情况下，半自动车辆可至少部分地基于关于高精度地图内的对象位置的信息执行一些导航和操纵。例如，车辆可以使用车道标志以在单个交通车道内行驶、以确定道路上的多个交通车道、以执行车道变换等等。
可靠的车道检测对于驾驶员辅助系统、驾驶员安全功能、和全自动车辆的正常功能是必需的。深度学习提供了高度精确的技术，用于训练车辆系统以检测车道标志。然而，深度学习还需要大量标记的数据以适当地训练车辆系统。如下所述，神经网络被训练用于检测相机图像中的车道标志，而无需手动标记任何图像。
为实现这一目的，用于自动驾驶的高精度地图被投影到相机图像中，并且车辆系统校正由于定位和坐标系变换不精确而导致的错位。可以通过计算高精度地图内的对象或特征与相机图像中的检测到的对象之间的偏移来执行校正。通过在相机图像中使用对象检测用来细化投影，相机图像内对象的标记可基于像素位置精确地确定。在可选的视觉质量检查后，投影的车道标志用于训练全卷积网络以分割图像中的车道标志。可选的视觉质量检查可以比手动标记单独的图像高得多的速率执行。例如，单个工作人员可以在一天内质量检查20,000个自动生成的标记。因此，可以仅基于自动生成的标记训练卷积网络。此外，对相机图像内对象的检测可以仅基于灰度单目相机输入而无需任何额外信息。由此经训练的神经网络可用100万像素相机在约150米距离处检测车道标志。
实施例提供了为相机图像内的对象生成标记的自动系统。在一些实施例中，自动系统至少部分地基于地图数据生成生成识别图像内的车道标志的标记。
特别地，一个实施例提供了一种使用自动标记的图像用于车辆的导航方法。该方法包含将包含第一多个特征的地图加载到车辆的电子处理器，并利用车辆的相机捕获包含第二多个特征的图像。该方法还包含将地图投影到图像上；利用电子处理器检测图像内的第二多个特征；通过将第一多个特征与第二多个特征对准而将地图与图像对准。该方法还包含将描述第一多个特征中的一个的标记复制到第二多个特征中对应的一个上以创建标记的图像，并且使用标记的图像以辅助车辆的导航。
另一个实施例提供了一种使用自动标记的图像用于导航车辆的系统。该系统包含被配置为捕获道路的图像的相机和通信地连接到相机的电子处理器。电子处理器被配置为加载包含第一多个特征的地图并接收图像。图像包含第二多个特征。电子处理器还被配置为将地图投影到图像上；检测图像内的第二多个特征；通过将第一多个特征与第二多个特征对准而将地图与图像对准。电子处理器还进一步被配置为将描述第一多个特征中的一个的标记复制到第二多个特征中对应的一个上以创建标记的图像，并且使用所述标记的图像以辅助车辆的导航。
通过考虑具体实施方式和所附附图，其他方面、特征、和实施例将是显而易见的。
附图说明
图1是根据一个实施例的配备有用于标记相机图像内的对象的自动系统的车辆的框图。
图2是根据一个实施例的图1的系统的电子控制单元的框图。
图3是根据一个实施例的图1的系统的操作方法的流程图。
图4是车道标志和由图1的系统生成的车道标志的定位的初始估计的示例图像。
图5是具有车道标志匹配的道路的示例图，该车道标志匹配是图3方法的第一次迭代期间的和图3方法的若干次迭代后的。
图6是车道标志和图3的方法在对准和校正之前的车道标志匹配的示例图像。
图7是车道标志和在执行图3的方法之后的车道标志匹配的示例图像。
具体实施方式
在对任何实施例进行详细解释之前，应理解，本发明在其应用上不限于如下说明书中陈述的或者如下附图中图示的部件的构造和布置的细节。本发明能够具有其它配置并且能够以各种方式施行或者实现。
可以使用多个基于硬件和软件的装置，以及多个不同结构的部件来实施各种实施例。此外，实施例可包含硬件、软件、以及电子部件或者模块，出于讨论的目的，这些硬件、软件、以及电子部件或者模块可以被图示和描述为好像这些部件中的大多数独自地在硬件中实施。然而，本领域技术人员，并且基于阅读本具体实施方式，将意识到，在至少一个实施例中，本发明基于电子的方面可以在可由一个或更多个处理器执行的软件(例如，储存在非暂时性计算机可读介质上的软件)中实施。例如，本说明书中所描述的“控制单元”和“控制器”可以包含：一个或更多个电子处理器、一个或更多个包含非暂时性计算机可读介质的存储模块、一个或更多个输入/输出接口、一个或更多个应用专用集成电路(ASIC)、以及连接各种部件的各种连接器(例如，系统总线)。
图1示出了配备有系统105的车辆100的实施例，该系统105用于根据一个实施例标记相机图像内的对象。车辆100涵盖各种类型和设计，尽管其图示为四轮车辆。例如，车辆100可包含汽车、摩托车、卡车、公共汽车、半拖拉机、及其他。在图示的示例中，系统105包含电子控制单元(ECU)110、至少一个传感器115、地图数据库120、车辆控制系统125、和全球定位系统(GPS)130。这些部件在下文中具体描述。
电子控制单元110可经由不同的和各种机制或协议，通信地连接传感器115、地图数据库120、车辆控制系统125、和全球定位系统130。例如，电子控制单元110和传感器115可直接有线连接、通过通信总线有线连接、或无线连接(例如，经由无线网络)。电子控制单元110被配置为，除別的以外，从传感器115接收关于围绕车辆100的区域的信息、从地图数据库120接收具有标记的对象的高精度地图、并且生成用于车辆控制系统125的与导航和操纵相关的请求和信息。特别地，电子控制单元110可以至少部分地基于全球定位系统130确定车辆100的位置或定位。电子控制单元110可经由全球定位系统130获取初始位置，并且然后使用传感器115和检测到的地标来优化或细化位置。
传感器115，虽然为简洁起见图示为单个传感器，但是可包含各种类型和方式的传感器。例如，传感器115可包含一个或更多个传感器和传感器阵列，器配置为使用雷达、激光雷达、超声、红外及其他等。传感器115还可包含一个或更多个光学相机。在一些实施例中，传感器115定位为具有包含在车辆100任一侧的车道标志的视野。传感器115被配置为捕获车辆100周围的对象的图像。特别地，传感器115被配置为捕获车辆100周围的车道标志的图像。
地图数据库120可以是各种不同类型并使用各种不同技术。在一个示例中，地图数据库120位于车辆100内并且可经由外部通信(例如，经由广域网)更新。在另一示例中，地图数据库120位于车辆100外部(例如，在中央服务器)。在这种情形中，车辆100为地图数据库120下载高精度地图以供电子控制单元110使用。在一些情况下，车辆100将由传感器115捕获的高精度地图上传到地图数据库120。因此，地图数据库120包括多个高精度地图，这些高精度地图可以是由电子控制单元110生成的、由其他车辆的类似系统生成的、或由手动方法生成的。地图数据库120中含有的高精度地图，提供高精度地图内的对象的特点，该特点包含车道标志的定位。高精度地图以及来自传感器115的图像均被用于训练电子控制单元110以高度准确地检测和标记图像内的对象，如下文描述的那样。
车辆控制系统125被配置为从电子控制单元110接收指令和信息，以帮助导航和控制车辆100。车辆控制系统125被配置为至少部分地基于从电子控制单元110接收的信号，执行自动驾驶和各种自动车辆操纵。在一些实施例中，车辆控制系统125通信地连接到传感器115和全球定位系统130，而独立于电子控制单元110。在一些实施例中，车辆控制系统125和电子控制单元110结合到单个控制单元中。
图2是根据一个实施例的系统105的电子控制单元110的框图。电子控制单元110包含多个电和电子部件，这些部件为电子控制单元110内的部件和模块提供电力、操作控制、和保护。电子控制单元110包含，除別的以外，电子处理器210(诸如可编程电子微处理器、微控制器、或类似装置)、存储器215(例如，非短暂性机器可读存储器)、和输入/输出接口220。在一些实施例中，电子控制单元110包含额外的、更少的、或不同的部件。例如，电子控制单元110可实施在若干独立的电子控制单元或模块中，每个电子控制单元或模块被配置为执行电子控制单元110的特定步骤或功能。
电子处理器210，与存储器215、输入/输出接口220、以及电子控制单元110的其他部件协调，被配置为执行本文所讨论的过程和方法。例如，电子处理器210被配置为从存储器215检索并执行，除別的以外，与下述相关的指令：从传感器115接收相机图像、从地图数据库120接收地图数据、以及基于接收相机图像和地图数据生成标记的相机图像。输入/输出接口220可包含一个或更多个输入和输出模块，用于与系统105的其他部件以及车辆100的其他部件通信。例如，输入/输出接口220被配置为与传感器115、地图数据库120、和车辆控制系统125通信。
应当注意，包含创建高精度地图和使用高精度地图以生成标记的相机图像的多个功能被描述为由电子处理器210执行。然而，这些功能，以及本文描述的其他功能，可由多个电子处理器和多个车辆单独地和独立地执行。例如，在一些实施例中，一个或更多个车辆生成多个高精度地图，并将高精度地图上传到集中地图数据库。在这种情形中，其他车辆，诸如车辆100，下载高精度地图并使用高精度地图生成高度精确的标记的图像。特别地，标记的相机图像可以由电子处理器210生成，这是通过利用高精度地图训练电子处理器210用于对象的检测和辨识。然后，标记的相机图像可被车辆控制系统125使用以导航和操纵车辆100。在操作中，电子控制单元110使用高精度地图以改善对象的实时检测，这是通过使用高精度地图以生成大量静态对象(包含，例如，车道标志)的标记的数据集。
在良好的环境条件下，电子控制单元110能够通过使用，例如，高精确度对象检测传感器(例如，激光雷达(LIDAR))以高度精确地在短距离检测静态对象用于映射操作，并能够生成高精度地图。高精度地图可包含各种特征和定位信息，其包含道路基础架构和车道标志。由于映射对象的静态性质，高精度地图可在恶劣环境条件下投影到传感器坐标(例如，相机图像坐标)中以辅助检测并为传感器115提供更长的检测范围。
图3示出了根据一个实施例的使用自动标记的图像的方法。该方法包含使用自动标记的图像以训练电子处理器210内的对象检测器(例如，深度学习、神经网络)。该方法还包含使用自动标记的图像用于车辆100的导航。在所示的示例中，电子处理器210加载包含第一多个特征的高精度地图(框305)。电子处理器210从传感器115接收包含第二多个特征的图像(框310)。在一些实施例中，例如，当操作车辆时，电子处理器210从车辆相机接收相机图像。然后，电子处理器210利用对象检测器检测第二多个特征(框315)。如下所述，对象检测器可以是简单预编程检测器。电子处理器210然后将高精度地图投影到图像上(框320)。电子处理器210通过将第一多个特征与第二多个特征对准而将高精度地图与图像对准(框325)。电子处理器210然后将描述第一多个特征中的一个的标记复制到第二多个特征中对应的一个上，以创建标记的图像(框330)。然后使用标记的图像以辅助车辆100的导航(框335)。
在一些实施例中，在多次迭代中反复执行图3中所示的方法。在这种情形中，对象检测器被替换为神经网络，或者对象检测器单纯地是被训练用于后续迭代的未训练神经网络(例如，在第一次迭代之后)。在训练对象检测器之后，利用训练的检测器检测第二图像内的第二多个特征(见框315)。一旦该方法在后续迭代中完成，则基于更新的检测生成标记的图像。这会生成更新的图像，其具有精确度提高的标记的图像。由此训练神经网络以基于标记的相机图像改善对象检测和对准。这一过程将在下文中更详细地解释。
在将高精度地图投影到图像上之前(见框315)，确定传感器115的准确位姿。然后确定相对于高精度地图的传感器位姿。图4示出了投影到相机图像坐标中的高精度地图的示例。查找相对于高精度地图的传感器位姿是通过使用定位技术执行的。然而，就标记相机图像的过程(见框330)，全时间序列测量可在离线图形优化期间执行。标记过程包括三个概括的步骤：1)仅使用GPS和相对运动约束的粗略位姿图形对准；2)通过向图形添加车道标志约束进行车道对准；以及3)从对应图形位姿开始使用每图像再投影优化，在图像空间中进行像素精确细化。
图5示出了通过创建图形并将图形与高精度地图匹配的完整轨迹初始粗略解。在图5的左侧，建立了GPS测量505和连接位姿顶点515的六自由度(6-DOF)相对运动边缘510的图形(没有车道标志匹配)。图形优化然后通过在周围移动6-DOF位姿顶点找到最小能量解。在此步骤之后，位姿顶点的不精确之处可能达到数米。为了使图形与道路(即，相机图像)紧密对准，基于匹配范围阈值向所有地图车道标志添加检测到的车道标志520的匹配。可保持匹配范围内的所有潜在匹配，如在图5的左侧中可见。在一些实施例中，用于对准的三维车道标志检测可利用简单技术计算，此类技术诸如top-hat滤波器和设置有例如对称局部阈值滤波器的立体相机。简单检测器(例如，未经训练的对象检测器)可能创建外点(outlier)和误检测，但是这些通常不足以对图形对准产生不利影响。然而，简单探测器被第一神经网络探测器取代，以进一步提高鲁棒性。在一些实施例中，通过运行Douglas-Peucker(道格拉斯——普克法)多边形化从这些检测中提取出线段，并且得到的3D线段被添加到对应的位姿顶点515用于匹配。由于GPS测量505相对于高度的不确定性，匹配标准仅考虑在平面空间中、与地球椭球相切的车道标志520的2D位移。4米的初始匹配范围可用来鲁棒地处理GPS测量505和地图坐标之间的显着偏差。迭匹配范围代地减小。外点匹配及其偏移由此消除，如在图5右侧中所示。该方法允许系统鲁棒地处理大量初始位移。
图6示出了地图车道标志520相对检测到的车道标志的初始位移的示例。在该示例中，初始位移被夸大以便清楚说明。实际初始位移可明显更小(例如，出现在距离车辆100大约50米处)。在图6中，示出了在投影的车道标志605图形对准之后的剩余位移和来自简单对象检测器的检测到的车道标志520。线段之间的垂直平均距离作为用于非线性优化的匹配标准使用，该非线性优化解决像素精确校正的6-DOF相机位姿。线段之间的垂直平均距离作为用于非线性优化的匹配标准使用，该非线性优化解决像素精确校正的6-DOF相机位姿。
为了达到像素精确标记，利用图像空间中的线段执行再投影优化。为此，使用来自先前优化的图形的顶点位姿作为初始，3D车道标志地图被投影到相机图像。一般来说，不精确的6-DOF运动约束和小滚动/俯仰偏差会使初始位姿不足以满足我们的目的。
基于重叠和垂直平均距离反复匹配图像空间中的线段。在一些实施例中，使用非线性Levenberg-Marquardt(麦夸特法)优化确定校正的6-DOF相机位姿。在每次迭代之后，匹配距离阈值减半以从外点匹配中连续地移除偏移。在一个示例中，选择32像素匹配范围以包含所有潜在内点(inlier)，并且选择4像素匹配范围以移除大多数外点匹配。一旦位姿被细化，所有地图元素可被准确地投影以生成高质量图像标记。
在一个实施例中，电子处理器210将图像中的每个像素分类为属于车道标志或不属于车道标志。这种方法不必需要求精确的标记，并且具有一些优点。使用这种方法，电子处理器210能够在图像上生成概率地图而不会丢失信息(诸如，车道标志宽度)。电子处理器210不需要对交通车道的数量或车道标志的类型(例如，实线或虚线)做出假设。基于神经网络像素级输出，仍然可以使用通行方法，诸如样条法(splines)，对输出进行建模。
通过采用完全卷积神经网络，车道标志检测可作为语义分割问题处理。为此，可以使用相当小但仍高度精确的网络。网络可以实时运行用于来自传感器115的每个传入相机图像。
图7示出了在使用图3所示的方法训练电子处理器210之后，使用电子处理器210的对象检测。特别地，图7示出了由就自动生成的标记的图像进行训练之后的神经网络检测到的对象。在该示例中，检测到的车道标志605与相机图像中的实际车道标志紧密匹配。
在以下权利要求中记载了各种特征、优点、和实施例。

Claims (18)

1.一种使用自动标记的图像来对车辆进行导航的方法，所述方法包括：
将包含第一多个特征的地图加载到车辆的电子处理器；
利用车辆的相机捕获包含第二多个特征的图像；
将所述地图投影到所述图像上；
利用电子处理器，检测所述图像内的所述第二多个特征；
通过将所述第一多个特征与所述第二多个特征对准，将所述地图与所述图像对准；
将描述所述第一多个特征中的一个的标记复制到所述第二多个特征中对应的一个上以创建标记的图像；并且
使用标记的图像以辅助车辆的导航。
2.根据权利要求1所述的方法，还包括利用标记的图像训练所述电子处理器内的对象检测器。
3.根据权利要求2所述的方法，还包括在训练所述对象检测器之后，利用所述对象检测器检测第二图像内的所述第二多个特征，以创建更新的标记的图像。
4.根据权利要求3所述的方法，还包括基于所述更新的标记的图像校正所述地图与所述第二图像的对准。
5.根据权利要求4所述的方法，还包括利用所述第二图像训练所述电子处理器内的所述对象检测器。
6.根据权利要求1所述的方法，其中所述第一多个特征和所述第二多个特征是车道标志。
7.根据权利要求1所述的方法，其中被加载的地图具有在所述地图中识别的道路基础架构。
8.根据权利要求1所述的方法，其中加载包含所述第一多个特征的地图包含从中央数据库接收所述地图。
9.根据权利要求1所述的方法，其中将所述地图加载到所述电子处理器包含基于来自车辆的传感器的输入生成所述地图。
10.一种使用自动标记的图像来对车辆进行导航的系统，所述系统包括：
相机，所述相机被配置为捕获道路的图像；
通信连接到所述相机的电子处理器，所述电子处理器被配置用于
加载包含第一多个特征的地图，
接收图像，所述图像包含第二多个特征，
将所述地图投影到所述图像上，
检测所述图像内的第二多个特征，
通过将所述第一多个特征与所述第二多个特征对准，将所述地图与所述图像对准，
将描述所述第一多个特征中的一个的标记复制到所述第二多个特征中对应的一个上以创建标记的图像，并且
使用所述标记的图像以辅助车辆的导航。
11.根据权利要求10所述的系统，其中，所述电子处理器还被配置用于利用所述标记的图像训练所述电子处理器内的对象检测器。
12.根据权利要求11所述的系统，其中，所述电子处理器还被配置用于在训练所述对象检测器之后，利用所述对象检测器检测第二图像内的所述第二多个特征，以创建更新的标记的图像。
13.根据权利要求12所述的系统，其中，所述电子处理器还被配置用于基于所述更新的标记的图像校正所述地图与所述第二图像的对准。
14.根据权利要求13所述的系统，其中，所述电子处理器还被配置用于利用所述更新的标记的图像训练所述电子处理器内的所述对象检测器。
15.根据权利要求10所述的系统，其中，所述第一多个特征和所述第二多个特征是车道标志。
16.根据权利要求10所述的系统，其中，被加载的地图具有在所述地图中识别的道路基础架构。
17.根据权利要求10所述的系统，其中，所述电子处理器还被配置用于从中央数据库接收所述地图。
18.根据权利要求10所述的系统，其中，所述电子处理器还被配置用于基于来自所述车辆的传感器的输入生成所述地图。
CN201880022359.5A 2017-04-03 2018-02-13 使用自动标记的图像来对车辆进行导航的方法和系统 Active CN110462343B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/477,993 US10209089B2 (en) 2017-04-03 2017-04-03 Automated image labeling for vehicles based on maps
US15/477993 2017-04-03
PCT/EP2018/053476 WO2018184757A1 (en) 2017-04-03 2018-02-13 Automated image labeling for vehicle based on maps

Publications (2)

Publication Number Publication Date
CN110462343A CN110462343A (zh) 2019-11-15
CN110462343B true CN110462343B (zh) 2023-08-18

Family

ID=61231241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022359.5A Active CN110462343B (zh) 2017-04-03 2018-02-13 使用自动标记的图像来对车辆进行导航的方法和系统

Country Status (5)

Country Link
US (1) US10209089B2 (zh)
EP (1) EP3607272B1 (zh)
KR (1) KR102583989B1 (zh)
CN (1) CN110462343B (zh)
WO (1) WO2018184757A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270406A1 (en) * 2016-03-18 2017-09-21 Qualcomm Incorporated Cloud-based processing using local device provided sensor data and labels
WO2018125938A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Enrichment of point cloud data for high-definition maps for autonomous vehicles
EP3637371B1 (en) * 2017-06-07 2023-03-22 Nissan Motor Co., Ltd. Map data correcting method and device
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US11312334B2 (en) 2018-01-09 2022-04-26 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
WO2020056203A1 (en) 2018-09-13 2020-03-19 TuSimple Remote safe driving methods and systems
KR20200046437A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
US10685252B2 (en) 2018-10-30 2020-06-16 Here Global B.V. Method and apparatus for predicting feature space decay using variational auto-encoder networks
CN111198890A (zh) * 2018-11-20 2020-05-26 北京图森智途科技有限公司 地图更新方法、路侧设备、车载装置、车辆和系统
US11501104B2 (en) 2018-11-27 2022-11-15 Here Global B.V. Method, apparatus, and system for providing image labeling for cross view alignment
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
US10922845B2 (en) * 2018-12-21 2021-02-16 Here Global B.V. Apparatus and method for efficiently training feature detectors
IL270540A (en) 2018-12-26 2020-06-30 Yandex Taxi Llc Method and system for training a machine learning algorithm to recognize objects from a distance
US10423840B1 (en) * 2019-01-31 2019-09-24 StradVision, Inc. Post-processing method and device for detecting lanes to plan the drive path of autonomous vehicle by using segmentation score map and clustering map
US10540572B1 (en) * 2019-01-31 2020-01-21 StradVision, Inc. Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same
US10373004B1 (en) * 2019-01-31 2019-08-06 StradVision, Inc. Method and device for detecting lane elements to plan the drive path of autonomous vehicle by using a horizontal filter mask, wherein the lane elements are unit regions including pixels of lanes in an input image
CN110954112B (zh) * 2019-03-29 2021-09-21 北京初速度科技有限公司 一种导航地图与感知图像匹配关系的更新方法和装置
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
US11527012B2 (en) 2019-07-03 2022-12-13 Ford Global Technologies, Llc Vehicle pose determination
KR20210034253A (ko) 2019-09-20 2021-03-30 삼성전자주식회사 위치 추정 장치 및 방법
CN112667837A (zh) * 2019-10-16 2021-04-16 上海商汤临港智能科技有限公司 图像数据自动标注方法及装置
WO2021091039A1 (ko) * 2019-11-06 2021-05-14 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
US10867190B1 (en) 2019-11-27 2020-12-15 Aimotive Kft. Method and system for lane detection
CN111178161B (zh) * 2019-12-12 2022-08-23 重庆邮电大学 一种基于fcos的车辆追踪方法及系统
KR102270827B1 (ko) * 2020-02-21 2021-06-29 한양대학교 산학협력단 360도 주변 물체 검출 및 인식 작업을 위한 다중 센서 데이터 기반의 융합 정보 생성 방법 및 장치
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
CN111724441A (zh) * 2020-05-28 2020-09-29 上海商汤智能科技有限公司 图像标注方法及装置、电子设备及存储介质
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN111735473B (zh) * 2020-07-06 2022-04-19 无锡广盈集团有限公司 一种能上传导航信息的北斗导航系统
CN112597328B (zh) * 2020-12-28 2022-02-22 推想医疗科技股份有限公司 标注方法、装置、设备及介质
DE102021205827A1 (de) 2021-06-09 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Automatisierung in einem Fahrzeug anhand informationsminimierter Sensordaten
CN114128673B (zh) * 2021-12-14 2022-09-23 仲恺农业工程学院 基于混合深度神经网络的肉鸽精准饲喂方法
KR20240048297A (ko) 2022-10-06 2024-04-15 주식회사 엘지유플러스 도로 객체 검출을 위한 학습 방법, 장치 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203369A (zh) * 1997-03-27 1998-12-30 日本电信电话株式会社 标定观测图象的装置和系统
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
CN104853972A (zh) * 2012-11-16 2015-08-19 英特尔公司 利用板载车辆平台中的图像处理支持扩增车辆的adas特征

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3053172B2 (ja) * 1997-07-11 2000-06-19 日本電信電話株式会社 距離参照型景観ラベリング装置およびシステム
US7243229B2 (en) * 2001-10-02 2007-07-10 Hitachi, Ltd. Exclusive access control apparatus and method
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
EP2491344B1 (en) 2009-10-22 2016-11-30 TomTom Global Content B.V. System and method for vehicle navigation using lateral offsets
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
US9129161B2 (en) 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
US9435653B2 (en) 2013-09-17 2016-09-06 GM Global Technology Operations LLC Sensor-aided vehicle positioning system
US9734399B2 (en) 2014-04-08 2017-08-15 The Boeing Company Context-aware object detection in aerial photographs/videos using travel path metadata
US9747505B2 (en) 2014-07-07 2017-08-29 Here Global B.V. Lane level traffic
US9569693B2 (en) 2014-12-31 2017-02-14 Here Global B.V. Method and apparatus for object identification and location correlation based on received images
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1203369A (zh) * 1997-03-27 1998-12-30 日本电信电话株式会社 标定观测图象的装置和系统
CN101641610A (zh) * 2007-02-21 2010-02-03 电子地图北美公司 用于包含绝对及相对坐标的车辆导航及领航的系统及方法
CN104853972A (zh) * 2012-11-16 2015-08-19 英特尔公司 利用板载车辆平台中的图像处理支持扩增车辆的adas特征

Also Published As

Publication number Publication date
WO2018184757A1 (en) 2018-10-11
CN110462343A (zh) 2019-11-15
KR102583989B1 (ko) 2023-10-05
EP3607272B1 (en) 2022-04-27
KR20190137087A (ko) 2019-12-10
US20180283892A1 (en) 2018-10-04
US10209089B2 (en) 2019-02-19
EP3607272A1 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
CN110462343B (zh) 使用自动标记的图像来对车辆进行导航的方法和系统
CN110160542B (zh) 车道线的定位方法和装置、存储介质、电子装置
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
US10788830B2 (en) Systems and methods for determining a vehicle position
RU2727164C1 (ru) Способ и устройство коррекции картографических данных
US10552982B2 (en) Method for automatically establishing extrinsic parameters of a camera of a vehicle
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
CN111856491B (zh) 用于确定车辆的地理位置和朝向的方法和设备
US8301374B2 (en) Position estimation for ground vehicle navigation based on landmark identification/yaw rate and perception of landmarks
EP3018448B1 (en) Methods and systems for enabling improved positioning of a vehicle
US11231283B2 (en) Localization with neural network based image registration of sensor data and map data
Matthaei et al. Map-relative localization in lane-level maps for ADAS and autonomous driving
JP6454726B2 (ja) 自車位置推定装置
CN103175524B (zh) 一种无标识环境下基于视觉的飞行器位置与姿态确定方法
CN107728175A (zh) 基于gnss和vo融合的无人驾驶车辆导航定位精度矫正方法
US20210182575A1 (en) Device and method for generating travel trajectory data in intersection, and vehicle-mounted device
KR20190097326A (ko) 신호기 인식 장치 및 신호기 인식 방법
US20200265245A1 (en) Method and system for automatic generation of lane centerline
US20220355818A1 (en) Method for a scene interpretation of an environment of a vehicle
CN113405555B (zh) 一种自动驾驶的定位传感方法、系统及装置
CN113566817B (zh) 一种车辆定位方法及装置
CN114127738A (zh) 自动地图制作和定位
Deusch et al. Improving localization in digital maps with grid maps
US11733373B2 (en) Method and device for supplying radar data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant