CN111178122B - 道路场景中三维车道的检测及平面表示 - Google Patents

道路场景中三维车道的检测及平面表示 Download PDF

Info

Publication number
CN111178122B
CN111178122B CN201910490251.5A CN201910490251A CN111178122B CN 111178122 B CN111178122 B CN 111178122B CN 201910490251 A CN201910490251 A CN 201910490251A CN 111178122 B CN111178122 B CN 111178122B
Authority
CN
China
Prior art keywords
feature map
neural network
convolutional neural
road scene
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910490251.5A
Other languages
English (en)
Other versions
CN111178122A (zh
Inventor
D·李维
N·加尼特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111178122A publication Critical patent/CN111178122A/zh
Application granted granted Critical
Publication of CN111178122B publication Critical patent/CN111178122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G01C21/3822—Road feature data, e.g. slope data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车辆、用于操作车辆的系统以及用于导航车辆的方法。系统包括传感器以及多层卷积神经网络。传感器生成指示车辆的道路场景的图像。多层卷积神经网络通过第一处理路径由图像生成多个特征映射，投影多个特征映射中的至少一个到与道路场景的限定坐标系相关的限定平面上以获得至少一个投影特征映射，在第二处理路径中对至少一个投影特征映射进行卷积以获得最终特征映射，以及由最终特征映射确定车道信息。控制系统使用车道信息调节车辆的操作。

Description

道路场景中三维车道的检测及平面表示
引言
本公开涉及道路场景中车道的检测。普通技术依赖于基于机器的系统和技术来检测道路场景中的车道。此类系统和技术可以利用机器学习框架来分别推断图像域中的道路元素。然后，应用启发法或其他类型的经验建模来将这些道路元素组合成道路场景中的一条车道或一组车道。此外，此类系统和技术通常采用独立传感器方法，其利用限定类型的传感模式(相机传感、LIDAR传感等)来检测一组车道。通常在每个传感模式都完成车道之后，对各个传感模式中检测到的各组车道检测进行融合。车道的检测和/或表示不仅很大程度上取决于应用于一组检测到的道路元素的启发法类型，而且后验融合传感器数据会降低检测和/或表示的保真度。车道检测和/或表示的保真度差可能使在道路上行驶的车辆的自动或自主操作复杂化或妨碍其自动或自主操作。因此，期望提供用于检测道路场景中的车道的技术。
发明内容
在一个示例性实施例中，公开了一种用于导航车辆的方法。获取图像，图像指示在车辆的传感器处的道路场景。通过多层卷积神经网络的第一处理路径由图像生成多个特征映射。投影特征映射中的至少一个到与道路场景的限定坐标系相关的限定平面上以获得至少一个投影特征映射。在多层卷积神经网络的第二处理路径中对至少一个投影特征映射进行卷积以获得最终特征映射。由最终特征映射确定车道信息。
除了本文描述的一个或多个特征之外，图像可以包括具有多个传感器模式的输入数据。在一个实施例中，图像还包括多个图像，对多个图像中的每一个应用第一处理路径以获得图像中的每一个的多个特征映射，投影多个特征映射到限定平面上，对投影特征映射进行组合，以及对组合投影特征映射进行卷积。最终特征映射是水平不变的，并且确定车道信息还包括确定车道的三维表示。投影特征映射中的至少一个包括对特征映射中的至少一个进行单应性变换。车道信息被提供给控制系统，控制系统配置为使用车道信息调节车辆的操作。
在另一示例性实施例中，公开了一种用于操作车辆的系统。系统包括传感器和多层卷积神经网络。传感器配置为生成指示车辆的道路场景的图像。多层卷积神经网络配置为通过第一处理路径由图像生成多个特征映射，投影多个特征映射中的至少一个到与道路场景的限定坐标系相关的限定平面上以获得至少一个投影特征映射，在第二处理路径中对至少一个投影特征映射进行卷积以获得最终特征映射，以及由最终特征映射确定车道信息。
除了本文描述的一个或多个特征之外，图像包括来自传感器的包含不同传感器模式的输入数据。在一个实施例中，图像包括多个图像，并且神经网络还配置为对多个图像中的每一个应用第一处理路径以获得多个图像中的每一个的多个特征映射，投影多个特征映射到限定平面上，对投影特征映射进行组合，以及对组合投影特征映射进行卷积。多层卷积神经网络包括编码器-解码器网络。最终特征映射是水平不变的，系统还包括车道表示模块，车道表示模块配置为由最终特征映射确定车道的三维表示。系统还包括投影模块，投影模块配置为通过对特征映射中的至少一个进行单应性变换来投影特征映射中的至少一个。系统还包括控制系统，控制系统配置为使用车道信息调节车辆的操作。
在又一示例性实施例中，公开了一种车辆。车辆包括传感器、多层卷积神经网络以及控制系统。传感器配置为生成指示车辆的道路场景的图像。多层卷积神经网络配置为通过第一处理路径由图像生成多个特征映射，投影多个特征映射中的至少一个到与道路场景的限定坐标系相关的限定平面上以获得至少一个投影特征映射，在第二处理路径中对至少一个投影特征映射进行卷积，以获得最终特征映射，以及由最终特征映射确定车道信息。控制系统配置为使用车道信息调节车辆的操作。
除了本文描述的一个或多个特征之外，图像包括来自传感器的包含不同传感器模式的输入数据。在一个实施例中，图像包括多个图像，并且神经网络还配置为对多个图像中的每一个应用第一处理路径以获得多个图像中的每一个的多个特征映射，投影多个特征映射到限定平面上，对投影特征映射进行组合，以及对组合投影特征映射进行卷积。多层卷积神经网络包括编码器-解码器网络。最终特征映射是水平不变的，系统还包括车道表示模块，车道表示模块配置为由最终特征映射确定车道的三维表示。系统还包括投影模块，投影模块配置为通过对特征映射中的至少一个进行单应性变换来投影特征映射中的至少一个。
通过以下结合附图对本公开进行详细描述，本公开的上述特征和优点以及其他特征和优点将变得清楚明白。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参考附图，其中：
图1示出了根据本发明实施例的用于检测道路场景内车道的操作环境；
图2示出了图1中的车道检测系统的双神经网络及投影模块的操作结构；
图3示意性地示出了用于使用来自传感模式不同的传感器的成像数据检测和平面表示道路场景内车道的车道检测系统；
图4示出了关于图3讨论的车道信息系统的实现结果；
图5示意性地示出了使用编码器-解码器网络在车道信息系统中确定车道信息的系统；
图6示出了定位鸟瞰视图中由限定平面指示的车道标记的方法，该方法由车道表示模块执行；
图7A示出了说明可由车道表示模块确定的多个车道的顶视图表示；
图7B示出了图7B中的车道在地面实况数据上的投影；
图8A示出了用于生成三维车道表示的道路场景的图像；
图8B示出了图8A中的图像的三维图形；
图9示出了根据本公开各方面的用于检测和表示道路场景内车道的计算系统的示例的框图；以及
图10示出了说明实施例中用于检测道路场景内车道的方法的流程图。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，对应的附图标记表示相同或对应的零件和特征件。
在至少一些实施例中，本公开认识到并解决了在道路场景中检测车道的问题。本公开的实施例包括单独地或组合地允许或以其他方式促进检测道路场景内一组车道的系统、车辆和方法。更具体地，但不唯一地，双路径神经网络(DNN)可以对至少从道路场景的世界视图平面导出的第一特征映射和至少基于世界视图/全局坐标系内限定平面(例如，顶视图投影)的第二特征映射进行操作。DNN可以联合处理第一特征映射和第二特征映射以生成道路场景内一组车道的平面表示。虽然参考道路场景说明了本公开的一些实施例，但是本公开不限于此。实际上，本文公开的原理和实际要素可以应用于其他类型的道路场景，诸如街道场景、公路场景等。
参考附图，图1示出了根据实施例的用于检测道路场景105内车道的操作环境100。道路场景105包括由具有限定向量的全局坐标系G限定的体积，其中/>是横跨车辆152的视线的向量，/>是沿着车辆115的行进方向延伸的向量，并且/>是垂直延伸的向量。
道路场景105可以包括具有一组车道104(在一些情况下包括一个或多个边缘车道)的道路102。道路102还可以包括人行道部分或路肩部分，人行道部分或路肩部分中的任一个邻近道路。道路102还可以包括例如位于道路上和/或道路附近的多个物体。例如，第一物体可以是在道路102上相对于车辆115定位的车辆106(静止的或运动的)；第二物体可以是静止结构108，诸如树、电线杆、建筑物等；第三物体可以包括人110(行人或车辆(机动车辆或其他车辆)的操作者)。
车辆115可以检测道路102上的车道104。车辆115可以在穿越道路102时或在道路102上操纵(例如，停车)时检测车道104。在一些情况下，车辆115还可以在静止时检测车道104。车辆115包括传感平台120，传感平台120能够生成表示车辆115的环境的成像数据。成像数据可以由传感平台120检测到的信号生成。信号可以包括一种或多种类型的电磁(EM)信号(例如，可见光、红外光或无线电波)。更具体地，传感平台120可以包括传感器系统130，传感器系统130可以以限定的速率f(以频率为单位的实数)检测EM信号。因此，响应于检测到的EM信号而生成的成像数据(模拟的或数字的)可以被组织成帧。帧是或包括响应于在限定时刻或限定时间段内检测到的信号而生成的包含一个或多个数据集的数据结构。如此，帧对应于检测间隔期间的限定时刻。
传感器系统130可以包括多个提供(例如，生成和/或输出)传感器信号的传感器设备。传感器设备可以围绕车辆115布置或以其他方式配置。在一些实施例中，多个传感器设备可以是同类型的，并且可以生成限定类型的输出传感器信号。因此，传感器系统130可以生成限定类型的数据。例如，多个传感器设备中的每一个可以包括感测电磁(EM)辐射光谱可见部分中光子的相机设备，并且传感器系统130可以实现为相机系统，其生成表示或以其他方式指示车辆115相关区域的成像数据。作为另一示例，多个传感器设备中的每一个可包括光源设备(例如，红外激光设备)和光电探测器设备，并且传感器系统130可以实现为光检测及测距(LIDAR)传感器系统，其生成表示或以其他方式指示道路场景105的其他成像数据。
在其他实施例中，多个传感器设备可以是不同类型的，并且可以生成并输出各种类型的传感器信号。例如，多个传感器设备可以包括第一类型传感器设备和第二类型传感器设备。因此，在一个方面，传感器系统130由具有各自相应类型传感器设备的传感器系统构成。每个传感器系统实现或构成以限定成像模式操作的限定类型传感系统(例如，相机系统、雷达系统、LIDAR系统、声纳系统、热映射系统等)。因此，每个传感器系统可以提供表示道路场景105的限定类型成像数据。不管具体是何种传感结构/模式，传感器系统130可以提供(例如，发送和/或使其可获取)成像数据135，成像数据135在限定帧处指示或以其他方式表示道路场景105。
如图1所示，传感平台120包括车道检测系统140，车道检测系统140可以使用成像数据135的至少一部分来在全局坐标系G内的限定平面П上识别道路场景105内的车道104。在一些实施例中，限定平面П对应于道路场景105的顶视图投影。换言之，限定平面П是由向量和/>限定的平面(即，正交于向量/>)。更具体地，车道检测系统140包括在有利视点之间变换图像的双路径神经网络(DNN)模块144和投影模块148。DNN模块144和投影模块148可以输出表示在限定平面П上识别的一组车道的车道信息。该输出可用于处理由传感器系统130获得的成像数据135，以获得可用于确定车道信息160的平面车道表示150。车道信息160可以被保存为包含平面车道表示150的一个或多个数据结构。
车辆115包括通信耦合到车道检测系统140的控制系统117。控制系统117可以从车道检测系统140接收或访问诸如车道信息160的数据，并且可以基于车道信息160增强、自动化或以其他方式控制车辆115以导航道路102，例如以保持在车道104内等。
图2示出了车道检测系统140的DNN 200及投影模块148的操作结构。DNN 200包括第一处理路径230和第二处理路径240。第一路径230用于基于从视角在世界视图坐标系内的传感器系统130的传感器获得的图像，确定第一域(例如，世界视图域)中的特征映射。第二路径NN模块240对从顶视图有利视点或鸟瞰视图有利视点看到的图1的道路场景105在第二域或顶视图域(诸如平面П)内的特征映射进行操作。特征映射可以是指示图像中的通道和x、y坐标的三维张量。使用单应性变换由世界视图域中获得的特征映射获得顶视图域中的特征映射。
第一处理路径230包括卷积神经网络(CNN)，其在第一路径中生成相应的特征映射。第一处理路径230示出了从图1的传感器系统130获得的说明性图像202和从图像202获得的第一特征映射204。第一特征映射被提供给第一处理路径230的CNN，其对第一特征映射204进行卷积以获得第二特征映射206。继续该过程，对第二特征映射206进行卷积生成第三特征映射208，以及对第三特征映射208进行卷积生成第四特征映射210。
图1的投影模块148将对应于道路场景105的世界视图的平面内的第一点变换为限定平面П内的第二点。更具体地，投影模块148将由第一处理路径230生成的特征映射中的点p变换为限定平面П内的点p′。投影模块148可以通过将道路场景105的世界视图映射到限定平面П的限定单应性变换来将p变换为p′。因此，投影模块148可以从第一处理路径230接收特征映射，并将该特征图投影到限定平面П上，从而生成第二处理路径240中的投影特征映射。
对世界视图域中的特征映射204、206、208、210中的每一个进行单应性变换，以生成鸟瞰视图域中的投影特征映射。(单应变换由从特征映射204、206、208和210延伸的垂直箭头表示)。对第一特征映射204进行单应变换生成第一投影特征映射204p，对第二特征映射206进行单应变换生成第二投影特征映射206p，对第三特征映射208进行单应变换生成第三投影特征映射208p，以及对第四特征映射210进行单应变换生成另外的投影特征映射210p。虽然为了说明的目的在图2中示出了四个特征映射，但是可以使用沿第一路径230的CNN来生成任意数量的特征映射。
在第二处理路径240中，对第一投影特征映射204p进行卷积生成顶视图域240内的第二顶视图特征映射216。第二顶视图特征映射216表示第一特征映射204的单应性变换的卷积。同时，第二投影特征映射206p表示第一特征映射204的卷积的单应性变换。第二顶视图特征映射216与第二投影特征映射206p组合或级联，以获得组合特征映射206c。然后对组合的特征映射206c进行卷积，以生成第三顶视图特征映射218。第三顶视图特征映射218与第三投影特征映射208组合或级联，以形成组合特征映射208c，并且对组合特征映射208c进行卷积，以获得第四顶视图特征映射220。
第四顶视图特征映射220与第四投影特征映射210p组合或级联，以形成组合特征映射210c。在顶视图域中，在第二处理路径240中可自组合特征映射210c继续卷积，而无需进一步的级联步骤，从而将顶视图域中的特征映射的数量扩展到超过世界视图域的数量。这些增加的卷积减少了三维张量的y维，从而生成了由指示通道和x坐标限定的二维张量。在图2的说明性DNN中，第二处理路径240中的后续卷积生成第五顶视图特征映射222、第六顶视图特征映射224以及第七顶视图特征映射226。可从顶视图特征映射226确定道路场景105内的车道。
图3示意性地示出了用于图1中的车道检测系统140的系统300，系统300用于使用来自传感模式不同的传感器的成像数据检测和平面表示道路场景内的车道。将来自每个传感器的数据融合到公共二维(2D)坐标系(ê1,ê2)中。2D坐标系是正交的，并且允许表示顶视图平面(例如，限定平面П)内的位置矢量。
系统300包括通常传感模式不同的多个传感器系统，包括传感器系统3101、传感器系统3102、……、以及传感器系统310N。多个传感器系统中的每一个可以提供(例如，发送和/或使其可获取)在限定帧处表示道路场景(例如，图1中的道路场景105)的限定类型输入数据或图像。在一个实施例中，传感器系统3101提供图像3151；传感器系统3102提供图像3152，……，以及传感器系统310N提供图像315N。在一个实施例中，传感器系统3101、传感器系统3102和传感器系统310N分别实现或构成相机系统、LIDAR系统和雷达系统。在一些实施例中，图1的传感平台120可以仅具有两个传感器系统，例如传感器系统3101(例如，相机系统)和传感器系统3102(例如，LIDAR系统)。
车道检测系统140可以从传感器3101-310N接收图像3151-315N。车道检测系统140的DNN包括每个图像专用的单独的第一处理路径，以及对来自第一处理路径的融合数据进行操作的单一第二处理路径。在所示系统300中，车道检测系统140包括第一路径NN模块3201，第一路径NN模块3202、……、以及第一路径NN模块320N。第一路径NN模块3201-320N中的每一个接收各自的输入数据或图像3151-315N，并对接收到的图像3151-315N进行操作。在一些实施例中，对接收到的图像进行操作可以允许或以其他方式促进道路场景(例如，道路场景105)的语义分割。这样，第一路径NN模块3201-320N中的每一个可以包括例如具有多个层的CNN，这些层响应于对接收到的图像的操作而生成相应的特征映射3251-325N。因此，第一路径NN模块3201-320N中的每一个可以生成各自的特征映射3251-325N。每个特征映射3251-325N由对应于各个第一路径NN模块3201-320N的CNN层的操作产生。由于传感器系统3101、……、310N可以包括各种输入设备(例如，相机系统、LIDAR系统、雷达系统，等等)，所以与这些传感器系统3101、……、310N相关联的第一路径NN模块3201、……、320N可以包括适于对特定输入数据或图像(例如，相机系统、LIDAR系统、雷达系统，等等)进行语义分割的第一路径NN模块。
为了实现第二路径NN模块340，投影模块330接收特征映射3251-325N，并且使用本文讨论的单应性变换将组中的每个特征映射3251-325N变换为2D坐标系(ê1,ê2)中的限定平面上的投影特征映射。投影模块148将投影特征映射融合为与限定平面相关的合并投影特征映射335，并将合并投影特征映射335提供给第二路径NN模块340。在一些实施例中，第二路径NN模块340包括配置(例如，限定和/或训练)为至少基于合并投影特征映射335在2D坐标系(ê1,ê2)中的限定平面П上识别车道的CNN。第二路径NN模块340的输出可以包括表示在限定平面П上识别的一组车道的车道信息345(例如，数据和/或元数据)。
图4示出了关于图3讨论的车道信息系统140的实现结果。来自传感模式不同的传感器的图像402、404和406被组合以确定组合了来自所有三个图像402、404和406的信息的鸟瞰视图410。
图5示意性地示出了使用编码器-解码器网络在图1的车道信息系统140中确定车道信息的系统500。编码器-解码器系统500接收表示世界视图坐标系中的道路场景的图像502。编码器-解码器系统500包括具有编码器网络532和解码器网络534的卷积编-解码器。单应性变换模块550通过将编码器网络532中形成的至少一个特征映射投影到限定平面П上，来对对该特征映射进行变换，以在解码器网络534中形成对应的鸟瞰视图特征映射。
编码器网络532基于图像502生成特征映射序列。编码器网络532从图像502生成特征映射504a。通过应用卷积、随后进行批重归一化并应用修正线性-非线性(ReLU)来生成其他特征映射。特别地，对特征映射504a进行卷积、批重归一化以及ReLU以获得特征映射504b。编码器网络532示出了由特征映射504的子采样获得的特征映射506、由特征映射506的子采样获得的特征映射508、由特征映射508的子采样获得的特征映射510以及由特征映射510的子采样获得的特征映射512。
在每一级捕获并存储最大池化指标。执行最大池化以实现输入图像中小空间移位的平移不变性。最大池化在对特征映射进行子采样之前捕获并存储编码器特征映射中的边界信息。最大池化指标指示最大特征值在编码器特征映射的窗口中的位置。
解码器网络534重新生成图像以确定适于语义分割的特征映射522c。由特征映射514重新生成特征映射516，由特征映射516重新生成特征映射518，由特征映射518重新生成特征映射520，以及由特征映射520重新生成特征映射522a、522b和522c。在编码器网络532中的每一级获得的池化指标被用于解码器网络534的可比较级，从而获得可提供给分类层524用于语义分割的特征映射522a、522b和522c。举例来说，来自编码器网络532的初始级的池化指标504c被提供给解码器网络534的最终级。
分类层524确定表示最终特征映射522a、522b和522c中是否存在车道的置信度分数(c；实数)。系统500还可以包括车道表示模块536，其确定沿着与限定部分的方向正交的方向的对应参考点组。车道表示模块536输出投影到限定平面П上的区域的鸟瞰视图图像538；鸟瞰视图图像538包括车道标志或车道分隔符。关于图6描述车道表示模块536的操作。
图6示出了由限定平面П指示的车道标记的鸟瞰视图图像538。图5的车道表示模块536利用鸟瞰视图图像538确定或定位车道标记。鸟瞰视图图像538包括沿水平方向的第一轴e1和沿垂直方向的第二轴e2。车道表示模块536将第一轴e1划分为一组N个锚点{X1,X2,…,XN}，锚点沿着第一轴e1并且与沿着第二轴e2延伸的栏对应。沿第二轴e2定义一组K个位置{y1,y2,…,yK}。在每一栏{X1,X2,…,XN}内，车道表示模块536确定该栏中对应于位置{y1,y2,…,yK}是否存在车道标记(例如，分隔符602、中心线604)。车道表示模块536确定对应位置{y1,y2,…,yK}的车道标志{(x1,z1),(x2,z2),…,(xK,zK)}的水平和高度，以限定车道标志通过的一组三维点。{x1,x2,…,xK}的值是相对于锚点位置的水平偏移。因此，三维点的坐标可以写成{(Xn+x1,y1,z1),(Xn+x2,y2,z2),…,(Xn+xK,yK,zK)}。另外，对于每个锚或对应的栏，确定标记的置信度分数c。车道表示模块536将置信度分数c与限定阈值cth进行比较。对于置信度分数c大于或等于限定阈值cth的区间，车道表示模块536接受标记为位于栏内，并使用区间内的至少一组参考点来确定限定平面П内的车道的参数多项式表示。尽管在图6中仅示出了三个位置及相应的道路坐标，但是在可替换的实施例中可以选择任何数量的位置及道路坐标。使用三个或更多个位置及道路坐标允许通过道路坐标拟合多项式，以确定三维车道。确定车道标志的过程是水平不变的。
图7A示出了说明可由图5的车道表示模块536确定的多个车道的顶视图表示700。车道检测系统140将图7A中的车道组投影到包括检测到的车道组的道路场景的世界视图上。图7B示出了该投影的结果，道路场景中车道的地面实况数据(空心圆702)与检测到的车辆投影(粗线704)重叠。
图8示出了使用本文公开的方法的三维道路车道确定结果。图8A示出了用于生成三维车道表示的道路场景的图像802。图8B示出了图8A的图像802的三维图形804。在三维图形804中示出了路面实况车道806标记。在三维图形804中还示出了使用本文公开的方法获得的三维车道表示808。
图9示出了根据本公开各方面的用于检测和表示道路场景内车道的计算系统910的示例的框图。计算系统910可以包括一个或多个处理器920以及一个或多个存储器设备940(一般称为存储器940)，存储器设备940包括可以由处理器920中的至少一个访问和执行的机器可访问指令(例如，计算机可读和/或计算机可执行指令)。在一个示例中，处理器920可实现或构成图形处理单元(GPU)、多个GPU、中央处理单元(CPU)、多个CPU、专用集成电路(ASIC)、微控制器、可编程逻辑控制器(PLC)、现场可编程门阵列(FPGA)及其组合等。在一些实施例中，处理器920可以被设置在单个计算装置(例如，电子控制单元(ECU)和车载信息娱乐(ICI)系统等)中。在其他实施例中，处理器920可分布在两个或两个以上计算装置(例如，多ECU；ICI系统与一个或多个ECU的组合；等等)。
处理器920可以通过通信结构930功能耦合到存储器940。通信结构930适用于处理器920的特定布置(本地化或分布式)。在一些实施例中，通信结构930可以包括一种或多种总线结构，诸如基于以太网的工业总线、控制器局域网(CAN)总线、Modbus以及其他类型的现场总线结构等。
存储器940包括车道检测系统140。这样，机器可访问指令(例如，计算机可读和/或计算机可执行指令)实现或以其他方式构成车道检测系统140。机器可访问指令被编码在存储器940中，并且可以设置在能够以计算机可执行的形式内置(例如，链接和编译)并保存在存储器940(如图所示)或一个或多个其他机器可访问非瞬态存储介质中的组件中。根据本公开的各方面，处理器920中的至少一个可以执行车道检测系统140以使计算系统910检测和/或表示道路场景内的一组车道。
类似地，存储器940还可以保存或存储控制系统950。这样，机器可访问指令(例如，计算机可读和/或计算机可执行指令)实现或以其他方式构成控制系统950。同样，机器可访问指令被编码在存储器940中，并且可以设置在能够以计算机可执行的形式内置(例如，链接和编译)并保存在存储器940(如图所示)或一个或多个其他机器可访问非瞬态存储介质中的组件中。一个或多个处理器920中的至少一个可以执行控制系统950以使计算系统910实现控制过程来调整或以其他方式控制例如图1的车辆115或其他类型的车辆的操作。为此，在一个方面中，控制过程可以利用或以其他方式依赖于由车道检测系统140生成的一条或多条车道的表示。
虽然未在图9中示出，但是计算系统910还可以包括其他类型的计算资源(例如，接口(诸如I/O接口)；控制器装备；电源；等等)，其可以允许或以其他方式促进软件组件的执行。为此，例如，存储器940还可以包括编程接口(诸如应用编程接口(API))、操作系统以及固件等。
图10示出了说明在本发明实施例中用于检测道路场景内车道的方法1000的流程图。在框1002处，在车辆的传感器处获得指示车辆的道路场景的图像。图像可以是单个图像或多个图像。多个图像可以从传感器模式不同的传感器获得。在框1004，将多层卷积神经网络应用于图像，其中神经网络的第一处理路径由图像生成多个特征映射。在框1006，投影多个特征映射到与道路场景的限定坐标系相关的限定平面上以获得投影特征映射。在框1008，神经网络的第二处理路径对投影特征映射进行卷积以获得最终特征映射。在框1010，由最终特征映射确定车道信息。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员应当理解，在不脱离本公开范围的情况下，可以进行各种改变并且可以用等同物替换其元件。此外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本公开旨在不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于导航车辆的方法，包括：
获取图像，所述图像指示在所述车辆的传感器处的道路场景；
通过多层卷积神经网络的第一处理路径由所述图像生成第一特征映射；
通过多层卷积神经网络的第一处理路径对第一特征映射进行卷积以生成第二特征映射；
投影所述第一特征映射到与所述道路场景的限定坐标系相关的限定平面上以获得第一投影特征映射；
在所述多层卷积神经网络的第二处理路径中对所述第一投影特征映射进行卷积以获得第一顶视图特征映射；
投影所述第二特征映射到与所述道路场景的限定坐标系相关的限定平面上以获得第二投影特征映射；
将第一顶视图特征映射与第二投影特征映射组合以获得第一组合特征映射；以及
由所述第一组合特征映射确定车道信息。
2.如权利要求1所述的方法，所述方法还包括：
通过多层卷积神经网络的第一处理路径对第二特征映射进行卷积以生成第三特征映射；
投影所述第三特征映射到与所述道路场景的限定坐标系相关的限定平面上以获得第三投影特征映射；
在所述多层卷积神经网络的第二处理路径中对所述第一组合特征映射进行卷积以获得第二顶视图特征映射；
将第二顶视图特征映射与第一组合特征映射组合以获得第二组合特征映射；以及
由所述第二组合特征映射确定车道信息。
3.如权利要求1所述的方法，其中，所述多层卷积神经网络包括编码器-解码器网络。
4.如权利要求1所述的方法，其中，所述第一组合特征映射是水平不变的，并且确定车道信息还包括确定所述车道的三维表示。
5.如权利要求1所述的方法，其中，投影相应特征映射包括对相应特征映射进行单应性变换。
6.一种用于操作车辆的系统，包括：
所述车辆的传感器，其配置为生成指示所述车辆的道路场景的图像；
多层卷积神经网络，其配置为：
通过多层卷积神经网络的第一处理路径由所述图像生成第一特征映射；
通过多层卷积神经网络的第一处理路径对第一特征映射进行卷积以生成第二特征映射；
投影所述第一特征映射到与所述道路场景的限定坐标系相关的限定平面上以获得第一投影特征映射；
在所述多层卷积神经网络的第二处理路径中对所述第一投影特征映射进行卷积以获得第一顶视图特征映射；
投影所述第二特征映射到与所述道路场景的限定坐标系相关的限定平面上以获得第二投影特征映射；
将第一顶视图特征映射与第二投影特征映射组合以获得第一组合特征映射；以及
由所述第一组合特征映射确定车道信息。
7.如权利要求6所述的系统，其中，所述神经网络还配置为：
通过多层卷积神经网络的第一处理路径对第二特征映射进行卷积以生成第三特征映射；
投影所述第三特征映射到与所述道路场景的限定坐标系相关的限定平面上以获得第三投影特征映射；
在所述多层卷积神经网络的第二处理路径中对所述第一组合特征映射进行卷积以获得第二顶视图特征映射；
将第二顶视图特征映射与第一组合特征映射组合以获得第二组合特征映射；以及
由所述第二组合特征映射确定车道信息。
8.如权利要求6所述的系统，其中，所述多层卷积神经网络包括编码器-解码器网络。
9.如权利要求6所述的系统，其中，所述第一组合特征映射是水平不变的，所述系统还包括车道表示模块，所述车道表示模块配置为由所述第一组合特征映射确定所述车道的三维表示。
10.如权利要求6所述的系统，还包括：投影模块，所述投影模块配置为通过对相应特征映射进行单应性变换来投影相应特征映射。
CN201910490251.5A 2018-11-13 2019-06-06 道路场景中三维车道的检测及平面表示 Active CN111178122B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/189,078 US11003920B2 (en) 2018-11-13 2018-11-13 Detection and planar representation of three dimensional lanes in a road scene
US16/189078 2018-11-13

Publications (2)

Publication Number Publication Date
CN111178122A CN111178122A (zh) 2020-05-19
CN111178122B true CN111178122B (zh) 2024-05-03

Family

ID=70469001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910490251.5A Active CN111178122B (zh) 2018-11-13 2019-06-06 道路场景中三维车道的检测及平面表示

Country Status (3)

Country Link
US (1) US11003920B2 (zh)
CN (1) CN111178122B (zh)
DE (1) DE102019114622A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699064B2 (en) * 2019-04-23 2023-07-11 Arm Limited Data processing using a neural network system
US11182652B2 (en) * 2019-08-16 2021-11-23 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and system for inferring perception based on augmented feature maps of a perception network
US11455813B2 (en) * 2019-11-14 2022-09-27 Nec Corporation Parametric top-view representation of complex road scenes
US11100344B2 (en) 2019-11-21 2021-08-24 GM Global Technology Operations LLC Image-based three-dimensional lane detection
US20220144256A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. Divide-and-conquer for lane-aware diverse trajectory prediction
JP7423500B2 (ja) 2020-12-09 2024-01-29 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび車両制御システム
DE102021117945A1 (de) 2021-07-12 2023-01-12 Bayerische Motoren Werke Aktiengesellschaft Bereitstellen kombinierter Karteninformationen
CN114782915B (zh) * 2022-04-11 2023-04-07 哈尔滨工业大学 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备
DE102022110232A1 (de) 2022-04-27 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren und vorrichtung zur ermittlung eines von einem kraftfahrzeug befahrbaren pfades oder einer semantischen segmentierungskarte mit blick aus einer vogelperspektive auf das kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915532A (zh) * 2011-06-30 2013-02-06 哈曼贝克自动系统股份有限公司 确定车辆视觉系统外部参数的方法以及车辆视觉系统
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统
CN108334802A (zh) * 2017-01-20 2018-07-27 腾讯科技（深圳）有限公司 道路特征物的定位方法及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
US20130063575A1 (en) * 2011-09-14 2013-03-14 Broadcom Corporation System and method for viewing angle compensation for polarized three dimensional display
US9538144B2 (en) * 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
EP3164859B1 (en) * 2014-07-03 2022-08-31 GM Global Technology Operations LLC Vehicle radar methods and systems
US10318824B2 (en) * 2014-07-23 2019-06-11 GM Global Technology Operations LLC Algorithm to extend detecting range for AVM stop line detection
US20170300763A1 (en) * 2016-04-19 2017-10-19 GM Global Technology Operations LLC Road feature detection using a vehicle camera system
US10336326B2 (en) * 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods
US11761790B2 (en) * 2016-12-09 2023-09-19 Tomtom Global Content B.V. Method and system for image-based positioning and mapping for a road network utilizing object detection
US10421459B2 (en) * 2016-12-20 2019-09-24 GM Global Technology Operations LLC Contextual-assessment vehicle systems
US10410322B2 (en) * 2017-04-05 2019-09-10 Here Global B.V. Deep convolutional image up-sampling
US10402995B2 (en) * 2017-07-27 2019-09-03 Here Global B.V. Method, apparatus, and system for real-time object detection using a cursor recurrent neural network
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
WO2019071212A1 (en) * 2017-10-06 2019-04-11 Netradyne Inc. SYSTEM AND METHOD FOR DETERMINING A CURVE
US20190147255A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Systems and Methods for Generating Sparse Geographic Data for Autonomous Vehicles
US11080537B2 (en) * 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US20180074506A1 (en) * 2017-11-21 2018-03-15 GM Global Technology Operations LLC Systems and methods for mapping roadway-interfering objects in autonomous vehicles
US10657390B2 (en) * 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US10442444B1 (en) * 2018-08-06 2019-10-15 Denso International America, Inc. Vehicle behavior and driver assistance modules for a mobile network device implementing pseudo-vehicle behavior signal generation based on mobile sensor signals
KR20200030305A (ko) * 2018-09-12 2020-03-20 삼성전자주식회사 영상 처리를 위한 학습 데이터 생성 방법, 영상 처리 방법, 및 그 장치들
US10984659B2 (en) * 2018-09-13 2021-04-20 Volvo Car Corporation Vehicle parking availability map systems and methods
US10957317B2 (en) * 2018-10-18 2021-03-23 Ford Global Technologies, Llc Vehicle language processing
US10311324B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device for detecting objectness by detecting bottom lines and top lines of nearest obstacles and testing method, testing device using the same
US10551846B1 (en) * 2019-01-25 2020-02-04 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting road user events using double embedding configuration in multi-camera system and testing method and testing device using the same
US10410352B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and learning device for improving segmentation performance to be used for detecting events including pedestrian event, vehicle event, falling event and fallen event using edge loss and test method and test device using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915532A (zh) * 2011-06-30 2013-02-06 哈曼贝克自动系统股份有限公司 确定车辆视觉系统外部参数的方法以及车辆视觉系统
CN108334802A (zh) * 2017-01-20 2018-07-27 腾讯科技（深圳）有限公司 道路特征物的定位方法及装置
CN107092862A (zh) * 2017-03-16 2017-08-25 浙江零跑科技有限公司 一种基于卷积神经网络的车道边缘检测方法
CN107577996A (zh) * 2017-08-16 2018-01-12 中国地质大学（武汉） 一种车辆驾驶路径偏移的识别方法及系统

Also Published As

Publication number Publication date
US11003920B2 (en) 2021-05-11
DE102019114622A1 (de) 2020-05-14
CN111178122A (zh) 2020-05-19
US20200151465A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
CN111178122B (zh) 道路场景中三维车道的检测及平面表示
US20210365750A1 (en) Systems and methods for estimating future paths
CN111442776B (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
US11417017B2 (en) Camera-only-localization in sparse 3D mapped environments
US11436743B2 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
TWI722355B (zh) 用於基於障礙物檢測校正高清晰度地圖的系統和方法
US9619719B2 (en) Systems and methods for detecting traffic signs
CN111874006B (zh) 路线规划处理方法和装置
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
US10402665B2 (en) Systems and methods for detecting traffic signs
US11341754B2 (en) Method and apparatus for auto calibration
US20220057806A1 (en) Systems and methods for obstacle detection using a neural network model, depth maps, and segmentation maps
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
KR102541560B1 (ko) 객체 인식 방법 및 장치
WO2017042224A1 (en) Method for generating an environmental map of an environment of a motor vehicle based on an image of a camera, driver assistance system as well as motor vehicle
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
CN111091037A (zh) 用于确定驾驶信息的方法和设备
WO2021110497A1 (en) Estimating a three-dimensional position of an object
CN115147328A (zh) 三维目标检测方法及装置
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
CN111833443A (zh) 自主机器应用中的地标位置重建
US20210190509A1 (en) Position estimating apparatus and position estimating method
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
CN113840079A (zh) 对从无人驾驶车辆相机所获取的图像的划分

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant