CN108470147A - 使用单目摄像机和深度学习的自由空间检测 - Google Patents

使用单目摄像机和深度学习的自由空间检测 Download PDF

Info

Publication number
CN108470147A
CN108470147A CN201810147965.1A CN201810147965A CN108470147A CN 108470147 A CN108470147 A CN 108470147A CN 201810147965 A CN201810147965 A CN 201810147965A CN 108470147 A CN108470147 A CN 108470147A
Authority
CN
China
Prior art keywords
image
cnn
described image
discrete
height
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810147965.1A
Other languages
English (en)
Inventor
莫森·拉克哈尔·阿亚特
马修·庄
亚历山德鲁·米哈伊·古尔吉安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108470147A publication Critical patent/CN108470147A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

根据一个实施例，一种用于检测车辆附近的自由空间的方法包括获得车辆附近区域的图像。该方法包括基于图像产生多个输出，每个输出指示可驾驶区域的边界所在的图像的图像列的高度。该方法还包括基于多个输出来选择车辆保持在可驾驶区域内的驾驶指示或驾驶操纵。

Description

使用单目摄像机和深度学习的自由空间检测
技术领域
本公开总体上涉及用于自由空间检测的方法、系统和装置，并且更具体地涉及使用单目摄像机图像和深度学习来进行自由空间检测的方法、系统和装置。
背景技术
汽车为商业、政府和私人实体提供很大一部分运输。目前正在开发和部署自主车辆和驾驶辅助系统以提供安全性、减少所需的用户输入量甚至完全消除用户参与。例如，诸如防撞系统的一些驾驶辅助系统可以在人类驾驶时监控车辆的驾驶、位置和速度以及其他物体。当系统检测到即将发生碰撞或撞击时，防撞系统可能会介入并施加制动、转向车辆或执行其他回避或安全操作。作为另一个示例，自主车辆可以在很少或没有用户输入的情况下驾驶和导航车辆。为了使自动驾驶系统或驾驶辅助系统能够安全地导航道路或驾驶路线，通常需要准确和快速地检测可驾驶的表面或区域。
发明内容
根据本发明，提供一种用于检测车辆附近的自由空间的方法，所述方法包括：
获得车辆附近区域的图像；
基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及
基于所述多个输出来选择用于所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。
根据本发明的一个实施例，该方法还包括使用卷积神经网络(CNN)和输出层处理所述图像，其中生成所述多个输出包括使用所述输出层生成。
根据本发明的一个实施例，该方法还包括提供所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配所述CNN的输入层的尺寸。
根据本发明的一个实施例，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：
驾驶环境的多个图像；以及
标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶动区域的边界所在的离散行的值。
根据本发明的一个实施例，该方法还包括训练所述CNN。
根据本发明的一个实施例，其中生成每个指示高度的多个输出包括生成与图像的离散行的数量相对应的离散高度，其中图像的离散行的数量小于图像的像素行的数量。
根据本发明的一个实施例，其中图像列的数量小于图像的像素列的数量。
根据本发明，提供一种用于检测车辆附近的自由空间的系统，所述系统包括：
传感器组件，所述传感器组件被配置为获得车辆附近区域的图像；
自由空间组件，所述自由空间组件被配置为基于所述图像生成多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的图像的图像列的高度；以及
操纵组件，所述操纵组件被配置为基于所述多个输出来选择所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。
根据本发明的一个实施例，其中所述自由空间组件使用卷积神经网络(CNN)和输出层来处理所述图像，其中所述输出层生成多个输出；
根据本发明的一个实施例，其中自由空间组件被配置为接收图像的每个像素作为CNN的输入，其中图像包括缩放或裁剪版本以匹配输入层的尺寸。
根据本发明的一个实施例，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：
驾驶环境的多个图像；以及
标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶区域的边界所在的离散行的值。
根据本发明的一个实施例，其中高度指示对应于图像的离散行的数量的离散高度，其中图像的离散行的数量小于图像的像素行的数量。
根据本发明的一个实施例，其中图像列的数量少于图像的水平像素列的数量。
根据本发明，提供一种存储指令的非临时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：
获得车辆附近区域的图像；
基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及
基于所述多个输出来选择所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。
根据本发明的一个实施例，其中所述一个或多个指令使所述一个或多个处理器使用卷积神经网络(CNN)和输出层处理所述图像，其中所述指令使得所述一个或多个处理器使用所述输出层来生成所述多个输出。
根据本发明的一个实施例，其中所述一个或多个指令还使得所述一个或多个处理器提供所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配所述CNN的输入层的尺寸。
根据本发明的一个实施例，其中CNN包括基于训练数据训练的CNN，所述训练数据包括：
驾驶环境的多个图像；以及
标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶区域的边界所在的离散行的值，其中所述标记数据对应于所述多个输出。
根据本发明的一个实施例，其中所述一个或多个指令还使所述一个或多个处理器训练所述CNN。
根据本发明的一个实施例，其中一个或多个指令使得一个或多个处理器通过生成对应于图像的离散行的数量的离散高度来生成每个指示高度的多个输出，其中图像的离散行的数量小于图像的像素行的数量。
根据本发明的一个实施例，其中图像列的数量小于图像的像素列的数量。
附图说明
参考以下附图来描述本公开的非限制性和非穷举性实施方式，其中在各个视图中相同的附图标记指代相同的部分，除非另有说明。参照以下描述和附图，本公开的优点将变得更好理解，其中：
图1是示出包括自动驾驶/辅助系统的车辆控制系统的实施方式的示意性框图；
图2示出了根据一个实施方式的用于使图像离散化的网格；
图3、4和5示出了根据一个实施方式的具有反映可驾驶表面边界的离散位置的重叠标记的捕获图像；
图6、7、8、9、10和11示出了根据一个实施例的连接推断边界标记的边界线；
图12是示出根据一个实施方式的通过用于自由空间或可驾驶表面检测的神经网络的信息流的示意性流程图；
图13是示出根据一个实施方式的可驾驶区域组件的组件的示意性框图；
图14是示出根据一个实施方式的用于自由空间检测的方法的示意性流程图；以及
图15是示出根据一个实施方式的计算系统的示意性框图。
具体实施方式
可驾驶的表面或区域的定位是允许和改进自主车辆的操作或驾驶员辅助功能的重要部分。例如，车辆必须精确地知道在哪里有障碍物或可驾驶表面，以安全地导航。然而，当没有深度或先前的地图信息可用时，估计可驾驶表面是具有挑战性的，并且简单的颜色阈值解决方案不能产生稳健的解决方案。
申请人已经开发了用于自由空间检测的系统、方法和设备。在一个实施例中，可以使用单个摄像机图像来执行自由空间检测。例如，对于给定的摄像机图像，如本文所公开的自由空间检测可以指示车辆能够在撞击障碍物或离开可驾驶表面之前在每个图像列内行进多远。根据一个实施例，一种用于检测车辆附近的自由空间的系统包括传感器组件、自由空间组件和操纵组件。传感器组件被配置为获得车辆附近区域的图像。自由空间组件被配置为基于图像生成多个输出，每个输出指示可驾驶区域的边界所位于的图像的图像列的高度。操纵组件被配置成基于多个输出来选择车辆保持在可驾驶区域内的行驶指示或驾驶操纵。
将结合下面的附图讨论另外的实施例和示例。
现在参照附图，图1示出了可用于自动定位车辆的示例车辆控制系统100。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或向人类驾驶员提供辅助。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电或任何其他辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102可能不能够提供对驾驶(例如转向、加速或制动)的任何控制，但是可以提供通知和警报以辅助驾驶员安全驾驶。自动驾驶/辅助系统102可以使用神经网络或其他模型或算法来基于由一个或多个传感器收集的感知数据来检测或定位物体。
应该理解的是，图1的实施例仅作为示例给出。在不脱离本公开的范围的情况下，其他实施例可以包括更少或附加的组件。另外，所示组件可以被组合或被包括在其它组件中而没有限制。
车辆控制系统100还包括用于检测在主车辆(例如包括车辆控制系统100的车辆)的传感器范围内或附近的物体的存在的一个或多个传感器系统/设备。例如，车辆控制系统100可以包括一个或多个雷达系统106、一个或多个激光雷达系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或一个或多个超声波系统114。车辆控制系统100可以包括用于存储用于导航和安全的相关或有用数据(例如地图数据、驾驶历史或其他数据)的数据存储器116。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其他通信系统进行无线通信的收发器118。
车辆控制系统100可以包括车辆控制致动器120，以控制诸如马达、开关或其他致动器的车辆的驾驶的各个方面，以控制制动、加速、转向等等。车辆控制系统100还可以包括一个或多个显示器122、扬声器124或其他设备，以便可以将通知提供给人类驾驶员或乘客。显示器122可以包括抬头显示器、仪表板显示器或指示器、显示屏或者可以由车辆的驾驶员或乘客看见的任何其他视觉指示器。扬声器124可以包括车辆的音响系统的一个或多个扬声器，或者可以包括专用于驾驶员通知的扬声器。
在一个实施例中，自动驾驶/辅助系统102被配置为控制主车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以在道路、停车场、车道或其他位置的路径上驾驶。例如，自动驾驶/辅助系统102可以基于由组件106-118中的任何组件提供的信息或感知数据来确定路径。传感器系统/设备106-110和114可以用于获得实时传感器数据，使得自动驾驶/辅助系统102可以实时辅助驾驶员或驾驶车辆。
在一个实施例中，车辆控制系统100包括基于摄像机图像检测自由空间的可驾驶区域组件104。在一个实施例中，可驾驶区域组件104使用卷积神经网络(CNN)基于单目摄像机图像准确地检测自由空间。CNN可以接收整个图像作为输入(具有缩放或裁剪以匹配CNN的输入大小)，并且估计车辆能够沿着该图像列驾驶多远的特定数量的列，而不离开可驾驶的表面或撞到障碍物。在一个实施例中，CNN立刻推论完整输入图像，并且不被用作本地道路/非道路分类器。具体而言，CNN一起接收并处理输入图像的每个像素，而不是作为图像的单独的bin(二进制)或部分的一部分，这可以导致更智能的边界检测。
在一个实施例中，图像沿着宽度和高度被离散化。图2是示出图像如何离散化的网格200。网格200包括19列和25行内的单元202或bin。在一个实施例中，对于475×125大小的图像，每列宽25像素，每行高5像素。该离散化仅作为一个实施例的示例给出，而不是作为所有实施例的限制。在其他实施例中，用于离散化的列和行的数量可以根据需要而变化。例如，可以基于用于自由空间检测的期望的水平分辨率来调整列的数量，并且可以基于用于自由空间检测的垂直分辨率来调整行的数量。
图3-5示出了具有基于图2的网格200反映离散化的重叠标记的捕获图像。图3是示出可由车辆的图像传感器捕获的示例前视图的图像300。图像300被显示为用每个图像列(由虚线304界定)的标记302重叠。标记302可以指示标记302下方的可驾驶表面(即自由空间或可驾驶自由空间)和每个特定图像列的标记302上方或标记302处的不可驾驶表面或障碍物之间的边界。例如，标记302下方的区域可以是车辆可驾驶的可驾驶表面，而不会离开驾驶表面或撞击物体、障碍物、人员等。图4是示出具有指示可驾驶表面的边界的重叠标记402的示例前视图的另一图像400。图5是示出具有指示可驾驶表面的边界的重叠标记502的示例前视图的另一图像500。
至少一个提出的算法的目标是在车辆可以驾驶到的离散空间中找到图像而不违反自由空间/无障碍约束。在一个实施例中，系统或方法可以使用卷积神经网络(CNN)来解决该问题。
在一个实施例中，问题可以如下形式化：列i∈[1，19]内的可驾驶距离由随机变量Xi∈[0，25]建模。目标是估计给定图像I的后验分布P(Xi＝k|I)。用于估计概率分布的神经网络可以基于常用的AlexNet架构作为特征提取器来设计。将交叉熵损失函数(cross-entropy loss function)单独应用于每列，并且通过对各个损失函数进行平均来构建最终的网络损失。形式上，使用等式1获得最终网络损失L：
等式1：
其中Pgt(X＝j|I)是从训练数据(例如图3-5中的圆圈标记302、402、502)提供的地面实况，并且其中Pnn(X＝j|I)是图像的当前网络输出。损失函数应用在最终完全连接层的顶部。在测试中，网络在NVIDIA Drive上以15毫秒的推断时间实时运行。该方法实现了图6-11中显示的结果。应该注意的是，可驾驶的表面边界的这些推断是基于没有对应的立体图像或先前或之后的图像的单个图像进行的。由于一次只处理一个图像，可以实现所需的处理能力和处理时间的减少。此外，在没有昂贵的传感器如立体摄像机或激光雷达传感器的情况下，可以实现检测自由空间的良好性能。
图6-11示出了在测试期间获得的结果。在图6中，实线602示出了连接推断边界标记的边界线。实线602下方的区域被推断为可驾驶表面。在图7中，实线702示出了连接推断边界标记的边界线。在图8中，实线802示出了连接推断边界标记的边界线。在图9中，实线902示出了连接推断边界标记的边界线。在图10中，实线1002示出了连接推断边界标记的边界线。在图11中，实线1102示出了连接推断边界标记的边界线。
图12是示出根据一个实施例的通过用于自由空间或可驾驶表面检测的神经网络的信息流的示意框图1200。相对于CNN 1202、一个或多个转换层1204以及一个或多个输出层1206示出了信息流，其可以被包括作为可驾驶区域组件或其他系统的一部分或可被可驾驶区域组件或其他系统访问，诸如图1的可驾驶区域组件104或自动驾驶/辅助系统102。可驾驶区域组件104可以接收摄像机图像。摄像机图像可以是来自单目摄像机或者可以是来自任何其他类型的摄像机的图像，其中捕获的图像可以与其他图像分开分析。CNN 1202、转换层1204和/或输出层1206可以基于特定数量的图像列(i)和图像行(j)进行假设或可能已经被训练。例如，训练数据可能已经基于假定的列数(i)和行数(j)被标记，并且在训练CNN1202、转换层1204和/或输出层1206期间被用作训练数据。在一个实施例中，在训练中使用的离散化使CNN 1202、转换层1204和/或输出层1206基于使用期间的相同离散化来操作。
CNN 1202可以包括具有一个或多个卷积层的神经网络。在一个实施例中，卷积层包括多个节点，其从前一层获取来自多个节点中的每一个的输入，并将输出提供给后续层的多个节点。摄像机图像可以被下采样、裁剪等以匹配CNN 1202的尺寸。例如，CNN 1202可以具有固定数量的输入。在一个实施例中，CNN 1202包括输入层和五个或更多个卷积层。基于图像大小(例如以像素为单位)的最佳分类能力等，层的数量可以显著变化。CNN 1202处理输入并将多个输出提供给转换层1204。转换层1204可以提供从CNN 1202到输出层1206的映射。例如，转换层1204可以简单地将CNN 1202的输出映射成可以由输出层1206处理的形式。
在一个实施例中，输出层1206可以包括与训练期间使用的图像列(i)的数量匹配的多个节点以及多个输出I。输出层1206可以输出具有从J个图像行中选择的值的I输出值。每个I输出可以包括指示距检测到第一不可驾驶表面或非自由空间位置的图像底部的距离(对应于离散行)的整数值。例如，对于每个对应的图像，每个输出可以指示对应于图3-5的标记302、402、502的位置。每个输出可以是0到J之间的整数或连续值，其中J是离散行数。基于这些标记，车辆控制系统100或其他系统可以确定车辆的当前位置与可驾驶表面边界之间的距离。例如，车辆控制系统100可以推断在离开可驾驶表面或撞击物体之前其可以至少驾驶到与该特定图像列中的离散行相对应的位置。到标记的距离可以基于获得图像的摄像机的角度、道路表面的曲率等来计算。
本文公开的实施例允许检测车辆前方的自由空间，而不使用例如由激光雷达、雷达或立体摄像机捕获的深度图。单个单目摄像机可以用来捕获车辆前方的路径或空间的图像。从单目摄像机捕获的图像被处理为CNN的输入。CNN沿着宽度和高度离散整个捕获的图像，并将其等分为多个列/段。该算法用于在离散图像中找到在每个列/段中车辆可以行驶的距离而不离开自由空间/没有障碍物约束。用于估计概率分布的神经网络可以使用AlexNet架构作为特征提取器，输出层为每个图像列提供输出。交叉熵损失函数可以单独用于每个列，并且通过对各个损失函数进行平均来构建最终的网络损失。
CNN 1202、转换层1204和/或输出层1206在现场或当场使用之前被训练。在一个实施例中，可以使用训练数据来训练包括CNN 1202、转换层1204和/或输出层1206的神经网络，该训练数据包括具有用于作为标记的每个图像列的对应值的图像。例如，标记数据可以包括19个值，每个值具有指示距图像底部的高度(离散行)的值。可以使用各种已知的训练算法(例如反向传播算法)来训练神经网络以提供准确的输出。一旦获得足够的准确度，神经网络可以在车辆内部署，以在驾驶或车辆操作期间进行自由空间检测。
转到图13，示出了根据一个实施例的可驾驶区域组件104的组件的示意性框图。可驾驶区域组件104可以根据本文讨论的任何实施例或功能确定车辆的当前位置与车辆前方、后方或周围的一个或多个指示之间的自由空间量。可驾驶区域组件104包括传感器组件1302、自由空间组件1304和操纵组件1306。组件1302-1306仅作为说明给出，并不一定全部包含在所有实施例中。实际上，一些实施例可以仅包括组件1302-1306中的一个或组件1302-1306中的两个或更多个的任何组合。例如，一些组件可以位于可驾驶区域组件104的外部或与可驾驶区域组件104分离。
传感器组件1302从系统获得来自一个或多个传感器的传感器数据。例如，传感器组件1302可以获得车辆附近区域的图像。图像可以是来自单目摄像机的图像。传感器组件1302可以使用非立体摄像机或其他简单的摄像机来捕获图像。因为一些实施例可以在没有立体或视频摄像机的情况下执行自由空间检测，所以可以使用具有廉价传感器的摄像机。
自由空间组件1304被配置为基于图像生成多个输出，每个输出指示可驾驶区域的边界所在的图像的图像列的高度。自由空间组件1304可以包括或使用神经网络来生成多个输出。神经网络可以包括CNN和输出层。输出层可以输出和/或产生多个输出。在一个实施例中，自由空间组件被配置为接收图像的每个像素作为CNN的输入。图像可以是缩放的、裁剪的或者下采样的版本以匹配神经网络的输入层的尺寸。
神经网络的高度或输出可以指示对应于图像的离散行数量的离散高度。例如，图像的离散行的数量可以小于图像的像素行的数量。基于离散行和/或列处理图像可以显著提高训练和现场使用的准确性和速度的性能，因为不需要每像素标记或边界。例如，像素与离散化的行比率可以是2比1或更大、3比1或更大、4比1或更大、5比1或更大等。作为另一个示例，像素与离散化的列比率可以是2比1或更大、3比1或更大、4比1或更大、5比1或更大、10比1或更大、15比1或更大、20比1或更大、25比1或更大等。在图像列的数量少于图像的水平像素列(或行)的数量的实施例中，由于仅需要少量列的输出，所以显著节省处理量。此外，当输出具有小于像素行数量的离散值时，也实现了计算节省。这些性能优势可以在训练或现场使用期间实现。
在一个实施例中，神经网络包括基于已经基于离散格式标记的训练数据训练的神经网络。例如，训练数据可以包括驾驶环境的多个图像。训练数据还可以包括指示每个图像的标记数据。标记数据可以包括针对多个图像中的每一个的每个离散图像列的离散高度，其包括用于可驾驶区域的边界所位于的离散行的值。例如，图像数据可以包括图3-5的图像中的一个图像和包括19个值的标记数据，19个值中的每一个可以包括0-25范围内的整数，以指示边界、不可驾驶表面、物体等所在的行。例如，19个值可以包括指示每个图像的每个标记302、402、502的高度的整数。基于这些数据，可以训练神经网络。
操纵组件1306基于由自由空间组件1304生成的多个输出来选择车辆保持在可驾驶区域内的驾驶指示或驾驶操纵。驾驶操纵可以包括任何车辆操纵，诸如制动、加速、转向或另一操纵。例如，操纵组件1306可以确定在到达驾驶表面的边界之前，车辆可以在每个图像列中驾驶的距当前位置的距离。由于输出可以实时生成，因此操纵组件1306可以考虑最近的变化或由自由空间组件1304生成的信息。因此，用非常小的处理能力和便宜的传感器来制动以避开物体、路沿或其他不可驾驶表面是可能的。
图14是示出用于确定可驾驶区域或表面的边界的位置的方法1400的示意性流程图。方法1400可以由可驾驶区域组件或车辆控制系统(诸如图1或图13的可驾驶区域组件104或图1的车辆控制系统100)执行。
方法1400开始，并且传感器组件1302获得1402车辆附近区域的图像。自由空间组件1304基于图像生成多个输出1404，每个输出指示可驾驶区域的边界所在的图像的图像列的高度。操纵组件1306基于多个输出来选择1406车辆保持在可行驶区域内的驾驶指示或驾驶操纵。
现在参考图15，示出了示例计算设备1500的框图。计算设备1500可以被用来执行各种程序，诸如在此讨论的程序。在一个实施例中，计算设备1500可以用作可驾驶区域组件104、自动驾驶/辅助系统102、车辆控制系统100等。计算设备1500可以执行如本文所讨论的各种监控功能，并且可以执行一个或多个应用程序，诸如在此描述的应用程序或功能。计算设备1500可以是多种计算设备中的任何一种，诸如台式计算机、车载计算机、车辆控制系统、笔记本电脑、服务器计算机、手持式计算机、平板电脑等。
计算设备1500包括一个或多个处理器1502、一个或多个存储设备1504、一个或多个接口1506、一个或多个大容量存储设备1508、一个或多个输入/输出(I/O)设备1510以及显示设备1530，所有这些都连接到总线1512。处理器1502包括执行存储在存储设备1504和/或大容量存储设备1508中的指令的一个或多个处理器或控制器。处理器1502还可以包括各种类型的计算机可读介质，诸如高速缓冲存储器。
存储设备1504包括诸如易失性存储器(例如随机存取存储器(RAM)1514)和/或非易失性存储器(例如只读存储器(ROM)1516)的各种计算机可读介质。存储设备1504还可以包括可重写ROM，例如闪存。
大容量存储设备1508包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如闪存)等等。如图15所示，特定的大容量存储设备是硬盘驱动器1524。大容量存储设备1508中还可以包括各种驱动器，以使得能够从各种计算机可读介质读取和/或写入到各种计算机可读介质。大容量存储设备1508包括可移动介质1526和/或不可移动介质。
I/O设备1510包括允许将数据和/或其他信息输入到计算设备1500或从计算设备1500检索的各种设备。示例I/O设备1510包括光标控制设备、键盘、小键盘、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器等。
显示设备1530包括能够向计算设备1500的一个或多个用户显示信息的任何类型的设备。显示设备1530的示例包括监视器、显示终端、视频投影设备等。
接口1506包括允许计算设备1500与其他系统、设备或计算环境交互的各种接口。示例性接口1506可以包括任意数量的不同网络接口1520，诸如到局域网(LAN)、广域网(WAN)、无线网络和因特网的接口。其他接口包括用户接口1518和外围设备接口1522。接口1506还可以包括一个或多个用户接口元件1518。接口1506还可以包括一个或多个外围接口，诸如用于打印机、定点设备(鼠标、跟踪板或本领域普通技术人员现在已知或稍后发现的任何合适的用户接口)键盘等的接口。
总线1512允许处理器1502、存储设备1504、接口1506、大容量存储设备1508和I/O设备1510以及联接到总线1512的其他设备或组件彼此通信。总线1512表示几种类型的总线结构中的一个或多个，诸如系统总线、PCI(外设部件互连)总线、IEEE(电气与电子工程师协会)总线、USB总线(通用串行总线)等等。
为了说明的目的，程序和其他可执行程序组件在本文中被示为离散框，但是应当理解，这样的程序和组件可以在计算设备1500的不同存储组件中的各个时间驻留，并且由处理器1502执行。可选地，这里描述的系统和程序可以用硬件或硬件、软件和/或固件的组合来实现。例如，一个或多个专用集成电路(ASIC)可以被编程以执行在此描述的一个或多个系统和过程。
示例
以下示例涉及进一步的实施例。
示例1是用于检测车辆附近的自由空间的方法。该方法包括获得车辆附近区域的图像。该方法包括基于图像产生多个输出，每个输出指示可驾驶区域的边界所在的图像的图像列的高度。该方法包括基于多个输出来选择车辆保持在可驾驶区域内的驾驶指示或驾驶操纵。
在示例2中，示例1的方法还包括使用CNN和输出层处理图像，其中生成多个输出包括使用输出层生成。
在示例3中，示例2的方法还包括提供图像的每个像素作为CNN的输入，其中图像包括缩放或裁剪版本以匹配CNN的输入层的尺寸。
在示例4中，如示例2-3中任一示例所述的CNN包括基于训练数据训练的CNN，训练数据包括驾驶环境的多个图像和标记数据。标记数据指示多个图像中的每一个的每个离散图像列的离散高度，其中离散高度包括用于可驾驶区域的边界所在的离散行的值。
在示例5中，示例4的方法包括训练CNN。
在示例6中，如示例1-5中的任一示例所述的生成每个指示高度的多个输出包括：生成与图像的离散行的数量对应的离散高度，其中图像的离散行的数量小于图像的像素行的数量。
在示例7中，如示例1-6中的任何示例所述的图像列的数量小于图像的像素列的数量。
示例8是存储指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器实现如示例1-7中的任一示例所述的方法。
示例9是包括用于实施方法或实现示例1-8中的任何一个中的系统或装置的手段的系统或设备。
在上面的公开中，已经参考了形成其一部分的附图，并且其中通过图示的方式示出了可以实施本公开的具体实施方式。应该理解的是，可以利用其他实施方式，并且可以在不脱离本公开的范围的情况下进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可能不一定包括特定特征、结构或特性。而且，这样的短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合其他实施例影响这种特征、结构或特性是在本领域技术人员的知识范围内，无论是否明确描述。
本文公开的系统、设备和方法的实施方式可以包括或利用包括计算机硬件的专用或通用计算机，诸如本文所讨论的一个或多个处理器和系统存储器。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可以被通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM、ROM、EEPROM(电可擦可编程只读存储器)、CD-ROM(只读光盘驱动器)、固态驱动器(“SSD”)(例如基于RAM)、闪存、相变存储器(“PCM”)、其他类型的存储器、光盘存储器、磁盘存储器或其它磁存储设备或者任何其他介质，其可以用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段，并且可以被通用或专用计算机访问。
这里公开的设备、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为能够在计算机系统和/或模块和/或其他电子设备之间传输电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线、或硬连线或无线的组合)传送或提供给计算机时，计算机将该连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，其可以被用来以计算机可执行指令或数据结构的形式携带期望的程序代码手段，并且可以被通用或专用计算机访问。上述的组合也应该包括在计算机可读介质的范围内。
计算机可执行指令例如包括指令和数据，所述指令和数据在处理器处执行时使通用计算机、专用计算机或专用处理设备执行特定功能或功能组。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令，或者甚至是源代码。虽然已经用结构特征和/或方法行为专用的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于上述描述的特征或行为。相反，所描述的特征和行为作为实施权利要求的示例形式被公开。
本领域技术人员将认识到，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括车载计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC(个人电脑)、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实施，其中本地和远程计算机系统(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)通过网络连接，都执行任务。在分布式系统环境中，程序模块可能位于本地和远程内存存储设备中。
此外，在适当的情况下，本文描述的功能可以在以下中的一个或多个中执行：硬件、软件、固件、数字组件或模拟组件。例如，一个或多个专用集成电路(ASIC)可以被编程以执行在此描述的一个或多个系统和过程。整个说明书和权利要求中使用了某些术语来指代特定的系统组件。术语“模块”和“组件”以某些组件的名称使用，以反映它们在软件、硬件、电路、传感器等中的实现独立性。如本领域技术人员将认识到的，组件可以通过不同的名称来引用。本文档不打算区分名称不同但功能相同的组件。
应该注意的是，上面讨论的传感器实施例可以包括计算机硬件、软件、固件或其任何组合以执行其功能的至少一部分。例如，传感器可以包括被配置成在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这里提供这些示例性设备是为了说明的目的，而不是限制性的。本公开的实施例可以在其他类型的设备中实现，如相关领域的技术人员将会知道的。
本公开的至少一些实施例针对包括存储在任何计算机可用介质上的这种逻辑(例如以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备如本文所述进行操作。
尽管以上已经描述了本公开的各种实施例，但是应当理解的是，它们仅以示例的方式呈现，而不是限制。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。因此，本公开的广度和范围不应该被任何上述示例性实施例限制，而是应该仅根据以下权利要求及其等同原则来限定。前面的描述是为了说明和描述的目的而提出的。这并不意图是穷尽的或将本公开限制为所公开的确切形式。鉴于上述教导，许多修改和变化是可能的。此外，应该注意的是，可以以期望的任何组合来使用前述的替代实施方式中的任一个或全部，以形成本公开的另外的混合实施方式。
此外，虽然已经描述和图示了本公开的具体实施方式，但是本公开不限于如此描述和图示的部分的具体形式或布置。本公开的范围由所附的权利要求、在此和在不同申请中提交的任何未来的权利要求及其等同原则来限定。

Claims (15)

1.一种用于检测车辆附近的自由空间的方法，所述方法包括：
获得车辆附近区域的图像；
基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及
基于所述多个输出来选择用于所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。
2.根据权利要求1所述的方法，其中包括以下中的一个或多个：
所述方法还包括使用卷积神经网络(CNN)和输出层处理所述图像，其中生成所述多个输出包括使用所述输出层生成；
生成每个指示所述高度的所述多个输出包括生成与所述图像的离散行的数量相对应的离散高度，其中所述图像的所述离散行的所述数量小于所述图像的像素行的数量；或者
其中图像列的数量小于所述图像的像素列的数量。
3.根据权利要求2所述的方法，还包括提供所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配所述CNN的输入层的尺寸。
4.根据权利要求2-3中任一项所述的方法，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：
驾驶环境的多个图像；以及
标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶动区域的边界所在的离散行的值。
5.根据权利要求4所述的方法，还包括训练所述CNN。
6.一种用于检测车辆附近的自由空间的系统，所述系统包括：
传感器组件，所述传感器组件被配置为获得车辆附近区域的图像；
自由空间组件，所述自由空间组件被配置为基于所述图像生成多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及
操纵组件，所述操纵组件被配置为基于所述多个输出来选择所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。
7.根据权利要求6所述的系统，其中包括以下中的一个或多个：
所述自由空间组件使用卷积神经网络(CNN)和输出层来处理所述图像，其中所述输出层生成所述多个输出；
所述高度指示与所述图像的离散行的数量相对应的离散高度，其中所述图像的所述离散行的所述数量小于所述图像的像素行的数量；或者
图像列的数量少于所述图像的水平像素列的数量。
8.根据权利要求7所述的系统，其中所述自由空间组件被配置为接收所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配输入层的尺寸。
9.根据权利要求7-8中的任一项所述的系统，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：
驾驶环境的多个图像；以及
标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶区域的边界所在的离散行的值。
10.一种存储指令的非临时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：
获得车辆附近区域的图像；
基于所述图像产生多个输出，所述多个输出中的每一个指示可驾驶区域的边界所在的所述图像的图像列的高度；以及
基于所述多个输出来选择所述车辆保持在所述可驾驶区域内的驾驶指示或驾驶操纵。
11.根据权利要求10所述的计算机可读存储介质，其中所述一个或多个指令使所述一个或多个处理器使用卷积神经网络(CNN)和输出层处理所述图像，其中所述指令使得所述一个或多个处理器使用所述输出层来生成所述多个输出。
12.根据权利要求11所述的计算机可读存储介质，其中所述一个或多个指令还使得所述一个或多个处理器提供所述图像的每个像素作为所述CNN的输入，其中所述图像包括缩放或裁剪版本以匹配所述CNN的输入层的尺寸。
13.根据权利要求11所述的计算机可读存储介质，其中所述CNN包括基于训练数据训练的CNN，所述训练数据包括：
驾驶环境的多个图像；以及
标记数据，所述标记数据指示所述多个图像中的每一个的每个离散图像列的离散高度，其中所述离散高度包括用于可驾驶区域的边界所在的离散行的值，其中所述标记数据对应于所述多个输出。
14.根据权利要求13所述的计算机可读存储介质，其中所述一个或多个指令还使所述一个或多个处理器训练所述CNN。
15.根据权利要求14所述的计算机可读存储介质，其中包括以下中的一个或多个：
所述一个或多个指令使得所述一个或多个处理器通过生成与所述图像的离散行的数量相对应的离散高度来生成每个指示所述高度的所述多个输出，其中所述图像的所述离散行的所述数量小于所述图像的像素行的数量；或者
图像列的数量小于所述图像的像素列的数量。
CN201810147965.1A 2017-02-23 2018-02-13 使用单目摄像机和深度学习的自由空间检测 Withdrawn CN108470147A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/440,873 US20180239969A1 (en) 2017-02-23 2017-02-23 Free Space Detection Using Monocular Camera and Deep Learning
US15/440,873 2017-02-23

Publications (1)

Publication Number Publication Date
CN108470147A true CN108470147A (zh) 2018-08-31

Family

ID=61783787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810147965.1A Withdrawn CN108470147A (zh) 2017-02-23 2018-02-13 使用单目摄像机和深度学习的自由空间检测

Country Status (5)

Country Link
US (1) US20180239969A1 (zh)
CN (1) CN108470147A (zh)
DE (1) DE102018103817A1 (zh)
GB (1) GB2561448A (zh)
RU (1) RU2018106485A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084086A (zh) * 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10552979B2 (en) * 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
CN109147093B (zh) * 2018-09-04 2021-01-12 惠州市德赛西威智能交通技术研究院有限公司 一种图片样本采集设备及方法
CN109740603B (zh) * 2019-01-21 2020-12-01 闽江学院 基于cnn卷积神经网络下的车辆字符识别方法
US10890916B2 (en) * 2019-01-30 2021-01-12 StradVision, Inc. Location-specific algorithm selection for optimized autonomous driving
CN111832368A (zh) * 2019-04-23 2020-10-27 长沙智能驾驶研究院有限公司 可行驶区域检测模型的训练方法、训练装置及应用
CN110109456A (zh) * 2019-04-25 2019-08-09 杭州师范大学钱江学院 一种小车自动驾驶方法
US11586861B2 (en) 2019-09-13 2023-02-21 Toyota Research Institute, Inc. Embeddings + SVM for teaching traversability
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
EP3905106A1 (en) * 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
EP3905105A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
DE102021107904A1 (de) * 2021-03-29 2022-09-29 Conti Temic Microelectronic Gmbh Verfahren und System zur Bestimmung der Bodenebene mit einem künstlichen neuronalen Netz
CN112906663B (zh) * 2021-04-05 2022-05-31 吉林大学 利用车载行车记录仪动态监测路边停车位的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4856656B2 (ja) * 2008-01-22 2012-01-18 富士重工業株式会社 車両検出装置
US11555281B2 (en) * 2012-04-24 2023-01-17 Transpo Industries, Inc. Break-away coupling for highway or roadside appurtenances with enhanced fatigue properties
US9305219B2 (en) * 2014-01-23 2016-04-05 Mitsubishi Electric Research Laboratories, Inc. Method for estimating free space using a camera system
EP3129522B1 (de) * 2014-04-09 2018-02-28 Bühler Alzenau GmbH Gasverteilvorrichtung einer vakuumkammer mit einer gasführungseinrichtung
US9811756B2 (en) * 2015-02-23 2017-11-07 Mitsubishi Electric Research Laboratories, Inc. Method for labeling images of street scenes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084086A (zh) * 2018-12-11 2019-08-02 安徽江淮汽车集团股份有限公司 一种基于视觉传感器的自动驾驶车辆可行驶区域检测方法

Also Published As

Publication number Publication date
RU2018106485A (ru) 2019-08-21
US20180239969A1 (en) 2018-08-23
GB2561448A (en) 2018-10-17
GB201802777D0 (en) 2018-04-04
DE102018103817A1 (de) 2018-08-23

Similar Documents

Publication Publication Date Title
CN108470147A (zh) 使用单目摄像机和深度学习的自由空间检测
US11847917B2 (en) Fixation generation for machine learning
CN107644197B (zh) 后部摄像机车道检测
US20230367318A1 (en) End-To-End Interpretable Motion Planner for Autonomous Vehicles
US11217012B2 (en) System and method for identifying travel way features for autonomous vehicle motion control
CN107808390A (zh) 使用来自单摄像机的数据的对象距离估算
CN108571974B (zh) 使用摄像机的车辆定位
CN107203738B (zh) 车辆车道边界定位
CN107914708A (zh) 后方障碍物检测和距离估算
AU2017302833B2 (en) Database construction system for machine-learning
CN108334081A (zh) 用于对象检测的循环深度卷积神经网络
CN109426262A (zh) 对深度神经网络的共享处理
CN108082037A (zh) 制动灯检测
CN111209790A (zh) 使用相邻车辆的姿态观察进行路面表征
US20190094858A1 (en) Parking Location Prediction
IL256524A (en) Improved object detection for an autonomous vehicle
CN109937343A (zh) 用于自动驾驶车辆交通预测中的预测轨迹的评估框架
CN108345838A (zh) 利用模拟图像训练自动交通灯检测模型
EP3493108A1 (en) Lane maintaining method and apparatus
US11755917B2 (en) Generating depth from camera images and known depth data using neural networks
CN114929543A (zh) 预测周围因素的加塞概率
CN108073893A (zh) 使用距离数据检测植物
CN115705693A (zh) 用于传感器数据的标注的方法、系统和存储介质
JP7461399B2 (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
US11634156B1 (en) Aerial view generation for vehicle control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180831

WW01 Invention patent application withdrawn after publication