CN109446919A - 一种基于端到端学习的视觉车道保持方法 - Google Patents

一种基于端到端学习的视觉车道保持方法 Download PDF

Info

Publication number
CN109446919A
CN109446919A CN201811161050.2A CN201811161050A CN109446919A CN 109446919 A CN109446919 A CN 109446919A CN 201811161050 A CN201811161050 A CN 201811161050A CN 109446919 A CN109446919 A CN 109446919A
Authority
CN
China
Prior art keywords
information
lane
layer
picture
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811161050.2A
Other languages
English (en)
Inventor
刘东杰
赵津
席阿行
付浩龙
周滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN201811161050.2A priority Critical patent/CN109446919A/zh
Publication of CN109446919A publication Critical patent/CN109446919A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Abstract

本发明公开了一种基于端到端学习的视觉车道保持方法，该方法具体步骤为：步骤一、采集车道环境图片信息；步骤二、图像数据预处理；步骤三、神经网络的搭建与训练；步骤四、导入端到端驾驶模型；与传统方法相比，本发明所使用方法没必要检测和识别特定类别的预定义对象，不需要在训练期间给这些对象贴上标签，或者根据对这些对象的观察来设计控制逻辑，因此所需的人工工作较少，有效的解决了传统方法检测正确率低、实时性差及工作量大的问题。

Description

一种基于端到端学习的视觉车道保持方法
技术领域
本发明涉及一种基于端到端学习的视觉车道保持方法，属于智能汽车与智能交通技术领域。
背景技术
车道保持是自动驾驶汽车的一个基本特征，尽管雷达、激光雷达、超声波传感器和红外摄像机等自动驾驶汽车上安装了许多传感器，但普通彩色摄像机由于成本低、能获取丰富的信息，仍然是目前使用最广泛的，在摄像机拍摄到的图像中，自动驾驶汽车最重要的任务之一就是找到合适的车辆控制输入，使其保持在车道上。目前，车道线保持的方法还是集中于计算机视觉的图像检测上。
传统的道路识别与跟踪系统多是采用粒子滤波或卡尔曼滤波，也即是在识别道路环境的同时还要确定出车辆在道路上的位置信息，然后利用视觉传感器采集的图像帧估计并更新车辆形式状态参数，进而实现车辆的自主驾驶。例如有文献通过形态学公式进行图像边缘提取并利用车道线宽度特征识别出车道线。计算量大，对硬件的要求较高。
另一方面车道检测、路径规划和控制逻辑]等几个部分作为传统的车道检测方法，它们往往是单独研究的，通常采用彩色增强、Hough变换、边缘检测等图像处理技术对车道标记进行检测。然后，根据第一阶段检测到的车道标记执行路径规划和控制逻辑。在这种方法中，它的性能很大程度上依赖于图像数据的特征提取和解释。通常这种手动定义的特征和规则不是最优的。误差也会从前一个处理阶段累积到下一个阶段，最终导致结果不准确。
发明内容
本发明要解决的技术问题是：提供一种基于端到端学习的视觉车道保持方法，以解决传统车道保持方法存在的检测正确率低、实时性差及工作量大的问题。
本发明的技术方案是：一种基于端到端学习的视觉车道保持方法，该方法具体步骤为：
步骤一、采集车道环境图片信息
人为操纵智能小车在某封闭区域内按行驶路线采集车道环境图片信息，每张图片都有相应的标签信息，标记每张图片的油门信息和转角信息；
步骤二、图像数据预处理
首先基于消失线找到动态感兴趣区域，即道路区域，剪切掉无用的信息，其次采用上下采样方法对图像数据进行增强，然后随机对部分图片进行翻转，并为部分图像帧的标签添加随机的高斯噪声，最后将图片进行HSV色彩空间转换，并选择V通道作为神经网络的输入；
步骤三、卷积神经网络模型的搭建与训练
卷积神经网络模型由五个卷积层和两个全连接层组成，其中卷积层用于提取特征，全连接层用于转向角和油门开度的预测，输入层是经过图像预处理后大小为85×160像素的图像，输出层包括两个信息，分别是车辆预测转角和预测油门信息，前两层的卷积层使用5×5卷积核和2×2的步长，第三层和第四层的卷积层使用3×3的卷积核和2×2的步长，最后一层使用3×3的卷积核和1×1的步长，卷积层和全连接层中的激励函数均使用relu函数，输出层中预测转角信息的激励函数使用softmax函数，预测速度信息激励函数使用relu函数；
使用该卷积神经网络模型进行学习训练，迭代多次生成端到端的驾驶模型；
步骤四、导入端到端驾驶模型
将经过卷积神经网络训练后的端到端驾驶模型导入到智能小车中，实现车道的保持。
人为反复操纵智能小车在某封闭区域内采集5000-10000张图片信息，其中图片是经过安装在小车正前方的摄像头以每秒十帧收集而来。
所述基于消失线找到动态感兴趣区域，剪切掉无用的信息的方法是：由于车道线信息主要集中在图像下半部分,所以先对二值化图像下半部分进行Hough变换；得到左右车道线参数{(kl,bl),(kr,br)}，带入到下式中求两条直线的交点纵坐标，即消失点的纵坐标v，
保留纵坐标v以下的部分即为所要设定的动态感兴趣区域(ROI)。
本发明的有益效果是：本发明基于卷积神经网络的端对端方法可以从原始图片中自适应的提取特征，有效的避免了人工特征提取的局限性。与传统方法相比，本发明所使用方法没必要检测和识别特定类别的预定义对象，不需要在训练期间给这些对象贴上标签，或者根据对这些对象的观察来设计控制逻辑，因此所需的人工工作较少，有效的解决了传统方法检测正确率低、实时性差及工作量大的问题。
与传统的将自动驾驶问题分解为车道检测、路径规划和转向控制等技术不同的是，经过卷积神经网络训练后，端到端驾驶模型可以直接从视觉传感器中获取数据以控制车辆转向，进而实现智能小车的自驾驶，此小车可以用在封闭的无人化码头，无人化工厂，智能物流小车以及一些高危险工作场地。
附图说明
图1为消失点检测示意图；
图2为神经网络架构图；
图3为神经网络训练流程图；
图4为智能小车的驾驶模型图。
具体实施方式
下面结合附图及具体的实施例对发明进行进一步介绍：
本发明一种基于端到端学习的视觉车道保持方法，该方法具体步骤为：
步骤一、采集车道环境图片信息
人为操纵智能小车在某封闭区域内采集5000-10000张图片信息，其中图片是经过安装在小车正前方的摄像头，即视觉传感器以每秒十帧收集而来，且每张图片都有相应的标签信息，标记了每张图片的油门信息和转角信息，反复让小车在固定的区域内行驶。
步骤二、图像数据预处理
首先基于消失线找到动态感兴趣区域ROI，即道路区域，剪切掉无用的信息。除了路面上有用的车道线信息外，其他信息都是无用的，如屋顶、栅栏和车道线两旁的物体等。在图像处理中需要去除这些无用的信息，保留含有车道线信息的感兴趣区域。通过采用基于消失点检测的算法找到ROI，这样既能将图像中无用的信息裁剪掉，又能最大程度的保留车道信息，因此会降低神经网络训练时间成本和提高系统鲁棒性。
因为车道线信息主要集中在图像下半部分,所以先对二值化图像下半部分进行Hough变换，得到左右车道线参数{(kl,bl),(kr,br)}，带入到下式中求两条直线的交点纵坐标,即消失点的纵坐标v。
保留纵坐标v以下的部分即为所要设定的动态感兴趣区域(ROI)。如图1所示，ROI-Ⅱ即为所要保留的感兴趣区域，也即是车道信息。
其次采用上下采样方法对图像数据进行增强。由于人工操作致使转角为0的数据所占比重过半(这里的转角是经过规范化的，取值范围是[-1,1])，转角为-1(最大左转向角)的数据次之，转角为1(最大右转向角)的数据只有200左右，转角在(-1,0)和(0,1)的弯道数据占比很小，训练数据严重不平衡。若采用这些数据训练出的驾驶模型可能更倾向于直线行驶，左转向时过急，以及右转向不足。采样方法是通过对训练集进行处理使其从不平衡的数据集变成平衡的数据集，在大部分情况下会对最终的结果带来提升。采样分为上采样和下采样，上采样是把小众类复制多份，下采样是从大众类中剔除一些样本，或者说只从大众类中选取部分样本。
然后随机对部分图片进行翻转，并为部分图像帧的标签添加随机的高斯噪声。翻转方法：将图像绕Y轴水平翻转180°，使得原来向左转向的数据变成了向右转向，此步骤是为了防止训练数据过少，比如都是偏左或都是右拐的数据。高斯噪声添加原因及其方法：过拟合(Overfitting)经常会发生在神经网络试图学习高频特征(即非常频繁出现的无意义模式)的时候，而学习这些高频特征对模型提升没什么帮助。一种方法是采用具有零均值特性的高斯噪声，它实质上在所有频率上都能产生数据点，可以有效的使高频特征失真，减弱其对模型的影响。但这也意味着低频的成分(重要的特征)同时也会受到影响，但是神经网络能够通过学习来忽略那些影响。当具体给出某一图像帧时，就会被标记为相应的转角值，由于小车转向值是一个连续值，所以真实转角不一定是唯一的工作的方向，稍微不同的转向值都可能会起作用。因此在训练过程中，在真实转角中随机加入了一种轻微的高斯扰动噪声。通过这种方式，在不完全扭曲原始转角值的情况下，在数据中创建了更多的变化，使数据信息更加丰富。
最后将图片进行HSV色彩空间转换，并选择V通道作为神经网络的输入。HSV(H：色调、S：饱和度、V：亮度)模型从色彩中分解出亮度和灰度信息，用色度、饱和度这两个反应反映色彩本质的特性来进行各种颜色的聚类。优选地，将图像从RGB颜色空间转换到HSV颜色空间，并分别提取出H、S、V分量。V通道表示亮度，这样会使白色和黄色的车道线特征更加明显，因此选择V Channel作为CNN的输入。且将V Channel元素分别乘以一个在一定范围内变化的随机值，也即是加入了随机光照噪声，范围越宽，增强帧与原始帧的差异就越大，这样经过CNN训练之后的模型鲁棒性更强。
步骤三、卷积神经网络的搭建与训练
参考图2，卷积神经网络CNN模型由五个卷积层和两个全连接层组成，其中卷积层被设计用来提取特征，并且不同层配置不同的结构，全连接层主要用于转向角和油门开度的预测。输入层是经过图像预处理后大小为85×160像素的图像，输出层包括两个信息，分别是车辆预测转角和预测油门信息。前两层的卷积层使用5×5卷积核和2×2的步长，第三层和第四层的卷积层使用3×3的卷积核和2×2的步长，最后一层使用3×3的卷积核和1×1的步长。卷积层和全连接层中的激励函数均使用relu函数，输出层中预测转角信息的激励函数使用softmax函数，预测速度信息激励函数仍使用relu函数。其中为了进一步防止过拟合在五个卷积层(drop prob＝0.2)和三个全连接层(前两层drop prob＝0.1)之后都添加了dropout layers。因为feature maps很小，所以没有池化层。本实施例的CNN架构以及所使用的参数，是通过很多的实验进一步调整的，其它的参数batch_size＝128,epochs＝2000，steps＝10。
使用该卷积神经网络(CNN)模型进行学习训练，神经网络训练流程图如图3所示，最终迭代多次，例如2000次生成端到端的驾驶模型。
步骤四、导入端到端驾驶模型
将经过卷积神经网络训练后的端到端驾驶模型导入到智能小车中，智能小车的驾驶模型图如图4所示，实现车道的保持。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于端到端学习的视觉车道保持方法，其特征在于，该方法具体步骤为：
步骤一、采集车道环境图片信息
人为操纵智能小车在某封闭区域内按行驶路线采集车道环境图片信息，每张图片都有相应的标签信息，标记每张图片的油门信息和转角信息；
步骤二、图像数据预处理
首先基于消失线找到动态感兴趣区域，即道路区域，剪切掉无用的信息，其次采用上下采样方法对图像数据进行增强，然后随机对部分图片进行翻转，并为部分图像帧的标签添加随机的高斯噪声，最后将图片进行HSV色彩空间转换，并选择V通道作为神经网络的输入；
步骤三、卷积神经网络模型的搭建与训练
卷积神经网络模型由五个卷积层和两个全连接层组成，其中卷积层用于提取特征，全连接层用于转向角和油门开度的预测，输入层是经过图像预处理后大小为85×160像素的图像，输出层包括两个信息，分别是车辆预测转角和预测油门信息，前两层的卷积层使用5×5卷积核和2×2的步长，第三层和第四层的卷积层使用3×3的卷积核和2×2的步长，最后一层使用3×3的卷积核和1×1的步长，卷积层和全连接层中的激励函数均使用relu函数，输出层中预测转角信息的激励函数使用softmax函数，预测速度信息激励函数使用relu函数；
使用该卷积神经网络模型进行学习训练，迭代多次生成端到端的驾驶模型；
步骤四、导入端到端驾驶模型
将经过卷积神经网络训练后的端到端驾驶模型导入到智能小车中，实现车道的保持。
2.根据权利要求1所述的基于端到端学习的视觉车道保持方法，其特征在于：人为反复操纵智能小车在某封闭区域内采集5000-10000张图片信息，其中图片是经过安装在小车正前方的摄像头以每秒十帧收集而来。
3.根据权利要求1所述的基于端到端学习的视觉车道保持方法，其特征在于：所述基于消失线找到动态感兴趣区域，剪切掉无用的信息的方法是：由于车道线信息主要集中在图像下半部分,所以先对二值化图像下半部分进行Hough变换；得到左右车道线参数{(kl,bl),(kr,br)}，带入到下式中求两条直线的交点纵坐标，即消失点的纵坐标v，
保留纵坐标v以下的部分即为所要设定的动态感兴趣区域(ROI)。
CN201811161050.2A 2018-09-30 2018-09-30 一种基于端到端学习的视觉车道保持方法 Pending CN109446919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811161050.2A CN109446919A (zh) 2018-09-30 2018-09-30 一种基于端到端学习的视觉车道保持方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811161050.2A CN109446919A (zh) 2018-09-30 2018-09-30 一种基于端到端学习的视觉车道保持方法

Publications (1)

Publication Number Publication Date
CN109446919A true CN109446919A (zh) 2019-03-08

Family

ID=65545959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811161050.2A Pending CN109446919A (zh) 2018-09-30 2018-09-30 一种基于端到端学习的视觉车道保持方法

Country Status (1)

Country Link
CN (1) CN109446919A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109901595A (zh) * 2019-04-16 2019-06-18 山东大学 一种基于单目摄像头和树莓派的自动驾驶系统及方法
CN110188683A (zh) * 2019-05-30 2019-08-30 北京理工大学 一种基于cnn-lstm的自动驾驶控制方法
CN110276129A (zh) * 2019-06-21 2019-09-24 贵州大学 基于燃烧控制系统控制燃烧炉供给燃料当量比的方法、系统及装置
CN110415204A (zh) * 2019-03-22 2019-11-05 泰州三凯工程技术有限公司 可靠型安全行驶控制系统
CN111142519A (zh) * 2019-12-17 2020-05-12 西安工业大学 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统
CN111738037A (zh) * 2019-03-25 2020-10-02 广州汽车集团股份有限公司 一种自动驾驶方法及其系统、车辆
CN113359771A (zh) * 2021-07-06 2021-09-07 贵州大学 一种基于强化学习的智能自动驾驶控制方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHILU CHEN AND XINMING HUANG: "End-to-End Learning for Lane Keeping of Self-Driving Cars", 《2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *
李军锋: "基于深度学习的电力设备图像识别及应用研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *
王晓锦等: "基于消失点检测与分段直线模型的车道线识别", 《机电一体化》 *
白辰甲: "基于计算机视觉和深度学习的自动驾驶方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415204A (zh) * 2019-03-22 2019-11-05 泰州三凯工程技术有限公司 可靠型安全行驶控制系统
CN110415204B (zh) * 2019-03-22 2020-07-10 施伟红 可靠型安全行驶控制系统
CN111738037A (zh) * 2019-03-25 2020-10-02 广州汽车集团股份有限公司 一种自动驾驶方法及其系统、车辆
CN111738037B (zh) * 2019-03-25 2024-03-08 广州汽车集团股份有限公司 一种自动驾驶方法及其系统、车辆
CN109901595A (zh) * 2019-04-16 2019-06-18 山东大学 一种基于单目摄像头和树莓派的自动驾驶系统及方法
CN110188683A (zh) * 2019-05-30 2019-08-30 北京理工大学 一种基于cnn-lstm的自动驾驶控制方法
CN110276129A (zh) * 2019-06-21 2019-09-24 贵州大学 基于燃烧控制系统控制燃烧炉供给燃料当量比的方法、系统及装置
CN110276129B (zh) * 2019-06-21 2022-11-29 贵州大学 基于燃烧控制系统控制燃烧炉供给燃料当量比的方法、系统及装置
CN111142519A (zh) * 2019-12-17 2020-05-12 西安工业大学 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法
CN111439259A (zh) * 2020-03-23 2020-07-24 成都睿芯行科技有限公司 基于端到端卷积神经网络的农业园场景车道偏移预警控制方法及系统
CN113359771A (zh) * 2021-07-06 2021-09-07 贵州大学 一种基于强化学习的智能自动驾驶控制方法

Similar Documents

Publication Publication Date Title
CN109446919A (zh) 一种基于端到端学习的视觉车道保持方法
Kong et al. General road detection from a single image
CN102682292B (zh) 基于单目视觉的道路边缘检测及粗定位方法
CN110069986B (zh) 一种基于混合模型的交通信号灯识别方法及系统
CN109902600B (zh) 一种道路区域检测方法
CN100545858C (zh) 基于小波变换的复杂背景中的车牌提取方法
CN104992145B (zh) 一种矩采样车道跟踪检测方法
AU2020102039A4 (en) A high-precision multi-targets visual detection method in automatic driving scene
Li et al. Nighttime lane markings recognition based on Canny detection and Hough transform
CN100414560C (zh) 基于小波变换和雷登变换的车牌提取方法
CN104318258A (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN107891808A (zh) 行车提醒方法、装置及车辆
CN105654073A (zh) 一种基于视觉检测的速度自动控制方法
Wang et al. The research on edge detection algorithm of lane
CN103996031A (zh) 一种自适应阈值分割的车道线检测系统及其方法
CN106485715A (zh) 一种非结构化道路识别方法
CN102201054A (zh) 一种基于鲁棒统计的行道线检测方法
CN108171154A (zh) 一种自动驾驶中目标检测与车道检测结合的方法
Gao et al. A real-time lane detection and tracking algorithm
CN110733416B (zh) 一种基于逆透视变换的车道偏离预警方法
Joy et al. Real time road lane detection using computer vision techniques in python
CN107122756A (zh) 一种完全非结构道路边缘检测方法
CN107316002A (zh) 一种基于主动学习的夜间前方车辆识别方法
Phu et al. Traffic sign recognition system using feature points
CN105740806A (zh) 一种基于多视角的透视变换目标特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190308