CN110490032A - 一种基于深度学习的路面环境感知方法及装置 - Google Patents

一种基于深度学习的路面环境感知方法及装置 Download PDF

Info

Publication number
CN110490032A
CN110490032A CN201810485136.4A CN201810485136A CN110490032A CN 110490032 A CN110490032 A CN 110490032A CN 201810485136 A CN201810485136 A CN 201810485136A CN 110490032 A CN110490032 A CN 110490032A
Authority
CN
China
Prior art keywords
image
lane line
deep learning
road
traffic areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810485136.4A
Other languages
English (en)
Inventor
张亮
王震
李雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Lioncel Technology Co Ltd
Original Assignee
Wuhan Lioncel Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Lioncel Technology Co Ltd filed Critical Wuhan Lioncel Technology Co Ltd
Priority to CN201810485136.4A priority Critical patent/CN110490032A/zh
Publication of CN110490032A publication Critical patent/CN110490032A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于深度学习的路面环境感知方法及装置，其特征在于，包括图像采集单元，图像处理单元。图像采集单元用于获取车辆前方的可量测实景道路图像，并传回至图像处理单元。图像处理单元对传入的道路图像进行处理，通过深度学习分别得到属于左车道线的点及右车道线的点的位置信息，对车道线点进行拟合来得到当前环境下车道线的状态。同时在深度学习中得到可通行区域的点的位置，得到可通行区域的信息。

Description

一种基于深度学习的路面环境感知方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其是一种路面环境感知方法及装置。
背景技术
随着科技的进步，无人驾驶与辅助驾驶已经开始慢慢走进人们的视野。道路环境感知是车辆运行的重要依据之一，在自动驾驶中有着举足轻重的地位。路面环境感知最主要的部分即车道线感知及可通行区域感知。目前，在进行道路环境感知时，通常对采集的道路图像进行二值化，然后对车道线边缘检测，然后直接根据车道线边缘点所构成的直线提取车道线。然而，实际交通道路中，车道线并非一直是直线，直接根据车道线边缘点所构成的直线提取车道线，会造成提取的车道线不准确，从而导致车道线提取精度较低。不仅如此，图像的二值化过程中，很多阈值需要人为设定，这样导致在外界环境和摄像头位置发生变化时，无法准确的进行二值化，从而导致车道线的拟合出现严重误差。而且路面的情况变化十分复杂，传统方法对于可通行区域的感知更是无能为力。
鉴于上述情况，本设计人凭借多年相关领域的技术经验以及丰富的专业知识，不断实验和改进，提出了本发明中的一种路面环境感知方法及装置。
发明内容
本发明解决的技术问题在于解决传统车道线提取方法中对弯道车道线拟合误差大；
本发明解决的另一技术问题在于车道线提取受环境影响大的问题。
针对上述问题，本发明提供了一种车道线提取方法及装置，包括步骤：
步骤1.搭建深度学习网络结构；
步骤2.准备数据集并训练网络；
步骤3.利用图像采集单元采集车辆前方的可量测实景道路图像，回传至图像处理单元；
步骤4.通过训练好的深度学习模型，获取分割图像；
步骤5.对分割后的图像，通过空域滤波与形态学变换减小噪声影响；
步骤6.对处理后的图像中属于车道线的像素点进行拓扑分析，确定车道线的外边界，通过RANSAC法进行拟合，得到当前车道线的方向及位置信息；
步骤7.对处理后图像中得到的属于可通行区域的点进行聚类分析，得到可通行区域信息。
本发明与现有的技术相比具有以下有益的效果：
1、本发明相比传统方法，车道线提取准确率高，受环境影响小，雾霾天气弱光照条件下，阳光直射的强光照条件下，或雨后路面反光的条件下，均可稳定的提取出车道线及其状态信息。
2、本发明对可通行区域的提取效果良好，对不同路面情况具有很强的泛化能力。柏油路，水泥路，人行道等道路中均可稳定提取出可通行区域；
3、计算快，运行效率高，在嵌入式系统上可以达到30帧。
附图说明
下面结合附图和实施例对本发明作进一步说明。下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1为本发明的结构示意图：其中1为双目摄像头，2为图像处理单元；
图2为本发明的算法流程图；
图3为本发明的深度学习结构图；
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图对具体实施例进行详细描述。
首先需要对搭建深度学习模型并进行训练，包括以下步骤：
1.准备数据集
对图像进行标注，并生成训练和验证所需的数据集。具体地，通过车载相机等设备采集真实行车过程中不同天气、不同地点、不同时间等各种条件下的道路图片，并对采集到的图像进行逐帧标注。标注车道线、可通行区域、背景等类别，保存为灰度图片，灰度值即为类别信息。本发明中，车道线的标注分别标注为当前车道线的左侧车道线及右侧车道线。为了训练该网络，共标注了156485张数据，其中训练集共包含125188张数据，验证集包含31297张数据。
2.设计网络结构模型
根据图3对模型结构ROADNET进行说明：
对输入图像进行重采样，归一化至512×256大小；
通过3个残差瓶颈块对输入图像进行编码操作，每个瓶颈块包含若干组3×3卷积，及与卷积层相连的BN层及Dropout层，最终得到共512个特征图；
对于得到的特征图，输入两个瓶颈块进行解码，两个瓶颈块分别从第2层和第3层编码器的池化层得到标志信息并上采样进行解码。最终输出的特征图包含每个像素的分类信息。
3.对网络进行预训练
ROADNET网络模型由若干个残差结构组成的瓶颈块构成，而且由于分类类别少不需要很大的卷积核即可完成道路环境提取的分类任务，因此网络参数数量大大减少，最终生成的模型仅1.7MB，运行速度在嵌入式系统上也可达到实时。利用1中得到的数据集对网络进行训练，训练采用梯度下降的收敛方式进行。最终在验证数据集上，整体准确率达到97.89％，各个类别平均准确率达到93.86％，平均交并比达到83.645％。
网络训练完成后，将系统实装至图像处理单元，用于实际使用，实际运行中包括以下步骤：
步骤1、如图1所示连接各个模块组成感知系统，该系统可移植至任意自动驾驶平台或辅助驾驶平台中。双目摄像头连接至图像处理单元；
步骤2、图2所示为本方法的运行过程。首先利用图像采集单元采集车辆前方的可量测实景道路图像，回传至图像处理单元。
步骤3、通过训练好的深度学习模型，获取目标分割后的图像，即对图像中的每一个像素点做分类。
步骤4、对分割后的图像，通过空域滤波与形态学变换减小噪声影响；
步骤5、对处理后的图像中属于车道线的像素点进行拓扑分析，确定车道线的外边界，通过随机抽样一致性算法法进行拟合，得到当前车道线的方向及位置信息。即当前车道线与车辆距离，车道线斜率。
步骤6、对处理后图像中得到的属于可通行区域的点进行聚类分析，属于同一可通行区域的点聚类为一类，得到可通行区域信息。

Claims (4)

1.一种基于深度学习的路面环境感知方法及装置，其特征在于，包括图像采集单元，图像处理单元。图像采集单元用于获取车辆前方的可量测实景道路图像，并传回至图像处理单元。图像处理单元对传入的道路图像进行处理，得到车道线的状态及可通行区域信息。
2.根据权利要求1所述的一种基于深度学习的路面环境感知方法及装置，其特征在于，双目摄像头安装在车辆前端，为了降低视角、减小盲区，将摄像头的位置放低，便于路面环境的感知与提取。图像处理单元采用先进的Pascal架构GPU与Denver 2 and A57集成CPU，效率高、性能强、功耗低，适用于无人车系统；与底层车辆运动控制单元配合具有出色的运行效率。
3.根据权利要求1所述的一种基于深度学习的路面环境感知方法及装置，该方法包括以下步骤：
步骤1.利用图像采集单元采集车辆前方的可量测实景道路图像，回传至图像处理单元；
步骤2.通过训练好的深度学习模型，获取目标分割后的图像；
步骤3.对分割后的图像，通过空域滤波与形态学变换减小噪声影响；
步骤4.对处理后的图像中属于车道线的像素点进行拓扑分析，确定车道线的外边界，通过随机抽样一致性算法法进行拟合，得到当前车道线的方向及位置信息；
步骤5.对处理后图像中得到的属于可通行区域的点进行聚类分析，得到可通行区域信息。
4.根据权利要求4所述的一种路面环境感知的深度学习方法，其特征包括：总体采用编码解码的语义分割结构，编码器采用残差结构来提取特征图，提取出的特征图再通过解码器进行解码，得到最终的分割图像。分割的结果分为背景、可通行区域、左车道线、右车道线。
CN201810485136.4A 2018-05-15 2018-05-15 一种基于深度学习的路面环境感知方法及装置 Pending CN110490032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810485136.4A CN110490032A (zh) 2018-05-15 2018-05-15 一种基于深度学习的路面环境感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810485136.4A CN110490032A (zh) 2018-05-15 2018-05-15 一种基于深度学习的路面环境感知方法及装置

Publications (1)

Publication Number Publication Date
CN110490032A true CN110490032A (zh) 2019-11-22

Family

ID=68545421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810485136.4A Pending CN110490032A (zh) 2018-05-15 2018-05-15 一种基于深度学习的路面环境感知方法及装置

Country Status (1)

Country Link
CN (1) CN110490032A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950478A (zh) * 2020-08-17 2020-11-17 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法
CN107341453A (zh) * 2017-06-20 2017-11-10 北京建筑大学 一种车道线提取方法及装置
CN107578012A (zh) * 2017-09-05 2018-01-12 大连海事大学 一种基于聚类算法选择敏感区域的驾驶辅助系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919915A (zh) * 2017-02-22 2017-07-04 武汉极目智能技术有限公司 基于adas系统的地图道路标记及道路质量采集装置及方法
CN107341453A (zh) * 2017-06-20 2017-11-10 北京建筑大学 一种车道线提取方法及装置
CN107578012A (zh) * 2017-09-05 2018-01-12 大连海事大学 一种基于聚类算法选择敏感区域的驾驶辅助系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950478A (zh) * 2020-08-17 2020-11-17 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法
CN111950478B (zh) * 2020-08-17 2021-07-23 浙江东鼎电子股份有限公司 一种动态平板秤称重区域汽车s型行驶行为检测方法

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN110263706B (zh) 一种雾霾天气车载视频动态目标检测和识别的方法
CN108875603B (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
CN104392212B (zh) 一种基于视觉的道路信息检测及前方车辆识别方法
CN105260699B (zh) 一种车道线数据的处理方法及装置
CN104134068B (zh) 基于稀疏编码的监控车辆特征表示及分类方法
CN109345547B (zh) 基于深度学习多任务网络的交通车道线检测方法及装置
CN109255350B (zh) 一种基于视频监控的新能源车牌检测方法
CN107194924A (zh) 基于暗通道先验和深度学习的高速公路雾天能见度检测方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN110009095A (zh) 基于深度特征压缩卷积网络的道路行驶区域高效分割方法
CN107016362A (zh) 基于车辆前挡风玻璃粘贴标志的车辆重识别方法和系统
Li et al. Parking slot detection on around-view images using DCNN
CN109147351A (zh) 一种交通信号灯控制系统
CN110516633A (zh) 一种基于深度学习的车道线检测方法及系统
Wang et al. The research on edge detection algorithm of lane
CN114092917B (zh) 一种基于mr-ssd的被遮挡交通标志检测方法及系统
CN109086803A (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测系统
CN114120272A (zh) 一种融合边缘检测的多监督智能车道线语义分割方法
CN112528917A (zh) 斑马线区域识别方法、装置、电子设备和存储介质
CN103106410A (zh) 一种实现智能公交站牌的方法及系统
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
CN110033045A (zh) 一种训练识别图像雾化的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191122