CN109543498A - 一种基于多任务网络的车道线检测方法 - Google Patents

一种基于多任务网络的车道线检测方法 Download PDF

Info

Publication number
CN109543498A
CN109543498A CN201710957247.6A CN201710957247A CN109543498A CN 109543498 A CN109543498 A CN 109543498A CN 201710957247 A CN201710957247 A CN 201710957247A CN 109543498 A CN109543498 A CN 109543498A
Authority
CN
China
Prior art keywords
lane line
detection block
network
lane
testing result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710957247.6A
Other languages
English (en)
Other versions
CN109543498B (zh
Inventor
王慧燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201710957247.6A priority Critical patent/CN109543498B/zh
Publication of CN109543498A publication Critical patent/CN109543498A/zh
Application granted granted Critical
Publication of CN109543498B publication Critical patent/CN109543498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions

Abstract

一种基于多任务网络的车道线检测方法。本发明公开了一种基于深度学习的目标检测和拟合回归的车道线检测方法，包括：(1)将图像通过在卷积神经网络(简称CNN)中的正向传播提取到鲁棒的特征表达；(2)网络的两个全连接层使用提取的特征回归出可能存在的目标的位置，并同时对该区域是否是车道线做出判断；(3)过滤检测到的小段车道线；(4)将过滤后的结果拟合出n段车道线。本发明所提供的方法由于使用卷积神经网络提取图像特征，相比传统特征可以更为准确的确定车道线的位置，有着较好的精确度；由于最终的车道线检测结果是通过小段车道线的拟合，即使有少量的误检，也可以通过过滤孤立检测结果的方式消除，提高了本发明方法的鲁棒性。

Description

一种基于多任务网络的车道线检测方法
技术领域
本发明属于图像处理和模式识别领域，涉及一种基于多任务网络的目标检测和回归拟合的车道线检测方法。
背景技术
交通安全始终是人们十分关心的重要领域，每年众多的交通事故造成巨大的人员伤亡和财产损失。近些年，随着深度神经网络的发展，计算机视觉领域的突飞猛进，众多厂商开始尝试通过计算机视觉的方法开发高级驾驶辅助系统(Advanced Driver AssistantSystems，简称ADAS)，其中，车道线检测作为其重要的组成部分成为了研究的重点。由于计算机视觉技术具有检测效果好、适用范围广以及成本低廉等诸多优势，近年来，在车道线检测领域成为主流技术。
传统的基于图像处理的车道线检测技术，例如用基于Hough变换的方法，通常根据先验知识对检测到的直线进行过滤。这种方法通常在一些路况较好的情景下试用，一旦出现路面破损或者车辆遮挡，造成车道线不完整或者模糊不清的的情况，检测的效果就会很差。因此，仅仅依靠图像处理技术的道线检测方法具有较大的局限性。
随着机器学习技术的兴起，开始出现使用分类器配合多尺度扫描的方式进行车道线检测任务的方法。这类方法通常用滑动窗获取一块图像区域，然后用分类器判断是否为检测目标。此类方法首先于效率，由于滑动窗口巨大的计算代价会严重拖慢运行时间。
2014年CVPR上的经典论文：《Rich feature hierarchies for Accurate ObjectDetection and Segmentation》，将目标检测在标准数据库上的表现大幅度提高。这篇文章的算法思想又被称之为：R-CNN(Regions with Convolutional Neural NetworkFeatures)，改变了目标检测领域的总体思路，直至今日，目标检测领域一直在沿袭该文章的框架思路不断的改进。
发明内容
本发明要克服现有技术的上述缺点，提供一种以汽车辅助驾驶为应用背景，基于神经网络的车道线检测技术。
本发明以多任务网络实现端到端(End-to-End)的车道线检测过程。该多任务网络同时完成两个任务，一、通过回归实现目标位置的定位，即该部分网络输出目标在图像中的坐标位置。二、实现对该区域目标是否是车道线作出判断，即完成分类功能。两个任务协同工作，得到多段车道线的位置信息。结合网络的两个输出，即可获得准确的车道线检测的所有结果。随后过滤检测结果中的误检结果，再将过滤后的检测框拟合出直线。详见下文描述：
一种基于多任务网络的车道线检测方法，所述方法包括以下步骤：
(1)构建上述功能的多任务卷积网络。a.本发明设计的网络以残差网络为基础作为卷积层提取特征，并在卷积层的最后一层连接两个全连接层用于实现网络的两个任务。其中一个全连接层做分类，用于判断目标是否为车道线。另一个全连接层做回归，用于确定目标的坐标点位置；b.用准备好的训练数据进行模型的训练。训练数据集包含多张样本，例如17000张样本，这些样本包含各种路况条件下的车道线以及标定信息。用随机梯度下降算法优化网络权重，训练网络模型。
(2)读取视频图像序列中的视频帧，其中i为帧号，N为视频总帧数。将该帧图像送入训练好的网络中做前向传播操作，分别取出两个全连接层的结果。分类结果记为，表示认为该目标是车道线的概率。回归结果记为，表示第i帧中的第j个检测结果的矩形区域，j表示该帧中第j个检测结果，表示第j个检测结果的左上点坐标，表示第j个检测结果的宽度和高度。过滤掉置信度低于设定阈值的检测结果，阈值取为0.6。
(3)聚合属于同一段车道线的检测框。记为集合，其中，表示聚合后的一个检测框的集合，M为该帧聚合后集合的总个数，，z为一个集合中包含的检测结果个数。如果中包含检测结果数量过少，即z<Th2则判断该集合为误检，Th2包含最少检测框的个数阈值，流程结束；否则认为该集合包含一条车道线，跳转到(4)；
(4)用最小二乘法将包含的检测框的中心点坐标拟合成直线，记做。将所有拟合好的直线放入集合中，，作为最终的车道线检测结果，其中k表示直线的数量。
所述聚合属于同一段车道线的检测框的具体操作为：
由于不同段车道线之间位置上是独立的，利用这一先验知识进行检测结果聚合。当前帧所有检测结果，任选其中一个检测框记做b1，遍历寻找与b1满足位置关系的检测框，所述的位置关系为两个检测框坐标点之间的欧氏距离小于阈值Th3。将满足位置关系条件的检测框加入集合中，并从中移除。当对b1完成搜索后，从中找另一个检测框作为b1，继续从中寻找满足位置关系的检测框，循环，直到中任一检测框作为b1都不能有新的检测框加入，此时完成一段车道线的聚合操作。重复上述操作，直到为空时，聚合检测框的操作停止。此时，得到上述集合。
本发明提供的技术方案的有益效果是:以神经网络为特征提取，并结合多任务网络联合训练的方法提升车道线检测的效果。本发明不仅使用于路况条件非常好的高速路面检测，经过测试，对路面破损、车道线模糊等负责恶劣的情景也有着较好的检测效果。其中，当检测结果中有误检出现时，通过检测框聚合操作也可以大大降低误检对于整体效果的影响。有效的提高了车道线检测的效果，体现了本发明的鲁棒性。
附图说明
图1为本发明方法的流程图。
图2为本发明的多任务网络的简化网络结构。
具体实施方式
为了更加清晰的阐述本发明的各个步骤，下面结合附图对本发明做进一步的描述。
为了提升车道线检测的总体效果，在复杂道路情况下得到较好的检测结果，本发明设计了一个多任务网络提取图像特征，并通过联合训练的方式更好的微调网络。网络的结构参见图2。本方法经过训练后得到的网络模型，可以端到端的实现车道线的检测。当视频帧进入网络，输出检测结果的概率和目标的位置信息。经过概率筛选和误检过滤的操作，将剩余的检测结果拟合成若干段车道线。详细见下文描述：
101：将每一帧图像依次送入训练好的网络中做前向传播操作，取出两个全连接层的结果。表示一个检测框，其中j表示该帧中第j个检测结果，表示第j个检测结果的左上点坐标，表示第j个检测结果的宽度和高度。表示当前第i帧所有检测到的结果。，表示每一个检测框对应的置信度；
102：将中的结果去掉，过滤掉置信度低于阈值的检测结果，取为0.6，在实际使用中，可依据模型训练情况酌情调整。将过滤后的检测结果放入集合中，其中c<＝s；
103：对中的检测框依据空间位置关系进行聚合操作。任选其中一个检测框记做b1，遍历寻找与b1满足位置关系的检测框，所述的位置关系为两个检测框坐标点之间的欧氏距离小于阈值Th3。将满足位置关系条件的检测框加入集合中，并从中移除。当对b1完成搜索后，从中找另一个检测框作为b1，继续从中寻找满足位置关系的检测框，循环，直到中任一检测框作为b1都不能有新的检测框加入。如果包含的检测框数量小于设定的阈值数量，则认为聚合结果不可信，否则完成一段车道线的聚合操作。重复上述操作，直到为空时，聚合检测框的操作停止。此时，得到所有的车道线聚合结果的集合；
104：用最小二乘法将中所有聚合结果所包含的检测框的中心点坐标拟合成直线，记做。将所有拟合好的直线放入集合中，，作为最终的车道线检测结果，其中k表示直线的数量。此时，该帧的车道线检测结果完成。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于多任务网络的车道线检测方法，包括以下步骤：
(1)构建上述功能的多任务卷积网络；
a.以残差网络为基础作为卷积层提取特征，并在卷积层的最后一层连接两个全连接层用于实现网络的两个任务；一个全连接层执行分类任务，用于判断目标是否为车道线。另一个全连接层执行回归任务，用于确定目标的坐标点位置；
b.用准备好的训练数据进行模型的训练；训练数据集中的样本包含各种路况条件下的车道线以及标定信息；用随机梯度下降算法优化网络权重，训练网络模型；
(2)读取视频图像序列中的视频帧，其中i为帧号，N为视频总帧数；将该帧图像送入训练好的网络中做前向传播操作，分别取出两个全连接层的结果。分类结果记为，表示认为该目标是车道线的概率；回归结果记为，表示第i帧中的第j个检测结果的矩形区域，j表示该帧中第j个检测结果，表示第j个检测结果的左上点坐标，表示第j个检测结果的宽度和高度。依据分类任务输出的置信度过滤低于设定的阈值Th1的检测结果；
(3)将检测结果依据位置信息聚合为多段车道线，记为，即将属于同一段车道线的检测框聚类到一个集合中；表示第m段车道线聚合的集合，该集合包含z个检测框；聚合操作完成后，对进行过滤，从中移除z<Th2的集合；
(4)对每一个车道线聚合结果用最小二乘法拟合其中检测框中心点的位置，输出车道线检测结果。
2.根据权利要求1所述的一种多目标跟踪方法，其特征在于：步骤(3)所述的将检测结果依据位置信息聚合为多段车道线，操作具体为：
31)由于不同段车道线之间位置上是独立的，利用这一先验知识进行检测结果聚合；
32)当前帧所有检测结果，任选其中一个检测框记做b1，遍历寻找与b1满足位置关系的检测框，所述的位置关系为两个检测框坐标点之间的欧氏距离小于阈值Th3；
33)将满足位置关系条件的检测框加入集合中，并从中移除；
34)当对b1完成搜索后，从中找另一个检测框作为b1，继续从中寻找满足位置关系的检测框，循环，直到中任一检测框作为b1都不能有新的检测框加入，此时完成一段车道线的聚合操作；
35)重复上述操作，直到为空时，聚合检测框的操作停止，此时，得到上述集合。
CN201710957247.6A 2017-10-16 2017-10-16 一种基于多任务网络的车道线检测方法 Active CN109543498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710957247.6A CN109543498B (zh) 2017-10-16 2017-10-16 一种基于多任务网络的车道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710957247.6A CN109543498B (zh) 2017-10-16 2017-10-16 一种基于多任务网络的车道线检测方法

Publications (2)

Publication Number Publication Date
CN109543498A true CN109543498A (zh) 2019-03-29
CN109543498B CN109543498B (zh) 2022-02-18

Family

ID=65830737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710957247.6A Active CN109543498B (zh) 2017-10-16 2017-10-16 一种基于多任务网络的车道线检测方法

Country Status (1)

Country Link
CN (1) CN109543498B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414386A (zh) * 2019-07-12 2019-11-05 武汉理工大学 基于改进scnn网络的车道线检测方法
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111079598A (zh) * 2019-12-06 2020-04-28 深圳市艾为智能有限公司 一种基于图像纹理与机器学习的车道线检测方法
CN111539359A (zh) * 2020-04-28 2020-08-14 浙江工商大学 基于深度学习的违章停车检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103129468A (zh) * 2013-02-19 2013-06-05 河海大学常州校区 基于激光成像技术的车载路障识别系统和方法
US20150063699A1 (en) * 2013-08-30 2015-03-05 Konica Minolta Laboratory U.S.A., Inc. Line segmentation method applicable to document images containing handwriting and printed text characters or skewed text lines
CN105005771A (zh) * 2015-07-13 2015-10-28 西安理工大学 一种基于光流点轨迹统计的车道线实线的检测方法
CN106323301A (zh) * 2015-06-29 2017-01-11 北京四维图新科技股份有限公司 一种道路情报的获取方法及装置
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法
CN106991401A (zh) * 2017-04-06 2017-07-28 大连理工大学 一种基于K‑means聚类算法的车道线检测方法
CN106991408A (zh) * 2017-04-14 2017-07-28 电子科技大学 一种候选框生成网络的生成方法及人脸检测方法
CN107038429A (zh) * 2017-05-03 2017-08-11 四川云图睿视科技有限公司 一种基于深度学习的多任务级联人脸对齐方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103129468A (zh) * 2013-02-19 2013-06-05 河海大学常州校区 基于激光成像技术的车载路障识别系统和方法
US20150063699A1 (en) * 2013-08-30 2015-03-05 Konica Minolta Laboratory U.S.A., Inc. Line segmentation method applicable to document images containing handwriting and printed text characters or skewed text lines
CN106323301A (zh) * 2015-06-29 2017-01-11 北京四维图新科技股份有限公司 一种道路情报的获取方法及装置
CN105005771A (zh) * 2015-07-13 2015-10-28 西安理工大学 一种基于光流点轨迹统计的车道线实线的检测方法
CN106599869A (zh) * 2016-12-22 2017-04-26 安徽大学 一种基于多任务卷积神经网络的车辆属性识别方法
CN106940562A (zh) * 2017-03-09 2017-07-11 华南理工大学 一种移动机器人无线集群系统及神经网络视觉导航方法
CN106991401A (zh) * 2017-04-06 2017-07-28 大连理工大学 一种基于K‑means聚类算法的车道线检测方法
CN106991408A (zh) * 2017-04-14 2017-07-28 电子科技大学 一种候选框生成网络的生成方法及人脸检测方法
CN107038429A (zh) * 2017-05-03 2017-08-11 四川云图睿视科技有限公司 一种基于深度学习的多任务级联人脸对齐方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DONGSHENG BAO等: "Vehicle Distance Detection Based on Monocular Vision", 《2016 INTERNATIONAL CONFERENCE ON PROGRESS IN INFORMATICS AND COMPUTING (PIC)》 *
JOSEPH REDMON等: "YOLO9000: Better, Faster, Stronger", 《ARXIV:1612.08242V1 [CS.CV] 25 DEC 2016》 *
吴毅华等: "基于激光雷达回波信号的自适应阈值车道线检测", 《机器人》 *
田彦等: "多任务网络融合多层信息的目标定位", 《计算机辅助设计与图形学学报》 *
肖进胜等: "基于 Beamlet 和K-means聚类的车道线识别", 《四川大学学报(工程科学版)》 *
陈良甫等: "一种基于残差网络的多任务模型", 《中国集成电路》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414386A (zh) * 2019-07-12 2019-11-05 武汉理工大学 基于改进scnn网络的车道线检测方法
CN110414386B (zh) * 2019-07-12 2022-01-21 武汉理工大学 基于改进scnn网络的车道线检测方法
CN111008600A (zh) * 2019-12-06 2020-04-14 中国科学技术大学 一种车道线检测方法
CN111079598A (zh) * 2019-12-06 2020-04-28 深圳市艾为智能有限公司 一种基于图像纹理与机器学习的车道线检测方法
CN111008600B (zh) * 2019-12-06 2023-04-07 中国科学技术大学 一种车道线检测方法
CN111079598B (zh) * 2019-12-06 2023-08-08 深圳市艾为智能有限公司 一种基于图像纹理与机器学习的车道线检测方法
CN111539359A (zh) * 2020-04-28 2020-08-14 浙江工商大学 基于深度学习的违章停车检测方法
CN111539359B (zh) * 2020-04-28 2024-04-02 浙江工商大学 基于深度学习的违章停车检测方法

Also Published As

Publication number Publication date
CN109543498B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN107871124B (zh) 一种基于深度神经网络的遥感图像目标检测方法
CN105975913B (zh) 一种基于自适应聚类学习的道路网提取的方法
CN106780485B (zh) 基于超像素分割和特征学习的sar图像变化检测方法
Maurya et al. Road extraction using k-means clustering and morphological operations
CN109271928B (zh) 一种基于矢量路网融合与遥感影像验证的道路网更新方法
WO2018107939A1 (zh) 一种基于边缘完备度的图像分割最优识别方法
CN108921083B (zh) 基于深度学习目标检测的非法流动摊贩识别方法
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
EP2811423B1 (en) Method and apparatus for detecting target
Turker et al. Field-based sub-boundary extraction from remote sensing imagery using perceptual grouping
CN102902967B (zh) 基于人眼结构分类的虹膜和瞳孔的定位方法
CN103699905B (zh) 一种车牌定位方法及装置
CN110866430B (zh) 一种车牌识别方法及装置
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
CN106991370B (zh) 基于颜色和深度的行人检索方法
CN107665324A (zh) 一种图像识别方法及终端
CN107705301A (zh) 一种基于无人机航拍公路图像的公路标线破损检测方法
CN108509950B (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN115272652A (zh) 基于多元回归和自适应焦点损失的密集物体图像检测方法
CN105243356A (zh) 一种建立行人检测模型的方法及装置及行人检测方法
CN107016680B (zh) 一种基于显著性检测的害虫图像背景去除方法
CN113240623B (zh) 一种路面病害检测方法及装置
Zhu et al. Integrating saliency and ResNet for airport detection in large-size remote sensing images
Mei et al. A conditional wasserstein generative adversarial network for pixel-level crack detection using video extracted images
CN106169086B (zh) 导航数据辅助下的高分辨率光学影像损毁道路提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant