CN113011338A - 一种车道线检测方法及系统 - Google Patents
一种车道线检测方法及系统 Download PDFInfo
- Publication number
- CN113011338A CN113011338A CN202110297720.9A CN202110297720A CN113011338A CN 113011338 A CN113011338 A CN 113011338A CN 202110297720 A CN202110297720 A CN 202110297720A CN 113011338 A CN113011338 A CN 113011338A
- Authority
- CN
- China
- Prior art keywords
- lane line
- line detection
- feature vector
- detection method
- local feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车道线检测方法及系统,包括,采集待检测图片,获得待检测图片的特征图,根据特征图获得局部特征向量和全局特征向量,然后将两者进行拼接输入两个并行的全连接网络,预测车道的类别、偏移值和长度。本发明利用车道线的上下文信息,在不明显降速的情况下提高了车道线检测的准确率。
Description
技术领域
本发明涉及图像识别领域,具体涉及一种车道线检测方法及系统。
背景技术
车道线检测是智能驾驶技术中的关键一环,检测到的车道线信息可用于行车路经规划、道路偏离提醒以及交通事故避免。车道线检测方法众多,主要可分为两个大类:一是基于传统数字图像处理的检测方法,二是基于神经网络、深度学习技术的车道线检测方法。基于传统数字图像处理的检测方法如霍夫变换等办法虽然简单快捷,但是鲁棒性不够,无法应对复杂的背景环境(比如遮挡、车道线磨损、强光弱光等);随着人工智能技术的发展,深度学习技术渐渐被应用于车道线检测这一领域,并提出了许多具有代表性的车道线检测方法。其中主要包括基于语义分割的车道线检测,即将车道线检测看做一个语义分割问题,先用语义分割网络得到二值图像,再用后续的处理手段将分割出来的车道线像素做聚类并拟合,得到单独的车道线数学表达;其他的方法还包括基于行分类的车道线检测,以及基于anchor(锚)的车道线检测。前者利用卷积神经网络对输入图像做特征提取,并对得到的具有高级语义特征的特征图做行分类,即对特征图的每一行做C(该数据集中所包含的最大的车道线条数)次分类,得到车道线在该行中的位置,最后连点成线;后者将车道线检测与目标检测联合起来,设计了专用于车道线检测的anchor,即“线模型”,在特征图上的不同位置放置ancho r,预测真实车道线与anchor之间的水平偏移,得到最后的车道线位置。
由于智能驾驶系统大多是在嵌入式设备中运行,也就是说算力有限,而车道线检测面临的是一个实时、复杂环境,因此目前的车道线检测方法仍存在许多缺陷。比如:(1)基于语义分割的车道线检测方法是二阶段方法,复杂的后处理使得此种方法运行起来较慢,难以向嵌入式设备迁移,无法满足实时性的要求;(2)基于行分类的方法没有运用到车道线形状长且细的先验知识,速度虽然很快但在实际运用中容易导致车道线漏检;(3)车道线检测中最常出现的问题包括车道线的遮挡、磨损、以及车道线像素在整张图片中占比过少等,通常缓解遮挡问题需要结合上下文,另外车道线像素占比过少则需要加强特征表达,而现有的基于anchor的方法并没有充分考虑这些问题。
发明内容
为了克服现有技术存在的缺点与不足,本发明提供一种车道线检测方法及系统。
利用全局上下文模块提取特征图的的全局上下文,缓解车道线被遮挡问题;同时,利用二维离散余弦变换加强车道线的特征表达,提高车道线检测的准确率。
本发明采用如下技术方案:
一种车道线检测方法,包括:
获取待检测图片;
利用搭载基于dct全局上下文模块的主干网络提取待检测图片的特征图Fback,对特征图Fback进行降维,得到降维后的特征图F;
根据偏移值及长度得到车道线的坐标值。
进一步,采用非极大值抑制去除重复的车道线。
进一步,所述主干网络采用resnet34网络,并在主干网络的c3、c4、c5的最后一层加载基于dct全局上下文模块。
进一步,所述anchor具体为一条射线,该射线与X轴正方向的夹角为θ。
进一步,在训练前,还包括先用kmeans方法对训练集中起始点位于图片左边界、下边界及右边界的车道线分别做聚类,对应边界的k值分别为6,15,6,得到每个边界上anchor的角度。
进一步,在得到特征图的左边界、下边界及右边界的每一个像素点上放置一组anchor。
进一步,所述利用全连接层计算该局部特征与其他全部局部特征向量之间的权重系数,其权重系数采用softmax函数限制该值在0-1之间。
进一步,所述两个并行的全连接网络,一个用于分类得到K+1个概率值,具体是K条车道线以及1个背景类;另一个用来回归N个偏移值以及车道线长度l。
进一步,所述分类的损失函数为focal loss,回归部分损失函数为L1smoothloss,优化器为Adam。
一种车道线检测系统,包括,
采集模块,获得待检测图像;
特征图获取模块,通过搭载基于dct全局上下文模块的主干网络获取待检测图片的特征图F;
本发明的有益效果:
(1)车道线检测由于其特殊的检测环境(公路),时常发生车道线遮挡的问题,所以本发明利用车道线的上下文信息,在不明显降速的情况下提高了车道线检测的准确率;
(2)车道线有它独特的先验知识,即车道线的形状细且长,往往在一张图片中车道线像素在全部像素的占比很少,在卷积网络的一层层堆叠中,感受野越来越大,细节信息会一步步损失,所以本发明利用基于离散余弦变换的通道注意力加强车道线特征表达,有效缓解车道线漏检;
附图说明
图1是本发明的工作流程图;
图2是本发明获得局部特征向量示意图;
图3是本发明主干网络的结构示意图;
图4(a)是本发明DCT-based Global Contextual Block的结构示意图;
图4(b)是图4(a)中的DCT block的示意图。
具体实施方式
下面结合实施例及附图,对本发明作进一步地详细说明,但本发明的实施方式不限于此。
实施例1
如图1所示,一种车道线检测方法,是构造检测车道线模型的过程,包括:
S1输入待检测图片,所述待检测图片包含车道,采集设备为摄像头,安装在智能驾驶车辆的前方,并resize到320*640尺寸。
S2如图3所示,利用resnet34网络作为主干网络提取特征图F,并在主干网络的c3、c4、c5(即Resnet34的第3、4、5个convolutional Block块)的最后一层添加DCT-basedglobal context block来提取全局上下文特征,并且对车道线特征加强。
图3中,backbone表示主干网络,conv表示1*1的卷积层,Lcls和Lreg表示两个并行的全连接网络。
S3采用1*1卷积层对特征图Fback降维,得到特征图F;
常规的目标检测中,目标的anchor为方形边框,但这对车道线不适用;所以本方法中车道线的anchor,具体为一个射线,该射线的方向由一个起始坐标以及与X轴正方向的夹角θ决定。
在模型开始训练前先用kmeans方法对训练集中起始点位于图片左边界、下边界及右边界的车道线分别做聚类,对应边界的k值分别为6,15,6,得到每个边界上anchor的角度。
在得到的特征图F的左边界、下边界、右边界每一个像素点上放置一组an chor。上边界以及特征图内部的其他位置不放是因为大多数车道线都会从下至上贯穿整张图片,在上边界放置anchor会导致与下边界的anchor重复。图2为放置了一组anchor的特征图F,假设图2中的一个小格子即为一个像素点,那么这个anchor覆盖的元素即组成一个局部特征向量
S6将每一个局部特征向量与其对应的全局特征向量拼接得到ai,送入两个并行的全连接网络,一个用于分类得到K+1个概率值,K条车道线以及1个背景类,另一个用来回归N个偏移值,N为特征图F的高,用于预测的车道线与anchor之间的水平偏移,以及车道线长度l,指有效的偏移值数量。
进一步,分类部分损失函数为focal loss,回归部分损失函数为L1 smoot hloss,优化器为Adam。
实施例2
一种车道线检测系统,包括:
采集模块,用于获取待检测图像;
特征图获取模块,用于搭载了DCT-based Global Context Block的resnet34网络获取待检测图像的特征图,如图4(a)及图4(b)所示为DCT-based Glob al Context Block的结构示意图。
特征图降维模块,采用一个1*1的卷积层对特征图获取模块的特征图进行降维,
预测模块:具体为两个并行的全连接网络,一个用于分类,一个用于回归。
以上5个部分组成了整个检测模型。
模型训练过程:
Kmeans预先获取anchor的角度——输入图片——经过检测模型输出预测类别、偏移值及长度——对预测结果计算损失(包括分类损失和回归损失两部分,其中,分类损失为focal loss;回归损失为L1 smooth loss)——反向传播,更新网络权重,直到损失不再下降;
推理过程:输入图片——检测模型输出预测结果——根据预测出来的类别、偏移值及长度,计算车道线坐标——NMS去除重复车道线。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
2.根据权利要求1所述的车道线检测方法,其特征在于,采用非极大值抑制去除重复的车道线。
3.根据权利要求1所述的车道线检测方法,其特征在于,所述主干网络采用resnet34网络,并在主干网络的c3、c4、c5的最后一层加载基于dct全局上下文模块。
4.根据权利要求1所述的车道线检测方法,其特征在于,所述anchor具体为一条射线,该射线与X轴正方向的夹角为θ。
5.根据权利要求4所述的车道线检测方法,其特征在于,在训练前,还包括先用kmeans方法对训练集中起始点位于图片左边界、下边界及右边界的车道线分别做聚类,对应边界的k值分别为6,15,6,得到每个边界上anchor的角度。
6.根据权利要求1所述的车道线检测方法,其特征在于,在得到特征图的左边界、下边界及右边界的每一个像素点上放置一组anchor。
7.根据权利要求1所述的车道线检测方法,其特征在于,所述利用全连接层计算该局部特征与其他全部局部特征向量之间的权重系数,其权重系数采用softmax函数限制该值在0-1之间。
8.根据权利要求1所述的车道线检测方法,其特征在于,所述两个并行的全连接网络,一个用于分类得到K+1个概率值,具体是K条车道线以及1个背景类;另一个用来回归N个偏移值以及车道线长度l。
9.根据权利要求8所述的车道线检测方法,其特征在于,所述分类的损失函数为focalloss,回归部分损失函数为L1 smooth loss,优化器为Adam。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110297720.9A CN113011338B (zh) | 2021-03-19 | 2021-03-19 | 一种车道线检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110297720.9A CN113011338B (zh) | 2021-03-19 | 2021-03-19 | 一种车道线检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113011338A true CN113011338A (zh) | 2021-06-22 |
CN113011338B CN113011338B (zh) | 2023-08-22 |
Family
ID=76403574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110297720.9A Active CN113011338B (zh) | 2021-03-19 | 2021-03-19 | 一种车道线检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113011338B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115063761A (zh) * | 2022-05-19 | 2022-09-16 | 广州文远知行科技有限公司 | 车道线检测方法、装置、设备及存储介质 |
CN115376091A (zh) * | 2022-10-21 | 2022-11-22 | 松立控股集团股份有限公司 | 一种利用图像分割辅助的车道线检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
CN111126327A (zh) * | 2019-12-30 | 2020-05-08 | 中国科学院自动化研究所 | 车道线检测方法、系统、车载系统及车辆 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
CN112149526A (zh) * | 2020-09-07 | 2020-12-29 | 中国科学院声学研究所南海研究站 | 一种基于长距离信息融合的车道线检测方法及系统 |
WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、系统及存储介质 |
-
2021
- 2021-03-19 CN CN202110297720.9A patent/CN113011338B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
WO2021046951A1 (zh) * | 2019-09-09 | 2021-03-18 | 安徽继远软件有限公司 | 图像识别方法、系统及存储介质 |
CN111126327A (zh) * | 2019-12-30 | 2020-05-08 | 中国科学院自动化研究所 | 车道线检测方法、系统、车载系统及车辆 |
CN112149526A (zh) * | 2020-09-07 | 2020-12-29 | 中国科学院声学研究所南海研究站 | 一种基于长距离信息融合的车道线检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
陈立潮;徐秀芝;曹建芳;潘理虎;: "引入辅助损失的多场景车道线检测", 中国图象图形学报, no. 09, pages 168 - 179 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115063761A (zh) * | 2022-05-19 | 2022-09-16 | 广州文远知行科技有限公司 | 车道线检测方法、装置、设备及存储介质 |
CN115376091A (zh) * | 2022-10-21 | 2022-11-22 | 松立控股集团股份有限公司 | 一种利用图像分割辅助的车道线检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113011338B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110728200B (zh) | 一种基于深度学习的实时行人检测方法及系统 | |
CN110222591B (zh) | 一种基于深度神经网络的车道线检测方法 | |
CN106845487B (zh) | 一种端到端的车牌识别方法 | |
WO2021249071A1 (zh) | 一种车道线的检测方法及相关设备 | |
CN110263706B (zh) | 一种雾霾天气车载视频动态目标检测和识别的方法 | |
CN112257609B (zh) | 一种基于自适应关键点热图的车辆检测方法及装置 | |
CN111401150B (zh) | 一种基于实例分割和自适应变换算法的多车道线检测方法 | |
CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
CN109886200B (zh) | 一种基于生成式对抗网络的无人驾驶车道线检测方法 | |
CN113095277B (zh) | 一种基于目标空间分布特征的无人机航拍车辆检测方法 | |
CN113011338B (zh) | 一种车道线检测方法及系统 | |
CN111259796A (zh) | 一种基于图像几何特征的车道线检测方法 | |
CN111414807A (zh) | 一种基于yolo技术的潮水识别与危机预警方法 | |
Zhang et al. | End to end video segmentation for driving: Lane detection for autonomous car | |
CN112766056A (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
CN113408550B (zh) | 基于图像处理的智能称重管理系统 | |
CN112801021B (zh) | 基于多级语义信息的车道线检测方法及系统 | |
CN113033363A (zh) | 一种基于深度学习的车辆稠密目标检测方法 | |
CN111126303B (zh) | 一种面向智能停车的多车位检测方法 | |
CN112926415A (zh) | 一种行人避让系统和行人监测方法 | |
CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统 | |
CN115424276B (zh) | 一种基于深度学习技术的船牌号检测方法 | |
CN116824630A (zh) | 一种轻量化红外图像行人目标检测方法 | |
Li et al. | CDMY: A lightweight object detection model based on coordinate attention |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |