CN111597913B - 一种基于语义分割模型的车道线图片检测分割方法 - Google Patents
一种基于语义分割模型的车道线图片检测分割方法 Download PDFInfo
- Publication number
- CN111597913B CN111597913B CN202010326625.2A CN202010326625A CN111597913B CN 111597913 B CN111597913 B CN 111597913B CN 202010326625 A CN202010326625 A CN 202010326625A CN 111597913 B CN111597913 B CN 111597913B
- Authority
- CN
- China
- Prior art keywords
- training
- picture
- pictures
- lane line
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于语义分割模型的车道线图片检测分割方法。采集无人驾驶车辆拍摄的车道线图片构成数据集,车道线图片包含道路上标识的不同类别的车道线;对数据集进行清洗后获得训练集;用训练集输入到网络模型中将图片缩放制成三种图片分辨率大小的图片以图片分辨率逐渐变大进行训练;对待测图片,将待测图片缩放到最后训练时的图片分辨率大小,后输入训练后的最终模型中,输出后再重新缩放回待测图片的原始大小,得到最终的分割结果。本发明能够实现无人车拍摄的车道场景图片中车道线的识别,具有较高的准确率,具有稳定性好、抗干扰能力强、通用性高等优点,鲁棒性好,能够应用于驾驶辅助系统或者无人驾驶系统中。
Description
技术领域
本发明涉及了一种车道线图片语义分割方法,尤其是涉及了一种基于语义分割模型的车道线图片检测分割方法。
背景技术
作为下一个改变人类生活方式的技术蓝海,无人驾驶车辆研究日益受到学术界和产业界的高度关注,其技术涉及认知科学、人工智能、控制科学、机械工程等交叉学科,是各种新兴技术的最佳验证平台,也是未来汽车发展的必然趋势。在无人驾驶汽车研究领域,带有车道线属性的高精地图是商业无人驾驶的一个非常关键的环节。截止目前,大多数的高精地图都是靠人工标注来完成的。人工标注不仅效率低,而且成本高不适宜大规模的商业应用。在高精地图的生产过程中,如何从图像中分割出不同类型的车道线是非常重要的一个环节。同时,准确分割车道线也会为将来高精地图的更新提供帮助。因此设计出高效、准确的检测算法,可以推动无人车的发展,从而造福整个社会。
发明内容
为了解决背景技术中的问题,本发明提出了一种基于语义分割模型的车道线图片检测分割方法,能高效检测并分割出图片中的车道线并具有良好稳定性。
本发明能够实现无人车拍摄的车道场景图片中车道线的自动识别,具有较高的准确率,并且具有稳定性好,抗干扰能力强,通用性高等优点,具有良好的鲁棒性,能够应用于驾驶辅助系统或者无人驾驶系统中。
本发明的技术方案包括以下步骤:
1)采集无人驾驶车辆拍摄的车道线图片构成数据集,车道线图片包含道路上标识的不同类别的车道线;
所述的车道线主要分为以下9类:车道分界线、导向线、停止线、V形线、泊车线、斑马线、转弯线、减速线、其他类。
2)对数据集进行清洗后获得训练集;
具体是遍历数据集中所有车道线图片,删除所有模糊、过曝、过暗以及图片中不包含车道线目标的图片,形成最终用于训练的数据集并标注。
3)用步骤2)获得的训练集输入到网络模型中进行训练,具体将训练集中的图片缩放制成三种图片分辨率大小的图片以图片分辨率逐渐变大进行训练;
4)对于待测图片,将待测图片缩放到步骤3)中最后训练时的图片分辨率大小,然后将缩放后的待测图片输入训练后的最终模型中,最终模型输出结果再重新缩放回待测图片的原始大小,得到最终的分割结果。
所述的车道线图片是指放在无人驾驶车辆上的摄像头拍摄的真实道路场景图片,摄像头固定在无人驾驶车辆的车身上方,正对前方路面水平向下倾斜15度视角拍摄采集。
所述步骤2)的训练集中再对图片进行数据增强处理,从亮度、饱和度、噪声、对比度、裁剪、缩放等多个方面进行调整,获得更多图片,能增强模型的鲁棒性。
具体实施中,数据增强操作具体包括:对于一张训练图片,随机在亮度、饱和度、对比度、噪声、裁剪和缩放中选择一项,并随机改变图片该项的属性值,其中亮度和饱和度的权重因子在0.7~1.3随机取值,对比度因子在0.1~0.3随机取值,噪声为高斯噪声,方差因子在0~1之间随机取值,裁剪尺度为0.9。
所述步骤3)中,所述网络模型采用Deeplab v3+模型,具体过程如下:
3.1)将训练集中的图片均缩放到较小分辨率输入网络模型进行训练,得到第一次训练后的网络模型的模型参数并作为初始化参数;
3.2)将训练集中的图片均缩放到中等分辨率输入到步骤3.1)训练后获得的具有初始化参数的网络模型中进行再次训练,得到第二次训练后的网络模型的模型参数并作为中级参数;
3.3)将训练集中的图片均缩放到较大分辨率输入到步骤3.2)训练后获得的具有中级参数的网络模型中进行再次训练,得到最终模型。
所述步骤3)中的网络模型的训练方法具体是:
网络模型在每种分辨率的图片下分别训练10个迭代周期epochs,学习率变化方式具体采用:其中前3个迭代周期epochs采用固定的学习率0.001训练;然后在第4~8个迭代周期epochs中,每个迭代周期epoch均有一定的迭代次数,这5个迭代周期epoch的所有迭代次数平均依次分配6个学习率,6个学习率依次为:0.001-0.0006-0.0003-0.0001-0.0004-0.0008-0.001;最后在第9~10个迭代周期epochs中,采用固定的学习率0.0001训练,以微调网络模型的模型参数。
所述步骤3)中,网络模型在每次训练时计算以下第一损失函数和第二损失函数相加作为总损失函数,进而采用随机梯度下降方法用于优化训练;
第一损失函数:
其中,BCEL代表二分类交叉熵的损失值,N表示车道线所有的类别数量,y表示第i个车道线类别的真实标签,p(yi)表示网络模型输出的第i个车道线类别的概率值;
第二损失函数:
其中,DL代表相似度的损失值,pi表示第i个车道线类别的精确率,ri表示第i个车道线类别的召回率,∈表示一个极小数,防止分母取值为0,一般情况下,∈的大小取10-6。
本发明具有的有益的效果是:
相比于以往的车道线分割方法,本发明方法准确率高,鲁棒性好,且对所有路面的各种类型的车道线具有通用性;
根据针对车道线场景的特点,本发明选择了特征提取能力较强、能够适应多尺度形状特征的Deeplab v3+网络模型,并结合对图片的数据增强方法,弥补了泛化性能差的缺陷;
本发明方法完全不受图片中高斯噪声和椒盐噪声的影响,且在部分光线较暗的情况下也能够准确地检测与分割出待检测图片中的车道线,具有较强的抗干扰能力。
附图说明
图1为Deeplab v3+网络结构图。
图2为实施例本方法对车道线的检测与定位示意图。
图3为另一实施例本方法对车道线的检测与定位示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
按照本发明发明内容完整方法实施的实施过程如下:
1)采集无人驾驶车辆拍摄的车道线图片构成数据集,车道线图片包含道路上标识的不同类别的车道线;
车道线主要分为以下9类:车道分界线、导向线、停止线、V形线、泊车线、斑马线、转弯线、减速线、其他类。
2)对数据集进行清洗后获得训练集;
具体实施是遍历数据集中所有车道线图片,删除所有模糊、过曝、过暗以及图片中不包含车道线目标的图片,形成最终用于训练的数据集并标注。
训练集后再对图片进行数据增强处理,从亮度、饱和度、噪声、对比度、裁剪、缩放等多个方面进行调整,获得更多图片,具体包括:对于一张训练图片,随机在亮度、饱和度、对比度、噪声、裁剪和缩放中选择一项,并随机改变图片该项的属性值,其中亮度和饱和度的权重因子在0.7~1.3随机取值,对比度因子在0.1~0.3随机取值,噪声为高斯噪声,方差因子在0~1之间随机取值,裁剪尺度为0.9。
3)用步骤2)获得的训练集输入到网络模型中进行训练,具体将训练集中的图片缩放制成三种图片分辨率大小的图片以图片分辨率逐渐变大进行训练;
具体是网络模型采用Deeplab v3+模型,网络结构如图1所示,具体过程如下:
具体实施的训练集中,每张图像大小为3384×1710,在训练网络模型时,将图像大小缩放至768×256、1024×384、1536×512三个不同的尺度依次进行训练。
具体实施中,不同尺度的图像训练流程如下:
3.1)首先利用768×256分辨率的图片训练Deeplab v3+网络,得到网络模型参数;
3.2)用3.1)训练得到的网络参数作为初始化,再利用1024×384分辨率的图片进行训练,得到新的网络模型参数;
3.3)用3.2)得到网络模型参数作为初始化,再利用1536×512分辨率的图片进行训练,得到最终的网络模型参数。
网络模型的训练方法具体是:网络模型在每种分辨率的图片下分别训练10个迭代周期epochs,学习率变化方式具体采用:其中前3个迭代周期epochs采用固定的学习率0.001训练;然后在第4~8个迭代周期epochs中,每个迭代周期epoch均有一定的迭代次数,这5个迭代周期epoch的所有迭代次数平均依次分配6个学习率,6个学习率依次为:0.001-0.0006-0.0003-0.0001-0.0004-0.0008-0.001;最后在第9~10个迭代周期epochs中,采用固定的学习率0.0001训练,以微调网络模型的模型参数。
网络模型在每次训练时计算以下第一损失函数和第二损失函数相加作为总损失函数,进而采用随机梯度下降方法用于优化训练;
第一损失函数:
其中,BCEL代表二分类交叉熵的损失值,N表示车道线所有的类别数量,y表示第i个车道线类别的真实标签,p(yi)表示网络模型输出的第i个车道线类别的概率值;
第二损失函数:
其中,DL代表相似度的损失值,pi表示第i个车道线类别的精确率,ri表示第i个车道线类别的召回率,∈表示一个极小数,防止分母取值为0,一般情况下,∈的大小取10-6。
4)对于待测图片,将待测图片缩放到步骤3)中最后训练时的图片分辨率大小,然后将缩放后的待测图片输入训练后的最终模型中,最终模型输出结果再重新缩放回待测图片的原始大小,得到最终的分割结果。
具体实施中,步骤4)中的输出结果缩放回原图大小具体为:Deeplab v3+网络的最终输出图片大小为1536×512,通过双线性插值的方式,将1536×512大小的结果图放大到3384×1710,即和输入图片相同的大小,得到最终的结果。
实施情况如下:
如图2和图3所示,实验图片共有21914张,其中用于训练的图片有17531张,各种类型的车道线图片均匀分布在数据集中,其余4383张图片作为验证集图片,图像的大小为3384×1710像素。将训练集的17531张图片从亮度、饱和度、噪声、对比度、裁剪和缩放等方面做了共计35062张图片的数据增强,然后在总的数据集里将过曝和过暗的图片删除,最终保留了51037张图片进行训练。
在训练时,首先网络的图片输入尺寸设置为768×256,学习率采用步骤3中循环的变化策略,训练10个epochs,然后将网络的图片输入尺寸设置为1024×384,接着训练10个epochs,最后将网络的图片输入尺寸设置为1536×512,再训练10个epochs,得到最终的模型参数。
训练好的模型效果使用验证集的图片进行测试,首先将验证图片从3384×1710缩放到1536×512,然后将图片输入网络得到输出分辨率为1536×512的结果图片,最后利用最近邻插值的方式将输出结果插值放大到3384×1710像素大小,得到预测结果。最终网络模型在训练集上的结果如下表所示:
表1验证集上模型效果
从表1中可以看出,本专利设计并训练得到的模型在验证集上的平均iou达到了0.536。其中,特别是对车道线中比较重要的几类:车道分界线、导向线、斑马线和减速线都达到了比较高的分割精度,具有实用性。
由此可见,本发明能够实现道路车道线的自动检测与分割,具有较高的准确率,并且具有稳定性好,抗干扰能力强,通用性高等优点,对光照和噪声也具有鲁棒性,能够应用于驾驶辅助系统或无人驾驶系统。
上述具体实施方式用来解释说明本发明,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明作出的任何修改和改变,都落入本发明的保护范围。
Claims (3)
1.一种基于语义分割模型的车道线图片检测分割方法,包括以下步骤:
1)采集无人驾驶车辆拍摄的车道线图片构成数据集,车道线图片包含道路上标识的不同类别的车道线;
2)对数据集进行清洗后获得训练集;
3)用步骤2)获得的训练集输入到网络模型中进行训练,具体将训练集中的图片缩放制成三种图片分辨率大小的图片以图片分辨率逐渐变大进行训练;
所述步骤3)中,所述网络模型采用Deeplab v3+模型,具体过程如下:
3.1)将训练集中的图片均缩放到较小分辨率输入网络模型进行训练,得到第一次训练后的网络模型的模型参数并作为初始化参数;
3.2)将训练集中的图片均缩放到中等分辨率输入到步骤3.1)训练后获得的具有初始化参数的网络模型中进行再次训练,得到第二次训练后的网络模型的模型参数并作为中级参数;
3.3)将训练集中的图片均缩放到较大分辨率输入到步骤3.2)训练后获得的具有中级参数的网络模型中进行再次训练,得到最终模型;
所述步骤3)中的网络模型的训练方法具体是:
网络模型在每种分辨率的图片下分别训练10个迭代周期epochs,学习率变化方式具体采用:其中前3个迭代周期epochs采用固定的学习率0.001训练;然后在第4~8个迭代周期epochs中,每个迭代周期epoch均有一定的迭代次数,这5个迭代周期epoch的所有迭代次数平均依次分配6个学习率,6个学习率依次为:0.001-0.0006-0.0003-0.0001-0.0004-0.0008-0.001;最后在第9~10个迭代周期epochs中,采用固定的学习率0.0001训练,以微调网络模型的模型参数;
所述步骤3)中,网络模型在每次训练时计算以下第一损失函数和第二损失函数相加作为总损失函数,进而采用随机梯度下降方法用于优化训练;
第一损失函数:
其中,BCEL代表二分类交叉熵的损失值,N表示车道线所有的类别数量,yi表示第i个车道线类别的真实标签,p(yi)表示网络模型输出的第i个车道线类别的概率值;
第二损失函数:
其中,DL代表相似度的损失值,pi表示第i个车道线类别的精确率,ri表示第i个车道线类别的召回率,∈表示一个极小数;
4)对于待测图片,将待测图片缩放到步骤3)中最后训练时的图片分辨率大小,然后将缩放后的待测图片输入训练后的最终模型中,最终模型输出结果再重新缩放回待测图片的原始大小,得到最终的分割结果。
2.根据权利要求1所述的一种基于语义分割模型的车道线图片检测分割方法,其特征在于:所述的车道线图片是指放在无人驾驶车辆上的摄像头拍摄的真实道路场景图片,摄像头固定在无人驾驶车辆的车身上方,正对前方路面水平向下倾斜15度视角拍摄采集。
3.根据权利要求1所述的一种基于语义分割模型的车道线图片检测分割方法,其特征在于:所述步骤2)的训练集中再对图片进行数据增强处理,从包括亮度、饱和度、噪声、对比度、裁剪、缩放在内的多个方面进行调整,获得更多图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010326625.2A CN111597913B (zh) | 2020-04-23 | 2020-04-23 | 一种基于语义分割模型的车道线图片检测分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010326625.2A CN111597913B (zh) | 2020-04-23 | 2020-04-23 | 一种基于语义分割模型的车道线图片检测分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111597913A CN111597913A (zh) | 2020-08-28 |
CN111597913B true CN111597913B (zh) | 2022-05-17 |
Family
ID=72187650
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010326625.2A Active CN111597913B (zh) | 2020-04-23 | 2020-04-23 | 一种基于语义分割模型的车道线图片检测分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111597913B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112329631A (zh) * | 2020-11-05 | 2021-02-05 | 浙江点辰航空科技有限公司 | 一种使用无人机对高速公路进行车流量统计的方法 |
CN112258805A (zh) * | 2020-11-06 | 2021-01-22 | 郑州大学 | 一种基于图像识别气化电解液判断电池安全预警装置 |
CN112766056B (zh) * | 2020-12-30 | 2023-10-27 | 厦门大学 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109726627B (zh) * | 2018-09-29 | 2021-03-23 | 初速度(苏州)科技有限公司 | 一种神经网络模型训练及通用接地线的检测方法 |
US10467500B1 (en) * | 2018-12-31 | 2019-11-05 | Didi Research America, Llc | Method and system for semantic segmentation involving multi-task convolutional neural network |
CN110414387B (zh) * | 2019-07-12 | 2021-10-15 | 武汉理工大学 | 一种基于道路分割的车道线多任务学习检测方法 |
CN110363182B (zh) * | 2019-07-24 | 2021-06-18 | 北京信息科技大学 | 基于深度学习的车道线检测方法 |
-
2020
- 2020-04-23 CN CN202010326625.2A patent/CN111597913B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111597913A (zh) | 2020-08-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111597913B (zh) | 一种基于语义分割模型的车道线图片检测分割方法 | |
CN110298404B (zh) | 一种基于三重孪生哈希网络学习的目标跟踪方法 | |
CN106228185B (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
CN110263786B (zh) | 一种基于特征维度融合的道路多目标识别系统及方法 | |
CN111104903A (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
CN114495029B (zh) | 一种基于改进YOLOv4的交通目标检测方法及系统 | |
CN111242127A (zh) | 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法 | |
CN111695640B (zh) | 地基云图识别模型训练方法及地基云图识别方法 | |
CN112990065A (zh) | 一种基于优化的YOLOv5模型的车辆分类检测方法 | |
CN106600965B (zh) | 基于尖锐度的交通流早晚高峰时段自动识别方法 | |
CN110717886A (zh) | 复杂环境下基于机器视觉的路面坑塘检测方法 | |
CN112489088A (zh) | 一种基于记忆单元的孪生网络视觉跟踪方法 | |
CN116030396A (zh) | 一种用于视频结构化提取的精确分割方法 | |
CN116977937A (zh) | 一种行人重识别的方法及系统 | |
CN109919215B (zh) | 基于聚类算法改进特征金字塔网络的目标检测方法 | |
CN111046723A (zh) | 一种基于深度学习的车道线检测方法 | |
CN114882351A (zh) | 一种基于改进YOLO-V5s的多目标检测与跟踪方法 | |
CN113870286A (zh) | 一种基于多级特征和掩码融合的前景分割方法 | |
CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
CN113723558A (zh) | 基于注意力机制的遥感图像小样本舰船检测方法 | |
CN117132910A (zh) | 一种用于无人机的车辆检测方法、装置及存储介质 | |
CN116665009A (zh) | 一种基于多尺度ssd网络的管道漏磁图像检测方法 | |
CN110689559A (zh) | 一种基于密集卷积网络特征的视觉目标跟踪方法 | |
Zheng et al. | A novel strategy for global lane detection based on key-point regression and multi-scale feature fusion | |
CN113223037A (zh) | 一种面向大规模数据的无监督语义分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |