CN110032952B - 一种基于深度学习的道路边界点检测方法 - Google Patents
一种基于深度学习的道路边界点检测方法 Download PDFInfo
- Publication number
- CN110032952B CN110032952B CN201910232810.2A CN201910232810A CN110032952B CN 110032952 B CN110032952 B CN 110032952B CN 201910232810 A CN201910232810 A CN 201910232810A CN 110032952 B CN110032952 B CN 110032952B
- Authority
- CN
- China
- Prior art keywords
- road boundary
- deep learning
- road
- boundary point
- traffic scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于深度学习的道路边界点检测方法,首先采集和扩充交通场景图像数据集,并且对数据集进行道路边界点标注和预处理;其次对定义好网络结构的卷积神经网络进行训练,采用反向传播算法和随机梯度下降方法,不断更新迭代,直到前向传播的损失函数值趋于收敛时,停止训练,得到深度学习模型;然后输入待检测交通场景图片,提取图像特征,得到一组热图;最后根据热图预测交通场景图片中的道路边界点位置;本发明基于简单道路交通场景环境的道路场景图片和视频,能够有效实现道路边界点的检测,检测效果较准确,方法简单有效。
Description
技术领域
本发明属于图像处理、计算机视觉及模式识别领域,具体涉及一种基于深度学习的道路边界点检测方法。
背景技术
道路边界的检测与道路区域的分割,在无人驾驶领域具有极为重要的应用。在一些实际应用中,如道路场景的三维重建等问题中都具有广泛的应用前景。常见的道路区域分割方法通常是基于能量函数的传统分割方法和基于编码器-解码器结构的语义分割网络。但是基于能量函数的方法比如Shen等提出的方法(参考Shen的方法:Shen J,Peng J,Dong X,et al.Higher-Order Energies for Image Segmentation[J].IEEETransactions on Image Processing,2017:1-1.),一般是将图片处理成超像素形式,然后计算超像素之间的纹理颜色信息等特征,再使用图模型的方法进行超像素合并,最后得到分割结果,这种方法耗时比较长,而且对于上下文结构信息学习的不是很好;基于编码器-解码器结构的语义分割网络,比如MultiNet(参考MultiNet:Teichmann M,Weber M,Zoellner M,et al.Multinet:Real-time joint semantic reasoning for autonomousdriving[C]//2018 IEEE Intelligent Vehicles Symposium(IV).IEEE,2018:1013-1020.)等,在学习的时候一般也是从局部特征开始,随着逐步卷积和池化操作,最终提取到全局信息,但是因为是算法自主学习的,可能有些时候对于道路特征的学习效果并不够好,不能充分利用道路边界比较规则的先验信息提高分割精度。
发明内容
为了解决上述现有技术存在的问题,本发明的目的在于提供一种基于深度学习的道路边界点检测方法。
为了达到上述目的,本发明采用如下的技术方案:
一种基于深度学习的道路边界点检测方法,首先采集和扩充交通场景图像数据集,并且对数据集进行道路边界点标注和预处理;其次对卷积神经网络进行训练,不断更新迭代,直到前向传播的损失函数值趋于收敛时,停止训练,得到深度学习模型;然后将待检测交通场景图片输入到深度学习模型中,提取图像特征,得到一组热图;根据热图预测交通场景图片中的道路边界点位置,再根据道路边界点进行道路边界的定位和道路区域的分割。
本发明进一步的改进在于,预处理的具体过程为:对标注后的数据集进行数据清洗,筛除掉标注有缺漏的数据,然后将图片尺寸resize为248×248,再进行归一化处理。
本发明进一步的改进在于,卷积神经网络包括前馈模块和循环模块,两个模块都将热图作为输出,并且使用相同的损失函数进行训练;前馈模块只运行一次,得到粗略的热图;循环模块将前馈模块或者前一次迭代输出的热图和浅层网络提取到的特征进行特征融合,然后进行特征提取,最终得到一个更精准的热图。
本发明进一步的改进在于,采用反向传播算法和随机梯度下降方法不断更新迭代。
本发明进一步的改进在于,损失函数值L定义如下:
其中,针对每一组训练样本S,hi是由第i个训练样本的对应标签生成的热图,f(X,t;λ)i为在网络权重值为λ时第t次迭代时从第i个训练样本中的输入图像预测得到的热图;整个网络的优化目标为求出使得损失函数值L最小的参数值λ;其中默认前馈模块中t=1,每调用一次循环模块t值加1。
本发明进一步的改进在于,将待检测交通场景图片输入到深度学习模型中,提取图像特征,得到一组热图的具体过程为:将待检测的道路交通场景图片输入到深度学习模型中,通过多次卷积和池化操作提取特征,并且多次将高层语义信息和低层特征进行融合,直到得到一组热图。
本发明和现有技术相比较,具有如下有益效果:
本发明首先采集和扩充交通场景图像数据集,并且对数据集进行道路边界点标注和预处理;其次对定义好网络结构的卷积神经网络进行训练,采用反向传播算法和随机梯度下降方法,不断更新迭代,直到前向传播的损失函数值趋于收敛时,停止训练,得到深度学习模型;然后输入待检测交通场景图片,提取图像特征,得到一组热图;接下来根据热图预测交通场景图片中的道路边界点位置;最后根据道路边界点可以简单方便的进行道路边界的定位和道路区域的分割;本发明准确率高,简单有效。使用本发明进行轮廓点追踪时,相比于已有方法,如光流法等,本发明使用神经网络进行大量数据的拟合,因此鲁棒性较好。使用本发明进行道路边界定位和道路区域分割时,相较于基于能量函数的传统分割算法和编码器-解码器结构的深度学习分割算法,本发明利用了道路轮廓比较规则的这一结构先验,只通过确定道路边界点即能方便地界定道路区域,不需要像传统分割算法一样划分超像素并对超像素逐个处理,从而大大降低了运算量,使得检测和跟踪速度更快;另一方面,因为利用了道路轮廓规则的结构先验,不需要对全部区域进行处理,不会像传统算法和编码器-解码器分割网络一样出现分割结果区域边缘不平滑,因而在干扰物较少时鲁棒性较好,结果准确率高。
附图说明
图1为所使用卷积网络的网络结构示意图。
图2为使用卷积网络进行道路边界点检测,并在此基础上进行道路区域划分的结果。其中,(a)-(i)为道路区域划分结果的示意图。
图3为将卷积网络方法与光流法进行比较的结果,其中,CNN为卷积网络的检测效果,flow-10和flow-5分别为每10帧和每5帧基于初始帧进行追踪的结果。
图4为不同道路边界点数目的情况下生成道路区域的分割结果对比图。
具体实施方式
下面结合附图和具体实施方式,对本发明做详细描述。
本发明具体方法如下:
步骤1:采集和扩充交通场景图像数据集,并且对数据集进行道路边界点标注和预处理;预处理为:对标注后的数据集进行数据清洗,筛除掉标注有缺漏的数据,然后将图片尺寸resize为248×248,再进行归一化处理。
步骤2:设计卷积神经网络:本发明的卷积神经网络结构是在已有的VGG-16模型对称思想启发下重新定义的网络结构,并且添加了循环模块,以提升结果准确率。
如图1所示,卷积网络的结构主要包含两个部分:前馈模块和循环模块。两个模块都将热图作为输出,并且使用相同的损失函数进行训练。前馈模块只运行一次,得到粗略的热图;循环模块将前馈模块或者前一次迭代输出的热图和浅层网络提取到的特征进行特征融合,然后进行特征提取,最终得到一个更精准的热图。
该卷积神经网络将单幅RGB图片作为输入,将一组热图作为中间结果,最后将一组道路边界点的坐标作为输出。对每一个预测点以或相邻预测点之间的区段都有一个对应的热图,热图中概率值最大点即为网络预测的关键点或者区段中点的位置。
前馈模块使用小卷积核,感受野较小,主要负责的是独立检测各个关键点的位置,通过回归得到各个点的位置热图。为了降低运算量,在训练的时候网络输入图片的尺寸统一resize为248×248。在前馈模块中统一使用3×3大小的卷积核,并使用ReLU作为激活函数,进行特征提取。前两层网络中都是在两次卷积之后紧接着进行池化,第二次池化之后各层只进行卷积操作,提取到的特征图大小均为62×62。池化操作降低了运算量,以损失一部分精度为代价提高网络的训练效率。只进行两次池化避免了从热图坐标映射到原图坐标时的信息损失过大。经过一系列的卷积和池化操作之后,最终得到的是一组热图。热图分为两部分,一部分是关键点热图,一部分是区段热图。前者是用来预测关键点坐标的,而后者则是作为约束条件保证关键点之间的位置关系更加合理。
循环模块使用大卷积核,具体使用13×13大小的卷积核,具有更大感受野,并且多次迭代运行中每一次迭代都将扩大一次感受野的范围,从而获得更多的高层语义信息。引入循环模块的目的是在不损失预测结果准确性的前提下尽可能提取到更多高层次的语义信息。但是道路边界点的坐标是低层语义信息,而关键点之间的位置关系是高层语义信息。为了避免迭代后位置关系合理的同时坐标精度的降低,循环模块将前一次迭代的结果和最后一次池化后提取到的中间特征图进行特征融合之后作为循环模块的输入,从而同时确保了坐标位置的准确性和关键点之间关系的合理性。
步骤3:训练卷积神经网络:采用反向传播算法和随机梯度下降方法,不断更新迭代,直到前向传播的损失函数值趋于收敛时,停止训练,得到深度学习模型;
在对本卷积网络进行训练的时候,对于训练集S=(X,Y),每张输入的图像x∈X都有对应标签y∈Y。但是实际上在进行训练的时候,需要先由标注的道路边界点坐标分别生成对应的关键点热图和区段热图。关键点热图是以道路边界点作为对应热图的高斯分布中心,区段热图则是将两个相邻关键点的中点作为高斯分布中心。如公式(1)所示,yk=(y1,y2)表示第k个关键点的坐标值,则对热图中的某一点(i,j),可以使用高斯函数得出热图中该点的值:
其中σ1=0.195,σ2=0.104。
在训练的时候使用均方误差作为损失值,计算根据标签y生成的一组62×62大小的热图和通过卷积网络预测得到的热图之间的均方误差。前馈模块和循环模块均使用相同的损失函数。其中损失函数值L定义如下:
其中针对每一组训练样本S,hi是由第i个训练样本的对应标签生成的热图,f(X,t;λ)i为在网络权重值为λ时第t次迭代时从第i个训练样本中的输入图像预测得到的热图。整个网络的优化目标即为求出使得损失函数值L最小的参数值λ。其中默认前馈模块中t=1,每调用一次循环模块t值加1;
步骤4:输入待检测交通场景图片,提取图像特征:将待检测的道路交通场景图片输入到已经训练好的卷积神经网络中,通过多次卷积和池化操作提取特征,并且多次将高层语义信息和低层特征进行融合,直到最后得到一组热图;
步骤5:预测交通场景图片中的道路边界点位置:特征提取之后得到的一组热图中每张热图对应着一个道路边界点,每张热图中值最大点对应位置即为道路边界点在原图中的坐标。
相比于已有的基于光流法进行道路边界点追踪的方法,和相比于基于能量函数的Shen的方法以及基于编码器-解码器结构的MultiNet等深度学习网络,本算法检测准确率高,对环境噪声鲁棒,跟踪速度快,方法简单有效。
本发明算法的神经网络基于MATCONVNET框架实现,训练使用的工作站带有两块1080Ti型号GPU进行运算加速。实验数据选取了不同场景下的525张图片作为训练集,106张图片作为测试集。图2中(a)-(i)展示了使用本发明算法在部分测试集图片中的测试结果,红色点为预测的道路边界点,上面各色蒙版为基于道路边界点进行的图像区域粗分割,便于进一步的场景建模。同时也选取了一组100张连续的道路场景图像序列用于测试算法鲁棒性,图3展示了其中部分图像序列下的不同算法检测效果差异。可见,CNN(卷积网络方法)整体的鲁棒性比较好,点线距离随帧数起伏不大,但是光流法随帧数有较大波动。另外还比较了不同道路边界点数目下进行道路区域分割结果的好坏,如图4所示。可见,随着道路边界点的数目的增多,分割效果越来越好。在有规则边界的公路场景下,分割效果相对较好,在道路边界不明确的乡村道路场景下,分割效果相对较差。
将本发明的算法与光流法进行比较,如表1所示,比较的源数据为手工标注之后的100帧连续的道路场景图像序列,定量评估的标准为点线距离。将本发明的算法与Shen的方法和MutiNet的分割结果进行比较,如表2所示。比较的源数据为卡车和轿车序列,比较的基准轮廓曲线来自于手动标注,定量评估的标准为查准率、查准率和点线距离。比较的结果说明了本发明算法的可靠性和鲁棒性。
表1道路边界点追踪的定量评估
光流法-10帧 | 光流法-5帧 | 本发明的算法 | |
总距离 | 385.7445 | 308.8701 | 367.0330 |
平均距离 | 4.2860 | 3.8608 | 3.6703 |
表2道路区域分割结果的定量评估
本发明基于简单道路交通场景环境的道路场景图片和视频,能够有效实现道路边界点的检测,检测效果较准确,方法简单有效。
Claims (5)
1.一种基于深度学习的道路边界点检测方法,其特征在于,首先采集和扩充交通场景图像数据集,并且对数据集进行道路边界点标注和预处理;其次对卷积神经网络进行训练,不断更新迭代,直到前向传播的损失函数值趋于收敛时,停止训练,得到深度学习模型;然后将待检测交通场景图片输入到深度学习模型中,提取图像特征,得到一组热图;根据热图预测交通场景图片中的道路边界点位置,再根据道路边界点进行道路边界的定位和道路区域的分割;
卷积神经网络包括前馈模块和循环模块,两个模块都将热图作为输出,并且使用相同的损失函数进行训练;前馈模块只运行一次,得到粗略的热图;循环模块将前馈模块或者前一次迭代输出的热图和浅层网络提取到的特征进行特征融合,然后进行特征提取,最终得到一个更精准的热图。
2.根据权利要求1所述的一种基于深度学习的道路边界点检测方法,其特征在于,预处理的具体过程为:对标注后的数据集进行数据清洗,筛除掉标注有缺漏的数据,然后将图片尺寸resize为248×248,再进行归一化处理。
3.根据权利要求1所述的一种基于深度学习的道路边界点检测方法,其特征在于,采用反向传播算法和随机梯度下降方法不断更新迭代。
5.根据权利要求1所述的一种基于深度学习的道路边界点检测方法,其特征在于,将待检测交通场景图片输入到深度学习模型中,提取图像特征,得到一组热图的具体过程为:将待检测的道路交通场景图片输入到深度学习模型中,通过多次卷积和池化操作提取特征,并且多次将高层语义信息和低层特征进行融合,直到得到一组热图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910232810.2A CN110032952B (zh) | 2019-03-26 | 2019-03-26 | 一种基于深度学习的道路边界点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910232810.2A CN110032952B (zh) | 2019-03-26 | 2019-03-26 | 一种基于深度学习的道路边界点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110032952A CN110032952A (zh) | 2019-07-19 |
CN110032952B true CN110032952B (zh) | 2020-11-10 |
Family
ID=67236587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910232810.2A Active CN110032952B (zh) | 2019-03-26 | 2019-03-26 | 一种基于深度学习的道路边界点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110032952B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111539360B (zh) * | 2020-04-28 | 2022-11-22 | 重庆紫光华山智安科技有限公司 | 安全带佩戴识别方法、装置及电子设备 |
CN111611919B (zh) * | 2020-05-20 | 2022-08-16 | 西安交通大学苏州研究院 | 一种基于结构化学习的道路场景布局分析方法 |
CN112200116B (zh) * | 2020-10-22 | 2021-07-02 | 北京深睿博联科技有限责任公司 | 一种道路边界检测方法及装置 |
CN112257609B (zh) * | 2020-10-23 | 2022-11-04 | 重庆邮电大学 | 一种基于自适应关键点热图的车辆检测方法及装置 |
CN113534821B (zh) * | 2021-09-14 | 2021-12-10 | 深圳市元鼎智能创新有限公司 | 多传感器融合的扫地机器人运动避障方法、装置及机器人 |
CN114255442A (zh) * | 2021-11-05 | 2022-03-29 | 山东师范大学 | 一种校园安全通道异常目标检测方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107886514B (zh) * | 2017-11-22 | 2021-04-23 | 浙江中医药大学 | 基于深度残差网络的乳腺钼靶图像肿块语义分割方法 |
CN108052933A (zh) * | 2018-01-16 | 2018-05-18 | 杭州国辰机器人科技有限公司 | 基于卷积神经网络的道路识别系统及方法 |
CN108596193B (zh) * | 2018-04-27 | 2021-11-02 | 东南大学 | 一种搭建针对人耳识别的深度学习网络结构的方法及系统 |
CN108629768B (zh) * | 2018-04-29 | 2022-01-21 | 山东省计算中心(国家超级计算济南中心) | 一种食管病理图像中上皮组织的分割方法 |
CN108921051B (zh) * | 2018-06-15 | 2022-05-20 | 清华大学 | 基于循环神经网络注意力模型的行人属性识别网络及技术 |
CN109214349B (zh) * | 2018-09-20 | 2021-08-06 | 天津大学 | 一种基于语义分割增强的物体检测方法 |
-
2019
- 2019-03-26 CN CN201910232810.2A patent/CN110032952B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110032952A (zh) | 2019-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110032952B (zh) | 一种基于深度学习的道路边界点检测方法 | |
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN111640125B (zh) | 基于Mask R-CNN的航拍图建筑物检测和分割方法及装置 | |
CN111553201B (zh) | 一种基于YOLOv3优化算法的交通灯检测方法 | |
CN110276264B (zh) | 一种基于前景分割图的人群密度估计方法 | |
CN106557579B (zh) | 一种基于卷积神经网络的车辆型号检索系统及方法 | |
CN109344825A (zh) | 一种基于卷积神经网络的车牌识别方法 | |
CN108171112A (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
CN110163069B (zh) | 用于辅助驾驶的车道线检测方法 | |
CN108334881B (zh) | 一种基于深度学习的车牌识别方法 | |
CN113516664A (zh) | 一种基于语义分割动态点的视觉slam方法 | |
CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
CN110399840B (zh) | 一种快速的草坪语义分割及边界检测方法 | |
CN108230330B (zh) | 一种快速的高速公路路面分割和摄像机定位的方法 | |
CN110287798B (zh) | 基于特征模块化和上下文融合的矢量网络行人检测方法 | |
CN109325407B (zh) | 基于f-ssd网络滤波的光学遥感视频目标检测方法 | |
CN117252904B (zh) | 基于长程空间感知与通道增强的目标跟踪方法与系统 | |
CN110458132A (zh) | 一种基于端到端的不定长文本识别方法 | |
CN112926694A (zh) | 基于改进的神经网络对图像中的猪只进行自动识别的方法 | |
CN113642500B (zh) | 一种基于多阶段域自适应的低照度目标检测方法 | |
CN115223080A (zh) | 一种基于非局部特征聚合神经网络的目标分割方法 | |
CN114067240A (zh) | 一种融合行人特性的在线更新策略行人单目标跟踪方法 | |
CN115409954A (zh) | 一种基于orb特征点的稠密点云地图构建方法 | |
Wu et al. | An object detection method for catenary component images based on improved Faster R-CNN | |
CN117274723B (zh) | 一种用于输电巡检的目标识别方法、系统、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |