CN110163077A - 一种基于全卷积神经网络的车道识别方法 - Google Patents
一种基于全卷积神经网络的车道识别方法 Download PDFInfo
- Publication number
- CN110163077A CN110163077A CN201910179816.8A CN201910179816A CN110163077A CN 110163077 A CN110163077 A CN 110163077A CN 201910179816 A CN201910179816 A CN 201910179816A CN 110163077 A CN110163077 A CN 110163077A
- Authority
- CN
- China
- Prior art keywords
- lane
- tag
- layer
- value
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
针对目前车辆自动驾驶中关于车道识别问题，计划采用一种神经网络模型来识别车道作为最终的解决方案。与典型的计算机视觉技术中使用梯度阈值和颜色阈值以及其他手动编程方法处理图片相比，深度学习模型在提取图像关键特征值方面能够达到更好的效果。具体来说，构建一个全卷积神经网络模型即没有任何全连接层的神经网络，它通过使用过滤器找到重要的特定像素分组，能够非常有效的提取到图像中的车道特征信息，最后输出的信息可以在原始图片别识别到的车道区进行高亮显示，以达到车道识别的目的。
Description
技术领域
本专利属于汽车自动驾驶感知技术领域，特别是涉及深度学习方法识别车道的方案。
背景技术
车道检测仍然是机器视觉研究的沃土领域。因此，世界上已经提出了许多方法来完成这项任务。然而，霍夫变换法仍然是最常用方法之一。在这些方法中，输入图像首先使用Canny 边缘检测器或可控滤波器预处理以找到边缘。经典的霍夫变换用于在二值图像中找到直线，这通常对应于车道边界。但是通过霍夫变换，通常很难确定一条线是否与车道边界相对应。在色彩分割方法中，RGB图像经常转换为HSI或自定义色彩空间。在这些替代色彩空间中，一个像素的亮度和色度分量被单独建模。结果，可以大大减少阴影和颜色分量中的动态照明的影响。因此，这种转换通常会增强对黄色车道标记等有色物体的检测。然而，由于这些方法在像素级别运行，它们通常对来自路灯或类似照明源的环境光颜色的变化敏感。
虽然车道和道路标记检测似乎是一个简单的问题，但该算法必须在各种环境下准确识别，并且计算时间快。基于手工特征的车道检测方法检测通用形状的标记，并尝试拟合线或样条来定位通道。这种算法在某些情况下表现良好，但在不熟悉的条件下表现不佳。在道路标记检测算法的情况下，大部分作品都基于人为模型制作的特征。而且这些方法在不熟悉的条件下会表现出性能下降问题。
发明内容
有鉴于此，本发明实施例提供一种基于全卷积神经网络的车道识别方法，其目的在于解决上述中检测车道所存在的局限性。
本发明解决以上存在的技术问题所采用的技术方案如下：采用全卷积神经网络的车道识别方法，所述方法包括：基于全卷积神经网络的车道识别方法，其特征在于，包括：
构建车道区域识别的卷积层网络；构建逆卷积层网络；将卷积层网络提取到的特征信息通过逆卷积网络显示出来；训练全卷积网络模型。
可选地，所述的构建车道区域识别的卷积层网络包括，该卷积神经网络由七个卷积层、三个池化层构成，将批标准化层放于网络输入位置。网络的输入2n*n像素大小的车道图片，输出为提取到的车道特征信息。网络中每个卷积层的卷积核为k*k，且每个卷积层与激活函数相连，并且前两层卷积层后连接池化层，接着三层卷积层后在连接池化层，最后两层卷积后连接池化层，采用MAX池化方式将池化核覆盖范围内像素点的最大值作为池化结果，对特征图实现降维；
可选地，所述基于完全卷积神经网络的车道识别方法包括，该逆卷积神经网络由七个逆卷积层、三个上采样层构成。网络中每个卷积层与激活函数相连，并且前两层卷积层后连接上采样层，接下来三层逆卷积层在接一层向上采样层。采用上采样层将直接将内容复制来扩充特征映射图；
可选地，所述基于完全卷积神经网络的车道识别方法包括，将上述中构建好的七层卷积网络结构层后接一个上采样层，并在其后连接上上述中构建好的逆卷积层。输入原始车道图片，通过前七层卷积层提取车道区域特征信息，经过一个上采样层进行填充处理，后面七层逆卷积层将处理后的车道特征信息进行一步扩充与可视化处理，输出车道区域映射图。
可选地，所述基于完全卷积神经网络的车道识别方法包括，构建的网络最主要的是卷积层，其次便是激活函数。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。采用Relu激活函数，整个过程节省计算量：φ(x)＝max(0,x)，公式中Relu函数作为本网络模型的激活函数，会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。
可选地，所述基于完全卷积神经网络的车道识别方法包括，基于每层卷积层后加入激活函数将增加更加广泛的dropout。在每一个卷积层使用dropout,它会消耗更多的运算内存，以至于不得不选择在开始和结束时减少dropout的使用。同样，使用批量标准化每一层卷积层, 发现它也同样会消耗很多内存,所以将批量标准化放在网络最开始。
表1：完全卷积神经网络结构
可选地，所述基于完全卷积神经网络的车道识别方法包括，构建卷积结构层通过keras-vis 库对卷积层的激活情况进行查看，通过keras-vis库查看每层卷积层能够提取到的车道区域特征信息，验证该网络是否能够激活实际的车道区域，以此查看每个卷积层中的车道区域激活映射，根据激活情况调整卷积层结构和逆卷积结构层。
可选地，所述基于完全卷积神经网络的车道识别方法包括，对构建好的网络模型进行训练，其中检测损失层使用归一化指数函数将输入的特征图转化为预测概率矩阵，特征图上每个像素点预测概率的计算方法如式(1)所示：
其中，k∈{0,1}，y′(i,c,h,w)代表输入的第i张卷积特征图(h,w)位置上通道序号为c的像素点的值，max(y′(i,c,h,w))代表第i张特征图(h,w)位置上2个通道之中像素点的最大值，k 为对特征图通道进行遍历时的通道序号，由于每张特征图包含2个通道，因此k在{0,1}中取值；损失值代表检测网络预测的车道区域位置与标签数据中车道区域位置之间损失，利用式(1) 中的预测概率能够判断特征图中车道区域的位置，然后通过与标签数据中的车道区域位置进行比较计算损失值，详细步骤为：
选定特征图中的某像素点，将此像素点中预测出现车道区域的位置保存在向量P即预测位置向量中，将输入标签数据对应行中出现车道线的像素点位置存在向量L即标签位置向量中，然后求解P和L之间的L2损失，即可得到特征图中某像素点的损失值，输出的损失值可由特征图上所有行的损失值求和计算平均值获得，计算方式如式(2)所示：
其中，pre(j(i,k,w))-tag(i,k,w)为预测位置向量j(i,k,w)和标签位置向量tag(i,k,w)作差得到的向量，j(i,k,w)代表第i张图片输出特征图中第w列像素点类别为k的位置的集合，即预测位置向量，将特征图中每列的预测概率p(i,k,h,w)与预测概率阈值进比较，并将比较结果记为t(i,k,h,w)，当p(i,k,h,w)大于预测概率阈值，则将t(i,k,h,w)记为1，否则，将t(i,k,h,w) 记为0，若t(i,k,h,w)＝1，则将h存入j(i,k,w)中，t(i,k,h,w)的定义如式(3)所示：
其中，pt代表预测概率阈值，用于判别当前像素点是否属于车道区域别k，t(i,k,h,w)为“1”时代表第i张特征图上的(h,w)被分类为车道区域，t(i,k,h,w)为“0”时代表(h,w)处不属于车道区域，k为0时代表背景区域，tag(i,k,w)是标签位置向量，获取过程与j(i,k,w)相似，区别为检测数据集中的标签数据已经提供标签概率0或1，直接对标签数据Tag(i,k,w)进行0和1的判别，如果Tag(i,k,w)值为1，则将h保存到tag(i,k,h,w)中，如果Tag(i,k,h,w)值为0，则对h不予保存；||pre(j(i,k,w))-tag(i,k,w)||2代表预测位置向量j(i,k,h)和标签位置向量tag(i,k,w)之间的L2损失，即向量||pre(j(i,k,w))-tag(i,k,w)||2的计算分为以下四种情况，所述元素为车道区域的信息：
(1)j(i,k,w)与tag(i,k,w)中仅有一个中元素，说明预测位置向量与标签位置向量仅有一个有车道区域出现：
(2)j(i,k,w)和tag(i,k,w)中都有元素，说明预测位置向量与标签位置向量都有车道区域出现：
||pre(j(i,k,w))-tag(i,k,w)||2＝∑(h/H-h′/H)2 (5)
式(4)至式(5)中，只要预测位置向量j(i,k,h)有元素，则h代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量tag(i,k,w)有元素，则h代表标签位置向量tag(i,k,w)中的元素， H代表网络末端卷积层输出特征图的宽度，h′为标签位置向量tag(i,k,w)的元素，且h′与h值作差所得差值的绝对值均小于标签位置向量tag(i,k,w)中其他元素与h值作差所得差值的绝对值，经过对标签向量tag(i,k,w)中的任意元素进行遍历，找到tag(i,k,w)中与h值作差所得差值的绝对值最小的元素，即为h′。
C.根据反向传播算法对全卷积车道线检测网络进行训练，利用车道线检测损失的导数进行网络权值更新，权值更新梯度计算方式如式(6)所示：
根据||d(j(i,k,h,w))-g′(i,k,h,w)||2的定义形式，回归损失导数计算如下：
(1)j(i,k,w)与tag(i,k,w)中仅有一个有元素：
(2)j(i,k,w)中有元素，tag(i,k,w)中有元素：
式(7)至式(8)中，只要预测位置向量j(i,k,w)有元素，则h代表预测位置向量j(i,k,w)中的元素，如仅有标签位置向量tag(i,k,w)有元素，则h代表标签位置向量tag(i,k,w)中的元素， H代表网络末端卷积层输出特征图的宽度，h′为标签位置向量中tag(i,k,w)的元素，且h′与h 值作差所得差值的绝对值均小于标签位置向量tag(i,k,w)中其他元素与h值作差所得差值的绝对值，经过对标签向量tag(i,k,w)中的任意元素进行遍历，找到tag(i,k,w)中与h值作差所得差值的绝对值最小的元素，即为h′。将计算检测损失的过程作为检测损失层的正向传播过程，将计算车道线检测损失导数的过程作为检测损失层的误差逆传播过程，预测概率阈值作为检测损失层的层参数，通过设置检测损失层的层参数在检测数据集上利用后向传递算法对全卷积车道区域网络进行训练，得到车道区域测网络模型，利用所得车道区域检测网络模型实现对车道区域的检测。
本发明提出了一种基于全卷积神经网络的车道识别方法，构建一种小型化的车道识别的全卷积神经网络模型，减少训练样本数量，加快训练速度，同时加快了检测效果，使得本网络模型在普通的运算平台上也能够达到很好的检测速度。直接输入的原始车道图像，输出识别到的车道区域映射图，将这个映射图，可以通过这个映射图非常直观的观察判断出识别效果，节省了复杂的图像预处理过程，并且能够根据训练样本的种类与数量，不断加大识别适应度，解决了大多数车道识别算法在某些地方识别效果好，换一个地方便会导致识别性能下降问题。
附图说明
图1是本发明所用到的原始车道图；
图2是本发明使用的数据集标签；
图3是本发明构建的完全卷积模型；
图4是本发明构建的神经网络模型输出的效果图。
图5是本发明原始图片和神经网络输出叠加效果图。
具体实施方式
下面时详细介绍本发明的实施。
本发明是一种全卷积神经网络的车道识别方法，在实施例中，构建全卷积神经网络对车道进行识别。该方法的实施具体表现为：
1.本文所采用的数据集标签是一组透视图像，所以本设计所构建深度学习网络最后的输出数据也将能绘制成一组透视图像。图像分割模型本质上是一种分类网络，不过其分类的目标是像素级别的，对全图像素依次做分类。对于车道线检测，即是判定图像中的像素是属于背景还是车道线。将判定为车道线的像素进行标注以形成区域，即是完成基于图像分割的车道线检测。对于传统的卷积神经网络，存在输入输出的尺寸限制，难以做到像素级别的分类，完全卷积的神经网络则很好的解决了尺度上的问题。全卷积网络最大的特点就是整个卷积网络中不存在全连接层。其将传统网络中的全连接层换做较小的卷积核，这样就可以消除网络对输入尺寸的影响。此外，用于图像分割的卷积网络的输出也与传统分类网络存在差异。全卷积分割网络在提取完图像特征后，对特征通过反卷积的方式进行上采样，使得输出尺度和输入图像的维度相同。一个基于图像分割网络的车道线检测网络结构如下图4所示：
2.具体来说，首先构建一个卷积神经网络模型，并且不需要任何全连接层作为输出。本神经网络中采用较小的卷积核，因为神经网络中大的卷积核可以带来更大的感受野，但也使用了更多神经元参数同时增加卷积运算的计算量。由于神经元参数的数量仅与卷积核的大小有关，因此越小的卷积核产生的神经元参数也就越少，这样用于卷积运算的计算量也就越少。其中加入池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；另一方面进行特征压缩，提取主要特征。即最终该卷积结构由七个卷积层、三个池化层构成，将批标准化层放于网络输入位置，网络的输入2n*n像素大小的车道图片，输出为提取到的车道特征信息。网络中每个卷积层与激活函数相连，并且前两个卷积层后连接第一个池化层，后三个卷积层后在连接第二个池化层，剩下两个卷积后连接最后一个池化层，采用MAX池化方式将池化核覆盖范围内像素点的最大值作为池化结果，对特征图实现降维。
3.本文中所构建的网络最主要的是卷积层，其次便是激活函数。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。对于最常用的函数sigmoid函数：
公式(1)中函数计算量相对较大，反向传播求误差梯度时，要对该激活函数求导，且其导数函数为：
f′(z)＝f(z)(1-f(z)) (2)
公式(1)(2)中激活函数原函数和导数可以看出，导数从0开始很快就会又趋近于0，这样很容易造成“梯度消失情况”，还将容易导致无法完成深层网络的训练，所以对于本发明所需要构建的网络来说不适用。对于采用Relu激活函数，整个过程的计算量会节省很多：
φ(x)＝max(0,x) (3)
公式(3)Relu函数作为本网络模型的激活函数，会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。但是这也将增加更加广泛的的dropout。所以在最开始在每一个卷积层使用dropout,但发现它会消耗更多的运算内存，以至于不得不选择在开始和结束时减少dropout的使用。同样，使用批量标准化每一层卷积层,发现它也同样会消耗很多内存,所以将批量标准化放在网络最开始。
4.通过七层卷积层的学习后，模型学习到的特征，是具有辨别性的特征，比如区分车道，那么通过七层卷积层学习后，背景部位的激活度基本很少，然后通过可视化就可以看到网络模型提取到的特征并忽视了背景，而且能把关键的信息给提取出来。本网络的设计目的则在于通过网络模型中输入原始道路图片，输出的信息可以绘制在原始图上，显示出识别到的车道区域。而反卷积可视化以各层得到的特征图作为输入，进行反卷积，得到反卷积结果，用以验证显示卷积层提取到的特征图，通过反卷积可以满足最终输出识别到的车道图像需求。而反卷积伴随着反池化过程，池化是不可逆的过程，然而可以通过记录池化过程中，最大激活值的坐标位置。在反池化的时候，只把池化过程中最大激活值所在的位置坐标的值激活，其它的值置设为0，当然这个过程只是一种近似，因为在池化的过程中，除了最大值所在的位置，其它的值也是不为0的。每层卷积后的relu函数是用于保证每层输出的激活值都是正数，因此对于反向过程，本网络模型同样需要保证每层的特征图为正值，也就是说这个反激活过程和激活过程没有差别，都是直接采用relu函数。对于反卷积过程，采用卷积过程转置后的滤波器的参数是一样的，只不过把参数矩阵水平和垂直方向翻转了一下。最终构建的该逆卷积层结构为该逆卷结构层由七个逆卷积层、三个上采样层构成。网络中每个卷积层与激活函数相连，并且前两个卷积层后连接上采样层，接下来三个逆卷积层后接一个向上采样层。并最终反卷积层以一个滤波器结束，最后可输出与输入相同规格的可视化图片。
5.将步骤2中构建好的七层卷积网络结构层后接一个上采样层，并在其后连接上步骤4中构建好的逆卷积层结构。输入原始车道图片，通过前七层卷积层提取车道区域特征信息，经过一个上采样层进行填充处理，后面七层逆卷积层将处理后的车道特征信息进行一步步扩充与可视化处理，输出车道区域映射图。
表2：完全卷积神经网络结构
6.构建好完全的卷积神经网络模型后，可以通过keras-vis库对卷积层的激活情况进行查看，通过这个库查看每层卷积层能够提取到的车道区域特征信息，验证该网络是否能够激活实际的车道区域，或者能够激活类似的区域。以此查看每个层中的车道线激活映射。可以根据查看到的激活情况对上述构建好的卷积网络层进行修改调整，直到达到较好的激活效果。
7.训练神经网络模型，对构建好的网络模型进行训练，其中检测损失层使用归一化指数函数将输入的特征图转化为预测概率矩阵，特征图上每个像素点预测概率的计算方法如式(4) 所示：
其中，k∈{0,1}，y′(i,c,h,w)代表输入的第i张卷积特征图(h,w)位置上通道序号为c的像素点的值，max(y′(i,c,h,w))代表第i张特征图(h,w)位置上2个通道之中像素点的最大值，k 为对特征图通道进行遍历时的通道序号，由于每张特征图包含2个通道，因此k在{0,1}中取值；损失值代表检测网络预测的车道区域位置与标签数据中车道区域位置之间损失，利用式(1) 中的预测概率能够判断特征图中车道区域的位置，然后通过与标签数据中的车道区域位置进行比较计算损失值，详细步骤为：
选定特征图中的某像素点，将此像素点中预测出现车道区域的位置保存在向量P即预测位置向量中，将输入标签数据对应行中出现车道线的像素点位置存在向量L即标签位置向量中，然后求解P和L之间的L2损失，即可得到特征图中某像素点的损失值，输出的损失值可由特征图上所有行的损失值求和计算平均值获得，计算方式如式(5)所示：
其中，pre(j(i,k,w))-tag(i,k,w)为预测位置向量j(i,k,w)和标签位置向量tag(i,k,w)作差得到的向量，j(i,k,w)代表第i张图片输出特征图中第w列像素点类别为k的位置的集合，即预测位置向量，将特征图中每列的预测概率p(i,k,h,w)与预测概率阈值进比较，并将比较结果记为t(i,k,h,w)，当p(i,k,h,w)大于预测概率阈值，则将t(i,k,h,w)记为1，否则，将t(i,k,h,w) 记为0，若t(i,k,h,w)＝1，则将h存入j(i,k,w)中，t(i,k,h,w)的定义如式(6)所示：
其中，pt代表预测概率阈值，用于判别当前像素点是否属于车道区域别k，t(i,k,h,w)为“1”时代表第i张特征图上的(h,w)被分类为车道区域，t(i,k,h,w)为“0”时代表(h,w)处不属于车道区域，k为0时代表背景区域，tag(i,k,w)是标签位置向量，获取过程与j(i,k,w)相似，区别为检测数据集中的标签数据已经提供标签概率0或1，直接对标签数据Tag(i,k,w)进行0和1的判别，如果Tag(i,k,w)值为1，则将h保存到tag(i,k,h,w)中，如果Tag(i,k,h,w)值为0，则对h不予保存；||pre(j(i,k,w))-tag(i,k,w)||2代表预测位置向量j(i,k,h)和标签位置向量tag(i,k,w)之间的L2损失，即向量||pre(j(i,k,w))-tag(i,k,w)||2的计算分为以下四种情况，所述元素为车道区域的信息：
(1)j(i,k,w)与tag(i,k,w)中仅有一个中元素，说明预测位置向量与标签位置向量仅有一个有车道区域出现：
(2)j(i,k,w)和tag(i,k,w)中都有元素，说明预测位置向量与标签位置向量都有车道区域出现：
||pre(j(i,k,w))-tag(i,k,w)||2＝∑(h/H-h′/H)2 (8)
式(7)至式(8)中，只要预测位置向量j(i,k,h)有元素，则h代表预测位置向量j(i,k,h)中的元素，如仅有标签位置向量tag(i,k,w)有元素，则h代表标签位置向量tag(i,k,w)中的元素， H代表网络末端卷积层输出特征图的宽度，h′为标签位置向量tag(i,k,w)的元素，且h′与h值作差所得差值的绝对值均小于标签位置向量tag(i,k,w)中其他元素与h值作差所得差值的绝对值，经过对标签向量tag(i,k,w)中的任意元素进行遍历，找到tag(i,k,w)中与h值作差所得差值的绝对值最小的元素，即为h′。
C.根据反向传播算法对全卷积车道线检测网络进行训练，利用车道线检测损失的导数进行网络权值更新，权值更新梯度计算方式如式(9)所示：
根据||d(j(i,k,h,w))-g′(i,k,h,w)||2的定义形式，回归损失导数计算如下：
(1)j(i,k,w)与tag(i,k,w)中仅有一个有元素：
(2)j(i,k,w)中有元素，tag(i,k,w)中有元素：
式(10)至式(11)中，只要预测位置向量j(i,k,w)有元素，则h代表预测位置向量j(i,k,w)中的元素，如仅有标签位置向量tag(i,k,w)有元素，则h代表标签位置向量tag(i,k,w)中的元素， H代表网络末端卷积层输出特征图的宽度，h′为标签位置向量中tag(i,k,w)的元素，且h′与h 值作差所得差值的绝对值均小于标签位置向量tag(i,k,w)中其他元素与h值作差所得差值的绝对值，经过对标签向量tag(i,k,w)中的任意元素进行遍历，找到tag(i,k,w)中与h值作差所得差值的绝对值最小的元素，即为h′。将计算检测损失的过程作为检测损失层的正向传播过程，将计算车道线检测损失导数的过程作为检测损失层的误差逆传播过程，预测概率阈值作为检测损失层的层参数，通过设置检测损失层的层参数在检测数据集上利用后向传递算法对全卷积车道区域网络进行训练，得到车道区域测网络模型，利用所得车道区域检测网络模型实现对车道区域的检测。
8.采集足够多的车道图片，将图片根据光线强弱，天气，车道类型等进行分类。并根据分类好的车道图片制作自己的数据集，本网络所用到的数据集标签将是一种图像类型的。将分类好的数据集，一次使用构建好的网络模型对其进行训练学习，生成相应的特征模型。然后收集一部分测试集，对训练好的模型进行测试，分析其训练学习效果。不断调整训练策略和数据集的类型与数量。采用训练好的网络模型对原始车道样图进行测试，将原始样图输入到神经网络种输出效果如图4。将输出的效果图叠加到原始图片样张上如图5，可以通过此来检测识别效果的准确性。
Claims (3)
1.基于全卷积神经网络的车道区域识别方法，其特征在于，包括：构建一种车道区域识别的全卷积神经网络模型。其网络模型构建步骤为：
A.构建卷积网络结构提取车道图特征信息，该卷积结构由七个卷积层、三个池化层构成，将批标准化层放于网络输入位置，网络的输入车道图片，输出为提取到的车道特征信息。网络中每个卷积层与激活函数相连，并且前两个卷积层后连接第一个池化层，后三个卷积层后在连接第二个池化层，剩下两个卷积后连接最后一个池化层，采用MAX池化方式将池化核覆盖范围内像素点的最大值作为池化结果，对特征图实现降维；随后构建七个逆卷积层、三个上采样层构成。网络中每个卷积层与激活函数相连，并且前两个卷积层后连接上采样层，接下来三个逆卷积层后接一个向上采样层，采用上采样层将直接将内容复制来扩充特征映射图；输入原始车道图片，通过前七层卷积层提取车道区域特征信息，经过一个上采样层进行填充处理，后面七层逆卷积层将处理后的车道特征信息进行一步步扩充与可视化处理，输出车道区域映射图。
B.设计损失值计算方法训练神经网络模型；
C.根据反向传播算法对全卷积车道区域网络进行训练，利用车道区域检测损失的导数进行网络权值更新。
2.根据权利要求1所述，其特征在于，步骤B中训练损失值计算方法具体步骤为：使用归一化指数函数将输入的特征图转化为预测概率矩阵，特征图上每个像素点预测概率的计算方法如式(1)所示：
式中k为通道数，其中y(i,c,h,w)表示第i张卷积特征图(h,w)位置上通道序号为c的像素点的值，max(y(i,k,h,w))代表第i张特征图(h,w)位置k个通道数上像素点最大值，利用式(1)中的预测概率判断特征图中车道区域的位置，通过与标签数据中的车道区域位置进行比较计算损失值，详细步骤为：损失值计算方式如式(2)所示：
其中N代表图片数量，H和W分别为特征图高和宽，pre(j(i,k,w))即为预测位置向量，j(i,k,w)为第i张图中w列像素点类别为k的集合，tag(i,k,w)为相对应的标签位置向量，将公式(1)中求出的概率值p(i,k,h,w)与预测概率阈值pt进行对比，当p(i,k,h,w)大于pt时则代表第i张图上h列位置像素点为车道区域，则将此时的h值存入j(i,k,w)中，反之即第i张图上(h,w)位置像素点不为车道区域，其中k为0代表背景区域，||pre(j(i,k,w))-tag(i,k,w)||2代表预测位置向量j(i,k,h)和标签位置向量tag(i,k,w)之间的损失值，即向量||pre(j(i,k,w))-tag(i,k,w)||2的计算步骤如下所示：
(1)预测位置向量j(i,k,w)与标签位置向量tag(i,k,w)中仅有一个有车道区域像素点：
(2)预测位置向量j(i,k,w)与标签位置向量tag(i,k,w)都有车道区域像素点：
||pre(j(i,k,w))-tag(i,k,w)||2＝∑(h/H-h′/H)2 (5)
式(4)至式(5)中，H代表网络模型最终输出的特征图的每一列像素点数，且h′与h的差值的模小于tag(i,k,h,w)中其他值与h值的差模，经过对tag(i,k,h,w)遍历，查找tag(i,k,w)中与h值差模的最小值，即为h′。
3.根据权利要求1所述，其特征在于，步骤C中具体步骤为：权值更新梯度计算方式如式(6)所示：
根据||pre(j(i,k,w))-tag(i,k,w)||2的定义形式，损失导数计算如下：
(1)预测位置向量j(i,k,w)与标签位置向量tag(i,k,w)仅有一个有车道区域出现：
(2)预测位置向量j(i,k,w)与标签位置向量tag(i,k,w)都有车道区域出现：
式(7)和式(8)中，H代表网络模型最终输出的特征图的每一列像素点数，h′与h值差值的模均小于tag(i,k,w)中其他元素与h差模，经过对tag(i,k,w)进行遍历，找到tag(i,k,w)中与h值作差的模最小值的值，即为h′。通过损失函数还衡量该网络模型的训练学习的程度，通过权值更新函数不断的优化迭代参数，使网络训练更加稳定，从而完成本次模型的训练与学习。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910179816.8A CN110163077A (zh) | 2019-03-11 | 2019-03-11 | 一种基于全卷积神经网络的车道识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910179816.8A CN110163077A (zh) | 2019-03-11 | 2019-03-11 | 一种基于全卷积神经网络的车道识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110163077A true CN110163077A (zh) | 2019-08-23 |
Family
ID=67638430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910179816.8A Pending CN110163077A (zh) | 2019-03-11 | 2019-03-11 | 一种基于全卷积神经网络的车道识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163077A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909598A (zh) * | 2019-10-16 | 2020-03-24 | 合肥湛达智能科技有限公司 | 一种基于深度学习的非机动车道交通违法行驶识别方法 |
| CN110991458A (zh) * | 2019-11-25 | 2020-04-10 | 创新奇智(北京)科技有限公司 | 基于图像特征的人工智能识别结果抽样系统及抽样方法 |
| CN111126204A (zh) * | 2019-12-09 | 2020-05-08 | 上海博泰悦臻电子设备制造有限公司 | 可行驶区域检测方法及相关设备 |
| CN111507203A (zh) * | 2020-03-27 | 2020-08-07 | 北京百度网讯科技有限公司 | 可变车道检测模型的构建方法、电子设备及存储介质 |
| CN112215795A (zh) * | 2020-09-02 | 2021-01-12 | 苏州超集信息科技有限公司 | 一种基于深度学习的服务器部件智能检测方法 |
| CN112232380A (zh) * | 2020-09-25 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种神经网络鲁棒性检测方法和装置 |
| CN112560717A (zh) * | 2020-12-21 | 2021-03-26 | 青岛科技大学 | 一种基于深度学习的车道线检测方法 |
| CN112749779A (zh) * | 2019-10-30 | 2021-05-04 | 北京市商汤科技开发有限公司 | 神经网络的处理方法及装置、电子设备和计算机存储介质 |
| CN112861592A (zh) * | 2019-11-28 | 2021-05-28 | 北京达佳互联信息技术有限公司 | 图像生成模型的训练方法、图像处理方法及装置 |
| CN113537003A (zh) * | 2021-07-02 | 2021-10-22 | 安阳工学院 | 一种用于辅助驾驶的车外环境视觉检测方法及装置 |
| CN116229379A (zh) * | 2023-05-06 | 2023-06-06 | 浙江大华技术股份有限公司 | 一种道路属性识别方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107092862A (zh) * | 2017-03-16 | 2017-08-25 | 浙江零跑科技有限公司 | 一种基于卷积神经网络的车道边缘检测方法 |
| CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
| US20170351941A1 (en) * | 2016-06-03 | 2017-12-07 | Miovision Technologies Incorporated | System and Method for Performing Saliency Detection Using Deep Active Contours |
| CN107958271A (zh) * | 2017-12-06 | 2018-04-24 | 电子科技大学 | 基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统 |
| CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| JP2018088151A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社Ｓｏｋｅｎ | 境界線推定装置 |
| CN108416783A (zh) * | 2018-02-01 | 2018-08-17 | 湖北工业大学 | 基于全卷积神经网路的道路场景分割方法 |
| CN108846328A (zh) * | 2018-05-29 | 2018-11-20 | 上海交通大学 | 基于几何正则化约束的车道检测方法 |
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
-
2019
- 2019-03-11 CN CN201910179816.8A patent/CN110163077A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170351941A1 (en) * | 2016-06-03 | 2017-12-07 | Miovision Technologies Incorporated | System and Method for Performing Saliency Detection Using Deep Active Contours |
| JP2018088151A (ja) * | 2016-11-29 | 2018-06-07 | 株式会社Ｓｏｋｅｎ | 境界線推定装置 |
| CN107092862A (zh) * | 2017-03-16 | 2017-08-25 | 浙江零跑科技有限公司 | 一种基于卷积神经网络的车道边缘检测方法 |
| CN107240102A (zh) * | 2017-04-20 | 2017-10-10 | 合肥工业大学 | 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法 |
| CN107958271A (zh) * | 2017-12-06 | 2018-04-24 | 电子科技大学 | 基于膨胀卷积的多尺度特征的皮肤病变深度学习识别系统 |
| CN108009524A (zh) * | 2017-12-25 | 2018-05-08 | 西北工业大学 | 一种基于全卷积网络的车道线检测方法 |
| CN108416783A (zh) * | 2018-02-01 | 2018-08-17 | 湖北工业大学 | 基于全卷积神经网路的道路场景分割方法 |
| CN108846328A (zh) * | 2018-05-29 | 2018-11-20 | 上海交通大学 | 基于几何正则化约束的车道检测方法 |
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| JINJU ZANG等: "Traffic Lane Detection using Fully Convolutional Neural Network", 《2018 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC)》, 7 March 2019 (2019-03-07), pages 305 - 311 * |
| XINGANG PAN等: "Spatial As Deep: Spatial CNN for Traffic Scene Understanding", 《HTTPS://ARXIV.ORG/ABS/1712.06080V1》, 17 December 2017 (2017-12-17), pages 1 - 8 * |
| 李松泽: "基于深度学习的车道线检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2017 (2017-02-15), pages 140 - 375 * |
| 赵凯迪: "基于无人机的车辆和车道检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, 15 February 2019 (2019-02-15), pages 034 - 450 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110909598A (zh) * | 2019-10-16 | 2020-03-24 | 合肥湛达智能科技有限公司 | 一种基于深度学习的非机动车道交通违法行驶识别方法 |
| CN110909598B (zh) * | 2019-10-16 | 2024-02-02 | 合肥湛达智能科技有限公司 | 一种基于深度学习的非机动车道交通违法行驶识别方法 |
| CN112749779A (zh) * | 2019-10-30 | 2021-05-04 | 北京市商汤科技开发有限公司 | 神经网络的处理方法及装置、电子设备和计算机存储介质 |
| CN110991458A (zh) * | 2019-11-25 | 2020-04-10 | 创新奇智(北京)科技有限公司 | 基于图像特征的人工智能识别结果抽样系统及抽样方法 |
| CN112861592B (zh) * | 2019-11-28 | 2023-12-29 | 北京达佳互联信息技术有限公司 | 图像生成模型的训练方法、图像处理方法及装置 |
| CN112861592A (zh) * | 2019-11-28 | 2021-05-28 | 北京达佳互联信息技术有限公司 | 图像生成模型的训练方法、图像处理方法及装置 |
| CN111126204A (zh) * | 2019-12-09 | 2020-05-08 | 上海博泰悦臻电子设备制造有限公司 | 可行驶区域检测方法及相关设备 |
| CN111507203B (zh) * | 2020-03-27 | 2023-09-26 | 北京百度网讯科技有限公司 | 可变车道检测模型的构建方法、电子设备及存储介质 |
| CN111507203A (zh) * | 2020-03-27 | 2020-08-07 | 北京百度网讯科技有限公司 | 可变车道检测模型的构建方法、电子设备及存储介质 |
| CN112215795A (zh) * | 2020-09-02 | 2021-01-12 | 苏州超集信息科技有限公司 | 一种基于深度学习的服务器部件智能检测方法 |
| CN112215795B (zh) * | 2020-09-02 | 2024-04-09 | 苏州超集信息科技有限公司 | 一种基于深度学习的服务器部件智能检测方法 |
| CN112232380B (zh) * | 2020-09-25 | 2022-12-06 | 苏州浪潮智能科技有限公司 | 一种神经网络鲁棒性检测方法和装置 |
| CN112232380A (zh) * | 2020-09-25 | 2021-01-15 | 苏州浪潮智能科技有限公司 | 一种神经网络鲁棒性检测方法和装置 |
| CN112560717B (zh) * | 2020-12-21 | 2023-04-21 | 青岛科技大学 | 一种基于深度学习的车道线检测方法 |
| CN112560717A (zh) * | 2020-12-21 | 2021-03-26 | 青岛科技大学 | 一种基于深度学习的车道线检测方法 |
| CN113537003B (zh) * | 2021-07-02 | 2022-10-21 | 安阳工学院 | 一种用于辅助驾驶的车外环境视觉检测方法及装置 |
| CN113537003A (zh) * | 2021-07-02 | 2021-10-22 | 安阳工学院 | 一种用于辅助驾驶的车外环境视觉检测方法及装置 |
| CN116229379A (zh) * | 2023-05-06 | 2023-06-06 | 浙江大华技术股份有限公司 | 一种道路属性识别方法、装置、电子设备及存储介质 |
| CN116229379B (zh) * | 2023-05-06 | 2024-02-02 | 浙江大华技术股份有限公司 | 一种道路属性识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163077A (zh) | 一种基于全卷积神经网络的车道识别方法 | |
| CN111914907B (zh) | 一种基于深度学习空谱联合网络的高光谱图像分类方法 | |
| CN108830188A (zh) | 基于深度学习的车辆检测方法 | |
| CN108549926A (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
| CN109993082A (zh) | 卷积神经网络道路场景分类与道路分割方法 | |
| CN106407903A (zh) | 基于多尺度卷积神经网络的实时人体异常行为识别方法 | |
| CN108447080A (zh) | 基于分层数据关联和卷积神经网络的目标跟踪方法、系统和存储介质 | |
| CN106023220A (zh) | 一种基于深度学习的车辆外观部件图像分割方法 | |
| CN111428556B (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN107145836B (zh) | 基于栈式边界辨别自编码器的高光谱图像分类方法 | |
| CN108985217A (zh) | 一种基于深度空间网络的交通标志识别方法及系统 | |
| CN106682569A (zh) | 一种基于卷积神经网络的快速交通标识牌识别方法 | |
| CN110018524A (zh) | 一种基于视觉-属性的x射线安检违禁品识别方法 | |
| CN108280397A (zh) | 基于深度卷积神经网络的人体图像头发检测方法 | |
| CN112183635A (zh) | 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法 | |
| CN112464911A (zh) | 基于改进YOLOv3-tiny的交通标志检测与识别方法 | |
| CN109766823A (zh) | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 | |
| CN104240256A (zh) | 一种基于层次化稀疏建模的图像显著性检测方法 | |
| CN110211127B (zh) | 基于双相关性网络的图像分割方法 | |
| CN108681696A (zh) | 融合多特征降维和迁移学习的红外目标稳健性识别方法 | |
| CN114998220A (zh) | 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法 | |
| CN106570503A (zh) | 识别车身颜色的方法和系统 | |
| CN109472733A (zh) | 基于卷积神经网络的图像隐写分析方法 | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| CN108345900A (zh) | 基于颜色纹理分布特征的行人重识别方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190823 |
|
| WD01 | Invention patent application deemed withdrawn after publication |