CN108830182A - 一种基于级联卷积神经网络的道线检测方法 - Google Patents

一种基于级联卷积神经网络的道线检测方法 Download PDF

Info

Publication number
CN108830182A
CN108830182A CN201810521856.1A CN201810521856A CN108830182A CN 108830182 A CN108830182 A CN 108830182A CN 201810521856 A CN201810521856 A CN 201810521856A CN 108830182 A CN108830182 A CN 108830182A
Authority
CN
China
Prior art keywords
convolutional neural
diatom
image block
block
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810521856.1A
Other languages
English (en)
Other versions
CN108830182B (zh
Inventor
陈卫刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN201810521856.1A priority Critical patent/CN108830182B/zh
Publication of CN108830182A publication Critical patent/CN108830182A/zh
Application granted granted Critical
Publication of CN108830182B publication Critical patent/CN108830182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联卷积神经网络的道线检测方法，涉及图像处理领域。本发明以级联卷积神经网络检测道线标记块，然后将由级联卷积神经网络检测所得的所有道线标记块的中心位置坐标和所属类别标号通过Hough变换算法确定道线。相对于现有技术中以边缘点检测为算法基础的道线检测，本发明能够更好地区分干扰物与真实道线的边缘点，防止非道线对象引入的虚假信息影响道线检测的准确度和可靠性，降低ADAS系统在道线检测中的计算代价。

Description

一种基于级联卷积神经网络的道线检测方法
技术领域
本发明涉及图像处理领域，特别涉及一种基于级联卷积神经网络的道线检测方法。
背景技术
随着传感器技术和电子技术的发展，先进驾驶辅助系统(ADAS)成为汽车工业发展的一个重要方向。在ADAS系统中，道线检测是车道偏离预警、智能巡航控制、前车防撞预警等应用的重要基础。
除了道线标记之外，ADAS系统的摄像机所观察的视域中经常出现各式车辆、车辆投射的阴影、车道分隔护栏、路旁的绿化等物体。目前已有的道线检测方法以边缘点检测为算法基础，通常不加区分地将车辆、路旁植物的边缘点与真实道线的边缘点一起输入到Hough变换的投票模块，非道线对象引入的虚假信息不仅影响道线检测的准确度和可靠性，而且会增加ADAS系统花费在道线检测中的计算代价。本发明实施例假设道线在图像的局部区域具有相近的宽度，并且沿着道线伸展方向能分割成若干个道线标记块，这些标记块的中间区域包含了道线的标记部分，两侧包含了背景部分。本发明实施例以级联卷积神经网络检测图像中的道线标记块，由这些标记块确定道线。
发明内容
本发明实施例提供一种基于级联卷积神经网络的道线检测方法，所提供的技术以车载摄像机采集的图像序列为输入，以级联卷积神经网络检测道线标记块，以Hough投票的方式确定道线在图像中的位置。
一种基于级联卷积神经网络的道线检测方法，级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络，该方法包括：
步骤一:以预设的水平和垂直方向的步长扫描待检测图像，在每个扫描位置以多个尺度提取图像块，对所提取的图像块作缩放处理，使其具有与第一级卷积神经网络输入层相同的尺寸，将缩放后的图像块输入到第一级卷积神经网络，由第一级卷积神经网络的输出层得到图像块所属类别的标号和相应的概率；本步骤中图像块所属类别分成道线标记块和非道线标记块两类；
步骤二:被第一级卷积神经网络判定包含道线标记的扫描位置，以多个偏移和尺度提取图像块，对所提取的图像块作缩放处理，使其具有与第二级卷积神经网络输入层相同的尺寸，将缩放后的图像块输入到第二级卷积神经网络，由第二级卷积神经网络的输出层得到图像块所属的类别标号以及概率；本步骤中图像块所属类别分成包含道线标记的图像块和不包含道线标记的图像块，且包含道线标记的图像块还分为多个类别，每个类别代表道线在图像块中的不同方向；
步骤三:若在扫描位置(x,y)，对所有的偏移和尺度所提取的图像块，第二级卷积神经网络的输出层都标记为不包含道线标记的图像块，则在后续的Hough变换过程中忽略该扫描位置；若只有一个图像块被判定为道线标记块，则计算该块的中心位置坐标，记录输出的类别标号，用于后续的投票过程；若有多个图像块被判定为道线标记块，则取具有最大概率值的块，计算该块的中心位置坐标，记录输出的类别标号；
步骤四:由级联卷积神经网络检测所得的所有道线标记块以Hough变换算法确定道线。
上述技术方案中的各步骤，可采用如下具体方式实现。
步骤一中，若对所有的尺度，在扫描位置(x,y)所提取的图像块都被判定为非道线标记块，则后续的处理过程将忽略该扫描位置；若有一个或多于一个尺度的图像块被第一级卷积神经网络判定为道线标记块，则记录具有最高概率值的图像块所对应的尺度为s1m，然后进行步骤二。
步骤一中所述的第一级卷积神经网络是一个二类分类器，用于训练该分类器的样本集包含正样本和负样本，正样本是一个矩形的图像块，道线标记占据图像块的中间部分；负样本为不包含道线标记的图像块。
步骤二或步骤三中所述的第二级卷积神经网络是一个多类分类器，用于训练该分类器的样本集包含多类样本，以人工的方式标注道线标记的四边形区域，记连接四边形上、下两条边的中点所得的直线与X轴的夹角为α，K为一个预设的正整数，将α的取值范围划分成K个区间，其中的第n个区间对应的α取值范围为：
[nπ/K,(n+1)π/K)
训练样本集共包含K+1类样本，第0到K-1类样本为包含道线标记的样本，其中的第n类样本所包含的道线标记其夹角α的值落在第n个区间；第K类样本为不包含道线标记的图像块。
步骤一中所述在每个扫描位置以多个尺度提取图像块，其中：设(x,y)为扫描位置坐标，记提取的图像块为I(x,y,w/s1,h/s1)，代表以(x,y)为左上角坐标，w/s1和h/s1分别为宽和高的一个矩形图像区域，其中w和h是预设的基准窗口宽和高，s1是预设的第一级卷积神经网络的尺度系数，本发明的一个实施例取w和h等于卷积神经网络的输入层尺寸，s1∈{0.8,1.0,1.3}。
步骤二中所述以多个偏移和尺度提取图像块，设(x,y)为扫描位置坐标，记提取的图像块为I(x-δx,y-δy,w/s1ms2,h/s1ms2)，其中w和h分别是预设的基准窗口宽和高，δx和δy分别为X和Y方向的偏移，s1m是步骤一中以多个尺度提取图像块中，被第一级卷积神经网络识别为道线标记块且具有最大概率值的图像块所对应的尺度，s2是预设的第二级卷积神经网络的尺度系数，本发明的一个实施例取δx,δy∈{-1,0,+1}，s2∈{0.9,1.0,1.1}。
步骤一、二或三所述的第一级或第二级卷积神经网络包括三个卷积层C1、C3和C5，二个池化层P2和P4、一个ReLU激活层R6、一个全连接层F7和一个用于分类的Softmax层。
第一级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过6个5×5的卷积核对输入图像进行卷积运算，产生6个24×24大小的特征图；池化层P2对卷积层C1的特征图的每个2×2区域进行降采样，且取区域内的最大值作为池化层P2特征图对应单元的值，产生6个12×12特征图；卷积层C3包含16个5×5的卷积核，每个卷积核包含多个卷积模板，由这些模板与池化层P2的特征图进行卷积运算产生16个8×8的特征图；池化层P4将卷积层C3的特征图降采样为16个4×4的特征图；卷积层C5有84个4×4大小的卷积核，每个神经元与池化层P4的全部16个4×4的邻域相连，产生84个1×1的特征图；ReLU激活层R6使用修正线性单元作为激活函数；全连接层F7包含2个神经元，每个神经元与上一层的神经元进行全连接；Softmax层包含二个神经元，分别是输入图像在每一个分类上的概率。
第二级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过20个5×5的卷积核对输入图像进行卷积运算，产生20个24×24大小的特征图；池化层P2将产生20个12×12大小的特征图；卷积层C3包含50个5×5的卷积核，产生50个8×8大小的特征图；池化层P4将卷积层C3的50个8×8的特征图降采样为4×4的特征图；卷积层C5有500个4×4大小的卷积核，每个神经元与池化层P4的全部50个4×4的邻域相连，产生500个1×1的特征图；ReLU激活层R6产生与卷积层C5同样数目的神经元；全连接层F7包含的神经元的数目等于用于训练第二级卷积神经网络的样本类别数，每个神经元与上一层的神经元进行全连接；Softmax层包含的神经元数目等于全连接层的神经元数目，分别输出图像块在每一个分类上的概率。
步骤四中所述以级联卷积神经网络检测所得的所有道线标记块的中心位置坐标和标号通过Hough变换算法确定道线，包括：
设r为坐标原点到道线所在直线的垂线长度，θ为所述垂线与X轴的夹角，显然直线上所有的点(x,y)满足如下的方程：
r＝xcosθ+ysinθ
由第二级卷积神经网络检测所得的每个道线标记块的中心坐标按上述公式将映射成r-θ平面的一条曲线，进一步地，根据第二级卷积神经网络输出的标号值可确定θ的取值范围，以θ为自变量计算对应的r值；
由级联卷积神经网络检测所得的所有道线块的中心位置坐标将被映射成r-θ平面中的多条曲线，由于图像平面中同一条直线上的点有相同的r和θ值，所以这些映射所得的曲线将在r-θ平面中交于一点，通过检测r-θ平面中的极大值点，可得到直线的r和θ值，由此确定与直线对应的道线。
在本发明中，以级联卷积神经网络检测图像中的道线标记块，能够准确确定道线在图像中的位置以及方向，然后通过Hough变换确定道线。相对于现有技术中以边缘点检测为算法基础的道线检测，本发明能够更好地区分干扰物与真实道线的边缘点，防止非道线对象引入的虚假信息影响道线检测的准确度和可靠性，降低ADAS系统在道线检测中的计算代价。
附图说明
图1为道线区域标注和训练样本提取示意图；
图2为本发明实施例基于级联卷积神经网络的道线检测方法流程示意图；
图3为本发明实施例采用的卷积神经网络结构示意图；
图4为连接道线四边形区域上下两边中点的直线与X轴夹角的示意图；
图5示意了代表道线的直线与X轴的夹角和参与Hough变换的角度之间的几何关系。
具体实施方式
本发明提供一种基于级联卷积神经网络的道线检测方法，所提供的技术以车载摄像机采集的图像序列为输入，以级联卷积神经网络检测道线标记块，以Hough变换的方式确定道线在图像中的位置。本发明中的级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络。
图1示出了道线区域标注和训练样本提取示意图，参照图1，本发明实施例将道线沿着其伸展方向分割成一个个图像块，即道线标记块。本发明实施例假设道线在图像的局部区域具有相近的宽度，道线的标记部分近似地占据了道线标记块的中间部分，在其左右两侧分布了路面区域。将道线标记块视作一类对象，本发明实施例以学习的方式训练用于检测道线标记块的分类器，由分类器检测所得的道线标记块确定道线。
如图2所示，本发明基于级联卷积神经网络的道线检测方法流程可以包括以下步骤：
步骤201，以预设的水平和垂直方向的步长扫描输入的待检测图像，在每一个扫描位置以多个尺度提取图像块，对所提取的图像块作缩放处理，使其具有与卷积神经网络输入层相同的尺寸，将缩放后的图像块输入到第一级卷积神经网络，由第一级卷积神经网络的输出层得到图像块所属类别的标号和相应的概率。本步骤中图像块所属类别分成道线标记块和非道线标记块两类。第一级卷积神经网络能够识别图像块中是否具有可能的道线，并将其归类为道线标记块或非道线标记块。
步骤202，在步骤201中若对所有的尺度，在扫描位置(x,y)所提取的图像块都被判定为非道线标记块，则后续的处理过程将忽略该扫描位置；若有一个或多于一个尺度的图像块被第一级卷积神经网络判定为道线标记块，则记录具有最高概率值的图像块所对应的尺度为s1m，然后继续进行步骤203。
步骤203，在被第一级卷积神经网络判定包含道线标记的扫描位置，以多个偏移和尺度提取图像块，对所提取的图像块作缩放处理，使其具有与第二级卷积神经网络输入层相同的尺寸，输入到第二级卷积神经网络，由第二级卷积神经网络的输出层得到图像块所属的类别标号以及概率；本步骤中图像块所属类别分成包含道线标记的图像块和不包含道线标记的图像块，且包含道线标记的图像块还分为多个类别，每个类别代表道线在图像块中的不同方向。第二级卷积神经网络能够对第一级卷积神经网络中判断可能包含道线标记的扫描位置进行进一步判断，确认其包含道线的角度，以便进行后续的Hough变换。
步骤204，若在扫描位置(x,y)，对所有的X和Y方向偏移和尺度所提取的图像块，第二级卷积神经网络的输出层都标记为不包含道线标记的图像块，则在后续的投票过程中忽略这些块；而对于输出层都标记为包含道线标记的图像块，则进行步骤205。
步骤205，计算用于Hough变换的图像块中心坐标，记录图像块所属类别标号，具体地，设对应道线标记块的类别标号集合为{0,1,...,K-1}，若只有一个图像块的输出类别号属于该集合，则计算该块的中心位置坐标，记录输出的类别标号，用于后续的Hough变换过程；若有多个图像块的输出类别号属于该集合，则取具有最大概率值的块，计算该块的中心位置坐标，记录输出的类别标号。
步骤206，以级联卷积神经网络检测所得的所有道线标记块的中心位置坐标和标号为输入，以Hough变换算法确定道线。
下面将结合附图和实施例描述上述步骤中部分做法的具体实现方式。
步骤201中在每一个扫描位置以多个尺度提取图像块时，具体地，设(x,y)为扫描位置坐标，记提取的图像块为I(x,y,w/s1,h/s1)，代表以(x,y)为左上角坐标，w/s1和h/s1为宽和高的一个矩形图像区域，其中w和h是预设的基准窗口宽和高，s1是预设的第一级卷积神经网络的尺度系数，本发明的一个实施例取w和h等于卷积神经网络的输入层尺寸，s1∈{0.8,1.0,1.3}。
步骤203中以多个偏移和尺度提取图像块时，具体地，设(x,y)为扫描位置坐标，记提取的图像块为I(x-δx,y-δy,w/s1ms2,h/s1ms2)，其中w和h是预设的基准窗口宽和高，δx和δy为X和Y方向的偏移，s1m是步骤201中所述以多个尺度提取图像块，被第一级卷积神经网络识别为道线标记块且具有最大概率值的图像块所对应的尺度，s2是预设的第二级卷积神经网络的尺度系数，本发明的一个实施例取δx,δy∈{-1,0,+1}，s2∈{0.9,1.0,1.1}。
本发明实施例用于检测道线标记块的分类器由级联的两个浅层卷积神经网络组成，第一级卷积神经网络是一个二类分类器，将输入的图像块区分成二类：道线标记块和非道线标记块。第二级卷积神经网络是一个多类分类器，道线根据其方向被划分成若干个类别，在检测过程中，由类别可确定道线标记块所含道线的方向。
图3示出了本发明实施例的卷积神经网络的结构，参照图3，本发明实施例的第一级或第二级卷积神经网络包括三个卷积层C1、C3和C5，二个池化层P2和P4、一个ReLU激活层R6、一个全连接层F7、一个用于分类的Softmax层。
第一级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过6个5×5的卷积核对输入图像进行卷积运算，产生6个24×24大小的特征图；池化层P2对卷积层C1的特征图的每个2×2区域进行降采样，且取区域内的最大值作为池化层P2特征图对应单元的值，产生6个12×12特征图；卷积层C3包含16个5×5的卷积核，每个卷积核包含多个卷积模板，由这些模板与池化层P2的特征图进行卷积运算产生16个8×8的特征图；池化层P4将卷积层C3的特征图降采样为4×4的特征图；卷积层C5有84个4×4大小的卷积核，每个神经元与池化层P4的全部16个4×4的邻域相连，产生84个1×1的特征图；ReLU激活层R6使用修正线性单元作为激活函数；全连接层F7包含2个神经元，每个神经元与上一层的神经元进行全连接；Softmax层包含二个神经元，分别是输入图像在每一个分类上的概率。
第二级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过20个5×5的卷积核对输入图像进行卷积运算，产生20个24×24的特征图；池化层P2产生20个12×12大小的特征图；卷积层C3包含50个5×5的卷积核，产生50个8×8大小的特征图；池化层P4将卷积层C3的8×8的特征图降采样为4×4的特征图；卷积层C5有500个4×4大小的卷积核，每个神经元与池化层P4的全部50个4×4的邻域相连，产生500个1×1的特征图；ReLU激活层R6产生与卷积层C5同样数目的神经元；全连接层F7包含的神经元的数目等于用于训练第二级卷积神经网络的样本类别数，每个神经元与上一层的神经元进行全连接；
Softmax层包含的神经元数目等于全连接层的神经元数目，分别输出图像块在每一个分类上的概率。
第一级卷积神经网络是一个二类分类器，本发明实施例用于训练该分类器的样本集包含正样本和负样本。图1示出了本发明实施例用于训练第一级卷积神经网络的正样本示意图，参照图1，以人工的方式标注道线区域，正样本是一个矩形的图像块，道线的标记区域近似地占据图像块的中间部分。具体地，在垂直方向等间隔地设置水平线，若水平线与标注的四边形的左右两条边分别交于A和B两点，记线段AB的长度为Δ，则以线段AB的中点为矩形的中心，分别以aΔ和bΔ作为矩形的宽和高，取所述矩形图像区域作为用于训练的正样本。本发明的一个实施例置a＝b＝3。样本集中的负样本为不包含道线标记的路面图像区域。正负样本都被缩放到与卷积神经网络的输入层相同的尺寸。经过针对该样本集的训练，该第一级卷积神经网络分类器能够对输入图像进行是否含有道线标记的判别。
第二级卷积神经网络是一个多类分类器，用于训练该分类器的样本集包含多类样本，以人工的方式标注道线标记的四边形区域，参照图4，记连接四边形上、下两条边的中点所得的直线与X轴的夹角为α，将其取值范围划分成K个区间，其中的第n个区间对应的α取值范围为：
[nπ/K,(n+1)π/K) (1)
训练样本集共包含K+1类样本，第0到K-1类样本为包含道线标记的样本，其中的第n类样本所包含的道线标记其夹角α的值落在第n个区间；第K类样本为不包含道线标记的图像块，可选地，本发明实施例将被第一级卷积神经网络错分成正样本的样本作为第K类样本。
本发明的一个较佳实施例取K＝4。相应地，第0类样本，夹角α的取值范围为[0,π/4)，第1类样本为[π/4,π/2)，第2类样本为[π/2,3π/4)，第3类样本为[3π/4,π)，第4类样本则为不包含道线标记的图像块。
用于训练第二级卷积神经网络的第0到K-1类样本，其提取方法和用于训练第一级卷积神经网络的正样本的提取方法相同。
经过针对该样本集的训练，该第二级卷积神经网络分类器能够对输入图像进行道线标记角度的判别。
步骤206，以级联卷积神经网络检测所得的所有道线块的中心位置坐标和标号为输入，以Hough变换算法确定道线，可包括：
如图5所示为以直线形式表示的道线Lleft，r为坐标原点到Lleft的垂线长度，θ为所述垂线与X轴的夹角，显然Lleft上所有的点(x,y)满足如下的方程：
r＝xcosθ+ysinθ(2)
由第二级卷积神经网络检测所得的每个道线标记块的中心坐标按公式(2)
表示的r和θ之间的函数关系将映射成r-θ平面的一条曲线，根据第二级卷积神经网络输出的标号值确定θ的取值范围，以θ为自变量计算对应的r值。具体地，设道线块被第二级卷积神经网络识别为第n类对象，n∈[0,K-1]，则道线标记块所在直线与X轴的夹角α的区间范围可由公式(1)确定，根据α和θ的几何关系，容易得到：θ＝α-π/2，由此，本发明的一个较优实施例将θ的取值范围设定为如公式(3)：
其中，ε是一个预设的常数，本发明的一个实施例取ε＝π/3K。
本发明实施例以窗口扫描的方式检测道线标记块，检测所得的多个道线标记块的中心坐标，由公式(2)将映射成r-θ平面中的多条曲线。由于图像平面中同一条直线上的点有相同的r和θ值，所以这些曲线将在r-θ平面中交于一点。通过检测r-θ平面中的极大值点，可得到直线的r和θ值，由此确定直线对应的道线。
以上所述仅为本发明的较佳实施例，但本发明的保护范围并不局限于此，凡在本发明的精神和原则之内，所做的任何修改或替换等，都应涵盖在本发明的保护范围内。

Claims (10)

1.一种基于级联卷积神经网络的道线检测方法，级联卷积神经网络包括第一级卷积神经网络和第二级卷积神经网络，其特征在于，该方法包括以下步骤：
步骤一:以预设的水平和垂直方向的步长扫描待检测图像，在每个扫描位置以多个尺度提取图像块，对所提取的图像块作缩放处理，使其具有与第一级卷积神经网络输入层相同的尺寸，将缩放后的图像块输入到第一级卷积神经网络，由第一级卷积神经网络的输出层得到图像块所属类别的标号和相应的概率；本步骤中图像块所属类别分成道线标记块和非道线标记块两类；
步骤二:在被第一级卷积神经网络判定包含道线标记的扫描位置，以多个偏移和尺度提取图像块，对所提取的图像块作缩放处理，使其具有与第二级卷积神经网络输入层相同的尺寸，将缩放后的图像块输入到第二级卷积神经网络，由第二级卷积神经网络的输出层得到图像块所属的类别标号以及概率；本步骤中图像块所属类别分成包含道线标记的图像块和不包含道线标记的图像块，且包含道线标记的图像块还分为多个类别，每个类别代表道线在图像块中的不同方向；
步骤三:若在扫描位置(x,y)，对所有的偏移和尺度所提取的图像块，第二级卷积神经网络的输出层都标记为不包含道线标记的图像块，则在后续的Hough变换过程中忽略该扫描位置；若只有一个图像块被判定为道线标记块，则计算该块的中心位置坐标，记录输出的类别标号，用于后续的Hough变换过程；若有多个图像块被判定为道线标记块，则取具有最大概率值的块，计算该块的中心位置坐标，记录输出的类别标号；
步骤四:由级联卷积神经网络检测所得的所有道线标记块的中心位置坐标和所属类别标号通过Hough变换算法确定道线。
2.根据权利要求1所述的基于级联卷积神经网络的道线检测方法，其特征在于，步骤一中所述的第一级卷积神经网络是一个二类分类器，用于训练该分类器的样本集包含正样本和负样本，正样本是一个矩形的图像块，道线标记占据图像块的中间部分；负样本为不包含道线标记区域的图像块。
3.根据权利要求1所述的基于级联卷积神经网络的道线检测方法，其特征在于，步骤二或步骤三中所述的第二级卷积神经网络是一个多类分类器，用于训练该分类器的样本集包含道线标记块和非道线标记块，以人工的方式标注道线标记的四边形区域，记连接四边形上、下两条边的中点所得的直线与X轴的夹角为α，K为一个预设的正整数，将α的取值范围划分成K个区间，其中的第n个区间对应的α取值范围为：
[nπ/K,(n+1)π/K)
训练样本集共包含K+1类样本，第0到K-1类样本为包含道线标记的样本，其中的第n类样本所包含的道线标记其夹角α的值落在第n个区间；第K类样本为不包含道线标记的图像块。
4.根据权利要求1所述的基于级联卷积神经网络的道线检测方法，其特征在于，步骤一中所述在每个扫描位置以多个尺度提取图像块，其中：设(x,y)为扫描位置坐标，记提取的图像块为I(x,y,w/s1,h/s1)，代表以(x,y)为左上角坐标，w/s1和h/s1分别为宽和高的一个矩形图像区域，其中w和h是预设的基准窗口宽和高，s1是预设的第一级卷积神经网络的尺度系数。
5.根据权利要求1所述的基于级联卷积神经网络的道线检测方法，其特征在于，步骤二中所述以多个偏移和尺度提取图像块，设(x,y)为扫描位置坐标，记提取的图像块为I(x-δx,y-δy,w/s1ms2,h/s1ms2)，其中w和h分别是预设的基准窗口宽和高，δx和δy分别为X和Y方向的偏移；s1m是步骤一中以多个尺度提取的图像块中，被第一级卷积神经网络识别为道线标记块且具有最大概率值的图像块所对应的尺度；s2是预设的第二级卷积神经网络的尺度系数。
6.根据权利要求1所述的基于级联卷积神经网络的道线检测方法，其特征在于，所述的第一级或第二级卷积神经网络包括三个卷积层C1、C3和C5，二个池化层P2和P4、一个ReLU激活层R6、一个全连接层F7和一个用于分类的Softmax层。
7.根据权利要求1、2或6所述的基于级联卷积神经网络的道线检测方法，其特征在于，所述的第一级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过6个5×5的卷积核对输入图像进行卷积运算，产生6个24×24大小的特征图；池化层P2对卷积层C1的特征图的每个2×2区域进行降采样，且取区域内的最大值作为池化层P2特征图对应单元的值，产生6个12×12特征图；卷积层C3包含16个5×5的卷积核，每个卷积核包含多个卷积模板，由这些模板与池化层P2的特征图进行卷积运算产生16个8×8的特征图；池化层P4将卷积层C3的特征图降采样为4×4的特征图；卷积层C5有84个4×4大小的卷积核，每个神经元与池化层P4的全部16个4×4的邻域相连，产生84个1×1的特征图；ReLU激活层R6使用修正线性单元作为激活函数；全连接层F7包含2个神经元，每个神经元与上一层的神经元进行全连接；Softmax层包含二个神经元，分别是输入图像在道线标记块和非道线标记块二个分类上的概率。
8.根据权利要求1、3或6所述的基于级联卷积神经网络的道线检测方法，其特征在于，所述的第二级卷积神经网络采用28×28大小的图像作为输入，卷积层C1通过20个5×5的卷积核对输入图像进行卷积运算，产生20个24×24大小的特征图；池化层P2将产生20个12×12大小的特征图；卷积层C3包含50个5×5的卷积核，产生50个8×8大小的特征图；池化层P4将卷积层C3的8×8的特征图降采样为4×4的特征图；卷积层C5有500个4×4大小的卷积核，每个神经元与池化层P4的全部50个4×4的邻域相连，产生500个1×1的特征图；ReLU激活层R6产生与卷积层C5同样数目的神经元；全连接层F7包含的神经元的数目等于用于训练第二级卷积神经网络的样本类别数，每个神经元与上一层的神经元进行全连接；Softmax层包含的神经元数目等于全连接层的神经元数目，分别输出图像块在每一个分类上的概率。
9.根据权利要求1所述的基于级联卷积神经网络的道线检测方法，其特征在于，步骤四中所述由级联卷积神经网络检测所得的所有道线标记块的中心位置坐标和所属类别标号通过Hough变换算法确定道线，包括：
设r为坐标原点到道线所在直线的垂线长度，θ为所述垂线与X轴的夹角，道线所在直线上所有的点(x,y)满足如下的方程：
r＝xcosθ+ysinθ
由第二级卷积神经网络检测所得的每个道线标记块的中心坐标按上述公式映射成r-θ平面的一条曲线；根据第二级卷积神经网络输出的标号值确定θ的取值范围，以θ为自变量计算对应的r值；
由级联卷积神经网络检测所得的所有道线标记块的中心坐标被映射成r-θ平面中的多条曲线，由于图像平面中同一条直线上的点有相同的r和θ值，所以这些曲线将在r-θ平面中交于一点，通过检测r-θ平面中的极大值点，得到直线的r和θ值，由此确定与直线对应的道线。
10.根据权利要求1所述的基于级联卷积神经网络的道线检测方法，其特征在于，步骤一中，若对所有的尺度，在扫描位置(x,y)所提取的图像块都被判定为非道线标记块，则后续的处理过程将忽略该扫描位置；若有一个或多于一个尺度的图像块被第一级卷积神经网络判定为道线标记块，则记录具有最高概率值的图像块所对应的尺度为s1m，然后进行步骤二。
CN201810521856.1A 2018-05-28 2018-05-28 一种基于级联卷积神经网络的道线检测方法 Active CN108830182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810521856.1A CN108830182B (zh) 2018-05-28 2018-05-28 一种基于级联卷积神经网络的道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810521856.1A CN108830182B (zh) 2018-05-28 2018-05-28 一种基于级联卷积神经网络的道线检测方法

Publications (2)

Publication Number Publication Date
CN108830182A true CN108830182A (zh) 2018-11-16
CN108830182B CN108830182B (zh) 2020-08-07

Family

ID=64145850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810521856.1A Active CN108830182B (zh) 2018-05-28 2018-05-28 一种基于级联卷积神经网络的道线检测方法

Country Status (1)

Country Link
CN (1) CN108830182B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446353A (zh) * 2020-12-14 2021-03-05 浙江工商大学 基于深度卷积神经网络的视频图像道线检测方法
US11741724B2 (en) 2021-02-25 2023-08-29 Toyota Research Institute, Inc. Configuring a neural network to produce an electronic road map that has information to distinguish lanes of a road

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679185A (zh) * 2012-08-31 2014-03-26 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
CN105426861A (zh) * 2015-12-02 2016-03-23 百度在线网络技术（北京）有限公司 车道线确定方法及装置
CN105741559A (zh) * 2016-02-03 2016-07-06 安徽清新互联信息科技有限公司 一种基于车道线模型的违法占用应急车道检测方法
CN105760812A (zh) * 2016-01-15 2016-07-13 北京工业大学 一种基于Hough变换的车道线检测方法
JP2016208450A (ja) * 2015-04-28 2016-12-08 ヤマハ株式会社 無線通信システム
CN106228125A (zh) * 2016-07-15 2016-12-14 浙江工商大学 基于集成学习级联分类器的车道线检测方法
CN107506763A (zh) * 2017-09-05 2017-12-22 武汉大学 一种基于卷积神经网络的多尺度车牌精准定位方法
CN107578037A (zh) * 2017-09-27 2018-01-12 浙江工商大学 一种基于似物性估计的道线检测方法
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679185A (zh) * 2012-08-31 2014-03-26 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
JP2016208450A (ja) * 2015-04-28 2016-12-08 ヤマハ株式会社 無線通信システム
CN105426861A (zh) * 2015-12-02 2016-03-23 百度在线网络技术（北京）有限公司 车道线确定方法及装置
CN105760812A (zh) * 2016-01-15 2016-07-13 北京工业大学 一种基于Hough变换的车道线检测方法
CN105741559A (zh) * 2016-02-03 2016-07-06 安徽清新互联信息科技有限公司 一种基于车道线模型的违法占用应急车道检测方法
CN106228125A (zh) * 2016-07-15 2016-12-14 浙江工商大学 基于集成学习级联分类器的车道线检测方法
CN107506763A (zh) * 2017-09-05 2017-12-22 武汉大学 一种基于卷积神经网络的多尺度车牌精准定位方法
CN107578037A (zh) * 2017-09-27 2018-01-12 浙江工商大学 一种基于似物性估计的道线检测方法
CN107944442A (zh) * 2017-11-09 2018-04-20 北京智芯原动科技有限公司 基于改进卷积神经网络的对象检测装置及方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JUN LI ET AL: "Deep neural network for structural prediction and lane detection in traffic scene", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》 *
LI X ET AL: "Lane detection based on spiking neural network and hough transform", 《2015 8TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING(CISP)》 *
YAN TIAN ET AL.: "Lane marking detection via deep convolutional neural network", 《NEUROCOMPUTIG》 *
傅鹏等: "基于级联卷积神经网络的车牌定位", 《计算机技术与发展》 *
朱振文等: "基于卷积神经网络的道路检测方法", 《计算机工程与设计》 *
李松泽: "基于深度学习的车道线检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
陈敏: "《计算认知导论》", 31 May 2017 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446353A (zh) * 2020-12-14 2021-03-05 浙江工商大学 基于深度卷积神经网络的视频图像道线检测方法
CN112446353B (zh) * 2020-12-14 2023-05-02 浙江工商大学 基于深度卷积神经网络的视频图像道线检测方法
US11741724B2 (en) 2021-02-25 2023-08-29 Toyota Research Institute, Inc. Configuring a neural network to produce an electronic road map that has information to distinguish lanes of a road

Also Published As

Publication number Publication date
CN108830182B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
Cheng et al. Extraction and classification of road markings using mobile laser scanning point clouds
CN105005771B (zh) 一种基于光流点轨迹统计的车道线实线的检测方法
CN101901336B (zh) 指纹与指静脉双模态识别决策级融合法
CN107633220A (zh) 一种基于卷积神经网络的车辆前方目标识别方法
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN103902970B (zh) 自动指纹姿态估计方法及系统
CN108304749A (zh) 道路减速线识别方法、装置及车辆
CN106156723A (zh) 一种基于视觉的路口精定位方法
CN103426186A (zh) 一种改进的surf快速匹配方法
CN107463890A (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN108334881A (zh) 一种基于深度学习的车牌识别方法
CN106407924A (zh) 基于路面特征的双目道路识别检测方法
CN106503748A (zh) 一种基于s‑sift特征和svm训练器的车型识别算法
CN105989334A (zh) 基于单目视觉的道路检测方法
CN104751119A (zh) 基于信息融合的行人快速检测跟踪方法
CN106529461A (zh) 一种基于积分特征通道和svm训练器的车型识别算法
CN113221648B (zh) 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN106845444A (zh) 一种基于弧‑点结合的车载井盖检测方法
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN105005989A (zh) 一种弱对比度下的车辆目标分割方法
CN109190483A (zh) 一种基于视觉的车道线检测方法
CN108830182A (zh) 一种基于级联卷积神经网络的道线检测方法
Liu et al. Lane detection based on straight line model and k-means clustering
CN109508673A (zh) 一种基于棒状像素的交通场景障碍检测与识别方法
CN101882219B (zh) 图像辨识以及输出方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant