CN112446353B - 基于深度卷积神经网络的视频图像道线检测方法 - Google Patents

基于深度卷积神经网络的视频图像道线检测方法 Download PDF

Info

Publication number
CN112446353B
CN112446353B CN202011471660.XA CN202011471660A CN112446353B CN 112446353 B CN112446353 B CN 112446353B CN 202011471660 A CN202011471660 A CN 202011471660A CN 112446353 B CN112446353 B CN 112446353B
Authority
CN
China
Prior art keywords
convolution
track
image
frame
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011471660.XA
Other languages
English (en)
Other versions
CN112446353A (zh
Inventor
陈卫刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Original Assignee
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University filed Critical Zhejiang Gongshang University
Priority to CN202011471660.XA priority Critical patent/CN112446353B/zh
Publication of CN112446353A publication Critical patent/CN112446353A/zh
Application granted granted Critical
Publication of CN112446353B publication Critical patent/CN112446353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的视频图像道线检测方法，该方法假设道线沿着其在图像中的伸展方向能分割成若干个道线块，这些道线块的中间区域包含了道线的标记部分，两侧包含了背景部分，以此假设为基础，采用ResNet50的前四级卷积层组作为特征提取网络，检测出现在图像中道线块。为了检测较小的道线块，对于每帧输入图像，分别将原始图像和宽、高方向都放大为原图像2倍大小的图像输入到同一个神经网络模型，融合两个尺度图像的检测结果作为道线块检测的结果。将道线建模成二次曲线，逐帧地由检测所得的道线块的位置坐标更新以曲线参数表示的道线几何模型。

Description

基于深度卷积神经网络的视频图像道线检测方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于深度卷积神经网络的视频图像道线检测方法。
背景技术
先进驾驶辅助系统(ADAS)正越来越成为汽车工业发展的一个重要方向，在ADAS系统中，道线检测是车道偏离预警等诸多应用的基础。
ADAS系统的摄像机所观察的视域中经常出现各式车辆、车道分隔护栏、路旁的绿化等容易引入边缘信息的物体，对以边缘点检测为础的道线检测算法产生影响。本发明实施例假设道线在图像的局部区域具有相近的宽度，并且沿着道线伸展方向能分割成若干个道线标记块，这些道线块的中间区域包含了道线的标记部分，两侧包含了背景部分。本发明实施例以深度卷积神经网络检测图像中的道线标记块，将道线建模成平面中的二次方程，根据检测所得的道线块更新道线的几何模型。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于深度卷积神经网络的视频图像道线检测方法。
本发明的目的是通过以下技术方案来实现的：基于深度卷积神经网络的视频图像道线检测方法，该方法包括以下步骤：
(1)构建深度卷积神经网络模型用于检测图像中的道线块，具体为：
(1.1)所述深度卷积神经网络模型采用ResNet50的前四级卷积层组作为特征提取网络，所述四级卷积层组依次连接，接在第三级卷积层组之后除了第四级卷积层组之外，还有卷积层ConvA_1，接在第四级卷积层组之后的为卷积层ConvA_2；所述卷积层ConvA_1和ConvA_2各包含5NT个大小为1×1的卷积核，卷积步长都为1，其中NT为预设的检测框数目；对ConvA_2输出的特征图进行宽和高方向各为两倍的上采样，记作F2，与ConvA_1输出的特征图F1作逐个对应元素的求和运算，产生通道数为5NT的特征图F；
(1.2)设特征图F的每个通道，其宽度和高度分别为WF和HF，则对应该特征图将产生一个锚点集合，集合中的每个锚点对应WF×HF平面上的一个点，并且为每个锚点预设NT个不同大小的检测框；特征图F的第1到第NT个通道分别各对应一个预设检测框检测所得的结果，第i个通道的(m,n)位置的值代表在该锚点采用第i个预设检测框检测到道线块的概率，其中1≤m≤WF，1≤n≤HF，1＜i≤NT；特征图的第NT+1到第5NT个通道，每4个通道对应1个预设检测框检测所得道线块的位置参数，具体地，通道NT+4(i-1)+1至通道NT+4i对应第i个预设检测框所检测到的道线块的位置参数，在任意(m,n)位置，通道NT+4(i-1)+1和NT+4(i-1)+2的值分别代表该锚点预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道NT+4(i-1)+3的值代表该锚点预设检测框与实际检测框宽度的比值，通道NT+4i的值代表预设检测框与实际检测框高度的比值。
(2)利用摄像机采集道路图像I，将平面直角坐标系的原点置于图像I的左上角点，X轴对应图像的宽度方向，Y轴对应高度方向，对当前图像I进行缩放操作获得宽和高各为原图像2倍的图像I'，将I和I'分别输入到所述的深度卷积神经网络模型，输出检测所得的道线块，记第i个道线块为bi＝(xi,yi,wi,hi；si)，其中xi和yi分别为道线块中心的X坐标和Y坐标，wi和hi为道线块的宽度和高度，si为检测的置信度，
Figure BDA0002834105410000021
表示所有道线块的集合，N为集合中的道线块的个数；
设前一帧计算所得的M条道线的集合为
Figure BDA0002834105410000022
对SB集合中的每一个道线块bi，计算其与道线Lk上所有点的距离的最小值作为bi与Lk的距离，记作di,k；
记
Figure BDA0002834105410000023
为对应道线Lk的一个集合，其中的每个元素bj满足条件：
bj∈SB∧dj,k＜dj,l for all l≠k
将SL中的任意一条道线Lk，k＝1,2,...,M，建模成如下的二次方程：
x＝aky2+bky+ck
按如下步骤更新其几何模型：
(2.1)设当前处理的为第t帧，记
Figure BDA0002834105410000024
的元素个数为mk，若mk≥5，则提取
Figure BDA0002834105410000025
集合中的道线块的中心坐标(xn,yn),n＝1,...,mk，由这些坐标数据以曲线拟合的方式得到所述二次方程表示的第t帧各个参数的近似解ak,t、bk,t和ck,t，且以向量的形式记录该道线对应当前帧的几何模型为Ck,t＝(ak,t,bk,t,ck,t)T，其中上标T表示转置，对
Figure BDA0002834105410000026
集合中的所有道线块的置信度求均值，记作
Figure BDA0002834105410000027
转步骤2.4；
(2.2)若2＜mk＜5，则提取
Figure BDA0002834105410000028
集合中的道线块的中心坐标(xn,yn),n＝1,...,mk，设道线Lk前一帧以向量形式表示的几何模型为Ck,t-1＝(ak,t-1,bk,t-1,ck,t-1)T，按下式对所述提取的道线块的中心坐标进行坐标变换
Figure BDA0002834105410000031
由变换以后的坐标数据
Figure BDA0002834105410000032
以线性拟合的方式得到如下公式所示的线性方程中的第t帧各个参数的近似解bk,t和ck,t，
Figure BDA0002834105410000033
且取ak,t＝ak,t-1，将当前帧的道线几何模型置为
Figure BDA0002834105410000034
对
Figure BDA0002834105410000035
集合中的所有道线块的置信度求均值，记作
Figure BDA0002834105410000036
转步骤2.4；
(2.3)若mk≤2，则将前一帧的几何模型复制为当前帧的模型，转步骤2.5；
(2.4)将道线的曲线方程建模成离散动态系统随时间变化的状态，设道线Lk前一帧以向量形式表示的几何模型为Ck,t-1，计算所得的置信度均值为
Figure BDA0002834105410000037
按下式更新道线模型：
Figure BDA0002834105410000038
其中
Figure BDA0002834105410000039
代表更新后的模型；
(2.5)保存道线Lk的几何模型
Figure BDA00028341054100000310
作为当前帧检测所得的道线。
进一步地，所述采用ResNet50的前四级卷积层组作为特征提取网络，第一级卷积层组以待处理的图像作为输入，依次连接一个包含64个7×7卷积核、卷积步长为2的卷积层，和一个采样核大小为3×3、进行最大池化操作、步长为2的池化层；第一级卷积层组输出的特征图缩减为输入图像的长和宽的四分之一；接在第一级卷积层组之后的依次为第二级卷积层组、第三级卷积层组和第四级卷积层组，第二级卷积层组包含3个残差块，记作ResBlock2_i，第三级卷积层组包含4个残差块，记作ResBlock3_i，第四级卷积层组包含6个残差块，记作ResBlock4_i，其中i＝1,2,...,NB，NB为卷积层组中的残差块数目。
进一步地，ResBlock2_1、ResBlock3_1和ResBlock4_1的结构包括两路分支，其中的主分支包含三个卷积层，第一个卷积层包含C个1×1卷积核，第二个卷积层包含C个3×3卷积核，第三个卷积层包含4C个1×1卷积核，在每个卷积层后依次接一个批正则化层和ReLU层，ResBlock2_1的三个卷积层的卷积步长都为1，ResBlock3_1和ResBlock4_1的第一个卷积层的卷积步长为2，其它卷积层的卷积步长为1；ResBlock2_1、ResBlock3_1和ResBlock4_1的另一路分支为捷径分支，所述捷径分支包含一个卷积层，卷积层之后接一个批正则化层；ResBlock2_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为1，ResBlock3_1和ResBlock4_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为2；主分支最后一个卷积层的输出和捷径分支的输出进行逐个对应元素的求和运算，作为残差块的输出。
进一步地，主分支和捷径分支中卷积层的卷积核数目，在第二级、第三级和第四级卷积层组中，预设常数C值分别为64、128和256；所述ResNet50的前四级卷积层组中除了ResBlock2_1、ResBlock3_1和ResBlock4_1之外的任意一个残差块，其结构包括两路分支，其中的主分支包含三个卷积层，第一个卷积层包含C个1×1卷积核，第二个卷积层包含C个3×3卷积核，第三个卷积层包含4C个1×1卷积核，在每个卷积层后依次接了一个批正则化层和ReLU层，所有卷积层的卷积步长都为1；另一路分支直接拷贝输入到该残差块的特征图，与主分支最后一个卷积层的输出进行逐个对应元素的求和运算，作为残差块的输出。
进一步地，输入到深度神经网络模型的图像大小为H×W，则输出的特征图F的宽和高分别为：
Figure BDA0002834105410000041
其中
Figure BDA0002834105410000042
代表不小于x的整数，特征图F的通道数为5NT。
进一步地，所述的深度卷积神经网络模型各个层次的参数以学习的方式确定，包括：
A、准备用于训练的图像：以人工方式标注图像中的道线区域，沿垂直方向等间隔地布置水平直线，若某条水平直线与道线区域的左右边界都存在交点，且两个交点之间线段长度为D，线段中点坐标为(x,y)，则以该中点为中心，取宽和高分别为w＝αD和h＝βD的矩形作为一个道线块的边界框，记作(x,y,w,h)，其中α和β为两个预设的常数，可取α＝5，β＝3；
B、为训练图像准备预期的输出：每一个训练图像都对应一个预期的特征图
Figure BDA0002834105410000043
若训练图像的宽和高分别为W和H，则特征图的宽和高分别为：
Figure BDA0002834105410000044
通道数为5NT，其中NT为预设的检测框数目，若图像中与锚点(m,n)对应的位置，存在标注的道线边界框与第i个预设检测框的交并比大于一个预设的阈值，则置特征图
Figure BDA0002834105410000045
第i个通道(m,n)位置的值
Figure BDA0002834105410000046
其中所述交并比按下式计算：
Figure BDA0002834105410000047
其中P和Q分别为标注和预设的边界框，P∩Q表示两个区域的交集，P∪Q为并集；相应地，计算
Figure BDA0002834105410000048
和
Figure BDA0002834105410000049
的值分别为该锚点预设检测框与所述标注的道线边界框之间X方向和Y方向的偏移，
Figure BDA00028341054100000410
的值为该锚点预设检测框与所标注的道线边界框宽度的比值，
Figure BDA00028341054100000411
的值为该锚点预设检测框与所标注的道线边界框高度的比值；若图像中与锚点(m,n)对应的位置，所有的预设检测框都不存在交并比大于预设阈值的标注道线边界框，则置
Figure BDA0002834105410000051
特征图
Figure BDA0002834105410000052
通道NT+1至通道5NT在(m,n)位置的值都置成0；
C、训练：每幅训练图像输入到深度卷积神经将产生相应的输出特征图F，计算置信度误差损失和位置误差损失，其中置信度误差损失函数按下式计算：
Figure BDA0002834105410000053
其中(i,j)代表特征图F前NT个通道的所有坐标位置；设p为任意被预测为包含道线块的锚点，且预测的位置参数为
Figure BDA0002834105410000054
其中
Figure BDA0002834105410000055
和
Figure BDA0002834105410000056
分别代表预测的X坐标、Y坐标、宽度和高度，实际标注的位置参数为
Figure BDA0002834105410000057
其中
Figure BDA0002834105410000058
和
Figure BDA0002834105410000059
代表标注的X坐标、Y坐标、宽度和高度，则位置误差损失函数按下式计算：
Figure BDA00028341054100000510
其中smoothL1函数按下式计算：
Figure BDA00028341054100000511
计算总损失函数为置信度误差损失与位置误差损失的加权和：
Figure BDA00028341054100000512
其中N是标注为正样本的锚点数量，η是一个预设的常数；
批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。
本发明的有益效果：本发明提供的技术以两个尺度的图像为输入，采用深度神经网络检测出现在图像序列中的道线块，能有效地解决较小的道线区域容易漏检的问题。将所提供的技术应用于辅助驾驶系统，可为道线偏离预警、自动驾驶等提供底层技术支持。
附图说明
图1为本发明实施例基于深度卷积神经网络的道线检测方法示意图；
图2为本发明实施例的深度卷积神经网络模型结构示意图；
图3道线标注及道线块提取示意图；
图4为应用本发明实施例提供的方法进行道线检测的结果示例。
具体实施方式
下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。
如图1所示，本发明提供一种基于深度卷积神经网络的视频图像道线检测方法，将当前采集的视频图像输入到经预先训练的卷积神经网络，检测图像中的道线块；将道线建模成平面中的二次方程，根据检测所得的道线块更新道线的几何模型。
本发明具体采用的技术方案如下：
(1)使用深度卷积神经网络模型检测图像中的道线块，参见图2，构建的深度卷积神经网络模型采用ResNet50的前四级卷积层组作为特征提取网络，第一级卷积层组以待处理的图像作为输入，依次连接一个包含64个7×7卷积核、卷积步长为2的卷积层，和一个采样核大小为3×3、进行最大池化操作、步长为2的池化层；第一级卷积层组输出的特征图缩减为输入图像的长和宽的四分之一；接在第一级卷积层组之后的依次为第二级卷积层组、第三级卷积层组和第四级卷积层组，第二级卷积层组包含3个残差块，记作ResBlock2_i，第三级卷积层组包含4个残差块，记作ResBlock3_i，第四级卷积层组包含6个残差块，记作ResBlock4_i，其中i＝1,2,...,NB，NB为卷积层组中的残差块数目；ResBlock2_1、ResBlock3_1和ResBlock4_1的结构包括两路分支，其中的主分支包含三个卷积层，第一个卷积层包含C个1×1卷积核，第二个卷积层包含C个3×3卷积核，第三个卷积层包含4C个1×1卷积核，在每个卷积层后依次接了一个批正则化层和ReLU层，ResBlock2_1的三个卷积层的卷积步长都为1，ResBlock3_1和ResBlock4_1的第一个卷积层的卷积步长为2，其它卷积层的卷积步长为1；ResBlock2_1、ResBlock3_1和ResBlock4_1的另一路分支为捷径分支，所述捷径分支包含一个卷积层，卷积层之后接一个批正则化层；ResBlock2_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为1，ResBlock3_1和ResBlock4_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为2；主分支最后一个卷积层的输出和捷径分支的输出进行逐元素求和运算，作为残差块的输出；上述主分支和捷径分支中卷积层的卷积核数目，在第二级、第三级和第四级卷积层组中，预设常数C值分别为64、128和256；所述ResNet50的前四级卷积层组中除了ResBlock2_1、ResBlock3_1和ResBlock4_1之外的任意一个残差块，其结构包括两路分支，其中的主分支包含三个卷积层，第一个卷积层包含C个1×1卷积核，第二个卷积层包含C个3×3卷积核，第三个卷积层包含4C个1×1卷积核，在每个卷积层后依次接了一个批正则化层和ReLU层，所有卷积层的卷积步长都为1；另一路分支直接拷贝输入到该残差块的特征图，与主分支最后一个卷积层的输出进行逐元素的求和运算，作为残差块的输出；
接在第三级卷积层组之后的，除了第四级卷积层组之外还有卷积层ConvA_1，该卷积层包含5NT个大小为1×1的卷积核，其中NT为预设的模板数目，记ConvA_1输出的特征图为F1；接在第四级卷积层组之后的为卷积层ConvA_2，该卷积层包含5NT个大小为1×1的卷积核；卷积层ConvA_1和ConvA_2的卷积步长都为1；对ConvA_2输出的特征图进行宽和高方向各为两倍的上采样，产生具有与ConvA_1的输出一致大小特征图，记作F2；对F1与F2作逐个对应元素的求和，产生特征图F；
(2)设输入到深度神经网络模型的图像大小为H×W，则输出的特征图F的宽和高分别为：
Figure BDA0002834105410000071
其中
Figure BDA0002834105410000072
代表不小于x的整数，特征图F的通道数为5NT，将特征图上的每个点视作一个锚点，每个锚点对应NT个预设检测框，本发明的一个较佳实施例取NT＝12，下表给出了每个预设检测框的设置，其中width和height分别表示以输入图像的像素数目作为计量单位的检测框的宽和高，scale为模板适用的图像缩放比例；特征图F的第1到第NT个通道分别各对应一个预设检测框检测所得的结果，第i个通道的(m,n)位置的值代表在该锚点采用第i个预设检测框检测到道线块的概率，其中1＜i≤NT，0＜m≤W'，0＜n≤H'；特征图的第NT+1到第5NT个通道，每4个通道对应1个预设检测框检测所得道线块的位置参数，具体地，通道NT+4(i-1)+1至通道NT+4i对应第i个预设检测框所检测到的道线块的位置参数，在任意(m,n)位置，通道NT+4(i-1)+1和NT+4(i-1)+2的值分别代表该锚点预设检测框中心与实际检测框中心之间X方向、Y方向的偏移，通道NT+4(i-1)+3的值代表该锚点预设检测框与实际检测框宽度的比值，通道NT+4i的值代表预设检测框与实际检测框高度的比值；
表1.预设检测框的长宽设置
Figure BDA0002834105410000073
Figure BDA0002834105410000081
(3)根据检测所得的道线块更新道线的几何模型，包括：
本发明实施例利用安装于前挡风玻璃后、前向观察的摄像机采集道路图像，将平面直角坐标系的原点置于图像的左上角点，X轴对应图像的宽度方向，Y轴对应高度方向，将任意一条道线Lk建模成如下的二次方程：
x＝aky2+bky+ck   (1)
对当前图像I进行缩放操作获得宽和高各为原图像2倍的图像I'，将I和I'分别输入到本发明技术方案(1)中所述的深度卷积神经网络，输出检测所得的道线块，记第i个道线块为bi＝(xi,yi,wi,hi；si)，其中xi和yi分别为道线块中心的X坐标和Y坐标，wi和hi为道线块的宽度和高度，si为检测的置信度，
Figure BDA0002834105410000082
表示所有道线块的集合，N为集合中的道线块的个数；
设前一帧计算所得的M条道线的集合为
Figure BDA0002834105410000083
对SB集合中的每一个道线块bi，计算其与道线Lk上所有点的距离的最小值作为bi与Lk的距离，记作di,k；
记
Figure BDA0002834105410000084
为对应道线Lk的一个集合，其中的每个元素bj满足条件：
bj∈SB∧dj,k＜dj,l for all l≠k   (2)
对SL中的每一条道线Lk，k＝1,2,...,M，按如下步骤更新其几何模型：
步骤3.1、设当前处理的为第t帧，记
Figure BDA0002834105410000085
的元素个数为mk，若mk≥5，则提取
Figure BDA0002834105410000086
集合中的道线块的中心坐标(xn,yn),n＝1,...,mk，由这些坐标数据以曲线拟合的方式得到形如公式(1)所示的曲线方程，且以向量的形式记录对应当前帧的道线几何模型为Ck,t＝(ak,t,bk,t,ck,t)T，其中上标T表示转置，对
Figure BDA0002834105410000087
集合中的所有道线块的置信度求均值，记作
Figure BDA0002834105410000088
转步骤3.4；
步骤3.2、若2＜mk＜5，则提取
Figure BDA0002834105410000089
集合中的道线块的中心坐标(xn,yn),n＝1,...,mk，设道线Lk前一帧以向量形式表示的几何模型为Ck,t-1＝(ak,t-1,bk,t-1,ck,t-1)T，按下式对所述提取的道线块的中心坐标进行坐标变换
Figure BDA00028341054100000810
由变换以后的坐标数据
Figure BDA00028341054100000811
以线性拟合的方式得到如公式(4)所示的线性方程，
Figure BDA0002834105410000091
取ak＝ak,t-1，将当前帧的道线几何模型置为Ck,t＝(ak,bk,ck)T，对
Figure BDA0002834105410000092
集合中的所有道线块的置信度求均值，记作
Figure BDA0002834105410000093
转步骤3.4；
步骤3.3、若mk≤2，则将前一帧的几何模型复制为当前帧的模型，转步骤3.5；
步骤3.4、将道线的曲线方程建模成离散动态系统随时间变化的状态，设道线Lk前一帧以向量形式表示的几何模型为Ck,t-1，计算所得的置信度均值为
Figure BDA0002834105410000094
按下式更新道线模型：
Figure BDA0002834105410000095
其中
Figure BDA0002834105410000096
代表更新后的模型；
步骤3.5、保存道线Lk的几何模型
Figure BDA0002834105410000097
本发明技术方案(1)中所述的深度卷积神经网络模型各个层次的参数以学习的方式确定，包括：
步骤1A、准备用于训练的图像：图3所示为标注了道线区域的图像，本发明实施例沿垂直方向等间隔地布置水平直线，若某条水平直线与道线区域的左右边界都存在交点，且两个交点之间线段长度为D，线段中点坐标为(x,y)，则以该中点为中心，取宽和高分别为w＝αD和h＝βD的矩形作为一个道线块的边界框，记作(x,y,w,h)，其中α和β为两个预设的常数，本发明的一个实施例取α＝5，β＝3；
步骤1B、为训练图像准备预期的输出：每一个训练图像I都对应一个预期的特征图
Figure BDA0002834105410000098
若训练图像的宽和高分别为W和H，则特征图的宽和高分别为：
Figure BDA0002834105410000099
通道数为5NT，其中NT为预设的检测框数目，若图像I中与锚点(m,n)对应的位置，存在标注的道线边界框与第i个预设检测框的交并比大于预设阈值η，则置特征图
Figure BDA00028341054100000910
第i个通道(m,n)位置的值
Figure BDA00028341054100000911
其中所述交并比按下式计算：
Figure BDA00028341054100000912
其中P∩Q表示两个区域的交集，P∪Q为并集；相应地，计算
Figure BDA00028341054100000913
和
Figure BDA00028341054100000914
的值分别为该锚点预设检测框与所述标注的道线边界框之间X方向和Y方向的偏移，
Figure BDA00028341054100000915
的值为该锚点预设检测框与所述标注的道线边界框宽度的比值，
Figure BDA0002834105410000101
的值为该锚点预设检测框与所标注的道线边界框高度的比值；若图像I中与锚点(m,n)对应的位置，所有的预设检测框都不存在交并比大于预设阈值η的标注道线边界框，则置
Figure BDA0002834105410000102
特征图
Figure BDA0002834105410000103
通道NT+1至通道5NT在(m,n)位置的值都置成0；
步骤1C、训练：每幅训练图像输入到深度卷积神经将产生相应的输出特征图F，计算置信度误差损失和位置误差损失，其中置信度误差损失函数按下式计算：
Figure BDA0002834105410000104
其中(i,j)代表特征图F前NT个通道的所有坐标位置；设p为任意预测为包含道线块的锚点，且预测的位置参数为
Figure BDA0002834105410000105
实际标注的位置参数为
Figure BDA0002834105410000106
则位置损失误差函数按下式计算：
Figure BDA0002834105410000107
其中smoothL1函数按下式计算：
Figure BDA0002834105410000108
计算总损失函数为置信度误差损失与位置误差损失的加权和：
Figure BDA0002834105410000109
其中N是标注为正样本的锚点数量，η是一个预设的常数；
批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。
如图4所示为本发明实施例提供的方法对多个场景的视频图像进行道线检测所产生的结果，图4中的第一列显示了以曲线表示的前一帧检测所得的道线，第二列显示了深度卷积神经网络模型检测所得的道线块，以及更新后的曲线，结果显示本发明实施例提供的方法能够很好地检测出现在视频图像中的道线。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.基于深度卷积神经网络的视频图像道线检测方法，其特征在于，该方法包括以下步骤：
(1)构建深度卷积神经网络模型用于检测图像中的道线块，具体为：
(1.1)所述深度卷积神经网络模型采用ResNet50的前四级卷积层组作为特征提取网络，所述四级卷积层组依次连接，接在第三级卷积层组之后除了第四级卷积层组之外，还有卷积层ConvA_1，接在第四级卷积层组之后的为卷积层ConvA_2；所述卷积层ConvA_1和ConvA_2各包含5NT个大小为1×1的卷积核，卷积步长都为1，其中NT为预设的检测框数目；对ConvA_2输出的特征图进行宽和高方向各为两倍的上采样，记作F2，与ConvA_1输出的特征图F1作逐个对应元素的求和运算，产生通道数为5NT的特征图F；
(1.2)设特征图F的每个通道，其宽度和高度分别为WF和HF，则对应该特征图将产生一个锚点集合，集合中的每个锚点对应WF×HF平面上的一个点，并且为每个锚点预设NT个不同大小的检测框；特征图F的第1到第NT个通道分别各对应一个预设检测框检测所得的结果，第i个通道的(m,n)位置的值代表在该锚点采用第i个预设检测框检测到道线块的概率，其中1≤m≤WF，1≤n≤HF，1＜i≤NT；特征图的第NT+1到第5NT个通道，每4个通道对应1个预设检测框检测所得道线块的位置参数，具体地，通道NT+4(i-1)+1至通道NT+4i对应第i个预设检测框所检测到的道线块的位置参数，在任意(m,n)位置，通道NT+4(i-1)+1和NT+4(i-1)+2的值分别代表该锚点预设检测框中心与实际检测框中心之间宽度方向和高度方向的偏移，通道NT+4(i-1)+3的值代表该锚点预设检测框与实际检测框宽度的比值，通道NT+4i的值代表预设检测框与实际检测框高度的比值；
(2)利用摄像机采集道路图像I，将平面直角坐标系的原点置于图像I的左上角点，X轴对应图像的宽度方向，Y轴对应高度方向，对当前图像I进行缩放操作获得宽和高各为原图像2倍的图像I'，将I和I'分别输入到所述的深度卷积神经网络模型，输出检测所得的道线块，记第i个道线块为bi＝(xi,yi,wi,hi；si)，其中xi和yi分别为道线块中心的X坐标和Y坐标，wi和hi为道线块的宽度和高度，si为检测的置信度，
Figure FDA0004135434850000011
表示所有道线块的集合，N为集合中的道线块的个数；
设前一帧计算所得的M条道线的集合为
Figure FDA0004135434850000012
对SB集合中的每一个道线块bi，计算其与道线Lk上所有点的距离的最小值作为bi与Lk的距离，记作di,k；
记
Figure FDA0004135434850000021
为对应道线Lk的一个集合，其中的每个元素bj满足条件：
bj∈SB^dj,k＜dj,l for all l≠k
将SL中的任意一条道线Lk，k＝1,2,...,M，建模成如下的二次方程：
x＝aky2+bky+ck
按如下步骤更新其几何模型：
(2.1)设当前处理的为第t帧，记
Figure FDA0004135434850000022
的元素个数为mk，若mk≥5，则提取
Figure FDA0004135434850000023
集合中的道线块的中心坐标(xn,yn),n＝1,...,mk，由这些坐标数据以曲线拟合的方式得到所述二次方程表示的第t帧的各个参数的近似解ak,t、bk,t和ck,t，且以向量的形式记录该道线对应当前帧的几何模型为Ck,t＝(ak,t,bk,t,ck,t)T，其中上标T表示转置，对
Figure FDA0004135434850000024
集合中的所有道线块的置信度求均值，记作
Figure FDA0004135434850000025
转步骤2.4；
(2.2)若2＜mk＜5，则提取
Figure FDA0004135434850000026
集合中的道线块的中心坐标(xn,yn),n＝1,...,mk，设道线Lk前一帧以向量形式表示的几何模型为Ck,t-1＝(ak,t-1,bk,t-1,ck,t-1)T，按下式对所述提取的道线块的中心坐标进行坐标变换
Figure FDA0004135434850000027
由变换以后的坐标数据
Figure FDA0004135434850000028
以线性拟合的方式得到如下公式所示的线性方程中的第t帧各个参数的近似解bk,t和ck,t，
Figure FDA0004135434850000029
且取ak,t＝ak,t-1，将当前帧的道线几何模型置为Ck,t＝(ak,t,bk,t,ck,t)T，对
Figure FDA00041354348500000210
集合中的所有道线块的置信度求均值，记作
Figure FDA00041354348500000211
转步骤2.4；
(2.3)若mk≤2，则将前一帧的几何模型复制为当前帧的模型，转步骤2.5；
(2.4)将道线的曲线方程建模成离散动态系统随时间变化的状态，设道线Lk前一帧以向量形式表示的几何模型为Ck,t-1，计算所得的置信度均值为
Figure FDA00041354348500000212
按下式更新道线模型：
Figure FDA00041354348500000213
其中
Figure FDA00041354348500000214
代表更新后的模型；
(2.5)保存道线Lk的几何模型
Figure FDA0004135434850000031
作为当前帧检测所得的道线。
2.根据权利要求1所述的基于深度卷积神经网络的视频图像道线检测方法，其特征在于，所述采用ResNet50的前四级卷积层组作为特征提取网络，第一级卷积层组以待处理的图像作为输入，依次连接一个包含64个7×7卷积核、卷积步长为2的卷积层，和一个采样核大小为3×3、进行最大池化操作、步长为2的池化层；第一级卷积层组输出的特征图缩减为输入图像的长和宽的四分之一；接在第一级卷积层组之后的依次为第二级卷积层组、第三级卷积层组和第四级卷积层组，第二级卷积层组包含3个残差块，记作ResBlock2_i，第三级卷积层组包含4个残差块，记作ResBlock3_i，第四级卷积层组包含6个残差块，记作ResBlock4_i，其中i＝1,2,...,NB，NB为卷积层组中的残差块数目。
3.根据权利要求2所述的基于深度卷积神经网络的视频图像道线检测方法，其特征在于，ResBlock2_1、ResBlock3_1和ResBlock4_1的结构包括两路分支，其中的主分支包含三个卷积层，第一个卷积层包含C个1×1卷积核，第二个卷积层包含C个3×3卷积核，第三个卷积层包含4C个1×1卷积核，在每个卷积层后依次接一个批正则化层和ReLU层，ResBlock2_1的三个卷积层的卷积步长都为1，ResBlock3_1和ResBlock4_1的第一个卷积层的卷积步长为2，其它卷积层的卷积步长为1；ResBlock2_1、ResBlock3_1和ResBlock4_1的另一路分支为捷径分支，所述捷径分支包含一个卷积层，卷积层之后接一个批正则化层；ResBlock2_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为1，ResBlock3_1和ResBlock4_1的捷径分支的卷积层具有4C个1×1大小的卷积核、卷积步长为2；主分支最后一个卷积层的输出和捷径分支的输出进行逐个对应元素的求和运算，作为残差块的输出。
4.根据权利要求3所述的基于深度卷积神经网络的视频图像道线检测方法，其特征在于，主分支和捷径分支中卷积层的卷积核数目，在第二级、第三级和第四级卷积层组中，预设常数C值分别为64、128和256；所述ResNet50的前四级卷积层组中除了ResBlock2_1、ResBlock3_1和ResBlock4_1之外的任意一个残差块，其结构包括两路分支，其中的主分支包含三个卷积层，第一个卷积层包含C个1×1卷积核，第二个卷积层包含C个3×3卷积核，第三个卷积层包含4C个1×1卷积核，在每个卷积层后依次接了一个批正则化层和ReLU层，所有卷积层的卷积步长都为1；另一路分支直接拷贝输入到该残差块的特征图，与主分支最后一个卷积层的输出进行逐个对应元素的求和运算，作为残差块的输出。
5.根据权利要求1所述的基于深度卷积神经网络的视频图像道线检测方法，其特征在于，输入到深度神经网络模型的图像大小为H×W，则输出的特征图F的宽和高分别为：
Figure FDA0004135434850000032
其中
Figure FDA0004135434850000033
代表不小于x的整数，特征图F的通道数为5NT。
6.根据权利要求1所述的基于深度卷积神经网络的视频图像道线检测方法，其特征在于，所述的深度卷积神经网络模型各个层次的参数以学习的方式确定，包括：
A、准备用于训练的图像：以人工方式标注图像中的道线区域，沿垂直方向等间隔地布置水平直线，若某条水平直线与道线区域的左右边界都存在交点，且两个交点之间线段长度为D，线段中点坐标为(x,y)，则以该中点为中心，取宽和高分别为w＝αD和h＝βD的矩形作为一个道线块的边界框，记作(x,y,w,h)，其中α和β为两个预设的常数；
B、为训练图像准备预期的输出：每一个训练图像都对应一个预期的特征图
Figure FDA0004135434850000041
若训练图像的宽和高分别为W和H，则特征图的宽和高分别为：
Figure FDA0004135434850000042
通道数为5NT，其中NT为预设的检测框数目，若图像中与锚点(m,n)对应的位置，存在标注的道线边界框与第i个预设检测框的交并比大于一个预设的阈值，则置特征图
Figure FDA0004135434850000043
第i个通道(m,n)位置的值
Figure FDA0004135434850000044
其中所述交并比按下式计算：
Figure FDA0004135434850000045
其中P和Q分别为标注和预设的边界框，P∩Q表示两个区域的交集，P∪Q为并集；相应地，计算
Figure FDA0004135434850000046
和
Figure FDA0004135434850000047
的值分别为该锚点预设检测框与所述标注的道线边界框之间X方向和Y方向的偏移，
Figure FDA0004135434850000048
的值为该锚点预设检测框与所标注的道线边界框宽度的比值，
Figure FDA0004135434850000049
的值为该锚点预设检测框与所标注的道线边界框高度的比值；若图像中与锚点(m,n)对应的位置，所有的预设检测框都不存在交并比大于预设阈值的标注道线边界框，则置
Figure FDA00041354348500000410
特征图
Figure FDA00041354348500000411
通道NT+1至通道5NT在(m,n)位置的值都置成0；
C、训练：每幅训练图像输入到深度卷积神经将产生相应的输出特征图F，计算置信度误差损失和位置误差损失，其中置信度误差损失函数按下式计算：
Figure FDA00041354348500000412
其中(i,j)代表特征图F前NT个通道的所有坐标位置；设p为任意被预测为包含道线块的锚点，且预测的位置参数为
Figure FDA00041354348500000413
其中
Figure FDA00041354348500000414
和
Figure FDA00041354348500000415
分别代表预测的X坐标、Y坐标、宽度和高度，实际标注的位置参数为
Figure FDA00041354348500000416
其中
Figure FDA00041354348500000417
和
Figure FDA00041354348500000418
代表标注的X坐标、Y坐标、宽度和高度，则位置误差损失函数按下式计算：
Figure FDA0004135434850000051
其中smoothL1函数按下式计算：
Figure FDA0004135434850000052
计算总损失函数为置信度误差损失与位置误差损失的加权和：
Figure FDA0004135434850000053
其中N是标注为正样本的锚点数量，η是一个预设的常数；
批量加载训练图像，以最小化所有训练样本的损失函数累加和为目标，以随机梯度下降优化算法更新网络参数。
CN202011471660.XA 2020-12-14 2020-12-14 基于深度卷积神经网络的视频图像道线检测方法 Active CN112446353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011471660.XA CN112446353B (zh) 2020-12-14 2020-12-14 基于深度卷积神经网络的视频图像道线检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011471660.XA CN112446353B (zh) 2020-12-14 2020-12-14 基于深度卷积神经网络的视频图像道线检测方法

Publications (2)

Publication Number Publication Date
CN112446353A CN112446353A (zh) 2021-03-05
CN112446353B true CN112446353B (zh) 2023-05-02

Family

ID=74739940

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011471660.XA Active CN112446353B (zh) 2020-12-14 2020-12-14 基于深度卷积神经网络的视频图像道线检测方法

Country Status (1)

Country Link
CN (1) CN112446353B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298810B (zh) * 2021-06-28 2023-12-26 浙江工商大学 结合图像增强和深度卷积神经网络的道线检测方法
CN115511124B (zh) * 2022-09-27 2023-04-18 上海网商电子商务有限公司 一种基于售后维修记录的客户分级方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133960A (zh) * 2017-04-21 2017-09-05 武汉大学 基于深度卷积神经网络的图像裂缝分割方法
CN108830182A (zh) * 2018-05-28 2018-11-16 浙江工商大学 一种基于级联卷积神经网络的道线检测方法
CN110490205A (zh) * 2019-07-23 2019-11-22 浙江科技学院 基于全残差空洞卷积神经网络的道路场景语义分割方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133960A (zh) * 2017-04-21 2017-09-05 武汉大学 基于深度卷积神经网络的图像裂缝分割方法
CN108830182A (zh) * 2018-05-28 2018-11-16 浙江工商大学 一种基于级联卷积神经网络的道线检测方法
CN110490205A (zh) * 2019-07-23 2019-11-22 浙江科技学院 基于全残差空洞卷积神经网络的道路场景语义分割方法
CN111242037A (zh) * 2020-01-15 2020-06-05 华南理工大学 基于结构信息的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yan Tian等.Lane marking detection via deep convolutional neural network.《IEEE》.2021,第1-10页. *

Also Published As

Publication number Publication date
CN112446353A (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN109829398B (zh) 一种基于三维卷积网络的视频中的目标检测方法
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
CN108256431B (zh) 一种手部位置标识方法及装置
CN109035292B (zh) 基于深度学习的运动目标检测方法及装置
CN111539428A (zh) 基于多尺度特征整合和注意力机制的旋转目标检测方法
CN112446353B (zh) 基于深度卷积神经网络的视频图像道线检测方法
CN112991447A (zh) 一种动态环境下视觉定位与静态地图构建方法及系统
CN111627050B (zh) 一种目标跟踪模型的训练方法和装置
CN112884816B (zh) 一种基于图像系统的车辆特征深度学习识别轨迹跟踪方法
CN111126359A (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN111640136B (zh) 一种复杂环境中的深度目标跟踪方法
CN111581313A (zh) 一种基于实例分割的语义slam鲁棒性改进方法
CN110910421A (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
CN115375917B (zh) 一种目标边缘特征提取方法、装置、终端及存储介质
CN111914756A (zh) 一种视频数据处理方法和装置
CN110706256A (zh) 一种基于多核异构平台的检测跟踪算法优化方法
CN113838058A (zh) 一种基于小样本分割的医学图像自动标注方法及系统
CN110176022B (zh) 一种基于视频检测的隧道全景监控系统及方法
CN113092807A (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN112700469A (zh) 一种基于eco算法和目标检测的视觉目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant