CN112861700B - 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 - Google Patents

基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 Download PDF

Info

Publication number
CN112861700B
CN112861700B CN202110151705.3A CN202110151705A CN112861700B CN 112861700 B CN112861700 B CN 112861700B CN 202110151705 A CN202110151705 A CN 202110151705A CN 112861700 B CN112861700 B CN 112861700B
Authority
CN
China
Prior art keywords
lane line
lane
line network
image
identification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110151705.3A
Other languages
English (en)
Other versions
CN112861700A (zh
Inventor
滑海宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Renyizhi Electromechanical Technology Co ltd
Original Assignee
Xi'an Renyizhi Electromechanical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Renyizhi Electromechanical Technology Co ltd filed Critical Xi'an Renyizhi Electromechanical Technology Co ltd
Priority to CN202110151705.3A priority Critical patent/CN112861700B/zh
Publication of CN112861700A publication Critical patent/CN112861700A/zh
Application granted granted Critical
Publication of CN112861700B publication Critical patent/CN112861700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，本发明提出了一种基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法，主要解决事故发生时需要人工手动去现场标定物理距离，且在事故发生的周围需要有固定的摄像头提供视频录像；实现步骤为：获取训练样本集；构建基于DeepLabv3+的车道线网络识别模型B；对基于DeepLabv3+的车道线网络识别模型B进行迭代训练；获取车辆速度的检测结果：相邻两幅视频帧图像中坐标距离得到车辆行驶的实际距离，由视频帧率得到行驶过程的时间，计算得到速度；本发明为事故发生现场提供了人工干预少、自动高效的速度检测方法。

Description

基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测 方法
技术领域
本发明属于图像处理技术领域，涉及一种车辆速度检测方法，具体涉及一种基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法，可用于事故发生现场的交通管理等领域。
技术背景
目前常见的车速测量方式包括雷达、激光等。其中，雷达测速是利用电磁波探测来实现测速，该方法具有技术成熟、价格低的优势，但在测量中容易产生干扰；激光测速是通过测量红外线光波在Ladar设备与目标之间的传送时间来决定，该方法具有测量速度快、测速准确度高等优点，但是激光测速产品价格高。
车辆在行驶过程中发生交通事故，排查车辆是否超速成为首要的责任判断依据，而衡量行驶中车辆是否超速的唯一指标就是速度信息，因此得到发生交通事故时的车辆行驶速度成为当前迫切需要解决的问题。
在发生交通事故时，传统的基于视频的车辆测速方法一般通过设置虚拟线圈，捕获车辆经过时间差，通过标定物理距离，实现速度计算。这种方法在每次发生事故时需要人工手动去现场标定物理距离，且在相机移动后需要重新标定参数，测速相对较为复杂，在事故发生的周围需要有固定的摄像头提供视频录像。
Deeplab是一个语义分割网络，将输入图像中的每个像素分配一个语义类别，以得到像素化的密集分类，完成对图像中各个像素点分类。Deeplabv3网络中的编码模块采用ResNet作为主干网络，然后级联了一个空洞空间金字塔池化模块ASPP，使用不同膨胀率的空洞卷积保证了分辨率和大的感受野。
现有的基于视频的车辆速度检测的方法，多数需要人工手动去现场标定物理距离，且在事故发生的周围需要有固定的摄像头提供视频录像，例如，申请公布号为CN111753797A，名称为“一种基于视频分析的车辆测速方法”的专利申请，实现步骤为：搭建摄像机于道路上方，摄像机安装高度为Hc，摄像机光心与竖直线夹角为θ，在车辆测速区域标定测速起止线，摄像机近端标线距离为Hc*tanθ，车辆测速区域的长度为l；使用深度卷积神经网络对车辆测速区域进行车辆目标检测，判断车辆是否驶入车辆测速区域；车辆驶入检测区域后开始进行车辆跟踪检测，将检测到的目标初始化并创建新的跟踪器，标注每个检测目标的标识，记录目标所属类别C和当前的时间ts，记录目标车辆的起始中心点(xs,ys)以及包围框的长宽值(ls,ws)；并获取车辆的实时定位；车辆驶出车辆测速区域，记录当前的时间te，记录目标车辆的最终中心点(xe,ye)以及当前包围框的长宽值(le,we)；计算出目标车辆的时间差Δt＝te-ts，中心点偏移量Δx＝xe-xs,Δy＝ye-ys，长度和宽度偏移量分别为Δl＝le-ls,Δw＝we-ws；使用深度神经网络拟合车辆位移和车辆速度的非线性函数。该方法虽然利用深度学习中的卷积神经网络来实现对车辆的定位和跟踪，很大程度上可以提升基于视频测速的速度，但是需要人工现场标定车辆测速区域，且在事故发生的周围需要有固定的摄像头提供视频录像，实用性较差。
发明内容
本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法，旨在保证检测准确率的前提下，提高检测效率。
为实现上述目的，本发明采取的技术方案包括如下步骤：
一种基于DeepLabv3+的车道线网络识别模型建立方法，包括如下步骤：
(1)获取训练样本集：
(1a)从车辆原始行车记录仪视频中提取N幅包含车道线的视频帧图像A＝{A1,A2,...,Ai,...,AN}，并对每幅图像Ai中的车道线进行标记，得到包含车道线标签的json图像集P＝{P1,P2,...,Pi,...,PN}，其中，N≥3000，Ai表示第i幅车道线视频帧图像，Pi表示Ai对应的包含车道线标签的json图像；
(1b)对包含车道线标签的json图像集P进行预处理，得到索引图像集L＝{L1,L2,...Li,...,LN}，并将L作为训练样本集，其中，Li表示Pi对应的不带调色板矩阵的8bit索引图像；
(4)构建基于DeepLabv3+的车道线网络识别模型B：
构建包含级联的编码模块E和解码模块D的DeepLabv3+的车道线网络识别模型B；编码模块E包括主干网络Xception及与其级联的空洞空间金字塔池化模块ASPP，ASPP模块包括级联的空洞卷积模块和平均池化层，空洞卷积模块包括空洞卷积率rate由小到大排列的三个空洞卷积层；解码模块D包括两个卷积层和两个四倍双线性插值上采样模块；
(5)对基于DeepLabv3+的车道线网络识别模型B进行迭代训练，训练过程中采用交叉熵损失函数作为损失函数，获得训练好的车道线网络识别模型B′。
进一步的，步骤(1b)中所述的对每个包含车道线标签的json图像Pi进行预处理，实现步骤为：
利用labelme软件自带的json_to_dataset代码对每个包含车道线标签的json图像Pi中的json文件进行转换，得到包含车道线信息且带有调色板矩阵的24bit索引图，并通过Python代码将24bit索引图转化成不带调色板矩阵的8bit索引图。
进一步的，步骤(2)中所述的空洞卷积率rate由小到大排列的三个空洞卷积层，rate值分别为6、12和18。
进一步的，步骤(3)包括如下子步骤：
(3a)将训练样本集L＝{L1,L2,...Li,...,LN}转化为tensorflow框架中的tfrecord标准格式的训练样本集
(3b)初始化迭代次数为y，最大迭代次数为Y，Y≥500，第y次迭代的车道线网络识别模型为By，并令y＝0，B＝By；
(3c)将Laa作为车道线网络识别模型By的输入进行前向推进，主干网络Xception对进行特征提取，得到输出步长OS＝4的特征图/>和OS＝16的特征图/>空洞空间金字塔池化模块ASPP中的空洞卷积模块对特征图/>进行空洞卷积后，平均池化层对空洞卷积后的图像进行平均池化，得到输出步长的OS＝16多尺度卷积特征图/>
(3d)解码模块D对每幅多尺度卷积特征图进行四倍双线性插值上采样，得到输出步长OS＝4的特征图/>并将/>与步骤(3c)获取的/>进行堆叠，得到输出步长OS＝4的特征图/>然后对/>进行四倍双线性插值上采样，得到每个像素都代表类概率的图像集合其中，/>表示与/>对应的每个像素都代表类概率且与/>大小相同的图像；
(3e)采用交叉熵损失函数L(pm)，并通过与/>计算车道线网络识别模型By的交叉熵损失值Losss，然后采用梯度下降法，并通过Losss对车道线网络识别模型By的权值进行更新，得到第y次迭代后的车道线网络识别模型By；
(3f)判断y＝Y是否成立，若是，得到训练好的车道线网络识别模型B′，否则，令y＝y+1，并执行步骤(3c)。
更进一步的，步骤(3c)中所述的编码模块E中的空洞空间金字塔池化模块ASPP对特征图进行空洞卷积，空洞卷积的公式为：
其中，y为输出的图像特征，s为图像中每个像素的位置，w代表空洞卷积的卷积核大小，k为卷积核个数，x表示网络中的特征图像，r是空洞卷积率rate，表示对k个不同的卷积核求和。
更进一步的，步骤(3b)中所述的交叉熵损失函数L(pm)，其表达式为：
其中，pm表示第m幅带有标签的图像，表示对应于pm预测后的带标签的图像。
一种基于DeepLabv3+的车辆速度检测方法，包括如下步骤：
步骤一：获取包含车道线的视频并进行分帧，得到包含车道线的视频帧图像集合C＝{C1,C2,...,Cq,...,Cn}，其中Cq表示第q幅包含车道线的视频帧图像，n表示视频帧图像的个数，n≥100；
步骤二：将步骤一获得的每幅视频帧图像Cq作为如权利要求1-6中任一种基于DeepLabv3+的车道线网络识别模型建立方法得到的训练好的车道线网络识别模型B′的输入进行逐像素对比，得到标记有车道线的视频帧图像集合并对/>进行二值化处理，得到标记有车道线的黑白视频帧图像集合/>其中/>表示Cq对应的标记有车道线的视频帧图像，/>表示/>对应的标记有车道线的黑白视频帧图像；
步骤三：对进行遍历，得到车头与靠近车头的车道线短边位置最重合的图像并分别对视频帧图像/>和/>中的车道线进行边缘检测，得到/>中车道线轮廓每个点和/>中车道线轮廓每个点的坐标值，其中/>表示/>的后一帧图像；
步骤四：根据中车道线两条短边对应位置的坐标值计算/>中车道线两条短边线之间的距离w1，同时根据/>和/>中远离车头的车道线短边的坐标值，计算/>与/>之间坐标变化的距离w2；
步骤五：根据w1、w2以及车道线的实际距离l1，计算与/>之间变化的实际距离l2，根据待测速车辆行车记录仪中视频的帧速率vz、/>与/>之间帧数sz，计算/>与/>之间的时间tz；
步骤六：根据l2和tz，计算待测速车辆在与/>之间的行驶速度v，作为待测速车辆速度的检测结果。
进一步的，步骤四中所述的计算与/>之间变化的实际距离l2，计算公式为：
进一步的，步骤五中所述的计算待测速车辆在与/>之间的行驶速度v，计算公式为：
本发明与现有技术相比具有以下技术特点：
(1)本发明使用训练好的车道线网络识别模型B′完成对车道线的识别，在交通事故发生现场通过对待测速车辆行车记录仪中提取的包含车道线的视频进行分帧，遍历视频图像帧得到车头与靠近车头的车道线短边位置重合的图像，通过两幅视频帧图像之间的坐标变化以及车道线的实际距离，得到两幅视频帧图像之间变化的实际距离，采用这种方法无需人工手动现场标定实际距离，且使用训练好的车道线网络识别模型B′识别车道线准确率高，速度快，减少了等待时间。
(2)本发明采用对Deeplabv3改进后的DeepLabv3+作为训练车道线网络识别模型B′的网络，该网络采用改进后的Xception作为主干网络而且在空洞空间金字塔池化模块ASPP和解码模块D中使用深度可分离卷积，提高编码器-解码器网络的运行速率和健壮性，使训练车道线网络识别模型B′时参数变少，有效提高了训练模型的速度。
(3)本发明使用的是每辆车都装备好的行车记录仪上的视频完成对视频帧图像的提取，这样可以保证即使在未安装摄像头的区域发生交通事故时，也能够快速清楚的知道该车辆的行驶速度从而判断该车辆在行驶过程中是否存在超速问题，有效提高了视频测速的实用性。
附图说明
图1是本发明的实现流程图；
图2是本发明中对含有车道线的视频帧图像遍历后得到车头与靠近车头的车道线短边位置重合的图像。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步详细描述。
参照图1，本发明的模型建立方法包括如下步骤：
步骤1)获取训练样本集：
从车辆原始行车记录仪视频中提取1000幅包含车道线的视频帧图像A＝{A1,A2,...,Ai,...,A1000}，并使用标签标注软件labelme中的矩形框对每幅图像Ai中的车道线进行标记，得到包含车道线标签的json文件的图像集P＝{P1,P2,...,Pi,...,P1000}，标记完成保存后软件会自动生成json文件。利用labelme软件中自带的图像格式转换json_to_dataset代码对每幅包含车道线标签的json文件的图像Pi进行格式转换，得到包含车道线信息且带有调色板矩阵的24bit索引图，并通过编写Python代码将24bit索引图转化成不带调色板矩阵的8bit索引图，得到索引图像集L＝{L1,L2,...Li,...,L1000}，并将L作为训练样本集。Ai表示第i幅车道线视频帧图像，Pi表示Ai对应的包含车道线标签的json图像，Li表示Pi对应的不带调色板矩阵的8bit索引图像；
步骤2)构建基于DeepLabv3+的车道线网络识别模型B：
构建包含级联的逐步减少特征图并提取更高语义信息的编码模块E和逐步恢复空间信息的解码模块D的DeepLabv3+的车道线网络识别模型B；编码模块E包括主干网络Xception及与其级联的空洞空间金字塔池化模块ASPP，ASPP模块包括级联的空洞卷积模块和平均池化层，空洞卷积模块包括空洞卷积率rate由小到大排列分别为6、12和18三个空洞卷积层卷积层的卷积核大小为3*3，卷积核步长为1；解码模块D包括两个卷积层，卷积核大小分别为3*3和1*1，卷积核步长为1和两个四倍双线性插值上采样模块；
目前在地理信息系统领域中可以通过使用DeepLabv3+网络训练神经网络让机器输入卫星遥感影像，自动识别道路，河流，庄稼，建筑物等，并且对图像中每个像素进行标注，预测准确率也比较高。在本发明中采用Deeplabv3+完成对行车记录仪中提取的视频帧图像中的车道线的训练，有效提升了基于视频的车辆速度检测的效果，减少了人工的干预，也增加了基于视频测速的实用性。
步骤3)对基于DeepLabv3+的车道线网络识别模型B进行迭代训练：
(3a)将训练样本集L＝{L1,L2,...Li,...,LN}转化为适用于deeplabv3+网络训练的tensorflow框架中采用的二进制数据编码且只占用一个内存块的tfrecord标准格式的训练样本集这种数据格式只需进行一次读取，使网络的处理效率大幅提升；
(3b)初始化迭代次数为y，最大迭代次数为500，第y次迭代的车道线网络识别模型为By，并令y＝0，B＝By；
(3c)将Laa作为车道线网络识别模型By的输入进行前向推进，主干网络Xception对进行特征提取，得到输入图像和输出图像空间分辨率之比为输出步长OS＝4的特征图/>和OS＝16的特征图/>空洞空间金字塔池化模块ASPP中的空洞卷积模块对特征图/>进行空洞卷积后，其表达式为：
其中，y(s)为输出的图像特征，s为图像中每个像素的位置，w代表空洞卷积的卷积核大小，k为卷积核个数，x表示网络中的特征图像，r是空洞卷积率rate，表示对k个不同的卷积核求和；
并使用平均池化层对空洞卷积后的图像进行平均池化，得到输出步长的OS＝16多尺度卷积特征图
(3d)解码模块D对每幅多尺度卷积特征图进行四倍双线性插值上采样，得到输出步长OS＝4的特征图/>并将/>与步骤(3c)获取的/>进行堆叠，得到输出步长OS＝4的特征图/>然后对/>进行四倍双线性插值上采样，得到每个像素都代表类概率的图像集合其中，/>表示与/>对应的每个像素都代表类概率且与/>大小相同的图像；
(3e)采用交叉熵损失函数L(pm)，计算与/>计算车道线网络识别模型By的交叉熵损失值Losss，其表达式为：
其中，pm表示第m幅带有标签的图像，表示对应于pm预测后的带标签的图像。
采用梯度下降法，并通过Losss对车道线网络识别模型By的权值进行更新，得到第y次迭代后的车道线网络识别模型By；
(3f)判断y＝Y是否成立，若是，得到训练好的车道线网络识别模型B′，否则，令y＝y+1，并执行步骤(3c)；
本发明的速度检测方法包括如下步骤：
对从待测速车辆行车记录仪中提取的包含车道线的视频进行分帧，得到包含车道线的视频帧图像集合C＝{C1,C2,...,Cq,...,C100}，将其作为训练好的车道线网络识别模型B′的输入进行逐像素对比，得到标记有车道线的视频帧图像集合并对/>进行二值化处理，车道线中的对应位置像素为255，否则为0，得到标记有车道线的黑白视频帧图像集合/>其中，Cq表示第q幅包含车道线的视频帧图像，/>表示Cq对应的标记有车道线的视频帧图像，/>表示/>对应的标记有车道线的黑白视频帧图像；
对进行遍历，得到车头与靠近车头的车道线短边位置最重合的图像/>如图2(a)中与车头垂直的过点u的平行线，并采用opencv轮廓获取函数findcounters分别对视频帧图像/>和/>中的车道线进行边缘检测，/>表示/>的后一帧图像，得到/>中车道线轮廓每个点和/>中车道线轮廓每个点的坐标值；根据/>中车道线两条短边对应位置的坐标值计算/>中车道线两条短边线之间的距离w1，同时根据/>和/>中远离车头车道线短边的坐标值如图2(a)中与车头垂直的过点h的平行线的和图2(b)中与车头垂直的过点H的平行线，计算/>与/>之间坐标变化的距离w2，根据w1、w2以及车道线的实际距离l1(即车道线标准长度)，计算/>与/>之间变化的实际距离l2，计算公式为：
这样在交通事故发生时可以通过对行车记录仪中的视频进行分帧，采用遍历视频图像帧得到车头与靠近车头的车道线短边位置重合的图像，通过两幅视频帧图像之间的坐标变化以及车道线的实际距离，无需人工手动现场标定距离，便可得到两幅视频帧图像之间变化的实际距离l2，减少了等待时间，有效提高了计算车辆的行驶速度的效率。根据待测速车辆行车记录仪中视频的帧速率vz、与/>之间帧数sz，由帧数与帧速率的比值计算与/>之间的时间tz；
根据l2和tz，计算待测速车辆在与/>之间的行驶速度v，计算公式为：
v作为待测速车辆速度的检测结果。

Claims (9)

1.基于DeepLabv3+的车道线网络识别模型建立方法，其特征在于，包括如下步骤：
(1)获取训练样本集：
(1a)从车辆原始行车记录仪视频中提取N幅包含车道线的视频帧图像A＝{A1,A2,...,Ai,...,AN}，并对每幅图像Ai中的车道线进行标记，得到包含车道线标签的json图像集P＝{P1,P2,...,Pi,...,PN}，其中，N≥3000，Ai表示第i幅车道线视频帧图像，Pi表示Ai对应的包含车道线标签的json图像；
(1b)对包含车道线标签的json图像集P进行预处理，得到索引图像集L＝{L1,L2,...Li,...,LN}，并将L作为训练样本集，其中，Li表示Pi对应的不带调色板矩阵的8bit索引图像；
(2)构建基于DeepLabv3+的车道线网络识别模型B：
构建包含级联的编码模块E和解码模块D的DeepLabv3+的车道线网络识别模型B；编码模块E包括主干网络Xception及与其级联的空洞空间金字塔池化模块ASPP，ASPP模块包括级联的空洞卷积模块和平均池化层，空洞卷积模块包括空洞卷积率rate由小到大排列的三个空洞卷积层；解码模块D包括两个卷积层和两个四倍双线性插值上采样模块；
(3)对基于DeepLabv3+的车道线网络识别模型B进行迭代训练，训练过程中采用交叉熵损失函数作为损失函数，获得训练好的车道线网络识别模型B′。
2.根据权利要求1所述的基于DeepLabv3+的车道线网络识别模型建立方法，其特征在于，步骤(1b)中所述的对每个包含车道线标签的json图像Pi进行预处理，实现步骤为：
利用labelme软件自带的json_to_dataset代码对每个包含车道线标签的json图像Pi中的json文件进行转换，得到包含车道线信息且带有调色板矩阵的24bit索引图，并通过Python代码将24bit索引图转化成不带调色板矩阵的8bit索引图。
3.根据权利要求1所述的基于DeepLabv3+的车道线网络识别模型建立方法，其特征在于，步骤(2)中所述的空洞卷积率rate由小到大排列的三个空洞卷积层，rate值分别为6、12和18。
4.根据权利要求1所述的基于DeepLabv3+的车道线网络识别模型建立方法，其特征在于，步骤(3)包括如下子步骤：
(3a)将训练样本集L＝{L1,L2,...Li,...,LN}转化为tensorflow框架中的tfrecord标准格式的训练样本集
(3b)初始化迭代次数为y，最大迭代次数为Y，Y≥500，第y次迭代的车道线网络识别模型为By，并令y＝0，B＝By；
(3c)将Laa作为车道线网络识别模型By的输入进行前向推进，主干网络Xception对进行特征提取，得到输出步长OS＝4的特征图/>和OS＝16的特征图/>空洞空间金字塔池化模块ASPP中的空洞卷积模块对特征图/>进行空洞卷积后，平均池化层对空洞卷积后的图像进行平均池化，得到输出步长的OS＝16多尺度卷积特征图/>
(3d)解码模块D对每幅多尺度卷积特征图进行四倍双线性插值上采样，得到输出步长OS＝4的特征图/>并将/>与步骤(3c)获取的/>进行堆叠，得到输出步长OS＝4的特征图/>然后对/>进行四倍双线性插值上采样，得到每个像素都代表类概率的图像集合其中，/>表示与/>对应的每个像素都代表类概率且与/>大小相同的图像；
(3e)采用交叉熵损失函数L(pm)，并通过与/>计算车道线网络识别模型By的交叉熵损失值Losss，然后采用梯度下降法，并通过Losss对车道线网络识别模型By的权值进行更新，得到第y次迭代后的车道线网络识别模型By；
(3f)判断y＝Y是否成立，若是，得到训练好的车道线网络识别模型B′，否则，令y＝y+1，并执行步骤(3c)。
5.根据权利要求4所述的基于DeepLabv3+的车道线网络识别模型建立方法，其特征在于，步骤(3c)中所述的编码模块E中的空洞空间金字塔池化模块ASPP对特征图进行空洞卷积，空洞卷积的公式为：
其中，y为输出的图像特征，s为图像中每个像素的位置，w代表空洞卷积的卷积核大小，k为卷积核个数，x表示网络中的特征图像，r是空洞卷积率rate，表示对k个不同的卷积核求和。
6.根据权利要求4所述的基于DeepLabv3+的车道线网络识别模型建立方法，其特征在于，步骤(3b)中所述的交叉熵损失函数L(pm)，其表达式为：
其中，pm表示第m幅带有标签的图像，表示对应于pm预测后的带标签的图像。
7.基于DeepLabv3+的车辆速度检测方法，其特征在于，包括如下步骤：
步骤一：获取包含车道线的视频并进行分帧，得到包含车道线的视频帧图像集合C＝{C1,C2,...,Cq,...,Cn}，其中Cq表示第q幅包含车道线的视频帧图像，n表示视频帧图像的个数，n≥100；
步骤二：将步骤一获得的每幅视频帧图像Cq作为如权利要求1-6中任一种基于DeepLabv3+的车道线网络识别模型建立方法得到的训练好的车道线网络识别模型B′的输入进行逐像素对比，得到标记有车道线的视频帧图像集合并对/>进行二值化处理，得到标记有车道线的黑白视频帧图像集合/>其中/>表示Cq对应的标记有车道线的视频帧图像，/>表示/>对应的标记有车道线的黑白视频帧图像；
步骤三：对进行遍历，得到车头与靠近车头的车道线短边位置最重合的图像/>并分别对视频帧图像/>和/>中的车道线进行边缘检测，得到/>中车道线轮廓每个点和/>中车道线轮廓每个点的坐标值，其中/>表示/>的后一帧图像；
步骤四：根据中车道线两条短边对应位置的坐标值计算/>中车道线两条短边线之间的距离w1，同时根据/>和/>中远离车头的车道线短边的坐标值，计算/>与/>之间坐标变化的距离w2；
步骤五：根据w1、w2以及车道线的实际距离l1，计算与/>之间变化的实际距离l2，根据待测速车辆行车记录仪中视频的帧速率vz、/>与/>之间帧数sz，计算/>与/>之间的时间tz；
步骤六：根据l2和tz，计算待测速车辆在与/>之间的行驶速度v，作为待测速车辆速度的检测结果。
8.根据权利要求7所述的基于DeepLabv3+的车辆速度检测方法，其特征在于，步骤四中所述的计算与/>之间变化的实际距离l2，计算公式为：
9.根据权利要求7所述的基于DeepLabv3+的车辆速度检测方法，其特征在于，步骤五中所述的计算待测速车辆在与/>之间的行驶速度v，计算公式为：
CN202110151705.3A 2021-02-03 2021-02-03 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法 Active CN112861700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110151705.3A CN112861700B (zh) 2021-02-03 2021-02-03 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110151705.3A CN112861700B (zh) 2021-02-03 2021-02-03 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法

Publications (2)

Publication Number Publication Date
CN112861700A CN112861700A (zh) 2021-05-28
CN112861700B true CN112861700B (zh) 2023-11-03

Family

ID=75986549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110151705.3A Active CN112861700B (zh) 2021-02-03 2021-02-03 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法

Country Status (1)

Country Link
CN (1) CN112861700B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113433339B (zh) * 2021-06-17 2023-09-08 武汉唯理科技有限公司 一种基于双摄像机的测速方法、系统、计算机设备及可读介质
CN113298050B (zh) * 2021-07-21 2021-11-19 智道网联科技(北京)有限公司 车道线识别模型训练方法、装置及车道线识别方法、装置
CN114202733A (zh) * 2022-02-18 2022-03-18 青岛海信网络科技股份有限公司 一种基于视频的交通故障检测方法及设备
JP7411771B1 (ja) 2022-12-01 2024-01-11 セイコーソリューションズ株式会社 車両速度検出装置、車両速度検出方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414387A (zh) * 2019-07-12 2019-11-05 武汉理工大学 一种基于道路分割的车道线多任务学习检测方法
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110414387A (zh) * 2019-07-12 2019-11-05 武汉理工大学 一种基于道路分割的车道线多任务学习检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于全卷积神经网络的车道线检测;王帅帅;刘建国;纪郭;;数字制造科学(第02期);全文 *
基于量子索引图像的SoC信息隐藏技术;王兵;郝梦奇;李盼池;肖红;;信号处理(第08期);全文 *

Also Published As

Publication number Publication date
CN112861700A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112861700B (zh) 基于DeepLabv3+的车道线网络识别模型建立及车辆速度检测方法
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN110516633B (zh) 一种基于深度学习的车道线检测方法及系统
CN110689724B (zh) 一种基于深度学习的机动车斑马线礼让行人自动审核方法
CN114359181B (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN114155527A (zh) 一种场景文本识别方法和装置
CN114170580A (zh) 一种面向高速公路的异常事件检测方法
CN111414861A (zh) 基于深度学习实现行人及非机动车辆检测处理的方法
CN113888754B (zh) 一种基于雷达视觉融合的车辆多属性识别方法
CN113723377A (zh) 一种基于ld-ssd网络的交通标志检测方法
CN112712052A (zh) 一种机场全景视频中微弱目标的检测识别方法
CN112084928A (zh) 基于视觉注意力机制和ConvLSTM网络的道路交通事故检测方法
CN112686261A (zh) 一种基于改进U-Net的葡萄根系图像分割方法
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN114218999A (zh) 一种基于融合图像特征的毫米波雷达目标检测方法及系统
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及系统
CN116434056A (zh) 一种基于雷视融合的目标识别方法、系统及电子设备
CN114821498A (zh) 一种基于深度学习的激光点云目标检测识别装置及方法
CN116189136A (zh) 一种基于深度学习的雨雪天气下交通信号灯检测方法
CN112036246B (zh) 遥感影像分类模型的构建方法，遥感影像分类方法及系统
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法
CN115527128A (zh) 基于语义分割的航拍图像快速定位方法
CN115294551A (zh) 基于语义分割的可行驶区域和车道线检测模型构建方法
CN110874598B (zh) 一种基于深度学习的高速公路水痕检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant