CN109389102A - 基于深度学习的车道线检测方法及其应用的系统 - Google Patents

基于深度学习的车道线检测方法及其应用的系统 Download PDF

Info

Publication number
CN109389102A
CN109389102A CN201811413015.5A CN201811413015A CN109389102A CN 109389102 A CN109389102 A CN 109389102A CN 201811413015 A CN201811413015 A CN 201811413015A CN 109389102 A CN109389102 A CN 109389102A
Authority
CN
China
Prior art keywords
module
neural network
image
training
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811413015.5A
Other languages
English (en)
Inventor
卫星
杨国强
乔轩元
韩江洪
段章领
陆阳
魏振春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201811413015.5A priority Critical patent/CN109389102A/zh
Publication of CN109389102A publication Critical patent/CN109389102A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度学习的车道线检测方法及其应用的系统，包括：获取车道线图像；预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本；使用训练样本训练出预设分层类型的神经网络；输入测试样本至神经网络，并使用神经网络测试测试样本，获取车道线测试结果。本发明解决了现有技术中的基于深度学习的车道线检测技术存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低的技术问题。

Description

基于深度学习的车道线检测方法及其应用的系统
技术领域
本发明涉及一种图像检测方法，特别是涉及一种基于深度学习的车道线检测方法及其应用的系统。
背景技术
当前正处于第四次科技革命的时代浪潮中，深度学习，人工智能极大促进了自动驾驶领域的发展。高级辅助驾驶是利用安装于车上的各式各样的传感器，在第一时间收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪等技术上的处理，从而能够让驾驶者在最快的时间察觉可能发生的危险，以引起注意和提高安全性的主动安全技术。基于深度学习的车道线检测是从给定的车道线图像中检测出相对应的车道线，从而提示驾驶员当前汽车的保持情况，有利于提高驾驶员警觉性，提高驾驶员的安全驾驶水平。基于深度学习的车道线检测作为高级辅助驾驶一个的领域，近年来始终为广大科研工作者所热捧的方向。传统的基于深度学习的车道线检测方法需要手工提取特、算法复杂性高、缺乏鲁棒性和灵活性差，不适宜运用于高级辅助驾驶系统等对实时检测效果要求比较高的的环境，而传统的实语义分割，是对各个像素进行分类，没有充分考虑到像素与像素之间的关系，忽略了在通常的基于像素分类的分割方法中使用的空间规整步骤。
综上所述，传统技术中的基于深度学习的车道线检测方法存在依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题。
发明内容
鉴于以上现有技术中的基于深度学习的车道线检测方法存在依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，本发明的目的在于提供一种基于深度学习的车道线检测方法及其应用的系统，解决传统技术中的基于深度学习的车道线检测方法存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，一种基于深度学习的车道线检测方法，包括：获取车道线图像；预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本；使用训练样本训练出预设分层类型的神经网络；输入测试样本至神经网络，并使用神经网络测试测试样本，获取车道线测试结果。
于本发明的一实施方式中，获取车道线图像的步骤，包括：采集场景车道线视频流数据；根据预设参数提取车道线视频流数据中的帧提取数据；从帧提取数据中获取车道线图像。
于本发明的一实施方式中，预处理的步骤，包括：筛选车道线图像得合格图像；增益处理合格图像得预处理图像；对预处理图像进行分图层标注，获取并保存标记图像。
于本发明的一实施方式中，训练神经网络的步骤，包括：选取神经网络的分层类型，并选取预设层数的扩张卷积搭建神经网络；根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：
其中Ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k 列，Xi、j、k为张量X的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数；根据如下公式调整神经网络的学习率LR：
其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；输入训练样本，经过神经网络中逐层传播得输出值；使用如下公式计算神经网络的的输出值与目标值之间的误差：
loss(xi，xlabel)＝-ωi[xlabellog xi+(1-xlabel)log(1-xi)]
其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重；判断误差是否大于预设期望值；若是，则使用神经网络计算误差梯度；若否，则固定神经网络参数，结束训练；若误差不在预设允许区间内，则根据误差更新权值，循环前述训练步骤。
于本发明的一实施方式中，使用神经网络测试测试样本的步骤，包括：获取当前的神经网络；调取测试样本；将测试样本输入至神经网络进行测试，获取测试结果并保存。
于本发明的一实施方式中，一种基于深度学习的车道线检测系统，包括：图像获取模块，用于获取车道线图像；图像样本模块，用于预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本，图像样本模块与图像获取模块连接；深度学习训练模块，用于使用训练样本训练出预设分层类型的神经网络，深度学习训练模块与图像样本模块连接；车道线检测模块，用于输入测试样本至神经网络，并使用神经网络测试测试样本，获取车道线测试结果，车道线检测模块与深度学习训练模块连接。
于本发明的一实施方式中，图像获取模块，包括：视频流采集模块，用于采集场景车道线视频流数据；帧提取模块，用于根据预设参数提取车道线视频流数据中的帧提取数据，帧提取模块与视频流采集模块连接；图像提取模块，用于从帧提取数据中获取车道线图像，图像提取模块与帧提取模块连接。
于本发明的一实施方式中，图像样本模块，包括：图像筛选模块，用于筛选车道线图像得合格图像；图像优化模块，用于增益处理合格图像得预处理图像，图像优化模块与图像筛选模块连接；分层标注模块，用于对预处理图像进行分图层标注，获取并保存标记图像，分层标注模块与图像优化模块连接；样本分类模块，用于将标记图像分为训练样本和测试样本，样本分类模块与分层标注模块连接。
于本发明的一实施方式中，深度学习训练模块，包括：神经网络预设模块，用于选取神经网络的分层类型，并选取预设层数的扩张卷积；向前计算模块，用于根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：
其中Ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k 列，Xi、j、k为张量X的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数，向前计算模块与神经网络预设模块连接；学习率调整模块，用于根据如下公式调整神经网络的学习率LR：
其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度，学习率调整模块与神经网络预设模块连接；训练样本模块，用于输入训练样本，经过神经网络中逐层传播得输出值；误差计算模块，用于使用如下公式计算神经网络的的输出值与目标值之间的误差：
loss(xi，xlabel)＝-ωi[xlabellog xi+(1-xlabel)log(1-xi)]
其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重，误差计算模块与训练样本模块连接，误差计算模块与神经网络预设模块连接；误差判断模块，用于判断误差是否大于预设期望值，误差判断模块与误差计算模块连接；误差梯度模块，用于在误差大于预设期望值时，使用神经网络计算误差梯度，误差梯度模块与误差判断模块连接；参数调优完成模块，用于在误差不大于预设期望值时，固定神经网络参数，结束训练，参数调优完成模块与误差判断模块连接；训练调优循环模块，用于在误差不在预设允许区间内时，则根据误差更新权值，循环前述训练步骤，训练调优循环模块与误差计算模块连接。
与本发明的一实施方式中，车道线检测模块，包括：当前网络获取模块，用于获取当前的神经网络；测试样本模块，用于调取测试样本，测试样本模块与当前网络获取模块连接；测试结果模块，用于将测试样本输入至神经网络进行测试，获取测试结果并保存，测试结果模块与测试样本模块连接。
如上所述，通过本发明所提供的一种基于深度学习的车道线检测方法及其应用的系统，对于车道线特征的提取，直接采用基于深度学习的线检测模型，将大量图片输入网络进行训练得到检测模型，不需要手工提取复杂特征，检测效率高。本发明突破了传统手工制作的低级特征以及固定模型的约束，增强了针对恶劣条件下的检测能力，已经满足不了检测所需的实时性和精度要求，本发明提出的技术方案更加有利于复杂场景的灵活性和鲁棒性在卷积神经网络中充分利用了层间交流的信息，对车道线的分割更为细致。
综上，本发明提供一种基于深度学习的车道线检测方法及其应用的系统，解决了现有技术存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题。
附图说明
图1显示为本发明的基于深度学习的车道线检测方法步骤示意图。
图2显示为本发明的基于深度学习的车道线检测整体网络架构示意图。
图3显示为图1中步骤S1在一实施例中的具体流程图。
图4显示为图1中步骤S2在一实施例中的具体流程图。
图5显示为图1中步骤S3在一实施例中的具体流程图。
图6显示为图1中步骤S4在一实施例中的具体流程图。
图7显示为本发明的基于深度学习的车道线检测系统模块示意图。
图8显示为本发明的空间卷积神经网络示意图。
图9显示为图7中图像获取模块11在一实施例中的具体模块图。
图10显示为图7中图像获取模块12在一实施例中的具体模块图。
图11显示为图7中深度学习训练模块13在一实施例中的具体模块图。
图12显示为本发明的车道线卷积层整体示意图。
图13显示为图7中深度学习训练模块14在一实施例中的具体模块图。
图14显示为本发明的扩张卷积示意图。
图15显示为本申请实施例提供的电子设备的结构示意图。
元件标号说明
1 基于深度学习的车道线检测系统
11 图像获取模块
12 图像样本模块
13 深度学习训练模块
14 车道线检测模块
111 视频流采集模块
112 帧提取模块
113 图像提取模块
121 图像筛选模块
122 图像优化模块
123 分层标注模块
124 样本分类模块
131 神经网络预设模块
132 向前计算模块
133 学习率调整模块
134 训练样本模块
135 误差计算模块
136 误差判断模块
137 误差梯度模块
138 参数调优完成模块
139 训练调优循环模块
141 当前网络获取模块
142 测试样本模块
143 测试结果模块
110 电子设备
1101 处理器
1102 存储器
步骤标号说明
S1～S4 方法步骤
S11～S13 方法步骤
S21～S24 方法步骤
S31～S39 方法步骤
S41～S43 方法步骤
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
请参阅图1至图15，须知，本说明书所附图式所绘示的结构，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如”上”、”下”、”左”、”右”、”中间”及”一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
请参阅图1和图2，显示为本发明的基于深度学习的车道线检测方法步骤示意图和基于深度学习的车道线检测整体网络架构示意图，如图1和图2所示，本发明的目的在于提供一种基于深度学习的车道线检测方法及其应用的系统，解决传统技术中的基于深度学习的车道线检测方法存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，一种基于深度学习的车道线检测方法，包括：
S1、获取车道线图像，通过车载摄像头获取包含多条车道线的道路的视频数据，再以一定帧速率对提取视频帧，从而得到车道线的图像，之后对图像进行筛选，优化和标注；
S2、预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本，并将所得到的图像样本划分为训练集和测试集两部分：将训练样本用于改进的空间卷积神经网络训练，将测试样本输入空间卷积神经网络测试；
S3、使用训练样本训练出预设分层类型的神经网络，直接对卷积神经网络进行分割，将改进的空间卷积神经网络的训练参数作为初始化结果；
S4、输入测试样本至神经网络，并使用神经网络测试测试样本，以获取车道线测试结果，将测试样本输送到已训练的改进的空间卷积神经网络进行测试，实现基于深度学习的车道线检测结果的输出。
请参阅图3，显示为图1中步骤S1在一实施例中的具体流程图，如图3所示，步骤S1包括：
S11、采集场景车道线视频流数据，从车载摄像头获取包含车道线的视频流，可使用前向车载摄像头获取感光图像；
S12、根据预设参数提取车道线视频流数据中的帧提取数据，对视频流按照一定帧速率提取视频帧，从而获得大量车道线图像，从机动车车载摄像头捕获抓拍到的视频流，按照一定帧速率提取视频帧。数据集包含晴天，阴天，傍晚，夜晚，等不同光照强度的下的车道线图像。有利于增强网络的鲁棒性以及各种车道环境下的检测能力；
S13、从帧提取数据中获取车道线图像，车道线图像中包含检测过程中的原始输入图像，为测试样本和训练样本的数据源，初始的图像中除车道线外还包含其他背景图像等无关像素。
请参阅图4，显示为图1中步骤S2在一实施例中的具体流程图，如图4所示，步骤S2包括：
S21、筛选车道线图像得合格图像，去除无车道线、过度模糊、过度遮挡等不合格图像，图片分辨率大小统一处理为例如1280*720的大小；
S22、增益处理合格图像得预处理图像，对包含车道线图像较暗的图像增加图像对比度、图像亮度的操作，图像预处理主要采用边缘检测算法对车道边缘进行提取，常用的边缘检测算子有canny、sobel、laplace等；
S23、对预处理图像进行分图层标注，获取并保存标记图像，可选的，对预处理后的图像统一使用autoCAD进行标注，将不同车道线使用不同的图层进行表示，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图；
S24、将标记图像分为训练样本和测试样本，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图。
请参阅图5，显示为图1中步骤S3在一实施例中的具体流程图，如图5所示，步骤 S3包括：
S31、选取神经网络的分层类型，并选取预设层数的扩张卷积搭建所述神经网络，可选的，前述神经网络为空间卷积神经网络(ISCNN，Improved Spatial ConvolutionalNeural Network)，改进的空间卷积神经网络(ISCNN，Improved Spatial ConvolutionalNeural Network)(ISCNN，Improved Spatial Convolutional Neural Network)的预训练和改进的空间卷积神经网络(ISCNN，Improved Spatial Convolutional Neural Network)的参数调优两个步骤。训练过程中的样本来源于从车载摄像头获取的包含有车道线的图像，在卷积层适用区间内选取例如10层网络卷积神经网络作为一般卷积模块，用来提取车道区域的低级特征依次是卷积层conv1(卷积核使用3*3，步长为1)，卷积层conv2(卷积核使用3*3，步长为1)，最大池化层maxpool1(采样核为2*2，步长为2)，卷积层conv3(卷积核使用3*3，步长为1)，卷积层conv4(卷积核使用3*3，步长为1)，最大池化层maxpool2 (采样核为2*2，步长为2)，卷积层conv5(卷积核使用3*3，步长为1)，卷积层conv6 (卷积核使用3*3，步长为1)，卷积层conv7(卷积核使用3*3，步长为1)，最大池化层maxpool3(采样核为2*2，步长为2)，卷积层conv8(卷积核使用3*3，步长为1)，卷积层conv9(卷积核使用3*3，步长为1)，卷积层conv10(卷积核使用3*3，步长为 1)。选用例如4层扩张卷积用来提高图像的分辨率，依次是扩张卷积模块1，卷积核数量为512，卷积核大小为3*3，步长为2；扩张卷积模块2，卷积核数量为512，卷积核大小为3*3，步长为2；扩张卷积模块3，卷积核数量为512，卷积核大小为3*3，步长为2，扩张卷积模块4，卷积核数量为1024，卷积大小为3*3，步长为4；
S32、根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：
其中Ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为 k列，Xi、j、k为张量X的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数ReLU：
选用空间卷积层，改进的空间卷积神经网络(ISCNN，Improved SpatialConvolutional Neural Network)是将特征图的行或者列视为一行，并应用卷积层、非线性激活以及求和运算从上到下、从左到右、依次计算。首先把特征图分为h片，每一片接受上一片传递来的信息，层中内部信息是以残差方式进行传递，通过捷径连接的方式，直接把输入h传到输出作为初始结果，输出结果为H(x)＝F(x)+x。将特征图最上面的一片作为运算初始值，首先进行从上到下的计算。将计算出的上一片的结果用于下一片作为初始值，接着下一片继续应用卷积，直到处理完所有的片，运算结束后将结果输出到两个分支，一个经过双线性差值上采样到原图大小输出车道预测的实例分割图像，另一个分类分支经过两层全连接网络对车道的存在性进行判断，输出可能存在的车道的位置顺序，用标记1代表存在车道，标记0代表不存在车道。若输出的标记文件为1110，则代表左侧共有三条车道，可选的，车道数不小于1；
S33、根据如下公式调整神经网络的学习率LR：
其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度，使用均值为0，标准差为0.01的高斯分布初始化网络权重。训练的批处理大小为batchsize为4，最大迭代次数设为例如60000次。动量momentum为0.9，可选的，设置初始学习率为0.001。在训练模型的时候采用poly策略。来对学习率进行调整；
S34、输入训练样本，经过神经网络中逐层传播得输出值，输入多张(例如30000张)车道图片样本集，其中车道图片大小可为1280*720，经过卷积层、扩张卷积层、改进空间卷积层的前向传播得到输出值；
S35、使用如下公式计算神经网络的的输出值与目标值之间的误差：
loss(xi，xlabel)＝-ωi[xlabellog xi+(1-xlabel)log(1-xi)]
其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重，空间卷积神经网络(ISCNN， Improved Spatial Convolutional Neural Network)包含10个卷积层，3个池化层；然后是空洞卷积模块的构建，一共有2层空洞卷积模块。最后是空间卷积模块一共有2层.最后预测分支分为两块，一个经过双线性插值上采样到原图大小输出车道预测的实例分割图像，另外一个分类分支经过两层全连接网络对车道标记的存在性进判断，输出可能存在车道的位置顺序；
S36、判断误差是否大于预设期望值，期望值可在适用的期望值区间内选取，根据前述公式计算网络的输出值与目标值之间的分类分支训练损失以及分割分支训练损失误差，并与实际样本标签进行比较；
S37、若是，则使用神经网络计算误差梯度，当误差(其中可设置分割损失阈值例如为0.02，分割损失阈值从适用阈值区间内选取)大于期望值时，将误差传回网络中，依次求得改进空间卷积层，扩张卷积层，卷积层的误差梯度；
S38、若否，则固定神经网络参数，结束训练，当误差等于或小于期望值时，固定深度卷积神经网络参数，结束训练；
S39、若误差不在预设允许区间内，则根据误差更新权值，循环前述训练步骤，若误差不在允许范围即允许范围内，则根据求得误差进行权值更新，然后重复上述训练过程，可选的，允许范围根据前述训练过程中的分类分支训练损失以及分割分支训练损失误差记录分析得出。
请参阅图6，显示为图1中步骤S4在一实施例中的具体流程图，如图6所示，步骤S4包括：
S41、获取当前的神经网络，该神经网络为当前经过参数调优和预训练的深度卷积神经网络，可选的，车道检测算法根据对路况图像处理策略的不同，可分为基于特征的方法和基于模型的方法。基于特征的检测技术，主要是通过结合车道底层特征、车道边缘、车道颜色等信息定位图像中的车道。基于模型的方法是将车道抽象成一个恰当的几何模型，然后通过例如随机采样一致算法(RANSAC)、最小二乘法、霍夫变换等方法获得几何模型的参数来拟合相应的车道线区域，本发明使用训练改进的深度卷积神经网络进行车道线检测；
S42、调取测试样本，改进的空间卷积神经网络(ISCNN，Improved SpatialConvolutional Neural Network)的测试，对划分为测试集的数据喂入已经训练好的网络参数的改进的空间卷积神经网络(ISCNN，Improved Spatial Convolutional NeuralNetwork) 中；
S43、将测试样本输入至神经网络进行测试，获取测试结果并保存，可选的，输出的测试结果包括车道线顺序以及车道线像素数据。
请参阅图7和图8，显示为本发明的基于深度学习的车道线检测系统模块示意图和空间卷积神经网络(ISCNN，Improved Spatial Convolutional Neural Network)示意图，如图7和图8所示，一种基于深度学习的车道线检测系统1，包括：图像获取模块11、图像样本模块 12、深度学习训练模块13和车道线检测模块14；图像获取模块11，用于获取车道线图像，通过车载摄像头获取包含多条车道线的道路的视频数据，再以一定帧速率对提取视频帧，从而得到车道线的图像，之后对图像进行筛选，优化和标注；图像样本模块12，用于预处理车道线图像为处理标记图像，并将处理标记图像分为训练样本和测试样本两部分：将训练样本用于改进的空间卷积神经网络(ISCNN，Improved Spatial Convolutional NeuralNetwork)训练，将测试样本输入空间卷积神经网络(ISCNN，Improved SpatialConvolutional Neural Network)测试，图像样本模块12与图像获取模块11连接；深度学习训练模块13，用于使用训练样本训练出预设分层类型的神经网络，直接对卷积神经网络进行分割，将改进的空间卷积神经网络(ISCNN，Improved Spatial Convolutional NeuralNetwork)的训练参数作为初始化结果，深度学习训练模块13与图像样本模块12连接；车道线检测模块14，用于输入测试样本至神经网络，并使用神经网络测试测试样本，获取车道线测试结果，将测试样本输送到已训练的改进的空间卷积神经网络(ISCNN，ImprovedSpatial Convolutional Neural Network) 进行测试，实现车道线检测结果的输出，车道线检测模块14与深度学习训练模块13连接。
请参阅图9，显示为图7中图像获取模块11在一实施例中的具体模块图，如图9所示，图像获取模块11，包括：视频流采集模块111、帧提取模块112和图像提取模块113；视频流采集模块111，用于采集场景车道线视频流数据，从车载摄像头获取包含车道线的视频流，可使用前向车载摄像头获取感光图像；帧提取模块112，用于根据预设参数提取车道线视频流数据中的帧提取数据，对视频流按照一定帧速率提取视频帧，从而获得大量车道线图像，从机动车车载摄像头捕获抓拍到的视频流，按照一定帧速率提取视频帧。数据集包含晴天，阴天，傍晚，夜晚，等不同光照强度的下的车道线图像。有利于增强网络的鲁棒性以及各种车道环境下的检测能力，帧提取模块112与视频流采集模块111连接；图像提取模块113，用于从帧提取数据中获取车道线图像，车道线图像中包含检测过程中的原始输入图像，为测试样本和训练样本的数据源，初始的图像中除车道线外还包含其他背景图像等无关像素，图像提取模块113与帧提取模块112连接。
请参阅图10，显示为图7中图像获取模块12在一实施例中的具体模块图，如图10所示，图像样本模块12，包括：图像筛选模块121、图像优化模块122、分层标注模块123和样本分类模块124；图像筛选模块121，用于筛选车道线图像得合格图像，去除无车道线、过度模糊、过度遮挡等不合格图像，图片分辨率大小统一处理为例如1280*720的大小；图像优化模块 122，用于增益处理合格图像得预处理图像，对包含车道线图像较暗的图像增加图像对比度、图像亮度的操作，图像预处理主要采用边缘检测算法对车道边缘进行提取，常用的边缘检测算子例如有canny、sobel、laplace等，图像优化模块122与图像筛选模块121连接；分层标注模块123，用于对预处理图像进行分图层标注，获取并保存标记图像，可选的，对预处理后的图像统一使用autoCAD进行标注，将不同车道线使用不同的图层进行表示，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图，分层标注模块123与图像优化模块122连接；样本分类模块124，用于将标记图像分为训练样本和测试样本，保存之后批量发布为例如.jpg格式的图片在进行转换为标记图，样本分类模块124与分层标注模块123连接。
请参阅图11和图12，显示为图7中深度学习训练模块13在一实施例中的具体模块图和车道线卷积层整体示意图，如图11和图12所示，深度学习训练模块13，包括：神经网络预设模块131、向前计算模块132、学习率调整模块133、训练样本模块134、误差计算模块135、误差判断模块136、误差梯度模块137、参数调优完成模块138和训练调优循环模块139；神经网络预设模块131，用于选取神经网络的分层类型，可选的，前述神经网络为空间卷积神经网络(ISCNN，Improved Spatial Convolutional Neural Network)，改进的空间卷积神经网络 (ISCNN，Improved Spatial Convolutional Neural Network)(ISCNN，Convolutional Neural Network)的预训练和改进的空间卷积神经网络(ISCNN，ImprovedSpatial Convolutional Neural Network)的参数调优两个步骤。训练过程中的样本来源于从车载摄像头获取的包含有车道线的图像，在卷积层适用区间内选取例如10层网络卷积神经网络作为一般卷积模块，用来提取车道区域的低级特征依次是卷积层conv1(卷积核使用3*3，步长为1)，卷积层conv2 (卷积核使用3*3，步长为1)，最大池化层maxpool1(采样核为2*2，步长为2)，卷积层 conv3(卷积核使用3*3，步长为1)，卷积层conv4(卷积核使用3*3，步长为1)，最大池化层maxpool2(采样核为2*2，步长为2)，卷积层conv5(卷积核使用3*3，步长为1)，卷积层conv6(卷积核使用3*3，步长为1)，卷积层conv7(卷积核使用3*3，步长为1)，最大池化层maxpool3(采样核为2*2，步长为2)，卷积层conv8(卷积核使用3*3，步长为 1)，卷积层conv9(卷积核使用3*3，步长为1)，卷积层conv10(卷积核使用3*3，步长为 1)。选用例如4层扩张卷积用来提高图像的分辨率，依次是扩张卷积模块1，卷积核数量为 512，卷积核大小为3*3，步长为2；扩张卷积模块2，卷积核数量为512，卷积核大小为3*3，步长为2；扩张卷积模块3，卷积核数量为512，卷积核大小为3*3，步长为2，扩张卷积模块 4，卷积核数量为1024，卷积大小为3*3，步长为4，并选取预设层数的扩张卷积搭建神经网络；向前计算模块132，用于根据如下公式进行神经网络的卷积向前计算，获取车道位置顺序信息：
其中Ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k 列，Xi、j、k为张量X的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数ReLU：
选用空间卷积层，改进的空间卷积神经网络(ISCNN，Improved SpatialConvolutional Neural Network)是将特征图的行或者列视为一行，并应用卷积层、非线性激活以及求和运算从上到下、从左到右、依次计算。首先把特征图分为h片，每一片接受上一片传递来的信息，层中内部信息是以残差方式进行传递，通过捷径连接的方式，直接把输入h传到输出作为初始结果，输出结果为H(x)＝F(x)+x。将特征图最上面的一片作为运算初始值，首先进行从上到下的计算。将计算出的上一片的结果用于下一片作为初始值，接着下一片继续应用卷积，直到处理完所有的片，运算结束后将结果输出到两个分支，一个经过双线性差值上采样到原图大小输出车道预测的实例分割图像，另一个分类分支经过两层全连接网络对车道的存在性进行判断，输出可能存在的车道的位置顺序，用标记1代表存在车道，标记0代表不存在车道。若输出的标记文件为1110，则代表左侧共有三条车道，，可选的，车道数不小于1，向前计算模块132与神经网络预设模块131连接；学习率调整模块133，用于根据如下公式调整神经网络的学习率LR：
其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度，使用均值为0，标准差为0.01的高斯分布初始化网络权重。训练的批处理大小为batchsize为4，最大迭代次数例如为60000次。动量momentum为0.9，可选的，设置初始学习率为0.001。在训练模型的时候采用poly策略。来对学习率进行调整，学习率调整模块133与神经网络预设模块131连接；训练样本模块134，用于输入训练样本，经过神经网络中逐层传播得输出值，输入多张(例如 30000张)车道图片样本集，其中车道图片大小可为1280*720，经过卷积层、扩张卷积层、改进空间卷积层的前向传播得到输出值；误差计算模块135，用于使用如下公式计算神经网络的的输出值与目标值之间的误差：
loss(xi，xlabel)＝-ωi[xlabellog xi+(1-xlabel)log(1-xi)]
其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重，空间卷积神经网络(ISCNN，Improved Spatial Convolutional Neural Network)包含10个卷积层，3个池化层；然后是空洞卷积模块的构建，一共有2层空洞卷积模块。最后是空间卷积模块一共有2层.最后预测分支分为两块，一个经过双线性插值上采样到原图大小输出车道预测的实例分割图像，另外一个分类分支经过两层全连接网络对车道标记的存在性进判断，输出可能存在车道的位置顺序，误差计算模块135与训练样本模块134连接，误差计算模块135与神经网络预设模块131连接；误差判断模块136，用于判断误差是否大于预设期望值，期望值可在适用的期望值区间内选取，根据前述公式计算网络的输出值与目标值之间的分类分支训练损失以及分割分支训练损失误差，并与实际样本标签进行比较，误差判断模块136与误差计算模块135连接；误差梯度模块137，用于在误差大于预设期望值时，使用神经网络计算误差梯度，当误差(其中可设置分割损失阈值为0.02，分割损失阈值从适用阈值区间内选取)大于期望值时，将误差传回网络中，依次求得改进空间卷积层，扩张卷积层，卷积层的误差梯度，误差梯度模块137与误差判断模块136连接；参数调优完成模块138，用于在误差不大于预设期望值时，固定神经网络参数，结束训练，当误差等于或小于期望值时，固定深度卷积神经网络参数，结束训练，参数调优完成模块138与误差判断模块136连接；训练调优循环模块139，用于在误差不在允许区间内时，则根据误差更新权值，循环前述训练步骤，若误差不在允许范围即允许范围内，则根据求得误差进行权值更新，然后重复上述训练过程，可选的，允许范围根据前述训练过程中的分类分支训练损失以及分割分支训练损失误差记录分析得出，训练调优循环模块139与误差计算模块135连接。
请参阅图13和图14，显示为图7中深度学习训练模块14在一实施例中的具体模块图和扩张卷积示意图，如图13和图14所示，车道线检测模块14，包括：当前网络获取模块141、测试样本模块142和测试结果模块143；当前网络获取模块141，用于获取当前的神经网络，可选的，车道检测算法根据对路况图像处理策略的不同，可分为基于特征的方法和基于模型的方法。基于特征的检测技术，主要是通过结合车道底层特征、车道边缘、车道颜色等信息定位图像中的车道。基于模型的方法是将车道抽象成一个恰当的几何模型，然后通过随机采样一致算法、最小二乘法、霍夫变换等方法获得几何模型的参数来拟合相应的车道线区域，本发明使用训练改进的深度卷积神经网络进行车道线检测；测试样本模块142，用于调取测试样本，改进的空间卷积神经网络(ISCNN，Improved Spatial ConvolutionalNeural Network) 的测试，对划分为测试集的数据喂入已经训练好的网络参数的改进的空间卷积神经网络 (ISCNN，Improved Spatial Convolutional Neural Network)中，测试样本模块142与当前网络获取模块141连接；测试结果模块143，用于将测试样本输入至神经网络进行测试，获取测试结果并保存，可选的，输出的测试结果包括车道线顺序以及车道线像素数据，测试结果模块143与测试样本模块142连接。
具体地，请参阅图15，图15为本申请实施例提供的一种电子设备的结构示意图，本发明还提供了一种电子设备110，包括处理器1101和存储器1102，所述存储器1102存储有程序指令，所述处理器1101运行程序指令实现上述的基于深度学习的车道线检测方法。
具体的，所述电子设备110可以为手机或平板电脑或台式电脑。
具体的，所述处理器1101可以为中央处理器(CentralProcessingUnit，CPU)或處理芯片，所述存储器1102可以为随机存取存储器(Random Access Memory，RAM)类型的内部存储器，所述处理器1101、存储器1102可以集成为一个或多个独立的电路或硬件，如：专用集成电路 (Application SpecificIntegrated Circuit，ASIC)。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述的基于深度学习的车道线检测方法。
综上所述，本发明提供的一种面向移动端设备指纹识别认证方法及其应用的系统、介质及设备，具有以下有益效果：对于车道线特征的提取，直接采用基于深度学习的线检测模型，将大量图片输入网络进行训练得到检测模型，不需要手工提取复杂特征，检测效率高。本发明突破了传统手工制作的低级特征以及固定模型的约束，增强了针对恶劣条件下的检测能力，已经满足不了检测所需的实时性和精度要求，本发明提出的技术方案更加有利于复杂场景的灵活性和鲁棒性在卷积神经网络中充分利用了层间交流的信息，对车道线的分割更为细致。
综上，本发明提供一种基于深度学习的车道线检测方法及其应用的系统，解决了现有技术存在的依赖人工操作导致智能化水平低，算法复杂导致检测效率低下，鲁棒性及灵活性低，检测效果较差，适用性低以及缺乏空间一致性的技术问题，具有很高的商业价值和实用性。

Claims (10)

1.一种基于深度学习的车道线检测方法，其特征在于，包括：
获取车道线图像；
预处理所述车道线图像为处理标记图像，并将所述处理标记图像分为训练样本和测试样本；
使用所述训练样本训练出预设分层类型的神经网络；
输入所述测试样本至所述神经网络，并使用所述神经网络测试所述测试样本，以获取车道线测试结果。
2.根据权利要求1所述的方法，其特征在于，所述获取车道线图像的步骤，包括：
采集场景车道线视频流数据；
根据预设参数提取所述车道线视频流数据中的帧提取数据；
从所述帧提取数据中获取车道线图像。
3.根据权利要求1或2所述的方法，其特征在于，所述预处理步骤包括：
筛选所述车道线图像，以得到合格图像；
增益处理所述合格图像，以得到预处理图像；
对所述预处理图像进行分图层标注，以获取并保存所述标记图像。
4.根据权利要求1所述的方法，其特征在于，所述训练所述神经网络的步骤，包括：
选取所述神经网络的分层类型，并选取预设层数的扩张卷积搭建所述神经网络；
根据如下公式进行所述神经网络的卷积向前计算，获取车道位置顺序信息：
其中Ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k列，Xi、j、k为张量X的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数；
根据如下公式调整所述神经网络的学习率LR：
其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；
输入所述训练样本，经过所述神经网络中逐层传播得输出值；
使用如下公式计算所述神经网络的的所述输出值与目标值之间的误差：
loss(xi，xlabel)＝-ωi[xlabellogxi+(1-xlabel)log(1-xi)]
其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重；
判断所述误差是否大于预设期望值；
若是，则使用所述神经网络计算误差梯度；
若否，则固定神经网络参数，结束训练；
若误差不在预设允许区间内，则根据所述误差更新权值，循环前述训练步骤。
5.根据权利要求1所述的方法，其特征在于，所述使用所述神经网络测试所述测试样本的步骤，包括：
获取当前的所述神经网络；
调取所述测试样本；
将所述测试样本输入至所述神经网络进行测试，获取测试结果并保存。
6.一种基于深度学习的车道线检测系统，其特征在于，包括：
图像获取模块，用于获取车道线图像；
图像样本模块，用于预处理所述车道线图像为处理标记图像，并将所述处理标记图像分为训练样本和测试样本；
深度学习训练模块，用于使用所述训练样本训练出预设分层类型的神经网络；
车道线检测模块，用于输入所述测试样本至所述神经网络，并使用所述神经网络测试所述测试样本，获取车道线测试结果。
7.根据权利要求6所述的系统，其特征在于，所述图像获取模包括：
视频流采集模块，用于采集场景车道线视频流数据；
帧提取模块，用于根据预设参数提取所述车道线视频流数据中的帧提取数据；
图像提取模块，用于从所述帧提取数据中获取车道线图像。
8.根据权利要求6所述的系统，其特征在于，所述图像样本模块包括：
图像筛选模块，用于筛选所述车道线图像得合格图像；
图像优化模块，用于增益处理所述合格图像得预处理图像；
分层标注模块，用于对所述预处理图像进行分图层标注，获取并保存标记图像；
样本分类模块，用于将所述标记图像分为所述训练样本和所述测试样本。
9.根据权利要求6所述的系统，其特征在于，所述深度学习训练模块包括：
神经网络预设模块，用于选取所述神经网络的分层类型，并选取预设层数的扩张卷积；
向前计算模块，用于根据如下公式进行所述神经网络的卷积向前计算，获取车道位置顺序信息：
其中Ki，j，k为最后一片中通道i的元素和当前片中通道j的元素之间的权重，i，j之间偏移为k列，Xi、j、k为张量X的元素，其中i、j、k分别为通道、行、列，f()是非线性激活函数；
学习率调整模块，用于根据如下公式调整所述神经网络的学习率LR：
其中，iter为迭代次数，max_iter为最大迭代次数，power为更新梯度；
训练样本模块，用于输入所述训练样本，经过所述神经网络中逐层传播得输出值；
误差计算模块，用于使用如下公式计算所述神经网络的的所述输出值与目标值之间的误差：
loss(xi，xlabel)＝-ωi[xlabellogxi+(1-xlabel)log(1-xi)]
其中，loss(xi，xlabel)为分类分支训练损失，loss(x，label)为分割分支训练损失，xi为第i个样本预测为正例的概率，xlabel为样本标签，ωi为权重；
误差判断模块，用于判断所述误差是否大于预设期望值；
误差梯度模块，用于在所述误差大于预设期望值时，使用所述神经网络计算误差梯度；
参数调优完成模块，用于在所述误差不大于预设期望值时，固定神经网络参数，结束训练；
训练调优循环模块，用于在误差不在预设允许区间内时，则根据所述误差更新权值，循环前述训练步骤。
10.根据权利要求6所述的系统，其特征在于，所述车道线检测模块包括：
当前网络获取模块，用于获取当前的所述神经网络；
测试样本模块，用于调取所述测试样本；
测试结果模块，用于将所述测试样本输入至所述神经网络进行测试，获取测试结果并保存。
CN201811413015.5A 2018-11-23 2018-11-23 基于深度学习的车道线检测方法及其应用的系统 Pending CN109389102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811413015.5A CN109389102A (zh) 2018-11-23 2018-11-23 基于深度学习的车道线检测方法及其应用的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811413015.5A CN109389102A (zh) 2018-11-23 2018-11-23 基于深度学习的车道线检测方法及其应用的系统

Publications (1)

Publication Number Publication Date
CN109389102A true CN109389102A (zh) 2019-02-26

Family

ID=65429662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811413015.5A Pending CN109389102A (zh) 2018-11-23 2018-11-23 基于深度学习的车道线检测方法及其应用的系统

Country Status (1)

Country Link
CN (1) CN109389102A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348357A (zh) * 2019-07-03 2019-10-18 昆明理工大学 一种基于深度卷积神经网络的快速目标检测方法
CN110363160A (zh) * 2019-07-17 2019-10-22 河南工业大学 一种多车道线识别方法及装置
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN110502982A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN110516633A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于深度学习的车道线检测方法及系统
CN110654384A (zh) * 2019-11-04 2020-01-07 湖南大学 一种基于深度强化学习的车道保持控制算法及系统
CN111047856A (zh) * 2019-04-09 2020-04-21 泰州市赛得机电设备有限公司 多通道拥堵指数获取平台
CN111310593A (zh) * 2020-01-20 2020-06-19 浙江大学 一种基于结构感知的超快速车道线检测方法
CN111583655A (zh) * 2020-05-29 2020-08-25 苏州大学 一种车流量检测方法、装置、设备及介质
CN111914596A (zh) * 2019-05-09 2020-11-10 北京四维图新科技股份有限公司 车道线检测方法、装置、系统及存储介质
CN112907597A (zh) * 2021-02-04 2021-06-04 西华师范大学 基于深度卷积神经网络的铁路轨道线检测方法
CN113807173A (zh) * 2021-08-12 2021-12-17 北京工业大学 一种车道线数据集的构建标注方法及应用系统
CN114119361A (zh) * 2021-08-05 2022-03-01 合肥工业大学智能制造技术研究院 基于tesrgan网络的超分辨率重构井下图像方法、系统、设备、介质
CN114667852A (zh) * 2022-03-14 2022-06-28 广西大学 一种基于深度强化学习的绿篱修剪机器人智能协同控制方法
CN117593717A (zh) * 2024-01-18 2024-02-23 武汉大学 一种基于深度学习的车道追踪方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180046916A1 (en) * 2016-08-11 2018-02-15 Nvidia Corporation Sparse convolutional neural network accelerator
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN108694386A (zh) * 2018-05-15 2018-10-23 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180046916A1 (en) * 2016-08-11 2018-02-15 Nvidia Corporation Sparse convolutional neural network accelerator
CN108090456A (zh) * 2017-12-27 2018-05-29 北京初速度科技有限公司 一种车道线识别方法及装置
CN108694386A (zh) * 2018-05-15 2018-10-23 华南理工大学 一种基于并联卷积神经网络的车道线检测方法
CN108830188A (zh) * 2018-05-30 2018-11-16 西安理工大学 基于深度学习的车辆检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XINGANG PAN 等: "Spatial as Deep:Spatial CNN for Traffic Scene Understanding", 《THIRTY-SECOND AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》, vol. 32, no. 1, pages 7276 - 7283 *
文少波 等主编: "《新能源汽车及其智能化技术》", 东南大学出版社, pages: 155 - 156 *
许茂鹏: "车道线检测系统的研究与实现", 《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》, vol. 2016, no. 03 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047856A (zh) * 2019-04-09 2020-04-21 泰州市赛得机电设备有限公司 多通道拥堵指数获取平台
CN111914596B (zh) * 2019-05-09 2024-04-09 北京四维图新科技股份有限公司 车道线检测方法、装置、系统及存储介质
CN111914596A (zh) * 2019-05-09 2020-11-10 北京四维图新科技股份有限公司 车道线检测方法、装置、系统及存储介质
CN110348357B (zh) * 2019-07-03 2022-10-11 昆明理工大学 一种基于深度卷积神经网络的快速目标检测方法
CN110348357A (zh) * 2019-07-03 2019-10-18 昆明理工大学 一种基于深度卷积神经网络的快速目标检测方法
CN110502982B (zh) * 2019-07-11 2024-03-05 平安科技（深圳）有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN110502982A (zh) * 2019-07-11 2019-11-26 平安科技（深圳）有限公司 一种检测高速公路中障碍物的方法、装置及计算机设备
CN110363160B (zh) * 2019-07-17 2022-09-23 河南工业大学 一种多车道线识别方法及装置
CN110363160A (zh) * 2019-07-17 2019-10-22 河南工业大学 一种多车道线识别方法及装置
CN110363182A (zh) * 2019-07-24 2019-10-22 北京信息科技大学 基于深度学习的车道线检测方法
CN110363182B (zh) * 2019-07-24 2021-06-18 北京信息科技大学 基于深度学习的车道线检测方法
CN110516633B (zh) * 2019-08-30 2023-05-16 的卢技术有限公司 一种基于深度学习的车道线检测方法及系统
CN110516633A (zh) * 2019-08-30 2019-11-29 的卢技术有限公司 一种基于深度学习的车道线检测方法及系统
CN110654384A (zh) * 2019-11-04 2020-01-07 湖南大学 一种基于深度强化学习的车道保持控制算法及系统
CN111310593A (zh) * 2020-01-20 2020-06-19 浙江大学 一种基于结构感知的超快速车道线检测方法
CN111310593B (zh) * 2020-01-20 2022-04-19 浙江大学 一种基于结构感知的超快速车道线检测方法
CN111583655B (zh) * 2020-05-29 2021-12-24 苏州大学 一种车流量检测方法、装置、设备及介质
CN111583655A (zh) * 2020-05-29 2020-08-25 苏州大学 一种车流量检测方法、装置、设备及介质
CN112907597A (zh) * 2021-02-04 2021-06-04 西华师范大学 基于深度卷积神经网络的铁路轨道线检测方法
CN114119361A (zh) * 2021-08-05 2022-03-01 合肥工业大学智能制造技术研究院 基于tesrgan网络的超分辨率重构井下图像方法、系统、设备、介质
CN114119361B (zh) * 2021-08-05 2024-06-14 合肥工业大学智能制造技术研究院 基于tesrgan网络的超分辨率重构井下图像方法、系统、设备、介质
CN113807173A (zh) * 2021-08-12 2021-12-17 北京工业大学 一种车道线数据集的构建标注方法及应用系统
CN114667852B (zh) * 2022-03-14 2023-04-14 广西大学 一种基于深度强化学习的绿篱修剪机器人智能协同控制方法
CN114667852A (zh) * 2022-03-14 2022-06-28 广西大学 一种基于深度强化学习的绿篱修剪机器人智能协同控制方法
CN117593717A (zh) * 2024-01-18 2024-02-23 武汉大学 一种基于深度学习的车道追踪方法及系统
CN117593717B (zh) * 2024-01-18 2024-04-05 武汉大学 一种基于深度学习的车道追踪方法及系统

Similar Documents

Publication Publication Date Title
CN109389102A (zh) 基于深度学习的车道线检测方法及其应用的系统
CN104299006B (zh) 一种基于深度神经网络的车牌识别方法
CN109165623B (zh) 基于深度学习的水稻病斑检测方法及系统
CN109035260A (zh) 一种天空区域分割方法、装置和卷积神经网络
CN106326858A (zh) 一种基于深度学习的公路交通标志自动识别与管理系统
CN113870263B (zh) 一种路面缺陷损伤实时监测方法及系统
CN114155527A (zh) 一种场景文本识别方法和装置
CN112861931B (zh) 一种基于差异注意力神经网络的多级别变化检测方法、系统、介质及电子设备
Xing et al. Traffic sign recognition using guided image filtering
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
Sun et al. Defect detection of photovoltaic modules based on convolutional neural network
CN113449811A (zh) 一种基于ms-wsda的低照度目标检测方法
CN115496971A (zh) 一种红外目标检测方法、装置、电子设备及存储介质
CN116258940A (zh) 一种多尺度特征及自适应权重的小目标检测方法
CN113505640A (zh) 一种基于多尺度特征融合的小尺度行人检测方法
CN116681960A (zh) 一种基于K8s的中尺度涡旋智能识别方法及系统
CN116612347A (zh) 基于考场违规的深度学习模型训练方法
Jin et al. An improved Mobilenetv3-Yolov5 infrared target detection algorithm based on attention distillation
CN115115973A (zh) 一种基于多感受野与深度特征的弱小目标检测方法
Kheder et al. Transfer learning based traffic light detection and recognition using CNN inception-V3 model
CN109284752A (zh) 一种车辆的快速检测方法
Li et al. CDMY: A lightweight object detection model based on coordinate attention
Zhao et al. Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network.
CN115761552A (zh) 面向无人机机载平台的目标检测方法、系统、设备及介质
CN115035429A (zh) 一种基于复合主干网络和多预测头的航拍目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226