CN111160205B - 一种交通场景嵌入式多类目标端对端统一检测方法 - Google Patents

一种交通场景嵌入式多类目标端对端统一检测方法 Download PDF

Info

Publication number
CN111160205B
CN111160205B CN201911346585.1A CN201911346585A CN111160205B CN 111160205 B CN111160205 B CN 111160205B CN 201911346585 A CN201911346585 A CN 201911346585A CN 111160205 B CN111160205 B CN 111160205B
Authority
CN
China
Prior art keywords
traffic
targets
lane line
network module
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911346585.1A
Other languages
English (en)
Other versions
CN111160205A (zh
Inventor
刘军
陈岚磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201911346585.1A priority Critical patent/CN111160205B/zh
Publication of CN111160205A publication Critical patent/CN111160205A/zh
Application granted granted Critical
Publication of CN111160205B publication Critical patent/CN111160205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种交通场景嵌入式多类目标端对端统一检测方法，构建交通场景多类目标端对端统一检测的卷积神经网络模型，包括基础网络模块、交通目标检测网络模块、车道线分割网络模块和车道线可微分的加权最小二乘拟合模块，基础网络模块使用深度可分离卷积提高模型实时性；交通目标检测网络模块利用多尺度特征图对交通目标进行检测；车道线分割网络模块根据不同像素点段标注文件以及上采样过滤器对通道叠加色彩阈值，实现对不同线型、颜色车道线的检测；车道线可微分的加权最小二乘拟合模块取消常规车道线检测两步操作，预测车道线曲线直接输出。本发明训练卷积神经网络模型时使用半监督学习，增强对交通场景的适应性，提高检测实时性和便捷性。

Description

一种交通场景嵌入式多类目标端对端统一检测方法
技术领域
本发明涉及无人驾驶的技术领域，更具体地，涉及一种交通场景嵌入式多类目标端对端统一检测方法。
背景技术
近些年，随着无人驾驶技术的兴起，交通场景检测技术越来越流行。交通场景检测需要达到快速、稳定、准确的要求，一般包括交通目标检测以及路面标识检测，路面标识检测常见为车道线检测。
传统的交通目标检测是在图像预处理后，使用滑动窗口对整幅图像进行遍历，判断目标可能出现的位置，接着人工选取某个特征，如方向梯度直方图特征(Histogram ofOriented Gradient，HOG)、加速稳健特征(Speeded UP Robust Features，SURF)等，通过这些特征对目标进行识别。由于目标的形态、光照、背景等多样性，基于传统图像特征的交通目标检测鲁棒性较差。
随着深度学习的爆发式发展，特别是卷积神经网络(CNN)在计算机视觉领域取得了巨大的成功，交通场景检测技术也得到了大幅度的提升。相比于传统图像特征提取，神经网络引入了更多的非线性激活函数，可以学习到更多具有表达性的特征，泛化性更好、鲁棒性更高。
目前，交通场景检测大部分都是将交通目标和路面标识检测(车道线检测)分开进行研究。交通目标检测是对交通场景多类目标框的检测，关键在于预测框与真实框的匹配；车道线检测是对像素点的检测，关键在于车道线像素点提取和拟合。由于两种检测方法差异较大，很少实现交通目标和车道线的同时检测，这不仅会增加硬件需求，也会增加检测时长，且两种检测方法的检测结果后期处理难度大。
发明内容
本发明为解决上述现有技术中交通目标和车道线同时检测存在的问题，提出了一种交通场景嵌入式多类目标端对端统一检测方法，能有效处理检测结果，提高整体检测的实时性和便捷性，减少资源消耗。
本发明是采用技术方案实现上述技术目的的：
一种交通场景嵌入式多类目标端对端统一检测方法，收集交通场景数据集，对交通目标和车道线进行标注；设计交通场景多类目标端对端统一检测的卷积神经网络模型，训练所述卷积神经网络模型，进行交通场景实车嵌入式端对端检测，输出预测的交通目标和车道线。
进一步，所述交通场景多类目标端对端统一检测的卷积神经网络模型包括基础网络模块、交通目标检测网络模块、车道线分割网络模块以及车道线可微分的加权最小二乘拟合模块。
更进一步，所述基础网络模块用于提取图片特征。
更进一步，所述交通目标检测网络模块利用多尺度特征图对交通目标进行检测，交通目标检测网络模块的26×26特征图与基础网络模块的13×13特征图上采样进行特征融合，交通目标检测网络模块的52×52特征图与基础网络模块的26×26特征图上采样进行特征融合。
进一步，所述车道线分割网络模块采用编码器-解码器结构。
更进一步，所述车道线分割网络模块对不同线型、不同颜色的车道线进行检测，不同线型车道线的检测过程为：由maskAnn不同像素点标注文件预测可能出现的虚实线像素点段，并用不同颜色框对预测虚实线像素点段进行标记；不同颜色车道线的检测过程为：根据上采样过滤器对不同通道叠加色彩阈值，预测可能出现的黄白线像素点，并用不同形状框对预测黄白线像素点进行标记。
进一步，所述车道线可微分的加权最小二乘拟合模块将maskAnn的实际车道线曲线标注作为基准，预测曲线与实际车道线曲线之间的面积作为整体损失函数中的车道线拟合损失函数，训练ResNet神经网络，拟合出虚实线曲线和黄白线曲线。
更进一步，所述整体损失函数为：LlossLcoordinatefLconfiaece+Lclass+Lmask+Lfit，其中Lcoordinate为交通目标的坐标损失函数，Lconfidece为交通目标的置信度损失函数，Lclass为交通目标的类别损失函数Lmask,Lmask为车道线掩膜损失函数，Lfit为车道线拟合损失函数。
更进一步，所述交通场景实车嵌入式端对端检测具体为：训练好的卷积神经网络模型输入道路视频帧，输出交通目标预测边界框、类别概率以及车道线预测曲线。
更进一步，所述卷积神经网络模型的训练过程为：利用整体损失函数对卷积神经网络进行训练，使用半监督对卷积神经网络进行再训练。
与现有技术相比，本发明的有益技术效果在于：
本发明基于卷积神经网络模型，实现对交通目标和车道线同时检测和输出，卷积神经网络模型包括基础网络模块、交通目标检测网络模块、车道线分割网络模块以及车道线可微分的加权最小二乘拟合模块，基础网络模块使用轻量化网络的深度可分离卷积降低模型运算量，提高模型实时性；车道线分割网络模块使用编码器-解码器结构，根据不同像素点段(长段为实线、短段为虚线)标注文件以及上采样过滤器对不同通道叠加色彩阈值，实现对不同线型不同颜色车道线的检测；车道线可微分的加权最小二乘拟合模块使用神经网络对虚实线、黄白线的曲线拟合参数进行预测，取消常规车道线检测两步操作，真正实现车道线端对端检测。卷积神经网络模型，训练时使用半监督学习，提高模型整体的泛化能力，增强模型对交通场景适应性。本发明可提高交通场景检测实时性和便捷性。
附图说明
图1为本发明一种交通场景嵌入式多类目标端对端统一检测方法实施例流程图；
图2为卷积神经网络模型结构示意图；
图3为深度可分离卷积结构示意图；
图4为ResNet神经网络结构示意图；
图5为本发明实车采集的道路图；
图6为本发明检测结果可视化图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实例流程参照图1，一种交通场景嵌入式多类目标端对端统一检测方法，具体步骤如下：
步骤(1)，收集交通场景数据集(包含大量交通场景图片)，并利用标注工具对其中的交通目标和车道线进行标注，获取交通目标标注框(包括标注框左上角的点以及标注框的长、高)和车道线像素点，并将其整理成VOC数据集格式。
具体的，交通目标包括车、交通标志、行人等数据，车道线为不同类型的车道线，如虚实线、黄白线等数据，另外还可以利用tusimple数据集对车道线数据量进行扩充。
VOC数据集格式包含4个子文件夹，分别为JPEGImages文件、Annotations文件、ImageSets文件、maskAnn文件。JPEGImages存放交通场景图片，Annotations存放交通目标标注框(xml类型标注文件)，ImageSets文件存放txt格式的文本，txt文本每一行对应一个交通场景图片的名称，根据txt文本来读取图片名称，再到JPEGImages和Annotations文件中寻找对应的图片和标注。本实施例在VOC数据集格式中添加车道线分割标注文件maskAnn，用于存取车道线像素点标注文件以及实际车道线曲线(ground truth)标注文件(实际车道线曲线标注文件由车道线像素点标注文件通过Python脚本绘制而成)。
步骤(2)，将交通场景图片随机地分成不同的批次，在送入卷积神经网络模型前，进行数据增强：即对图片进行随机的旋转、裁剪、调整光照变化，以扩充交通场景多样性；再将图片尺寸统一调整为416×416×3。
步骤(3)，设计嵌入式多类目标端对端统一检测的卷积神经网络模型，总体结构如图2，包括基础网络模块、交通目标检测网络模块、车道线分割网络模块以及车道线可微分的加权最小二乘拟合模块。基础网络模块对步骤(2)调整后的交通场景图片进行下采样，提取图片特征；交通目标检测网络模块利用多尺度特征图对交通目标进行预测；车道线分割网络模块利用编码器-解码器(下采样-上采样)结构对车道线像素点进行分割预测，上采样要结合下采样的特征图进行特征融合；车道线可微分的加权最小二乘拟合模块根据分割预测的车道线像素点最终拟合车道线。
步骤(3-1)，设计基础网络模块
MobileNet轻量化网络的基本单元是深度可分离卷积(depthwise separableconvolution)，深度可分离卷积是一种可分解卷积操作(factorized convolutions)，其可以分解为两个更小的操作：深度卷积(depthwise convolution)、点核卷积(pointwiseconvolution)，如图3中的(b)和(c)所示。其首先是采用深度卷积对不同输入通道分别进行卷积，然后采用点核卷积将深度卷积的输出再进行结合，大大减少计算量和模型参数量。图3中的(a)为标准卷积，深度可分离卷积相对于标准卷积参数量压缩率为：
式中，Dk表示卷积核尺寸；M为输入通道数；N为输出通道数。通道用于对交通场景图片横向、纵向特征进行提取。
基础网络模块的结构如表1所示：
表1基础网络模块的结构
输入 卷积 输出通道数 重复次数 步长
(416，416，3) Conv2d(3，3) 32 1 2
(208，208，32) depthwise separable block 64 1 2
(208，208，64) depthwise separable block 128 1 2
(104，104，128) depthwise separable block 256 1 2
(52，52，256) depthwise separable block 512 1 2
(26，26，512) depthwise separable block 1024 5 2
(13，13，1024) depthwise separable block 1024 1 1
步骤(3-2)，设计交通目标检测网络模块
交通目标检测网络模块利用多尺度特征图对交通目标进行检测，由于较浅层网络能够保留较多、较细粒度的底层视觉特征，用来预测大物体；而较深层网络能够提取更高层的、语义级的特征，用来预测小物体。如图2所示，将基础网络模块的26×26特征图上采样与52×52特征图进行特征融合，基础网络模块的13×13特征图上采样与26×26特征图进行特征融合，融合后分别在三个不同尺寸的特征图(13×13、26×26、52×52)上进行交通目标预测。
步骤(3-3)，设计车道线分割网络模块
车道线分割网络模块采用编码器-解码器结构。编码器逐渐减少池化层的空间维度，解码器逐步修复车道线对象的细节和空间维度。编码器和解码器之间通常存在快捷连接(特征融合)，因此能帮助解码器更好地修复目标的细节。车道线分割网络模块对车道线图中每个像素点进行分类，从而分割出车道线区域，预测可能出现车道线的像素点。如图2所示，左侧基础网络模块可看作是编码器，右侧可看作是解码器，上采样融合底层网络特征，最终还原尺寸为416×416×1。
车道线分割网络模块对不同车道线线型(虚实线)进行检测：根据步骤(1)中maskAnn不同像素点标注文件，预测可能出现的虚实线像素点段(长段为实线、短段为虚线)，并用不同颜色框对预测虚实线像素点段进行标记，本实施例利用蓝色框表示虚线，红色框表示实线。
车道线分割网络模块对不同颜色车道线(黄白线)进行检测：根据上采样过滤器对不同通道叠加色彩阈值，预测可能出现的黄白线像素点，并用不同形状框对预测黄白线像素点进行标记，本实施例利用实心矩形框表示黄色线，利用空心矩形框表示白色线。
步骤(3-4)，设计车道线可微分的加权最小二乘拟合模块
由于没有经过后处理，上述车道线虚实线像素点、黄白线像素点的预测结果都是像素级的，还需要进行曲线拟合。
利用可微分的加权最小二乘拟合模块进行车道线像素点后处理，本实施例采用ResNet神经网络，其结构如图4所示，对车道线像素点坐标进行曲线预测，将步骤(1)中maskAnn的实际车道线曲线标注作为基准，预测曲线与ground truth曲线之间的面积作加权最小二乘差值函数，即拟合是一个可微分操作，让ResNet神经网络来学习预测曲线的参数，从而拟合出虚实线曲线和黄白线曲线。
步骤(3-5)，设计损失函数
(1)交通目标的坐标损失函数Lcoordinate：
式中,s2为输出特征图的网格单元数量，B为边界框的数量，表示第m个网格中第n个边界框存在负责物体的预测，λcorrd为坐标损失在总损失中的权重，xm、ym为真实位置中心坐标参数，/>为预测位置中心坐标参数，wm、hm为真实边界框的宽高，/>为预测边界框的宽高。
置信度损失函数Lconfidece：
式中，Cm为真实框置信度得分，是预测边界框置信度得分，λnoobj为最低的置信度预测惩罚，/>表示第m个网格中第n个边界框没有负责物体的预测。
类别损失函数Lclass：
式中,pm(c)为真实框类别概率，为预测边界框类别概率。
以上3个损失函数负责交通目标检测网络模块的训练。
(2)车道线掩膜损失函数Lmask：
Lmask(pt)＝-(1-pt)γlog(pt)
式中，p表示车道线像素点预测的概率，y为真实标签，γ为调节参数，需要经过实验测试得到性能最好的值，经测试本实例取γ＝2.0；该损失函数负责车道线分割网络模块的训练。
最小二乘差值函数采用车道线拟合损失函数Lfit，获取预测曲线和ground truth曲线的平方差损失。
式中，yβ表示ground-truth曲线，表示预测曲线。该损失函数负责车道线可微分的加权最小二乘拟合模块的训练。
则整体损失函数为：
Lloss＝Lcoordinate+Lconfidece+Lclass+Lmask+Lfit
步骤(4)，搭建pytorch深度学习框架训练卷积神经网络模型
设置batch大小为20，循环200次，并使用Adam优化器进行优化，利用步骤(3-5)的损失函数对卷积神经网络进行训练，再使用半监督对卷积神经网络进行再训练，泛化卷积神经网络模型。具体流程是，先利用标注文件训练模型，再利用模型对无标注文件进行预测，获得无标注文件的伪标注文件(即预测结果)，最后使用伪标注文件和标注文件一同训练卷积神经网络模型。
步骤(5)，收集道路视频，利用opencv提取视频帧(如图5所示)，并送入训练好的卷积神经网络模型中，输出交通目标预测边界框信息、类别概率以及车道线预测曲线信息，利用opencv对实时视频进行可视化，如图6所示。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims (7)

1.一种交通场景嵌入式多类目标端对端统一检测方法，其特征在于，收集交通场景数据集，对交通目标和车道线进行标注；设计交通场景多类目标端对端统一检测的卷积神经网络模型，训练所述卷积神经网络模型，进行交通场景实车嵌入式端对端检测，输出预测的交通目标和车道线；
所述交通场景多类目标端对端统一检测的卷积神经网络模型包括基础网络模块、交通目标检测网络模块、车道线分割网络模块以及车道线可微分的加权最小二乘拟合模块；
所述车道线可微分的加权最小二乘拟合模块将maskAnn的实际车道线曲线标注作为基准，预测曲线与实际车道线曲线之间的面积作为整体损失函数中的车道线拟合损失函数，训练ResNet神经网络，拟合出虚实线曲线和黄白线曲线；
所述整体损失函数为：Lloss＝Lcoordinate+Lconfidece+Lclass+Lmask+Lfit，其中Lcoordinate为交通目标的坐标损失函数，Lconfidece为交通目标的置信度损失函数，Lclass为交通目标的类别损失函数，Lmask为车道线掩膜损失函数，Lfit为车道线拟合损失函数；
所述交通目标的坐标损失函数Lcoordinate为：
式中，s2为输出特征图的网格单元数量，B为边界框的数量，表示第m个网格中第n个边界框存在负责物体的预测，λcorrd为坐标损失在总损失中的权重，xm、ym为真实位置中心坐标参数，/>为预测位置中心坐标参数，wm、hm为真实边界框的宽高，/>为预测边界框的宽高；
所述交通目标的置信度损失函数Lconfidece为：
式中，Cm为真实框置信度得分，是预测边界框置信度得分，λnoobj为最低的置信度预测惩罚，/>表示第m个网格中第n个边界框没有负责物体的预测；
所述交通目标的类别损失函数Lclass为：
式中，pm(c)为真实框类别概率，为预测边界框类别概率；
所述车道线掩膜损失函数Lmask为：
Lmask(pt)＝-(1-pt)γlog(pt)
式中，p表示车道线像素点预测的概率，y为真实标签，γ为调节参数；
所述车道线拟合损失函数为Lfit：
式中，yβ表示ground-truth曲线，表示预测曲线。
2.根据权利要求1所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述基础网络模块用于提取图片特征。
3.根据权利要求2所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述交通目标检测网络模块利用多尺度特征图对交通目标进行检测，交通目标检测网络模块的26×26特征图与基础网络模块的13×13特征图上采样进行特征融合，交通目标检测网络模块的52×52特征图与基础网络模块的26×26特征图上采样进行特征融合。
4.根据权利要求1所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述车道线分割网络模块采用编码器-解码器结构。
5.根据权利要求4所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述车道线分割网络模块对不同线型、不同颜色的车道线进行检测，不同线型车道线的检测过程为：由maskAnn不同像素点标注文件预测可能出现的虚实线像素点段，并用不同颜色框对预测虚实线像素点段进行标记；不同颜色车道线的检测过程为：根据上采样过滤器对不同通道叠加色彩阈值，预测可能出现的黄白线像素点，并用不同形状框对预测黄白线像素点进行标记。
6.根据权利要求1所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述交通场景实车嵌入式端对端检测具体为：训练好的卷积神经网络模型输入道路视频帧，输出交通目标预测边界框、类别概率以及车道线预测曲线。
7.根据权利要求6所述的交通场景嵌入式多类目标端对端统一检测方法，其特征在于，所述卷积神经网络模型的训练过程为：利用整体损失函数对卷积神经网络进行训练，使用半监督对卷积神经网络进行再训练。
CN201911346585.1A 2019-12-24 2019-12-24 一种交通场景嵌入式多类目标端对端统一检测方法 Active CN111160205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911346585.1A CN111160205B (zh) 2019-12-24 2019-12-24 一种交通场景嵌入式多类目标端对端统一检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911346585.1A CN111160205B (zh) 2019-12-24 2019-12-24 一种交通场景嵌入式多类目标端对端统一检测方法

Publications (2)

Publication Number Publication Date
CN111160205A CN111160205A (zh) 2020-05-15
CN111160205B true CN111160205B (zh) 2023-09-05

Family

ID=70558379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346585.1A Active CN111160205B (zh) 2019-12-24 2019-12-24 一种交通场景嵌入式多类目标端对端统一检测方法

Country Status (1)

Country Link
CN (1) CN111160205B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695483B (zh) * 2020-06-05 2022-04-08 腾讯科技（深圳）有限公司 一种车辆违章检测方法、装置、设备及计算机存储介质
CN113052135B (zh) * 2021-04-22 2023-03-24 淮阴工学院 一种基于深层神经网络Lane-Ar的车道线检测方法及系统
CN113076962B (zh) * 2021-05-14 2022-10-21 电子科技大学 一种基于可微神经网络搜索技术的多尺度目标检测方法
CN113313703B (zh) * 2021-06-17 2024-05-24 上海红檀智能科技有限公司 基于深度学习图像识别的无人机输电线巡检方法
CN113449692A (zh) * 2021-07-22 2021-09-28 成都纵横自动化技术股份有限公司 一种基于无人机的地图车道信息更新方法及其系统
CN115019278B (zh) * 2022-07-13 2023-04-07 北京百度网讯科技有限公司 一种车道线拟合方法、装置、电子设备和介质
CN115331182A (zh) * 2022-08-22 2022-11-11 盛视科技股份有限公司 一种基于深度学习的车辆违规检测方法
CN117372983B (zh) * 2023-10-18 2024-06-25 北京化工大学 一种低算力的自动驾驶实时多任务感知方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263660A (zh) * 2019-05-27 2019-09-20 魏运 一种自适应场景变化的交通目标检测识别方法
CN110276267A (zh) * 2019-05-28 2019-09-24 江苏金海星导航科技有限公司 基于Spatial-LargeFOV深度学习网络的车道线检测方法
CN110378239A (zh) * 2019-06-25 2019-10-25 江苏大学 一种基于深度学习的实时交通标志检测方法
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263660A (zh) * 2019-05-27 2019-09-20 魏运 一种自适应场景变化的交通目标检测识别方法
CN110276267A (zh) * 2019-05-28 2019-09-24 江苏金海星导航科技有限公司 基于Spatial-LargeFOV深度学习网络的车道线检测方法
CN110378239A (zh) * 2019-06-25 2019-10-25 江苏大学 一种基于深度学习的实时交通标志检测方法
CN115546750A (zh) * 2022-09-28 2022-12-30 华南理工大学 一种基于Transformer编码器和空洞卷积的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
强娜.《基于最小二乘关联分析框架的噪声图像分类研究》.《硕士电子期刊》.2021,全文. *

Also Published As

Publication number Publication date
CN111160205A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN111160205B (zh) 一种交通场景嵌入式多类目标端对端统一检测方法
CN109977812B (zh) 一种基于深度学习的车载视频目标检测方法
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
CN109345547B (zh) 基于深度学习多任务网络的交通车道线检测方法及装置
CN106951830B (zh) 一种基于先验条件约束的图像场景多对象标记方法
CN106845478A (zh) 一种字符置信度的二次车牌识别方法及装置
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN110516633B (zh) 一种基于深度学习的车道线检测方法及系统
CN103578119A (zh) 基于超像素的Codebook动态场景中目标检测方法
CN102968637A (zh) 一种复杂背景图像文字分割方法
CN112990065B (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN108009548A (zh) 一种智能路牌识别方法及系统
CN102332097B (zh) 一种基于图割的复杂背景文本图像分割方法
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN110717886A (zh) 复杂环境下基于机器视觉的路面坑塘检测方法
CN111582339A (zh) 一种基于深度学习的车辆检测与识别的方法
CN109993806A (zh) 一种颜色识别方法、装置及电子设备
CN104361357A (zh) 基于图片内容分析的相片集分类系统及分类方法
CN111753610A (zh) 天气识别方法及装置
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN111640116A (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN113313031A (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN110807485A (zh) 基于高分遥感影像二分类语义分割图融合成多分类语义图的方法
CN116129291A (zh) 一种面向无人机畜牧的图像目标识别方法及其装置
CN113743300A (zh) 基于语义分割的高分遥感图像云检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant