CN108062569B - 一种基于红外和雷达的无人车驾驶决策方法 - Google Patents

一种基于红外和雷达的无人车驾驶决策方法 Download PDF

Info

Publication number
CN108062569B
CN108062569B CN201711392380.8A CN201711392380A CN108062569B CN 108062569 B CN108062569 B CN 108062569B CN 201711392380 A CN201711392380 A CN 201711392380A CN 108062569 B CN108062569 B CN 108062569B
Authority
CN
China
Prior art keywords
neural network
image
radar
infrared
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711392380.8A
Other languages
English (en)
Other versions
CN108062569A (zh
Inventor
廖雁洲
孙韶媛
阮雨
李佳豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201711392380.8A priority Critical patent/CN108062569B/zh
Publication of CN108062569A publication Critical patent/CN108062569A/zh
Application granted granted Critical
Publication of CN108062569B publication Critical patent/CN108062569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于红外和雷达的无人车驾驶决策方法，通过载有红外摄像头和雷达的无人车在夜晚采集红外图像及雷达图像作为训练数据集，通过卷积‑反卷积神经网络，对原始红外图像进行深度估计，根据前方物体的距离给出速度决策。另一方面，将原始红外图像输入Alexnet网络训练得到车辆所处道路的相对位置，从而给出车辆的方向决策。本发明将无人车的方向决策与速度决策转化为深度学习的分类问题，并且把深度估计网络与分类网络相结合，在得到带有深度信息的图像基础上给出速度决策。此网络受场景约束小，准确率高，速度快。

Description

一种基于红外和雷达的无人车驾驶决策方法
技术领域
本发明涉及无人车驾驶技术领域，特别是涉及一种基于红外和雷达的无人车驾驶决策方法。
背景技术
很多的交通事故都来自于驾驶人员的主观因素，例如注意力不集中，疲劳驾驶等，数据显示，90％的事故都来自于驾驶员的自身的错误。在这种情况下，为了提高人们日常的生活效率及安全性能，甚至发掘潜在的军事价值，无人驾驶车辆的研究越来越受到重视与关注，同样也是各大民用汽车厂商的未来竞争领域。
由于无人车很多情况下需要在夜间或是光线不足的黑暗环境中行驶，红外摄像头就在此场景下起到了至关重要的作用。无人车导航需要获得的重要信息之一便是距离，而红外图像由于无色彩且纹理简单缺少深度信息，对红外图像进行深度估计能够得到深度信息，使红外图像能够得到的信息更加丰富。
针对彩色图像，Eigen等人(D.Eigen,C.Puhrsch,and R.Fergus.Depth mapprediction from a single image using a multi-scale deep network.[J]ComputerScience,2014:1406.2283)将深度学习应用在了图像的深度估计上，具体实施方法是通过多尺度的卷积深度网络实现的。而Liu Fayao(F.Liu,C.Shen,and G.Lin.Deepconvolutional neural fields for depth estimation from a single image[J].inProc.IEEE Conf.Computer Vision and Pattern Recognition,2015:5162-5170.)等将条件随机场带入了深度卷积网络，在缺少先验信息和知识的前提下，完成了估计。
目前国内外对于夜视图像的深度估计研究还不够深入，尚无较好的解决方法。席林等(Xi Lin，Sun Shao yuan,Li Linna,et al.Depth estimation from monocularinfrared images based on SVM model[J].laser&Infrared,2012,42(11):1311-1315.)采用支持向量机模型学习设定的图像特征。该模型能从整体上估计单目红外图像的深度信息，该方法的缺点是结果不太准确，计算慢。沈振一等(Shen Zhenyi,Sun Shao yuan,ZhaoHaitao.Three-Dimensional Reconstruction from Monocular Vehicular InfraredImage Based on PP-MRF Model[J].Journal of DongHua University(NaturalScience),2015(03):341-347.)采用马尔科夫场模型学习超像素面板参数和深度信息的关系，从而实现估计给定超像素深度信息，该方法的缺点是需要人工选取特征，无法挖掘图像深层特征信息。
在无人车的决策方面，Ross S等(Ross S,Melik-Barkhudarov N,Shankar K S,etal.Learning monocular reactive UAV control in cluttered natural environments[C]//IEEE International Conference on Robotics andAutomation.IEEE,2013:1765-1772.)根据人类飞行员的驾驶经验，不断的纠正决策，来作为后续迭代的输入，从而提高整体的预测表现。兰韵等(兰韵，刘万伟，董威等.无人驾驶汽车决策系统的规则描述与代码生成方法[J].计算机工程与科学，2015，37(8):1510-1516.)提出了基于UNMANNED_RULE_EDIT面向无人车高层决策系统的规则编辑与代码自动生成辅助工具，具有图形化编辑和代码自动生成的功能，有利于开发人员清晰直观地设计规则，并摆脱繁琐的编码工作。李旭等人基于视觉图像的道路信息检测方法，建立了一种智能型BP神经网络方向决策模型。传统的无人车决策大多根据传感器传回的数据进行处理后发出控制指令，但由于传感器的成本较高，动辄数百万人民币，导致无人车一直难以普及。
发明内容
本发明所要解决的技术问题是提供一种基于红外和雷达的无人车驾驶决策方法，能够节约成本，提高处理效率，并保证准确率。
本发明解决其技术问题所采用的技术方案是：提供一种基于红外和雷达的无人车驾驶决策方法，包括以下步骤：
(1)采集红外图像和雷达图像，构建夜视图像训练数据集和测试数据集；
(2)根据车辆状态和前方物体状态将所得到的图像进行分类；
(3)构建卷积-反卷积深度神经网络及Alexnet深度神经网络，并进行迭代训练，其中，所述卷积-反卷积深度神经网络用于将输入的原始图像提取特征，并将得到的特征图像与原始雷达图像尺寸相匹配；所述Alexnet深度神经网络使用卷积、池化、激活提取图像特征，最后利用Softmax结构将类别以概率形式进行输出；所述卷积-反卷积深度神经网络及Alexnet深度神经网络使用交叉熵函数作为整个网络的损失函数；
(4)将建立的卷积-反卷积深度神经网络及Alexnet深度神经网络用于在线实时的夜间无人车方向与速度决策，即将夜间无人车采集的图像输入卷积-反卷积深度神经网络及Alexnet深度神经网络，在线实时输出给出的方向决策建议及速度决策建议。
所述步骤(3)和步骤(4)之间还包括利用测试数据集的图像和样本文件测试训练出的卷积-反卷积深度神经网络及Alexnet深度神经网络，若不满足误差要求，则返回步骤(3)重新训练，直至满足误差要求为止。
所述步骤(2)中车辆状态包括五个状态。
所述步骤(2)中前方物体的状态包括四个状态。
所述步骤(3)中的卷积-反卷积深度神经网络对红外图像和雷达图像进行训练把深度估计问题转化为像素级分类问题，将雷达图像中的深度信息作为真实深度标签训练模型从而得到深度模型，再将原始图像通过深度模型得出需要的深度图像。
所述步骤(3)中的卷积-反卷积深度神经网络为去掉全连接层的VGG16神经网络，包含卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图；网络最后输出的特征图看作是从输入图像的所有位置上提取出来的特定特征；前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一个非线性激活函数。
所述步骤(3)中的Alexnet深度神经网络对深度图像进行训练分类，首先将Alexnet深度神经网络的链接层输出设置为所述前方物体状态的数量，并将训练标签设为车辆前方的物体距离划分，对于分类得到的物体距离给出不同的速度驾驶决策；其次再对原始红外图像进行分类，分类数量与所述车辆状态的数量相同，训练完成后，对输入的图像进行分类，从而得到车辆的相应行驶或静止状态；在得到车辆的状态后，根据车辆的相对状态给出方向驾驶决策。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过使用深度学习，将深度估计网络与分类网络进行结合，其次在得到深度信息的基础上进行分类把无人车的方向状态问题转化为分类角度问题，采用端到端的思想，提高了分类准确度，提高效率。并且网络适应范围广，不需要任何人工设计的特征，直接从原始图像上提取特征；同样不需要对场景做任何假设，即不需要引入语义信息，对场景的结构也没有约束。
附图说明
图1是本发明的总体网络结构图；
图2是卷积-反卷积网络训练流程图；
图3是Alexnet训练流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于红外和雷达的无人车驾驶决策方法，如图1所示，首先利用深度卷积-反卷积神经网络对红外图像和雷达图像进行训练把深度估计问题转化为像素级分类问题，从而得到深度模型，再将原始图像通过深度模型得出需要的深度图像。根据深度图像中提供的不同前方物体的深度信息，通过制作相应的训练标签，对深度图像进行分类，分类结果得到速度决策建议。而后利用原始红外图像训练方向分类模型，得到模型后输入原始图像，输出为方向分类决策。也就是说，本发明通过卷积-反卷积深度神经网络进行红外图像的深度估计，将雷达图像作为训练标签，红外图像作为训练图像。其次将带有深度信息的图像输入分类神经网络(Alexnet)进行训练，从而得到相应的速度决策模型。再将原始的红外图像输入到Alexnet分类网络，训练标签为5个具体的方向，最后得到方向分类模型，整体网络能够实时的、准确的给出方向与速度决策。具体步骤如下：
步骤1：构建夜视图像数据集即红外图像和雷达图像的准备工作，通过机器人或者无人车分别采集红外图像和雷达图像，而后将视频进行抽帧处理，并创建相应的文件夹类别
步骤2：将所得到的图像进行几个类别的分类，并把图像分配到相应的文件夹中，制作图像路径的txt文件用于后续训练的标签输入。根据车辆状态的5个状态类别及前方物体状态的4个类别分配文件。
步骤3：构建卷积-反卷积深度神经网络及Alexnet深度神经网络，迭代训练。利用步骤1和步骤2中准备的数据进行，通过深度卷积神经网络将输入的原始图像提取特征，反卷积神经网络将卷积得到的特征图像与原始雷达图像尺寸相匹配。Alexnet网络使用卷积、池化、激活提取图像特征，最后利用Softmax结构将类别以概率形式进行输出，使用交叉熵函数作为整个网络的损失函数。
如图2所示，卷积-反卷积深度神经网络训练流程是将雷达图像中的深度信息作为真实深度标签训练模型，从而得到深度估计模型，最后输入测试图像得到深度估计图像。
如图3所示，Alexnet深度神经网络训练流程是通过Alexnet深度神经网络对深度图像进行训练分类，首先对Alexnet深度神经网络的输出进行改动，因原始网络输出为1000个类别，故将链接层输出改为4。相应的训练标签为车辆前方的物体距离划分，对于分类得到的4类物体距离给出不同的四种速度驾驶决策。其次再对原始红外图像进行分类，分类标签为左60度、左30度、直行、右30度、右60度五大类，网络训练完成后，对输入的图像进行5大类的分类，从而得到汽车的相应行驶或静止状态。在得到状态后，可以根据车辆的相对状态给出方向驾驶决策。
步骤4：利用测试数据集的图像和样本文件测试步骤3训练出两种深度神经网络模型，若不满足误差要求，则返回步骤3重新训练，直至满足误差要求为止，得到符合精度要求的卷积神经网络模型；
步骤5：将步骤4建立两个卷积神经网络模型用于在线实时的夜间无人车方向与速度决策，即将夜间无人车采集的图像输入两个深度卷积神经网络，模型在线实时输出给出的方向决策建议及速度决策建议。
由此可见，本发明基于深度学习网络，将红外摄像头采集的夜间红外图像作为原始数据，雷达采集的雷达图像作为训练标签进行网络的训练。首次通过深度学习中分类的思想解决了无人车的方向和速度决策问题，并且将深度估计网络与分类网络相结合，不仅节约了成本，而且处理效率大大提高，准确率也能够得到保证。
下面通过一个具体的实施例来进一步说明本发明。
一种基于红外和雷达的无人车驾驶决策方法，包括如下步骤：
步骤1：构建夜视图像训练和测试数据集。采用实验室载有Flir红外摄像头和雷达的汽车自行采集实验图像，500张红外图像与500张雷达图像作为训练数据集，200张红外图像与雷达图像作为测试数据集，每张图像大小为360*120。对训练数据集和测试数据集的所有图像按规定重新命名，并制作训练数据集和测试数据集的图像名称列表。
步骤2：用Python编写路径程序，人工对所有训练和测试图像编写绝对路径，即将所有图像所存在的路径写出。并对图像所属类别分别存放至类别文件夹中，例如若车子在道路中的方向为直行，则将直行图像放入straight文件夹，作为同一类的标签。
步骤3：构建深度卷积-反卷积神经网络，利用步骤1得到的夜视图像数据集训练该深度卷积-反卷积神经网络，一个典型的卷积神经网络包含卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图。网络最后输出的特征图可以看作是从输入图像的所有位置上提取出来的特定特征。前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一个非线性激活函数。
本发明所采用的深度估计网络是去掉全连接层的VGG16神经网络，分类网络为Alexnet网络，该网络最早被应用于彩色图像分类，其中最后的分类结果为1000类，即输出的概率为1000个类别的概率。
假设图像X作为卷积神经网络的输入，卷积神经网络f包含L个阶段，可训练的卷积核参数为θf＝(W,b)，则输入X经过卷积神经网络f后的输出特征向量可表示为：
f(X,θf)＝nonl(WlHl-1+bl-1)
其中nonl(·)表示逐点的非线性激活函数，HL-1表示第L-1阶段的输出。将第l个阶段的输出表示为：
Hl＝pool(nonl(WlHl-1+bl)),l∈{1,...,L-1}
其中，HL为l层隐层单元的输出，Wl表示第l和第l-1阶段的连接矩阵，由卷积核的参数组成；bl为偏置参数向量；pool(·)表示在特征图上进行池化操作。上式的意义是，对于上一层的输出HL-1，经过卷积(Wl,bl)、非线性激活函数nonl(·)和空间池化pool(·)之后，最终得到该阶段的输出Hl。下采样层采用池化技术将小邻域内的特征点整合得到新特征，使得特征和参数减少，且池化单元具有平移不变性。最后一个卷积层有512个卷积核，所以特征图有512个，特征维度为512维，每个特征图大小约为4*12。
两种网络的损失函数皆为交叉熵损失函数，在深度估计网络中假设最后的类别a可以取k个不同的值，a∈{1,2,3,...,k}，
Figure BDA0001517799730000061
其中，w为可训练的参数，
Figure BDA0001517799730000062
表示预测像素点i属于a类别的概率，Fi表示样本，
Figure BDA0001517799730000063
表示模型参数。由上式可以得到预测类别与像素点实际所属类别的交叉熵L：
Figure BDA0001517799730000071
其中，ci,a表示实际上像素点i属于a类别的概率，
Figure BDA0001517799730000072
表示预测像素点i属于a类别的概率，k表示类别数，pixels表示所有的像素点，L表示损失值。而若雷达数据在像素点i标记为a类，则ci,a＝1，否则为0。
而在Alexnet分类模型中，上述损失函数有些许的改变，相对应的变量i为每个输入图像，而不是每个像素点，最后对输入网络的所有图像进行遍历。
步骤4：Alexnet实时获取待处理的大小为227×227×1的图像，将图像输入深度卷积神经网络后，得到大小为6×6×256的特征图。本实施例的深度卷积神经网络的详细配置如表1所示。
表1特征提取卷积层参数配置
输入 卷积核尺寸 步幅 输出大小
红外图像 - - 227×227×1
卷积层1 11×11 4 55×55×96
池化层1 3×3 2 27×27×96
卷积层2 5×5 1 27×27×256
池化层2 3×3 2 13×13×256
卷积层3 2×2 1 13×13×384
卷积层4 3×3 1 13×13×256
池化层4 3×3 2 6×6×256
(1)输入一幅227×227×1的夜视图像，通过卷积核大小为11×11的卷积层1，再经过池化层1，输出为55×55×96的特征图；
(2)将(1)中得到的特征图通过卷积核大小为3×3的卷积层2，再经过池化层2，输出为13×13×256的特征图；
(3)将(2)中得到的特征图通过卷积核大小为2×2的卷积层3，再经过池化层3，输出为13×13×384的特征图；
(4)将(3)中得到的特征图通过卷积核大小为3×3的卷积层，再经过池化层4，再经过池化层4，输出为6×6×256的特征图；
将得到的尺寸为6×6的256维特征图输入到三个全连接层，进而得到相应类别的概率，得到概率最大值的类别即为网络筛选出的判断类别。若得到的方向类别为左60度，则较大幅度向右侧转向；若为左30度，则相应右侧转向幅度稍小，以此类推。

Claims (6)

1.一种基于红外和雷达的无人车驾驶决策方法，其特征在于，包括以下步骤：
(1)采集红外图像和雷达图像，构建夜视图像训练数据集和测试数据集；
(2)根据车辆状态和前方物体状态将所得到的图像进行分类；
(3)构建卷积-反卷积深度神经网络及Alexnet深度神经网络，并进行迭代训练，其中，所述卷积-反卷积深度神经网络用于将输入的原始图像提取特征，并将得到的特征图像与原始雷达图像尺寸相匹配；所述Alexnet深度神经网络使用卷积、池化、激活提取图像特征，最后利用Softmax结构将类别以概率形式进行输出；所述卷积-反卷积深度神经网络及Alexnet深度神经网络使用交叉熵函数作为整个网络的损失函数；其中，Alexnet深度神经网络对深度图像进行训练分类时，首先将Alexnet深度神经网络的链接层输出设置为所述前方物体状态的数量，并将训练标签设为车辆前方的物体距离划分，对于分类得到的物体距离给出不同的速度驾驶决策；其次再对原始红外图像进行分类，分类数量与所述车辆状态的数量相同，训练完成后，对输入的图像进行分类，从而得到车辆的相应行驶或静止状态；在得到车辆的状态后，根据车辆的相对状态给出方向驾驶决策；
(4)将建立的卷积-反卷积深度神经网络及Alexnet深度神经网络用于在线实时的夜间无人车方向与速度决策，即将夜间无人车采集的图像输入卷积-反卷积深度神经网络及Alexnet深度神经网络，在线实时输出给出的方向决策建议及速度决策建议。
2.根据权利要求1所述的基于红外和雷达的无人车驾驶决策方法，其特征在于，所述步骤(3)和步骤(4)之间还包括利用测试数据集的图像和样本文件测试训练出的卷积-反卷积深度神经网络及Alexnet深度神经网络，若不满足误差要求，则返回步骤(3)重新训练，直至满足误差要求为止。
3.根据权利要求1所述的基于红外和雷达的无人车驾驶决策方法，其特征在于，所述步骤(2)中车辆状态包括五个状态。
4.根据权利要求1所述的基于红外和雷达的无人车驾驶决策方法，其特征在于，所述步骤(2)中前方物体的状态包括四个状态。
5.根据权利要求1所述的基于红外和雷达的无人车驾驶决策方法，其特征在于，所述步骤(3)中的卷积-反卷积深度神经网络对红外图像和雷达图像进行训练把深度估计问题转化为像素级分类问题，将雷达图像中的深度信息作为真实深度标签训练模型从而得到深度模型，再将原始图像通过深度模型得出需要的深度图像。
6.根据权利要求1所述的基于红外和雷达的无人车驾驶决策方法，其特征在于，所述步骤(3)中的卷积-反卷积深度神经网络为去掉全连接层的VGG16神经网络，包含卷积层、激励层和池化层多个阶段，每个阶段的输入和输出的数组集合叫特征图；网络最后输出的特征图看作是从输入图像的所有位置上提取出来的特定特征；前几个阶段是由卷积层和池化层组成的降采样过程，卷积层的单元被组织在特征图中，卷积层的单元通过一组滤波器连接到上一层的特征图中的一个局部块，然后这个局部的加权和被传递给一个非线性激活函数。
CN201711392380.8A 2017-12-21 2017-12-21 一种基于红外和雷达的无人车驾驶决策方法 Active CN108062569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711392380.8A CN108062569B (zh) 2017-12-21 2017-12-21 一种基于红外和雷达的无人车驾驶决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711392380.8A CN108062569B (zh) 2017-12-21 2017-12-21 一种基于红外和雷达的无人车驾驶决策方法

Publications (2)

Publication Number Publication Date
CN108062569A CN108062569A (zh) 2018-05-22
CN108062569B true CN108062569B (zh) 2020-10-27

Family

ID=62139565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711392380.8A Active CN108062569B (zh) 2017-12-21 2017-12-21 一种基于红外和雷达的无人车驾驶决策方法

Country Status (1)

Country Link
CN (1) CN108062569B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110824912B (zh) * 2018-08-08 2021-05-18 华为技术有限公司 训练用于生成自动驾驶策略的控制策略模型的方法和装置
CN110909564B (zh) * 2018-09-14 2023-02-28 北京四维图新科技股份有限公司 行人检测方法与装置
CN109800670A (zh) * 2018-12-28 2019-05-24 中国第一汽车股份有限公司 一种端到端的无人驾驶决策方法及系统
CN109885929B (zh) * 2019-02-19 2023-07-07 百度在线网络技术（北京）有限公司 自动驾驶决策规划数据复现方法及装置
CN110738251B (zh) * 2019-10-11 2023-11-28 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN111079533B (zh) * 2019-11-14 2023-04-07 深圳大学 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN111242044B (zh) * 2020-01-15 2022-06-28 东华大学 基于ConvLSTM双通道编码网络的夜间无人车场景预测方法
CN111126363B (zh) * 2020-03-30 2020-06-26 江苏广宇科技产业发展有限公司 自动驾驶车辆的物体识别方法及装置
CN112307899A (zh) * 2020-09-27 2021-02-02 中国科学院宁波材料技术与工程研究所 一种基于深度学习的面部姿态检测与矫正方法及系统
CN112699747A (zh) * 2020-12-21 2021-04-23 北京百度网讯科技有限公司 用于确定车辆状态的方法、装置、路侧设备和云控平台
CN114581560B (zh) * 2022-03-01 2024-04-16 西安交通大学 基于注意力机制的多尺度神经网络红外图像彩色化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700159A (zh) * 2013-12-23 2014-04-02 浙江树人大学 车辆驾驶信息采集、处理和通信系统
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法
CN106384542A (zh) * 2016-09-12 2017-02-08 华东师范大学 一种基于卫星导航系统的移动设备管控方法
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN106981080A (zh) * 2017-02-24 2017-07-25 东华大学 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN107392189A (zh) * 2017-09-05 2017-11-24 百度在线网络技术（北京）有限公司 用于确定无人车的驾驶行为的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983836B2 (en) * 1997-10-22 2011-07-19 Intelligent Technologies International, Inc. Vehicle-traffic control device communication techniques

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700159A (zh) * 2013-12-23 2014-04-02 浙江树人大学 车辆驾驶信息采集、处理和通信系统
CN107368890A (zh) * 2016-05-11 2017-11-21 Tcl集团股份有限公司 一种以视觉为中心的基于深度学习的路况分析方法及系统
CN106199558A (zh) * 2016-08-18 2016-12-07 宁波傲视智绘光电科技有限公司 障碍物快速检测方法
CN106384542A (zh) * 2016-09-12 2017-02-08 华东师范大学 一种基于卫星导航系统的移动设备管控方法
CN106650690A (zh) * 2016-12-30 2017-05-10 东华大学 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN106981080A (zh) * 2017-02-24 2017-07-25 东华大学 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN107392189A (zh) * 2017-09-05 2017-11-24 百度在线网络技术（北京）有限公司 用于确定无人车的驾驶行为的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Neural Network Based Path Planning for A Multi-Robot System with Moving Obstacles;Howard Li 等;《IEEE Conference on Automation Science and Engineering》;20080826;第163-168页 *
基于区域特征的目标跟踪算法研究;刘晴;《中国博士学位论文全文数据库 信息科技辑》;20150415;第2015年卷(第04期);第1章 *
基于深度学习的无人车夜视图像语义分割;高凯珺 等;《应用光学》;20170531;第38卷(第3期);第421-428页 *

Also Published As

Publication number Publication date
CN108062569A (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
CN108062569B (zh) 一种基于红外和雷达的无人车驾驶决策方法
CN110163187B (zh) 基于f-rcnn的远距离交通标志检测识别方法
CN106599773B (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
Neubert et al. Superpixel-based appearance change prediction for long-term navigation across seasons
CN104517103A (zh) 一种基于深度神经网络的交通标志分类方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN111862126A (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN111860269B (zh) 一种多特征融合的串联rnn结构及行人预测方法
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN111178316A (zh) 一种基于深度架构自动搜索的高分辨率遥感影像土地覆盖分类方法
CN113902915A (zh) 一种基于低光照复杂道路场景下的语义分割方法及系统
CN113095152B (zh) 一种基于回归的车道线检测方法及系统
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
Manssor et al. Real-time human detection in thermal infrared imaging at night using enhanced Tiny-yolov3 network
Cao et al. MCS-YOLO: A multiscale object detection method for autonomous driving road environment recognition
CN112949407A (zh) 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法
CN110969182A (zh) 基于农田图像的卷积神经网络构建方法及其系统
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
Luo et al. Dense-tnt: Efficient vehicle type classification neural network using satellite imagery
Sun et al. RobNet: real-time road-object 3D point cloud segmentation based on SqueezeNet and cyclic CRF
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN116486238B (zh) 联合点集表示与图分类的目标细粒度识别方法
CN112668421A (zh) 一种基于注意力机制的无人机高光谱农作物快速分类方法
Schenkel et al. Domain adaptation for semantic segmentation using convolutional neural networks
CN116630702A (zh) 一种基于语义分割网络的路面附着系数预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant