CN108182428A - 前车状态识别和车辆跟随的方法 - Google Patents

前车状态识别和车辆跟随的方法 Download PDF

Info

Publication number
CN108182428A
CN108182428A CN201810094174.7A CN201810094174A CN108182428A CN 108182428 A CN108182428 A CN 108182428A CN 201810094174 A CN201810094174 A CN 201810094174A CN 108182428 A CN108182428 A CN 108182428A
Authority
CN
China
Prior art keywords
front truck
image
depth
neural networks
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810094174.7A
Other languages
English (en)
Inventor
黄立勤
周必书
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201810094174.7A priority Critical patent/CN108182428A/zh
Publication of CN108182428A publication Critical patent/CN108182428A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出一种前车状态识别和车辆跟随的方法，本发明使用深度卷积神经网络，自动学习出邻近同向行驶的汽车的行为，预测出该汽车的动作，使得当前汽车跟随着前一辆汽车的技术方案。本提案的过程就是使用深度卷积神经网络进行实时的车辆检测，同时分类出汽车的行驶行为，并且在加入激光雷达测量的深度数据后，学习出前方车辆的位置和相对距离，在得到了前方车辆的位置、相对距离、行驶行为之后控制当前车辆进行跟随。

Description

前车状态识别和车辆跟随的方法
技术领域
本发明属于智能驾驶技术领域，尤其涉及一种基于深度卷积神经网络的前车状态识别和车辆跟随的方法。
背景技术
现有的跟随技术多数是用在机器人领域，实现机器人跟随人的移动，这需要知道人的位置、机器人的位置、识别行人，这些都是基于GPS等技术获得目标位置和主视位置，按照相对位置不改变的原理实现的机器人跟随行人。这种情况下，是用到了GPS技术知道了目标和跟随者两者的位置，目标一般是操作者行人，跟随者一般是机器人或者无人机，这里有两种方案可以实现，第一种是在跟随者和目标上都装有GPS定位装置，用GPS定位装置定位出物体所在世界坐标，两者的世界坐标信息相互共享，跟随者先确定自己在世界坐标的位置，然后通过接收到的目标的世界坐标，根据操作者定制的规则，始终保持目标和跟随者的世界坐标在一定范围内，目标移动到哪跟随者就移动到相应位置；第二种是目标和跟随者中有一方装有GPS定位装置，两者用无线信号连接，可以相互通信，通过无线信号的定位，确定两者之间的相互距离，同样根据操作者定制的规则，始终保持两者之间的距离范围。
现有技术有局限和缺点如下：
1. 目标和跟随者通过相互通信确定两者之间的距离，如果目标和跟随者之间是无关联的，且不能相互通信的，则无法确定两者之间的距离，无法实现跟随过程。
2. 目标和跟随者两者之间是根据世界坐标或者无线信号确定的坐标，计算的是世界坐标的直线距离，所以两者之间的跟随过程是要在直线行走且无障碍物的基础上才能很好的执行。
发明内容
为了解决现有技术存在的空白和不足，本发明使用深度卷积神经网络，自动学习出邻近同向行驶的汽车的行为，预测出该汽车的动作，使得当前汽车跟随着前一辆汽车的技术方案。本提案的过程就是使用深度卷积神经网络进行实时的车辆检测，同时分类出汽车的行驶行为，并且在加入激光雷达测量的深度数据后，学习出前方车辆的位置和相对距离，在得到了前方车辆的位置、相对距离、行驶行为之后控制当前车辆进行跟随。
具体采用以下技术方案：
一种前车状态识别方法，其特征在于，包括以下步骤：
步骤A1：将按时间顺序排列的多组相匹配的前车图像和前车深度信息融合成为图像-深度序列；
步骤A2：将图像-深度序列中的图像色彩信息作为RGB值，图像像素深度信息作为D值输入深度卷积神经网络（RGBD-CNN），进行深度卷积神经网络训练；
步骤A3：通过softmax分类器回归获得图像-深度序列对应的前车行驶状态特征值；
步骤A4：重复执行步骤A1-A3，并通过反向传播算法调整深度卷积神经网络的参数，直至能够分辨不同类型前车行驶状态，完成深度卷积神经网络的训练；
步骤A5：通过设置在车辆上的摄像头获取按时间顺序排列的前车图像，构成前车图像序列；通过设置在车辆上的，与摄像头视场匹配的激光扫描雷达获取与前车图像对应的，按时间顺序排列的前车图像像素深度信息，构成前车图像像素深度序列；将前车图像和对应的图像像素深度信息融合成为前车深度图像，则前车图像序列和前车图像像素深度序列合并构成实测图像-深度序列；
步骤A6：将实测图像-深度序列代入步骤A4获得的完成训练的深度卷积神经网络，获得实测前车状态信息。
优选地，所述深度卷积神经网络在输入图像-深度序列之后，通过输出层的softmax分类器输出结果之前，连续形成多个卷积层，每个卷积层依次执行卷积计算、Relu激活函数计算和池化计算。
优选地，如步骤A1获得的前车图像分辨率高于卷积神经网络输入层分辨率，则通过高斯差分法进行下采样的预处理；如步骤A1获得的前车图像分辨率低于卷积神经网络输入层分辨率，则通过双线性插值法进行上采样的预处理。
优选地，所述卷积计算的过程为：
其中W为卷积核参数；为卷积层的层数；X为带有深度信息的图像经过个卷积层处理后获得的输出值。
优选地，步骤A3中softmax分类器的表达式为：
其中，为前车行驶状态特征值，K为前车行驶状态类别。
优选地，步骤A1中摄像头直接获取的是前车视频，采用FFmpeg库转化为图像，根据激光扫描雷达某一时刻获取的前车深度点云信息的排布，将转化后的对应时刻的图像像素化，从而融合成为前车深度图像。
以及，根据前车状态识别方法获得的车辆跟随方法，其特征在于：步骤A6之后还包括步骤A7：设置有摄像头和激光扫描雷达的后车根据获得实测前车状态信息执行与前车状态相同的操作，完成对前车的跟随。
优选地，激光扫描雷达获取的实时前车相对距离用于实现对前车跟随时的距离保持。
本发明及优选方案所要解决的技术问题为：
1. 设计一种不需要目标和跟随者之间进行相互的通信，目标的位置信息不需要发给跟随者，跟随者不需要事先知道目标的精确位置的跟随方案，仅通过算法分析，跟随者计算出目标的信息。
2. 本提案要设计一个合理的深度卷积神经网络结构，使得能够完成实时视频车辆检测、行驶行为分类，同时网络要能融合图像信息和激光雷达的深度信息，精确定位前向车辆的位置信息和相对距离。
本发明相对于现有技术的优势在于：
1.可以实现将跟随系统设计在车辆上，通过对前车状态的实时识别，起到辅助驾驶的作用。
2.本发明方案不需要预先知道目标的具体信息，而是根据车载摄像头拍摄到的视频图像分析出目标的位置。
3.本发明方案中的深度卷积神经网络可以实现端到端的训练，设计完成后，加入数据就可以训练模型，操作复杂度低，网络分析信息的准确率高。
4.在预处理阶段，可以接受多种视频格式，产生相同的RBG编码的图像序列，图像分辨率不在网络输入层范围的，都会进过上采样或下采样处理达到输入要求。
5.取消在卷积神经网络中常用的全连接层，可以在达到更好训练效果的前提下减少参数数量，降低了的复杂程度。
6.当前车被部分遮挡时，本发明方案也能够有很好的识别率，鲁棒性强。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
图1是本发明实施例方法总体流程示意图；
图2是本发明实施例中对采集图像进行上采样或下采样的示意图；
图3是本发明实施例中深度卷积神经网络训练过程示意图；
图4是本发明实施例中隐含层和输出层结构示意图。
具体实施方式
为让本专利的特征和优点能更明显易懂，下文特举实施例，作详细说明如下：
如图1所示，本发明实施例包括以下步骤：
步骤A1：将按时间顺序排列的多组相匹配的前车图像和前车深度信息融合成为图像-深度序列；该序列中每一图像均包含RGB彩色信息和每一像素点的深度（与测试点的相对距离）信息；
步骤A2：将图像-深度序列中的图像色彩信息作为RGB值，图像像素深度信息作为D值输入深度卷积神经网络（RGBD-CNN），进行深度卷积神经网络训练；在深度卷积神经网络中，RGB值和D值完成融合，从而生成带有深度信息的特征值信息；
步骤A3：通过softmax分类器回归获得图像-深度序列对应的前车行驶状态特征值；
步骤A4：重复执行步骤A1-A3，并通过反向传播算法调整深度卷积神经网络的参数，直至能够分辨不同类型前车行驶状态，完成深度卷积神经网络的训练；其中反向传播算法也是CNN训练中的常规参数调整方法；
步骤A5：通过设置在车辆上的摄像头获取按时间顺序排列的前车图像，构成前车图像序列；通过设置在车辆上的，与摄像头视场匹配的激光扫描雷达获取与前车图像对应的，按时间顺序排列的前车图像像素深度信息，构成前车图像像素深度序列；将前车图像和对应的图像像素深度信息融合成为前车深度图像，则前车图像序列和前车图像像素深度序列合并构成实测图像-深度序列；
本实施例中采用的激光雷达的深度测量范围可达1千米以上，精度高，能够符合各种应用场景下前车深度信息的测量要求。
步骤A6：将实测图像-深度序列代入步骤A4获得的完成训练的深度卷积神经网络，获得实测前车状态信息。
其中，如图3、图4所示深度卷积神经网络在输入图像-深度序列之后，通过输出层的softmax分类器输出结果之前，连续形成多个卷积层构成的隐含层，每个卷积层依次执行卷积计算、Relu激活函数计算和池化计算。卷积层的数量可根据训练时CNN网络的效果来增加或者减少。
特别地，在本实施例中，取消在卷积神经网络中常用的全连接层，可以在达到更好训练效果的前提下减少参数数量，降低了的复杂程度。
如图3所示，具体地，卷积计算的过程为：
其中W为卷积核参数；为卷积层的层数；X为带有深度信息的图像经过个卷积层处理后获得的输出值。
特征神经元即为卷积神经网络中计算的基本单元。
步骤A3中softmax分类器的表达式为：
其中，为前车行驶状态特征值，K为前车行驶状态类别。
如图2所示，如步骤A1获得的前车图像分辨率高于卷积神经网络输入层分辨率，则通过高斯差分法进行下采样的预处理；如步骤A1获得的前车图像分辨率低于卷积神经网络输入层分辨率，则通过双线性插值法进行上采样的预处理。以达到采集视频与深度卷积神经网络分辨率的适配。
步骤A1中摄像头直接获取的是前车视频，采用FFmpeg库转化为图像，以实现对拍摄的视频编码格式的多样化支持，例如AVI、MKV、MPEG、MP4等格式；并根据激光扫描雷达某一时刻获取的前车深度点云信息的排布，将转化后的对应时刻的图像像素化，从而融合成为前车深度图像。
在本实施例中，根据前车状态识别方法获得的车辆跟随方法，其特征在于：步骤A6之后还包括步骤A7：设置有摄像头和激光扫描雷达的后车根据获得实测前车状态信息执行与前车状态相同的操作，完成对前车的跟随。
激光扫描雷达获取的实时前车相对距离用于实现对前车跟随时的距离保持，包括与前车之间的实时距离、前车的加速减速状态、停车状态等。
本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的基于深度卷积神经网络的前车状态识别和车辆跟随的方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (8)

1.一种前车状态识别方法，其特征在于，包括以下步骤：
步骤A1：将按时间顺序排列的多组相匹配的前车图像和前车深度信息融合成为图像-深度序列；
步骤A2：将图像-深度序列中的图像色彩信息作为RGB值，图像像素深度信息作为D值输入深度卷积神经网络（RGBD-CNN），进行深度卷积神经网络训练；
步骤A3：通过softmax分类器回归获得图像-深度序列对应的前车行驶状态特征值；
步骤A4：重复执行步骤A1-A3，并通过反向传播算法调整深度卷积神经网络的参数，直至能够分辨不同类型前车行驶状态，完成深度卷积神经网络的训练；
步骤A5：通过设置在车辆上的摄像头获取按时间顺序排列的前车图像，构成前车图像序列；通过设置在车辆上的，与摄像头视场匹配的激光扫描雷达获取与前车图像对应的，按时间顺序排列的前车图像像素深度信息，构成前车图像像素深度序列；将前车图像和对应的图像像素深度信息融合成为前车深度图像，则前车图像序列和前车图像像素深度序列合并构成实测图像-深度序列；
步骤A6：将实测图像-深度序列代入步骤A4获得的完成训练的深度卷积神经网络，获得实测前车状态信息。
2.根据权利要求1所述的前车状态识别方法，其特征在于：所述深度卷积神经网络在输入图像-深度序列之后，通过输出层的softmax分类器输出结果之前，连续形成多个卷积层，每个卷积层依次执行卷积计算、Relu激活函数计算和池化计算。
3.根据权利要求1所述的前车状态识别方法，其特征在于：如步骤A1获得的前车图像分辨率高于卷积神经网络输入层分辨率，则通过高斯差分法进行下采样的预处理；如步骤A1获得的前车图像分辨率低于卷积神经网络输入层分辨率，则通过双线性插值法进行上采样的预处理。
4.根据权利要求2所述的前车状态识别方法，其特征在于，所述卷积计算的过程为：
其中W为卷积核参数；为卷积层的层数；X为带有深度信息的图像经过个卷积层处理后获得的输出值。
5.根据权利要求1所述的前车状态识别方法，其特征在于：步骤A3中softmax分类器的表达式为：
其中，为前车行驶状态特征值，K为前车行驶状态类别。
6.根据权利要求1所述的前车状态识别方法，其特征在于：步骤A1中摄像头直接获取的是前车视频，采用FFmpeg库转化为图像，根据激光扫描雷达某一时刻获取的前车深度点云信息的排布，将转化后的对应时刻的图像像素化，从而融合成为前车深度图像。
7.根据权利要求1所述前车状态识别方法获得的车辆跟随方法，其特征在于：步骤A6之后还包括步骤A7：设置有摄像头和激光扫描雷达的后车根据获得实测前车状态信息执行与前车状态相同的操作，完成对前车的跟随。
8.根据权利要求7所述的车辆跟随方法，其特征在于：激光扫描雷达获取的实时前车相对距离用于实现对前车跟随时的距离保持。
CN201810094174.7A 2018-01-31 2018-01-31 前车状态识别和车辆跟随的方法 Pending CN108182428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810094174.7A CN108182428A (zh) 2018-01-31 2018-01-31 前车状态识别和车辆跟随的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810094174.7A CN108182428A (zh) 2018-01-31 2018-01-31 前车状态识别和车辆跟随的方法

Publications (1)

Publication Number Publication Date
CN108182428A true CN108182428A (zh) 2018-06-19

Family

ID=62551699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810094174.7A Pending CN108182428A (zh) 2018-01-31 2018-01-31 前车状态识别和车辆跟随的方法

Country Status (1)

Country Link
CN (1) CN108182428A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146810A (zh) * 2018-08-08 2019-01-04 国网浙江省电力有限公司信息通信分公司 一种基于端到端深度学习的图像去雾方法
CN110097785A (zh) * 2019-05-30 2019-08-06 长安大学 一种前车切入或紧急换道识别预警装置及预警方法
CN111580526A (zh) * 2020-05-27 2020-08-25 多伦科技股份有限公司 面向固定车辆编队场景的协同驾驶方法
US20220165067A1 (en) * 2020-11-23 2022-05-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method, system and computer program product for detecting movements of the vehicle body in the case of a motor vehicle

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105975915A (zh) * 2016-04-28 2016-09-28 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法
CN106056102A (zh) * 2016-07-01 2016-10-26 哈尔滨工业大学 基于视频图像分析的道路车型分类方法
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN106385575A (zh) * 2016-09-30 2017-02-08 海信集团有限公司 一种投影图像处理方法、装置及投影显示系统
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN107145853A (zh) * 2017-04-28 2017-09-08 深圳市唯特视科技有限公司 一种基于全卷积网络的场景图像文本建议方法
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN103888689A (zh) * 2014-03-13 2014-06-25 北京智谷睿拓技术服务有限公司 图像采集方法及图像采集装置
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
CN105184271A (zh) * 2015-09-18 2015-12-23 苏州派瑞雷尔智能科技有限公司 一种基于深度学习的车辆自动检测方法
CN105975915A (zh) * 2016-04-28 2016-09-28 大连理工大学 一种基于多任务卷积神经网络的前方车辆参数识别方法
CN106056102A (zh) * 2016-07-01 2016-10-26 哈尔滨工业大学 基于视频图像分析的道路车型分类方法
CN106385575A (zh) * 2016-09-30 2017-02-08 海信集团有限公司 一种投影图像处理方法、装置及投影显示系统
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN106709568A (zh) * 2016-12-16 2017-05-24 北京工业大学 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN107145853A (zh) * 2017-04-28 2017-09-08 深圳市唯特视科技有限公司 一种基于全卷积网络的场景图像文本建议方法
CN107153519A (zh) * 2017-04-28 2017-09-12 北京七鑫易维信息技术有限公司 图像传输方法、图像显示方法以及图像处理装置
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法
CN107578436A (zh) * 2017-08-02 2018-01-12 南京邮电大学 一种基于全卷积神经网络fcn的单目图像深度估计方法
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN107609522A (zh) * 2017-09-19 2018-01-19 东华大学 一种基于激光雷达和机器视觉的信息融合车辆检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIQIN HUANG ET AL.: "Adaptive registration algorithm of color images based on SURF", 《MEASUREMENT》 *
黄立勤等: "全景图拼接中图像融合算法的研究", 《电子与信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146810A (zh) * 2018-08-08 2019-01-04 国网浙江省电力有限公司信息通信分公司 一种基于端到端深度学习的图像去雾方法
CN110097785A (zh) * 2019-05-30 2019-08-06 长安大学 一种前车切入或紧急换道识别预警装置及预警方法
CN111580526A (zh) * 2020-05-27 2020-08-25 多伦科技股份有限公司 面向固定车辆编队场景的协同驾驶方法
CN111580526B (zh) * 2020-05-27 2022-11-22 多伦科技股份有限公司 面向固定车辆编队场景的协同驾驶方法
US20220165067A1 (en) * 2020-11-23 2022-05-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method, system and computer program product for detecting movements of the vehicle body in the case of a motor vehicle

Similar Documents

Publication Publication Date Title
US11593950B2 (en) System and method for movement detection
CN110531753B (zh) 自主车辆的控制系统、控制方法和控制器
CN112912920B (zh) 用于2d卷积神经网络的点云数据转换方法和系统
CN107576960B (zh) 视觉雷达时空信息融合的目标检测方法及系统
CN108182428A (zh) 前车状态识别和车辆跟随的方法
CN106462968B (zh) 用于校准机动车的摄影机系统的方法和装置
CN107792069B (zh) 车辆的行驶控制装置
CN110163904A (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
CN110745140B (zh) 一种基于连续图像约束位姿估计的车辆换道预警方法
US10552982B2 (en) Method for automatically establishing extrinsic parameters of a camera of a vehicle
CN107577996A (zh) 一种车辆驾驶路径偏移的识别方法及系统
CN107609486A (zh) 一种车辆前向防撞预警方法及系统
CN112731925B (zh) 用于无人驾驶方程式赛车锥桶识别和路径规划及控制方法
CN111442776A (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
CN107590438A (zh) 一种智能辅助驾驶方法及系统
CN112101128B (zh) 一种基于多传感器信息融合的无人方程式赛车感知规划方法
CN110979321A (zh) 一种用于无人驾驶车辆的障碍物躲避方法
CN111142091B (zh) 一种融合车载信息的自动驾驶系统激光雷达在线标定方法
CN110531376A (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN107798305A (zh) 检测车道标记
CN111986128A (zh) 偏心图像融合
CN109583312A (zh) 车道线识别方法、装置、设备及存储介质
CN105590087B (zh) 一种道路识别方法及装置
Jun et al. Autonomous driving system design for formula student driverless racecar
US20200097005A1 (en) Object detection device, object detection method, and vehicle controller

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180619

RJ01 Rejection of invention patent application after publication