CN110058264A - 一种基于深度学习的实时检测及识别障碍物的方法 - Google Patents

一种基于深度学习的实时检测及识别障碍物的方法 Download PDF

Info

Publication number
CN110058264A
CN110058264A CN201910322027.5A CN201910322027A CN110058264A CN 110058264 A CN110058264 A CN 110058264A CN 201910322027 A CN201910322027 A CN 201910322027A CN 110058264 A CN110058264 A CN 110058264A
Authority
CN
China
Prior art keywords
network
deep learning
real
data
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910322027.5A
Other languages
English (en)
Inventor
彭育辉
郑玮鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910322027.5A priority Critical patent/CN110058264A/zh
Publication of CN110058264A publication Critical patent/CN110058264A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及计算机识别技术领域，具体涉及一种基于深度学习的实时检测及识别障碍物的方法。本发明的是通过以下技术方案得以实现的：一种基于深度学习的实时检测及识别障碍物的方法，包含以下步骤：车辆硬件安装步骤；数据采集步骤；数据导入步骤；识别操作步骤。本发明的目的是提供一种基于深度学习的实时检测及识别障碍物的方法，收集大量实车收集且带标签的数据集，对检测和识别提供了精确的判断依据，识别精准。

Description

一种基于深度学习的实时检测及识别障碍物的方法
技术领域
本发明涉及计算机识别技术领域，具体涉及一种基于深度学习的实时检测及识别障碍物的方法。
背景技术
随着人们生活水平的提高，汽车作为常用的代步工具，已经成为了生活必需品之一。在信息行业和智能领域的发展和探索下，汽车的智能化得到了迅速发展。其中，汽车的无人驾驶技术是该领域的重点研究方向。
在汽车无人驾驶技术中，检测及识别汽车前进方向的障碍物，是汽车无人驾驶面临的的关键技术问题。已有的技术方案是使用相机拍摄前方的物体，对图片进行处理检测障碍物，或者联合超声波雷达及毫米波雷达，进行数据融合，来判断前方的障碍物。但是这样的技术方案存在着若干缺陷，一方面，存在着识别延时，实时性低；另一方面，识别效果并不理想，输出结果稳定性差；最后，检测范围及距离受到相机等设备的限制。
发明内容
本发明的目的是提供一种基于深度学习的实时检测及识别障碍物的方法，收集大量实车收集且带标签的数据集，对检测和识别提供了精确的判断依据，识别精准。
本发明的上述技术目的是通过以下技术方案得以实现的：一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：包含以下步骤：
车辆硬件安装步骤：在目标车辆上安装激光雷达；
数据采集步骤：收集到激光雷达收集到的物体信息和与之对应的标签信息作为选择数据；
深度学习网络模型构建步骤：在该步骤中，构建深度学习网络模型；
数据导入步骤：将所述选择数据导入到所述深度学习网络模型，运行所述深度学习网络模型；
识别操作步骤：控制所述目标车辆运行，将所述目标车辆上的激光雷达反馈数据作为输入数据，输入到所述深度学习网络模型中，对路面信息进行实时检测及识别。
作为本发明的优选，所述深度学习网络模型包括依次连接的特征学习网络、中间层网络和区域建议网络；所述的特征学习网络，是深度学习网络模型的前端，用于学习障碍物特征信息；所述中间层网络包含三个网络层，用于提取特征信息并作为下一步的输入；所述区域建议网络，是深度学习网络模型的末端，用于学习障碍物抽象特征信息。
作为本发明的优选，所述的特征学习网络包括点云数据的分组、特征编码及稀疏张量表示，所述点云数据的分组是将输入点云数据按照指定的三维规格进行剪裁分组；所述点云数据特征编码是将分组后的每个数据组输入全连接层进行特征提取，再经过最大池化层，提取出每个分组内的特征表示；所述稀疏张量表示是将上一步提取的特征表示，整合成一个四维的张量形式。
作为本发明的优选，所述点云数据特征编码，包括三个全连接层和一个最大池化层；所述全连接层是对每个元素的特征表示；所述最大池化层是对每组元素特征表示的局部聚合。
作为本发明的优选，所述中间层网络，包括一个卷积层和一个非线性层，用于进一步的特征提取和对下一步学习网络的输入表示。
作为本发明的优选，所述区域建议网络是改进后不同于普通的目标检测的网络框架；所述区域建议网络包括三个全卷积网络层。
作为本发明的优选，所述区域建议网络包括三个全卷积网络层，第一个全卷积网络层包含批规范化层和非线性层；第二个全卷积网络层有一个最大池化层和三个卷积层；第三个全卷积网络层有五个卷积层和一个非线性层。
作为本发明的优选，所述数据采集步骤中采集到的所述选择数据包含带标签信息的数据集，所述带标签信息的数据集为实车采集的行车障碍物，包括车辆，行人，树木。
作为本发明的优选，在所述数据导入步骤后，在所述识别操作步骤前，还包含模型微调步骤，在该步骤中，用户对模型中的参数权重和模型结构进行调整。
综上所述，本发明具有如下有益效果：
1、本发明应用大量实车收集且带标签的数据集，对车辆实时检测及识别障碍物上提供了更为精确的判断依据，模型的精确度高。
2、本发明使用数据进行了预训练、微调等工作，避免了模型初期训练权值参数的随机初始化而导致的精度问题。
3、本发明使用了端到端的网络模型，使得模型更智能，能主动学习数据的分布特征。
4、本发明应用特征学习网络，针对一定范围内的输入数据量，都可以统一编码特征，使得网络应用的广度得到保证。
具体实施方式：
以下对本发明作进一步详细说明。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
实施例1，在目标车辆上安装激光雷达，在车辆行驶过程中，激光雷达可以实时反馈激光雷达所探测到的雷达数据流，数据一般为bin的二进制数据。
数据采集步骤，在该步骤中，收集到所有后期放入学习网络模型中的数据，具体的，数据来源于激光雷达公开数据库。此数据库在现有技术中为公开数据库，本领域技术人员可以获取该资源。数据库中的数据包含三维标注物体信息和与之对应的标签信息。三维标注物体信息数据格式一般为bin的二进制数据，而与之对应的标签信息为txt文本，包括不同车辆，不同行人，不同树木等障碍物。这个数据库中的数据截取部分，后期导入到深度学习网络模型中，数据导入的比例可以在35%-45%之间，如选择40%的数据导入。
深度学习网络模型构建步骤，深度学习网络模型包括依次连接的特征学习网络、中间层网络和区域建议网络。
特征学习网络，是深度学习网络模型的前端，用于学习障碍物特征信息；中间层网络是由三个网络层构成，用于提取特征信息并作为下一步的输入；区域建议网络，是深度学习网络模型的末端，用于学习障碍物抽象特征信息。因数据的复杂程度 ，为了保证准确度而适当地增加网络框架，分层训练，以到达检测及识别效果，故而设计特征学习网络、中间层网络和区域建议网络。
特征学习网络包括点云数据的分组、特征编码及稀疏张量表示。其中，点云数据的分组是将输入点云数据按照一定的三维规格进行剪裁分组；点云数据特征编码是将分组后的每个数据组输入全连接层进行特征提取，再经过最大池化层，提取出每个分组内的特征表示；稀疏张量表示是将上一步提取的特征表示，整合成一个四维的张量形式。点云数据特征编码，包括三个全连接层和一个最大池化层；全连接层是对每个元素的特征表示；最大池化层是对每组元素特征表示的局部聚合。
中间层网络，包括一个卷积层和一个非线性层，用于进一步的特征提取和对下一步学习网络的输入表示。
区域建议网络是改进后不同于普通的目标检测的网络框架；区域建议网络包括三个全卷积网络层。其中，第一个全卷积网络层有三个卷积层，一个批规范化层和一个非线性层；第二个全卷积网络层有五个卷积层，一个批规范化层和一个非线性层；第三个全卷积网络层有五个卷积层，一个批规范化层和一个非线性层。
至此，本实施例的深度学习网络模型构建完成。
随后，数据导入步骤，将上文中提到的数据采集步骤中选择的部分数据导入到已经构建好的深度学习网络模型中。
运行后，由工程人员进行深度学习网络模型的微调，得到合适的模型。深度学习网络模型的微调，针对预训练得到的参数权重和模型结构，根据一定的经验进行微调，得到更佳的识别效果。
此后，车辆行驶，开启激光雷达，收集倒实时的激光雷达反馈数据，将该反馈数据作为输入数据输入深度学习网络中进行检测和识别，检测并识别实车前方的障碍物。

Claims (9)

1.一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：包含以下步骤：车辆硬件安装步骤：在目标车辆上安装激光雷达； 数据采集步骤：收集到激光雷达收集到的物体信息和与之对应的标签信息作为选择数据； 深度学习网络模型构建步骤：在该步骤中，构建深度学习网络模型； 数据导入步骤：将所述选择数据导入到所述深度学习网络模型，运行所述深度学习网络模型； 识别操作步骤：控制所述目标车辆运行，将所述目标车辆上的激光雷达反馈数据作为输入数据，输入到所述深度学习网络模型中，对路面信息进行实时检测及识别。
2.根据权利要求1所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述深度学习网络模型包括依次连接的特征学习网络、中间层网络和区域建议网络；所述的特征学习网络，是深度学习网络模型的前端，用于学习障碍物特征信息；所述中间层网络包含三个网络层，用于提取特征信息并作为下一步的输入；所述区域建议网络，是深度学习网络模型的末端，用于学习障碍物抽象特征信息。
3.根据权利要求2所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述的特征学习网络包括点云数据的分组、特征编码及稀疏张量表示，所述点云数据的分组是将输入点云数据按照指定的三维规格进行剪裁分组；所述点云数据特征编码是将分组后的每个数据组输入全连接层进行特征提取，再经过最大池化层，提取出每个分组内的特征表示；所述稀疏张量表示是将上一步提取的特征表示，整合成一个四维的张量形式。
4.根据权利要求3所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述点云数据特征编码，包括三个全连接层和一个最大池化层；所述全连接层是对每个元素的特征表示；所述最大池化层是对每组元素特征表示的局部聚合。
5.根据权利要求2所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述中间层网络，包括一个卷积层和一个非线性层，用于进一步的特征提取和对下一步学习网络的输入表示。
6.根据权利要求2所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述区域建议网络是改进后不同于普通的目标检测的网络框架；所述区域建议网络包括三个全卷积网络层。
7.根据权利要求6所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述区域建议网络包括三个全卷积网络层，第一个全卷积网络层包含批规范化层和非线性层；第二个全卷积网络层有一个最大池化层和三个卷积层；第三个全卷积网络层有五个卷积层和一个非线性层。
8.根据权利要求1-7任意一项所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：所述数据采集步骤中采集到的所述选择数据包含带标签信息的数据集，所述带标签信息的数据集为实车采集的行车障碍物，包括车辆，行人，树木。
9.根据权利要求1-7任意一项所述的一种基于深度学习的实时检测及识别障碍物的方法，其特征在于：在所述数据导入步骤后，在所述识别操作步骤前，还包含模型微调步骤，在该步骤中，用户对模型中的参数权重和模型结构进行调整。
CN201910322027.5A 2019-04-22 2019-04-22 一种基于深度学习的实时检测及识别障碍物的方法 Pending CN110058264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910322027.5A CN110058264A (zh) 2019-04-22 2019-04-22 一种基于深度学习的实时检测及识别障碍物的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910322027.5A CN110058264A (zh) 2019-04-22 2019-04-22 一种基于深度学习的实时检测及识别障碍物的方法

Publications (1)

Publication Number Publication Date
CN110058264A true CN110058264A (zh) 2019-07-26

Family

ID=67319903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910322027.5A Pending CN110058264A (zh) 2019-04-22 2019-04-22 一种基于深度学习的实时检测及识别障碍物的方法

Country Status (1)

Country Link
CN (1) CN110058264A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751040A (zh) * 2019-09-18 2020-02-04 杭州飞步科技有限公司 一种三维物体的检测方法和装置、电子设备、存储介质
CN111191696A (zh) * 2019-12-20 2020-05-22 山东大学 一种基于深度学习算法的钢筋分层方法及系统
CN111257892A (zh) * 2020-01-09 2020-06-09 武汉理工大学 一种用于车辆自动驾驶的障碍物检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108399398A (zh) * 2018-03-22 2018-08-14 武汉云衡智能科技有限公司 一种基于深度学习的无人驾驶汽车障碍物识别检测方法
CN108594244A (zh) * 2018-04-28 2018-09-28 吉林大学 基于立体视觉和激光雷达的障碍物识别迁移学习方法
US20180336425A1 (en) * 2017-05-16 2018-11-22 Nec Laboratories America, Inc. Pruning filters for efficient convolutional neural networks for image recognition in vehicles
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109101861A (zh) * 2017-06-20 2018-12-28 百度在线网络技术（北京）有限公司 障碍物类型识别方法、装置、设备及存储介质
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180336425A1 (en) * 2017-05-16 2018-11-22 Nec Laboratories America, Inc. Pruning filters for efficient convolutional neural networks for image recognition in vehicles
CN109101861A (zh) * 2017-06-20 2018-12-28 百度在线网络技术（北京）有限公司 障碍物类型识别方法、装置、设备及存储介质
US20190079526A1 (en) * 2017-09-08 2019-03-14 Uber Technologies, Inc. Orientation Determination in Object Detection and Tracking for Autonomous Vehicles
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108399398A (zh) * 2018-03-22 2018-08-14 武汉云衡智能科技有限公司 一种基于深度学习的无人驾驶汽车障碍物识别检测方法
CN108594244A (zh) * 2018-04-28 2018-09-28 吉林大学 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GEIGER A 等: "Vision meets robotics: The KITTI dataset", 《INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH》 *
YIN ZHOU 等: "VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751040A (zh) * 2019-09-18 2020-02-04 杭州飞步科技有限公司 一种三维物体的检测方法和装置、电子设备、存储介质
CN111191696A (zh) * 2019-12-20 2020-05-22 山东大学 一种基于深度学习算法的钢筋分层方法及系统
CN111191696B (zh) * 2019-12-20 2023-04-07 山东大学 一种基于深度学习算法的钢筋分层方法及系统
CN111257892A (zh) * 2020-01-09 2020-06-09 武汉理工大学 一种用于车辆自动驾驶的障碍物检测方法

Similar Documents

Publication Publication Date Title
Ye et al. Lane detection method based on lane structural analysis and CNNs
CN109597087B (zh) 一种基于点云数据的3d目标检测方法
Wang et al. Autonomous garbage detection for intelligent urban management
Amit et al. Disaster detection from aerial imagery with convolutional neural network
Hofmann Detecting informal settlements from IKONOS image data using methods of object oriented image analysis-an example from Cape Town (South Africa)
CN107368787A (zh) 一种面向深度智驾应用的交通标志识别算法
CN103279759B (zh) 一种基于卷积神经网络的车辆前方可通行性分析方法
CN110058264A (zh) 一种基于深度学习的实时检测及识别障碍物的方法
CN103310466B (zh) 一种单目标跟踪方法及其实现装置
CN110532961B (zh) 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN106682696A (zh) 基于在线示例分类器精化的多示例检测网络及其训练方法
CN108717540B (zh) 基于2d激光雷达区分行人和车辆的方法及装置
CN105069779A (zh) 一种建筑陶瓷表面花纹图案质量检测方法
CN113989784A (zh) 一种基于车载激光点云的道路场景类型识别方法及系统
CN105678244A (zh) 一种基于改进编辑距离的近似视频检索方法
CN109800773A (zh) 基于三维激光雷达的越野路面提取方法
CN108960172B (zh) 一种识别gpr图像病害类型的方法
CN114372503A (zh) 一种集群车辆运动轨迹预测方法
CN108875555B (zh) 基于神经网络的视频兴趣区域和显著目标提取与定位系统
Jin et al. A semi-automatic annotation technology for traffic scene image labeling based on deep learning preprocessing
CN110910407B (zh) 基于移动激光扫描点云数据的行道树树干提取方法
CN103336830B (zh) 基于结构语义直方图的图像检索方法
CN105404858A (zh) 一种基于深度费舍尔网络的车型识别方法
Chen et al. A mobile intelligent guide system for visually impaired pedestrian
CN104091150A (zh) 一种基于回归的人眼状态判断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190726

RJ01 Rejection of invention patent application after publication