CN112232139B - 一种基于Yolo v4与Tof算法相结合的避障方法 - Google Patents

一种基于Yolo v4与Tof算法相结合的避障方法 Download PDF

Info

Publication number
CN112232139B
CN112232139B CN202011021879.XA CN202011021879A CN112232139B CN 112232139 B CN112232139 B CN 112232139B CN 202011021879 A CN202011021879 A CN 202011021879A CN 112232139 B CN112232139 B CN 112232139B
Authority
CN
China
Prior art keywords
obstacle
yolo
information
target
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011021879.XA
Other languages
English (en)
Other versions
CN112232139A (zh
Inventor
周木春
赵晟皓
朱雨婷
沈志耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011021879.XA priority Critical patent/CN112232139B/zh
Publication of CN112232139A publication Critical patent/CN112232139A/zh
Application granted granted Critical
Publication of CN112232139B publication Critical patent/CN112232139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于Yolo v4与Tof算法相结合的避障方法，包括以下步骤：采集若干种待识别障碍物目标的图像，并标记障碍物目标在图像中的位置以及目标的类型；利用Yolo v4神经网络对采集的图像进行训练；采集待避障路径的场景图像，利用训练后的神经网络识别其中的障碍物目标及其类型；求取障碍物目标在水平方向相对于摄像头中心的相对角度；利用激光雷达探测场景环境中的各物体信息；基于相对角度和各物体信息，获取障碍物目标的距离信息；依据障碍物目标的类型、角度和距离信息，待进行避障的移动平台进行路径规划，实现避障运动。本发明结合Yolo v4神经网络和Tof测距算法，可以获得完整的障碍物信息，实现有效避障。

Description

一种基于Yolo v4与Tof算法相结合的避障方法
技术领域
本发明属于避障技术领域，特别涉及一种基于Yolo v4与Tof算法相结合的避障方法。
背景技术
在生产技术发展和汽车的普及，交通运输问题日益严重。交通事故频发造成的人员、财产损失要求车辆具有安全性和一定的智能性。因此，以实现全自动、无人化为目标的智能车辆是近年来的一个重要的研究领域。
现有的障碍物检测与避障技术主要有：
1、文献《室内移动机器人自主避障研究》中提出利用红外线和超声波探测周围障碍物的距离信息，从而实现避障。但该方法只能获取障碍物的距离信息，无法进一步识别障碍物的类型，且超声波和红外线的探测精度不高。
2、文献《基于双目视觉的障碍物识别研究》中提出利用双目视觉目标识别技术，结合V-视差进行障碍物的识别。但该方法存在计算复杂、共视范围小、容易出现多义性、实时性较差等问题。
发明内容
本发明的目的在于针对上述现有技术存在的问题，提供一种基于Yolo v4与Tof算法相结合的避障方法，对障碍物进行实时、高精度的识别。
实现本发明目的的技术解决方案为：一种基于Yolo v4与Tof算法相结合的避障方法，所述方法包括以下步骤：
步骤1，采集若干种待识别障碍物目标的图像，并标记待识别障碍物目标在图像中的位置以及障碍物目标的类型；
步骤2，利用Yolo v4神经网络对步骤1采集的图像进行训练；
步骤3，采集待避障路径的场景图像，利用训练后的Yolo v4神经网络识别其中的障碍物目标及其类型；
步骤4，求取步骤3中障碍物目标在水平方向相对于摄像头中心的相对角度；
步骤5，利用激光雷达实时探测场景环境中的各物体信息；
步骤6，基于所述相对角度和步骤5中的各物体信息，获取步骤3中障碍物目标的距离信息；
步骤7，依据障碍物目标的角度和距离信息，待进行避障的移动平台进行路径规划，实现避障运动。
本发明与现有技术相比，其显著优点为：1)通过将激光雷达返回的位置信息和图像处理技术结合，使得图像处理技术在环境感知研究过程中不再局限于光线的影响；2)通过将图像处理返回的障碍物识别信息与激光雷达的信息相结合，使得激光雷达在环境感知研究过程在不再局限于障碍物的位置，还能够增加障碍物的颜色、类型等参数信息；3)两种技术相结合，对环境中障碍物感知更具体，由此使得后续路径规划中对不同障碍物做出不同的响应；4)两种技术相结合的手段，使得智能移动平台的环境感知更加精确、应用场景更加多样、应用的功能也更加强大，同时平台的可扩展性也大大增加。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为一个实施例中基于Yolo v4与Tof算法相结合的避障方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，提供了一种基于Yolo v4与Tof算法相结合的避障方法，所述方法包括以下步骤：
步骤1，采集若干种待识别障碍物目标的图像，并标记待识别障碍物目标在图像中的位置以及障碍物目标的类型；
步骤2，利用Yolo v4神经网络对步骤1采集的图像进行训练；
步骤3，采集待避障路径的场景图像，利用训练后的Yolo v4神经网络识别其中的障碍物目标及其类型；
步骤4，求取步骤3中障碍物目标在水平方向相对于摄像头中心的相对角度；
步骤5，利用激光雷达实时探测场景环境中的各物体信息；
步骤6，基于所述相对角度和步骤5中的各物体信息，获取步骤3中障碍物目标的距离信息；
步骤7，依据障碍物目标的类型、角度和距离信息，待进行避障的移动平台进行路径规划，实现避障运动。
进一步地，在其中一个实施例中，步骤1所述采集待识别目标的图像，采用的方式包括：
利用摄像头采集待识别目标进行图像；
或者，从已有的数据集中采集待识别目标的图像。
进一步地，在其中一个实施例中，步骤1中所述标记待识别障碍物目标在图像中的位置以及障碍物目标的类型，包括标记class_id、x、y、w和h，其中：
class_id：障碍物目标类型的编号，x：目标的中心点的横向坐标/图像总宽度，y：目标的中心点的纵向坐标/图像总高度，w：目标的最小外接矩形的宽度/图像总宽度，h：目标的最小外接矩形的高度/图像总高度。
进一步地，在其中一个实施例中，步骤2所述利用Yolo v4神经网络对步骤1采集的图像进行训练，具体过程包括：
步骤2-1，将图像的尺寸统一至Yolo v4神经网络输入图像所要求的尺寸；
步骤2-2，将尺寸变换后的图像输入至Yolo v4神经网络，提取图像的特征信息，生成神经网络的权重文件；
步骤2-3，利用COCO数据集去除全连接层的预训练权重文件，以减少训练对数据集数量的依赖；
步骤2-4，利用Anchor Box先验框聚类分析，根据权重文件对数据集先验框进行聚类分析，获得最优的先验框大小(默认的先验框大小是在COCO数据集上得到的结果，其往往并不能完全符合实际需要检测的目标)；
步骤2-5，利用新的先验框进行新一轮测试，获得更优的mAP；
步骤2-6，重复上述过程，直至达到预设的迭代次数。
进一步地，在其中一个实施例中，步骤4所述求取步骤3中障碍物目标在水平方向相对于摄像头中心的相对角度，具体过程包括：
步骤4-1，获取步骤3中Yolo v4神经网络返回的障碍物目标的先验框中心坐标y；
步骤4-2，获取步骤3中采集的图像的中心坐标y'；
步骤4-3，计算障碍物目标在水平方向相对于摄像头中心的相对角度θ，计算公式为：
Figure BDA0002700890040000031
式中，f为摄像头的焦距。
进一步地，在其中一个实施例中，步骤5所述利用激光雷达实时探测场景环境中的各物体信息，具体过程包括：
步骤5-1，利用激光雷达采集场景环境的点云信息，并获取激光雷达的数据帧；
步骤5-2，利用Tof算法解析点云信息和数据帧，获取各点相对于激光雷达的距离和角度信息。
进一步地，在其中一个实施例中，步骤6中所述基于所述相对角度和步骤5中各物体信息，获取步骤3中障碍物目标的距离信息，具体过程包括：
步骤6-1，从步骤5-2中解析出的各角度信息中，查找与摄像头获取到的相对角度一致的角度信息；
步骤6-2，从步骤5-2中解析出的各距离信息中，获取与步骤6-1获得的角度信息相对应的距离信息，该信息记为障碍物目标的距离信息。
作为一种具体示例，在其中一个实施例中，对本发明进行进一步说明。本实施例，在实验室环境下，设置有地面黄、白两条固定线路，同时设置有障碍物和红绿灯模块(红绿灯模块也属于障碍物的一种)，智能小车平台包括arduino uno r3板、嵌入式模块、摄像头、Delta-3i-2T型号激光雷达。
所述Delta-3i-2T型号激光雷达的采样频率为2k/s，扫描频率6Hz，测量精度±2cm。
所述摄像头型号为1080P、130度、无畸变摄像头。
所述嵌入式模块型号为Jetson Nano。
所述激光雷达安装于小车的左前侧。
所述摄像头安装于小车的正前侧。
该智能小车的环境感知以及避障过程如下：
(1)摄像头识别出地面的黄白线，并返回给小车的控制平台，使得小车循迹行驶。
(2)激光雷达实时观测周围环境，并实时向中心控制器返回环境中障碍物的坐标信息。
(3)摄像头同时实时观测周围环境，并实时向中心控制器返回识别的环境中障碍物的类型及优先级信息。
(4)遇到障碍物时，激光雷达返回该障碍物的距离位置信息，同时摄像头识别出该障碍物需要“躲避”，返回给控制器后，小车将在2s内变道躲避，并再次通过摄像头重新寻找到轨迹，继续循迹运动。
(5)遇到“红绿灯”时，激光雷达返回该障碍物的距离位置信息，同时摄像头识别出该障碍物需要“红灯时停止，绿灯时继续通行”，返回给控制器后，小车将在2s内做出相应的反应。
本发明中采用Yolo v4深度学习目标检测算法，可以对障碍物的类型进行实时、高精度的识别；激光雷达采用的Tof测距算法，可以对障碍物的位置信息进行实时获取；两者结合获得完整的障碍物信息，实现有效避障。
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种基于Yolo v4与Tof算法相结合的避障方法，其特征在于，所述方法包括以下步骤：
步骤1，采集若干种待识别障碍物目标的图像，并标记待识别障碍物目标在图像中的位置以及障碍物目标的类型；
步骤2，利用Yolo v4神经网络对步骤1采集的图像进行训练；
步骤3，采集待避障路径的场景图像，利用训练后的Yolo v4神经网络识别其中的障碍物目标及其类型；
步骤4，求取步骤3中障碍物目标在水平方向相对于摄像头中心的相对角度；
步骤5，利用激光雷达实时探测场景环境中的各物体信息；
步骤6，基于所述相对角度和步骤5中的各物体信息，获取步骤3中障碍物目标的距离信息；
步骤7，依据障碍物目标的类型、角度和距离信息，对待进行避障的移动平台进行路径规划，实现避障运动。
2.根据权利要求1所述的基于Yolo v4与Tof算法相结合的避障方法，其特征在于，步骤1中采集待识别目标的图像，采用的方式包括：
利用摄像头采集待识别目标的图像；
或者，从已有的数据集中采集待识别目标的图像。
3.根据权利要求2所述的基于Yolo v4与Tof算法相结合的避障方法，其特征在于，步骤1中所述标记待识别障碍物目标在图像中的位置以及障碍物目标的类型，包括标记class_id、x、y、w和h，其中：
class_id：障碍物目标类型的编号，x：目标的中心点的横向坐标/图像总宽度，y：目标的中心点的纵向坐标/图像总高度，w：目标的最小外接矩形的宽度/图像总宽度，h：目标的最小外接矩形的高度/图像总高度。
4.根据权利要求3所述的基于Yolo v4与Tof算法相结合的避障方法，其特征在于，步骤2所述利用Yolo v4神经网络对步骤1采集的图像进行训练，具体过程包括：
步骤2-1，将图像的尺寸统一至Yolo v4神经网络输入图像所要求的尺寸；
步骤2-2，将尺寸变换后的图像输入至Yolo v4神经网络，提取图像的特征信息，生成神经网络的权重文件；
步骤2-3，利用COCO数据集去除全连接层的预训练权重文件；
步骤2-4，利用Anchor Box先验框聚类分析，根据权重文件对数据集先验框进行聚类分析，获得最优的先验框大小；
步骤2-5，利用新的先验框进行新一轮测试，获得更优的mAP；
步骤2-6，重复上述过程，直至达到预设的迭代次数。
5.根据权利要求4所述的基于Yolo v4与Tof算法相结合的避障方法，其特征在于，步骤4所述求取步骤3中障碍物目标在水平方向相对于摄像头中心的相对角度，具体过程包括：
步骤4-1，获取步骤3中Yolo v4神经网络返回的障碍物目标的先验框中心坐标y；
步骤4-2，获取步骤3中采集的图像的中心坐标y'；
步骤4-3，计算障碍物目标在水平方向相对于摄像头中心的相对角度θ，计算公式为：
Figure FDA0003723141050000021
式中，f为摄像头的焦距。
6.根据权利要求5所述的基于Yolo v4与Tof算法相结合的避障方法，其特征在于，步骤5所述利用激光雷达实时探测场景环境中的各物体信息，具体过程包括：
步骤5-1，利用激光雷达采集场景环境的点云信息，并获取激光雷达的数据帧；
步骤5-2，利用Tof算法解析点云信息和数据帧，获取各点相对于激光雷达的距离和角度信息。
7.根据权利要求6所述的基于Yolo v4与Tof算法相结合的避障方法，其特征在于，步骤6中所述基于所述相对角度和步骤5中各物体信息，获取步骤3中障碍物目标的距离信息，具体过程包括：
步骤6-1，从步骤5-2中解析出的各角度信息中，查找与摄像头获取到的相对角度一致的角度信息；
步骤6-2，从步骤5-2中解析出的各距离信息中，获取与步骤6-1获得的角度信息相对应的距离信息，该信息记为障碍物目标的距离信息。
CN202011021879.XA 2020-09-25 2020-09-25 一种基于Yolo v4与Tof算法相结合的避障方法 Active CN112232139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011021879.XA CN112232139B (zh) 2020-09-25 2020-09-25 一种基于Yolo v4与Tof算法相结合的避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011021879.XA CN112232139B (zh) 2020-09-25 2020-09-25 一种基于Yolo v4与Tof算法相结合的避障方法

Publications (2)

Publication Number Publication Date
CN112232139A CN112232139A (zh) 2021-01-15
CN112232139B true CN112232139B (zh) 2022-09-27

Family

ID=74107611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011021879.XA Active CN112232139B (zh) 2020-09-25 2020-09-25 一种基于Yolo v4与Tof算法相结合的避障方法

Country Status (1)

Country Link
CN (1) CN112232139B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255906A (zh) * 2021-04-28 2021-08-13 中国第一汽车股份有限公司 一种自动驾驶中回归障碍物3d角度信息方法、装置、终端及存储介质
CN113192363A (zh) * 2021-04-29 2021-07-30 杭州电子科技大学 一种基于人工智能算法的视频数据边缘计算方法
CN113110597A (zh) * 2021-05-19 2021-07-13 哈尔滨理工大学 一种基于ros系统的室内无人机自主飞行系统
CN116503491A (zh) * 2023-06-26 2023-07-28 安徽大学 一种基于相机标定和视觉的机器狗障碍物测距和避障方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5797516B2 (ja) * 2011-10-04 2015-10-21 株式会社ミツバ 電動式ハンディカート
CN108229366B (zh) * 2017-12-28 2021-12-14 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN110531376B (zh) * 2019-08-23 2022-04-22 畅加风行(苏州)智能科技有限公司 用于港口无人驾驶车辆的障碍物检测和跟踪方法

Also Published As

Publication number Publication date
CN112232139A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN112232139B (zh) 一种基于Yolo v4与Tof算法相结合的避障方法
CN109444911B (zh) 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN110344621B (zh) 一种面向智能车库的车轮点云检测方法
CN105866790B (zh) 一种考虑激光发射强度的激光雷达障碍物识别方法及系统
CN108960183A (zh) 一种基于多传感器融合的弯道目标识别系统及方法
US20200302237A1 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
CN108280840B (zh) 一种基于三维激光雷达的道路实时分割方法
CN115049700A (zh) 一种目标检测方法及装置
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
US20200200545A1 (en) Method and System for Determining Landmarks in an Environment of a Vehicle
Huang et al. Tightly-coupled LIDAR and computer vision integration for vehicle detection
CN111198496A (zh) 一种目标跟随机器人及跟随方法
CN112232275A (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
Li et al. Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle
He et al. A novel multi-source vehicle detection algorithm based on deep learning
Liu et al. Research on security of key algorithms in intelligent driving system
CN208937705U (zh) 一种多源异构传感器特征深度融合的装置
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
Oniga et al. A fast ransac based approach for computing the orientation of obstacles in traffic scenes
Beresnev et al. Automated Driving System based on Roadway and Traffic Conditions Monitoring.
Nowak et al. Vision-based positioning of electric buses for assisted docking to charging stations
Ding et al. A comprehensive approach for road marking detection and recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhou Muchun

Inventor after: Zhao Chenghao

Inventor after: Zhu Yuting

Inventor after: Shen Zhiyao

Inventor before: Zhao Chenghao

Inventor before: Zhu Yuting

Inventor before: Shen Zhiyao

Inventor before: Zhou Muchun

GR01 Patent grant
GR01 Patent grant