CN110733039A - 基于vfh+与视觉辅助决策的机器人自动驾驶方法 - Google Patents

基于vfh+与视觉辅助决策的机器人自动驾驶方法 Download PDF

Info

Publication number
CN110733039A
CN110733039A CN201910958912.2A CN201910958912A CN110733039A CN 110733039 A CN110733039 A CN 110733039A CN 201910958912 A CN201910958912 A CN 201910958912A CN 110733039 A CN110733039 A CN 110733039A
Authority
CN
China
Prior art keywords
information
obstacle
vfh
depth
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910958912.2A
Other languages
English (en)
Inventor
刘义亭
吴杰
马培立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yuhang Technology Co Ltd
Original Assignee
Nanjing Yuhang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yuhang Technology Co Ltd filed Critical Nanjing Yuhang Technology Co Ltd
Priority to CN201910958912.2A priority Critical patent/CN110733039A/zh
Publication of CN110733039A publication Critical patent/CN110733039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/022—Optical sensing devices using lasers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了基于VFH+与视觉辅助决策的机器人自动驾驶方法，属于机器人技术领域，利用激光雷达与深度摄像头混合实现高效VFH+避障决策，解决了通过视觉辅助识别决策，实现高效率避障的技术问题，本发明利用单线激光雷达以及深度视觉混合，相较于传统的多线激光雷达降低了成本，本发明的视觉深度测试，能有效的补偿在空旷地点激光雷达特征点采集少，定位不精确的问题，本发明利用深度视觉实现障碍物测量以及速度换算，与VFH+混合判定最优避障路径。

Description

基于VFH+与视觉辅助决策的机器人自动驾驶方法
技术领域
本发明属于机器人技术领域，特别涉及基于VFH+与视觉辅助决策的机器人自动驾驶方法。
背景技术
随着机器人巡检行业智能化程度不断提高，机器人巡检已经逐渐普及。机器人巡检相较于人工巡检而言，其具有低风险，高效率，能远程操作等特点，受到了国家的高度重视。对于传统的高辐射，高强度的风险作业而言，机器人巡检的工作环境安全，操作简单，会大大降低高危行业巡检的困难性。
由于机器人巡检行业属于新兴产业，现在的机器人巡检主要是通过多线激光雷达建图巡检，但是现有的巡检技术存在以下缺陷：(1)多线激光雷达成本较高，不能广泛适用；(2)受激光雷达硬件影响，在空旷地点定位较差，无法实现精准定位；(2)避障效率较低，不能根据实际情况实现有效决策。
发明内容
本发明的目的是提供基于VFH+与视觉辅助决策的机器人自动驾驶方法，解决了通过视觉辅助识别决策，实现高效率避障的技术问题。
为实现上述目的，本发明采用以下技术方案：
基于VFH+与视觉辅助决策的机器人自动驾驶方法，包括以下步骤：
步骤1：使用单线激光雷达对机器人的四周进行线性扫描，获取激光雷达的深度点云信息；
步骤2：通过VFH+算法处理深度点云信息，捕获障碍物位置信息和可通过路径信息；
步骤3：检测深度摄像头是否可用：是则执行步骤4；否，则执行步骤10；
步骤4：将障碍物位置信息转化为视场角对应的障碍物像素信息，包括如下步骤：
步骤S1：深度摄像头采集RGB彩色图像信息，并且通过TCL映射算法采集深度距离信息；
步骤S2：把RGB彩色图像信息与深度距离信息相结合，构建出3D点云信息；
步骤S3：对RGB彩色图像信息进行识别，得到物体信息，将物体信息映射于3D点云信息，同时关联深度摄像头的内置参数，转化为机器人当前的相对位置，得到了当前机器人的坐标和距离信息；
步骤5：利用深度摄像头采集图像，获取深度图，将深度图传入到Yolo3-tiny神经网络,利用Bounding Box对物体进行识别分类，得到分类后的物体像素；
步骤6：将障碍物点云信息与激光雷达扫描得出的障碍物角度、距离信息，由它的深度信息和角度信息相匹配，并映射到Yolo3-tiny神经网络中得到的结果，对应识别出目标物体，由此将障碍物位置信息转化为视场角对应的障碍物像素信息；
步骤7：根据步骤6的结果，在物体像素中找出绝对静止的障碍物，对比设定时间内前后多帧图像的障碍物相对变化情况，绝对静止的障碍物的像素信息的变化，由此判断图像中行人车辆等障碍物是否发生了移动；
步骤8：将移动物体的速度及其方向融合到VFH+中，从而判断出最优的决策信息。
优选的，所述单线激光雷达的型号为LS01B2小型三角法激光雷达，所述深度摄像头的型号为Astra Mini S-v1.0。
优选的，在执行步骤7时，所述设定时间为自定义时间，按时间顺序逐一对比每一个时刻的帧图像，得到障碍物相对变化情况，在所述设定时间内位置没有变化的障碍物为绝对静止的障碍物。
本发明所述的基于VFH+与视觉辅助决策的机器人自动驾驶方法，解决了通过视觉辅助识别决策，实现高效率避障的技术问题，本发明利用单线激光雷达以及深度视觉混合，相较于传统的多线激光雷达降低了成本，本发明的视觉深度测试，能有效的补偿在空旷地点激光雷达特征点采集少，定位不精确的问题，本发明利用深度视觉实现障碍物测量以及速度换算，与VFH+混合判定最优避障路径。
附图说明
图1是本发明的流程图。
具体实施方式
如图1所示的基于VFH+与视觉辅助决策的机器人自动驾驶方法，包括以下步骤：
步骤1：使用单线激光雷达对机器人的四周进行线性扫描，获取激光雷达的深度点云信息；
步骤2：通过VFH+算法处理深度点云信息，捕获障碍物位置信息和可通过路径信息；
VFH+算法即为Vector Field Histogram改进算法，是一种由人工势场法改进而来的机器人导航算法，VFH+算法为现有技术，故不详细叙述，VFH+算法可以用以下通用代价函数表示：
cost(θ)＝d1×c(θ，θ1)+d2×(θ，θr)+d3×(θ，θn-1)；
其中，θ为候选方向角度，θr为机器人当前朝向角度，θ1为机器人与目标点的角度，θn-1为上一轮目标形式方向角度。
步骤3：检测深度摄像头是否可用：是则执行步骤4；否，则执行步骤10；
步骤4：将障碍物位置信息转化为视场角对应的障碍物像素信息，包括如下步骤：
步骤S1：深度摄像头采集RGB彩色图像信息，并且通过TCL映射算法采集深度距离信息；
步骤S2：把RGB彩色图像信息与深度距离信息相结合，构建出3D点云信息；
步骤S3：对RGB彩色图像信息进行识别，得到物体信息，将物体信息映射于3D点云信息，同时关联深度摄像头的内置参数，转化为机器人当前的相对位置，得到了当前机器人的坐标和距离信息；
步骤5：利用深度摄像头采集图像，获取深度图，将深度图传入到Yolo3-tiny神经网络,利用Bounding Box对物体进行识别分类，得到分类后的物体像素；
Yolo3-tiny神经网络为现有的卷积网络技术，故不详细叙述，YOLO算法的做法，是用一个M×N的网格覆盖在原图上，并对各个小网格的内容进行标注。
Bounding Box是包含区域的最小矩形，该区域应在最小矩形内部，其原理如下：
步骤A：输入预测的边框值，原来的分类问题只是输入一张图，但是现在对于输入的图还有它在原图中的位置信息，比如滑动窗口、RCNN中selective search给出的区域提案等，产生用于分类判断的区域P；
步骤B：输入的图会通过卷积网络学习提取出特征向量φ5(P)；
步骤C：目标检测的一个目标是希望最后的bounding box(P)和ground truth(G)一致，但是实现方法并不是学习坐标，而是学习变形比例：包括两个部分，第一部分是对边框(x,y)进行移动，第二部分是对边框大小(w,h)进行缩放。
步骤6：将障碍物点云信息与激光雷达扫描得出的障碍物角度、距离信息，由它的深度信息和角度信息相匹配，并映射到Yolo3-tiny神经网络中得到的结果，对应识别出目标物体，由此将障碍物位置信息转化为视场角对应的障碍物像素信息；
步骤7：根据步骤6的结果，在物体像素中找出绝对静止的障碍物，对比设定时间内前后多帧图像的障碍物相对变化情况，绝对静止的障碍物的像素信息的变化，由此判断图像中行人车辆等障碍物是否发生了移动；
步骤8：将移动物体的速度及其方向融合到VFH+中，从而判断出最优的决策信息。
优选的，所述单线激光雷达的型号为LS01B2小型三角法激光雷达，所述深度摄像头的型号为Astra Mini S-v1.0。
优选的，在执行步骤7时，所述设定时间为自定义时间，按时间顺序逐一对比每一个时刻的帧图像，得到障碍物相对变化情况，在所述设定时间内位置没有变化的障碍物为绝对静止的障碍物。
本发明所述的基于VFH+与视觉辅助决策的机器人自动驾驶方法，解决了通过视觉辅助识别决策，实现高效率避障的技术问题，本发明利用单线激光雷达以及深度视觉混合，相较于传统的多线激光雷达降低了成本，本发明的视觉深度测试，能有效的补偿在空旷地点激光雷达特征点采集少，定位不精确的问题，本发明利用深度视觉实现障碍物测量以及速度换算，与VFH+混合判定最优避障路径。

Claims (3)

1.基于VFH+与视觉辅助决策的机器人自动驾驶方法，其特征在于：包括以下步骤：
步骤1：使用单线激光雷达对机器人的四周进行线性扫描，获取激光雷达的深度点云信息；
步骤2：通过VFH+算法处理深度点云信息，捕获障碍物位置信息和可通过路径信息；
步骤3：检测深度摄像头是否可用：是则执行步骤4；否，则执行步骤10；
步骤4：将障碍物位置信息转化为视场角对应的障碍物像素信息，包括如下步骤：
步骤S1：深度摄像头采集RGB彩色图像信息，并且通过TCL映射算法采集深度距离信息；
步骤S2：把RGB彩色图像信息与深度距离信息相结合，构建出3D点云信息；
步骤S3：对RGB彩色图像信息进行识别，得到物体信息，将物体信息映射于3D点云信息，同时关联深度摄像头的内置参数，转化为机器人当前的相对位置，得到了当前机器人的坐标和距离信息；
步骤5：利用深度摄像头采集图像，获取深度图，将深度图传入到Yolo3-tiny神经网络,利用Bounding Box对物体进行识别分类，得到分类后的物体像素；
步骤6：将障碍物点云信息与激光雷达扫描得出的障碍物角度、距离信息，由它的深度信息和角度信息相匹配，并映射到Yolo3-tiny神经网络中得到的结果，对应识别出目标物体，由此将障碍物位置信息转化为视场角对应的障碍物像素信息；
步骤7：根据步骤6的结果，在物体像素中找出绝对静止的障碍物，对比设定时间内前后多帧图像的障碍物相对变化情况，绝对静止的障碍物的像素信息的变化，由此判断图像中行人车辆等障碍物是否发生了移动；
步骤8：将移动物体的速度及其方向融合到VFH+中，从而判断出最优的决策信息。
2.如权利要求1所述的基于VFH+与视觉辅助决策的机器人自动驾驶方法，其特征在于：所述单线激光雷达的型号为LS01B2小型三角法激光雷达，所述深度摄像头的型号为AstraMini S-v1.0。
3.如权利要求1所述的基于VFH+与视觉辅助决策的机器人自动驾驶方法，其特征在于：在执行步骤7时，所述设定时间为自定义时间，按时间顺序逐一对比每一个时刻的帧图像，得到障碍物相对变化情况，在所述设定时间内位置没有变化的障碍物为绝对静止的障碍物。
CN201910958912.2A 2019-10-10 2019-10-10 基于vfh+与视觉辅助决策的机器人自动驾驶方法 Pending CN110733039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910958912.2A CN110733039A (zh) 2019-10-10 2019-10-10 基于vfh+与视觉辅助决策的机器人自动驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910958912.2A CN110733039A (zh) 2019-10-10 2019-10-10 基于vfh+与视觉辅助决策的机器人自动驾驶方法

Publications (1)

Publication Number Publication Date
CN110733039A true CN110733039A (zh) 2020-01-31

Family

ID=69269890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910958912.2A Pending CN110733039A (zh) 2019-10-10 2019-10-10 基于vfh+与视觉辅助决策的机器人自动驾驶方法

Country Status (1)

Country Link
CN (1) CN110733039A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528959A (zh) * 2020-12-29 2021-03-19 上海同温层智能科技有限公司 用于清洁机器人的障碍物识别方法
CN113011351A (zh) * 2021-03-24 2021-06-22 华南理工大学 一种智能购物车的工作方法及智能购物车
CN113657331A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线红外感应识别方法、装置、计算机设备及存储介质
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN114394089A (zh) * 2021-12-13 2022-04-26 暨南大学 一种轨道清洁车辅助驾驶方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020038296A (ko) * 2000-11-17 2002-05-23 이충전 모빌로봇의 장애물 감지장치 및 감지방법
CN107928566A (zh) * 2017-12-01 2018-04-20 深圳市沃特沃德股份有限公司 视觉扫地机器人及障碍物检测方法
CN108608466A (zh) * 2018-02-26 2018-10-02 北京克路德人工智能科技有限公司 一种双目相机和激光雷达联合的机器人定位方法
CN110109457A (zh) * 2019-04-29 2019-08-09 北方民族大学 一种智能语音导盲机器人控制方法及控制系统
CN110135377A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 物体运动状态检测方法、装置、服务器和计算机可读介质
CN110147106A (zh) * 2019-05-29 2019-08-20 福建（泉州）哈工大工程技术研究院 具激光和视觉融合避障系统的智能移动服务机器人
CN110262518A (zh) * 2019-07-22 2019-09-20 上海交通大学 基于轨迹拓扑地图和避障的车辆导航方法、系统及介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020038296A (ko) * 2000-11-17 2002-05-23 이충전 모빌로봇의 장애물 감지장치 및 감지방법
CN107928566A (zh) * 2017-12-01 2018-04-20 深圳市沃特沃德股份有限公司 视觉扫地机器人及障碍物检测方法
CN108608466A (zh) * 2018-02-26 2018-10-02 北京克路德人工智能科技有限公司 一种双目相机和激光雷达联合的机器人定位方法
CN110109457A (zh) * 2019-04-29 2019-08-09 北方民族大学 一种智能语音导盲机器人控制方法及控制系统
CN110135377A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 物体运动状态检测方法、装置、服务器和计算机可读介质
CN110147106A (zh) * 2019-05-29 2019-08-20 福建（泉州）哈工大工程技术研究院 具激光和视觉融合避障系统的智能移动服务机器人
CN110262518A (zh) * 2019-07-22 2019-09-20 上海交通大学 基于轨迹拓扑地图和避障的车辆导航方法、系统及介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528959A (zh) * 2020-12-29 2021-03-19 上海同温层智能科技有限公司 用于清洁机器人的障碍物识别方法
CN112528959B (zh) * 2020-12-29 2024-06-07 上海同温层信息科技有限公司 用于清洁机器人的障碍物识别方法
CN113011351A (zh) * 2021-03-24 2021-06-22 华南理工大学 一种智能购物车的工作方法及智能购物车
CN113657331A (zh) * 2021-08-23 2021-11-16 深圳科卫机器人科技有限公司 警戒线红外感应识别方法、装置、计算机设备及存储介质
CN113814953A (zh) * 2021-10-13 2021-12-21 国网山西省电力公司输电检修分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN113814953B (zh) * 2021-10-13 2024-03-19 国网山西省电力公司超高压变电分公司 一种巡检机器人的履带自动找平方法、系统及电子设备
CN114394089A (zh) * 2021-12-13 2022-04-26 暨南大学 一种轨道清洁车辅助驾驶方法及系统
CN114394089B (zh) * 2021-12-13 2023-09-01 暨南大学 一种轨道清洁车辅助驾驶方法及系统

Similar Documents

Publication Publication Date Title
CN110733039A (zh) 基于vfh+与视觉辅助决策的机器人自动驾驶方法
CN104574376B (zh) 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法
CN110211101A (zh) 一种铁轨表面缺陷快速检测系统及方法
CN110033431B (zh) 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN109828267A (zh) 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法
Huang et al. Tightly-coupled LIDAR and computer vision integration for vehicle detection
Kuramoto et al. Mono-camera based 3D object tracking strategy for autonomous vehicles
CN114155301A (zh) 一种基于Mask R-CNN和双目相机的机器人目标定位和抓取方法
CN112560704B (zh) 一种多特征融合的视觉识别方法及系统
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN116030130A (zh) 一种动态环境下的混合语义slam方法
CN115497073A (zh) 一种基于车载摄像头和激光雷达融合的障碍物相机实时检测方法
Yoneda et al. Simultaneous state recognition for multiple traffic signals on urban road
Stević et al. Vision-based extrapolation of road lane lines in controlled conditions
Chaloeivoot et al. Building detection from terrestrial images
US20230009925A1 (en) Object detection method and object detection device
CN107437071B (zh) 一种基于双黄线检测的机器人自主巡检方法
CN108765444A (zh) 基于单目视觉的地面t形运动目标检测与定位方法
CN117315620A (zh) 施工障碍物感知方法、设备及介质
Pandey et al. Analysis of road lane detection using computer vision
CN113313041B (zh) 基于信息融合的前方车辆识别方法及系统
Shimizu et al. Development of a person-searching algorithm using an omnidirectional camera and LiDAR for the Tsukuba challenge
Budzan Fusion of visual and range images for object extraction
Said et al. Real-time detection and classification of traffic light signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200131

RJ01 Rejection of invention patent application after publication