CN113031597A - 一种基于深度学习和立体视觉的自主避障方法 - Google Patents

一种基于深度学习和立体视觉的自主避障方法 Download PDF

Info

Publication number
CN113031597A
CN113031597A CN202110227718.4A CN202110227718A CN113031597A CN 113031597 A CN113031597 A CN 113031597A CN 202110227718 A CN202110227718 A CN 202110227718A CN 113031597 A CN113031597 A CN 113031597A
Authority
CN
China
Prior art keywords
obstacle
robot
obstacle avoidance
turning
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110227718.4A
Other languages
English (en)
Inventor
焦浩
李远平
何博侠
张鹏辉
田德旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202110227718.4A priority Critical patent/CN113031597A/zh
Publication of CN113031597A publication Critical patent/CN113031597A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于深度学习和双目立体视觉技术的自主避障方法，通过双目相机实时采集环境视频信息，基于深学习中的目标检测结合双目立体视觉技术构建了障碍物三维立体检测算法，机器人根据获得的避障转向决策、障碍物的三维坐标以及避障角度进行自主避障。本方法以深度学习目标检测为核心，融合了传统机器视觉的深度信息，解决了单一深度学习算法只能获取二维坐标信息的不足，获得的完备三维坐标；实现了对避障场景下的端到端的学习，避免繁杂的三维重建和路径规划问题，节省了系统成本。

Description

一种基于深度学习和立体视觉的自主避障方法
技术领域
本发明属于机器人避障领域，具体涉及一种基于深度学习和立体视觉的自主避障方法。
背景技术
随着科技的不断发展，移动机器人已广泛应用于各个领域，包括生活服务、工业生产、军事、娱乐等方面。机器人技术设计控制、机械、计算机等多个学科技术。而机器人的导航与避障能力是反映机器人的智能型的重要指标。
Khatib在《Real-time Obstacle Avoidance for Manipulator AndMobileRobots》一文中通过构建人工势场，使障碍物与目标点对人工势场中的机器人产生抽象的斥力与引力，共同控制机器人进行避障。人工势场法所规划的路径具有安全平滑的优点，且便于机器人实际执行控制，但是人工势场法易陷入局部极值，导致在接近障碍物或目标点时产生路径震荡问题。Nicolai等在《Deep Learning for Laser Based OdometryEstimation》一文中基于深度卷积神经网络对连续变换的点云数据进行估计，进而实现路径规划据以及机器人的避障。虽然现有的传感器已经能提供大量精确的环境数据，但是定位方法很难有效地解析这些大量的数据，并且硬件成本较高、避障算法过于复杂。
发明内容
本发明的目的在于提供一种基于深度学习和立体视觉的自主避障方法，以深度学习算法为核心，融合了传统机器视觉的深度信息，解决了单一深度学习算法只能获取二维坐标信息的不足，以获得完备的三维坐标，实现了对避障场景下端到端的学习，避免繁杂的三维重建和路径规划问题。
实现本发明目的的技术解决方案为：一种基于深度学习和双目视觉的机器人自主避障方法，步骤如下：
步骤1、在机器人地盘上设置双目相机，采用张正友标定法对双目相机进行标定，获取畸变系数对双目相机进行畸变校正，以及相机坐标系与世界坐标系的转换关系；机器人在避障场景中移动，双目相机的左目和右目分别采集若干图像，对应获得原始尺寸的左目视图和右目视图，转入步骤2；
步骤2、若干左目视图构成避障数据集，并调整左目视图为统一尺寸；采用深度学习目标检测算法对左目视图中的避障场景进行学习，得到自主避障模型，实现避障转向决策以及障碍物的二维空间下的位置检测，获得检测图像，转入步骤3；
步骤3、通过半全局立体匹配算法SGBM对步骤1中获得的左目视图和右目视图进行立体匹配，完成对避障场景的全局深度感知，获得深度图像，得到障碍物的深度信息，转入步骤4；
步骤4、在自主避障模型的基础上融合障碍物的深度信息，实现三维立体空间下的障碍物检测，获得障碍物的三维坐标，转入步骤5；
步骤5、根据避障转向决策以及障碍物的三维坐标，测算机器人的避障角度，转入步骤6；
步骤6、机器人根据避障转向决策、障碍物的三维坐标以及避障角度进行自主避障。
本发明与现有技术相比，其显著优点在于：
(1)基于深度学习和双目立体匹配的自主避障算法，避免了手动提取障碍物特征算法中提取特征的繁琐，同时提高了图像处理的精度以及速度，使得移动机器人系统具有端到端的输出能力，使避障更加智能化。
(2)以深度学习算法为核心，融合了传统机器视觉的深度信息，解决了单一深度学习算法只能获取二维坐标信息的不足，获得的完备三维坐标。
(3)基于深度学习和双目立体匹配的自主避障算法，具备了对避障场景下的自主学习能力，避免繁杂的三维重建和路径规划问题。
附图说明
图1为本发明的基于深度学习和立体视觉的自主避障方法流程图。
图2为本发明的自主避障俯视示意图。
图3为本发明的自主为避障决策流程图。
具体实施方式
为了说明本发明的技术方案及技术目的，下面结合附图及具体实施例对本发明做进一步的介绍。
结合图1，本发明所述的一种基于深度学习和双目立体视觉的自主避障方法，步骤如下：
步骤1、在机器人地盘上设置双目相机，采用张正友标定法对双目相机进行标定，获取畸变系数对双目相机进行畸变校正，以及相机坐标系与世界坐标系的转换关系；机器人在避障场景中移动，双目相机的左目和右目分别采集若干图像，对应获得原始尺寸的左目视图和右目视图，转入步骤2。
步骤2、若干左目视图构成避障数据集，并调整左目视图为统一尺寸；采用深度学习目标检测算法对左目视图中的避障场景进行学习，得到自主避障模型，实现避障转向决策以及障碍物的二维空间下的位置检测，获得检测图像，避免了手动提取障碍物特征算法中提取特征的繁琐，同时提高了图像处理的精度以及速度，使得移动机器人系统具有端到端的输出能力，具体步骤如下：
步骤2.1、对每幅左目视图分别设立避障标签，即左转、右转或直行，构成避障数据集。
步骤2.2、利用深度学习目标检测算法对基于避障数据集进行梯度下降SGD迭代训练，得到自主避障模型；实现了对避障场景下的端到端的学习，避免繁杂的三维重建和路径规划问题，节省了系统成本。
步骤2.3、选取左目视图作为深度学习目标检测算法的原始输入图像，将上述图像尺寸做统一调整，经过自主避障模型进行特征提取，依据预设尺寸比例关系的锚点框anchor在上述图像中可能出现障碍物目标的区域进行预测，根据位置回归算法对预测框的位置进行微调，最终采用非极大值抑制(NMS)算法筛选最终的障碍物预测框，最终获得检测图像，转入步骤3。
步骤3、通过半全局立体匹配算法SGBM对步骤1中获得的左目视图和右目视图(均为原始尺寸)，进行水平梯度预处理，根据避障场景中同一个像素点在左目视图和右目视图中各自对应位置，进行代价聚合计算、视差计算以及后处理视差优化，完成对避障场景的全局深度感知，获得深度图像，得到障碍物的深度信息获得深度图像，进而得到障碍物的深度信息，转入步骤4。
步骤4、在自主避障模型的基础上融合障碍物的深度信息，实现三维立体空间下的障碍物检测，获得障碍物的三维坐标，解决了单一深度学习算法只能获取二维坐标信息的不足，具体实施方式如下：
为了保证避障场景的检测图像和深度图像在二维空间中的一一映射关系，对检测图像进行坐标解码得到原始尺寸的左目视图下的检测结果，依据上述检测结果得到障碍物区域的坐标信息，通过坐标索引的方式得到障碍物的深度信息，并以区域内最小深度作为障碍物相对机器人的距离，进而获得障碍物的三维坐标，转入步骤5。
步骤5、根据避障转向决策以及障碍物的三维坐标，结合图2测算机器人的避障角度，具体步骤如下：
步骤5.1、对机器人建立第一三维空间直角坐标系，原点为双目相机的基线中点，水平向右为X轴，垂直向上为Y轴，垂直于XY平面向前为Z轴；以左目相机坐标系作为检测障碍物的三维直角坐标系，此坐标系的原点为左目相机的光心，X轴，Y轴分别平行于第一三维空间直角坐标系的X轴，Y轴；得出障碍物在左目相机坐标系下X坐标减去双目相机基线的一半即为机器人坐标系下的X轴坐标。
步骤5.2、根据检测图像判断避障方向，即为左转、右转或直行：
若避障方向为直行，则避障角度为0；
若避障方向为右转时，结合图2，将障碍物简化一条经过距离机器人最近点D且垂直于机器人坐标系下Z轴的线段AB；这条线段的两个端点A、B的横坐标即代表障碍物左右边缘的横坐标；M、N分别代表机器人前端左右边缘点坐标；由几何关系得，直线MB与Z轴之间的夹角就是机器人向右转向时需要转动的角度θ，其计算公式如下：
Figure BDA0002957427880000041
xM为障碍物左端横坐标，因为位于机器人坐标系的X轴的负半侧，因此
Figure BDA0002957427880000042
xB为预测框的右下角横坐标；预测框的表达形式为(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为预测框左上角的坐标，(xmax,ymax)为预测框右下角的坐标，其中xB就等同于xmax，但是由于xmax是在左目相机坐标系下计算得到的，根据左目相机坐标系与机器人坐标系的关系，xmax减去双目相机基线距离Baseline的一半才是xB，即
Figure BDA0002957427880000043
ZD代表障碍物离机器人最近点的深度信息。
若避障方向为左转时，障碍物在机器人行进区域的右半侧，机器人右边缘点有撞击障碍物的风险，此时的转动角度θ为：
Figure BDA0002957427880000051
xN为障碍物右端横坐标，位于机器人坐标系的X轴的正半侧，因此
Figure BDA0002957427880000052
xA为预测框的左上角横坐标，xA＝xmin；将左目相机坐标系下的xmin转换到机器人坐标系下，即
Figure BDA0002957427880000053
完成避障角度测算后，转入步骤6。
步骤6、结合图3，机器人根据避障转向决策、障碍物的三维坐标以及避障角度进行自主避障，具体步骤如下：
步骤6.1、机器人根据避障转向决策、障碍物的三维坐标以及避障角度，判断障碍物距离机器人的距离是否小于安全制动距离ɑ米：
若障碍物距离机器人的距离小于等于ɑ米，为保证机器人行驶安全，进行紧急制动，转入步骤6.4；
若障碍物距离机器人的距离大于ɑ米，转入步骤6.2。
步骤6.2、继续判断障碍物距离机器人的距离是否大于安全避障距离β米：
若障碍物距离机器人的距离大于β米，则机器人继续沿着当前方向行进，返回步骤6.1；
若障碍物距离机器人的距离小于等于β米，转入步骤6.3。
步骤6.3、根据深度学习目标检测算法得到的避障转向决策判断左转、右转或直行：
若避障决策为直行，避障角度为0，返回步骤6.1；
若避障决策为右转，根据步骤5计算当前位置向右转向避让障碍物的角度，转入步骤6.4；
若避障决策为左转，根据步骤5计算当前位置向左转向避让障碍物的角度，转入步骤6.4。
步骤6.4、根据避障转向决策以及机器人的避障角度，机器人实现自主避障。
上述安全制动距离指，当障碍物相对机器人的距离不超过此距离时，为保证机器人的行驶安全，机器人进行紧急制动的距离。
上述安全避障距离指当障碍物相对机器人尚有一段距离，且在大于此距离的情况下无需进行避障。
所述深度学习目标检测算法采用YOLO系列(如V4、V5等)、RCNN系列、RFBNet等。

Claims (8)

1.一种基于深度学习和双目视觉的机器人自主避障方法，其特征在于，步骤如下：
步骤1、在机器人地盘上设置双目相机，采用张正友标定法对双目相机进行标定，获取畸变系数对双目相机进行畸变校正，以及相机坐标系与世界坐标系的转换关系；机器人在避障场景中移动，双目相机的左目和右目分别采集若干图像，对应获得原始尺寸的左目视图和右目视图，转入步骤2；
步骤2、若干左目视图构成避障数据集，并调整左目视图为统一尺寸；采用深度学习目标检测算法对左目视图中的避障场景进行学习，得到自主避障模型，实现避障转向决策以及障碍物的二维空间下的位置检测，获得检测图像，转入步骤3；
步骤3、通过半全局立体匹配算法SGBM对步骤1中获得的左目视图和右目视图进行立体匹配，完成对避障场景的全局深度感知，获得深度图像，得到障碍物的深度信息，转入步骤4；
步骤4、在自主避障模型的基础上融合障碍物的深度信息，实现三维立体空间下的障碍物检测，获得障碍物的三维坐标，转入步骤5；
步骤5、根据避障转向决策以及障碍物的三维坐标，测算机器人的避障角度，转入步骤6；
步骤6、机器人根据避障转向决策、障碍物的三维坐标以及避障角度进行自主避障。
2.根据权利要求1所述的基于深度学习和双目视觉的机器人自主避障方法，其特征在于，步骤2中，采用深度学习目标检测算法对左目视图下的避障场景进行学习，得到机器人自主避障模型，实现避障转向决策和障碍物的二维空间下的位置检测，获得检测图像，具体如下：
步骤2.1、对每幅左目视图分别设立避障标签，即左转、右转或直行，构成避障数据集；
步骤2.2、利用深度学习目标检测算法对基于避障数据集进行梯度下降SGD迭代训练，得到自主避障模型；
步骤2.3、选取左目视图作为深度学习目标检测算法的原始输入图像，将上述图像尺寸做统一调整，经过自主避障模型进行特征提取，依据预设尺寸比例关系的锚点框anchor在上述图像中可能出现障碍物目标的区域进行预测，根据位置回归算法对预测框的位置进行微调，最终采用非极大值抑制算法筛选最终的障碍物预测框，最终获得检测图像。
3.根据权利要求1或2中所述的基于深度学习和双目视觉的机器人自主避障方法，其特征在于：步骤2中，左目视图统一尺寸为416×416或608×608像素。
4.根据权利要求1所述的基于深度学习和双目视觉的机器人自主避障方法，其特征在于：步骤3中，在半全局立体匹配算法SGBM中，对输入的左目视图和右目视图进行水平梯度预处理，根据避障场景中同一个像素点在左目视图和右目视图中各自对应位置，进行代价聚合计算、视差计算以及后处理视差优化，完成对避障场景的全局深度感知，获得深度图像，得到障碍物的深度信息。
5.根据权利要求1所述的基于深度学习和双目视觉的机器人自主避障方法，其特征在于：步骤4中的深度信息指障碍物相对机器人的距离信息。
6.根据权利要求1所述的基于深度学习和双目视觉的机器人自主避障方法，其特征在于，步骤4，在自主避障模型的基础上融合障碍物的深度信息，实现三维立体空间下的障碍物检测，获得障碍物的三维坐标，具体如下：
为了保证避障场景的检测图像和深度图像在二维空间中的一一映射关系，对检测图像进行坐标解码得到原始尺寸的左目视图下的检测结果，依据上述检测结果得到障碍物区域的坐标信息，通过坐标索引的方式得到障碍物的深度信息，并以区域内最小深度作为障碍物相对机器人的距离，进而获得障碍物的三维坐标。
7.根据权利要求1所述的基于深度学习和双目视觉的机器人自主避障方法，其特征在于，步骤5中，根据避障转向决策以及障碍物的三维坐标，测算机器人的避障角度，具体如下：
步骤5.1、对机器人建立第一三维空间直角坐标系，原点为双目相机的基线中点，水平向右为X轴，垂直向上为Y轴，垂直于XY平面向前为Z轴；以左目相机坐标系作为检测障碍物的三维直角坐标系，此坐标系的原点为左目相机的光心，X轴，Y轴分别平行于第一三维空间直角坐标系的X轴，Y轴；得出障碍物在左目相机坐标系下X坐标减去双目相机基线的一半即为机器人坐标系下的X轴坐标；
步骤5.2、根据检测图像判断避障方向，即为左转、右转或直行：
若避障方向为直行，则避障角度为0；
若避障方向为右转时，将障碍物简化一条经过距离机器人最近点D且垂直于机器人坐标系下Z轴的线段AB；这条线段的两个端点A、B的横坐标即代表障碍物左右边缘的横坐标；M、N分别代表机器人前端左右边缘点坐标；由几何关系得，直线MB与Z轴之间的夹角就是机器人向右转向时需要转动的角度θ，其计算公式如下：
Figure FDA0002957427870000031
xM为障碍物左端横坐标，因为位于机器人坐标系的X轴的负半侧，因此
Figure FDA0002957427870000032
xB为预测框的右下角横坐标；预测框的表达形式为(xmin,ymin,xmax,ymax)，其中(xmin,ymin)为预测框左上角的坐标，(xmax,ymax)为预测框右下角的坐标，其中xB就等同于xmax，但是由于xmax是在左目相机坐标系下计算得到的，根据左目相机坐标系与机器人坐标系的关系，xmax减去双目相机基线距离Baseline的一半才是xB，即
Figure FDA0002957427870000033
ZD代表障碍物离机器人最近点的深度信息；
若避障方向为左转时，障碍物在机器人行进区域的右半侧，机器人右边缘点有撞击障碍物的风险，此时的转动角度θ为：
Figure FDA0002957427870000034
xN为障碍物右端横坐标，位于机器人坐标系的X轴的正半侧，因此
Figure FDA0002957427870000035
xA为预测框的左上角横坐标，xA＝xmin；将左目相机坐标系下的xmin转换到机器人坐标系下，即
Figure FDA0002957427870000036
8.根据权利要求1所述的基于深度学习和双目视觉的机器人自主避障方法，其特征在于，步骤6中，机器人根据避障转向决策、障碍物的三维坐标以及避障角度进行自主避障，具体步骤如下：
步骤6.1、机器人根据避障转向决策、障碍物的三维坐标以及避障角度，判断障碍物距离机器人的距离是否小于安全制动距离ɑ米：
若障碍物距离机器人的距离小于等于ɑ米，为保证机器人行驶安全，进行紧急制动，转入步骤6.4；
若障碍物距离机器人的距离大于ɑ米，转入步骤6.2；
步骤6.2、继续判断障碍物距离机器人的距离是否大于安全避障距离β米：
若障碍物距离机器人的距离大于β米，则机器人继续沿着当前方向行进，返回步骤6.1；
若障碍物距离机器人的距离小于等于β米，转入步骤6.3；
步骤6.3、根据深度学习目标检测算法得到的避障转向决策判断左转、右转或直行：
若避障决策为直行，避障角度为0，返回步骤6.1；
若避障决策为右转，根据步骤5计算当前位置向右转向避让障碍物的角度，转入步骤6.4；
若避障决策为左转，根据步骤5计算当前位置向左转向避让障碍物的角度，转入步骤6.4；
步骤6.4、根据避障转向决策以及机器人的避障角度，机器人实现自主避障。
CN202110227718.4A 2021-03-02 2021-03-02 一种基于深度学习和立体视觉的自主避障方法 Withdrawn CN113031597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110227718.4A CN113031597A (zh) 2021-03-02 2021-03-02 一种基于深度学习和立体视觉的自主避障方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110227718.4A CN113031597A (zh) 2021-03-02 2021-03-02 一种基于深度学习和立体视觉的自主避障方法

Publications (1)

Publication Number Publication Date
CN113031597A true CN113031597A (zh) 2021-06-25

Family

ID=76465279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110227718.4A Withdrawn CN113031597A (zh) 2021-03-02 2021-03-02 一种基于深度学习和立体视觉的自主避障方法

Country Status (1)

Country Link
CN (1) CN113031597A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485359A (zh) * 2021-07-29 2021-10-08 北京超维世纪科技有限公司 一种工业类巡检机器人多传感器融合避障系统
CN113848931A (zh) * 2021-10-09 2021-12-28 上海联适导航技术股份有限公司 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN114817014A (zh) * 2022-04-14 2022-07-29 西安恒歌数码科技有限责任公司 一种图形节点在三维场景中相互避让的方法
CN114905512A (zh) * 2022-05-16 2022-08-16 安徽元古纪智能科技有限公司 一种智能巡检机器人全景追踪及避障方法及系统
CN115454061A (zh) * 2022-08-31 2022-12-09 安徽机电职业技术学院 一种基于3d技术的机器人路径避障方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
CN111161334A (zh) * 2019-12-31 2020-05-15 南通大学 一种基于深度学习的语义地图构建方法
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN111856448A (zh) * 2020-07-02 2020-10-30 山东省科学院海洋仪器仪表研究所 基于双目视觉和雷达的海上障碍物识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109048926A (zh) * 2018-10-24 2018-12-21 河北工业大学 一种基于立体视觉的机器人智能避障系统及方法
CN110297491A (zh) * 2019-07-02 2019-10-01 湖南海森格诺信息技术有限公司 基于多个结构光双目ir相机的语义导航方法及其系统
CN111161334A (zh) * 2019-12-31 2020-05-15 南通大学 一种基于深度学习的语义地图构建方法
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法
CN111856448A (zh) * 2020-07-02 2020-10-30 山东省科学院海洋仪器仪表研究所 基于双目视觉和雷达的海上障碍物识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
宋子豪: "基于双目立体视觉的汽车测距避障和目标识别研究", 《华中科技大学硕士学位论文》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113485359A (zh) * 2021-07-29 2021-10-08 北京超维世纪科技有限公司 一种工业类巡检机器人多传感器融合避障系统
CN113848931A (zh) * 2021-10-09 2021-12-28 上海联适导航技术股份有限公司 农机自动驾驶障碍物识别方法、系统、设备和存储介质
WO2023056789A1 (zh) * 2021-10-09 2023-04-13 上海联适导航技术股份有限公司 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN114817014A (zh) * 2022-04-14 2022-07-29 西安恒歌数码科技有限责任公司 一种图形节点在三维场景中相互避让的方法
CN114817014B (zh) * 2022-04-14 2024-10-15 西安恒歌数码科技有限责任公司 一种图形节点在三维场景中相互避让的方法
CN114905512A (zh) * 2022-05-16 2022-08-16 安徽元古纪智能科技有限公司 一种智能巡检机器人全景追踪及避障方法及系统
CN114905512B (zh) * 2022-05-16 2024-05-14 安徽元古纪智能科技有限公司 一种智能巡检机器人全景追踪及避障方法及系统
CN115454061A (zh) * 2022-08-31 2022-12-09 安徽机电职业技术学院 一种基于3d技术的机器人路径避障方法及系统
CN115454061B (zh) * 2022-08-31 2024-03-29 安徽机电职业技术学院 一种基于3d技术的机器人路径避障方法及系统

Similar Documents

Publication Publication Date Title
CN113031597A (zh) 一种基于深度学习和立体视觉的自主避障方法
CN112132972B (zh) 一种激光与图像数据融合的三维重建方法及系统
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN108196535B (zh) 基于增强学习和多传感器融合的自动驾驶系统
CN108955702B (zh) 基于三维激光和gps惯性导航系统的车道级地图创建系统
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN107167139A (zh) 一种变电站巡检机器人视觉定位导航方法及系统
CN103049912B (zh) 一种基于任意三面体的雷达-相机系统外部参数标定方法
US11468575B2 (en) Deep structured scene flow for autonomous devices
CN108520554A (zh) 一种基于orb-slam2的双目三维稠密建图方法
CN110488805A (zh) 一种基于3d立体视觉的无人车避障系统及方法
CN107483911A (zh) 一种基于多目图像传感器的信号处理方法及系统
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN109443368A (zh) 无人驾驶机器人的导航方法、装置、机器人及存储介质
CN115937810A (zh) 一种基于双目相机引导的传感器融合方法
CN114841944B (zh) 基于挂轨轨道机器人的尾矿坝表面形变巡检方法
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图系统和方法
CN113096190B (zh) 基于视觉建图的全向移动机器人导航方法
Yang et al. Vision-based intelligent vehicle road recognition and obstacle detection method
Golovnin et al. Video processing method for high-definition maps generation
Chavan et al. Obstacle detection and avoidance for automated vehicle: A review
CN112950786A (zh) 一种基于神经网络的车辆三维重建方法
US20230230317A1 (en) Method for generating at least one ground truth from a bird's eye view
Wang et al. An end-to-end auto-driving method based on 3D LiDAR
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210625

WW01 Invention patent application withdrawn after publication