CN110378915A - 一种基于双目视觉的爬壁机器人障碍物检测方法 - Google Patents

一种基于双目视觉的爬壁机器人障碍物检测方法 Download PDF

Info

Publication number
CN110378915A
CN110378915A CN201910670913.7A CN201910670913A CN110378915A CN 110378915 A CN110378915 A CN 110378915A CN 201910670913 A CN201910670913 A CN 201910670913A CN 110378915 A CN110378915 A CN 110378915A
Authority
CN
China
Prior art keywords
barrier
value
parallax
point
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910670913.7A
Other languages
English (en)
Inventor
唐东林
游传坤
汤炎锦
龙再勇
潘峰
吴薇萍
李龙
陈印
谢光磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN201910670913.7A priority Critical patent/CN110378915A/zh
Publication of CN110378915A publication Critical patent/CN110378915A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供了一种基于双目视觉的爬壁机器人障碍物检测方法，采用双目视觉系统。在得到视差图后，通过高度、深度和面积阈值过滤干扰，提取障碍物并用矩形框标记。随机在矩形框内选取若干白色点视差中位数作为稳定值，设定视差阈值，将视差值与稳点值差值大于视差阈值的白色点进行去除，剩余白色点作为稳定点，取各稳定点对应的视差值最小值作为物体的深度视差值，根据相似三角形原理计算障碍物深度。根据障碍物深度值，计算矩形框宽度对应实际宽度并作为障碍物宽度值。通过矩形框形心点对应视差计算障碍物偏距，若其不为稳定点，则对矩形框形心点视差进行插值。本发明具有速度快、鲁棒性高的优点，能够满足爬壁机器人障碍物实时检测需求。

Description

一种基于双目视觉的爬壁机器人障碍物检测方法
技术领域
本发明属于计算机视觉领域，主要是障碍物检测和双目测量，具体涉及一种基于双目视觉的爬壁机器人障碍物检测方法。
背景技术
障碍物检测是爬壁机器人感知环境、避障导航研究的重要组成部分，基于双目视觉的障碍物检测是获得障碍物信息的主要手段。目前，一个完整的基于双目视觉的障碍物检测方法一般可以由图像获取，相机标定，立体匹配，障碍物提取，障碍物定位5个部分组成，障碍物提取和障碍物定位是常用关键步骤。
针对障碍物提取，中国专利申请号CN201410146864.4、文章：基于视差空间V-截距的障碍物检测(曹腾.浙江大学学报(工学版)：2015，49(3)：409-414)、文章：基于改进RANSAC的消防机器人双目障碍检测(王军华.计算机工程与应用：2017(2):236-240)等均提出通过不同方法去除行驶路面干扰；中国专利申请号CN201410203724.6，文章：基于双目立体视觉的倒车环境障碍物测量方法(刘昱岗，交通运输系统工程与信息,2016,16(4):79-87)等采用基于距离的障碍物检测方法，将检测深度距离内的物体视为障碍物。但实际环境中由于光线或误匹配等因素造成的白斑，仍会对障碍物的提取造成干扰，将会导致障碍物的误提取。
针对障碍物定位，目前主要是通过障碍物形心的深度作为障碍物的距离，然而此方法存在障碍物信息不全，视差丢失无法定位的问题。而文章：小车避障双目视觉识别系统的研发(庄晓霖，农业工程学报,2015,31(Z2):24-30)、中国专利申请号201610803492.7等通过全图插值或基于边缘的插值思想进行障碍物全局遍历插值，虽然解决了视差丢失的问题，但无法满足检测的实时性。实际上，爬壁机器人仅需得到障碍物的宽度、距离、偏距信息即可顺利完成障碍物的检测。
发明内容
本发明的目的在于克服目前基于双目视觉的障碍物检测算法存在的环境干扰大，障碍物信息不全，实时性不高的问题。为此，本发明采用如下技术方案：
一种基于双目视觉的爬壁机器人障碍物检测方法，包括步骤：
(1)获取基于左视图的视差图，设定高度阈值与深度阈值分割检测区域，引入面积阈值，过滤白斑干扰，完成障碍物提取，并用外接矩形框对障碍物进行标记。
(2)将障碍物上稳定点视差最小值作为障碍物深度，将外接矩形框实际宽度作为障碍物宽度，矩形框形心与左摄像头横向距离作为障碍物偏距，对障碍物进行定位。
进一步地，所述步骤(1)具体是输入根据标定参数校正后的基于左视图的视差图，根据摄像头安装高度、小车检测深度范围以及小车越障高度确定检测高度阈值与检测深度阈值，通过阈值分割获取检测区域。再通过连通域标记算法标记图中所有连通域，根据白斑面积较小这一先验条件,设置面积阈值，通过阈值分割过滤白斑干扰，将剩余连通域作为障碍物，并用矩形框进行标记。
进一步地，所述步骤(2)具体是通过随机取矩形框内若干白色点并获取其对应视差，取白色点视差中位数作为稳定值，设定视差阈值，将视差值与稳点值差值大于视差阈值的白色点进行去除，剩余白色点作为稳定点，取各稳定点对应的视差值最小值作为物体的深度视差值，根据相似三角形原理计算障碍物深度。根据障碍物深度值，计算矩形框宽度对应实际宽度并作为障碍物宽度值。获取矩形框形心点视差，判断其是否为稳定点，若为稳定点，则计算对应横坐标值作为障碍物偏距。若不为稳定点，则搜索同行左右最近稳定点，根据稳定点视差值对形心点进行线性插值，如果某方向搜索到边界还未搜索到稳定点，搜索距离归零且重新对上一行像素点进行搜索，直到搜索到稳定点。根据插值后的形心点视差值计算障碍物偏距。与现有技术相比，本发明具有以下有益效果：
有效解决目前基于双目视觉的障碍物检测算法存在的环境干扰大，障碍物信息不全，实时性不高的问题，实现了壁面环境下快速、鲁棒、准确地进行障碍物提取和定位。从而为爬壁机器人避障、路径规划提供基础。
附图说明
图1是本发明实施例一的整体流程图。
图2是本发明实施例一的障碍物壁面检测模型图
图3是本发明实施例一的障碍物提取图
图4是本发明实施例一的障碍物定位流程图
图5是本发明实施例一的障碍物区域外接矩形宽度测量原理图
具体实施方式：
为了更好地理解本发明，下面结合附图对本发明作进一步地描述：
实施例一
(1)获取基于左视图的视差图，设定高度阈值与深度阈值分割检测区域，引入面积阈值，过滤白斑干扰，完成障碍物提取，并用外接矩形框对障碍物进行标记。
(2)将障碍物上稳定点视差最小值作为障碍物深度，将外接矩形框实际宽度作为障碍物宽度，矩形框形心与左摄像头横向距离作为障碍物偏距，对障碍物进行定位。
具体而言，所述步骤(1)具体是输入根据标定参数校正后的基于左视图的视差图，根据摄像头安装高度、小车检测深度范围以及小车越障高度确定检测高度阈值与检测深度阈值，通过阈值分割获取检测区域。再通过连通域标记算法标记图中所有连通域，根据白斑面积较小这一先验条件,设置面积阈值，通过阈值分割过滤白斑干扰，将剩余连通域作为障碍物，并用矩形框进行标记。
具体而言，所述步骤(2)具体是通过随机取矩形框内若干白色点并获取其对应视差，取白色点视差中位数作为稳定值，设定视差阈值，将视差值与稳点值差值大于视差阈值的白色点进行去除，剩余白色点作为稳定点，取各稳定点对应的视差值最小值作为物体的深度视差值，根据相似三角形原理计算障碍物深度。根据障碍物深度值，计算矩形框宽度对应实际宽度并作为障碍物宽度值。获取矩形框形心点视差，判断其是否为稳定点，若为稳定点，则计算对应横坐标值作为障碍物偏距。若不为稳定点，则搜索同行左右最近稳定点，根据稳定点视差值对形心点进行线性插值，如果某方向搜索到边界还未搜索到稳定点，搜索距离归零且重新对上一行像素点进行搜索，直到搜索到稳定点。根据插值后的形心点视差值计算障碍物偏距。与现有技术相比，本发明具有以下有益效果：
图2是本例实施的壁面障碍物检测模型，Od-XdYdZd为壁面坐标系，Ol-XcYcZc为左摄像机坐标系，摄像机安装高度为H，Zd轴代表爬壁机器人行驶方向。Hmax为爬壁机器人的越障高度。由于世界坐标系Ow-XwYwZw与左摄像机重合，建立壁面坐标系与相机坐标系之间的关系式：
经过相机的标定获得左、右相机的内外参数以及两相机的空间几何关系后，计算出重投影矩阵：
(xl,yl)为主点在左图像的坐标，xr为主点在右图像X坐标，T为双目相机基线距。利用矩阵Q可以把2维平面(图像平面)上的点投影到3维空间中的点：
利用此方法即可求出图像中点(x,y)对应的三维空间任意点坐标(XW,YW,ZW)，其中XW、YW、ZW、W表达式如下：
其中f代表焦距，d表示视差。
设定高度阈值Hmax与深度阈值Zmax，当视差图中物体满足下式时，通过阈值分割予以去除
图3是本例实施的障碍物提取图，通过SAD匹配算法生成的视差图，存在大量非障碍物干扰，且障碍物中心存在视差丢失的情况。根据壁面检测模型结合本文障碍物提取算法去除高度阈值和深度阈值以外的视差，然后通过面积阈值克服了面积较小的白斑干扰，用矩形框成功标记出障碍物。
图4是障碍物定位流程图，对于障碍物定位可以具体分为如下6个步骤：
步骤1获取矩形框宽度与形心点图像坐标，将矩形框宽度作为物体宽度w，形心O作为障碍物中心。
步骤2随机提若干(一般取10个)矩形框内白色像素点视差di(i＝1,2...10)，获取视差中位数dm，设定异常阈值Kd，对于|di-dm|＜Kd的像素点，将其定义为稳定点，否则视为异常值剔除，将剩余点视差最小值dd作为障碍物深度视差。
步骤3获取障碍物中心点视差do，如果其为异常值，则定位异常，转入步骤4，否则，进入步骤6。
步骤4以障碍物中心为起点向左向右搜索稳定点，步长为1，将矩形框的左右边界作为搜索边界。通过左右两边稳定点对障碍物中心视差d0进行线性插值:
do＝dl+ax(dr-dl)
其中插值系数ax＝ll/(ll+lr)，左右搜索距离为(ll,lr)，左右稳定点视差为(dl,dr)。
步骤5如果某方向搜索到边界还未搜索到稳定点，搜索距离归零且重新对上一行像素点进行搜索，直到搜索到稳定点。
步骤6计算障碍物宽度、深度和偏距，对障碍物进行定位。
图5是宽度测量原理图，,根据相似三角形原理，即可计算出障碍物的实际宽度w':
其中Zw为深度视差对应的深度值
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种基于双目视觉的爬壁机器人障碍物检测方法，其特征在于：包括以下步骤：
(1)获取基于左视图的视差图，设定高度阈值与深度阈值分割检测区域，引入面积阈值，过滤白斑干扰，完成障碍物提取，并用外接矩形框对障碍物进行标记；
(2)将障碍物上稳定点视差最小值作为障碍物深度，将外接矩形框实际宽度作为障碍物宽度，矩形框形心与左摄像头横向距离作为障碍物偏距，对障碍物进行定位。
2.根据权利要求1所述基于双目视觉的爬壁机器人障碍物检测方法，其特征在于：所述步骤(1)具体是输入根据标定参数校正后的基于左视图的视差图，根据摄像头安装高度、小车检测深度范围以及小车越障高度确定检测高度阈值与检测深度阈值，通过阈值分割获取检测区域，再通过连通域标记算法标记图中所有连通域，根据白斑面积较小这一先验条件,设置面积阈值，通过阈值分割过滤白斑干扰，将剩余连通域作为障碍物，并用矩形框进行标记。
3.根据权利要求1所述基于双目视觉的爬壁机器人障碍物检测方法，其特征在于：所述步骤(2)具体是通过随机取矩形框内若干白色点并获取其对应视差，取白色点视差中位数作为稳定值，设定视差阈值，将视差值与稳点值差值大于视差阈值的白色点进行去除，剩余白色点作为稳定点，取各稳定点对应的视差值最小值作为物体的深度视差值，根据相似三角形原理计算障碍物深度。根据障碍物深度值，计算矩形框宽度对应实际宽度并作为障碍物宽度值，获取矩形框形心点视差，判断其是否为稳定点，若为稳定点，则计算对应横坐标值作为障碍物偏距，若不为稳定点，则搜索同行左右最近稳定点，根据稳定点视差值对形心点进行线性插值，如果某方向搜索到边界还未搜索到稳定点，搜索距离归零且重新对上一行像素点进行搜索，直到搜索到稳定点，根据插值后的形心点视差值计算障碍物偏距。
CN201910670913.7A 2019-07-24 2019-07-24 一种基于双目视觉的爬壁机器人障碍物检测方法 Pending CN110378915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910670913.7A CN110378915A (zh) 2019-07-24 2019-07-24 一种基于双目视觉的爬壁机器人障碍物检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910670913.7A CN110378915A (zh) 2019-07-24 2019-07-24 一种基于双目视觉的爬壁机器人障碍物检测方法

Publications (1)

Publication Number Publication Date
CN110378915A true CN110378915A (zh) 2019-10-25

Family

ID=68255562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910670913.7A Pending CN110378915A (zh) 2019-07-24 2019-07-24 一种基于双目视觉的爬壁机器人障碍物检测方法

Country Status (1)

Country Link
CN (1) CN110378915A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113534176A (zh) * 2021-06-22 2021-10-22 武汉工程大学 基于图正则化的光场高精度三维测距方法
CN114296381A (zh) * 2022-01-06 2022-04-08 同济大学 一种水冷壁爬壁机器人控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408596A (zh) * 2016-09-06 2017-02-15 电子科技大学 基于边缘的局部立体匹配方法
CN106650701A (zh) * 2017-01-05 2017-05-10 华南理工大学 基于双目视觉的室内阴影环境下障碍物检测方法及装置
US20170337434A1 (en) * 2016-01-22 2017-11-23 Beijing Smarter Eye Technology Co. Ltd. Warning Method of Obstacles and Device of Obstacles
CN108269281A (zh) * 2016-12-30 2018-07-10 无锡顶视科技有限公司 基于双目视觉的避障技术方法
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN109333506A (zh) * 2018-10-23 2019-02-15 广东工业大学 一种人形智能机器人系统
CN109947093A (zh) * 2019-01-24 2019-06-28 广东工业大学 一种基于双目视觉的智能避障算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337434A1 (en) * 2016-01-22 2017-11-23 Beijing Smarter Eye Technology Co. Ltd. Warning Method of Obstacles and Device of Obstacles
CN106408596A (zh) * 2016-09-06 2017-02-15 电子科技大学 基于边缘的局部立体匹配方法
CN108269281A (zh) * 2016-12-30 2018-07-10 无锡顶视科技有限公司 基于双目视觉的避障技术方法
CN106650701A (zh) * 2017-01-05 2017-05-10 华南理工大学 基于双目视觉的室内阴影环境下障碍物检测方法及装置
CN108629812A (zh) * 2018-04-11 2018-10-09 深圳市逗映科技有限公司 一种基于双目相机的测距方法
CN109333506A (zh) * 2018-10-23 2019-02-15 广东工业大学 一种人形智能机器人系统
CN109947093A (zh) * 2019-01-24 2019-06-28 广东工业大学 一种基于双目视觉的智能避障算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘俊峰: "基于双目视觉的三维重构与障碍检测", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
刘坤: "基于视觉信息的室内移动机器人目标跟踪及路径规划", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113534176A (zh) * 2021-06-22 2021-10-22 武汉工程大学 基于图正则化的光场高精度三维测距方法
CN114296381A (zh) * 2022-01-06 2022-04-08 同济大学 一种水冷壁爬壁机器人控制系统

Similar Documents

Publication Publication Date Title
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN110264567B (zh) 一种基于标记点的实时三维建模方法
CN105866790B (zh) 一种考虑激光发射强度的激光雷达障碍物识别方法及系统
CN111914715B (zh) 一种基于仿生视觉的智能车目标实时检测与定位方法
CA2950791C (en) Binocular visual navigation system and method based on power robot
CN111881790A (zh) 一种高精度地图制作中道路人行横道自动化提取方法和装置
WO2024114119A1 (zh) 一种基于双目相机引导的传感器融合方法
CN113781562B (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN106599776B (zh) 一种基于轨迹分析的人数统计方法
CN110197173A (zh) 一种基于双目视觉的路沿检测方法
CN111178150A (zh) 车道线检测方法、系统及存储介质
CN113223135A (zh) 一种基于特殊复合平面镜虚像成像的三维重建装置和方法
CN110378915A (zh) 一种基于双目视觉的爬壁机器人障碍物检测方法
KR20170014916A (ko) 단일 카메라와 ｇｐｓ를 이용한 영상 내 객체의 좌표 산출 방법
Li et al. A new 3D LIDAR-based lane markings recognition approach
CN111476798B (zh) 一种基于轮廓约束的车辆空间形态识别方法及系统
JP7179687B2 (ja) 障害物検知装置
Yang et al. Vision-based intelligent vehicle road recognition and obstacle detection method
Shuai et al. Target recognition and range-measuring method based on binocular stereo vision
Vatavu et al. Real-time modeling of dynamic environments in traffic scenarios using a stereo-vision system
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
Lee et al. Estimation of longitudinal profile of road surface from stereo disparity using Dijkstra algorithm
CN103971356A (zh) 基于视差信息的街景图像目标分割方法及装置
Deng et al. Underwater circular object positioning system based on monocular vision
JP3700681B2 (ja) 走行路検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191025