CN103744110B - 超声与单目视觉传感器结合的障碍物识别装置 - Google Patents

超声与单目视觉传感器结合的障碍物识别装置 Download PDF

Info

Publication number
CN103744110B
CN103744110B CN201410035294.1A CN201410035294A CN103744110B CN 103744110 B CN103744110 B CN 103744110B CN 201410035294 A CN201410035294 A CN 201410035294A CN 103744110 B CN103744110 B CN 103744110B
Authority
CN
China
Prior art keywords
sonac
ultrasonic
sensor
axis
obstacle recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410035294.1A
Other languages
English (en)
Other versions
CN103744110A (zh
Inventor
朱延河
高永生
赵杰
张国安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201410035294.1A priority Critical patent/CN103744110B/zh
Publication of CN103744110A publication Critical patent/CN103744110A/zh
Application granted granted Critical
Publication of CN103744110B publication Critical patent/CN103744110B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

超声与单目视觉传感器结合的障碍物识别装置，它涉及一种障碍物识别装置，具体涉及一种超声与单目视觉传感器结合的障碍物识别装置。本发明为了解决传统障碍物识别装置容易受条件或物体颜色影响，导致判断的准确性下降的问题。本发明包括摄像头、红外光源、红外传感器、传声器、超声传感器组件和位姿传感器，摄像头、红外光源、红外传感器、传声器均安装在车体前端端面上，所述超声传感组件固定安装车体内，摄像头的图像信息输出端、红外传感器的红外信号输出端、传声器的声音信号输出端、超声传感器组件的超声信号输出端均与主控计算机的信号输入端连接。本发明用于进行障碍物识别。

Description

超声与单目视觉传感器结合的障碍物识别装置
技术领域
本发明涉及一种障碍物识别装置，具体涉及一种超声与单目视觉传感器结合的障碍物识别装置。
背景技术
随着社会的发展和机器人技术的发展，人们对机器人的需求越来越大，要求也越来越高。机器人朝着小型化、高精化、灵敏化、轻型化发展，机器人的自主识别能力成为了人们研究探索的主要课题。目前对于机器人的障碍物识别方法主要以双目视觉为主，通过两眼的摄像头来判断物体和障碍物的位置和方向，但是在有些情况下，例如地震救援和矿难救援等，环境条件很恶劣，空气中存在大量灰尘和污物，传统设备局限性就出现了，容易受条件或物体的颜色所影响，而失去了判断的准确性。
发明内容
本发明为了解决传统障碍物识别装置容易受条件或物体颜色影响，导致判断的准确性下降的问题，进而提出超声与单目视觉传感器结合的障碍物识别装置。
本发明为解决上述问题采取的技术方案：本发明包括摄像头、红外光源、红外传感器、传声器、超声传感器组件和位姿传感器，摄像头、红外光源、红外传感器、传声器均安装在车体前端端面上，所述超声传感组件固定安装车体内，摄像头的图像信息输出端、红外传感器的红外信号输出端、传声器的声音信号输出端、超声传感器组件的超声信号输出端均与主控计算机的信号输入端连接。
本发明的有益效果是：本发明能很好的处理环境中存在大量灰尘和污物，以及物体颜色材料的变化所带来的影响，并且为避障算法及路径规划提供依据，使搜索机器人在复杂恶劣条件下能平稳前进。使用单目视觉，降低成本和程序处理的难度。
附图说明
图1是本发明的立体结构示意图，图2是本发明的俯视剖视图，图3是五个超声传感器的位置示意图。
具体实施方式
具体实施方式一：结合图1和图2说明本实施方式，本实施方式所述超声与单目视觉传感器结合的障碍物识别装置包括摄像头1、红外光源2、红外传感器3、传声器4、超声传感器组件和位姿传感器5，摄像头1、红外光源2、红外传感器3、传声器4均安装在车体6前端端面上，所述超声传感组件固定安装车体6内，摄像头1的图像信息输出端、红外传感器3的红外信号输出端、传声器4的声音信号输出端、超声传感器组件的超声信号输出端均与主控计算机的信号输入端连接。
本实施方式中位姿传感器5由电子罗盘、陀螺仪和加速度计组成，它可以提供包括3D方位角、3D加速度、3D角速度、3D地磁场以及温度。
具体实施方式二：结合图2和图3说明本实施方式，本实施方式所述超声与单目视觉传感器结合的障碍物识别装置的超声传感组件包括第一超声传感器7、第二超声传感器8、第三超声传感器9、第四超声传感器10和第五超声传感器11，第一超声传感器7和第五超声传感器11在水平面呈一字型设置，第二超声传感器8和第四超声传感器10呈V字形设置，第三超声传感器9设置在第二超声传感器8与第四超声传感器10之间，第一超声传感器7、第二超声传感器8、第三超声传感器9、第四超声传感器10和第五超声传感器11位于同一水平面。
本实施方式的技术效果是：如此设置，使探测范围最大化，根据不同位置和角度的传感器数据，可以计算出目标区域内障碍物的位置。其它组成及连接关系与具体实施方式一相同。
具体实施方式三：结合图3说明本实施方式，本实施方式所述超声与单目视觉传感器结合的障碍物识别装置的第一超声传感器7、第二超声传感器8、第三超声传感器9、第四超声传感器10和第五超声传感器11均为圆柱体，第一超声传感器7的轴线与第五超声传感器11的轴线重合，第二超声传感器8的轴线与第一超声传感器7的轴线之间的夹角为45°，第四超声传感器10的轴线与第五超声传感器11的轴线之间的夹角为45°，第三超声传感器9的轴线与第一超声传感器7的轴线垂直。
本实施方式的技术效果是：如此设置，使探测范围最大化，根据不同位置和角度的传感器数据，可以计算出目标区域内障碍物的位置。其它组成及连接关系与具体实施方式二相同。
具体实施方式四：结合图3说明本实施方式，本实施方式所述超声与单目视觉传感器结合的障碍物识别装置的第一超声传感器7头部端与第五超声传感器11头部端之间的距离L1为200mm，第二超声传感器8头部端与第一超声传感器7轴线之间的距离L2为80mm，第三超声传感器9头部端与第一超声传感器7轴线之间的距离L3为180mm。
本实施方式的技术效果是：如此设置，使探测范围最大化，根据不同位置和角度的传感器数据，可以计算出目标区域内障碍物的位置。其它组成及连接关系与具体实施方式二相同。
工作原理
本发明利用单目视觉的光流计算对机器人自身的运动进行估计。主要根据近前下方的单目视觉信息进行运动估计，所分析的画面区域为前下方的地面区域。进行障碍物识别时，首先进行近前下方地平假设，即假设该地面区域为相对应平整的地面，该区域不存在障碍物，地面凹凸程度不影响机器人正常平稳运行；以分析区域内的强角点检测数量为判别标准，要求该区域达到设定阈值的强角点数量大于或等于1，然后取其中最强角点进行计算；计算得到光流值，根据图像平面近前下方地面区域内点所对应的光流值可以计算出摄像头1的前进速度。
由于光流计算需要从两幅或多福差别很小的动态图像序列中求得，动态图像序列的取得需要摄像头1在移动过程中采集不同位置上的图像。机器人上的摄像头1的移动有两种方式：一种是机器人行进间采集图像序列，另一种是机器人停止时通过机器人的自身摆动采集图像序列。
对于采集到的红外视觉图像，按其大小建立相应的视景障碍物图。在平面地形进行探测的情况下，当超声探头组件探测到障碍物时，摄像头1获得的图像下方为底地面区，即机器人前方脚下延伸至障碍物的地面，可以算得该地面区的高度为：各划分格计算障碍相对深度，计，其中VG表示地面区的高度，V表示视景区的高度，h表示摄像头的高度，f表示摄像头与视景区的距离，z表示摄像头到目标物体的水平距离；除去地面区部分对图像其余部分按照表一方式进行均匀划分，之后根据计算所得的光流模值对算规则如下：
一、障碍物探测区内以像平面超声探测区内均值最大的矩形四点的光流模均值为阈值，小于该阈值的光流模置零；
二、计算每个划分格内非零光流模点占所有光流模点的比率，作为该区域内障碍物所占比例；对非零光流模点计算均值，按照相应规则计算该区域估计深度；
三、对地面区的每个划分格中的光流模值减去超声探测区内均值最大的矩形四点的光流模均值后，计算均值，然后对五个划分格的值进行归一化处理，作为各个地面崎岖度度量值。
表一：视景分区图表
最终所得到的障碍物图表可以为避障算法及路径规划提供依据。该表格障碍物探测区内的数字代表该视景方块区域内存在障碍物的比例，越接近1则该区域内障碍物所占的比例越大，由于光流计算误差的存在及识别率不可能达到100%，因此该区域内的数字值在某种程度上也包含着一种概率意义上的探测结果，即越接近1则该区域内存在障碍物的概率越大。而地面区内的数字则反映了该区域内地面的崎岖程度，1代表相对的崎岖度最大，0则代表相对最为平坦。

Claims (3)

1.超声与单目视觉传感器结合的障碍物识别装置，它包括摄像头(1)、红外光源(2)、红外传感器(3)、传声器(4)、超声传感器组件和位姿传感器(5)，摄像头(1)、红外光源(2)、红外传感器(3)、传声器(4)均安装在车体(6)前端端面上，所述超声传感器组件固定安装车体(6)内，摄像头(1)的图像信息输出端、红外传感器(3)的红外信号输出端、传声器(4)的声音信号输出端、超声传感器组件的超声信号输出端均与主控计算机的信号输入端连接，其特征在于：所述超声传感器组件包括第一超声传感器(7)、第二超声传感器(8)、第三超声传感器(9)、第四超声传感器(10)和第五超声传感器(11)，第一超声传感器(7)和第五超声传感器(11)在水平面呈一字型设置，第二超声传感器(8)和第四超声传感器(10)呈V字形设置，第三超声传感器(9)设置在第二超声传感器(8)与第四超声传感器(10)之间，第一超声传感器(7)、第二超声传感器(8)、第三超声传感器(9)、第四超声传感器(10)和第五超声传感器(11)位于同一水平面。
2.根据权利要求1所述超声与单目视觉传感器结合的障碍物识别装置，其特征在于：第一超声传感器(7)、第二超声传感器(8)、第三超声传感器(9)、第四超声传感器(10)和第五超声传感器(11)均为圆柱体，第一超声传感器(7)的轴线与第五超声传感器(11)的轴线重合，第二超声传感器(8)的轴线与第一超声传感器(7)的轴线之间的夹角为45°，第四超声传感器(10)的轴线与第五超声传感器(11)的轴线之间的夹角为45°，第三超声传感器(9)的轴线与第一超声传感器(7)的轴线垂直。
3.根据权利要求1所述超声与单目视觉传感器结合的障碍物识别装置，其特征在于：第一超声传感器(7)头部端与第五超声传感器(11)头部端之间的距离(L1)为200mm，第二超声传感器(8)头部端与第一超声传感器(7)轴线之间的距离(L2)为80mm，第三超声传感器(9)头部端与第一超声传感器(7)轴线之间的距离(L3)为180mm。
CN201410035294.1A 2014-01-24 2014-01-24 超声与单目视觉传感器结合的障碍物识别装置 Active CN103744110B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410035294.1A CN103744110B (zh) 2014-01-24 2014-01-24 超声与单目视觉传感器结合的障碍物识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410035294.1A CN103744110B (zh) 2014-01-24 2014-01-24 超声与单目视觉传感器结合的障碍物识别装置

Publications (2)

Publication Number Publication Date
CN103744110A CN103744110A (zh) 2014-04-23
CN103744110B true CN103744110B (zh) 2016-10-05

Family

ID=50501145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410035294.1A Active CN103744110B (zh) 2014-01-24 2014-01-24 超声与单目视觉传感器结合的障碍物识别装置

Country Status (1)

Country Link
CN (1) CN103744110B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765367B (zh) * 2014-11-27 2015-12-02 无锡美联动线智能科技有限公司 实现智能化越障的服务机器人
CN106909141A (zh) * 2015-12-23 2017-06-30 北京机电工程研究所 障碍物探测定位装置及避障系统
CN107037130B (zh) * 2017-06-09 2019-09-20 长春理工大学 单目视觉三维超声无损检测系统及检测方法
CN110815220A (zh) * 2019-11-11 2020-02-21 深圳市荣盛智能装备有限公司 一种消防机器人的遇障处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101625573A (zh) * 2008-07-09 2010-01-13 中国科学院自动化研究所 基于数字信号处理器的巡线机器人单目视觉导航系统
CN101642405A (zh) * 2009-06-19 2010-02-10 中国科学院声学研究所 一种超声导盲方法及其便携式超声导盲装置
CN102015220A (zh) * 2008-04-23 2011-04-13 韩国道路公司 能够攀爬障碍物的桥梁检测机器人
CN202397747U (zh) * 2011-12-08 2012-08-29 华南理工大学 助老与助残机器人
CN103010261A (zh) * 2012-12-28 2013-04-03 熊德富 基于单目视觉的轨道交通防撞预警系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006131022A1 (en) * 2005-06-07 2006-12-14 Intel Corporation Ultrasonic tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102015220A (zh) * 2008-04-23 2011-04-13 韩国道路公司 能够攀爬障碍物的桥梁检测机器人
CN101625573A (zh) * 2008-07-09 2010-01-13 中国科学院自动化研究所 基于数字信号处理器的巡线机器人单目视觉导航系统
CN101642405A (zh) * 2009-06-19 2010-02-10 中国科学院声学研究所 一种超声导盲方法及其便携式超声导盲装置
CN202397747U (zh) * 2011-12-08 2012-08-29 华南理工大学 助老与助残机器人
CN103010261A (zh) * 2012-12-28 2013-04-03 熊德富 基于单目视觉的轨道交通防撞预警系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种新的超声波绝对定位方法;蒋林;《吉林大学学报（工学版）》;20090131;第39卷(第1期);全文 *
一种超声波三维定位系统的研究;秦军;《机床与液压》;20080831;第36卷(第8期);全文 *
超声波绝对定位的全方位移动机械手导航研究;赵杰;《西安交通大学学报》;20080331;第42卷(第3期);全文 *

Also Published As

Publication number Publication date
CN103744110A (zh) 2014-04-23

Similar Documents

Publication Publication Date Title
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN104811683B (zh) 用于估计位置的方法和设备
US8233660B2 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN112292711A (zh) 关联lidar数据和图像数据
US8521418B2 (en) Generic surface feature extraction from a set of range data
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
Buczko et al. How to distinguish inliers from outliers in visual odometry for high-speed automotive applications
CN111288989B (zh) 一种小型无人机视觉定位方法
CN113781582A (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
KR101207535B1 (ko) 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
CN103744110B (zh) 超声与单目视觉传感器结合的障碍物识别装置
CN111862673A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
CN114325634A (zh) 一种基于激光雷达的高鲁棒性野外环境下可通行区域提取方法
CN115371665B (zh) 一种基于深度相机和惯性融合的移动机器人定位方法
CN113487631A (zh) 基于lego-loam的可调式大角度探测感知及控制方法
CN112731503A (zh) 一种基于前端紧耦合的位姿估计方法及系统
CN112862818A (zh) 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法
CN112945233A (zh) 一种全局无漂移的自主机器人同时定位与地图构建方法
Wang et al. Micro aerial vehicle navigation with visual-inertial integration aided by structured light
Lee et al. Estimation of longitudinal profile of road surface from stereo disparity using Dijkstra algorithm
Barth et al. Vehicle tracking at urban intersections using dense stereo

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant