CN108205314A - 基于立体视觉匹配的机器人导航装置及系统 - Google Patents
基于立体视觉匹配的机器人导航装置及系统 Download PDFInfo
- Publication number
- CN108205314A CN108205314A CN201611231375.4A CN201611231375A CN108205314A CN 108205314 A CN108205314 A CN 108205314A CN 201611231375 A CN201611231375 A CN 201611231375A CN 108205314 A CN108205314 A CN 108205314A
- Authority
- CN
- China
- Prior art keywords
- module
- robot
- target
- navigation device
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000004888 barrier function Effects 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000000386 athletic effect Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本发明提出一种基于立体视觉匹配的机器人导航装置及系统，所述系统包括：立体视觉模块、立体匹配模块、障碍物检测模块、目标检测和跟踪模块、目标定位和预设模块、数据融合模块、定位与导航模块。本发明方案利用3D视差图实现障碍物区域的检测，再结合利用2D的图像和3D的视差图进行目标物体的检测，最后根据目标和障碍物的位置信息，选择机器人可以通行的安全路径。本发明方案既结合了2D图像场景快速识别的特点，又能够结合3D深度信息保证分割的准确性。
Description
技术领域
本发明涉及机器人导航技术领域，具体涉及一种基于立体视觉匹配的机器人导航装置及系统。
背景技术
智能机器人导航技术是指通过自身携带的传感器有效获取环境和自身位姿的信息，同时完成环境中障碍物和目标的检测，并且自主规划从起始位置运动到目标位置的路径，从而实现对目标物体进行操作。其本身具有完备的感知、分析、决策和执行等模块，可以像人类一样独立地在环境中从事生产活动。
现有的机器人导航系统大多采用声纳避障，通过主动发射探测信号，然后接收场景中各物体反射的回波，通过测量发射和返回信号来获取场景信息。声纳避障只具有局部空间避障特点(只能进行特定高度和视角的障碍物检测，检测范围和检测距离有较大局限性)，不具有检测全局视野特点。
发明内容
本发明目的在于解决现有基于声纳的机器人导航系统只具有局部空间避障能力(只能进行特定高度和视角的障碍物检测)，不具有检测全局视野的问题。提供一种基于立体视觉的机器人导航装置及系统，该系统使用标定好的双目摄像机，检测障碍物的位置和景深，再根据当前机器人所在位置和姿态，实现机器人的导航。
为解决上述技术问题，本发明采用如下的技术方案：
一种基于立体视觉匹配的机器人导航装置，所述装置包括：显示器、机器人控制系统、工控机、控制盒、视觉导航装置；其中所述工控机包括主板，控制卡，GPU显卡，图像采集卡；所述视觉导航装置包括双目相机，LED光源；所述控制盒包括电源模块和控制模块；所述机器人控制系统与工控机相连，所述工控机中的主板分别于所述显示器、控制卡、GPU显卡、图像采集卡相连；所述控制盒与控制卡，图像采集卡，双目相机，LED光源相连。
所述双目相机用于辅助机器人识别场景中的障碍物和目标物体，提供可前进的安全路径，两部摄像机的光轴保持平行固定在同一个水平面上。
所述LED光源用于在黑暗的环境中为视觉系统提供照明。
所述控制盒用于为立体相机和光源提供电能，并且接收来自控制卡的信号，负责控制摄像机信号的采集与传输，以及控制LED光源的工作状态。
所述工控机用于负责信息的处理和控制信号的发送。
所述显示器用于将采集到的图像以及处理结果显示给用户查看。
本发明还提供一种基于立体视觉匹配的机器人导航系统，包括：立体视觉模块、立体匹配模块、障碍物检测模块、目标检测和跟踪模块、目标定位和预设模块、数据融合模块、定位与导航模块；其中：
所述立体视觉系统模块由双目摄像机组成，采集场景的图像信息。在机器人工作之前，可以利用双目视觉标定的方法将摄像机的内外参数计算出来，然后指导左右图像的校正工作；
所述立体匹配模块通过双目匹配算法获得环境场景的视差图，即将视差图与双目视觉的结构信息结合，为目标检测提供环境和物体的3D信息，在视差图的基础上进行障碍物的检测；
所述障碍物检测模块用于避免机器人在前进过程中发生碰撞或者陷入困境，在视差图的基础上，规划出一个局部、安全的前进路径；
所述目标检测和跟踪模块用于检测和识别机器人预操作的目标在空间中是否存在，该模块的输入可以是2D的图像或视差图3D的信息，具体选择需要由目标检测的算法来决定，若目标检测成功，则在后续视频中跟踪目标的位置；
所述目标定位和预设模块用于防止机器人无法正常工作，如果通过目标检测模块能够检测出目标物体，那么将在图像空间中标出目标物体的位置；否则，则需要借助人为事先预设的一个前进方向，提供给导航模块，以指导机器人下一步的前进方向；
所述数据融合模块用于综合目标和障碍物的位置以确定机器人下一步运动的方向，首先，利用目标检测和跟踪的结果计算出机器人欲前进的方向；其次，结合障碍物位置和自身的位姿的信息综合决策出机器人下一时刻的运动方向；
所述定位与导航模块用于将上述模块得到的前进方向信息转换为数据协议，并通过RS485传递到机器人控制系统上，完成运动姿态的调整。
本发明与现有技术相比具有以下的有益效果：
本发明方案利用3D视差图实现障碍物区域的检测，再结合利用2D的图像和3D的视差图进行目标物体的检测，最后根据目标和障碍物的位置信息，选择机器人可以通行的安全路径。本发明方案既结合了2D图像场景快速识别的特点，又能够结合3D深度信息保证分割的准确性。
附图说明
图1为本发明实施例的基于立体视觉匹配的机器人导航装置的结构图。
图2为本发明实施例的基于立体视觉匹配的机器人导航系统的流程图。
具体实施方式
参见图1，本发明实施例的一种基于立体视觉匹配的机器人导航装置，所述装置包括：显示器10、机器人控制系统20、工控机30、控制盒40、视觉导航装置50；其中所述工控机30包括主板301，控制卡302，GPU显卡303，图像采集卡304；所述视觉导航装置50包括双目相机501，LED光源502；所述控制盒40包括电源模块401和控制模块402；所述机器人控制系统20与工控机30相连，所述工控机30中的主板301分别于所述显示器10、控制卡302、GPU显卡303、图像采集卡304相连；所述控制盒40与控制卡302，图像采集卡304，双目相机501，LED光源502相连。
其中，所述双目相机501的两部摄像机的光轴保持平行固定在同一个水平面上，其外形尺寸可采用12X12X12mm，图像分辨率为352X288像素，采集巾贞率为25fps，基线距离保持为40mm。
所述视觉导航装置50获得场景图像后，经过控制盒40传输至图像采集卡304缓存后，送至主板301进行处理，然后通过RS485发送至机器人控制系统20，从而控制机器人运动。
本发明实施例还提供一种基于立体视觉匹配的机器人导航系统，包括：立体视觉模块、立体匹配模块、障碍物检测模块、目标检测和跟踪模块、目标定位和预设模块、数据融合模块、定位与导航模块；其中：
所述立体视觉系统模块由双目摄像机组成，采集场景的图像信息。在机器人工作之前，可以利用双目视觉标定的方法将摄像机的内外参数计算出来，然后指导左右图像的校正工作；
所述立体匹配模块通过双目匹配算法获得环境场景的视差图，即将视差图与双目视觉的结构信息结合，为目标检测提供环境和物体的3D信息，在视差图的基础上进行障碍物的检测；
所述障碍物检测模块用于避免机器人在前进过程中发生碰撞或者陷入困境，在视差图的基础上，规划出一个局部、安全的前进路径；
所述目标检测和跟踪模块用于检测和识别机器人预操作的目标在空间中是否存在，该模块的输入可以是2D的图像或视差图3D的信息，具体选择需要由目标检测的算法来决定，若目标检测成功，则在后续视频中跟踪目标的位置；
所述目标定位和预设模块用于防止机器人无法正常工作，如果通过目标检测模块能够检测出目标物体，那么将在图像空间中标出目标物体的位置；否则，则需要借助人为事先预设的一个前进方向，提供给导航模块，以指导机器人下一步的前进方向；
所述数据融合模块用于综合目标和障碍物的位置以确定机器人下一步运动的方向，首先，利用目标检测和跟踪的结果计算出机器人欲前进的方向；其次，结合障碍物位置和自身的位姿的信息综合决策出机器人下一时刻的运动方向；
所述定位与导航模块用于将上述模块得到的前进方向信息转换为数据协议，并通过RS485传递到机器人控制系统上，完成运动姿态的调整。
参见图2，基于立体视觉匹配的机器人导航系统的工作步骤为：
(1)完成立体视觉系统双目标定，然后获取未知环境中的图像信息；
(2)利用双目视觉匹配算法，重建出环境的3D视差图；
(3)利用视差图进行障碍物区域的检测；
(4)利用2D的图像和3D的视差图进行目标物体的检测，如果没有检测到目标，则设定为事先预设的运动方向。反之，用跟踪算法定位目标的位置，并将这些位置信息输入到数据融合模块中；
(5)根据目标和障碍物的位置信息，选择机器人可以通行的安全路径，并且不断接近目标。
Claims (8)
1.一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述导航装置包括：显示器、机器人控制系统、工控机、控制盒、视觉导航装置；其中所述工控机包括主板，控制卡，GPU显卡，图像采集卡；所述视觉导航装置包括立体相机，LED光源；所述控制盒包括电源模块和控制模块；所述机器人控制系统与工控机相连，所述工控机中的主板分别于所述显示器、控制卡、GPU显卡、图像采集卡相连；所述控制盒与控制卡，图像采集卡，立体相机，LED光源相连；
所述基于立体视觉匹配的机器人导航系统包括：立体视觉模块、立体匹配模块、障碍物检测模块、目标检测和跟踪模块、目标定位和预设模块、数据融合模块、定位与导航模块。
2.根据权利要求1所述的一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述立体视觉系统模块由双目摄像机组成，采集场景的图像信息。在机器人工作之前，可以利用双目视觉标定的方法将摄像机的内外参数计算出来，然后指导左右图像的校正工作。
3.根据权利要求1所述的一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述立体匹配模块通过双目匹配算法获得环境场景的视差图，即将视差图与双目视觉的结构信息结合，为目标检测提供环境和物体的3D信息，在视差图的基础上进行障碍物的检测。
4.根据权利要求1所述的一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述障碍物检测模块用于避免机器人在前进过程中发生碰撞或者陷入困境，在视差图的基础上，规划出一个局部、安全的前进路径。
5.根据权利要求1所述的一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述目标检测和跟踪模块用于检测和识别机器人预操作的目标在空间中是否存在，该模块的输入可以是2D的图像或视差图3D的信息，具体选择需要由目标检测的算法来决定，若目标检测成功，则在后续视频中跟踪目标的位置。
6.根据权利要求1所述的一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述目标定位和预设模块用于防止机器人无法正常工作，如果通过目标检测模块能够检测出目标物体，那么将在图像空间中标出目标物体的位置；否则，则需要借助人为事先预设的一个前进方向，提供给导航模块，以指导机器人下一步的前进方向。
7.根据权利要求1所述的一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述数据融合模块用于综合目标和障碍物的位置以确定机器人下一步运动的方向，首先，利用目标检测和跟踪的结果计算出机器人欲前进的方向；其次，结合障碍物位置和自身的位姿的信息综合决策出机器人下一时刻的运动方向。
8.根据权利要求1所述的一种基于立体视觉匹配的机器人导航装置及系统，其特征在于，所述定位与导航模块用于将上述模块得到的前进方向信息转换为数据协议，并通过RS485传递到机器人控制系统上，完成运动姿态的调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611231375.4A CN108205314A (zh) | 2016-12-19 | 2016-12-19 | 基于立体视觉匹配的机器人导航装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611231375.4A CN108205314A (zh) | 2016-12-19 | 2016-12-19 | 基于立体视觉匹配的机器人导航装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108205314A true CN108205314A (zh) | 2018-06-26 |
Family
ID=62603881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611231375.4A Pending CN108205314A (zh) | 2016-12-19 | 2016-12-19 | 基于立体视觉匹配的机器人导航装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108205314A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106267667A (zh) * | 2016-08-24 | 2017-01-04 | 中信重工开诚智能装备有限公司 | 消防机器人本体及远程控制箱功能测试仪 |
| CN108646759A (zh) * | 2018-07-09 | 2018-10-12 | 武汉科技大学 | 基于立体视觉的智能可拆卸移动机器人系统及控制方法 |
| CN108890652A (zh) * | 2018-06-28 | 2018-11-27 | 全球能源互联网研究院有限公司 | 一种变电站巡检机器人及变电站设备巡检方法 |
| CN109947118A (zh) * | 2019-04-19 | 2019-06-28 | 南京大学 | 一种使用gpu加速的代价地图快速更新方法 |
| CN110275532A (zh) * | 2019-06-21 | 2019-09-24 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、视觉设备的控制方法及装置 |
| CN110705492A (zh) * | 2019-10-10 | 2020-01-17 | 北京北特圣迪科技发展有限公司 | 一种舞台移动机器人障碍目标检测方法 |
| CN111347426A (zh) * | 2020-03-26 | 2020-06-30 | 季华实验室 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
-
2016
- 2016-12-19 CN CN201611231375.4A patent/CN108205314A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106267667A (zh) * | 2016-08-24 | 2017-01-04 | 中信重工开诚智能装备有限公司 | 消防机器人本体及远程控制箱功能测试仪 |
| CN108890652A (zh) * | 2018-06-28 | 2018-11-27 | 全球能源互联网研究院有限公司 | 一种变电站巡检机器人及变电站设备巡检方法 |
| CN108646759A (zh) * | 2018-07-09 | 2018-10-12 | 武汉科技大学 | 基于立体视觉的智能可拆卸移动机器人系统及控制方法 |
| CN108646759B (zh) * | 2018-07-09 | 2021-08-03 | 武汉科技大学 | 基于立体视觉的智能可拆卸移动机器人系统及控制方法 |
| CN109947118A (zh) * | 2019-04-19 | 2019-06-28 | 南京大学 | 一种使用gpu加速的代价地图快速更新方法 |
| CN110275532A (zh) * | 2019-06-21 | 2019-09-24 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、视觉设备的控制方法及装置 |
| CN110275532B (zh) * | 2019-06-21 | 2020-12-15 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、视觉设备的控制方法及装置 |
| CN110705492A (zh) * | 2019-10-10 | 2020-01-17 | 北京北特圣迪科技发展有限公司 | 一种舞台移动机器人障碍目标检测方法 |
| CN111347426A (zh) * | 2020-03-26 | 2020-06-30 | 季华实验室 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
| CN111347426B (zh) * | 2020-03-26 | 2021-06-04 | 季华实验室 | 一种基于3d视觉的机械臂精确放置轨迹规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108205314A (zh) | 基于立体视觉匹配的机器人导航装置及系统 | |
| WO2019128070A1 (zh) | 目标跟踪方法及装置、移动设备及存储介质 | |
| CN105607635B (zh) | 自动导引车全景光学视觉导航控制系统及全向自动导引车 | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| US20180176545A1 (en) | Virtual reality display | |
| CN103237685B (zh) | 盲区显示装置及方法 | |
| WO2018032457A1 (en) | Systems and methods for augmented stereoscopic display | |
| CN110297491A (zh) | 基于多个结构光双目ir相机的语义导航方法及其系统 | |
| CN106772431A (zh) | 一种结合tof技术和双目视觉的深度信息获取装置及其方法 | |
| CN108444390A (zh) | 一种无人驾驶汽车障碍物识别方法及装置 | |
| CN104049634A (zh) | 基于Camshift算法的智能体模糊动态避障方法 | |
| CN110163963B (zh) | 一种基于slam的建图装置和建图方法 | |
| JP2008268204A (ja) | 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション | |
| CN108897342B (zh) | 针对快速移动的民用多旋翼无人机的定位跟踪方法及系统 | |
| KR20110092502A (ko) | 이동식 감시 및 추적 장치 및 방법 | |
| CN106162144A (zh) | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 | |
| CN109773783A (zh) | 一种基于空间点云识别的巡防智能机器人及其警务系统 | |
| CN113115008B (zh) | 一种管廊主从操作巡检系统及方法 | |
| CN104331901A (zh) | 一种基于tld的多视角目标跟踪装置及方法 | |
| JP2016177640A (ja) | 映像監視システム | |
| CN104166137A (zh) | 一种基于雷达告警态势图显示的目标综合参数跟踪测量方法 | |
| CN103692993A (zh) | 一种双目远红外智能辅助安全驾驶系统 | |
| CN105373130A (zh) | 基于立体建模的特种设备事故现场信息探测系统 | |
| KR20070061091A (ko) | 관찰자 위치 결정 방법과 그를 이용한 관찰자 추적형 3차원디스플레이 시스템 및 그 방법 | |
| CN107402578A (zh) | 无人机全景障碍感知方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180626 |