CN104331884A - 四触角履带机器人爬楼梯参数获取系统和方法 - Google Patents

四触角履带机器人爬楼梯参数获取系统和方法 Download PDF

Info

Publication number
CN104331884A
CN104331884A CN201410590000.1A CN201410590000A CN104331884A CN 104331884 A CN104331884 A CN 104331884A CN 201410590000 A CN201410590000 A CN 201410590000A CN 104331884 A CN104331884 A CN 104331884A
Authority
CN
China
Prior art keywords
stair
camera
xbox360
kinect
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410590000.1A
Other languages
English (en)
Other versions
CN104331884B (zh
Inventor
罗均
刘恒利
李恒宇
蒲华燕
谢少荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinghai Intelligent Equipment Co ltd
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201410590000.1A priority Critical patent/CN104331884B/zh
Publication of CN104331884A publication Critical patent/CN104331884A/zh
Application granted granted Critical
Publication of CN104331884B publication Critical patent/CN104331884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种四触角履带机器人爬楼梯参数获取系统和方法。本系统包括四触角履带机器人平台及其搭载的微软公司KinectXBOX360摄像机。本方法是将微软公司KinectXBOX360摄像机的获取的RGB图像和深度图像信息融合，计算出楼梯的相关参数，从而控制四履带机器人进行爬楼梯动作。本发明的实施例主要用于楼梯的参数计算，特别是在四触角履带机器人爬楼梯过程中控制四触角的位姿。

Description

四触角履带机器人爬楼梯参数获取系统和方法
技术领域
本发明公开了一种四触角履带机器人爬楼梯参数获取系统与方法，涉及机器人视觉，模式识别技术领域。
背景技术
移动机器人在室内或人造室外环境中具备自主识别楼梯的参数能力，对于灾害中搜救和自主导航有重要的作用。履带机器人对地形的适应性使其特别适合用于自主爬楼梯研究的平台。在移动机器人上搭载单目相机，双目相机，成像雷达以及激光成像设备，获取环境信息使机器人自主导航。目前，这些传感设备不能很好的解决楼梯参数获取的功能且设备价钱昂贵。
Kinect XBOX360是微软一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能。目前，Kinect XBOX360可以通过USB接口与机器人控制器相连，是移动机器人三维视觉数据的有效来源。Kinect XBOX360是一款价格低廉的传感设备，在机器人研究社区掀起一股研究热潮。
发明内容
为了克服上述现有技术的不足和利用Kinect XBOX360体感传感器的优势，本发明提供了一种四触角履带机器人爬楼梯参数获取系统与方法，解决在四触角履带机器人爬楼梯过程中楼梯参数获取的问题，能有效的计算出楼梯踏步的深度和高度及倾角，用于四触角履带机器人自主爬楼梯。
为了达到上述目的，本发明的构思是：Kinect XBOX360的RGB图像和深度图像信息融合起来，采用四触角履带机器人作为移动平台，解决在四触角履带机器人爬楼梯过程中楼梯参数获取的问题，能有效的计算出楼梯踏步的深度和高度及倾角，用于四触角履带机器人自主爬楼梯。
根据上述发明构思，本发明采用下述技术方案：
一种四触角履带机器人爬楼梯参数获取系统，包括装有控制电脑的四触角履带机器人和微软公司的Kinect XBOX360摄像头，其特征在于：所述微软公司的Kinect XBOX360摄像头安装在四触角履带机器人上面，通过USB接口连接四触角履带机器人的控制电脑，获取Kinect XBOX360摄像头对楼梯摄取的RGB彩色和深度图像经过处理信息融合，计算楼梯的相关参数。
一种四触角履带机器人爬楼梯参数获取方法，采用上述的四触角履带机器人爬楼梯参数获取系统进行楼梯参数计算，其特征在于：其操作步骤如下：
（1）相机标定：利用张正友相机标定法，获取Kinect XBOX360摄像头的参数矩阵K：
                                                                                           ，
其中：f—相机的焦距； s—相机的扭曲系数； —主点偏置；
（2）图像获取：打开Kinect XBOX360摄像头，获取Kinect XBOX360的RGB图像和深度图像数据；
（3）创建各计算节点：Kinect XBOX360摄像头的图像数据包含RGB图像和深度图像，各计算节点分别从上述图像中计算与楼梯相关的信息；本步骤（3）包含以下计算节点：
①楼梯边缘提取：利用Kinect XBOX360摄像头的RGB图像数据，采用霍夫变换算法提取楼梯边缘直线：
                                         ，
其中：ρ—图像原点到直线的距离，θ l —直线的倾角；
②楼梯踏步深度d：取楼梯三个相邻边缘为基准，在图像中取20*20区域的平均深度值作为衡量，两块区域的深度差值即楼梯踏步深度d；
③楼梯踏步高度H：利用三角形相似性原理，解出楼梯踏步高度H：
，
其中：f-相机的焦距，h-楼梯相邻两个边缘之间的图像平面中的垂直高度，dp-楼梯踏步的垂直面的深度值；
④楼梯倾角θ；根据步骤②和③所求出的楼梯踏步深度d和楼梯踏步高度H，解出楼梯倾角θ：
；
本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：本发明在四触角履带机器人平台上能有效地获取爬楼梯参数。四触角履带机器人能够在室内或室外人造环境中具有很好的适应性，完成救援和自主导航的功能。
附图说明
图1为本发明的方法原理图。
图2为本发明的一个实施例的系统结构示意图。
图3为楼梯的基本属性示意图。
图4为楼梯边缘直线检测方法示意图。
具体实施方式
下面结合附图对本发明中的优选实施例进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例。
实施例一：
参见图2，本四触角履带机器人爬楼梯参数获取系统，包括装有控制电脑的四触角履带机器人（1）和微软公司的Kinect XBOX360摄像头（2），其特征在于：所述微软公司的Kinect XBOX360摄像头（2）安装在四触角履带机器人（1）上面，通过USB接口连接四触角履带机器人（1）的控制电脑，获取Kinect XBOX360摄像头（2）对楼梯（3）摄取的RGB彩色和深度图像，经过处理信息融合，计算楼梯（3）的相关参数。
实施例二：
参见图1，图2，图3和图4，本四触角履带机器人爬楼梯参数获取方法，采上述的四触角履带机器人爬楼梯参数获取系统进行楼梯参数计算，其特征在于：其操作步骤如下：
（2.1）相机标定：利用张正友相机标定法，获取Kinect XBOX360摄像头（2）的参数矩阵K：
                                            ，
其中：f—相机的焦距； s—相机的扭曲系数； —主点偏置；
（2.2）图像获取：打开Kinect XBOX360摄像头（2），获取Kinect XBOX360的RGB图像和深度图像数据；
（2.3）创建各计算节点：Kinect XBOX360摄像头（2）的图像数据包含RGB图像和深度图像，各计算节点分别从上述图像中计算与楼梯（3）相关的信息；本步骤（2.3）包含以下计算节点：
①楼梯边缘提取：利用Kinect XBOX360摄像头（2）的RGB图像数据，采用霍夫变换算法提取楼梯（3）边缘直线：
                                         ，
其中：ρ—图像原点到直线的距离，θ l —直线的夹角；
②楼梯踏步深度d：取楼梯三个相邻边缘为基准，在图像中取20*20区域的平均深度值作为衡量，两块区域的深度差值即楼梯（3）踏步深度d；
③楼梯踏步高度H：利用三角形相似性原理，解出楼梯（3）踏步高度H：
，
其中：f-相机的焦距，h-楼梯相邻两个边缘之间的图像平面中的垂直高度，dp-楼梯踏步的垂直面的深度值；
④楼梯倾角θ；根据步骤②和③所求出的楼梯（3）踏步深度d和楼梯踏步高度H，解出楼梯（3）倾角θ：
；
以上所述，仅为本发明的具体实施方式，但本发明的保护范围不仅局限于此，任何熟悉本领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应为所述以权利要求的保护范围为准。 

Claims (2)

1.一种四触角履带机器人爬楼梯参数获取系统，包括装有控制电脑的四触角履带机器人（1）和微软公司的Kinect XBOX360摄像头（2），其特征在于：所述微软公司的Kinect XBOX360摄像头（2）安装在四触角履带机器人（1）上面，通过USB接口连接四触角履带机器人（1）的控制电脑，获取Kinect XBOX360摄像头（2）对楼梯（3）摄取的RGB彩色和深度图像经过处理信息融合，计算楼梯（3）的相关参数。
2.一种四触角履带机器人爬楼梯参数获取方法，采用根据权利要求1所述的基于四触角履带机器人爬楼梯参数获取系统进行楼梯参数计算，其特征在于：其操作步骤如下：
（2.1）相机标定：利用张正友相机标定法，获取Kinect XBOX360摄像头（2）的参数矩阵K：
                                                                                           ，
其中：f—相机的焦距； s—相机的扭曲系数； —主点偏置；
（2.2）图像获取：打开Kinect XBOX360摄像头（2），获取Kinect XBOX360的RGB图像和深度图像数据；
（2.3）创建各计算节点：Kinect XBOX360摄像头（2）的图像数据包含RGB图像和深度图像，各计算节点分别从上述图像中计算与楼梯（3）相关的信息；本步骤（2.3）包含以下计算节点：
①楼梯边缘提取：利用Kinect XBOX360摄像头（2）的RGB图像数据，采用霍夫变换算法提取楼梯（3）边缘直线：
                                         ，
其中：ρ—图像原点到直线的距离，θ l —直线的夹角；
②计算楼梯踏步深度d：取楼梯三个相邻边缘为基准，在图像中取20*20区域的平均深度值作为衡量，两块区域的深度差值即楼梯（3）踏步深度d；
③计算楼梯踏步高度H：利用三角形相似性原理，解出楼梯（3）踏步高度H：
，
其中：f-相机的焦距，h-楼梯相邻两个边缘之间的图像平面中的垂直高度，dp-楼梯踏步的垂直面的深度值；
④计算楼梯倾角θ；根据步骤②和③所求出的楼梯（3）踏步深度d和楼梯踏步高度H，解出楼梯（3）倾角θ：
。
CN201410590000.1A 2014-10-29 2014-10-29 四触角履带机器人的爬楼梯参数获取系统 Active CN104331884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410590000.1A CN104331884B (zh) 2014-10-29 2014-10-29 四触角履带机器人的爬楼梯参数获取系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410590000.1A CN104331884B (zh) 2014-10-29 2014-10-29 四触角履带机器人的爬楼梯参数获取系统

Publications (2)

Publication Number Publication Date
CN104331884A true CN104331884A (zh) 2015-02-04
CN104331884B CN104331884B (zh) 2017-03-29

Family

ID=52406604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410590000.1A Active CN104331884B (zh) 2014-10-29 2014-10-29 四触角履带机器人的爬楼梯参数获取系统

Country Status (1)

Country Link
CN (1) CN104331884B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000947A1 (zh) * 2017-06-30 2019-01-03 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
CN109794941A (zh) * 2019-03-18 2019-05-24 大连理工大学 一种具有攀爬楼梯功能的履带式机器人控制系统及方法
CN110919653A (zh) * 2019-11-29 2020-03-27 深圳市优必选科技股份有限公司 机器人的爬楼控制方法、装置、存储介质和机器人
CN111127497A (zh) * 2019-12-11 2020-05-08 深圳市优必选科技股份有限公司 一种机器人及其爬楼控制方法和装置
CN113689498A (zh) * 2021-08-16 2021-11-23 江苏仁和医疗器械有限公司 基于人工智能的电动爬楼车辅助控制方法及系统
CN114663775A (zh) * 2022-05-26 2022-06-24 河北工业大学 一种用于外骨骼机器人使役环境中楼梯识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470271B2 (en) * 2000-02-28 2002-10-22 Honda Giken Kogyo Kabushiki Kaisha Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method
CN1617170A (zh) * 2003-09-19 2005-05-18 索尼株式会社 环境识别设备及方法，路径规划设备及方法以及机器人
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470271B2 (en) * 2000-02-28 2002-10-22 Honda Giken Kogyo Kabushiki Kaisha Obstacle detecting apparatus and method, and storage medium which stores program for implementing the method
CN1617170A (zh) * 2003-09-19 2005-05-18 索尼株式会社 环境识别设备及方法，路径规划设备及方法以及机器人
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIEN-KAI TSENG ET AL: "Autonomous Stair Detection and Climbing Sytems for a Tracked Robot", 《ICSSE 2013 IEEE INTERNATIONAL CONFERENCE ON SYSTEM SCIENCE AND ENGINEERING》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019000947A1 (zh) * 2017-06-30 2019-01-03 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
CN109215044A (zh) * 2017-06-30 2019-01-15 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
CN109215044B (zh) * 2017-06-30 2020-12-15 京东方科技集团股份有限公司 图像处理方法和系统、存储介质和移动系统
CN109794941A (zh) * 2019-03-18 2019-05-24 大连理工大学 一种具有攀爬楼梯功能的履带式机器人控制系统及方法
CN110919653A (zh) * 2019-11-29 2020-03-27 深圳市优必选科技股份有限公司 机器人的爬楼控制方法、装置、存储介质和机器人
US11631192B2 (en) 2019-11-29 2023-04-18 Ubtech Robotics Corp Ltd Robot climbing control method and device and storage medium and robot
CN111127497A (zh) * 2019-12-11 2020-05-08 深圳市优必选科技股份有限公司 一种机器人及其爬楼控制方法和装置
CN113689498A (zh) * 2021-08-16 2021-11-23 江苏仁和医疗器械有限公司 基于人工智能的电动爬楼车辅助控制方法及系统
CN114663775A (zh) * 2022-05-26 2022-06-24 河北工业大学 一种用于外骨骼机器人使役环境中楼梯识别方法
CN114663775B (zh) * 2022-05-26 2022-08-12 河北工业大学 一种用于外骨骼机器人使役环境中楼梯识别方法

Also Published As

Publication number Publication date
CN104331884B (zh) 2017-03-29

Similar Documents

Publication Publication Date Title
CN104331884A (zh) 四触角履带机器人爬楼梯参数获取系统和方法
US10809795B2 (en) Six degree of freedom tracking with scale recovery and obstacle avoidance
US10379545B2 (en) Detecting optical discrepancies in captured images
Pérez-Yus et al. Detection and modelling of staircases using a wearable depth sensor
CA2950791C (en) Binocular visual navigation system and method based on power robot
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Lu et al. Robust RGB-D odometry using point and line features
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN106960454B (zh) 景深避障方法、设备及无人飞行器
Tang et al. Plane-based detection of staircases using inverse depth
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
CN106204443A (zh) 一种基于多目复用的全景无人机系统
Momeni-k et al. Height estimation from a single camera view
CN106650701A (zh) 基于双目视觉的室内阴影环境下障碍物检测方法及装置
Schwarze et al. Stair detection and tracking from egocentric stereo vision
Garcia et al. Wearable computing for image-based indoor navigation of the visually impaired
KR20110084028A (ko) 이미지 데이터를 이용한 거리 측정 장치 및 방법
Herghelegiu et al. Negative obstacle detection for wearable assistive devices for visually impaired
CN105096327B (zh) 一种基于计算机双目视觉及单应性矩阵的盲道定位方法
CN107610152B (zh) 一种用于躲避水面与障碍物的通路检测方法
CN104065949B (zh) 一种电视虚拟触控方法及系统
Qian et al. NCC-RANSAC: A fast plane extraction method for navigating a smart cane for the visually impaired
Alam et al. Staircase detection systems for the visually impaired people: a review
TWI532619B (zh) Dual Image Obstacle Avoidance Path Planning Navigation Control Method
CN114245091B (zh) 投影位置修正方法、投影定位方法及控制装置、机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221116

Address after: 200444 Room 190, Building A, 5/F, Building 1, No. 1000 Zhenchen Road, Baoshan District, Shanghai

Patentee after: Jinghai Intelligent Equipment Co.,Ltd.

Address before: 200444 No. 99, upper road, Shanghai, Baoshan District

Patentee before: Shanghai University

TR01 Transfer of patent right