CN102681542A - 一种室内多用途移动机器人实验平台 - Google Patents
一种室内多用途移动机器人实验平台 Download PDFInfo
- Publication number
- CN102681542A CN102681542A CN2012100575762A CN201210057576A CN102681542A CN 102681542 A CN102681542 A CN 102681542A CN 2012100575762 A CN2012100575762 A CN 2012100575762A CN 201210057576 A CN201210057576 A CN 201210057576A CN 102681542 A CN102681542 A CN 102681542A
- Authority
- CN
- China
- Prior art keywords
- mobile robot
- microcomputer
- fitpc2
- experimenter
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
该发明涉及一种室内多用途移动机器人实验平台,该装置主要包括Kinect摄像头(1)、LogitechQuickCamPro5000网络摄像头(4)、iRobotCreate移动机器人(9)、iPad平板电脑(10)、PointGreyFlycapture鱼眼摄像头(11)、URG-04LX激光测距仪(12)、MobotixQ243600全景摄像头(13)、微型计算机FitPC2(15)、迷你冷却风扇(16)、微型计算机供电电源(17)、头盔式3D眼镜iWearVR920(52)、迷你麦克风(55)、LogitechAttack3Joystick操纵杆(60)、笔记本电脑(73)、实验者身上携带的FitPC2微型计算机(81)、可穿戴式方向传感器VN-100(83)和ZigBee接收器(84)。本实验平台具备三项基本的功能,第一项功能是使用操纵杆或Qt界面进行远程遥控引导服务;第二项功能是使用头盔式3D眼镜进行人机交互控制;第三项基本功能是使用Kinect摄像头进行人机交互控制。
Description
技术领域
该发明专利涉及一种室内多用途移动机器人实验平台,属于电子技术、传感技术和计算机技术等领域。
背景技术
随着移动机器人学的发展,出现了越来越多的关于移动机器人控制、视觉方面的新理论和新算法,迫切需要一种能进行实际验证这些理论的多用途实验平台。然而,现有的一些实验平台无法满足对越来越强的计算能力、足够数量的传感器和摄像头的要求。比如,像Robomote 机器人、Khepera 机器人等。这些平台计算能力较弱、传感器数量很有限。由于缺乏足够强的计算能力和足够多的传感器,它们无法完成一些较高水平的任务,比如建立环境地图、目标检测追踪、自主导航以及人机交互等。另外这些平台基于全套的商用机器人搭建而成,计算能力强、传感器和摄像头数量多。然而由于它们采用的是专门定制的设计,缺乏可重构性和可移植性,另外价格昂贵。例如Pioneer系列的移动机器人。因此,迫切需要一个多用途、多功能、相对廉价的移动机器人实验平台来兼顾计算能力、传感器数量、摄像头数量、可重构性以及可移植性等的要求。
发明内容
针对现有技术的缺点,本发明专利的目的是提出一种室内多用途移动机器人实验平台。
一种室内多用途移动机器人实验平台硬件主要包括Kinect摄像头(1)、不锈钢框架(2)、塑料支撑架(3)、Logitech QuickCam Pro 5000网络摄像头(4)、上层有机玻璃板(5)、右支撑架(6)、中层有机玻璃板(7)、下层有机玻璃板(8)、iRobot Create移动机器人(9)、iPad平板电脑(10)、Point Grey Flycapture鱼眼摄像头(11)、URG-04LX激光测距仪(12)、Mobotix Q24 3600 全景摄像头(13)、左支撑架(14)、微型计算机FitPC2(15)、迷你冷却风扇(16)、微型计算机FitPC2供电电源(17)、头盔式3D眼镜iWearVR920(52)、VGA转USB转换器(56)、迷你麦克风(57)、Logitech Attack™ 3 Joystick操纵杆(62)、笔记本电脑(75)、实验者身上携带的FitPC2微型计算机(84)。Kinect摄像头(1)固定在塑料支撑架(3)的顶端。Kinect摄像头(1)是一种网络型的摄像头,它是微软的一款游戏设备Xbox 360 操控台的一个外部设备,通过USB口与计算机相连。这个产品整合了几项技术,包括3D成像、音频处理和马达控制。本系统只使用Kinect摄像头(1)部分,它由以色列公司PrimeSense 公司开发的RGB摄像头和深度传感器发展而来。它的有效感应范围在0.4米到4米之内,视角垂直范围是±430,水平范围±570,帧频(深度及色彩)30fps。iRobot Create移动机器人(9)上部有一个三层的有机玻璃支撑台。利用左右两根钢铁支撑杆(14)(6)将上层玻璃挡板(5)、中层玻璃挡板(7)和下层玻璃挡板(8)垂直连接并固定在iRobot Create移动机器人(9)上。固定在上层有机玻璃挡板(5)上可以根据需要选择Logitech QuickCam Pro 5000网络摄像头(4)、Point Grey Flycapture鱼眼摄像头(11)或Mobotix Q24 3600 全景摄像头(13)其中之一。Logitech QuickCam Pro 5000网络摄像头(4)采用的是广角镜头,需要手动对焦。摄像头能提供最高30万像素,另外彩色图像最大分辨率是640×480,最大帧频30fps;Point Grey Flycapture鱼眼摄像头(11)的型号是Firefly MV FMVU-03MTC,分辨率是640×480,帧/行频63fps;Mobotix Q24 3600 全景摄像头(13)能提供不同视图,包括一张全景图,因此它能覆盖移动平台周围的环境。摄像头能提供最高3百万像素,另外彩色图像的分辨率可以从160×120增加到2048×1536。它使用一种基于以太网的界面,摄像头的特征(包括分辨率、帧速率等)可以通过发送一个网络请求调整。另外,摄像头本身就是一个网络服务器,因此活动目标影像流可以通过设置一个连接插口来获得;固定在中层有机玻璃挡板(7)上的是URG-04LX激光测距仪(12),它的测量范围在20mm到4094mm之间,扫描范围2400,扫描速率100 ms/scan,距离精确度±3%,角分辨率为0.360;固定在中层有机玻璃挡板(7)和下层有机玻璃挡板(8)之间的是微型计算机FitPC2 (11),它是一台轻巧的微处理计算机;固定在iRobot Create移动机器人(9)装载舱(24)内的是微型计算机FitPC2(15)的供电电源;由于微型计算机FitPC2(15)内部没有散热风扇,无法散热。因此为其配备一台冷却风扇(16),使其能长时间工作。冷却风扇(16)固定在iRobot Create移动机器人(9)上;iRobot Create移动机器人(9)是一个商业化的移动平台。通过它的串口可以读到传感器数据,并且可以使用iRobot Roomba
开放接口协议发送对马达的控制命令;头盔式3D眼镜iWear VR920(52)是一款集成了3D显示器、头部跟踪器、麦克风和耳机的互联网通信设备。它的单眼分辨(像素)是640×480~1024×768,LCD显示器,相当于在2.7米处观赏62寸的屏幕,视觉范围是32度,显示色彩是24位真色彩(1600万色),设备重量0.09千克,支持VGA输入。Logitech Attack™ 3 Joystick操纵杆(62)由1个快速反应扳机,128级的高精确度线性X轴、Y轴和油门以及10个可编程的功能按钮组成。
一种室内多用途移动机器人实验平台软件部分由机器人操作系统(Robot Operating System,
ROS)构成。这是一种开源的元操作系统,它提供的服务类似于真实操作系统,包括硬件抽象、低端设备控制、常用函数实现、进程之间的信息传输以及软件包管理。
ROS有两个基本的部分,一部分是ROS的核心部分,它的作用相当于一个“操作系统”。这部分的基本功能是可以跟一台带有无线通信功能并运行ROS操作系统的电脑进行无线通信,并能远程遥控移动机器人运动。另一个部分的程序包是为整个ROS社区服务。ROS社区指的是所有使用ROS操作系统的个人、研究团体和科研院所都可以将开源的代码共享到ROS社区中。并且这些代码可以很容易的下载并移植到其他移动机器人平台或传感器平台上。利用这些代码就能在这个平台上实现目标检测、目标追踪、目标识别、定位、建图以及自动导航等功能。
该装置的有益之处是设计一种模块化的多用途移动机器人实验平台。由于已经为本平台中的三种类型的摄像头编写了在机器人操作系统ROS中的驱动,因此可以根据实际需要挑选任意一种使用。另外,该平台为机器人和人相互协作分别提供两种移动机器人的控制方式,一种是通过Logitech Attack™ 3 Joystick操纵杆(62),另一种是如图10所示的利用Qt编程工具编写的移动机器人控制界面(78)。通过该平台为移动机器人和人相互协作进行目标检测识别、目标追踪、远程控制、自动导航、人机交互等提供了一种新的研究和实验平台。
附图说明
下面结合附图对本发明专利做进一步描述。
图1室内多用途移动机器人实验平台结构图;图2移动机器人iRobot Create主视图和底部俯视图;图3 Logitech QuickCam Pro 5000网络摄像头左视图,Point Grey Flycapture鱼眼摄像头主视图,Mobotix Q24 3600 全景摄像头主视图和背面的主视图;图4微型计算机FitPC2的主视图和背面的主视图;图5 URG-04LX激光测距仪主视图;图6 iPad平板电脑主视图;图7头盔式3D眼镜iWear VR920主视图,VGA转USB转换器主视图和迷你麦克风主视图;图8 Kinect
摄像头主视图;图9 Logitech Attack™ 3 Joystick操纵杆左视图;图10 Qt移动机器人控制界面示意图;图11 使用Logitech Attack™ 3 Joystick操纵杆或Qt界面控制移动机器人平台示意图;图12头盔式3D眼镜iWear VR920人机交互示意图;图13 利用Kinect摄像头进行人机交互示意图;图14 手势示意图;图15 装有Kinect摄像头和Logitech QuickCam Pro 5000网络摄像头的室内多用途移动机器人实验平台实物主视图和俯视图;
图中:1是 Kinect摄像头,2是不锈钢框架,3是塑料支撑架,4是Logitech QuickCam Pro 5000网络摄像头,5是上层有机玻璃板,6是右支撑架,7是中层有机玻璃板,8是下层有机玻璃板,9是iRobot Create移动机器人,10是iPad平板电脑,11是Point Grey Flycapture鱼眼摄像头,12是URG-04LX激光测距仪,13是Mobotix Q24 3600 全景摄像头,14是左支撑架,15是微型计算机FitPC2,16是迷你冷却风扇,17是微型计算机FitPC2供电电源, 18是全方向红外接收器,19是控制面板,20是螺丝孔,21是串行口,22是充电插口,23是装载舱连接口,24是装载舱,25是挡板,26是边缘传感器端口,27是地基接触点,28是左右车轮,29是电池,30是后轮,31 USB连接线,32是3600镜片组,33是扬声器,34是USB连接口,35是网络连接,36是总线,37是微型USB口,38是电源开关,39是SD存储卡卡槽,40是RS232接口,41是微型USB接口,42是电源,43是无线局域网(WLAN),44是语音输出,45是网口,46是语音输入,47是USB口,48是重置键,49是数字视频系统,50是USB连接线,51是iPad平板电脑的前置摄像头,52是头盔式3D眼镜iWear VR920,53是耳机,54是USB连接线,55是VGA接口,56是VGA转USB转换器,57是迷你麦克风,58是3D深度传感器,59是RGB摄像头,60是多声道麦克风,61是可移动底座,62是Logitech Attack™ 3 Joystick操纵杆,63是控制功能区,64是电池电量显示,65是里程数,66是所有摄像头显示的图像,67是Hokuyo URG-04LX激光测距仪获取的信息,68是移动速度,69是旋转速度,70是左转,71是停止,72是前进,73是右转,74是后退,75是笔记本电脑,76是WiFi无线网络,77是室内多用途移动机器人实验平台,78是室内多用途移动机器人实验平台Qt控制界面,79是佩戴头盔式3D眼镜iWear VR920和FitPC2微型计算的实验者,80是头盔式3D眼镜iWear VR920俯、仰、滚三种运动,81是获取俯、仰、滚三种运动的方向信息,82是得到的三种运动的方向信息,83是将获取到的方向信息送入FitPC2微型计算机,84是实验者身上携带的FitPC2微型计算机,85实验者,86是读入实验者动作信息,87是获取骨架信息和动作信息,88是得到的骨架和动作信息,89是将动作信息送入FitPC2微型计算机进行处理,90是向后运动手势(手臂向后摆动),91是向前运动手势(手臂向前摆动),92是停止运动手势(手臂左右摆动)。
具体实施方案
参见附图,包括室内多用途移动机器人实验平台的Kinect摄像头(1)包括3D深度传感器(58)、RGB摄像头(59);iPad平板电脑(10)包括前置摄像头(51);Mobotix Q24 3600 全景摄像头(13)包括3600镜片组(32)、网络连接(35);微型计算机FitPC2(15)和实验者身上携带的FitPC2微型计算机(84)包括电源开关(38)、电源(42)、无线局域网(WLAN)(43)、网口(45)、语音输入(46)、USB口(47);头盔式3D眼镜iWearVR920(52)包括耳机(53)、USB连接线(54)、VGA接口(55)、VGA转USB转换器(56)、迷你麦克风(57);URG-04LX激光测距仪(12)包括USB接口(50)。
本实验平台具备三项基本的功能,第一项功能是使用操纵杆或Qt界面进行远程遥控引导服务;第二项功能是使用头盔式3D眼镜进行人机交互控制;第三项基本功能是使用Kinect摄像头进行人机交互控制。
对于第一项基本功能,参见附图11,包括启动笔记本电脑(75),启动iPad平板电脑(10),启动微型计算机FitPC2 (15),启动移动机器人iRobot Create(9),开启URG-04LX激光测距仪(3),开启网络摄像头(4)。首先在笔记本电脑(75)上运行Linux操作系统,并运行机器人操作系统ROS,启动移动机器人运动控制程序。将操纵杆(62)连接到笔记本电脑(75)以后,打开Linux版本的视频通话软件Skype,拨打iPad平板电脑(10)上Skype用户号码。同时iPad平板电脑(10)也开启视频通话软件Skype,接受笔记本电脑(75)发出的视频通话请求。接着在已经开启的微型计算机FitPC2 (15)上运行Linux操作系统,并运行机器人操作系统ROS,并启动移动机器人障碍物检测避障程序。笔记本电脑(75)和微型计算机FitPC2 (15)以及iPad平板电脑(10)都通过WiFi无线网络(76)进行通信。这里可以通过操纵杆(62)或者Qt界面(78)对本实验平台进行向前、向后、左转、右转和停止五种运动的远程遥控。Qt界面(78)有五种功能,如图10所示。第一是运动控制和速度调节;第二是移动机器人电池电量监控;第三是里程数统计;第四是可以对网络摄像头获取的视频图像进行监控;第五是可以对激光测距仪检测前方是否有障碍物进行监控。另外,可以用URG-04LX激光测距仪(3)进行障碍物检测,或者用三种摄像头中的任意一种进行障碍物检测。当使用URG-04LX激光测距仪(3)进行障碍物检测时,前方发现有障碍物,那么移动机器人iRobot Create(9)将停止移动。利用移动机器人iRobot Create(9)、微型计算机FitPC2 (15)、操纵杆(62)或Qt界面(78)、笔记本电脑(75)、WiFi无线网络(76)、iPad平板电脑(10)以及Skype视频通话软件搭建了一个为游客进行室内引导、具有视频及语音对话功能的远程遥控移动机器人平台。操控者只要坐在办公室里,就能通过WiFi无线网络(76)远程操控移动机器人完成引导游客的任务。
对于第二项基本功能,参见附图12,包括启动iRobot Create移动机器人(9),开启iPad平板电脑(10),启动iRobot Create移动机器人上的微型计算机FitPC2 (15),该计算机运行的是Linux操作系统,并在机器人操作系统ROS中运行头盔式3D眼镜iWear VR920角度信息接受程序、iRobot Create移动机器人运动控制程序和障碍物检测避障程序。启动实验者穿戴的微型计算机FitPC2(84),该计算机运行的是Windows XP版本的操作系统,这是因为头盔式3D眼镜iWear VR920(52)只能在Windows 系列的操作系统中使用。并且在实验者穿戴的微型计算机FitPC2(84)上运行Windows系统中的机器人操作系统WIN-ROS程序,这是一种可以在Windows系统和Linux系统之间传输数据的程序。在将头盔式3D眼镜iWear VR920(52)和迷你麦克风(57)连接到实验者穿戴的微型计算机FitPC2(84)上以后,打开视频通话软件Skype,拨打iPad平板电脑(10)上Skype用户号码。同时iPad平板电脑(10)也开启视频通话软件Skype,接受实验者穿戴的微型计算机FitPC2 (84)发出的视频通话请求。在将头盔式3D眼镜iWear VR920(52)和迷你麦克风(57)连接到实验者穿戴的微型计算机FitPC2 (84)上以后,实验者将能与安装有iPad平板电脑的iRobot Create移动机器人(77)视频通话,也就是头盔式3D眼镜iWear VR920(52)能通过iPad平板电脑自带的摄像头看到了移动机器人周围的环境并能用麦克风与机器人周围的游客对话。最后,WIN-ROS程序通过WiFi无线通信网络(76),将头盔式3D眼镜iWear VR920(52)运动方向信息(俯、仰、滚三个方向)发送给移动机器人的微型计算机FitPC2(15),微型计算机FitPC2(15)利用接受到的方向信息控制iRobot Create移动机器人(9)运动,同时运行利用URG-04LX激光测距仪(12)或摄像头检测障碍物。当戴着头盔式3D眼镜的实验者(79)头部向左(或右)转动一定角度时,安装有iPad平板电脑的iRobot Create移动机器人(77)也向左(或右)转动同样角度。当实验者头部向前倾倒超过10度时,安装有iPad平板电脑的iRobot Create移动机器人(77)匀速前进;当实验者头部向后倾倒超过10度时,安装有iPad平板电脑的iRobot Create移动机器人(77)匀速后退;当实验者头部与地面相对垂直时,安装有iPad平板电脑的iRobot Create移动机器人(77)停止运动。另外,只要WiFi无线网络(76)能够覆盖到,这个平台就能正常运行。实验者可以戴着头盔式3D眼镜iWear VR920(52)在某一个房间,而安装有iPad平板电脑的iRobot Create移动机器人(77) 在另一个房间。实验者使用头盔式3D眼镜iWear VR920(52)观察另一房间并且利用角度信息控制机器人移动,另外通过耳机(53)和微型麦克风(57)与游客对话交流,这样就实现了人机交互的室内导游。
对于第三项基本功能,参见附图13,包括启动iRobot Create移动机器人(9),开启Kinect摄像头(1),启动iRobot Create移动机器人上的微型计算机FitPC2 (15),该计算机运行的是Linux操作系统,首先在已经开启的微型计算机FitPC2 (15)上运行机器人操作系统ROS,并启动Kinect摄像头(1)人体骨架检测程序、人体手势识别程序、移动机器人运动控制程序和障碍物检测避障程序。实验者进入Kinect摄像头(1)的视觉范围,做出已经设定好的手势动作。本系统为实验设定了三种类型的手势动作,如附图14所示。分别是向后运动手势(手臂向后摆动)(90)、向前运动手势(手臂向前摆动) (91)和停止运动手势(手臂左右摆动) (92)。这三种类型的手势动态信息(包括图像和方向信息)作为模板储存在微型计算机FitPC2(15)的数据库中。Kinect摄像头(1)检测到实验者相应手势以后,将人体手势运动信息和图像送入微型计算机FitPC2 (9)中作为两个输入量。微型计算机FitPC2 (15)首先利用神经网络和隐马尔可夫模型融合这些方向信息和图像信息,接着将得到的结果与微型计算机FitPC2 (15)数据库中的模板数据进行匹配,得到相应的手势命令。最后根据手势命令,微型计算机FitPC2 (15)控制iRobot Create移动机器人(9)进行相应的运动。另外,使用URG-04LX激光测距仪(12)或三种摄像头中的任意一种进行障碍物检测,当前方有障碍物时,安装有iPad平板电脑的iRobot Create移动机器人(77)采取避障运动。
本实施例中,上层挡板(5)、中层挡板(7)和下层挡板(8)均为有机玻璃制成,具有坚固和重量轻的特点。根据需要可以不断增加挡板的数量,以便放置更多的硬件设备。使用有机玻璃作为支撑挡板,不但价格便宜、重量轻,而且便于拆卸。
本实施例中,Kinect摄像头(1)采用Microsoft 公司生产的三摄像头。
本实施例中,操纵杆(3)采用Logitech公司的Attack™ 3 Joystick型操纵杆。
本实施例中,网络摄像头(4)采用Logitech公司生产的QuickCam Pro 5000网络摄像头。
本实施例中,微型计算机(15)和微型计算机(84)采用CompuLab公司生产的FitPC2微型计算机,该型计算机能运行Windows和Linux两类操作系统。这里用到了Linux Ubuntu10.04版本的FitPC2微型计算机(15)运行机器人操作系统ROS和Windows XP Professional 版本的微型计算机(84)运行机器人操作系统WIN-ROS。
本实施例中,鱼眼摄像头(11)采用Point Grey公司生产的Firefly MV FMVU-03MTC型摄像头。
本实施例中,URG-04LX激光测距仪(12)采用Hokuyo公司的LRF URG-04LX型激光测距仪。
本实施例中,全景摄像头(13)采用MOBOTIX 公司生产的半球形Q24 3600 全景摄像头。
本实施例中,头盔式3D眼镜iWear VR920(52)采用Vuzix公司生产的iWear VR920型号的3D头盔式眼镜。
本实施例中,迷你麦克风(57)采用Slinya公司MIC01型的迷你麦克风。
本实施例中,笔记本电脑(75)采用联想公司的ThinkPad E520型笔记本电脑。
本实施例中,微型计算机(15)和微型计算机(84)采用12V直流电源供电;Kinect摄像头(1)、Logitech QuickCam Pro 5000网络摄像头(4)、Point Grey Flycapture鱼眼摄像头(11)、URG-04LX激光测距仪(12)、Mobotix Q24 3600 全景摄像头(13)、迷你风扇(16)、迷你麦克风(57)和Logitech Attack™ 3 Joystick操纵杆(62)和头盔式3D眼镜iWear VR920(80)采用USB接口供电。
Claims (5)
1.一种室内多用途移动机器人实验平台,其特征是该装置包括Kinect摄像头(1)、不锈钢框架(2)、塑料支撑架(3)、Logitech QuickCam Pro 5000网络摄像头(4)、上层有机玻璃板(5)、右支撑架(6)、中层有机玻璃板(7)、下层有机玻璃板(8)、iRobot Create移动机器人(9)、iPad平板电脑(10)、Point Grey
Flycapture鱼眼摄像头(11)、URG-04LX激光测距仪(12)、Mobotix Q24 3600 全景摄像头(13)、左支撑架(14)、微型计算机FitPC2(15)、迷你冷却风扇(16)、微型计算机FitPC2供电电源(17)、头盔式3D眼镜iWearVR920(52)、VGA转USB转换器(56)、迷你麦克风(57)、Logitech Attack™ 3 Joystick操纵杆(62)、笔记本电脑(75)、实验者身上携带的FitPC2微型计算机(84)。
2.权利要求1所述的一种室内多用途移动机器人实验平台,其特征是本实验平台具备三项基本的功能,第一项功能是使用操纵杆或Qt界面进行远程遥控引导服务;第二项功能是使用头盔式3D眼镜进行人机交互控制;第三项基本功能是使用Kinect摄像头进行人机交互控制。
3.权利要求1所述的一种室内多用途移动机器人实验平台,其特征是对于第一项基本功能,参见附图11,包括启动笔记本电脑(75),启动iPad平板电脑(10),启动微型计算机FitPC2 (15),启动移动机器人iRobot Create(9),开启URG-04LX激光测距仪(3),开启网络摄像头(4);首先在笔记本电脑(75)上运行Linux操作系统,并运行机器人操作系统ROS,启动移动机器人运动控制程序;将操纵杆(62)连接到笔记本电脑(75)以后,打开Linux版本的视频通话软件Skype,拨打iPad平板电脑(10)上Skype用户号码;同时iPad平板电脑(10)也开启视频通话软件Skype,接受笔记本电脑(75)发出的视频通话请求;接着在已经开启的微型计算机FitPC2 (15)上运行Linux操作系统,并运行机器人操作系统ROS,并启动移动机器人障碍物检测避障程序;笔记本电脑(75)和微型计算机FitPC2 (15)以及iPad平板电脑(10)都通过WiFi无线网络(76)进行通信;这里可以通过操纵杆(62)或者Qt界面(78)对本实验平台进行向前、向后、左转、右转和停止五种运动的远程遥控;Qt界面(78)有五种功能,如图10所示;第一是运动控制和速度调节;第二是移动机器人电池电量监控;第三是里程数统计;第四是可以对网络摄像头获取的视频图像进行监控;第五是可以对激光测距仪检测前方是否有障碍物进行监控;另外,可以用URG-04LX激光测距仪(3)进行障碍物检测,或者用三种摄像头中的任意一种进行障碍物检测;当使用URG-04LX激光测距仪(3)进行障碍物检测时,前方发现有障碍物,那么移动机器人iRobot Create(9)将停止移动;利用移动机器人iRobot Create(9)、微型计算机FitPC2 (15)、操纵杆(62)或Qt界面(78)、笔记本电脑(75)、WiFi无线网络(76)、iPad平板电脑(10)以及Skype视频通话软件搭建了一个为游客进行室内引导、具有视频及语音对话功能的远程遥控移动机器人平台;操控者只要坐在办公室里,就能通过WiFi无线网络(76)远程操控移动机器人完成引导游客的任务。
4.权利要求1所述的一种室内多用途移动机器人实验平台,其特征是对于第二项基本功能,参见附图12,包括启动iRobot
Create移动机器人(9),开启iPad平板电脑(10),启动iRobot Create移动机器人上的微型计算机FitPC2 (15),该计算机运行的是Linux操作系统,并在机器人操作系统ROS中运行头盔式3D眼镜iWear VR920角度信息接受程序、iRobot Create移动机器人运动控制程序和障碍物检测避障程序;启动实验者穿戴的微型计算机FitPC2(84),该计算机运行的是Windows XP版本的操作系统,这是因为头盔式3D眼镜iWear VR920(52)只能在Windows 系列的操作系统中使用;并且在实验者穿戴的微型计算机FitPC2(84)上运行Windows系统中的机器人操作系统WIN-ROS程序,这是一种可以在Windows系统和Linux系统之间传输数据的程序;在将头盔式3D眼镜iWear VR920(52)和迷你麦克风(57)连接到实验者穿戴的微型计算机FitPC2(84)上以后,打开视频通话软件Skype,拨打iPad平板电脑(10)上Skype用户号码;同时iPad平板电脑(10)也开启视频通话软件Skype,接受实验者穿戴的微型计算机FitPC2 (84)发出的视频通话请求;在将头盔式3D眼镜iWear VR920(52)和迷你麦克风(57)连接到实验者穿戴的微型计算机FitPC2 (84)上以后,实验者将能与安装有iPad平板电脑的iRobot Create移动机器人(77)视频通话,也就是头盔式3D眼镜iWear VR920(52)能通过iPad平板电脑自带的摄像头看到了移动机器人周围的环境并能用麦克风与机器人周围的游客对话;最后,WIN-ROS程序通过WiFi无线通信网络(76),将头盔式3D眼镜iWear VR920(52)运动方向信息(俯、仰、滚三个方向)发送给移动机器人的微型计算机FitPC2(15),微型计算机FitPC2(15)利用接受到的方向信息控制iRobot Create移动机器人(9)运动,同时运行利用URG-04LX激光测距仪(12)或摄像头检测障碍物;当戴着头盔式3D眼镜的实验者(79)头部向左(或右)转动一定角度时,安装有iPad平板电脑的iRobot Create移动机器人(77)也向左(或右)转动同样角度;当实验者头部向前倾倒超过10度时,安装有iPad平板电脑的iRobot Create移动机器人(77)匀速前进;当实验者头部向后倾倒超过10度时,安装有iPad平板电脑的iRobot Create移动机器人(77)匀速后退;当实验者头部与地面相对垂直时,安装有iPad平板电脑的iRobot Create移动机器人(77)停止运动;另外,只要WiFi无线网络(76)能够覆盖到,这个平台就能正常运行;实验者可以戴着头盔式3D眼镜iWear VR920(52)在某一个房间,而安装有iPad平板电脑的iRobot Create移动机器人(77) 在另一个房间;实验者使用头盔式3D眼镜iWear VR920(52)观察另一房间并且利用角度信息控制机器人移动,另外通过耳机(53)和微型麦克风(57)与游客对话交流,这样就实现了人机交互的室内导游。
5.权利要求1所述的一种室内多用途移动机器人实验平台,其特征是对于第三项基本功能,参见附图13,包括启动iRobot
Create移动机器人(9),开启Kinect摄像头(1),启动iRobot Create移动机器人上的微型计算机FitPC2 (15),该计算机运行的是Linux操作系统,首先在已经开启的微型计算机FitPC2 (15)上运行机器人操作系统ROS,并启动Kinect摄像头(1)人体骨架检测程序、人体手势识别程序、移动机器人运动控制程序和障碍物检测避障程序;实验者进入Kinect摄像头(1)的视觉范围,做出已经设定好的手势动作;本系统为实验设定了三种类型的手势动作,如附图14所示;分别是向后运动手势(手臂向后摆动)(90)、向前运动手势(手臂向前摆动) (91)和停止运动手势(手臂左右摆动) (92);这三种类型的手势动态信息(包括图像和方向信息)作为模板储存在微型计算机FitPC2(15)的数据库中;Kinect摄像头(1)检测到实验者相应手势以后,将人体手势运动信息和图像送入微型计算机FitPC2 (9)中作为两个输入量;微型计算机FitPC2 (15)首先利用神经网络和隐马尔可夫模型融合这些方向信息和图像信息,接着将得到的结果与微型计算机FitPC2 (15)数据库中的模板数据进行匹配,得到相应的手势命令;最后根据手势命令,微型计算机FitPC2 (15)控制iRobot Create移动机器人(9)进行相应的运动;另外,使用URG-04LX激光测距仪(12)或三种摄像头中的任意一种进行障碍物检测,当前方有障碍物时,安装有iPad平板电脑的iRobot Create移动机器人(77)采取避障运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012100575762A CN102681542A (zh) | 2012-03-07 | 2012-03-07 | 一种室内多用途移动机器人实验平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012100575762A CN102681542A (zh) | 2012-03-07 | 2012-03-07 | 一种室内多用途移动机器人实验平台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102681542A true CN102681542A (zh) | 2012-09-19 |
Family
ID=46813613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012100575762A Pending CN102681542A (zh) | 2012-03-07 | 2012-03-07 | 一种室内多用途移动机器人实验平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102681542A (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103713554A (zh) * | 2013-12-26 | 2014-04-09 | 浙江师范大学 | 一种体感跟随式控制系统及应用此系统的搬运车 |
CN103713525A (zh) * | 2014-01-02 | 2014-04-09 | 南京航空航天大学 | 采用Kinect的航天器交会对接地面演示验证系统及方法 |
CN104057450A (zh) * | 2014-06-20 | 2014-09-24 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
CN104850120A (zh) * | 2015-03-19 | 2015-08-19 | 武汉科技大学 | 基于ihdr自主学习框架的轮式移动机器人导航方法 |
CN105291138A (zh) * | 2015-11-26 | 2016-02-03 | 华南理工大学 | 一种增强虚拟现实浸入感的视觉反馈平台 |
CN105319991A (zh) * | 2015-11-25 | 2016-02-10 | 哈尔滨工业大学 | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 |
CN105334851A (zh) * | 2014-08-12 | 2016-02-17 | 深圳市银星智能科技股份有限公司 | 一种可感应手势的移动设备 |
CN105487541A (zh) * | 2015-12-30 | 2016-04-13 | 华勤通讯技术有限公司 | 配送机器人及其控制方法 |
CN105527966A (zh) * | 2016-01-29 | 2016-04-27 | 重庆德新机器人检测中心有限公司 | 一种无人车遥控操作平台 |
CN105676848A (zh) * | 2016-03-11 | 2016-06-15 | 湖南人工智能科技有限公司 | 一种基于ros操作系统的机器人自主导航方法 |
CN105930784A (zh) * | 2016-04-15 | 2016-09-07 | 济南大学 | 一种手势识别方法 |
CN106885766A (zh) * | 2017-01-11 | 2017-06-23 | 嘉兴学院 | 外墙外保温系统耐候性能检测机 |
CN107471229A (zh) * | 2017-09-30 | 2017-12-15 | 江西洪都航空工业集团有限责任公司 | 一种基于ros架构的教育娱乐机器人 |
CN108737362A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
CN108762163A (zh) * | 2018-06-22 | 2018-11-06 | 哈尔滨工业大学 | 基于qt人机交互界面与电机伺服系统的移动机器人运动控制系统 |
CN108838997A (zh) * | 2018-07-25 | 2018-11-20 | 安徽信息工程学院 | 新型木质机器人 |
CN109015588A (zh) * | 2018-07-25 | 2018-12-18 | 安徽信息工程学院 | 减震木质机器人 |
CN109079737A (zh) * | 2018-07-25 | 2018-12-25 | 安徽信息工程学院 | 机器人 |
CN109108932A (zh) * | 2018-07-25 | 2019-01-01 | 安徽信息工程学院 | 木质机器人 |
CN109129523A (zh) * | 2018-08-30 | 2019-01-04 | 燕山大学 | 基于人机交互的移动机器人实时远程控制系统 |
CN109129391A (zh) * | 2018-07-25 | 2019-01-04 | 安徽信息工程学院 | 可升降木质机器人 |
CN110181497A (zh) * | 2019-05-14 | 2019-08-30 | 浙江树人学院(浙江树人大学) | 一种协同控制的空间机械人及其控制方法 |
CN115065718A (zh) * | 2022-04-29 | 2022-09-16 | 北京工业大学 | 基于光学室内定位的多智能体协同控制算法验证系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4790402A (en) * | 1987-09-28 | 1988-12-13 | Tennant Company | Automated guided vehicle |
CN101084817A (zh) * | 2007-04-26 | 2007-12-12 | 复旦大学 | 开放智能计算构架的家用多功能小型服务机器人 |
CN101635995A (zh) * | 2009-09-01 | 2010-01-27 | 东南大学 | 适应复杂地形的无线传感器网络设备 |
EP2256574A1 (en) * | 2008-02-26 | 2010-12-01 | Toyota Jidosha Kabushiki Kaisha | Autonomous mobile robot, self-position estimation method, environment map generation method, environment map generating device, and environment map data structure |
CN102096413A (zh) * | 2010-12-23 | 2011-06-15 | 中国民航大学 | 保安巡逻机器人系统及其控制方法 |
-
2012
- 2012-03-07 CN CN2012100575762A patent/CN102681542A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4790402A (en) * | 1987-09-28 | 1988-12-13 | Tennant Company | Automated guided vehicle |
CN101084817A (zh) * | 2007-04-26 | 2007-12-12 | 复旦大学 | 开放智能计算构架的家用多功能小型服务机器人 |
EP2256574A1 (en) * | 2008-02-26 | 2010-12-01 | Toyota Jidosha Kabushiki Kaisha | Autonomous mobile robot, self-position estimation method, environment map generation method, environment map generating device, and environment map data structure |
CN101635995A (zh) * | 2009-09-01 | 2010-01-27 | 东南大学 | 适应复杂地形的无线传感器网络设备 |
CN102096413A (zh) * | 2010-12-23 | 2011-06-15 | 中国民航大学 | 保安巡逻机器人系统及其控制方法 |
Non-Patent Citations (4)
Title |
---|
DANIEL A. LAZEWATSKY, ETC.: "An Inexpensive Robot Platform for Teleoperation and Experimentation", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》, 13 May 2011 (2011-05-13), pages 1211 - 1216, XP032034051, DOI: doi:10.1109/ICRA.2011.5980230 * |
GABE COHN等: "手势遥感", 《科技创业》, no. 8, 31 December 2011 (2011-12-31), pages 117 * |
埃里卡•诺恩: "给机器人装上新眼睛", 《科技创业》, no. 9, 31 December 2011 (2011-12-31), pages 106 - 107 * |
黄康泉等: "Kinect在视频会议系统中的应用", 《广西大学学报:自然科学版》, vol. 36, 31 October 2011 (2011-10-31), pages 308 - 313 * |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103713554A (zh) * | 2013-12-26 | 2014-04-09 | 浙江师范大学 | 一种体感跟随式控制系统及应用此系统的搬运车 |
CN103713525A (zh) * | 2014-01-02 | 2014-04-09 | 南京航空航天大学 | 采用Kinect的航天器交会对接地面演示验证系统及方法 |
CN103713525B (zh) * | 2014-01-02 | 2016-04-27 | 南京航空航天大学 | 采用Kinect的航天器交会对接地面演示验证系统及方法 |
CN104057450B (zh) * | 2014-06-20 | 2016-09-07 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
CN104057450A (zh) * | 2014-06-20 | 2014-09-24 | 哈尔滨工业大学深圳研究生院 | 一种针对服务机器人的高维操作臂遥操作方法 |
CN105334851A (zh) * | 2014-08-12 | 2016-02-17 | 深圳市银星智能科技股份有限公司 | 一种可感应手势的移动设备 |
CN104850120A (zh) * | 2015-03-19 | 2015-08-19 | 武汉科技大学 | 基于ihdr自主学习框架的轮式移动机器人导航方法 |
CN104850120B (zh) * | 2015-03-19 | 2017-11-10 | 武汉科技大学 | 基于ihdr自主学习框架的轮式移动机器人导航方法 |
CN105319991A (zh) * | 2015-11-25 | 2016-02-10 | 哈尔滨工业大学 | 一种基于Kinect视觉信息的机器人环境识别与作业控制方法 |
CN105291138A (zh) * | 2015-11-26 | 2016-02-03 | 华南理工大学 | 一种增强虚拟现实浸入感的视觉反馈平台 |
CN105487541A (zh) * | 2015-12-30 | 2016-04-13 | 华勤通讯技术有限公司 | 配送机器人及其控制方法 |
CN105527966A (zh) * | 2016-01-29 | 2016-04-27 | 重庆德新机器人检测中心有限公司 | 一种无人车遥控操作平台 |
CN105676848A (zh) * | 2016-03-11 | 2016-06-15 | 湖南人工智能科技有限公司 | 一种基于ros操作系统的机器人自主导航方法 |
CN105930784A (zh) * | 2016-04-15 | 2016-09-07 | 济南大学 | 一种手势识别方法 |
CN106885766A (zh) * | 2017-01-11 | 2017-06-23 | 嘉兴学院 | 外墙外保温系统耐候性能检测机 |
CN106885766B (zh) * | 2017-01-11 | 2019-05-17 | 嘉兴学院 | 外墙外保温系统耐候性能检测机 |
CN107471229A (zh) * | 2017-09-30 | 2017-12-15 | 江西洪都航空工业集团有限责任公司 | 一种基于ros架构的教育娱乐机器人 |
CN108737362A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 注册方法、装置、设备和存储介质 |
CN108762163A (zh) * | 2018-06-22 | 2018-11-06 | 哈尔滨工业大学 | 基于qt人机交互界面与电机伺服系统的移动机器人运动控制系统 |
CN109015588A (zh) * | 2018-07-25 | 2018-12-18 | 安徽信息工程学院 | 减震木质机器人 |
CN109079737A (zh) * | 2018-07-25 | 2018-12-25 | 安徽信息工程学院 | 机器人 |
CN109108932A (zh) * | 2018-07-25 | 2019-01-01 | 安徽信息工程学院 | 木质机器人 |
CN109129391A (zh) * | 2018-07-25 | 2019-01-04 | 安徽信息工程学院 | 可升降木质机器人 |
CN108838997A (zh) * | 2018-07-25 | 2018-11-20 | 安徽信息工程学院 | 新型木质机器人 |
CN109129523A (zh) * | 2018-08-30 | 2019-01-04 | 燕山大学 | 基于人机交互的移动机器人实时远程控制系统 |
CN109129523B (zh) * | 2018-08-30 | 2021-07-06 | 燕山大学 | 基于人机交互的移动机器人实时远程控制系统 |
CN110181497A (zh) * | 2019-05-14 | 2019-08-30 | 浙江树人学院(浙江树人大学) | 一种协同控制的空间机械人及其控制方法 |
CN115065718A (zh) * | 2022-04-29 | 2022-09-16 | 北京工业大学 | 基于光学室内定位的多智能体协同控制算法验证系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102681542A (zh) | 一种室内多用途移动机器人实验平台 | |
CN202582585U (zh) | 一种室内多用途移动机器人实验平台 | |
CN202512439U (zh) | 一种网络摄像头与可穿戴式传感器的人机协作系统 | |
CN202494922U (zh) | 一种安卓操作系统控制的移动机器人平台 | |
US9874875B2 (en) | Mobile robot and method for docking the mobile robot with charging station | |
CN207191210U (zh) | 一种多功能的通用移动机器人底盘 | |
CN107284544A (zh) | 一种多功能的通用移动机器人底盘及其应用方法 | |
CN201273999Y (zh) | 基于图像处理的导游机器人 | |
CN113359807A (zh) | 一种无人机第一视角飞行的控制方法及系统、智能眼镜 | |
CN106933227B (zh) | 一种引导智能机器人的方法以及电子设备 | |
CN202512438U (zh) | 一种鱼眼摄像头的移动机器人slam平台 | |
CN204856222U (zh) | 一种基于物联网技术的全向移动平台控制系统 | |
CN102375614A (zh) | 输出入装置及其人机交互系统与方法 | |
CN101123054A (zh) | 沙盘模型图像展示操控装置及图像展示方法 | |
CN106297367A (zh) | 一种地下停车场寻车方法及装置 | |
CN105807790A (zh) | 一种基于室内混合定位的智能跟随系统及其跟随方法 | |
CN104714558A (zh) | 一种飞行员头盔随动演示仪 | |
CN103064532A (zh) | 一种空中鼠标遥控器 | |
CN202533803U (zh) | 一种网络摄像头的移动机器人目标追踪平台 | |
CN205812199U (zh) | 高清三维全景信息采集与拼接系统 | |
CN108875716A (zh) | 一种人体运动轨迹追踪检测摄像系统 | |
CN205845105U (zh) | 一种用于虚拟看房的虚拟现实空间移动定位装置 | |
CN218398132U (zh) | 一种变电站室内多功能操作机器人 | |
CN202781193U (zh) | 一种基于多独立云台的仿生多目视觉物理平台 | |
CN105729485B (zh) | 一种服务用机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120919 |