CN202582585U - 一种室内多用途移动机器人实验平台 - Google Patents

Abstract

该实用新型涉及一种室内多用途移动机器人实验平台，该装置主要包括Kinect摄像头(1)、罗技网络摄像头(4)、移动机器人(9)、iPad平板电脑(10)、鱼眼摄像头(11)、激光测距仪(12)、360⁰全景摄像头(13)、微型计算机FitPC2(15)、迷你冷却风扇(16)、微型计算机供电电源(17)、头盔式3D眼镜(52)、迷你麦克风(57)、罗技操纵杆(62)、笔记本电脑(75)、实验者身上携带的FitPC2微型计算机(84)。本实验平台具备三项基本的功能，第一项功能是使用操纵杆或Qt界面进行远程遥控引导服务；第二项功能是使用头盔式3D眼镜进行人机交互控制；第三项基本功能是使用Kinect摄像头进行人机交互控制。

Description

一种室内多用途移动机器人实验平台

技术领域

该实用新型涉及一种室内多用途移动机器人实验平台，属于电子技术、传感技术和计算机技术等领域。 

背景技术

随着移动机器人学的发展，出现了越来越多的关于移动机器人控制、视觉方面的新理论和新算法，迫切需要一种能进行实际验证这些理论的多用途实验平台。然而，现有的一些实验平台无法满足对越来越强的计算能力、足够数量的传感器和摄像头的要求。比如，像Robomote 机器人、Khepera 机器人等。这些平台计算能力较弱、传感器数量很有限。由于缺乏足够强的计算能力和足够多的传感器，它们无法完成一些较高水平的任务，比如建立环境地图、目标检测追踪、自主导航以及人机交互等。另外这些平台基于全套的商用机器人搭建而成，计算能力强、传感器和摄像头数量多。然而由于它们采用的是专门定制的设计，缺乏可重构性和可移植性，另外价格昂贵。例如Pioneer系列的移动机器人。因此，迫切需要一个多用途、多功能、相对廉价的移动机器人实验平台来兼顾计算能力、传感器数量、摄像头数量、可重构性以及可移植性等的要求。 

发明内容

针对现有技术的缺点，本实用新型的目的是提出一种室内多用途移动机器人实验平台。 

一种室内多用途移动机器人实验平台硬件主要包括Kinect摄像头(1)、不锈钢框架(2)、塑料支撑架(3)、罗技网络摄像头(4)、上层有机玻璃板(5)、右支撑架(6)、中层有机玻璃板(7)、下层有机玻璃板(8)、移动机器人(9)、iPad平板电脑(10)、鱼眼摄像头(11)、激光测距仪(12)、360⁰ 全景摄像头(13)、左支撑架(14)、微型计算机FitPC2(15)、迷你冷却风扇(16)、微型计算机FitPC2供电电源(17)、头盔式3D眼镜 (52)、VGA转USB转换器(56)、迷你麦克风(57)、罗技操纵杆(62)、笔记本电脑(75)、实验者身上携带的FitPC2微型计算机(84)。Kinect摄像头(1)固定在塑料支撑架(3)的顶端。Kinect摄像头(1)是一种网络型的摄像头，它是微软的一款游戏设备Xbox 360 操控台的一个外部设备，通过USB口与计算机相连。这个产品整合了几项技术，包括3D成像、音频处理和马达控制。本系统只使用Kinect摄像头(1)部分，它由以色列公司PrimeSense 公司开发的RGB摄像头和深度传感器发展而来。它的有效感应范围在0.4米到4米之内，视角垂直范围是±43⁰，水平范围±57⁰，帧频(深度及色彩)30fps。移动机器人(9)上部有一个三层的有机玻璃支撑台。利用左右两根钢铁支撑杆(14)(6)将上层玻璃挡板(5)、中层玻璃挡板(7)和下层玻璃挡板(8)垂直连接并固定在iRobot Create移动机器人(9)上。固定在上层有机玻璃挡板(5)上可以根据需要选择罗技网络摄像头(4)、鱼眼摄像头(11)或360⁰ 全景摄像头(13)其中之一。罗技网络摄像头(4)采用的是广角镜头，需要手动对焦。摄像头能提供最高30万像素，另外彩色图像最大分辨率是640×480，最大帧频30fps；鱼眼摄像头(11)的型号是Firefly MV FMVU-03MTC，分辨率是640×480，帧/行频63fps；360⁰ 全景摄像头(13)能提供不同视图，包括一张全景图，因此它能覆盖移动平台周围的环境。摄像头能提供最高3百万像素，另外彩色图像的分辨率可以从160×120增加到2048×1536。它使用一种基于以太网的界面，摄像头的特征(包括分辨率、帧速率等)可以通过发送一个网络请求调整。另外，摄像头本身就是一个网络服务器，因此活动目标影像流可以通过设置一个连接插口来获得；固定在中层有机玻璃挡板(7)上的是激光测距仪(12)，它的测量范围在20mm到4094mm之间，扫描范围240⁰,扫描速率100 ms/scan，距离精确度±3%，角分辨率为0.36⁰；固定在中层有机玻璃挡板(7)和下层有机玻璃挡板(8)之间的是微型计算机FitPC2 (11)，它是一台轻巧的微处理计算机；固定在移动机器人(9)装载舱(24)内的是微型计算机FitPC2(15)的供电电源；由于微型计算机FitPC2(15)内部没有散热风扇，无法散热。因此为其配备一台冷却风扇(16)，使其能长时间工作。冷却风扇(16)固定在移动机器人(9)上；移动机器人(9)是一个商业化的移动平台。通过它的串口可以读到传感器数据，并且可以使用iRobot Roomba 开放接口协议发送对马达的控制命令；头盔式3D眼镜(52)是一款集成了3D显示器、头部跟踪器、麦克风和耳机的互联网通信设备。它的单眼分辨(像素)是640×480~1024×768，LCD显示器，相当于在2.7米处观赏62寸的屏幕，视觉范围是32度，显示色彩是24位真色彩(1600万色)，设备重量0.09千克，支持VGA输入。罗技操纵杆(62)由1个快速反应扳机，128级的高精确度线性X轴、Y轴和油门以及10个可编程的功能按钮组成。 

一种室内多用途移动机器人实验平台软件部分由机器人操作系统(Robot Operating System, ROS)构成。这是一种开源的元操作系统，它提供的服务类似于真实操作系统，包括硬件抽象、低端设备控制、常用函数实现、进程之间的信息传输以及软件包管理。 

ROS有两个基本的部分，一部分是ROS的核心部分，它的作用相当于一个“操作系统”。这部分的基本功能是可以跟一台带有无线通信功能并运行ROS操作系统的电脑进行无线通信，并能远程遥控移动机器人运动。另一个部分的程序包是为整个ROS社区服务。ROS社区指的是所有使用ROS操作系统的个人、研究团体和科研院所都可以将开源的代码共享到ROS社区中。并且这些代码可以很容易的下载并移植到其他移动机器人平台或传感器平台上。利用这些代码就能在这个平台上实现目标检测、目标追踪、目标识别、定位、建图以及自动导航等功能。 

该装置的有益之处是设计一种模块化的多用途移动机器人实验平台。由于已经为本平台中的三种类型的摄像头编写了在机器人操作系统ROS中的驱动，因此可以根据实际需要挑选任意一种使用。另外，该平台为机器人和人相互协作分别提供两种移动机器人的控制方式，一种是通过罗技操纵杆(62)，另一种是如图10所示的利用Qt编程工具编写的移动机器人控制界面(78)。通过该平台为移动机器人和人相互协作进行目标检测识别、目标追踪、远程控制、自动导航、人机交互等提供了一种新的研究和实验平台。 

附图说明

下面结合附图对本实用新型做进一步描述。 

图1室内多用途移动机器人实验平台结构图；图2移动机器人主视图和底部俯视图；图3 罗技网络摄像头左视图，鱼眼摄像头主视图，360⁰ 全景摄像头主视图和背面的主视图；图4微型计算机FitPC2的主视图和背面的主视图；图5激光测距仪主视图；图6 iPad平板电脑主视图；图7头盔式3D眼镜主视图，VGA转USB转换器主视图和迷你麦克风主视图；图8 Kinect 摄像头主视图；图9 罗技操纵杆左视图；图10 Qt移动机器人控制界面示意图；图11 使用罗技操纵杆或Qt界面控制移动机器人平台示意图；图12头盔式3D眼镜人机交互示意图；图13 利用Kinect摄像头进行人机交互示意图；图14 手势示意图。 

图中：1是 Kinect摄像头，2是不锈钢框架，3是塑料支撑架，4是罗技网络摄像头，5是上层有机玻璃板，6是右支撑架，7是中层有机玻璃板，8是下层有机玻璃板，9是移动机器人，10是iPad平板电脑，11是鱼眼摄像头，12是激光测距仪，13是360⁰ 全景摄像头，14是左支撑架，15是微型计算机FitPC2，16是迷你冷却风扇，17是微型计算机FitPC2供电电源， 18是全方向红外接收器，19是控制面板，20是螺丝孔，21是串行口，22是充电插口，23是装载舱连接口，24是装载舱，25是挡板，26是边缘传感器端口，27是地基接触点，28是左右车轮，29是电池，30是后轮，31 USB连接线，32是360⁰镜片组，33是扬声器，34是USB连接口，35是网络连接，36是总线，37是微型USB口，38是电源开关，39是SD存储卡卡槽，40是RS232接口，41是微型USB接口，42是电源，43是无线局域网(WLAN)，44是语音输出，45是网口，46是语音输入，47是USB口，48是重置键，49是数字视频系统，50是USB连接线，51是iPad平板电脑的前置摄像头，52是头盔式3D眼镜，53是耳机，54是USB连接线，55是VGA接口，56是VGA转USB转换器，57是迷你麦克风，58是3D深度传感器，59是RGB摄像头，60是多声道麦克风，61是可移动底座，62是罗技操纵杆，63是控制功能区，64是电池电量显示，65是里程数，66是所有摄像头显示的图像，67是激光测距仪获取的信息，68是移动速度，69是旋转速度，70是左转，71是停止，72是前进，73是右转，74是后退，75是笔记本电脑，76是WiFi无线网络，77是室内多用途移动机器人实验平台，78是室内多用途移动机器人实验平台Qt控制界面，79是佩戴头盔式3D眼镜和FitPC2微型计算的实验者，80是头盔式3D眼镜俯、仰、滚三种运动，81是获取俯、仰、滚三种运动的方向信息，82是得到的三种运动的方向信息，83是将获取到的方向信息送入FitPC2微型计算机，84是实验者身上携带的FitPC2微型计算机，85实验者，86是读入实验者动作信息，87是获取骨架信息和动作信息，88是得到的骨架和动作信息，89是将动作信息送入FitPC2微型计算机进行处理，90是向后运动手势(手臂向后摆动)，91是向前运动手势(手臂向前摆动)，92是停止运动手势(手臂左右摆动)。 

具体实施方式

参见附图，包括室内多用途移动机器人实验平台的Kinect摄像头(1)包括3D深度传感器(58)、RGB摄像头(59)；iPad平板电脑(10)包括前置摄像头(51)；360⁰ 全景摄像头(13)包括360⁰镜片组(32)、网络连接(35)；微型计算机FitPC2(15)和实验者身上携带的FitPC2微型计算机(84)包括电源开关(38)、电源(42)、无线局域网(WLAN)(43)、网口(45)、语音输入(46)、USB口(47)；头盔式3D眼镜(52)包括耳机(53)、USB连接线(54)、VGA接口(55)、VGA转USB转换器(56)、迷你麦克风(57)；URG-04LX激光测距仪(12)包括USB接口(50)。 

本实验平台具备三项基本的功能，第一项功能是使用操纵杆或Qt界面进行远程遥控引导服务；第二项功能是使用头盔式3D眼镜进行人机交互控制；第三项基本功能是使用Kinect摄像头进行人机交互控制。 

对于第一项基本功能，参见附图11，包括启动笔记本电脑(75)，启动iPad平板电脑(10)，启动微型计算机FitPC2 (15)，启动移动机器人(9)，开启激光测距仪(3)，开启网络摄像头(4)。首先在笔记本电脑(75)上运行Linux操作系统，并运行机器人操作系统ROS，启动移动机器人运动控制程序。将操纵杆(62)连接到笔记本电脑(75)以后，打开Linux版本的视频通话软件Skype，拨打iPad平板电脑(10)上Skype用户号码。同时iPad平板电脑(10)也开启视频通话软件Skype，接受笔记本电脑(75)发出的视频通话请求。接着在已经开启的微型计算机FitPC2 (15)上运行Linux操作系统，并运行机器人操作系统ROS，并启动移动机器人障碍物检测避障程序。笔记本电脑(75)和微型计算机FitPC2 (15)以及iPad平板电脑(10)都通过WiFi无线网络(76)进行通信。这里可以通过操纵杆(62)或者Qt界面(78)对本实验平台进行向前、向后、左转、右转和停止五种运动的远程遥控。Qt界面(78)有五种功能，如图10所示。第一是运动控制和速度调节；第二是移动机器人电池电量监控；第三是里程数统计；第四是可以对网络摄像头获取的视频图像进行监控；第五是可以对激光测距仪检测前方是否有障碍物进行监控。另外，可以用激光测距仪(3)进行障碍物检测，或者用三种摄像头中的任意一种进行障碍物检测。当使用激光测距仪(3)进行障碍物检测时，前方发现有障碍物，那么移动机器人(9)将停止移动。利用移动机器人(9)、微型计算机FitPC2 (15)、操纵杆(62)或Qt界面(78)、笔记本电脑(75)、WiFi无线网络(76)、iPad平板电脑(10)以及Skype视频通话软件搭建了一个为游客进行室内引导、具有视频及语音对话功能的远程遥控移动机器人平台。操控者只要坐在办公室里，就能通过WiFi无线网络(76)远程操控移动机器人完成引导游客的任务。 

对于第二项基本功能，参见附图12，包括启动移动机器人(9)，开启iPad平板电脑(10)，启动移动机器人上的微型计算机FitPC2 (15)，该计算机运行的是Linux操作系统，并在机器人操作系统ROS中运行头盔式3D眼镜角度信息接受程序、移动机器人运动控制程序和障碍物检测避障程序。启动实验者穿戴的微型计算机FitPC2(84)，该计算机运行的是Windows XP版本的操作系统，这是因为头盔式3D眼镜(52)只能在Windows 系列的操作系统中使用。并且在实验者穿戴的微型计算机FitPC2(84)上运行Windows系统中的机器人操作系统WIN-ROS程序，这是一种可以在Windows系统和Linux系统之间传输数据的程序。在将头盔式3D眼镜(52)和迷你麦克风(57)连接到实验者穿戴的微型计算机FitPC2(84)上以后，打开视频通话软件Skype，拨打iPad平板电脑(10)上Skype用户号码。同时iPad平板电脑(10)也开启视频通话软件Skype，接受实验者穿戴的微型计算机FitPC2 (84)发出的视频通话请求。在将头盔式3D眼镜(52)和迷你麦克风(57)连接到实验者穿戴的微型计算机FitPC2(84)上以后，实验者将能与安装有iPad平板电脑的移动机器人(77)视频通话，也就是头盔式3D眼镜 (52)能通过iPad平板电脑自带的摄像头看到了移动机器人周围的环境并能用麦克风与机器人周围的游客对话。最后，WIN-ROS程序通过WiFi无线通信网络(76)，将头盔式3D眼镜(52)运动方向信息(俯、仰、滚三个方向)发送给移动机器人的微型计算机FitPC2(15)，微型计算机FitPC2(15)利用接受到的方向信息控制移动机器人(9)运动，同时运行利用激光测距仪(12)或摄像头检测障碍物。当戴着头盔式3D眼镜的实验者(79)头部向左(或右)转动一定角度时，安装有iPad平板电脑的移动机器人(77)也向左(或右)转动同样角度。当实验者头部向前倾倒超过10度时，安装有iPad平板电脑的移动机器人(77)匀速前进；当实验者头部向后倾倒超过10度时，安装有iPad平板电脑的移动机器人(77)匀速后退；当实验者头部与地面相对垂直时，安装有iPad平板电脑的移动机器人(77)停止运动。另外，只要WiFi无线网络(76)能够覆盖到，这个平台就能正常运行。实验者可以戴着头盔式3D眼镜(52)在某一个房间，而安装有iPad平板电脑的移动机器人(77) 在另一个房间。实验者使用头盔式3D眼镜(52)观察另一房间并且利用角度信息控制机器人移动，另外通过耳机(53)和微型麦克风(57)与游客对话交流，这样就实现了人机交互的室内导游。 

对于第三项基本功能，参见附图13，包括启动移动机器人(9)，开启Kinect摄像头(1)，启动移动机器人上的微型计算机FitPC2 (15)，该计算机运行的是Linux操作系统，首先在已经开启的微型计算机FitPC2 (15)上运行机器人操作系统ROS，并启动Kinect摄像头(1)人体骨架检测程序、人体手势识别程序、移动机器人运动控制程序和障碍物检测避障程序。实验者进入Kinect摄像头(1)的视觉范围，做出已经设定好的手势动作。本系统为实验设定了三种类型的手势动作，如附图14所示。分别是向后运动手势(手臂向后摆动)(90)、向前运动手势(手臂向前摆动) (91)和停止运动手势(手臂左右摆动) (92)。这三种类型的手势动态信息(包括图像和方向信息)作为模板储存在微型计算机FitPC2(15)的数据库中。Kinect摄像头(1)检测到实验者相应手势以后，将人体手势运动信息和图像送入微型计算机FitPC2 (9)中作为两个输入量。微型计算机FitPC2 (15)首先利用神经网络和隐马尔可夫模型融合这些方向信息和图像信息，接着将得到的结果与微型计算机FitPC2 (15)数据库中的模板数据进行匹配，得到相应的手势命令。最后根据手势命令，微型计算机FitPC2 (15)控制移动机器人(9)进行相应的运动。另外，使用激光测距仪(12)或三种摄像头中的任意一种进行障碍物检测，当前方有障碍物时，安装有iPad平板电脑的移动机器人(77)采取避障运动。 

本实施例中，上层挡板(5)、中层挡板(7)和下层挡板(8)均为有机玻璃制成，具有坚固和重量轻的特点。根据需要可以不断增加挡板的数量，以便放置更多的硬件设备。使用有机玻璃作为支撑挡板，不但价格便宜、重量轻，而且便于拆卸。 

本实施例中，Kinect摄像头(1)采用微软公司生产的三摄像头。 

本实施例中，操纵杆(3)采用罗技公司的罗技Attack 3型操纵杆。 

本实施例中，网络摄像头(4)采用罗技公司生产的Pro 5000网络摄像头。 

本实施例中，微型计算机(15)和微型计算机(84)采用CompuLab公司生产的FitPC2微型计算机，该型计算机能运行Windows和Linux两类操作系统。这里用到了Linux Ubuntu10.04版本的FitPC2微型计算机(15)运行机器人操作系统ROS和Windows XP Professional 版本的微型计算机(84)运行机器人操作系统WIN-ROS。 

本实施例中，鱼眼摄像头(11)采用Point Grey公司生产的Firefly MV FMVU-03MTC型摄像头。 

本实施例中，激光测距仪(12)采用北阳公司的LRF URG-04LX型激光测距仪。 

本实施例中，全景摄像头(13)采用MOBOTIX 公司生产的半球形Q24 360⁰ 全景摄像头。 

本实施例中，头盔式3D眼镜(52)采用Vuzix公司生产的iWear VR920型号的3D头盔式眼镜。 

本实施例中，迷你麦克风(57)采用Slinya公司MIC01型的迷你麦克风。 

本实施例中，笔记本电脑(75)采用联想公司的ThinkPad E520型笔记本电脑。 

本实施例中，微型计算机(15)和微型计算机(84)采用12V直流电源供电；Kinect摄像头(1)、罗技网络摄像头(4)、鱼眼摄像头(11)、激光测距仪(12)、360⁰ 全景摄像头(13)、迷你风扇(16)、迷你麦克风(57)和罗技操纵杆(62)和头盔式3D眼镜(80)采用USB接口供电。 

Claims (1)

1.一种室内多用途移动机器人实验平台，其特征是该装置包括Kinect摄像头(1)、不锈钢框架(2)、塑料支撑架(3)、罗技网络摄像头(4)、上层有机玻璃板(5)、右支撑架(6)、中层有机玻璃板(7)、下层有机玻璃板(8)、移动机器人(9)、iPad平板电脑(10)、鱼眼摄像头(11)、激光测距仪(12)、360⁰ 全景摄像头(13)、左支撑架(14)、微型计算机FitPC2(15)、迷你冷却风扇(16)、微型计算机FitPC2供电电源(17)、头盔式3D眼镜(52)、VGA转USB转换器(56)、迷你麦克风(57)、罗技操纵杆(62)、笔记本电脑(75)、实验者身上携带的FitPC2微型计算机(84)。

Images