CN107608525A - Vr交互移动平台系统 - Google Patents

Vr交互移动平台系统 Download PDF

Info

Publication number
CN107608525A
CN107608525A CN201711006522.2A CN201711006522A CN107608525A CN 107608525 A CN107608525 A CN 107608525A CN 201711006522 A CN201711006522 A CN 201711006522A CN 107608525 A CN107608525 A CN 107608525A
Authority
CN
China
Prior art keywords
mecanum
head
unit
platform
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711006522.2A
Other languages
English (en)
Other versions
CN107608525B (zh
Inventor
葛炳为
张旭东
郑英帅
陈前
陈海永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201711006522.2A priority Critical patent/CN107608525B/zh
Publication of CN107608525A publication Critical patent/CN107608525A/zh
Application granted granted Critical
Publication of CN107608525B publication Critical patent/CN107608525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

本发明涉及VR交互移动平台系统,其特征在于该系统包括云台VR单元、手柄控制上位机单元、机械手单元、工业电脑、系统电源和麦克纳姆平台单元;所述云台VR单元包括双目相机、三轴云台、智能手机和VR眼镜;所述三轴云台固定在VR交互移动平台系统的上方,由支撑杆与麦克纳姆平台单元相连接;手柄控制上位机单元与麦克纳姆平台单元空间位置相互独立;机械手单元固定在麦克纳姆平台单元上;麦克纳姆平台单元位于整个系统的底部,为整个系统的移动提供动力;所述系统电源为整个系统进行供电;所述三轴云台具有三个自由度,包括云台单片机、托盘、三个轴、电机驱动和空心杯电机,三个轴支撑托盘,云台单片机通过电机驱动与空心杯电机连接。

Description

VR交互移动平台系统
技术领域
本发明属于VR交互技术领域,具体的说是一个VR交互移动平台系统,该系统是一种能以VR视角控制抓取目标物体、一对多分享视角的VR系统。
背景技术
当前,利用VR提升人机交互体验是未来的发展趋势,2016年以来,VR产业呈井喷式发展,在直播、教育等领域存在巨大市场。机械手是近几十年发展起来的一种高科技自动生产设备,已经得到了广泛的应用,将机械手抓取与VR设备结合起来,用户以VR视角操纵机械手,增加了沉浸感体验,满足不同用户在不同场景下的不同需求。
国内已经有相关的论文,例如远程遥控移动机械手的可视化实时控制(赖梓昌,杨斌.远程遥控移动机械手的可视化实时控制[J].单片机与嵌入式系统应用,2014,14(12):14-17.),这个产品实现了采用Android手机为控制中心、基于摇杆手柄操作的可视化移动机械手,但是存在用户体验不好,用户对周围环境信息获取能力不足等缺点。上述机械手以及现有机械手普遍存在以下缺点,如控制方式复杂、用户体验不好、没有沉浸感等。远程控制的机械手可适用于特殊场景,如拆弹排爆,目前为止仍没有自动拆除各种炸弹的机器人,现有技术存在拆弹环境复杂,不能根据情境做出决定,也无法自主操作等技术不足。
因此将人和机器结合,由人远程操控机器人完成相关任务,且实时VR系统有助于相关人员更好的了解现场情况,搭载实时VR设备能增强人机交互的友好性,使用户有更强的代入感,带来巨大的效率提升,有着重大的研究意义。
发明内容
针对现有技术的不足,本发明所要解决的技术问题是:提供一种VR交互移动平台系统。该系统能通过VR设备和摇杆游戏手柄将人和系统结合起来,让用户以第一视角控制机械手完成抓取目标物体的动作,克服了现有的机械手控制方式复杂、操作者本人没有沉浸感、操作者对环境周围信息获取能力不足的缺点;不仅实现了机械手和VR视角联合控制,而且给操作者提供沉浸式的用户体验,方便了操作者的使用;本发明采用工业电脑为控制中心,摇杆手柄为输入设备并结合同步视角的VR设备实现了以第一视角抓取目标物体的操作。
本发明解决该技术问题所采用的技术方案是:提供一种VR交互移动平台系统,其特征在于该系统包括云台VR单元、手柄控制上位机单元、机械手单元、工业电脑、系统电源和麦克纳姆平台单元;所述云台VR单元包括双目相机、三轴云台、智能手机和VR眼镜;所述三轴云台固定在VR交互移动平台系统的上方,由支撑杆与麦克纳姆平台单元相连接;手柄控制上位机单元与麦克纳姆平台单元空间位置相互独立;机械手单元固定在麦克纳姆平台单元上;麦克纳姆平台单元位于整个系统的底部,为整个系统的移动提供动力;所述系统电源为整个系统进行供电;
所述三轴云台具有三个自由度,包括云台单片机、托盘、三个轴、电机驱动和空心杯电机,三个轴支撑托盘,云台单片机通过电机驱动与空心杯电机连接,且云台单片机、电机驱动和空心杯电机均固定在托盘上,云台单片机为整个三轴云台的控制中心,云台单片机的输出口与电机驱动的使能端相连;双目相机放置在三轴云台的托盘上,并通过螺丝螺母刚性连接,双目相机能随三轴云台的托盘的运动而运动;
所述工业电脑与云台单片机进行串口通信,同时工业电脑分别与双目相机、机械手单元、麦克纳姆平台单元连接,双目相机采集的视频图像通过数据线传回工业电脑,工业电脑通过数据线给双目相机供电,工业电脑给机械手单元相应的控制信号,驱动机械手单元的机械手进行相应动作,工业电脑给麦克纳姆平台单元相应的控制信号,驱动麦克纳姆平台单元进行相应动作;所述工业电脑通过搭建的局域网与智能手机连接,所述智能手机放置在VR眼镜上,VR眼镜由用户佩戴,所述智能手机上安装有VR APP;所述工业电脑内加载有图像畸变校正方算法;
所述手柄控制上位机单元包括摇杆手柄和上位机;摇杆手柄通过数据线与上位机连接,上位机采集摇杆手柄的按键动作数据,上位机同时与工业电脑通过局域网连接;
所述智能手机中VR APP的程序流程是:首先进入校准界面:初始化控件,绑定智能手机的陀螺仪,获取陀螺仪的三维实时位置信息,开始进行按钮监听事件,即进行标准条件判断,当智能手机陀螺仪的偏航角度数据在170-190之间,陀螺仪的俯仰角度数据在70-90之间时,开启第二个画面,进入VR观看界面,校准成功;
然后进入VR观看界面:初始化控件,绑定陀螺仪和加速度、开启屏幕监听事件及UI更新线程;接着获取智能手机的陀螺仪数据和加速度数据信息,然后进行智能手机姿态信息校正,通过socket进程传输手机姿态信息;同时开启两个进程,即HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据两个进程,通过网络请求获取双目相机的左右两个摄像头的视频信息,上述HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据及socket进程传输手机姿态信息构成VR观看界面的屏幕监听事件;然后将手机UI界面划分为左右均匀的两个区域,通过Hander视频信号获取指令启动UI更新线程,使左右两个区域分别显示左右摄像头的图像。
与现有技术相比,本发明的有益效果是:
1)本发明VR交互移动平台系统包括云台VR单元、手柄控制上位机单元、机械手单元和麦克纳姆平台单元四个组成部分。其中通过VR设备和摇杆手柄将人和机械手联系起来,使用者以第一视角控制VR交互移动平台系统上的机械手完成抓取目标物体的功能是本发明的核心。使用者和机械手通过VR设备(VR眼镜)结合起来,通过VR交互移动平台系统搭载VR设备能增强人机交互的友好性,使用户有更强的代入感,由人远程操控机械手完成相关工作,VR设备有助于相关人员更好的了解现场情况,而机械手采用摇杆手柄控制,灵活简单,易于控制。人机紧密协作,工作效率提升,克服了现有的机械手控制方式复杂、使用者没有沉浸感、操作者对周围环境信息获取能力不足的缺点。
2)本申请同样适用于景点游览和活动直播等场景。采用在坚硬平整地面上有高度的灵活性的麦克纳姆平台,利用本申请VR APP获取自身手机的陀螺仪数据,算出手机的姿态,即头部视角的变化情况,通过搭建起来的局域网发送给云台单片机驱动三轴云台,同步改变摄像头的视角,使摄像头的视角实时跟随头部视角进行改变,实现实时的全景VR效果,有效提高了图像数据的利用率,利用上述技术可在景区中心搭建无线基站和服务器,用户通过互联网使用VR APP访问服务器,用户通过VR眼镜看到双目相机传回来的实时图像来获取当前VR交互移动平台系统与环境之间的交互信息,用户的头转,云台会跟随着人的头部的运动而运动,而且用户可以通过摇杆手柄控制VR交互移动平台系统的位置,实时的获取当前的环境的信息,使用户有沉浸式的体验,通过控制VR交互移动平台系统来进行在线游览和计时付费,有良好推广前景。
附图说明
图1为本发明VR交互移动平台系统的实物图。
图2为本发明VR交互移动平台系统的整体结构框图。
图3为本发明VR交互移动平台系统的手柄控制上位机单元中手柄按键示意图。
图4为本发明VR交互移动平台系统的云台VR单元中VR眼镜和手机VR APP界面示意图。
图5为本发明VR交互移动平台系统的VR程序流程图。
图6为本发明VR交互移动平台系统的麦克纳姆平台单元的程序流程图。
图中,1云台VR单元、2手柄控制上位机单元、3机械手单元、4麦克纳姆平台单元、5工业电脑、6系统电源;11双目相机、12三轴云台、13智能手机、14VR眼镜;121云台单片机、122空心杯电机、123电机驱动;41麦克纳姆轮单片机、42两线直流电机、43两相四线电机驱动器、44麦克纳姆轮。
具体实施方式
下面结合附图和实施例对本发明进一步说明,但并不以此作为对本申请权利要求保护范围的限定。
本发明VR交互移动平台系统(简称系统,参见图1-2)包括云台VR单元1、手柄控制上位机单元2、机械手单元3、工业电脑5、系统电源6和麦克纳姆平台单元4;所述云台VR单元1包括双目相机11、三轴云台12、智能手机13和VR眼镜14;所述三轴云台固定在VR交互移动平台系统的上方,由金属支撑杆与麦克纳姆平台单元4相连接,可以使云台VR单元1拥有全景视野范围,并在支撑杆的四周加上三个辅助支撑金属片,作为辅助支撑,增加强度;手柄控制上位机单元2与麦克纳姆平台单元4空间位置相互独立,相对位置自由,两者之间通过搭建起来的局域网及工业电脑进行相互通信;机械手单元3固定在麦克纳姆平台单元4上,并用金属螺丝与麦克纳姆平台单元4相互固定,在两者连接之间加上减震材料,减少整个系统在移动过程中给机械手单元3和云台VR单元1造成的震动;麦克纳姆平台单元4位于整个系统的底部,为整个系统的移动提供动力;所述系统电源6为整个系统进行供电;
所述三轴云台12具有三个自由度,包括云台单片机121、托盘、三个轴、电机驱动123和空心杯电机122,三个轴支撑托盘,云台单片机121通过电机驱动123与空心杯电机122连接,且云台单片机121、电机驱动123和空心杯电机122均固定在托盘上,云台单片机为整个三轴云台的控制中心,云台单片机的输出口与电机驱动123的使能端相连,云台单片机给电机驱动发送信号,从而驱动空心杯电机,控制三轴云台的三个轴的转动;双目相机11放置在三轴云台的托盘上,并通过螺丝螺母刚性连接,双目相机能随三轴云台的托盘的运动而运动,从而改变双目相机的视角;
所述工业电脑5与云台单片机121进行串口通信,通过工业电脑5给云台单片机121发送相应的指令信息,云台单片机121控制三轴云台12的托盘实现运动效果;所述工业电脑5同时与双目相机11连接,双目相机11采集的视频图像通过数据线传回工业电脑,工业电脑通过数据线给双目相机11供电,为双目相机11正常工作提供稳定的电能;所述工业电脑5通过搭建的局域网与智能手机13连接,所述智能手机13放置在VR眼镜上,VR眼镜由用户佩戴,起到固定智能手机13和投放视频的作用,所述智能手机13上安装有VR APP;把工业电脑5和智能手机13均接入局域网中,使双目相机11传回来的视频图像经过工业电脑5处理之后通过局域网发送视频流至网络端口上;智能手机13开启VR APP,进入视频界面,将VR APP界面上的视频图像映射到人眼中,可以获得当前双目相机11传回来的实时图像;所述工业电脑5内加载有图像畸变校正方算法,工业电脑5对采集的视频图像进行基本的图像畸变校正处理;工业电脑5将处理之后的图像数据通过网络传送到路由器的数据端口上,提供VR APP的访问接口和视频浏览功能。
所述手柄控制上位机单元2(参见图3)包括摇杆手柄21和上位机22;摇杆手柄21通过数据线与上位机22连接,上位机22采集摇杆手柄的按键动作数据,上位机22同时与工业电脑5通过局域网连接;所述摇杆手柄21上设置有左旋按键、右旋按键、上移键、下移键、左移键、右移键、左摇杆和右摇杆;其中,上移键、下移键控制机械手的抓手的张开与闭合;左移键、右移键控制机械手的抓手能够上下的运动;相对于操纵者的方向而言,左摇杆控制整个系统的前、后、左、右、左前、右前、左后、右后共八个方向的运动,摇杆波动幅度越大整个系统的运动速度越快;右摇杆控制机械手底座上的大臂运动,可以使机械手的抓手能够左右移动,摇杆拨动幅度越大,速度越快;车体(麦克纳姆平台单元)向左旋转通过按下左旋按键,车体向右旋转通过按下右旋按键,并外加左摇杆调节速度。
所述麦克纳姆平台单元4包括麦克纳姆轮单片机41、四个两线直流电机42、麦克纳姆轮44、两相四线电机驱动器43和移动平台(图中未标出);其中四个两线直流电机42通过相应的电机支架呈左右对称固定在移动平台的下方,两个两线直流电机42连接一个两相四线电机驱动器43,一个两相四线电机驱动器43放置在左右对称的两线直流电机42之间,处于两者之间不相接触的位置,麦克纳姆轮44通过联轴器与两线直流电机42的外侧进行机械式连接,在每个两线直流电机42的内侧均通过卡槽固定安装有霍尔编码器;在移动平台的内部安装工业电脑5、系统电源6和麦克纳姆轮单片机41,所述麦克纳姆轮单片机41分别与工业电脑5、两相四线电机驱动器43连接,通过两相四线电机驱动器43驱动两线直流电机42工作,控制麦克纳姆轮转动,从而直接带动移动平台进行移动动作;
所述机械手单元包括底座、控制盒、大臂、小臂和抓手,底座、大臂、小臂和抓手依次连接,底座固定在移动平台上,底座、大臂、小臂和抓手构成机械手,所述控制盒同时与工业电脑和机械手连接,工业电脑给控制盒相应的控制信号,然后控制盒再驱动机械手进行相应动作。
本发明中的智能手机和VR眼镜的相对位置关系如图4所示,图4中还给出了智能手机界面的放大图。智能手机的VR APP具有校准界面和VR观看界面,用户在启动VR APP之后,需要用户在使用之前进行智能手机姿态的调整,使其满足标准条件,可以点击开始观看按钮进入VR观看模式,所述标准条件为:当智能手机陀螺仪的偏航角度数据(左边数值)在170-190,陀螺仪的俯仰角度数据(右边数值)在70-90之间。进入VR观看模式后,如果网络正常则会显示出左右两个VR图像。如果没有图像点击界面刷新即可。之后把智能手机放入VR眼镜中进行远程观看和操作。这里所说的左右分别对应着人眼的左右。
所述智能手机中VR APP的程序流程(参见图5)是:①校准界面:初始化控件,绑定智能手机的陀螺仪,获取陀螺仪的三维实时位置信息,开始进行按钮监听事件,即进行标准条件判断,当智能手机陀螺仪的偏航角度数据在170-190之间,陀螺仪的俯仰角度数据在70-90之间时,开启第二个画面,进入VR观看界面,校准成功;②VR观看界面:初始化控件,绑定陀螺仪和加速度、开启屏幕监听事件及UI更新线程;接着获取智能手机的陀螺仪数据和加速度数据信息,然后进行智能手机姿态信息校正,通过socket进程传输手机姿态信息;同时开启两个进程,即HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据两个进程,通过网络请求获取双目相机的左右两个摄像头的视频信息(视频流),上述HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据及socket进程传输手机姿态信息构成VR观看界面的屏幕监听事件;然后将手机UI界面划分为左右均匀的两个区域,通过Hander视频信号获取指令启动UI更新线程,使左右两个区域分别显示左右摄像头的图像。
麦克纳姆平台单元中麦克纳姆轮单片机41的程序流程(参见图6)是:首先,系统初始化,使能定时器TIM3、TIM4、TIM7和串口中断外设,定时器TIM3、TIM4用于获得麦克纳姆的速度,定时器TIM7用于速度控制算法PID的定时周期,定时时间为5ms,串口中断用于接收来自工业电脑的控制指令;当定时器TIM7的定时中断到来时:用串口中断接收来自工业电脑的控制指令,即接收串口的数据,待接收完毕后,对接收的控制指令(字符)进行解码操作,通过解码之后的结果判断应该对程序的哪个标志位进行赋值,定时器TIM3、TIM4获取车轮的转速,进而控制该平台系统的运动方式,在定时器TIM7的中断内部,利用PID计算,得出在当前速度的情况下,按照控制指令给定的速度,计算应该输出的PWM,控制电机转动,进而带动麦克纳姆轮转动,控制移动平台按照给定信号运动方式而运动。再此过程中,主函数一直处于死循环状态,不再控制程序,控制程序在中断中完成。
所述系统电源6包括12V 13Ah锂电池、12V 12A稳压器、12V转5V电源模块、12V转3.3V模块、分线器和过流保护模块,各个模块相互配合,为整个系统提供稳定的供电,具体的电源接线方式是:把12V 13Ah锂电池接到12V 12A稳压器上,并通过12V 12A稳压器将直流电稳定为+12伏直流电和+5伏直流电;+12伏直流电并联接到两线直流电机42、两相四线电机驱动器43、机械手单元3、三轴云台12和工业电脑5上;+5伏直流电与麦克纳姆轮单片机41、霍尔编码器相连接。麦克纳姆轮单片机41的端口分别与两相四线电机驱动器43输入端口相连,两相四线电机驱动器43的输出端与两线直流电机的四个端口相连;机械手单元3、三轴云台12两者之间通过串口分别与工业电脑通信连接。
本发明VR交互移动平台系统的使用过程是:首先,用户下载VR APP并成功安装,打开VR APP界面,把智能手机连上局域网,开始手机校正角度,使双目相机11能够匹配智能手机方向,方便操纵本VR交互移动平台系统。把智能手机放入VR眼镜中,摇杆手柄21接入上位机,打开VR交互移动平台系统的总电源开关,等待三轴云台11校正自身角度,时间为15~20秒钟,待校正完成后,双目相机正视VR交互移动平台系统的前方,用户用手操纵摇杆手柄21,摇杆手柄21的左摇杆为车体移动模式的选择,车体共有八种移动模式,摇杆手柄21的右摇杆为机械手单元3的控制按钮,用户通过VR眼镜看到双目相机11传回来的实时图像来获取当前VR交互移动平台系统与环境之间的交互信息,用户的头转,三轴云台11会跟随着人的头部的运动而运动,实时的获取当前的环境的信息,使用户有沉浸式的体验,并操纵机械手单元3完成相应的抓取动作。
VR APP获取智能手机陀螺仪数据,通过一定的滤波平滑处理,获取手机的姿态,即头部视角的变化情况,通过网络发送给云台单片机驱动三轴云台,同步改变双目相机的摄像头的视角,使摄像头的视角实时跟随头部视角进行改变,实现实时的全景VR效果,有效提高了图像数据的利用率。用户在启动VR APP之后为了避免智能手机处于极大极小值附近,需要用户在使用之前进行手机姿态的调整,当左边数据在170-190,右边数据在70-90之间时,可以点击按钮进入VR观看模式,进入VR观看模式后,如果网络正常则会显示出VR图像;如果没有图像点击界面刷新即可;之后把手机放入VR眼镜中进行远程观看和操作。
用户通过双目相机11传回来的实时图像来获取当前VR交互移动平台系统与待抓取物体之间的环境信息,包括距离和障碍物的信息,操纵VR交互移动平台系统躲避相应的障碍物到达待抓取物体的附近,由用户自主进行判断是否机械手单元3能够抓起待抓取物体,如果不能,则用户继续开动VR交互移动平台系统,使之靠近待抓取物体,如果待抓取物体在机械手单元的抓取范围之内,则用户直接操纵机械手单元进行抓取。用户操纵机械手单元3的大臂进行左右方向的初调,待确定左右方向的位置后,再操纵机械手单元3的小臂进行垂直方向上的调整,用户在VR眼镜中得到抓取完成的信息之后,按照相反的过程,用户操纵机械手单元3抬起小臂,并回归机械手单元3的大臂,将待抓取物体抓起在半空中,并由用户操纵该VR交互移动平台系统移动到目的地或者是指定地点,并按照相同的过程释放目标物体。
上述VR交互移动平台系统,所用的元器件、零部件和电路板均是本技术领域的技术人员所熟知的,可以通过商购获得或自己容易制作的,所有元器件之间的连接方式、零部件的安装方式以及电源线路的接线方式也是本技术领域的技术人员所熟知的,该VR交互移动平台系统的整体安装同样是本技术领域的技术人员容易完成的。
实施例1
本实施例VR交互移动平台系统的三轴云台12通过支撑杆被固定在整个系统的正上方,距离移动平台50cm。三轴云台12和双目相机11刚性连接在一起,双目相机11内部包括两个摄像头,同时可获取两个视频流并映射到局域网端口,三轴云台12根据云台单片机121输出的PWM波进行左右旋转和上下翻转来改变摄像头视角;搭建的局域网是该系统所有数据传输和控制通信的基础;VR APP接收双目摄像头的视频流,显示双目摄像头传回来的视频,并读取手机的陀螺仪数据发送至三轴云台,使云台与人头部的运动保持一致。
摇杆手柄21通过左、右摇杆位置的坐标与坐标轴中心点(本身摇杆有一个自身的静止的位置,是垂直向上的,设定此位置为预定位置,然后当摆动这个遥杆的时候,就会出现与原来预定位置有一个偏差,然后这个偏差就是摇杆倾斜的斜率,就是自身倾斜的角度)相连的直线的斜率确定此刻摇杆对应的方向。上位机22监听摇杆手柄21的按键事件,通过socket协议发送给工业电脑进行进一步处理分配。
麦克纳姆平台单元4的核心为麦克纳姆轮单片机41,接受来自工业电脑5的控制信号,驱动麦克纳姆轮使整个系统获得动力,霍尔编码器实时的测出麦克纳姆轮的速度并发送给麦克纳姆轮单片机41,麦克纳姆轮单片机41利用传回的速度值利用PID算法调节车速,满足系统的要求。
VR眼镜14上放置用户手机,利用光学原理使用户有沉浸式体验;用户在启动VRAPP之后为了避免智能手机处于极大极小值附近,需要用户在使用之前进行手机姿态的调整,当左边数据在170-190,右边数据在70-90之间时,可以点击按钮进入VR观看模式。进入VR观看模式后,如果网络正常则会显示出VR图像。如果没有图像点击界面刷新即可。之后把手机放入VR眼镜中进行远程观看和操作。
本实施例机械手单元选用越疆魔术师机械手,并采用麦克纳姆轮44为VR交互移动平台系统提供动力,续航时间达60-120分钟,移动方式灵活,可纵向,横向,任意角度的斜向平动,转弯半径为零,可绕VR交互移动平台系统中心原地转向,通过越疆魔术师机械手、三轴云台、双目相机和麦克纳姆轮44相互配合来实现移动实时抓取工作。
本发明系统采用麦克纳姆平台单元在坚硬平整地面上有高度的灵活性,操作简单;VR视频实现采用算法简单,不需要像全景360度VR直播那样合成360度的视频文件,仅仅只需要将双目摄像头的两个视频流投放在手机VR APP中两个左右平铺的画布中,并进行基本的图像畸变校准处理即可,不需要专业的头显设备,仅仅需要将手机放进VR眼镜中即可获得真实的用户体验,可使用VR APP以及网页进行访问,设备的适应性极广,操作极其简单方便,快捷,实现以及维护简单,接口简单对于用户十分友好;采用双目摄像头采集双目视频流,投放在设备的网络端口,可以实现一对多的视频实时共享,相较于全景360度的VR直播模式具有,带宽要求低,成本低的优点,可以很好的解决由于带宽和成本限制导致的视频文件的下降,成本提高的问题,具有良好的用户体验性。
本发明未述及之处适用于现有技术。

Claims (5)

1.一种VR交互移动平台系统,其特征在于该系统包括云台VR单元、手柄控制上位机单元、机械手单元、工业电脑、系统电源和麦克纳姆平台单元;所述云台VR单元包括双目相机、三轴云台、智能手机和VR眼镜;所述三轴云台固定在VR交互移动平台系统的上方,由支撑杆与麦克纳姆平台单元相连接;手柄控制上位机单元与麦克纳姆平台单元空间位置相互独立;机械手单元固定在麦克纳姆平台单元上;麦克纳姆平台单元位于整个系统的底部,为整个系统的移动提供动力;所述系统电源为整个系统进行供电;
所述三轴云台具有三个自由度,包括云台单片机、托盘、三个轴、电机驱动和空心杯电机,三个轴支撑托盘,云台单片机通过电机驱动与空心杯电机连接,且云台单片机、电机驱动和空心杯电机均固定在托盘上,云台单片机为整个三轴云台的控制中心,云台单片机的输出口与电机驱动的使能端相连;双目相机放置在三轴云台的托盘上,并通过螺丝螺母刚性连接,双目相机能随三轴云台的托盘的运动而运动;
所述工业电脑与云台单片机进行串口通信,同时工业电脑分别与双目相机、机械手单元、麦克纳姆平台单元连接,双目相机采集的视频图像通过数据线传回工业电脑,工业电脑通过数据线给双目相机供电,工业电脑给机械手单元相应的控制信号,驱动机械手单元的机械手进行相应动作,工业电脑给麦克纳姆平台单元相应的控制信号,驱动麦克纳姆平台单元进行相应动作;所述工业电脑通过搭建的局域网与智能手机连接,所述智能手机放置在VR眼镜上,VR眼镜由用户佩戴,所述智能手机上安装有VR APP;所述工业电脑内加载有图像畸变校正方算法;
所述手柄控制上位机单元包括摇杆手柄和上位机;摇杆手柄通过数据线与上位机连接,上位机采集摇杆手柄的按键动作数据,上位机同时与工业电脑通过局域网连接;
所述智能手机中VR APP的程序流程是:首先进入校准界面:初始化控件,绑定智能手机的陀螺仪,获取陀螺仪的三维实时位置信息,开始进行按钮监听事件,即进行标准条件判断,当智能手机陀螺仪的偏航角度数据在170-190之间,陀螺仪的俯仰角度数据在70-90之间时,开启第二个画面,进入VR观看界面,校准成功;
然后进入VR观看界面:初始化控件,绑定陀螺仪和加速度、开启屏幕监听事件及UI更新线程;接着获取智能手机的陀螺仪数据和加速度数据信息,然后进行智能手机姿态信息校正,通过socket进程传输手机姿态信息;同时开启两个进程,即HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据两个进程,通过网络请求获取双目相机的左右两个摄像头的视频信息,上述HTTP请求获取双目相机的右摄像头数据和HTTP请求获取双目相机的左摄像头数据及socket进程传输手机姿态信息构成VR观看界面的屏幕监听事件;然后将手机UI界面划分为左右均匀的两个区域,通过Hander视频信号获取指令启动UI更新线程,使左右两个区域分别显示左右摄像头的图像。
2.根据权利要求1所述的VR交互移动平台系统,其特征在于所述麦克纳姆平台单元包括麦克纳姆轮单片机、四个两线直流电机、麦克纳姆轮、两相四线电机驱动器和移动平台;其中四个两线直流电机通过相应的电机支架呈左右对称固定在移动平台的下方,两个两线直流电机连接一个两相四线电机驱动器,一个两相四线电机驱动器放置在左右对称的两线直流电机之间,处于两者之间不相接触的位置,麦克纳姆轮通过联轴器与两线直流电机的外侧进行机械式连接,在每个两线直流电机的内侧均通过卡槽固定安装有霍尔编码器;工业电脑、系统电源和麦克纳姆轮单片机安装在移动平台的内部,所述麦克纳姆轮单片机分别与工业电脑、两相四线电机驱动器连接,通过两相四线电机驱动器驱动两线直流电机工作。
3.根据权利要求2所述的VR交互移动平台系统,其特征在于麦克纳姆平台单元中麦克纳姆轮单片机的程序流程是:首先,系统初始化,使能定时器TIM3、TIM4、TIM7和串口中断外设,定时器TIM3、TIM4用于获得麦克纳姆的速度,定时器TIM7用于速度控制算法PID的定时周期,定时时间为5ms,串口中断用于接收来自工业电脑的控制指令;当定时器TIM7的定时中断到来时:用串口中断接收来自工业电脑的控制指令,待接收完毕后,对接收的控制指令进行解码操作,通过解码之后的结果判断应该对程序的哪个标志位进行赋值;定时器TIM3、TIM4获取车轮的转速,进而控制该平台系统的运动方式,在定时器TIM7的中断内部,利用PID计算,得出在当前速度的情况下,按照控制指令给定的速度,计算应该输出的PWM,控制电机转动,进而带动麦克纳姆轮转动,控制移动平台按照给定信号运动方式而运动;再此过程中,主函数一直处于死循环状态,不再控制程序,控制程序在中断中完成。
4.根据权利要求1所述的VR交互移动平台系统,其特征在于所述摇杆手柄上设置有左旋按键、右旋按键、上移键、下移键、左移键、右移键、左摇杆和右摇杆;其中,上移键、下移键控制机械手的抓手的张开与闭合;左移键、右移键控制机械手的抓手能够上下的运动;相对于操纵者的方向而言,左摇杆控制整个系统的前、后、左、右、左前、右前、左后、右后共八个方向的运动,摇杆波动幅度越大整个系统的运动速度越快;右摇杆控制机械手底座上的大臂运动,使机械手的抓手能够左右移动,摇杆拨动幅度越大,速度越快;麦克纳姆平台单元向左旋转通过按下左旋按键,麦克纳姆平台单元向右旋转通过按下右旋按键,并外加左摇杆调节速度。
5.根据权利要求1所述的VR交互移动平台系统,其特征在于所述三轴云台和麦克纳姆平台单元之间的支撑杆上设有辅助支撑金属片;且在机械手单元和麦克纳姆平台单元之间设置有减震材料。
CN201711006522.2A 2017-10-25 2017-10-25 Vr交互移动平台系统 Active CN107608525B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711006522.2A CN107608525B (zh) 2017-10-25 2017-10-25 Vr交互移动平台系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711006522.2A CN107608525B (zh) 2017-10-25 2017-10-25 Vr交互移动平台系统

Publications (2)

Publication Number Publication Date
CN107608525A true CN107608525A (zh) 2018-01-19
CN107608525B CN107608525B (zh) 2024-02-09

Family

ID=61079756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711006522.2A Active CN107608525B (zh) 2017-10-25 2017-10-25 Vr交互移动平台系统

Country Status (1)

Country Link
CN (1) CN107608525B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227598A (zh) * 2018-03-27 2018-06-29 济南大学 一种可平行移动的扫雷排雷机器人控制系统
CN108958491A (zh) * 2018-08-01 2018-12-07 林向阳 远程体验方法及其系统
CN109434859A (zh) * 2018-11-27 2019-03-08 浙江理工大学 一种基于vr技术的远程机器人控制系统及方法
CN112925325A (zh) * 2021-01-29 2021-06-08 泗阳县人民医院 一种基于数据融合的多功能智能机器人药品配送系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030013012A (ko) * 2001-08-06 2003-02-14 주식회사 뉴웰텔레콤 인터넷 생방송용 무인 리모트모듈 및 그 원격제어장치
CN102551994A (zh) * 2011-12-20 2012-07-11 华中科技大学 一种康复助行机器人
CN103716399A (zh) * 2013-12-30 2014-04-09 上海交通大学 基于无线网络的远程交互果实采摘协同异步控制系统及方法
CN103867205A (zh) * 2014-03-11 2014-06-18 西安科技大学 一种掘进机远程控制系统及方法
CN104494721A (zh) * 2014-12-02 2015-04-08 中国矿业大学 基于麦克纳姆轮的摇杆式全方位移动平台
US20150223892A1 (en) * 2014-02-07 2015-08-13 Enovate Medical, Llc Work platform for a wheeled medical cart
WO2016179448A1 (en) * 2015-05-06 2016-11-10 Faro Technologies, Inc. Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
CN106393049A (zh) * 2015-08-12 2017-02-15 哈尔滨理工大学 一种用于高危作业的机器人
CN106657906A (zh) * 2016-12-13 2017-05-10 国家电网公司 具有自适应场景虚拟现实功能的信息设备监控系统
CN106774399A (zh) * 2016-12-26 2017-05-31 深圳市道通智能航空技术有限公司 Vr设备的控制方法、装置及遥控器
CN106909158A (zh) * 2017-04-21 2017-06-30 上海海事大学 一种全方位移动环境vr图像探测车
CN106933096A (zh) * 2017-03-14 2017-07-07 广州幻境科技有限公司 一种为第三方提供空间定位信息的自跟随机器人装置及方法
CN207319185U (zh) * 2017-10-25 2018-05-04 河北工业大学 Vr交互移动平台系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030013012A (ko) * 2001-08-06 2003-02-14 주식회사 뉴웰텔레콤 인터넷 생방송용 무인 리모트모듈 및 그 원격제어장치
CN102551994A (zh) * 2011-12-20 2012-07-11 华中科技大学 一种康复助行机器人
CN103716399A (zh) * 2013-12-30 2014-04-09 上海交通大学 基于无线网络的远程交互果实采摘协同异步控制系统及方法
US20150223892A1 (en) * 2014-02-07 2015-08-13 Enovate Medical, Llc Work platform for a wheeled medical cart
CN103867205A (zh) * 2014-03-11 2014-06-18 西安科技大学 一种掘进机远程控制系统及方法
CN104494721A (zh) * 2014-12-02 2015-04-08 中国矿业大学 基于麦克纳姆轮的摇杆式全方位移动平台
WO2016179448A1 (en) * 2015-05-06 2016-11-10 Faro Technologies, Inc. Three-dimensional measuring device removably coupled to robotic arm on motorized mobile platform
CN106393049A (zh) * 2015-08-12 2017-02-15 哈尔滨理工大学 一种用于高危作业的机器人
CN106657906A (zh) * 2016-12-13 2017-05-10 国家电网公司 具有自适应场景虚拟现实功能的信息设备监控系统
CN106774399A (zh) * 2016-12-26 2017-05-31 深圳市道通智能航空技术有限公司 Vr设备的控制方法、装置及遥控器
CN106933096A (zh) * 2017-03-14 2017-07-07 广州幻境科技有限公司 一种为第三方提供空间定位信息的自跟随机器人装置及方法
CN106909158A (zh) * 2017-04-21 2017-06-30 上海海事大学 一种全方位移动环境vr图像探测车
CN207319185U (zh) * 2017-10-25 2018-05-04 河北工业大学 Vr交互移动平台系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108227598A (zh) * 2018-03-27 2018-06-29 济南大学 一种可平行移动的扫雷排雷机器人控制系统
CN108958491A (zh) * 2018-08-01 2018-12-07 林向阳 远程体验方法及其系统
CN109434859A (zh) * 2018-11-27 2019-03-08 浙江理工大学 一种基于vr技术的远程机器人控制系统及方法
CN112925325A (zh) * 2021-01-29 2021-06-08 泗阳县人民医院 一种基于数据融合的多功能智能机器人药品配送系统
CN112925325B (zh) * 2021-01-29 2022-01-11 泗阳县人民医院 一种基于数据融合的多功能智能机器人药品配送系统

Also Published As

Publication number Publication date
CN107608525B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN107608525A (zh) Vr交互移动平台系统
CN105262968B (zh) 自动调整投影画面位置的投影系统及其投影方法
CN109164829A (zh) 一种基于力反馈装置和vr感知的飞行机械臂系统及控制方法
CN203838864U (zh) 一种无人飞行器遥控器
CN201054660Y (zh) 一种摄像头装置
CN205193562U (zh) 一种基于以太网交换总线的无人机飞行控制系统
CN108257145A (zh) 一种基于ar技术的无人机智能侦察处理系统及方法
CN107065195B (zh) 一种模块化mr设备成像方法
CN105836127B (zh) 无人机的操控方法和无人机系统
CN207149060U (zh) 用于控制无人机的遥控器
CN106426229B (zh) 用于巡线机器人的虚拟现实监测控制系统和控制方法
CN204046742U (zh) 一种利用智能眼镜进行实时监控控制的移动机器人
CN207319185U (zh) Vr交互移动平台系统
CN107703950B (zh) 一种利用体感控制的水下机器人及控制方法
CN108476293A (zh) 多功能相机及其控制方法、穿戴设备、云台、飞行器
CN104175308A (zh) 自主服务机器人
CN206294286U (zh) 一种远程虚拟现实的实现系统
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN204856222U (zh) 一种基于物联网技术的全向移动平台控制系统
CN108515523A (zh) 一种带有玩具功能的机器人
CN108214497A (zh) 一种家庭助教智能机器人系统
CN106325523A (zh) 一种人机交互显示装置及系统
CN206140525U (zh) 一种vr机器人
CN209453576U (zh) 多功能机器人摄像操控台
CN108966842A (zh) 远程多功能水果采摘机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Chen Haiyong

Inventor after: Ge Bingwei

Inventor after: Zhang Xudong

Inventor after: Zheng Yingshuai

Inventor after: Chen Qian

Inventor before: Ge Bingwei

Inventor before: Zhang Xudong

Inventor before: Zheng Yingshuai

Inventor before: Chen Qian

Inventor before: Chen Haiyong

GR01 Patent grant
GR01 Patent grant