CN107471216A - 危险环境下的vr体控机器人 - Google Patents

危险环境下的vr体控机器人 Download PDF

Info

Publication number
CN107471216A
CN107471216A CN201710691378.4A CN201710691378A CN107471216A CN 107471216 A CN107471216 A CN 107471216A CN 201710691378 A CN201710691378 A CN 201710691378A CN 107471216 A CN107471216 A CN 107471216A
Authority
CN
China
Prior art keywords
frame
mobile robots
acquisition system
controlled mobile
hazardous environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710691378.4A
Other languages
English (en)
Inventor
陆兴华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710691378.4A priority Critical patent/CN107471216A/zh
Publication of CN107471216A publication Critical patent/CN107471216A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种危险环境下的VR体控机器人,包括机架、电子双目图像采集系统、头戴式虚拟现实显示设备、姿态传感器、控制系统,其特征在于:所述机架的前端安装有舵机:且所述舵机上连接有机械臂:所述机架的台面上固定有Arduino Uno开发板;且所述机架的中端固定有电路控制板;所述机架的下方挂装有驱动电机;所述机架的后端设置有立体图像获取系统。该新型具有较好的3D视觉效果,立体感的形成以及画面的实时传输性要好,可达200米远距离无线数据链路通讯,机械控制的动作性强,响应快速,机械控制的动作性强,响应快速。

Description

危险环境下的VR体控机器人
技术领域
本发明属于体感控制机器人领域,具体涉及一种危险环境下的VR体控机器人。
背景技术
现在的智能机器人大多是依靠自身存储的复杂程序代码或者操作手柄,根据外部事件触发产生相应的执行动作来实现控制。但是大量的的程序代码存储需要大的存储空间同时伴随而来的体积大、功耗大、速度慢、存在延时等问题都会降低机器人得控制精度,不易实现同步控制功能。
同时检测机器人携带视频监控相机或其他先进的设备,可以提供直接的监测结果,但是目前这类监测机器人传输的二维视频画面对三维世界描述的巨大局限性,对复杂环境无法进行最真实的还原与反馈,操作者无法更加自由、方便和直接地控制机器人进行工作。综上所述,所以我设计了一种危险环境下的VR体控机器人。
发明内容
为了解决上述存在的问题,本发明提供一种危险环境下的VR体控机器人。
本发明是通过以下技术方案实现:
一种危险环境下的VR体控机器人,包括机架、电子双目图像采集系统、头戴式虚拟现实显示设备、姿态传感器、控制系统,所述机架的前端安装有舵机:且所述舵机上连接有机械臂:所述机架的台面上固定有ARDUINO开发板;且所述机架的中端固定有电路控制板;所述机架的下方挂装有驱动电机;所述机架的后端设置有立体图像获取系统。
作为本发明的进一步优化方案,所述立体图像获取系统连接到电子双目图像采集系统、头戴式虚拟现实显示设备、姿态传感器、控制系统等几部分;所述电子双目图像采集系统和头戴式虚拟现实显示设备共同构建立体环境;所述电子双目图像采集系统是电子双目完成对场景的捕捉与图像获取,电子双目摄像头是利用人眼观察事物的原理,用两台摄像机模拟人的双眼对景物进行拍摄,捕捉场景画面并实时传输现场图像,两台摄像机并列放置从而得到左、右两幅具有视差的图像,最后对该图像进行融合处理或通过3D设备观测图像。
作为本发明的进一步优化方案,所述头戴式虚拟现实显示设备使两幅具有视差的图像分别映入人的左右眼,人的大脑将能感知两幅图像的视察信息,感知到生理深度暗示,产生立体感;且所述头戴式虚拟现实显示设备透镜具有放大作用,从而使图像充满使用者的整个视界,从而使用户产生强烈的沉浸感;在头戴设备上加入姿态传感器感知使用者的姿态信息来控制电子双目的移动,就构成了强交互性、高自由度视点的沉浸式视频体验和智能体感控制系统。
作为本发明的进一步优化方案,本系统由姿态传感器、微处理器(MCU)、电源模块和数据传输模块等组成。
作为本发明的进一步优化方案,本系统选择MPU6050模块来检测人体头部和手臂的姿态角度变化。MPU6050芯片内部集成了姿态传感器、数字滤波、温度传感器、16位ADC以及可扩展数字运动处理器(DMP)等;其中姿态传感器选用的是惯性式姿态传感器,包含有三轴陀螺仪和三轴加速度计,可以分别测量出运动的角速度和线加速度,经过AD转换,滤波和数据融合处理便可得到反映真实机体状态的姿态角;且所述MPU6050模块通过波特率为9600bps的串口完成所有设备寄存器及与MCU的通信,完成采集三轴加速度、三轴角速度的任务;所述微处理器(MCU)采用具有低功耗、低成本以及更好兼容性等优点的AtmelMega328P单片机(核心处理器为AVR),其主要负责数据的调试、控制电子双目的转动以及完成姿态解算的相关运算并且本系统使用以AVR单片机为核心处理器的Arduino Uno开发板,配套有软件处理平台Arduino ADE,通过串口调试窗口即可显示出MPU6050采集的数据信息。
作为本发明的进一步优化方案,本系统使用以AVR单片机为核心处理器的ArduinoUno开发板,配套有软件处理平台Arduino ADE,通过串口调试窗口即可显示出MPU6050采集的数据信息。
与现有的技术相比,本发明的有益效果是:该新型具有较好的3D视觉效果,立体感的形成以及画面的实时传输性要好。为了满足沉浸式视觉体验,立体画面是基础;若想在监测等工程应用中使用,不仅要求立体画面传输延迟小,速度快,而且视频画面质量要求较高。并且该新型可达200米远距离无线数据链路通讯。具有应用价值的机器人所处的工作环境必然在人体视线之外,就要求视频传输的距离要提高,本次设计阶段,需满足200米的无线通讯。除了保证视频数据的远距离实时高质量的传输,在某些场合可以进行加密处理,实现可靠地双向数据交流。该新型机械控制的动作性强,响应快速。动作性是指用户能以客观世界的实际动作来操作系统,这更得益于体感交互技术的实现。动作性好的关键在于控制端较高的自由度和灵活度,能够与使用者的姿态动作保持一致和同步。同时也要求对使用者姿态信息的采集和捕捉要灵敏且快速,执行机构(机械臂等)惯性小,能够快速准确响应。而且该新型能耗低,可持续工作4小时,为避免控制器在远程操作过程中能量耗尽,要求沉浸式控制器具备低能耗的特点。
附图说明
图1是本发明的结构主视图;
图2是本发明的结构俯视图;
图3是本发明的结构侧视图。
图中:1、机架;2、电子双目图像采集系统;3、机械臂;4、ARDUINO开发板;5、电路控制板;6、驱动电机;7、立体图像获取系统。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
如图1-3所示,一种危险环境下的VR体控机器人,包括机架(1)、电子双目图像采集系统(2)、头戴式虚拟现实显示设备、姿态传感器、控制系统,所述机架(1)的前端安装有舵机(2):且所述舵机(2)上连接有机械臂(3):所述机架(1)的台面上固定有ARDUINO开发板(4);且所述机架(1)的中端固定有电路控制板(5);所述机架(1)的下方挂装有驱动电机(6);所述机架(1)的后端设置有立体图像获取系统(7);所述立体图像获取系统(7)连接到电子双目图像采集系统、头戴式虚拟现实显示设备、姿态传感器、控制系统等几部分;所述电子双目图像采集系统和头戴式虚拟现实显示设备共同构建立体环境;所述电子双目图像采集系统是电子双目完成对场景的捕捉与图像获取,电子双目摄像头是利用人眼观察事物的原理,用两台摄像机模拟人的双眼对景物进行拍摄,捕捉场景画面并实时传输现场图像,两台摄像机并列放置从而得到左、右两幅具有视差的图像,最后对该图像进行融合处理或通过3D设备观测图像;所述头戴式虚拟现实显示设备使两幅具有视差的图像分别映入人的左右眼,人的大脑将能感知两幅图像的视察信息,感知到生理深度暗示,产生立体感;且所述头戴式虚拟现实显示设备透镜具有放大作用,从而使图像充满使用者的整个视界,从而使用户产生强烈的沉浸感;在头戴设备上加入姿态传感器感知使用者的姿态信息来控制电子双目的移动,就构成了强交互性、高自由度视点的沉浸式视频体验和智能体感控制系统;本系统由姿态传感器、微处理器(MCU)、电源模块和数据传输模块等组成;本系统选择MPU6050模块来检测人体头部和手臂的姿态角度变化。MPU6050芯片内部集成了姿态传感器、数字滤波、温度传感器、16位ADC以及可扩展数字运动处理器(DMP)等;其中姿态传感器选用的是惯性式姿态传感器,包含有三轴陀螺仪和三轴加速度计,可以分别测量出运动的角速度和线加速度,经过AD转换,滤波和数据融合处理便可得到反映真实机体状态的姿态角;且所述MPU6050模块通过波特率为9600bps的串口完成所有设备寄存器及与MCU的通信,完成采集三轴加速度、三轴角速度的任务;所述微处理器(MCU)采用具有低功耗、低成本以及更好兼容性等优点的AtmelMega328P单片机(核心处理器为AVR),其主要负责数据的调试、控制电子双目的转动以及完成姿态解算的相关运算并且本系统使用以AVR单片机为核心处理器的Arduino Uno开发板,配套有软件处理平台Arduino ADE,通过串口调试窗口即可显示出MPU6050采集的数据信息;本系统使用以AVR单片机为核心处理器的Arduino Uno开发板(4),配套有软件处理平台Arduino ADE,通过串口调试窗口即可显示出MPU6050采集的数据信息。
所述本新型装置在这个实施例中,该新型中集成芯片与单片机通过串口通讯,MPU6050输出的原始数据经过内部集成的姿态解算器和卡尔曼滤波算法,可直接输出稳定、实时的姿态信息至MCU中,MCU再经过数据线传输数据至控制电子双目系统的MCU,该MCU即可根据角度值输出不同的指令,对电子双目的转动进行控制,最终带给用户沉浸式的体感控制体验。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种危险环境下的VR体控机器人,包括机架、电子双目图像采集系统、头戴式虚拟现实显示设备、姿态传感器、控制系统,其特征在于:所述机架的前端安装有舵机:且所述舵机上连接有机械臂:所述机架的台面上固定有Arduino Uno开发板;且所述机架的中端固定有电路控制板;所述机架的下方挂装有驱动电机;所述机架的后端设置有立体图像获取系统。
2.根据权利要求1所述的一种危险环境下的VR体控机器人,其特征在于:所述立体图像获取系统连接到电子双目图像采集系统、头戴式虚拟现实显示设备、姿态传感器、控制系统等几部分;所述电子双目图像采集系统和头戴式虚拟现实显示设备共同构建立体环境;所述电子双目图像采集系统是电子双目完成对场景的捕捉与图像获取,电子双目摄像头是利用人眼观察事物的原理,用两台摄像机模拟人的双眼对景物进行拍摄,捕捉场景画面并实时传输现场图像,两台摄像机并列放置从而得到左、右两幅具有视差的图像,最后对该图像进行融合处理或通过3D设备观测图像。
3.根据权利要求1所述的一种危险环境下的VR体控机器人,其特征在于:所述头戴式虚拟现实显示设备使两幅具有视差的图像分别映入人的左右眼,人的大脑将能感知两幅图像的视察信息,感知到生理深度暗示,产生立体感;且所述头戴式虚拟现实显示设备透镜具有放大作用,从而使图像充满使用者的整个视界,从而使用户产生强烈的沉浸感;在头戴设备上加入姿态传感器感知使用者的姿态信息来控制电子双目的移动,就构成了强交互性、高自由度视点的沉浸式视频体验和智能体感控制系统。
4.根据权利要求1所述的一种危险环境下的VR体控机器人,其特征在于:本系统由姿态传感器、微处理器(MCU)、电源模块和数据传输模块等组成。
5.根据权利要求1所述的一种危险环境下的VR体控机器人,其特征在于:本系统选择MPU6050模块来检测人体头部和手臂的姿态角度变化。MPU6050芯片内部集成了姿态传感器、数字滤波、温度传感器、16位ADC以及可扩展数字运动处理器(DMP)等;其中姿态传感器选用的是惯性式姿态传感器,包含有三轴陀螺仪和三轴加速度计,可以分别测量出运动的角速度和线加速度,经过AD转换,滤波和数据融合处理便可得到反映真实机体状态的姿态角;且所述MPU6050模块通过波特率为9600bps的串口完成所有设备寄存器及与MCU的通信,完成采集三轴加速度、三轴角速度的任务;所述微处理器(MCU)采用具有低功耗、低成本以及更好兼容性等优点的AtmelMega328P单片机(核心处理器为AVR),其主要负责数据的调试、控制电子双目的转动以及完成姿态解算的相关运算并且本系统使用以AVR单片机为核心处理器的Arduino Uno开发板,配套有软件处理平台Arduino ADE,通过串口调试窗口即可显示出MPU6050采集的数据信息。
6.根据权利要求1所述的一种危险环境下的VR体控机器人,其特征在于:本系统使用以AVR单片机为核心处理器的Arduino Uno开发板,配套有软件处理平台Arduino ADE,通过串口调试窗口即可显示出MPU6050采集的数据信息。
CN201710691378.4A 2017-08-08 2017-08-08 危险环境下的vr体控机器人 Pending CN107471216A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710691378.4A CN107471216A (zh) 2017-08-08 2017-08-08 危险环境下的vr体控机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710691378.4A CN107471216A (zh) 2017-08-08 2017-08-08 危险环境下的vr体控机器人

Publications (1)

Publication Number Publication Date
CN107471216A true CN107471216A (zh) 2017-12-15

Family

ID=60599300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710691378.4A Pending CN107471216A (zh) 2017-08-08 2017-08-08 危险环境下的vr体控机器人

Country Status (1)

Country Link
CN (1) CN107471216A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008818A (zh) * 2017-12-04 2018-05-08 中国人民解放军陆军工程大学 一种基于虚拟现实的头盔式人机交互系统及方法
CN108582032A (zh) * 2018-04-11 2018-09-28 南京理工大学 一种基于虚拟现实技术的带电作业机器人机械臂协作力反馈主从控制方法及系统
CN109571513A (zh) * 2018-12-15 2019-04-05 华南理工大学 一种沉浸式移动抓取服务机器人系统
CN110308797A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统
CN110955328A (zh) * 2019-10-24 2020-04-03 北京小米移动软件有限公司 电子设备的控制方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202684919U (zh) * 2012-06-11 2013-01-23 长安大学 基于飞行机器人的高空危险环境物品清理系统
CN203266656U (zh) * 2013-05-10 2013-11-06 张韬懿 一体化危险环境作业机器人辅助操作装置
CN107322596A (zh) * 2017-06-28 2017-11-07 李金泽 用于危险环境下的vr体控机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202684919U (zh) * 2012-06-11 2013-01-23 长安大学 基于飞行机器人的高空危险环境物品清理系统
CN203266656U (zh) * 2013-05-10 2013-11-06 张韬懿 一体化危险环境作业机器人辅助操作装置
CN107322596A (zh) * 2017-06-28 2017-11-07 李金泽 用于危险环境下的vr体控机器人

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008818A (zh) * 2017-12-04 2018-05-08 中国人民解放军陆军工程大学 一种基于虚拟现实的头盔式人机交互系统及方法
CN108582032A (zh) * 2018-04-11 2018-09-28 南京理工大学 一种基于虚拟现实技术的带电作业机器人机械臂协作力反馈主从控制方法及系统
CN109571513A (zh) * 2018-12-15 2019-04-05 华南理工大学 一种沉浸式移动抓取服务机器人系统
CN109571513B (zh) * 2018-12-15 2023-11-24 华南理工大学 一种沉浸式移动抓取服务机器人系统
CN110308797A (zh) * 2019-07-09 2019-10-08 西北工业大学 基于体感技术机械臂与虚拟现实技术的水下机器人环境交互系统
CN110955328A (zh) * 2019-10-24 2020-04-03 北京小米移动软件有限公司 电子设备的控制方法、装置及存储介质
CN110955328B (zh) * 2019-10-24 2022-10-04 北京小米移动软件有限公司 电子设备的控制方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN107471216A (zh) 危险环境下的vr体控机器人
CN104699247B (zh) 一种基于机器视觉的虚拟现实交互系统及方法
CN107438804B (zh) 一种用于控制无人机的穿戴式设备及无人机系统
CN108363415A (zh) 一种应用于水下机器人的视觉远程控制随动系统及方法
CN106131530B (zh) 一种裸眼3d虚拟现实展示系统及其展示方法
CN104536579B (zh) 交互式三维实景与数字图像高速融合处理系统及处理方法
CN205726125U (zh) 一种新型机器人远程监视系统
CN101890719B (zh) 机器人远程控制装置及机器人系统
CN107968915A (zh) 水下机器人摄像机云台实时控制系统及其方法
CN206961066U (zh) 一种虚拟现实交互设备
CN204741528U (zh) 立体沉浸式体感智能控制器
CN102314179B (zh) 基于手机及内置重力感应器的云台控制方法
CN108846867A (zh) 一种基于多目全景惯导的slam系统
CN109129523A (zh) 基于人机交互的移动机器人实时远程控制系统
CN104243962A (zh) 扩增实境的头戴式电子装置及产生扩增实境的方法
CN106980368A (zh) 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
CN206294286U (zh) 一种远程虚拟现实的实现系统
CN109358754B (zh) 一种混合现实头戴显示系统
CN204046742U (zh) 一种利用智能眼镜进行实时监控控制的移动机器人
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN104637080B (zh) 一种基于人机交互的三维绘图系统及方法
CN105955483A (zh) 虚拟现实终端及其视觉虚拟方法和装置
CN203773476U (zh) 基于3d交互的虚拟现实系统
CN107322596A (zh) 用于危险环境下的vr体控机器人
CN106325523A (zh) 一种人机交互显示装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215

RJ01 Rejection of invention patent application after publication