CN106256509A

CN106256509A - 替身机器人

Info

Publication number: CN106256509A
Application number: CN201610706949.2A
Authority: CN
Inventors: 李文松
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-08-15
Filing date: 2016-08-15
Publication date: 2016-12-28

Abstract

本发明提出替身机器人，包括替身端和远程控制端，所述替身端和控制端之间通过无线通信；通过远程控制端的控制，实现远程端沉浸式感受替身端的周边环境，实现远程端与替身端周边环境的运动、交互；所述替身端，包括VR视觉模块、运动模块、第一通信模块；所述VR视觉模块通过全景立体视频摄像机，用陀螺仪传感器和头戴显示器还原左右眼完整视野范围的视频流，覆盖人眼的感知范围，远程控制端操作者通过头戴显示器，结合其颈部运动，实现立体360度全视野。

Description

替身机器人

技术领域

本发明涉及替身端领域，尤其涉及一种带有VR视觉的远程替身端。

背景技术

替身端是自动执行工作的机器装置。它既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。它的任务是协助或取代人类工作的工作，例如生产业、建筑业，或是危险的工作。

中国专利公开号为CN204622065U的专利，公开了一种替身替身端，其特征在于：它包括替身端、行走装置、舵机、电源模块、MCU、电机驱动模块和无线接收模块；所述行走装置设置所述在替身端下方；所述替身端上设置九个所述舵机，其中第一所述舵机设置在所述替身端的头部，第二所述舵机设置在左机械臂的手腕处，第三所述舵机设置在左机械臂的手肘处，第四、第五所述舵机设置在左机械臂的肩膀处，第六所述舵机设置在右机械臂的手腕处，第七所述舵机设置在右机械臂的手肘处，第八、第九所述舵机设置在右机械臂的肩膀处；所述电源模块、MCU、电机驱动模块和无线接收模块设置在替身端上，所述电源模块为所述MCU提供3.3V电压，所述舵机、电机驱动模块和无线接收模块均与所述MCU连接，所述电机驱动模块与所述行走装置连接；所述无线接收模块接收人体的动作信号并传输至所述MCU，所述MCU控制所述舵机动作，并通过所述电机驱动模块控制所述行走装置移动。

但是当前，机器人、模型的操作和遥控方式非常不直观、不自然。比如：当需要实现异地工厂的巡视时，可通过视频查看，视频的方式查看，可视性差；其次视野范围受拍摄范围的限制，不能随意查看；再次，巡视者不能实现与异地工厂的交互。

发明内容

本发明的目的是在于提供一种替身端，通过将现有VR摄像技术与替身端的结合，远程控制替身端，实现与替身端所在环境的交互。

本发明为解决其技术问题所采用的技术方案是：

替身机器人，包括替身端和远程控制端，所述替身端和控制端之间通过无线通信；通过远程控制端的控制，实现远程端沉浸式感受替身端的周边环境，实现远程端与替身端周边环境的运动、交互；所述替身端，包括VR视觉模块、运动模块、第一通信模块；所述远程控制端，包括陀螺仪传感器、头戴显示器、第二通信模块；通过陀螺仪传感器检测远程控制端操作者头部的运动方向，控制VR视觉模块通过全景立体视频摄像机对替身端周边环境进行实时拍摄，远程控制端操作者通过头戴显示器结合其颈部运动，还原替身端左右眼完整视野范围的视频流。

通过VR视觉模块进行VR视频的拍摄与实时传送，远程控制端操作者通过头戴显示器，结合其颈部运动，实现替身端立体360度全视野，并具有沉浸式视觉效果。

进一步，所述替身端还包括一机械臂，用于实现替身端与周边环境的交互。

进一步，所述控制端，包括头戴显示器、手柄控制装置、第二通信模块；头戴显示器用于观看替身端传送的视频、图像信息；手柄控制装置手柄控制装置，用于控制替身端视觉模块的拍摄，以及替身端运动模块的运动；第二通信模块用于实现与替身端的信号传送。

进一步，远程控制端还包括一运动识别装置；运动识别装置通过感知远程控制端操作者的身体运动，进而传送操作者的身体运动轨迹数据给替身端的控制系统，操控替身端的身体运动。

通过运动识别装置，可精确识别远程端操作者的各种身体运动姿势，并将其进行复制到替身端，使得远程端操作者具有身临其境的沉浸式感觉与交互。

进一步，运动识别装置包括手部识别传感器；远程控制终端通过手部识别传感器感知操作者的手部运动轨迹，进而控制替身端机械臂重现操作者的身体运动轨迹。通过手部识别传感器，可精确识别远程端操作者的各种手势，并将其进行复制到替身端，使得远程端操作者具有身临其境的沉浸式感觉与交互，比如操控机械设备的运行，这对当前的异地工厂管理、异地故障诊断具有重大意义。

进一步，远程控制终端含有话筒，通过话筒输入操作者的语音信号指令至控制终端，进而控制替身端的运动。

进一步，所述运动装置为平衡车。

进一步，显示模块为VR眼镜或VR头盔。

进一步，运动识别装置包括足腿识别传感器；通过足腿识别传感器识别远程控制端操作者的足部和腿部运动，进而控制替身端机器人的运动模块。

进一步，所述替身端具有记忆功能，能记录已经操作的指令，并进行重播、再现。记忆功能的重播与再现，使得替身端机器人具有像人脑一样的记忆能力。

本发明将现有VR视觉技术与当前的机器人技术进行结合，通过将替身端机器人的头与远程控制操作者的头与头、手、足部一一进行对应，完成了替身对远程环境的沉浸式“感知、反馈、运动”，有了逼真且沉浸式的感知系统，使得现有的机器人的运动与反馈系统得到了革命式的运用，替身机器人有了质的改变。

本发明还提供了另一实施方式。替身机器人，包括替身端和远程控制端，所述替身端和控制端之间通过无线通信；通过远程控制端的控制，实现远程端沉浸式感受替身端的周边环境，实现远程端与替身端周边环境的运动、交互；所述替身端，包括VR视觉模块、机械臂、运动模块、第一通信模块；所述控制端，包括头戴显示器、运动识别装置、第二通信模块；第二通信模块用于实现与替身端的信号传送；运动识别装置包括：手部识别传感器、足腿识别传感器、和头部及颈部运动陀螺仪传感器；通过手部识别传感器识别远程控制端操作者手部的运动，进而控制替身端的机械臂，通过足腿识别传感器识别远程控制端操作者的足部和腿部运动，进而控制替身端机器人的运动模块；通过陀螺仪传感器检测远程控制端操作者头部的运动方向，控制VR视觉模块通过全景立体视频摄像机对替身端周边环境进行实时拍摄，远程控制端操作者通过头戴显示器结合其颈部运动，还原替身端左右眼完整视野范围的视频流。

VR视觉模块使得替身端机器人具备人体头部的眼、耳、嘴的功能，通过手部识别传感器识别远程控制端操作者手部的运动，进而控制替身端的机械臂，通过足腿识别传感器识别远程控制端操作者的足部和腿部运动，进而控制替身端机器人的运动装置，实现替身端的机械器官与远程控制端操作者的人体器官的自然对应，操作者通过几乎零学习的成本，利用最自然的方式即可操作远程机器人。

附图说明

图1是本发明的结构框图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合图示与具体实施例，进一步阐述本发明。

实施例1：

替身机器人，包括替身端1和远程控制端2，通过远程控制端的控制，可实现远程端沉浸式感受替身端的视觉、实现远程端与替身端周边环境的交互、以及控制替身端的运动。

所述替身端1，包括视觉模块11、运动模块12、机械臂13、第一通信模块14。

所述视觉模块11，用于实现对替身端周边环境的实时拍摄；所述视觉模块11优选为VR视觉模块。VR视觉模块通过全景立体视频摄像机，用陀螺仪传感器和头戴显示器还原(即左右眼完整视野)视频流，覆盖人眼的感知范围，远程控制端操作者通过头戴显示器，结合其颈部运动，实现替身端立体360度全视野。

通过VR视觉模块，抬摄替身端周边的VR视频，拍摄的VR视频经第一通信模块14的实时传送给远程控制端2中的第二通信模块24，远程控制端通过显示模块21即可实现异地环境的查看，显示模块21优选为VR眼镜或者VR头盔，以及类似头戴显示器均应在本发明的保护范围内。远程控制端的操作者通过VR眼镜或者VR头盔即可实现沉浸式感觉。

运动模块12，用于实现替身端的运动行走；在本实施例中，运动模块优选为平衡车。

机械臂13，用于实现替身端与周边环境的交互；通过识别远程控制端的控制信号，机械臂按照远程控制端的指示信号，实现替身端与周边环境的交互。

所述控制端2，包括显示模块21、手柄控制装置22、运动识别装置23、第二通信模块24；

在本实施例中，通过头戴显示器，远程控制端观看异地替身端的周边环境视频、图像，由于替身端采用VR视觉模块拍摄VR视频，通过头戴头盔，可获得交好的视觉效果，具有身临其境的沉浸式感受。

手柄控制装置22，作为远程控制端总的控制装置，用于实现控制替身端视觉模块的拍摄、传送，以及替身端运动模块的运动，比如控制平衡车的行走、拐弯。

运动识别装置23，通过位置传感器感知控制端操作者的身体运动，进而传送操作者的身体运动轨迹数据给替身端的控制系统，操控替身端身体运动。在本实施例中，运动识别装置23，包括头部及颈部陀螺仪传感器、手部识别传感器、足腿识别传感器；头部及颈部陀螺仪传感器用于检测操作者头部的方位，进而控制替身端机器人采用VR摄像机进行VR全景视频的拍摄、传送给操作端，还原替身端左右眼完整视野，远程控制端操作者通过头戴显示器，结合其颈部运动，实现替身端立体360度全视野。

手部识别传感器用于识别操作者手部的运动；

手部识别传感器通过位置传感器感知控制端操作者的手部运动轨迹，进而传送操作者的手部运动轨迹数据给替身端，替身端通过机械臂重现远程控制端操作者的手部运动轨迹。比如控制端操作者的手部做了冲咖啡的动作，手部识别传感器对操作者手部的运动轨迹进行识别、记录，并通过通信模块实时传送给替身端，替身端通过机械臂重现冲咖啡的动作。

足腿识别传感器用于识别操作者足部和腿部的运动，比如通过足部控制板的方式，控制替身端机器人的运动。

第二通信模块24用于实现与替身端中第一通信模块14的信号传送。

作为本发明的进一步改进，所述替身端1还具有记忆功能，能够记忆所做的事情，并进行重播，比如连续冲咖啡的动作。

远程控制端还具有语音控制功能；在本实施例中，远程控制端含有话筒，通过话筒输入操作者的语音信号指令至控制终端，进而控制替身端的运动。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims

1.替身机器人，包括替身端和远程控制端，所述替身端和控制端之间通过无线通信；其特征在于，

通过远程控制端的控制，实现远程端沉浸式感受替身端的周边环境，实现远程端与替身端周边环境的运动、交互；

所述替身端，包括VR视觉模块、运动模块、第一通信模块；

所述远程控制端，包括陀螺仪传感器、头戴显示器、第二通信模块；

通过陀螺仪传感器检测远程控制端操作者头部的运动方向，控制VR视觉模块通过全景立体视频摄像机对替身端周边环境进行实时拍摄，远程控制端操作者通过头戴显示器结合其颈部运动，还原替身端左右眼完整视野范围的视频流。

2.根据权利要求1所述的替身机器人，其特征在于，所述替身端还包括一机械臂，用于实现替身端与周边环境的交互。

3.根据权利要求2所述的替身机器人，其特征在于，所述控制端还包括手柄控制装置；手柄控制装置，用于控制替身端视觉模块的拍摄，以及替身端运动模块的运动。

4.根据权利要求2所述的替身机器人，其特征在于，远程控制端包括一运动识别装置；运动识别装置通过感知远程控制端操作者的身体运动，进而传送操作者的身体运动轨迹数据给替身端的控制系统，操控替身端的身体运动。

5.根据权利要求4所述的替身机器人，其特征在于，运动识别装置包括手部识别传感器；远程控制终端通过手部识别传感器感知操作者的手部运动轨迹，进而控制替身端机械臂重现操作者的手部运动轨迹。

6.根据权利要求4所述的替身机器人，其特征在于，远程控制终端含有话筒，通过话筒输入操作者的语音信号指令至控制终端，进而控制替身端的运动。

7.根据权利要求4所述的替身机器人，其特征在于，运动识别装置包括足腿识别传感器；通过足腿识别传感器识别远程控制端操作者的足部和腿部运动，进而控制替身端机器人的运动模块。

8.根据权利要求1-7任一项所述的替身机器人，其特征在于，所述替身端具有记忆功能，能记录已经操作的指令，并进行重播、再现。

9.替身机器人，包括替身端和远程控制端，所述替身端和控制端之间通过无线通信；其特征在于，通过远程控制端的控制，实现远程端沉浸式感受替身端的周边环境，实现远程端与替身端周边环境的运动、交互；

所述替身端，包括VR视觉模块、机械臂、运动模块、第一通信模块；

所述控制端，包括头戴显示器、运动识别装置、第二通信模块；第二通信模块用于实现与替身端的信号传送；运动识别装置包括：手部识别传感器、足腿识别传感器、和头部及颈部运动陀螺仪传感器；通过手部识别传感器识别远程控制端操作者手部的运动，进而控制替身端的机械臂，通过足腿识别传感器识别远程控制端操作者的足部和腿部运动，进而控制替身端机器人的运动模块；通过陀螺仪传感器检测远程控制端操作者头部的运动方向，控制VR视觉模块通过全景立体视频摄像机对替身端周边环境进行实时拍摄，远程控制端操作者通过头戴显示器结合其颈部运动，还原替身端左右眼完整视野范围的视频流。

10.根据权利要求9所述的替身机器人，其特征在于，远程控制终端含有话筒，通过话筒输入操作者的语音信号指令至控制终端，进而控制替身端的运动。