CN111716365A - 基于自然行走的沉浸式远程交互系统及方法 - Google Patents

Abstract

本公开公开了基于自然行走的沉浸式远程交互系统及方法，包括：机器人、服务器、位置跟踪设备和使用时佩戴在用户头部的头戴式虚拟现实设备；位置跟踪设备和头戴式虚拟现实设备处于同一个物理空间内，机器人和头戴式虚拟现实设备处于不同的物理空间内；根据用户的动作数据远程控制机器人的动作，同时，将机器人的动作通过服务器传输给头戴式虚拟现实设备，进而展示给用户，实现机器人与用户之间的交互。

Description

基于自然行走的沉浸式远程交互系统及方法

技术领域

本公开涉及虚拟现实技术领域，特别是涉及基于自然行走的沉浸式远程交互系统及方法。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

随着机器人技术的发展，机器人已广泛应用于工业生产、教育、医疗等领域。而远程机器人系统，即由人工操作人员下达指令，由机器人完成指令的系统，常被应用于危险或不确定的环境中，如搜救、消防等需要人工干预的环境中，以检测和监控异常。例如，在火灾现场，有危险的火焰，存在烟雾、高温和爆炸的可能性，消防员很难进入现场，因此，机器人成为人们不能或不应该进入的危险环境中的一种有效的解决方式，并保护一线人员免受危险。机器人如何在危险的环境下完成任务成为关键的问题。在不利或危险的环境中，场景具有动态性、复杂性、不受控制等特征。仅靠机器人的响应方法，由于先验知识和感知能力的缺乏，很可能会对任务完成产生负面影响。在这种情况下，就需要将机器人的优势与人类智慧相结合来执行任务，即机器人可以在危险的环境中充当人类的化身，行为可以被人直接控制；人可以通过机器人传输回的信息感知危险场景，并做出正确的行为判断。

构建和呈现与真实环境相似的虚拟环境是非常重要的。虚拟环境(virtualenvironment，VE)是可以构建的，在虚拟环境中，操作员可以在他们实际不存在的情况下，感觉到他们实际存在于远程环境中。然而，目前大多数机器人传输回的视频信息，通常呈现在计算机图形用户界面上，缺乏深度信息，这会导致远程操作者很难估计图像中的距离信息，对机器人的远程操作可能产生不准确的控制。此外，在虚拟环境中，操作者所使用的漫游技术对于远程机器人有效导航和避免碰撞也具有重要意义。但是，现有的漫游技术主要是基于键盘、鼠标、手柄、操纵杆或全向跑步机设备。相比之下，当操作者真正在VR系统中行走时，他们的存在感会显著增强。

发明内容

为了解决现有技术的不足，考虑到新一代的头戴式虚拟现实设备可以提供更好的沉浸感，在操作上具有更高的灵活性，并允许操作者通过自由的物理行走来查看3D图像和在虚拟世界中导航，本公开提供了基于自然行走的沉浸式远程交互系统及方法；本公开具有简单、方便、易操作等特点。本公开支持将远程用户在物理空间中的真实运动映射为机器人在场景中的运动；支持远程用户通过头部运动和真实行走的方式与机器人进行交互，控制机器人在场景中的操作；利用头戴式虚拟现实设备，通过手机自带的传感器捕获用户头部的转动，利用RGB-D相机对用户真实姿态的跟踪和识别，对机器人传输回的视频进行沉浸式体验，创造能让用户感受到的更强更自然的沉浸式体验。

第一方面，本公开提供了基于自然行走的沉浸式远程交互系统；

基于自然行走的沉浸式远程交互系统，包括：

机器人、服务器、位置跟踪设备和使用时佩戴在用户头部的头戴式虚拟现实设备；位置跟踪设备和头戴式虚拟现实设备处于同一个物理空间内，机器人和头戴式虚拟现实设备处于不同的物理空间内；

根据用户的动作数据远程控制机器人的动作，同时，将机器人的动作通过服务器传输给用户的头戴式虚拟现实设备，进而展示给用户，实现机器人与用户之间的交互。

第二方面，本公开提供了基于自然行走的沉浸式远程交互方法；

基于自然行走的沉浸式远程交互方法，包括：

根据用户的动作数据远程控制机器人的动作，同时，将机器人的动作通过服务器传输给用户的头戴式虚拟现实设备，进而展示给用户，实现机器人与用户之间的交互。

与现有技术相比，本公开的有益效果是：

1.为操作人员提供了快速、灵活、安全的操作平台。对于不可到达的危险环境、对救援人员有危险的环境等，操作人员通过处在现场的机器人获取的现场视频信息，并通过虚拟现实设备得到现场的立体显示内容，便于操作人员作出快速、正确的判断。

2.提出了基于自然行走的遥操作概念，不同于目前常使用的鼠标、键盘、操作杆等交互方式，设计了一种基于用户行走的自然交互方式，实现与远程机器人的互动，将用户在物理空间中的真实运动映射为机器人在远程场景中的运动，将机器人转化为用户在远程场景中的化身，实现人机协作。

3.方便、易操作等优点，不需要用户额外的学习训练，减少用户学习负担，用户通过自由走动即可实现对机器人的互动，创造能让用户感受到的更强更自然的沉浸式体验。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例一的整体架构示意图；

图2为本公开实施例一的机器人内部硬件架构示意图；

图3为本公开实施例一的头戴式虚拟现实设备硬件架构示意图；

图4为本公开实施例一基于自然行走的沉浸式远程交互系统架构图；

图5为本公开实施例一基于自然行走的沉浸式远程交互系统组成；

图6为本公开实施例一的具体流程图；

图7为本公开实施例一混合式的沉浸式远程交互系统流程图；

图8为本公开实施例一场景中存在静止障碍物情况下本公开的运行效果图；

图9为本公开实施例一场景中存在运动障碍物情况下本公开的运行效果图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本公开本实施例中，“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请的描述中，“多个”是指两个或多于两个。

另外，为了便于清楚描述本公开实施例的技术方案，在本公开实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例一

本实施例提供了基于自然行走的沉浸式远程交互系统；

如图1所示，基于自然行走的沉浸式远程交互系统，包括：

机器人、服务器、位置跟踪设备和使用时佩戴在用户头部的头戴式虚拟现实设备；位置跟踪设备和头戴式虚拟现实设备处于同一个物理空间内，机器人和头戴式虚拟现实设备处于不同的物理空间内；

根据用户的动作数据远程控制机器人的动作，同时，将机器人的动作通过服务器传输给头戴式虚拟现实设备，进而展示给用户，实现机器人与用户之间的交互。

作为一个或多个实施例，所述根据用户的动作数据控制机器人的动作；具体步骤包括：

头戴式虚拟现实设备捕获用户头部转动数据，和/或位置跟踪设备捕获用户位置变化数据；并将捕获的数据传输给服务器；

服务器将用户位置变化数据映射为机器人位置变化数据，和/或服务器将用户头部转动数据映射为机器人旋转角度数据；服务器将映射后的数据转发给机器人；

机器人根据映射后的数据完成机器人位置变化，和/或完成机器人角度旋转。

应理解的，所述位置跟踪设备，安装在用户所处物理空间中，用于对用户在物理空间中的位置信息进行采集。所述位置跟踪设备在物理空间中的具体安装位置本实施例不作任何限定，只要满足位置跟踪设备能够采集到用户的实时位置信息即可。

作为一个或多个实施，所述将机器人的动作通过服务器传输给头戴式虚拟现实设备，进而展示给用户；具体步骤包括：

机器人采集现场的视频数据，通过服务器传输给头戴式虚拟现实设备，头戴式虚拟现实设备将视频显示给用户，并接收用户的下一个位置变化数据和/或头部转动数据。

所述位置跟踪设备，例如：RGB-D相机。

作为一个或多个实施例，所述系统，还包括：

头戴式虚拟现实设备接收到机器人拍摄的远程物理空间的视频后，头戴式虚拟现实设备根据用户选择指令，开启机器人自主漫游模式；

机器人接收到服务器传输过来的机器人自主漫游模式开启指令后，执行自主漫游运动。

作为一个或多个实施例，如图2所示，所述机器人，包括：

第一控制器，所述第一控制器分别与第一麦克风、摄像头、第一通信模块和移动平台控制器连接；

所述移动平台控制器与移动平台驱动器连接，所述移动平台驱动器分别与移动平台转动机构和移动平台移动机构连接；所述第一通信模块与服务器进行通信。

所述第一麦克风，用于获取机器人所在现场的语音数据，将获取的语音数据通过第一控制器传输给第一通信模块，第一通信模块再将机器人所在现场的语音数据通过服务器传输给头戴式虚拟现实设备；

所述摄像头，用于采集机器人视野范围内的视频信息；将获取的机器人视野范围内的视频信息通过第一控制器传输给第一通信模块，第一通信模块再将机器人视野范围内的视频信息通过服务器传输给头戴式虚拟现实设备；

所述第一通信模块将摄像头采集的机器人视野范围内的视频信息、语音数据，并通过网络通讯方式传输给服务器；服务器再通过网络通讯方式，将机器人所在现场视频信息、语音数据，传输给头戴式虚拟现实设备。

所述移动平台控制器，用于根据头戴式虚拟现实设备传输过来的位置变化数据和旋转角度数据，对移动平台的位置变化和角度旋转进行控制。

所述移动平台转动机构，用于根据移动平台控制器的控制指令，完成移动平台的转动。

所述移动平台移动机构，用于根据移动平台控制器的控制指令，完成移动平台的移动。

作为一个或多个实施例，如图3所示，所述头戴式虚拟现实设备，包括：

虚拟现实眼镜，所述虚拟现实眼镜内安装智能手机，所述智能手机的显示屏朝向虚拟现实眼镜的镜片方向放置；所述智能手机，包括：第二控制器，所述第二控制器分别与存储器、第二通信模块、陀螺仪传感器和显示屏连接。

所述陀螺仪传感器，用于获取用户的头部运动数据，实现对用户视场与视点的跟踪，确定当前视场中用户视点的位置和方向，为机器人提供相应的旋转数据。

所述第二通信模块，用于从服务器获取机器人所在现场的视频信息。

所述第二控制器，将机器人所在现场的视频信息，在显示屏上分屏显示，分别显示左眼和右眼对应的画面，分别通过虚拟现实眼镜的凸透镜投射到人眼中，使用户看到的视频内容呈现出立体感。

所述虚拟现实眼镜，例如：谷歌Cardboard或暴风魔镜。

所述第二麦克风，用于获取用户的语音数据；

示例性的，第一通信模块和第二通信模块均与服务器进行通信，所述通信包括以下形式的一种或多种：全球移动通讯系统GSM、通用分组无线服务GPRS、码分多址接入CDMA、宽带码分多址WCDMA、时分码分多址，和/或长期演进LTE。

所述移动平台控制器，将陀螺仪传感器得到的用户视点朝向数据和RGB-D相机得到的用户位置数据映射为机器人对应的数据，从而控制机器人的位置运动和旋转，使机器人的运动与用户的运动一致，以及机器人上的摄像机视点保持与用户的视点一致。

上述基于自然行走的远程交互新模式可以应用于危险场景的搜救，如火灾、地震等；可以用于传染病房的药物传输、疫情期间物品的配送等；也可以用于留守老人和儿童的远程陪伴等。可以将机器人转化为远程用户的化身，机器人的行为直接作为远程用户行为的反馈等应用中。

所述服务器通过实时消息传输协议(Real Time Messaging Protocol,RTMP)接收机器人传输的视频信息。

如图4所示，操作员通过头戴式虚拟现实设备看到远程站点的场景。远程站点的场景通过安装在机器人上的第一摄像头捕获，并发送到头戴式虚拟现实设备。然后，头戴式虚拟现实设备为操作员提供立体图形，渲染左眼和右眼图像，并将它们呈现给操作人员。根据操作员正在观看的当前场景，操作员可以通过在真实空间中移动自己的身体来漫游虚拟空间。位置和方向被发送来控制远程站点机器人的运动。

当操作者停在某个位置时，操作者通过头部的运动来改变远程机器人上第一摄像头的视角。此外，操作员还可以通过基于头戴式虚拟现实设备和机器人实现与远程站点上的其他人进行视频、语音交互，并让他们从机器人那里拾取指定物品等。

如图5所示，基于自然行走的沉浸式远程交互系统，包括位置跟踪、头部运动跟踪、机器人控制、视频传输、立体显示、交互部分。

(1)位置跟踪部分，对操作者的位置进行实时跟踪。利用RGB-D相机，捕获用户彩色图像和深度图像，计算用户位置信息，并作为控制机器人运动的数据。本公开选用微软Kinect传感器作为用户位置跟踪的设备。

假设t时刻用户的位置为pos^t，则相邻时刻用户位置变化为Δpos：

Δpos＝pos^t–pos^t-1

如果|Δpos|<d(d＝0.1)，那么相邻时刻位置的变化是由数据抖动造成的，此时设置Δpos＝0。利用用户相邻时刻的位置变化对机器人进行位置控制。

(2)头部运动跟踪部分，利用头戴式虚拟现实设备HMD(head mounted display)获取用户头部的运动数据，并作为控制机器人旋转运动的数据。

本公开选用暴风魔镜头戴式虚拟现实设备，此类设备由智能手机和虚拟现实眼镜盒子组成，是一款比较廉价的虚拟现实设备，与智能手机相连接，结构相对简单，将2D显示变成3D虚拟现实显示。利用虚拟现实设备中手机自带的陀螺仪传感器，实现用户头部位置的跟踪。

智能手机自带的陀螺仪传感器是一个3自由度的跟踪器，可以从偏航、俯仰和滚转角来检测操作者的头部运动。本公开主要利用头部的偏航角度来控制机器人的旋转角度。

假设t时刻用户头部的偏航角度为ang_usr^t，则相邻时刻用户头部偏航角度发生的变化为Δang：

Δang＝ang_usr^t–ang_usr^t-1

如果|Δang|<θ₁或者|Δang|>θ₂(θ₁＝15,θ₂＝330)，那么相邻时刻偏航角度的变化是由数据抖动造成的，此时设置Δang＝0。

将Δang转化为控制机器人旋转的弧度参数Δr：

Δr＝Δang*л/180

利用用户相邻时刻的头部偏航角度变化对机器人进行旋转控制。

(3)机器人控制部分，根据上述得到用户相对位置运动和头部偏航角度的变化，控制机器人的发生相应的位置变化和旋转变化，即操作者的角度变化和运动变化被发送到机器人的全驱动系统来控制机器人。本公开所使用的机器人是TurtleBot2，但不限于此类机器人设备。

图6所示为选用的机器人，主要包含RGB-D相机、激光测距仪和一个带有三个滚轮的全驱动系统。利用摄像头对周围环境进行拍摄，为远程操作者提供现场视频信息。

(4)视频传输部分，通过实时消息传输协议(Real Time Messaging Protocol,RTMP)接收机器人发送的视频信息，并发送给立体显示部分，将远程站点内容呈现给操作者。视频直播环境部署：

步骤1：部署流媒体服务器。安装Nginx服务器，并在Nginx服务器上配置RTMP模块Nginx-rtmp-module，Nginx通过RTMP模块搭建成流媒体服务器，来实现RTMP协议视频流的实时传输。

步骤2：使用yaesa进行机器人端摄像头采集和编码；然后，通过RTMP协议推流到Nginx服务器。

步骤3：远端用户端使用视频流插件UMP(Universal Media Player)，向Nginx服务器拉取RTMP流进行播放。在这里用户端虚拟现实程序选用Unity 3D进行开发。

(5)立体显示部分，考虑到智能手机包括计算、存储、输入和输出功能，类似谷歌Cardboard和三星Gear VR等智能手机的硬纸板3D眼镜已经成为一种流行的移动虚拟现实设备类型。

本公开，选用此类虚拟现实设备为远端操作人员提供立体视觉。将智能手机放入硬纸板3D眼镜中，智能手机运行虚拟现实程序接收来自视频传输部分的视频，然后渲染左眼和右眼的图像，通过虚拟现实设备上的凸透镜将内容进行立体显示，并呈现给用户端用户。

(6)交互部分：机器人根据用户端用户的控制，将指定物品等配送到相应的远程位置，同时，用户端的用户与机器人端的用户，利用机器人和虚拟现实设备可实现语音、视频互动。

如图6所示，本公开的具体流程图：

S601：初始化异地空间中操作者和机器人的初始位置；

S602：利用RGB-D相机对操作者位置进行实时捕获，利用虚拟现实设备对操作者头部姿态进行实时捕捉；

S603：根据相邻时刻用户位置和头部姿态，判断用户是否发生运动；如果用户位置、头部姿态发生变化，则跳转步骤S604；否则，跳转步骤S605；

S604：将用户的位置、头部姿态变化映射为机器人对应的运动数据，从而实现对机器人的远程控制；

S605：机器人上摄像机获取的场景视频内容传输给远程操作者；

S606：远程操作者利用虚拟现实设备查看场景、漫游场景，并根据现场情况作出相应的反馈；同时，通过机器人上的摄像头，操作者与异地人员可实现语音、视频交流；

S607：判断远程操作是否结束，如果是，则结束；否则，跳转步骤S802。

如图7所示，混合式的远程交互系统流程图。当机器人所在的环境干扰物较少时，可充分利用机器人自身的控制系统实现自主漫游。而在较复杂的环境时，机器人的运动则由操作者的运动来协同控制，实现人机协同，高效完成交互控制。

S701：初始化异地空间中操作者和机器人的初始位置；

S702：机器人上摄像机获取的场景视频内容传输给远程操作者；

S703：远程操作者利用虚拟现实设备查看场景、漫游场景，并根据现场情况作出相应的反馈。如果机器人所在的环境干扰物较少时，可利用机器人自身的控制系统实现自主漫游，跳转步骤S704；否则，机器人的运动由操作者的运动来协同控制，跳转步骤S706；

S704：机器人利用自身的传感器进行自主漫游；

S705：判断远程操作是否结束，如果是，则结束；否则，跳转步骤S702；

S706：利用RGB-D相机对操作者位置进行实时捕获，利用虚拟现实设备对操作者头部姿态进行实时捕捉；

S707：根据相邻时刻用户位置和头部姿态，判断用户是否发生运动。如果用户位置、头部姿态发生变化，则跳转步骤S708；否则，跳转步骤S705；

S708：将用户的位置、头部姿态变化映射为机器人对应的运动数据，从而实现对机器人的远程控制，调整步骤S705。

如图8所示，机器人和操作者处于不同的物理空间。机器人所在的环境中存在一些静态障碍物，异地操作者通过虚拟现实眼镜与远程场景进行实时交互。操作者根据机器人传递的图像信息，利用虚拟现实眼镜，沉浸在机器人所处的环境中，同时，操作者的身体动作就像游戏手柄一样被用作交互工具，控制机器人的运动。操作者可以四处走动，使机器人与自己的动作保持一致，并引导机器人与真实物体进行交互。图8中有两种运动：沿直线运动和绕直角运动。当操作者从点A直线移动到点B时，操作者的运动被映射为机器人的运动，机器人相应的从位置Ar移动到位置Br。当操作者改变视角时，机器人会同步旋转，确保与操作者的视角一致。当操作者从B点向右转到C点时，机器人将同步向右转。本公开所设计的机器人可以在不与障碍物发生碰撞的情况下移动，并为操作者提供实时图像以指导其正确判断。此外，这种在空间中移动的交互方法对操作人员来说是自然和容易的。

如图9所示，机器人和操作者处于不同的物理空间，但机器人所在环境中存在着移动障碍物的情况，如运动的行人。操作者需要判断行人的运动轨迹来控制机器人的运动。当运动行人出现在机器人视图中时，异地操作者可以注意并识别运动行人，并通过身体的运动来控制机器人停止并避免碰撞行人。在t＝1s时，操作者观察到运动行人，并在t＝5s时指导机器人停止运动，以避免碰撞。根据行人的运动方向，操作者为机器人设置不同的运动路径。具体来说，当行人朝着相反的方向移动时，机器人将在t＝6到t＝9秒的安全距离内跟随她，以避免碰撞。同样的，当行人向同一个方向移动时，机器人也会向相反的方向移动。另外，在与行人见面的过程中，操作者和行人可以通过网络进行实时的交流。

实施例二

本实施例提供了基于自然行走的沉浸式远程交互方法；

基于自然行走的沉浸式远程交互方法，包括：

根据用户的动作数据远程控制机器人的动作，同时，将机器人的动作通过服务器传输给用户的头戴式虚拟现实设备，进而展示给用户，实现机器人与用户之间的交互。

所述方法中各个步骤的实施细节与实施例一的对应步骤的实施细节一致，此处不再赘述。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.基于自然行走的沉浸式远程交互系统，其特征是，包括：

机器人、服务器、位置跟踪设备和使用时佩戴在用户头部的头戴式虚拟现实设备；位置跟踪设备和头戴式虚拟现实设备处于同一个物理空间内，机器人和头戴式虚拟现实设备处于不同的物理空间内；

根据用户的动作数据远程控制机器人的动作，同时，将机器人的动作通过服务器传输给头戴式虚拟现实设备，进而展示给用户，实现机器人与用户之间的交互。

2.如权利要求1所述的系统，其特征是，所述根据用户的动作数据控制机器人的动作；具体步骤包括：

头戴式虚拟现实设备捕获用户头部转动数据，和/或位置跟踪设备捕获用户位置变化数据；并将捕获的数据传输给服务器；

服务器将用户位置变化数据映射为机器人位置变化数据，和/或服务器将用户头部转动数据映射为机器人旋转角度数据；服务器将映射后的数据转发给机器人；

机器人根据映射后的数据完成机器人位置变化，和/或完成机器人角度旋转。

3.如权利要求1所述的系统，其特征是，所述将机器人的动作通过服务器传输给头戴式虚拟现实设备，进而展示给用户；具体步骤包括：

机器人采集现场的视频数据，通过服务器传输给头戴式虚拟现实设备，头戴式虚拟现实设备将视频显示给用户，并接收用户的下一个位置变化数据和/或头部转动数据。

4.如权利要求1所述的系统，其特征是，所述系统，还包括：

头戴式虚拟现实设备接收到机器人拍摄的远程物理空间的视频后，头戴式虚拟现实设备根据用户选择指令，开启机器人自主漫游模式；

机器人接收到服务器传输过来的机器人自主漫游模式开启指令后，执行自主漫游运动。

5.如权利要求1所述的系统，其特征是，所述机器人，包括：

第一控制器，所述第一控制器分别与第一麦克风、摄像头、第一通信模块和移动平台控制器连接；

所述移动平台控制器与移动平台驱动器连接，所述移动平台驱动器分别与移动平台转动机构和移动平台移动机构连接；所述第一通信模块与服务器进行通信。

6.如权利要求5所述的系统，其特征是，所述第一麦克风，用于获取机器人所在现场的语音数据，将获取的语音数据通过第一控制器传输给第一通信模块，第一通信模块再将机器人所在现场的语音数据通过服务器传输给头戴式虚拟现实设备；

所述摄像头，用于采集机器人视野范围内的视频信息；将获取的机器人视野范围内的视频信息通过第一控制器传输给第一通信模块，第一通信模块再将机器人视野范围内的视频信息通过服务器传输给头戴式虚拟现实设备。

7.如权利要求5所述的系统，其特征是，所述第一通信模块将摄像头采集的机器人视野范围内的视频信息、语音数据，并通过网络通讯方式传输给服务器；服务器再通过网络通讯方式，将机器人所在现场视频信息、语音数据，传输给头戴式虚拟现实设备；

所述移动平台控制器，用于根据头戴式虚拟现实设备传输过来的位置变化数据和旋转角度数据，对移动平台的位置变化和角度旋转进行控制；

所述移动平台转动机构，用于根据移动平台控制器的控制指令，完成移动平台的转动；

所述移动平台移动机构，用于根据移动平台控制器的控制指令，完成移动平台的移动。

8.如权利要求1所述的系统，其特征是，所述头戴式虚拟现实设备，包括：

虚拟现实眼镜，所述虚拟现实眼镜内安装智能手机，所述智能手机的显示屏朝向虚拟现实眼镜的镜片方向放置；所述智能手机，包括：第二控制器，所述第二控制器分别与存储器、第二通信模块、陀螺仪传感器和显示屏连接。

9.如权利要求8所述的系统，其特征是，所述陀螺仪传感器，用于获取用户的头部运动数据，实现对用户视场与视点的跟踪，确定当前视场中用户视点的位置和方向，为机器人提供相应的旋转数据；

所述第二通信模块，用于从服务器获取机器人所在现场的视频信息；

所述第二控制器，将机器人所在现场的视频信息，在显示屏上分屏显示，分别显示左眼和右眼对应的画面，分别通过虚拟现实眼镜的凸透镜投射到人眼中，使用户看到的视频内容呈现出立体感；

所述移动平台控制器，将陀螺仪传感器得到的用户视点朝向数据和RGB-D相机得到的用户位置数据映射为机器人对应的数据，从而控制机器人的位置运动和旋转，使机器人的运动与用户的运动一致，以及机器人上的摄像机视点保持与用户的视点一致。

10.基于自然行走的沉浸式远程交互方法，其特征是，包括：

根据用户的动作数据远程控制机器人的动作，同时，将机器人的动作通过服务器传输给用户的头戴式虚拟现实设备，进而展示给用户，实现机器人与用户之间的交互。

Images