CN112198957B - 一种远程交互系统及方法 - Google Patents

Abstract

本发明公开了一种远程交互系统及方法，属于增强现实与虚拟现实技术领域。提供更加友好的交互方式，更具浸入式交互体验。实体机器人通过摄像设备采集得到本地场景视频和音频，通过本地计算端发送至远程端；实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。远程计算端与本地计算端通信，远程计算端一方面获取本地场景视频进行虚拟现实显示；另一方面控制动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至本地计算端；同时远程计算端还获取远程端用户的语发送至本地计算端。本地计算端在实体机器人位置处渲染对应远程端用户的虚拟化身、播放用户实时音频；本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

Description

一种远程交互系统及方法

技术领域

本发明涉及虚拟现实、增强现实技术领域，具体涉及一种远程交互系统及方法。

背景技术

目前的虚拟现实、增强显示系统，远程交互是一个重要的发展方向，例如目前频繁使用的视频会议、远程操作机器人以及远程呈现机器人等。这些系统多采用传统的远程交互方式，即用户在远程空间中的用户界面上通过键盘、鼠标、操作杆以及图形界面来与本地空间进行交互。这些系统通常是为特定的任务设计并且需要经过训练的操作员进行操作。

目前已有研究基于混合现实的机器人快速示教系统及方法，如申请号为201911144045.5的专利，提供了基于手势识别的输入方法及输入系统，该系统包括实体工业机械臂和混合现实眼镜，实体机械臂包括机械臂本体和控制器，混合现实眼镜内建有3D虚拟机器人，混合现实眼镜与机器人控制器之间通讯连接。该方法包括：使用混合现实眼镜连续捕捉单手或双手的手部位置，并将其映射为虚拟机械臂末端的位置和姿态；将虚拟机器人末端的位置和姿态数据输入机器人逆运动学算法，求解虚拟机器人的关节运动参数；混合现实眼镜利用关节运动参数，同步更新绘制虚拟机器人；将关节运动参数实时传给机械臂控制器，使机械臂本体产生同样的运动，从而完成示教。

该系统不可以远程控制机械臂，只能在同一场景下完成示教；只具有单个机械臂完成手部位置和动作的模拟，只能模拟用户手部的动作，缺少用户其它部位的动作信息；当用户位置移动时，实体机器人手臂的位置不会移动，沉浸感不强；机械臂上只有单个固定的摄像头，用户不能观察到整个场景的信息。

论文Augmented Virtual Teleportation for High-Fidelity Tele-collaboration中记载了一种使用虚拟传送的非对称平台。首先通过360度摄像机捕捉和直播本地主持者的全方位场景，远程虚拟现实旅行者可以在在头盔中观看实时主持者的直播视频体验本地的内容。同时，远程虚拟现实旅行者的动作被捕捉下来，并传送到覆盖在360度摄像头上的3D虚拟化身上，本地增强现实主持者可以在显示屏上看到远程虚拟现实旅行者的动作，完成完整的交互。两者同步进行，在混合现实空间中叠加。

远程的旅行者在该方式中的观察位置是固定的，只能在混合现实空间中同一个位置观察本地的实时全方位场景，并且整个交互过程只有视觉的部分，无法通过机械结构移动本地的物品。

目前缺少一种能够实现本地端与远程端用户更加贴合现实的交互方案，能够提供更具浸入体验的场景以及更加友好的互动。

发明内容

有鉴于此，本发明提供了一种远程交互系统及方法，其一方面能够为远程端用户提供实时的本地场景，提升用户体验，另一方面又能够为本地用户提供可供交互的实体机器人和虚拟化身，使得交互更加友好，更具浸入式交互体验。

为达到上述目的，本发明的技术方案为：一种远程交互系统，包括本地端和远程端；本地端包括本地计算端、实体机器人以及增强现实设备；远程端包括远程计算端、虚拟现实设备以及动作捕捉设备。

实体机器人通过摄像设备采集得到本地场景视频，通过本地计算端发送至远程端；采集得到本地场景音频，通过本地计算端发送至远程端。

实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。

远程计算端与本地计算端通信，远程计算端一方面从本地计算端处获取本地场景视频，控制虚拟现实显示设备对本地场景进行虚拟现实显示；另一方面控制动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至本地计算端；同时远程计算端还获取远程端用户的语音，制作为用户实时音频发送至本地计算端。

本地计算端运行虚拟引擎，构建混合显示合作空间，通过增强现实设备在混合显示合作空间中，实体机器人位置处渲染对应远程端用户的虚拟化身；本地计算端对接收到的用户实时音频进行播放；本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

进一步地，本地端还具有移动控制机械臂。

移动控制机械臂连接在固定点和实体机器人背部之间。

移动控制机械臂为三段式机械臂，从固定点出发，顺次连接第一级父骨骼、第二级父骨骼以及第三级子骨骼，第三级子骨骼末端连接在实体机器人背部；其中第一级父骨骼和第二级父骨骼之间通过第一节点连接，第二季父骨骼与第三级子骨骼之间通过第二节点连接。

本地计算端由远程计算端处获取远程端用户的移动信息，用户的移动信息包括移动的方向与距离，本地计算端根据用户的移动信息计算实体机器人的目标位置，并通过目标位置确定移动控制机械臂的控制信息，包括第一级父骨骼、第二级父骨骼以及第三级子骨骼的位置以及第一节点、第二节点的旋转角度。

本地计算端将移动控制机械臂的控制信息发送至移动控制机械臂，控制移动控制机械臂按照控制信息动作，完成实体机器人的移动，实现对远程端用户移动的模拟。

进一步地，远程端用户的动作信息包括头部动作、躯干部动作以及手臂动作。

实体机器人包括头部、躯干部、机器臂和机器手。

头部设有摄像机组、前后旋转电机、左右旋转电机以及上下旋转电机。摄像机组包括至少一个摄像头，用于获取本地场景视频；前后旋转电机为180°旋转电机，用于控制头部实现前后方向上的180°的旋转角度；左右旋转电机为180°旋转电机，用于控制头部实现左右方向上的180°的旋转角度；上下旋转电机为180°旋转电机，用于控制头部实现上下方向上的180°的旋转角度。

躯干部设有左、右肩部起落电机以及左、右肩关节旋转电机；左、右肩部起落电机分别用于控制左、右肩部的起落；左、右肩关节旋转电机分别用于控制左、右肩关节旋转。

机器臂设有左、右肘关节旋转电机，分别用于控制左、右肘关节旋转；

实体机器人在本地计算端控制下模拟远程端用户的动作，具体为：对实体机器人与远程端用户进行头部、躯干部、手臂和手部的映射；头部动作包括头部在前、后、左、右、上、下方向上的旋转角度；躯干部动作包括左右肩部的起落大小、左右肩关节的旋转角度；手臂动作包括左右肘关节的旋转角度。

本地计算端接收到远程端用户的动作信息之后，解析得到头部动作、躯干部动作以及手臂动作，分别控制前后旋转电机、左右旋转电机以及上下旋转电机、左、右肩部起落电机以及左、右肩关节旋转电机以及左、右肘关节旋转电机动作实现对远程端用户动作的模拟；同时本地计算在实体机器人位置处渲染对应远程端用户的虚拟化身，虚拟化身动作与远程端用户动作一致。

进一步地，远程计算端为本地计算端、一体式头盔、智能手机或者云端计算端。

进一步地，实体机器人上的摄像设备为由至少一个摄像头组成的摄像头组，或者为全景摄像头。

本发明另外一个实施例提供了一种远程交互方法，包括本地端流程和远程端流程。

本地端流程具体为：实时采集本地场景视频作为本地视觉信息发送至远程端。接收远程端发来的远程端用户的移动信息以及动作信息，根据用户的移动信息以及动作信息控制实体机器人模拟远程端用户的移动和动作。本地端同时运行虚拟引擎，构建混合显示合作空间，通过增强现实设备在混合显示合作空间中，实体机器人位置处渲染对应远程端用户的虚拟化身；本地端对接收到的用户实时音频进行播放。本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

远程端流程具体为：接收本地场景视频，对本地场景视频进行虚拟现实显示。实时捕捉远程端用户的位置和动作，获用户的移动信息以及动作信息发送至本地端。实时获取远程端用户的语音，制作为用户实时音频发送至本地端。

有益效果：

1、本发明提供了一种远程交互方案，该方案基于实体机器人模拟远程用户的动作，并向远程用户提供本地的实时场景，提升用户的体验。该方案包含本地和远程两个场景：本地场景中的实体机器人、机械臂、摄像头和本地主机等；用户在远程的场景中，通过动作捕捉设备和远程用户设备将用户指令传达到本地，获得本地场景的视觉信息，并通过虚拟现实设备可以感觉到在本地场景中移动。即本发明通过增强现实、虚拟现实等技术，参与者可以在混合现实的合作空间中进行远程的合作、指导等。基于此通过本发明实现的远程交互，不仅能够提升用户体验，而且交互更加友好，更具浸入式交互体验。

2、本发明提供的远程交互系统，系统在本地拥有一个实体机器人，机器人的背部固定一个机械臂，机械臂可以带动机器人在本地的空间中自由移动。机器人拥有多种动作组，可更好的在本地场景中还原用户的动作姿态。在本地的机器人头部具有全景或双目的摄像头捕捉本地的场景。远程的用户通过在虚拟现实头盔中观看本地的实时视频，可以观察到本地的信息。同时，远程用户的位置与动作信息被用户端的虚拟现实设备和动作捕捉系统确定，通过网络传递到本地的主机中。本地主机根据用户的位置信息操纵机器人背后的机械臂移动完成实体机器人位置的移动，跟据用户的动作信息使实体机器人完成指定的动作组，从而提高远程合作的交互体验。

附图说明

图1为本发明实施例提供的一种远程交互系统的原理图；

图2为本发明实施例提供的一种远程交互方法的流程图；

图3为本发明实施例提供的Unity3D中的虚拟化身示意图；

图4为本发明实施例提供的一种视频信号的传输方式示意图；

图5为本发明实施例提供一种机械臂和摄像头的连接方式示意图；

图6为本发明实施例提供一种实体机器人组成示意图。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种远程交互系统，如图1所示，包括本地端和远程端；本地端包括本地计算端、实体机器人以及增强现实设备；远程端包括远程计算端、虚拟现实设备以及动作捕捉设备。

实体机器人通过摄像设备采集得到本地场景视频，通过本地计算端发送至远程端；实体机器人在本地计算端控制下模拟远程端用户的移动以及动作。

本地计算端采集得到本地场景音频，发送至远程端。

远程计算端与本地计算端通信，远程计算端一方面从本地计算端处获取本地场景视频，控制虚拟现实显示设备对本地场景进行虚拟现实显示；另一方面控制动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至本地计算端；同时远程计算端还获取远程端用户的语音，制作为用户实时音频发送至本地计算端。

本地计算端运行虚拟引擎，构建混合显示合作空间，通过增强现实设备在混合显示合作空间中，实体机器人位置处渲染对应远程端用户的虚拟化身；本地计算端对接收到的用户实时音频进行播放；本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

本发明中各部分具体实施方式如下：

本地计算端

本地主机是整个系统的核心部分，负责数据的发送与接收，并与本地的机器人、机械臂和本地是视频采集摄像头直接相连，同时起到负责发送机器人控制信号、机械臂控制信号、采集并发送摄像头信息三个作用。

本地计算端是整个系统的核心部分，负责数据的发送与接收。本地计算端可以是本地主机、手机或云端计算端等。其中，本地计算端通过有线或者无线的连接方式与本地用户的增强现实设备、机械臂和摄像头或摄像头组直接相连。可用于接收远程用户信息；发送机械臂控制信号；以及编码本地摄像头的视频信号，将视频信号传送到网络服务器中，发送到远程；采集得到本地场景音频，发送至远程端。

本地的计算端和远程的计算端通过网络相连接，连接方式是双向的，本地和远程的计算端均可以同时发送和接收数据。本地的计算端可接收远程计算端发送的单个或多个远程用户的动作信息、位置信息和语音信息等。本地的计算端和本地用户的增强现实设备以有线或无线的方式相连接。本地计算端接收到信息后会在虚拟引擎中实时渲染远程用户的化身，本地用户可以通过观察虚拟化身来观察远程用户的动作和形态。本地的计算端同时与扬声器相连，播放远程端发来的用户实时音频。

本地计算端运行虚拟引擎，用于产生一个混合现实合作空间。该空间由实体的本地用户、摄像头或摄像头组、机械臂、本地真实场景，和虚拟的一个或多个远程用户化身和虚拟物体所组成。本地计算端通过增强现实设备在混合显示合作空间中，实体机器人位置处渲染对应远程端用户的虚拟化身；本地计算端对接收到的用户实时音频进行播放；本地端用户通过增强现实设备与远程端用户的虚拟化身进行交互。

一种常见的虚拟化身的设置方法是在Unity3D虚拟引擎中将摄像头组的位置标定，将远程用户设置为虚拟化身，叠加在本地标定好的摄像头或摄像头组上。图3所示是在Unity3D虚拟引擎中的虚拟化身形象。将Unity3D中设置的化身预制件拖入本地场景标定了的摄像头或摄像头组上，即在摄像头或摄像头组的位置产生远程用户的虚拟化身。当具有多个远程用户时，则需分别将不同的远程用户与不同的摄像头或摄像头组分别标定。

移动控制机械臂

本发明实施例中，本地端还具有移动控制机械臂；移动控制机械臂连接在固定点和实体机器人背部之间；移动控制机械臂为三段式机械臂，从固定点出发，顺次连接第一级父骨骼、第二级父骨骼以及第三级子骨骼，第三级子骨骼末端连接在实体机器人背部；其中第一级父骨骼和第二级父骨骼之间通过第一节点连接，第二季父骨骼与第三级子骨骼之间通过第二节点连接。

本地主机由远程计算端处获取远程端用户的移动信息，用户的移动信息包括移动的方向与距离，本地主机根据用户的移动信息计算实体机器人的目标位置，并通过目标位置确定移动控制机械臂的控制信息，包括第一级父骨骼、第二级父骨骼以及第三级子骨骼的位置以及第一节点、第二节点的旋转角度；

本地主机将移动控制机械臂的控制信息发送至移动控制机械臂，控制移动控制机械臂按照控制信息动作，完成实体机器人的移动，实现对远程端用户移动的模拟。

机械臂的作用是带动机器人移动。当用户在远程空间中移动时，机械臂在本地空间中带动实体机器人移动，模拟用户位置的变化。因而当用户在远程空间中移动时，具有在本地空间中移动的视觉感受，增强了用户的沉浸感。机械臂与本地主机采用串口、蓝牙或其它无线的方式连接，本地主机计算机械臂各个舵机旋转角度后，直接发送控制信号给机械臂，在本地空间模拟用户的移动。

一个简单地例子是使用三段机械臂，三段的臂长(从地面到机器人连接处)分别为1.5m、1m、1m，其连接方式如5所示。机械臂的末端与半身机器人刚性连接，因而当机械臂移动时，便会带动半身机器人随之移动，进而能让远程的用户感受到位置的变化。机械臂共有两个可移动的轴，每个轴都由三个可旋转360度的电机构成，分别控制前后、左右、上下的转动角。因此，除了与地面连接1.5m长的固定臂，剩余的两臂都能在空间中自由的移动，从而带动末梢的半身机器人在长宽高2m*2m*1.5m的整个空间范围内移动。机械臂的默认状态是：第一段竖直向上1.5m，第二段、第三段水平向前1m，方便于空间原点的标定。机械臂与本地主机以串口的形式相连，本地主机直接实时发送两个轴、六个电机的旋转角度，每个电机的角度以16位的信息发送，波特率为9600。当机械臂接收到信号后，便转动指定的角度，带动半身实体机器人到达相应的位置。

当本地主机获取了远程用户的坐标信息之后，即时通过反向动力学算法，计算机械臂各个舵机的旋转角度，并发送控制信号。例如，对于三段的机械臂而言，当本地主机获得远程计算机中的坐标信号后，通过确定第三个子骨骼末端机器人背部的位置,然后反求推导出其所在骨骼链上第一、第二级父骨骼位置，从而确定整条骨骼链两个节点的旋转角度，将旋转的角度信息发送给机械臂，完成实体机器人的移动。

实体机器人

本发明实施例中，实体机器人包括头部、躯干部、机器臂和机器手。为了实现远程端用户和实体机器人的映射，将远程端用户的动作信息分为头部动作、躯干部动作以及手臂动作。

实体机器人是一个仿人的半身或全身的机器人或者其他可完成该动作的装置，用于模拟用户的动作。一种机械臂、机器人、摄像头连接方式如图4所示。机器人是远程用户在实体空间中的载体，帮助用户获取本地视频信息，并且模拟用户的移动、模仿用户的动作，例如，移动本地场景中的物体。

一般来说，实体机器人和用户的体型按照可以为1:1,或者大于1:1,或小于1:1，其动作与用户动作保持一致。一种机器人的制作方式，其外壳由3D打印而成。实体机器人各个骨骼依靠机器人关节上的电机控制，全部的电机与电机伺服控制器相连。伺服控制器是一个控制各个电机转动角度的单片机，可以与本地主机相连，相当于一个“译码”的过程。连接方式可使用有线方式，例如串口，或者无线方式等方式。预先编辑机器人的动作组，拷贝至伺服舵机控制器中。当本地主机将用户的姿态以动作组信号发送给伺服舵机控制器时，伺服控制器便会控制各个电机旋转相应角度。实体机器人便会做出不同的动作，能够更好的还原用户的姿态。

头部设有摄像机组、前后旋转电机、左右旋转电机以及上下旋转电机。

摄像机组包括至少一个摄像头，用于获取本地场景视频；摄像机组由在机器人的头部的一个或者多个摄像头构成，可以是两个、六个或十二个等，用于捕捉本地场景的景象，并将实时视频传递给本地主机。摄像头组能够实时拍摄本地场景，提供部分场景或是全景的视频给远程用户。

一种实现全景视频的方式是使用三星360Round全景摄像头，该摄像头由17个水平方向的摄像头组组成，可以更多的利用镜头中间高质量像素做出高分辨率的3D视频，分辨率可以达到4K。视频流的传输速度是6Mbps，不会因为传输速度慢而造成交互的失真。

前后旋转电机为180°旋转电机，用于控制头部实现前后方向上的180°的旋转角度；左右旋转电机为180°旋转电机，用于控制头部实现左右方向上的180°的旋转角度；上下旋转电机为180°旋转电机，用于控制头部实现上下方向上的180°的旋转角度；

躯干部设有左、右肩部起落电机以及左、右肩关节旋转电机；左、右肩部起落电机分别用于控制左、右肩部的起落；左、右肩关节旋转电机分别用于控制左、右肩关节旋转；

机器臂设有左、右肘关节旋转电机，分别用于控制左、右肘关节旋转；

实体机器人在本地主机控制下模拟远程端用户的动作，具体为：

对实体机器人与远程端用户进行头部、躯干部、手臂和手部的映射；

头部动作包括头部在前、后、左、右、上、下方向上的旋转角度；

躯干部动作包括左右肩部的起落大小、左右肩关节的旋转角度；

手臂动作包括左右肘关节的旋转角度；

本地主机接收到远程端用户的动作信息之后，解析得到头部动作、躯干部动作以及手臂动作，分别控制前后旋转电机、左右旋转电机以及上下旋转电机、左、右肩部起落电机以及左、右肩关节旋转电机以及左、右肘关节旋转电机动作实现对远程端用户动作的模拟。

一种半身的实体机器人电机设置的方式如图6所示。内部设有13个电机和电机的驱动模块。电机123由三个可旋转180度的电机构成，分别控制前后、左右、上下的转动角，带动头部的运动；电机45分别控制左右肩的起落；电机68、电机10分别控制肩关节、肘关节的转动角度，使得单个手臂能够做出和用户一样的动作；同理，电机79、电机11控制另一支手臂的动作；手部的电机组通过预先拷贝的动作组可以完成抓取的动作。

一个半身实体机器人的动作组的例子如图6所示。主机发送信号“a”，指令机器人做点头动作，伺服舵机控制器会操纵电机-1，第一秒向上转动15度角，第二三秒向下转动30度角，第四秒向上转动15度角，完成点头的动作。

采集发送摄像头信息

本地计算端另外一个重要的功能是将机器人上的摄像头采集到的全景或者部分场景视频编码，并发送到远程的用户端，实现本地到远程的视频传送。摄像头采集到视频后，先将各个摄像头捕捉到的场景进行缝合，形成全景或部分场景的视频，再通过本地服务器将视频进行编码，便于本地视频的实时发送；该方式可以降低用户观测本地场景的延迟。

一种常用的全景视频处理办法是使用Unity 3D引擎与客户端服务器作为网络的传输。机器人上的摄像头组实时捕捉视频并将360度全景视频传输到本地服务器，然后将视频传输到远程计算端上。本地计算端-服务器网络首先将六个摄像头采集到的图像进行缝合，形成水平方向360度的全景视频，传入OBSStudio。OBSStudio是一款常用的直播软件，可以对来自360度摄像机的视频进行H264编码，以实现低延迟流。OBSStudio快速地将视频进行编码并发送到Nginx服务器上。Nginx是一个高性能Web和反向代理服务，具有很多非常优越的特性。Nginx整合编码的视频变为视频流，将本地的视频传送到远程的用户计算机Unity3D上，使得远程用户能够即时观察到本地的视频信息。本例的流程如图4所示。远程计算端

远程计算端可以是本地主机、一体式头盔、手机，云端计算端等等。其中，云端计算通过有线或者无线网络与用户头戴现实设备或者接收端进行数据信息交换。远程计算端用于接收并解码本地传输来的视频信号，将视频信号传送到虚拟显示设备中，方便用户观看。此外，远程计算端还需要将虚拟现实设备和动作捕捉设备传送来的用户的位置信息和动作信息发送至本地主机，完成完整的交互过程。

常见的远程计算机解码器采用Unity3D中的Vive Media Decoder插件来处理的，该插件是FFmpeg库的一个包装器。FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序，可以看作是视频的“解码器”。此外，还可以启用FFmpeg提供的附加选项来修改插件，优化插件以降低视频延迟。

虚拟现实设备

虚拟现实显示头盔连接远程计算端，播放远程计算机中解码的视频信号。用户通过戴上虚拟现实头盔显示设备，便可以观察到本地场景中的实时信息。

此外，远程空间中用户头盔位置的变化可以通过虚拟现实头盔以及其发射器基站获取，或者使用位置跟踪器进行跟踪，以获得用户的位置信息，并传送给远程计算端。

在一种虚拟现实设备中，需要对远程用户进行位置标定。用户对空间和自身位置进行标定，能保证自己观察到位置准确、方向无误的本地摄像头信息。用户首先对使用空间的范围进行，接着标定自己在空间中的位置，手动标注空间的原点和方向。用户将自己的背部位置标记为将混合现实空间原点，与本地机器人的背部位置对齐，同时将头盔的正方向对准本地机器人上的摄像头正方向，确保用户能观察到机器人上摄像头拍摄的视频。用户的头盔显示器上安装有数十个光敏接收器，当基站的红外光扫描信号被一定数量的接收器收到时，就能计算出头盔显示器和手柄的空间位置，从而实现用户的位姿跟踪，以操控机械臂的移动。

动作捕捉设备

动作捕捉系统用于在远程捕捉用户的动作信息，并将用户的动作信息对照为指定的动作组，为机器人的动作提供依据。

一种方式是使用光学式运动捕捉方式对用户动作信息进行捕捉。常用的光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。在远程，多个相机环绕用户的场景，用户穿上单色的服装，在头部、各个关节、脖子、双肩、肘、腕等位置贴上一些特制的标志，视觉系统可以识别和处理这些标志。系统定标后，相机连续拍摄用户的动作，并将图像序列保存下来。然后，识别其中的标志点，通过一个提前训练好的分类的深度学习网络将用户的动作与动作组相对应，将对应的动作命令，回馈到远程计算端中。

本发明的另外一个实施例还提供了一种远程交互方法，其流程如图2所示，包括本地端流程和远程端流程；

本地端流程具体为：

实时采集本地场景视频作为本地视觉信息发送至远程端；

接收远程端发来的用户的移动信息以及动作信息，根据用户的移动信息以及动作信息控制本地机械臂运动；

远程端流程具体为：

利用本地场景视频进行虚拟现实显示；

实时捕捉用户位置和动作，获用户的移动信息以及动作信息发送至本地端。

该方案可以进而应用到不同场景中。例如，用于军事的场景下，远程的士兵不需要到达某个危险的地域便能观察到该地点的情况，并完成指定的作战任务；用于医疗背景下，远程的专家可以在手术中即时观察情况，并给出相应的操作与指导。此外，在多人合作的项目中，由于远程用户能在远程控制实体机器人完成相关的动作，可以更好的与本地的用户实时交流，进一步增强交互的体验。远程的参与者不需要到达本地即可观看本地的信息，并即时完成示教、指导等内容，显著提高工作的效率。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种远程交互系统，其特征在于，包括本地端和远程端；所述本地端包括本地计算端、实体机器人以及增强现实设备；所述远程端包括远程计算端、虚拟现实设备以及动作捕捉设备；

所述实体机器人通过摄像设备采集得到本地场景视频，通过所述本地计算端发送至远程端；采集得到本地场景音频，通过所述本地计算端发送至远程端；

所述实体机器人在所述本地计算端控制下模拟远程端用户的移动以及动作；

所述远程计算端与所述本地计算端通信，远程计算端一方面从本地计算端处获取所述本地场景视频，控制虚拟现实显示设备对本地场景进行虚拟现实显示；另一方面控制所述动作捕捉设备获取远程端用户的移动信息以及动作信息，发送至所述本地计算端；同时远程计算端还获取远程端用户的语音，制作为用户实时音频发送至所述本地计算端；

所述本地计算端运行虚拟引擎，构建混合显示合作空间，通过所述增强现实设备在混合显示合作空间中，所述实体机器人位置处渲染对应远程端用户的虚拟化身；所述本地计算端对接收到的所述用户实时音频进行播放；本地端用户通过所述增强现实设备与所述远程端用户的虚拟化身进行交互；

所述本地端还具有移动控制机械臂；

所述移动控制机械臂连接在固定点和所述实体机器人背部之间；

所述移动控制机械臂为三段式机械臂，从固定点出发，顺次连接第一级父骨骼、第二级父骨骼以及第三级子骨骼，第三级子骨骼末端连接在所述所述实体机器人背部；其中第一级父骨骼和第二级父骨骼之间通过第一节点连接，第二季父骨骼与第三级子骨骼之间通过第二节点连接；

所述本地计算端由远程计算端处获取远程端用户的移动信息，所述用户的移动信息包括移动的方向与距离，本地计算端根据用户的移动信息计算所述实体机器人的目标位置，并通过目标位置确定所述移动控制机械臂的控制信息，包括第一级父骨骼、第二级父骨骼以及第三级子骨骼的位置以及第一节点、第二节点的旋转角度；

本地计算端将所述移动控制机械臂的控制信息发送至所述移动控制机械臂，控制所述移动控制机械臂按照控制信息动作，完成所述实体机器人的移动，实现对远程端用户移动的模拟；

远程端用户的动作信息包括头部动作、躯干部动作以及手臂动作；

所述实体机器人包括头部、躯干部、机器臂和机器手；

所述头部设有摄像机组、前后旋转电机、左右旋转电机以及上下旋转电机；所述摄像机组包括至少一个摄像头，用于获取本地场景视频；所述前后旋转电机为180°旋转电机，用于控制所述头部实现前后方向上的180°的旋转角度；所述左右旋转电机为180°旋转电机，用于控制所述头部实现左右方向上的180°的旋转角度；所述上下旋转电机为180°旋转电机，用于控制所述头部实现上下方向上的180°的旋转角度；

所述躯干部设有左、右肩部起落电机以及左、右肩关节旋转电机；所述左、右肩部起落电机分别用于控制左、右肩部的起落；左、右肩关节旋转电机分别用于控制左、右肩关节旋转；

所述机器臂设有左、右肘关节旋转电机，分别用于控制左、右肘关节旋转；

实体机器人在所述本地计算端控制下模拟远程端用户的动作，具体为：

对所述实体机器人与远程端用户进行头部、躯干部、手臂和手部的映射；

所述头部动作包括头部在前、后、左、右、上、下方向上的旋转角度；

所述躯干部动作包括左右肩部的起落大小、左右肩关节的旋转角度；

所述手臂动作包括左右肘关节的旋转角度；

所述本地计算端接收到远程端用户的动作信息之后，解析得到头部动作、躯干部动作以及手臂动作，分别控制前后旋转电机、左右旋转电机以及上下旋转电机、左、右肩部起落电机以及左、右肩关节旋转电机以及左、右肘关节旋转电机动作实现对远程端用户动作的模拟；同时所述本地计算在所述实体机器人位置处渲染对应远程端用户的虚拟化身，所述虚拟化身动作与远程端用户动作一致。

2.如权利要求1所述的系统，其特征在于，所述远程计算端为本地计算端、一体式头盔、智能手机或者云端计算端。

3.如权利要求1所述的系统，其特征在于，所述实体机器人上的摄像设备为由至少一个摄像头组成的摄像头组，或者为全景摄像头。

4.一种远程交互方法，其特征在于，采用如权利要求1～3任一所述的远程交互系统进行远程交互，该方法包括本地端流程和远程端流程；

所述本地端流程具体为：

实时采集本地场景视频作为本地视觉信息发送至远程端；

接收远程端发来的远程端用户的移动信息以及动作信息，根据所述用户的移动信息以及动作信息控制实体机器人模拟远程端用户的移动和动作；

本地端同时运行虚拟引擎，构建混合显示合作空间，通过所述增强现实设备在混合显示合作空间中，所述实体机器人位置处渲染对应远程端用户的虚拟化身；本地端对接收到的用户实时音频进行播放；

本地端用户通过所述增强现实设备与所述远程端用户的虚拟化身进行交互；

所述远程端流程具体为：

接收本地场景视频，对所述本地场景视频进行虚拟现实显示；

实时捕捉远程端用户的位置和动作，获用户的移动信息以及动作信息发送至本地端；

实时获取远程端用户的语音，制作为用户实时音频发送至本地端。

Images