CN107645651A - 一种增强现实的远程指导方法和系统 - Google Patents

Abstract

本发明公开了一种增强现实的远程指导方法和系统，前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；前端增强现实设备采集真实场景的视频信息、音频信息以及交互数据，传输至后端专家设备；后端专家设备根据自身存储的虚拟模型以及所接收的交互数据，重构指导对象和指导动画的姿态和展示视角；后端专家设备接收专家输入的指导信息，将指导信息同步至前端增强现实设备，由前端增强现实设备结合虚拟模型进行展示。前端和后端采用3层网络传输，当网络环境不佳时，关闭视频层，或者对视频层和/或音频层进行降质量传输。本发明能够令前后端专家设备双方明确信息指代，提高远程指导的有效性。

Description

一种增强现实的远程指导方法和系统

技术领域

本发明涉及增强现实的技术领域，具体涉及增强现实的远程指导方法和系统。

背景技术

增强现实远程指导系统是为了解决让远端的专家可以具有像现场的工作人员一样身临其境的体验，并给与现场工作人员最直接、最准确的结合现场实景的指导。

在前端工作的时候，很多时候会遇到前端人员无法解决的问题，这个时候就需要向后端专家请教了。目前可以通过语音交互(电话)，或者视频+语音交互(实时视频)来实现目标。但是这两种方式会很有局限性，前后端人员交互会很不方便，信息指代不明确。专家仅通过语言很难让前端用户明确的获知自己应该怎么操作。

发明内容

有鉴于此，本发明提供了一种增强现实的远程指导方法和系统，能够令前后端专家设备双方明确信息指代，提高远程指导的有效性。

为了解决上述技术问题，本发明是这样实现的。

一种增强现实的远程指导方法，前端增强现实设备和后端专家设备通过交互信息实现远程指导；该方法包括如下步骤：

步骤一、前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；前端增强现实设备采集真实场景的视频信息、音频信息以及交互数据，传输至后端专家设备；前端增强现实设备的交互数据包括表征前端增强现实设备视角的信息，以及表征虚拟模型变化的信息；

步骤二、后端专家设备根据自身存储的虚拟模型以及所接收的交互数据，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致；将重构的指导对象和指导动画叠加到视频中，同时播放音频；

步骤三、后端专家设备接收专家输入的指导信息，将指导信息同步至前端增强现实设备，由前端增强现实设备结合虚拟模型进行展示。

优选地，前端增强现实设备和后端专家设备的信息交互链路为3层，分别是视频层、音频层和数据层，分别用于传输视频、音频和交互数据；当网络环境不佳时，关闭视频层，或者对视频层和/或音频层进行降质量传输。

优选地，所述表征前端增强现实设备视角的信息包括增强现实设备的运动姿态和摄像头变焦信息；所述表征虚拟模型变化的信息为虚拟模型的位置、旋转和缩放信息。

优选地，所述指导信息包括语音指导信息和数字指导信息，所述数字指导信息包括标注信息和/或对虚拟模型的变换；所述语音指导信息通过语音层同步至前端增强现实设备进行播放；所述数字指导信息通过数据层同步至前端增强现实设备。

优选地，前端增强现实设备和后端专家设备配置有相同的指导步骤；指导步骤按顺序执行，每个指导步骤对应不同的指导动画，前端增强现实设备和后端专家设备通过数据层同步当前指导步骤，同步播放对应的指导动画。

本发明还提供了一种增强现实的远程指导系统，包括前端增强现实设备和后端专家设备，

所述前端增强现实设备，用于将指导对象和指导动画的虚拟模型叠加到真实对象上显示；采集真实场景的视频信息、音频信息以及交互数据传输至后端专家设备；前端增强现实设备的交互数据包括表征前端增强现实设备视角以及虚拟模型变化的信息；当接收到来自后端专家设备的指导信息后，结合虚拟模型进行展示；

所述后端专家设备，用于根据所接收的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致；将重构的指导对象和指导动画叠加到视频中，同时播放音频；接收专家输入的指导信息，同步至前端增强现实设备。

优选地，所述前端增强现实设备和后端专家设备之间的信息交互链路为3层，分别是视频层、音频层和数据层，分别用于传输视频、音频和交互数据；当网络环境不佳时，关闭视频层，或者压缩视频层和/或音频层的信息再传输。

优选地，所述表征前端增强现实设备视角的信息包括增强现实设备的运动姿态和摄像头变焦信息；所述表征虚拟模型变化的信息为虚拟模型的位置、旋转和缩放信息；所述指导信息包括语音指导信息和数字指导信息，所述数字指导信息包括标注信息和/或对虚拟模型的变换。

优选地，所述前端增强现实设备中配置有视频采集模块、前端音频采集及接收模块、前端数据采集模块和前端同步模块；

前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；

视频采集模块，用于采集真实场景的视频信息，通过视频层发送给后端专家设备；

前端音频采集及接收模块，用于采集真实场景的音频信息，通过音频层发送给后端专家设备；播放来自后端专家设备的语音指导信息；

前端数据采集及接收模块，用于采集前端增强现实设备的状态，通过数据层发送给后端专家设备；

前端同步模块，用于将前端增强现实设备中虚拟模型的当前变换姿态通过数据层同步至后端专家设备，将后端专家设备同步过来的作为数据指导信息的标注信息和/或对虚拟模型的变换叠加到虚拟模型上展示。

优选地，所述后端专家设备包括后端视频接收模块、后端音频采集及接收模块、后端数据采集模块、后端同步模块、后端显示模块和网络环境自适应模块；

后端视频接收模块，用于通过视频层接收前端增强现实设备的视频信息；

后端音频采集及接收模块，用于通过音频层接收并播放来自前端增强现实设备的音频信息，采集专家的语音指导信息，通过音频层发送给前端增强现实设备；

后端数据采集模块，用于采集专家的数据指导信息，包括标注信息和/或对虚拟模型的变换，发送给后端同步模块；

后端同步模块，用于将专家的数据指导信息通过数据层同步至前端增强现实设备，根据来自前端增强现实设备的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，将重构的指导对象和指导动画发送给后端显示模块；

后端显示模块，用于将重构的指导对象和指导动画叠加到后端视频接收模块接收的视频信息中显示；

网络环境自适应模块，用于监控网络环境，当网络环境不佳时，关闭视频层的传输，或者与前端增强现实设备协商，对视频层和/或音频层的信息进行降质量传输；

前端同步模块和后端同步模块中均存储有相同的指导步骤；各指导步骤按按顺序执行，每个指导步骤对应不同的指导动画，前端同步模块和后端同步模块通过数据层同步当前指导步骤，前端增强现实设备和后端专家设备同步播放对应的指导动画。

有益效果：

(1)本发明在前后端的交互内容中加入了数据，使用交互的数据，后端专家设备可以获得与前端增强现实设备相同的视角，专家的指导信息也能够正确的叠加在真实场景当中，从而令双方的交互更加准确，解决前后端专家设备人员交互不便，信息指代不明确的问题。

(2)前后端专家设备交互在增强现实远程指导的同时，实时监测网络状况，并对所需传输的内容进行优化调整，从而保证必要内容正常的传输，达到稳定进行远程指导的目的。

即使在没有视频传输的情况下，由于有数据传输，后端专家虽然不能了解前端的实景内容，但是却可以知道前端人员和周边三维世界的关系，和要指导的标的物之间的关系，即使看不到实景，后端专家也可以通过在三维世界中的标注，继续指导前端人员，在受限的条件下依然可以完成任务。

附图说明

图1为本发明系统结构示意图。

图2为前端视频和数据传输到后端的情况。

图3为前端数据没有传输到后端的情况。

图4为一个对待维修设备操作的前端第一人称视角。

具体实施方式

增强现实技术是将虚拟信息叠加到现实世界中，以增强现实世界中的特定物体，使用户接收到更多的现实世界的信息。并且由于现实世界是一个三维世界，因此虚拟信息需要能够正确叠加在真实场景当中，这一关键技术由前端增强现实设备来完成。为了解决前后端信息同步，指导明确的问题，本发明提供了一种增强现实的远程支持方式，在视频和语音交互的基础上，又增加了数据交互，后端专家设备可以根据交互数据重建前端场景的模型信息，并和实景完全匹配起来，使得后端专家设备也拥有与前端用户设备相同的第一人称视角信息。专家可以在后端在虚拟模型上进行操作或增加标注信息，操作结果和标注信息会传回至前端设备，并显示，从而帮助用户明确获知专家的指导，解决前后端人员交互不便，信息指代不明确的问题。

进一步的，在网络条件不佳的情况下，视频由于传输数据数量庞大，往往会中断或者不连贯，这样就会造成前后端专家设备沟通困难，信息传递的延迟或者错误，导致远程专家无法稳定的对前端增强现实设备用户进行远程指导。因此，本发明进一步设计视频、语音和数据交互各自占用自己的通信通道，当网络状况不佳时，关闭占用流量较大的视频通道，仅仅采用语音和数据交互，或者降质量传输，实现了异常情况下的有效远程支持。由于本发明具有数据交互部分，因此即便是缺少了视频，乃至语音，后端也可以为前端提供一定的指导，这也是本发明的关键所在。如果没有本发明数据交互部分的支持，一旦缺少了视频和音频，指导系统将瘫痪，无法正常工作。

下面结合附图并举实施例，对本发明进行详细描述。该方法包括如下步骤：

步骤一、前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示。其中指导对象是指例如空调、汽车、打印机等需要维修的对象。指导动画是指以动画形式展示的螺丝刀、箭头等用于指导用户操作的动画。当虚拟模型有所变化时，能够位置对应的反应到真实对象上，便于用户的理解和操作。

虚拟物体与真实场景中的物体重合，可以采用图像识别技术实现。在真实场景中放置一个标记点，该标记点可以是一张具有明显纹理特征的图像。前端增强现实设备可以通过摄像头采集该标记点的图像并进行识别，从而将虚拟物体所在的虚拟空间的坐标系与现实场景中的坐标系重合，来达到虚拟物体能够正确的与真实场景中的物体重合的目的。

步骤二、前端增强现实设备采集真实场景的视频信息、音频信息，并且获取前端增强现实设备的状态，以及虚拟模型的当前变换状态作为交互数据；然后，将视频信息、音频信息和交互数据传输至后端专家设备。

对于视频采集，本步骤中，将视频采集模块部署在前端增强现实设备上，采集真实场景中的视频信息，然后将采集到的视频信息进行H.265编码。将编码后的视频信息以字节的形式采用HTTP/TCP通过3层信息交互链路中的视频层，由前端增强现实设备传输到后端专家设备。在后端专家设备中保有与前端增强现实设备同样的指导程序，当视频由前端增强现实设备通过视频层传到后端专家设备的时候，经过解码将视频显示在后端专家设备上，这样使得后端专家拥有与前端用户同样的视频画面。仅仅如此还不够，因为视频流仅仅传输了前端的视频信息，也就是前端的真实场景中的信息，但是前端的虚拟信息并没有传递过来，如图3所示，这一问题在后文的描述中来解决。

对于音频采集，本步骤中，将音频采集及接收模块分别部署在前端增强现实设备以及后端专家设备上，采集前端增强现实设备和后端专家设备的音频信息，然后将采集到的音频信息进行编码。通过3层信息交互链路中的音频层，传递到两端的音频采集及接收模块中进行解码播放，实现前端用户与后端专家的对话。

对于交互数据，前端发送给后端的交互数据包括增强现实设备的状态和虚拟模型的当前变换状态。其中，增强现实设备的状态是指增强现实设备的运动姿态(位移信息、旋转信息)和增强现实设备上摄像头的变焦信息。在后端专家设备放置一个与前端设备相同姿态的虚拟摄像机，利用增强现实设备的状态可以模拟出用户的第一人称视角。虚拟模型的变换状态包括虚拟模型的位置、旋转和缩放状态。这些状态信息可以帮助后端专家设备重建对象及其与三维环境之间的关系。并且为了解决虚拟信息没有通过视频流一同传输过来的问题，在后端专家设备上部署与前端增强现实设备中相同的虚拟模型，通过数据交互来进行模型位姿、大小的同步，而且不需要交互模型本身，这样交互信息量比较少。

具体来说，后端专家设备仅仅拥有前端用户的视频内容是远远不够的，因为不知道前端用户距离物体远近，相对物体的方向等信息，因此后端专家设备的虚拟内容不能够正确的叠加在视频内容上，会导致显示错误。因此，在后端专家设备上部署一个虚拟摄像机用于模拟前端增强现实设备的姿态信息，也就是说模拟出前端操作者的头部姿态。前端增强现实设备采集到前端用户的设备姿态，即移动和旋转，以字节的形式通过TCP协议传输到后端专家设备，后端专家设备接收到姿态信息后，通过该信息模拟出前端用户的设备姿态，使虚拟内容正确叠加在视频当中，如图2所示。

在传输上，本发明通过3层的信息交互链路传输信息。信息交互链路包括视频层、音频层和数据层。当网络环境不佳时，例如网络速度受限，此时，考虑到视频层是占用网络带宽最大的一层，可以对视频进行编码压缩或关闭视频层，只传输数据层和音频层，因为音频层信息能够较佳的辅助专家获知用户的疑惑在哪儿，而且所需带宽会减少很多，保证后端专家设备指导的实时性。

如果网络条件允许，也可以对视频和音频进行压缩，传输压缩后的数据。如果网络条件实在太差，那么仅传输数据层信息也是可以接受的，专家可以通过后端显示的模型为前端增强现实设备指示当前操作步骤，例如在需要维修的位置添加一个标记点，并且通过移动模型来告诉前端增强现实设备如何操作的。

本发明可以将网络环境自适应模块部署在前端或后端设备上。本实施例中，将该网络环境自适应模块布置在后端设备上，从而使得后端获得更大的主动性，及时作出反应。该网络环境自适应模块对当前网络状况进行监控，并且根据不同的网络状况做出自适应的传输调整，其中当网络环境不佳时，关闭视频层的传输，或者与前端增强现实设备协商，对视频层和/或音频层的信息进行降质量传输，以保证远程指导能够稳定顺利的进行。

具体来说，可以根据表1提供的对应数据来对传输的视频以及音频进行自适应的调整。

表1

当网络速度满足3MB/s的情况下，将视频以分辨率为1080p进行传输，音频以高质量音质传输；当网速在3MB/s以下，1.5MB/s以上的情况下，将视频以分辨率为720p进行传输，音频以高质量音质传输；当网速在1.5MB/s以下，500KB/s以上的情况下，将视频以WVGA(Wide Video Graphics Array)的分辨率进行传输，音频以中质量音质传输；当网速在500KB/s以下，400KB/s以上的网络情况下，将视频以PAL(Phase Alteration Line)的分辨率进行传输，音频以中质量音质传输；当网速在400KB/s以下，230KB/s以上的网络情况下，将视频以VGA(Video Graphics Array)的分辨率进行传输，音频以低质量音质传输；网速在230KB/s以下，150KB/s以上的网络情况下，将视频以QVGA(Quarter Video GraphicsArray)的分辨率进行传输，音频以低质量音质传输；当网速在150KB/s以下的网络情况下，视频传输通道将停止传输，音频将以低质量音质传输。

步骤三、后端专家设备根据所接收的交互数据，以及后端专家设备自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致。显示时，如果有视频信息传来，则将重构的指导对象和指导动画叠加到视频中，同时播放音频，从而营造一个与实际相同的三维环境。

步骤四、后端专家设备接收专家输入的指导信息，指导信息可以包括语音指导信息和数据指导信息，数据指导信息例如标注信息(维修的标记点)和/或对指导对象、指导动画的变换(移动等)，将指导信息通过3层信息交互链路同步至前端增强现实设备，其中，语音指导信息走音频层，数据指导信息走数据层。

步骤五、前端增强现实设备接收指导信息，结合虚拟模型进行展示。

本步骤中，对于语音指导信息，进行播放；对于数据指导信息，施放到虚拟模型上进行展示，这样，前端用户就可以看到专家指导了。

由以上方案可以看出，本方案通过交互数据，使得前后端专家设备指代清楚，提高指导有效性。而且采用该方法实时优化传输内容，在远程指导的过程中，当网络带宽不足以承担视频、音频高质量传输的情况下，自动对视频和音频的大小进行压缩或者关闭传输通道，以满足网络传输的需求，从而保证远程指导的稳定进行。

为了让未受过训练的人员也能够使用本发明，本发明在前端增强现实设备和后端专家设备配置了相同的指导程序。指导程序中具有多个需要依次执行的指导步骤。每个指导步骤对应不同的指导动画，例如第一步是拧开螺丝，第二步是翻开上盖。前端增强现实设备的每一部操作都可以同步到后端专家设备设备中，后端专家设备对虚拟模型的操作也可以同步到前端增强现实设备当中以指导前端用户。因此，前端增强现实设备和后端专家设备需要通过数据层同步当前指导步骤，从而使得前、后端同步播放对应的指导动画。

具体来说，用户在使用增强现实设备进行步骤化的指导的时候，同步模块将该当前步骤指令通过3层信息交互链路的数据层传到后端专家设备中。在后端专家设备中同样保有前端增强现实设备的指导内容，当后端专家设备的同步模块接收到来自前端增强现实设备发送的数据指令后，根据指令在后端专家设备中执行对应步骤的内容。类似的，后端专家设备中也部署有同步模块，当后端专家进行操作的时候，例如专家对当前步骤的虚拟内容进行拖拽的操作，同步模块会发送同步指令通过数据层传输到前端增强现实设备当中完成同步。如此保证了前端增强现实设备与后端专家设备的内容的同步。

为了实现本发明的一种网络自适应增强现实远程指导方法，本发明还提供了一种如图1所示的增强现实远程指导系统。该远程指导系统包括一台前端增强现实设备和一台后端专家设备。

下面针对前端增强现实设备进行描述。

前端增强现实设备除了具有自身的增强现实功能，还配置了视频采集模块、前端音频采集及接收模块、前端数据采集模块和前端同步模块；

前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；

视频采集模块，用于采集真实场景的视频信息，通过视频层发送给后端专家设备；

前端音频采集及接收模块，用于采集真实场景的音频信息，通过音频层发送给后端专家设备；播放来自后端专家设备的语音指导信息；

前端数据采集及接收模块，用于采集前端增强现实设备的状态，通过数据层发送给后端专家设备；

前端同步模块，用于将前端增强现实设备中虚拟模型的当前变换姿态通过数据层同步至后端专家设备，将后端专家设备同步过来的作为数据指导信息的标注信息和/或对虚拟模型的变换叠加到虚拟模型上展示。

后端专家设备包括后端视频接收模块、后端音频采集及接收模块、后端数据采集模块、后端同步模块、后端显示模块和网络环境自适应模块。

后端视频接收模块，用于通过视频层接收前端增强现实设备的视频信息；

后端音频采集及接收模块，用于通过音频层接收并播放来自前端增强现实设备的音频信息，采集专家的语音指导信息，通过音频层发送给前端增强现实设备；

后端数据采集模块，用于采集专家的数据指导信息，包括标注信息和/或对虚拟模型的变换，发送给后端同步模块；

后端同步模块，用于专家的数据指导信息通过数据层同步至前端增强现实设备，根据来自前端增强现实设备的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，将重构的指导对象和指导动画发送给后端显示模块；

后端显示模块，用于将重构的指导对象和指导动画叠加到后端视频接收模块接收的视频信息中显示；

网络环境自适应模块，用于监控网络环境，当网络环境不佳时，关闭视频层的传输，或者与前端增强现实设备协商，对视频层和/或音频层的信息进行降质量传输。

优选地，前端同步模块和后端同步模块中均存储有相同的指导步骤；各指导步骤按按顺序执行，每个指导步骤对应不同的指导动画，前端同步模块和后端同步模块通过数据层同步当前指导步骤，前端增强现实设备和后端专家设备同步播放对应的指导动画。

为了便于操作，前端还提供了用户操作面板，该面板可以是虚拟的或是实际的，用户通过操作面板进行指导步骤的前进、后退、开始、结束、跳过等操作。用户的操作也通过数据层同步到后端。

下面举一个具体操作实例：

如图4所示，用户需要对设备进行维修工作。前端用户使用增强现实设备中的维修程序可以一步一步的对需要维修的设备进行维修的提示指导。首先，程序会识别出现实场景，通过增强现实设备将虚拟信息正确叠加在真实场景当中。然后，用户呼出虚拟菜单，点击虚拟按钮可以观看不同的步骤信息，在每一步当中，虚拟信息都会做出相应的变化，例如，螺丝刀会移动到需要拆装的部位来提示用户使用螺丝刀对当前部位进行拆装操作，同时用户视角中会显示当前的步骤信息。当用户对维修有疑问的时候便可以呼叫后端专家来对其进行指导，点击指导按钮的时候，前端设备通过数据传输模块将命令转换为可传输字节形式，通过三层网络传输模块中的数据传输通道传输到后端。后端指导设备接收到命令，与前端设备建立视频和音频的通信连接。接着，前端将前方用户的增强现实设备中采集到的视频信息通过视频层传输到后端。同时，前端设备将设备姿态信息采用数据层传输到后端虚拟摄像机当中来模拟前端用户的第一人称视角。由于后端设备上有一套与前端一样的维修步骤程序，因此，后端将模拟出前端用户第一视角中的真实场景内容以及虚拟场景中的内容。此时，后端专家便可以对前端用户进行指导。具体可以进行的操作为：专家可以对后端设备中的虚拟场景中的物体进行拖动、旋转以及缩放的操作，这些操作会触发后端的同步模块，将这些操作以字节的形式通过数据层传输到前端设备当中，并将拖动、旋转或者缩放的操作施放到指定的虚拟物体上，使前端用户可以看到后端专家的操作行为。并且后端专家可以在虚拟场景中添加标注点来提示前端用户。当前端用户在进行步骤变更的同时，也会触发同步模块，将当前步骤通过数据层传输到后端设备当中。后端设备接收到相应的步骤并在自己的指导程序中执行指定步骤来达到与前端的同步。

当传输环境的带宽不能满足当前传输内容的时候，则会通过本发明的网络环境自适应模块来自适应的调整传输的内容，调整的规则如表1所示。如此保证了后端专家对前端用户的持续稳定的指导。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种增强现实的远程指导方法，其特征在于，前端增强现实设备和后端专家设备通过交互信息实现远程指导；该方法包括如下步骤：

步骤一、前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；前端增强现实设备采集真实场景的视频信息、音频信息以及交互数据，传输至后端专家设备；前端增强现实设备的交互数据包括表征前端增强现实设备视角的信息，以及表征虚拟模型变化的信息；

步骤二、后端专家设备根据自身存储的虚拟模型以及所接收的交互数据，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致；将重构的指导对象和指导动画叠加到视频中，同时播放音频；

步骤三、后端专家设备接收专家输入的指导信息，将指导信息同步至前端增强现实设备，由前端增强现实设备结合虚拟模型进行展示。

2.如权利要求1所述的方法，其特征在于，前端增强现实设备和后端专家设备的信息交互链路为3层，分别是视频层、音频层和数据层，分别用于传输视频、音频和交互数据；当网络环境不佳时，关闭视频层，或者对视频层和/或音频层进行降质量传输。

3.如权利要求1所述的方法，其特征在于，所述表征前端增强现实设备视角的信息包括增强现实设备的运动姿态和摄像头变焦信息；所述表征虚拟模型变化的信息为虚拟模型的位置、旋转和缩放信息。

4.如权利要求2所述的方法，其特征在于，所述指导信息包括语音指导信息和数字指导信息，所述数字指导信息包括标注信息和/或对虚拟模型的变换；所述语音指导信息通过语音层同步至前端增强现实设备进行播放；所述数字指导信息通过数据层同步至前端增强现实设备。

5.如权利要求1所述的方法，其特征在于，前端增强现实设备和后端专家设备配置有相同的指导步骤；指导步骤按顺序执行，每个指导步骤对应不同的指导动画，前端增强现实设备和后端专家设备通过数据层同步当前指导步骤，同步播放对应的指导动画。

6.一种增强现实的远程指导系统，包括前端增强现实设备和后端专家设备，其特征在于，

所述前端增强现实设备，用于将指导对象和指导动画的虚拟模型叠加到真实对象上显示；采集真实场景的视频信息、音频信息以及交互数据传输至后端专家设备；前端增强现实设备的交互数据包括表征前端增强现实设备视角以及虚拟模型变化的信息；当接收到来自后端专家设备的指导信息后，结合虚拟模型进行展示；

所述后端专家设备，用于根据所接收的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，使之与前端增强现实设备用户看到的场景一致；将重构的指导对象和指导动画叠加到视频中，同时播放音频；接收专家输入的指导信息，同步至前端增强现实设备。

7.如权利要求6所述的系统，其特征在于，所述前端增强现实设备和后端专家设备之间的信息交互链路为3层，分别是视频层、音频层和数据层，分别用于传输视频、音频和交互数据；当网络环境不佳时，关闭视频层，或者压缩视频层和/或音频层的信息再传输。

8.如权利要求6所述的系统，其特征在于，所述表征前端增强现实设备视角的信息包括增强现实设备的运动姿态和摄像头变焦信息；所述表征虚拟模型变化的信息为虚拟模型的位置、旋转和缩放信息；所述指导信息包括语音指导信息和数字指导信息，所述数字指导信息包括标注信息和/或对虚拟模型的变换。

9.如权利要求7所述的系统，其特征在于，所述前端增强现实设备中配置有视频采集模块、前端音频采集及接收模块、前端数据采集模块和前端同步模块；

前端增强现实设备将指导对象和指导动画的虚拟模型叠加到真实对象上显示；

视频采集模块，用于采集真实场景的视频信息，通过视频层发送给后端专家设备；

前端音频采集及接收模块，用于采集真实场景的音频信息，通过音频层发送给后端专家设备；播放来自后端专家设备的语音指导信息；

前端数据采集及接收模块，用于采集前端增强现实设备的状态，通过数据层发送给后端专家设备；

前端同步模块，用于将前端增强现实设备中虚拟模型的当前变换姿态通过数据层同步至后端专家设备，将后端专家设备同步过来的作为数据指导信息的标注信息和/或对虚拟模型的变换叠加到虚拟模型上展示。

10.如权利要求9所述的系统，其特征在于，所述后端专家设备包括后端视频接收模块、后端音频采集及接收模块、后端数据采集模块、后端同步模块、后端显示模块和网络环境自适应模块；

后端视频接收模块，用于通过视频层接收前端增强现实设备的视频信息；

后端音频采集及接收模块，用于通过音频层接收并播放来自前端增强现实设备的音频信息，采集专家的语音指导信息，通过音频层发送给前端增强现实设备；

后端数据采集模块，用于采集专家的数据指导信息，包括标注信息和/或对虚拟模型的变换，发送给后端同步模块；

后端同步模块，用于将专家的数据指导信息通过数据层同步至前端增强现实设备，根据来自前端增强现实设备的交互数据，以及自身存储的虚拟模型，重构指导对象和指导动画的姿态和展示视角，将重构的指导对象和指导动画发送给后端显示模块；

后端显示模块，用于将重构的指导对象和指导动画叠加到后端视频接收模块接收的视频信息中显示；

网络环境自适应模块，用于监控网络环境，当网络环境不佳时，关闭视频层的传输，或者与前端增强现实设备协商，对视频层和/或音频层的信息进行降质量传输；

前端同步模块和后端同步模块中均存储有相同的指导步骤；各指导步骤按按顺序执行，每个指导步骤对应不同的指导动画，前端同步模块和后端同步模块通过数据层同步当前指导步骤，前端增强现实设备和后端专家设备同步播放对应的指导动画。