CN108769517B - 一种基于增强现实进行远程辅助的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种基于增强现实进行远程辅助的方法，具体包括：通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。本申请基于增强现实技术，第一用户设备将第二用户设备发送的标记信息等叠加显示于当前视频信息中，实现第二用户对第一用户的远程实时指挥，能够广泛应用于日常生活中家庭监督、指导以及工业、医疗、教育等广泛领域。

Description

一种基于增强现实进行远程辅助的方法与设备

技术领域

本申请涉及计算机领域，尤其涉及一种基于增强现实进行远程辅助的技术。

背景技术

增强现实(AR)技术是一种全新的人机交互技术，它利用摄像头、陀螺仪、加速度传感器等，实时匹配空间中的三维点与图像中的二维点，并且利用匹配点对来跟踪，并计算相机在空间中的位置和方向，然后利用以上信息将真实的环境和虚拟的物体实时地叠加到同一个画面或空间，造成虚拟与现实共存的现象。用户可以通过增强现实系统感受到客观物理世界中原本不存在的增强信息，比如虚拟导航箭头、虚拟的游戏人物等，还能突破时间、空间以及其他客观限制，利用虚拟信息极大的增加用户对于真实世界的理解和交互。

发明内容

本申请的一个目的是提供一种基于增强现实进行远程辅助的方法与设备。

根据本申请的一个方面，提供了一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。

根据本申请的另一个方面，提供了一种在第二用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。

根据本申请的又一个方面，提供了一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；

将所述视频信息发送至对应的网络设备；

接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息。

根据本申请的又一个方面，提供了一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；

通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

将所述第一转移矩阵信息发送至所述第一用户设备；

将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。

根据本申请的又一个方面，提供了一种在第三用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；

呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括第二用户通过第二用户设备对所述第三目标对象的操作指示信息；

其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

根据本申请的又一个方面，提供了一种在第二用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述第一标记信息包括第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息；

其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

根据本申请的又一个方面，提供了一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；

将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的第二用户设备。

根据本申请的一个方面，提供了一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息，并根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；

所述第一用户设备将所述视频信息发送至所述第二用户设备；

所述第二用户设备接收并呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。

根据本申请的另一个方面，提供了一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息，并将所述视频信息发送至对应的网络设备；

所述网络设备接收所述视频信息，通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，将所述第一转移矩阵信息发送至所述第一用户设备，将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备；

所述第一用户设备接收所述第一转移矩阵信息，根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息；

所述第二用户设备接收所述视频信息及所述第一转移矩阵信息，并呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息，并将所述视频信息发送至对应的网络设备；

所述网络设备接收所述视频信息，通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，并将所述第一转移矩阵信息发送至所述第一用户设备；

所述第一用户设备接收所述第一转移矩阵信息，根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息；

所述网络设备通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务；

所述网络设备将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备，将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备；

所述第三用户设备接收所述视频信息及所述第三转移矩阵信息；

所述第三用户设备呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象；

所述第二用户设备接收所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息，并在呈现所述视频信息过程中，根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象。

根据本申请的一个方面，提供了一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括：

实时拍摄模块，用于通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

目标跟踪模块，用于通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

叠加显示模块，用于根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。

根据本申请的另一个方面，提供了一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括：

视频接收模块，用于接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

视频呈现模块，用于呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括：

实时拍摄模块，用于通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；

视频发送模块，用于将所述视频信息发送至对应的网络设备；

转移矩阵接收模块，用于接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

叠加显示模块，用于根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的网络设备，其中，该设备包括：

视频接收模块，用于接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；

目标跟踪模块，用于通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

第一发送模块，用于将所述第一转移矩阵信息发送至所述第一用户设备；

第二发送模块，用于将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的第三用户设备，其中，该设备包括：

接收模块，用于接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；

呈现模块，用于呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括第二用户通过第二用户设备对所述第三目标对象的操作指示信息；

其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括：

接收模块，用于接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

呈现模块，用于呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述第一标记信息包括第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息；

其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的网络设备，其中，该设备包括：

视频接收模块，用于接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；

目标跟踪模块，用于通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

标记添加模块，用于根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；

视频发送模块，用于将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的第二用户设备。

根据本申请的一个方面，提供了一种基于增强现实进行远程辅助的系统，其中，该系统包括如上所述的包含实时拍摄模块、目标跟踪模块及叠加显示模块的第一用户设备以及如上所述的包含视频接收模块及视频呈现模块的第二用户设备。

根据本申请的一个方面，提供了一种基于增强现实进行远程辅助的系统，其中，该系统包括如上所述的包含实时拍摄模块、视频发送模块、转移矩阵接收模块以及叠加显示模块的第一用户设备，如上所述包含接收模块及呈现模块的第二用户设备，以及如上所述包含视频接收模块、目标跟踪模块、第一发送模块以及第二发送模块的网络设备。

根据本申请的一个方面，提供了一种基于增强现实进行远程辅助的系统，其中，该系统包括如上所述的包含实时拍摄模块、视频发送模块、转移矩阵接收模块以及叠加显示模块的第一用户设备，如上所述的包含接收模块及呈现模块的第二用户设备，如上所述的接收模块、呈现模块的第三用户设备，以及如上所述的包含视频接收模块、目标跟踪模块、第一发送模块以及第二发送模块的网络设备。

根据本申请的一个方面，提供了一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。

根据本申请的另一个方面，提供了一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；

将所述视频信息发送至对应的网络设备；

接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的网络设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；

通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

将所述第一转移矩阵信息发送至所述第一用户设备；

将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的第三用户设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；

呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括第二用户通过第二用户设备对所述第三目标对象的操作指示信息；

其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述第一标记信息包括第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息；

其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

根据本申请的又一个方面，提供了一种基于增强现实进行远程辅助的网络设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：

接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；

将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的第二用户设备。

根据本申请的一个方面，提供了包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。

根据本申请的另一个方面，提供了包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。

根据本申请的又一个方面，提供了包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；

将所述视频信息发送至对应的网络设备；

接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息。

根据本申请的又一个方面，提供了包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；

通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

将所述第一转移矩阵信息发送至所述第一用户设备；

将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。

根据本申请的又一个方面，提供了包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；

呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括第二用户通过第二用户设备对所述第三目标对象的操作指示信息；

其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

根据本申请的又一个方面，提供了包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述第一标记信息包括第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息；

其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

根据本申请的又一个方面，提供了包括指令的计算机可读介质，所述指令在被执行时使得系统进行：

接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；

将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的第二用户设备。

与现有技术相比，本申请基于增强现实技术，在第一用户设备与第二用户设备建立通信连接的基础上，第一用户设备将第二用户设备发送的标记信息等叠加显示于当前视频信息中，实现第二用户对第一用户的远程实时指挥，能够广泛应用于日常生活中家庭监督、指导以及工业、医疗、教育等广泛领域，提升了人与人之间沟通交流的效率，极大地提升了用户的使用体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个方面的一种基于增强现实进行远程辅助的系统拓扑图；

图2示出根据本申请一个实施例的一种在第一用户设备端基于增强现实进行远程辅助的方法流程图；

图3示出根据本申请一个实施例的基于增强现实进行远程辅助时进行摄像控制的示例图；

图4示出根据本申请另一个实施例的一种在第二用户设备端基于增强现实进行远程辅助的方法流程图；

图5示出根据本申请又一个实施例的一种在第一用户设备端基于增强现实进行远程辅助的方法流程图；

图6示出根据本申请又一个实施例的一种在网络设备端基于增强现实进行远程辅助的方法流程图；

图7示出根据本申请又一个实施例的一种在第三用户设备端基于增强现实进行远程辅助的方法流程图；

图8示出根据本申请又一个实施例的一种在第二用户设备端基于增强现实进行远程辅助的方法流程图；

图9示出根据本申请又一个实施例的一种在网络设备端基于增强现实进行远程辅助的方法流程图；

图10示出根据本申请一个方面的一种基于增强现实进行远程辅助的系统方法图；

图11示出根据本申请另一个方面的一种基于增强现实进行远程辅助的系统方法图；

图12示出根据本申请又一个方面的一种基于增强现实进行远程辅助的系统方法图；

图13示出根据本申请一个实施例的一种基于增强现实进行远程辅助的第一用户设备；

图14示出根据本申请另一个实施例的一种基于增强现实进行远程辅助的第二用户设备；

图15示出根据本申请又一个实施例的一种基于增强现实进行远程辅助的第一用户设备；

图16示出根据本申请又一个实施例的一种基于增强现实进行远程辅助的网络设备；

图17示出根据本申请又一个实施例的一种基于增强现实进行远程辅助的第三用户设备；

图18示出根据本申请又一个实施例的一种基于增强现实进行远程辅助的第二用户设备；

图19示出根据本申请又一个实施例的一种基于增强现实进行远程辅助的网络设备；

图20示出根据本申请一个方面的一种基于增强现实进行远程辅助的系统示意图；

图21示出根据本申请另一个方面的一种基于增强现实进行远程辅助的系统示意图；

图22示出根据本申请又一个方面的一种基于增强现实进行远程辅助的系统示意图；

图23示出可被用于实施本申请中所述的各个实施例的示例性系统。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统、Windows操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图1示出本申请的一个典型场景，第一用户(如工人等)持有第一用户设备，第二用户(专家等)持有第二用户设备，其中，第一用户设备与第二用户设备建立了通信连接；第一用户设备通过接收第二用户设备发送的标记信息，并将该标记信息叠加显示于实时拍摄的视频信息中，辅助第一用户更加精准快速的完成任务，其中，标记信息可以是画圈等位置标记信息，也可以是通过手势识别获取的与预设操作信息匹配的操作指导信息等。其中，第一用户设备与第二用户设备可以是直接进行一对一的交互，也可以是通过云端进行一对一的交互，还可以是通过云端进行多对多的交互等方式。

第一用户设备包括但不限于增强现实眼镜、平板电脑、移动终端、PC端等设备，此处以增强现实眼镜为例阐述以下实施例，当然，本领域技术人员应能理解，该等实施例同样适用于平板电脑、移动终端、PC端等其他第一用户设备。第二用户设备包括但不限于增强现实眼镜、平板电脑、移动终端、PC端等设备，此处以平板电脑为例阐述以下实施例，当然，本领域技术人员应能理解，该等实施例同样适用于增强现实眼镜、移动终端、PC端等其他第二用户设备。

图2示出根据本申请一个方面的一种在第一用户设备端基于增强显示进行远程辅助的方法，其中，该方法包括步骤S11、步骤S12和步骤S13。在步骤S11中，第一用户设备通过所述第一用户设备中的摄像装置实时获取关于目标对象的视频信息；在步骤S12中，第一用户设备通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；在步骤S13中，第一用户设备根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。

具体而言，在步骤S11中，第一用户设备通过所述第一用户设备中的摄像装置实时获取关于目标对象的视频信息。例如，目标对象包括第一用户标记的视频帧中图像信息对应的目标对象、第一用户接收的第二用户标记的视频帧中图像信息对应的目标对象以及第一用户设备根据第一用户输入的图像信息确定的目标对象等。第一用户设备包括摄像装置，第一用户设备通过该摄像装置实时拍摄关于目标对象的视频信息。

在步骤S12中，第一用户设备通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息。其中，转移矩阵信息包括第一用户设备根据目标跟踪算法得到的目标对象在当前视频帧与以往视频帧间的对应关系，目标跟踪算法包括但不限于核化相关滤波器目标跟踪算法(Kernelizedcorrelation filter，KCF)、稠密光流(Dense optical flow)跟踪算法、稀疏光流(Sparseoptical flow)跟踪算法、卡尔曼滤波(Kalman filtering)跟踪算法、多实例学习(Multiple instance learning)跟踪算法等；此处目标跟踪算法以核化相关滤波器目标跟踪算法(Kernelized correlation filter，KCF)为例，KCF算法通过学习核化的正则化最小二乘(Kernelized regularized least squares，KRLS)线性分类器解决跟踪问题。目标在场景中的移动可以看成是目标在水平方向上的移动和垂直方向上的移动的矢量和，KCF算法引入密集采样概念，将所有的样本当成是基准样本的循环移位。此时，高斯核函数高度结构化，即核函数矩阵是循环矩阵，根据循环卷积原理，所有与循环矩阵的点积操作都可转化成与该矩阵第一行向量的卷积操作。此时，借助DFT(Discrete fourier transform，离散傅里叶变换)可以将空域卷积通过时域点积实现快速计算。

当然本领域技术人员应能理解，上述跟踪算法仅为举例，其他现有的或今后可能出现的跟踪算法如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在步骤S13中，第一用户设备根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。其中，标记信息包括第一用户设备接收到的第二用户设备发送的、关于所述目标对象的操作指示信息，如对目标对象的虚拟操作信息等。例如，第一用户设备接收了第二用户设备发送的关于目标对象的操作指示信息，第一用户根据转移矩阵信息进行目标跟踪的同时，根据转移矩阵信息将该标记信息叠加显示在目标对象对应的位置。其中，对于增强现实眼镜，该标记信息叠加显示该增强现实眼镜的镜片上对应的位置，该位置信息由增强现实眼镜/网络设备根据目标跟踪算法计算得出；对于PC端、平板电脑或移动终端等，该标记信息叠加显示于当前视频帧中目标对象对应的位置。其中，第一用户设备与第二用户设备可以是直接建立了通信连接，也可以是通过网络设备建立了通信连接，此处以第一用户设备与第二用户设备间直接建立通信连接为例阐述以下实施例，本领域技术人员应能理解该等实施例同样适用于通过网络设备建立通信连接等其他通信连接方式。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑建立了通信连接。增强现实眼镜与平板电脑已进行了关于目标对象的视频流或图像的传输，且增强现实眼镜接收到平板电脑发送的关于目标对象在之前视频帧中的操作指示信息，如目标对象为某操作台上的零件，该目标对象可以是第一用户设备基于第一用户的选择操作(如画圈圈出等操作)确定的，也可以是第一用户设备接收到的第二用户设备基于第二用户的选择操作确定的，还可以是第一用户设备通过识别目标对象的初始图像信息确定的；对应的操作指示信息包括第二用户设备识别第二用户关于该零件操作的手势等获取的虚拟操作信息等。增强现实眼镜通过摄像头实时采集当前关于目标对象的视频信息，随后通过目标跟踪算法计算当前视频帧中目标对象相对于之前视频帧中目标对象的转移矩阵信息。随后，增强现实眼镜根据转移矩阵信息确定目标对象在当前视频帧的位置信息，并在该位置叠加显示对应的标记信息，如在当前视频帧中操作台上的零件对应位置叠加显示第二用户的手势对应的操作指示信息等。

当然本领域技术人员应能理解，上述标记信息和/或操作指示信息仅为举例，其他现有的或今后可能出现的标记信息和/或操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该方法还包括步骤S14(未示出)。在步骤S14中，第一用户设备将所述视频信息发送至所述第二用户设备。例如，第一用户设备实时拍摄当前关于目标对象的视频信息，并将该视频信息发送至第二用户设备端，或者通过网络设备将该视频信息发送至第二用户设备。其中，视频信息包括第一用户设备通过摄像装置采集的图像信息，还可以包括第一用户设备通过麦克风装置采集的音频信息，并将该音频和视频信息混流通过压缩算法压缩为视频/音频流；第一用户设备将压缩后的视频/音频流通过网络传输协议如用户数据报协议(UDP)、传输控制协议(TCP)或者实时传输协议(RTP)等传输至第二用户设备。

例如，增强现实眼镜实时拍摄关于当前目标对象相关的视频信息，并将该视频信息直接发送至平板电脑，或者发送至云端由云端转发至平板电脑端。平板电脑接收并呈现该视频信息，辅助第二用户继续指导第一用户进行对操作台上零件的加工等操作。

在一些实施例中，在步骤S14中，第一用户设备将所述视频信息及所述转移矩阵信息发送至所述第二用户设备。例如，第一用户设备将视频信息发送至第二用户设备的同时，将根据目标跟踪操作获得的转移矩阵信息同时发送至第二用户设备，以供第二用户在呈现该视频信息的同时对目标对象进行目标跟踪。

例如，增强现实眼镜实时拍摄关于当前目标对象相关的视频信息，并将对该视频信息中目标对象结合之前视频帧执行目标跟踪操作，确定该目标对象在各视频帧中相对于前一视频帧的转移矩阵信息等。随后，增强现实眼镜将该视频信息以及视频信息中各视频帧对应的转移矩阵信息直接发送或者通过云端发送至平板电脑。

在一些实施例中，该方法还包括步骤S15(未示出)。在步骤S15中，第一用户设备接收所述第二用户设备发送的、所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息。例如，第二用户设备根据第二用户对目标对象的继续操作(如画出线段圆圈等标记)，或者通过手势识别识别第二用户的手势操作等，生成对应的继续操作指示信息。随后，第二用户设备将该继续操作指示信息发送至第一用户设备，辅助第一用户继续对目标对象进行操作等。

例如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑在得到的视频流各视频帧中执行目标跟踪，获取目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

又如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至平板电脑，同时还将该视频信息中各视频帧对应的转移矩阵信息发送至平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑根据接收到的转移矩阵信息，确定目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

当然本领域技术人员应能理解，上述继续操作指示信息仅为举例，其他现有的或今后可能出现的继续操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该方法还包括步骤S16(未示出)。在步骤S16中，第一用户设备接收所述第二用户设备发送的、所述第二用户对所述摄像装置的摄像控制指令信息，根据所述摄像控制指令信息调整所述摄像装置的摄像参数信息，通过调整后的所述摄像装置实时拍摄关于所述目标对象的视频信息，并将通过所述调整后的摄像装置拍摄的所述视频信息发送至所述第二用户设备。例如，摄像控制指令信息包括对第一用户设备的摄像装置的硬件参数进行调控的指令信息，摄像参数信息包括但不限于分辨率、像素深度、最大帧率、曝光方式和快门速度、像元尺寸以及光谱响应特征等。例如，第一用户设备接收第二用户设备发送的、第二用户对第一用户的摄像装置进行调控的摄像控制指令信息，根据该摄像控制指令信息对拍摄装置的摄像参数信息进行调整，并通过调整后的摄像装置实时拍摄当前目标对象的视频信息，并将该视频信息发送至第二用户设备。

例如，如图3所示，图A为第二用户收到的实时拍摄的视频信息，其中，目标对象为画面中桌上的鼠标垫，第二用户想进一步的细致观察目标对象，通过视频中右上角的设置图标进行操作或者直接通过在屏幕上进行两手指外扩的放大操作等，平板电脑基于第二用户的操作，生成对应的聚焦目标对象的摄像控制指令信息，并将该摄像控制指令信息发送至增强现实眼镜。增强现实眼镜接收该摄像控制指令信息，通过调整摄像装置的相关摄像参数，如分辨率、焦距等，拍摄关于目标对象的调整后的视频信息，并将该视频信息发送平板电脑。如图B所示，其画面为平板电脑接收并呈现的放大后的关于目标对象的视频信息。

当然本领域技术人员应能理解，上述摄像控制指令信息和/或摄像参数信息仅为举例，其他现有的或今后可能出现的摄像控制指令信息和/或摄像参数信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，所述标记信息还包括第一用户通过所述第一用户设备对所述目标对象标示的辅助标示信息。其中，辅助标示信息包括第一用户设备采集的基于第一用户的操作，对目标对象的标记(如画线段、圆圈等)等，或者对第二用户设备发送的标记信息的反馈信息等，如在标记信息中提问、画圈圈出文字等。例如，第一用户设备根据第一用户的操作，生成对应的关于目标对象的辅助标示信息，第一用户设备将该辅助标示信息发送至第二用户设备，进行进一步的远程交互。

例如，第一用户拍摄关于目标对象的视频信息时，圈出目标对象的具体位置，第一用户设备根据第一用户的操作生成对应的辅助标示信息。第一用户设备在向第二用户设备发送视频信息的同时，将该辅助标示信息发送至第二用户设备，第二用户设备接收视频信息以及该辅助标示信息，根据辅助标示信息在视频帧中初始位置信息以及目标跟踪算法计算辅助标示信息的位置信息，并在呈现视频信息的同时在各视频帧对应的位置叠加显示该辅助标示信息；又如，第一用户设备根据目标跟踪算法计算该辅助标示信息在视频信息各视频帧的转移矩阵信息，并将视频信息、辅助标示信息以及对应的转移矩阵信息发送至第二用户设备，第二用户设备接收后在呈现视频信息的同时根据转移矩阵信息在对应的位置叠加显示辅助标示信息。

又如，增强现实眼镜在对应位置叠加显示第二用户对目标对象的操作指示信息后，第一用户对应该操作指示信息存在疑问，第一用户在该操作指示信息中画圈圈出疑问所在位置，或者第一用户已完成该操作指示，希望得到进一步的操作指示，在目标对象位置点击下一步操作的提示，增强现实眼镜基于第一用户的操作生成对应的操作指示信息的疑问信息或者下一步操作指示信息等作为辅助标示信息，并将该辅助标示信息发送至平板电脑。平板电脑接收并在对应位置叠加显示该辅助标示信息，并基于该辅助标示做出对应的继续操作指示信息，如对疑问的解答或者下一步的操作指示等，平板电脑将该继续操作指示信息发送至增强现实眼镜，增强现实眼镜在视频信息中叠加显示该继续操作指示信息，其中，该继续操作指示信息包括辅助标示信息，如之前的疑问是什么，或者下一步提示等。

当然本领域技术人员应能理解，上述辅助标示信息仅为举例，其他现有的或今后可能出现的辅助标示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，所述目标对象包括在讨论纸件文档；所述第二用户对所述目标对象的操作指示信息包括所述第二用户对所述在讨论纸件文档的视频帧中的一个或多个标注位置信息。例如，目标对象可以是在讨论纸件文档，对应的操作指示信息包括第二用户对该在讨论纸件文档的视频帧中的一个或多个标注位置信息，如对文档中某位置的划线或画圈等标记，或者该文字对应的标注(如，文字的拼音、解释或者相关联的内容等)。

例如，第一用户穿戴着增强现实眼镜，通过该增强现实眼镜在阅读纸件文档，第二用户持有平板电脑，平板电脑与增强现实眼镜间建立了通信连接。增强现实眼镜通过摄像装置拍摄在讨论纸件文档的视频信息，并将该视频信息发送至平板电脑。平板电脑接收该视频信息，并基于第二用户对在讨论文档中的一个或多个标注操作生成对应的操作指示信息，如包含提示该文档对应位置有错误等错误提示位置等操作指示信息。平板电脑将该操作指示信息发送至增强现实眼镜，增强现实眼镜在当前视频信息的视频帧中根据目标跟踪算法计算在讨论纸件文档在视频帧中的位置，如其对应的转移矩阵信息等，并根据该转移矩阵信息以及操作指示信息中错误提示位置等，在在讨论纸件文档中对应的位置实时叠加对应的一个或多个标注信息，提示第一用户当前文档对应的位置有错误。

当然本领域技术人员应能理解，上述目标对象和/或操作指示信息仅为举例，其他现有的或今后可能出现的目标对象和/或操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，在步骤S13中，第一用户设备根据所述一个或多个标注位置信息生成渲染标记信息，并根据所述转移矩阵信息，将所述渲染标记信息叠加显示于所述目标对象。其中，渲染标记信息包括一个或多个标注位置的高亮投影、划线或画圈等标记等。例如，第一用户设备根据操作指示信息中的一个或多个标注在在讨论纸件文档中的标注位置信息，生成对应的渲染标记信息，并根据转移矩阵信息，确定在讨论纸件文档在视频信息各视频帧中的位置，从而确定渲染标记在各视频帧中的位置，并在对应的位置叠加显示渲染标记信息。

例如，增强现实眼镜接收操作指示信息，该操作指示信息中包含该在讨论纸件文档当前在读页面中第二排第五个字的标注信息。增强现实眼镜根据该操作指示信息，生成在在讨论纸件文档的在读页面第二排第五个字的对应位置最下方下划线的渲染标记信息。增强现实眼镜根据目标跟踪算法计算出在讨论纸件文档在当前视频信息各视频帧中的位置，并根据渲染标记相对于在讨论纸件文档的位置，在各视频帧中在讨论纸件文档的在读书页的第二排第五个字下方叠加显示下划线的渲染标记信息。

当然本领域技术人员应能理解，上述渲染标记信息仅为举例，其他现有的或今后可能出现的渲染标记信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该方法还包括步骤S17(未示出)。在步骤S17中，第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息，将所述图像信息发送至对应的第二用户设备，接收关于所述目标对象的标记信息，其中，所述标记信息包括所述第二用户设备发送的、第二用户对所述图像信息中所述目标对象的操作指示信息，将所述标记信息叠加显示于所述目标对象；其中，在步骤S11中，第一用户设备通过所述摄像装置实时拍摄关于所述目标对象的视频信息。例如，第一用户设备通过摄像装置拍摄关于目标对象的图像信息，并将图像信息发送至第二用户设备，第二用户设备接收并呈现该图像信息，以供第二用户对目标对象进行操作。第二用户设备基于第二用户的操作，生成操作指示信息对应的标记信息，并将该标记信息发送至第一用户设备。第一用户设备接收该标记信息，并在图像中目标对象对应的位置叠加显示该标记信息。随后，第一用户设备通过摄像装置采集关于目标对象的视频流，并通过目标跟踪算法在该视频流各视频帧中叠加显示该标记信息。

例如，增强现实眼镜通过拍摄当前目标对象的图像信息，并将该图像信息发送至平板电脑，平板电脑接收并呈现该图像信息。第二用户基于呈现的图像信息对目标对象进行操作指示，平板电脑采集第二用户的操作指示信息生成对应的标记信息，并将该标记信息发送至增强现实眼镜。增强现实眼镜接收该标记信息，并在拍摄的图像信息中根据目标跟踪算法叠加显示该标记信息。后续，增强现实眼镜继续采集目标对象的视频信息，并根据目标跟踪算法在对应的位置实时叠加该标注信息。

图4示出根据本申请另一个方面的一种在第二用户设备基于增强现实进行远程辅助的方法，其中，该方法包括步骤S21和步骤S22。在步骤S21中，第二用户设备接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；在步骤S22中，第二用户设备呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。例如，第二用户设备接收并呈现第一用户设备发送的关于目标对象的图像信息或视频信息，采集第二用户的操作生成对应的标记信息。随后，第二用户设备继续接收第一用户设备发送的关于目标对象的视频信息，并呈现该视频信息的同时，在呈现的视频中叠加显示第二用户设备之前确定的标记信息。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑建立了通信连接。增强现实眼镜与平板电脑已进行了关于目标对象的视频流或图像的传输，且增强现实眼镜接收到平板电脑发送的关于目标对象在之前视频帧中的操作指示信息，如目标对象为某操作台上的零件，该目标对象可以是第一用户设备基于第一用户的选择操作(如画圈圈出等操作)确定的，也可以是第一用户设备接收到的第二用户设备基于第二用户的选择操作确定的，还可以是第一用户设备通过识别目标对象的初始图像信息确定的；对应的操作指示信息包括第二用户设备识别第二用户关于该零件操作的手势等获取的虚拟操作信息等。增强现实眼镜通过摄像头实时采集当前关于目标对象的视频信息，随后通过目标跟踪算法计算当前视频帧中目标对象相对于之前视频帧中目标对象的转移矩阵信息。随后，增强现实眼镜根据转移矩阵信息确定目标对象在当前视频帧的位置信息，并在该位置叠加显示对应的标记信息，如在当前视频帧中操作台上的零件对应位置叠加显示第二用户的手势对应的操作指示信息等。同时，增强现实眼镜将视频信息发送至平板电脑，平板电脑接收并呈现该视频信息，并在视频信息呈现的同时在视频信息中对应的位置叠加显示之前的标记信息。在另一些实时例中，增强现实眼镜还会向平板电脑发送辅助标示信息，其中，该辅助标示信息包括增强现实眼镜采集的基于第一用户的操作，对目标对象的标记(如画线段、圆圈等)等，或者对平板电脑发送的标记信息的反馈信息等，如在标记信息中提问、画圈圈出文字等；平板电脑接收该辅助标示信息，并在呈现视频信息的同时将该辅助标示信息叠加显示在目标对象对应的位置。

当然本领域技术人员应能理解，上述标记信息仅为举例，其他现有的或今后可能出现的标记信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施中，该方法还包括步骤S23(未示出)。在步骤S23中，第二用户设备对所述视频信息中的所述目标对象执行目标跟踪操作；其中，在步骤S22中，第二用户设备呈现所述视频信息，并根据所述目标跟踪操作的结果信息，将对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。例如，第二用户设备接收第一用户设备发送有关目标对象的视频信息，第二用户设备根据目标对象的模板信息对该视频信息中目标对象执行目标跟踪操作，确定目标对象在视频信息各视频帧中的位置信息，其中，模板信息可以是第一用户设备发送至第二用户设备的，可以是第二用户设备基于第二用户的操作初始视频帧中选取的或者导入模板信息获取的。随后，第二用户设备呈现该视频信息时，根据目标跟踪的结果信息，在目标对象的对应位置叠加显示标记信息，其中，该标记信息可以是第二用户设备根据第二用户对初始视频帧或图像信息中目标对象进行指导生成的，也可以是第二用户基于后来发送的视频信息中目标对象所做的操作指导等生成的标记信息。

例如，平板电脑接收增强现实眼镜发送的视频信息，根据操作台的零件模板信息，在视频信息中各视频帧对该零件执行目标跟踪，获取该零件在各视频帧中的位置信息，其中，该零件的模板可以是第二用户导入的，可以是在初始化帧中选取的，也可以是增强现实眼镜发送的。平板电脑接收并呈现视频信息，并根据第二用户对该零件的安装指导信息(如，圈出或箭头指向安装位置，或者根据手势识别对应预设的安装操作等)生成对应的标记信息。第二用户设备在呈现该视频信息的同时，根据该零件在各视频帧中位置信息，在后续视频帧中实时叠加显示该标记信息等。

当然本领域技术人员应能理解，上述标记信息仅为举例，其他现有的或今后可能出现的标记信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，在步骤S21中，第二用户设备接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时获取关于目标对象的视频信息，以及所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；其中，在步骤S22中，第二用户设备呈现所述视频信息，并根据所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息，将对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。例如，第一用户设备将视频信息发送至第二用户设备的同时，将根据目标跟踪操作获得的转移矩阵信息同时发送至第二用户设备，以供第二用户在呈现该视频信息的同时对目标对象进行目标跟踪。第二用户设备接收该视频信息及转移矩阵信息，在呈现视频信息的同时，根据该转移矩阵信息在视频信息中对应位置叠加显示标记信息。

例如，增强现实眼镜实时拍摄关于当前目标对象相关的视频信息，并将对该视频信息中目标对象结合之前视频帧执行目标跟踪操作，确定该目标对象在各视频帧中相对于前一视频帧的转移矩阵信息等。随后，增强现实眼镜将该视频信息以及视频信息中各视频帧对应的转移矩阵信息直接发送或者通过云端发送至平板电脑。平板电脑接收该视频信息以及对应的转移矩阵信息，并在呈现该视频信息的同时，根据转移矩阵信息在视频信息的对应位置叠加显示标记信息等。

在一些实施例中，该方法还包括步骤S24(未示出)。在步骤S24中，第二用户设备获取所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息，将所述继续操作指示信息发送至所述第一用户设备。例如，第二用户设备根据第二用户对目标对象的继续操作(如画出线段圆圈等标记)，或者通过手势识别识别第二用户的手势操作等，生成对应的继续操作指示信息。随后，第二用户设备将该继续操作指示信息发送至第一用户设备，辅助第一用户继续对目标对象进行操作等。

例如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至第平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑在得到的视频流各视频帧中执行目标跟踪，获取目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

又如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至第平板电脑，同时还将该视频信息中各视频帧对应的转移矩阵信息发送至平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑根据接收到的转移矩阵信息，确定目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

当然本领域技术人员应能理解，上述继续操作指示信息仅为举例，其他现有的或今后可能出现的继续操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该方法还包括步骤S25(未示出)。在步骤S25中，第二用户设备根据所述第二用户通过第二用户设备执行的摄像控制操作，生成所述第二用户对所述摄像装置的摄像控制指令信息，其中，所述摄像控制指令信息用于调整所述摄像装置的摄像参数信息，将所述摄像控制指令信息发送至所述第一用户设备，并接收所述第一用户设备发送的、通过所述调整后的摄像装置拍摄的所述视频信息。例如，第二用户设备接收到视频信息，对视频信息进行调整，如放大目标对象附近区域等。第二用户基于用户的操作确定对应的摄像控制指令信息，其中，该摄像控制指令信息包括用于调整第一用户设备的摄像装置的摄像参数信息，随后，第二用户设备将该摄像控制指令信息发送至第一用户设备。其中，摄像控制指令信息包括对第一用户设备的摄像装置的硬件参数进行调控的指令信息，摄像参数信息包括但不限于分辨率、像素深度、最大帧率、曝光方式和快门速度、像元尺寸以及光谱响应特征等。

例如，如图3所示，图A为第二用户收到的实时拍摄的视频信息，其中，目标对象为画面中桌上的鼠标垫，第二用户想进一步的细致观察目标对象，通过视频中右上角的设置图标进行操作或者直接通过在屏幕上进行两手指外扩的放大操作等，平板电脑基于第二用户的操作，生成对应的聚焦目标对象的摄像控制指令信息，并将该摄像控制指令信息发送至增强现实眼镜。增强现实眼镜接收该摄像控制指令信息，通过调整摄像装置的相关摄像参数，如分辨率、焦距等，拍摄关于目标对象的调整后的视频信息，并将该视频信息发送平板电脑。如图B所示，其画面为平板电脑接收并呈现的放大后的关于目标对象的视频信息。

当然本领域技术人员应能理解，上述摄像控制指令信息和/或摄像参数信息仅为举例，其他现有的或今后可能出现的摄像控制指令信息和/或摄像参数信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该方法还包括步骤S26(未示出)。在步骤S26中，第二用户设备接收并呈现对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息，获取所述第二用户对所述图像信息中所述目标对象的操作指示信息，将所述操作指示信息发送至所述第一用户设备，将所述操作指示信息叠加显示于所述图像信息中所述目标对象；其中，在步骤S21中，第二用户设备接收所述第一用户设备发送的、通过所述摄像装置实时拍摄关于所述目标对象的视频信息。例如，第一用户设备通过摄像装置拍摄关于目标对象的图像信息，并将图像信息发送至第二用户设备，第二用户设备接收并呈现该图像信息，以供第二用户对目标对象进行操作。第二用户设备基于第二用户的操作，生成操作指示信息对应的标记信息，并将该标记信息发送至第一用户设备。第一用户设备接收该标记信息，并在图像中目标对象对应的位置叠加显示该标记信息。随后，第一用户设备通过摄像装置采集关于目标对象的视频流，并通过目标跟踪算法在该视频流各视频帧中叠加显示该标记信息。

例如，增强现实眼镜通过拍摄当前目标对象的图像信息，并将该图像信息发送至平板电脑，平板电脑接收并呈现该图像信息。第二用户基于呈现的图像信息对目标对象进行操作指示，平板电脑采集第二用户的操作指示信息生成对应的标记信息，并将该标记信息发送至增强现实眼镜。增强现实眼镜接收该标记信息，并在拍摄的图像信息中根据目标跟踪算法叠加显示该标记信息。后续，增强现实眼镜继续采集目标对象的视频信息，并根据目标跟踪算法在对应的位置实时叠加该标注信息。

图5示出根据本申请又一个方面的一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括步骤S31、步骤S32、步骤S33和步骤S34。在步骤S31中，第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；在步骤S32中，第一用户设备将所述视频信息发送至对应的网络设备；在步骤S33中，第一用户设备接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；在步骤S34中，第一用户设备根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息。例如，第一用户设备与第二用户设备通过网络设备建立了通信连接，第一用户设备将拍摄的关于第一目标对象的视频信息发送至网络设备，由网络设备根据视频信息对第一目标对象执行目标跟踪，确定对应视频信息各视频帧中第一目标对象的转移矩阵信息，并将该转移矩阵发送至第一用户设备和第二用户设备。随后，第一用户设备和第二用户设备基于网络设备发送的转移矩阵信息叠加显示第一标记信息等，其中，第一标记信息包括第二用户设备根据第二用户对第一目标对象的操作指示信息。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。第一用户对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备将该转移矩阵信息返回至增强现实眼镜。增强现实眼镜接收该转移矩阵信息，并在呈现视频信息的同时根据转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。

当然本领域技术人员应能理解，上述操作指示信息仅为举例，其他现有的或今后可能出现的操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图6示出根据本申请又一个方面的一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括步骤S41、步骤S42、步骤S43和步骤S44。在步骤S41中，网络设备接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；在步骤S42中，网络设备通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；在步骤S43中，网络设备将所述第一转移矩阵信息发送至所述第一用户设备；在步骤S44中，网络设备将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。其中，网络设备是一个具有足够计算能力的服务器，主要负责视频、音频和标记信息数据的转发，同时，网络设备具有一些计算机视觉和图像处理的算法，如视频/音频信息达到网络设备时，网络设备通过跟踪算法对目标对象(如第一目标对象等)进行跟踪，随后，将跟踪的结果信息返回至用户设备。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备将该转移矩阵信息返回至增强现实眼镜，并将转移矩阵信息以及视频信息发送至平板电脑，其中，增强现实眼镜与平板电脑通过网络设备建立通信执行同一远程辅助任务(如，对零件甲的安装指导)。增强现实眼镜接收该转移矩阵信息，并在呈现视频信息的同时根据转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。平板电脑接收网络设备发送的转移矩阵信息以及视频信息，在呈现视频信息时，根据转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息。

在一些实施例中，在步骤S42中，网络设备根据所述视频信息及所述第一目标对象的其它视频信息重建所述第一目标对象的视频信息，并通过对重建后的所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息。其中，网络设备主要负责视频、音频和标记信息等数据的转发，同时，网络设备具有一些计算机视觉和图像处理的能力，如果视频/音频信息发送至网络设备，网络设备通过目标跟踪算法、目标识别、重建、姿态估计和计算机图形算法(如虚拟物体渲染、点云处理(拼接、降/超采样、匹配、网格化等))对视频信息进行处理，并将处理的结果信息返回至用户设备。例如，网络设备通过对第一用户上传的视频信息以及其他用户上传的视频进行重建，生成对于第一目标对象的总体的视频信息，随后，在重建视频信息中对第一目标对象进行目标跟踪。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，其他用户(如第三用户等)持有第三用户设备(如增强现实眼镜、平板电脑等)，增强现实眼镜、第三用户设备与平板电脑通过网络设备(云端)建立了通信连接，且增强现实眼镜、第三用户设备与平板电脑正在执行同一远程辅助任务(如，对零件甲的安装指导)，增强现实眼镜和第三用设备均在拍摄零件甲相关的视频信息，其中，增强现实眼镜主要在拍摄零件甲的左半部分，第三用户设备主要在拍摄零件甲的右半部分，且有一定的重叠度。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲左半部分相关的第一视频信息，并将该第一视频信息发送至网络设备；第三用户对零件甲进行实时拍摄，获取零件甲右半部分相关的第三视频信息，并将该第三视频信息发送至网络设备。网络设备接收该零件甲相关的第一视频信息和第三视频信息，通过计算机视觉算法根据第一视频信息和第三视频信息获得包含整体零件甲的重构视频信息，并根据目标跟踪算法确定该零件甲在重构视频信息中各视频帧中的转移矩阵信息。随后，网络设备将该转移矩阵信息和重构视频信息返回至增强现实眼镜、第三用户设备和平板电脑。第三用户设备接收该转移矩阵信息以及重构视频信息，并在呈现重构视频信息的同时根据转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的；在另一些实施例中，第三用户设备根据计算机视觉算法，计算出在重构视频信息中零件甲右半部分的位置信息相对于第三视频信息的转移矩阵信息，随后，第三用户设备呈现第三视频信息的同时在对应位置叠加显示对应的标记信息。

在一些实施例中，该方法还包括步骤S45(未示出)。在步骤S45中，网络设备通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务，并将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备；其中，在步骤S44中，网络设备将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。其中，第三用户持有第三用户设备，第三用户设备包括但不限于增强现实设备、平板电脑、PC端、移动终端等，此处以移动终端为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于增强现实设备、平板电脑、PC端等其他第三用户设备。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，第三用户持有移动终端，增强现实眼镜、平板电脑与移动终端通过网络设备(云端)建立了通信连接，且增强现实眼镜、移动终端与平板电脑正在执行同一远程辅助任务(如，对工作台上零件甲和零件乙的安装指导)，增强现实眼镜负责拍摄工作台相关的视频信息。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取工作台上零件甲相关的视频信息，同时，该视频信息对应视频帧中包含零件乙；随后，增强现实眼镜并将该视频信息发送至网络设备。网络设备接收该视频信息，通过图像识别获取零件甲和零件乙的初始位置，并根据目标跟踪算法分别计算零件甲和零件乙在视频信息中各视频帧中的第一转移矩阵信息和第三转移矩阵信息，随后，网络设备将该第一转移矩阵信息返回至增强现实眼镜，将第三转移矩阵信息和视频信息发送至移动终端，并将第一转移矩阵信息、第三转移矩阵信息以及视频信息发送至平板电脑。增强现实眼镜接收该第一转移矩阵信息，并在呈现视频信息的同时根据第一转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。移动终端接收网络设备发送的第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息。平板电脑接收网络设备发送的第一转移矩阵信息、第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第一转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息。其中，第二用户设备可以根据第二用户的选择操作确定当前第二用户设备的标记信息的对象。

图7示出根据本申请又一个方面的一种在第三用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括步骤S51和步骤S52。在步骤S51中，第三用户设备接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；在步骤S52中，第三用户设备呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括第二用户通过第二用户设备对所述第三目标对象的操作指示信息；其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，第三用户持有移动终端，增强现实眼镜、平板电脑与移动终端通过网络设备(云端)建立了通信连接，且增强现实眼镜、移动终端与平板电脑正在执行同一远程辅助任务(如，对工作台上零件甲和零件乙的安装指导)，增强现实眼镜负责拍摄工作台相关的视频信息。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取工作台上零件甲相关的视频信息，同时，该视频信息对应视频帧中包含零件乙；随后，增强现实眼镜并将该视频信息发送至网络设备。网络设备接收该视频信息，通过图像识别获取零件甲和零件乙的初始位置，并根据目标跟踪算法分别计算零件甲和零件乙在视频信息中各视频帧中的第一转移矩阵信息和第三转移矩阵信息，随后，网络设备将第三转移矩阵信息和视频信息发送至移动终端。移动终端接收网络设备发送的第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息，其中，标记信息包括第二用户对零件乙的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。在另一些实时例中，标记信息还包括移动终端采集的基于第三用户的操作，对目标对象的标记(如画线段、圆圈等)等，或者对平板电脑发送的标记信息的反馈信息等，如在标记信息中提问、画圈圈出文字等；移动终端在呈现视频信息的同时将该辅助标示信息叠加显示在目标对象对应的位置。

图8示出根据本申请又一个方面的一种在第二用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括步骤S61和步骤S62。在步骤S61中，第二用户设备接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；在步骤S62中，第二用户设备呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述第一标记信息包括第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息；其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备将该转移矩阵信息返回至增强现实眼镜，并将转移矩阵信息以及视频信息发送至平板电脑，其中，增强现实眼镜与平板电脑通过网络设备建立通信执行同一远程辅助任务(如，对零件甲的安装指导)。平板电脑接收网络设备发送的转移矩阵信息以及视频信息，在呈现视频信息时，根据转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息。

在一些实施例中，该方法还包括步骤S63(未示出)。在步骤S63中，第二用户设备接收所述网络设备发送的、所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，并在呈现所述视频信息过程中，根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括所述第二用户通过所述第二用户设备对所述第三目标对象的操作指示信息。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，第三用户持有移动终端，增强现实眼镜、平板电脑与移动终端通过网络设备(云端)建立了通信连接，且增强现实眼镜、移动终端与平板电脑正在执行同一远程辅助任务(如，对工作台上零件甲和零件乙的安装指导)，增强现实眼镜负责拍摄工作台相关的视频信息。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取工作台上零件甲相关的视频信息，同时，该视频信息对应视频帧中包含零件乙；随后，增强现实眼镜并将该视频信息发送至网络设备。网络设备接收该视频信息，通过图像识别获取零件甲和零件乙的初始位置，并根据目标跟踪算法分别计算零件甲和零件乙在视频信息中各视频帧中的第一转移矩阵信息和第三转移矩阵信息，随后，网络设备将第一转移矩阵信息、第三转移矩阵信息以及视频信息发送至平板电脑。平板电脑接收网络设备发送的第一转移矩阵信息、第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第一转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息其中，标记信息包括第二用户对各零件的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。其中，第二用户设备可以根据第二用户的选择操作确定当前第二用户设备的标记信息的对象。

图9示出根据本申请又一个方面的一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括步骤S71、步骤S72、步骤S73和步骤S74。在步骤S71中，网络设备接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；在步骤S72中，网络设备通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；在步骤S73中，网络设备根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；在步骤S74中，网络设备将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的第二用户设备。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备根据该转移矩阵信息将零件甲对应的标记信息(如零件甲的指导操作等)添加在各视频帧对应的位置，并将编辑后的视频帧发送至增强现实眼镜和平板电脑，其中，增强现实眼镜与平板电脑通过网络设备建立通信执行同一远程辅助任务(如，对零件甲的安装指导)。增强现实眼镜接收并呈现视频信息，其中，在该视频信息中对应位置实时叠加显示了对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。同理，平板电脑接收并呈现视频信息，其中，在该视频信息对应位置叠加显示了关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息。

图10示出根据本申请一个方面的一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息，并根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；

所述第一用户设备将所述视频信息发送至所述第二用户设备；

所述第二用户设备接收并呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。

图11示出根据本申请另一个方面的一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息，并将所述视频信息发送至对应的网络设备；

所述网络设备接收所述视频信息，通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，将所述第一转移矩阵信息发送至所述第一用户设备，将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备；

所述第一用户设备接收所述第一转移矩阵信息，根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息；

所述第二用户设备接收所述视频信息及所述第一转移矩阵信息，并呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

图12示出根据本申请又一个方面的一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息，并将所述视频信息发送至对应的网络设备；

所述网络设备接收所述视频信息，通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，并将所述第一转移矩阵信息发送至所述第一用户设备；

所述第一用户设备接收所述第一转移矩阵信息，根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息；

所述网络设备通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务；

所述网络设备将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备，将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备；

所述第三用户设备接收所述视频信息及所述第三转移矩阵信息；

所述第三用户设备呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象；

所述第二用户设备接收所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息，并在呈现所述视频信息过程中，根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象。

图13示出根据本申请一个方面的一种基于增强显示进行远程辅助的第一用户设备，其中，该设备包括实时拍摄模块11、目标跟踪模块12和叠加显示模块13。实时拍摄模块11，用于通过所述第一用户设备中的摄像装置实时获取关于目标对象的视频信息；目标跟踪模块12，用于通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；叠加显示模块13，用于根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。

具体而言，实时拍摄模块11，用于通过所述第一用户设备中的摄像装置实时获取关于目标对象的视频信息。例如，目标对象包括第一用户标记的视频帧中图像信息对应的目标对象、第一用户接收的第二用户标记的视频帧中图像信息对应的目标对象以及第一用户设备根据第一用户输入的图像信息确定的目标对象等。第一用户设备包括摄像装置，第一用户设备通过该摄像装置实时拍摄关于目标对象的视频信息。

目标跟踪模块12，用于通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息。其中，转移矩阵信息包括第一用户设备根据目标跟踪算法得到的目标对象在当前视频帧与以往视频帧间的对应关系，目标跟踪算法包括但不限于核化相关滤波器目标跟踪算法(Kernelizedcorrelation filter，KCF)、稠密光流(Dense optical flow)跟踪算法、稀疏光流(Sparseoptical flow)跟踪算法、卡尔曼滤波(Kalman filtering)跟踪算法、多实例学习(Multiple instance learning)跟踪算法等；此处目标跟踪算法以核化相关滤波器目标跟踪算法(Kernelized correlation filter，KCF)为例，KCF算法通过学习核化的正则化最小二乘(Kernelized regularized least squares，KRLS)线性分类器解决跟踪问题。目标在场景中的移动可以看成是目标在水平方向上的移动和垂直方向上的移动的矢量和，KCF算法引入密集采样概念，将所有的样本当成是基准样本的循环移位。此时，高斯核函数高度结构化，即核函数矩阵是循环矩阵，根据循环卷积原理，所有与循环矩阵的点积操作都可转化成与该矩阵第一行向量的卷积操作。此时，借助DFT(Discrete fourier transform，离散傅里叶变换)可以将空域卷积通过视域点积实现快速计算。

当然本领域技术人员应能理解，上述跟踪算法仅为举例，其他现有的或今后可能出现的跟踪算法如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

叠加显示模块13，用于根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。其中，标记信息包括第一用户设备接收到的第二用户设备发送的、关于所述目标对象的操作指示信息，如对目标对象的虚拟操作信息等。例如，第一用户设备接收了第二用户设备发送的关于目标对象的操作指示信息，第一用户根据转移矩阵信息进行目标跟踪的同时，根据转移矩阵信息将该标记信息叠加显示在目标对象对应的位置。其中，对于增强现实眼镜，该标记信息叠加显示该增强现实眼镜的镜片上对应的位置，该位置信息由增强现实眼镜/网络设备根据目标跟踪算法计算得出；对于PC端、平板电脑或移动终端等，该标记信息叠加显示于当前视频帧中目标对象对应的位置。其中，第一用户设备与第二用户设备可以是直接建立了通信连接，也可以是通过网络设备建立了通信连接，此处以第一用户设备与第二用户设备间直接建立通信连接为例阐述以下实施例，本领域技术人员应能理解该等实施例同样适用于通过网络设备建立通信连接等其他通信连接方式。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑建立了通信连接。增强现实眼镜与平板电脑已进行了关于目标对象的视频流或图像的传输，且增强现实眼镜接收到平板电脑发送的关于目标对象在之前视频帧中的操作指示信息，如目标对象为某操作台上的零件，该目标对象可以是第一用户设备基于第一用户的选择操作(如画圈圈出等操作)确定的，也可以是第一用户设备接收到的第二用户设备基于第二用户的选择操作确定的，还可以是第一用户设备通过识别目标对象的初始图像信息确定的；对应的操作指示信息包括第二用户设备识别第二用户关于该零件操作的手势等获取的虚拟操作信息等。增强现实眼镜通过摄像头实时采集当前关于目标对象的视频信息，随后通过目标跟踪算法计算当前视频帧中目标对象相对于之前视频帧中目标对象的转移矩阵信息。随后，增强现实眼镜根据转移矩阵信息确定目标对象在当前视频帧的位置信息，并在该位置叠加显示对应的标记信息，如在当前视频帧中操作台上的零件对应位置叠加显示第二用户的手势对应的操作指示信息等。

当然本领域技术人员应能理解，上述标记信息和/或操作指示信息仅为举例，其他现有的或今后可能出现的标记信息和/或操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该设备还包括视频发送模块14(未示出)。视频发送模块14，用于将所述视频信息发送至所述第二用户设备。例如，第一用户设备实时拍摄当前关于目标对象的视频信息，并将该视频信息发送至第二用户设备端，或者通过网络设备将该视频信息发送至第二用户设备。其中，视频信息包括第一用户设备通过摄像装置采集的图像信息，还可以包括第一用户设备通过麦克风装置采集的音频信息，并将该音频信息混流通过压缩算法压缩为视频/音频流；第一用户设备将压缩后的视频/音频流通过网络传输协议如用户数据报协议(UDP)、传输控制协议(TCP)或者实时传输协议(RTP)等传输至第二用户设备。

例如，增强现实眼镜实时拍摄关于当前目标对象相关的视频信息，并将该视频信息直接发送至平板电脑，或者发送至云端由云端转发至平板电脑端。平板电脑接收并呈现该视频信息，辅助第二用户继续指导第一用户进行对操作台上零件的加工等操作。

在一些实施例中，视频发送模块14，用于将所述视频信息及所述转移矩阵信息发送至所述第二用户设备。例如，第一用户设备将视频信息发送至第二用户设备的同时，将根据目标跟踪操作获得的转移矩阵信息同时发送至第二用户设备，以供第二用户在呈现该视频信息的同时对目标对象进行目标跟踪。

例如，增强现实眼镜实时拍摄关于当前目标对象相关的视频信息，并将对该视频信息中目标对象结合之前视频帧执行目标跟踪操作，确定该目标对象在各视频帧中相对于前一视频帧的转移矩阵信息等。随后，增强现实眼镜将该视频信息以及视频信息中各视频帧对应的转移矩阵信息直接发送或者通过云端发送至平板电脑。

在一些实施例中，该设备还包括操作接收模块15(未示出)。操作接收模块15，用于接收所述第二用户设备发送的、所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息。例如，第二用户设备根据第二用户对目标对象的继续操作(如画出线段圆圈等标记)，或者通过手势识别识别第二用户的手势操作等，生成对应的继续操作指示信息。随后，第二用户设备将该继续操作指示信息发送至第一用户设备，辅助第一用户继续对目标对象进行操作等。

例如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑在得到的视频流各视频帧中执行目标跟踪，获取目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

又如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至平板电脑，同时还将该视频信息中各视频帧对应的转移矩阵信息发送至平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑根据接收到的转移矩阵信息，确定目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

当然本领域技术人员应能理解，上述继续操作指示信息仅为举例，其他现有的或今后可能出现的继续操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该设备还包括摄像控制模块16(未示出)。摄像控制模块16，用于接收所述第二用户设备发送的、所述第二用户对所述摄像装置的摄像控制指令信息，根据所述摄像控制指令信息调整所述摄像装置的摄像参数信息，通过调整后的所述摄像装置实时拍摄关于所述目标对象的视频信息，并将通过所述调整后的摄像装置拍摄的所述视频信息发送至所述第二用户设备。例如，摄像控制指令信息包括对第一用户设备的摄像装置的硬件参数进行调控的指令信息，摄像参数信息包括但不限于分辨率、像素深度、最大帧率、曝光方式和快门速度、像元尺寸以及光谱响应特征等。例如，第一用户设备接收第二用户设备发送的、第二用户对第一用户的摄像装置进行调控的摄像控制指令信息，根据该摄像控制指令信息对拍摄装置的摄像参数信息进行调整，并通过调整后的摄像装置实时拍摄当前目标对象的视频信息，并将该视频信息发送至第二用户设备。

例如，如图3所示，图A为第二用户收到的实时拍摄的视频信息，其中，目标对象为画面中桌上的鼠标垫，第二用户想进一步的细致观察目标对象，通过视频中右上角的设置图标进行操作或者直接通过在屏幕上进行两手指外扩的放大操作等，平板电脑基于第二用户的操作，生成对应的聚焦目标对象的摄像控制指令信息，并将该摄像控制指令信息发送至增强现实眼镜。增强现实眼镜接收该摄像控制指令信息，通过调整摄像装置的相关摄像参数，如分辨率、焦距等，拍摄关于目标对象的调整后的视频信息，并将该视频信息发送平板电脑。如图B所示，其画面为平板电脑接收并呈现的放大后的关于目标对象的视频信息。

当然本领域技术人员应能理解，上述摄像控制指令信息和/或摄像参数信息仅为举例，其他现有的或今后可能出现的摄像控制指令信息和/或摄像参数信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，所述标记信息还包括第一用户通过所述第一用户设备对所述目标对象标示的辅助标示信息。其中，辅助标示信息包括第一用户设备采集的基于第一用户的操作，对目标对象的标记(如画线段、圆圈等)等，或者对第二用户设备发送的标记信息的反馈信息等，如在标记信息中提问、画圈圈出文字等。例如，第一用户设备根据第一用户的操作，生成对应的关于目标对象的辅助标示信息，第一用户设备将该辅助标示信息发送至第二用户设备，进行进一步的远程交互。

例如，第一用户拍摄关于目标对象的视频信息时，圈出目标对象的具体位置，第一用户设备根据第一用户的操作生成对应的辅助标示信息。第一用户设备在向第二用户设备发送视频信息的同时，将该辅助标示信息发送至第二用户设备，第二用户设备接收视频信息以及该辅助标示信息，根据辅助标示信息在视频帧中初始位置信息以及目标跟踪算法计算辅助标示信息的位置信息，并在呈现视频信息的同时在各视频帧对应的位置叠加显示该辅助标示信息；又如，第一用户设备根据目标跟踪算法计算该辅助标示信息在视频信息各视频帧的转移矩阵信息，并将视频信息、辅助标示信息以及对应的转移矩阵信息发送至第二用户设备，第二用户设备接收后在呈现视频信息的同时根据转移矩阵信息在对应的位置叠加显示辅助标示信息。

又如，增强现实眼镜在对应位置叠加显示第二用户对目标对象的操作指示信息后，第一用户对应该操作指示信息存在疑问，第一用户在该操作指示信息中画圈圈出疑问所在位置，或者第一用户已完成该操作指示，希望得到进一步的操作指示，在目标对象位置点击下一步操作的提示，增强现实眼镜基于第一用户的操作生成对应的操作指示信息的疑问信息或者下一步操作指示信息等作为辅助标示信息，并将该辅助标示信息发送至平板电脑。平板电脑接收并在对应位置叠加显示该辅助标示信息，并基于该辅助标示做出对应的继续操作指示信息，如对疑问的解答或者下一步的操作指示等，平板电脑将该继续操作指示信息发送至增强现实眼镜，增强现实眼镜在视频信息中叠加显示该继续操作指示信息，其中，该继续操作指示信息包括辅助标示信息，如之前的疑问是什么，或者下一步提示等。

当然本领域技术人员应能理解，上述辅助标示信息仅为举例，其他现有的或今后可能出现的辅助标示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，所述目标对象包括在讨论纸件文档；所述第二用户对所述目标对象的操作指示信息包括所述第二用户对所述在讨论纸件文档的视频帧中的一个或多个标注位置信息。例如，目标对象可以是在讨论纸件文档，对应的操作指示信息包括第二用户对该在讨论纸件文档的视频帧中的一个或多个标注位置信息，如对文档中某位置的划线或画圈等标记，或者该文字对应的标注(如，文字的拼音、解释或者相关联的内容等)。

例如，第一用户穿戴着增强现实眼镜，通过该增强现实眼镜在阅读纸件文档，第二用户持有平板电脑，平板电脑与增强现实眼镜间建立了通信连接。增强现实眼镜通过摄像装置拍摄在讨论纸件文档的视频信息，并将该视频信息发送至平板电脑。平板电脑接收该视频信息，并基于第二用户对在讨论文档中的一个或多个标注操作生成对应的操作指示信息，如包含提示该文档对应位置有错误等错误提示位置等操作指示信息。平板电脑将该操作指示信息发送至增强现实眼镜，增强现实眼镜在当前视频信息的视频帧中根据目标跟踪算法计算在讨论纸件文档在视频帧中的位置，如其对应的转移矩阵信息等，并根据该转移矩阵信息以及操作指示信息中错误提示位置等，在在讨论纸件文档中对应的位置实时叠加对应的一个或多个标注信息，提示第一用户当前文档对应的位置有错误。

当然本领域技术人员应能理解，上述目标对象和/或操作指示信息仅为举例，其他现有的或今后可能出现的目标对象和/或操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，叠加显示模块13，用于根据所述一个或多个标注位置信息生成渲染标记信息，并根据所述转移矩阵信息，将所述渲染标记信息叠加显示于所述目标对象。其中，渲染标记信息包括一个或多个标注位置的高亮投影、划线或画圈等标记等。例如，第一用户设备根据操作指示信息中的一个或多个标注在在讨论纸件文档中的标注位置信息，生成对应的渲染标记信息，并根据转移矩阵信息，确定在讨论纸件文档在视频信息各视频帧中的位置，从而确定渲染标记在各视频帧中的位置，并在对应的位置叠加显示渲染标记信息。

例如，增强现实眼镜接收操作指示信息，该操作指示信息中包含该在讨论纸件文档当前在读页面中第二排第五个字的标注信息。增强现实眼镜根据该操作指示信息，生成在在讨论纸件文档的在读页面第二排第五个字的对应位置最下方下划线的渲染标记信息。增强现实眼镜根据目标跟踪算法计算出在讨论纸件文档在当前视频信息各视频帧中的位置，并根据渲染标记相对于在讨论纸件文档的位置，在各视频帧中在讨论纸件文档的在读书页的第二排第五个字下方叠加显示下划线的渲染标记信息。

当然本领域技术人员应能理解，上述渲染标记信息仅为举例，其他现有的或今后可能出现的渲染标记信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该设备还包括标记获取模块17(未示出)。标记获取模块17，用于通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息，将所述图像信息发送至对应的第二用户设备，接收关于所述目标对象的标记信息，其中，所述标记信息包括所述第二用户设备发送的、第二用户对所述图像信息中所述目标对象的操作指示信息，将所述标记信息叠加显示于所述目标对象；其中，在步骤S11中，第一用户设备通过所述摄像装置实时拍摄关于所述目标对象的视频信息。例如，第一用户设备通过摄像装置拍摄关于目标对象的图像信息，并将图像信息发送至第二用户设备，第二用户设备接收并呈现该图像信息，以供第二用户对目标对象进行操作。第二用户设备基于第二用户的操作，生成操作指示信息对应的标记信息，并将该标记信息发送至第一用户设备。第一用户设备接收该标记信息，并在图像中目标对象对应的位置叠加显示该标记信息。随后，第一用户设备通过摄像装置采集关于目标对象的视频流，并通过目标跟踪算法在该视频流各视频帧中叠加显示该标记信息。

例如，增强现实眼镜通过拍摄当前目标对象的图像信息，并将该图像信息发送至平板电脑，平板电脑接收并呈现该图像信息。第二用户基于呈现的图像信息对目标对象进行操作指示，平板电脑采集第二用户的操作指示信息生成对应的标记信息，并将该标记信息发送至增强现实眼镜。增强现实眼镜接收该标记信息，并在拍摄的图像信息中根据目标跟踪算法叠加显示该标记信息。后续，增强现实眼镜继续采集目标对象的视频信息，并根据目标跟踪算法在对应的位置实时叠加该标注信息。

图14示出根据本申请另一个方面的一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括视频接收模块21和视频呈现模块22。视频接收模块21，用于接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；视频呈现模块22，用于呈现所述视频信息，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。例如，第二用户设备接收并呈现第一用户设备发送的关于目标对象的图像信息或视频信息，采集第二用户的操作生成对应的标记信息。随后，第二用户设备继续接收第一用户设备发送的关于目标对象的视频信息，并呈现该视频信息的同时，在呈现的视频中叠加显示第二用户设备之前确定的标记信息。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑建立了通信连接。增强现实眼镜与平板电脑已进行了关于目标对象的视频流或图像的传输，且增强现实眼镜接收到平板电脑发送的关于目标对象在之前视频帧中的操作指示信息，如目标对象为某操作台上的零件，该目标对象可以是第一用户设备基于第一用户的选择操作(如画圈圈出等操作)确定的，也可以是第一用户设备接收到的第二用户设备基于第二用户的选择操作确定的，还可以是第一用户设备通过识别目标对象的初始图像信息确定的；对应的操作指示信息包括第二用户设备识别第二用户关于该零件操作的手势等获取的虚拟操作信息等。增强现实眼镜通过摄像头实时采集当前关于目标对象的视频信息，随后通过目标跟踪算法计算当前视频帧中目标对象相对于之前视频帧中目标对象的转移矩阵信息。随后，增强现实眼镜根据转移矩阵信息确定目标对象在当前视频帧的位置信息，并在该位置叠加显示对应的标记信息，如在当前视频帧中操作台上的零件对应位置叠加显示第二用户的手势对应的操作指示信息等。同时，增强现实眼镜将视频信息发送至平板电脑，平板电脑接收并呈现该视频信息，并在视频信息呈现的同时在视频信息中对应的位置叠加显示之前的标记信息。在另一些实时例中，增强现实眼镜还会向平板电脑发送辅助标示信息，其中，该辅助标示信息包括增强现实眼镜采集的基于第一用户的操作，对目标对象的标记(如画线段、圆圈等)等，或者对平板电脑发送的标记信息的反馈信息等，如在标记信息中提问、画圈圈出文字等；平板电脑接收该辅助标示信息，并在呈现视频信息的同时将该辅助标示信息叠加显示在目标对象对应的位置。

当然本领域技术人员应能理解，上述标记信息仅为举例，其他现有的或今后可能出现的标记信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施中，该设备还包括跟踪执行模块23(未示出)。跟踪执行模块23，用于对所述视频信息中的所述目标对象执行目标跟踪操作；其中，视频呈现模块22，用于呈现所述视频信息，并根据所述目标跟踪操作的结果信息，将对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。例如，第二用户设备接收第一用户设备发送有关目标对象的视频信息，第二用户设备根据目标对象的模板信息对该视频信息中目标对象执行目标跟踪操作，确定目标对象在视频信息各视频帧中的位置信息，其中，模板信息可以是第一用户设备发送至第二用户设备的，可以是第二用户设备基于第二用户的操作初始视频帧中选取的或者导入模板信息获取的。随后，第二用户设备呈现该视频信息时，根据目标跟踪的结果信息，在目标对象的对应位置叠加显示标记信息，其中，该标记信息可以是第二用户设备根据第二用户对初始视频帧或图像信息中目标对象进行指导生成的，也可以是第二用户基于后来发送的视频信息中目标对象所做的操作指导等生成的标记信息。

例如，平板电脑接收增强现实眼镜发送的视频信息，根据操作台的零件模板信息，在视频信息中各视频帧对该零件执行目标跟踪，获取该零件在各视频帧中的位置信息，其中，该零件的模板可以是第二用户导入的，可以是在初始化帧中选取的，也可以是增强现实眼镜发送的。平板电脑接收并呈现视频信息，并根据第二用户对该零件的安装指导信息(如，圈出或箭头指向安装位置，或者根据手势识别对应预设的安装操作等)生成对应的标记信息。第二用户设备在呈现该视频信息的同时，根据该零件在各视频帧中位置信息，在后续视频帧中实时叠加显示该标记信息等。

当然本领域技术人员应能理解，上述标记信息仅为举例，其他现有的或今后可能出现的标记信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，视频接收模块21，用于接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时获取关于目标对象的视频信息，以及所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；其中，视频呈现模块22，用于呈现所述视频信息，并根据所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息，将对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象，其中，所述标记信息包括第二用户通过所述第二用户设备对所述目标对象的操作指示信息。例如，第一用户设备将视频信息发送至第二用户设备的同时，将根据目标跟踪操作获得的转移矩阵信息同时发送至第二用户设备，以供第二用户在呈现该视频信息的同时对目标对象进行目标跟踪。第二用户设备接收该视频信息及转移矩阵信息，在呈现视频信息的同时，根据该转移矩阵信息在视频信息中对应位置叠加显示标记信息。

例如，增强现实眼镜实时拍摄关于当前目标对象相关的视频信息，并将对该视频信息中目标对象结合之前视频帧执行目标跟踪操作，确定该目标对象在各视频帧中相对于前一视频帧的转移矩阵信息等。随后，增强现实眼镜将该视频信息以及视频信息中各视频帧对应的转移矩阵信息直接发送或者通过云端发送至平板电脑。平板电脑接收该视频信息以及对应的转移矩阵信息，并在呈现该视频信息的同时，根据转移矩阵信息在视频信息的对应位置叠加显示标记信息等。

在一些实施例中，该设备还包括操作获取模块24(未示出)。操作获取模块24，用于获取所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息，将所述继续操作指示信息发送至所述第一用户设备。例如，第二用户设备根据第二用户对目标对象的继续操作(如画出线段圆圈等标记)，或者通过手势识别识别第二用户的手势操作等，生成对应的继续操作指示信息。随后，第二用户设备将该继续操作指示信息发送至第一用户设备，辅助第一用户继续对目标对象进行操作等。

例如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至第平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑在得到的视频流各视频帧中执行目标跟踪，获取目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

又如，增强现实眼镜将实时拍摄的关于目标对象的视频信息发送至第平板电脑，同时还将该视频信息中各视频帧对应的转移矩阵信息发送至平板电脑，平板电脑接收并呈现该视频信息。随后，平板电脑根据接收到的转移矩阵信息，确定目标对象的在视频帧中位置，在一些实施例中，平板电脑通过线段、圆圈、局部增加亮度等方式将视频帧中目标对象突出显示出来。第二用户在平板电脑上做标记或者在平板电脑摄像头可拍摄范围内做手势等指导第一用户对零件进行加工，平板电脑将采集到第二用户的标记作为继续操作指示信息，或者通过对拍摄到的手势等进行手势识别，确定识别的手势为继续操作指示信息等。随后，平板电脑将该继续指示信息发送至增强现实眼镜。增强现实眼镜接收并在对应位置叠加显示该继续操作指示信息。

当然本领域技术人员应能理解，上述继续操作指示信息仅为举例，其他现有的或今后可能出现的继续操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该设备还包括摄像控制模块25(未示出)。摄像控制模块25，用于根据所述第二用户通过第二用户设备执行的摄像控制操作，生成所述第二用户对所述摄像装置的摄像控制指令信息，其中，所述摄像控制指令信息用于调整所述摄像装置的摄像参数信息，将所述摄像控制指令信息发送至所述第一用户设备，并接收所述第一用户设备发送的、通过所述调整后的摄像装置拍摄的所述视频信息。例如，第二用户设备接收到视频信息，对视频信息进行调整，如放大目标对象附近区域等。第二用户基于用户的操作确定对应的摄像控制指令信息，其中，该摄像控制指令信息包括用于调整第一用户设备的摄像装置的摄像参数信息，随后，第二用户设备将该摄像控制指令信息发送至第一用户设备。其中，摄像控制指令信息包括对第一用户设备的摄像装置的硬件参数进行调控的指令信息，摄像参数信息包括但不限于分辨率、像素深度、最大帧率、曝光方式和快门速度、像元尺寸以及光谱响应特征等。

例如，如图3所示，图A为第二用户收到的实时拍摄的视频信息，其中，目标对象为画面中桌上的鼠标垫，第二用户想进一步的细致观察目标对象，通过视频中右上角的设置图标进行操作或者直接通过在屏幕上进行两手指外扩的放大操作等，平板电脑基于第二用户的操作，生成对应的聚焦目标对象的摄像控制指令信息，并将该摄像控制指令信息发送至增强现实眼镜。增强现实眼镜接收该摄像控制指令信息，通过调整摄像装置的相关摄像参数，如分辨率、焦距等，拍摄关于目标对象的调整后的视频信息，并将该视频信息发送平板电脑。如图B所示，其画面为平板电脑接收并呈现的放大后的关于目标对象的视频信息。

当然本领域技术人员应能理解，上述摄像控制指令信息和/或摄像参数信息仅为举例，其他现有的或今后可能出现的摄像控制指令信息和/或摄像参数信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，该设备还包括标记获取模块26(未示出)。标记获取模块26，用于接收并呈现对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息，获取所述第二用户对所述图像信息中所述目标对象的操作指示信息，将所述操作指示信息发送至所述第一用户设备，将所述操作指示信息叠加显示于所述图像信息中所述目标对象；其中，在步骤S21中，第二用户设备接收所述第一用户设备发送的、通过所述摄像装置实时拍摄关于所述目标对象的视频信息。例如，第一用户设备通过摄像装置拍摄关于目标对象的图像信息，并将图像信息发送至第二用户设备，第二用户设备接收并呈现该图像信息，以供第二用户对目标对象进行操作。第二用户设备基于第二用户的操作，生成操作指示信息对应的标记信息，并将该标记信息发送至第一用户设备。第一用户设备接收该标记信息，并在图像中目标对象对应的位置叠加显示该标记信息。随后，第一用户设备通过摄像装置采集关于目标对象的视频流，并通过目标跟踪算法在该视频流各视频帧中叠加显示该标记信息。

例如，增强现实眼镜通过拍摄当前目标对象的图像信息，并将该图像信息发送至平板电脑，平板电脑接收并呈现该图像信息。第二用户基于呈现的图像信息对目标对象进行操作指示，平板电脑采集第二用户的操作指示信息生成对应的标记信息，并将该标记信息发送至增强现实眼镜。增强现实眼镜接收该标记信息，并在拍摄的图像信息中根据目标跟踪算法叠加显示该标记信息。后续，增强现实眼镜继续采集目标对象的视频信息，并根据目标跟踪算法在对应的位置实时叠加该标注信息。

图15示出根据本申请又一个方面的一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括实时拍摄模块31、视频发送模块32、转移矩阵接收模块33和叠加显示模块34。实时拍摄模块31，用于通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；视频发送模块32，用于将所述视频信息发送至对应的网络设备；转移矩阵接收模块33，用于接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；叠加显示模块34，用于根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象，其中，所述第一标记信息包括对应第二用户设备发送的、第二用户对所述第一目标对象的操作指示信息。例如，第一用户设备与第二用户设备通过网络设备建立了通信连接，第一用户设备将拍摄的关于第一目标对象的视频信息发送至网络设备，由网络设备根据视频信息对第一目标对象执行目标跟踪，确定对应视频信息各视频帧中第一目标对象的转移矩阵信息，并将该转移矩阵发送至第一用户设备和第二用户设备。随后，第一用户设备和第二用户设备基于网络设备发送的转移矩阵信息叠加显示第一标记信息等，其中，第一标记信息包括第二用户设备根据第二用户对第一目标对象的操作指示信息。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。第一用户对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备将该转移矩阵信息返回至增强现实眼镜。增强现实眼镜接收该转移矩阵信息，并在呈现视频信息的同时根据转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。

当然本领域技术人员应能理解，上述操作指示信息仅为举例，其他现有的或今后可能出现的操作指示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

图16示出根据本申请又一个方面的一种基于增强现实进行远程辅助的网络设备，其中，该设备包括视频接收模块41、目标跟踪模块42、第一发送模块43和第二发送模块44。视频接收模块41，用语言接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；目标跟踪模块42，用于通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；第一发送模块43，用于将所述第一转移矩阵信息发送至所述第一用户设备；第二发送模块44，用于将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。其中，网络设备是一个具有足够计算能力的服务器，主要负责视频、音频和标记信息数据的转发，同时，网络设备具有一些计算机视觉和图像处理的算法，如视频/音频信息达到网络设备时，网络设备通过跟踪算法对目标对象(如第一目标对象等)进行跟踪，随后，将跟踪的结果信息返回至用户设备。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备将该转移矩阵信息返回至增强现实眼镜，并将转移矩阵信息以及视频信息发送至平板电脑，其中，增强现实眼镜与平板电脑通过网络设备建立通信执行同一远程辅助任务(如，对零件甲的安装指导)。增强现实眼镜接收该转移矩阵信息，并在呈现视频信息的同时根据转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。平板电脑接收网络设备发送的转移矩阵信息以及视频信息，在呈现视频信息时，根据转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息。

在一些实施例中，目标跟踪模块42，用于根据所述视频信息及所述第一目标对象的其它视频信息重建所述第一目标对象的视频信息，并通过对重建后的所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息。其中，网络设备主要负责视频、音频和标记信息等数据的转发，同时，网络设备具有一些计算机视觉和图像处理的能力，如果视频/音频信息发送至网络设备，网络设备通过目标跟踪算法、目标识别、重建、姿态估计和计算机图形算法(如虚拟物体渲染、点云处理(拼接、降/超采样、匹配、网格化等))对视频信息进行处理，并将处理的结果信息返回至用户设备。例如，网络设备通过对第一用户上传的视频信息以及其他用户上传的视频进行重建，生成对于第一目标对象的总体的视频信息，随后，在重建视频信息中对第一目标对象进行目标跟踪。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，其他用户(如第三用户等)持有第三用户设备(如增强现实眼镜、平板电脑等)，增强现实眼镜、第三用户设备与平板电脑通过网络设备(云端)建立了通信连接，且增强现实眼镜、第三用户设备与平板电脑正在执行同一远程辅助任务(如，对零件甲的安装指导)，增强现实眼镜和第三用设备均在拍摄零件甲相关的视频信息，其中，增强现实眼镜主要在拍摄零件甲的左半部分，第三用户设备主要在拍摄零件甲的右半部分，且有一定的重叠度。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲左半部分相关的第一视频信息，并将该第一视频信息发送至网络设备；第三用户对零件甲进行实时拍摄，获取零件甲右半部分相关的第三视频信息，并将该第三视频信息发送至网络设备。网络设备接收该零件甲相关的第一视频信息和第三视频信息，通过计算机视觉算法根据第一视频信息和第三视频信息获得包含整体零件甲的重构视频信息，并根据目标跟踪算法确定该零件甲在重构视频信息中各视频帧中的转移矩阵信息。随后，网络设备将该转移矩阵信息和重构视频信息返回至增强现实眼镜、第三用户设备和平板电脑。第三用户设备接收该转移矩阵信息以及重构视频信息，并在呈现重构视频信息的同时根据转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的；在另一些实时例中，第三用户设备根据计算机视觉算法，计算出在重构视频信息中零件甲右半部分的位置信息相对于第三视频信息的转移矩阵信息，随后，第三用户设备呈现第三视频信息的同时在对应位置叠加显示对应的标记信息。

在一些实施例中，该设备还包括第三发送模块45(未示出)。第三发送模块45，用于通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务，并将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备；其中，第二发送模块44，用于将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。其中，第三用户持有第三用户设备，第三用户设备包括但不限于增强现实设备、平板电脑、PC端、移动终端等，此处以移动终端为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于增强现实设备、平板电脑、PC端等其他第三用户设备。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，第三用户持有移动终端，增强现实眼镜、平板电脑与移动终端通过网络设备(云端)建立了通信连接，且增强现实眼镜、移动终端与平板电脑正在执行同一远程辅助任务(如，对工作台上零件甲和零件乙的安装指导)，增强现实眼镜负责拍摄工作台相关的视频信息。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取工作台上零件甲相关的视频信息，同时，该视频信息对应视频帧中包含零件乙；随后，增强现实眼镜并将该视频信息发送至网络设备。网络设备接收该视频信息，通过图像识别获取零件甲和零件乙的初始位置，并根据目标跟踪算法分别计算零件甲和零件乙在视频信息中各视频帧中的第一转移矩阵信息和第三转移矩阵信息，随后，网络设备将该第一转移矩阵信息返回至增强现实眼镜，将第三转移矩阵信息和视频信息发送至移动终端，并将第一转移矩阵信息、第三转移矩阵信息以及视频信息发送至平板电脑。增强现实眼镜接收该第一转移矩阵信息，并在呈现视频信息的同时根据第一转移矩阵信息在视频中对应位置实时叠加显示对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。移动终端接收网络设备发送的第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息。平板电脑接收网络设备发送的第一转移矩阵信息、第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第一转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息。其中，第二用户设备可以根据第二用户的选择操作确定当前第二用户设备的标记信息的对象。

图17示出根据本申请又一个方面的一种基于增强现实进行远程辅助的第三用户设备设备，其中，该设备包括接收模块51和呈现模块52。接收模块51，用于接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；呈现模块52，用于呈现所述视频信息，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括第二用户通过第二用户设备对所述第三目标对象的操作指示信息；其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，第三用户持有移动终端，增强现实眼镜、平板电脑与移动终端通过网络设备(云端)建立了通信连接，且增强现实眼镜、移动终端与平板电脑正在执行同一远程辅助任务(如，对工作台上零件甲和零件乙的安装指导)，增强现实眼镜负责拍摄工作台相关的视频信息。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取工作台上零件甲相关的视频信息，同时，该视频信息对应视频帧中包含零件乙；随后，增强现实眼镜并将该视频信息发送至网络设备。网络设备接收该视频信息，通过图像识别获取零件甲和零件乙的初始位置，并根据目标跟踪算法分别计算零件甲和零件乙在视频信息中各视频帧中的第一转移矩阵信息和第三转移矩阵信息，随后，网络设备将第三转移矩阵信息和视频信息发送至移动终端。移动终端接收网络设备发送的第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息，其中，标记信息包括第二用户对零件乙的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。在另一些实时例中，标记信息还包括移动终端采集的基于第三用户的操作，对目标对象的标记(如画线段、圆圈等)等，或者对平板电脑发送的标记信息的反馈信息等，如在标记信息中提问、画圈圈出文字等；移动终端在呈现视频信息的同时将该辅助标示信息叠加显示在目标对象对应的位置。

图18示出根据本申请又一个方面的一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括接收模块61和呈现模块62。接收模块61，用于接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；呈现模块62，用于呈现所述视频信息，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象，其中，所述第一标记信息包括第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息；其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备将该转移矩阵信息返回至增强现实眼镜，并将转移矩阵信息以及视频信息发送至平板电脑，其中，增强现实眼镜与平板电脑通过网络设备建立通信执行同一远程辅助任务(如，对零件甲的安装指导)。平板电脑接收网络设备发送的转移矩阵信息以及视频信息，在呈现视频信息时，根据转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息。

在一些实施例中，该设备还包括第三标记叠加模块63(未示出)。第三标记叠加模块63，用于接收所述网络设备发送的、所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，并在呈现所述视频信息过程中，根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括所述第二用户通过所述第二用户设备对所述第三目标对象的操作指示信息。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，第三用户持有移动终端，增强现实眼镜、平板电脑与移动终端通过网络设备(云端)建立了通信连接，且增强现实眼镜、移动终端与平板电脑正在执行同一远程辅助任务(如，对工作台上零件甲和零件乙的安装指导)，增强现实眼镜负责拍摄工作台相关的视频信息。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取工作台上零件甲相关的视频信息，同时，该视频信息对应视频帧中包含零件乙；随后，增强现实眼镜并将该视频信息发送至网络设备。网络设备接收该视频信息，通过图像识别获取零件甲和零件乙的初始位置，并根据目标跟踪算法分别计算零件甲和零件乙在视频信息中各视频帧中的第一转移矩阵信息和第三转移矩阵信息，随后，网络设备将第一转移矩阵信息、第三转移矩阵信息以及视频信息发送至平板电脑。平板电脑接收网络设备发送的第一转移矩阵信息、第三转移矩阵信息以及视频信息，在呈现视频信息时，根据第一转移矩阵信息确定零件甲在各视频帧中的位置信息，并在该位置叠加显示关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息，根据第三转移矩阵信息确定零件乙在各视频帧中的位置信息，并在该位置叠加显示关于零件乙的标记信息，如对于零件乙的安装指导信息等操作指示信息其中，标记信息包括第二用户对各零件的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。其中，第二用户设备可以根据第二用户的选择操作确定当前第二用户设备的标记信息的对象。

图19示出根据本申请又一个方面的一种基于增强现实进行远程辅助的网络设备，其中，该设备包括视频接收模块71、目标跟踪模块72、标记添加模块73和视频发送模块74。视频接收模块71，用于接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；目标跟踪模块72，用于通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；标记添加模块73，用于根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息；视频发送模块74，用于将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的第二用户设备。

例如，第一用户持有增强现实眼镜，第二用户持有平板电脑，增强现实眼镜与平板电脑通过网络设备(云端)建立了通信连接。增强现实眼镜对第一目标对象(如操作台上的零件甲)进行实时拍摄，获取零件甲相关的视频信息，并将该视频信息发送至网络设备。网络设备接收该零件甲相关的视频信息，并根据目标跟踪算法确定该零件甲在视频信息中各视频帧中的转移矩阵信息，随后，网络设备根据该转移矩阵信息将零件甲对应的标记信息(如零件甲的指导操作等)添加在各视频帧对应的位置，并将编辑后的视频帧发送至增强现实眼镜和平板电脑，其中，增强现实眼镜与平板电脑通过网络设备建立通信执行同一远程辅助任务(如，对零件甲的安装指导)。增强现实眼镜接收并呈现视频信息，其中，在该视频信息中对应位置实时叠加显示了对应的标记信息，其中，标记信息包括第二用户对零件甲的安装指导信息等操作指示信息，其中，该操作指示信息可以是在平板电脑上生成，也可以是网络设备根据平板电脑上传的关于第二用户的操作生成的。同理，平板电脑接收并呈现视频信息，其中，在该视频信息对应位置叠加显示了关于零件甲的标记信息，如对于零件甲的安装指导信息等操作指示信息。

图20示出了一种基于增强现实进行远程辅助的系统，其中，该系统包括如上所述的包含实时拍摄模块、目标跟踪模块及叠加显示模块的第一用户设备以及如上所述的包含视频接收模块及视频呈现模块的第二用户设备。

图21示出了一种基于增强现实进行远程辅助的系统，其中，该系统包括如上所述的包含实时拍摄模块、视频发送模块、转移矩阵接收模块以及叠加显示模块的第一用户设备，如上所述包含接收模块及呈现模块的第二用户设备，以及如上所述包含视频接收模块、目标跟踪模块、第一发送模块以及第二发送模块的网络设备。

图22示出了一种基于增强现实进行远程辅助的系统，其中，该系统包括如上所述的包含实时拍摄模块、视频发送模块、转移矩阵接收模块以及叠加显示模块的第一用户设备，如上所述的包含接收模块及呈现模块的第二用户设备，如上所述的接收模块、呈现模块的第三用户设备，以及如上所述的包含视频接收模块、目标跟踪模块、第一发送模块以及第二发送模块的网络设备。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图23示出了可被用于实施本申请中所述的各个实施例的示例性系统；

如图23所示在一些实施例中，系统300能够作为各所述实施例中的任意一个基于增强现实进行远程辅助的设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。

对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。

系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。

例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。

(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM，DRAM，SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM，PROM，EPROM，EEPROM)、磁性和铁磁/铁电存储器(MRAM，FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (38)

1.一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

将所述视频信息及所述转移矩阵信息发送至第二用户设备，以供所述第二用户设备在呈现的所述视频信息中对所述目标对象进行目标跟踪；

接收所述第二用户设备发送的、基于第二用户关于所述视频信息中所述目标对象的操作生成的标记信息，其中，所述标记信息包括对应所述第二用户对所述目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息；

根据所述转移矩阵信息，确定所述目标对象在各视频帧中的位置，并将所述标记信息叠加显示于所述目标对象对应的位置。

2.根据权利要求1所述的方法，其中，所述方法还包括：

接收所述第二用户设备发送的、所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息。

3.根据权利要求2所述的方法，其中，所述方法还包括：

接收所述第二用户设备发送的、所述第二用户对所述摄像装置的摄像控制指令信息；

根据所述摄像控制指令信息调整所述摄像装置的摄像参数信息；

通过调整后的所述摄像装置实时拍摄关于所述目标对象的视频信息；

将通过所述调整后的摄像装置拍摄的所述视频信息发送至所述第二用户设备。

4.根据权利要求1所述的方法，其中，所述标记信息还包括第一用户通过所述第一用户设备对所述目标对象标示的辅助标示信息。

5.根据权利要求1所述的方法，其中，所述目标对象包括在讨论的纸件文档；所述第二用户对所述目标对象的操作指示信息包括所述第二用户对所述在讨论的纸件文档在所述视频帧中的一个或多个标注位置信息。

6.根据权利要求5所述的方法，其中，所述根据所述转移矩阵信息，将对应的标记信息叠加显示于所述目标对象，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息，包括：

根据所述一个或多个标注位置信息生成渲染标记信息；

根据所述转移矩阵信息，将所述渲染标记信息叠加显示于所述目标对象。

7.根据权利要求1至6中任一项所述的方法，其中，所述方法在通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，之前还包括：

通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息；

将所述图像信息发送至对应的第二用户设备；

接收关于所述目标对象的标记信息，其中，所述标记信息包括所述第二用户设备发送的、第二用户对所述图像信息中所述目标对象的操作指示信息；

将所述标记信息叠加显示于所述目标对象。

8.一种在第二用户设备端用于基于增强现实进行远程辅助的方法，其中，该方法包括：

接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，及所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

呈现所述视频信息，根据第二用户关于所述视频信息中所述目标对象的操作生成对应的标记信息，并根据所述转移矩阵信息确定所述目标对象在各视频帧中的位置，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象对应的位置，其中，所述标记信息包括所述第二用户通过所述第二用户设备对所述目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息；

将所述标记信息发送至所述第一用户设备。

9.根据权利要求8所述的方法，其中，所述方法还包括：

获取所述第二用户基于所述视频信息对所述目标对象的继续操作指示信息；

将所述继续操作指示信息发送至所述第一用户设备。

10.根据权利要求8所述的方法，其中，所述方法还包括：

根据所述第二用户通过第二用户设备执行的摄像控制操作，生成所述第二用户对所述摄像装置的摄像控制指令信息，其中，所述摄像控制指令信息用于调整所述摄像装置的摄像参数信息；

将所述摄像控制指令信息发送至所述第一用户设备；

接收所述第一用户设备发送的、通过所述调整后的摄像装置拍摄的所述视频信息。

11.根据权利要求8至10中任一项所述的方法，其中，所述方法在接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，之前还包括：

接收并呈现所述第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息；

获取所述第二用户对所述图像信息中所述目标对象的操作指示信息；

将所述操作指示信息发送至所述第一用户设备；

将所述操作指示信息叠加显示于所述图像信息中所述目标对象。

12.一种在第一用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；

将所述视频信息发送至对应的网络设备；

接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，其中，所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息是所述网络设备通过对所述视频信息中的所述第一目标对象执行目标跟踪操作确定的；

根据所述第一转移矩阵信息，确定所述第一目标对象在各视频帧中位置，并将对应的第一标记信息叠加显示于所述第一目标对象对应的位置，其中，所述第一标记信息由第二用户设备基于第二用户关于所述视频信息中所述第一目标对象的操作生成，所述第一标记信息包括所述第二用户设备发送的、所述第二用户对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第一目标对象的虚拟操作信息或标注位置信息。

13.一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；

通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

将所述第一转移矩阵信息发送至所述第一用户设备；

将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备，以供所述第二用户设备在呈现的所述视频信息中对所述目标对象进行目标跟踪，并基于第二用户关于所述视频信息中所述第一目标对象的操作生成标记信息，其中，所述标记信息包括所述第二用户设备发送的、所述第二用户对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息。

14.根据权利要求13所述的方法，其中，所述通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，包括：

根据所述视频信息及所述第一目标对象的其它视频信息重建所述第一目标对象的视频信息；

通过对重建后的所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息。

15.根据权利要求13所述的方法，其中，所述方法还包括：

通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务；

将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备；

其中，所述将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备，包括：

将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。

16.一种在第三用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述关于第三目标对象的视频信息是由第一用户设备发送给所述网络设备的，所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息是所述网络设备通过对所述视频信息中的所述第三目标对象执行目标跟踪操作确定的；

呈现所述视频信息，并根据所述第三转移矩阵信息，确定所述第三目标对象在各视频帧中的位置，并将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象对应的位置，其中，所述第三标记信息由第二用户设备基于第二用户关于所述视频信息中所述第三目标对象的操作生成，所述第三标记信息包括所述第二用户通过所述第二用户设备对所述第三目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第三目标对象的虚拟操作信息或标注位置信息；

其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

17.一种在第二用户设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

呈现所述视频信息，根据第二用户关于所述视频信息中所述第一目标对象的操作生成对应的第一标记信息，并根据所述第一转移矩阵信息，确定所述第一目标对象在各视频帧中的位置，并将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象对应的位置，其中，所述第一标记信息包括所述第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第一目标对象的虚拟操作信息或标注位置信息；

将所述第一标记信息发送至第一用户设备；

其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

18.根据权利要求17所述的方法，其中，所述方法还包括：

接收所述网络设备发送的、第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息；

在呈现所述视频信息过程中，根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象，其中，所述第三标记信息包括所述第二用户通过所述第二用户设备对所述第三目标对象的操作指示信息。

19.一种在网络设备端基于增强现实进行远程辅助的方法，其中，该方法包括：

接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；

通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象对应的位置，所述标记信息由第二用户设备基于第二用户关于所述视频信息中所述目标对象的操作生成，所述标记信息包括所述第二用户设备发送的、所述第二用户对所述目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息；

将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的所述第二用户设备。

20.一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

所述第一用户设备将所述视频信息及所述转移矩阵信息发送至第二用户设备，以供所述第二用户设备在呈现的所述视频信息中对所述目标对象进行目标跟踪；

所述第二用户设备接收并呈现所述视频信息，根据第二用户关于所述视频信息中所述目标对象的操作生成对应的标记信息，并根据所述转移矩阵信息确定所述目标对象在各视频帧中的位置，并保持所述标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象对应的位置，其中，所述标记信息包括所述第二用户通过所述第二用户设备对所述目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息；

所述第一用户设备根据所述转移矩阵信息，确定所述目标对象在各视频帧中的位置，并将对应的标记信息叠加显示于所述目标对象对应的位置，其中，所述标记信息包括对应第二用户设备发送的、第二用户对所述目标对象的操作指示信息。

21.一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息，并将所述视频信息发送至对应的网络设备；

所述网络设备接收所述视频信息，通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，将所述第一转移矩阵信息发送至所述第一用户设备，将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备；

所述第二用户设备接收所述视频信息及所述第一转移矩阵信息，并呈现所述视频信息，并根据所述第一转移矩阵信息，确定所述目标对象在各视频帧中的位置，并将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象对应的位置，其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的；

所述第一用户设备接收所述第一转移矩阵信息及所述第一标记信息，根据所述第一转移矩阵信息，确定所述第一目标对象在各视频帧中的位置，并将所述第一标记信息叠加显示于所述第一目标对象对应的位置，其中，所述第一标记信息包括所述第二用户设备发送的、所述第二用户对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第一目标对象的虚拟操作信息或标注位置信息。

22.一种基于增强现实进行远程辅助的方法，其中，该方法包括：

第一用户设备通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息，并将所述视频信息发送至对应的网络设备；

所述网络设备接收所述视频信息，通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，并将所述第一转移矩阵信息发送至所述第一用户设备；

所述第一用户设备接收所述第一转移矩阵信息，确定所述第一目标对象在各视频帧中的位置，并根据所述第一转移矩阵信息，将对应的第一标记信息叠加显示于所述第一目标对象对应的位置，其中，所述第一标记信息由第二用户设备基于第二用户关于所述视频信息中所述第一目标对象的操作生成，所述第一标记信息包括所述第二用户设备发送的、所述第二用户对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第一目标对象的虚拟操作信息或标注位置信息；

所述网络设备通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务；

所述网络设备将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备，将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备；

所述第三用户设备接收所述视频信息及所述第三转移矩阵信息；

所述第三用户设备呈现所述视频信息，确定所述第三目标对象在各视频帧中的位置，并根据所述第三转移矩阵信息，将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象对应的位置，其中，所述第三标记信息由所述第二用户设备基于所述第二用户关于所述视频信息中所述第三目标对象的操作生成，所述第三标记信息包括所述第二用户设备发送的、所述第二用户对所述第三目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第三目标对象的虚拟操作信息或标注位置信息；

所述第二用户设备接收所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息，根据所述第二用户关于所述视频信息中所述第一目标对象的操作生成对应的第一标记信息，根据所述第二用户关于所述视频信息中所述第三目标对象的操作生成对应的第三标记信息，并在呈现所述视频信息过程中，根据所述第一转移矩阵信息，将所述第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象对应的位置，根据所述第三转移矩阵信息，将所述第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象对应的位置。

23.一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括：

实时拍摄模块，用于通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息；

目标跟踪模块，用于通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；将所述视频信息及所述转移矩阵信息发送至第二用户设备，以供所述第二用户设备在呈现的所述视频信息中对所述目标对象进行目标跟踪；接收所述第二用户设备发送的、基于第二用户关于所述视频信息中所述目标对象的操作生成的标记信息，其中，所述标记信息包括对应所述第二用户对所述目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息；

叠加显示模块，用于根据所述转移矩阵信息，确定所述目标对象在各视频帧中的位置，并将所述标记信息叠加显示于所述目标对象对应的位置。

24.根据权利要求23所述的设备，其中，所述设备还包括摄像控制模块，该摄像控制模块用于：

接收所述第二用户设备发送的、所述第二用户对所述摄像装置的摄像控制指令信息；

根据所述摄像控制指令信息调整所述摄像装置的摄像参数信息；

通过调整后的所述摄像装置实时拍摄关于所述目标对象的视频信息；

将通过所述调整后的摄像装置拍摄的所述视频信息发送至所述第二用户设备。

25.根据权利要求23或24所述的设备，其中，所述设备还包括标记获取模块，该标记获取模块用于：

通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的图像信息；

将所述图像信息发送至对应的第二用户设备；

接收关于所述目标对象的标记信息，其中，所述标记信息包括所述第二用户设备发送的、第二用户对所述图像信息中所述目标对象的操作指示信息；

将所述标记信息叠加显示于所述目标对象。

26.一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括：

视频接收模块，用于接收对应第一用户设备发送的、通过所述第一用户设备中的摄像装置实时拍摄关于目标对象的视频信息，及所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

视频呈现模块，用于呈现所述视频信息，根据第二用户关于所述视频信息中所述目标对象的操作生成对应的标记信息，并根据所述转移矩阵信息确定所述目标对象在各视频帧中的位置，并保持对应的标记信息叠加显示于所述视频信息的各视频帧中的所述目标对象对应的位置，其中，所述标记信息包括所述第二用户通过所述第二用户设备对所述目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息；将所述标记信息发送至所述第一用户设备。

27.一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括：

实时拍摄模块，用于通过所述第一用户设备中的摄像装置实时拍摄关于第一目标对象的视频信息；

视频发送模块，用于将所述视频信息发送至对应的网络设备；

转移矩阵接收模块，用于接收所述网络设备发送的、所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息，其中，所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息是所述网络设备通过对所述视频信息中的所述第一目标对象执行目标跟踪操作确定的；

叠加显示模块，用于根据所述第一转移矩阵信息，确定所述第一目标对象在各视频帧中位置，并将对应的第一标记信息叠加显示于所述第一目标对象对应的位置，其中，所述第一标记信息包括由第二用户设备基于第二用户关于所述视频信息中所述第一目标对象的操作生成，所述第一标记信息包括所述第二用户设备发送的、所述第二用户对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第一目标对象的虚拟操作信息或标注位置信息。

28.一种基于增强现实进行远程辅助的网络设备，其中，该设备包括：

视频接收模块，用于接收第一用户设备发送的关于第一目标对象的视频信息，其中，所述视频信息是通过所述第一用户设备中的摄像装置实时拍摄的；

目标跟踪模块，用于通过对所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

第一发送模块，用于将所述第一转移矩阵信息发送至所述第一用户设备；

第二发送模块，用于将所述视频信息及所述第一转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备，以供所述第二用户设备在呈现的所述视频信息中对所述目标对象进行目标跟踪，并基于第二用户关于所述视频信息中所述第一目标对象的操作生成标记信息，其中，所述标记信息包括所述第二用户设备发送的、所述第二用户对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息。

29.根据权利要求28所述的设备，其中，所述目标跟踪模块用于：

根据所述视频信息及所述第一目标对象的其它视频信息重建所述第一目标对象的视频信息；

通过对重建后的所述视频信息中的所述第一目标对象执行目标跟踪操作，确定所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息。

30.根据权利要求28所述的设备，其中，所述设备还包括第三发送模块，该第三发送模块用于：

通过对所述视频信息中的第三目标对象执行目标跟踪操作，确定所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述第三目标对象与所述第一目标对象属于同一远程辅助任务；

将所述视频信息及所述第三转移矩阵信息发送至所述远程辅助任务中与所述第三目标对象相对应的第三用户设备；

其中，所述第二发送模块用于：

将所述视频信息及所述第一转移矩阵信息、所述第三转移矩阵信息发送至与所述第一用户设备属于同一远程辅助任务的第二用户设备。

31.一种基于增强现实进行远程辅助的第三用户设备，其中，该设备包括：

接收模块，用于接收对应网络设备发送的、关于第三目标对象的视频信息及所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息，其中，所述关于第三目标对象的视频信息是由第一用户设备发送给所述网络设备的，所述第三目标对象在所述视频信息的各视频帧中对应的第三转移矩阵信息是所述网络设备通过对所述视频信息中的所述第三目标对象执行目标跟踪操作确定的；

呈现模块，用于呈现所述视频信息，并根据所述第三转移矩阵信息，确定所述第三目标对象在各视频帧中的位置，并将对应的第三标记信息叠加显示于所述视频信息的各视频帧中的所述第三目标对象对应的位置，其中，所述第三标记信息由第二用户设备基于第二用户关于所述视频信息中所述第三目标对象的操作生成，所述第三标记信息包括所述第二用户通过所述第二用户设备对所述第三目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第三目标对象的虚拟操作信息或标注位置信息；

其中，所述视频信息是通过第一用户设备中的摄像装置实时拍摄的，所述第一用户设备、所述第三用户设备与所述第二用户设备属于同一远程辅助任务，并分别接受所述第二用户设备的远程辅助。

32.一种基于增强现实进行远程辅助的第二用户设备，其中，该设备包括：

接收模块，用于接收对应网络设备发送的、关于第一目标对象的视频信息及所述第一目标对象在所述视频信息的各视频帧中对应的第一转移矩阵信息；

呈现模块，用于呈现所述视频信息，根据第二用户关于所述视频信息中所述第一目标对象的操作生成对应的第一标记信息，并根据所述第一转移矩阵信息，确定所述第一目标对象在各视频帧中的位置，并将对应的第一标记信息叠加显示于所述视频信息的各视频帧中的所述第一目标对象对应的位置，其中，所述第一标记信息包括所述第二用户通过所述第二用户设备对所述第一目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述第一目标对象的虚拟操作信息或标注位置信息；将所述第一标记信息发送至第一用户设备；

其中，所述视频信息是通过与所述第二用户设备属于同一远程辅助任务的第一用户设备中的摄像装置实时拍摄的，或者是基于所述摄像装置所拍摄的关于所述第一目标对象的实时视频信息及所述第一目标对象的其他视频信息重建的。

33.一种基于增强现实进行远程辅助的网络设备，其中，该设备包括：

视频接收模块，用于接收第一用户设备发送的关于目标对象的视频信息，其中，所述视频信息包括通过所述第一用户设备中的摄像装置所拍摄的；

目标跟踪模块，用于通过对所述视频信息中的所述目标对象执行目标跟踪操作，确定所述目标对象在所述视频信息的各视频帧中对应的转移矩阵信息；

标记添加模块，用于根据所述转移矩阵信息将对应的标记信息添加至所述视频信息中的各视频帧，其中，所述标记信息保持叠加于所述视频信息的各视频帧中的所述目标对象对应的位置，所述标记信息由第二用户设备基于第二用户关于所述视频信息中所述目标对象的操作生成，所述标记信息包括所述第二用户设备发送的、所述第二用户对所述目标对象的操作指示信息，所述操作指示信息包括所述第二用户设备识别的关于所述目标对象的虚拟操作信息或标注位置信息；

视频发送模块，用于将编辑后的所述视频信息发送至第一用户设备，以及与所述第一用户设备属于同一远程辅助任务的所述第二用户设备。

34.一种基于增强现实进行远程辅助的系统，其中，该系统包括如权利要求23至25中任一项所述的第一用户设备和权利要求26所述的第二用户设备。

35.一种基于增强现实进行远程辅助的系统，其中，该系统包括如权利要求27所述的第一用户设备、如权利要求32所述的第二用户设备以及权利要求28至30中任一项所述的网络设备。

36.一种基于增强现实进行远程辅助的系统，其中，该系统包括如权利要求27所述的第一用户设备、如权利要求32所述的第二用户设备、如权利要求31所述的第三用户设备以及如权利要求28至30中任一项所述的网络设备。

37.一种基于增强现实进行远程辅助的第一用户设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至19中任一项所述方法的操作。

38.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至19中任一项所述方法的操作。

Images