CN110751735A - 一种基于增强现实的远程指导的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种基于增强现实的远程指导的方法与设备，该方法包括：获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；将所述指导信息发送至所述第二用户所使用的增强现实设备。本申请对网络要求较低，能够节约网络带宽，提高刷新率，相比于现有技术中网络较差时的远程协作处理方式，指导方能够获得现场更多细节，能提高效率和准确率。

Description

一种基于增强现实的远程指导的方法与设备

技术领域

本申请涉及通信领域，尤其涉及一种基于增强现实的远程指导的技术。

背景技术

现有技术中，远程协作是基于音视频通讯，通过增强现实的展示方式，远端的指导员对本地端的操作员进行远程的技术指导(例如，标注、涂鸦)，音视频通讯占用网络带宽，视频帧率一般介于15-24帧之间，可能存在影响视频画面的稳定性的问题。在网络较差时，现有的远程协作方法，会降低视频帧率、分辨率、视频质量等，或者直接关闭视频，用音频来进行远程协助，这种方式指导方并不能准确的把握被指导方现场的环境，给指导带来了障碍，使得指导效率下降，甚至达不到指导的效果，或者，发送现场图像到远端，远端指导者可以基于现场图像用涂鸦、标注等的方式来指导前方，配合语音指导，这样能提高效率和准确率，对网络要求较低，然而，在远程协作中，这种基于现场单张图像进行远程协作的方式，缺少对被指导方现场的把握。

发明内容

本申请的一个目的是提供一种基于增强现实的远程指导的方法与设备。

根据本申请的一个方面，提供了一种基于增强现实的远程指导的方法，应用于第一用户设备，该方法包括：

获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

将所述指导信息发送至所述第二用户所使用的增强现实设备。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于增强现实设备，该方法包括：

接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；

将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于网络设备，该方法包括：

获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；

将所述三维对象模型发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于网络设备，该方法包括：

获取第二用户的当前操作对象的三维对象模型或三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

将所述三维对象模型或所述三维重建信息发送至第一用户。

根据本申请的一个方面，提供了一种基于增强现实的远程指导的第一用户设备，该设备包括：

一一模块，用于获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

一二模块，用于响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

一三模块，用于响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

一四模块，用于将所述指导信息发送至所述第二用户所使用的增强现实设备。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的增强现实设备，该设备包括：

二一模块，用于接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；

二二模块，用于将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的网络设备，该设备包括：

三一模块，用于获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

三二模块，用于根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；

三三模块，用于将所述三维对象模型发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的网络设备，该设备包括：

四一模块，用于获取第二用户的当前操作对象的三维对象模型或三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

四二模块，用于将所述三维对象模型或所述三维重建信息发送至第一用户。

根据本申请的一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如下操作：

获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

将所述指导信息发送至所述第二用户所使用的增强现实设备。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如下操作：

接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；

将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如下操作：

获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；

将所述三维对象模型发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如下操作：

获取第二用户的当前操作对象的三维对象模型或三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

将所述三维对象模型或所述三维重建信息发送至第一用户。

根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如下操作：

获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

将所述指导信息发送至所述第二用户所使用的增强现实设备。

根据本申请的另一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如下操作：

接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；

将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

根据本申请的另一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如下操作：

获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；

将所述三维对象模型发送至第一用户。

根据本申请的另一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如下操作：

获取第二用户的当前操作对象的三维对象模型或三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

将所述三维对象模型或所述三维重建信息发送至第一用户。

与现有技术相比，本申请通过对被指导方现场场景进行三维重建，远端指导方利用三维重建生成的三维对象模型，来获得前方被指导方的视野，然后可以利用标注、涂鸦等指导方式来指导被指导方对现场场景进行操作，以解决现场问题。相比于基于音视频通讯的远程指导方式，本方案对网络要求较低，能够节约网络带宽，提高刷新率；相比于现有技术中网络较差时的远程协作处理方式，指导方能够获得被指导方现场更多细节，能提高效率和准确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个实施例的一种应用于第一用户设备基于增强现实的远程指导的方法流程图；

图2示出根据本申请一个实施例的一种应用于增强现实设备基于增强现实的远程指导的方法流程图；

图3示出根据本申请一个实施例的一种应用于网络设备基于增强现实的远程指导的方法流程图；

图4示出根据本申请一个实施例的一种应用于网络设备基于增强现实的远程指导的方法流程图；

图5示出根据本申请一个实施例的一种基于增强现实的远程指导的系统拓扑图；

图6示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图；

图7示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图；

图8示出根据本申请一个实施例的一种基于增强现实的远程指导的第一用户设备结构图；

图9示出根据本申请一个实施例的一种基于增强现实的远程指导的增强现实设备结构图；

图10示出根据本申请一个实施例的一种基于增强现实的远程指导的网络设备结构图；

图11示出根据本申请一个实施例的一种基于增强现实的远程指导的网络设备结构图；

图12示出可被用于实施本申请中所述各个实施例的示例性系统。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

图1示出了根据本申请一个实施例的一种应用于第一用户设备基于增强现实的远程指导的方法流程图，该方法包括步骤S11、步骤S12、步骤S13和步骤S14。在步骤S11中，第一用户设备获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；在步骤S12中，第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；在步骤S13中，第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；在步骤S14中，第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备。

在步骤S11中，第一用户设备获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作。在一些实施例中，第一用户是远程协作的指导方，第二用户是远程协作的被指导方，三维对象模型的获取方式包括但不限于从服务器或第二用户获取三维对象模型(例如，响应于第一用户发送的获取三维对象模型的请求，服务器或第二用户端将该模型作为该请求的响应数据返回至第一用户)、服务器或第二用户建模完成后自动发送三维对象模型至第一用户、服务器或第二用户定期发送三维对象模型至第一用户、服务器或第二用户端网络满足预设条件时发送三维对象模型至第一用户、第一用户本地完成建模、从其他用户获取三维对象模型等，其中，服务器上的三维对象模型的获取方式包括但不限于第二用户设备或其他用户设备建模完成后将三维对象模型发送至服务器、第二用户设备或其他用户设备将建模所需要的三维重建信息发送至服务器并在服务器上进行建模生成三维对象模型。第二用户的当前操作对象包括但不限于第二用户所在的整个现场场景或某个待指导的部分现场场景，三维对象模型是基于第二用户的现场场景进行三维重建后生成的。在一些实施例中，三维重建可以是利用RGB摄像头拍摄一个场景的多角度照片，利用SFM等算法合成场景的三维模型；也可以加入深度摄像头等获取深度的传感器或测距仪等，提高三维重建的精度和重建速度。在一些实施例中，三维重建可以是利用双目或多目摄像头拍摄一个场景的多角度照片，合成场景的三维模型。在一些实施例中，三维重建可以是利用深度传感设备拍摄一个场景的多角度照片，合成场景的三维模型。在一些实施例中，三维重建可以利用场景扫描设备(例如，3D激光扫描仪)扫描场景信息合成场景的三维模型。三维重建的方法包括但不限于被动式三维重建和主动式三维重建。其中，被动式三维重建包括纹理恢复形状方法、阴影恢复形状方法和立体视觉方法等(主要包括通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等方式)；主动式三维重建包括莫尔条纹法、飞行时间法、结构光法和三角测距法等。当然，本领域技术人员应能理解上述三维重建方法仅为举例，其他现有的或今后可能出现的三维重建方法(例如，基于深度学习的三维重建方法等)如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在步骤S12中，第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型。在一些实施例中，触发事件包括但不限于第一用户与第二用户之间的端到端通信满足弱网条件或任一用户端满足弱网条件、第一用户或第二用户为了节约带宽等原因自己选择进入基于三维对象模型的指导模式、双方建立通信后(例如打开应用后)直接进入基于三维对象模型的指导模式、获取第二用户的当前操作对象的三维对象模型后第一用户进入基于三维对象模型的指导模式，第一用户通过在第一用户设备的屏幕上呈现三维对象模型，来获得第二用户的视野，可以近似做到两地的“全息”场景通信。相比于现有的音视频协助方式，本方案可以极大的降低带宽需求，对网络要求很低，还能够提高刷新率。需要说明的是，步骤S11和步骤S12之间并无先后顺序，例如，第一用户设备先获取并存储第二用户的当前操作对象的三维对象模型，然后响应于基于三维对象模型进行指导的触发事件，然后再呈现三维对象模型。又如，第一用户设备响应于基于三维对象模型进行指导的触发事件，然后获取并存储第二用户的当前操作对象的三维对象模型，然后再呈现三维对象模型。

在步骤S13中，第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息。在一些实施例中，指导操作包括但不限于标注、涂鸦等，指导操作的内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色、以及指导操作对应的类型(标注、涂鸦等)等，指导信息包括但不限于指导操作对应的指导位置，还可以包括指导操作对应的指导内容。例如，响应于第一用户基于三维对象模型的标注操作，生成标注操作对应的指导信息，其中，指导信息包括标注使用的3D模型和标注位置。

在步骤S14中，第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备。在一些实施例中，增强现实设备包括但不限于AR眼镜、手机、平板、电脑、带有摄像头的设备、外接摄像头的设备、含有深度传感设备的设备以及外接深度传感设备的设备等，第二用户根据接收到的指导信息，对现场场景进行操作，以解决现场问题。其中，深度传感设备包括但不限于基于主动立体成像(ACTIVE STEREO)、被动立体成像(PASSIVESTEREO)、结构光(OCCLUSION SHADOWS)、飞行时间(TIME OF FLIGHT)等成像原理的设备、场景扫描设备等，场景扫描设备包括3D激光扫描仪、测距仪、超声、激光雷达、红外等。

本申请通过对第二用户的现场场景进行三维重建，第一用户利用三维重建生成的三维对象模型，来获得第二用户的视野，然后可以利用标注、涂鸦等指导方式来指导第二用户对现场场景进行操作，以解决现场问题。相比于基于音视频通讯的远程指导方式，本方案对网络要求较低，能够节约网络带宽，提高刷新率；相比于现有技术中网络较差时的处理方式，指导方能够获得现场更多细节，能提高效率和准确率。

在一些实施例中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：接收并存储网络设备或第二用户发送的、第二用户的当前操作对象的三维对象模型。在一些实施例中，三维对象模型是在服务器中通过对第二用户的现场场景进行三维重建生成的，然后发送给第一用户设备。在一些实施例中，三维对象模型是其他设备发送至服务器中的，然后服务器发送给第一用户设备。在一些实施例中，三维对象模型是其他设备发送至第二用户使用的增强现实设备中的，然后第二用户使用的增强现实设备发送给第一用户设备。在一些实施例中，三维对象模型是在第二用户使用的增强现实设备中通过对第二用户的现场场景进行三维重建生成的，然后发送给第一用户设备。在一些实施例中，三维对象模型是在第二用户使用的增强现实设备中通过对第二用户的现场场景进行三维重建生成的，然后第二用户将三维对象模型发送至服务器，然后通过服务器发送给第一用户设备。其中，所述将三维对象模型发送给第一用户设备，可以是第一用户主动向服务器/第二用户使用的增强现实设备发出请求获取三维对象模型，也可以服务器/第二用户使用的增强现实设备主动发送三维对象模型至第一用户，例如服务器/第二用户使用的增强现实设备定期主动发送三维对象模型至第一用户，或者服务器/第二用户使用的增强现实设备三维重建生成三维对象模型后，主动发送至第一用户，或者服务器/第二用户使用的增强现实设备网络满足预设条件时发送三维对象模型至第一用户。例如，第二用户通过RGB摄像头拍摄第二用户的工作场景，将多个角度的视频帧发送到服务器上，在服务器上利用三维重建算法，对该工作场景进行三维重建生成三维对象模型，然后将三维对象模型发送至第一用户。

在一些实施例中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：接收所述第二用户或网络设备发送的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；根据所述三维重建信息，生成并存储所述第二用户的当前操作对象的三维对象模型。在一些实施例中，三维重建信息包括但不限于通过RGB摄像头拍摄的第二用户的现场场景的照片，通过深度摄像头等深度传感设备获取的深度信息等。例如，第二用户利用RGB摄像头对第二用户的工作场景进行拍摄，将多个角度的照片发送至第一用户，在第一用户设备上利用三维重建算法，进行三维重建生成三维对象模型。例如，第二用户利用双目或多目摄像头对第二用户的工作场景进行拍摄，将多个角度的照片发送至第一用户，在第一用户设备上利用三维重建算法，进行三维重建生成三维对象模型。例如，第二用户利用深度传感设备对第二用户的工作场景进行拍摄，将多个角度的照片发送至第一用户，在第一用户设备上合成三维对象模型。例如，第二用户利用场景扫描设备(例如，3D激光扫描仪)扫描场景信息，发送给第一用户，在第一用户设备上合成场景的三维对象模型。又例如，第二用户利用RGB摄像头对第二用户的工作场景进行拍摄，将多个角度的照片发送至网络设备，网络设备再将该信息发送给第一用户，在第一用户设备上利用三维重建算法，进行三维重建生成三维对象模型。又例如，其他用户设备获取第二用户的三维重建信息，发送给第二用户使用的增强现实设备或网络设备，第二用户使用的增强现实设备或网络设备再将该信息发送给第一用户，在第一用户设备上利用三维重建算法，进行三维重建生成三维对象模型。等等。本申请中，第二用户发送信息给第一用户，包括第二用户直接发送信息给第一用户，也包括第二用户将信息发送至服务器，再由服务器发送给第一用户。

在一些实施例中，所述触发事件包括但不限于：

1)所述第一用户与所述第二用户之间的当前网络条件不满足预定的视频通信所需要的网络条件

例如，当前可用带宽信息低于或等于预定的带宽阈值信息；当前丢包率信息大于或等于预定的丢包率阈值信息；当前视频帧率信息低于或等于预定的视频帧率阈值信息等。

2)所述第一用户发出用于呈现所述三维对象模型的第一呈现指令

例如，第一用户主动切换至基于三维对象模型的远程辅助模式。

3)接收所述第二用户发送的用于呈现所述三维对象模型的第二呈现指令

例如，接收第二用户主动切换至基于三维对象模型的远程辅助模式的指令。

4)所述第一用户与所述第二用户之间建立通信连接

例如，第一用户和第二用户之间的通信连接建立成功后，直接进入基于三维对象模型的远程辅助模式，而不需要从其他模式切换。

5)所述第一用户获取所述第二用户的当前操作对象的三维对象模型

例如，第一用户接收第二用户使用的增强现实设备或服务器发送的第二用户的现场场景的三维对象模型后，直接进入基于三维对象模型的远程辅助模式，或者，第一用户接收第二用户使用的增强现实设备或服务器发送的第二用户的现场场景的三维重建信息，根据三维重建信息并利用三维重建算法，进行三维重建生成三维对象模型后，直接进入基于三维对象模型的远程辅助模式。

6)以上所述触发事件的任意组合

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述方法还包括：第一用户设备接收所述第二用户发送的调整视角指令，其中，所述调整视角指令包括所述第二用户所使用的增强现实设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在一些实施例中，第二用户利用位姿确定方法(比如，基于滤波的SLAM算法：基于EKF的MonoSLAM；基于非线性优化的SLAM算法：PTAM(Parallel Trackingand Mapping)；基于直接法的SLAM算法：LSD-SLAM、SVO；基于特征的SLAM算法：ORB_SLAM；基于深度学习的SLAM算法：CNN-SLAM、LIFT(Learned Invariant Feature Transform)、UnDeepVO；多传感融合的SLAM算法：融合视觉与惯性导航的VINS-fusion；等其它位姿确定方法)，实时将第二用户使用的增强现实设备在现实场景中的位置和姿态发送到第一用户，第一用户根据接收到的第二用户使用的增强现实设备的位姿信息，实时切换观察三维对象模型的视角，使得两方看到的场景视野一致，因此，远端指导方在没有收到被指导方实时现场视频的情况下，也能通过看静态3D场景模型来达到近似于看视频的效果。当然，本领域技术人员应能理解上述位姿确定方法仅为举例，其他现有的或今后可能出现的位姿确定方法(例如，基于陀螺仪、惯性测量单元、GPS、WIFI等传感设备的方法)如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容。在一些实施例中，指导操作对应的指导位置包括但不限于标注或涂鸦位置的像素坐标，指导操作对应的指导内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色等，优选地，指导内容还可以包括指导类型，例如标注或者涂鸦，也可以不包括指导类型，例如一开始确定所有指导类型都是标注，或者都是涂鸦。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括所述指导操作对应的指导位置在所述三维对象模型中的模型坐标，或者，所述指导信息包括所述指导位置在所述三维对象模型中的模型坐标和所述指导操作对应的指导内容。在一些实施例中，第一用户也可以不跟随第二用户的镜头，第一用户端可以利用识别、跟踪、SLAM等环境理解技术或渲染技术，将远端的三维对象模型放置在自己的场景中，第一用户可以自己随意观察前方静态建模的场景，跟第二用户看的视野不同步，其中，指导信息包括但不限于标注或涂鸦位置对应的在三维对象模型中的模型坐标。其中，SLAM该类算法主要用于机器人领域，让机器人在未知场景中从未知地点开始运动，通过运动时传感器(一般指摄像头)采集到的数据，对整个环境进行地图构建，并推导出机器人自身在该场景中的空间定位、姿态。SLAM算法创建三维世界点云时，可以实时计算出二维视频中每张图像帧对应的相机位姿。当然，本领域技术人员应能理解上述环境理解技术仅为举例，其他现有的或今后可能出现的环境理解技术如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，所述三维对象模型叠加显示在所述第一用户的当前场景中的固定位置；其中，所述方法还包括：第一用户设备响应于所述第一用户的调整位姿信息的操作，获取所述第一用户设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在一些实施例中，第一用户可以将三维场景模型叠加在第一用户的当前真实场景的固定位置(比如，通过识别识别图的方式将三维对象模型叠加显示在第一用户当前场景中的识别图上)，然后通过改变第一用户设备在第一用户场景中的位置和姿态，例如移动第一用户设备，以调整第一用户设备的实时位姿，通过调整第一用户设备的实时位姿，第一用户能够查看三维对象模型的不同视角，其中，第一用户设备的实时位姿可以是通过SLAM算法等其它位姿确定方法获取的。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述第一用户设备的实时位姿信息以及所述指导位置，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在一些实施例中，第一用户在屏幕上进行标注、涂鸦，根据在屏幕中的点击位置(例如，像素坐标)和第一用户设备中相机的实时位姿，可以获得该标注点在第一用户世界坐标系中的世界坐标(例如，根据相机位姿，将像素坐标转换到世界坐标系中，得到一条射线，并获得该射线与世界坐标系中三维对象模型上最近的交点，即获得该标注点对应的世界坐标；将像素坐标转换到相机坐标系中，得到一条射线，并获得该射线与相机坐标系中三维对象模型上最近的交点，最后根据相机位姿获得该交点对应的世界坐标)，然后可以获得该世界坐标对应的在三维对象模型中模型坐标(根据三维对象模型的坐标系和世界坐标系的转换公式，即某个点在三维对象模型坐标系下的坐标和世界坐标系中坐标的转换关系，该转换关系在世界坐标系中放置三维对象模型时已知)，然后将该模型坐标发送至第二用户，其中，三维对象模型坐标系可以是以三维对象模型中心点为原点，以右手法则建立的三维坐标系。

在一些实施例中，所述三维对象模型基于三维渲染引擎显示在所述第一用户设备的屏幕中；其中，所述方法还包括：第一用户设备响应于所述第一用户的调整所述三维对象模型在所述第一用户设备的屏幕中的显示信息的操作，调整所述第一用户观看所述三维对象模型的视角信息。在一些实施例中，第一用户设备通过三维渲染引擎将三维对象模型显示在屏幕中，第一用户可以在屏幕上通过拖拽等方式查看三维对象模型的不同视角，可选地，第一用户的调整操作包括对三维对象模型进行缩放。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述指导位置以及渲染引擎对应的虚拟相机的实时位姿信息，确定所述指导位置在所述三维渲染引擎中的世界坐标；根据所述指导位置在所述三维渲染引擎中的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在一些实施例中，第一用户在屏幕上进行标注、涂鸦，根据在屏幕中的点击位置(例如，像素坐标)，可以获得该标注点在三维渲染引擎世界坐标系中的世界坐标(例如，根据三维渲染引擎中的虚拟相机位姿，将像素坐标转换到三维渲染引擎世界坐标系中，得到一条射线，并获得该射线与三维渲染引擎世界坐标系中三维对象模型上最近的交点，即获得该标注点对应的在三维渲染引擎中的世界坐标；将像素坐标转换到三维渲染引擎对应的虚拟相机坐标系中，得到一条射线，并获得该射线与虚拟相机坐标系中三维对象模型上最近的交点，最后根据虚拟相机位姿获得该交点对应的三维渲染引擎世界坐标中的世界坐标)，然后可以获得该世界坐标对应的在三维对象模型中模型坐标(根据三维对象模型的坐标系和三维渲染引擎世界坐标系的转换公式，即某个点在三维对象模型坐标系下的坐标和三维渲染引擎世界坐标系中坐标的转换关系，该转换关系在第一用户操作(例如，手指拖拽)三维对象模型时实时获得)，然后将该模型坐标发送至第二用户。

在一些实施例中，所述根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息，包括：对所述指导位置在所述三维对象模型中的模型坐标执行归一化操作，并生成所述指导操作对应的指导信息。在一些实施例中，第一用户端三维对象模型与第二用户端对应的当前操作对象大小的度量方式不同，比如，第二用户对应的当前操作对象的度量单位是米，第一用户对应的三维对象模型的度量单位是厘米。在另一些实施例中，三维对象模型可能存在缩放，例如第一用户对三维对象模型进行缩放操作等，归一化的目的是使第一用户和第二用户的模型坐标度量统一，例如，在第一用户端，将第一用户端对应的模型坐标除以第一用户端的三维对象模型的最大尺寸，得到归一化后的模型坐标，在第二用户端，再将归一化后的模型坐标乘以第二用户端对应的当前操作对象的最大尺寸，从而得到去归一化后的模型坐标，也即第二用户端对应的模型坐标，从而能够使第二用户准确地获得模型坐标。

图2示出了根据本申请一个实施例的一种应用于增强现实设备基于增强现实的远程指导的方法流程图，该方法包括步骤S21和步骤S22。在步骤S21中，增强现实设备接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；在步骤S22中，增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

在步骤S21中，增强现实设备接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的。在一些实施例中，第二用户使用的增强现实设备接收第一用户发送的指导信息，其中，指导信息包括但不限于指导位置(例如，标注或涂鸦位置的像素坐标)、指导内容(比如，3D模型、图像、视频、语音、文字、线型、颜色等，还可以包括指导类型，例如标注或者涂鸦)、指导位置在三维对象模型中的模型坐标。

在步骤S22中，增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据指导位置或指导位置在三维对象模型中的模型坐标，将指导内容叠加显示在第二用户所看到的现场场景中的相应位置处，例如，叠加显示在第二用户使用的增强现实设备上的显示屏幕中显示的现场场景中的相应位置处，第二用户根据指导信息进行操作，以解决问题。

在一些实施例中，所述方法还包括；增强现实设备对所述第二用户的当前操作对象进行三维重建，生成所述第二用户的当前操作对象的三维对象模型；将所述三维对象模型发送至所述第一用户或网络设备(例如，服务器)。在一些实施例中，第二用户使用的增强现实设备对第二用户的现场场景进行三维重建，生成三维对象模型。第二用户使用的增强现实设备可以建模完成后自动发送三维对象模型至第一用户或服务器，也可以定期发送三维对象模型至第一用户或服务器，也可以当第二用户使用的增强现实设备端网络满足预设条件后发送三维对象模型至第一用户或服务器，还可以响应于第一用户或服务器发送的获取三维对象模型的请求，将该模型作为该请求的响应数据返回至第一用户或服务器。其中，本申请中，第二用户使用的增强现实设备对第二用户的场景进行三维重建所需的三维重建信息，可以是第二用户使用的增强现实设备端自行获取，也可以是其他设备发送至第二用户使用的增强现实设备端的。

在一些实施例中，所述方法还包括步骤S23(未示出)和步骤S24(未示出)。在步骤S23中，增强现实设备获取所述第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；在步骤S24中，增强现实设备将所述三维重建信息发送至所述第一用户或网络设备。在一些实施例中，其他用户设备可以发送三维重建信息给增强现实设备，增强现实设备将三维重建信息发送给第一用户设备或网络设备。在一些实施例中，可以利用RGB摄像头对第二用户的现场场景进行拍摄，将多个角度的照片发送至第一用户设备或服务器，在第一用户设备或服务器上利用三维重建算法，进行三维重建生成三维对象模型。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述方法还包括：增强现实设备响应于所述第二用户的调整位姿信息的操作，获取所述增强现实设备的实时位姿信息；生成调整视角指令，其中，所述调整视角指令包括所述增强现实设备的实时位姿信息；将所述调整视角指令发送至所述第一用户。在一些实施例中，响应于第二用户调整第二用户使用的增强现实设备在现实场景中的位置和姿态的操作，通过利用位姿确定技术，实时获取第二用户使用的增强现实设备在现实场景中的位置和姿态并发送到第一用户，第一用户根据接收到的位姿信息，实时切换观察三维对象模型的视角，由此可以使得两方看到的场景视野一致。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置；其中，所述步骤S22包括：增强现实设备获取所述指导操作对应的指导内容；根据所述指导位置以及所述增强现实设备的实时位姿信息，生成所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，指导操作对应的指导位置包括但不限于标注或涂鸦位置的像素坐标，指导内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色等，优选地，指导内容还可以包括指导类型，例如标注或者涂鸦。在这里，指导内容可以预先存储在第二用户所使用的增强现实设备本地，由第二用户默认设置的或提前选择好的，也可以是第一用户设备发送过来的指导信息中所包含的。以3D标注和双目OST的呈现方式(例如AR眼镜)为例，第二用户所使用的增强现实设备对现场场景进行实时定位，获得相机的实时位姿，将3D标注的像素坐标经过一系列变换，得到标注点对应的3D世界坐标，然后对应到增强现实设备相机坐标系下的一个3D坐标点，由于最终是在两个OST镜片上呈现，需要将相机坐标系分别转换为左眼OST镜片坐标系和右眼OST镜片坐标系，最终，在两个OST镜片上，分别确定对应坐标系下的显示坐标(可以是像素坐标，也可以是图像坐标)，使得该3D标注叠加在现场场景的正确位置，这样，由于双目视差，在第二用户通过增强现实设备观察真实场景时，就会发现有一个虚拟的3D标注叠加指示在第一用户所标注的模型位置上。对于单目、双目VST的呈现方式，在获取到相机坐标系下的3D标注位置之后，只需要降维投影为一个2D画面，以确定对应的显示坐标，将最终的2D画面叠加在增强现实设备的屏幕上的正确位置。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括指导操作对应的指导位置在所述三维对象模型中的模型坐标；其中，所述步骤S22包括：增强现实设备获取所述指导操作对应的指导内容；根据所述指导位置在所述三维对象模型中的模型坐标，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，第一用户也可以不跟随第二用户的镜头，第一用户可以自己随意观察前方静态建模的场景，跟第二用户看的视野不同步，此时，指导信息包括但不限于标注或涂鸦位置对应的在三维对象模型中的模型坐标，根据接收到的模型坐标，获得该模型坐标对应的在第二用户的世界坐标系中的世界坐标，并根据增强现实设备的实时位姿，确定对应的显示坐标，并将指导内容叠加显示在现场场景的正确位置。在这里，指导内容可以是预先存储在第二用户所使用的增强现实设备本地，由第二用户默认设置的或提前选择好的，也可以是第一用户设备发送的指导信息中所包含的。

在一些实施例中，所述方法还包括在步骤S22之前执行的以下步骤：增强现实设备对所述指导位置在所述三维对象模型中的模型坐标执行去归一化操作。在一些实施例中，第一用户端三维对象模型与第二用户端对应的当前操作对象大小的度量方式不同，比如，第二用户对应的当前操作对象的度量单位是米，第一用户对应的三维对象模型的度量单位是厘米。在另一些实施例中，由于三维对象模型可能存在缩放，例如第一用户对三维对象模型进行缩放操作等。归一化的目的是使第一用户和第二用户的模型坐标度量统一，根据接收到的归一化后的模型坐标，首先执行去归一化操作，得到第二用户的场景模型对应的模型坐标。

在一些实施例中，所述指导信息还包括所述指导操作对应的指导内容；其中，所述获取所述指导操作对应的指导内容，包括：从所述指导信息中提取所述指导操作对应的指导内容。在一些实施例中，指导信息中还包括指导操作对应的指导内容，直接从指导信息中提取该指导内容，并将该指导内容叠加显示在第二用户的现场场景的正确位置。

在一些实施例中，所述方法还包括：增强现实设备根据所述指导位置对应的世界坐标以及所述增强现实设备的后续实时位姿信息，生成所述指导位置对应的后续显示坐标；根据所述指导位置对应的后续显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中。在一些实施例中，由于指导位置对应的世界坐标是固定不变的，根据增强现实设备后续的实时相机位姿，不断得到指导位置对应的在后续每一帧中的显示坐标，并将标注或涂鸦操作对应的指导内容叠加显示在第二用户的现场场景的后续每一帧的正确位置，以具有跟踪效果。

图3示出了根据本申请一个实施例的一种应用于网络设备基于增强现实的远程指导的方法流程图，该方法包括步骤S31、步骤S32和步骤S33。在步骤S31中，网络设备获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；在步骤S32中，网络设备根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；在步骤S33中，网络设备将所述三维对象模型发送至第一用户。

在步骤S31中，网络设备获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的现场场景进行拍摄，将多个角度的照片作为三维重建信息发送至服务器。

在步骤S32中，网络设备根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型。在一些实施例中，在服务器上利用三维重建算法，进行三维重建生成第二用户的当前操作对象的三维对象模型。

在步骤S33中，网络设备将所述三维对象模型发送至第一用户。在一些实施例中，服务器可以在建模完成后自动发送该模型至第一用户，也可以定期发送该模型至第一用户，也可以当网络设备端网络满足预设条件后发送三维对象模型至第一用户，还可以响应于第一用户发送的获取三维对象模型的请求，将该模型作为该请求的响应数据返回至第一用户。

图4示出了根据本申请一个实施例的一种应用于网络设备基于增强现实的远程指导的方法流程图，该方法包括步骤S41和步骤S42。在步骤S41中，网络设备获取第二用户的当前操作对象的三维重建信息或三维对象模型；在步骤S42中，网络设备将所述三维重建信息或所述三维对象模型发送至第一用户。

在步骤S41中，网络设备获取第二用户的当前操作对象的三维对象模型或三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备已经完成对第二用户的现场场景的三维重建，生成三维对象模型，并将三维对象模型生发送至服务器。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的现场场景进行多角度拍摄，将照片作为三维重建信息发送至服务器。

在步骤S42中，网络设备将所述三维对象模型或所述三维重建信息发送至第一用户。在一些实施例中，服务器可以主动发送三维对象模型至第一用户，还可以响应于第一用户发送的获取三维对象模型的请求，将该三维对象模型作为该请求的响应数据返回至第一用户。在一些实施例中，服务器可以主动发送三维重建信息至第一用户，还可以响应于第一用户发送的获取三维重建信息的请求，将该信息作为该请求的响应数据返回至第一用户。

图5示出根据本申请一个实施例的一种基于增强现实的远程指导的系统拓扑图。

如图5所示，被指导方通过RGB摄像头拍摄被指导方的现场场景的多个不同角度的照片，通过深度摄像头等传感器获取现场场景的深度信息，将包括RGB照片和深度信息在内的三维重建信息发送至云端服务器，云端服务器根据接收到的RGB照片和深度信息利用三维重建算法进行三维建模，然后指导方从云端服务器拉取三维建模后的静态场景模型，并将静态场景模型显示在指导方的设备屏幕上。

图6示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图。

如图6所示，在步骤S51中，第一用户设备获取并存储第二用户的当前操作对象的三维对象模型，步骤S51和前述步骤S11相同或者相似，在此不再赘述；在步骤S52中，所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型，步骤S52和前述步骤S12相同或者相似，在此不再赘述；在步骤S53中，所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，步骤S53和前述步骤S13相同或者相似，在此不再赘述；在步骤S54中，所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备，步骤S54和前述步骤S14相同或者相似，在此不再赘述；在步骤S55中，所述增强现实设备接收所述第一用户发送的指导信息，步骤S55和前述步骤S21相同或者相似，在此不再赘述；在步骤S56中，所述增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，步骤S56和前述步骤S22相同或者相似，在此不再赘述。

图7示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图。

如图7所示，在步骤S61中，增强现实设备获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建，步骤S61和前述步骤S23相同或者相似，在此不再赘述；在步骤S62中，所述增强现实设备将所述三维重建信息发送至网络设备，步骤S62和前述步骤S24相同或者相似，在此不再赘述；在步骤S63中，所述网络设备接收所述第二用户发送的三维重建信息，步骤S63和前述步骤S31相同或者相似，在此不再赘述；在步骤S64中，所述网络设备根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型，步骤S64和前述步骤S32相同或者相似，在此不再赘述；在步骤S65中，所述网络设备将所述三维对象模型发送至第一用户设备，步骤S65和前述步骤S33相同或者相似，在此不再赘述；在步骤S66中，所述第一用户设备接收并存储所述网络设备发送的、所述第二用户的当前操作对象的三维对象模型，步骤S66和前述步骤S11相同或者相似，在此不再赘述；在步骤S67中，所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型，步骤S67和前述步骤S12相同或者相似，在此不再赘述；在步骤S68中，所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，步骤S68和前述步骤S13相同或者相似，在此不再赘述；在步骤S69中，所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备，步骤S69和前述步骤S14相同或者相似，在此不再赘述；在步骤S70中，所述增强现实设备接收所述第一用户发送的指导信息，步骤S70和前述步骤S21相同或者相似，在此不再赘述；在步骤S71中，所述增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，步骤S71和前述步骤S22相同或者相似，在此不再赘述。

图8出了根据本申请一个实施例的一种基于增强现实的远程指导的第一用户设备，该设备包括一一模块11、一二模块12、一三模块13和一四模块14。一一模块11，用于获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；一二模块12，用于响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；一三模块13，用于响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；一四模块14，用于将所述指导信息发送至所述第二用户所使用的增强现实设备。

一一模块11，用于获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作。在一些实施例中，第一用户是远程协作的指导方，第二用户是远程协作的被指导方，三维对象模型的获取方式包括但不限于从服务器或第二用户获取三维对象模型(例如，响应于第一用户发送的获取三维对象模型的请求，服务器或第二用户端将该模型作为该请求的响应数据返回至第一用户)、服务器或第二用户建模完成后自动发送三维对象模型至第一用户、服务器或第二用户定期发送三维对象模型至第一用户、服务器或第二用户端网络满足预设条件时发送三维对象模型至第一用户、第一用户本地完成建模、从其他用户获取三维对象模型等，其中，服务器上的三维对象模型的获取方式包括但不限于第二用户设备或其他用户设备建模完成后将三维对象模型发送至服务器、第二用户设备或其他用户设备将建模所需要的三维重建信息发送至服务器并在服务器上进行建模生成三维对象模型。第二用户的当前操作对象包括但不限于第二用户所在的整个现场场景或某个待指导的部分现场场景，三维对象模型是基于第二用户的现场场景进行三维重建后生成的。在一些实施例中，三维重建可以是利用RGB摄像头拍摄一个场景的多角度照片，利用SFM等算法合成场景的三维模型；也可以加入深度摄像头等获取深度的传感器或测距仪等，提高三维重建的精度和重建速度。在一些实施例中，三维重建可以是利用双目或多目摄像头拍摄一个场景的多角度照片，合成场景的三维模型。在一些实施例中，三维重建可以是利用深度传感设备拍摄一个场景的多角度照片，合成场景的三维模型。在一些实施例中，三维重建可以利用场景扫描设备(例如，3D激光扫描仪)扫描场景信息合成场景的三维模型。三维重建的方法包括但不限于被动式三维重建和主动式三维重建。其中，被动式三维重建包括纹理恢复形状方法、阴影恢复形状方法和立体视觉方法等(主要包括通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等方式)；主动式三维重建包括莫尔条纹法、飞行时间法、结构光法和三角测距法等。当然，本领域技术人员应能理解上述三维重建方法仅为举例，其他现有的或今后可能出现的三维重建方法(例如，基于深度学习的三维重建方法等)如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

一二模块12，用于响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型。在一些实施例中，触发事件包括但不限于第一用户与第二用户之间的端到端通信满足弱网条件或任一用户端满足弱网条件、第一用户或第二用户为了节约带宽等原因自己选择进入基于三维对象模型的指导模式、双方建立通信后(例如打开应用后)直接进入基于三维对象模型的指导模式、获取第二用户的当前操作对象的三维对象模型后第一用户进入基于三维对象模型的指导模式，第一用户通过在第一用户设备的屏幕上呈现三维对象模型，来获得第二用户的视野，可以近似做到两地的“全息”场景通信。相比于现有的音视频协助方式，本方案可以极大的降低带宽需求，对网络要求很低，还能够提高刷新率。需要说明的是，步骤S11和步骤S12之间并无先后顺序，例如，第一用户设备先获取并存储第二用户的当前操作对象的三维对象模型，然后响应于基于三维对象模型进行指导的触发事件，然后再呈现三维对象模型。又如，第一用户设备响应于基于三维对象模型进行指导的触发事件，然后获取并存储第二用户的当前操作对象的三维对象模型，然后再呈现三维对象模型。

一三模块13，用于响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息。在一些实施例中，指导操作包括但不限于标注、涂鸦等，指导操作的内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色、以及指导操作对应的类型(标注、涂鸦等)等，指导信息包括但不限于指导操作对应的指导位置，还可以包括指导操作对应的指导内容。例如，响应于第一用户基于三维对象模型的标注操作，生成标注操作对应的指导信息，其中，指导信息包括标注使用的3D模型和标注位置。

一四模块14，用于将所述指导信息发送至所述第二用户所使用的增强现实设备。在一些实施例中，增强现实设备包括但不限于AR眼镜、手机、平板、电脑、带有摄像头的设备、外接摄像头的设备、含有深度传感设备的设备以及外接深度传感设备的设备等，第二用户根据接收到的指导信息，对现场场景进行操作，以解决现场问题。其中，深度传感设备包括但不限于基于主动立体成像(ACTIVE STEREO)、被动立体成像(PASSIVE STEREO)、结构光(OCCLUSION SHADOWS)、飞行时间(TIME OF FLIGHT)等成像原理的设备、场景扫描设备等，场景扫描设备包括3D激光扫描仪、测距仪、超声、激光雷达、红外等。

在一些实施例中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：接收并存储网络设备或第二用户发送的、第二用户的当前操作对象的三维对象模型。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：接收所述第二用户或网络设备发送的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；根据所述三维重建信息，生成并存储所述第二用户的当前操作对象的三维对象模型。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述触发事件包括但不限于：

1)所述第一用户与所述第二用户之间的当前网络条件不满足预定的视频通信所需要的网络条件

2)所述第一用户发出用于呈现所述三维对象模型的第一呈现指令

3)接收所述第二用户发送的用于呈现所述三维对象模型的第二呈现指令

4)所述第一用户与所述第二用户之间建立通信连接

5)所述第一用户获取所述第二用户的当前操作对象的三维对象模型

6)以上所述触发事件的任意组合

在此，相关触发事件与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述设备还用于：接收所述第二用户发送的调整视角指令，其中，所述调整视角指令包括所述第二用户所使用的增强现实设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括所述指导操作对应的指导位置在所述三维对象模型中的模型坐标，或者，所述指导信息包括所述指导位置在所述三维对象模型中的模型坐标和所述指导操作对应的指导内容。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述三维对象模型叠加显示在所述第一用户的当前场景中的固定位置；其中，所述设备还用于：响应于所述第一用户的调整位姿信息的操作，获取所述第一用户设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述第一用户设备的实时位姿信息以及所述指导位置，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述三维对象模型基于三维渲染引擎显示在所述第一用户设备的屏幕中；其中，所述设备还用于：响应于所述第一用户的调整所述三维对象模型在所述第一用户设备的屏幕中的显示信息的操作，调整所述第一用户观看所述三维对象模型的视角信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述指导位置以及渲染引擎对应的虚拟相机的实时位姿信息，确定所述指导位置在所述三维渲染引擎中的世界坐标；根据所述指导位置在所述三维渲染引擎中的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息，包括：对所述指导位置在所述三维对象模型中的模型坐标执行归一化操作，并生成所述指导操作对应的指导信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

图9示出了根据本申请一个实施例的一种基于增强现实的远程指导的增强现实设备，该设备包括二一模块21和二二模块22。二一模块21，用于接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；二二模块22，用于将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

二一模块21，用于接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的。在一些实施例中，第二用户使用的增强现实设备接收第一用户发送的指导信息，其中，指导信息包括但不限于指导位置(例如，标注或涂鸦位置的像素坐标)、指导内容(比如，3D模型、图像、视频、语音、文字、线型、颜色等，还可以包括指导类型，例如标注或者涂鸦)、指导位置在三维对象模型中的模型坐标。

二二模块22，用于将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据指导位置或指导位置在三维对象模型中的模型坐标，将指导内容叠加显示在第二用户所看到的现场场景中的相应位置处，例如，叠加显示在第二用户使用的增强现实设备上的显示屏幕中显示的现场场景中的相应位置处，第二用户根据指导信息进行操作，以解决问题。

在一些实施例中，所述设备还用于；对所述第二用户的当前操作对象进行三维重建，生成所述第二用户的当前操作对象的三维对象模型；将所述三维对象模型发送至所述第一用户或网络设备。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还包括二三模块23(未示出)和二四模块24(未示出)。二三模块23用于获取所述第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；二四模块24，用于将所述三维重建信息发送至所述第一用户或网络设备。在此，二三模块23和二四模块24的具体实现方式与图2中有关步骤S23和S24的实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述设备还用于：响应于所述第二用户的调整位姿信息的操作，获取所述增强现实设备的实时位姿信息；生成调整视角指令，其中，所述调整视角指令包括所述增强现实设备的实时位姿信息；将所述调整视角指令发送至所述第一用户。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置；其中，所述二二模块22用于：获取所述指导操作对应的指导内容；根据所述指导位置以及所述增强现实设备的实时位姿信息，生成所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括指导操作对应的指导位置在所述三维对象模型中的模型坐标；其中，所述二二模块22用于：增强现实设备获取所述指导操作对应的指导内容；根据所述指导位置在所述三维对象模型中的模型坐标，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，在所述二二模块22执行操作之前，所述设备还用于：对所述指导位置在所述三维对象模型中的模型坐标执行去归一化操作。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述指导信息还包括所述指导操作对应的指导内容；其中，所述获取所述指导操作对应的指导内容，包括：从所述指导信息中提取所述指导操作对应的指导内容。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还用于：根据所述指导位置对应的世界坐标以及所述增强现实设备的后续实时位姿信息，生成所述指导位置对应的后续显示坐标；根据所述指导位置对应的后续显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

图10示出了根据本申请一个实施例的一种基于增强现实的远程指导的网络设备，该设备包括三一模块31、三二模块32和三三模块33。三一模块31，用于获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；三二模块32，用于根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；三三模块33，用于将所述三维对象模型发送至第一用户。

三一模块31，用于获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的现场场景进行拍摄，将多个角度的照片作为三维重建信息发送至服务器。

三二模块32，用于根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型。在一些实施例中，在服务器上利用三维重建算法，进行三维重建生成第二用户的当前操作对象的三维对象模型。

三三模块33，用于将所述三维对象模型发送至第一用户。在一些实施例中，服务器可以在建模完成后自动发送该模型至第一用户，也可以定期发送该模型至第一用户，也可以当网络设备端网络满足预设条件后发送三维对象模型至第一用户，还可以响应于第一用户发送的获取三维对象模型的请求，将该模型作为该请求的响应数据返回至第一用户。

图11示出了根据本申请一个实施例的一种基于增强现实的远程指导的网络设备，该设备包括四一模块41和四二模块42。四一模块41，用于获取第二用户的当前操作对象的三维重建信息或三维对象模型；四二模块42，用于将所述三维重建信息或所述三维对象模型发送至第一用户。

四一模块41，用于获取第二用户的当前操作对象的三维重建信息或三维对象模型。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备已经完成对第二用户的现场场景的三维重建，生成三维对象模型，并将三维对象模型生发送至服务器。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的现场场景进行多角度拍摄，将照片作为三维重建信息发送至服务器。

四二模块42，用于将所述三维重建信息或所述三维对象模型发送至第一用户。在一些实施例中，服务器可以主动发送三维对象模型至第一用户，还可以响应于第一用户发送的获取三维对象模型的请求，将该三维对象模型作为该请求的响应数据返回至第一用户。在一些实施例中，服务器可以主动发送三维重建信息至第一用户，还可以响应于第一用户发送的获取三维重建信息的请求，将该信息作为该请求的响应数据返回至第一用户。

图12示出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图12所示在一些实施例中，系统300能够作为各所述实施例中的任意一个设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。

对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。

系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。

例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。

(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、持有计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (31)

1.一种基于增强现实的远程指导的方法，应用于第一用户设备，其中，所述方法包括：

获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

将所述指导信息发送至所述第二用户所使用的增强现实设备。

2.根据权利要求1所述的方法，其中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：

接收并存储网络设备或第二用户发送的、第二用户的当前操作对象的三维对象模型。

3.根据权利要求1所述的方法，其中，所述获取并存储第二用户的当前操作对象的三维对象模型，包括：

接收所述第二用户或网络设备发送的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

根据所述三维重建信息，生成并存储所述第二用户的当前操作对象的三维对象模型。

4.根据权利要求1所述的方法，其中，所述触发事件包括以下至少一项：

所述第一用户与所述第二用户之间的当前网络条件不满足预定的视频通信所需要的网络条件；

所述第一用户发出用于呈现所述三维对象模型的第一呈现指令；

接收所述第二用户发送的用于呈现所述三维对象模型的第二呈现指令；

所述第一用户与所述第二用户之间建立通信连接；

所述第一用户获取所述第二用户的当前操作对象的三维对象模型。

5.根据权利要求1至4中任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；

其中，所述方法还包括：

接收所述第二用户发送的调整视角指令，其中，所述调整视角指令包括所述第二用户所使用的增强现实设备的实时位姿信息；

根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。

6.根据权利要求5所述的方法，其中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容。

7.根据权利要求1至4中任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括所述指导操作对应的指导位置在所述三维对象模型中的模型坐标，或者，所述指导信息包括所述指导位置在所述三维对象模型中的模型坐标和所述指导操作对应的指导内容。

8.根据权利要求7所述的方法，其中，所述三维对象模型叠加显示在所述第一用户的当前场景中的固定位置；

其中，所述方法还包括：

响应于所述第一用户的调整位姿信息的操作，获取所述第一用户设备的实时位姿信息；

根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。

9.根据权利要求8所述的方法，其中，所述生成所述指导操作对应的指导信息，包括：

根据所述第一用户设备的实时位姿信息以及所述指导位置，确定所述指导位置对应的世界坐标；

根据所述指导位置对应的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；

根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。

10.根据权利要求7所述的方法，其中，所述三维对象模型基于三维渲染引擎显示在所述第一用户设备的屏幕中；

其中，所述方法还包括：

响应于所述第一用户的调整所述三维对象模型在所述第一用户设备的屏幕中的显示信息的操作，调整所述第一用户观看所述三维对象模型的视角信息。

11.根据权利要求10所述的方法，其中，所述生成所述指导操作对应的指导信息，包括：

根据所述指导位置以及渲染引擎对应的虚拟相机的实时位姿信息，确定所述指导位置在所述三维渲染引擎中的世界坐标；

根据所述指导位置在所述三维渲染引擎中的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；

根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。

12.根据权利要求9或11所述的方法，其中，所述根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息，包括：

对所述指导位置在所述三维对象模型中的模型坐标执行归一化操作，并生成所述指导操作对应的指导信息。

13.一种基于增强现实的远程指导的方法，应用于增强现实设备，其中，所述方法包括：

接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；

将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

14.根据权利要求13所述的方法，其中，所述方法还包括；

对所述第二用户的当前操作对象进行三维重建，生成所述第二用户的当前操作对象的三维对象模型；

将所述三维对象模型发送至所述第一用户或网络设备。

15.根据权利要求13所述的方法，其中，所述方法还包括：

获取所述第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

将所述三维重建信息发送至所述第一用户或网络设备。

16.根据权利要求13至15任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；

其中，所述方法还包括：

响应于所述第二用户的调整位姿信息的操作，获取增强现实设备的实时位姿信息；

生成调整视角指令，其中，所述调整视角指令包括所述增强现实设备的实时位姿信息；

将所述调整视角指令发送至所述第一用户。

17.根据权利要求16所述的方法，其中，所述指导信息包括所述指导操作对应的指导位置；

其中，所述将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：

获取所述指导操作对应的指导内容；

根据所述指导位置以及所述增强现实设备的实时位姿信息，生成所述指导位置对应的世界坐标；

根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；

根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

18.根据权利要求13至15任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括指导操作对应的指导位置在所述三维对象模型中的模型坐标；

其中，所述将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：

获取所述指导操作对应的指导内容；根据所述指导位置在所述三维对象模型中的模型坐标，确定所述指导位置对应的世界坐标；

根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；

根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

19.根据权利要求18所述的方法，其中，所述方法还包括在将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作之前执行的以下步骤：

对所述指导位置在所述三维对象模型中的模型坐标执行去归一化操作。

20.根据权利要求17至19中任一项所述的方法，其中，所述指导信息还包括所述指导操作对应的指导内容；

其中，所述获取所述指导操作对应的指导内容，包括：

从所述指导信息中提取所述指导操作对应的指导内容。

21.根据权利要求17至20中任一项所述的方法，其中，所述方法还包括：

根据所述指导位置对应的世界坐标以及所述增强现实设备的后续位姿信息，生成根据所述指导位置对应的后续显示坐标；

根据所述指导位置对应的后续显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中。

22.一种基于增强现实的远程指导的方法，应用于网络设备，其中，所述方法包括：

获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；

将所述三维对象模型发送至第一用户。

23.一种基于增强现实的远程指导的方法，应用于网络设备，其中，所述方法包括：

获取第二用户的当前操作对象的三维对象模型或三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

将所述三维对象模型或所述三维重建信息发送至第一用户。

24.一种基于增强现实的远程指导的方法，其中，所述方法包括：

第一用户设备获取并存储第二用户的当前操作对象的三维对象模型；

所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备；

所述增强现实设备接收所述第一用户发送的指导信息；

所述增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

25.一种基于增强现实的远程指导的方法，其中，所述方法包括：

增强现实设备获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

所述增强现实设备将所述三维重建信息发送至网络设备；

所述网络设备接收所述第二用户发送的三维重建信息；

所述网络设备根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；

所述网络设备将所述三维对象模型发送至第一用户设备；

所述第一用户设备接收并存储所述网络设备发送的、所述第二用户的当前操作对象的三维对象模型；

所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备；

所述增强现实设备接收所述第一用户发送的指导信息；

所述增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

26.一种基于增强现实的远程指导的第一用户设备，其中，所述第一用户设备包括：

一一模块，用于获取并存储第二用户的当前操作对象的三维对象模型，其中，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

一二模块，用于响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

一三模块，用于响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息；

一四模块，用于将所述指导信息发送至所述第二用户所使用的增强现实设备。

27.一种基于增强现实的远程指导的增强现实设备，其中，所述增强现实设备包括：

二一模块，用于接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的；

二二模块，用于将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

28.一种基于增强现实的远程指导的网络设备，其中，所述网络设备包括：

三一模块，用于获取第二用户的当前操作对象的三维重建信息，其中，所述三维重建信息用于对所述第二用户的当前操作对象进行三维重建；

三二模块，用于根据所述三维重建信息，生成所述第二用户的当前操作对象的三维对象模型；

三三模块，用于将所述三维对象模型发送至第一用户。

29.一种基于增强现实的远程指导的网络设备，其中，所述网络设备包括：

四一模块，用于获取第二用户的当前操作对象的三维对象模型；

四二模块，用于将所述三维对象模型发送至第一用户。

30.一种用于基于增强现实的远程指导的设备，其中，所述设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至23中任一项所述的操作。

31.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至23中任一项所述的操作。

Images