CN110728756A - 一种基于增强现实的远程指导的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种基于增强现实的远程指导的方法与设备，该方法包括：获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；将所述指导信息发送至所述第二用户所使用的增强现实设备。本申请对网络要求较低，能够节约网络带宽，能够避免完整建模的等待时间。

Description

一种基于增强现实的远程指导的方法与设备

技术领域

本申请涉及通信领域，尤其涉及一种基于增强现实的远程指导的技术。

背景技术

现有技术中，远程协作是基于音视频通讯，通过增强现实的展示方式，远端的指导员对本地端的操作员进行远程的技术指导(例如，标注、涂鸦)，音视频通讯占用网络带宽，视频帧率一般介于15-24帧之间，可能存在影响视频画面的稳定性的问题。在网络较差时，现有的远程协作方法，会降低视频帧率、分辨率、视频质量等，或者直接关闭视频，用音频来进行远程协助，这种方式指导方并不能准确的把握被指导方现场的环境，给指导带来了障碍，使得指导效率下降，甚至达不到指导的效果，或者，发送现场图像到远端，远端指导者可以基于现场图像用涂鸦、标注等的方式来指导前方，配合语音指导，这样能提高效率和准确率，对网络要求较低，然而，在远程协作中，这种基于现场单张图像进行远程协作的方式，缺少对被指导方现场的把握。

发明内容

本申请的一个目的是提供一种基于增强现实的远程指导的方法与设备。

根据本申请的一个方面，提供了一种基于增强现实的远程指导的方法，应用于第一用户设备，该方法包括：

获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；

将所述指导信息发送至所述第二用户所使用的增强现实设备。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于增强现实设备，该方法包括：

接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作；

将所述指导信息叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于网络设备，该方法包括：

获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；

生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；

将所述模型差量信息发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于网络设备，该方法包括：

获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；

将所述第一局部模型发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于网络设备，该方法包括：

获取第二用户的当前操作对象的局部三维重建信息或第一局部模型，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

将所述局部三维重建信息或所述第一局部模型发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的方法，应用于第一设备，该方法包括：

获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，所述第二用户根据第一用户的指导对所述当前操作对应执行操作；

根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，以使所述第一用户基于所述当前操作对象对应的三维对象模型执行指导操作，其中，所述三维对象模型包括所述第一局部模型。

根据本申请的一个方面，提供了一种基于增强现实的远程指导的第一用户设备，该设备包括：

一一模块，用于获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

一二模块，用于响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

一三模块，用于响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；

一四模块，用于将所述指导信息发送至所述第二用户所使用的增强现实设备。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的增强现实设备，该设备包括：

二一模块，用于接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作；

二二模块，用于将所述指导信息叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的网络设备，该设备包括：

三一模块，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

三二模块，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；

三三模块，用于生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；

三四模块，用于将所述模型差量信息发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的网络设备，该设备包括：

四一模块，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

四二模块，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；

四三模块，用于将所述第一局部模型发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的网络设备，该设备包括：

五一模块，用于获取第二用户的当前操作对象的局部三维重建信息或第一局部模型，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

五二模块，用于将所述局部三维重建信息或所述第一局部模型发送至第一用户。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的第一设备，该设备包括：

六一模块，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，所述第二用户根据第一用户的指导对所述当前操作对应执行操作；

六二模块，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，以使所述第一用户基于所述当前操作对象对应的三维对象模型执行指导操作，其中，所述三维对象模型包括所述第一局部模型。

根据本申请的一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行本申请所述的在第一用户设备中基于增强现实的远程指导的方法。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行本申请所述的在增强现实设备中基于增强现实的远程指导的方法。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行本申请所述的在网络设备中基于增强现实的远程指导的方法。

根据本申请的另一个方面，提供了一种基于增强现实的远程指导的设备，其中，该设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行本申请所述的在第一设备中基于增强现实的远程指导的方法。

根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行本申请所述的在第一用户设备中基于增强现实的远程指导的方法。

根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行本申请所述的在增强现实设备中基于增强现实的远程指导的方法。

根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行本申请所述的在网络设备中基于增强现实的远程指导的方法。

根据本申请的一个方面，提供了一种存储指令的计算机可读介质，所述指令在被执行时使得系统执行本申请所述的在第一设备中基于增强现实的远程指导的方法。

与现有技术相比，本申请通过对被指导方的局部现场场景进行局部三维重建，远端指导方利用局部三维重建生成的局部场景模型，来获得前方被指导方的当前局部视野，然后可以利用标注、涂鸦等指导方式来指导被指导方对现场场景进行操作，以解决现场问题，进一步地，通过在现有局部场景模型基础上的不断更新，逐步完成完整场景的建模，并且场景建模精度越来越高。相比于基于音视频通讯的远程指导方式，本方案对网络要求较低，能够节约网络带宽，提高刷新率；相比于现有技术中网络较差时的远程协作处理方式，指导方能够获得被指导方现场更多细节，能提高效率和准确率；相比于直接完整建立被指导方现场场景模型的指导方式，能够避免完整建模的等待时间。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一些实施例的一种应用于第一用户设备的基于增强现实的远程指导的方法流程图；

图2示出根据本申请一些实施例的一种应用于增强现实设备的基于增强现实的远程指导的方法流程图；

图3示出根据本申请一些实施例的一种应用于网络设备的基于增强现实的远程指导的方法流程图；

图4示出根据本申请一些实施例的一种应用于网络设备的基于增强现实的远程指导的方法流程图；

图5示出根据本申请一些实施例的一种应用于网络设备的基于增强现实的远程指导的方法流程图；

图6示出根据本申请一些实施例的一种应用于第一设备的基于增强现实的远程指导的方法流程图；

图7示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图；

图8示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图；

图9示出根据本申请一个实施例的一种基于增强现实的远程指导的第一用户设备结构图；

图10示出根据本申请一个实施例的一种基于增强现实的远程指导的增强现实设备结构图；

图11示出根据本申请一个实施例的一种基于增强现实的远程指导的网络设备结构图；

图12示出根据本申请一个实施例的一种基于增强现实的远程指导的网络设备结构图；

图13示出根据本申请一个实施例的一种基于增强现实的远程指导的网络设备结构图；

图14示出根据本申请一个实施例的一种基于增强现实的远程指导的第一设备结构图；

图15示出可被用于实施本申请中所述各个实施例的示例性系统。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

图1示出了根据本申请一些实施例的一种应用于第一用户设备的基于增强现实的远程指导的方法流程图，该方法包括步骤S11、步骤S12、步骤S13和步骤S14。在步骤S11中，第一用户设备获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；在步骤S12中，第一用户设备响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；在步骤S13中，第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；在步骤S14中，第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备。

在步骤S11中，第一用户设备获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作。在一些实施例中，第一用户是远程协作的指导方，第二用户是远程协作的被指导方，第一用户设备的屏幕上呈现的三维对象模型至少包括第一局部模型，第一局部模型的获取方式包括但不限于从服务器或第二用户获取第一局部模型(例如，响应于第一用户发送的获取第一局部模型的请求，服务器或第二用户端将该第一局部模型作为该请求的响应数据返回至第一用户)、服务器或第二用户局部建模完成后自动发送第一局部模型至第一用户、服务器或第二用户定期发送第一局部模型至第一用户、服务器或第二用户端网络满足预设条件时发送第一局部模型至第一用户、第一用户本地完成局部建模、从其他用户获取第一局部模型等，其中，服务器上的第一局部模型的获取方式包括但不限于第二用户设备或其他用户设备局部建模完成后将第一局部模型发送至服务器、第二用户设备或其他用户设备将局部建模所需要的局部三维重建信息发送至服务器并在服务器上进行局部建模生成第一局部模型。第二用户的当前操作对象包括但不限于第二用户所在的整个现场场景或某个待指导的部分现场场景，第一局部模型是基于第二用户的局部现场场景或局部待指导的部分现场场景进行局部三维重建后生成的，此时，由于局部建模的精度可能较低，得到的第一局部模型可能不完整，例如，由于获取的第二用户所在的场景信息(例如，图像、深度信息等)不足，得到的第一局部模型是稀疏的而不是稠密的，又例如，由于仅获取了第二用户所在场景的局部信息(例如，一个面的图像、深度信息等)，而第二用户所在场景的其它信息(例如，其它面的图像、深度信息等)没有获取，得到的第一局部模型仅是第二用户所在场景的一个面，而剩余的几个面并没有建立模型。然后随着第二用户在场景中的走动，第二用户不断地发送视频帧/图像或深度信息等，在之前的第一局部模型的基础上不断进一步更新拓展场景模型(例如，建立其它面的模型，获得完整的场景模型，或者，将之前建立的局部模型精细化，获得稠密的场景模型)，逐步完成完整场景建模，并且场景建模精度越来越高，从而可以避免直接进行完整建模的等待时间。在一些实施例中，局部三维重建可以是利用RGB摄像头拍摄一个局部场景的照片，合成局部场景的三维模型；也可以加入深度摄像头等获取深度的传感器或测距仪等，提高三维重建的精度和重建速度。在一些实施例中，局部三维重建可以是利用双目或多目摄像头拍摄一个局部场景的照片，合成局部场景的三维模型。在一些实施例中，局部三维重建可以是利用深度传感设备拍摄一个局部场景的照片，合成局部场景的三维模型。在一些实施例中，局部三维重建可以利用场景扫描设备(例如，3D激光扫描仪)扫描局部场景信息合成局部场景的三维模型。局部三维重建的方法包括但不限于被动式三维重建和主动式三维重建。其中，被动式三维重建包括纹理恢复形状方法、阴影恢复形状方法和立体视觉方法等(主要包括通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等方式)；主动式三维重建包括莫尔条纹法、飞行时间法、结构光法和三角测距法等。当然，本领域技术人员应能理解上述三维重建方法仅为举例，其他现有的或今后可能出现的三维重建方法(例如，基于深度学习的三维重建方法等)如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在步骤S12中，第一用户设备响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型。在一些实施例中，触发事件包括但不限于第一用户与第二用户之间的端到端通信满足弱网条件或任一用户端满足弱网条件、第一用户或第二用户为了节约带宽等原因自己选择进入基于三维对象模型的指导模式、双方建立通信后(例如打开应用后)直接进入基于三维对象模型的指导模式、获得第二用户的当前操作对象的三维对象模型后第一用户进入基于三维对象模型的指导模式，第一用户通过在第一用户设备的屏幕上呈现三维对象模型，来获得第二用户的视野，可以近似做到两地的“全息”场景通信。相比于现有的音视频协助方式，本方案可以极大的降低带宽需求，对网络要求很低，还能够提高刷新率。需要说明的是，步骤S11和步骤S12之间并无先后顺序，例如，第一用户设备先获得第二用户的当前操作对象的三维对象模型，然后响应于基于三维对象模型进行指导的触发事件，然后再呈现三维对象模型。又如，第一用户设备响应于基于三维对象模型进行指导的触发事件，然后获得第二用户的当前操作对象的三维对象模型，然后再呈现三维对象模型。

在步骤S13中，第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作。在一些实施例中，指导操作包括但不限于标注、涂鸦等，指导操作的内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色、以及指导操作对应的类型(标注、涂鸦等)等，指导信息包括但不限于指导操作对应的指导位置，还可以包括指导操作对应的指导内容。例如，响应于第一用户基于第一局部模型的标注操作，生成标注操作对应的指导信息，其中，指导信息包括标注使用的3D模型和标注位置，后续随着第一局部模型的不断更新，标注内容可以选择保留在更新后的第一局部模型上，以使第二用户可以看到第一用户基于更新前的第一局部模型的指导内容。

在步骤S14中，第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备。在一些实施例中，增强现实设备包括但不限于AR眼镜、手机、平板、电脑、带有摄像头的设备、外接摄像头的设备、含有深度传感设备的设备以及外接深度传感设备的设备等，第二用户根据接收到的指导信息，对现场场景进行操作，以解决现场问题。其中，深度传感设备包括但不限于基于主动立体成像(ACTIVE STEREO)、被动立体成像(PASSIVESTEREO)、结构光(OCCLUSION SHADOWS)、飞行时间(TIME OF FLIGHT)等成像原理的设备、场景扫描设备等，场景扫描设备包括3D激光扫描仪、测距仪、超声、激光雷达、红外等。

在一些实施例中，所述步骤S11包括步骤S111(未示出)和步骤S112(未示出)。在步骤S111中，第一用户设备获取所述当前操作对象的第一局部模型；在步骤S112中，第一用户设备获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型。在一些实施例中，三维对象模型可以只包括第一局部模型，此时，三维对象模型可以认为是第一局部模型，或者，三维对象模型还可以同时包括第一局部模型和其他模型，其他模型用于对第一局部模型进行补充，将第一局部模型补充成一个完整的场景模型。第一局部模型的获取方式包括但不限于从服务器或第二用户获取第一局部模型(例如，响应于第一用户发送的获取第一局部模型的请求，服务器或第二用户端将该第一局部模型作为该请求的响应数据返回至第一用户)、服务器或第二用户局部建模完成后自动发送第一局部模型至第一用户、服务器或第二用户定期发送第一局部模型至第一用户、服务器或第二用户端网络满足预设条件时发送第一局部模型至第一用户、第一用户本地完成局部建模、从其他用户获取第一局部模型等。

在一些实施例中，所述步骤S111包括步骤S110(未示出)。在步骤S110中，第一用户设备接收网络设备或第二用户发送的、所述当前操作对象的第一局部模型。在一些实施例中，第一局部模型是在服务器中通过对第二用户的局部现场场景进行局部三维重建生成的，然后发送给第一用户设备。在一些实施例中，第一局部模型是其他设备发送至服务器中的，然后服务器发送给第一用户设备。在一些实施例中，第一局部模型是其他设备发送至第二用户使用的增强现实设备中的，然后第二用户使用的增强现实设备发送给第一用户设备。在一些实施例中，第一局部模型是在第二用户使用的增强现实设备中通过对第二用户的局部现场场景进行局部三维重建生成的，然后发送给第一用户设备。在一些实施例中，第一局部模型是在第二用户使用的增强现实设备中通过对第二用户的局部现场场景进行局部三维重建生成的，然后第二用户将第一局部模型发送至服务器，然后通过服务器发送给第一用户设备。其中，所述将第一局部模型发送给第一用户设备，可以是第一用户主动向服务器/第二用户使用的增强现实设备发出请求获取第一局部模型，也可以服务器/第二用户使用的增强现实设备主动发送第一局部模型至第一用户，例如服务器/第二用户使用的增强现实设备定期主动发送第一局部模型至第一用户，或者服务器/第二用户使用的增强现实设备局部三维重建生成第一局部模型后，主动发送至第一用户，或者服务器/第二用户使用的增强现实设备网络满足预设条件时发送第一局部模型至第一用户。例如，第二用户通过RGB摄像头拍摄第二用户的局部工作场景，将视频帧发送到服务器上，在服务器上利用三维重建算法，对该局部工作场景进行局部三维重建生成第一局部模型，然后将第一局部模型发送至第一用户。

在一些实施例中，所述步骤S111包括：第一用户设备接收网络设备或第二用户发送的、所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型。在一些实施例中，局部三维重建信息包括但不限于通过RGB摄像头拍摄的第二用户的局部现场场景的照片，通过深度摄像头等深度传感设备获取的深度信息等。例如，第二用户利用RGB摄像头对第二用户的局部工作场景进行拍摄，将照片发送至第一用户，在第一用户设备上利用三维重建算法，进行局部三维重建生成第一局部模型。例如，第二用户利用双目或多目摄像头对第二用户的局部工作场景进行拍摄，将照片发送至第一用户，在第一用户设备上利用三维重建算法，进行局部三维重建生成第一局部模型。例如，第二用户利用深度传感设备对第二用户的局部工作场景进行拍摄，将照片发送至第一用户，在第一用户设备上合成第一局部模型。例如，第二用户利用场景扫描设备(例如，3D激光扫描仪)扫描局部场景信息，发送给第一用户，在第一用户设备上合成局部场景的第一局部模型。又例如，第二用户利用RGB摄像头对第二用户的局部工作场景进行拍摄，将照片发送至网络设备，网络设备再将该信息发送给第一用户，在第一用户设备上利用三维重建算法，进行局部三维重建生成第一局部模型。又例如，其他用户设备获取第二用户的局部三维重建信息，发送给第二用户使用的增强现实设备或网络设备，第二用户使用的增强现实设备或网络设备再将该信息发送给第一用户，在第一用户设备上利用三维重建算法，进行局部三维重建生成第一局部模型。等等。本申请中，第二用户发送信息给第一用户，包括第二用户直接发送信息给第一用户，也包括第二用户将信息发送至服务器，再由服务器发送给第一用户。

在一些实施例中，所述步骤S111包括步骤S1111(未示出)。在步骤S1111中，第一用户设备更新所述当前操作对象的现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型。在一些实施例中，第一局部模型的建模的精度可能较低，得到的局部场景模型可能也不完整，例如，由于获取的第二用户所在的场景信息(例如，图像、深度信息等)不足，得到的第一局部模型是稀疏的而不是稠密的，又例如，由于仅获取了第二用户所在场景的局部信息(例如，一个面的图像、深度信息等)，而第二用户所在场景的其它信息(例如，其它面的图像、深度信息等)没有获取，得到的第一局部模型仅是第二用户所在场景的一个面，而剩余的几个面并没有建立模型。然后随着第二用户在场景中的走动，第二用户不断地发送视频帧/图像或深度信息等，在之前局部场景建模基础上进一步更新第一局部模型(例如，建立其它面的场景模型，获得完整的场景模型；或者将之前建立的局部模型精细化，获得稠密的场景模型)，逐步完成完整场景建模，并且场景建模精度越来越高，其中，更新第一局部模型的方式包括但不限于通过差量信息来更新原先的第一局部模型、直接获得新的第一局部模型来替换原先的第一局部模型、获得新的局部场景的三维重建信息来进行三维重建生成新的第一局部模型来替换原先的第一局部模型等。

在一些实施例中，所述步骤S1111包括步骤S11111(未示出)和步骤S11112(未示出)。在步骤S11111中，第一用户设备获取所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述当前操作对象进行局部三维重建得到的局部三维对象模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；在步骤S11112中，第一用户设备根据所述模型差量信息，更新所述现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型。在一些实施例中，模型差量信息用于指示通过局部三维重建得到的新的局部场景模型与现有第一局部模型之间的差量信息以及该差量信息与现有第一局部模型的相对位置关系，第一用户可以根据该差量信息以及该相对位置关系，更新现有第一局部模型，以获得更新后的第一局部模型。

在一些实施例中，所述步骤S11111包括：第一用户设备接收网络设备或第二用户发送的、所述当前操作对象对应的模型差量信息。在一些实施例中，新的局部场景模型是在服务器中通过对第二用户的局部现场场景进行局部三维重建生成的，并得到相比于现有第一局部模型的模型差量信息，然后发送给第一用户设备。在一些实施例中，新的局部场景模型是在第二用户使用的增强现实设备中通过对第二用户的局部现场场景进行局部三维重建生成的，并得到相比于现有第一局部模型的模型差量信息，然后发送给第一用户设备。在一些实施例中，新的局部场景模型是在第二用户使用的增强现实设备中通过对第二用户的局部现场场景进行局部三维重建生成的，并得到相比于现有第一局部模型的模型差量信息，然后第二用户将模型差量信息发送至服务器，然后通过服务器发送给第一用户设备。其中，所述将模型差量信息发送给第一用户设备，可以是第一用户主动向服务器/第二用户使用的增强现实设备发出请求获取模型差量信息，也可以服务器/第二用户使用的增强现实设备主动发送模型差量信息至第一用户，例如服务器/第二用户使用的增强现实设备定期主动发送模型差量信息至第一用户，或者服务器/第二用户使用的增强现实设备局部三维重建生成新的局部场景模型后，得到模型差量信息并主动发送至第一用户，或者服务器/第二用户使用的增强现实设备网络满足预设条件时发送模型差量信息至第一用户。例如，第二用户通过RGB摄像头拍摄第二用户的局部工作场景，将视频帧发送到服务器上，在服务器上利用三维重建算法，对该局部工作场景进行局部三维重建生成新的局部场景模型，并得到相比于现有第一局部模型的模型差量信息，然后将模型差量信息发送至第一用户。

在一些实施例中，所述方法还包括在步骤S112之前执行的步骤S113(未示出)和步骤S114(未示出)。在步骤S113中，第一用户设备确定所述当前操作对象对应的参考对象；在步骤S114中，第一用户设备确定所述参考对象的第二局部模型，其中，所述第二局部模型用于对所述第一局部模型进行补充；其中，所述步骤S112包括：第一用户设备获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型和所述第二局部模型；其中，所述步骤S13包括：第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作或针对所述第二局部模型的第二指导操作。在一些实施例中，参考对象包括但不限于与当前操作对象属性相同或相近的对象，例如，参考对象可以是当前操作对象的同类型对象或相似类型对象，参考对象对应的第二局部模型用于对第一局部模型进行补充，将第一局部模型补充成一个完整的场景模型，可以在第一用户设备本地确定参考对象，也可以在服务器、第二用户设备或其他用户设备上确定参考对象后发送至第一用户设备，其中，第二局部模型可以是一个完整的模型，也可以根据第一局部模型的形状，将缩放后的完整模型作为第二局部模型，还可以根据第一局部模型的形状，将完整模型中的适配第一局部模型形状的部分模型作为第二局部模型。第二局部模型的获取方式包括但不限于从第一用户设备本地获取、从第二用户设备、其他用户设备或服务器中远程获取等。第一用户基于第二局部模型也可以进行指导操作，该指导操作的指导形式与基于第一局部模型的指导操作的指导形式可以相同，也可以不同。例如，当前操作对象是第二用户当前实际场景中的冰箱，根据当前操作对象进行局部三维重建，生成的第一局部模型是冰箱的正面模型ModelZ，此时，参考对象可以是该实际场景中的冰箱的同类型产品“品牌为BrandA、型号为TypeB的冰箱”，预先已经存在该冰箱的同类型产品对应的完整模型ModelC，第二局部模型可以是完整模型ModelC，也可以根据第一局部模型ModelZ的形状，将完整模型ModelC中的适配第一局部模型ModelZ形状的ModelC的背面和侧面构成的部分模型，作为第二局部模型。

在一些实施例中，所述步骤S112包括：第一用户设备将所述第一局部模型与所述第二局部模型进行拼接，生成所述当前操作对象对应的三维对象模型。在一些实施例中，若第二局部模型是一个未缩放的原始完整模型，需要先根据第一局部模型的尺寸，将第二局部模型进行缩放，再将缩放后的第二局部模型根据第一局部模型的形状进行切割，以使切割后的第二局部模型可以与第一局部模型进行拼接合成一个相对完整的模型；若第二局部模型是一个已缩放的完整模型，直接将第二局部模型根据第一局部模型的形状进行切割，以使切割后的第二局部模型可以与第一局部模型进行拼接合成一个相对完整的模型；若第二局部模型是适配第一局部模型形状的部分模型，直接将第二局部模型与第一局部模型进行拼接合成一个相对完整的模型。例如，当前操作对象是第二用户当前实际场景中的冰箱，第一局部模型是冰箱的正面模型ModelZ，此时，参考对象可以是该实际场景中的冰箱的同类型产品“品牌为BrandA、型号为TypeB的冰箱”，第二局部模型是同类型产品对应的未缩放的完整模型ModelC，先根据第一局部模型ModelZ的尺寸，将第二局部模型ModelC缩放到与ModelZ相同的尺寸，再将缩放后的ModelC根据ModelZ的形状，切割成ModelC的背面和侧面构成的部分模型ModelC1，作为第二局部模型，以使ModelC1可以与ModelZ进行拼接，合成一个相对完整的冰箱模型。

在一些实施例中，所述步骤S113包括：第一用户设备确定所述当前操作对象对应的参考对象，其中，所述当前操作对象与所述参考对象的属性相同或相近。在一些实施例中，属性相同包括但不限于类型相同、具体型号相同、参数相同、名称相同、生产厂商相同等，可以通过已知的当前操作对象的全部或部分属性信息，来确定属性相同或相近的参考对象，或者，通过三维模型识别技术识别出第一局部模型，来确定属性相同或相近的参考对象，或者，通过识别局部现场场景/当前操作对象上的二维码或条形码识别出当前操作对象，来确定属性相同或相近的参考对象，或者通过图像识别技术识别用于三维重建生成第一局部模型的三维重建信息，来确定属性相同或相近的参考对象。例如，当前操作对象是第二用户当前实际场景中的冰箱，参考对象可以是该实际场景中的冰箱的同类型产品“品牌为BrandA、型号为TypeB的冰箱”，或者，通过图像识别技术，识别三维重建信息以确定当前操作对象，例如“品牌为BrandA、型号为TypeB的冰箱”，并将该当前操作对象同类型的产品“品牌为BrandA、型号为TypeB的冰箱”作为参考对象。。

在一些实施例中，所述步骤S111包括：第一用户设备更新所述当前操作对象的现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型；其中，所述步骤S114包括：第一用户设备根据所述更新后的第一局部模型，更新所述现有三维对象模型中的现有第二局部模型，获得更新后的、所述参考对象的第二局部模型。根据更新后的第一局部模型，对第二局部模型进行更新，以使更新后的第二局部模型与更新后的第一局部模型进行拼接合成一个相对完整的模型。在一些实施例中，若直接获得新的第一局部模型来替换原先的第一局部模型、获得新的局部场景的三维重建信息来进行三维重建生成新的第一局部模型来替换原先的第一局部模型，可以根据更新后的第一局部模型，基于该更新后的第一局部模型确定用于对该更新后的第一局部模型进行补充的新的第二局部模型，用新的第二局部模型来替换掉原先的第二局部模型，以使新的第二局部模型与更新后的第一局部模型能够拼接合成一个相对完整的模型，或者，还可以根据更新后的第一局部模型，得到相比于原先的第一局部模型的差量信息，并基于该差量信息，更新第二局部模型，使得更新后的第二局部模型与更新后的第一局部模型能够拼接合成一个相对完整的模型；若通过差量信息来更新原先的第一局部模型，可以在原先的第二局部模型基础上同步更新，使得更新后的第二局部模型与更新后的第一局部模型能够拼接合成一个相对完整的模型，例如，在第一局部模型的更新过程中，随着第一局部模型的呈现区域的不断扩大，通过同步减少第二局部模型的呈现区域的方式来更新第二局部模型。例如，当前操作对象是第二用户当前实际场景中的冰箱，第一局部模型是冰箱的正面模型ModelZ，预先已经存在该冰箱的同类型产品对应的完整模型ModelC，此时，第二局部模型是完整模型ModelC的背面和侧面构成的部分模型ModelC1，若直接获得新的第一局部模型冰箱的正面和侧面模型ModelY来替换原先的第一局部模型ModelZ，可以根据基于ModelY确定用于对ModelY进行补充的新的第二局部模型，此时，第二局部模型是完整模型ModelC的背面构成的部分模型ModelC2，用ModelC2来替换掉ModelC1，或者，还可以根据ModelY，得到相比于ModelZ的差量信息，基于该差量信息，更新ModelC1，得到更新后的ModelC2；若通过差量信息来更新ModelZ，得到更新后的ModelY，可以在ModelC1的基础上利用差量信息同步更新，得到更新后的ModelC2。

在一些实施例中，所述触发事件包括但不限于：

1)所述第一用户与所述第二用户之间的当前网络条件不满足预定的视频通信所需要的网络条件

例如，当前可用带宽信息低于或等于预定的带宽阈值信息；当前丢包率信息大于或等于预定的丢包率阈值信息；当前视频帧率信息低于或等于预定的视频帧率阈值信息等。

2)所述第一用户发出用于呈现所述三维对象模型的第一呈现指令

例如，第一用户主动切换至基于三维对象模型的远程辅助模式。

3)接收所述第二用户发送的用于呈现所述三维对象模型的第二呈现指令

例如，接收第二用户主动切换至基于三维对象模型的远程辅助模式的指令。

4)所述第一用户与所述第二用户之间建立通信连接

例如，第一用户和第二用户之间的通信连接建立成功后，直接进入基于三维对象模型的远程辅助模式，而不需要从其他模式切换。

5)所述第一用户获得所述当前操作对象对应的三维对象模型

例如，第一用户接收第二用户使用的增强现实设备或服务器发送的第二用户的现场场景的三维对象模型后，直接进入基于三维对象模型的远程辅助模式，或者，第一用户接收第二用户使用的增强现实设备或服务器发送的第二用户的现场场景的三维重建信息，根据三维重建信息并利用三维重建算法，进行三维重建生成三维对象模型后，直接进入基于三维对象模型的远程辅助模式。

6)以上所述触发事件的任意组合

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容；其中，所述方法还包括：第一用户设备接收所述第二用户发送的调整视角指令，其中，所述调整视角指令包括所述第二用户所使用的增强现实设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在一些实施例中，第二用户利用位姿确定方法(比如，基于滤波的SLAM算法：基于EKF的MonoSLAM；基于非线性优化的SLAM算法：PTAM(Parallel Tracking and Mapping)；基于直接法的SLAM算法：LSD-SLAM、SVO；基于特征的SLAM算法：ORB_SLAM；基于深度学习的SLAM算法：CNN-SLAM、LIFT(LearnedInvariant Feature Transform)、UnDeepVO；多传感融合的SLAM算法：融合视觉与惯性导航的VINS-fusion；等其它位姿确定方法)，实时将第二用户使用的增强现实设备在现实场景中的位置和姿态发送到第一用户，第一用户根据接收到的第二用户使用的增强现实设备的位姿信息，实时切换观察三维对象模型的视角，使得两方看到的场景视野一致，因此，远端指导方在没有收到被指导方实时现场视频的情况下，也能通过看静态3D场景模型来达到近似于看视频的效果。当然，本领域技术人员应能理解上述位姿确定方法仅为举例，其他现有的或今后可能出现的位姿确定方法(例如，基于陀螺仪、惯性测量单元、GPS、WIFI等传感设备的方法)如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容。在一些实施例中，指导操作对应的指导位置包括但不限于标注或涂鸦位置的像素坐标，指导操作对应的指导内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色等，优选地，指导内容还可以包括指导类型，例如标注或者涂鸦，也可以不包括指导类型，例如一开始确定所有指导类型都是标注，或者都是涂鸦。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括所述指导操作对应的指导位置在所述三维对象模型中的模型坐标，或者，所述指导信息包括所述指导位置在所述三维对象模型中的模型坐标和所述指导操作对应的指导内容。在一些实施例中，第一用户也可以不跟随第二用户的镜头，第一用户端可以利用识别、跟踪、SLAM等环境理解技术或渲染技术，将远端的三维对象模型放置在自己的场景中，第一用户可以自己随意观察前方静态建模的场景，跟第二用户看的视野不同步，其中，指导信息包括但不限于标注或涂鸦位置对应的在三维对象模型中的模型坐标。其中，SLAM该类算法主要用于机器人领域，让机器人在未知场景中从未知地点开始运动，通过运动时传感器(一般指摄像头)采集到的数据，对整个环境进行地图构建，并推导出机器人自身在该场景中的空间定位、姿态。SLAM算法创建三维世界点云时，可以实时计算出二维视频中每张图像帧对应的相机位姿。当然，本领域技术人员应能理解上述环境理解技术仅为举例，其他现有的或今后可能出现的环境理解技术如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。在一些实施例中，模型坐标包括但不限于标注或涂鸦位置的像素坐标在三维对象模型坐标系中的坐标，在一般情况下，通常将三维对象模型的中心点作为三维对象模型坐标系的坐标原点，指导信息可以包括标注或涂鸦位置的像素坐标对应的模型坐标，也可以同时包括该模型坐标和标注或涂鸦等指导操作对应的标注内容或涂鸦内容。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，包括：若所述三维对象模型叠加显示在所述第一用户的当前场景中的固定位置；其中，所述方法还包括：第一用户设备响应于所述第一用户的调整位姿信息的操作，获取所述第一用户设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在一些实施例中，第一用户可以将三维场景模型叠加在第一用户的当前真实场景的固定位置(比如，通过识别图的方式将三维对象模型叠加显示在第一用户当前场景中的识别图上)，然后通过改变第一用户设备在第一用户场景中的位置和姿态，例如移动第一用户设备，以调整第一用户设备的实时位姿，通过调整第一用户设备的实时位姿，第一用户能够查看三维对象模型的不同视角，其中，第一用户设备的实时位姿可以是通过SLAM算法等其它位姿确定方法获取的。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述第一用户设备的实时位姿信息以及所述指导位置，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在一些实施例中，第一用户在屏幕上进行标注、涂鸦，根据在屏幕中的点击位置(例如，像素坐标)和第一用户设备中相机的实时位姿，可以获得该标注点在第一用户世界坐标系中的世界坐标(例如，根据相机位姿，将像素坐标转换到世界坐标系中，得到一条射线，并获得该射线与世界坐标系中三维对象模型上最近的交点，即获得该标注点对应的世界坐标；将像素坐标转换到相机坐标系中，得到一条射线，并获得该射线与相机坐标系中三维对象模型上最近的交点，最后根据相机位姿获得该交点对应的世界坐标)，然后可以获得该世界坐标对应的在三维对象模型中模型坐标(根据三维对象模型的坐标系和世界坐标系的转换公式，即某个点在三维对象模型坐标系下的坐标和世界坐标系中坐标的转换关系，该转换关系在世界坐标系中放置三维对象模型时已知)，然后将该模型坐标发送至第二用户，其中，三维对象模型坐标系可以是以三维对象模型中心点为原点，以右手法则建立的三维坐标系。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，包括：若所述三维对象模型基于三维渲染引擎显示在所述第一用户设备的屏幕中；其中，所述方法还包括：第一用户设备响应于所述第一用户的调整所述三维对象模型在所述第一用户设备的屏幕中的显示信息的操作，调整所述第一用户观看所述三维对象模型的视角信息。在一些实施例中，第一用户设备通过三维渲染引擎将三维对象模型显示在屏幕中，第一用户可以在屏幕上通过拖拽等方式查看三维对象模型的不同视角，可选地，第一用户的调整操作包括对三维对象模型进行缩放。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述指导位置以及渲染引擎对应的虚拟相机的实时位姿信息，确定所述指导位置在所述三维渲染引擎中的世界坐标；根据所述指导位置在所述三维渲染引擎中的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在一些实施例中，第一用户在屏幕上进行标注、涂鸦，根据在屏幕中的点击位置(例如，像素坐标)，可以获得该标注点在三维渲染引擎世界坐标系中的世界坐标(例如，根据三维渲染引擎中的虚拟相机位姿，将像素坐标转换到三维渲染引擎世界坐标系中，得到一条射线，并获得该射线与三维渲染引擎世界坐标系中三维对象模型上最近的交点，即获得该标注点对应的在三维渲染引擎中的世界坐标；将像素坐标转换到三维渲染引擎对应的虚拟相机坐标系中，得到一条射线，并获得该射线与虚拟相机坐标系中三维对象模型上最近的交点，最后根据虚拟相机位姿获得该交点对应的三维渲染引擎世界坐标中的世界坐标)，然后可以获得该世界坐标对应的在三维对象模型中模型坐标(根据三维对象模型的坐标系和三维渲染引擎世界坐标系的转换公式，即某个点在三维对象模型坐标系下的坐标和三维渲染引擎世界坐标系中坐标的转换关系，该转换关系在第一用户操作(例如，手指拖拽)三维对象模型时实时获得)，然后将该模型坐标发送至第二用户。

在一些实施例中，所述方法还包括：针对所述指导位置在所述三维对象模型中的模型坐标执行归一化操作，并生成所述指导信息。在一些实施例中，第一用户端三维对象模型与第二用户端对应的当前操作对象大小的度量方式不同，比如，第二用户对应的当前操作对象的度量单位是米，第一用户对应的三维对象模型的度量单位是厘米。在另一些实施例中，三维对象模型可能存在缩放，例如第一用户对三维对象模型进行缩放操作等，归一化的目的是使第一用户和第二用户的模型坐标度量统一，例如，在第一用户端，将第一用户端对应的模型坐标除以第一用户端的三维对象模型的最大尺寸，得到归一化后的模型坐标，在第二用户端，再将归一化后的模型坐标乘以第二用户端对应的当前操作对象的最大尺寸，从而得到去归一化后的模型坐标，也即第二用户端对应的模型坐标，从而能够使第二用户准确地获得模型坐标。

图2示出了根据本申请一个实施例的一种应用于增强现实设备基于增强现实的远程指导的方法流程图，该方法包括步骤S21和步骤S22。在步骤S21中，增强现实设备接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作；在步骤S22中，增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

在步骤S21中，增强现实设备接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作。在一些实施例中，第二用户使用的增强现实设备接收第一用户发送的指导信息，其中，指导信息包括但不限于指导位置(例如，标注或涂鸦位置的像素坐标)、指导内容(比如，3D模型、图像、视频、语音、文字、线型、颜色等，还可以包括指导类型，例如标注或者涂鸦)、指导位置在三维对象模型中的模型坐标。

在步骤S22中，增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据指导位置或指导位置在三维对象模型中的模型坐标，将指导内容叠加显示在第二用户所看到的现场场景中的相应位置处，例如，叠加显示在第二用户使用的增强现实设备上的显示屏幕中显示的现场场景中的相应位置处，第二用户根据指导信息进行操作，以解决问题。

在一些实施例中，所述步骤S21包括：增强现实设备接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，其中，所述三维对象模型包括所述当前操作对象的第一局部模型及所述当前操作对象对应的参考对象的第二局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作或针对所述第二局部模型的第二指导操作。在一些实施例中，第一用户设备屏幕上呈现的三维对象模型包括基于第二用户的局部现场场景进行三维重建生成的第一局部模型、第二用户的局部现场场景对应的参考对象的第二局部模型，第二局部模型用于对第一局部模型进行补充，将第一局部模型补充成一个完整的场景模型，第一用户可以基于第一局部模型进行指导操作，也可以基于第二局部模型进行指导操作。

在一些实施例中，所述指导信息包括所述第一指导操作对应的第一指导信息以及所述第二指导操作对应的第二指导信息，其中，所述第一指导信息与所述第二指导信息以不同样式进行显示。在一些实施例中，指导信息包括基于第一局部模型的指导操作对应的第一指导信息以及基于第二局部模型的指导操作对应的第二指导信息，第一指导信息和第二指导信息在第二用户所使用的增强现实设备的屏幕上以不同样式进行显示。例如，可以通过不同的涂鸦颜色、不同的涂鸦线型、不同的标注大小、不同的标注形状等来区分显示第一指导信息和第二指导信息。

在一些实施例中，所述方法还包括：增强现实设备针对所述当前操作对象进行局部三维重建，生成所述当前操作对象的第一局部模型；生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；将所述模型差量信息发送至第一用户或网络设备。在一些实施例中，第二用户使用的增强现实设备对第二用户的局部现场场景进行三维重建，生成第一局部模型，并得到相比于原先的第一局部模型的模型差量信息，第二用户使用的增强现实设备可以在得到模型差量信息后自动发送至第一用户或服务器，也可以定期发送模型差量信息至第一用户或服务器，也可以当第二用户使用的增强现实设备端网络满足预设条件后发送模型差量信息至第一用户或服务器，还可以响应于第一用户或服务器发送的获取模型差量信息的请求，将该信息作为该请求的响应数据返回至第一用户或服务器。其中，本申请中，第二用户使用的增强现实设备对第二用户的局部场景进行局部三维重建所需的局部三维重建信息，可以是第二用户使用的增强现实设备端自行获取，也可以是其他设备发送至第二用户使用的增强现实设备端的。

在一些实施例中，所述方法还包括：增强现实设备针对所述当前操作对象进行局部三维重建，生成所述当前操作对象的第一局部模型；将所述第一局部模型发送至第一用户或网络设备。在一些实施例中，第二用户使用的增强现实设备对第二用户的局部现场场景进行三维重建，生成第一局部模型，第二用户使用的增强现实设备可以建模完成后自动发送第一局部模型至第一用户或服务器，也可以定期发送第一局部模型至第一用户或服务器，也可以当第二用户使用的增强现实设备端网络满足预设条件后发送第一局部模型至第一用户或服务器，还可以响应于第一用户或服务器发送的获取第一局部模型的请求，将该模型作为该请求的响应数据返回至第一用户或服务器。

在一些实施例中，所述方法还包括步骤S23和步骤S24。在步骤S23中，增强现实设备获取所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；在步骤24中，增强现实设备将所述局部三维重建信息发送至第一用户或网络设备。在一些实施例中，其他用户设备可以发送局部三维重建信息给增强现实设备，增强现实设备将局部三维重建信息发送给第一用户设备或网络设备。在一些实施例中，增强现实设备可以利用RGB摄像头对第二用户的局部现场场景进行拍摄，将照片发送至第一用户设备或服务器，在第一用户设备或服务器上利用三维重建算法，进行局部三维重建生成第一局部模型。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述方法还包括：增强现实设备响应于所述第二用户的调整位姿信息的操作，获取所述增强现实设备的实时位姿信息；生成调整视角指令，其中，所述调整视角指令包括所述增强现实设备的实时位姿信息；将所述调整视角指令发送至所述第一用户。在一些实施例中，响应于第二用户调整第二用户使用的增强现实设备在现实场景中的位置和姿态的操作，通过利用位姿确定技术，实时获取第二用户使用的增强现实设备在现实场景中的位置和姿态并发送到第一用户，第一用户根据接收到的位姿信息，实时切换观察三维对象模型的视角，由此可以使得两方看到的场景视野一致。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置；其中，所述步骤S22包括：增强现实设备获取所述指导操作对应的指导内容；根据所述指导位置，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据所述指导位置，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：根据所述指导位置以及所述增强现实设备的实时位姿信息，生成所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，指导操作对应的指导位置包括但不限于标注或涂鸦位置的像素坐标，指导内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色等，优选地，指导内容还可以包括指导类型，例如标注或者涂鸦。在这里，指导内容可以预先存储在第二用户所使用的增强现实设备本地，由第二用户默认设置的或提前选择好的，也可以是第一用户设备发送过来的指导信息中所包含的。以3D标注和双目OST的呈现方式(例如AR眼镜)为例，第二用户所使用的增强现实设备对现场场景进行实时定位，获得相机的实时位姿，将3D标注的像素坐标经过一系列变换，得到标注点对应的3D世界坐标，然后对应到增强现实设备相机坐标系下的一个3D坐标点，由于最终是在两个OST镜片上呈现，需要将相机坐标系分别转换为左眼OST镜片坐标系和右眼OST镜片坐标系，最终，在两个OST镜片上，分别确定对应坐标系下的显示坐标(可以是像素坐标，也可以是图像坐标)，使得该3D标注叠加在现场场景的正确位置，这样，由于双目视差，在第二用户通过增强现实设备观察真实场景时，就会发现有一个虚拟的3D标注叠加指示在第一用户所标注的模型位置上。对于单目、双目VST的呈现方式，在获取到相机坐标系下的3D标注位置之后，只需要降维投影为一个2D画面，以确定对应的显示坐标，将最终的2D画面叠加在增强现实设备的屏幕上的正确位置。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括指导操作对应的指导位置在所述三维对象模型中的模型坐标；其中，所述步骤S22包括：增强现实设备获取所述指导操作对应的指导内容；根据所述指导位置在所述三维对象模型中的模型坐标，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据所述指导位置在所述三维对象模型中的模型坐标，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：根据所述指导位置在所述三维对象模型中的模型坐标，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，第一用户也可以不跟随第二用户的镜头，第一用户可以自己随意观察前方静态建模的场景，跟第二用户看的视野不同步，此时，指导信息包括但不限于标注或涂鸦位置对应的在三维对象模型中的模型坐标，根据接收到的模型坐标，获得该模型坐标对应的在第二用户的世界坐标系中的世界坐标，并根据增强现实设备的实时位姿，确定对应的显示坐标，并将指导内容叠加显示在现场场景的正确位置。在这里，指导内容可以是预先存储在第二用户所使用的增强现实设备本地，由第二用户默认设置的或提前选择好的，也可以是第一用户设备发送的指导信息中所包含的。

在一些实施例中，所述步骤S22之前，所述方法还包括：增强现实设备对所述指导位置在所述三维对象模型中的模型坐标执行去归一化操作。在一些实施例中，第一用户端三维对象模型与第二用户端对应的当前操作对象大小的度量方式不同，比如，第二用户对应的当前操作对象的度量单位是米，第一用户对应的三维对象模型的度量单位是厘米。在另一些实施例中，由于三维对象模型可能存在缩放，例如第一用户对三维对象模型进行缩放操作等。归一化的目的是使第一用户和第二用户的模型坐标度量统一，根据接收到的归一化后的模型坐标，首先执行去归一化操作，得到第二用户的场景模型对应的模型坐标。

在一些实施例中，所述方法还包括：增强现实设备根据所述指导位置对应的世界坐标以及所述增强现实设备的后续实时位姿信息，生成所述指导位置对应的后续显示坐标；根据所述指导位置对应的后续显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中。在一些实施例中，由于指导位置对应的世界坐标是固定不变的，根据增强现实设备后续的实时相机位姿，不断得到指导位置对应的在后续每一帧中的显示坐标，并将标注或涂鸦操作对应的指导内容叠加显示在第二用户的现场场景的后续每一帧的正确位置，以具有跟踪效果。

图3示出了根据本申请一个实施例的一种应用于网络设备基于增强现实的远程指导的方法流程图，该方法包括步骤S31、步骤S32、步骤S33和步骤S34。在步骤S31中，网络设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；在步骤S32中，网络设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；在步骤S33中，网络设备生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；在步骤S34中，网络设备将所述模型差量信息发送至第一用户。

在步骤S31中，网络设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的局部现场场景进行拍摄，将照片作为局部三维重建信息发送至服务器。

在步骤S32中，网络设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型。在一些实施例中，在服务器上利用三维重建算法，进行局部三维重建生成第二用户的当前操作对象的第一局部模型。

在步骤S33中，网络设备生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异。在一些实施例中，模型差量信息用于指示通过局部三维重建得到的第一局部模型与现有三维对象模型中的现有第一局部模型之间的差量信息以及该差量信息与现有第一局部模型的相对位置关系，第一用户可以根据该差量信息以及该相对位置关系，更新现有三维对象模型中的现有第一局部模型，以获得更新后的第一局部模型。在一些实施例中，在服务器上生成第一局部模型相比于现有三维对象模型中的现有第一局部模型的模型差量信息。

在步骤S34中，网络设备将所述模型差量信息发送至第一用户。在一些实施例中，服务器可以在生成模型差量信息后自动发送至第一用户，也可以定期发送模型差量信息至第一用户，也可以当网络设备端网络满足预设条件后发送模型差量信息至第一用户，还可以响应于第一用户发送的获取模型差量信息的请求，将该信息作为该请求的响应数据返回至第一用户。

图4示出了根据本申请一个实施例的一种应用于网络设备基于增强现实的远程指导的方法流程图，该方法包括步骤S41、步骤S42和步骤S43。在步骤S41中，网络设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；在步骤S42中，网络设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；在步骤S43中，网络设备将所述第一局部模型发送至第一用户。

在步骤S41中，网络设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的局部现场场景进行拍摄，将照片作为局部三维重建信息发送至服务器。

在步骤S42中，网络设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的。在一些实施例中，在服务器上利用三维重建算法，进行局部三维重建生成第二用户的当前操作对象的第一局部模型。

在步骤S43中，网络设备将所述第一局部模型发送至第一用户。在一些实施例中，服务器可以在局部建模完成后自动发送第一局部模型至第一用户，也可以定期发送第一局部模型至第一用户，也可以当网络设备端网络满足预设条件后发送第一局部模型至第一用户，还可以响应于第一用户发送的获取第一局部模型的请求，将该模型作为该请求的响应数据返回至第一用户。

图5示出了根据本申请一个实施例的一种应用于网络设备基于增强现实的远程指导的方法流程图，该方法包括步骤S51和步骤S52。在步骤S51中，网络设备获取第二用户的当前操作对象的局部三维重建信息或第一局部模型；在步骤S52中，网络设备将所述局部三维重建信息或所述第一局部模型发送至第一用户。

在步骤S51中，网络设备获取第二用户的当前操作对象的局部三维重建信息或第一局部模型。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备已经完成对第二用户的局部现场场景的局部三维重建，生成第一局部模型，并将第一局部模型发送至服务器。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的局部现场场景进行拍摄，将照片作为局部三维重建信息发送至服务器。

在步骤S52中，网络将所述局部三维重建信息或所述第一局部模型发送至第一用户。在一些实施例中，服务器可以主动发送第一局部模型至第一用户，还可以响应于第一用户发送的获取第一局部模型的请求，将该模型作为该请求的响应数据返回至第一用户。在一些实施例中，服务器可以主动发送局部三维重建信息至第一用户，还可以响应于第一用户发送的获取局部三维重建信息的请求，将该信息作为该请求的响应数据返回至第一用户。

图6示出了根据本申请一个实施例的一种应用于第一设备基于增强现实的远程指导的方法流程图，该方法包括步骤S61和步骤S62。在步骤S61中，第一设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，所述第二用户根据第一用户的指导对所述当前操作对应执行操作；在步骤S62中，第一设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，以使所述第一用户基于所述当前操作对象对应的三维对象模型执行指导操作，其中，所述三维对象模型包括所述第一局部模型。

在步骤S61中，第一设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，所述第二用户根据第一用户的指导对所述当前操作对象执行操作。在一些实施例中，第一设备可以是第一用户设备，也可以是第二用户所使用的的增强现实设备，还可以是网络设备。在一些实施例中，局部三维重建信息包括但不限于通过RGB摄像头拍摄的第二用户的局部现场场景的照片，通过深度摄像头等深度传感设备获取的深度信息等，局部三维重建信息用于通过三维重建算法对第二用户的局部现场场景进行局部三维重建。在第一用户远程指导第二用户的过程中，第二用户根据第一用户的指导对第二用户的现场场景执行操作，此时，第一设备获取第二用户的局部现场场景的局部三维重建信息。

在步骤S62中，第一设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，以使所述第一用户基于所述当前操作对象对应的三维对象模型执行指导操作，其中，所述三维对象模型包括所述第一局部模型。在一些实施例中，第一设备根据获取的第二用户的局部现场场景的局部三维重建信息，利用三维重建算法，进行局部三维重建生成第一局部模型，以使第一用户可以基于第一用户设备的屏幕上呈现的包括第一局部模型在内的三维对象模型执行指导操作。

图7示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图。

如图7所示，在步骤S71中，第一用户设备获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；步骤S71和前述步骤S11相同或者相似，在此不再赘述；在步骤S72中，所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型，步骤S72和前述步骤S12相同或者相似，在此不再赘述；在步骤S73中，所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作，步骤S73和前述步骤S13相同或者相似，在此不再赘述；在步骤S74中，所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备，步骤S74和前述步骤S14相同或者相似，在此不再赘述；在步骤S75中，所述增强现实设备接收所述第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作，步骤S75和前述步骤S21相同或者相似，在此不再赘述；在步骤S76中，所述增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，步骤S76和前述步骤S22相同或者相似，在此不再赘述。

图8示出根据本申请一个实施例的一种基于增强现实的远程指导的系统方法流程图。

如图8所示，在步骤S81中，增强现实设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，步骤S81和前述步骤S23相同或者相似，在此不再赘述；在步骤S82中，所述增强现实设备将所述三维重建信息发送至网络设备，步骤S82和前述步骤S24相同或者相似，在此不再赘述；在步骤S83中，所述网络设备接收所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，步骤S83和前述步骤S41相同或者相似，在此不再赘述；在步骤S84中，所述网络设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，步骤S84和前述步骤S42相同或者相似，在此不再赘述；在步骤S85中，所述网络设备将所述第一局部模型发送至第一用户设备，步骤S85和前述步骤S43相同或者相似，在此不再赘述；在步骤S86中，所述第一用户设备接收网络设备发送的、所述当前操作对象的第一局部模型，步骤S86和前述步骤S110相同或者相似，在此不再赘述；在步骤S87中，所述第一用户设备获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型，步骤S87和前述步骤S112相同或者相似，在此不再赘述；在步骤S88中，所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型，步骤S88和前述步骤S12相同或者相似，在此不再赘述；在步骤S89中，所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作，步骤S89和前述步骤S13相同或者相似，在此不再赘述；在步骤S810中，所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备，步骤S810和前述步骤S14相同或者相似，在此不再赘述；在步骤S811中，所述增强现实设备接收所述第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作，步骤S811和前述步骤S21相同或者相似，在此不再赘述；在步骤S812中，所述增强现实设备将所述指导信息叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，步骤S812和前述步骤S22相同或者相似，在此不再赘述。

图9示出了根据本申请一些实施例的一种基于增强现实的远程指导的第一用户设备，该设备包括一一模块11、一二模块12、一三模块13和一四模块14。一一模块11，用于获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；一二模块12，响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型用于；一三模块13，用于响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；一四模块14，用于将所述指导信息发送至所述第二用户所使用的增强现实设备。

一一模块11，用于获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作。在一些实施例中，第一用户是远程协作的指导方，第二用户是远程协作的被指导方，第一用户设备的屏幕上呈现的三维对象模型至少包括第一局部模型，第一局部模型的获取方式包括但不限于从服务器或第二用户获取第一局部模型(例如，响应于第一用户发送的获取第一局部模型的请求，服务器或第二用户端将该第一局部模型作为该请求的响应数据返回至第一用户)、服务器或第二用户局部建模完成后自动发送第一局部模型至第一用户、服务器或第二用户定期发送第一局部模型至第一用户、服务器或第二用户端网络满足预设条件时发送第一局部模型至第一用户、第一用户本地完成局部建模、从其他用户获取第一局部模型等，其中，服务器上的第一局部模型的获取方式包括但不限于第二用户设备或其他用户设备局部建模完成后将第一局部模型发送至服务器、第二用户设备或其他用户设备将局部建模所需要的局部三维重建信息发送至服务器并在服务器上进行局部建模生成第一局部模型。第二用户的当前操作对象包括但不限于第二用户所在的整个现场场景或某个待指导的部分现场场景，第一局部模型是基于第二用户的局部现场场景或局部待指导的部分现场场景进行局部三维重建后生成的，此时，由于局部建模的精度可能较低，得到的第一局部模型可能不完整，例如，由于获取的第二用户所在的场景信息(例如，图像、深度信息等)不足，得到的第一局部模型是稀疏的而不是稠密的，又例如，由于仅获取了第二用户所在场景的局部信息(例如，一个面的图像、深度信息等)，而第二用户所在场景的其它信息(例如，其它面的图像、深度信息等)没有获取，得到的第一局部模型仅是第二用户所在场景的一个面，而剩余的几个面并没有建立模型。然后随着第二用户在场景中的走动，第二用户不断地发送视频帧/图像或深度信息等，，在之前的第一局部模型的基础上不断进一步更新拓展场景模型(例如，建立其它面的模型，获得完整的场景模型，或者，将之前建立的局部模型精细化，获得稠密的场景模型)，逐步完成完整场景建模，并且场景建模精度越来越高，从而可以避免直接进行完整建模的等待时间。在一些实施例中，局部三维重建可以是利用RGB摄像头拍摄一个局部场景的照片，合成局部场景的三维模型；也可以加入深度摄像头等获取深度的传感器或测距仪等，提高三维重建的精度和重建速度。在一些实施例中，局部三维重建可以是利用双目或多目摄像头拍摄一个局部场景的照片，合成局部场景的三维模型。在一些实施例中，局部三维重建可以是利用深度传感设备拍摄一个局部场景的照片，合成局部场景的三维模型。在一些实施例中，局部三维重建可以利用场景扫描设备(例如，3D激光扫描仪)扫描局部场景信息合成局部场景的三维模型。局部三维重建的方法包括但不限于被动式三维重建和主动式三维重建。其中，被动式三维重建包括纹理恢复形状方法、阴影恢复形状方法和立体视觉方法等(主要包括通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等方式)；主动式三维重建包括莫尔条纹法、飞行时间法、结构光法和三角测距法等。当然，本领域技术人员应能理解上述三维重建方法仅为举例，其他现有的或今后可能出现的三维重建方法(例如，基于深度学习的三维重建方法等)如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

一二模块12，用于响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型。在一些实施例中，触发事件包括但不限于第一用户与第二用户之间的端到端通信满足弱网条件或任一用户端满足弱网条件、第一用户或第二用户为了节约带宽等原因自己选择进入基于三维对象模型的指导模式、双方建立通信后(例如打开应用后)直接进入基于三维对象模型的指导模式、获得第二用户的当前操作对象的三维对象模型后第一用户进入基于三维对象模型的指导模式，第一用户通过在第一用户设备的屏幕上呈现三维对象模型，来获得第二用户的视野，可以近似做到两地的“全息”场景通信。相比于现有的音视频协助方式，本方案可以极大的降低带宽需求，对网络要求很低，还能够提高刷新率。需要说明的是，步骤S11和步骤S12之间并无先后顺序，例如，第一用户设备先获得第二用户的当前操作对象的三维对象模型，然后响应于基于三维对象模型进行指导的触发事件，然后再呈现三维对象模型。又如，第一用户设备响应于基于三维对象模型进行指导的触发事件，然后获得第二用户的当前操作对象的三维对象模型，然后再呈现三维对象模型。

一三模块13，用于响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作。在一些实施例中，指导操作包括但不限于标注、涂鸦等，指导操作的内容包括但不限于3D模型、图像、视频、语音、文字、线型、颜色、以及指导操作对应的类型(标注、涂鸦等)等，指导信息包括但不限于指导操作对应的指导位置，还可以包括指导操作对应的指导内容。例如，响应于第一用户基于第一局部模型的标注操作，生成标注操作对应的指导信息，其中，指导信息包括标注使用的3D模型和标注位置，后续随着第一局部模型的不断更新，标注内容可以选择保留在更新后的第一局部模型上，以使第二用户可以看到第一用户基于更新前的第一局部模型的指导内容。

一四模块14，用于将所述指导信息发送至所述第二用户所使用的增强现实设备。在一些实施例中，增强现实设备包括但不限于AR眼镜、手机、平板、电脑、带有摄像头的设备、外接摄像头的设备、含有深度传感设备的设备以及外接深度传感设备的设备等，第二用户根据接收到的指导信息，对现场场景进行操作，以解决现场问题。其中，深度传感设备包括但不限于基于主动立体成像(ACTIVE STEREO)、被动立体成像(PASSIVE STEREO)、结构光(OCCLUSION SHADOWS)、飞行时间(TIME OF FLIGHT)等成像原理的设备、场景扫描设备等，场景扫描设备包括3D激光扫描仪、测距仪、超声、激光雷达、红外等。

在一些实施例中，所述一一模块11包括一一一模块111(未示出)和一一二模块112(未示出)。一一一模块111用于获取所述当前操作对象的第一局部模型；一一二模块112用于获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型。在此，一一一模块111和一一二模块112的具体实现方式与图1中有关步骤S111和S112的实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一一模块111包括一一零模块110(未示出)。一一零模块110用于接收网络设备或第二用户发送的、所述当前操作对象的第一局部模型。在此，一一零模块110的具体实现方式与图1中有关步骤S110的实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一一模块111用于：接收网络设备或第二用户发送的、所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一一模块111包括一一一一模块1111(未示出)。一一一一模块1111用于更新所述当前操作对象的现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型。在此，一一一一模块1111的具体实现方式与图1中有关步骤S1111的实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一一一模块1111包括一一一一一模块11111(未示出)和一一一一二模块11112(未示出)。一一一一一模块11111用于获取所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述当前操作对象进行局部三维重建得到的局部三维对象模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；一一一一二模块11112用于根据所述模型差量信息，更新所述现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型。在此，一一一一一模块11111和一一一一二模块11112的具体实现方式与图1中有关步骤S11111和S11112的实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一一一一模块11111用于：接收网络设备或第二用户发送的、所述当前操作对象对应的模型差量信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还包括在一一二模块112之前执行的一一三模块113(未示出)和一一四模块114(未示出)。一一三模块113用于确定所述当前操作对象对应的参考对象；一一四模块114用于确定所述参考对象的第二局部模型，其中，所述第二局部模型用于对所述第一局部模型进行补充；其中，所述一一二模块112用于：获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型和所述第二局部模型；其中，所述一三模块13用于：响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作或针对所述第二局部模型的第二指导操作。在此，一一三模块113和一一四模块114的具体实现方式与图1中有关步骤S113和S114的实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一二模块112用于：将所述第一局部模型与所述第二局部模型进行拼接，生成所述当前操作对象对应的三维对象模型。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一三模块113用于：确定所述当前操作对象对应的参考对象，其中，所述当前操作对象与所述参考对象的属性相同或相近。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述一一一模块111用于：更新所述当前操作对象的现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型；其中，所述一一四114模块用于：根据所述更新后的第一局部模型，更新所述现有三维对象模型中的现有第二局部模型，获得更新后的、所述参考对象的第二局部模型。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述触发事件包括但不限于：

1)所述第一用户与所述第二用户之间的当前网络条件不满足预定的视频通信所需要的网络条件

2)所述第一用户发出用于呈现所述三维对象模型的第一呈现指令

3)接收所述第二用户发送的用于呈现所述三维对象模型的第二呈现指令

4)所述第一用户与所述第二用户之间建立通信连接

5)所述第一用户获得所述当前操作对象对应的三维对象模型

6)以上所述触发事件的任意组合

在此，相关触发事件与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容；其中，所述方法还包括：第一用户设备接收所述第二用户发送的调整视角指令，其中，所述调整视角指令包括所述第二用户所使用的增强现实设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括所述指导操作对应的指导位置在所述三维对象模型中的模型坐标，或者，所述指导信息包括所述指导位置在所述三维对象模型中的模型坐标和所述指导操作对应的指导内容。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，包括：若所述三维对象模型叠加显示在所述第一用户的当前场景中的固定位置；其中，所述方法还包括：第一用户设备响应于所述第一用户的调整位姿信息的操作，获取所述第一用户设备的实时位姿信息；根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述第一用户设备的实时位姿信息以及所述指导位置，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，包括：若所述三维对象模型基于三维渲染引擎显示在所述第一用户设备的屏幕中；其中，所述设备还用于：响应于所述第一用户的调整所述三维对象模型在所述第一用户设备的屏幕中的显示信息的操作，调整所述第一用户观看所述三维对象模型的视角信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述生成所述指导操作对应的指导信息，包括：根据所述指导位置以及渲染引擎对应的虚拟相机的实时位姿信息，确定所述指导位置在所述三维渲染引擎中的世界坐标；根据所述指导位置在所述三维渲染引擎中的世界坐标，确定所述指导位置在所述三维对象模型中的模型坐标；根据所述指导位置在所述三维对象模型中的模型坐标，生成所述指导操作对应的指导信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还用于：针对所述指导位置在所述三维对象模型中的模型坐标执行归一化操作，并生成所述指导信息。在此，相关操作与图1所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

图10示出了根据本申请一个实施例的一种基于增强现实的远程指导的增强现实设备，该设备包括二一模块21和二二模块22。二一模块21，用于接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作；二二模块22，用于将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

二一模块21，用于接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作。在一些实施例中，第二用户使用的增强现实设备接收第一用户发送的指导信息，其中，指导信息包括但不限于指导位置(例如，标注或涂鸦位置的像素坐标)、指导内容(比如，3D模型、图像、视频、语音、文字、线型、颜色等，还可以包括指导类型，例如标注或者涂鸦)、指导位置在三维对象模型中的模型坐标。

二二模块22，用于将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据指导位置或指导位置在三维对象模型中的模型坐标，将指导内容叠加显示在第二用户所看到的现场场景中的相应位置处，例如，叠加显示在第二用户使用的增强现实设备上的显示屏幕中显示的现场场景中的相应位置处，第二用户根据指导信息进行操作，以解决问题。

在一些实施例中，所述二一模块21用于：接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，其中，所述三维对象模型包括所述当前操作对象的第一局部模型及所述当前操作对象对应的参考对象的第二局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作或针对所述第二局部模型的第二指导操作。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述指导信息包括所述第一指导操作对应的第一指导信息以及所述第二指导操作对应的第二指导信息，其中，所述第一指导信息与所述第二指导信息以不同样式进行显示。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还用于：针对所述当前操作对象进行局部三维重建，生成所述当前操作对象的第一局部模型；生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；将所述模型差量信息发送至第一用户或网络设备。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还用于：针对所述当前操作对象进行局部三维重建，生成所述当前操作对象的第一局部模型；将所述第一局部模型发送至第一用户或网络设备。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还包括二三模块23(未示出)和二四模块24(未示出)。二三模块23用于获取所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；二四模块24用于将所述局部三维重建信息发送至第一用户或网络设备。在此，二三模块23和二四模块24的具体实现方式与图2中有关步骤S23和S24的实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；其中，所述方法还包括：增强现实设备响应于所述第二用户的调整位姿信息的操作，获取所述增强现实设备的实时位姿信息；生成调整视角指令，其中，所述调整视角指令包括所述增强现实设备的实时位姿信息；将所述调整视角指令发送至所述第一用户。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述指导信息包括所述指导操作对应的指导位置；其中，所述二二模块22用于：获取所述指导操作对应的指导内容；根据所述指导位置，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据所述指导位置，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：根据所述指导位置以及所述增强现实设备的实时位姿信息，生成所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括指导操作对应的指导位置在所述三维对象模型中的模型坐标；其中，所述二二模块22用于：获取所述指导操作对应的指导内容；根据所述指导位置在所述三维对象模型中的模型坐标，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在一些实施例中，根据所述指导位置在所述三维对象模型中的模型坐标，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：根据所述指导位置在所述三维对象模型中的模型坐标，确定所述指导位置对应的世界坐标；根据所述指导位置对应的世界坐标以及所述增强现实设备的实时位姿信息，确定所述指导位置对应的显示坐标；根据所述指导位置对应的显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述二二模块22执行之前，所述设备还用于：对所述指导位置在所述三维对象模型中的模型坐标执行去归一化操作。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

在一些实施例中，所述设备还用于：根据所述指导位置对应的世界坐标以及所述增强现实设备的后续实时位姿信息，生成所述指导位置对应的后续显示坐标；根据所述指导位置对应的后续显示坐标，将所述指导内容叠加显示在所述第二用户的当前操作对象中。在此，相关操作与图2所示实施例相同或相近，故不再赘述，在此以引用方式包含于此。

图11示出了根据本申请一个实施例的一种基于增强现实的远程指导的网络设备，该设备包括三一模块31、三二模块32、三三模块33和三四模块34。三一模块31，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；三二模块32，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；三三模块33，用于生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；三四模块34，用于将所述模型差量信息发送至第一用户。

三一模块31，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的局部现场场景进行拍摄，将照片作为局部三维重建信息发送至服务器。

三二模块32，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型。在一些实施例中，在服务器上利用三维重建算法，进行局部三维重建生成第二用户的当前操作对象的第一局部模型。

三三模块33，用于生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异。在一些实施例中，模型差量信息用于指示通过局部三维重建得到的第一局部模型与现有三维对象模型中的现有第一局部模型之间的差量信息以及该差量信息与现有第一局部模型的相对位置关系，第一用户可以根据该差量信息以及该相对位置关系，更新现有三维对象模型中的现有第一局部模型，以获得更新后的第一局部模型。在一些实施例中，在服务器上生成第一局部模型相比于现有三维对象模型中的现有第一局部模型的模型差量信息。

三四模块34，用于将所述模型差量信息发送至第一用户。在一些实施例中，服务器可以在生成模型差量信息后自动发送至第一用户，也可以定期发送模型差量信息至第一用户，也可以当网络设备端网络满足预设条件后发送模型差量信息至第一用户，还可以响应于第一用户发送的获取模型差量信息的请求，将该信息作为该请求的响应数据返回至第一用户。

图12示出了根据本申请一个实施例的一种基于增强现实的远程指导的网络设备，该设备包括四一模块41、四二模块42和四三模块43。四一模块41，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；四二模块42，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；四三模块43，用于将所述第一局部模型发送至第一用户。

四一模块41，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的局部现场场景进行拍摄，将照片作为局部三维重建信息发送至服务器。

四二模块42，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的。在一些实施例中，在服务器上利用三维重建算法，进行局部三维重建生成第二用户的当前操作对象的第一局部模型。

四三模块43，用于将所述第一局部模型发送至第一用户。在一些实施例中，服务器可以在局部建模完成后自动发送第一局部模型至第一用户，也可以定期发送第一局部模型至第一用户，也可以当网络设备端网络满足预设条件后发送第一局部模型至第一用户，还可以响应于第一用户发送的获取第一局部模型的请求，将该模型作为该请求的响应数据返回至第一用户。

图13示出了根据本申请一个实施例的一种基于增强现实的远程指导的网络设备，该设备包括五一模块51和五二模块52。五一模块51，用于获取第二用户的当前操作对象的局部三维重建信息或第一局部模型；五二模块52，用于将所述局部三维重建信息或所述第一局部模型发送至第一用户。

五一模块51，用于获取第二用户的当前操作对象的局部三维重建信息或第一局部模型。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备已经完成对第二用户的局部现场场景的局部三维重建，生成第一局部模型，并将第一局部模型发送至服务器。在一些实施例中，第二用户使用的增强现实设备或者其他用户设备利用RGB摄像头对第二用户的局部现场场景进行拍摄，将照片作为局部三维重建信息发送至服务器。五二模块52，用于将所述局部三维重建信息或所述第一局部模型发送至第一用户。在一些实施例中，服务器可以主动发送第一局部模型至第一用户，还可以响应于第一用户发送的获取第一局部模型的请求，将该模型作为该请求的响应数据返回至第一用户。在一些实施例中，服务器可以主动发送局部三维重建信息至第一用户，还可以响应于第一用户发送的获取局部三维重建信息的请求，将该信息作为该请求的响应数据返回至第一用户。

图14示出了根据本申请一个实施例的一种基于增强现实的远程指导的第一设备，该设备包括六一模块61和六二模块62。六一模块61，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，所述第二用户根据第一用户的指导对所述当前操作对应执行操作；六二模块62，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，以使所述第一用户基于所述当前操作对象对应的三维对象模型执行指导操作，其中，所述三维对象模型包括所述第一局部模型。

六一模块61，用于获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，所述第二用户根据第一用户的指导对所述当前操作对象执行操作。在一些实施例中，第一设备可以是第一用户设备，也可以是第二用户所使用的增强现实设备，还可以是网络设备。在一些实施例中，局部三维重建信息包括但不限于通过RGB摄像头拍摄的第二用户的局部现场场景的照片，通过深度摄像头等深度传感设备获取的深度信息等，局部三维重建信息用于通过三维重建算法对第二用户的局部现场场景进行局部三维重建。在第一用户远程指导第二用户的过程中，第二用户根据第一用户的指导对第二用户的现场场景执行操作，此时，第一设备获取第二用户的局部现场场景的局部三维重建信息。

六二模块62，用于根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，以使所述第一用户基于所述当前操作对象对应的三维对象模型执行指导操作，其中，所述三维对象模型包括所述第一局部模型。在一些实施例中，第一设备根据获取的第二用户的局部现场场景的局部三维重建信息，利用三维重建算法，进行局部三维重建生成第一局部模型，以使第一用户可以基于第一用户设备的屏幕上呈现的包括第一局部模型在内的三维对象模型执行指导操作。

图15出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图15所示在一些实施例中，系统300能够作为各所述实施例中的任意一个设备。在一些实施例中，系统300可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。

对于一个实施例，系统控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块310可包括存储器控制器模块330，以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。

系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例，系统存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。

例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。

(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、持有计算设备、平板电脑、上网本等)。在各个实施例中，系统300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行

时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (32)

1.一种基于增强现实的远程指导的方法，应用于第一用户设备，其中，所述方法包括：

获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

响应于对所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；

将所述指导信息发送至所述第二用户所使用的增强现实设备。

2.根据权利要求1所述的方法，其中，所述获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作，包括：

获取所述当前操作对象的第一局部模型；

获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型。

3.根据权利要求2所述的方法，其中，所述获取所述当前操作对象的第一局部模型，包括：

接收网络设备或第二用户发送的、所述当前操作对象的第一局部模型。

4.根据权利要求2所述的方法，其中，所述获取所述当前操作对象的第一局部模型，包括：

接收网络设备或第二用户发送的、所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型。

5.根据权利要求2所的方法，其中，所述获取所述当前操作对象的第一局部模型，包括：

更新所述当前操作对象的现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型。

6.根据权利要求5所述的方法，其中，所述更新所述当前操作对象的现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型，包括：

获取所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述当前操作对象进行局部三维重建得到的局部三维对象模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；

根据所述模型差量信息，更新所述现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型。

7.根据权利要求6所述的方法，其中，所述获取所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述当前操作对象进行局部三维重建得到的局部三维对象模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异，包括：

接收网络设备或第二用户发送的、所述当前操作对象对应的模型差量信息。

8.根据权利要求2所述的方法，其中，所述方法还包括在所述获得所述当前操作对象对应的三维对象模型之前执行的以下步骤：

确定所述当前操作对象对应的参考对象；

确定所述参考对象的第二局部模型，其中，所述第二局部模型用于对所述第一局部模型进行补充；

其中，所述获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型，包括：

获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型和所述第二局部模型；

其中，所述响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作，包括：

响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作或针对所述第二局部模型的第二指导操作。

9.根据权利要求8所述的方法，其中，所述获得所述当前操作对象对应的三维对象模型，包括：

将所述第一局部模型与所述第二局部模型进行拼接，生成所述当前操作对象对应的三维对象模型。

10.根据权利要求8或9所述的方法，其中，所述确定所述当前操作对象对应的参考对象，包括：

确定所述当前操作对象对应的参考对象，其中，所述当前操作对象与所述参考对象的属性相同或相近。

11.根据权利要求8至10中任一项所述的方法，其中，所述获取所述当前操作对象的第一局部模型，包括：

更新所述当前操作对象的现有三维对象模型中的现有第一局部模型，获得更新后的、所述当前操作对象的第一局部模型；

其中，所述确定所述参考对象的第二局部模型，其中，所述第二局部模型用于对所述第一局部模型进行补充，包括：

根据所述更新后的第一局部模型，更新所述现有三维对象模型中的现有第二局部模型，获得更新后的、所述参考对象的第二局部模型。

12.根据权利要求1至11中任一项所述的方法，其中，所述触发事件包括以下至少一项：

所述第一用户与所述第二用户之间的当前网络条件不满足预定的视频通信所需要的网络条件；

所述第一用户发出用于呈现所述三维对象模型的第一呈现指令；

接收所述第二用户发送的用于呈现所述三维对象模型的第二呈现指令；

所述第一用户与所述第二用户之间建立通信连接；

所述第一用户获得所述当前操作对象对应的三维对象模型。

13.根据权利要求1至12中任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步，其中，所述指导信息包括所述指导操作对应的指导位置，或者，所述指导信息包括所述指导位置和所述指导操作对应的指导内容；

其中，所述方法还包括：

接收所述第二用户发送的调整视角指令，其中，所述调整视角指令包括所述第二用户所使用的增强现实设备的实时位姿信息；

根据所述实时位姿信息，调整所述第一用户观看所述三维对象模型的视角信息。

14.根据权利要求1至12中任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括所述指导操作对应的指导位置在所述三维对象模型中的模型坐标，或者，所述指导信息包括所述指导位置在所述三维对象模型中的模型坐标和所述指导操作对应的指导内容。

15.根据权利要求14所述的方法，其中，所述方法还包括：

针对所述指导位置在所述三维对象模型中的模型坐标执行归一化操作，并生成所述指导信息。

16.一种基于增强现实的远程指导的方法，应用于增强现实设备，其中，所述方法包括：

接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作；

将所述指导信息叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

17.根据权利要求16所述的方法，其中，所述接收第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作，包括：

接收第一用户发送的指导信息，其中所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，其中，所述三维对象模型包括所述当前操作对象的第一局部模型及所述当前操作对象对应的参考对象的第二局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作或针对所述第二局部模型的第二指导操作。

18.根据权利要求17所述的方法，其中，所述指导信息包括所述第一指导操作对应的第一指导信息以及所述第二指导操作对应的第二指导信息，其中，所述第一指导信息与所述第二指导信息以不同样式进行显示。

19.根据权利要求16至18中任一项所述的方法，其中，所述方法还包括：

针对所述当前操作对象进行局部三维重建，生成所述当前操作对象的第一局部模型；

生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；

将所述模型差量信息发送至第一用户或网络设备。

20.根据权利要求16至18中任一项所述的方法，其中，所述方法还包括：

针对所述当前操作对象进行局部三维重建，生成所述当前操作对象的第一局部模型；

将所述第一局部模型发送至第一用户或网络设备。

21.根据权利要求16至18中任一项所述的方法，其中，所述方法还包括：

获取所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

将所述局部三维重建信息发送至第一用户或网络设备。

22.根据权利要求16至21任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息保持同步；

其中，所述方法还包括：

响应于所述第二用户的调整位姿信息的操作，获取增强现实设备的实时位姿信息；

生成调整视角指令，其中，所述调整视角指令包括所述增强现实设备的实时位姿信息；

将所述调整视角指令发送至所述第一用户。

23.根据权利要求22所述的方法，其中，所述指导信息包括所述指导操作对应的指导位置；

其中，所述将所述指导信息叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：

获取所述指导操作对应的指导内容；

根据所述指导位置，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

24.根据权利要求16至21任一项所述的方法，其中，所述第一用户观看所述三维对象模型的视角信息与所述第二用户观看所述当前操作对象的视角信息相互独立，所述指导信息包括指导操作对应的指导位置在所述三维对象模型中的模型坐标；

其中，所述将所述指导信息叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作，包括：

获取所述指导操作对应的指导内容；

根据所述指导位置在所述三维对象模型中的模型坐标，将所述指导内容叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

25.一种基于增强现实的远程指导的方法，应用于网络设备，其中，所述方法包括：

获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；

生成所述当前操作对象对应的模型差量信息，其中，所述模型差量信息用于指示所述第一局部模型与所述当前操作对象的现有三维对象模型中的现有第一局部模型之间的差异；

将所述模型差量信息发送至第一用户。

26.一种基于增强现实的远程指导的方法，应用于网络设备，其中，所述方法包括：

获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；

将所述第一局部模型发送至第一用户。

27.一种基于增强现实的远程指导的方法，应用于网络设备，其中，所述方法包括：

获取第二用户的当前操作对象的局部三维重建信息或第一局部模型，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

将所述局部三维重建信息或所述第一局部模型发送至第一用户。

28.一种基于增强现实的远程指导的方法，应用于第一设备，其中，所述方法包括：

获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建，所述第二用户根据第一用户的指导对所述当前操作对应执行操作；

根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型，以使所述第一用户基于所述当前操作对象对应的三维对象模型执行指导操作，其中，所述三维对象模型包括所述第一局部模型。

29.一种基于增强现实的远程指导的方法，其中，所述方法包括：

第一用户设备获得第二用户的当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述当前操作对象的第一局部模型，所述第二用户根据第一用户的指导对所述当前操作对象执行操作；

所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；

所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备；

所述增强现实设备接收所述第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作；

所述增强现实设备将所述指导信息叠加显示在所述第二用户的当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

30.一种基于增强现实的远程指导的方法，其中，所述方法包括：

增强现实设备获取第二用户的当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

所述增强现实设备将所述三维重建信息发送至网络设备；

所述网络设备接收所述当前操作对象的局部三维重建信息，其中，所述局部三维重建信息用于对所述当前操作对象进行局部三维重建；

所述网络设备根据所述局部三维重建信息进行局部三维重建，生成所述当前操作对象的第一局部模型；

所述网络设备将所述第一局部模型发送至第一用户设备；

所述第一用户设备接收网络设备发送的、所述当前操作对象的第一局部模型；

所述第一用户设备获得所述当前操作对象对应的三维对象模型，其中，所述三维对象模型包括所述第一局部模型；

所述第一用户设备响应于基于所述三维对象模型进行指导的触发事件，通过所述第一用户设备呈现所述三维对象模型；

所述第一用户设备响应于所述第一用户基于所述三维对象模型的指导操作，生成所述指导操作对应的指导信息，其中，所述指导操作包括针对所述第一局部模型的第一指导操作；

所述第一用户设备将所述指导信息发送至所述第二用户所使用的增强现实设备；

所述增强现实设备接收所述第一用户发送的指导信息，其中，所述指导信息是所述第一用户基于第二用户的当前操作对象的三维对象模型的指导操作生成的，所述三维对象模型包括所述当前操作对象的第一局部模型，所述指导操作包括针对所述第一局部模型的第一指导操作；

所述增强现实设备将所述指导信息叠加显示在所述当前操作对象中，以供所述第二用户根据所述指导信息对所述当前操作对象执行操作。

31.一种基于增强现实的远程指导的设备，其中，所述设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至28中任一项所述方法的操作。

32.一种存储指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至28中任一项所述方法的操作。

Images