CN107656991A - 一种远程指导方法、装置及系统 - Google Patents

Abstract

本发明提供了一种远程指导方法、装置及系统，包括接收远程端发送的虚拟场景画面及虚拟摄像机的位置信息，并显示该虚拟场景画面；进入指导模式后，将与当前显示的虚拟场景画面对应的虚拟摄像机的位置信息发送给远程端；接收远程端发送的当前显示的虚拟场景画面的深度信息；检测到用户在目标点位执行操作时，确定目标点位在目标坐标系下的三维坐标；将三维坐标及待添加的指导信息的标识发送给远程端，以使远程端根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将其添加在目标点位上。本发明中，减少了数据传输量，降低了网络对数据传输的影响，减少了由于网络原因导致传输延迟，进而无法及时提供指导信息的情况发生。

Description

一种远程指导方法、装置及系统

技术领域

本发明涉及通信技术领域，具体而言，涉及一种远程指导方法、装置及系统。

背景技术

随着社会的发展，远程指导应用到越来越多的行业中，比如说，技修、实地勘察等行业中。在进行远程指导时，一般通过指导端和远程端共同完成，指导端和远程端通过网络进行数据传输。

现有技术中，在进行远程指导时，一般是通过远程端采集现场图像，并将采集的现场图像通过网络发送给指导端，并由指导端展示给工作人员，以便工作人员根据现场图像作出指导，并通过指导端将工作人员的指导建议发送给远程端，以便远程端显示该指导信息。

但是，采用现有技术中的方法进行远程指导时，远程端和指导端之间数据传输量较大，很容易受到网络的影响，进而导致传输延时，无法及时提供指导信息。

发明内容

有鉴于此，本发明实施例的目的在于提供一种远程指导方法、装置及系统，以解决或试图缓解上述技术问题。

第一方面，本发明实施例提供了一种远程指导方法，其中，所述方法包括：

接收远程端发送的虚拟场景画面及置于虚拟场景中的虚拟摄像机的位置信息，并显示所述虚拟场景画面；

接收到进入指导模式指令后，将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给所述远程端，以使所述远程端根据所述虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

接收所述远程端发送的当前显示的虚拟场景画面的深度信息；

在检测到用户在目标点位执行操作时，根据所述目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

将所述目标点位的三维坐标及待添加的指导信息的标识发送给所述远程端，以使所述远程端根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给所述远程端之前，所述方法还包括：

锁定当前显示的虚拟场景画面。

结合第一方面，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述根据所述目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标，包括：

根据所述目标点位在所述显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位的深度值；

将所述目标点位在显示屏上的第一位置坐标进行坐标转换，得到所述目标点位在目标坐标系下的第二位置坐标；

将所述第二位置坐标及所述目标点位的深度值确定为所述目标点位在目标坐标系下的三维坐标。

结合第一方面的第二种可能的实现方式，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述方法还包括：

根据所述目标点位的三维坐标显示所述目标点位；

从预先建立的指导信息库中获取所述待添加的指导信息；

将所述待添加的指导信息添加在所述目标点位上。

结合第一方面的第三种可能的实现方式，本发明实施例提供了上述第一方面的第四种可能的实现方式，其中，所述根据所述目标点位的三维坐标显示所述目标点位，包括：

根据所述目标点位的深度值，确定所述目标点位在显示屏上的显示尺寸；

根据所述目标点位的三维坐标及所述目标点位的显示尺寸，显示所述目标点位。

第二方面，本发明实施例提供了一种远程指导方法，其中，所述方法包括：

将置于虚拟场景中的虚拟摄像机抓取的虚拟场景画面及虚拟摄像机在虚拟场景中的位置信息发送给指导端；

在接收到所述指导端发送的与所述指导端当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息后，根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

将所述当前显示的虚拟场景画面的深度信息发送给所述指导端，以使所述指导端在检测到用户在目标点位执行操作时，根据所述目标点位的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

接收到所述指导端发送的所述目标点位的三维坐标及待添加的指导信息的标识后，根据所述标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

结合第二方面，本发明实施例提供了上述第二方面的第一种可能的实现方式，其中，所述方法还包括：

获取所述虚拟摄像机抓取的虚拟场景画面的深度信息；

将所述深度信息与所述虚拟摄像机在该虚拟场景画面对应的虚拟场景中的位置信息的对应关系存储在深度信息库中；

所述根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息，包括：

从所述深度信息库中选取与该虚拟摄像机的位置信息对应的深度信息；

将该深度信息确定为当前显示的虚拟场景画面的深度信息。

第三方面，本发明实施例提供了一种远程指导装置，其中，所述装置包括：

第一接收模块，用于接收远程端发送的虚拟场景画面及置于虚拟场景中的虚拟摄像机的位置信息；

显示模块，用于显示所述虚拟场景画面；

发送模块，用于接收到进入指导模式指令后，将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给所述远程端，以使所述远程端根据所述虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

第二接收模块，用于接收所述远程端发送的当前显示的虚拟场景画面的深度信息；

确定模块，用于在检测到用户在目标点位执行操作时，根据所述目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

第二发送模块，用于将所述目标点位的三维坐标及待添加的指导信息的标识发送给所述远程端，以使所述远程端根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

第四方面，本发明实施例提供了一种远程指导装置，其中，所述装置包括：

第一发送模块，用于将置于虚拟场景中的虚拟摄像机抓取的虚拟场景画面及虚拟摄像机在虚拟场景中的位置信息发送给指导端；

确定模块，用于在接收到所述指导端发送的与所述指导端当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息后，根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

第二发送模块，用于将所述当前显示的虚拟场景画面的深度信息发送给所述指导端，以使所述指导端在检测到用户在目标点位执行操作时，根据所述目标点位的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

添加模块，用于接收到所述指导端发送的所述目标点位的三维坐标及待添加的指导信息的标识后，根据所述标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

第五方面，本发明实施例提供了一种远程指导系统，其中，所述系统包括指导端和远程端，所述指导端包括上述第三方面所述的远程指导装置，所述远程端包括上述第四方面所述的远程指导装置。

在本发明实施例提供的远程指导方法、装置及系统中，只将指导信息的标识发送给远程端，减少了数据传输量，降低了网络对数据传输的影响，减少了由于网络原因导致传输延迟，进而无法及时提供指导信息的情况的发生。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例1所提供的远程指导方法的流程图；

图2示出了本发明实施例2所提供的远程指导方法的流程图；

图3示出了本发明实施例3所提供的远程指导装置的结构示意图；

图4示出了本发明实施例4所提供的远程指导装置的结构示意图；

图5示出了本发明实施例5所提供的远程指导系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供了一种远程指导方法，如图1所示，该方法包括步骤S110-S150，具体如下：

S110，接收远程端发送的虚拟场景画面及置于虚拟场景中的虚拟摄像机的位置信息，并显示该虚拟场景画面。

本发明实施例提供的远程指导方法的执行主体为指导端，该指导端可以是计算机、手机等终端设备，也可以是Hololens眼镜等可穿戴设备。上述指导端指的是提供指导信息的用户使用的设备，上述远程端指的是处于作业现场的工作人员使用的设备。

其中，上述远程端需要具备三维重建功能、即时定位与地图构建(simultaneouslocalization and mapping，SLAM)和追踪功能，比如说，可以是计算机、手机等终端设备，也可以是Hololens眼镜等可穿戴设备。

具体的，远程端和指导端具有相同的初始虚拟场景，即远程端和指导端显示的初始虚拟场景是相同的。该虚拟场景指的是远程端构建的待指导现场的虚拟场景，远程端显示的虚拟场景会不断随着当前待指导现场的变化而变化，并且，在每个虚拟场景中均设置有虚拟摄像机。

在本发明实施例中，置于虚拟场景中的虚拟摄像机会实时抓取该虚拟场景的虚拟场景画面，并由远程端获取该虚拟场景画面的深度信息，虚拟摄像机在不同的虚拟场景中的位置信息可能不同，因此，一个虚拟场景画面对应一个位置信息，并且，一个虚拟场景画面对应一个深度信息，所以，可以建立虚拟摄像机的位置信息与虚拟场景画面的深度信息的对应关系，并存储该对应关系。

其中，虚拟摄像机在虚拟场景中的位置信息包括虚拟摄像机在虚拟场景中所处位置的坐标信息及虚拟摄像机在虚拟场景中的朝向信息。

远程端会将虚拟摄像机抓取的虚拟场景画面，以及虚拟摄像机在该虚拟场景中的位置信息发送给指导端。

当指导端接收到远程端发送的虚拟场景画面，及虚拟摄像机在该虚拟场景画面对应的虚拟场景中的位置信息后，会在显示屏上显示该虚拟场景画面，并将该虚拟场景画面与虚拟摄像机的位置信息一一对应的存储。

S120，接收到进入指导模式指令后，将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给远程端，以使远程端根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息。

上述进入指导模式指令是由提供指导信息的用户触发的，在一种具体实施方式中，可以是由用户点击指导端上的某个按钮触发，或者是由用户在指导端的显示屏上执行预设操作触发的，该预设操作可是点击、长按或者滑动触摸屏上的某个位置。

在本发明实施例中，当指导端接收到进入指导模式指令后，会切换至指导模式，这时，指导端会锁定当前显示的虚拟场景画面，并根据当前显示的虚拟场景画面，从上述存储的虚拟场景画面与虚拟摄像机的位置信息的对应关系中获取当前显示的虚拟场景画面对应的虚拟摄像机的位置信息，该虚拟摄像机的位置信息就是与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息。

指导端讲上述与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给远程端。

当远程端接收到该位置信息后，根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息，具体包括：

根据远程端接收到的位置信息，从预先建立的虚拟摄像机的位置信息与虚拟场景画面的深度信息的对应关系选择与接收到的位置信息对应的虚拟场景画面的深度信息，将该深度信息作为指导端当前显示的虚拟场景画面的深度信息，并将该深度信息发送给指导端。

S130，接收远程端发送的当前显示的虚拟场景画面的深度信息。

在本发明实施例中，指导端也具有SLAM功能，因此，可以指导端与远程端之间可以直接进行深度信息的传输，不需要进行转换，过程简单方便。

S140，在检测到用户在目标点位执行操作时，根据该目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定该目标点位在目标坐标系下的三维坐标。

当指导端切换至指导模式后，指导端显示的虚拟场景画面是可以被编辑的。

其中，用户在目标点位执行操作可以是用户点击目标点位，或者是用户长按目标点位，还或者是用户在目标点位执行滑动动作等均可，本发明实施例并不对上述执行的具体操作进行限定。

上述目标点位指的是需要放置指导信息的点位。

进一步的，在检测到用户在目标点位执行操作后，则获取该目标点位在显示屏上所处的第一位置坐标。

具体的，上述目标坐标系可以是世界坐标系。

其中，上述根据目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定目标点位在目标坐标系下的三维坐标，具体包括如下步骤(1)-(3)：

(1)根据目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定该目标点位的深度值；

(2)将上述目标点位在显示屏上的第一位置坐标进行坐标转换，得到上述目标点位在目标坐标系下的第二位置坐标；

(3)将上述第二位置坐标及目标点位的深度值确定为该目标点位在目标坐标下下的三维坐标。

具体的，在上述步骤(1)中，当前显示的虚拟场景画面包括多个像素点，每个像素点可能对应不同的目标点位，并且，该虚拟场景画面的深度信息包括多个像素点分别对应的深度值，因此，需要确定出该第一位置坐标对应的像素点，将该像素点对应的深度值确定为目标点位的深度值。

在本发明实施例中，将上述目标点位在显示屏上的第一位置坐标记为(X，Y)，该目标点位的深度值记为Z，在上述步骤(2)中，首先从虚拟摄像机的相机参数中获取从屏幕坐标系到世界坐标系之间的转换关系，然后根据该转换关系，将目标点位的第一位置坐标(X，Y)转换到世界坐标系，将该第一位置坐标(X，Y)转换到世界坐标系下后得到的仍然是一个二维坐标，将该位置坐标记为第二位置坐标。

其中，在本发明实施例中，将目标点位的坐标(X,Y)转换到世界坐标系，可以通过摄像机屏幕到世界点(camera.Screen To WorldPoint)的方法。其中，摄像机指的是虚拟场景中的虚拟摄像机。当然，还可以通过其他转换方法实现，此处不再一一赘述。

之后连同目标点位的深度值Z组成一个全新的三维坐标，即得到了该目标点位在世界坐标系下的三维坐标。

当指导端得到上述目标点位在目标坐标系下的三维坐标后，一方面执行如下过程：根据目标点位的三维坐标显示该目标点位；从预先建立的指导信息库中获取待添加的指导信息；将该待添加的指导信息添加在目标点位上，这样，在指导端也可以显示该目标点位对应的指导信息。

其中，上述根据目标点位的三维坐标显示该目标点位，具体包括：根据该目标点位的深度值，确定该目标点位在显示屏上的显示尺寸；根据该目标点位的三维坐标及目标点位的显示尺寸，显示该目标点位。

在本发明实施例中，根据目标点位的深度值，对目标点位的显示尺寸进行调整，确定出该深度值对应的目标点位的显示尺寸，以使指导端按照该尺寸显示该目标点位，这样，使得目标点位在上述虚拟场景画面上立体显示，得到的为三维场景。

其中，在指导端也存储有和远程端相同的指导信息库，从该指导信息库中获取待添加的指导信息，将该待添加的指导信息添加在指导端显示的目标点位上。

其中，上述指导信息可以是箭头、圆圈等指导标志，还可以是一些文字说明等内容。

另一方面，则执行如下步骤S150。

S150，将上述目标点位的三维坐标及待添加的指导信息的标识发送给远程端，以使远程端根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将该指导信息添加在目标点位上。

在本发明实施例中，一种可能的实现方式，则是指导端将上述目标点位的三维坐标及待添加的指导信息的标识发送给远程端，这样，当远程端接收到目标点位的三维坐标后，根据该目标点位的深度值，确定该目标点位在远程端的显示尺寸，并按照该目标点位的三维坐标及该目标点位的显示尺寸显示该目标点位。

在另外一种可能的实现方式中，指导端将上述目标点位的三维坐标及待添加的指导信息的标识发送给远程端的同时，还将该目标点位在显示屏上的显示尺寸发送给远程端，以使远程端根据该目标点位的三维坐标及显示尺寸显示该目标点位。

具体的，当远程端接收到指导端发送的待添加的指导信息的标识后，根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将该指导信息添加在指导端显示的目标点位上。

其中，预先建立的指导信息库中存储有指导信息与指导信息的标识之间的对应关系。

上述指导信息的标识可以是指导信息在指导信息库中的存储名称、存储编号、存储路径等内容。

本发明实施例提供的远程指导方法，只将指导信息的标识发送给远程端，不需要将指导信息发送给远程端，减少了数据传输量，降低了网络对数据传输的影响，减少了由于网络原因导致传输延迟，进而无法及时提供指导信息的情况的发生。

实施例2

本发明实施例提供了一种远程指导方法，如图2所示，该方法包括步骤S210-S240，具体如下。

S210，将置于虚拟场景中的虚拟摄像机抓取的虚拟场景画面及虚拟摄像机在虚拟场景中的位置信息发送给指导端。

本发明实施例提供的远程指导方法的执行主体为远程端，该远程端指的是处于作业现场的工作人员使用的设备。该远程端需要具备三维重建功能和追踪功能，比如说，可以是计算机、手机等终端设备，也可以是Hololens眼镜等可穿戴设备。

上述指导端指的是提供指导信息的用户使用的设备，该指导端可以是计算机、手机等终端设备，也可以是Hololens眼镜等可穿戴设备。

具体的，远程端和指导端具有相同的初始虚拟场景，即远程端和指导端显示的初始虚拟场景是相同的。该虚拟场景指的是远程端构建的待指导现场的虚拟场景，远程端显示的虚拟场景会不断随着当前待指导现场的变化而变化，并且，在每个虚拟场景中均设置有虚拟摄像机。

进一步的，本发明实施例提供的方法还包括：获取虚拟摄像机抓取的虚拟场景画面的深度信息；将该深度信息与虚拟摄像机在该虚拟场景画面对应的虚拟场景中的位置信息的对应关系存储在深度信息库中。

在本发明实施例中，置于虚拟场景中的虚拟摄像机会实时抓取该虚拟场景的虚拟场景画面，并由远程端获取该虚拟场景画面的深度信息，虚拟摄像机在不同的虚拟场景中的位置信息可能不同，因此，一个虚拟场景画面对应一个位置信息，并且，一个虚拟场景画面对应一个深度信息，所以，可以建立虚拟摄像机的位置信息与虚拟场景画面的深度信息的对应关系，并存储该对应关系。

当指导端接收到远程端发送的虚拟场景画面，及虚拟摄像机在该虚拟场景画面对应的虚拟场景中的位置信息后，会在显示屏上显示该虚拟场景画面，并将该虚拟场景画面与虚拟摄像机的位置信息一一对应的存储。

在指导端进入指导模式后，指导端会锁定当前显示的虚拟场景画面，并根据当前显示的虚拟场景画面，从上述存储的虚拟场景画面与虚拟摄像机的位置信息的对应关系中获取当前显示的虚拟场景画面对应的虚拟摄像机的位置信息，该虚拟摄像机的位置信息就是与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息。并将于该指导端当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给远程单。

S220，在接收到指导端发送的与该指导端当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息后，根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息。

在一种具体实施方式中，上述根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息，包括：

从深度信息库中选取与该虚拟摄像机的位置信息对应的深度信息；将该深度信息确定为当前显示的虚拟场景画面的深度信息。

S230，将当前显示的虚拟场景画面的深度信息发送给指导端，以使指导端在检测到用户在目标点位执行操作时，根据该目标点位的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定该目标点位在目标坐标系下的三维坐标。

当指导端切换至指导模式后，指导端显示的虚拟场景画面是可以被编辑的。

其中，用户在目标点位执行操作可以是用户点击目标点位，或者是用户长按目标点位，还或者是用户在目标点位执行滑动动作等均可，本发明实施例并不对上述执行的具体操作进行限定。

上述目标点位指的是需要放置指导信息的点位。

进一步的，在检测到用户在目标点位执行操作后，则获取该目标点位在显示屏上所处的第一位置坐标。

具体的，上述目标坐标系可以是世界坐标系。

具体的，指导端根据目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定目标点位在目标坐标系下的三维坐标，具体包括：根据目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定该目标点位的深度值；将上述目标点位在显示屏上的第一位置坐标进行坐标转换，得到上述目标点位在目标坐标系下的第二位置坐标；将上述第二位置坐标及目标点位的深度值确定为该目标点位在目标坐标下下的三维坐标。

具体的，当前显示的虚拟场景画面包括多个像素点，每个像素点可能对应不同的目标点位，并且，该虚拟场景画面的深度信息包括多个像素点分别对应的深度值，因此，需要确定出该第一位置坐标对应的像素点，将该像素点对应的深度值确定为目标点位的深度值。

在本发明实施例中，将上述目标点位在显示屏上的第一位置坐标记为(X，Y)，该目标点位的深度值记为Z，在上述步骤中，首先从虚拟摄像机的相机参数中获取从屏幕坐标系到世界坐标系之间的转换关系，然后根据该转换关系，将目标点位的第一位置坐标(X，Y)转换到世界坐标系，将该第一位置坐标(X，Y)转换到世界坐标系下后得到的仍然是一个二维坐标，将该位置坐标记为第二位置坐标。

其中，在本发明实施例中，将目标点位的坐标(X,Y)转换到世界坐标系，可以通过摄像机屏幕到世界点(camera.Screen To WorldPoint)的方法。其中，摄像机指的是虚拟场景中的虚拟摄像机。当然，还可以通过其他转换方法实现，此处不再一一赘述。

之后连同目标点位的深度值Z组成一个全新的三维坐标，即得到了该目标点位在世界坐标系下的三维坐标。

其中，上述根据目标点位的三维坐标显示该目标点位，具体包括：根据该目标点位的深度值，确定该目标点位在显示屏上的显示尺寸；根据该目标点位的三维坐标及目标点位的显示尺寸，显示该目标点位。

在本发明实施例中，根据目标点位的深度值，对目标点位的显示尺寸进行调整，确定出该深度值对应的目标点位的显示尺寸，以使指导端按照该尺寸显示该目标点位，这样，使得目标点位在上述虚拟场景画面上立体显示，得到的为三维场景。

当指导端根据目标点位的三维坐标及目标点位的显示尺寸显示上述目标点位后，从预先建立的指导信息库中获取待添加的指导信息，将该待添加的指导信息添加在指导端显示的目标点位上。

其中，上述指导信息可以是箭头、圆圈等指导标志，还可以是一些文字说明等内容。

S240，接收到指导端发送的目标点位的三维坐标及待添加的指导信息的标识后，根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将该指导信息添加在目标点位上。

在本发明实施例中，一种可能的实现方式，则是指导端将上述目标点位的三维坐标及待添加的指导信息的标识发送给远程端，这样，当远程端接收到目标点位的三维坐标后，根据该目标点位的深度值，确定该目标点位在远程端的显示尺寸，并按照该目标点位的三维坐标及该目标点位的显示尺寸显示该目标点位。

在另外一种可能的实现方式中，指导端将上述目标点位的三维坐标及待添加的指导信息的标识发送给远程端的同时，还将该目标点位在显示屏上的显示尺寸发送给远程端，以使远程端根据该目标点位的三维坐标及显示尺寸显示该目标点位。

具体的，当远程端接收到指导端发送的待添加的指导信息的标识后，根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将该指导信息添加在指导端显示的目标点位上。

其中，预先建立的指导信息库中存储有指导信息与指导信息的标识之间的对应关系。

上述指导信息的标识可以是指导信息在指导信息库中的存储名称、存储编号、存储路径等内容。

本发明实施例提供的远程指导方法，不需要与指导端进行指导信息的传输，减少了数据传输量，降低了网络对数据传输的影响，减少了由于网络原因导致传输延迟，进而无法及时提供指导信息的情况的发生。

实施例3

本发明实施例提供了一种远程指导装置，该装置用于执行本发明实施例1所提供的远程指导方法，如图3所示，该装置包括第一接收模块310、显示模块320、第一发送模块330、第二接收模块340、确定模块350和第二发送模块360；

其中，上述第一接收模块310，用于接收远程端发送的虚拟场景画面及置于虚拟场景中的虚拟摄像机的位置信息；

上述显示模块320，用于显示该虚拟场景画面；

上述第一发送模块330，用于接收到进入指导模式指令后，将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给远程端，以使远程端根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

上述第二接收模块340，用于接收远程端发送的当前侠士的虚拟场景画面的深度信息；

上述确定模块350，用于在检测到用户在目标点位执行操作时，根据该目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定该目标点位在目标坐标系下的三维坐标；

上述第二发送模块360，用于将上述目标点位的三维坐标及待添加的指导信息的标识发送给远程端，以使远程端根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将该指导信息添加在目标点位上。

进一步的，本发明实施例提供的远程指导装置，还包括锁定模块；

上述锁定模块，用于在指导端接收到进入指导模式指令后，锁定当前显示的虚拟场景画面。

进一步的，上述确定模块350根据目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定目标点位在目标坐标系下的三维坐标，是通过第一确定单元、转换单元和第二确定单元实现的，具体包括：

上述第一确定单元，用于根据上述目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定上述目标点位的深度值；上述转换单元，用于将上述目标点位在显示屏上的第一位置进行坐标转换，得到上述目标点位在目标坐标系下的第二位置坐标；上述第二确定单元，用于将上述第二位置坐标及上述目标点位的深度值确定为目标点位在目标坐标系下的三维坐标。

进一步的，本发明实施例提供的远程指导装置还包括目标点位显示模块、获取模块和添加模块；

上述目标点位显示模块，用于根据目标点位的三维坐标显示该目标点位；上述获取模块，用于从预先建立的指导信息库中获取上述待添加的指导信息；上述添加模块，用于将上述待添加的指导信息添加在目标点位上。

进一步的，上述目标点位显示模块根据目标点位的三维坐标显示上述目标点位是通过第三确定单元和显示单元实现的，具体包括：

上述第三确定单元，用于根据上述目标点位的深度值，确定上述目标点位在显示屏上的显示尺寸；上述显示单元，用于根据上述目标点位的三维坐标及目标点位的显示尺寸，显示上述目标点位。

本发明实施例提供的远程指导装置，只将指导信息的标识发送给远程端，不需要将指导信息发送给远程端，减少了数据传输量，降低了网络对数据传输的影响，减少了由于网络原因导致传输延迟，进而无法及时提供指导信息的情况的发生。

实施例4

本发明实施例提供了一种远程指导装置，该装置用于执行上述实施例2提供的远程指导方法，如图4所示，该装置包括第一发送模块410、确定模块420、第二发送模块430和添加模块440；

其中，上述第一发送模块410，用于将置于虚拟场景中的虚拟摄像机抓取的虚拟场景画面及虚拟摄像机在虚拟场景中的位置信息发送给指导端；

上述确定模块420，用于在接收到指导端发送的与该指导端当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息后，根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

上述第二发送模块430，用于将当前显示的虚拟场景画面的深度信息发送给指导端，以使指导端在检测到用户在目标点位执行操作时，根据该目标点位的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定该目标点位在目标坐标系下的三维坐标；

上述添加模块440，用于接收到指导端发送的目标点位的三维坐标及待添加的指导信息的标识后，根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将该指导信息添加在目标点位上。

进一步的，本发明实施例提供的远程指导装置还包括获取模块和存储模块；

上述获取模块，用于获取上述虚拟摄像机抓取的虚拟场景画面的深度信息；上述存储模块，用于将上述深度信息与虚拟摄像机在爱虚拟场景画面对应的虚拟场景中的位置信息的对应关系存储在深度信息库中。

进一步的，上述确定模块420，具体包括：选取单元和确定单元；上述选取单元，用于从上述深度信息库中选取与该虚拟摄像机的位置信息对应的深度信息；上述确定单元，用于将该深度信息确定为当前显示的虚拟场景画面的深度信息。

本发明实施例提供的远程指导装置，不需要与指导端进行指导信息的传输，减少了数据传输量，降低了网络对数据传输的影响，减少了由于网络原因导致传输延迟，进而无法及时提供指导信息的情况的发生。

实施例5

本发明实施例提供了一种远程指导系统，如图5所示，该系统包括指导端510和远程端520；指导端510包括上述实施例3所述的远程指导装置，上述远程端520包括上述实施例4所述的远程指导装置。

具体的，上述指导端510和远程端520通过网络连接。

上述指导端510可以是计算机、手机等终端设备，也可以是Hololens眼镜等可穿戴设备。上述指导端指的是提供指导信息的工作人员使用的设备，上述远程端指的是处于作业现场的工作人员使用的设备。

其中，上述远程端需要具备三维重建功能和追踪功能，比如说，可以是计算机、手机等终端设备，也可以是Hololens眼镜等可穿戴设备。

本发明实施例提供的远程指导系统，只将指导信息的标识发送给远程端，不需要将指导信息发送给远程端，减少了数据传输量，降低了网络对数据传输的影响，减少了由于网络原因导致传输延迟，进而无法及时提供指导信息的情况的发生。

本发明实施例所提供的远程指导装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种远程指导方法，其特征在于，所述方法包括：

接收远程端发送的虚拟场景画面及置于虚拟场景中的虚拟摄像机的位置信息，并显示所述虚拟场景画面；

接收到进入指导模式指令后，将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给所述远程端，以使所述远程端根据所述虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

接收所述远程端发送的当前显示的虚拟场景画面的深度信息；

在检测到用户在目标点位执行操作时，根据所述目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

将所述目标点位的三维坐标及待添加的指导信息的标识发送给所述远程端，以使所述远程端根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

2.根据权利要求1所述的方法，其特征在于，所述将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给所述远程端之前，所述方法还包括：

锁定当前显示的虚拟场景画面。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标，包括：

根据所述目标点位在所述显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位的深度值；

将所述目标点位在显示屏上的第一位置坐标进行坐标转换，得到所述目标点位在目标坐标系下的第二位置坐标；

将所述第二位置坐标及所述目标点位的深度值确定为所述目标点位在目标坐标系下的三维坐标。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述目标点位的三维坐标显示所述目标点位；

从预先建立的指导信息库中获取所述待添加的指导信息；

将所述待添加的指导信息添加在所述目标点位上。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标点位的三维坐标显示所述目标点位，包括：

根据所述目标点位的深度值，确定所述目标点位在显示屏上的显示尺寸；

根据所述目标点位的三维坐标及所述目标点位的显示尺寸，显示所述目标点位。

6.一种远程指导方法，其特征在于，所述方法包括：

将置于虚拟场景中的虚拟摄像机抓取的虚拟场景画面及虚拟摄像机在虚拟场景中的位置信息发送给指导端；

在接收到所述指导端发送的与所述指导端当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息后，根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

将所述当前显示的虚拟场景画面的深度信息发送给所述指导端，以使所述指导端在检测到用户在目标点位执行操作时，根据所述目标点位的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

接收到所述指导端发送的所述目标点位的三维坐标及待添加的指导信息的标识后，根据所述标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取所述虚拟摄像机抓取的虚拟场景画面的深度信息；

将所述深度信息与所述虚拟摄像机在该虚拟场景画面对应的虚拟场景中的位置信息的对应关系存储在深度信息库中；

所述根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息，包括：

从所述深度信息库中选取与该虚拟摄像机的位置信息对应的深度信息；

将该深度信息确定为当前显示的虚拟场景画面的深度信息。

8.一种远程指导装置，其特征在于，所述装置包括：

第一接收模块，用于接收远程端发送的虚拟场景画面及置于虚拟场景中的虚拟摄像机的位置信息；

显示模块，用于显示所述虚拟场景画面；

第一发送模块，用于接收到进入指导模式指令后，将与当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息发送给所述远程端，以使所述远程端根据所述虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

第二接收模块，用于接收所述远程端发送的当前显示的虚拟场景画面的深度信息；

确定模块，用于在检测到用户在目标点位执行操作时，根据所述目标点位在显示屏上的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

第二发送模块，用于将所述目标点位的三维坐标及待添加的指导信息的标识发送给所述远程端，以使所述远程端根据该标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

9.一种远程指导装置，其特征在于，所述装置包括：

第一发送模块，用于将置于虚拟场景中的虚拟摄像机抓取的虚拟场景画面及虚拟摄像机在虚拟场景中的位置信息发送给指导端；

确定模块，用于在接收到所述指导端发送的与所述指导端当前显示的虚拟场景画面对应的虚拟场景中的虚拟摄像机的位置信息后，根据该虚拟摄像机的位置信息确定当前显示的虚拟场景画面的深度信息；

第二发送模块，用于将所述当前显示的虚拟场景画面的深度信息发送给所述指导端，以使所述指导端在检测到用户在目标点位执行操作时，根据所述目标点位的第一位置坐标及当前显示的虚拟场景画面的深度信息，确定所述目标点位在目标坐标系下的三维坐标；

添加模块，用于接收到所述指导端发送的所述目标点位的三维坐标及待添加的指导信息的标识后，根据所述标识从预先建立的指导信息库中查找该标识对应的指导信息，并将所述指导信息添加在所述目标点位上。

10.一种远程指导系统，其特征在于，所述系统包括指导端和远程端，所述指导端包括权利要求8所述的远程指导装置，所述远程端包括权利要求9所述的远程指导装置。