CN110717994A - 远程视频交互的实现方法及相关设备 - Google Patents

Abstract

本申请一种远程视频交互的实现方法、装置、系统及增强现实设备，增强现实AR设备通过预先将拍摄场景的RGB图像和深度图像在时间和空间上对齐，AR设备得到包含第一RGB图像的第一标识号以及标注位置信息的第一RGB图像信息后，能够利用第一标识号得到与第一RGB图像在时间和空间上均对齐的第一深度图像，获取具有该标注位置信息的二维标注点对应的深度数据，据此确定出该二维标注点在拍摄场景的虚拟环境下三维的空间位置，这样，AR设备佩戴者就能够直接在眼前展示的虚拟环境中看到立体标注点，不需要提前对拍摄场景进行扫描建模，能够适用于未知、户外等多种应用场景，大大扩展了应用范围。

Description

远程视频交互的实现方法及相关设备

技术领域

本申请主要涉及图像处理技术领域，更具体地说是涉及一种远程视频交互实现方法及相关设备。

背景技术

远程视频监控系统能够通过电话线路，将远方活动场景传送到观看者电脑屏幕上，方便观看者实时掌握远方活动场景的情况，还能够远程指导远方活动场景的用户操作，在医疗、工业、金融、用户生活等方面带来了很大遍历。

以工业维修的应用场景为例，很多时候需要维修现场的维修人员佩戴增强现实AR(Augmented Reality)设备，将维修现场的图像传送至专家的电子设备显示，专家可以直接在电子设备显示的图片中进行标注，由电子设备再将携带有标注的图像传送至AR设备，由AR设备利用该图像进行3D空间建模，以使佩戴AR设备的维修人员得知标注的3D空间位置，从而按照专家远程指示进行现场维修，不需要专家亲自到现场。

然而，这种远程视频交互实现方法，需要提前对拍摄场景进行扫描建模，对于未知、户外等应用场景，很难进行全方位扫描重建，所以说，现有的远程视频交互实现方法的适用范围具有很大局限性，并不适用于所有应用场景。

发明内容

有鉴于此，本申请提供了一种远程视频交互的实现方法、装置、系统及增强现实设备，虚拟提前对应用场景进行扫描建模，能够对任意应用场景进行远程视频指导交互，提高了适用范围。

为了实现上述发明目的，本申请提供了以下技术方案：

一方面，本申请提出了一种远程视频交互的实现方法，所述方法包括：

获取拍摄场景的RGB图像及深度图像，所述RGB图像与所述深度图像在时间和空间上对齐；

获取第一RGB图像信息；其中，所述第一RGB图像信息包含第一RGB图像的第一标识号，以及位于所述第一RGB图像中的标注位置信息，所述第一RGB图像是获取的所述RGB图像中的一帧图像；

利用所述第一RGB图像信息中的第一标识号，获取与所述第一RGB图像在时间和空间上对齐的第一深度图像；

利用具有所述标注位置信息的标注点在所述第一深度图像上的深度数据及所述标注位置信息，确定出所述标注点在所述拍摄场景的虚拟环境下的空间位置。

在一些实施例的实现方式中，所述利用具有所述标注位置信息的标注点在所述第一深度图像上的深度数据及所述标注位置信息，确定出所述标注点在所述拍摄场景的虚拟环境下的空间位置，包括：

在所述第一深度图像上，确定出具有所述标注位置信息的标注点的深度数据；

利用获取所述第一深度图像的深度摄像头的配置参数及所述深度数据，得到所述标注点对应的三维点云位置信息；

将所述三维点云位置信息映射到虚拟环境中的全局即时定位与地图构建SLAM坐标系，得到所述标注点的空间位置；

在所述拍摄场景的虚拟环境下的所述空间位置处显示所述标注点。

在一些实施例的实现方式中，所述方法还包括：

将获取的所述RGB图像发送至电子设备，以使所述电子设备响应于用户对输出的第一RGB图像的标注操作，得到所述第一RGB图像信息。

在一些实施例的实现方式中，所述获取拍摄场景的RGB图像及深度图像，包括：

获取拍摄场景的RGB图像及深度图像；

利用所述RGB图像的第一标识号及所述深度图像的第二标识号，建立同一时间采集到的所述RGB图像与所述深度图像之间的对应关系；

将具有对应关系的所述RGB图像与所述深度图像的坐标对齐。

在一些实施例的实现方式中，所述获取拍摄场景的RGB图像及深度图像，包括：

控制RGB摄像头与深度摄像头对拍摄场景进行同步图像采集，得到具有相同时间戳的RGB图像及深度图像；或者，

从采集到的拍摄场景的RGB图像及深度图像中，筛选具有相同时间戳的RGB图像及深度图像；

所述利用所述RGB图像的第一标识号及所述深度图像的第二标识号，建立同一时间采集到的所述RGB图像与所述深度图像之间的对应关系，包括：

获取具有相同时间戳的每一组所述RGB图像和所述深度图像；

针对每一组所述RGB图像和所述深度图像，建立所述RGB图像的第一标识号与所述深度图像的第二标识号之间的对应关系。

在一些实施例的实现方式中，所述将具有对应关系的所述RGB图像与所述深度图像的坐标对齐，包括：

利用预设标定板对获取所述RGB图像的RGB摄像头，及获取所述深度图像的深度摄像头的配置参数进行调整，以使获取的所述深度图像的坐标与具有相同时间戳的所述RGB图像的坐标对齐。

又一方面，本申请还提供了一种远程视频交互的实现装置，所述装置包括：

图像获取模块，用于获取拍摄场景的RGB图像及深度图像，所述RGB图像与所述深度图像在时间和空间上对齐；

图像信息获取模块，用于获取第一RGB图像信息；其中，所述第一RGB图像信息包含第一RGB图像的第一标识号，以及位于所述第一RGB图像中的标注位置信息，所述第一RGB图像是获取的所述RGB图像中的一帧图像；

深度图像获取模块，用于利用所述第一RGB图像信息中的第一标识号，获取与所述第一RGB图像在时间和空间上对齐的第一深度图像；

空间位置确定模块，用于利用具有所述标注位置信息的标注点在所述第一深度图像上的深度数据及所述标注位置信息，确定出所述标注点在所述拍摄场景的虚拟环境下的空间位置。

在一些实施例的实现方式中，所述空间位置确定模块包括：

深度数据确定单元，用于在所述第一深度图像上，确定出具有所述标注位置信息的标注点的深度数据；

点云位置信息获取单元，用于利用获取所述第一深度图像的深度摄像头的配置参数及所述深度数据，得到所述标注点对应的三维点云位置信息；

坐标系转换单元，用于将所述三维点云位置信息映射到虚拟环境中的全局即时定位与地图构建SLAM坐标系，得到所述标注点的空间位置；

显示单元，用于在所述拍摄场景的虚拟环境下的所述空间位置处显示所述标注点。

又一方面，本申请还提供了一种增强现实设备，包括：

RGB摄像头，用于采集拍摄场景的RGB图像；

深度摄像头，用于采集所述拍摄场景的深度图像；

存储器，用于存储实现如权利要求1～6任一项所述的远程视频交互的实现方法的程序；

处理器，用于调用并加载所述存储器的程序，以实现如权利要求1～6任一项所述的远程视频交互的实现方法的各步骤。

又一方面，本申请还提供了一种远程视频交互的实现系统，所述系统包括：

如上所述的增强现实设备；

与所述增强现实设备通信连接的电子设备，所述电子设备用于：

接收所述增强现实设备发送至的RGB图像，并响应于用户对输出的第一RGB图像的标注操作，得到所述第一RGB图像信息，将所述第一RGB图像信息发送至所述增强现实设备。

由此可见，与现有技术相比，本申请提供了一种远程视频交互的实现方法、装置、系统及增强现实设备，增强现实设备可以将采集到的拍摄场景的RGB图像和深度图像在时间和空间上对齐，并将RGB图像发送至远端的电子设备展示，以使电子设备使用者在第一RGB图像(某一帧RGB图像)中进行标注，生成包含所标注的第一RGB图像的第一标识号以及标注位置信息的第一RGB图像信息，并反馈至增强现实设备，之后，增强现实设备可以利用第一标识号，获取与第一RGB图像在时间和空间上对齐的第一深度图像，以得到具有该标注位置信息的二维标注点在第一深度图像中的深度数据，从而利用该深度数据及标注位置信息，确定出该二维标注点在拍摄场景的虚拟环境下三维的空间位置，这样，佩戴增强现实设备的用户就能够在虚拟环境中看到三维的标注点，能够直接据此对相应位置的对象进行操作，不需要提前对被拍摄的应用场景进行扫描建模，能够适用于未知、户外等多种应用场景，大大扩展了应用范围。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了实现本申请提出的远程视频交互的实现系统的可选示例的结构图；

图2示出了实现本申请实施例提出的一种增强现实设备的结构示意图；

图3示出了实现本申请提出的远程视频交互的实现方法的一可选场景示意图；

图4示出了本申请提出的远程视频交互的实现方法的一可选示例的流程图；

图5示出了本申请提出的远程视频交互的实现方法的一可选示例的信令流程图；

图6示出了本申请提出的远程视频交互的实现方法的又一可选示例的流程图；

图7示出了本申请提出的远程视频交互的实现装置的一可选示例的结构图；

图8示出了本申请提出的远程视频交互的实现装置的又一可选示例的结构图；

图9示出了本申请提出的远程视频交互的实现装置的又一可选示例的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

应当理解，本申请中使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参照图1，示出了可本申请提出的远程视频交互的实现系统的一可选示例的结构图，该实现系统可以包括：增强现实AR(Augmented Reality)设备100，以及能够与该AR设备100通信连接的电子设备200，其中：

AR设备可以是支持AR技术的电子设备，用户可以穿戴AR设备进行虚拟现实结合场景，本实施例中，该AR设备可以是眼镜式、头盔式等各种可穿戴式的电子设备，本申请对AR设备的具体产品类型不做限定。

其中，AR技术是一种将虚拟信息与真实信息巧妙融合的技术，能够将计算机生成的文字、图像、三维模型、视频等虚拟信息模拟仿真后，应用到真实世界中，使得真实环境和虚拟物体之间重叠，呈现在同一个画面以及空间中，本实施例对AR技术的实现原理不做详述。

电子设备200可以是手机、平板电脑、超级移动个人计算机(ultra-mobilepersonalcomputer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、台式计算机等电子设备，本申请对电子设备200的产品类型及结构不做限定，需要说明的是，由于需要电子设备200输出上述AR设备采集到的拍摄场景的图像，以便用户在图像中进行标注，远程指导AR设备佩戴者操作，所以，本申请需要该电子设备200具有输出图像的输出装置，如显示器。

在一些实施例中，为了保证AR设备能够在拍摄场景的虚拟环境下，准确显示专家在电子设备200输出的图像中标注位置的空间位置，需要将电子设备200输出的二维图像中标注位置信息，转换成三维虚拟环境中，相应位置的空间位置，以使AR设备的佩戴者能够直观看到专家所标注的拍摄场景中的位置。

基于此，参照图2，示出了本申请提出的增强现实设备的一可选示例的结构图，该增强现实设备即AR设备可以包括：RGB摄像头110、深度摄像头120、存储器130及处理器140，其中：

RGB摄像头110用于采集拍摄场景的RGB图像；深度摄像头120用于采集该拍摄场景的深度图像，本申请对这两种摄像头采集相应图像的实现过程不做详述。

存储器130可以用于存储实现本申请实施例提出的远程视频交互的实现方法的程序。

在本实施例实际应用中，由于用户佩戴AR设备进入工作状态后，该AR设备中的RGB摄像头110和深度摄像头120，会对当前拍摄场景进行图像采集，得到的相应的RGB图像和深度图像，以便据此构建当前拍摄场景的虚拟环境，关于虚拟环境的构建过程不做详述。可见，该存储器130还可以用于存储采集到的RGB图像和深度图像，以及构建生成的虚拟环境的相关数据等，可以依据实际应用需求，来确定存储器130所存储的数据，并不局限于本实施例列举的内容。

在一些实施例中，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。

处理器140可以用于调用并执行存储器130存储的程序，以实现本申请实施例提出的远程视频交互的实现方法的各个步骤，具体实现过程可以参照下文实施例相应部分的描述，但并不局限于本申请所描述的实施例实现步骤，可以根据实际场景的需求进行灵活调整，本申请不做一一详述。

在一些实施例的实现方式中，处理器140可以为中央处理器(Central ProcessingUnit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等，可以依据实际应用场景对AR设备的功能要求，来选择高性能的处理器，本申请对AR设备包含的存储器130及处理器140各自的数量及类型不做限定。

本实施例中，如图2所示，上述RGB摄像头110、深度摄像头120、存储器130及处理器140相互之间，可以通过通信总线彼此相连。

并且，对于本申请提出的AR设备的组成结构，并不局限于上文列举的几部分，根据实际需求，AR设备还可以包括通信接口，如通过有线方式或无线方式实现与电子设备通信连接的通信模块的接口，实现AR设备内部组成部件之间通信连接的接口，如USB接口、各种通信协议接口、串/并口等等，此外，该AR设备还可以包括输入装置(如智能手柄、手套等)、提示装置、电源装置、以及各种传感器组件等等，可以依据AR设备的具体产品类型及其功能等，来确定该AR设备的具体组成部分，本申请不再一一列举。

基于上述分析，以某专家远程指导维修人员，对当前的工业维修场景中的设备进行维修的场景为例进行说明，参照图3所示的场景示意图，处于该工业维修场景的维修人员，可以佩戴AR设备(图3仅以AR眼镜为例进行说明，但并不局限于这种AR设备)对待维修设备进行图像采集，得到待维修设备的RGB图像和深度图像，据此利用虚拟化技术，构建包含待维修设备的虚拟场景，并展示在该维修人员的眼前。与此同时，如图3所示，AR设备还可以通过无线网络，将该RGB图像发送至远端专家的电子设备进行展示，由专家通过查看RGB图像所展示的待维修设备的结构，确定出故障位置(或其他问题)，此时，专家可以在该RGB图像中，对该故障位置进行标注，如采用画圈等方式标注故障位置，本申请对此时采用的标注方法不做限定。

之后，专家的电子设备可以将包含标注位置信息的RGB图像信息反馈至AR设备，以使AR设备按照本申请实施例提出的远程视频交互的实现方法，将专家标注产生的二维标注位置信息，转换为三维标注位置信息，确定专家在二维RGB图像中的标注点，在当前呈现的虚拟场景中待维修设备的对应空间位置，即将专家的标注位置展示在维修人员观看的虚拟场景中，来指导维修人员确定待维修设备的故障位置，还可以通过这种方式，远程指导维修人员完成对待维修设备的维修，具体实现过程类似，本申请不做详述。

需要说明，在上文场景实施例描述的远程视频交互过程中，还可以结合文字、语音等其他交互方式的配合，远程指导维修人员完成对待维修设备的维修。而且，在交互过程中，AR设备可以实时或根据需要，将采集到的最新的RGB图像发送至专家的电子设备进行展示，以使维修人员眼前展示的虚拟场景，与专家电子设备展示的RGB图像同步，提高远程指导效率，具体实现过程与上文描述的远程视频交互过程类似，本申请不再详述。

应该理解的是，对于本申请提出的远程视频交互的实现方法，并不局限适用于本申请给出的工业场景，还可以适用于农业、日常生活、医疗、军事等很多领域，在各领域的使用过程类似，本申请不再一一详述。

参照图4，示出了本申请提出的远程视频交互的实现方法的一可选实例的流程图，该方法可以适用于增强现实AR设备，关于AR设备的组成结构及产品类型，可以参照上文实施例相应部分的描述，如图4所示，该方法可以包括但并不局限于以下步骤：

步骤S11，获取拍摄场景的RGB图像及深度图像；

结合上文对AR设备的描述，可以由处于拍摄场景中的AR设备的RGB摄像头，采集该拍摄场景的RGB图像，并由该AR设备的深度摄像头，采集该拍摄场景的深度图像，关于这两种图像的具体采集过程不做详述，但本申请需要步骤S11获取的RGB图像与深度图像在时间和空间上对齐，关于该RGB图像与深度图像如何在时间和空间上对齐的实现方式，本申请不做限定。

步骤S12，获取第一RGB图像信息；

本实施例中，第一RGB图像信息可以包含第一RGB图像的第一标识号，以及位于第一RGB图像中的标注位置信息，且该第一RGB图像是获取的RGB图像中的一帧图像。

结合上文场景实施例的描述，AR设备可以将采集到的RGB图像发送至电子设备进行展示，从而使得使用电子设备的专家，能够对该电子设备展示的RGB图像进行标注操作，并将标注了的RGB图像记为第一RGB图像，利用在该第一RGB图像中进行标注的标注位置信息，及该第一RGB图像的第一标识号，生成第一RGB图像信息，反馈至AR设备。

需要说明，关于第一RGB图像信息包含的内容，并不局限于上文列举的内容，且对于该第一RGB图像信息的生成方式，不局限于上段描述的方式，可以依据电子设备的产品类型以及用户(如上述专家)对其展示的图像的操作方式(如触摸方式、语音控制方式、按键/鼠标输入方式等等)，确定第一RGB图像信息的生成方式，本申请在此不做详述。

其中，上述第一标识号是该第一RGB图像的唯一标识，可以用来识别该第一RGB图像，即将该第一RGB图像与其他RGB图像区别开，本申请对各RGB图像的标识号的内容不做限定。

在一些实施例中，可以按照AR设备获取多帧RGB图像的顺序，确定各帧RGB图像的帧号(如数字编号、字母编号等)，从而将该帧号作为相应RGB图像的标识号，通过该标识号来识别各帧RGB图像，因此，上述第一RGB图像的第一标识号可以是：该第一RGB图像在采集到的各RGB图像中的帧号。应该理解，对于各RGB图像的标识号并不局限于帧号这一内容。

步骤S13，利用第一RGB图像信息中的第一标识号，获取与第一RGB图像在时间和空间上对齐的第一深度图像；

继上文描述，AR设备获取的拍摄场景的RGB图像和深度图像，需要在时间和空间上对齐，这样，AR设备得到包含标注位置信息的第一RGB图像后，可以利用该第一RGB图像的第一标识号，对具有时间和空间对齐关系的RGB图像和深度图像进行查询，得到与第一RGB图像在时间和空间上对应的第一深度图像。

步骤S14，利用具有标注位置信息的标注点在第一深度图像上的深度数据及标注位置信息，确定出标注点在拍摄场景的虚拟环境下的空间位置。

本实施例可以将第一RGB图像中，标注位置信息对应的位置记为标注点，应该理解，该标注点可能是一个点，也可以是一块区域，可以依据用户对第一RGB图像的标注操作确定，本申请对第一RGB图像中的标注点所表示的标注内容不做限定。

由于第一深度图像与具有标注点的第一RGB图像在时间和空间上是对齐的，在得知该标注点在第一RGB图像上的标注位置信息后，可以利用该对齐关系，确定出该标注点在第一深度图像上的深度数据，之后，可以结合虚拟三维场景的构建原理，利用该标注点的深度数据以及二维的标注点位置信息，计算得到在RGB坐标系下，二维的标注点对应的三维点云位置信息，进而经过坐标系转换运算，确定出该点云位置信息在SLAM(SimultaneousLocalization and Mapping，全局即时定位与地图构建)坐标系下的空间位置，即确定出该标注点在拍摄场景的三维虚拟环境下的空间位置，实现标注信息的三维空间展示，本实施例对步骤S14的具体实现过程不做详述。

综上，本实施例中，AR设备通过预先将拍摄场景的RGB图像和深度图像在时间和空间上对齐，这样，在远端电子设备用户对其中的第一RGB图像进行标注后，AR设备将得到包含第一RGB图像的第一标识号以及标注位置信息的第一RGB图像信息，从而利用该第一标识号，得到与第一RGB图像在时间和空间上均对齐的第一深度图像，获取该第一深度图像中，具有该标注位置信息的二维标注点对应的深度数据，利用该深度数据及标注位置信息，确定出该二维标注点在拍摄场景的虚拟环境下三维的空间位置，这样，佩戴AR设备的用户就能够直接在眼前展示的虚拟环境中，看到远端电子设备用户在某一帧RGB图像中标注的标注点，以便据此直接实现对当前拍摄场景的操作，即远程指导本地用户操作，不需要提前对拍摄场景进行扫描建模，能够适用于未知、户外等多种应用场景，大大扩展了应用范围。

参照图5，示出了本申请提出的远程视频交互的实现方法的一可选实例的信令流程图，如图5所示，该方法可以包括：

步骤S21，AR设备获取拍摄场景的RGB图像及深度图像；

步骤S22，AR设备利用RGB图像的第一标识号及深度图像的第二标识号，建立同一时间采集到的RGB图像与深度图像之间的对应关系；

在一些实施例中，AR设备可以通过控制RGB摄像头与深度摄像头对拍摄场景进行同步图像采集，得到具有相同时间戳的RGB图像及深度图像，也就是说，本申请可以通过硬件方式，控制RGB摄像头与深度摄像头这两种不同摄像头，在同一时间进行图像采集，得到时间对其的RGB图像和深度图像，本申请对这两种摄像头的具体控制过程不做详述。

在一些实施例的实现方式中，本申请还可以采用软件方式，实现RGB图像与深度图像的时间对齐，具体的，参照图6所示的流程示意图，获取时间上对其的RGB图像和深度图像的过程可以包括：

步骤A1，通过RGB摄像采集拍摄场景的RGB图像，深度摄像头采集该拍摄场景的深度图像；

步骤A2，依据RGB图像及深度图像各自的时间戳，从采集到的RGB图像及深度图像中，筛选具有相同时间戳的RGB图像及深度图像；

其中，该时间戳可以是摄像头采集相应类型的图像时，采集到的一帧图像对应的时间戳，可见，摄像头连续采集到的多帧图像各自对应的时间戳的数值也是连续的，可以直接通过各摄像头采集到的每一帧图像的时间戳，确定出同一时间戳对应的RGB图像及深度图像，即不同类型摄像头，在同一时间采集到的拍摄场景的RGB图像和深度图像。

步骤A3，获取具有相同时间戳的每一组RGB图像和深度图像；

步骤A4，针对每一组RGB图像和深度图像，建立RGB图像的第一标识号与深度图像的第二标识号之间的对应关系。

本实施例可以将同一时间戳对应的RGB图像和深度图像作为一组图像，为了方便后续查询，可以对每一组图像建立对应关系，具体可以利用同一组两个图像的标识号，构建这两个图像之间的对应关系，本申请对该标识号的内容不做限定。

在一些实施例的实现方式中，结合上文对RGB图像的描述，RGB图像的第一标识号可以是对应帧RGB图像在所采集到的多帧RGB图像排序中的帧号，当然，也可以是其他编号等；同理，对于深度摄像头采集到的多幅深度图像，本申请也可以按照一定规则对其进行编号，如按照数字大小对采集到的多幅深度图像进行顺次编号，这样，在确定RGB图像与深度图像在时间上的对应关系时，可以利用RGB图像的帧号和深度图像的编号，生成具有同一时间戳的RGB图像与深度图像的对应关系，这样，后续得知标注后的第一RGB图像的帧号后，能够按照该对应关系，直接查询与该帧号对应的深度图像的编号，即可快速且准确得到与该第一RGB图像在时间上对齐的第一深度图像。

需要说明，关于RGB图像的第一标识号与深度图像的第二标识号的内容，并不局限于上文列举的内容，RGB图像和深度图像在时间上的对应关系的表示方式，也并不局限于上文描述的实现方式，可以根据实际情况灵活确定，本申请不做一一详述。

步骤S23，AR设备将具有对应关系的RGB图像与深度图像的坐标对齐；

本实施例为了快速且准确后续查找RGB图像中某一位置的深度数据，需要同一时间采集到的RGB图像和深度图像，在空间上也能够对齐，即需要具有同一时间戳的RGB图像和深度图像的坐标对齐。

对此，本申请可以通过标定板(Calibration Target，又称标定模板)，对RGB摄像头和深度摄像头之间的相关配置数据，以及这两个摄像头自身的配置参数(如出厂配置参数)进行标定，将深度图像的坐标对其到RGB图像的坐标上，但并不局限于这种不同图像之间的空间对齐方式。

其中，标定板是在机器视觉、图像测量、三维重建等应用中，为校正镜头畸变、确定物理尺寸和像素间的换算关系，以及确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，需要建立相机成像的几何模型，可以通过相机拍摄带有固定间距图案阵列平板、经过标定算法的计算，得到该几何模型。本申请可以将带有固定间距图案阵列平板称为标定板，关于如何利用标定板实现RGB图像和深度图像的空间对齐的具体实现过程不做详述。

步骤S24，AR设备将获取的RGB图像发送至电子设备；

步骤S25，电子设备响应于用户对输出的第一RGB图像的标注操作，得到第一RGB图像信息；

步骤S26，电子设备将第一RGB图像信息发送至AR设备；

结合上述对AR设备与电子设备远程视频交互的应用场景的描述，AR设备可以将采集到的拍摄场景的RGB图像，实时发送至远端的电子设备进行展示，以使AR设备佩戴者与电子设备用户所观看到的拍摄场景对象能够同步，在该过程中，AR设备与电子设备之间还可以通过传输音频信号，如AR设备佩戴者可以同步向电子设备用户寻求帮助等，本申请对AR设备与电子设备之间的传输数据的内容不做限定，可以依据具体应用场景的需求确定。

电子设备接收到RGB图像后可以直接输出，电子设备用户能够通过展示的视频画面，根据AR设备佩戴者的需求，对第一RGB图像中进行标注操作，如标注出异常位置等，电子设备可以响应该标注操作，得到相应的标注位置信息，从而利用该标注位置信息，以及该第一RGB图像的第一标识号，生成第一RGB图像信息并反馈至AR设备，以使AR设备佩戴者能够直观看到电子设备用户的标注位置。

其中，第一RGB图像可以是电子设备输出的某一帧RGB图像，本申请对第一RGB图像信息包含的内容及其生成方式不做限定。

步骤S27，AR设备利用第一RGB图像信息中的第一标识号，获取与第一RGB图像在时间和空间上对齐的第一深度图像；

结合上述对RGB图像和深度图像在时间和空间上的对齐的实现过程的描述，本实施例可以利用RGB图像的第一标识号和深度图像的第二标识号，建立RGB图像与深度图像在时间和空间上的对应关系，保证具有对应关系的RGB图像与深度图像，在时间和空间上是对齐的，因此，AR设备得到第一RGB图像的第一标识号后，可以通过查询该对应关系，得到与该第一RGB图像的第一标识号对应的第一深度图像，即与第一RGB图像在时间和空间上对齐的深度图像。

步骤S28，AR设备在第一深度图像上，确定出具有标注位置信息的标注点的深度数据；

步骤S29，AR设备利用深度摄像头的配置参数及深度数据，得到标注点对应的三维点云位置信息；

继上文描述，本实施例实现了同一时间采集到的RGB图像和深度图像的空间对齐，所以，在得到第一RGB图像上的标注点的标注位置信息后，可以直接在第一深度图像上，确定出该标注点的深度数据，之后，结合深度摄像头自身的配置参数，计算得到该标注点对应的三维点云位置信息，即RGB坐标系下的标注点的三维位置信息，关于如何依据二维深度数据，计算得到对应的三维点云位置信息的实现过程，本申请不做详述。

步骤S210，AR设备将三维点云位置信息映射到虚拟环境中的SLAM坐标系，得到标注点的空间位置；

步骤S211，AR设备在拍摄场景的虚拟环境下的空间位置处显示该标注点。

本实施例中，RGB图像的第一标识号时刻对应的空间位姿，结合RGB坐标系和SLAM坐标系的转换关系，可以计算得到RGB坐标系下的三维点云位置信息，在SLAM坐标系下对应的空间位置，具体计算过程不做详述。之后，AR设备可以直接利用得到的标注点的空间位置，在当前展示的拍摄场景的虚拟环境中呈现该标注点，即实现了对电子设备用户在RGB图像的标注信息的三维空间展示，可以指导AR设备佩戴者对该空间位置的三维对象进行相应操作等，可以依据具体应用场景的操作需求确定。

综上，本实施例中，AR设备通过将标注的第一RGB图像和第一深度图像，实现在时间和空间上的对齐，将第一RGB图像上的二维标注点映射到第一深度图像上，得到对应的三维标注点的点云位置，再将三维点云位置映射到AR设备中全局SLAM坐标系下，直接呈现立体标注点，不需要预先对拍摄场景进行三维空间建模，能够适用于未知、户外等多种应用场景，支持各种应用场景的远程通话立体标注，极大扩展了应用范围。

参照图7，示出了本申请提出的远程视频交互的实现装置的一可选实例的流程图，该装置仍可以适用于AR设备，如图7所示，该装置可以包括：

图像获取模块31，用于获取拍摄场景的RGB图像及深度图像，所述RGB图像与所述深度图像在时间和空间上对齐；

图像信息获取模块32，用于获取第一RGB图像信息；其中，所述第一RGB图像信息包含第一RGB图像的第一标识号，以及位于所述第一RGB图像中的标注位置信息，所述第一RGB图像是获取的所述RGB图像中的一帧图像；

在一些实施例中，该装置还可以包括：

RGB图像发送模块，用于将获取的所述RGB图像发送至电子设备，以使所述电子设备响应于用户对输出的第一RGB图像的标注操作，得到所述第一RGB图像信息。

深度图像获取模块33，用于利用所述第一RGB图像信息中的第一标识号，获取与所述第一RGB图像在时间和空间上对齐的第一深度图像；

空间位置确定模块34，用于利用具有所述标注位置信息的标注点在所述第一深度图像上的深度数据及所述标注位置信息，确定出所述标注点在所述拍摄场景的虚拟环境下的空间位置。

在一些实施例中，如图8所示，空间位置确定模块34可以包括：

深度数据确定单元341，用于在所述第一深度图像上，确定出具有所述标注位置信息的标注点的深度数据；

点云位置信息获取单元342，用于利用获取所述第一深度图像的深度摄像头的配置参数及所述深度数据，得到所述标注点对应的三维点云位置信息；

坐标系转换单元343，用于将所述三维点云位置信息映射到虚拟环境中的全局即时定位与地图构建SLAM坐标系，得到所述标注点的空间位置；

显示单元344，用于在所述拍摄场景的虚拟环境下的所述空间位置处显示所述标注点。

在一些实施例中，如图9所示，上述图像获取模块31可以包括：

图像获取单元311，用于获取拍摄场景的RGB图像及深度图像；

时间对应关系建立单元312，用于利用所述RGB图像的第一标识号及所述深度图像的第二标识号，建立同一时间采集到的所述RGB图像与所述深度图像之间的对应关系；

空间对齐单元313，用于将具有对应关系的所述RGB图像与所述深度图像的坐标对齐。

在一些实施例的实现方式中，图像获取单元311可以包括：

控制单元，用于控制RGB摄像头与深度摄像头对拍摄场景进行同步图像采集，得到具有相同时间戳的RGB图像及深度图像；或者，

图像筛选单元，用于从采集到的拍摄场景的RGB图像及深度图像中，筛选具有相同时间戳的RGB图像及深度图像；

上述时间对应关系建立单元312可以包括：

图像获取子单元，用于获取具有相同时间戳的每一组所述RGB图像和所述深度图像；

建立子单元，用于针对每一组所述RGB图像和所述深度图像，建立所述RGB图像的第一标识号与所述深度图像的第二标识号之间的对应关系。

上述空间对齐单元313具体可以用于利用预设标定板对获取所述RGB图像的RGB摄像头，及获取所述深度图像的深度摄像头的配置参数进行调整，以使获取的所述深度图像的坐标与具有相同时间戳的所述RGB图像的坐标对齐，具体实现过程不做详述。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在AR设备的存储器中，由AR设备的处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种存储介质，其上可以存储程序，该程序可以被处理器调用并加载，以实现上述实施例描述的远程视频交互的实现方法的各个步骤。

参照上图2，本申请实施例还提供了一种增强现实AR设备，该AR设备可以包括RGB摄像头110、深度摄像头120、存储器130及处理器140，关于这几个组成部件之间的通信关系，以及在本申请提出的远程视频交互的实现方法中所实现的功能，可以按照上述实施例相应部分的描述，本申请不再赘述。

参照上图1，本申请实施例还提供了一种远程视频交互的实现系统，该系统可以包括增强现实AR设备100，以及能够与该AR设备100通信连接的电子设备200，关于AR设备100和电子设备200之间的通信关系，以及在本申请提出的远程视频交互的实现方法中所实现的功能，可以参照上述实施例相应部分的描述。

其中，关于AR设备100的组成结构及其功能，可以参照上述AR设备实施例的描述，电子设备200可以接收AR设备发送至的RGB图像，并响应于用户对输出的第一RGB图像的标注操作，得到第一RGB图像信息，将第一RGB图像信息发送至AR设备，具体实现过程可以参照上述方法实施例相应部分的描述。

最后，需要说明的是，关于上述各实施例中，诸如第一、第二等之类的关系术语仅仅用来将一个操作、单元或模块与另一个操作、单元或模块区分开来，而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者系统中还存在另外的相同要素。

本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、系统、AR设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种远程视频交互的实现方法，所述方法包括：

获取拍摄场景的RGB图像及深度图像，所述RGB图像与所述深度图像在时间和空间上对齐；

获取第一RGB图像信息；其中，所述第一RGB图像信息包含第一RGB图像的第一标识号，以及位于所述第一RGB图像中的标注位置信息，所述第一RGB图像是获取的所述RGB图像中的一帧图像；

利用所述第一RGB图像信息中的第一标识号，获取与所述第一RGB图像在时间和空间上对齐的第一深度图像；

利用具有所述标注位置信息的标注点在所述第一深度图像上的深度数据及所述标注位置信息，确定出所述标注点在所述拍摄场景的虚拟环境下的空间位置。

2.根据权利要求1所述的方法，所述利用具有所述标注位置信息的标注点在所述第一深度图像上的深度数据及所述标注位置信息，确定出所述标注点在所述拍摄场景的虚拟环境下的空间位置，包括：

在所述第一深度图像上，确定出具有所述标注位置信息的标注点的深度数据；

利用获取所述第一深度图像的深度摄像头的配置参数及所述深度数据，得到所述标注点对应的三维点云位置信息；

将所述三维点云位置信息映射到虚拟环境中的全局即时定位与地图构建SLAM坐标系，得到所述标注点的空间位置；

在所述拍摄场景的虚拟环境下的所述空间位置处显示所述标注点。

3.根据权利要求1或2所述的方法，所述方法还包括：

将获取的所述RGB图像发送至电子设备，以使所述电子设备响应于用户对输出的第一RGB图像的标注操作，得到所述第一RGB图像信息。

4.根据权利要求3所述的方法，所述获取拍摄场景的RGB图像及深度图像，包括：

获取拍摄场景的RGB图像及深度图像；

利用所述RGB图像的第一标识号及所述深度图像的第二标识号，建立同一时间采集到的所述RGB图像与所述深度图像之间的对应关系；

将具有对应关系的所述RGB图像与所述深度图像的坐标对齐。

5.根据权利要求4所述的方法，所述获取拍摄场景的RGB图像及深度图像，包括：

控制RGB摄像头与深度摄像头对拍摄场景进行同步图像采集，得到具有相同时间戳的RGB图像及深度图像；或者，

从采集到的拍摄场景的RGB图像及深度图像中，筛选具有相同时间戳的RGB图像及深度图像；

所述利用所述RGB图像的第一标识号及所述深度图像的第二标识号，建立同一时间采集到的所述RGB图像与所述深度图像之间的对应关系，包括：

获取具有相同时间戳的每一组所述RGB图像和所述深度图像；

针对每一组所述RGB图像和所述深度图像，建立所述RGB图像的第一标识号与所述深度图像的第二标识号之间的对应关系。

6.根据权利要求5所述的方法，所述将具有对应关系的所述RGB图像与所述深度图像的坐标对齐，包括：

利用预设标定板对获取所述RGB图像的RGB摄像头，及获取所述深度图像的深度摄像头的配置参数进行调整，以使获取的所述深度图像的坐标与具有相同时间戳的所述RGB图像的坐标对齐。

7.一种远程视频交互的实现装置，所述装置包括：

图像获取模块，用于获取拍摄场景的RGB图像及深度图像，所述RGB图像与所述深度图像在时间和空间上对齐；

图像信息获取模块，用于获取第一RGB图像信息；其中，所述第一RGB图像信息包含第一RGB图像的第一标识号，以及位于所述第一RGB图像中的标注位置信息，所述第一RGB图像是获取的所述RGB图像中的一帧图像；

深度图像获取模块，用于利用所述第一RGB图像信息中的第一标识号，获取与所述第一RGB图像在时间和空间上对齐的第一深度图像；

空间位置确定模块，用于利用具有所述标注位置信息的标注点在所述第一深度图像上的深度数据及所述标注位置信息，确定出所述标注点在所述拍摄场景的虚拟环境下的空间位置。

8.根据权利要求7所述的装置，所述空间位置确定模块，包括：

深度数据确定单元，用于在所述第一深度图像上，确定出具有所述标注位置信息的标注点的深度数据；

点云位置信息获取单元，用于利用获取所述第一深度图像的深度摄像头的配置参数及所述深度数据，得到所述标注点对应的三维点云位置信息；

坐标系转换单元，用于将所述三维点云位置信息映射到虚拟环境中的全局即时定位与地图构建SLAM坐标系，得到所述标注点的空间位置；

显示单元，用于在所述拍摄场景的虚拟环境下的所述空间位置处显示所述标注点。

9.一种增强现实设备，包括：

RGB摄像头，用于采集拍摄场景的RGB图像；

深度摄像头，用于采集所述拍摄场景的深度图像；

存储器，用于存储实现如权利要求1～6任一项所述的远程视频交互的实现方法的程序；

处理器，用于调用并加载所述存储器的程序，以实现如权利要求1～6任一项所述的远程视频交互的实现方法的各步骤。

10.一种远程视频交互的实现系统，所述系统包括：

如权利要求9所述的增强现实设备；

与所述增强现实设备通信连接的电子设备，所述电子设备用于：

接收所述增强现实设备发送至的RGB图像，并响应于用户对输出的第一RGB图像的标注操作，得到所述第一RGB图像信息，将所述第一RGB图像信息发送至所述增强现实设备。

Images