CN113610987B - 一种基于三维重建的混合现实空间标注方法及系统 - Google Patents

Abstract

本申请公开了一种基于三维重建的混合现实空间标注方法及系统，其方法包括：当需要进行标注时，智能端获取标注时间点的视频帧数据及空间矩阵数据；智能端通过服务端将视频帧数据发送至客户端；当用户在客户端绘制完成标注后，客户端获取标注的标注数据，通过服务端将标注数据发送至智能端，标注数据包括标注形状及标注大小；智能端根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据；智能端根据标注数据及空间位置数据，在空间绘制面上形成标注。本申请解决了智能端标注遮挡使用者视野及标注位置不精确的问题。

Description

一种基于三维重建的混合现实空间标注方法及系统

技术领域

本申请涉及混合现实技术领域，尤其是涉及一种基于三维重建的混合现实空间标注方法及系统。

背景技术

随着科技的发展，人们已经不局限于仅在网络上进行浏览和吸收虚拟信息，人们更多的是想要将虚拟信息照进现实，MR技术是对VR技术的进一步发展，通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户的使用体验的真实感。

在MR技术领域，使用者在使用智能设备执行操作时，通过MR通讯技术软件实时呼叫专家进行协助，通过标注技术达到提高沟通效率的目的，提高处理问题的效率，减少误操作带来的损失。

目前，在使用者使用MR头戴式眼镜过程中，如果需要对目标进行标注时，是将带标注数据的单帧图片遮挡住在使用者视线的前方。

但是，带标注数据的单帧图片会遮挡使用者的视野，导致使用者无法了解现实场景的情况，移动过程中会存在危险；并且智能设备使用者转换角度或移动时，标注无法相应移动，导致标注的位置不精确。

发明内容

为了解决智能端标注遮挡使用者视野及标注位置不精确的问题，本申请提供了一种基于三维重建的混合现实空间标注方法及系统。

第一方面，本申请提供一种基于三维重建的混合现实空间标注方法，采用如下的技术方案：

一种基于三维重建的混合现实空间标注方法，包括：

当需要进行标注时，所述智能端获取标注时间点的视频帧数据及空间矩阵数据；

所述智能端通过所述服务端将所述视频帧数据发送至所述客户端；

当用户在所述客户端绘制完成标注后，所述客户端获取所述标注的标注数据，通过所述服务端将所述标注数据发送至所述智能端，所述标注数据包括标注形状及标注大小；

所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据；

所述智能端根据所述标注数据及所述空间位置数据，在所述空间绘制面上形成所述标注。

通过采用上述技术方案，在基于三维重建的混合现实空间标注系统中包括智能端、服务端及客户端，智能端通过服务端与客户端建立通信连接，以实现混合现实数据的传输，客户端实时展示智能端传输的混合现实视频流，当需要进行标注时，智能端获取标注时间点的视频帧数据及空间矩阵数据，智能端通过服务端将当前视频帧数据发送至客户端，当用户在客户端绘制完成标注后，客户端获取标注的标注数据，通过服务端将标注数据发送至智能端，标注数据包括标注形状及标注大小，智能端根据空间矩阵数据计算得到标注时间点的空间绘制智能端根据空间位置数据在空间绘制面上定位出标注的空间位置，再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面，从而在空间绘制面形成标注，解决了标注图片会遮挡智能端使用者视野的问题；并且实现在混合现实空间形成标注，使得智能设备使用者转换角度或移动时，标注也会进行相应的移动，提高了标注的位置精确性。

可选的，所述智能端获取标注时间点的视频帧数据及空间矩阵数据，包括：

当用户需要进行标注时，所述客户端接收标注指令，通过所述服务端将所述标注指令发送至所述智能端，所述标注指令包括标注时间点；

所述智能端根据所述标注指令，从混合现实视频流中截取所述标注时间点的视频帧，得到视频帧数据；

所述智能端获取所述视频帧对应的空间矩阵数据。

通过采用上述技术方案，在用户需要进行标注时，是在客户端展示的混合现实视频流中进行的，因此，用户在客户端在标识时间点发起标注需求，客户端接收带有标注时间的标注指令，通过服务端将标注指令发送至智能端，智能端通过服务端接收到标注指令后，根据标注指令，从混合现实视频流中截取标注时间点的视频帧，得到视频帧数据，由于智能端是通过摄像头采集现实场景图像，通过透明显示屏展示虚拟场景信息，通过摄像头所采用相机的相机空间矩阵转换理论，就能得到视频帧的空间矩阵数据。

可选的，所述客户端获取所述标注的标注数据，通过所述服务端将所述标注数据发送至所述智能端之前，还包括：

所述客户端解析所述视频帧数据，得到所述当视频帧；

所述客户端显示所述视频帧，并显示用于标注绘制的可扩展组件，所述可扩展组件包括二维标注组件及三维标注组件。

通过采用上述技术方案，客户端解析视频帧数据，还原得到标注时间点的视频帧，客户端通过显示屏将视频帧展示给用户，并将视频帧作为可标注状态，显示用于标注绘制的可扩展组件，可扩展组件包括二维标注组件及三维标注组件，二维标注组件是用于点、线及形状类等二维标注的可扩展组件，三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。

可选的，所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据，包括：

所述智能端根据所述空间矩阵数据，利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置；

所述智能端根据所述相机空间位置及所述碰撞体空间位置，计算得到空间绘制面角度，并根据所述空间绘制面角度形成空间绘制面；

所述智能端根据所述空间矩阵数据及所述标注数据，计算得到所述标注的空间位置数据。

通过采用上述技术方案，智能端根据空间矩阵数据，利用同时定位与建图（Simultaneous Localization And Mapping，SLAM）技术计算得到相机空间位置及碰撞体空间位置，SLAM技术是利用激光测距、超声波测距以及图像测距中的一种或多种方式，将智能端的周围现实环境的碰撞体作为地标，实现智能端与地标之间的距离测量及地图构建，并结合空间矩阵数据计算得到相机空间位置及碰撞体空间位置，以智能端的使用者的视角垂直角度，通过相机空间位置及碰撞体空间位置计算得到空间绘制面角度，并根据空间绘制面角度形成空间绘制面，根据空间矩阵数据及标注数据，计算得到标注的空间位置数据。基于SLAM技术和空间矩阵数据确定的标注的空间位置数据，能够实现空间绘制面上的标注的定位，再依据标注数据在空间位置的地方进行标注，进一步提高了在混合现实空间中形成标注准确性。

可选的，所述智能端根据所述标注数据及所述空间位置数据，在所述空间绘制面上形成所述标注，包括：

所述智能端根据所述空间位置数据，在所述空间绘制面上确定标注位置；

所述智能端根据所述标注位置及所述标注数据，在所述空间绘制面上形成所述标注。

通过采用上述技术方案，由于空间位置数据是由空间矩阵数据计算得到的，空间矩阵数据和空间绘制面都是与智能端的使用者的视角垂直角度相关，因此，智能端根据空间位置数据可以在空间绘制面上确定标注位置，智能端依据标注数据中的标注形状及标注大小在空间绘制面的标注位置上形成标注。

第二方面，本申请提供一种基于三维重建的混合现实空间标注系统，采用如下的技术方案：

一种基于三维重建的混合现实空间标注系统，包括：

客户端、服务端及智能端；

所述客户端及所述智能端分别与所述服务端通信连接；

所述智能端，用于当需要进行标注时，获取标注时间点的视频帧数据及空间矩阵数据；

所述智能端，还用于通过所述服务端将所述视频帧数据发送至所述客户端；

所述客户端，用于当用户在所述客户端绘制完成标注后，获取所述标注的标注数据，通过所述服务端将所述标注数据发送至所述智能端，所述标注数据包括标注形状及标注大小；

所述智能端，还用于根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据；

所述智能端，还用于根据所述标注数据及所述空间位置数据，在所述空间绘制面上形成所述标注。

通过采用上述技术方案，智能端通过服务端与客户端之间传输混合现实数据，客户端实时展示智能端传输的混合现实视频流，当需要进行标注时，智能端获取标注时间点的视频帧数据及空间矩阵数据，智能端通过服务端将当前视频帧数据发送至客户端，当用户在客户端绘制完成标注后，客户端获取标注的标注数据，通过服务端将标注数据发送至智能端，标注数据包括标注形状及标注大小，智能端根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据，智能端根据空间位置数据在空间绘制面上定位出标注的空间位置，再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面，从而在空间绘制面形成标注，解决了标注图片会遮挡智能端使用者视野的问题；并且实现在混合现实空间形成标注，使得智能设备使用者转换角度或移动时，标注也会进行相应的移动，提高了标注的位置精确性。

可选的，所述客户端，还用于当用户需要进行标注时，接收标注指令，通过所述服务端将所述标注指令发送至所述智能端，所述标注指令包括标注时间点；

所述智能端，还用于根据所述标注指令，从混合现实视频流中截取所述标注时间点的视频帧，得到视频帧数据；

所述智能端，还用于获取所述视频帧对应的空间矩阵数据。

通过采用上述技术方案，在用户需要进行标注时，是在客户端展示的混合现实视频流中进行的，因此，用户在客户端在标识时间点发起标注需求，客户端接收带有标注时间的标注指令，通过服务端将标注指令发送至智能端，智能端通过服务端接收到标注指令后，根据标注指令，从混合现实视频流中截取标注时间点的视频帧，得到视频帧数据，由于智能端是通过摄像头采集现实场景图像，通过透明显示屏展示虚拟场景信息，通过摄像头所采用相机的相机空间矩阵转换理论，就能得到视频帧的空间矩阵数据。

可选的，所述客户端，还用于解析所述视频帧数据，得到所述当视频帧；

所述客户端，还用于显示所述视频帧，并显示用于标注绘制的可扩展组件，所述可扩展组件包括二维标注组件及三维标注组件。

通过采用上述技术方案，客户端解析视频帧数据，还原得到标注时间点的视频帧，客户端通过显示屏将视频帧展示给用户，并将视频帧作为可标注状态，显示用于标注绘制的可扩展组件，可扩展组件包括二维标注组件及三维标注组件，二维标注组件是用于点、线及形状类等二维标注的可扩展组件，三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。

可选的，所述智能端，还用于根据所述空间矩阵数据，利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置；

所述智能端，还用于根据所述相机空间位置及所述碰撞体空间位置，计算得到空间绘制面角度，并根据所述空间绘制面角度形成空间绘制面；

所述智能端，还用于根据所述空间矩阵数据及所述标注数据，计算得到所述标注的空间位置数据。

通过采用上述技术方案，智能端根据空间矩阵数据，利用SLAM技术计算得到相机空间位置及碰撞体空间位置，SLAM技术是利用激光测距、超声波测距以及图像测距中的一种或多种方式，将智能端的周围现实环境的碰撞体作为地标，实现智能端与地标之间的距离测量及地图构建，并结合空间矩阵数据计算得到相机空间位置及碰撞体空间位置，以智能端的使用者的视角垂直角度，通过相机空间位置及碰撞体空间位置计算得到空间绘制面角度，并根据空间绘制面角度形成空间绘制面，根据空间矩阵数据及标注数据，计算得到标注的空间位置数据。基于SLAM技术和空间矩阵数据确定的标注的空间位置数据，能够实现空间绘制面上的标注的定位，再依据标注数据在空间位置的地方进行标注，进一步提高了在混合现实空间中形成标注准确性。

可选的，所述智能端，还用于根据所述空间位置数据，在所述空间绘制面上确定标注位置；

所述智能端，还用于根据所述标注位置及所述标注数据，在所述空间绘制面上形成所述标注。

通过采用上述技术方案，由于空间位置数据是由空间矩阵数据计算得到的，空间矩阵数据和空间绘制面都是与智能端的使用者的视角垂直角度相关，因此，智能端根据空间位置数据可以在空间绘制面上确定标注位置，智能端依据标注数据中的标注形状及标注大小在空间绘制面的标注位置上形成标注。

综上所述，本申请包括以下至少一种有益技术效果：

1.利用标注时间点的空间矩阵数据确定空间绘制面，从而在空间绘制面形成标注，解决了标注图片会遮挡智能端使用者视野的问题；并且实现在混合现实空间形成标注，使得智能设备使用者转换角度或移动时，标注也会进行相应的移动，提高了标注的位置精确性；

2.基于SLAM技术和空间矩阵数据确定的标注的空间位置数据，能够实现空间绘制面上的标注的定位，再依据标注数据在空间位置的地方进行标注，进一步提高了在混合现实空间中形成标注准确性。

附图说明

图1是本申请的基于三维重建的混合现实空间标注方法的第一流程示意图。

图2是本申请的基于三维重建的混合现实空间标注方法的第二流程示意图。

图3是本申请的基于三维重建的混合现实空间标注系统的结构示意图。

图4是本申请的客户端的结构示意图。

图5是本申请的服务端的结构示意图。

图6是本申请的智能端的结构示意图。

附图标记说明：

301、客户端；302、服务端；303、智能端；401、处理器；402、标注组件；403、音频组件；404、视频组件；405、操作台；501、获取模块；502、验证模块；503、传输模块；504、发送模块；601、前端；602、后台；603、摄像头；604、透明显示屏；605、处理器。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下通过附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

在混合现实领域，混合现实技术是通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户的使用体验的真实感，智能端具有数据采集及展示功能，服务端具有数据传输及处理功能，客户端具有信息处理的功能。智能端具体是可穿戴式MR眼镜，还可以是MR头盔等；服务端可以是本地服务器或者网络云服务功能；客户端是方便远程观察和指挥的终端，例如，在工业检修时，客户端可以是供专家使用的手机、平板电脑及PC机等具有音视频驱动功能的终端设备。

智能端和客户端是通过服务端实时进行混合现实视频流传输的，由于智能端的使用者，在戴上设备后，眼前呈现的是虚拟和现实重叠的场景，如果使用者需要对某个物体进行标注时，如果使用截图标注呈现，会导致使用者的视野受到影响，切换视角之后，标注不会保留。为了解决这些问题，本申请通过基于三维重建的混合现实空间标注方法，在不影响智能端使用者视野的情况下完成标注，并且标注存在于空间中。下面通过实施例对基于三维重建的混合现实空间标注方法进行说明。

本申请实施例公开一种基于三维重建的混合现实空间标注方法。

参照图1，该方法的执行步骤包括：

101，当需要进行标注时，智能端获取标注时间点的视频帧数据及空间矩阵数据。

其中，智能端获取标注时间点的视频帧数据及空间矩阵数据的过程为：

当用户需要进行标注时，客户端接收标注指令，通过服务端将标注指令发送至智能端，标注指令包括标注时间点；

智能端根据标注指令，从混合现实视频流中截取标注时间点的视频帧，得到视频帧数据；

智能端获取视频帧对应的空间矩阵数据。

具体的，在用户需要进行标注时，是在客户端展示的混合现实视频流中进行的，因此，用户在客户端在标识时间点发起标注需求，客户端接收带有标注时间的标注指令，通过服务端将标注指令发送至智能端，智能端通过服务端接收到标注指令后，根据标注指令，从混合现实视频流中截取标注时间点的视频帧，得到视频帧数据，由于智能端是通过摄像头采集现实场景图像，通过透明显示屏展示虚拟场景信息，通过摄像头所采用相机的相机空间矩阵转换理论，就能得到视频帧的空间矩阵数据。

102，智能端通过服务端将视频帧数据发送至客户端。

其中，智能端将视频帧数据发送到服务器，服务器将视频帧数据传输到客户端。

103，当用户在客户端绘制完成标注后，客户端获取标注的标注数据，通过服务端将标注数据发送至智能端。

其中，在客户端接收到视频帧数据之后，客户端解析视频帧数据，还原得到标注时间点的视频帧，客户端通过显示屏将视频帧展示给用户，并将视频帧作为可标注状态，显示用于标注绘制的可扩展组件，可扩展组件包括二维标注组件及三维标注组件，二维标注组件是用于点、线及形状类等二维标注的可扩展组件，三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。

104，智能端根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据。

其中，智能端获取到标注的标注数据，标注数据包括了标注形状及标注大小等，但是二维的标注在三维的混合现实空间中，空间位置无法确定，因此需要通过空间矩阵数据计算得到标注的空间位置数据。智能端根据空间矩阵数据计算得到标注时间点的空间绘制面。

105，智能端根据标注数据及空间位置数据，在空间绘制面上形成标注。

其中，智能端根据空间位置数据在空间绘制面上定位出标注的空间位置，再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。

本实施例的实施原理为：当需要进行标注时，智能端获取标注时间点的视频帧数据及空间矩阵数据，智能端通过服务端将当前视频帧数据发送至客户端，当用户在客户端绘制完成标注后，客户端获取标注的标注数据，通过服务端将标注数据发送至智能端，标注数据包括标注形状及标注大小，智能端根据空间矩阵数据计算得到标注时间点的空间绘制智能端根据空间位置数据在空间绘制面上定位出标注的空间位置，再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面，从而在空间绘制面形成标注，解决了标注图片会遮挡智能端使用者视野的问题；并且实现在混合现实空间形成标注，使得智能设备使用者转换角度或移动时，标注也会进行相应的移动，提高了标注的位置精确性。

在以上图1所示的实施例中，对于标注时间点的空间绘制面及标注的空间位置数据的计算过程并未进行详细说明，下面通过图2所示的实施例进行详细说明。

参照图2，该方法的执行步骤包括：

201，当需要进行标注时，智能端获取标注时间点的视频帧数据及空间矩阵数据。

其中，在用户需要进行标注时，是在客户端展示的混合现实视频流中进行的，因此，用户在客户端在标识时间点发起标注需求，客户端接收带有标注时间的标注指令，通过服务端将标注指令发送至智能端，智能端通过服务端接收到标注指令后，根据标注指令，从混合现实视频流中截取标注时间点的视频帧，得到视频帧数据，由于智能端是通过摄像头采集现实场景图像，通过透明显示屏展示虚拟场景信息，通过摄像头所采用相机的相机空间矩阵转换理论，就能得到视频帧的空间矩阵数据。

具体的，由于智能端是通过摄像头采集现实场景图像，通过透明显示屏展示虚拟场景信息，通过摄像头所采用相机的相机空间矩阵转换理论，就能得到当前视频帧的空间矩阵数据，以HoloLens头戴式MR为例，HoloLens相机的空间矩阵数据的获取过程为：通过调用从相机空间到世界空间的变换矩阵的应用程序接口（TryGetCameraToWorldMatrixAPI）获取视频捕捉范例（VideoCaptureSample）的相机矩阵数据和投射矩阵数据，这两个矩阵数据存储了HoloLens当前相机的方向和位置，再将HoloLens空间矩阵转换到Unity工具的空间矩阵，从而得到空间矩阵数据。

202，智能端通过服务端将视频帧数据发送至客户端。

其中，智能端将视频帧数据发送到服务器，服务器将视频帧数据传输到客户端。

203，当用户在客户端绘制完成标注后，客户端获取标注的标注数据，通过服务端将标注数据发送至智能端。

其中，在客户端接收到视频帧数据之后，客户端解析视频帧数据，还原得到标注时间点的视频帧，客户端通过显示屏将视频帧展示给用户，并将视频帧作为可标注状态，显示用于标注绘制的可扩展组件，可扩展组件包括二维标注组件及三维标注组件，二维标注组件是用于点、线及形状类等二维标注的可扩展组件，三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。

204，智能端根据空间矩阵数据，利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置。

其中，智能端根据空间矩阵数据，利用SLAM技术计算得到相机空间位置及碰撞体空间位置，SLAM技术最早由Hugh Durrant-Whyte 和 John J.Leonard提出，主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题，本实施例中，将SLAM技术应用于混合现实技术中，SLAM技术是利用激光测距、超声波测距以及图像测距中的一种或多种方式，将智能端的周围现实环境的碰撞体作为地标，实现智能端与地标之间的距离测量及地图构建，并结合空间矩阵数据计算得到相机空间位置及碰撞体空间位置。

205，智能端根据相机空间位置及碰撞体空间位置，计算得到空间绘制面角度，并根据空间绘制面角度形成空间绘制面。

其中，以智能端的使用者的视角垂直角度，通过相机空间位置及碰撞体空间位置计算得到空间绘制面角度，根据空间绘制面角度形成空间绘制面。

206，智能端根据空间矩阵数据及标注数据，计算得到标注的空间位置数据。

其中，根据以上步骤201中的空间矩阵数据的计算过程，根据空间矩阵数据及标注数据，计算得到标注的空间位置数据。

207，智能端根据空间位置数据，在空间绘制面上确定标注位置。

其中，由于空间位置数据是由空间矩阵数据计算得到的，空间矩阵数据和空间绘制面都是与智能端的使用者的视角垂直角度相关，因此，智能端根据空间位置数据可以在空间绘制面上确定标注位置。

208，智能端根据标注位置及标注数据，在空间绘制面上形成标注。

其中，智能端依据标注数据中的标注形状及标注大小在空间绘制面的标注位置上形成标注。

本实施例的实施原理为：当需要进行标注时，智能端获取标注时间点的视频帧数据及空间矩阵数据，智能端通过服务端将视频帧数据发送至客户端，当用户在客户端绘制完成标注后，客户端获取标注的标注数据，通过服务端将标注数据发送至智能端，智能端根据空间矩阵数据，利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置，智能端根据相机空间位置及碰撞体空间位置，计算得到空间绘制面角度，并根据空间绘制面角度形成空间绘制面，智能端根据空间矩阵数据及标注数据，计算得到标注的空间位置数据，智能端根据空间位置数据，在空间绘制面上确定标注位置，智能端根据标注位置及标注数据，在空间绘制面上形成标注；

利用标注时间点的空间矩阵数据确定空间绘制面，从而在空间绘制面形成标注，解决了标注图片会遮挡智能端使用者视野的问题；并且实现在混合现实空间形成标注，使得智能设备使用者转换角度或移动时，标注也会进行相应的移动，提高了标注的位置精确性；

基于SLAM技术和空间矩阵数据确定的标注的空间位置数据，能够实现空间绘制面上的标注的定位，再依据标注数据在空间位置的地方进行标注，进一步提高了在混合现实空间中形成标注准确性。

本申请实施例还公开一种基于三维重建的混合现实空间标注系统。

实施例3

参照图3，该系统包括：

客户端301、服务端302及智能端303；

客户端301及智能端303分别与服务端302通信连接；

智能端303，用于当需要进行标注时，获取标注时间点的视频帧数据及空间矩阵数据；

智能端303，还用于通过服务端302将视频帧数据发送至客户端301；

客户端301，用于当用户在客户端301绘制完成标注后，获取标注的标注数据，通过服务端302将标注数据发送至智能端303，标注数据包括标注形状及标注大小；

智能端303，还用于根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据；

智能端303，还用于根据标注数据及空间位置数据，在空间绘制面上形成标注。

本实施例的实施原理为：当需要进行标注时，智能端303获取标注时间点的视频帧数据及空间矩阵数据，智能端303通过服务端302将当前视频帧数据发送至客户端301，当用户在客户端301绘制完成标注后，客户端301获取标注的标注数据，通过服务端302将标注数据发送至智能端303，标注数据包括标注形状及标注大小，智能端303根据空间矩阵数据计算得到标注时间点的空间绘制智能端303根据空间位置数据在空间绘制面上定位出标注的空间位置，再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面，从而在空间绘制面形成标注，解决了标注图片会遮挡智能端303使用者视野的问题；并且实现在混合现实空间形成标注，使得智能设备使用者转换角度或移动时，标注也会进行相应的移动，提高了标注的位置精确性。

需要说明的是，图3所示的实施例中，智能端、服务端及客户端还能执行以上图1所示实施例及图2所示实施例中基于三维重建的混合现实空间标注方法中的所有的步骤和功能，服务端还能够对登录客户端的用户进行登录验证和用户权限确认。

客户端的结构示意图如图4所示，包括处理器401、标注组件402、音频组件403、视频组件404及操作台405，其中，标注组件402用于进行标注，音频组件403用于输出音频数据，视频组件404用于输出混合现实视频流，操作台405用于用户进行相关操作，处理器401用于进行空间位置数据的计算等功能。

服务端的结构示意图如图5所示，包括获取模块501、验证模块502、传输模块503及发送模块504，获取模块501及发送模块504用进行数据的获取和发送，验证模块502用于进行客户端的用户的登录验证，传输模块503用于传输智能端和客户端之间的数据或信息。

智能端的结构示意图如图6所示，包括前端601及后台602，前端601主要包括摄像头603及透明显示屏604，后台602包括处理器605，摄像头603用于采集现实场景的图像数据，透明显示屏604用于展示混合现实视频流及标注等，处理器605具有计算空间绘制面角度及标注的空间位置数据等功能。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (8)

1.一种基于三维重建的混合现实空间标注方法，其特征在于，应用于基于三维重建的混合现实空间标注系统，所述基于三维重建的混合现实空间标注系统包括智能端、服务端及客户端，所述方法包括：

当需要进行标注时，所述智能端获取标注时间点的视频帧数据及空间矩阵数据；

所述智能端通过所述服务端将所述视频帧数据发送至所述客户端；

当用户在所述客户端绘制完成标注后，所述客户端获取所述标注的标注数据，通过所述服务端将所述标注数据发送至所述智能端，所述标注数据包括标注形状及标注大小；

所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据；

所述智能端根据所述标注数据及所述空间位置数据，在所述空间绘制面上形成所述标注；

其中，所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据，包括：

所述智能端根据所述空间矩阵数据，利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置；

所述智能端根据所述相机空间位置及所述碰撞体空间位置，计算得到空间绘制面角度，并根据所述空间绘制面角度形成空间绘制面；

所述智能端根据所述空间矩阵数据及所述标注数据，计算得到所述标注的空间位置数据；

其中，以智能端的使用者的视角垂直角度，通过相机空间位置及碰撞体空间位置计算得到空间绘制面角度，根据空间绘制面角度形成空间绘制面。

2.根据权利要求1所述的基于三维重建的混合现实空间标注方法，其特征在于，所述智能端获取标注时间点的视频帧数据及空间矩阵数据，包括：

当用户需要进行标注时，所述客户端接收标注指令，通过所述服务端将所述标注指令发送至所述智能端，所述标注指令包括标注时间点；

所述智能端根据所述标注指令，从混合现实视频流中截取所述标注时间点的视频帧，得到视频帧数据；

所述智能端获取所述视频帧对应的空间矩阵数据。

3.根据权利要求1所述的基于三维重建的混合现实空间标注方法，其特征在于，所述客户端获取所述标注的标注数据，通过所述服务端将所述标注数据发送至所述智能端之前，还包括：

所述客户端解析所述视频帧数据，得到视频帧；

所述客户端显示所述视频帧，并显示用于标注绘制的可扩展组件，所述可扩展组件包括二维标注组件及三维标注组件。

4.根据权利要求1所述的基于三维重建的混合现实空间标注方法，其特征在于，所述智能端根据所述标注数据及所述空间位置数据，在所述空间绘制面上形成所述标注，包括：

所述智能端根据所述空间位置数据，在所述空间绘制面上确定标注位置；

所述智能端根据所述标注位置及所述标注数据，在所述空间绘制面上形成所述标注。

5.一种基于三维重建的混合现实空间标注系统，其特征在于，包括：

客户端、服务端及智能端；

所述客户端及所述智能端分别与所述服务端通信连接；

所述智能端，用于当需要进行标注时，获取标注时间点的视频帧数据及空间矩阵数据；

所述智能端，还用于通过所述服务端将所述视频帧数据发送至所述客户端；

所述客户端，用于当用户在所述客户端绘制完成标注后，获取所述标注的标注数据，通过所述服务端将所述标注数据发送至所述智能端，所述标注数据包括标注形状及标注大小；

所述智能端，还用于根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据；

所述智能端，还用于根据所述标注数据及所述空间位置数据，在所述空间绘制面上形成所述标注；

其中，所述智能端，还用于根据所述空间矩阵数据，利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置；

所述智能端，还用于根据所述相机空间位置及所述碰撞体空间位置，计算得到空间绘制面角度，并根据所述空间绘制面角度形成空间绘制面；

所述智能端，还用于根据所述空间矩阵数据及所述标注数据，计算得到所述标注的空间位置数据。

6.根据权利要求5所述的基于三维重建的混合现实空间标注系统，其特征在于，

所述客户端，还用于当用户需要进行标注时，接收标注指令，通过所述服务端将所述标注指令发送至所述智能端，所述标注指令包括标注时间点；

所述智能端，还用于根据所述标注指令，从混合现实视频流中截取所述标注时间点的视频帧，得到视频帧数据；

所述智能端，还用于获取所述视频帧对应的空间矩阵数据。

7.根据权利要求5所述的基于三维重建的混合现实空间标注系统，其特征在于，

所述客户端，还用于解析所述视频帧数据，得到视频帧；

所述客户端，还用于显示所述视频帧，并显示用于标注绘制的可扩展组件，所述可扩展组件包括二维标注组件及三维标注组件。

8.根据权利要求5所述的基于三维重建的混合现实空间标注系统，其特征在于，

所述智能端，还用于根据所述空间位置数据，在所述空间绘制面上确定标注位置；

所述智能端，还用于根据所述标注位置及所述标注数据，在所述空间绘制面上形成所述标注。