CN113610987A - 一种基于三维重建的混合现实空间标注方法及系统 - Google Patents
一种基于三维重建的混合现实空间标注方法及系统 Download PDFInfo
- Publication number
- CN113610987A CN113610987A CN202110792181.6A CN202110792181A CN113610987A CN 113610987 A CN113610987 A CN 113610987A CN 202110792181 A CN202110792181 A CN 202110792181A CN 113610987 A CN113610987 A CN 113610987A
- Authority
- CN
- China
- Prior art keywords
- data
- space
- intelligent terminal
- label
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 136
- 239000011159 matrix material Substances 0.000 claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于三维重建的混合现实空间标注方法及系统,其方法包括:当需要进行标注时,智能端获取标注时间点的视频帧数据及空间矩阵数据;智能端通过服务端将视频帧数据发送至客户端;当用户在客户端绘制完成标注后,客户端获取标注的标注数据,通过服务端将标注数据发送至智能端,标注数据包括标注形状及标注大小;智能端根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据;智能端根据标注数据及空间位置数据,在空间绘制面上形成标注。本申请解决了智能端标注遮挡使用者视野及标注位置不精确的问题。
Description
技术领域
本申请涉及混合现实技术领域,尤其是涉及一种基于三维重建的混合现实空间标注方法及系统。
背景技术
随着科技的发展,人们已经不局限于仅在网络上进行浏览和吸收虚拟信息,人们更多的是想要将虚拟信息照进现实,MR技术是对VR技术的进一步发展,通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户的使用体验的真实感。
在MR技术领域,使用者在使用智能设备执行操作时,通过MR通讯技术软件实时呼叫专家进行协助,通过标注技术达到提高沟通效率的目的,提高处理问题的效率,减少误操作带来的损失。
目前,在使用者使用MR头戴式眼镜过程中,如果需要对目标进行标注时,是将带标注数据的单帧图片遮挡住在使用者视线的前方。
但是,带标注数据的单帧图片会遮挡使用者的视野,导致使用者无法了解现实场景的情况,移动过程中会存在危险;并且智能设备使用者转换角度或移动时,标注无法相应移动,导致标注的位置不精确。
发明内容
为了解决智能端标注遮挡使用者视野及标注位置不精确的问题,本申请提供了一种基于三维重建的混合现实空间标注方法及系统。
第一方面,本申请提供一种基于三维重建的混合现实空间标注方法,采用如下的技术方案:
一种基于三维重建的混合现实空间标注方法,包括:
当需要进行标注时,所述智能端获取标注时间点的视频帧数据及空间矩阵数据;
所述智能端通过所述服务端将所述视频帧数据发送至所述客户端;
当用户在所述客户端绘制完成标注后,所述客户端获取所述标注的标注数据,通过所述服务端将所述标注数据发送至所述智能端,所述标注数据包括标注形状及标注大小;
所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据;
所述智能端根据所述标注数据及所述空间位置数据,在所述空间绘制面上形成所述标注。
通过采用上述技术方案,在基于三维重建的混合现实空间标注系统中包括智能端、服务端及客户端,智能端通过服务端与客户端建立通信连接,以实现混合现实数据的传输,客户端实时展示智能端传输的混合现实视频流,当需要进行标注时,智能端获取标注时间点的视频帧数据及空间矩阵数据,智能端通过服务端将当前视频帧数据发送至客户端,当用户在客户端绘制完成标注后,客户端获取标注的标注数据,通过服务端将标注数据发送至智能端,标注数据包括标注形状及标注大小,智能端根据空间矩阵数据计算得到标注时间点的空间绘制智能端根据空间位置数据在空间绘制面上定位出标注的空间位置,再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面,从而在空间绘制面形成标注,解决了标注图片会遮挡智能端使用者视野的问题;并且实现在混合现实空间形成标注,使得智能设备使用者转换角度或移动时,标注也会进行相应的移动,提高了标注的位置精确性。
可选的,所述智能端获取标注时间点的视频帧数据及空间矩阵数据,包括:
当用户需要进行标注时,所述客户端接收标注指令,通过所述服务端将所述标注指令发送至所述智能端,所述标注指令包括标注时间点;
所述智能端根据所述标注指令,从混合现实视频流中截取所述标注时间点的视频帧,得到视频帧数据;
所述智能端获取所述视频帧对应的空间矩阵数据。
通过采用上述技术方案,在用户需要进行标注时,是在客户端展示的混合现实视频流中进行的,因此,用户在客户端在标识时间点发起标注需求,客户端接收带有标注时间的标注指令,通过服务端将标注指令发送至智能端,智能端通过服务端接收到标注指令后,根据标注指令,从混合现实视频流中截取标注时间点的视频帧,得到视频帧数据,由于智能端是通过摄像头采集现实场景图像,通过透明显示屏展示虚拟场景信息,通过摄像头所采用相机的相机空间矩阵转换理论,就能得到视频帧的空间矩阵数据。
可选的,所述客户端获取所述标注的标注数据,通过所述服务端将所述标注数据发送至所述智能端之前,还包括:
所述客户端解析所述视频帧数据,得到所述当视频帧;
所述客户端显示所述视频帧,并显示用于标注绘制的可扩展组件,所述可扩展组件包括二维标注组件及三维标注组件。
通过采用上述技术方案,客户端解析视频帧数据,还原得到标注时间点的视频帧,客户端通过显示屏将视频帧展示给用户,并将视频帧作为可标注状态,显示用于标注绘制的可扩展组件,可扩展组件包括二维标注组件及三维标注组件,二维标注组件是用于点、线及形状类等二维标注的可扩展组件,三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。
可选的,所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据,包括:
所述智能端根据所述空间矩阵数据,利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置;
所述智能端根据所述相机空间位置及所述碰撞体空间位置,计算得到空间绘制面角度,并根据所述空间绘制面角度形成空间绘制面;
所述智能端根据所述空间矩阵数据及所述标注数据,计算得到所述标注的空间位置数据。
通过采用上述技术方案,智能端根据空间矩阵数据,利用同时定位与建图(Simultaneous Localization And Mapping,SLAM)技术计算得到相机空间位置及碰撞体空间位置,SLAM技术是利用激光测距、超声波测距以及图像测距中的一种或多种方式,将智能端的周围现实环境的碰撞体作为地标,实现智能端与地标之间的距离测量及地图构建,并结合空间矩阵数据计算得到相机空间位置及碰撞体空间位置,以智能端的使用者的视角垂直角度,通过相机空间位置及碰撞体空间位置计算得到空间绘制面角度,并根据空间绘制面角度形成空间绘制面,根据空间矩阵数据及标注数据,计算得到标注的空间位置数据。基于SLAM技术和空间矩阵数据确定的标注的空间位置数据,能够实现空间绘制面上的标注的定位,再依据标注数据在空间位置的地方进行标注,进一步提高了在混合现实空间中形成标注准确性。
可选的,所述智能端根据所述标注数据及所述空间位置数据,在所述空间绘制面上形成所述标注,包括:
所述智能端根据所述空间位置数据,在所述空间绘制面上确定标注位置;
所述智能端根据所述标注位置及所述标注数据,在所述空间绘制面上形成所述标注。
通过采用上述技术方案,由于空间位置数据是由空间矩阵数据计算得到的,空间矩阵数据和空间绘制面都是与智能端的使用者的视角垂直角度相关,因此,智能端根据空间位置数据可以在空间绘制面上确定标注位置,智能端依据标注数据中的标注形状及标注大小在空间绘制面的标注位置上形成标注。
第二方面,本申请提供一种基于三维重建的混合现实空间标注系统,采用如下的技术方案:
一种基于三维重建的混合现实空间标注系统,包括:
客户端、服务端及智能端;
所述客户端及所述智能端分别与所述服务端通信连接;
所述智能端,用于当需要进行标注时,获取标注时间点的视频帧数据及空间矩阵数据;
所述智能端,还用于通过所述服务端将所述视频帧数据发送至所述客户端;
所述客户端,用于当用户在所述客户端绘制完成标注后,获取所述标注的标注数据,通过所述服务端将所述标注数据发送至所述智能端,所述标注数据包括标注形状及标注大小;
所述智能端,还用于根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据;
所述智能端,还用于根据所述标注数据及所述空间位置数据,在所述空间绘制面上形成所述标注。
通过采用上述技术方案,智能端通过服务端与客户端之间传输混合现实数据,客户端实时展示智能端传输的混合现实视频流,当需要进行标注时,智能端获取标注时间点的视频帧数据及空间矩阵数据,智能端通过服务端将当前视频帧数据发送至客户端,当用户在客户端绘制完成标注后,客户端获取标注的标注数据,通过服务端将标注数据发送至智能端,标注数据包括标注形状及标注大小,智能端根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据,智能端根据空间位置数据在空间绘制面上定位出标注的空间位置,再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面,从而在空间绘制面形成标注,解决了标注图片会遮挡智能端使用者视野的问题;并且实现在混合现实空间形成标注,使得智能设备使用者转换角度或移动时,标注也会进行相应的移动,提高了标注的位置精确性。
可选的,所述客户端,还用于当用户需要进行标注时,接收标注指令,通过所述服务端将所述标注指令发送至所述智能端,所述标注指令包括标注时间点;
所述智能端,还用于根据所述标注指令,从混合现实视频流中截取所述标注时间点的视频帧,得到视频帧数据;
所述智能端,还用于获取所述视频帧对应的空间矩阵数据。
通过采用上述技术方案,在用户需要进行标注时,是在客户端展示的混合现实视频流中进行的,因此,用户在客户端在标识时间点发起标注需求,客户端接收带有标注时间的标注指令,通过服务端将标注指令发送至智能端,智能端通过服务端接收到标注指令后,根据标注指令,从混合现实视频流中截取标注时间点的视频帧,得到视频帧数据,由于智能端是通过摄像头采集现实场景图像,通过透明显示屏展示虚拟场景信息,通过摄像头所采用相机的相机空间矩阵转换理论,就能得到视频帧的空间矩阵数据。
可选的,所述客户端,还用于解析所述视频帧数据,得到所述当视频帧;
所述客户端,还用于显示所述视频帧,并显示用于标注绘制的可扩展组件,所述可扩展组件包括二维标注组件及三维标注组件。
通过采用上述技术方案,客户端解析视频帧数据,还原得到标注时间点的视频帧,客户端通过显示屏将视频帧展示给用户,并将视频帧作为可标注状态,显示用于标注绘制的可扩展组件,可扩展组件包括二维标注组件及三维标注组件,二维标注组件是用于点、线及形状类等二维标注的可扩展组件,三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。
可选的,所述智能端,还用于根据所述空间矩阵数据,利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置;
所述智能端,还用于根据所述相机空间位置及所述碰撞体空间位置,计算得到空间绘制面角度,并根据所述空间绘制面角度形成空间绘制面;
所述智能端,还用于根据所述空间矩阵数据及所述标注数据,计算得到所述标注的空间位置数据。
通过采用上述技术方案,智能端根据空间矩阵数据,利用SLAM技术计算得到相机空间位置及碰撞体空间位置,SLAM技术是利用激光测距、超声波测距以及图像测距中的一种或多种方式,将智能端的周围现实环境的碰撞体作为地标,实现智能端与地标之间的距离测量及地图构建,并结合空间矩阵数据计算得到相机空间位置及碰撞体空间位置,以智能端的使用者的视角垂直角度,通过相机空间位置及碰撞体空间位置计算得到空间绘制面角度,并根据空间绘制面角度形成空间绘制面,根据空间矩阵数据及标注数据,计算得到标注的空间位置数据。基于SLAM技术和空间矩阵数据确定的标注的空间位置数据,能够实现空间绘制面上的标注的定位,再依据标注数据在空间位置的地方进行标注,进一步提高了在混合现实空间中形成标注准确性。
可选的,所述智能端,还用于根据所述空间位置数据,在所述空间绘制面上确定标注位置;
所述智能端,还用于根据所述标注位置及所述标注数据,在所述空间绘制面上形成所述标注。
通过采用上述技术方案,由于空间位置数据是由空间矩阵数据计算得到的,空间矩阵数据和空间绘制面都是与智能端的使用者的视角垂直角度相关,因此,智能端根据空间位置数据可以在空间绘制面上确定标注位置,智能端依据标注数据中的标注形状及标注大小在空间绘制面的标注位置上形成标注。
综上所述,本申请包括以下至少一种有益技术效果:
1.利用标注时间点的空间矩阵数据确定空间绘制面,从而在空间绘制面形成标注,解决了标注图片会遮挡智能端使用者视野的问题;并且实现在混合现实空间形成标注,使得智能设备使用者转换角度或移动时,标注也会进行相应的移动,提高了标注的位置精确性;
2.基于SLAM技术和空间矩阵数据确定的标注的空间位置数据,能够实现空间绘制面上的标注的定位,再依据标注数据在空间位置的地方进行标注,进一步提高了在混合现实空间中形成标注准确性。
附图说明
图1是本申请的基于三维重建的混合现实空间标注方法的第一流程示意图。
图2是本申请的基于三维重建的混合现实空间标注方法的第二流程示意图。
图3是本申请的基于三维重建的混合现实空间标注系统的结构示意图。
图4是本申请的客户端的结构示意图。
图5是本申请的服务端的结构示意图。
图6是本申请的智能端的结构示意图。
附图标记说明:
301、客户端;302、服务端;303、智能端;401、处理器;402、标注组件;403、音频组件;404、视频组件;405、操作台;501、获取模块;502、验证模块;503、传输模块;504、发送模块;601、前端;602、后台;603、摄像头;604、透明显示屏;605、处理器。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下通过附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
在混合现实领域,混合现实技术是通过在现实场景呈现虚拟场景信息,在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路,以增强用户的使用体验的真实感,智能端具有数据采集及展示功能,服务端具有数据传输及处理功能,客户端具有信息处理的功能。智能端具体是可穿戴式MR眼镜,还可以是MR头盔等;服务端可以是本地服务器或者网络云服务功能;客户端是方便远程观察和指挥的终端,例如,在工业检修时,客户端可以是供专家使用的手机、平板电脑及PC机等具有音视频驱动功能的终端设备。
智能端和客户端是通过服务端实时进行混合现实视频流传输的,由于智能端的使用者,在戴上设备后,眼前呈现的是虚拟和现实重叠的场景,如果使用者需要对某个物体进行标注时,如果使用截图标注呈现,会导致使用者的视野受到影响,切换视角之后,标注不会保留。为了解决这些问题,本申请通过基于三维重建的混合现实空间标注方法,在不影响智能端使用者视野的情况下完成标注,并且标注存在于空间中。下面通过实施例对基于三维重建的混合现实空间标注方法进行说明。
本申请实施例公开一种基于三维重建的混合现实空间标注方法。
参照图1,该方法的执行步骤包括:
101,当需要进行标注时,智能端获取标注时间点的视频帧数据及空间矩阵数据。
其中,智能端获取标注时间点的视频帧数据及空间矩阵数据的过程为:
当用户需要进行标注时,客户端接收标注指令,通过服务端将标注指令发送至智能端,标注指令包括标注时间点;
智能端根据标注指令,从混合现实视频流中截取标注时间点的视频帧,得到视频帧数据;
智能端获取视频帧对应的空间矩阵数据。
具体的,在用户需要进行标注时,是在客户端展示的混合现实视频流中进行的,因此,用户在客户端在标识时间点发起标注需求,客户端接收带有标注时间的标注指令,通过服务端将标注指令发送至智能端,智能端通过服务端接收到标注指令后,根据标注指令,从混合现实视频流中截取标注时间点的视频帧,得到视频帧数据,由于智能端是通过摄像头采集现实场景图像,通过透明显示屏展示虚拟场景信息,通过摄像头所采用相机的相机空间矩阵转换理论,就能得到视频帧的空间矩阵数据。
102,智能端通过服务端将视频帧数据发送至客户端。
其中,智能端将视频帧数据发送到服务器,服务器将视频帧数据传输到客户端。
103,当用户在客户端绘制完成标注后,客户端获取标注的标注数据,通过服务端将标注数据发送至智能端。
其中,在客户端接收到视频帧数据之后,客户端解析视频帧数据,还原得到标注时间点的视频帧,客户端通过显示屏将视频帧展示给用户,并将视频帧作为可标注状态,显示用于标注绘制的可扩展组件,可扩展组件包括二维标注组件及三维标注组件,二维标注组件是用于点、线及形状类等二维标注的可扩展组件,三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。
104,智能端根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据。
其中,智能端获取到标注的标注数据,标注数据包括了标注形状及标注大小等,但是二维的标注在三维的混合现实空间中,空间位置无法确定,因此需要通过空间矩阵数据计算得到标注的空间位置数据。智能端根据空间矩阵数据计算得到标注时间点的空间绘制面。
105,智能端根据标注数据及空间位置数据,在空间绘制面上形成标注。
其中,智能端根据空间位置数据在空间绘制面上定位出标注的空间位置,再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。
本实施例的实施原理为:当需要进行标注时,智能端获取标注时间点的视频帧数据及空间矩阵数据,智能端通过服务端将当前视频帧数据发送至客户端,当用户在客户端绘制完成标注后,客户端获取标注的标注数据,通过服务端将标注数据发送至智能端,标注数据包括标注形状及标注大小,智能端根据空间矩阵数据计算得到标注时间点的空间绘制智能端根据空间位置数据在空间绘制面上定位出标注的空间位置,再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面,从而在空间绘制面形成标注,解决了标注图片会遮挡智能端使用者视野的问题;并且实现在混合现实空间形成标注,使得智能设备使用者转换角度或移动时,标注也会进行相应的移动,提高了标注的位置精确性。
在以上图1所示的实施例中,对于标注时间点的空间绘制面及标注的空间位置数据的计算过程并未进行详细说明,下面通过图2所示的实施例进行详细说明。
参照图2,该方法的执行步骤包括:
201,当需要进行标注时,智能端获取标注时间点的视频帧数据及空间矩阵数据。
其中,在用户需要进行标注时,是在客户端展示的混合现实视频流中进行的,因此,用户在客户端在标识时间点发起标注需求,客户端接收带有标注时间的标注指令,通过服务端将标注指令发送至智能端,智能端通过服务端接收到标注指令后,根据标注指令,从混合现实视频流中截取标注时间点的视频帧,得到视频帧数据,由于智能端是通过摄像头采集现实场景图像,通过透明显示屏展示虚拟场景信息,通过摄像头所采用相机的相机空间矩阵转换理论,就能得到视频帧的空间矩阵数据。
具体的,由于智能端是通过摄像头采集现实场景图像,通过透明显示屏展示虚拟场景信息,通过摄像头所采用相机的相机空间矩阵转换理论,就能得到当前视频帧的空间矩阵数据,以HoloLens头戴式MR为例,HoloLens相机的空间矩阵数据的获取过程为:通过调用从相机空间到世界空间的变换矩阵的应用程序接口(TryGetCameraToWorldMatrixAPI)获取视频捕捉范例(VideoCaptureSample)的相机矩阵数据和投射矩阵数据,这两个矩阵数据存储了HoloLens当前相机的方向和位置,再将HoloLens空间矩阵转换到Unity工具的空间矩阵,从而得到空间矩阵数据。
202,智能端通过服务端将视频帧数据发送至客户端。
其中,智能端将视频帧数据发送到服务器,服务器将视频帧数据传输到客户端。
203,当用户在客户端绘制完成标注后,客户端获取标注的标注数据,通过服务端将标注数据发送至智能端。
其中,在客户端接收到视频帧数据之后,客户端解析视频帧数据,还原得到标注时间点的视频帧,客户端通过显示屏将视频帧展示给用户,并将视频帧作为可标注状态,显示用于标注绘制的可扩展组件,可扩展组件包括二维标注组件及三维标注组件,二维标注组件是用于点、线及形状类等二维标注的可扩展组件,三维标注组件是用于进行工具类及警告类等三维动态模型标注的可扩展组件。
204,智能端根据空间矩阵数据,利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置。
其中,智能端根据空间矩阵数据,利用SLAM技术计算得到相机空间位置及碰撞体空间位置,SLAM技术最早由Hugh Durrant-Whyte 和 John J.Leonard提出,主要用于解决移动机器人在未知环境中运行时定位导航与地图构建的问题,本实施例中,将SLAM技术应用于混合现实技术中,SLAM技术是利用激光测距、超声波测距以及图像测距中的一种或多种方式,将智能端的周围现实环境的碰撞体作为地标,实现智能端与地标之间的距离测量及地图构建,并结合空间矩阵数据计算得到相机空间位置及碰撞体空间位置。
205,智能端根据相机空间位置及碰撞体空间位置,计算得到空间绘制面角度,并根据空间绘制面角度形成空间绘制面。
其中,以智能端的使用者的视角垂直角度,通过相机空间位置及碰撞体空间位置计算得到空间绘制面角度,根据空间绘制面角度形成空间绘制面。
206,智能端根据空间矩阵数据及标注数据,计算得到标注的空间位置数据。
其中,根据以上步骤201中的空间矩阵数据的计算过程,根据空间矩阵数据及标注数据,计算得到标注的空间位置数据。
207,智能端根据空间位置数据,在空间绘制面上确定标注位置。
其中,由于空间位置数据是由空间矩阵数据计算得到的,空间矩阵数据和空间绘制面都是与智能端的使用者的视角垂直角度相关,因此,智能端根据空间位置数据可以在空间绘制面上确定标注位置。
208,智能端根据标注位置及标注数据,在空间绘制面上形成标注。
其中,智能端依据标注数据中的标注形状及标注大小在空间绘制面的标注位置上形成标注。
本实施例的实施原理为:当需要进行标注时,智能端获取标注时间点的视频帧数据及空间矩阵数据,智能端通过服务端将视频帧数据发送至客户端,当用户在客户端绘制完成标注后,客户端获取标注的标注数据,通过服务端将标注数据发送至智能端,智能端根据空间矩阵数据,利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置,智能端根据相机空间位置及碰撞体空间位置,计算得到空间绘制面角度,并根据空间绘制面角度形成空间绘制面,智能端根据空间矩阵数据及标注数据,计算得到标注的空间位置数据,智能端根据空间位置数据,在空间绘制面上确定标注位置,智能端根据标注位置及标注数据,在空间绘制面上形成标注;
利用标注时间点的空间矩阵数据确定空间绘制面,从而在空间绘制面形成标注,解决了标注图片会遮挡智能端使用者视野的问题;并且实现在混合现实空间形成标注,使得智能设备使用者转换角度或移动时,标注也会进行相应的移动,提高了标注的位置精确性;
基于SLAM技术和空间矩阵数据确定的标注的空间位置数据,能够实现空间绘制面上的标注的定位,再依据标注数据在空间位置的地方进行标注,进一步提高了在混合现实空间中形成标注准确性。
本申请实施例还公开一种基于三维重建的混合现实空间标注系统。
实施例3
参照图3,该系统包括:
客户端301、服务端302及智能端303;
客户端301及智能端303分别与服务端302通信连接;
智能端303,用于当需要进行标注时,获取标注时间点的视频帧数据及空间矩阵数据;
智能端303,还用于通过服务端302将视频帧数据发送至客户端301;
客户端301,用于当用户在客户端301绘制完成标注后,获取标注的标注数据,通过服务端302将标注数据发送至智能端303,标注数据包括标注形状及标注大小;
智能端303,还用于根据空间矩阵数据计算得到标注时间点的空间绘制面及标注的空间位置数据;
智能端303,还用于根据标注数据及空间位置数据,在空间绘制面上形成标注。
本实施例的实施原理为:当需要进行标注时,智能端303获取标注时间点的视频帧数据及空间矩阵数据,智能端303通过服务端302将当前视频帧数据发送至客户端301,当用户在客户端301绘制完成标注后,客户端301获取标注的标注数据,通过服务端302将标注数据发送至智能端303,标注数据包括标注形状及标注大小,智能端303根据空间矩阵数据计算得到标注时间点的空间绘制智能端303根据空间位置数据在空间绘制面上定位出标注的空间位置,再依据标注数据在空间绘制面上构建形成混合现实空间上的标注。利用标注时间点的空间矩阵数据确定空间绘制面,从而在空间绘制面形成标注,解决了标注图片会遮挡智能端303使用者视野的问题;并且实现在混合现实空间形成标注,使得智能设备使用者转换角度或移动时,标注也会进行相应的移动,提高了标注的位置精确性。
需要说明的是,图3所示的实施例中,智能端、服务端及客户端还能执行以上图1所示实施例及图2所示实施例中基于三维重建的混合现实空间标注方法中的所有的步骤和功能,服务端还能够对登录客户端的用户进行登录验证和用户权限确认。
客户端的结构示意图如图4所示,包括处理器401、标注组件402、音频组件403、视频组件404及操作台405,其中,标注组件402用于进行标注,音频组件403用于输出音频数据,视频组件404用于输出混合现实视频流,操作台405用于用户进行相关操作,处理器401用于进行空间位置数据的计算等功能。
服务端的结构示意图如图5所示,包括获取模块501、验证模块502、传输模块503及发送模块504,获取模块501及发送模块504用进行数据的获取和发送,验证模块502用于进行客户端的用户的登录验证,传输模块503用于传输智能端和客户端之间的数据或信息。
智能端的结构示意图如图6所示,包括前端601及后台602,前端601主要包括摄像头603及透明显示屏604,后台602包括处理器605,摄像头603用于采集现实场景的图像数据,透明显示屏604用于展示混合现实视频流及标注等,处理器605具有计算空间绘制面角度及标注的空间位置数据等功能。
以上均为本申请的较佳实施例,并非依此限制本申请的保护范围,本说明书(包括摘要和附图)中公开的任一特征,除非特别叙述,均可被其他等效或者具有类似目的的替代特征加以替换。即,除非特别叙述,每个特征只是一系列等效或类似特征中的一个例子而已。
Claims (10)
1.一种基于三维重建的混合现实空间标注方法,其特征在于,应用于基于三维重建的混合现实空间标注系统,所述基于三维重建的混合现实空间标注系统包括智能端、服务端及客户端,所述方法包括:
当需要进行标注时,所述智能端获取标注时间点的视频帧数据及空间矩阵数据;
所述智能端通过所述服务端将所述视频帧数据发送至所述客户端;
当用户在所述客户端绘制完成标注后,所述客户端获取所述标注的标注数据,通过所述服务端将所述标注数据发送至所述智能端,所述标注数据包括标注形状及标注大小;
所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据;
所述智能端根据所述标注数据及所述空间位置数据,在所述空间绘制面上形成所述标注。
2.根据权利要求1所述的基于三维重建的混合现实空间标注方法,其特征在于,所述智能端获取标注时间点的视频帧数据及空间矩阵数据,包括:
当用户需要进行标注时,所述客户端接收标注指令,通过所述服务端将所述标注指令发送至所述智能端,所述标注指令包括标注时间点;
所述智能端根据所述标注指令,从混合现实视频流中截取所述标注时间点的视频帧,得到视频帧数据;
所述智能端获取所述视频帧对应的空间矩阵数据。
3.根据权利要求1所述的基于三维重建的混合现实空间标注方法,其特征在于,所述客户端获取所述标注的标注数据,通过所述服务端将所述标注数据发送至所述智能端之前,还包括:
所述客户端解析所述视频帧数据,得到所述当视频帧;
所述客户端显示所述视频帧,并显示用于标注绘制的可扩展组件,所述可扩展组件包括二维标注组件及三维标注组件。
4.根据权利要求1所述的基于三维重建的混合现实空间标注方法,其特征在于,所述智能端根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据,包括:
所述智能端根据所述空间矩阵数据,利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置;
所述智能端根据所述相机空间位置及所述碰撞体空间位置,计算得到空间绘制面角度,并根据所述空间绘制面角度形成空间绘制面;
所述智能端根据所述空间矩阵数据及所述标注数据,计算得到所述标注的空间位置数据。
5.根据权利要求4所述的基于三维重建的混合现实空间标注方法,其特征在于,所述智能端根据所述标注数据及所述空间位置数据,在所述空间绘制面上形成所述标注,包括:
所述智能端根据所述空间位置数据,在所述空间绘制面上确定标注位置;
所述智能端根据所述标注位置及所述标注数据,在所述空间绘制面上形成所述标注。
6.一种基于三维重建的混合现实空间标注系统,其特征在于,包括:
客户端、服务端及智能端;
所述客户端及所述智能端分别与所述服务端通信连接;
所述智能端,用于当需要进行标注时,获取标注时间点的视频帧数据及空间矩阵数据;
所述智能端,还用于通过所述服务端将所述视频帧数据发送至所述客户端;
所述客户端,用于当用户在所述客户端绘制完成标注后,获取所述标注的标注数据,通过所述服务端将所述标注数据发送至所述智能端,所述标注数据包括标注形状及标注大小;
所述智能端,还用于根据所述空间矩阵数据计算得到所述标注时间点的空间绘制面及所述标注的空间位置数据;
所述智能端,还用于根据所述标注数据及所述空间位置数据,在所述空间绘制面上形成所述标注。
7.根据权利要求6所述的基于三维重建的混合现实空间标注系统,其特征在于,
所述客户端,还用于当用户需要进行标注时,接收标注指令,通过所述服务端将所述标注指令发送至所述智能端,所述标注指令包括标注时间点;
所述智能端,还用于根据所述标注指令,从混合现实视频流中截取所述标注时间点的视频帧,得到视频帧数据;
所述智能端,还用于获取所述视频帧对应的空间矩阵数据。
8.根据权利要求6所述的基于三维重建的混合现实空间标注系统,其特征在于,
所述客户端,还用于解析所述视频帧数据,得到所述当视频帧;
所述客户端,还用于显示所述视频帧,并显示用于标注绘制的可扩展组件,所述可扩展组件包括二维标注组件及三维标注组件。
9.根据权利要求6所述的基于三维重建的混合现实空间标注系统,其特征在于,
所述智能端,还用于根据所述空间矩阵数据,利用同时定位与建图SLAM技术计算得到相机空间位置及碰撞体空间位置;
所述智能端,还用于根据所述相机空间位置及所述碰撞体空间位置,计算得到空间绘制面角度,并根据所述空间绘制面角度形成空间绘制面;
所述智能端,还用于根据所述空间矩阵数据及所述标注数据,计算得到所述标注的空间位置数据。
10.根据权利要求9所述的基于三维重建的混合现实空间标注系统,其特征在于,
所述智能端,还用于根据所述空间位置数据,在所述空间绘制面上确定标注位置;
所述智能端,还用于根据所述标注位置及所述标注数据,在所述空间绘制面上形成所述标注。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110792181.6A CN113610987B (zh) | 2021-07-13 | 2021-07-13 | 一种基于三维重建的混合现实空间标注方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110792181.6A CN113610987B (zh) | 2021-07-13 | 2021-07-13 | 一种基于三维重建的混合现实空间标注方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113610987A true CN113610987A (zh) | 2021-11-05 |
CN113610987B CN113610987B (zh) | 2024-02-20 |
Family
ID=78337516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110792181.6A Active CN113610987B (zh) | 2021-07-13 | 2021-07-13 | 一种基于三维重建的混合现实空间标注方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113610987B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100287485A1 (en) * | 2009-05-06 | 2010-11-11 | Joseph Bertolami | Systems and Methods for Unifying Coordinate Systems in Augmented Reality Applications |
US20110109747A1 (en) * | 2009-11-12 | 2011-05-12 | Siemens Industry, Inc. | System and method for annotating video with geospatially referenced data |
CN104270577A (zh) * | 2014-08-22 | 2015-01-07 | 北京德馨同创科技发展有限责任公司 | 用于移动智能终端的图像处理方法和装置 |
CN111526118A (zh) * | 2019-10-29 | 2020-08-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于混合现实的远程操作引导系统及方法 |
CN112153267A (zh) * | 2020-10-22 | 2020-12-29 | 国网江苏省电力有限公司镇江供电分公司 | 基于ar智能眼镜的人眼视角局限空间作业远程监护系统 |
-
2021
- 2021-07-13 CN CN202110792181.6A patent/CN113610987B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100287485A1 (en) * | 2009-05-06 | 2010-11-11 | Joseph Bertolami | Systems and Methods for Unifying Coordinate Systems in Augmented Reality Applications |
US20110109747A1 (en) * | 2009-11-12 | 2011-05-12 | Siemens Industry, Inc. | System and method for annotating video with geospatially referenced data |
CN104270577A (zh) * | 2014-08-22 | 2015-01-07 | 北京德馨同创科技发展有限责任公司 | 用于移动智能终端的图像处理方法和装置 |
CN111526118A (zh) * | 2019-10-29 | 2020-08-11 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于混合现实的远程操作引导系统及方法 |
CN112153267A (zh) * | 2020-10-22 | 2020-12-29 | 国网江苏省电力有限公司镇江供电分公司 | 基于ar智能眼镜的人眼视角局限空间作业远程监护系统 |
Non-Patent Citations (2)
Title |
---|
TEO, T等: "Supporting Visual Annotation Cues in a Live 360 Panorama-based Mixed Reality Remote Collaboration", 《2019 26TH IEEE CONFERENCE ON VIRTUAL REALITY AND 3D USER INTERFACES 》, pages 1187 - 1188 * |
魏一雄等: "面向运维服务的增强/混合现实远程标注技术", 《中国科技信息》, vol. 11, pages 96 - 98 * |
Also Published As
Publication number | Publication date |
---|---|
CN113610987B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11394950B2 (en) | Augmented reality-based remote guidance method and apparatus, terminal, and storage medium | |
CN106454311B (zh) | 一种led三维成像系统及方法 | |
KR102289745B1 (ko) | 실시간 현장 작업 모니터링 방법 및 시스템 | |
US20120124509A1 (en) | Information processor, processing method and program | |
CN111192321B (zh) | 目标物三维定位方法与装置 | |
JP6230113B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム | |
US20180020203A1 (en) | Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium | |
KR102418994B1 (ko) | 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법 | |
CN109992111B (zh) | 增强现实扩展方法和电子设备 | |
JPWO2021076757A5 (zh) | ||
CN110717994A (zh) | 远程视频交互的实现方法及相关设备 | |
Leutert et al. | Projector-based augmented reality for telemaintenance support | |
CN113596517B (zh) | 一种基于混合现实的图像冻结标注方法及系统 | |
JP7109395B2 (ja) | 作業支援システム、作業支援装置、及び作業支援方法 | |
CN112862973A (zh) | 一种基于故障现场的实时远程培训方法及系统 | |
CN112558761A (zh) | 一种面向移动端的远程虚拟现实交互系统及交互方法 | |
JP7266422B2 (ja) | 注視行動調査システム、及び制御プログラム | |
CN117135146A (zh) | 一种基于ar技术的远程指导系统 | |
CN113610987B (zh) | 一种基于三维重建的混合现实空间标注方法及系统 | |
JP5864371B2 (ja) | 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 | |
CN115633147A (zh) | 一种基于5g多视角的多人远程协作指导系统 | |
CN114979568A (zh) | 一种基于增强现实技术的远程作业指导方法 | |
CN116074485A (zh) | 一种基于增强现实的通话方法及终端 | |
JP2015184986A (ja) | 複合現実感共有装置 | |
JP2015179947A (ja) | 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |