CN112667179A - 一种基于混合现实的远程同步协作系统 - Google Patents

Abstract

本发明公开了一种基于混合现实的远程同步协作系统，能够实现本地端与远程端的实时同步协作。该系统包括远程专家端和本地用户端；本地用户端设置于工作环境中；本地用户端由增强现实头戴显示器、本地端跟踪模块、深度相机和本地计算机组成；远程专家端由虚拟现实头戴显示器、手持控制器、远程端跟踪模块和远程计算机组成。本发明通过深度相机解决工作环境下多名本地用户互相之间遮挡的问题，通过本地用户佩戴的增强现实头盔的相机实时更新本地工作环境信息，并且通过在虚拟环境中的处理，区分信息的时效性。远程专家可以在虚拟现实环境中发布建议和指令，这些信息通过增强现实头盔显示器显示在本地用户的视角中，以便直观的指导本地用户进行工作。

Description

一种基于混合现实的远程同步协作系统

技术领域

本发明涉及混合现实技术领域，具体涉及一种基于混合现实的远程同步协作系统。

背景技术

目前有研究提出基于MR的同步共享技术，专家佩戴VR头戴式显示器，本地用户佩戴AR头戴式显示器，将AR头戴式显示器中捕捉到的内容传输到虚拟现实头戴式显示器中，通过这种方式，专家就可以观察到本地用户在工作环境中正在取得的进展并提出建议。

当前技术在构建工作环境到虚拟现实空间时，通过本地用户佩戴的摄像头来进行构建，那么无法准确的呈现本地用户视场外的信息，远程专家无法对全局信息有一个更清晰的把握，同时在多个本地用户进行作业时，互相的遮挡也可能会导致工作环境信息的缺失。

因此目前需要一种能够实现远程同步协作的方案，以实现本地端与远程端的实时同步协作。

发明内容

有鉴于此，本发明提供了一种基于混合现实的远程同步协作系统，能够实现本地端与远程端的实时同步协作。

为达到上述目的，本发明的技术方案为：一种基于混合现实的远程同步协作系统，包括远程专家端和本地用户端；本地用户端设置于工作环境中；本地用户端由增强现实头戴显示器、本地端跟踪模块、深度相机和本地计算机组成；远程专家端由虚拟现实头戴显示器、手持控制器、远程端跟踪模块和远程计算机组成。

本地用户端中，本地用户佩戴增强显示头戴显示器，用于实时拍摄本地用户的第一人称视角画面送入本地计算机。

本地端跟踪模块用于实时获取本地用户的位姿信息送入本地计算机。

深度相机用于实时拍摄工作区域画面以及获得工作区域深度信息送入本地计算机。

本地计算机将获取的实时信息送入远程计算机，实时信息包括：第一人称视角画面、本地用户的位姿信息、工作区域画面以及对应时间戳信息。

远程计算机根据工作环境构建环境三维模型，三维模型中包含工作环境框架模型、以及工作环境中各部件对应的部件三维模型；远程计算机将第一人称视角画面和工作区域画面对应投影展示在工作环境框架模型中，由此生成虚拟现实场景；同时远程计算机根据当前时刻以及时间戳信息对第一人称视角画面与工作区域画面进行区别展示。

远程专家端用户通过虚拟现实头戴显示器查看虚拟现实场景。

远程专家端用户利用手持控制器发出指导信息，指导信息包括对虚拟现实场景中的部件三维模型的选择信息，指导信息通过远程计算机送入本地计算机，本地计算机将指导信息展示在增强显示头戴显示器中。

远程端跟踪模块获取远程专家端用户位姿信息，通过远程计算机送入本地计算机。

进一步地，远程计算机根据当前时刻以及时间戳信息对第一人称视角面与工作区域画面进行区别展示，具体为：

获取第一人称视角与工作区域画面的时间戳信息。

对第一人称视角与工作区域画面按照时间进行降低透明度或者降低色彩饱和度处理，以实现区别展示。

进一步地，增强现实头戴显示器包括但不限于微软Holoens，微软Hololens2，此类设备一般集成摄像头、跟踪模块；

进一步地，深度相机包括但不限于微软Kinect，LeapMotion，RealSense；

进一步地，虚拟现实头戴显示器、手持控制器和远程跟踪模块为集成套件，包括但不限于HTC vive，Oculus。

进一步地，远程专家端使用个人计算机或者移动设备，包括但不限于PC、笔记本电脑、手机。

进一步地，深度相机用于实时拍摄工作区域画面及获取深度信息，若判断工作区域有遮挡物，则被遮挡部分的工作区域画面不再实时更新，该部分的工作区域画面显示为被遮挡前的工作区域画面，并根据当前时间和时间戳信息进行区别展示。

有益效果：

本发明实施例提供了一种基于混合现实的远程同步协作系统，使一名或多名远程专家在虚拟现实环境中实时接收到来自工作环境中的一名或多名本地用户共享的信息，以便能够了解工作环境情况及检查工作进度。本发明通过深度相机解决工作环境下多名本地用户互相之间遮挡的问题，通过本地用户佩戴的增强现实头盔的相机实时更新本地工作环境信息，并且通过在虚拟环境中的处理，区分信息的时效性。同时远程专家可以在虚拟现实环境中发布建议和指令，这些信息通过增强现实头盔显示器显示在本地用户的视角中，以便直观的指导本地用户进行工作。

附图说明

图1为本发明实施例提供的一种基于混合现实的远程同步协作系统构成示意图；

图2为本发明实施例本地用户端示意图；

图3为本发明实施例远程专家端示意图；

图4为本发明实施例深度相机图像处理流程图；

图5为本发明实施例信息时效性显示效果；

图6为本发明实施例本地用户端信息更新流程；

图7为本发明实施例远程专家发布指导信息流程。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于混合现实的远程同步协作系统，系统构成如图1所示，包括远程专家端和本地用户端；本地用户端设置于工作环境中。

本地用户端具体为：本地用户佩戴增强显示头戴显示器，用于实时拍摄本地用户的第一人称视角画面送入本地计算机；具体地，本地用户端由增强现实头戴显示器、本地端跟踪模块、深度相机和本地计算机组成；其中增强现实头戴显示器包括但不限于微软Holoens，微软Hololens2，此类设备一般集成摄像头、跟踪模块；深度相机包括但不限于微软Kinect，LeapMotion，RealSense。在本发明中，本地用户端可以有多个增强现实头戴显示器和多台深度相机，这些设备均置于工作环境下，如图2所示。

具体地本地用户端各组成部分功能如下：

本地用户佩戴增强显示头戴显示器，用于实时拍摄本地用户的第一人称视角画面送入本地计算机。

本地端跟踪模块用于实时获取本地用户的位姿信息送入本地计算机。

深度相机用于实时拍摄工作区域画面以及获得工作区域深度信息送入本地计算机。深度相机假设在工作区域的固定位置，主要用于对工作区域的拍摄，其中工作区域可以是操作台，器械放置处等。

本地计算机获取的实时信息送入远程计算机，实时信息包括：第一人称视角画面、本地用户的位姿信息、工作区域画面以及对应时间戳信息；

本地用户的第一视角图像会根据跟踪模块所计算获得的本地用户位姿信息进行传输，这些图像会进行贴图生成或投影到虚拟环境中，同时过时的本地用户第一视角图像也会保留，但是会进行一些处理(如降低透明度、降低色彩饱和度等)，以区分信息的时效性。

远程专家端由虚拟现实头戴显示器、手持控制器、远程端跟踪模块和远程计算机组成；其中虚拟现实头戴显示器、手持控制和跟踪模块通常为集成套件，包括但不限于HTCvive，Oculus。远程专家端还可以使用个人计算机或者移动设备，包括但不限于PC、笔记本电脑、手机。在本发明中，远程专家端可以有多套系统，这些系统相对独立，若需要专家沉浸式指导，则需要一定的空间部署虚拟现实套件即可，如图3所示。

具体地，远程专家端的各组成部分功能如下：

远程计算机根据工作环境构建环境三维模型，三维模型中包含工作环境框架模型、以及工作环境中各部件对应的部件三维模型；远程计算机将第一人称视角画面以及工作区域画面对应投影展示在工作环境框架模型中，同时将工作区域画面对应贴图展示在部件三维模型中，由此生成虚拟现实场景；远程计算机根据当前时刻以及时间戳信息对第一人称视角画面与工作区域画面进行区别展示，即对第一人称视角画面与工作区域画面按照时间进行降低透明度或者降低色彩饱和度处理，以实现区别展示。

在本发明实施例中，首先可以根据工作环境的大致布局，建立简单的三维模型，预先建立，使用常规的三维建模软件来构建如桌面，操作台，柜子等)，也可以通过SLAM(同步定位与构建)技术(一般增强现实头盔显示器会集成，如Hololens)生成基本的环境模型，以供虚拟环境(远程端)使用，这些模型上的信息(贴图或图像投影)由本地用户端进行传输。

远程专家端用户通过虚拟现实头戴显示器查看虚拟现实场景。

远程专家端用户利用手持控制器对虚拟现实场景中的部件三维模型进行选择，手持控制器将选择信息通过远程计算机送入本地计算机，本地计算机将选择信息展示在增强显示头戴显示器中。

远程端跟踪模块获取远程专家端用户位姿信息，通过远程计算机送入本地计算机。

本发明实施例中，深度相机所拍摄到的图像也会根据其拍摄的位姿生成贴图或投影到虚拟环境中的对应位置，当有遮挡物(如本地用户遮挡了深度相机)时，被遮挡部分的图像将不在更新，而是显示遮挡前的图像，这些图像与过时的本地用户第一视角进行相同的处理(如降低透明度、降低色彩饱和度等)。本地计算机接收深度相机拍摄的图像，进行实时工作区域画面的生成的流程如图4所示，包括如下步骤：

采集工作区域的RGB图像；采用深度相机对当前工作环境进行图像拍摄，得到当前时刻的工作区域画面。

针对实时的工作区域画面进行判断，判断是否有超过场景初始深度的区域，即是否存在遮挡区域；若没有，则以当前时刻的工作区域画面作为最终输出结果；若存在遮挡区域，则提取遮挡区域蒙版，与RGB图像混合，混合后得到的图像作为最终输出结果。

最终输出结果作为实时的工作区域画面输入。

本地用户端根据本地用户第一视角的图像和深度相机的图像，对工作环境进行实时更新，这种更新将反映在虚拟现实的工作环境中。这种更新可以分别处理深度相机和本地用户第一视角所传输的图像，也可以一起处理，将深度相机拍摄到的有效区域的图像和本地用户当前第一视角的图像作为实时更新信息，而将深度相机被遮挡部分的图像和过时的本地用户第一视角图像作为过时的信息，在虚拟现实中进行保留，但是会根据时间作一些处理(例如逐渐降低透明度或者逐渐降低色彩饱和度等)，效果如图5所示。

本地用户端对虚拟工作环境的更新流程如图6所示，包括如下步骤：

读取本地用户拍摄数据，即为通过增强显示头戴显示拍摄的第一人称视角画面。

通过本地端跟踪模块获取本地用户位姿信息。

根据本地用户位姿信息计算图像的投影区域。

采用深度相机实时拍摄的工作区域画面，并且进行遮挡去除，得到最新图像。

计算最新图像的投影区域，标记区域外的图像为过期图像，对过期图像进行降低透明度或者降低色彩饱和度处理，输出最终结果至远程专家端。

远程专家端显示虚拟场景，专家通过个人计算机或者移动设备查看虚拟现实工作环境的情况，当远程专家要沉浸在虚拟现实环境中进行指导用户时候，则需要留出一定的显示空间架设虚拟现实设备(HTC vive或Hololens)，专家通过显示设备查看工作环境的情况，同时可以在虚拟的工作环境中进行漫游，专家可以通过语音远程指导本地用户完成工作，也可以通过输入设备(键鼠、控制器)来选择场景中的区域或物品，例如标记一件物品，或者拖拽标记一个区域，这种标记将显示在本地用户的增强现实头盔显示器中。

在沉浸式环境中使用远程专家端的流程如图7所示，具体包括如下步骤：

通过远程端跟踪模块获取专家位置以及手持控制器位置。

远程专家端用户选取本地用户，并通过手持控制器发出指导信息，指导信息包括远程专家端用户通过手持控制器选取的虚拟现实场景中的部件三维模型。

远程端计算机根据将指导信息与本地用户视角进行匹配，匹配后显示到对应本地用户的增强显示头戴显示器中。

本地用户端以及远程专家端的软件系统均可基于图形引擎(包括但不限于Unity、UE)进行开发，其中本地用户端的用户界面需要根据现实环境显示指示信息、如对某物体显示高亮轮廓、指示箭头，或者对某区域进行高亮闪烁显示、显示提示文字等。远程专家端需要显示一个虚拟现实场景，同时远程专家可以在其中进行漫游、标记、拖拽等操作。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于混合现实的远程同步协作系统，其特征在于，包括远程专家端和本地用户端；本地用户端设置于工作环境中；本地用户端由增强现实头戴显示器、本地端跟踪模块、深度相机和本地计算机组成；所述远程专家端由虚拟现实头戴显示器、手持控制器、远程端跟踪模块和远程计算机组成；

所述本地用户端中，本地用户佩戴所述增强显示头戴显示器，用于实时拍摄本地用户的第一人称视角画面送入本地计算机；

所述本地端跟踪模块用于实时获取本地用户的位姿信息送入本地计算机；

所述深度相机用于实时拍摄工作区域画面以及获得工作区域深度信息送入所述本地计算机；

所述本地计算机获取的实时信息送入远程计算机，所述实时信息包括：第一人称视角画面、本地用户的位姿信息、工作区域画面以及对应时间戳信息；

所述远程计算机根据工作环境构建环境三维模型，所述三维模型中包含工作环境框架模型、以及工作环境中各部件对应的部件三维模型；所述远程计算机将所述第一人称视角画面和工作区域画面对应投影展示在所述工作环境框架模型中，由此生成虚拟现实场景；所述远程计算机根据当前时刻以及时间戳信息对所述第一人称视角画面与工作区域画面进行区别展示；

远程专家端用户通过虚拟现实头戴显示器查看所述虚拟现实场景；

远程专家端用户利用所述手持控制器发出指导信息，所述指导信息包括对所述虚拟现实场景中的部件三维模型的选择信息，所述指导信息通过远程计算机送入所述本地计算机，本地计算机将所述指导信息展示在所述增强显示头戴显示器中；

所述远程端跟踪模块获取远程专家端用户位姿信息，通过远程计算机送入本地计算机。

2.如权利要求1所述的系统，其特征在于，所述远程计算机根据当前时刻以及时间戳信息对所述第一人称视角画面与工作区域画面进行区别展示，具体为：

获取第一人称视角画面与工作区域画面的时间戳信息；

对第一人称视角画面与工作区域画面按照时间进行降低透明度或者降低色彩饱和度处理，以实现区别展示。

3.如权利要求1所述的系统，其特征在于，所述增强现实头戴显示器包括但不限于微软Holoens，微软Hololens2，此类设备一般集成摄像头、跟踪模块。

4.如权利要求1所述的系统，其特征在于，所述深度相机包括但不限于微软Kinect，LeapMotion，RealSense。

5.如权利要求1所述的系统，其特征在于，虚拟现实头戴显示器、手持控制器和远程跟踪模块为集成套件，包括但不限于HTC vive，Oculus。

6.如权利要求1所述的系统，其特征在于，所述远程专家端使用个人计算机或者移动设备，包括但不限于PC、笔记本电脑、手机。

7.如权利要求1所述的系统，其特征在于，所述深度相机用于实时拍摄工作区域画面及获取深度信息，若判断工作区域有遮挡物，则被遮挡部分的工作区域画面不再实时更新，该部分的工作区域画面显示为被遮挡前的工作区域画面，并根据当前时间和时间戳信息进行区别展示。

Images