CN109806580A

CN109806580A - 基于无线传输的混合现实系统及方法

Info

Publication number: CN109806580A
Application number: CN201910065037.5A
Authority: CN
Inventors: 姚海平; 刘适维
Original assignee: PERCEPTION TECHNOLOGY (SHENZHEN) Co Ltd
Current assignee: PERCEPTION TECHNOLOGY (SHENZHEN) Co Ltd
Priority date: 2019-01-23
Filing date: 2019-01-23
Publication date: 2019-05-28

Abstract

本发明提供了一种基于无线传输的混合现实系统及方法，包括远端模块和控制模块，远端模块包括传感器单元、运算处理单元、执行单元以及第一无线收发单元；控制模块包括显示单元、应用处理单元、操作控制单元以及第二无线收发单元；第一无线收发单元和第二无线收发单元无线通信连接；传感器单元收集数据并发送至运算处理单元，运算处理单元对所述数据加工后无线传输至应用处理单元，应用处理单元对加工后的数据再加工后通过显示单元显示；操作控制单元或者应用处理单元发送操作指令给执行单元，执行单元执行所述操作指令。本发明通过在近程的设备上呈现远端设备视角观察；允许用户无线控制远端设备，完成特定任务，或者和3D虚拟对象进行互动。

Description

基于无线传输的混合现实系统及方法

技术领域

本发明涉及混合现实领域，具体地，涉及一种基于无线传输的混合现实系统及方法。

背景技术

AR(Augmented Reality，增强现实)是一种新的人机交互技术，通过将虚拟内容叠加到真实世界的画面上显示，在生活、工作、娱乐的很多方面为用户带来更高的工作效率与/或更愉快的体验。

最初的AR通过将虚拟内容投影到一块半透明的玻璃上，实现虚拟和真实内容的叠加显示，例如谷歌眼镜。后来出现的技术是将摄像头获取的真实世界的影像和虚拟的内容通过软件进行叠加，例如一些手持智能设备提供了AR测量功能，将摄像头对准物体，物体的尺寸数据会叠加显示在物体的影像画面上。

如果虚拟内容不是仅仅在真实世界上额外叠加一层，而是和真实物体融合在一起。例如，虚拟世界的物体可以和真实世界的物体互相遮挡，那这种将虚拟和真实世界深度融合的技术虽然广义上属于AR，但越来越多地被称为MR(Mixed Reality，混合现实)。

AR/MR技术一诞生就引起了广泛关注，人们非常看好其潜在的娱乐应用前景，苹果和谷歌公司先后发布了支持AR/MR技术的ARKit和ARCore，在AR游戏应用中，大部分AR游戏是在传统游戏中增加了一个“AR模式”，把游戏中的场景地面投射到玩家面前的某个准平面上，例如桌面、床、地面等，玩家可以通过调整手机的位置改变查看场景的视角，但游戏本身没有什么变化，反而对玩家身边的环境、身体姿势增加了很多限制。

申请号为201710079357.7的发明专利公开了一种基于AR设备的游戏实现方法和系统。该方法包括：接收的游戏内容；采集外部真实环境的真实图像；根据识别内容进行建模，构建虚拟环境；构建虚拟游戏物体，并且计算虚拟游戏物体的外部真实环境的投射位置；结合AR设备的姿态和位置，构建虚拟物体所对应的左眼图像和右眼图像；分别在AR设备的左眼显示设备和右眼显示设备上显示虚拟游戏物体对应的左眼图像和右眼图像，以使左眼显示设备、右眼显示设备以及外部真实环境的光线合成入射至用户的人眼之后，形成AR游戏。该申请虚拟游戏物体与外部真实环境逻辑上融合，相比原有技术将数字信息和外界环境信息的简单叠加更加真实，但是该方法仍然面临下述重要缺陷：

1)视觉输入和控制/显示系统处于一台设备上，实际应用通常为头盔或者手持设备上的摄像头，看到的是玩家身边的场景，场景的变化依赖于玩家的移动，限制了创意，因为绝大多数玩家并没有足够展开游戏的大场地供其移动；

2)游戏依赖于对环境的建模，但是玩家身边的环境通常既不够大，又过于庞杂，不适合游戏内容的展开；

3)AR/MR对算力的要求很高，设备的电池容量有限，玩AR/MR游戏的续航力大大短于玩传统游戏。

4)难以在保障安全的前提下展开多人游戏；

FPV RC(First Person View Remote Control，第一人称视角遥控)是一种远程遥控技术，把远端设备，例如无人车、无人船、无人机上的摄像头捕捉的图像实时传输回来并显示，遥控者通过本地设备观察图像，并向远端的设备发出操作命令。图像回传和命令传输一般通过无线数据链。本发明将FPV技术和AR/MR技术相融合，有效解决了上述缺陷。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于无线传输的混合现实系统及方法。

根据本发明提供的一种基于无线传输的混合现实系统，包括远端模块和控制模块，远端模块包括传感器单元、运算处理单元、执行单元以及第一无线收发单元；

控制模块包括显示单元、应用处理单元、操作控制单元以及第二无线收发单元；

第一无线收发单元和第二无线收发单元通过无线通信连接，组成无线通信链路；

传感器单元收集数据并发送至运算处理单元，运算处理单元对所述数据加工后通过无线通信链路传输至应用处理单元，应用处理单元对加工后的数据再加工后通过显示单元显示；

操作控制单元或者应用处理单元通过无线通信链路发送操作指令给执行单元，执行单元执行所述操作指令。

优选地，所述传感器单元收集的数据包括可见光图像数据、深度图像数据、姿态数据、加速度数据或者方向数据。

优选地，所述运算处理单元包括即时定位与地图构建(SLAM)模块、实时三维环境提取(REALTIME_3D)模块以及可见光图像处理模块，其中：

SLAM模块输出远端模块的位置和方向数据；

REALTIME_3D模块输出远端模块的前方或者周边物体的3D表面形貌数据；

可见光图像处理模块用于进行图像优化、图像压缩编码，并输出经过编码后的可见光图像数据。

本发明提供了一种基于无线传输的混合现实方法，包括如下步骤：

数据采集步骤：传感器单元采集数据，并发送数据给运算处理单元；

数据加工发送步骤：运算处理单元对采集的数据加工后通过无线通信链路传输至应用处理单元；

数据再加工和显示步骤：应用处理单元对加工后的数据再加工后通过显示单元显示；

执行步骤：操作控制单元或者应用处理单元通过无线通信链路发送操作指令给执行单元，执行单元执行所述操作指令。

优选地，所述运算处理单元包括SLAM模块、REALTIME_3D模块以及可见光图像处理模块，其中：

SLAM模块输出远端模块的位置和方向数据；

优选地，所述数据再加工显示步骤还包括对比融合步骤：所述加工后的数据与已有的数据进行对比和融合，获得融合后的加工数据。

优选地，所述已有的数据包括SLAM数据和REALTIME_3D数据。

优选地，数据采集步骤还包括标定步骤：传感器单元采集的可见光图像数据和其余传感器单元进行空间关系标定。

优选地，SLAM模块、REALTIME_3D模块以及可见光图像处理模块均按照设定的帧率输出数据，SLAM数据、REALTIME_3D数据、可见光图像数据的帧率相同或者不同。

与现有技术相比，本发明具有显著的有益效果：

1、本发明结合了AR/MR和FPV RC技术，在近程的设备上以远端设备的视角进行观察，场景的变化来自于远端设备的移动，远端设备包括无人车、机器人等，由于远端设备的尺寸通常较小，绝大部分家庭和其他人类活动的室内场景都可以提供足够展开游戏的场地；

2、本发明在真实场景的视频画面中融合了3D虚拟对象，允许用户无线控制远端设备，完成特定任务，或者和3D虚拟对象进行互动，由于远端设备的尺寸较小，环境的相对尺寸就大了很多，加之远端设备的视角靠近地面，避免了桌上、柜子上、床上等高处复杂物体的干扰，在游戏和娱乐应用中，非常有利于虚拟内容的展开；

3、本发明创造性地采用了二重加工的方法，首先在远端设备上进行数据初加工，再回传至近程设备进行数据再加工，通过利用远端设备的计算力，大大降低了本地设备的算力负担，增加了续航能力，例如在游戏应用中，作为控制模块的手机的任务负载和传统游戏基本相同，消除了性能壁垒，避免了发热量大、续航力短等问题；

4、本发明通过远端设备采集数据信息，实现了环境模型构建，从而形成了现实环境的预建地图，通过将预建地图置入云端游戏后台，可以让处于同一个现实环境中的多个远端模块(例如多个遥控机器人)也处于同一个虚拟环境中，多个玩家可以进行协作性或者对抗性的多人游戏，远端模块之间的对抗不存在安全性的问题，基于AI智能视觉技术，甚至可以将人体实时建模引入虚拟世界，设计人和远端设备之间的协作或者对抗游戏。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为基于无线传输的混合现实系统示意图；

图2为基于无线传输的混合现实方法流程图。

图中示出：

远端模块 100

传感器单元 101

运算处理单元 102

第一无线收发单元 103

执行单元 104

控制模块 200

第二无线收发单元 201

操作控制单元 202

应用处理单元 203

显示单元 204

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1和图2所示，本发明结合AR/MR技术和FPV RC技术，提供了一种基于无线传输的混合现实系统及方法，从整体架构上来看，基于无线传输的混合现实系统包括远端模块和控制模块，远端模块包括传感器单元、运算处理单元、执行单元以及第一无线收发单元，控制模块包括显示单元、应用处理单元、操作控制单元以及第二无线收发单元；远端模块和控制模块之间通过第一无线收发单元和第二无线收发单元实现无线通信连接；传感器单元收集数据，传感器单元包括可见光摄像头和其他传感器，例如深度图成像传感器、采集姿态数据的陀螺仪、加速度传感器、采集方向数据地磁传感器；深度图成像传感器包括可选结构光、TOF、双目视觉、激光、毫米波及其他可以产生深度信息的传感器。通过传感器单元采集的数据包括可见光图像、远端设备当前位置、姿态、加速度、方向以及周边环境的可见光图像和3D数据。需要注意的是，可见光图像需要和其他传感器进行空间关系的标定。传感器单元采集的数据发送至运算处理单元，运算处理单元对所述数据一次加工后，通过无线链路传输至应用处理单元，应用处理单元对一次加工后的数据进行二次加工后通过显示单元显示，同时，操作控制单元或者应用处理单元发送操作指令给执行单元，执行单元执行所述操作指令，进而完成特定的任务，或者实现3D虚拟对象互动。

数据一次加工的常见工作包括：RGB视频处理和压缩编码；执行SLAM算法，获得远端模块的相对位置和方向；将远端模块当前的环境特征和预建地图的环境进行比较，得到远端模块在预建地图中绝对位置；通过闭合算法将深度传感器获得的离散的3D点云转化为相互连接的多个3D三角形面片，组合起来表示真实物体在空间中的表面形貌。

无线链路传输的数据通常包括：压缩编码后的RGB视频、远端模块的位置和方向、表示当前视野中真实物体表面轮廓的3D三角形面片，其他传感器的数据；

数据二次加工的常见工作包括：RGB视频解码；结合特定的应用逻辑(例如某种游戏逻辑)，产生3D虚拟对象；将一次加工的3D三角形面片合成为不可见的3D遮挡物，不可见3D遮挡物本身不显示，但是可以遮挡3D虚拟对象，把显示真实物体影像的RGB视频、不可见3D遮挡物、3D虚拟对象重叠在一起，就可以呈现真实物体影像和3D虚拟对象按照空间关系相互遮挡的效果。

进一步的，所述运算处理单元包括SLAM模块、REALTIME_3D模块以及可见光图像处理模块，SLAM模块输出的数据是远端模块当前的位置和方向数据，REALTIME_3D模块输出的数据是远端模块前方或者周边一定距离和角度范围内的物体的3D表面的概要图形，可见光图像处理模块进行图像优化、图像压缩编码，并输出经过编码后的可见光图像数据；SLAM模块、REALTIME_3D模块以及可见光图像处理模块均按照一定的帧率输出，三者输出的帧率可以相同也可以不同。

更为具体的，当存在预建的地图和SLAM环境数据时，则通过应用处理单元将SLAM数据和预键的地图和SLAM环境数据的对比融合，获得远端模块在本地预建地图的位置和方向。如果本地有预建的3D环境数据，则通过应用处理单元将远端模块的实时3D数据和本地预建的3D环境数据进行对比和融合，获得融合后的3D环境数据。

本发明提供了一种基于无线传输的混合现实方法，包括：传感器单元采集数据，并发送数据给运算处理单元；传感器单元包括可见光摄像头和其他传感器，例如深度图成像传感器、采集姿态数据的陀螺仪、加速度传感器、采集方向数据地磁传感器；深度图成像传感器包括可选结构光、TOF、双目视觉、激光、毫米波及其他可以产生深度信息的传感器。通过传感器单元采集的数据包括可见光图像、远端设备当前位置、姿态、加速度、方向以及周边环境的可见光图像和3D数据。运算处理单元对采集的数据加工后无线传输至应用处理单元；应用处理单元对加工后的数据再加工后通过显示单元显示；再加工的方式例如结合特定的应用逻辑(例如某种游戏逻辑)，产生3D虚拟对象，并将3D虚拟对象和真实物体影像融合。操作控制单元或者应用处理单元发送操作指令给执行单元，执行单元执行所述操作指令，进而完成特定的任务，或者实现3D虚拟对象互动。操作控制单元或者应用处理单元发送操作指令给执行单元，执行单元执行所述操作指令。

本发明应用领域广泛，在娱乐、科研、工业、商业等领域均有广泛的应用前景。下面基于具体的应用场景进一步阐述：

场景一：

远端模块可以是无人车或者机器人，控制模块可以是电脑或者手机。下面是一个可能的家庭娱乐应用场景：一台安装了摄像头和其他传感器的机器人通过无线数据链将摄像头和其他数据传输给用户手中的手机，用户通过手机屏幕看到的机器人视角的视频画面中，既有真实的环境画面，又有虚拟的3D对象，例如，可能看到一群精灵或者怪物在家具之间活动，其中，真实的环境画面通过可见光图像传感器回传的数据实现，而精灵或者怪物则是通过运算处理单元和应用处理单元的二重运算实现，用户可以遥控机器人在家中移动，并和3D对象互动，例如，和精灵交流或者攻击怪物。

场景二：一台安装了摄像头和其他传感器的机器人通过算法检测周围的人，通过人脸识别判断人的身份，通过动作提取算法提取人的关节点(OpenPOS是一种常用的利用深度学习提取人体动作的算法)，再把可见光图像数据和人的关节点数据一起通过无线数据链传输给玩家手中的手机，玩家手机中的算法将收到的人体关节点数据和3D卡通造型的模型相结合，实时生成符合当时人体动作的3D卡通形象，再叠加到可见光图像画面中，呈现给玩家，玩家就会看到和人体一样动作的卡通人物融合在真实环境中的画面。

场景三：一台安装了摄像头和其他传感器的巡检机器人在SLAM算法和预建地图的帮助下，按照预定的路线在厂区行走，通过摄像头和其他传感器观察预先设定的观察对象，并和预先存储的数据进行对比，如果发现疑似问题点，则通过无线数据链通知操作员，操作员通过观察视频和数据反馈分析问题，视需要遥控机器人靠近观察对象，进行仔细的观察，并进行相应的处理。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims

1.一种基于无线传输的混合现实系统，其特征在于，包括远端模块和控制模块，

远端模块包括传感器单元、运算处理单元、执行单元以及第一无线收发单元；

2.根据权利要求1所述的基于无线传输的混合现实系统，其特征在于，所述传感器单元收集的数据包括可见光图像数据、深度图像数据、姿态数据、加速度数据或者方向数据。

3.根据权利要求1所述的基于无线传输的混合现实系统，其特征在于，所述运算处理单元包括即时定位与地图构建(SLAM)模块、实时三维环境提取(REALTIME_3D)模块以及可见光图像处理模块，其中：

SLAM模块输出远端模块的位置和方向数据；

4.一种基于无线传输的混合现实方法，其特征在于，包括如下步骤：

5.根据权利要求4所述的基于无线传输的混合现实方法，其特征在于，所述传感器单元收集的数据包括可见光图像数据、深度图像数据、姿态数据、加速度数据或者方向数据。

6.根据权利要求4所述的基于无线传输的混合现实方法，其特征在于，所述运算处理单元包括SLAM模块、REALTIME_3D模块以及可见光图像处理模块，其中：

SLAM模块输出远端模块的位置和方向数据；

7.根据权利要求4所述的基于无线传输的混合现实方法，其特征在于，所述数据再加工显示步骤包括对比融合步骤：所述加工后的数据与已有的数据进行对比和融合，获得融合后的加工数据。

8.根据权利要求7所述的基于无线传输的混合现实方法，其特征在于，所述已有的数据包括SLAM数据和REALTIME_3D数据。

9.根据权利要求4所述的基于无线传输的混合现实方法，其特征在于，数据采集步骤还包括标定步骤：传感器单元采集的可见光图像数据和其余传感器单元进行空间关系标定。

10.根据权利要求6所述的基于无线传输的混合现实方法，其特征在于，SLAM模块、REALTIME_3D模块以及可见光图像处理模块均按照设定的帧率输出数据，SLAM数据、REALTIME_3D数据、可见光图像数据的帧率相同或者不同。