CN103810353A

CN103810353A - 一种虚拟现实中的现实场景映射系统和方法

Info

Publication number: CN103810353A
Application number: CN201410084341.1A
Authority: CN
Inventors: 不公告发明人
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-03-09
Filing date: 2014-03-09
Publication date: 2014-05-21

Abstract

本发明实施方式公开了一种虚拟现实中的现实场景映射系统和方法。包括：现实场景传感模块，用于捕获用户周边环境的现实场景信息；计算处理模块，用于从所述用户的现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将所述现实场景特征映射为用于构建虚拟场景的特征，并基于所述用于构建虚拟场景的特征构建虚拟现实场景信息；头戴式显示模块，用于呈现所述虚拟现实场景信息。本发明实施方式揭露了一种可以应用于虚拟现实系统中的现实场景映射技术，将现实环境中的一些特征映射到展现给用户的虚拟场景，从而提高了用户体验。

Description

一种虚拟现实中的现实场景映射系统和方法

技术领域

本发明涉及虚拟现实（Virtual Reality）技术领域，特别地，涉及一种虚拟现实中的现实场景映射系统和方法。

背景技术

虚拟现实是利用电脑模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角（宽视野）立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。

在虚拟现实技术中，当使用者进行位置移动时，电脑可以立即进行复杂的运算，将精确的3D世界影像传回产生临场感。该技术集成了计算机图形（CG）技术、计算机仿真技术、人工智能、传感技术、显示技术、网络并行处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术模拟系统。

现在的大部分虚拟现实技术都是视觉体验，一般是通过电脑屏幕、特殊显示设备或立体显示设备获得的，不过一些仿真中还包含了其他的感觉处理，比如从音响和耳机中获得声音效果。在一些高级的触觉系统中还包含了触觉信息，也叫作力反馈，在医学和游戏领域有这样的应用。人们与虚拟环境相互要么通过使用标准装置例如一套键盘与鼠标，要么通过仿真装置例如一只有线手套，要么通过情景手臂和/或全方位踏车。虚拟环境是可以是和现实世界类似的，例如，飞行仿真和作战训练，也可以和现实世界有明显差异，如虚拟现实游戏等。就目前的实际情况来说，还很难形成一个高逼真的虚拟现实环境，这主要是技术上的限制造成的，这些限制来自计算机处理能力，图像分辨率和通信带宽。然而，随着时间的推移，处理器、图象和数据通讯技术变得更加强大，并具有成本效益，这些限制将最终被克服。

发明内容

有鉴于此，本发明实施方式提出一种虚拟现实中的现实场景映射系统，以将现实场景映射到虚拟场景中。

本发明实施方式还提出一种虚拟现实中的现实场景映射方法，以将现实场景映射到虚拟场景中。

本发明技术方案如下：

一种虚拟现实中的现实场景映射系统，该系统包括：

现实场景传感模块，用于捕获用户周边环境的现实场景信息；

计算处理模块，用于从所述用户的现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将所述现实场景特征映射为用于构建虚拟场景的特征，并基于所述用于构建虚拟场景的特征构建虚拟现实场景信息；

头戴式显示模块，用于呈现所述虚拟现实场景信息。

现实场景传感模块，用于捕获用户周边环境图像的时序列帧数据；

计算处理模块，用于对所述时序列帧数据进行模式识别分析，以提取出现实场景特征。

所述计算处理模块为移动终端、笔记本电脑、智能电视、计算机或基于云计算的信息服务平台。

所述现实场景传感模块包括：深度摄像传感器、深度摄像传感器与RGB摄像传感器的结合实体、超声波定位传感模块、热成像定位传感模块或电磁定位传感模块。

所述现实场景传感模块、计算处理模块和头戴式显示模块集成到一起。

一种虚拟现实中的现实场景映射方法，包括：

现实场景传感模块捕获用户周边环境的现实场景信息；

计算处理模块从所述用户的现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将所述现实场景特征映射为用于构建虚拟场景的特征，并基于所述用于构建虚拟场景的特征构建虚拟现实场景信息；

头戴式显示模块呈现所述虚拟现实场景信息。

现实场景传感模块捕获用户周边环境图像的时序列帧数据；

计算处理模块对所述时序列帧数据进行模式识别分析，以提取现实场景特征。

所述计算处理模块为移动终端、智能电视、计算机或基于云计算的信息服务平台。

从上述技术方案中可以看出，在本发明实施方式中，虚拟现实中的现实场景映射系统，包括：现实场景传感模块，用于捕获用户周边环境的现实场景信息；计算处理模块，用于从所述用户的现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将所述现实场景特征映射为用于构建虚拟场景的特征，并基于所述用于构建虚拟场景的特征构建虚拟现实场景信息；头戴式显示模块，用于呈现所述虚拟现实场景信息。由此可见，本发明实施方式揭露了一种可以应用于虚拟现实系统中的现实场景映射技术。应用现实场景传感技术以及相应的运算处理技术理解分析现实环境，将现实环境中的一些特征映射到展现给用户的虚拟场景中，从而提高了用户体验。

而且，基于本发明实施方式，用户可以基于现实场景的一些特征构建虚拟场景，例如在虚拟场景中构建现实场景中房间的墙壁，障碍物，特定的物体等等。这样，用户在佩戴虚拟现实系统沉浸在虚拟环境中行走时，可以通过这种现实场景的映射技术构建特定的虚拟环境，自然地引导用户避开现实中的障碍物。

不仅于此，本发明实施方式可以应用与任何人机交互信息设备，其通用性将给人们带来极大便利。

附图说明

图1为根据本发明实施方式的虚拟现实中的现实场景映射系统的结构示意图；

图2为根据本发明实施方式的虚拟现实中的现实场景映射流程示意图；

图3为根据本发明实施方式的虚拟现实中的现实场景映射示意图；

图4为根据本发明另一实施方式的虚拟现实中的现实场景映射示意图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明实施方式再作进一步详细的说明。

为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。

在本发明实施方式中，揭露了一种可以应用于虚拟现实系统中的现实场景映射技术。具体来讲，就是应用现实场景传感技术以及相应的运算处理技术理解分析现实环境，将现实环境中的一些特征映射到展现给用户的虚拟场景中的技术实施方案。

基于本发明实施方式，用户通过虚拟现实系统所看到的虚拟场景的构建过程将基于现实场景的一些特征，例如现实场景中房间的墙壁，障碍物，特定的物体等等。这样，用户在佩戴虚拟现实系统沉浸在虚拟环境中行走时，可以通过这种现实场景的映射技术构建特定的虚拟环境，自然地引导用户避开现实中的障碍物（例如避免撞墙）。

此外，应用本发明实施方式还可以在现实场景的基础上构建全新的增强现实场景的虚拟场景显示给用户，让用户感觉进入了一个完全不同的虚拟现实世界。

图1为根据本发明实施方式的虚拟现实中的现实场景映射系统的结构示意图。

如图1所示，该系统包括：

计算处理模块，用于从所述用户的现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将所述现实场景特征映射为用于构建虚拟场景的特征（可以称为虚拟场景特征），并基于所述用于构建虚拟场景的特征构建虚拟现实场景信息；

头戴式显示模块，用于呈现所述虚拟现实场景信息。

头戴式显示模块用于接收来自计算处理模块的显示信号，并向用户实时显示计算处理模块生成的虚拟现实环境信息。

优选的，头戴式显示模块是一种3D头戴式显示器，这种显示器可以分别给用户的左右眼显示相应的图像信息，使用户看到计算机生成的3D虚拟环境（或交互界面）。

头戴式显示模块可以通过多种方式呈现三维形式的虚拟现实环境信息。比如，头戴式显示模块具体可以是用户头戴式眼镜式显示器。该用户头戴式眼镜式显示器有两个超微显示屏对应于人的左右眼，通过精密光学透镜放大超微显示屏上的图像，进而呈现于观看者眼中虚拟增广的屏幕图像。

此外，头戴式显示模块还可以通过视网膜直接投影的方式呈现三维形式的虚拟现实环境信息。比如，头戴式显示模块具体可以为直接视网膜投影装置。在这种方式中，利用人的视觉暂留原理，头戴式显示模块（即直接视网膜投影装置）中的显示芯片接收虚拟现实场景信息，进而对头戴式显示模块中的微型激光发生器产生的红绿蓝激光进行调制，让低功率激光快速地按指定顺序在水平和垂直两个方向上循环扫描，撞击视网膜的一小块区域使其产生光感，使人们感觉到三维图像的存在，此种显示方式可以不影响背景视场，三维虚拟屏幕可以叠加在真实视场上，进而可以提供增强现实的感官体验。

现实场景传感模块用于获取用户视野范围内的现实场景信息的相关数据，并将数据通过有线或无线的方式传输给计算处理模块。

优选的，现实场景传感模块可以是一种深度图像传感器。深度图像传感器可以获得包含传感器视场中环境相对传感器的三维位置信息的图像帧数据，通过对这些数据进行分析计算，可以模拟出传感器视场中环境的三维空间特征。

可选地，现实场景传感模块还可以是其他形式的三维空间定位传感装置。例如：利用超声波技术的定位传感模块，热成像技术定位传感模块，电磁场技术定位传感模块等等。

计算处理模块用于接收来自现实场景传感模块的数据。通过一些软件算法对接收到的现实场景相关数据进行分析可以得到用户周围的现实场景特征。

以现实场景传感模块实施为深度图像传感模块为例进行说明。深度图像传感模块可以实时获得多帧携带有深度距离信息的图像数据，由此计算处理模块经过计算可以得到图像数据的每个像素点处的现实场景中物体的三维空间位置坐标。基于每一帧携带深度距离信息的图像，计算处理模块便可以对应地构建出对应现实场景的数字三维空间。计算处理模块通过模式识别等软件算法对构建出的数字三维空间特征进行分析识别，可以得到现实场景中物体的大小、形状、移动速度、移动方向、位置等物理参数信息，这些物理参数信息即是现实场景特征。而且，利用这些现实场景特征，可以进一步生成一个虚拟的增强现实的环境。

计算处理模块可以通过一些预设的规则将现实场景特征映射为用户所看到的虚拟场景特征。这种映射关系并不固定，可以根据具体情况具体调整映射关系。

比如，这种映射关系是一种简单对应关系。举例，可以将现实环境中的方盒子映射为虚拟场景中的沙发、椅子，等等，本发明实施方式对此并无限定。优选可以设置虚拟场景中的沙发、椅子的颜色与现实场景中的方盒子的颜色保持一致。

再比如，这种映射关系还可以是一种复杂对应关系。比如，在基于简单对应关系将现实环境中物体映射为虚拟场景中的虚拟物体之后，还可以在该虚拟物体的周边衍生出其他的虚拟物体，比如用于提醒用户的虚拟环境元素。

比如，可以将现实环境中的方盒子映射为沙发，而且在沙发上衍生出茶几。还可以将现实环境中的墙壁映射为虚拟墙壁，而且在墙壁上衍生出画，从而可以更好提醒用户存在有墙壁，并由此防止碰撞。

再比如，在基于简单对应关系将现实环境中物体映射为虚拟场景中的虚拟物体之后，还可以在该虚拟物体的周边剔除出预定虚拟元素。比如，可以将现实环境中的方盒子映射为沙发，而且在沙发上剔除坐垫。

计算处理模块基于虚拟场景特征，计算得到用户应该看到的虚拟环境场景的显示信号，并将该显示信号通过有线或无线的方式传输给头戴式显示模块。

实际上，虚拟场景特征是由现实场景的特征基于某种映射关系映射过来的。例如现实场景中在用户前方x米的位置有一面墙，在一种完全等价的映射关系下，构建虚拟场景的特征也就包括在用户前方x米的位置有一面墙等信息，计算处理模块根据这个构建虚拟场景的特征生成相应的虚拟场景信息；在另一种映射关系下，构建虚拟场景的特征基于上述信息映射为在用户2x米的位置有一个攀岩岩壁，计算处理模块可以根据这个构建虚拟场景的特征生成相应的虚拟场景信息。

计算处理模块具体可以实施为：移动终端、笔记本电脑、智能电视、计算机或基于云计算的信息服务平台，等等。

现实场景传感模块具体可以实施为：深度摄像传感器、深度摄像传感器与RGB摄像传感器的结合实体、超声波定位传感模块、热成像定位传感模块或电磁定位传感模块，等等。

优选地，现实场景传感模块与计算处理模块之间的通信方式可以有多种具体实施形式，包括但是不局限于：无线宽带传输、蓝牙传输、红外传输、移动通信传输或者有线传输等等。

优选地，计算处理模块与头戴式显示模块之间的通信方式可以有多种具体实施形式，包括但是不局限于：无线宽带传输、蓝牙传输、红外传输、移动通信传输或者有线传输等等。

更优选地，现实场景传感模块、计算处理模块和头戴式显示模块集成到一起，即在头戴式显示模块中集成这三个模块。

基于上述详细分析，本发明实施方式还提出一种虚拟现实中的现实场景映射方法。

图2为根据本发明实施方式虚拟现实中的现实场景映射方法流程图。

如图2所示，包括：

步骤201：现实场景传感模块捕获用户周边环境的现实场景信息；

步骤202：计算处理模块从所述用户的现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将所述现实场景特征映射为用于虚拟场景的特征，并基于所述用于构建虚拟场景的特征构建虚拟现实场景信息；

步骤203：头戴式显示模块呈现所述虚拟现实场景信息。

在一个实施方式中：

现实场景传感模块捕获用户图像的时序列帧数据；计算处理模块对所述时序列帧数据进行模式识别分析，以提取现实场景特征。

在一个实施方式中：

下面举两个具体的例子来说明本发明的实施方式。

图3为根据本发明实施方式的虚拟现实中的现实场景映射示意图。

如图3，用户带着一个头戴式显示设备在一个房间里，面向一个有两个长方体盒子状的物体的角落。

头戴式显示设备上集成了计算处理模块，头戴式显示模块以及现实场景传感模块。

现实场景传感模块可以是一种深度图像传感器，能够获取深度图像传感器视场角范围内环境场景的深度图像数据。现实场景传感模块获取这些深度图像数据之后，计算处理模块对这些数据进行分析处理，得到用户前方环境场景的现实场景特征。这些现实场景特征具体包括：用户与面对的角落的距离，以及盒子状的障碍物的位置、形状、距离等等信息。

计算处理模块分析现实场景特征，以作为生成虚拟场景时的映射参考信息。如图1中所示，用户通过头戴式显示设备看到的虚拟环境画面（虚线框中所示）中也包含了一个角落和两个盒子状的物体，并且在盒子状物体上面还生成了两个现实场景中没有的两个小盒子物体。当用户走近角落时，计算处理模块可以根据实时得到的更新的环境场景信息数据分析新的用户前方环境场景的特征，进而计算出新的虚拟场景画面，并通过头戴式显示模块显示给用户。这样，用户所看到的虚拟场景就会根据用户所处的现实场景的变化而对应的变化，实现了将现实场景中的信息映射进入虚拟场景。

更进一步，计算处理模块在构建虚拟场景时可以基于现实场景的关键特征（如特定物体的形状及三维空间位置等信息）进行构建。

如图4所示，现实场景传感模块传感得到用户周围的现实场景信息数据，例如带深度信息的图像数据，计算处理模块分析接收到的现实场景信息数据，根据这些现实场景信息数据实时映射构建虚拟场景。

在图4中，在用户通过头戴式显示模块看到的由计算处理模块生成的虚拟场景中，对应现实场景中两个长方形盒子位置处映射为一个上面放置花瓶和杯子的茶几和一个沙发；虚拟场景中的墙角左面的墙壁上还挂有一副画。这样，用户感受到进入一个与现实环境相关联的一个虚拟场景中，虚拟场景可以对现实环境在视觉表现上进行增强。

需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。

各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件（如专用处理器，如FPGA或ASIC）用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路（如包括通用处理器或其它可编程处理器）用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路（如由软件进行配置）来实现硬件模块，可以根据成本和时间上的考虑来决定。

本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本文所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施方式中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机（或CPU或MPU）读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。

用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

综上所述，在本发明实施方式中，虚拟现实中的现实场景映射系统，包括：现实场景传感模块，用于捕获用户周边环境的现实场景信息；计算处理模块，用于从所述用户的现实场景信息中提取出现实场景特征，基于预先设定的映射关系，将所述现实场景特征映射为虚拟场景特征，并基于所述虚拟场景特征构建虚拟现实场景信息；头戴式显示模块，用于呈现所述虚拟现实场景信息。由此可见，本发明实施方式揭露了一种可以应用于虚拟现实系统中的现实场景映射技术。应用现实场景传感技术以及相应的运算处理技术理解分析现实环境，将现实环境中的一些特征映射到展现给用户的虚拟场景中，从而提高了用户体验。

而且，基于本发明实施方式，用户可以基于现实场景的一些特征构建虚拟场景，例如在虚拟场景中构建现实场景中房间的墙壁，障碍物，特定的物体等等。这样，用户在佩戴虚拟现实系统沉浸在虚拟环境中行走时，可以通过这种现实场景的映射技术构建特定的虚拟环境，自然地引导用户避开障碍物。

以上所述，仅为本发明实施方式的较佳实施例而已，并非用于限定本发明实施方式的保护范围。凡在本发明实施方式的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明实施方式的保护范围之内。

Claims

1.一种虚拟现实中的现实场景映射系统，其特征在于，该系统包括：

头戴式显示模块，用于呈现所述虚拟现实场景信息。

2.根据权利要求1所述的虚拟现实中的现实场景映射系统，其特征在于，

3.根据权利要求1所述的虚拟现实中的现实场景映射系统，其特征在于，所述计算处理模块为移动终端、笔记本电脑、智能电视、计算机或基于云计算的信息服务平台。

4.根据权利要求1所述的虚拟现实中的现实场景映射系统，其特征在于，所述现实场景传感模块包括：深度摄像传感器、深度摄像传感器与RGB摄像传感器的结合实体、超声波定位传感模块、热成像定位传感模块或电磁定位传感模块。

5.根据权利要求1所述的虚拟现实中的现实场景映射系统，其特征在于，所述现实场景传感模块、计算处理模块和头戴式显示模块集成到一起。

6.一种虚拟现实中的现实场景映射方法，其特征在于，包括：

现实场景传感模块捕获用户周边环境的现实场景信息；

头戴式显示模块呈现所述虚拟现实场景信息。

7.根据权利要求6所述的虚拟现实中的现实场景映射方法，其特征在于，

现实场景传感模块捕获用户周边环境图像的时序列帧数据；

8.根据权利要求6所述的虚拟现实中的现实场景映射方法，其特征在于，所述计算处理模块为移动终端、智能电视、计算机或基于云计算的信息服务平台。

9.根据权利要求6所述的虚拟现实中的现实场景映射方法，其特征在于，所述现实场景传感模块包括：深度摄像传感器、深度摄像传感器与RGB摄像传感器的结合实体、超声波定位传感模块、热成像定位传感模块或电磁定位传感模块。

10.根据权利要求6所述的虚拟现实中的现实场景映射方法，其特征在于，所述现实场景传感模块、计算处理模块和头戴式显示模块集成到一起。