CN106157359B - 一种虚拟场景体验系统的设计方法 - Google Patents

Abstract

本发明提供一种虚拟场景体验系统的设计方法，其包括如下步骤：a通过全景摄像机采集全景影像；b通过计算机图形学以及三维建模方法建立三维虚拟模型；c将所述全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合而得到虚拟融合场景；d建立用户与所述虚拟融合场景之间的交互方式，搭建虚拟场景体验界面；以及e通过一沉浸式显示装置对所述虚拟场景体验界面进行体验。

Description

一种虚拟场景体验系统的设计方法

技术领域

本发明涉及计算机图形技术和虚拟现实技术，特别涉及一种虚拟场景体验系统的设计方法。

背景技术

虚拟现实(Virtual Reality，简称VR)技术由计算机图形学、计算机仿真技术、人机交互技术、传感技术、人工智能、多媒体技术等学科综合而成，可生成视觉、听觉、触觉一体化的特定范围的三维虚拟环境，使参与者获得感知行为上的逼真体验。

目前，互联网上的视频网站以播放普通视频为主，无法360度全方位的展示场景信息，这样的2D视频相对死板，难以给观看者带来丰富的视觉体验。

全景视频(也称全景影像)是指通过全景摄像机拍摄的全景视频。该摄像机拍摄范围覆盖水平360度的区域，可以提供丰富的场景信息。全景视频可使观看者处于接近于真实的环境之中，获得全新的感受。

发明内容

针对上述问题，本发明的目的在于提供一种虚拟场景体验系统的设计方法，该虚拟场景体验系统可给参与者带来逼真的视觉体验。

本发明提供一种虚拟场景体验系统的设计方法，其包括如下步骤：

a通过全景摄像机采集全景影像；

b通过计算机图形学以及三维建模方法建立三维虚拟模型；

c将所述全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合而得到虚拟融合场景；

d建立用户与所述虚拟融合场景之间的交互方式，搭建虚拟场景体验界面；以及

e通过一沉浸式显示装置对所述虚拟场景体验界面进行体验。

其中，步骤a具体为通过多点分布的固定式全景摄像机拍摄获取固定式的全景影像，或者通过车载或/和装于航空器的全景摄像机拍摄获取移动式的全景影像。

其中，步骤b中所述三维建模方法为基于图形渲染和图像的混合建模技术，具体为：根据不同图像之间共享的图像内容来实现立体匹配从而获得具有深度信息的环境图像来作为输入，并通过图像处理技术对该图像进行反投影和插值运算来绘制虚拟环境场景，以及利用计算机图形学和图像渲染技术对虚拟环境场景进行建模和渲染。

其中，步骤b中所述三维虚拟模型为三维建筑模型、三维地图模型和三维路线模型中的至少一种。

其中，步骤c中所述融入方法为首先通过全景影像注册技术在底层提取全景图像与三维模型之间的映射关系，然后在三维模型和全景图像之间建立多分辨率、多映射方式的融合过程，最后根据用户的交互和观测视点选择融合方式。

其中，步骤c具体为当所述三维虚拟模型为三维建筑模型和/或三维地图模型时，在三维虚拟模型中特定位置插入所述全景影像中的物理影像信息得到虚拟融合场景。

其中，步骤d建立用户与所述虚拟融合场景之间的交互方式具体为通过语音识别和/或手势识别实现互动。

其中，步骤c具体为当所述三维虚拟模型为三维路线模型时，对所述三维路线模型进行精确定位，在当前场景视点移动的同时融入移动式的全景影像得到虚拟融合场景。

其中，步骤d建立用户与所述虚拟融合场景之间的交互方式具体为通过语音识别、手势识别、鼠标和键盘中的至少一种方式实现互动。

其中，在步骤c之后步骤d之前还包括一在所述虚拟融合场景中增加定位信息、场景介绍、语音提示、可供用户操控的场景切换列表及移动路线图的步骤。

相较于现有技术，本设计方法具有以下优点：第一，由于将全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合，因而得到的虚拟场景体验界面具有高度的仿真性和逼真感，有效的实现了视频从2D到3D的转变，为消费者提供了更加真实的视觉体验；第二，相比较于传统的3D影视技术，本方法不再是单一的对有限视场角的影像进行立体化，用户可通过沉浸式显示装置对所述虚拟场景体验界面进行体验，使真实的全景影像中的物理场景信息在虚拟的三维世界中得以呈现，还通过相应的人机交互获得逼真性强的影像体验效果；第三，该方法可结合互联网，将不同现实环境的全景影像通过网络连接起来，并叠加到三维虚拟模型中，达到穿越式的影像体验效果。

附图说明

图1是本发明所述虚拟场景体验系统的设计方法的流程图。

图2为本发明第一实施例所述虚拟场景体验界面的示意图。

图3为本发明第二实施例所述虚拟场景体验界面的示意图。

具体实施方式

下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

请参阅图1，本发明提供了一种虚拟场景体验系统的设计方法，其包括如下步骤：

a通过全景摄像机采集全景影像；

b通过计算机图形学以及三维建模方法建立三维虚拟模型；

c将所述全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合而得到虚拟融合场景；

d建立用户与所述虚拟融合场景之间的交互方式，搭建虚拟场景体验界面；以及

e通过一沉浸式显示装置对所述虚拟场景体验界面进行体验。

在步骤a中，可通过多点分布的固定式全景摄像机拍摄获取固定式的全景影像，或者通过车载或/和装于航空器的全景摄像机拍摄获取移动式的全景影像。具体的，

固定式全景影像：通过多点分布的固定式全景摄像机拍摄，以覆盖一定的区域面积，从而利用视频平滑过渡技术来获取具有场景切换效果的全景影像。

移动式全景影像：通过车载全景和航空全景来记录复杂或特殊路线的全景影像信息，并且通过稳像技术来获取移动式的全景影像。

所述全景摄像机可为鱼眼全景摄像机或多镜头拼接全景摄像机，优选为多镜头拼接全景摄像机。该多镜头拼接全景摄像机是指将多路低像素的传感器，以视场角为45度～60度的独立短焦镜头封装在统一的外壳中，将多路画面按用户需求拼接集成为360度高清全景画面的摄像机。多镜头拼接全景摄像机的优势为在一定程度上摆脱了焦距的限制，在相同的条件下可看清楚更远的距离。

在步骤b中，通过计算机图形学以及三维建模方法建立三维虚拟模型，来对真实的物理环境进行精确建模，为后续的虚实融合做精确的定位支持。所述三维建模方法为主要基于图形渲染和图像的混合建模技术。该三维建模方法既有图形渲染建模的交互型好、模型来源范围广的优点，又有图像建模的绘制速度快，逼真度高的优点。具体为：

实物虚化：运用基于图像的建模技术将现实世界的真实三维环境(现实物体对象的集合)转变为计算机中的虚拟世界的三维环境的过程。图像以其较高的分辨率和丰富的颜色和纹理细节成为三维虚拟建模中重要的数据来源。所述图像的来源主要有两类：一类是通过车载和机载等全景采集设备获取具有较丰富的细节和纹理的周边环境影像数据；另一类是通过Kinect等深度传感器获得周边环境的深度数据。根据不同图像之间共享的图像内容来实现立体匹配从而获得具有深度信息的环境图像来作为输入，并通过图像处理技术对该图像进行反投影、插值等运算来绘制虚拟环境场景。

虚物实化：运用基于图形渲染的建模技术把人头脑中的主观意义的概念对象转变为计算机虚拟世界中可感知和可操作的对象的过程。利用计算机图形学、图像渲染技术对虚拟环境场景进行建模和渲染，渲染后的虚拟环境更加逼近自然状态下的景物，在视觉上看上去更加自然。在这一方法中，首先要利用三角形或其他多边形分解整个虚拟环境中的景物，然后在特定的视角下，由计算机处理这些细化的多边形，最后通过着色、消隐、光照以及投影等一系列绘制过程，产生虚拟场景。虚拟环境中，三维物体一般由多边形造型来表现，在处理上采用多边形顶点的信息进行描述和存储。通过几何建模技术可对虚拟环境中的建筑进行立体化建模，同时增加虚拟环境中的景物信息，而产生更加逼真的效果。另外，还需要添加照明信息，常用的照明模型为Phong模型。

所述三维虚拟模型为三维建筑模型、三维地图模型和三维路线模型中的至少一种。具体的，

三维建筑模型：对三维的物理建筑(如：社区、公司、医院等)进行精确建模，方便室内录制的固定式全景影像插入。

三维地图模型：对特定面积区域的地形(如：旅游风景区、热带森林、游乐场等)实景区域进行精确建模，方便室外录制的固定式全景影像插入。

三维路线模型：对行车或飞机路线进行精确建模，方便移动式全景影像融入。

在步骤c中，将真实世界中的物理影像信息叠加到三维虚拟模型中。根据所述全景视频以及三维虚拟模型的不同具体如下：

在三维建筑模型和三维地图模型中的特定位置插入固定式全景影像中的物理影像信息，以便在三维虚拟模型演示的同时，在特殊位置切入对应实际位置的全景影像中的物理影像信息，增强三维模型的真实感和表达能力。

对三维路线模型进行精确定位，在当前场景视点移动的同时融入移动式全景影像中的物理影像信息，实现虚实一体化表达。

具体融入方法如下：

首先通过全景影像注册技术在底层提取全景图像与三维模型之间的映射关系，使得全景图像能够完美融合到三维模型中，并为随后的融合表达模型提供重要的基础。图形和图像简单融合表达模型对整个系统的渲染效率和可视化效果起着决定性作用。然后在全景影像注册、匹配的基础上，表达模型会在三维模型和全景图像之间建立多分辨率、多映射方式的融合过程，最后根据用户的交互和观测视点合理选择最佳的融合方式，使得虚拟融合场景的建立、渲染更加高效。

具体融入步骤如下：

⑴全景影像在三维场景中的位置匹配：通过360度全景影像获得相对丰富的空间信息，提供足够多的特征匹配点，易于全景影像与三维空间模型之间建立更多的特征匹配点。利用全景影像提供的丰富的空间场景细节信息，能够实现全景影像与三维虚拟空间场景的准确投影。此外，通过提取全景影像中的特征信息，与三维虚拟模型进行匹配可获得全景影像在三维虚拟场景中的位置点。

⑵基于图形图像融合的虚拟融合场景：为快速渲染对象，并使显示效果符合人类的视觉特性，采用视点与物体的距离做参考标准，当距离较近时，对景物划分更多更细的三角形，描绘丰富的细节；当距离较远时，选择较粗略的模型。同时在不同视角下，自动选择合适视点信息并自适应调节景物细化模型。虚拟场景中的全景影像应随着视角的变化而显示其对应角度下的图像，避免由于几何位置关系的图像切换的错位感，还根据用户视角的变化，通过图像配准技术自动显示该视角下的全景影像，并且能够根据用户视角变换自动切换，自适应满足用户观察视点变化需求。

在步骤c之后步骤d之前还包括一在所述虚拟融合场景中增加增添额外的数据信息的步骤，以实现增强现实感的效果。该额外的数据信息可包括定位信息、场景介绍、语音提示、可供用户操控的场景切换列表及移动路线图等。

在步骤d中，对虚拟融合场景添加多通道交互技术，并在虚拟现实头盔中进行场景绘制，带给用户沉浸式的体验。多通道交互(Multi-Modal Interaction，MMI)是一种使用多种通道与计算机通信的人机交互方式。它既适应了“以人为中心”的自然交互准则，也推动了互联网时代信息产业快速发展。通道涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。所述虚拟场景体验界面具有的人工交互手段主要有：

⑴手势交互：利用具有统一操作规范和标准的手势规则，通过使用不同数目的手指对其进行敲击或者滑动等手段来实现虚拟场景中设计的不同功能。通过上述不同的触摸方式，不仅可实现平台的基本操作，而且还能够与全景影像信息进行多种形式的互动，实现场景视角切换，场景切换等功能。

⑵语音交互：通过加入类似于SIRI的语音助理系统，利用该语音助理系统中的自然语言处理技术，可与虚拟空间进行直接语言交流来进一步强化用户体验感，降低操作难度，使得用户与虚拟场景之间的交流更为便捷。还可利用最新的中文/英文语音识别技术来对用户的语言表达进行理解并完成系统中的诸如与虚拟语音助手之间的问答环节。

可以理解，还可依靠键盘、鼠标及其他的交互方式来实现用户和虚拟融合场景中全景影像的互动。具体的，对由固定式的全景影像建立的静态虚拟融合场景，可通过语音识别和/或手势识别实现场景互动。对由移动式的全景影像建立的动态虚拟融合场景，除了运用语音识别和/或手势识别交互方式外，还可通过鼠标和/或键盘实现场景互动。

在步骤e中，所述沉浸式显示装置可为可穿戴式虚拟头盔。该可穿戴式虚拟头盔可通过计算机软件以及数据交互、云端交互来实现虚拟现实功能，如Oculus Rift头戴式显示器。该可穿戴式虚拟头盔可以通过DVI、HDMI、micro USB接口连接电脑或游戏机给用户带来沉浸式体验，其视场角大于普通显示设备，并且可以通过陀螺仪来控制视角，戴上后能带来身临其境的三维场景体验。

相较于现有技术，本设计方法具有以下优点：第一，由于将全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合，因而得到的虚拟场景体验界面具有高度的仿真性和逼真感，有效的实现了视频从2D到3D的转变，为消费者提供了更加真实的视觉体验；第二，相比较于传统的3D影视技术，本方法不再是单一的对有限视场角的影像进行立体化，用户可通过沉浸式显示装置对所述虚拟场景体验界面进行体验，使真实的全景影像中的物理场景信息在虚拟的三维世界中得以呈现，还通过相应的人机交互获得逼真性强的影像体验效果；第三，该方法可结合互联网，将不同现实环境的全景影像通过网络连接起来，并叠加到三维虚拟模型中，达到穿越式的影像体验效果。

下面结合具体实施例对本发明的虚拟场景体验系统的设计方法进行说明：

第一实施例

所述虚拟场景体验系统的设计方法为获得静态虚拟场景体验界面体验而设计，具体以旅游景点为例。该方法包括如下步骤：

a通过多点分布的固定式全景摄像机采集全景影像；

b通过计算机图形学以及三维建模方法建立三维虚拟模型；

c将所述全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合而得到静态虚拟融合场景；

d建立用户与所述静态虚拟融合场景之间的交互方式，搭建静态虚拟场景体验界面；以及

e通过一沉浸式显示装置对所述静态虚拟场景体验界面进行体验。

在步骤a中，在旅游景区的热门景点处，成立全景摄像机的录制点，安装所述全景摄像机来拍摄360度全景视频，提供多点固定式的全景影像信息来源。

步骤c具体为：

对实际的旅游景区进行精确建模，并对热门景点处进行位置标注，标注处嵌入实际拍摄点的全景影像的信息；以及

对嵌入三维虚拟模型中的影像信息进行进一步的编辑，增添其他丰富的数据信息(如：语音解说，字幕介绍等)，以实现虚拟导游的作用。

步骤d及e具体为：将搭建的静态虚拟场景体验界面通过虚拟头盔进行沉浸式的场景体验以及人工交互。用户佩戴上虚拟头盔后眼前展现的如图2所示的虚拟场景界面。虚拟头盔上的传感器数据可对当前的三维视频空间进行实时操控，当佩戴者旋转一定角度时，陀螺仪可提供角度数据来调整360度全景影像信息的当前视角。用户可通过语音交互技术来切换当前场景，通过手势识别技术来对当前的全景影像信息进行放大缩小。

第二实施例

所述虚拟场景体验系统的设计方法为获得动态虚拟场景体验界面体验而设计。该方法包括如下步骤：

a通过移动式全景摄像机采集全景影像；

b通过计算机图形学以及三维建模方法建立三维虚拟模型；

c将所述全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合而得到动态虚拟融合场景；

d建立用户与所述动态虚拟融合场景之间的交互方式，搭建动态虚拟场景体验界面；以及

e通过一沉浸式显示装置对所述动态虚拟场景体验界面进行体验。

在步骤a中，通过车载全景和航空全景来记录复杂或特殊路线的全景影像，并且通过稳像技术来获取具有防抖效果的移动式全景画面。

步骤c具体为：

对实际的车载全景拍摄路线或航空全景拍摄路线进行精确建模，并对当前的场景视点进行精确定位，在当前场景视点移动的同时融入移动式影像，实现虚实一体化表达；以及

对嵌入三维虚拟模型中的影像信息进行进一步的编辑，增添其他丰富的数据信息(如：语音解说，字幕提示，区域路线图等)，实现虚拟导航的作用。

步骤d及e具体为：将搭建的动态虚拟场景体验界面通过虚拟头盔进行沉浸式的场景体验以及人工交互。用户佩戴上虚拟头盔后眼前展现的如图3所示的虚拟场景界面。虚拟头盔上的传感器数据可对当前的三维视频空间进行实时操控，当佩戴者旋转一定角度时，陀螺仪可提供角度数据来调整360度全景影像信息的当前视角。同时，用户可通过人工交互技术来对当前三维空间进行信息交换，如：可通过鼠标点击界面上的区域定位图来定位当前的场景视点、可通过键盘上的方向键来控制视点移动方向、同时可通过语音交互技术来选择所需加载的移动路线图。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种虚拟场景体验系统的设计方法，其包括如下步骤：

a通过车载或/和装于航空器的全景摄像机拍摄获取移动式的全景影像；

b通过计算机图形学以及三维建模方法建立三维虚拟模型，其中所述三维建模方法为基于图形渲染和图像的混合建模技术，具体为：根据不同图像之间共享的图像内容来实现立体匹配从而获得具有深度信息的环境图像来作为输入，并通过图像处理技术对该图像进行反投影和插值运算来绘制虚拟环境场景，以及利用计算机图形学和图像渲染技术对虚拟环境场景进行建模和渲染，所述三维虚拟模型为三维建筑模型、三维地图模型和三维路线模型中的至少一种；

c将所述全景影像中的物理影像信息融入到所述三维虚拟模型实现虚实融合而得到虚拟融合场景，其中所述融入方法为首先通过全景影像注册技术在底层提取全景图像与三维虚拟模型之间的映射关系，然后在三维虚拟模型和全景图像之间建立多分辨率、多映射方式的融合过程，最后根据用户的交互和观测视点选择融合方式；

d建立用户与所述虚拟融合场景之间的交互方式，搭建虚拟场景体验界面；以及

e通过一沉浸式显示装置对所述虚拟场景体验界面进行体验。

2.一种如权利要求1所述的虚拟场景体验系统的设计方法，其特征在于，当所述三维虚拟模型为三维建筑模型和/或三维地图模型时，在三维虚拟模型中特定位置插入所述全景影像中的物理影像信息得到虚拟融合场景。

3.一种如权利要求2所述的虚拟场景体验系统的设计方法，其特征在于，步骤d建立用户与所述虚拟融合场景之间的交互方式具体为通过语音识别和/或手势识别实现互动。

4.一种如权利要求1所述的虚拟场景体验系统的设计方法，其特征在于，当所述三维虚拟模型为三维路线模型时，对所述三维路线模型进行精确定位，在当前场景视点移动的同时融入移动式的全景影像得到虚拟融合场景。

5.一种如权利要求4所述的虚拟场景体验系统的设计方法，其特征在于，步骤d建立用户与所述虚拟融合场景之间的交互方式具体为通过语音识别、手势识别、鼠标和键盘中的至少一种方式实现互动。

6.一种如权利要求1所述的虚拟场景体验系统的设计方法，其特征在于，在步骤c之后步骤d之前还包括一在所述虚拟融合场景中增加定位信息、场景介绍、语音提示、可供用户操控的场景切换列表及移动路线图的步骤。

Images