CN110415354A - 基于空间位置的三维沉浸式体验系统及方法 - Google Patents

Abstract

本发明公开了一种基于空间位置的三维沉浸式体验系统及方法，可实时追踪观众移动位置来投射实时影像，通过三维建模技术观众的位置与沉浸式场景中视角的位置进行联动，使得场景视角会随着观众位置的变化而自动调整，并能够为进入显示空间内的观众营造出一种身临其境的体验，增加观众与观众之间以及观众与场景之间的互动性。

Description

基于空间位置的三维沉浸式体验系统及方法

技术领域

本发明属于位置追踪领域，特别涉及一种基于空间位置的三维沉浸式体验系统及方法。

背景技术

现阶段，开发增加用户与游戏系统之间的交互的游戏成为游戏行业的开发趋势。实现更丰富的交互体验的常规方式为使用无线游戏控制器，无线游戏控制器的移动及手势由游戏系统追踪。手势输入一般而言涉及计算系统、游戏控制面板、智能型家电等电子设备对用户游戏时做出的可由电子设备捕获的动作做出反应。

游戏行业主要分为虚拟现实(Virtual reality，VR)以及扩增实境(AugmentedReality，AR)，其均是沉浸式的体验技术，虚拟现实(Virtual reality，VR)的定义就是模拟高度真实感的空间，利用计算机模拟产生三维(3D)空间的虚拟世界，提供用户关于视觉等感官的仿真，让使用者感觉彷佛身历其境，从而实时、没有限制地观察三维空间内的事物，且当用户进行位置移动时，计算机可进行复杂的运算，将精确的三维世界影像传回产生临场感，虚拟现实(Virtual reality，VR)技术结合了计算机图形、计算机仿真、人工智能、实时运算、感应、显示及网络并列处理等技术的最新发展成果，是一种由计算机技术辅助生成的高技术仿真系统。

扩增实境(Augmented reality，AR)由虚拟现实(Virtual reality，VR)所衍生出来的一种虚拟技术，是将虚拟信息扩增到现实空间中的技术，它所强调的不是要取代现实空间，而是在现实空间中添加一个虚拟对象，根据摄影机或监视装置的位置及角度精算并加上图像分析技术并与计算机程序的结合，当设定好的图片出现在镜头里面，就会出现对应的虚拟对象于现实屏幕上，从而使得屏幕上的虚拟世界能够与现实世界场景进行结合与互动的技术。

一般虚拟现实技术会搭配各种头戴式显示器(Head-mounted display，HMD)，其外型通常是眼罩或头盔的形式，把显示屏贴近用户的眼睛，通过光路调整焦距以在近距离中对眼睛投射画面。头戴式显示器能以比普通显示器小的多的体积产生一个广视角的画面，通常视角都会超过90度，头戴式显示器上常常也安装有陀螺仪和位置跟踪装置，这样虚拟现实软件就可以追踪用户的视角和位置来改变三维场景的视点。

然而，目前已知的虚拟现实(Virtual reality，VR)技术需要搭配头戴式显示器(Head-mounted display，HMD)才能够实现，而扩增实境(Augmented reality，AR)是一种沉浸式的体验技术，利用影像、声音效果结合，为观众营造身临其境感受的一种交互体验。如果使用者使用虚拟现实(Virtual reality，VR)进行体验的话，就无法实时与旁人做面对面的接触，且会使人与人之间感到违和感，同时不利于配戴者与其他人交流，如果以扩增实境(Augmented reality，AR)进行体验的话，则能够顺利地与旁人交流，但沉浸式体验技术缺陷在于难以对观众的行为进行响应，其场景的内容不会随着观众的移动而发生变化，使得观众的认知过程中场景与自身所在的空间依旧是分离的。这种缺陷也使得在沉浸式场景中，观众的活动通常被限制在有限的区域内，无法完美的利用整体空间提升观众的感受。

发明内容

因此针对上述不足之处，提供一种基于空间位置的三维沉浸式体验的系统及方法，通过三维建模技术，将观众的位置与沉浸式场景中视角的位置进行联动，使得场景视角会随着观众位置的变化而自动调整。

本发明第一方面提供一种基于空间位置的三维沉浸式体验的系统，包括显示空间，其特征在于，所述系统包括：

感测模块，所述感测模块感测所述显示空间内的信息并产生至少一个感测数据，并将所述至少一个感测数据传送给所述计算模块；

计算模块，所述计算模块连接感测模块，所述计算模块内预设三维建模数据库，所述三维建模数据库具有多个所述显示空间的三维模型，并根据所述至少一个感测数据，利用所述三维建模数据库计算产生分析数据；

输出模块，所述输出模块连接所述计算模块，接收所述分析数据并输出播放数据；

播放装置，所述播放装置连接所述输出模块，接收所述播放数据，将所述播播放数据转换成投影画面投射至所述显示空间内。

进一步地，所述系统还包括多个传感器，所述传感器设置在所述显示空间内。

进一步地，所述传感器为位移传感器，所述位移传感器通过有线或无线的方式与所述计算模块连接。

进一步地，所述计算模块包含分析模块，所述分析模块接收所述些感测数据并与所述三维建模数据库进行分析后输出至少一个播放数据。

进一步地，所述投影画面的比例与建立所述显示空间的三维模型比为1：1。

本发明第二方面提供一种基于空间位置的三维沉浸式体验方法，其特征在于，包含以下步骤:

传感器感应目标物的位移数据；

感测模块接收传感器的位移数据并传送给计算模块；

所述计算模块根据所述位移数据和预设三维建模数据库进行分析处理后输出播放数据；

输出模块接收所述播放数据，生成播放指令并发送给对应的播放装置；

所述播放装置根据所述播放指令在对应位置投射影像或播放音频。

进一步的，所述传感器感应目标物的位移数据具体为：当目标物进入起始位置时，触发所述感测模块，所述感测模块对所述目标物进行位移感测并形成位移数据。

进一步的，所述计算模块根据所述位移数据和预设三维建模数据库进行分析处理后输出播放数据包括：所述计算模块通过计算分析所述位移数据后自动输出所述播放数据或所述计算模块通过计算分析所述位移数据后手动输出所述播放数据。

进一步地，所述传感器为位移传感器，所述位移传感器包括电感式位移传感器、电容式位移传感器、光电式位移传感器、超声波式位移传感器或霍尔式位移传感器。

进一步地，所述投影画面与所述显示空间尺寸的三维模型比例为1：1。

进一步地，所述播放装置为投影机、触控屏幕、音响设备中的一种或几种。

本发明提供的基于空间位置的三维沉浸式体验的系统及方法将沉浸式体验观众的活动区域、屏幕位置、影像内容进行整体建模，建模完成后，将视点位置设置在观众的初始活动位置，接着再通过三维渲染技术，获取在所述视点下整体场景在各屏幕上的投射内容并显示，当观众移动时，其能够持续捕捉观众位置的移动，并通过三维的建模技术与观众移动的位置进行分析，并计算出观众在三维场景中移动的位置点，并调整视点位置重新进行内容渲染。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于空间位置的三维沉浸式体验系统结构示意图；

图2为本发明基于空间位置的三维沉浸式体验方法流程图。

具体实施方式

本发明是一种基于空间位置的三维沉浸式体验系统及方法，通过三维的建模技术，将观众的位置与沉浸式场景中视角的位置进行联动，使得场景视角会随着观众位置的变化而自动调整，大幅提升观众的感官体验。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，请参阅图1，如图所示，一种基于空间位置的三维沉浸式体验系统，包含显示空间、计算模块、感测模块、输出模块以及至少一个播放装置。

其中所述显示空间内包含计算模块，计算模块内包含三维建模数据库，三维建模数据库包含显示空间的空间大小、多个投影面距离以及多个图片模板等信息。

感测模块（如图1虚框所示）及至少一个传感器设置在显示空间内，感测模块连接计算模块，至少一个传感器感应到观众的位移后，将位移数据传送给感测模块，感测模块将感测数据传送给计算模块。

输出模块连接计算模块，其中计算模块将感测数据与预设三维建模数据库的内容进行分析、处理并输出至少一播放数据，至少一播放数据再经由计算模块传送给输出模块后，输出模块再将至少播放数据处理后形成播放指令，再将至少播放指令发送给对应的播放装置，所述播放装置接收到播放指令后进行图像投影或音频播放。

播放装置为投影机、触控面板或音频设备中的一种或几种，

其中计算模块包含一分析模块，分析模块接收感测数据并与三维建模数据库进行分析后输出至少一个播放数据至所述输出模块，再由所述输出模块将所述至少一个播放数据加工转换成播放指令，将所述播放指令传送给至少一个播放装置进行播放，其中为了更准确地检测所述显示空间的变化，目标物的移动、目标物所发出的声音或目标物所产生的热能均能够由所述传感器感测，从而准确获得其位置信息，且感测模块包含至少一个传感器，传感器分别设置在显示空间内，且至少一个传感器必须对显示空间内的一起始点进行感测，传感器可针对所述些投影面进行侦测，当目标物通过这些投影面时，这些传感器能够实时将感测到的数据回传给计算模块。

其中更值得一提的是，当感测模块设置于所述显示空间内时，会先针对传感器分别感测的方向、空间以及侦测范围内的各种物体的相对距离并回传至计算模块进行计算，所述计算模块计算完成后，传送至所述三维建模数据库内。

此外，三维建模数据库内包含图片模板，图片模板能够与显示空间内的投影面进行一比一比例的投射，使得图片模板的内容能够充满在投影面上。

基于空间位置的三维沉浸式体验的系统中，首先，先启动计算模块，并将三维数据库内的显示空间的空间大小、多个投影面的相对距离以及多个图片模板等信息进行整合并发送到至少一个播放数据至输出模块，输出模块将至少一播放数据转换成至少一个播放装置能够读取的至少一播放数据的格式到至少一播放装置，至少一个播放装置再将接收的至少一个播放数据并将其转换成至少一个投影画面投射至所述显示空间内。

接着一目标物进入显示空间内的起始点后，传感器会感测到目标物的起始点，并将目标物与起始点至少一投影画面的相对距离的位移数据传送至计算模块，计算模块再将位移数据与三维建模数据库进行分析并输出至少一个播放数据至输出模块，输出模块再将至少一个播放数据转换成播放指令传送至对应的播放装置内，播放装置将所述些播放数据转换成至少一投影画面投射至显示空间内。

其中，当目标物可持续在所述显示空间内移动时，传感器将持续追踪目标物，只要目标物进行移动，则会感测目标物移动的位置以及其与投影画面的相对位置，接着再回传到计算模块进行分析，当分析后得到播放数据后，最后由播放装置将其转换成投影画面投射至显示空间内，显示空间内的投影画面会随着目标物的移动而不断改变投影画面，且播放数据包含画面数据以及声音的数据。

接着请继续参阅图2，如图2所示为本发明所述方法的具体实施例，所述方法包含步骤：

步骤s1、传感器感应目标物的位移数据；

步骤s2、感测模块接收传感器的位移数据并传送给计算模块；

步骤s3、所述计算模块根据所述位移数据和预设三维建模数据库进行分析处理后输出播放数据；

步骤s4、输出模块接收所述播放数据，生成播放指令并发送给对应的播放装置；

步骤s5、所述播放装置根据所述播放指令在对应位置投射影像或播放音频。

其中，所述传感器感应目标物的位移数据具体为：当目标物进入起始位置时，触发所述感测模块，所述感测模块对所述目标物进行位移感测并形成位移数据。所述计算模块根据所述位移数据和预设三维建模数据库进行分析处理后输出播放数据包括：所述计算模块通过计算分析所述位移数据后自动输出所述播放数据或所述计算模块通过计算分析所述位移数据后手动输出所述播放数据。所述传感器为位移传感器，所述位移传感器包括电感式位移传感器、电容式位移传感器、光电式位移传感器、超声波式位移传感器或霍尔式位移传感器。所述投影画面与所述显示空间尺寸的三维模型比例为1：1。所述播放装置为投影机、触控屏幕或音响。

启动计算模块，显示空间内以至少一个播放装置将至少一个投影画面投影至显示空间内，其显示空间内具有视点以及感测模块，且感测模块系连接计算模块。

其中感测模块连接多个传感器，传感器持续对起始点以及显示空间内持续进行感测而产生多个位移数据，当显示空间内无任何物体被移动或是有任何物体进入显示空间内，传感器将不会传送位移数据至感测模块，会持续保持当下的初始投影画面。

当一目标物进入起始点时，触发传感器，其中与感测模块连接的至少一个传感器设置在显示空间内，并持续对目标物进行感测。

当目标物进入显示空间内的视点后，显示空间内的传感器将感测到显示空间内有物体在移动或进入显示空间，此时传感器将持续对显示空间进行感测，并追踪目标物的位置和目标物在显示空间内的相对位置关系。

传感器感测到目标物与显示空间内的相对关系后，接着再将至少一个位移数据回传给计算模块，其中至少一个位移的内容包含目标物在所述显示空间内与所述起始点的相对距离以及与传感器与受感测的目标物的相对距离的。

至少一个位移数据则会回传至计算模块内，且计算模块内包含分析模块以及三维建模数据库，分析模块会对至少一个位移数据与三维建模数据库进行分析，针对目标物移动的位置点与三维建模数据库内的多个个显示空间内的数据进行对比、处理，并输出至少一播放数据。

当输出模块接收至少一个播放数据后，会将至少一个播放数据进行分析、处理形成播放指令，输出模块会再将播放指令传送给相对应的播放装置。

最后播放装置分别接收播放指令后，在对应的位置投射影像或播放音频，使显示空间内的投影画面以及播放出来的声音能够配合目标物的动作。

此外，传感器为位移传感器，位移传感器包括电感式位移传感器、电容式位移传感器、光电式位移传感器、超声波式位移传感器或霍尔式位移传感器，这些传感器分布在显示空间内。

本发明基于空间位置的三维沉浸式体验的系统及方法，能够为进入显示空间内的观众营造出一种身历其境的感受，且不需要戴上头戴式显示器即能够产生出与画面比例一比一的感受，且其能够根据目标物的位置进行动态环境中视觉内容的调整，增加体验者与场景的互动性，提升感官体验，体验者更能够在更大的设施空间中自由移动，彼此相互交谈，大幅提升体验质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于空间位置的三维沉浸式体验系统，包括显示空间，其特征在于，所述系统包括：

感测模块，所述感测模块感测所述显示空间内的信息并产生至少一个感测数据，并将所述至少一个感测数据传送给所述计算模块；

计算模块，所述计算模块连接感测模块，所述计算模块内预设三维建模数据库，所述三维建模数据库具有多个所述显示空间的三维模型，并根据所述至少一个感测数据，利用所述三维建模数据库计算产生分析数据；

输出模块，所述输出模块连接所述计算模块，接收所述分析数据并输出播放数据；

播放装置，所述播放装置连接所述输出模块，接收所述播放数据，将所述播播放数据转换成投影画面投射至所述显示空间内。

2.根据权利要求1所述的方法，其特征在于，所述系统还包括多个传感器，所述传感器设置在所述显示空间内。

3.根据权利要求1或2所述的方法，其特征在于，所述传感器为位移传感器，所述位移传感器通过有线或无线的方式与所述计算模块连接。

4.根据权利要求3所述的方法，其特征在于，所述计算模块包含分析模块，所述分析模块接收所述些感测数据并与所述三维建模数据库进行分析后输出至少一个播放数据。

5.根据权利要求4所述的方法，其特征在于，所述投影画面的比例与所述显示空间的三维模型比为1：1。

6.一种基于空间位置的三维沉浸式体验方法，其特征在于，包含以下步骤:

传感器感应目标物的位移数据；

感测模块接收传感器的位移数据并传送给计算模块；

所述计算模块根据所述位移数据和预设三维建模数据库进行分析处理后输出播放数据；

输出模块接收所述播放数据，生成播放指令并发送给对应的播放装置；

所述播放装置根据所述播放指令在对应位置投射影像或播放音频。

7.根据权利要求6所述的方法，其特征在于，所述传感器感应目标物的位移数据具体为：当目标物进入起始位置时，触发所述感测模块，所述感测模块对所述目标物进行位移感测并形成位移数据。

8.根据权利要求6或7所述的方法，其特征在于，所述计算模块根据所述位移数据和预设三维建模数据库进行分析处理后输出播放数据包括：

所述计算模块通过计算分析所述位移数据后自动输出所述播放数据或所述计算模块通过计算分析所述位移数据后手动输出所述播放数据。

9.根据权利要求8所述的方法，其特征在于，所述传感器为位移传感器，所述位移传感器包括电感式位移传感器、电容式位移传感器、光电式位移传感器、超声波式位移传感器或霍尔式位移传感器。

10.根据权利要求9所述的方法，其特征在于，所述投影画面与所述显示空间尺寸的三维模型比例为1：1。

11.根据权利要求10所述的方法，其特征在于，所述播放装置为投影机、触控屏幕或音响。