CN106178551A - 一种基于多通道交互的实时渲染互动影院系统及方法 - Google Patents

Abstract

本发明公开了一种基于多通道交互的实时渲染互动影院系统及方法，包括提供通信和数据传输途径的网络模块，实时获取用以驱动三自由度座椅以及六自由度平台姿态数据的动感平台模块，获取用户肢体动作、并进行数据编码的Kinect动作识别模块，获取用户输入并将其封装的手机交互模块，依据用户输入信息和肢体动作在弧幕上进行反馈的反馈模块，以及利用立体相机并行渲染出角色视点对应的左右眼帧画面，对左右眼帧画面进行拼接融合后交替顺序输出，投影至弧幕上以得到立体画面的弧幕立体渲染模块。本发明交互方式丰富，交互设备代入感强，带给用户更加真实的体验，解决了互动影院交互方式单一的问题。

Description

一种基于多通道交互的实时渲染互动影院系统及方法

技术领域

本发明涉及一种基于多通道交互的实时渲染互动影院系统及方法。

背景技术

随着国内主题公园如雨后春笋般兴起，互动影院也随着不断发展，它将当今国际流行的3D影视技术与多人互动交互式技术相结合，使观影者能够成为电影中的角色，通过相应的交互设备介入到影片的环境与剧情，让观影者身临其境般感受到自己就是电影里的一份子，观影者就是影片里的主角或是其中一员，并持续与影片内容产生交互作用。互动影院满足观众在观看影片的同时，主动参与到影片的剧情中，成为剧情的参与者，而不是单纯的被动接受剧情，增加了观众的参与感和存在感，这是普通的4D影院所不能达到的效果。

目前互动影院仍然以虚拟射击影院为主，其存在缺陷如下：

1)观众通过特制的互动枪进行交互，交互方式单一；

2)互动枪的代入感不强；

3大部分采用平面投影，画面分辨率低，沉浸感不足；

4)虽然观众能够共同合作完成影片任务，但各个观众参与影片互动的方式千篇一律，并且没有分工协作，观众与观众之间缺少互动，交互体验一般。

发明内容

本发明为了解决上述问题，提出了一种基于多通道交互的实时渲染互动影院系统及方法，本发明采用了基于大型弧幕3D立体投影的展示技术，能够实时渲染高分辨率立体图像，集成了包括三自由度座椅、六自由度平台(配有方向盘、油门以及刹车等交互方式)、具有后坐力的互动仿真枪、手机以及Kinect姿态识别在内的多种交互方式，允许观众体验不同的交互方式，分工协作共同完成任务，集沉浸感、互动性、趣味性、挑战性于一身的优点。

为了实现上述目的，本发明采用如下技术方案：

一种基于多通道交互的实时渲染互动影院系统，包括提供通信和数据传输途径的网络模块，实时获取用以驱动三自由度座椅以及六自由度平台姿态数据的动感平台模块，获取用户肢体动作、并进行数据编码的Kinect动作识别模块，获取用户输入并将其封装的手机交互模块，依据用户输入信息和肢体动作在弧幕上进行反馈的反馈模块，以及利用立体相机并行渲染出角色视点对应的左右眼帧画面，对左右眼帧画面进行拼接融合后交替顺序输出，投影至弧幕上以得到立体画面的弧幕立体渲染模块。

所述网络模块，包括服务器子模块和客户端子模块，进行网络通信和数据传递，所述服务器子模块，构建场景并维持其正常执行、连接客户端并根据客户端类型选择向对应客户端发送或者接收数据，最后根据接收的数据做出正确反馈；

所述客户端子模块，与服务器子模块进行连接，依据自身所连接的交互设备的类型从服务器子模块接收或发送交互数据，若接收数据，则根据接收的数据更新当前连接的交互设备的状态。

所述手机交互模块，利用手机内置传感器以及手机触摸屏获取用户输入，封装输入数据，将数据通过网络发送至服务器端，在场景中利用数据做出相应反馈。

所述弧幕立体渲染模块，利用系统场景中的立体相机并行渲染出角色视点对应的左右眼帧画面，对左右眼帧画面进行拼接融合处理后交替顺序输出，投影至弧形金属幕布上，从而得到立体画面；

所述六自由度平台由主机控制，用户对应的虚拟角色的姿态通过平台的六根电动缸协同工作支持平台完成垂直向、横向、纵向、俯仰、滚转和摇摆六个自由度的模拟动作，通过平台上的方向盘，油门以及刹车获取用户输入以进行交互。

所述手机交互模块通过手机内置传感器获取手机偏转信息并利用偏转信息控制手机中准星移动；通过触摸屏获取滑屏信息，将该信息转化为射击信号并与之前获取的准星移动信息一起通过网络传输的方式发送到服务器端。

所述服务器端接收数据并将其映射到场景当中，控制场景中准星的移动以及射击。

基于上述系统的工作方法，包括以下步骤：

(1)服务器端运行系统主程序，程序自动运行系统场景并构建与用户对应的虚拟角色；

(2)进行网络通信，确定服务器端与客户端的连接，确认数据交互是否正常；

(3)通过手机交互模块、动感平台模块或/和Kinect动作识别模块与场景互动交互，渲染立体相机通过用户视点观察场景所得的左眼帧和右眼帧，通过弧幕立体渲染模块对左眼帧和右眼帧画面进行处理，最后通过3台立体投影仪将处理后的图像交替显示在弧形屏幕上。

所述步骤(1)中，检查是否有三自由度座椅、六自由度平台或仿真枪接收器接入，如果没有系统不提供用户与场景之间的交互，等待所有设备正常接入。

所述步骤(1)中，对系统进行预处理，使用3D投影仪将系统投射到弧幕上，在投影场景画面之前先对弧幕进行校正并获取弧幕拼接参数。

所述步骤(1)中，将三自由度座椅客户端与服务器连接后，随即等待服务器发送座椅姿态数据，当客户端接收到姿态数据后，立即向服务器端发送一个确认信息表明服务器端发送的数据已经被客户端成功接收，服务器接收到确认信息后才会发送下一个姿态数据，如此循环。

所述步骤(1)中，手机通过加速度传感器计算准星移动，偏转手机完成对手机屏幕上准星的控制，用户点击屏幕时客户端获得射击信号，客户端获得准星控制数据和射击数据后封装数据，检查是否接收到服务器端确认信息，若接收到信息，则将封装好的数据发送给服务器，等待下一条确认数据，如此循环。

所述步骤(2)中，Kinect获取用户骨骼数据，客户端分析骨骼数据，识别用户动作，判断动作是否为系统预置动作，若确认为预置动作，则将相应的动作标识发送到服务器端，服务器接收到标识，返回确认信息，客户端接收到确认信息后则发送下一条动作标识，如此循环。

本发明的工作原理为：在系统中接入多种交互设备，通过网络连接的方式将多个交互设备连接到一个服务器主机中，使多名用户在观看系统主场景时可以通过不同的交互手段进行互动，并且利用系统所包含的弧形屏幕拼接校正子系统对要投影的图像进行拼接融合，在大型弧形屏幕上投放高分辨率图像。该系统在目前流行的交互手段的基础上进行了扩展，结合了多种交互设备，实现在同一互动影院场景中使用不同的交互设备进行互动体验。首先，通过六自由度平台所配置的方向盘、油门以及刹车等设备获取用户输入，控制场景中主视角姿态，服务器端获得姿态数据后实时同步到动感平台客户端，驱动平台模拟出相应动作；用户利用多种交互设备生成交互数据，通过客户端将数据发送给服务器端，服务器端更新场景，实现多种输入设备与场景的交互。

本发明的有益效果为：

(1)本发明实现了三自由度座椅、六自由度平台(配有方向盘、油门以及刹车等交互方式)等动感平台以及具有后坐力的仿真枪、手机和Kinect等多种交互设备的集成，交互方式丰富，用户可以自由选择喜欢的交互方式，交互设备代入感强，带给用户更加真实的体验，解决了互动影院交互方式单一的问题；

(2)本发明采用了于大型弧幕3D立体投影的展示技术，渲染的立体画面分辨率更高，画面更清晰逼真，覆盖视野面积更大，沉浸感更强，基本解决了互动影院沉浸感不足的问题；

(3)本发明由于集成了多种交互方式，玩家在交互过程中，根据所选交互方式的不同，负责不同的任务，从而实现了玩家与玩家的协同合作，更加刺激有趣；

(4)本发明实现了不同自由度动感平台的联动，动感平台的模拟动作数据可以根据玩家用户的输入实时生成，系统模拟的动作更加逼真，带给用户更加真实刺激的体验；

(5)本发明使用的互动仿真枪是专门研发的能够模拟真实后坐力的互动枪，射击体验更加真实有趣，解决了一般影院互动枪代入感不足的问题；

(6)本发明除了应用在娱乐文化生活方面以外，也可以应用在虚拟军事协同训练、消防演练、驾驶训练等其他领域。

附图说明

图1为交互及显示设备示意图；

图2为动感平台模块结构图；

图3为手机交互模块结构图；

图4为Kinect动作识别模块结构图；

图5为仿真枪交互模块结构图；

图6为渲染流程图；

图7为系统总架构图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示是系统所涉及的交互设备及显示设备示意图。图中展示了系统中所涉及到的硬件类型和设备组织方式。用户在体验系统场景时都需要佩戴快门式立体眼镜，用户群中首先选择一名用户操作六自由度平台，通过平台上的方向盘、油门和刹车控制虚拟场景主视角的运动，其余用户选择乘坐三自由度座椅或者站立的方式观看场景，并选择一种交互方式与场景内容进行交互，从而实现多名用户使用多种交互方式协同体验场景内容。

如图2所示是动感平台模块的结构示意图。动感平台模块由两部分组成:六自由度平台和三自由度座椅。六自由度平台由一台主机控制，交互系统在主机上运行时，系统中用户对应的虚拟角色的姿态通过平台的六根电动缸协同工作支持平台完成垂直向、横向、纵向、俯仰、滚转、摇摆等六个自由度的模拟动作，通过平台上的方向盘，油门以及刹车获取用户输入进而实现系统的交互，带给用户非凡的动感体验。三自由度座椅也由一台主机控制，安装在该主机上的客户端通过网络与服务器主机连接，实时获取六自由度平台主机产生的姿态数据，并将数据传递给座椅，模拟出相应的动作姿态。

如图3所示是手机交互模块结构图。手机交互模块实现了用户通过手机接入系统，与其他用户共同体验，是此系统能够实现多人互动的关键模块。手机交互模块通过手机客户端，与服务器主机进行网络连接。客户端通过手机内置传感器获取手机偏转信息并利用偏转信息控制手机中准星移动；通过手指滑动屏幕获取滑屏信息，将该信息转化为射击信号并与之前获取的准星移动信息一起通过网络传输的方式发送到服务器端。服务器端接收数据并将其映射到场景当中，从而实现了手机控制场景中准星的移动以及射击。在实际操作中，服务器端运行系统软件主程序之后，用户可以通过手机运行客户端程序，客户端程序会自动连接服务器端；用户在等待连接界面结束，系统软件主程序就绪之后就可以通过手机操作场景中对应的准星进行瞄准和射击；退出时，只需点击断开连接按钮或单击屏幕上的“×”图标退出程序。

如图4所示是Kinect动作识别模块结构图。Kinect动作识别模块运行在一台独立的主机上，该主机接有一台Kincet2.0用来捕捉用户动作。通过Kinect客户端程序处理捕捉到的用户姿态信息，识别信息后将其简单编码并发送到服务器端。服务器获取编码后，做出相应的反馈。实际运行时，客户端程序可以识别四种简单的人体姿态动作，服务器端在获取客户端发送的姿态编码后可以依据其编码执行编码所对应的功能，如：挥手下劈的动作对应强力导弹攻击指令。

如图5所示是仿真枪交互模块实现了仿真枪接入系统场景。本模块直接运行在软件主程序即服务器端，通过连接在服务器主机的仿真枪接收器获取仿真枪的姿态及扳机信息，接收器获取姿态及扳机信息后，处理信息，将其转为旋转信息和按下扳机事件。本模块获取屏幕中准星的位置并利用按下扳机事件控制射击，从而实现场景中仿真枪对应的准星移动瞄准以及射击。在实际操作中，用户将仿真枪接收器通过USB接口连入服务器主机，等待仿真枪正常连接之后，运行软件主程序，等待主程序就绪之后可以瞄准和射击。

如图6所示是该系统渲染流程图。系统的渲染流程主要基于Unity3D引擎的基本渲染流程，并对其做出了改动，加入新的渲染过程。Unity3D引擎的基本流程首先确定要渲染的物体、光源、相机位置；然后确定物体对应的着色器；最后，确定unity渲染路径，包括：延时光照、正向渲染以及顶点光照。系统渲染流程中初始化过程包括预处理以及校正并获取屏幕拼接参数两个步骤。前者的主要功能是减轻实时渲染时的计算量，提高渲染速度；后者则是获取屏幕的拼接参数，提供屏幕拼接时所需要的参数和数据。系统对渲染过程的改进主要是增加立体渲染和屏幕拼接校正两个部分。

具体实施步骤如下：

系统采用快门式3D技术实现场景的立体渲染，快门式3D技术需要显示器和3D眼镜的配合来实现3D立体效果。快门式3D技术所采用的主动式快门立体眼镜。两个镜片都采用电子控制，可以根据显示器的输出情况进行状态的切换，镜片的透光、不透光切换使得人眼只能看到对应的画面(透光状态下)，双眼看到不同的画面就能够达到立体成像的效果。

系统调节显示系统的输出频率为120Hz，在引擎内部对场景左右眼相机同时进行处理并获取两个相机的最终图像，利用弧形屏幕拼接校正系统对图像进行校正融合，获得校正后图像并对其进行后期处理。最后将两幅图像按照左眼右眼或者右眼左眼的次序依次输出到弧形屏幕上，配合观众所佩戴的快门式立体眼镜观察场景，从而实现场景的立体渲染。

如图7所示是系统总架构图。服务器主机上运行系统主程序，负责处理各种交互数据以及系统逻辑，通过网络等方式连接各个客户端设备以及影音播放设备。其中动感平台客户端将用户输入数据传送至服务器，并将服务器端系统主程序产生的姿态数据实时传送至各动感平台；姿态客户端将Kinect捕捉到的用户姿态信息识别并编码传送至服务器端系统主程序进行交互；手机客户端获取用户输入的手机偏转信息以及滑屏信息并编码后传送至服务器端系统主程序进行交互；互动仿真枪将姿态信息以及扳机信息通过接收器传送至服务器端系统主程序进行交互；播放控制器负责处理音频以及系统实时渲染的立体画面，系统生成的立体画面通过3台数字投影机经过拼接校正融合后投影至弧幕上以供用户佩戴快门式立体眼镜进行观看。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于多通道交互的实时渲染互动影院系统，其特征是：包括设置于弧幕前的若干个三自由度座椅和六自由度平台，提供通信和数据传输途径的网络模块，实时获取用以驱动三自由度座椅以及六自由度平台姿态数据的动感平台模块，获取用户肢体动作、并进行数据编码的Kinect动作识别模块，获取用户输入并将其封装的手机交互模块，依据用户输入信息和肢体动作在弧幕上进行反馈的反馈模块，以及利用立体相机并行渲染出角色视点对应的左右眼帧画面，对左右眼帧画面进行拼接融合后交替顺序输出，投影至弧幕上以得到立体画面的弧幕立体渲染模块。

2.如权利要求1所述的一种基于多通道交互的实时渲染互动影院系统，其特征是：所述网络模块，包括服务器子模块和客户端子模块，进行网络通信和数据传递，所述服务器子模块，构建场景并维持其正常执行、连接客户端并根据客户端类型选择向对应客户端发送或者接收数据，最后根据接收的数据做出正确反馈；

所述客户端子模块，与服务器子模块进行连接，依据自身所连接的交互设备的类型从服务器子模块接收或发送交互数据，若接收数据，则根据接收的数据更新当前连接的交互设备的状态。

3.如权利要求1所述的一种基于多通道交互的实时渲染互动影院系统，其特征是：所述手机交互模块，利用手机内置传感器以及手机触摸屏获取用户输入，封装输入数据，将数据通过网络发送至服务器端，在场景中利用数据做出相应反馈。

4.如权利要求1所述的一种基于多通道交互的实时渲染互动影院系统，其特征是：所述六自由度平台由主机控制，用户对应的虚拟角色的姿态通过平台的六根电动缸协同工作支持平台完成垂直向、横向、纵向、俯仰、滚转和摇摆六个自由度的模拟动作，通过平台上的方向盘，油门以及刹车获取用户输入以进行交互。

5.如权利要求1所述的一种基于多通道交互的实时渲染互动影院系统，其特征是：所述手机交互模块通过手机内置传感器获取手机偏转信息并利用偏转信息控制手机中准星移动；通过触摸屏获取滑屏信息，将该信息转化为射击信号并与之前获取的准星移动信息一起通过网络传输的方式发送到服务器端。

6.如权利要求1所述的一种基于多通道交互的实时渲染互动影院系统，其特征是：所述服务器端接收数据并将其映射到场景当中，控制场景中准星的移动以及射击。

7.基于如权利要求1-6中任一项所述的系统的工作方法，其特征是：包括以下步骤：

(1)服务器端运行系统主程序，程序自动运行系统场景并构建与用户对应的虚拟角色；

(2)进行网络通信、确定服务器端与客户端的连接，确认数据交互是否正常；

(3)通过手机交互模块、动感平台模块或/和Kinect动作识别模块与场景互动交互，渲染立体相机通过用户视点观察场景所得的左眼帧和右眼帧，利用通过弧幕立体渲染模块对左眼帧和右眼帧画面进行处理，最后通过3台立体投影仪将处理后的图像交替显示在弧形屏幕上。

8.如权利要求7所述的工作方法，其特征是：所述步骤(1)中，将三自由度座椅客户端与服务器连接后，随即等待服务器发送座椅姿态数据，当客户端接收到姿态数据后，立即向服务器端发送一个确认信息表明服务器端发送的数据已经被客户端成功接收，服务器接收到确认信息后才会发送下一个姿态数据，如此循环。

9.如权利要求7所述的工作方法，其特征是：所述步骤(1)中，手机通过加速度传感器计算准星移动，偏转手机完成对手机屏幕上准星的控制，用户点击屏幕时客户端获得射击信号，客户端获得准星控制数据和射击数据后封装数据，检查是否接收到服务器端确认信息，若接收到信息，则将封装好的数据发送给服务器，等待下一条确认数据，如此循环。

10.如权利要求7所述的工作方法，其特征是：所述步骤(2)中，Kinect获取用户骨骼数据，客户端分析骨骼数据，识别用户动作，判断动作是否为系统预置动作，若确认为预置动作，则将相应的动作标识发送到服务器端，服务器接收到标识，返回确认信息，客户端接收到确认信息后则发送下一条动作标识，如此循环。