CN104258566A - 一种基于多画显示的虚拟射击影院系统与方法 - Google Patents

Abstract

本发明公开了一种基于多画显示的虚拟射击影院系统与方法，该系统具有简单、方便、易操作、沉浸感强等优点，通过自然生活中的身体姿势及射击游戏经验等自然的交互方式，实现用户通过身体姿势和仿真枪与剧情互动的射击类游戏，玩家作为虚拟主角控制游戏的发展，而且不需要用户额外的学习训练，用户可以利用迈步向前、向后，射击等常见的自然方式与剧情互动。系统实时渲染立体游戏画面；利用网络连接，支持双人协同作战；利用光分式双画原理，使得一块投影大屏幕提供两个用户的独立完整的游戏画面，从而创造出能让用户感受到的更强更自然的沉浸式体验，增强主题影院中游戏的娱乐性、趣味性和真实感。

Description

一种基于多画显示的虚拟射击影院系统与方法

技术领域

本发明涉及一种基于多画显示的虚拟射击影院系统与方法。

背景技术

随着人机交互技术和3D立体显示技术的发展，人们对于交互性和沉浸感的要求也越来越高。超逼真的立体视觉影像，让用户有一种强烈的身临其境的感受。支持与虚拟场景进行互动，又可以让用户感到自己就是主角，很大程度上增强用户的存在感与沉浸感。但是，目前的交互方式还不够自然，用户需要浪费精力在学习如何去交互，而不是全身心享受游戏本身，这就降低了用户体验。而且，目前的3D立体显示技术为群体观众提供的画面都是基于单一视点绘制的，真实感不强。

本发明设计了一种基于多画显示的虚拟射击影院系统与方法，支持每个用户通过佩戴不同立体眼镜观看基于其视角位置对同一场景进行实时渲染的画面，画面的大小都是投影幕布的大小，即生成的画面都是完全投影到同一个幕布上。用户可以在允许的范围内任意移动，系统根据捕获的位置实时渲染同一场景的多个立体画面，用户通过佩戴具有特定刷新频率的主动式快门眼镜看到各自视角位置的影像。用户可以利用仿真手枪很自然的进行射击互动。并伴有超真实的立体声效。

发明内容

本发明提出了一种基于多画显示的虚拟射击影院系统与方法，本系统具有简单、方便、易操作、沉浸感强等优点，通过自然生活中的身体姿势及射击游戏经验等自然的交互方式，实现用户通过身体姿势和仿真枪与剧情互动的射击类游戏，玩家作为虚拟主角控制游戏的发展,而且不需要用户额外的学习训练，用户可以利用迈步向前、向后，射击等常见的自然方式与剧情互动。

为了实现上述目的，本发明采用如下技术方案：

一种基于多画显示的虚拟射击影院系统，包括网络连接模块、模式选择模块、交互控制模块、游戏逻辑控制模块、立体渲染模块和双画投影显示模块；其中：

所述网络连接模块，用于连接服务器端，采集用户的交互信息以及画面的实时信息传输到服务器，与模式选择模块连接；

所述模式选择模块包括协作模式与敌对模式，用于根据用户的选择生成不同的伤害逻辑与游戏规则；

所述交互控制模块，用于捕捉并分析玩家的动作，提供给客户端控制虚拟主角移动以及用户视角变换；

所述游戏逻辑控制模块，用于根据玩家的输入，控制游戏的发展，触发特效；

所述立体渲染模块，用于根据时分式立体原理，实时的把游戏内容渲染为立体游戏画面，提供给输出模块；

所述双画投影显示模块，使用两台3D投影仪把立体游戏画面投影到同一块金属幕布上，然后利用光分式原理区分开两组画面，给每位用户提供独立完整的立体游戏画面。

所述网络连接模块包括服务器建立子模块、客户端子模块，所述服务器子模块负责建立游戏中的服务器端，作为多个客户端数据传输的中转站；客户端子模块连接到服务器端，采集用户的交互信息以及游戏的实时信息传输到服务器统一处理。

所述交互控制模块包括体感交互控制模块、仿真枪控制模块，所述体感交互控制模块捕捉并分析玩家的动作，提供给客户端控制虚拟主角移动；仿真枪通过模拟鼠标动作来控制视角变换与射击。

所述游戏逻辑控制模块，控制的触发特效包括射击火花、弹壳飞溅、射击弹痕、粒子效果以及射击时的3D枪声音效。

一种基于多画显示的虚拟射击影院系统的工作方法，包括以下步骤：

(1)新建服务器：用户通过服务器子模块新建一个服务器，等待其他用户连接；

(2)连接服务器：多个客户端子模块通过服务器的IP地址与端口号连接到服务器，与服务器进行数据互传；

(3)加载体感控制模块：通过体感设备Kinect，捕获用户腿部的位置变化来得到用户前进或后退的控制信息，从而控制虚拟主角的移动；同时捕获仿真枪数据，利用仿真枪模拟鼠标动作来控制视角变换与射击；

(4)控制游戏的发展：通过体感控制模块改变场景中敌人的状态信息，通过游戏逻辑控制模块处理并反馈用户多种状态信息，根据这些信息判断游戏的状态，并依据这些状态推进游戏的发展与关卡的切换；

(5)立体渲染：通过立体渲染模块实时的把游戏画面渲染成左右眼的图像帧，利用时分式立体原理，把左右眼图像帧分别交付给左右眼，结合视觉暂留原理，在人脑海中合成立体视觉影像；

(6)双画显示观看：将两台投影仪的影像进行重合后分区，给每一位用户观看完整的动画。

所述步骤(3)的具体方法为：通过体感设备Kinect，捕获用户腿部膝盖处关节点的位置信息判断右腿与左腿的位置关系：令(X_L,Y_L,Z_L)、(X_R,Y_R,Z_R)分别为用户的左、右腿部膝盖处关节点的空间位置，移动方向V＝Z_R–Z_L，当V为正数时，沿人物当前的正方向移动，反之，沿反方向移动；通过右腿相对左腿的前后位置来得到用户前进或后退的控制信息，从而控制虚拟主角的移动；同时捕获仿真枪数据，利用仿真枪模拟鼠标动作来控制视角变换与射击。

所述步骤(5)中，立体渲染模块利用时分式立体原理，结合NVIDIA 3D vision套件实时的把游戏内容渲染为立体游戏画面。

所述步骤(6)的具体方法为：利用两台3D投影仪将各自的立体影像投影到同一块金属幕布上，两个投影区域都铺满屏幕，完全重合，然后利用光分式原理，把两组立体影像区分开，使得每一位用户观看到独立完整的游戏画面，最大化的使用投影区域。

所述步骤(6)中，当固定好金属幕布后，将两台3D投影仪吊装在屋顶上，两台投影仪前放置正交的两块偏振片，然后向幕布投影，调整好焦距与角度直至两台投影仪的投影区域铺满幕布并完全重合；把两台Kinect安装在幕布左上角与右上角，用于捕捉玩家动作，玩家站在有效捕捉区域，Kinect的有效捕捉区域为：距离Kinect0.8-3.5m内，手持仿真枪，进行游戏。

所述步骤(6)中，有效捕捉区域的最佳距离是2.26m。

整个工作过程为：新建一台服务器，玩家通过各自的客户端进行连接，连接成功后，玩家站在Kinect体感设备的捕捉区域内做出相应的动作指令，控制虚拟主角去漫游场景，使用仿真枪进行瞄准与射击；两个玩家佩戴定制眼镜观看立体双画影像，根据游戏情节进行双人协同作战，达到要求后到达指定地点进入下一关，继续游戏；该系统使用身体动作与仿真枪进行游戏，无需额外的学习训练即可操控，体验游戏的乐趣。

本发明的工作原理为：系统利用时分式立体原理结合NVIDIA 3D VISION套件实时渲染立体游戏画面；利用网络连接，支持双人协同作战；利用光分式双画原理，使得一块投影大屏幕提供两个用户的独立完整的游戏画面，从而创造出能让用户感受到的更强更自然的沉浸式体验，增强主题影院中游戏的娱乐性、趣味性和真实感。该系统使用Kinect体感捕捉设备，捕捉玩家的身体姿态，控制虚拟主角的移动，增加游戏的真实感体验。使用仿真枪控制虚拟主角的视角变化与射击。

本发明的有益效果为：

1、该款游戏使用体感设备Kinect捕捉用户的自然动作控制虚拟主角的移动，使用仿真枪进行瞄准射击控制，使用身体动作与仿真枪进行游戏，无需额外的学习训练即可操控，体验游戏的乐趣，使得游戏体验更加真实、自然；

2、使用时分式立体原理给用户呈现立体游戏画面，射击时伴有火花、弹壳飞溅、弹痕、3D枪声等特效，游戏时更加真实、震撼，增强玩家的沉浸感；

3、光分式双画显示，让每个用户可以观看独立完整的立体游戏画面，最大化的使用了公共的投影幕布区域，节约了投影区域与成本；

4、实现“双画”观看，而且能够基于不同视角位置对同一场景进行实时、并行渲染。用户可以在允许的范围内任意移动，系统根据捕获的位置实时渲染同一场景的多个立体画面，用户通过佩戴具有特定刷新频率的主动式快门眼镜看到各自视角位置的影像；

5、通过网络连接，实现双人协同作战，增加了游戏趣味性，锻炼了团队合作的意识，具有一定的教育意义。

附图说明

图1为射击系统总体结构图；

图2为射击系统硬件组成结构图；

图3为射击系统网络连接模块结构图；

图4为交互控制模块结构图；

图5为立体渲染模块结构图；

图6为双画显示模块结构图；

图7为射击游戏整体流程图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，一种基于多画显示的虚拟射击影院系统，主要包括网络连接模块，模式选择模块，交互控制模块，游戏逻辑控制模块，立体渲染模块，双画投影显示模块。

网络连接模块负责建立游戏中的服务器端并连接多个客户端，负责整个游戏过程中多个客户端之间的数据通信与状态同步。模式选择模块包括协作模式与敌对模式，会根据玩家的选择生成不同的伤害逻辑与游戏规则，比如协作模式下，两个客户端共同对抗敌人，没有互相伤害；敌对模式下，则是互相攻击，产生伤害。交互控制模块捕捉并分析玩家的动作，控制虚拟主角移动；接收并分析处理仿真枪信号来控制视角变换与射击。游戏逻辑控制模块根据玩家的多种输入，控制游戏的发展，触发各种特效，包括射击火花、弹壳飞溅、射击弹痕等粒子效果以及射击时的3D枪声音效。立体渲染模块利用时分式立体原理，实时的把游戏内容渲染为立体游戏画面，提供给输出模块。双画投影显示模块使用两台3D投影仪把立体游戏画面投影到同一块金属幕布上，然后利用光分式原理区分开两组画面，给每位用户提供独立完整的立体游戏画面。

如图2所示，当固定好金属幕布后，将两台3D投影仪吊装在屋顶上，两台投影仪前放置正交的两块偏振片，然后向幕布投影，调整好焦距与角度直至两台投影仪的投影区域铺满幕布并完全重合；把两台Kinect安装在幕布左上角与右上角，用于捕捉玩家动作，玩家站在有效捕捉区域内，手持仿真枪，即可进行游戏；带上定制的眼镜，可观看到自己的立体游戏画面；带上蓝牙耳机，可听到逼真的立体声音效。

如图3所示，网络连接模块包括服务器建立子模块，客户端子模块。服务器子模块负责建立游戏中的服务器端，作为多个客户端数据传输的处理中心和中转站，服务器端接收来自各个客户端的输入信息，在对客户端ID进行区别之后，对于每个客户端的输入信息，服务器端利用这些输入信息更新该客户端所对应的游戏对象的旋转、位置等信息，并将更新后的数据发送给每个客户端，使每个客户端都能将自身场景中的这个游戏对象的状态加以改变；客户端子模块连接到服务器端，采集自己所对应用户的交互信息以及游戏的实时信息传输到服务器统一处理，并将服务器返还的数据更新自身的整个游戏场景。

如图4所示，交互控制模块包括体感交互控制模块，仿真枪控制模块。体感交互控制模块利用Kinect捕捉并分析玩家的动作，以左腿为参考点，根据玩家左右腿的前后相对位置确定前进和后退信息，并且提供给客户端以控制虚拟主角移动；仿真枪通过模拟鼠标动作来控制视角变换与射击。

如图5所示，立体渲染模块利用时分式立体原理，结合NVIDIA 3D vision套件实时的把游戏内容渲染为立体游戏画面。具体原理如下：利用camera分别观看左眼和右眼场景，在屏幕刷新时将这两帧快速交换。首先建立场景的主相机，主相机中包含左眼相机和右眼相机。左眼相机和右眼相机分别拍摄左眼场景和右眼场景。这两个相机是交替工作的，当左眼相机绘制完成后，将其RenderTexture复制给主相机的RenderTexture，当左眼完成后，同理对右眼进行处理，这样就实现了左右眼场景的交替进行，由于左右眼图像的交替是直接在显卡的渲染管线中进行，而显卡已经设定为3D立体模式，图像输出的速度极快，可以满足左右眼图像交替所要求的120hz，故而实现了立体效果。

如图6所示，双画投影显示模块使用两台3D投影仪把立体游戏画面投影到同一块金属幕布上，然后利用光分式原理区分开两组画面，给每位用户提供独立完整的立体游戏画面。

如图7所示，描述了游戏运行时的主要流程，包括以下步骤：

(1)新建服务器：用户通过服务器子模块新建一个服务器，等待其他用户连接；

(2)连接服务器：多个客户端子模块通过服务器的IP地址与端口号连接到服务器，与服务器进行数据互传；

(3)加载体感控制模块：通过体感设备Kinect，捕获用户腿部膝盖处关节点的位置信息判断右腿与左腿的位置关系：令(X_L,Y_L,Z_L)、(X_R,Y_R,Z_R)分别为用户的左右腿部膝盖处关节点的空间位置，移动方向V＝Z_R–Z_L，当V为正数时，沿人物当前的正方向移动，反之，沿反方向移动；通过右腿相对左腿的前后位置来得到用户前进或后退的控制信息，从而控制虚拟主角的移动；同时捕获仿真枪数据，利用仿真枪模拟鼠标动作来控制视角变换与射击；

(4)控制游戏的发展：通过体感控制模块改变场景中敌人的状态信息(如敌人被射杀)，通过游戏逻辑控制模块处理并反馈用户多种状态信息(如用户杀敌数，用户生命状态等信息)，根据这些信息判断游戏的状态(如某一场景中敌人已全部击杀)，并依据这些状态推进游戏的发展与关卡的切换；

(5)立体渲染：通过立体渲染模块实时的把游戏画面渲染成左右眼的图像帧，利用时分式立体原理，把左右眼图像帧分别交付给左右眼，结合视觉暂留原理，在人脑海中合成立体视觉影像；

(6)双画显示观看：利用两台3D投影仪将各自的立体影像投影到同一块金属幕布上，两个投影区域都铺满屏幕，完全重合，然后利用光分式原理，把两组立体影像区分开，使得每一位用户观看到独立完整的游戏画面，最大化的使用投影区域。

步骤(6)中，当固定好金属幕布后，将两台3D投影仪吊装在屋顶上，两台投影仪前放置正交的两块偏振片，然后向幕布投影，调整好焦距与角度直至两台投影仪的投影区域铺满幕布并完全重合；把两台Kinect安装在幕布左上角与右上角，用于捕捉玩家动作，玩家站在有效捕捉区域(Kinect的有效捕捉区域为：距离Kinect0.8-3.5m，推荐的最佳距离是2.26m)内，手持仿真枪，进行游戏。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于多画显示的虚拟射击影院系统，其特征是：包括网络连接模块、模式选择模块、交互控制模块、游戏逻辑控制模块、立体渲染模块和双画投影显示模块；其中：

所述网络连接模块，用于链接服务器端，采集用户的交互信息以及画面的实时信息传输到服务器，与模式选择模块连接；

所述模式选择模块包括协作模式与敌对模式，用于根据用户的选择生成不同的伤害逻辑与游戏规则；

所述交互控制模块，用于捕捉并分析玩家的动作，提供给客户端控制虚拟主角移动以及用户视角变换；

所述游戏逻辑控制模块，用于根据玩家的输入，控制游戏的发展，触发特效；

所述立体渲染模块，用于根据时分式立体原理，实时的把游戏内容渲染为立体游戏画面，提供给输出模块；

所述双画投影显示模块，使用两台3D投影仪把立体游戏画面投影到同一块金属幕布上，然后利用光分式原理区分开两组画面，给每位用户提供独立完整的立体游戏画面。

2.如权利要求1所述的基于多画显示的虚拟射击影院系统，其特征是：所述网络连接模块包括服务器建立子模块、客户端子模块，所述服务器子模块负责建立游戏中的服务器端，作为多个客户端数据传输的中转站；客户端子模块连接到服务器端，采集用户的交互信息以及游戏的实时信息传输到服务器统一处理。

3.如权利要求1所述的基于多画显示的虚拟射击影院系统，其特征是：所述交互控制模块包括体感交互控制模块、仿真枪控制模块，所述体感交互控制模块捕捉并分析玩家的动作，提供给客户端控制虚拟主角移动；仿真枪通过模拟鼠标动作来控制视角变换与射击。

4.如权利要求1所述的基于多画显示的虚拟射击影院系统，其特征是：所述游戏逻辑控制模块，控制的触发特效包括射击火花、弹壳飞溅、射击弹痕、粒子效果以及射击时的3D枪声音效。

5.一种如权利要求1-4中任一项所属的基于多画显示的虚拟射击影院系统的工作方法，其特征是：包括以下步骤：

(1)新建服务器：用户通过服务器子模块新建一个服务器，等待其他用户连接；

(2)连接服务器：多个客户端子模块通过服务器的IP地址与端口号连接到服务器，与服务器进行数据互传；

(3)加载体感控制模块：通过体感设备Kinect，捕获用户腿部的位置变化来得到用户前进或后退的控制信息，从而控制虚拟主角的移动；同时捕获仿真枪数据，利用仿真枪模拟鼠标动作来控制视角变换与射击；

(4)控制游戏的发展：通过体感控制模块改变场景中敌人的状态信息，通过游戏逻辑控制模块处理并反馈用户多种状态信息，根据这些信息判断游戏的状态，并依据这些状态推进游戏的发展与关卡的切换；

(5)立体渲染：通过立体渲染模块实时的把游戏画面渲染成左右眼的图像帧，利用时分式立体原理，把左右眼图像帧分别交付给左右眼，结合视觉暂留原理，在人脑海中合成立体视觉影像；

(6)双画显示观看：将两台投影仪的影像进行重合后分区，给每一位用户观看完整的动画。

6.如权利要求5所述的工作方法，其特征是：所述步骤(3)的具体方法为：通过体感设备Kinect，捕获用户腿部膝盖处关节点的位置信息判断右腿与左腿的位置关系：令(X_L,Y_L,Z_L)、(X_R,Y_R,Z_R)分别为用户的左、右腿部膝盖处关节点的空间位置，移动方向V＝Z_R–Z_L，当V为正数时，沿人物当前的正方向移动，反之，沿反方向移动；通过右腿相对左腿的前后位置来得到用户前进或后退的控制信息，从而控制虚拟主角的移动；同时捕获仿真枪数据，利用仿真枪模拟鼠标动作来控制视角变换与射击。

7.如权利要求5所述的工作方法，其特征是：所述步骤(5)中，立体渲染模块利用时分式立体原理，结合NVIDIA 3D vision套件实时的把游戏内容渲染为立体游戏画面。

8.如权利要求5所述的工作方法，其特征是：所述步骤(6)的具体方法为：利用两台3D投影仪将各自的立体影像投影到同一块金属幕布上，两个投影区域都铺满屏幕，完全重合，然后利用光分式原理，把两组立体影像区分开，使得每一位用户观看到独立完整的游戏画面，最大化的使用投影区域。

9.如权利要求8所述的工作方法，其特征是：所述步骤(6)中，当固定好金属幕布后，将两台3D投影仪吊装在屋顶上，两台投影仪前放置正交的两块偏振片，然后向幕布投影，调整好焦距与角度直至两台投影仪的投影区域铺满幕布并完全重合；把两台Kinect安装在幕布左上角与右上角，用于捕捉玩家动作，玩家站在有效捕捉区域，Kinect的有效捕捉区域为：距离Kinect0.8-3.5m内，手持仿真枪，进行游戏。

10.如权利要求9所述的工作方法，其特征是：所述步骤(6)中，有效捕捉区域的最佳距离是2.26m。