CN110013678A - 沉浸式互动全景全息剧院演出系统、方法及应用 - Google Patents

Abstract

本发明提供一种沉浸式互动全景全息剧院演出系统、方法及应用，该演出系统采用全息投影的方式在舞台上投影虚拟角色，设置实时动作捕捉装置实时捕捉动作捕捉演员的动作和表情，绑定动作捕捉人员和虚拟角色，从而使得虚拟角色可根据动作捕捉人员的变化而变化；且设置互动装置，动作捕捉演员可通过互动装置和观众进行互动，反馈为虚拟角色和观众的互动，达到真人和全息影像同台演出的效果。

Description

沉浸式互动全景全息剧院演出系统、方法及应用

技术领域

本发明涉及演出领域，特别涉及一种实现真人和全息影像同台演出，观众可沉浸式参与演出的沉浸式互动全景全息剧院演出系统、方法及应用。

背景技术

全息投影技术，是指利用干涉原理记录并再现物体真实的三维图像的技术，随着科幻电影与商业宣传的引导，全息投影的概念逐渐被应用到舞台表演/展览展示等场景中，可被用于展示特定的影像场景。

目前的全息投影在实际应用中的投影效果还是比较单一的，大多数情况下仅仅是在舞台上投影特定的影像场景，很难和其他舞台表演效果进行实时的融合，这样的投影效果形成的舞台场景缺乏纵深感，进而导致观众很难投入其中有真实感，甚至会因为突兀的全息投影影像影响其他舞台表演效果。

另外，全息投影的影像往往是预先设定好的，并不能和观众发生互动，也就是说，观众只能看到设计者预先设计到的全息影像，并不能和全息投影影像进行互动，这样的设计也限制了全息投影在话剧/舞台剧/儿童剧等场景剧中的应用，因为这样的场景剧需要舞台表演者根据表演的实时情况作出灵活的变动。

综上所述，虽然目前很多演出系统均应用有全息投影技术，但是均很难给观众营造沉浸式的观影效果。

发明内容

本发明的目的在于提供一种沉浸式互动全景全息剧场演出系统及方法，该演出系统为观众营造沉浸式的观影效果，该演出系统可达到真人和全息影像同台演出的效果，通过真人和全息的方式替代真人表演，减少舞蹈演员/舞美布景/群众演员的成本，且可将现有的舞台表演剧演出呈现为裸眼3d的效果，给观影者提供强烈的真实感/纵深感和魔幻感，且全息影像可与观众进行实时互动，提高观影效果。

为了实现以上任一发明目的，本发明一方面提供一种沉浸式互动全景全息剧院演出系统，置于演出场所，该演出场所包括舞台表演区、观众区以及动作捕捉区，包括：全景声装置，影像投影装置，实时动作捕捉装置以及互动装置；影像投影装置至少包括全息投影设备，背景投影设备以及视频处理设备，其中全息投影设备以及背景投影设备联通于视频处理设备得到投影影像，且全息投影设备以及背景投影设备均置于舞台表演区，背景投影设备置于全息投影设备远离观众区的一侧，并且和全息投影设备之间间隔一真人表演区，全息投影设备以全息投影技术投影至少一虚拟角色；其中全息投影设备包括置于地面的LED屏和倾斜设置于LED屏的全息膜，全息膜和LED屏倾斜45°，背景投影设备包括背投幕和背投投影机；实时动作捕捉装置至少包括设置有肢体传感器的动作捕捉服装，捕捉动作捕捉演员面部表演的面部捕捉设备以及渲染处理设备，渲染处理设备联通动作捕捉服装和面部捕捉设备，获取对应的肢体信号和面部表情信号；其中渲染处理设备绑定动作捕捉演员和虚拟角色，并实时渲染对应的肢体和面部表情，生成渲染视频信号，发送给视频处理设备，视频处理设备投射渲染视频信号至全息投影设备，全息投影虚拟角色；互动装置至少包括对应观众区设置的捕捉观众反应的观众摄像头以及置于动作捕捉区的监看器；以及全景声装置至少包括设置在演出场所的扩声器设备以及音频播放设备。

根据本发明的另一方面，本发明提供一沉浸式互动全景全息剧院，设置有如上所述的演出系统。

根据本发明的另一方面，本发明提供一种一种沉浸式互动全景全息剧院演出方法，包括以下步骤：设置全景声装置，在舞台表演区上间隔设置全息投影设备和背景投影设备，背景投影设备置于全息投影设备的后侧，且与全息投影设备之间间隔真人表演区；在动作捕捉区设置实时动作捕捉装置，捕捉该动作捕捉区内的动作捕捉演员的肢体信号和面部表情信号；绑定动作捕捉演员和虚拟角色，实时渲染肢体信号和面部表情信号，生成渲染视频信号，渲染视频信号发送给全景投影设备投影虚拟角色；实时捕捉获取观众反应反馈给动作捕捉演员，动作捕捉演员根据观众反应做出互动反应，互动反应通过实时动作捕捉装置反馈在虚拟角色上。

相较现有技术，本发明具有以下的有益效果：

1.采用全景投影系统，佩波尔幻象系统以及实时动作捕捉互动系统，在演出舞台上全息投影影像，且该全息投影影像中的虚拟真人和动作捕捉演员实时绑定，进而使得全息投影影像的虚拟真人的动作和声音可实时匹配于动作捕捉演员的动作和声音，进而方便地根据舞台表演需求变化全息投影影像，实现真人和全息影像同台演出的效果。

2.设置有多重投影系统，进而使得舞台上的真人，虚拟真人和场景影像展示叠加在三层景深不同的画面上，从而提供真实的纵深感和真实物理空间的感觉，给观众提供沉浸式的观影效果。

3.结合实时动作捕捉互动系统和摄像设备，采集观众的影像展示给动作捕捉演员，动作捕捉演员根据观众的情况和观众进行实时互动，其互动情况反映在虚拟真人上，实现全息影像和观众的实时互动，提高观影的魔幻性。

4.不仅在舞台上设置全息投影系统，另外在演出场所的侧边和天花板位置设置对应的投影设备，多个投影系统实时联动，给观众提供环绕式的沉浸观影体验。

5.另设置视频处理设备和音频处理设备，处理视频和音频，影像在时间轴上做同步处理，达到实时同步表演的效果，提高观众的观影体验。

附图说明

图1是根据本发明的一实施例的沉浸式互动全景全息剧院演出系统的框架示意图。

图2是根据本发明的一实施例的沉浸式互动全景全息剧院演出方法的流程示意图。

图3是根据本发明的一实施例的沉浸式互动全景全息剧院演出系统应用于剧场的示意图。

图中：全景声装置10，扩声器设备11，主扩声扬声器设备111，主扩音扬声器1111，中间扬声器1112，次低频扬声器1113，舞台扬声器设备112，返听扬声器1121，台唇扬声器1122，舞台效果扬声器1123，环绕扬声器设备113，墙面扬声器1131，天花扬声器1132，麦克风设备114，音频播放设备12，音频播放控制器121，调音台122，影像投影装置20，全息投影设备21，LED屏211，全息膜212，背景投影设备22，背投幕221，背投投影机222，前景投影设备23，纱幕231，前景投影机232，侧墙投影设备24，侧墙投影幕241，侧墙投影机242，天花投影设备25，天花投影机251，天花投影幕252，视频处理设备29，实时动作捕捉装置30，互动装置40。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

本发明提供一沉浸式互动全景全息剧场演出系统及方法，该沉浸式互动全景全息剧场演出系统可提供一种真人和全息影像同台表演，且全息影像可与观众实现实时互动的表演效果，为观众提供具有强烈真实感，纵深感，魔幻感的观影体验；该沉浸式互动全景全息剧场演出系统可被应用于剧院，露天剧场，演唱会等多种舞台表演场景中，有着广泛的应用。

如图1所示，本发明提供的沉浸式互动全景全息剧场演出系统至少包括：全景声装置10，影像投影装置20,实时动作捕捉装置30以及互动装置40；其中影像投影装置20在演出场所全息投影具有纵深感、真实感的影像，实时动作捕捉装置30绑定动作捕捉演员和全息影像中的虚拟角色，并实时捕捉动作捕捉演员的动作渲染为虚拟角色的动作，进而使得全景影像中的虚拟角色的动作可实时变化；互动装置40获取观众的状态并至少反馈给动作捕捉演员，以便于动作捕捉演员针对观众的反应做出互动动作，显示为全息影像的虚拟真人和观众互动的舞台效果，全景声装置10同步各路音频信息并播放对应的舞台声效。

具体而言，本发明提供的演出系统应用于演出场所，演出场所又可分为舞台表演区、观众区以及动作捕捉区。影像投影装置20至少包括置于舞台表演区上的全息投影设备21、背景投影设备22以及视频处理设备29，其中视频处理设备29传送影像信息给投影设备，其中背景投影设备22置于全息投影设备21的后侧，并且和全息投影设备21之间间隔一定的距离，该区为真人表演区。此时，在舞台表演区上，全景全息投影装置21以全息投影的方式投影虚拟角色，背景投影设备22投影背景影像，真人在背景投影设备22和全景全息投影装置21之间的区域表演，通过表演位置的设计达到虚拟角色，真人和背景影像叠加在三层景深不同的画面上，营造真实纵深感的物理空间。

具体而言，全景全息投影装置21以佩玻尔幻象的原理全息投影虚拟角色，全景全息投影装置21包括置于舞台地面上的LED屏212和倾斜设置于舞台上的全息膜211，全息膜211和地面呈现45°，或者说全息膜211和LED屏212呈45°设置。LED屏212上设置有视频接入通道，接入需投影的全息影像，并将全息影像反射到全息膜211上呈现，全息投影技术为现有技术，在此不做过多的介绍。

背景投影设备22设置在舞台后区投影背景影像，此处，背景影像显现舞台布置场景，包括但不限于设定好的舞台场景，群众演员等场景。背景投影设备22包括背投幕221和背投投影机222，背投投影机222采用背投的方式在背投幕221上投影背景影像。在本发明的实施例中，背投投影机222选择为超短焦投影机，且包括至少两台超短焦投影机，2台投影机进行融合后投射满整个背投幕221。

视频处理设备29至少包括两个视频输入接口和多个视频输出接口，视频接入接口分别接入动作捕捉产生的渲染视频信号和设定的投影信号，视频输出接口将对应的信号传输给对应的投影设备，包括但不限于全息LED屏212和背投投影机222，且所述视频处理设备29接收MIDI同步信号，与音频播放设备进行同步。

实时动作捕捉装置30设置在动作捕捉区捕捉动作捕捉演员的动作，并且动作捕捉演员和虚拟角色进行渲染绑定，实时渲染后产生的渲染视频信号通过实时动作捕捉装置30发送给全景全息投影设备21进行全息投影。实时动作捕捉装置30包括但不限于设置有肢体传感器的动作捕捉服装，面部捕捉设备以及渲染处理设备，其中动作捕捉服装被穿戴在动作捕捉演员身上获取动作捕捉演员的动作产生肢体信号，面部捕捉设备捕捉动作捕捉演员的面部产生面部表情信号，肢体信号和面部表情信号被传送给渲染处理设备，渲染处理设备绑定动作捕捉演员和虚拟角色，并实时渲染对应的肢体和面部表情，生成渲染视频信号，渲染视频信号发送给视频处理设备29，进而在全景全息投影设备21上实现全息投影。

具体而言，至少一躯干传感器镶嵌在动作捕捉服装内，手部传感器粘贴在手套上，足部传感器粘贴在足面或鞋面固定，头部传感器粘贴在帽子上固定，传感器电源接通，动作捕捉服装为莱卡面料的紧身衣，从而动作捕捉演员的实时动作转换为肢体信号被传送。面部捕捉设备对应动作捕捉演员的面部设置，捕捉动作捕捉演员的面部表演产生面部表情信号，面部表情信号被传送。渲染处理设备中的动作捕捉软件获取到肢体信号和面部表情信号，矫正动作捕捉人员的身形定位表演区域空间，渲染处理设备中渲染软件将动作捕捉演员渲染到虚拟角色中进行实时操控，得到渲染视频信号，渲染视频信号转换格式传输给视频处理设备29，视频处理设备29将渲染视频信号对应的全景全息投影装置21上，调整大小比例和空间位置，全息投影的虚拟人的动作和表情可随着动作捕捉演员的变化而实时变化。

当然，在一些实施例中，渲染处理设备产生的渲染视频信号直接反馈在动作捕捉区供动作捕捉演员自己监看自己的动作。

另外，本发明提供的演出系统还提供互动系统40，该互动系统40包括捕捉观众反应的观众摄像头和置于动作捕捉区的监看器，观众摄像头设置在舞台表演区上且对应观众区设置，捕捉观众在观影时的反应，得到观众影像，观众影像传送到监看器被显示，进而动作捕捉演员可实时查看观众的反应，进而针对性地做出互动反应，互动反应通过实时动作捕捉装置30反馈在虚拟角色上，从而达到虚拟角色和观众互动的表演效果。在本发明的实施例中，观众摄像头为星光级红外摄像头，像素为200万及以上。

另外，在一些实施例中，互动系统40另外包括设置在观众区捕捉舞台表演区影像的演出摄像头，获取舞台表演区的场景并反馈给监看器，以便于动作捕捉演员查看到自己在舞台表演区的位置和朝向。在本发明的实施例中，观众摄像头为星光级红外摄像头，像素为200万及以上。

全景声装置10置于演出场所播放实时的音频。全景声装置10至少包括设置在各个位置的扩声器设备11以及音频播放设备12，音频播放设备12至少包括音频播放控制器121和调音台122，音频播放控制器121连接调音台122的多声道声卡模块进行播放，调音台122外接扬声器设备11，从而将音频信号通过扬声器设备11播放给观众。且，调音台122接收MIDI同步信号与视频处理设备29进行音视频同步。

为了营造沉浸式的观影享受，扬声器设备11包括但不限于设置在舞台区的主扩声扬声设备111和舞台扬声器设备112，设置在观众区的环绕扬声器设备113，还另外包括麦克风设备114。

具体而言，主扩声扬声设备111包括但不限于设置在舞台表演区两侧的主扩声扬声器1111，设置在声桥的中间扬声器1112以及设置在舞台表演区底侧的次低频扬声器1113；环绕扬声器设备113包括但不限于设置在观众区四周的墙面扬声器1131以及设置在观众区顶侧的天花扬声器1132；舞台扬声器设备112包括但不限于设置在舞台表演区的返听扬声器1121，设置在舞台表演区前沿位置的台唇扬声器1122以及流动安装的舞台效果声扬声器1123；麦克风设备114包括但不限于获取动作捕捉演员声音的线麦克风、手持话筒以及无线领夹话筒。

另外，除了以上提到的演出设备，为了营造更好的沉浸式观影体验，本发明提供的演出系统的影像投影装置20另外包括前景投影设备23，前景投影设备23包括但不限于置于全息膜211和观众区之间的纱幕231和置于观众厅两侧的前景投影机232，该前景投影设备23可被应用于投影舞台效果影响，以提升观众的观感。在本发明的实施例中，前景投影机232采用激光投影机，纱幕231置于舞台表演区和观众区之间的衔接区域，包括至少两台激光投影机，两台激光投影机融合后将画面投射在纱幕231上。

另外，影像投影装置20包括侧墙投影设备24，侧墙投影设备24至少包括置于观众厅两侧的侧墙投影幕241以及置于观众区的侧墙投影机242，侧墙投影机242投影影像至侧墙投影幕241。当观众厅为墙体包围的空间时，侧墙投影幕241指代侧墙。

值得一提的是，侧墙投影幕241上还可投影观众的实时互动信息。此时，互动系统40中另外包括互动处理终端，互动处理终端获取观众的互动信息并将互动信息投影到侧墙投影幕241上，互动信息包括但不限于观众的实时弹幕信息，获取互动信息的方式包括但不限于观众的移动终端关注二维码获取独一无二的ID，并在移动端发送实时弹幕信息，传送给互动处理终端，互动信息被显示在侧墙投影幕241上。

另外，影像投影装置20还可包括天花投影设备25，天花投影设备25至少包括置于观众厅顶侧的天花投影幕252和天花投影机251，天花投影机251投影影像至天花投影幕252。当观众厅为墙体包围的空间时，天花投影幕252指代天花板。

当然，对应地，当影像投影装置20包括多个投影设备时，视频处理设备29至少包括多个对应投影设备的视频输出接口，对应不同投影设备的投影影像通过视频处理设备29被传送给不同的投影设备被投影，且保证视频同步。

在本发明的实施例中，该演出系统被应用到了剧院剧场，如图3所示，此时剧场的舞台表演区为一舞台，观众区为一墙体和天花板包围的空间，动作捕捉区为设置在舞台后台的空间，以一具体的剧场布置为例进行说明：

在该剧场中，影像投影装置20的设置情况如下：

全息投影设备21置于舞台上的前侧，其中，LED屏212平置于舞台地面上，舞台上搭建有全景膜框架，全景膜悬挂在全景膜框架上，全息膜211选择为宽12米、高8米，与地面呈45°角；LED屏212长12米、高5.52米，采用P2.5像素间距产品，整个LED屏212图像分辨率为4800×2208，占用6个高清视频输出通道。

背景影像设备22置于舞台后区，其中，背投幕221通过舞台吊杆悬挂，背投投影机222置于背投幕221后侧地面上，背投幕221选择为20米宽、6.95米高；背投投影机222选择为至少2台超短焦投影机，2台投影机进行融合后投射满整个背投幕221，背景影像画面的分辨率为1920×1080。

前景投影设备23置于舞台和观众之间的衔接区域，其中，纱幕231通过舞台吊杆吊挂，下沿配重，实现电动升降，纱幕231选择15.2米宽、8.5米高的纱幕231；前景投影机232选择为至少2台激光投影机，前景影像画面的分辨率为1920×1080。

侧墙投影设备24包括吊装下观众厅楼座下沿的侧墙投影机242，侧墙投影机242从观众厅楼座下沿两侧分别投射影像到左右两侧的墙面上，两个画面的分辨率可为1920×1080。

天花影像设备25包括置于两侧耳光室内的天花投影机251，天花投影机251从耳光室的空腔向天花板投射影像，天花影像的分辨率可为1920×1080。

扬声器设备11的设置情况如下：

主扩声扬声器设备111包括吊装在台口两侧的一组主扩声扬声器1111，设置在声桥内的中间扬声器，以及设置在乐池区域的次低频扬声器1113，其中主扩声扬声器1111距舞台高度2.5米，次低频扬声器1113的数量为4个。由于声辐射距离超过20米，选择线阵列扬声器作为主扩声扬声器1111。

舞台扬声器设备112包括在舞台天桥上吊装的返听扬声器1121，在舞台前沿放置的台唇扬声器1122，以及在舞台区域流动安装的舞台效果声扬声器1123，其中台唇扬声器1122可作为前排观众的补声，舞台效果声扬声器1123可作为主扩扬声器的补充，在舞台区域流动安装。其中返听扬声器1121，台唇扬声器1122和舞台效果声扬声器1123的数量均为2个。

环绕扬声器设备113包括设置在暗藏安装在墙面内的墙面扬声器1131，以及安装在吊顶上的天花扬声器1132，本实施例中为6个分别对应6个环绕声道的墙面扬声器1131，以及4个对应4个环绕声道的天花扬声器1132。

麦克风设备114包括固定在动作捕捉服装上的线麦克风，以及供主持人使用的无线领夹话筒，供观众使用的无线手持话筒，本实施例中，线麦克风的数量为1个，无线领夹话筒和无线手持话筒的数量均为4个。

其他配电设备不一一介绍，为常规现有的配电设计。

根据本发明的另一方面，本发明提供一沉浸式互动全景全息剧院演出方法：

步骤S1：在舞台表演区上间隔设置全息投影设备21和背景投影设备22，背景投影设备22置于全息投影设备21的后侧，且与全息投影设备21之间间隔真人表演区；

步骤S2：在动作捕捉区设置实时动作捕捉装置30，捕捉该动作捕捉区内的动作捕捉演员的肢体信号和面部表情信号；

步骤S3：绑定动作捕捉演员和虚拟角色，实时渲染肢体信号和面部表情信号，生成渲染视频信号，渲染视频信号发送给全景投影设备21投影虚拟角色；以及

步骤S4：通过摄像头获取观众反应反馈给动作捕捉演员，动作捕捉演员根据观众反应做出互动反应，互动反应通过实时动作捕捉装置30反馈在虚拟角色上。

另外，还可在舞台表演区设置前景投影设备23，在观众区设置侧墙投影设备24和/或天花影像设备25，关于影像投影装置20的具体设置方式和演出方式如上所述，不做累赘说明。

当然，沉浸式的演出不单单只包括视觉效果，另外还包括听觉效果。此时，该演出方法另外包括：设置全景声装置10，其中全景声装置10包括但不限于设置在舞台区的主扩声扬声器设备111和舞台扬声器设备112，以及设置在观众区的环绕扬声器设备113。其中关于全景声装置10的具体设置方式和演出方式如上所述，不做累赘说明。

本发明不局限于上述最佳实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种沉浸式互动全景全息剧院演出系统，置于演出场所，该演出场所包括舞台表演区、观众区以及动作捕捉区，其特征在于，包括：

全景声装置，影像投影装置，实时动作捕捉装置以及互动装置；

影像投影装置至少包括全息投影设备，背景投影设备以及视频处理设备，其中全息投影设备以及背景投影设备联通于视频处理设备得到投影影像，且全息投影设备以及背景投影设备均置于舞台表演区，背景投影设备置于全息投影设备远离观众区的一侧，并且和全息投影设备之间间隔一真人表演区，全息投影设备以全息投影技术投影至少一虚拟角色；

其中全息投影设备包括置于地面的LED屏和倾斜设置于LED屏的全息膜，全息膜和LED屏倾斜45°，背景投影设备包括背投幕和背投投影机；

实时动作捕捉装置至少包括设置有肢体传感器的动作捕捉服装，捕捉动作捕捉演员面部表演的面部捕捉设备以及渲染处理设备，渲染处理设备联通动作捕捉服装和面部捕捉设备，获取对应的肢体信号和面部表情信号；其中渲染处理设备绑定动作捕捉演员和虚拟角色，并实时渲染对应的肢体和面部表情，生成渲染视频信号，发送给视频处理设备，视频处理设备投射渲染视频信号至全息投影设备，全息投影虚拟角色；

互动装置至少包括对应观众区设置的捕捉观众反应的观众摄像头以及置于动作捕捉区的监看器；以及

全景声装置至少包括设置在演出场所的扩声器设备以及音频播放设备。

2.根据权利要求1所述的沉浸式互动全景全息剧院演出系统，其特征在于，影像投影装置包括前景投影设备，侧墙投影设备以及天花投影设备，其中前景投影设备至少包括置于舞台演出区和观众区之间的纱幕和置于观众厅两侧的前景投影机；侧墙投影设备至少包括置于观众厅两侧的侧墙投影幕以及置于观众区的侧墙投影机；天花投影设备至少包括置于观众厅顶侧的天花投影幕和天花投影机。

3.根据权利要求2所述的沉浸式互动全景全息剧院演出系统，其特征在于，互动系统包括互动处理终端，互动处理终端获取观众的互动信息并将互动信息投影到侧墙投影幕上，互动信息包括但不限于观众的观影反馈信息。

4.根据权利要求1所述的沉浸式互动全景全息剧院演出系统，其特征在于，视频处理设备包括至少2个视频接入接口和至少2个视频输出接口，视频接入接口分别接入渲染视频信号和设定的投影信号，视频输出接口将对应的信号传输给对应的投影设备。

5.根据权利要求1所述的沉浸式互动全景全息剧院演出系统，其特征在于，扬声器设备包括但不限于麦克风设备、设置在舞台区的主扩声扬声设备和舞台扬声器设备，以及设置在观众区的环绕扬声器设备，音频播放设备至少包括音频播放控制器和调音台，音频播放控制器连接调音台的多声道声卡模块进行播放，调音台外接扬声器设备。

6.根据权利要求5所述的沉浸式互动全景全息剧院演出系统，其特征在于，主扩声扬声设备包括但不限于设置在舞台表演区两侧的主扩声扬声器，设置在声桥的中间扬声器以及设置在舞台表演区底侧的次低频扬声器；环绕扬声器设备包括但不限于设置在观众区四周的墙面扬声器以及设置在观众区顶侧的天花扬声器；舞台扬声器设备包括但不限于设置在舞台表演区的返听扬声器，设置在舞台表演区前沿位置的台唇扬声器以及流动安装的舞台效果声扬声器；麦克风设备包括但不限于获取动作捕捉演员声音的线麦克风、手持话筒以及无线领夹话筒。.

7.一种沉浸式互动全景全息剧院，其特征在于，应用如上权利要求1到6任一所述的沉浸式互动全景全息剧院演出系统，其中，舞台表演区为舞台，观众区为墙体和天花板包围的空间，动作捕捉区为设置在舞台后台的空间。

8.根据权利要求7所述的沉浸式互动全景全息剧院，其特征在于，影像投影装置的设置情况如下：

全息投影设备置于舞台上的前侧，其中，LED屏平置于舞台地面上，舞台上搭建有全景膜框架，全景膜悬挂在全景膜框架上；

背景影像设备置于舞台后区，其中，背投幕通过舞台吊杆悬挂，背投投影机置于背投幕后侧地面上，背投投影机选择为至少2台超短焦投影机，2台投影机进行融合后投射满整个背投幕；

前景投影设备置于舞台和观众之间的衔接区域，其中，纱幕通过舞台吊杆吊挂，前景投影机选择为至少2台激光投影机；

侧墙投影设备包括吊装下观众厅楼座下沿的侧墙投影机，侧墙投影幕为侧墙；以及

天花影像设备包括置于两侧耳光室内的天花投影机，天花投影幕为天花板。

9.根据权利要求7所述的沉浸式互动全景全息剧院，其特征在于，扬声器设备的设置情况如下：

主扩声扬声器设备包括吊装在台口两侧的一组主扩声扬声器，设置在声桥内的中间扬声器，以及设置在乐池区域的次低频扬声器，主扩声扬声器为线阵列扬声器；

舞台扬声器设备包括在舞台天桥上吊装的返听扬声器，在舞台前沿放置的台唇扬声器，以及在舞台区域流动安装的舞台效果声扬声器；

环绕扬声器设备包括设置在暗藏安装在墙面内的墙面扬声器，以及安装在吊顶上的天花扬声器；以及

麦克风设备包括固定在动作捕捉服装上的线麦克风，以及供主持人使用的无线领夹话筒，供观众使用的无线手持话筒。

10.一种沉浸式互动全景全息剧院演出方法，其特征在于，包括以下步骤：设置全景声装置，在舞台表演区上间隔设置全息投影设备和背景投影设备，背景投影设备置于全息投影设备的后侧，且与全息投影设备之间间隔真人表演区；

在动作捕捉区设置实时动作捕捉装置，捕捉该动作捕捉区内的动作捕捉演员的肢体信号和面部表情信号；

绑定动作捕捉演员和虚拟角色，实时渲染肢体信号和面部表情信号，生成渲染视频信号，渲染视频信号发送给全景投影设备投影虚拟角色；

通过摄像头获取观众反应反馈给动作捕捉演员，动作捕捉演员根据观众反应做出互动反应，互动反应通过实时动作捕捉装置反馈在虚拟角色上。