CN116139471A - 一种互动观影系统-梦幻乘骑 - Google Patents

Abstract

本发明公开了一种互动观影系统，包括观影子系统和互动子系统，以及实时视频图像处理模块。实时视频图像处理模块，将互动子系统的输出数据与观影子系统中的视频图像进行融合处理，使得观影者产生沉浸式互动观影体验。观影者乘坐的座椅设有操作界面，该操作界面与互动子系统连接。互动子系统包括互动系统数据获取模块、本地数据运算模块。观影子系统包括音频处理模块、特效发生模块。观影者通过操作界面产生的互动数据，通过互动子系统与观影子系统经过实时视频图像处理模块进行融合。互动观影系统还包括车体运动系统以及体感反馈系统，观影者的座椅被设置在车体运动系统中，车体在观影区域内受控行驶或者停止。

Description

一种互动观影系统-梦幻乘骑

技术领域

本发明属于多媒体技术领域，特别涉及一种互动观影系统。

背景技术

现有的大型游戏娱乐项目，通常都融合了故事线、机模造景、乘骑系统、光影系统、特效系统的集成类项目，例如有一个名称为黑暗乘骑的观影娱乐项目，就是其中一种。这类观影系统已经有了固定的成熟模式，通过更改固定影视内容来达到吸引游客。观察这类项目的运行，可以发现：

由于是固定式剧情或者影片播放，单个项目的体验内容是固定设置的，无法进一步提升观影体验；

虽然部分项目也有沉浸式体验内容，主体仍然以观看影片或者道具为主，通过听觉嗅觉以及震动产生的体感来吸引游客，缺少了互动性游戏的体验。

发明内容

本发明的一个方面，一种大型沉浸式互动观影系统。该互动观影系统包括智能互动系统、互动系统数据获取模块、本地数据运算模块、沉浸观影系统、音频处理模块、特效发生模块、实时视频图像处理模块、车体运动系统以及体感反馈系统共同组成完整的可登录的单人或者多人沉浸互动观影系统，克服现有互动观影体验的单一性，增强了参与者或者观影者的互动体验感和沉浸感。

本发明的另一个方面，一种互动观影系统，将数字观影内容与观影互动以及互动游戏进程结合，通过控制观影内容的视频处理主机以及观影游客的座椅车体控制设备，以及观影者操控进行观影互动的设置于座椅的触摸平板，并通过脚本语言使触摸屏可以实时完成与观影屏幕或投影的内容进行实时互动，并对互动数据进行记录，在观影游玩结束后上传至服务器。不仅可以根据游客互动效果来更改数字呈现内容，还实现了大型娱乐设施多人同时互动的功能。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1根据本发明实施例之一的互动观影系统组成示意图。

具体实施方式

根据一个或者多个实施例，一种互动观影系统，在互动观影系统包括观影子系统和互动子系统，以及实时视频图像处理模块。实时视频图像处理模块将所述互动子系统的输出数据与所述观影子系统中的视频图像进行融合处理，使得观影者产生沉浸式互动观影体验。观影者乘坐的座椅设有操作界面，该操作界面与互动子系统连接。所述的操作界面可以采用触摸互动平板，该互动平板设置在座椅上，具有可伸缩支架。可以通过脚本语言编写互动平板与系统控制主机进行观影者或者观影游客与视频影片互动的数据的实时传输。

位于系统主机的实时视频图像处理模块根据获得的互动实时数据，智能判断观影的数字内容变化，并通过该数字内容相应参数传输至六自由度的座椅车体车架上，进而反馈出相应体感效果。进一步的，还可以通过无线网络将互动游玩数据传输生成相应积分奖励，最终实现线下与线上完整的互动体验。

本公开的互动观影系统，使观影游客可以在游玩体验观影的同时，到达固定互动区域后可以进行互动体验。在互动时，控制数字内容播放的主机会接收所有触控平板的数据传输，并最后通过预设研发的控制算法智能判断出观影游客的互动数据，或者发放隐藏奖励，触发隐藏剧情。本公开通过脚本语言将座椅互动平板，与数字观影内容控制的计算机相连，对游客互动时的参数进行记录，最终现实能根据游客游玩情况来改变数字观影内容，形成以游客为中心的游玩剧情在传输数据至主机的同时，也会单独记录观影游客的互动数据，并自动换算相应互动积分，在观影结束后传输至客户终端，最终生成线上积分，实现大型娱乐设施多人同时互动的功能。

根据一个或者多个实施例，一种互动观影系统，通过设置触控平板，匹配观影游客的信息，包括年龄和互动需求，观影体验者调整互动体验效果。

在座椅上触控平板与控制中心计算机之间另有一套物联智能处理系统，触控中心可以传输信号于控制中心主机，控制中心主机可以根据收集获得的体验者的互动的数据，通过状态机算法来控制播放的视觉内容以及体验设备的运动方式，使座椅底部六自由度平台可以完成升降，震动，横倾，纵倾，三个直线运动的动作；在完成互动操作后，小型处理器可以将处理后的数据最终再传回网络终端。

该系统具体操作步骤为：

步骤一，在游玩开始前，通过登录本方APP或者微信上本方小程序，通过小程序API接口结合相关SDK连接至云端用户数据库，在进行游玩前提前选择座位和游玩模式，在选择后通过TCP协议传输至单独的座位上的控制系统中，根据用户需求来关闭或者启动互动模式。

步骤二，游玩时根据视频呈现方式分为智能互动模式和普通观影模式：

1)在智能互动模式下，视频由Unity游戏引擎实时渲染技术(Real-time AnimatedStorytelling)，根据模型的动画状态机和虚拟镜头的运动切换来展现动态画面，通过TCP通信来采集用户的交互数据，并再传输至视频控制的主计算机，并计算交互数据，在其值大于当前场景的定值时，进行unity当前场景(Sence)的切换，或者对目前虚拟灯光的位置以及模型动画状态的切换，实现画面上的交互，一个场景可以设置多个定值，来增加交互内容。

2)在普通观影模式下，根据视频选定动点，作为特征跟踪点，根据跟踪点运动轨迹曲线，不同特征跟踪点运动轨迹曲线以不同特征进行跟踪，然后动轨迹曲线标签上传至动感座椅的控制系统，控制系统同时控制座椅底部的六自由度平台和旋转平台，根据曲线来调整动感座椅底下的六自由度平台的倾斜角度，倾斜速度，以及旋转平台的旋转角度，通过旋转平台的旋转造成冗余角度，通过改变人体物理上重心的变化的刺激人体的感官；

如图1所示，本公开的互动观影系统，包括：

智能互动系统。在观影游客座椅前侧安装有可伸降式触控平板，触控平板由一套升降式支架，屏幕以及摄像头组成。本公开的互动识别方式，将卡尔曼滤波算法引入其中，实现了手势识别互动功能。经过屏幕前部摄像头捕捉，可以直接绘制出运动路线图，通过跟踪算法卡尔曼滤波算法来动作的捕获，捕获的数据，数据将会被记录，并通过TCP传输至本地图形数据库，来筛选匹配相近的动作，从而进行手势的判断与识别，包括左手，右手，手的伸出放下，手的挥动等基础动作。而在屏幕的触摸上，通过按键滑动，触碰，通过检测手指碰到中心处的UI来进行识别，在识别后，触控屏版将会把互动的结果进行记录，并通过无线网络传输至控制中心计算机，最后在计算机计算后生成指令，来调整播放的影视情节与其他动态装置，包括互动装备本身动态互动，影音设备互动和其他特效发生装置效果，具体表现在互动装备的震动动态，环境模拟声音，环境模拟灯光，湿度调节器，水雾，人造冷热风，温度，气味。

互动系统参数获取模块。在每个座椅前的互动平板上都有两套互动系统，一种是目前常见平板操作系统，包括Android操作系统以及IOS操作系统，另一种是目前的摄像头捕捉图像识别系统(手势识别)，在平板操控模式下，在用户使用该系统时会通过互动屏幕触摸点获取用户的触摸位置参数，触摸频率参数，并根据此两项参数得到用户的有效互动率，包括触控位置的准确率以及在互动时的触控频率，最后相应参数会进行计算并生成一个当前用户的“互动参数”。而在手势识别实现互动时，仅需要对用户单独的动作进行图形判断，在判单后会得到用户手势正确或者用户手势错误两种结果，在用户手机正确时，用户的“互动参数”会增加上手势正确相应的固定数值，手势错误时则不计入计算。

本地数据运算模块。在用户单个互动结束后，互动平板的互动系统参数获取系统会将各个用户的本地“互动参数”通过TCP协议，由主控制程序SDK接口传入主控制程序，主控制程序安装于主计算机中，由Unity编写而成，在获取“互动参数”后会将所有获取的数值相加得到一个当前所有用户所互动的本地“互动总值”，通过将“互动总值”与主控制程序中预设影片设定的数值区间进行对比判断，当“互动总值”在相应区间中时，主控制程序，会调用影片播放的函数，通过固定区间来判断播放相应视觉内容，然后由实时视频图像处理模块进行实时渲染互动内容或者播放已经预设的影片内容，实现了根据用户的互动生成不同的视觉内容的功能。在用户所有的互动结束后，本地数据运算模块会将各个用户的“互动参数”，“互动总值”，以及播放的视觉内容的对应参数一起保存于本地数据库。

音频处理模块。音频处理模块与实时视频图像处理模块相连接，通过实时视频图像处理模块生成的音频的调用参数来转化成输出信号，再将信号传输至各个配套吸顶式音响，环绕音响，重低音音响。在互动模式下，音频处理模块根据实时渲染生成画面所产生的音频数据参数，调整成不同的音频频幅波形，从而调整用户在观影时能感受与视觉内容相匹配的音量的大小变化，给与用户在实时互动时的观影真实感。

在互动时，音频处理解码模块也会将不同频率、幅值的音频数据上传至云端音频数据库，便于之后的反馈调整。在音频处理模块中的驱动模块会对实时互动内容的音频曲线数据传输给车体运动系统，使控制车体运动系统的执行机构(车体六自由度结构，座椅震动装置)做出振动动作，以音频数据特征曲线的变化，来调整车体运动系统的运动幅度。

特效处理模块。将特效处理模块与实时视频图像处理模块相连接，可以获取实时视频图像处理模块所生成的实时特效发生参数，根据参数来启动或关闭各个配套烟雾发射器，闪光灯，冷热风生成器，激光灯，全息屏，水滴灯等特效发生设备，做到与视觉内容，声音，同时生成。在互动模式下，计算机需要处理大量的信息，信息包括了视觉内容实时的切换与各个配套效果的切换，特效发生器是最难实时同步发生的，因为各个发生器的启动快慢不同因此会产生一定延迟，而通过将特效处理模块与实时视频图像处理模块相连接，在实时互动的视频效果出现之前，计算机可以对比特效发生器的延迟时间与视觉效果的呈现时间从而提前开启特效发生器，实现视觉内容与现实特效同时发生，对用户的各个感官产生同步刺激，使视觉内容更加逼真，让互动的效果最大化。

实时视频图像处理模块。视觉内容由纯观影模式和互动模式组成，根据本地数据运算模块中的参数，实时视频图像处理模块会对接下来播放的影片进行判断，是播放纯观影的视频文件，或者转为互动模式，通过实时模型渲染来展现视觉内容。在互动模式下的视觉效果是由Unity游戏引擎实时渲染技术(Real-time Animated Storytelling)来生成的，根据模型的动画状态机和虚拟镜头的运动切换来展现动态画面。在互动模式下，视频视觉内容会由主控制计算机实时进行渲染生成，可以根据游客的互动情况来呈现出不同的画面，从而给与游客不同的观影感受。而与视频视觉内容所匹配的音频与现实特效效果，实时视频图像处理模块也根据程序运算生成相应的音频与特效参数，实现实时音频和特效变化。实时视频图像处理模块可以灵活的改变影视的输出声音信号，内容，图形，配合特效处理模块以及音频处理模块实现传统影视播放无法展现的趣味性观影体验。

车体运动系统。座椅车体底盘有一个内置控制电脑，通过TCP协议来接收主控制计算机生成的行进路线图，来确定车体的行驶方向，在行驶中可以根据路线的改变进行转向，倒车，前进，并根据程序的参数来确定车体的行驶速度，实现车体行驶、车体制动、车体加速、车体减速。在整个观影过程中，观影者或者游戏参与者，可以乘坐车辆或者载具列车，在观影的同时按照预设的路径或者通道移动。在移动路径上设有互动区域，也有非互动区域。互动不是全程的，只有在特定区域才会有，出于安全和互动效果等因素考虑，在互动时车辆载具是停止状态的。非互动影片区域载具是运动状态的，但是影片投影的点是固定的。在到达不同区域时，主控制计算机会根据车前的雷达传感器来识别是否停在互动观影区域，判断是否需要互动，判断为互动场景时，车辆会进行减速前进，并通过传感器对互动的点位标识进行识别，并测算出距离固定的停车点位距离目前车体的距离，对车辆位置进行更加精确的调整。

体感反馈系统。观影游客的体感主要由车体内的六自由度运动平台系统，旋转平台系统以及动感座椅系统所组成，车体内置控制电脑，通过接收主控制计算机将视频内容生成运动轨迹曲线参数，内置控制电脑分别连接着车体行驶系统，车体制动系统，六自由度运动平台系统，旋转平台系统和动感座椅系统，使其可以根据游客所见视频内容同时做出反馈，包括实现车体行驶，车体制动，车体加速，车体减速，六自由度平台倾斜，上仰，低俯，旋转，以及动感座椅的震动，互动屏幕支架的伸缩功能。六自由度平台在运动时，通过伺服液压缸驱动，在体验时可以提供操作者逼真的瞬时过载动感，实现配合视觉内容的冲击感实现配合影片互动的瞬时逼真体感，同时动感座椅底部也配备有震动装置，可以提供持瞬时体感之外的续性的震动，从而实现持续性体感，让人能在体感上能多层次体验。为了保证用户的安全性，在车体的座椅上，也安装有传感器，模块包括用于感知车体上座椅加速度的加速度传感器子模块和用于感知电影座椅所受压力的压电晶片子，传感器可以读取座椅用户的体重参数、座椅的振动频幅特征和位移运动特征，传感器所获取的数据会实时显示与工作人员的控制面板上，工作人员可以随时根据情况进行关闭体感效果，使体感反馈系统在实现逼真体感的同时拥有安全保障。

智能互动系统，与体感反馈系统的连接，其控制步骤包括：

步骤一，智能互动系统通过读取并分析视频内容，根据游戏内容智能生成的实时的动点，根据这些动点连接生成运动轨迹。

步骤二，运动轨迹会实时记录视觉内容内，视觉内容内虚拟的“主人公”(游客)会根据运动轨迹发生位置形态上的变化，在“主人公”的视角呈现是以unity内的虚拟摄像机作为主视角。

步骤三，根据轨迹首先进行方向角度的判断，在判断结束后，将座椅运动指令传入体感反馈系统，生成引发座椅发生偏转、震动，以及位移等运动的指令。步骤四，座椅车体根据体感反馈系统的指令，最后驱动座椅车体内置运动组件，实现持续性震动。

本地数据库。本地数据库主要作为本系统中各类数据的一个中转站和处理中心，包括了互动时的互动数据，游玩时音频转变的数据，视觉内容所产生的数据，但主要以处理玩家的互动数据为主。在每个座椅前的触控互动平板在互动时都会记录互动的数据，并本地数据运算模块转换成相应基础积分，然后将互动数据与基础积分一起通过TCP协议，传输至存储计算机，存储计算机(主控制计算机)会将接收到的数据先进行计算，然后在互动开始时通过智能互动系统进行判断是否需要进行视频内容上的改变。在全部的互动结束后，存储计算机再将收集的所有数据以及积分进行分包传输至云端数据库，实现互动数据的备份。

云端数据库。云端数据库与本地数据库实现了整个系统数据的线上与线下的对接，其中云端数据库有三个主要的功能。第一个，可以被用于保存本地数据库传输的数据，可以通过分散式服务器包括公司的数据库基地本地存储，第三方云数据存储，来对本地数据进行线上存储备份，从而避免数据的累积内存消耗。第二个，可以用于线上线下的连接，除了从本地数据库上传数据于云端数据库之外，本地数据库也可以从云端数据库中获取相关数据，例如通过更新云端数据内容，本地可以直接通过5G网络快速获取新数据内容，可以用于新特殊道具的展示，新场景、新本地视觉内容的远程快速更新，通过云端更新本地游玩内容。第三个，利用云端服务器作为大数据中心，可以将各个游客的互动存入个人账号，转化为个人积分，从而可以进行实体物品的兑换购买，同时为线下本地数据库提供保障工作。

因此，本发明的技术方案，如果涉及到类似梦幻乘骑这样的游乐项目的观影系统中，可以分为两种类型：一种是没有互动的立体投影，一种是可以互动影片。互动影片是使用游戏引擎实时渲染实现的，是游戏程序与3D投影技术的结合，每一个定制的动感座椅搭载的平板电脑就是一个游戏的客户端，与投影机连接的电脑主机同时还是特殊客户端+游戏服务器，这里游戏服务器也可以独立设立，这要看具体的数据量而定。观影游客在游玩时可以选择使用小程序扫码或者使用游客身份登录平板电脑的游戏客户端，进入互动区域后可以使用平板电脑的虚拟摇杆、手势识别、人体识别以及外接设备等多种方式进行互动操作。所有客户端的操作数据会通过网络传输到游戏服务器，经过游戏服务器处理后的数据再传到特殊客户端做最终的效果展示。互动过程中，动感座椅会根据互动的内容会有震动或者喷雾下雨等增强体感的特效。

本发明的有益效果，是将传统观影系统与信息网络相结合，通过物联网技术以及智能互动技术将虚拟世界与传统沉浸式娱乐设施相结合，使游客可以在游玩时获得更多的体验，实现了大型娱乐设施能够多人同时互动的功能。并可以根据游客互动效果来更改数字呈现内容，记录游客互动所获的线下积分并最后转化为游客客户端内的线上积分，从而使游客可以持续在线上进行二次互动。因此，将本公开的互动观影系统与游戏相结合，可以产生支持大型多人的互动系统，从而实现现实中大型娱乐设施与网络游戏等虚拟产物相结合，实现将元宇宙虚拟世界内与现实相结合的娱乐体验。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (9)

1.一种互动观影系统，其特征在于，该互动观影系统包括观影子系统和互动子系统，以及实时视频图像处理模块，

实时视频图像处理模块，将所述互动子系统的输出数据与所述观影子系统中的视频图像进行融合处理，使得观影者产生沉浸式互动观影体验。

2.根据权利要求1所述的互动观影系统，其特征在于，观影者乘坐的座椅设有操作界面，该操作界面与互动子系统连接，

互动子系统包括互动系统数据获取模块、本地数据运算模块，

观影子系统包括音频处理模块、特效发生模块，

观影者通过操作界面产生的互动数据，通过互动子系统与观影子系统经过所述实时视频图像处理模块进行融合。

3.根据权利要求2所述的互动观影系统，其特征在于，所述座椅还设置有摄像头，用以捕捉观影者的手势或者姿态，获取观影者的互动指令。

4.根据权利要求2所述的互动观影系统，其特征在于，所述互动观影系统还包括车体运动系统以及体感反馈系统，所述观影者的座椅被设置在车体运动系统中，车体在观影区域内受控行驶或者停止，体感反馈系统包括多个运动自由度，根据观影视频做出相应的姿态调整。

5.根据权利要求4所述的互动观影系统，其特征在于，所述座椅为多个成排和/或成列设置于整体车体车架上。

6.根据权利要求1所述的互动观影系统，其特征在于，所述互动观影系统还包括音频处理模块与实时视频图像处理模块相连接，通过实时视频图像处理模块生成同步匹配音频效果参数后传输至观影区域的视频音响输出设备。

7.根据权利要求1所述的互动观影系统，其特征在于，所述互动观影系统还包括特效处理模块，该特效处理模块与实时视频图像处理模块相连接，获取实时视频图像处理模块所生成的实时特效发生参数，根据参数来启动或关闭与视频影像或者音频匹配的特效发生器。

8.根据权利要求1所述的互动观影系统，其特征在于，所述本地数据运算模块通过互动界面获取并且保存观影者的互动参数，将互动参数想加后获得互动总值，记录保存与互动总值对应的视频播放参数。

9.根据权利要求8所述的互动观影系统，其特征在于，根据本地数据运算模块中的参数，实时视频图像处理模块对将要播放的视频影片进行判断，

在互动模式下，根据观影者的互动参数来呈现出不同的画面，从而给观影者不同的观影感受。

Images