CN112291542A - 一种封闭式多面投影的显示方法及系统 - Google Patents

Abstract

本发明公开了一种封闭式多面投影的显示方法及系统，包括：对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应；每个投影画面对应的客户端均获取服务器端下发的同步指令，所述同步指令包括时间针节点、容错系数和纠错时间；将获取到的时间针节点与客户端的显示时间进行差值计算，得到时间偏移量；当时间偏移量在容错系数范围内，则保持当前视频流继续投影；当时间偏移量不在容错系数范围内，则通过时间针节点对当前视频流进行矫正后投影；实现了投影画面的无断裂显示，提高了参与者的观看和体验感。

Description

一种封闭式多面投影的显示方法及系统

技术领域

本发明涉及投影显示技术领域，尤其涉及一种封闭式多面投影的显示方法及系统。

背景技术

在现有的剧场中放映电影、广告等影像时，将二次元影像投放在放映厅正面所配置的平面屏幕上。例如，影片可以以三维动画的形式展示水污染、大气污染、土地荒漠化、全球变暖等人类的行为造成自然环境的破坏为内容，让观众感受到大自然对人类破坏环境行为的惩罚，使观众完全沉浸在逼真的模拟环境危机之中并唤醒大家保护环境和可持续发展的意识。

但是现有技术中，对于沉浸式视频播放环境，例如多面环绕的视频播放环境，通常根据固定的视频源，以固定的方式向观赏者呈现视频内容，当存在多个投影画面显示叠加时，将造成相邻投影画面之间的断裂显示，无法给予满足观赏者流畅性的观赏或体验需求。

发明内容

基于背景技术存在的技术问题，本发明提出了一种封闭式多面投影的显示方法及系统，实现投影画面的无断裂显示，提高了参与者的观看和体验感。

本发明提出的一种封闭式多面投影的显示方法及系统，包括：

对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应；

每个投影画面对应的客户端均获取服务器端下发的同步指令，所述同步指令包括时间针节点、容错系数和纠错时间；

将获取到的时间针节点与客户端的显示时间进行差值计算，得到时间偏移量；

当时间偏移量在容错系数范围内，则保持当前视频流继续投影；

当时间偏移量不在容错系数范围内，则通过时间针节点对当前视频流进行矫正后投影。

进一步地，在所述对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应之前，对每个投影画面与投影幕墙贴合度的进行调整，具体包括：

对投影画面进行纹理网格分块，根据网格分块后的每个顶点依次排序绑定对应的图像坐标；

通过拉伸网格分块的顶点，对投影画面进行投影区域调整，得到拉伸后的投影画面；

通过Direct3D程序对拉伸后的投影画面进行图像光栅化处理和插值处理，得到处理后的投影画面；

当处理后的投影画面达到设定的投影区域，则停止拉伸网格分块的顶点，完成投影画面的矫正；

当处理后的投影画面未达到设定的投影区域，则继续拉动网格分块的不同顶点，重复以上操作，直至处理后的投影画面达到设定投影区域。

进一步地，在对每个投影画面与投影幕墙贴合度的进行调整之后，对投影区域中的相邻投影画面进行拼接融合，具体包括：

对拉伸后的所有顶点创建顶点格式，得到M×N个顶点格式，所述每个顶点格式包含UV坐标、顶点坐标以及顶点颜色；

修改顶点颜色值，得到相邻投影画面之间亮度平滑过渡的纹理融合；

根据投影变换，将当前纹理融合后的投影画面进行投影显示。

进一步地，在修改顶点颜色值，得到相邻投影画面之间亮度平滑过渡的纹理融合中，包括：

计算每个纹理网格分块中纹理点的亮度；

提取相邻纹理网格分块拼接处，得到相邻投影画面之间的亮度平滑过渡区域；

根据正弦函数曲线计算亮度平滑过渡区域的新亮度值；

根据新亮度值对亮度平滑过渡区域进行纹理融合。

进一步地，在所述根据投影变换，将当前纹理融合后的投影画面进行投影显示中，投影变换是投影矩阵、视口矩阵和世界矩阵相乘所获取的新矩阵。

进一步地，在所述每个投影画面对应的客户端均获取服务器端下发的同步指令中，所述同步指令是服务器端通过UDP广播向每个客户端实时发送的指令。

一种封闭式多面投影的显示系统，包括拼接融合模块、获取模块、计算模块、投影模块和矫正模块；

拼接融合模块用于对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应；

获取模块用于每个投影画面对应的客户端均获取服务器端下发的同步指令，所述同步指令包括时间针节点、容错系数和纠错时间；

计算模块用于将获取到的时间针节点与客户端的显示时间进行差值计算，得到时间偏移量；

投影模块用于当时间偏移量在容错系数范围内，则保持当前视频流继续投影；

矫正模块用于当时间偏移量不在容错系数范围内，则通过时间针节点对当前视频流进行矫正后投影。

本发明提供的一种封闭式多面投影的显示方法及系统的优点在于：本发明结构中提供的一种封闭式多面投影的显示方法及系统，可以通过多面包围的投影幕墙加地面投影幕墙，组成一个沉浸式剧场，使观众有种身临其境的视觉享受，再加上烟雾、造雪、闪电等配合的触觉感受，给观众增添一分真实的体验；通过1至多个投影机对客户端的显示的画面投影到投影幕墙上，当同一个投影幕墙上，如果存在两个及以上投影画面，则通过对相邻投影画面的拼接融合，然后对每个客户端的视频流进行同一时间的显示调整，防止整个投影画面会有错位和撕裂感，实现视频的流畅性显示。

附图说明

图1为本发明的结构示意图；

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

如图1所示，本发明提出的一种封闭式多面投影的显示方法，包括：

S1：对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应；

投影画面通过投影机将客户端的显示画面投影显示的画面。

S2：每个客户端的投影画面对应的客户端均获取服务器端下发的同步指令，所述同步指令包括时间针节点、容错系数和纠错时间；

其中，所述同步指令是服务器端通过UDP广播向每个客户端实时发送的指令；时间针节点是服务器端针对不同帧投影画面对应的时间点，不同客户端上自身存在系统时间，理论上同一帧投影画面对应的系统时间与时间针节点是一致的；容错系数为客户端显示投影画面可偏移服务器端的范围；纠错时间是客户端相应服务器端的时间间隔，例如纠错时间是10秒，则表示虽然客户端实时获取服务器端下发的同步指令，但是每个客户端均每隔10秒才会根据当前时间针节点进行响应反馈。

S3：将获取到的时间针节点与客户端的显示时间进行差值计算，得到时间偏移量；

其中客户端的显示时间即为客户端系统自带的时间，因此两个时间之间的差值，即为当前视频流实际显示与预定显示

由于不同客户端在显示投影画面的过程中，视频流可能存在时间差，因此该时间差即为时间偏移量。

S4：当时间偏移量在容错系数范围内，则保持当前视频流继续投影；

S5：当时间偏移量不在容错系数范围内，则通过时间针节点对当前视频流进行矫正后投影。

当时间偏移量不在容错系数范围内，客户端将来自服务端数据中的影片时间针节点设置为当前视频的时间针节点，以对当前客户端视频流的校正，从而保证所有客户端视频画面的同步，使得最终所有投影画面无时间差显示。

通过步骤S1至S5，可以通过多面包围的投影幕墙加地面投影幕墙，组成一个沉浸式剧场，使观众有种身临其境的视觉享受，再加上烟雾、造雪、闪电等配合的触觉感受，给观众增添一分真实的体验。

需要说明的是，通过1至多个投影机对客户端的显示的画面投影到投影幕墙上，当同一个投影幕墙上，如果存在两个及以上投影画面，则通过对相邻投影画面的拼接融合，然后对每个客户端的视频流进行同一时间的显示调整，防止整个投影画面会有错位和撕裂感，实现视频的流畅性显示。

进一步地，在S1：所述对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应之前，对每个投影画面与投影幕墙贴合度的进行调整，具体包括：

S101：对投影画面进行纹理网格分块，根据网格分块后的每个顶点依次排序绑定对应的图像坐标；

S102：通过拉伸网格分块的顶点，对投影画面进行投影区域调整，得到拉伸后的投影画面；

将大的投影画面纹理切割划分后，形成各个矩形框，每个矩形框的顶点依次排序绑定对应的图像坐标，因此通过拉伸顶点，以改变矩形框中每个像素的显示位置，直至投影画面与投影幕墙在视觉上贴合，完成对投影画面的显示调整。

实际操作图像变形时，因为顶点很多，通过以点带线，以线带面的形式，调整单个区域的图像，根据实际中投影机与投影幕的安装情况，可以灵活的调整图像变形，达到将图像铺满投影幕的目的。

S103：通过Direct3D程序对拉伸后的投影画面进行图像光栅化处理和插值处理，得到处理后的投影画面；

在实际操作的过程中，每次拉伸一个顶点，均通过步骤S103对当前投影画面进行以上图像处理，直至达到步骤S104。

S104：当处理后的投影画面达到设定的投影区域，则停止拉伸网格分块的顶点，完成投影画面的矫正；

S105：当处理后的投影画面未达到设定的投影区域，则继续拉动网格分块的不同顶点，重复以上操作，直至处理后的投影画面达到设定投影区域。

在步骤S101至S105中，通过对每个客户端投影显示之前对投影画面的投影区域进行调整，使得最终投影显示中，不会因为投影画面与投影幕墙未贴合而造成视觉上的缺陷，从而影响最终的体验感。

进一步地，在通过步骤S101至S105的对每个投影画面与投影幕墙贴合度的进行调整之后，对投影区域中的相邻投影画面进行拼接融合，具体包括步骤S111至S113：

S111：对拉伸后的所有顶点创建顶点格式，得到M×N个顶点格式，所述每个顶点格式包含UV坐标、顶点坐标以及顶点颜色；

其中UV坐标定义了投影画面上每个顶点的位置信息，这些点与3D模型是相互联系的，以决定投影画面纹理分块的位置，UV就是将投影画面上每一个顶点精确对应到3D模型物体的表面；顶点坐标是3D模型在三维空间中的位置信息，令顶点坐标的Z轴取值为零，从而实现3D模型所有顶点都在一个平面。具体地，可以另每个顶点格式中的UV坐标取值范围为(0,1)、顶点坐标的取值范围为(-1,1)；其中3D模型为形成纹理分块的最小单元，本领域技术人员可以根据现有UV坐标的定义去理解；顶点颜色即为当前顶点在对应投影画面位置对应的显示颜色。

S112：修改顶点颜色值，得到相邻投影画面之间亮度平滑过渡的纹理融合；具体包括：

S121：计算每个纹理网格分块中纹理点的亮度；

S122：提取相邻纹理网格分块拼接处，得到相邻投影画面之间的亮度平滑过渡区域；

S123：根据正弦函数曲线计算亮度平滑过渡区域的新亮度值；

S124：根据新亮度值对亮度平滑过渡区域进行纹理融合。

相邻投影画面之间的定点颜色值可能不同，为了实现相邻投影画面之间的无断裂显示，可以通过修改相邻处的顶点颜色值，在修改顶点颜色值中，亮度平滑过渡区域可以通过以下方式实现：(1)对相邻叠加处的顶点颜色值取平均值，通过正弦函数曲线对平均值进行调整，得到新亮度值，通过新亮度值对亮度平滑过渡区域进行纹理融合；(2)可以根据相邻投影画面的整体显示趋势，对相邻处的颜色值进行调整，并可以实际显示是否有断裂性来微调相邻处的颜色值，通过正弦函数曲线对新的相邻处的顶点颜色值进行调整，得到新亮度值，通过新亮度值对亮度平滑过渡区域进行纹理融合。

S113：根据投影变换，将当前纹理融合后的投影画面进行投影显示。

其中投影变换是投影矩阵、视口矩阵和世界矩阵相乘所获取的新矩阵。

投影矩阵通过设置客户端屏幕的比例参数、远近可见阈值来获得，在本申请中，投影变换可以通过D3DXMATRIX函数结构得到，可以另fovy＝1.57f，Aspect＝1.0f，zn＝0.01f，zf＝1000.0f，其中，fovy表示观察时y轴方向的角度(弧度)，就是指观察范围夹角，Aspect表示纵横比，在视空间宽度除以高度，zn表示近裁剪面位置z值，zf表示远裁剪面位置z值，1.57f中的f表示浮点型数据类型float的后缀。远近可见阈值即为zn和zf。在实际应用的过程中，fovy、Aspect、zn、zf参数均可以根据实际需要进行修改设定。

视口矩阵通过设置客户端位置坐标、所投影到投影幕墙的位置坐标以及方向向量来获得，世界矩阵是通过平移矩阵、缩放矩阵以及旋转矩阵按照顺序相乘来获得。需要理解的是，投影矩阵、视口矩阵、世界矩阵可以现有图像转换中所使用的转换方式。

用于本申请封闭式多面投影的显示方法的显示装置，包括服务器、客户端和投影机，服务器与客户端通过交换机连接，客户端的输出端与投影机的输入端连接，投影机的投影区域前方设置有投影幕墙，

具体地，本申请中可以设置1个服务器、6个客户端和12个投影机，每个客户端分别与两个投影机连接，还可以另外设置特效装置系统，例如频闪灯、烟雾机、雪花机、泡泡机等设备，可以根据影片的情节的设计营造出四维空间的互动感官体验。

因此通过3面包围的投影幕墙加地面投影幕墙，组成一个沉浸式剧场，使观众有种身临其境的视觉享受，再加上烟雾、造雪、闪电等配合的触觉感受，给观众增添一分真实的体验。

一种封闭式多面投影的显示系统，包括拼接融合模块、获取模块、计算模块、投影模块和矫正模块；

拼接融合模块用于对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应；

获取模块用于每个投影画面对应的客户端均获取服务器端下发的同步指令，所述同步指令包括时间针节点、容错系数和纠错时间；

计算模块用于将获取到的时间针节点与客户端的显示时间进行差值计算，得到时间偏移量；

投影模块用于当时间偏移量在容错系数范围内，则保持当前视频流继续投影；

矫正模块用于当时间偏移量不在容错系数范围内，则通过时间针节点对当前视频流进行矫正后投影。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种封闭式多面投影的显示方法，其特征在于，包括：

对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应；

每个投影画面对应的客户端均获取服务器端下发的同步指令，所述同步指令包括时间针节点、容错系数和纠错时间；

将获取到的时间针节点与客户端的显示时间进行差值计算，得到时间偏移量；

当时间偏移量在容错系数范围内，则保持当前视频流继续投影；

当时间偏移量不在容错系数范围内，则通过时间针节点对当前视频流进行矫正后投影。

2.根据权利要求1所述的封闭式多面投影的显示方法，其特征在于，在所述对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应之前，对每个投影画面与投影幕墙贴合度的进行调整，具体包括：

对投影画面进行纹理网格分块，根据网格分块后的每个顶点依次排序绑定对应的图像坐标；

通过拉伸网格分块的顶点，对投影画面进行投影区域调整，得到拉伸后的投影画面；

通过Direct3D程序对拉伸后的投影画面进行图像光栅化处理和插值处理，得到处理后的投影画面；

当处理后的投影画面达到设定的投影区域，则停止拉伸网格分块的顶点，完成投影画面的矫正；

当处理后的投影画面未达到设定的投影区域，则继续拉动网格分块的不同顶点，重复以上操作，直至处理后的投影画面达到设定投影区域。

3.根据权利要求2所述的封闭式多面投影的显示方法，其特征在于，在对每个投影画面与投影幕墙贴合度的进行调整之后，对投影区域中的相邻投影画面进行拼接融合，具体包括：

对拉伸后的所有顶点创建顶点格式，得到M×N个顶点格式，所述每个顶点格式包含UV坐标、顶点坐标以及顶点颜色；

修改顶点颜色值，得到相邻投影画面之间亮度平滑过渡的纹理融合；

根据投影变换，将当前纹理融合后的投影画面进行投影显示。

4.根据权利要求3所述的封闭式多面投影的显示方法，其特征在于，在修改顶点颜色值，得到相邻投影画面之间亮度平滑过渡的纹理融合中，包括：

计算每个纹理网格分块中纹理点的亮度；

提取相邻纹理网格分块拼接处，得到相邻投影画面之间的亮度平滑过渡区域；

根据正弦函数曲线计算亮度平滑过渡区域的新亮度值；

根据新亮度值对亮度平滑过渡区域进行纹理融合。

5.根据权利要求3所述的封闭式多面投影的显示方法，其特征在于，在所述根据投影变换，将当前纹理融合后的投影画面进行投影显示中，投影变换是投影矩阵、视口矩阵和世界矩阵相乘所获取的新矩阵。

6.根据权利要求1-5任一所述的封闭式多面投影的显示方法，其特征在于，在所述每个投影画面对应的客户端均获取服务器端下发的同步指令中，所述同步指令是服务器端通过UDP广播向每个客户端实时发送的指令。

7.一种封闭式多面投影的显示系统，其特征在于，包括拼接融合模块、获取模块、计算模块、投影模块和矫正模块；

拼接融合模块用于对投影区域中的相邻投影画面进行拼接融合，所述投影画面与客户端的投影对应；

获取模块用于每个投影画面对应的客户端均获取服务器端下发的同步指令，所述同步指令包括时间针节点、容错系数和纠错时间；

计算模块用于将获取到的时间针节点与客户端的显示时间进行差值计算，得到时间偏移量；

投影模块用于当时间偏移量在容错系数范围内，则保持当前视频流继续投影；

矫正模块用于当时间偏移量不在容错系数范围内，则通过时间针节点对当前视频流进行矫正后投影。

Images