CN105025281B - 大尺寸球幕超清影片播放及互动应用拼接融合方法 - Google Patents

Abstract

本发明属于计算机视觉、图像处理、投影拼接领域，具体涉及一种基于激光点阵和迭代反馈的大尺寸球幕超清影片播放及互动应用拼接融合方法。包括以下步骤：(1)使用激光测距仪对目标异形幕布进行特征点测定，并用激光点阵标记特征点，在投影图像平面上点击标记特征点；(2)利用透视投影的针孔模型计算投影仪投影矩阵；(3)使用Newton‑Raphson迭代算法对投影矩阵迭代求精；(4)按照迭代求精的结果进行几何校正实现几何拼接；(5)使用Alpha融合与Gamma校正算法进行色彩校正；(6)分布式拼接融合；(7)互动应用和影片播放排程运行切换。本发明利用激光点阵测算获得拼接所需投影矩阵的初值，开发了排程系统完成了新型电影艺术展现方式。

Description

大尺寸球幕超清影片播放及互动应用拼接融合方法

技术领域

本发明属于计算机视觉、图像处理、投影拼接领域，具体涉及一种基于激光点阵和迭代反馈的大尺寸球幕超清影片播放及互动应用拼接融合方法。

背景技术

球幕电影是20世纪70年代出现的一种大张角曲面屏幕电影。球幕电影影片的拍摄和动画场景的制作，使用超广角的鱼眼镜头或虚拟多摄像机的组合镜头。观影厅为圆顶式结构，幕布呈半球形，观众被包围置身其中。由于影像对观众视张角大，并伴有环绕立体声，使得观众有身临其境之感。而影片和实时互动项目交替运行输出的新型艺术展现方式，则更进一步的将观众带入到故事情节当中，观众的沉浸感体验十分强烈。而这种新型的艺术展现形式也为拼接融合的排程切换技术提出了新的要求。

由于球幕电影幕布巨大、投影仪摆放空间受限，单台投影仪无法打满整个屏幕。并且由于单台投影仪显示分辨率有限，因此采用多台投影仪拼接融合的方式显示输出。另外由于单台计算机显示分辨率有限、球幕形状与投影平面吻合度较低等因素，本发明在单台计算机多投影拼接融合输出的基础上，进一步采用基于多台计算机分布式多投影仪拼接融合技术显示输出的方法。

每台投影仪最大输出分辨率大小为2K的图像。本发明介绍的多计算机分布式输出系统由1台服务器和2台客户机、1台交换机构成局域网络。每台客户机外接3台投影仪，以保证输出超高分辨率的影像画面。服务器通过中控程序协调控制影片播放和互动程序的运行展示输出顺序，并且通过局域网传输握手信号控制客户机协同播放，以实现创造影片和互动交替进行的艺术构想，带给观众强沉浸感的视觉感受。

多计算机分布式多投影仪拼接融合技术主要由三部分具体的技术构成：即几何拼接、色彩融合和分布式协同输出。几何拼接是指将每个投影仪的图像进行几何变换，使得变换之后的图像可以完好的布满曲面幕布的预设部分区域，并且预设的相互重叠的部分完好的重叠在一起。色彩融合是指对于幕布多台投影仪的重叠区域涉及的每台投影仪的投影亮度乘以一个衰减系数，使得在多台投影仪的投影图像在叠加之后和单台无叠加的投影仪的色彩亮度投射效果相同，给观众形成一种浑然一体的视觉效果，具体的显示融合方式采用Alpha融合与Gamma校正和Gamma校正的算法完成衰减权值的计算。分布式协同输出是指为了突破单台计算机可解码播放视频分辨率、运行互动软件运算能力有限的局限性，而采用的一种多台计算机协同输出，从而达到扩展播放影片分辨率的技术。分布式显示输出系统硬件上由多台计算机，每台计算机外接多台投影仪构成；通过中控排程系统协调控制影片播放和互动程序的顺序和切换；多台计算机协同同步播放影片，显示互动程序运算生成的每一帧图像。

发明内容

(一)要解决的技术问题

本发明主要解决了半自动的大尺寸球幕影片和互动切换展示拼接融合问题。基于激光经纬仪测算标定并使用牛顿迭代优化算法对几何信息逐步求精，完成几何拼接；采用Alpha融合与Gamma校正的方法完成色彩融合；采用多机分布式协同输出的拼接融合方式，使用多台计算机同步分别输出最终展示影像的部分内容，实现超清分辨率影片或互动输出；开发排程系统无缝切换影片播放与互动应用，实现新型电影艺术展现方式。

(二)技术方案

为完成以上目标，本发明提出了基于激光点阵和迭代反馈的大尺寸球幕超清影片播放及互动应用拼接融合技术，包括以下步骤：主要步骤为：(1)使用激光测距仪对目标异形幕布进行特征点测定，并用激光点阵标记特征点，在投影图像平面上标记特征点；(2)利用透视投影的针孔模型计算投影仪投影矩阵；(3)使用Newton-Raphson迭代算法对投影矩阵迭代求精；(4)按照迭代求精的结果进行几何校正实现几何拼接；(5)使用Alpha融合与Gamma校正算法进行色彩校正；(6)分布式拼接融合；(7)互动应用和影片播放排程运行切换。

进一步的，所述步骤(1)中，使用激光测距仪对目标异形幕布进行特征点测定的步骤包括：

(21)对整个异形幕布进行参数化划分；

(22)按照投影机设定分布状况选择各个投影机特征点位置；

(23)通过激光经纬仪测定特征点实际位置；

(24)通过激光阵列标注特征点；

(25)通过鼠标在投影平面点击标注特征点。

进一步的，所述步骤(2)中，利用透视投影的针孔模型计算投影仪投影矩阵的方法，在获得特征点的投影图像位置后，将投影机的成像过程以透视投影的针孔模型建模：

幕布中物体上点的三维空间坐标为：Q_i，(i＝1,2,3.....)，空间中点在摄像机像平面上的点坐标为：q_i(i＝1,2,3.....)；

使用齐次坐标分别表示空间点坐标和图像点坐标：

在针孔 模型下，Q_i与q_i构成的约束方程为：

k_iq_i＝PQ_i

其中，P为摄像机的投影矩阵，是本步骤需要求解的目标，是一个3行4列的矩阵；

Q_i和q_i是齐次坐标，因此，对于P的求解只求得P中各个元素之间的比值；所以，可令P的最后一个元素为1，使用线性求解的方法求出P中其他各个元素的数值，约束方程转化为：

进一步的，所述步骤(3)中，使用Newton-Raphson迭代算法对投影矩阵迭代求精的步骤如下：

在获得投影矩阵的初值后，使用摄像机按照初值投影虚拟特征点，以不同投影机投射的对应统一空间特征点的虚拟特征点的误差作为目标函数函数，以各个投影仪的投影矩阵的元素为变元，构建投影矩阵元素与摄像机图片上特征点的映射关系函数；

使用牛顿迭代优化算法，通过最小化特征点误差，提高各个投影仪投影矩阵的求解精度，求解方法如下式：

X为各个投影机的投影矩阵的元素构成的未知的投影向量，F(X)为多变元多值函数，表示相同的空间特征点通过不同投影机形成的投影点的距离；

初值近似解为X₀，计算在X₀附近的雅克比矩阵：

本发明中，雅克比矩阵无法解析的求得，通过数值近似的方式求得雅克比矩阵；

利用在X₀处的雅克比矩阵，解新的近似解为：

X₁＝X₀-(J^T(X₀)J(X₀))^-1J^T(X₀)F(X₀)

重复以上过程进行迭代计算：J(X_i)和X_i+1(i＝1,2...)，直到第n步，使得：F(X_n)的误差：||F(X_n)||＜ε，ε为满足投影需求的精度。

进一步的，所述步骤(5)中，使用Alpha融合与Gamma校正算法进行色彩校正的方法如下：

在融合带内部，幕布上同样的一个点对应于不同投影仪成像平面上的点的亮度分别乘以一个0到1之间的系数：Alpha衰减系数，使得最终在幕布上融合带内部的投影点在多个投影机投影叠加后的亮度、颜色与非融合带内单台投影机投射的具有相同颜色分量值的点亮度、颜色相同；

Alpha融合系数的计算过程中，需要进一步进行Gamma校正；

设融合带的宽度为D，计算融合带上的各个点(记做：β点)到融合边缘的距离d_β，再通过下式计算β点的Gamma校正底数s_β,i：

其中，i＝1,2表示两个相互有图像重叠的投影仪的序号；

按照下式进行Gamma校正，计算得到不同投影通道对于β点的Alpha权值：

其中，γ的经验值选取在0.45到0.55之间，由于对于不同材料的幕布最佳的γ值有所不同，因此本系统中设置这个值可以根据实际应用情况动态调整；

最后，再通过Gamma校正，计算得到Alpha权值之后，对β点对应各个通道的相平面点的亮度值，按照下式进行加权求和：

其中，E_β,i为第i台投影仪色彩融合前的输出，E_β为最终输出。

进一步的，所述步骤(6)中，分布式拼接融合包括：

通过若干条网线将一台上位机和n台下位机与交换机相连接，给这n+1台计算机分别设定IP地址，并保证通信正常建立上位机和下位机之间的通信，通过握手信号保证上位机和下位机之间的识别和程序运行状态的监控；

按照要求2和3对每个下位机的投影区域进行标定，生成拼接融合标定配置文件，按照配置文件对运行的应用程序或播放的影片进行几何变换和按照要求4进行色彩校正；

不同的下位机通过上位机中控完成同步握手信号，保证帧间同步，最终实现多机分布式拼接融合。

进一步的，所述步骤(7)中，互动应用和影片播放排程运行切换,具体步骤包括：

中控服务器通过中控服务程序向分布式拼接融合系统的排程层发送排程文件至分布式拼接融合系统的上位机，由排程文件发布的信息控制安排上位机控制下位机播放影片或运行互动应用，并在不同的程序和影片中按照设计需求进行切换；

上位机的排程模块按照由中控系统发送的排程文件中设置的时间顺序，运行不同互动应用程序或播放视频，具体分为：

(1)针对互动应用的拼接融合，采用上位机运行互动应用程序，并以截屏的方式实时截取互动应用的图像，将图像的不同部分(不同部分之间，按照融合设定的比例有重合部分)，通过交换机分别传送至相应的下位机，下位机按照标定配置文件，对由上位机送至的图像进行几何形变和色彩融合，实现拼接融合；

(2)针对高清视频播放的拼接融合，首先对影片进行预处理：按照每个下位机预设播放的部分对整部分辨率很高的电影文件进行分拆，获得n个用于下位机播放的分辨率较小的影片文件，每台下位机仅储存用于其播放的那部分辨率较小的影片文件；

影片的声音文件存储于上位机；影片播放程序启动后，上位机使用vlc播放音频文件，并以音频信号为同步信号，在解码每一帧的音频后，向各个下位机发送播放视频序列号的信号，下位机接收到信号后解码并播放视频文件的每一帧；

按照以上步骤就实现了各个下位机的同步视频播放，以及与上位机的音频同步，从而完成视频播放的协调排程显示；

拼接融合显示层按照显示类型为互动应用程序或视频播放分别使用不同的方式协调同步上位机与下位机完成拼接融合显示。

(三)有益效果

本发明利用激光点阵测算获得拼接所需投影矩阵的初值，使用Newton-Raphson迭代算法对投影矩阵迭代，实现半自动化的几何拼接；采用分布式拼接融合，实现了超高分辨率视频和互动应用的拼接融合显示；开发了排程系统完成了新型电影艺术展现方式。

附图说明

图1是分布式拼接融合结构图。

图2是针孔模型示意图。

图3是几何校正示意图。

图4是分布式拼接融合与外部调度网络连接图。

图5是分布式拼接融合内部网络连接图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

1、方法概述

如图1所示，本发明的方法主要分为四个逻辑模块：(1)拼接融合标定层；(2)拼接融合显示层；(3)排程层；(4)中控服务器层。

(1)拼接融合标定层的具体实施方式为：

1>对幕布进行坐标划分，对划分的区域进行参数化划分；按照投影机设定分布选择各个投影机覆盖特征点的位置，并用激光点阵标记特征点，在投影图像平面上点击特征点。

2>利用透视投影的针孔模型计算投影仪投影矩阵。如图2所示，幕布上的特征点的 空间坐标为：Q_i，(i＝1,2,3.....)，空间中点在投影机像平面上的点坐标为：q_i(i＝1,2, 3.....)；使用齐次坐标分别表示空间点坐标和图像点坐标：

在针孔 模型下，Q_i与q_i的关系为：

k_iq_i＝PQ_i

上式可进一步化为：

每个特征点构成2个线性方程。如图3所示，绿色的点Q为其中的一个投影点，每个投影机选取6个特征点。不同投影机可以使用同一个空间点作为特征点。线性求解由特征点空间和图像位置引出的约束方程后，得到各个投影机投影矩阵的初值。

3>在获得各个投影机的投影矩阵初值后，使用Newton-Raphson迭代算法对投影矩阵迭代求精的步骤如下：

如图3所示，在图中红色的点Q₁和蓝色的点Q₂分别是由线性方法求得的投影仪P1和投影仪P2在幕布曲面Su上的对应于Q₀的投影点。由Q₁与Q₂做向量相减形成的误差来作为反馈，通过一台摄像机Ca来获取Su幕布上Q₁和Q₂在Ca上的特征点图像：q₁和q₂。在得到Q₁和q₂之后，计算q₁和q₂的误差：Δq＝q₁-q₂。

分别对每台投影仪Pi(i＝1,2,3....)的投影矩阵：Pi的11个可变元素进行扰动(由于点的变化采用齐次坐标，因此可令Pi的第3行、第4列的元素为1，所以Pi的可变元素个数为11)。将每个投影仪的投影矩阵的每个元素排成一个一维的向量：Pa。扰动后的的投影矩阵为P'i，由扰动后的投影矩阵重新将特征点投影到幕布Su，并由Ca获得新的摄像机图像点q'₁和q'₂，计算q'₁和q'₂的误差：Δq'＝q'₁-q'₂。令：F(Pa)＝Δq'-Δq。

通过图像误差的变化F(Pa)与矩阵扰动值δPa之比计算雅克比矩阵的各个元素，即：J(Pa)_j,k＝δPa_j/Δq_k，其中：J(Pa)_j,k表示雅克比矩阵的第j行第k列的元素，δPa_j表示δPa的第j个元素，Δq_k表示Δq的第k个元素。根据雅克比矩阵计算Pa的修正量ΔPa。修正量的计算方式为：

ΔPa＝-(J^T(Pa)J(Pa))^-1J^T(Pa)F(Pa)

然后迭代重复以上步骤，逐步求解得到精度更高的Pa的值。当精度达到预设定的要求后终止迭代，完成几何校正。

(2)拼接融合显示层使用分布式拼接融合显示构架，具体描述为：

如图4所示，一台上位机，n台下位机，一台交换机，n*k台投影仪。通过若干条网线将一台上位机和n台下位机与交换机相连接，保证这n+1台计算机之间的信道畅通，给n+1台计算机分别设定IP地址，并保证通信正常。每台下位机连接k台投影仪，用于最终的拼接融合投影显示。拼接融合标定层所获得的数据对分布式系统的下位机所需显示的图像进行几何校正和色彩融合。按照显示内容类型为互动应用程序或视频播放分别使用不同的方式协调同步上位机与下位机完成拼接融合显示，其中：

1>针对互动应用的拼接融合，采用上位机运行互动应用程序，并以截屏的方式实时截取互动应用的图像。并将图像的不同部分(不同部分之间，按照融合设定的比例有重合部分)，通过交换机分别传送至相应的下位机。下位机按照标定配置文件，对由上位机送至的图像进行几何形变和色彩融合。

2>针对高清视频播放的拼接融合，首先对影片进行预处理。按照每个下位机预设播放的部分对整部分辨率很高的电影文件进行分拆，获得n个用于下位机播放的分辨率较小的影片文件，每台下位机仅储存用于其播放的那部分辨率较小的影片文件。影片的声音文件存储于上位机。

影片播放程序启动后，上位机使用vlc播放音频文件，并以音频信号为同步信号。在解码每一帧的音频后，向各个下位机发送播放视频序列号的信号。下位机接收到信号后解码并播放视频文件的每一帧。这样就实现了各个下位机的同步视频播放，以及与上位机的音频同步。

(3)排程层排程影片互动应用切换技术的应用实现了影片互动穿插展示的新型艺术表现形式，具体描述为：

排程层按照由中控服务器层发送来的排程文件，按照时间轴编排运行设置的时间顺序，运行不同互动应用程序或播放视频。同时向凭借融合显示层按照排程进程发送适应显示内容的控制信号。并且在切换过程中配合展示内容，显示恰当的切换背景画面。

(4)中控服务器层控制整个分布式系统的协调控制，具体描述为：

如图5所示，中控服务器层控制、监控整个系统各台机器的工作情况；并按照展示需求派发排程配置文件。

Claims (3)

1.一种大尺寸球幕超清影片播放及互动应用拼接融合方法，其特征在于，包括以下步骤：

(1)使用激光测距仪对目标异形幕布进行特征点测定，并用激光点阵标记特征点，在投影图像平面上点击标记特征点；

(2)利用透视投影的针孔模型计算投影仪投影矩阵；

(3)使用Newton-Raphson迭代算法对投影矩阵迭代求精；

(4)按照迭代求精的结果进行几何校正实现几何拼接；

(5)使用Alpha融合与Gamma校正算法进行色彩校正；

(6)分布式拼接融合；

(7)互动应用和影片播放排程运行切换；

所述步骤(1)中，使用激光测距仪对目标异形幕布进行特征点测定，并用激光点阵标记特征点的步骤包括：

(21)对整个异形幕布进行参数化划分；

(22)按照投影机设定分布状况选择各个投影机特征点位置；

(23)通过激光经纬仪测定特征点实际位置；

(24)通过激光阵列标记特征点；

(25)通过鼠标在投影平面点击标记特征点；

所述步骤(2)中，利用透视投影的针孔模型计算投影仪投影矩阵的方法，在获得特征点的投影图像位置后，将投影机的成像过程以透视投影的针孔模型建模：

幕布中物体上点的三维空间坐标为：Q_i，i＝1，2，3.....，空间中点在摄像机像平面上的点坐标为：q_i i＝1，2，3.....；

使用齐次坐标分别表示空间点坐标和图像点坐标：

在针孔模型下，Q_i与q_i构成的约束方程为：

k_iq_i＝PQ_i

其中，P为摄像机的投影矩阵，是本步骤需要求解的目标，是一个3行4列的矩阵；

Q_i和q_i是齐次坐标，因此，对于P的求解只求得P中各个元素之间的比值；

所以，令P的最后一个元素为1，使用线性求解的方法求出P中其他各个元素的数值，约束方程转化为：

所述步骤(6)中，分布式拼接融合包括：

通过若干条网线将一台上位机和n台下位机与交换机相连接，给这n+1台计算机分别设定IP地址，并保证通信正常建立上位机和下位机之间的通信，通过握手信号保证上位机和下位机之间的识别和程序运行状态的监控；

按照步骤(1)和步骤(2)对每个下位机的投影区域进行标定，生成拼接融合标定配置文件，按照配置文件对运行的应用程序或播放的影片进行几何变换和按照步骤(5)进行色彩校正；不同的下位机通过上位机中控完成同步握手信号，保证帧间同步，最终实现多机分布式拼接融合；

所述步骤(7)中，互动应用和影片播放排程运行切换，具体步骤包括：

中控服务器通过中控服务程序向分布式拼接融合系统的排程层发送排程文件至分布式拼接融合系统的上位机，由排程文件发布的信息控制安排上位机控制下位机播放影片或运行互动应用，并在不同的程序和影片中按照设计需求进行切换；

上位机的排程模块按照由中控系统发送的排程文件中设置的时间顺序，运行不同互动应用程序或播放视频，具体分为：

(1)针对互动应用的拼接融合，采用上位机运行互动应用程序，并以截屏的方式实时截取互动应用的图像，将图像的不同部分，通过交换机分别传送至相应的下位机，下位机按照标定配置文件，对由上位机送至的图像进行几何形变和色彩融合，实现拼接融合；所述不同部分之间，按照融合设定的比例有重合部分；

(2)针对高清视频播放的拼接融合，首先对影片进行预处理：按照每个下位机预设播放的部分对整部分辨率很高的电影文件进行分拆，获得n个用于下位机播放的分辨率较小的影片文件，每台下位机仅储存用于其播放的那部分分辨率较小的影片文件；

影片的声音文件存储于上位机；影片播放程序启动后，上位机使用vlc播放音频文件，并以音频信号为同步信号，在解码每一帧的音频后，向各个下位机发送指示播放视频的序列号的信号，下位机接收到信号后解码并播放视频文件的每一帧；

按照以上步骤就实现了各个下位机的同步视频播放，以及与上位机的音频同步，从而完成视频播放的协调排程显示；

拼接融合显示层按照显示类型为互动应用程序或视频播放分别使用不同的方式协调同步上位机与下位机完成拼接融合显示。

2.如权利要求1所述的方法，其特征在于，所述步骤(3)中，使用Newton-Raphson迭代算法对投影矩阵迭代求精的步骤如下：在获得投影矩阵的初值后，使用摄像机按照初值投影虚拟特征点，以不同投影机投射的对应统一空间特征点的虚拟特征点的误差作为目标函数，以各个投影仪的投影矩阵的元素为变元，构建投影矩阵元素与摄像机图片上特征点的映射关系函数；

使用牛顿迭代优化算法，通过最小化特征点误差，提高各个投影矩阵的求解精度，求解方法如下式：

X为各个投影机的投影矩阵的元素构成的未知的投影向量，F(X)为多变元多值函数，表示相同的空间特征点通过不同投影机形成的投影点的距离；初值近似解为X₀，计算在X₀附近的雅克比矩阵：

其中，雅克比矩阵无法解析的求得，通过数值近似的方式求得雅克比矩阵；

利用在X₀处的雅克比矩阵，解新的近似解为：

X₁＝X₀-(J^T(X₀)J(X₀))^-1J^T(X₀)F(X₀)

重复以上过程进行迭代计算：J(X₁)和X_i+1 i＝1，2...，直到第n步，使得：F(X_n)的误差：‖F(X_n)||＜ε，ε为满足投影需求的精度。

3.如权利要求1所述的方法，其特征在于，所述步骤(5)中，使用Alpha融合与Gamma校正算法进行色彩校正的方法如下：在融合带内部，幕布上同样的一个点对应于不同投影仪成像平面上的点的亮度分别乘以一个0到1之间的系数：Alpha衰减系数，使得最终在幕布上融合带内部的投影点在多个投影机投影叠加后的亮度、颜色与非融合带内单台投影机投射的具有相同颜色分量值的点亮度、颜色相同；

Alpha融合系数的计算过程中，需要进一步进行Gamma校正；

设融合带的宽度为D，计算融合带上的各个点(记做：β点)到融合边缘的距离d_β，再通过下式计算β点的Gamma校正底数s_β，j：

其中，j＝1，2表示两个相互有图像重叠的投影仪的序号；

按照下式进行Gamma校正，计算得到不同投影通道对于β点的Alpha权值：

其中，γ的经验值选取在0.45到0.55之间，由于对于不同材料的幕布最佳的γ值有所不同，因此本系统中设置这个值可以根据实际应用情况动态调整；

最后，再通过Gamma校正，计算得到Alpha权值之后，对β点对应各个通道的相平面点的亮度值，按照下式进行加权求和：

其中，E_β，j为第j台投影仪色彩融合前的输出，E_β为最终输出。

Images