CN103533318A - 一种建筑外表面投影方法 - Google Patents

Abstract

本发明公开了一种建筑外表面投影方法。使用本发明能够在凹凸不平的建筑表面进行投影拼接融合，具有立体效果的视频渲染效果。本发明将艺术视频投影到建筑物的外表面，使用大幅面自由表面投影拼接技术完成建筑外表面投影拼接融合，从而产生超乎想象的震撼视觉效果并且能够与建筑物完美结合。通过投影该发明提出的视频渲染方法制作的视频，能够使人在欣赏的过程中产生立体视觉，使得建筑面上的影像仿佛脱离了建筑物的本体，如同悬浮在空中一般，带给人们震撼的视觉享受。

Description

一种建筑外表面投影方法

技术领域

本发明涉及投影拼接显示技术，具体涉及一种建筑外表面投影方法。

背景技术

传统的投影拼接显示技术都是以平面或者曲面投影幕作为显示表面。随着工程投影机技术的进步、人们对视觉体验要求的不断地提升以及伴随着新媒体艺术的发展，需要一种更加具有视觉冲击力，具有震撼效果的新型的大幅面自由表面投影技术。

目前的大幅面自由表面投影都是使用手动调整方法实现的。手动调整主要有两种方法：一种方法是与平面投影一样，通过拖动网格使投影表面的关键点位置与二维图像对齐，同时将图像空间中的一条直线在投影表面同样调整成直线，该方法的问题是调整时间长、对人员能力要求很高，调整的结果完全依靠调整人员的经验及感觉，难以保证质量；另一种方法是预先建好投影表面的虚拟三维模型，通过在程序中调整虚拟相机的透视投影矩阵以及平移旋转矩阵使三维模型与投影表面能够匹配上，这种方法的问题是需要预先建立虚拟三维模型，由于任何小的误差投影到建筑表面都会很明显，因此对建模的精度要求很高。

发明内容

有鉴于此，本发明提供了一种建筑外表面投影方法，能够在凹凸不平的建筑表面进行投影拼接融合，具有立体效果的视频渲染效果。

本发明的建筑外表面投影方法以建筑物外表面为投影平面，以多台投影机为显示设备，通过采用手动或自动投影拼接的方法对投影图像进行投影拼接，通过各台投影机投影内容与建筑表面关键点的对准，完成多投影拼接并利用建筑面表面关键点达到3D效果，其中，关键点为建筑外表面各个不连续面形成的交线以及各条交线的交点。

其中，采用手动拼接方法进行建筑外表面投影方法，包括以下步骤：

步骤1，确定投影表面及观看者位置，使用相机在观看者所在位置拍摄投影表面的照片；

步骤2，根据投影表面的材质、现场光照条件以及项目预算确定投影机参数、投影机数量以及投影机位置布置；

步骤3，手动选取一个能够包围整个建筑物外表面的最小外接矩形作为有效投影区域；

步骤4，制作具有3D效果的多媒体视频：

根据步骤1得到的照片使用三维建模软件建立建筑表面的虚拟三维模型，根据真实相机的位置及角度调整虚拟场景中的虚拟相机位置及角度，使得虚拟相机渲染的模型与步骤1得到的照片完全重合，在虚拟三维模型上进行特效制作，经过视频制作软件处理之后输出为视频；

或者以步骤1得到的照片作为视频制作的模板，直接使用视频制作软件进行视频制作，当需要展示一副与关键点位置无关的效果，则直接将建筑物表面当作平片制作视频；当需要展示与关键点位置相关的效果时，沿着照片中建筑物表面关键点位置以及连接关键点的直线制作视频特效；

步骤5，现场安装架设投影机，调整各台投影机位置及角度以充满整个有效投影区域；

步骤6，使用手动投影拼接方法进行多投影几何校正：通过手动拖动网格使投影表面的关键点位置与投影视频对齐，同时将图像空间中的一条直线在观看者视角调整成直线，并进行颜色校正及融合区域亮度衰减；

步骤7，根据步骤6手动调整得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置；同时利用网络同步所有播放视频从而实现建筑投影。

采用自动拼接方法进行建筑外表面投影方法，包括以下步骤：

步骤1，确定投影表面及观看者位置，使用相机在观看者所在位置拍摄投影表面的照片；

步骤2，根据投影表面的材质、现场光照条件以及项目预算确定投影机参数、投影机数量以及投影机位置布置；

步骤3，确定有效投影区域：根据步骤1照片中建筑物区域亮度与背景亮度的不同，使用图像处理方法求取建筑物区域，取该区域的最小外接矩形作为有效投影区域；

步骤4，具有3D效果的多媒体视频制作：

以步骤1得到的照片作为视频制作的模板，直接使用视频制作软件进行视频制作，当需要展示一副与关键点位置无关的效果，则直接将建筑物表面当作平片制作视频；当需要展示与关键点位置相关的效果时，沿着照片中建筑物表面关键点位置以及连接关键点的直线制作视频特效；

步骤5，现场安装架设投影机，调整各台投影机位置及角度以充满整个有效投影区域；

步骤6，使用基于结构光扫描的自动多投影拼接方法进行多投影几何校正，其具体步骤为：

步骤6.1，在与步骤1相同的位置架设相机，相机参数设置与步骤1相机参数相同；

步骤6.2，根据有效投影区域四个角点在相机图像坐标系下的坐标以及其在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系H_D；

步骤6.3，针对每台投影机覆盖的建筑表面区域，分别使用编码结构光扫描的方法建立每台投影机图像空间与相机图像之间的对应关系M_Ci，i=1，2，…，N，N为投影机数量；

步骤6.4，结合相机图像空间与显示图像空间之间的对应关系H_D以及任意一台投影机图像空间与相机图像之间的对应关系M_Ci，得到显示图像空间与任意一台投影机图像空间的对应关系；

步骤6.5，对待显示图像进行颜色校正以及融合区域亮度衰减；

步骤7，根据步骤6得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置；同时利用网络同步所有播放视频从而实现建筑投影。

有益效果：

将艺术视频投影到建筑物的外表面，使用大幅面自由表面投影拼接技术完成建筑外表面投影拼接融合，从而产生超乎想象的震撼视觉效果并且能够与建筑物完美结合。通过投影该发明提出的视频渲染方法制作的视频，能够使人在欣赏的过程中产生立体视觉，使得建筑面上的影像仿佛脱离了建筑物的本体，如同悬浮在空中一般，带给人们震撼的视觉享受。

附图说明

图1为使用手动拼接融合方法进行建筑投影显示的投影方式布置示意。

图2为使用自动拼接融合方法进行建筑投影显示的投影方式布置示意。。

其中，101，201-预期进行投影显示的建筑外表面；102，202-投影机；103，203-融合服务器；104，204-为渲染控制服务器；205-自动融合服务器和相机。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

建筑表面投影拼接与其他表面投影拼接（如平面、曲面等）有所不同，除了要求各台投影机融合区域对准之外，还要求投影视频中的关键点位置与建筑表面上的关键点位置对齐，其中关键点定义为投影表面各个不连续面形成的交线以及各条交线的交点（如建筑物窗户的角点等）。

为了解决上述技术问题，本发明采用如下步骤进行建筑表面投影：

步骤1，确定投影表面及观看者位置：

确定需要投影的表面，并根据需求确定观看者所在位置，使用相机在观看者所在位置拍摄投影表面的照片（该照片要求包括整个需要投影的建筑表面），并记录该位置、相机的高度、角度以及相机的焦距。如果相机镜头存在比较明显的畸变，则需要预先对相机进行畸变校正（一般采用张正友提出的相机标定方法，Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysisand Machine Intelligence,IEEE Transactions on,2000,22(11):1330-1334.）。

步骤2，确定投影方案：

根据投影表面的材质、现场光照条件以及其他因素（如项目预算等）确定投影机型号、投影机镜头型号、投影机数量以及投影机固定方案等。

步骤3，确定有效投影区域：

一般有效投影区域为照片中整个建筑物所在区域，可以通过手动或者自动方法确定有效投影区域。自动有效投影区域确定方法是根据照片中建筑物区域亮度与背景亮度的不同，使用图像处理方法（如图像二值化方法）求取建筑物区域，取该区域的最小外接矩形作为有效投影区域；手动有效投影区域确定方法是手动选取一个能够包围整个建筑区域的矩形作为有效投影区域，一般是选取建筑物区域的最小外接矩形作为有效投影区域。

步骤4，具有3D效果的多媒体视频制作：

以步骤1得到的照片作为视频制作的模板，其具体实现方法有两种：

基于模型的多媒体视频制作方法，首先根据步骤1得到的照片使用三维建模软件（如Maya、3Max等）建立建筑表面的虚拟三维模型，然后根据真实相机的位置及角度调整虚拟场景中的虚拟相机位置及角度，目的是使虚拟相机渲染的模型与步骤1得到的照片完全重合，至此可以在虚拟三维模型上进行特效制作，经过视频制作软件（如After Effect等）处理之后输出为视频。

基于照片的多媒体视频制作方法，首先使用步骤1得到的照片，将照片作为制作模版，直接使用视频制作软件（如After Effect等）进行视频制作，如果需要展示一副与关键点位置无关的效果，则直接将建筑物表面当作平片制作视频即可；如果需要展示与关键点位置相关的效果，则需要沿着照片中建筑物表面关键点位置以及连接关键点的直线制作视频特效，以达到具有3D效果的多媒体视频制作的目的。

步骤5，现场安装架设投影机：

现场安装架设投影机，并调整各台投影机位置及角度以充满整个有效投影区域。

步骤6，多投影拼接融合：

使用手动或者自动投影拼接方法完成建筑表面投影拼接，以实现多投影机融合区域的对准以及投影视频与建筑表面关键点位置的对准。一般，对于表面形状简单的建筑投影采用手动拼接融合的方式调整，对于表面形状复杂，很难通过手动方式完成投影拼接的表面采用基于结构光扫描的自动投影拼接方法进行多投影几何校正。

手动建筑表面投影拼接方法与现有的平面、曲面等手动拼接融合方法类似，都是通过手动拖动网格使投影表面的关键点位置与投影视频对齐，同时将图像空间中的一条直线在观看者视角同样调整成直线，并进行颜色校正及融合区域亮度衰减。

自动建筑表面投影拼接方法使用基于结构光扫描的自动投影拼接方法进行多投影几何校正，其具体步骤为：

步骤6.1，在与步骤1相同的位置架设相机，相机的角度焦距等参数与步骤1记录的数据相同，该相机能够拍摄到投影表面；

步骤6.2，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系H_D；

步骤6.3，针对每台投影机覆盖的建筑表面区域，分别使用编码结构光扫描的方法建立每台投影机图像空间与相机图像之间的对应关系M_Ci，i=1，2，…，N，N为投影机数量。例如采用Gray Code+Phase Shifting编码结构光扫描方法求取第i台投影机图像空间与相机图像空间之间的对应关系M_Ci的步骤如下：

步骤6.3.1，有效编码区域获取：控制投影机先后投射一副白色和黑色的图像，通过图像差分以及二值化图像处理即可得到有效编码区域，即对上述两张照片对应位置的像素做差值，对差值图像进行二值化处理，白色部分为有效编码区域，黑色部分为无效编码区域；

步骤6.3.2，对第i台投影机的有效投影区域进行纵向编码和横向编码；

步骤6.3.3，通过使用随机抽样一致（RANSAC）算法等方法除去错误编码；

步骤6.3.4，将相机图像空间划分为m×n个网格，通过上述编码找到网格交点在投影图像空间中的对应点，对网格内的点使用双线性差值的方法计算其在在投影图像空间中的对应点位置。

步骤6.4，结合相机图像空间与显示图像空间之间的对应关系H_D以及任意一台投影机图像空间与相机图像之间的对应关系M_Ci，得到显示图像空间与任意一台投影机图像空间的对应关系，也就是求取了需要显示的图像中每个像素在每台投影机图像中应该处于的位置；

步骤6.5，进行颜色校正以及融合区域亮度衰减；

步骤7.渲染需要投影的视频，进行现场投影展示。

使用融合服务器读取经步骤6的多投影几何校正后的校正数据，根据步骤6得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置，依次完成每台投影机中所有点的对应即完成了视频的投影拼接渲染，同时使用渲染控制服务器，利用TCP/IP协议同步所有融合服务器播放的视频从而实现建筑投影。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种建筑外表面投影方法，其特征在于，以建筑物外表面为投影平面，以多台投影机为显示设备，通过采用手动或自动投影拼接的方法对投影图像进行投影拼接，通过各台投影机投影内容与建筑表面关键点的对准，完成多投影拼接并利用建筑面表面关键点达到3D效果，其中，关键点为建筑外表面各个不连续面形成的交线以及各条交线的交点。

2.如权利要求1建筑外表面投影方法，其特征在于，所述手动拼接方法包括以下步骤：

步骤1，确定投影表面及观看者位置，使用相机在观看者所在位置拍摄投影表面的照片；

步骤2，根据投影表面的材质、现场光照条件以及项目预算确定投影机参数、投影机数量以及投影机位置布置；

步骤3，手动选取一个能够包围整个建筑物外表面的最小外接矩形作为有效投影区域；

步骤4，制作具有3D效果的多媒体视频：

根据步骤1得到的照片使用三维建模软件建立建筑表面的虚拟三维模型，根据真实相机的位置及角度调整虚拟场景中的虚拟相机位置及角度，使得虚拟相机渲染的模型与步骤1得到的照片完全重合，在虚拟三维模型上进行特效制作，经过视频制作软件处理之后输出为视频；

或者以步骤1得到的照片作为视频制作的模板，直接使用视频制作软件进行视频制作，当需要展示一副与关键点位置无关的效果，则直接将建筑物表面当作平片制作视频；当需要展示与关键点位置相关的效果时，沿着照片中建筑物表面关键点位置以及连接关键点的直线制作视频特效；

步骤5，现场安装架设投影机，调整各台投影机位置及角度以充满整个有效投影区域；

步骤6，使用手动投影拼接方法进行多投影几何校正：通过手动拖动网格使投影表面的关键点位置与投影视频对齐，同时将图像空间中的一条直线在观看者视角调整成直线，并进行颜色校正及融合区域亮度衰减；

步骤7，根据步骤6手动调整得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置；同时利用网络同步所有播放视频从而实现建筑投影。

3.如权利要求1所述的建筑外表面投影方法，其特征在于，所述自动拼接方法包括以下步骤：

步骤1，确定投影表面及观看者位置，使用相机在观看者所在位置拍摄投影表面的照片；

步骤2，根据投影表面的材质、现场光照条件以及项目预算确定投影机参数、投影机数量以及投影机位置布置；

步骤3，确定有效投影区域：根据步骤1照片中建筑物区域亮度与背景亮度的不同，使用图像处理方法求取建筑物区域，取该区域的最小外接矩形作为有效投影区域；

步骤4，具有3D效果的多媒体视频制作：

以步骤1得到的照片作为视频制作的模板，直接使用视频制作软件进行视频制作，当需要展示一副与关键点位置无关的效果，则直接将建筑物表面当作平片制作视频；当需要展示与关键点位置相关的效果时，沿着照片中建筑物表面关键点位置以及连接关键点的直线制作视频特效；

步骤5，现场安装架设投影机，调整各台投影机位置及角度以充满整个有效投影区域；

步骤6，使用基于结构光扫描的自动多投影拼接方法进行多投影几何校正，其具体步骤为：

步骤6.1，在与步骤1相同的位置架设相机，相机参数设置与步骤1相机参数相同；

步骤6.2，根据有效投影区域四个角点在相机图像坐标系下的坐标以及其在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系H_D；

步骤6.3，针对每台投影机覆盖的建筑表面区域，分别使用编码结构光扫描的方法建立每台投影机图像空间与相机图像之间的对应关系M_Ci，i=1，2，…，N，N为投影机数量；

步骤6.4，结合相机图像空间与显示图像空间之间的对应关系H_D以及任意一台投影机图像空间与相机图像之间的对应关系M_Ci，得到显示图像空间与任意一台投影机图像空间的对应关系；

步骤6.5，对待显示图像进行颜色校正以及融合区域亮度衰减；

步骤7，根据步骤6得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置；同时利用网络同步所有播放视频从而实现建筑投影。

Images