CN101344707A - 自动多投影仪非线性几何校正与边缘融合方法 - Google Patents

Abstract

本发明公开了自动多投影仪非线性几何校正与图像边缘融合方法，由PC机或图形工作站组成一个实时的分布式仿真系统，产生多通道宽广视角范围的虚拟场景，利用图像匹配法对多通道投影图像进行精确的非线性几何校正，并自动对图像进行边缘融合与颜色校正，形成逻辑上统一无缝的多通道投影图像。本发明方法用经纬仪和激光点阵对屏幕空间的三维定位，并通过对空间位置与标准投影图像的自动匹配方法实现投影图像的自动非线性几何校正，极大的通高了几何校正的精度与效率；另外基于色温仪进行自动颜色统一功能，消除了人眼的主观感觉和环境对颜色统一的影响，进一步提高了颜色一致性调整的精度。

Description

自动多投影仪非线性几何校正与边缘融合方法

技术领域

本发明涉及多通道投影屏幕的安装与投影图像的校正与融合方法，具体为一种用于虚拟场景仿真、虚拟制造、航天与航海虚拟环境仿真中的多通道投影屏幕的安装与投影图像的校正与融合方法。

背景技术

随着虚拟仿真技术的发展，人们不论是对虚拟仿真场景的真实感，还是对虚拟仿真的沉浸感都提出了新的要求，已经开始从单通道视景转到多通道视景，特别是水平视角范围已从几十度扩大到360度了，基于多通道的投影系统已经成了虚拟仿真系统中主要显示环境。在以下一些领域，多通道投影系统已经成为虚拟仿真系统的关键部分：

虚拟场景展示：虚拟城市建设与规划、博物馆中文物的虚拟展示等都需要对场景和物体进行建模，并运用高性能计算机生成图形，用投影仪展示在人们面前，为了让人有身临其境的感觉，必须使用多通道投影仪建设投影环境，满足人的视角范围。

虚拟制造：目前，不论是汽车、飞机、船舶，还是其他机械装置的生产都少不了模拟的虚拟仿真和虚拟测试，这些设备的制造都需要高分辨率，宽视角范围的仿真环境。

航天、航海仿真：航天与航海虚拟仿真成为主要的培训与决策手段，多通道投影视景系统已经是该仿真系统一个必不可少的部分。

当然还有许多领域，例如科学数据可视化，都需要利用多台投影仪拼接在一起，形成高分辨率和宽视角范围的弧形投影系统，显示一个逻辑上一致的全景图像，这种解决方案有两个关键技术问题需要解决：其一，透视投影图像投影在屏幕上，图像会发生几何变形，因此必须对投影图像进行几何变形校正；其二，多个投影仪投影图像拼接在一起，图像之间要么有一个缝隙，要么有一条两倍亮度的重叠区，这两种情况都会严重影响显示效果，因此必须把拼缝处的图像融合，使得重叠部分拼缝尽可能地不可见。

以往对于图像几何校正和拼接处图像融合解决方法是购买昂贵的投影仪或者图像融合机(如3D Perception)。对于前者，这些投影仪通常有内嵌光学融合镜头和几何校正芯片，后者即把多台投影仪输出的视频图像输入融合机，通过融合机几何校正和融合后分别输出到投影仪。

这些方法不仅昂贵，而且维护相当困难，都必须手动调节，只有专业人员才能使用。

发明内容

本发明所要解决的技术问题是提供一种自动多投影仪非线性几何校正与边缘融合方法，使整个系统精度高、价格便宜、维护方便、而又无需手动调节。

为了解决上述技术问题，本发明所提供的自动多投影仪非线性几何校正与融合方法，其特征包括以下步骤：

1)利用装有图形管程的PC机或图形工作站组成一个实时分布式仿真系统，实时分布式仿真系统的每个节点驱动对应于该通道的投影仪；

2)使用若干个投影仪建立投影系统，使得分布式仿真系统的测试图像通过投影仪输送到屏幕上，形成投影图像；

3)用匹配方法对投影图像进行自动非线性几何校正，使得整个投影屏幕上的投影图像组成一个逻辑上统一的全景图像；

4)利用融合函数对投影图像拼接处的图像进行软件边缘融合；

5)通过自动获取投影图像色彩值，实现颜色动态统一功能，确保多通道投影图像颜色的一致性。

本发明中所述的图形管程是指具有几何与纹理处理功能的处理器的图形显卡，每个计算机可以有n个图形卡(即n个图形管程)，共用一个操作系统。

本发明中所述的实时分布式仿真系统中的每个图形管程独立运行程序，通过设置每个图形管程的包括但不限于：通道水平视角、垂直视角、投影方式、视点位置基本参数，并利用广播式消息传送方式实现帧的同步和数据的协调性，保持产生的图像在逻辑上形成完整的全景图像。

本发明中所述的投影系统是根据系统需求，利用软幕或硬幕制作所需要的投影屏幕，并根据预先设计好的光路图将所有投影仪安装在规定的位置，然后每台投影仪连接对应的图形管程，将图像投射在投影屏幕上。

本发明中所述的自动非线性几何校正是指：首先利用经纬仪和激光阵列以点阵的方式对投影屏幕进行空间定位；然后通过每个计算机的每个图形管程输出与投影屏幕上空间激光点阵等间隔的标准网格；最后通过智能相机采集投影图像并输入计算机，通过投影屏幕上的空间激光点阵与标准网格进行自动匹配，从而得到投影仪图像与投影屏幕的对应关系，从而利用该对应关系实现对输出的图像进行非线性几何校正。

本发明中所述的颜色动态统一功能是通过色温仪采集各通道的色彩值，并反馈到计算机，然后自动对帧缓冲区中的图像的红(R)、绿(G)、蓝(B)通道分别调节，实现多通道颜色的统一。

本发明可以为弧形屏幕、环形屏幕、球形屏幕等多种屏幕，提供投影图像的非线性几何校正与边缘融合。通过计算机自动匹配法，解决了非线性变换时，投影变换矩阵无法求解的问题，并极大的提高了几何校正的精度。通过色温仪采集数据，实现颜色动态统一功能，消除了人的主观错觉。几何位置与颜色的自动匹配，较低了安装投影仪的机械要求。

附图说明

图1为本发明分布式仿真系统结构图。

图2为本发明弧形幕或环幕示意图。

图3为本发明计算机生成的标准网格图。

图4为本发明的激光点阵图。

图5为本发明变形网格图像图。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步系统调试过程的详细描述。

1.建立实时分布式仿真系统

如附图1所示，系统用若干个计算机1系列组成一个分布式网络，设置每个计算机1的图形通道参数，如通道在世界坐标系内的位置，视锥体的投影方式，水平视角，垂直视角等，所有计算机1输出逻辑上完整的投影图像信号。

2.建立投影系统

建立之前，根据场地要求和投影仪2的镜头、投射比、分辨率等绘制光路图，有了光路图，就可以将投影仪2安装在对应位置。

如附图2所示，投影系统由多个投影仪2组成的投影仪系列与投影屏幕3组成，每个投影仪2接收相应计算机1的图像信号将对应通道的图像投射到投影屏幕3上，使得分布式仿真系统的测试图像通过投影仪输送到屏幕上，形成投影图像；投影屏幕3是弧形幕或环形屏幕，投影仪2排布在与弧形屏幕同心圆上，并从上向下投射。

3.自动非线性几何校正

附图2是360度环形柱幕投影系统，从图2可以看出，等同网格在投影屏幕3上是畸形显示，因此必须进行几何校正，下面是该操作算法步骤：

(1)用经纬仪在投影屏幕3上定义等间隔点阵，并用激光点阵标记。

(2)用计算机1的画图设备绘制模板生成与步骤(1)中相同间隔的网格，见附图3，输出到弧形屏幕上，见附图4。

(3)固定智能相机，用智能相机获取投影屏幕3上的图像，将摄取的图像输入计算机1。

(4)已知激光点阵在3D空间的位置[x y z]，提取投影屏幕3上激光点阵在相机图像空间对应的2D坐标[u v]，利用透视投影方程计算得到投影屏幕3到相机的透视投影矩阵H_sc。

(5)已知计算机1的帧缓存中的标准网格点阵的2D坐标[u′v′]，投影在投影屏幕3后，相机采集的网格图像通过提取后得到相机图像空间对应的2D坐标[u v]。利用透视投影方程计算得到透视投影矩阵H_sc。

(6)由步骤(4)和步骤(5)可以计算得到投影空间到屏幕空间的透视投影矩阵H_ps。

(7)利用由步骤(6)得出的变换矩阵H_ps，对帧缓存中的图像的每个像素进行变换，得到目标位置。利用曲面算法，将帧缓存中图像的变形转换为曲面变形，并由一组控制点表示。如附图5。

(8)利用控制点网格对帧缓存中的图像实时进行曲面映射，并输出到投影幕上，得到几何校正后正确图像。

关于步骤(4)和步骤(5)中涉及的H_sc的定义如下：

假设投影屏幕3与智能相机之间是透视投影关系，那么可以利用透视投影方程得到投影幕3上3D特征点[x y z]到相机图像空间对应2D坐标[u v]的3×4的透视投影矩阵H_sc。即令n≡[uw vw w]^T表示相机图像空间对应点，m≡[x y z 1]^T表示投影屏幕3空间对应点，则可以得到透视投影方程：

n∝H_scm

其中w为尺度因子。

假设投影仪2与相机之间是透视投影关系，那么可以利用透视投影方程得到投影仪2上2D图像特征点[u′v′]到相机图像空间对应2D坐标[u v]的3×3的透视投影矩阵H_pc。即令n′≡[u′v′1]^T表示投影仪2图像空间对应点，n≡[uw vw w]^T表示相机图像空间对应点，则可以得到投影仪2到相机的透视投影方程：

n∝H_pcn′

其中w为尺度因子。

假设给定一个4×3的透视投影矩阵H_ps，那么投影仪2与投影屏幕3之间的透视投影方程为：

m∝H_psn′

4.自动投影图像边缘融合

投影仪2拼接处，图像存在缺陷，本发明通过边缘融合算法消除融合带，融合是将一个图像中位于重叠区中的每个像素都乘以某个值。它的算法步骤如下：

(1)叠加相邻两投影仪图像，计算叠加宽度d(以像素为单位)。

(2)选择融合函数f(x)，融合函数值域为(0，1)，x表示像素列的位置，介于0到1之间，例如融合带的右侧图像第一列x＝0，最后一列x＝1，第n列(0＜＝n＜＝d)x＝n/d。

(3)将重叠区的每个像素都乘以融合函数，例如右侧图像中的像素乘以f(x)，第一列中的像素被乘以0(没有影响)，最后一列(混合区右边缘)上的像素则被乘以1，第n列中的像素被乘以f(n/d)。左侧图像乘以1-f(x)。

(4)采用伽码的倒数次幂对输出亮度作伽码校正。

5.颜色动态统一功能

将每个投影仪2投射相同的颜色模板，如红色、绿色、蓝色、白色。然后利用色温仪采集色彩值反馈到计算机1，计算机1根据色彩值分别对红、绿、蓝三个通道对帧缓冲区的颜色进行校正，确保颜色的统一性。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (7)

1.自动多投影仪非线性几何校正与图像边缘融合方法，其特征在于，包括以下步骤：

1)利用装有图形管程的PC机或图形工作站组成一个实时分布式仿真系统，实时分布式仿真系统的每个节点驱动对应于该通道的投影仪；

2)使用若干个投影仪建立投影系统，使得实时分布式仿真系统的测试图像通过投影仪输送到屏幕上，形成投影图像；

3)用匹配方法对投影图像进行自动非线性几何校正，使得整个投影屏幕上的投影图像组成一个逻辑上统一的全景图像；

4)利用融合函数对投影图像拼接处的图像进行软件边缘融合；

5)通过自动获取投影图像色彩值，实现颜色动态统一功能，确保多通道投影图像颜色的一致性。

2.根据权利要求1所述的自动多投影仪非线性几何校正与融合方法，其特征在于，所述的图形管程是指具有几何与纹理处理功能的处理器的图形显卡，每个计算机可以有n个图形卡，共用一个操作系统。

3.根据权利要求1所述的自动多投影仪非线性几何校正与融合方法，其特征在于，所述的实时分布式仿真系统中的每个图形管程独立运行程序，通过设置每个图形管程的包括但不限于：通道水平视角、垂直视角、投影方式、视点位置基本参数，并利用广播式消息传送方式实现帧的同步和数据的协调性，保持产生的图像在逻辑上形成完整的全景图像。

4.根据权利要求1所述的自动多投影仪非线性几何校正与融合方法，其特征在于，所述的投影系统是根据系统需求，利用软幕或硬幕制作所需要的投影屏幕，并根据预先设计好的光路图将所有投影仪安装在规定的位置，然后每台投影仪连接对应的图形管程，将图像投射在投影屏幕上。

5.根据权利要求1所述的自动多投影仪非线性几何校正与融合方法，其特征在于所述的自动非线性几何校正是：首先利用经纬仪和激光阵列以点阵的方式对投影屏幕进行空间定位；然后通过每个计算机的每个图形管程输出与投影屏幕上空间激光点阵等间隔的标准网格；最后通过智能相机采集投影图像并输入计算机，通过投影屏幕上的空间激光点阵与标准网格进行自动匹配，从而得到投影仪图像与投影屏幕的对应关系，从而利用该对应关系实现对输出的图像进行非线性几何校正。

6、根据权利要求1所述的自动多投影仪非线性几何校正与融合方法，其特征在于，所述的利用融合函数对投影图像拼接处的图像进行软件边缘融合，是将一个图像中位于重叠区中的每个像素都乘以某个值，具体算法步骤如下：

(1)叠加相邻两投影仪图像，以像素为单位计算叠加宽度d；

(2)选择融合函数f(x)，融合函数值域为(0，1)，x表示像素列的位置，介于0到1之间；

(3)将重叠区的每个像素都乘以融合函数；

(4)采用伽码的倒数次幂对输出亮度作伽码校正。

7.根据权利要求1所述的自动多投影仪非线性几何校正与融合方法，其特征在于所述的颜色动态统一功能是通过色温仪采集各通道的色彩值，并反馈到计算机，然后自动对帧缓冲区中的图像的红、绿、蓝通道分别调节，实现多通道颜色的统一。

Images