CN102244757B - 一种基于投影仪-相机系统的多投影大屏幕颜色校正方法 - Google Patents

Abstract

为了消除多投影大屏幕显示系统颜色差异对观察者沉浸感和真实感的影响，提出了一种基于投影仪-相机系统的颜色校正优化算法。针对以往算法中忽略相机影响的问题，提出基于Pedro图像分割的高动态范围图像合成算法，建立相机输入输出像素映射关系；利用YUV色彩空间的转换模型结合函数逼近方法对投影仪亮度和色度同时校正，生成颜色查找表，基于着色语言实现颜色校正的GPU渲染。最后以三通道环形多投影屏幕为实验平台验证了该算法的有效性。

Description

一种基于投影仪-相机系统的多投影大屏幕颜色校正方法

技术领域

本发明涉及一种更优化的基于投影仪-相机系统的大屏幕颜色校正优化方法，提高了大屏幕画面颜色的一致性，对增强虚拟场景的沉浸感有很高的应用价值，属于虚拟现实技术和显示技术领域。

背景技术

视觉是人类的重要感知系统之一，为了加强观察者在虚拟环境下的视觉感知，大屏幕显示系统的颜色一致性显得尤为重要。多投影大屏幕虚拟环境系统是由多台PC机驱动多台投影仪组成，为了使多通道虚拟环境具有较强的沉浸感，就要求多台投影机投射到大屏幕上的画面颜色一致。不同投影仪之间同样存在颜色差异，投影输出特性、放置位置、投影方向以及各种投影参数的设置等都会导致颜色差异。文献“Color Calibration of Multi-ProjectorDisplays through Automatic Optimization of Hardware Settings”(R.Matt Steele，Mao Ye，RuigangYang，IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops.2009：55-60)基于硬件进行投影仪颜色校正，这对硬件精度要求非常高，而且需要专业的校正设备，所以利用软件进行颜色校正成为研究热点。

目前已有的基于投影仪-相机系统的颜色校正方法大多只针对投影仪进行颜色校正，忽略了相机的影响。专利“一种投影仪颜色校正方法”(丁莹，范静涛，杨华民等，中国，200910067504.4.2009-09-08)考虑了相机影响，在大屏幕附近的环境光条件下用分光计测出曝光时间和光圈大小作为校正过程中相机的参数，该方法简单易操作，但需要专业的光学设备，而且由于环境光的不均匀性，测量的数据不能保证唯一性。而且对于多投影系统来说需要多次测量过程复杂，不适用于多投影校正的虚拟环境系统。

因此，为了更好的实现多投影面虚拟环境系统的沉浸感和真实感，全面考虑投影仪-相机系统中各环节对颜色的非线性影响，选择一种有效、准确的颜色校正算法十分必要。

发明内容

本发明的目的是针对投影仪-相机校正系统，计算出相机的非线性影响的基础上，对投影仪进行RGB空间的非线性校正。舍弃了传统计算相机的非线性响应函数并需要很多低动态范围(即LDR)图像合成高动态范围(即HDR)图像的Debevec算法，改进投影仪颜色校正的函数逼近模型，同时校正投影仪亮度和色度信息。

(动态范围的概念-在很多领域用来表示某个变量最大值与最小值的比率，也被称为对比度，对真实世界中的自然场景来说，动态范围代表了最亮的光照亮度和最暗光照亮度的比。我们人眼可以感受的动态范围非常大，通常可以超过十万倍，但一般相机的动态范围却都相当有限。)

为了达到上述目的，本发明提出一种基于投影仪-相机系统的优化颜色校正算法解决多投影大屏幕虚拟环境系统的颜色校正问题。利用相机作为颜色反馈仪器，综合考虑投影仪-相机系统中投影仪及相机的非线性影响，提出基于Pedro图像分割的高动态范围图像合成算法，只需要较少的LDR图像就可以高效的合成HDR图，建立相机输入输出像素映射关系。利用YUV色彩空间的转换模型对投影仪亮度和色度同时校正，基于相机的像素映射关系生成各投影仪颜色查找表，通过更改颜色查找表实现投影仪间颜色一致。

(图像分割的概念-根据需要将图像划分为有意义的若干区域或部分的图像处理技术。图像分割的方法和各类有很多，其中Pedro提出了一种基于图论的高效分割算法，快速高效的完成图像分割。

颜色查找表的概念-颜色校正前后RGB值的对比查找表。表共有两列数据组成，第一列为校正前三组[0，255]的RGB值，第二列为校正后相应的替换RGB值。)

本发明所采取的技术方案是：

一种基于投影仪-相机系统的大屏幕颜色校正方法，包括步骤：

1)拍摄多张场景相同但不同曝光时间的静态LDR图像；

2)通过相机拍摄的这组LDR图像合成HDR图；

3)求取相机的非线性输入输出像素间的映射曲线；

4)令两台投影机投射指定画面，将相机固定在大屏幕前，使相机同时采集到相邻两个投影面的画面；

5)Server端计算机的计算过程：以一台投影仪输出的投影画面为基准，结合相机非线性曲线匹配校正相邻投影仪的投影面RGB颜色值，得到相应的颜色查找表；

6)匹配端计算机读入上述生成的颜色查找表；

7)基于多投影大屏幕实验平台及OSG开发环境实现颜色校正的GPU渲染。

进一步地：所述步骤2)中先通过相机拍摄的一组LDR图像合成HDR图的方法是：2.1)使相机位置固定，以免拍摄过程中发生位置偏移或抖动，对同一场景拍摄少量(3-5张)不同曝光时间的静态LDR图像；2.2)利用Pedro提出的基于图论的高效图像分割法对LDR图像进行聚类分割；2.3)在分割后图像的不同区域中均匀采样关键像素点；2.4)基于Debevec经典算法合成HDR图像；

进一步地：所述步骤3)中求取相机的非线性输入输出像素间的映射曲线的方法是：3.1)对上述生成的HDR图像进行Pedro图像分割，并同样采样关键像素点；3.2)读取HDR图像与某一曝光时间t下的LDR图像的像素值进行对比；3.3)基于RGB三个颜色通道建立相机非线性响应的像素映射曲线；

进一步地：所述步骤5)中生成匹配端投影仪颜色查找表的步骤是：5.1)建立投影仪颜色校正的YUV与RGB颜色空间转换的数学模型；5.2)以一台投影机的投影画面为基准，读取另一台投影机投影面的颜色值按上述数学模型进行计算后对比并输出有效映射数据；5.3)将上述输出数据进行样条插值生成[0，255]之间的连续映射曲线，即生成颜色查找表。

进一步地：所述步骤5.2)中基准匹配的校正步骤是：5.2.1)基准端：给定输入像素值i(r，g，b)；5.2.2)基准端：在基准端投影面采样一个矩形区域进行计算，得到相机采样后输出的区域内平均像素值i(r_m，g_m，b_m)；5.2.3)基准端：由相机非线性曲线求得投影仪输出平均像素值i(r_h，g_h，b_h)；5.2.4)基准端：通过1)得出基准投影面的亮度和色度Y_s，U_s，V_s；5.2.5)匹配端：根据匹配端亮度色度与基准端一致求出匹配投影面的期望平均像素值i(r_h′，g_h′，b_h′)；5.2.6)匹配端：由相机非线性函数求得相机输出的期望像素值i(r_m′，g_m′，b_m′)；5.2.7)匹配端：在匹配端投影面同样选取与基准端位置对称、大小相同的矩形区域，找到一个平均输入像素值i(r′，g′，b′)，使得相机的反馈达到期望像素值；5.2.8)匹配端：根据i(r，g，b)和i(r′，g′，b′)建立匹配端投影仪颜色查找表。

进一步地：基于OSG开发环境下的多投影大屏幕软件实验平台，利用GLSL语言编写片元着色器，并与OSG开发的大屏幕应用程序建立连接，通过一维纹理查找的方式完成颜色查找表的替换，实现多投影大屏幕颜色校正过程的GPU实现渲染。

本发明的优点在于：(1)不局限于投影幕的形状，独立于几何校正，通用性强。(2)主要通过软件技术进行校正，不需要昂贵的校正设备，成本较低。(3)本发明提出的基于Pedro图像分割的HDR算法大大简化了相机非线性响应的计算量，提高颜色校正的计算效率。(4)基于YUV颜色空间转换的函数逼近算法耦合了投影仪的亮度和色度信息，在校正过程中实时获得匹配值，生成投影仪的RGB颜色查找表，校正过程实现部分自动化。

附图说明

图1为投影仪-相机系统组成

图2为不同曝光时间下拍摄的图像(曝光时间分别为(a)1/64s、(b)1/16s、(c)1/4s)

图3为对HDR图像的图像分割

图4为在拍摄的图片中采样关键点

图5为合成HDR图像

图6为正常曝光与HDR图采样关键点比对图

图7为相机输入输出像素间的对应关系曲线

图8为颜色查找表生成流程图

图9为三通道大屏幕系统结构图

图10为匹配端的两台投影仪查找表曲线图((a)1号机(b)3号机)

图11为校正前三通道每台投影仪输出图像的亮度直方图

图12为传统算法校正后投影仪输出图像的亮度直方图

图13为本发明算法校正后投影仪输出图像的亮度直方图

具体实施方式

本发明是一种基于投影仪-相机系统的多投影大屏幕虚拟环境系统的颜色校正方法，它采用结合图像分割的HDR技术计算出相机的非线性曲线，在此基础上，对投影仪进行匹配校正生成颜色查找表实现大屏幕颜色一致。本发明包括以下步骤：

1)拍摄多张场景相同但不同曝光时间的静态LDR图像。

2)通过相机拍摄的这组LDR图像合成HDR图。

此处，固定相机拍摄位置，以免拍摄过程中发生位置偏移或抖动，对同一场景拍摄少量(3-5张)不同曝光时间的静态LDR图像。利用Pedro提出的基于图论的高效图像分割法对LDR图像进行聚类分割，在分割后图像的不同区域中均匀采样关键像素点，基于Debevec经典算法合成HDR图像。加入图像分割算法的意义：一是减少传统HDR技术中对LDR图像的需求量，大大降低了工作量；二是经过图像分割后，像素点的采样更加有规律，更具代表性，计算更为准备，提高了工作效率。

3)求取相机的非线性输入输出像素间的映射曲线。

4)令两台投影机投射指定画面，将相机固定在大屏幕前，使相机同时采集到相邻两个投影面的画面。

5)Server端计算机的计算过程：以一台投影仪输出的投影画面为基准，结合相机非线性曲线匹配校正相邻投影仪的投影面RGB颜色值，得到相应的颜色查找表。

此处，建立投影仪颜色校正的YUV与RGB颜色空间转换的数学模型，以一台投影机的投影画面为基准，读取另一台投影机投影面的颜色值按上述数学模型进行计算后对比并输出有效映射数据。将上述输出数据进行样条插值生成[0，255]之间的连续映射曲线，即生成颜色查找表。

6)匹配端计算机读入上述生成的颜色查找表。

7)基于多投影大屏幕实验平台及OSG开发环境实现颜色校正的GPU渲染。

如图1所示，多投影大屏幕环境的校正系统组成如下：

大屏幕、多台投影仪、相机及PC机群。

两台Client端计算机分别控制两台投影仪在大屏幕的显示，显示范围有一定的重叠。相机作为颜色反馈器同时采集基准端和匹配端投影面图像信息，输出给Server端计算机完成相应的计算任务，生成的颜色查找表由Client端读取并在大屏幕输出校正后的图像。

在不考虑屏幕反射率等问题的情况下，从图1可以直观看出，整个校正过程中影响最大的两个部分就是相机和投影仪，多投影大屏幕的颜色校正主要是针对投影仪进行，但在颜色校正的投影仪-相机系统中，相机的影响也是不可忽略的。

本发明主要有以下三方面内容：

1)基于Pedro图像分割的HDR算法合成HDR图像，获得相机非线性响应曲线；

2)利用RGB与YUV颜色空间的转换模型计算投影仪非线性响应函数，同时校正亮度信号Y和色差信号U、V，从而保证亮度、色彩及饱和度在显示上的一致性，生成投影仪颜色查找表；

3)在OSG开发环境下，借助GLSL语言实现颜色校正的GPU渲染。通过实验的验证，提高了大屏幕画面颜色的一致性。

下面对本发明作进一步详细说明。

(一)求取相机像素响应曲线

对于一个数码相机而言，成像包括曝光，光电转换，信号放大，模数转换，重构等几个步骤。一定量的场景辐照度(scene radiance)L透过透镜，成为一定量照度值为E的发光度(irradiance)，经过感光成像，模型转换及重构成为每一个像素位置具有一定灰度值的数字图像。

(1)高动态范围图像合成

基于经典HDR算法，在选择图像数量和采集像素点方法上做相应优化。Debevec算法中应用最小二次误差法还原真实场景的照度恢复HDR图像，在拍摄一系列LDR图像时要严格保证拍摄场景为静态，拍摄过程避免抖动，以免合成HDR时产生鬼影。经典算法中计算量较大，由于拍摄图像在低曝光和过度曝光情况下饱和点附近的像素值都会产生很大偏差，不适用于实际应用。

基于Pedro图像分割法的HDR技术首先对图像进行聚类分割，在每个分割后的区域选择关键点进行HDR分析计算，选取三张曝光时间不同的照片进行HDR合成。具体步骤如下：

1)选取LDR图像

正常光照条件下我们选取正常曝光时间为1/16s，则选择另两张图像的曝光时间分别为1/64s和1/4s，图像的像素大小为1600×1200。由于曝光时间越长，进入光线越多，可得到三张照度不同的图片如图2所示。

2)图像分割后提取关键像素点

通过Pedro提出的图像分割算法对正常曝光图片及HDR图进行图像分割，如图3所示。Pedro算法中的参数设置为σ＝0.5，k＝500，min＝50。其中σ是高斯平滑参数；k为计算阈值函数的参数，根据图像的大小来适当选取k的值；min为划分区域的最小尺寸。在每个聚类区域选取的关键像素点，如图4所示。共选择出关键像素点41个，针对采样的关键像素点进行HDR计算。

3)参考经典算法合成HDR图

在相机的成像原理中，曝光量X是正比于镜头收到的照度值E与曝光时间Δt的乘积的，即X＝EΔt，用f表示相机响应函数，z为像素点的灰度值，则有关系：

z＝f(X)＝f(EΔt)    式(1)

求逆再两边求对数，设g＝lnf^-1，式(1)可进一步表示为

lnE_i+lnΔt_j＝g(z_ij)    式(2)

其中i为图4中所有的关键像素点，i＝1，2，...，41，j为图2中所有曝光次数，j＝1，2，3。故z_ij表示图2三种曝光条件下，每一张图像采样出的关键像素点的灰度值。这里，Δt_j是图2所示的三次曝光时间，E_i和g未知。根据不同的灰度值的可靠度加上权重函数w(z)，利用最小二乘法构造一个二次误差函数：

$O=\underset{i=1}{\overset{P}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{\left\{w\left(z_{\mathrm{ij}}\right)\right[g\left(z_{\mathrm{ij}}\right)-\ln E_i-\ln {\mathrm{\Δt}}_j\left]\right\}}^2+\mathrm{\λ}\underset{z=z_{\min }+1}{\overset{z_{\max }-1}{\mathrm{\Σ}}}{\left[w\left(z\right)g^{\′\′}\left(z\right)\right]}^2$ 式(3)

其中第一项是误差量，第二项保证g函数的光滑性，λ是光滑性约束的权重，P＝41表示图4中的关键像素点个数，M＝3表示图像张数。其中权重函数可以有不同的形式，这里采用经典算法中的三角权重：

$w\left(z\right)=\left\{\begin{array}{c}z-z_{\min }(z\≤\frac{1}{2}(z_{\min }+z_{\max }))\\ z_{\max }-z(z>\frac{1}{2}(z_{\min }+z_{\max }))\end{array}\right.$ 式(4)

其中z_min＝0，z_max＝255，最后高动态照度E_i为：

$\ln E_i=\frac{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}w\left(z_{\mathrm{ij}}\right)(g\left(z_{\mathrm{ij}}\right)-\ln {\mathrm{\Δt}}_j)}{\underset{j=1}{\overset{M}{\mathrm{\Σ}}}w\left(z_{\mathrm{ij}}\right)}$ 式(5)

合成的HDR图像如图5所示。

以上完成HDR图像的合成，基于Pedro图像分割的HDR算法恢复了相机采样前的光场信息，即投影仪-相机系统中投影仪的输出图像。这样，可以通过对比相机采集前后的图像信息获得相机的输入输出映射关系。

(2)估算相机输入输出映射曲线

设H＝t(N)，其中H代表HDR图像中的像素值，N代表相机正常曝光拍摄图像的像素值，即为了求t函数曲线，步骤如下：

1)针对图3和图4中图像分割的结果，对正常曝光下的图像和HDR图像进行相应位置的像素值提取和比对，如图6所示；

2)分别对比RGB三个通道的像素值，通过样条插值得到相机输入输出像素间的对应关系如图7。

以上完成相机非线性响应函数的计算过程，得到图7所示的非线性响应曲线，建立相机输入输出像素值的映射关系。图中三种颜色的线条分别代表RGB三个颜色通道。在投影仪-相机系统的校正过程中，调整相机参数与上述正常曝光时参数一致，计算机读取相机采集的像素值，根据相机非线性响应关系得到投影面像素值，进行下一步投影仪非线性曲线计算。

(二)投影仪响应曲线求取及颜色查找表的生成

(1)颜色校正模型建立

主要考虑相机和投影仪的响应函数影响，实现通道间的颜色一致。故采用函数逼近的改进模型，利用RGB与YUV颜色空间的转换，基准端给定输入值，匹配端以函数逼近的方式得到满足校正模型的匹配像素值，建立颜色映射查找表。具体步骤如下：

RGB到YUV颜色空间的转换公式如下

$\left[\begin{array}{c}Y\\ U\\ V\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.332& 0.5\\ 0.5& -0.419& -0.0813\end{array}\right]\×\left[\begin{array}{c}R\\ G\\ B\end{array}\right]+\left[\begin{array}{c}0\\ 128\\ 128\end{array}\right]$ 式(6)

设系数 $a=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ -0.169& -0.332& 0.5\\ 0.5& -0.419& -0.0813\end{array}\right],$ b＝[0 128 128]^T，设基准端的亮度及色差信号为Y_s，U_s，V_s，匹配端为Y_c，U_c，V_c，HDR图像的像素值为i(r_h，g_h，b_h)，正常曝光的图像像素值为i(r_m，g_m，b_m)，所以式(6)可具体改写为

$\left[\begin{array}{c}{Y}_s\\ U_s\\ V_s\end{array}\right]=a\left[\begin{array}{c}{r}_h\\ g_h\\ b_h\end{array}\right]+b$ 式(7)

由于直接从计算机中读取到的值为基准端i(r_m，g_m，b_m)，由第2节求得的相机响应曲线可知：r_h＝f(r_m)，g_h＝f(g_m)，b_h＝f(b_m)，所以公式(7)可写成：

$\left[\begin{array}{c}{Y}_s\\ U_s\\ V_s\end{array}\right]=a\left[\begin{array}{c}f\left(r_m\right)\\ f\left(g_m\right)\\ f\left(b_m\right)\end{array}\right]+b$ 式(8)

根据式(8)可求出基准端的[Y_s U_s V_s]，为使基准端与匹配端的亮度及色度一致，令|Y_c-Y_s|≤ε，|U_c-U_s|≤ε，|V_c-V_s|≤ε，求出匹配端的像素值i(r_h′，g_h′，b_h′)如下式：

$\left[\begin{array}{c}{r_h}^{\′}\\ {g_h}^{\′}\\ {b_h}^{\′}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 1.41\\ 1& 0.345& 0.72\\ 1& 1.78& 0\end{array}\right]\left[\begin{array}{c}{Y}_c\\ U_c\\ V_c\end{array}\right]+\left[\begin{array}{c}-180.48\\ 136.32\\ -227.84\end{array}\right]$ 式(9)

通过YUV颜色空间转换，结合相机的非线性响应函数，得到上述颜色校正的数学模型。

(2)颜色校正流程

在基准端像素值的采样上，针对R、G、B三个颜色通道以8为增量在[0，255]区间取样，分别进行校正。空间上，相机同时采样两个通道的投影面，为了减小误差，相机采样后在两通道上分别选择投影面中间位置的一个矩形区域进行像素平均计算，颜色校正流程及颜色查找表的生成过程如图8所示。

以一台投影仪P_i的投影面作为基准端，给定输入像素值i(i_r，i_g，i_b)，可求得投影仪的输出像素值i(r_h，g_h，b_h)，根据参考面的亮度及色度求取匹配端的像素期望值i(r_h′，g_h′，b_h′)。当匹配端的输入像素为i(i_r′，i_g′，i_b′)时，Server端计算出的投影仪输出像素值与数学模型求出的期望值相同，则将两个输入值i(i_r，i_g，i_b)、i(i_r′，i_g′，i_b′)映射为颜色查找表中的一项。通过样条插值得到投影仪的响应曲线，生成[0，255]区间RGB三通道颜色查找表。

实验中的三通道大屏幕显示系统共有六台投影仪，摆放位置分成上下两排，如图9所示。以三通道大屏幕系统中的1、2、3号投影机为例进行基于投影仪-相机系统颜色校正，其中以2号机为基准端，求取1号和3号投影机的输入输出像素映射关系，生成查找表曲线如图10所示。以上过程得到了以2号机为基准得到的1号和3号投影仪的颜色查找表曲线，用于下一步匹配端投影仪颜色校正的程序实现。

(3)颜色校正的实现

基于OSG开发环境结合GLSL语言完成颜色校正过程，利用一维纹理查找的方式进行查找表颜色校正，将查找表读入显卡显存，通过片元着色器与OSG环境应用程序建立通信关系，完成查找表映射。GLSL编写的着色器需要经过5个步骤：①着色器对象的创建，②着色器的编译，③创建程序对象，④链接着色器，⑤安装着色器，才可以驱动可编程着色器进行工作。主要实现过程如下：

(1)应用程序端：

Step1：设定一维纹理绑定到lutNode状态集；

Step2：读取颜色查找表；

Step3：和片元着色器中的采样器作连接；

(2)片元着色器：

Step1：定义采样器；

Step2：读取应用程序中的纹理像素；

Step3：将上述纹理像素与模型像素混合；

Step4：一维查找方式进行颜色值替换；

Step5：完成颜色校正；

首先在应用程序端读取查找表，建立一维纹理并绑定到查找表所设定的状态集，连接片元着色器。然后在片元着色器中，通过一维纹理查找来替换原有颜色像素值并显示。

(三)实验结果分析

下面给出以三通道多投影面沉浸式虚拟环境系统为实验平台的验证结果。投影仪-相机校正系统的硬件部分由4台PC机(三台Client端分别控制三台投影仪的显示，一台作为Server端负责校正过程中的计算部分)、3台NEC 1065+(显示分辨率为XGA1024×768)投影机、1块CG300大恒图像采集卡、一台canon数码相机(采用第2节中已求得非线性曲线作为反馈环节)组成。

为了进一步分析颜色校正的效果，选取一幅天空的测试用图像，三台投影仪在颜色校正前后分别投放，对每台投影仪投出的图像拍摄后进行灰度处理分析其灰度信息。对颜色校正前、未考虑相机影响的颜色校正算法以及本发明算法三种情况进行对比，得到的三组数据分析如图11、12、13所示。

图11列举了颜色校正前三台投影仪输出图像的亮度直方图，1号机投影面的亮度主要集中在[20，220]之间，2号机投影面的亮度集中在[20，70]以及[150，220]之间，3号机投影面的亮度集中在[20，120]以及[100，225]之间。可见，三个输出图像的亮度分布差异较大，1号机投影面的亮度分布最分散，表现在灰度值为60及180附近的像素点较多，2号机在灰度值为50及200附近的像素点居多，而3号机在灰度值[20，120]区间分布比较平均，在灰度值200附近像素点较多。

图12列举了不考虑相机影响，对投影仪颜色校正后三台投影仪输出图像的亮度直方图。1号机投影面的亮度主要集中在[25，100]以及[110，220]之间，2号机投影面的亮度分布与图11相同，3号机投影面的亮度集中在[25，100]以及[130，225]之间。可以看出，与图11中各投影仪的亮度分布相比有了改善，1号和3号投影面的像素灰度值分布开始向2号机靠近。1号机投影面表现在灰度值为70及180附近的像素点较多，3号机投影面在灰度值[30，80]区间分布比较平均，在灰度值200附近的像素点较多。

图13列举了本发明算法颜色校正后三台投影仪输出图像的亮度直方图，1号机投影面的亮度主要集中在[20，75]以及[120，220]之间，2号机投影面的亮度分布与图11、12相同，3号投影机的亮度集中在[20，80]及[120，225]之间。可以看出，经过本发明算法的颜色校正后，3个投影面的亮度分布比较接近，差异较小。1号机投影面表现在灰度值为50和180附近的像素点较多，3号机投影面在灰度值50和200附近的像素点居多。与图12相比，1号和3号投影仪的亮度分布更加向2号机靠近，有了明显的改善。

可以看出，本发明算法校正后3台投影仪投影面的亮度分布大体一致，但从图13中三个投影面亮度分布的差异发现，由于投影仪本身亮度不均问题的存在，导致每台投影仪在单个投影面上的亮度分布上还存在一定误差。

通过以上图11、12和13的分析，验证了本发明算法的可行性和有效性。在不影响观察者视觉效果的误差范围内解决了多投影屏幕间颜色不均的问题，加强了通道间融合和拼接后的图面沉浸感。

Claims (6)

1.一种面向投影仪-相机系统的多投影大屏幕颜色校正方法，其特征在于：

全面考虑投影仪-相机校正系统的每个非线性环节，针对以往忽略相机影响的问题，整合相机与投影仪的非线性曲线之间的关系，在相机输入输出像素映射关系的基础上，进行多投影仪间的颜色校正，校正步骤：

1)拍摄多张场景相同但不同曝光时间的静态低动态范围LDR图像；

2)通过相机拍摄的这组LDR图像合成高动态范围HDR图；

3)求取相机的非线性输入输出像素间的映射曲线；

4)令两台投影机投射指定画面，将相机固定在大屏幕前，使相机同时采集到相邻两个投影面的画面；

5)Server端计算机的计算过程：以一台投影仪输出的投影画面为基准，结合相机非线性曲线匹配校正相邻投影仪的投影面RGB颜色值，得到相应的颜色查找表；

6)匹配端计算机读入上述生成的颜色查找表；

7)基于多投影大屏幕实验平台及OSG开发环境实现颜色校正的GPU渲染。

2.如权利要求1所述的多投影大屏幕颜色校正方法，其特征在于：

所述步骤2)中先通过相机拍摄的一组LDR图像合成HDR图的方法是：

2.1)使相机位置固定，以免拍摄过程中发生位置偏移或抖动，对同一场景拍摄3-5张不同曝光时间的静态LDR图像；

2.2)利用Pedro提出的基于图论的高效图像分割法对LDR图像进行聚类分割；

2.3)在分割后图像的不同区域中均匀采样关键像素点；

2.4)基于Debevec经典算法合成HDR图像。

3.如权利要求1所述的多投影大屏幕颜色校正方法，其特征在于：

所述步骤3)中求取相机的非线性输入输出像素间的映射曲线的方法是：

3.1)对上述生成的HDR图像进行Pedro图像分割，并同样采样关键像素点；

3.2)读取HDR图像与某一曝光时间t下的LDR图像的像素值进行对比；

3.3)基于RGB三个颜色通道建立相机非线性响应的像素映射曲线。

4.如权利要求1所述的多投影大屏幕颜色校正方法，其特征在于：

所述步骤5)中生成匹配端投影仪颜色查找表的步骤是：

5.1)建立投影仪颜色校正的YUV与RGB颜色空间转换的数学模型；

5.2)以一台投影机的投影画面为基准，读取另一台投影机投影面的颜色值按上述数学模型进行计算后对比并输出有效映射数据；

5.3)将上述输出数据进行样条插值生成[0，255]之间的连续映射曲线，即生成颜色查找表。

5.如权利要求1所述的多投影大屏幕颜色校正方法，其特征在于：

所述步骤5)中匹配校正相邻投影仪的步骤是：

5.2.1)基准端：给定输入像素值i(r，g，b)；

5.2.2)基准端：在基准端投影面采样一个矩形区域进行计算，得到相机采样后输出的区域内平均像素值i(r_m，g_m，b_m)；

5.2.3)基准端：由相机非线性曲线求得投影仪输出平均像素值i(r_b，g_b，b_b)；

5.2.4)基准端：通过建立投影仪颜色校正的YUV与RGB颜色空间转换的数学模型得出基准投影面的亮度和色度Y_s，U_s，V_s；

5.2.5)匹配端：根据匹配端亮度色度与基准端一致求出匹配投影面的期望平均像素值i(r_b′，g_b′，b_b′)；

5.2.6)匹配端：由相机非线性函数求得相机输出的期望像素值i(r_m′，g_m′，b_m′)；

5.2.7)匹配端：在匹配端投影面同样选取与基准端位置对称、大小相同的矩形区域，找到一个平均输入像素值i(r′，g′，b′)，使得相机的反馈达到期望像素值；

5.2.8)匹配端：根据i(r，g，b)和i(r′，g′，b′)建立匹配端投影仪颜色查找表。

6.如权利要求1所述的多投影大屏幕颜色校正方法，其特征在于：

基于OSG开发环境下的多投影大屏幕软件实验平台，利用GLSL语言编写片元着色器，并与OSG开发的大屏幕应用程序建立连接，通过一维纹理查找的方式完成颜色查找表的替换，实现多投影大屏幕颜色校正过程的GPU实现渲染。

Images