CN103200409B - 多投影仪显示系统的颜色校正方法 - Google Patents

Abstract

本发明公开了一种多投影仪显示系统的颜色校正方法，其特征在于所述方法包括以下步骤：（1）将相机成像和投影仪输入的色彩空间进行转换，从RGB色彩空间转换到YUV色彩空间；（2）标定相机获得相机的渐晕函数和非线性响应函数；（3）根据标定过的相机进行标定多投影仪显示系统的投影仪，获得多投影仪显示系统的每台投影仪的非线性响应函数；根据标定过的相机获得每台投影仪的黑色偏移分布和最大亮度分布；（4）计算获得整个多投影显示系统的公共响应函数、公共黑色偏移分布和公共最大亮度分布，获得校正模板，生成颜色查找表；利用颜色查找表修改投影图像，多投影仪显示系统的每台投影仪向投影屏幕投影修改后的投影图像。该方法解决了多投影仪显示系统的亮度不一致问题，同时支持LCD、DLP等主流投影仪的亮度校正，尽可能提升了投影内容的动态范围。

Description

多投影仪显示系统的颜色校正方法

技术领域

本发明属于图像处理技术领域，具体涉及一种多投影仪显示系统的颜色校正方法。

背景技术

随着DLP投影仪成为市场主流投影仪之一，基于三通道的校正方法不再适用。而传统的校正方法中，边缘融合方法仅仅考虑了多投影仪重叠区域的颜色不一致。色域匹配方法实现了不同投影仪间颜色的严格一致，却忽略了单个投影仪内部的颜色不一致。近来国内外一些基于投影仪-相机系统的颜色一致性校正方法实现了整个系统的颜色一致，然而严格的颜色一致严重压缩了最终图像的亮度动态范围，损坏了图像质量。并且，在对相机进行标定时仅仅考虑了相机的非线性响应函数，却忽略了相机的渐晕效应。相机的渐晕效应只有在小光圈设置下才可被忽略，这迫使用户在利用高动态范围成像恢复相机响应函数时，只能在小光圈设置的前提下进行拍摄，否则图像会产生更多的噪声。由于拍摄环境的不可控，消除渐晕效应的影响是有必要的。最后，为了实现颜色一致，必须消除由于漏光引起的黑色偏移现象，现有方法常常以压缩图像动态范围为代价，牺牲了图像质量。本发明因此而来。

发明内容

本发明目的在于提供一种多投影仪显示系统的颜色校正方法，解决了现有技术中解决了多投影仪显示系统的亮度不一致问题，同时支持LCD、DLP等主流投影仪的亮度校正，考虑了被广泛忽视的相机渐晕效应，对黑色偏移进行处理，在保证亮度一致的同时，尽可能提升了投影内容的动态范围。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种多投影仪显示系统的颜色校正方法，其特征在于所述方法包括以下步骤：

（1）将相机成像和投影仪输入的色彩空间进行转换，从RGB色彩空间转换到YUV色彩空间；

（2）标定相机获得相机的渐晕函数和非线性响应函数；

（3）根据标定过的相机进行标定多投影仪显示系统的投影仪，获得多投影仪显示系统的每台投影仪的非线性响应函数；根据标定过的相机获得每台投影仪的黑色偏移分布和最大亮度分布；

（4）计算获得整个多投影显示系统的公共响应函数、公共黑色偏移分布和公共最大亮度分布，获得校正模板，生成颜色查找表；利用颜色查找表修改校正投影图像。所述多投影仪显示系统的每台投影仪向投影屏幕投影修改校正后的投影图像。

优选的，所述方法中多投影仪显示系统包括服务器、客户端计算机、投影仪阵列、投影屏幕和相机，其中每一台客户端计算机控制一台投影仪，负责投影特征图像和投影内容；所述服务器负责接收每台投影仪和相机的参数，计算出校正模板，传递给各个客户端计算机；所述客户端计算机在投影图像之前利用校正模板修改图像，通过投影仪向投影屏幕投影校正后的图像。

优选的，所述方法步骤（1）中将RGB色彩空间转换到YUV色彩空间的计算公式为：

Y=0.299R+0.587G+0.114B；

U=-0.147R-0.289G+0.436B；

V=0.615R-0.515G-0.100B。

优选的，所述方法步骤（3）中投影仪的非线性响应函数为f(i)=(L(i)-L(min(i)))/(L(max(i))-L(min(i)))；其中i表示投影仪的输入亮度，0≤i≤255，L(i)表示真实投影亮度，L(max(i))和L(min(i))分别表示投影仪输入亮度为最大和最小时所投影的亮度，f(i)表示投影仪的亮度响应函数。

优选的，所述方法步骤（3）中投影仪的黑色偏移分布b(s，t)是通过在所有通道输入最小亮度，利用相机捕获每个投影仪的最小亮度分布得到的；投影仪的最大亮度分布l(s，t)是通过在所有通道输入最大亮度，利用相机捕获每个投影仪的最大亮度分布得到的；其中(s，t)表示投影仪投影的位置。

优选的，所述方法步骤（3）中最终显示区域的黑色偏移分布B(x，y)=∑b_j(s_j，t_j)；最终显示区域上的最大亮度分布L(x，y)=∑l_j(s_j，t_j)；其中b_j(s_j，t_j)表示投影仪j在(s_j，t_j)处的最小亮度，l_j(s_j，t_j)表示投影仪j在(s_j，t_j)的最大亮度。

本发明技术方案提供了一种图像处理方法，通过亮度校正算法，忽略投影仪的内部构造，同时支持LCD、DLP等主流投影仪的亮度校正。算法考虑了被广泛忽视的相机渐晕效应，并针对不同的投影内容，在消除黑色偏移影响同时最大程度地保证图像的质量。

本发明技术方案中利用一台未经任何校正的相机，首先获取相机的非线性响应函数和渐晕函数，基于人类视觉，提供了一种非严格亮度一致性校正算法，考虑了黑色偏移的影响，根据实际投影内容对投影图像动态范围和亮度一致性进行权衡，在保证亮度一致的前提下尽可能地提升图像质量。

相对于现有技术中的方案，本发明的优点是：

本发明技术方案提出一种亮度校正算法，同时支持LCD和DLP两大主流投影仪，克服了基于三通道的校正算法无法校正DLP投影仪的缺点。本发明技术方案实现了单投影仪或多投影仪显示系统的亮度一致，考虑了黑色偏移的影响。本发明技术方案可以根据实际投影内容的不同，动态改变投影内容的动态范围，提升了图像质量。

本发明技术方案精确标定相机，获得了相机的非线性响应函数及渐晕函数。本发明技术方案使用软件方法，整个校正过程仅需要一台未经任何校正的相机，避免了使用昂贵的光学设备。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为本发明技术方案多投影仪显示系统的结构示意图；

图2是多投影仪显示系统的投影屏幕显示区域示意图；

图3是本发明实施例多投影仪显示系统的闭环投影过程示意图

图4是本发明实施例多投影仪显示系统进行亮度校正后投影的过程示意图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

如图1所示，本实施例多投影仪显示系统由服务器、客户端计算机、投影仪阵列、投影屏幕和相机组成。每一台客户端计算机控制一台投影仪，负责投影特征图像和投影内容。服务器负责接收每台投影仪和相机的相关参数，计算出亮度校正模板，传递给各个客户端计算机。客户端计算机在投影图像之前利用校正模板修改图像，最终每台投影仪投影校正后的图像，在投影屏幕上显示出颜色一致的无缝拼接图像。

如图4所示，本实施例中多投影仪显示系统的图像投影包括以下步骤：

(1)对相机成像和投影仪输入的色彩空间进行转换，从RGB色彩空间转换到YUV色彩空间。

(2)标定相机，计算相机的渐晕函数和非线性响应函数。

(3)利用步骤(2)校正后的相机，计算每台投影仪的非线性响应函数

(4)计算投影仪的黑色偏移分布和最大亮度分布。

(5)定义校正参数，包括整个多投影显示系统的公共响应函数、公共黑色偏移分布和公共最大亮度分布，获得校正模板，生成颜色查找表。

(6)客户端计算机利用颜色查找表修改投影图像后投影。

具体的，按照如下步骤进行校正后投影：

一、颜色模型转换

通常的颜色校正方法是在CIE XYZ或RGB色彩空间进行的，这些方法假设投影仪具有三个通道，分别对每个通道施以相同的操作。例如CIEXYZ色彩空间，CIE XYZ色彩空间给出颜色的三色刺激值，用X、Y和Z来表示，并设计Y参数是颜色的亮度的测量。颜色的色度通过两个导出参数x和y来指定，它们是三个三色刺激值X、Y和Z的函数所规范化的三个值中的两个：x=X/(X+Y+Z)，y=Y/(X+Y+Z)，z=Z/(X+Y+Z)=1-x-y，导出的色彩空间用x，y和Y来指定。在计算整个投影仪的亮度L时，分别计算各个通道的亮度Lr，Lg和Lb，最终得到L=Lr+Lg+Lb。

然而，上述方法对DLP投影仪并不适用。DLP投影仪在色轮上添加了一个透明滤镜用来提升亮度，因此，投影仪的亮度不再由红绿蓝三基色组成。随着DLP投影仪已成为市场上主流投影仪之一，很有必要解决DLP投影仪的颜色校正。

本发明提出的方法同时适用于LCD和DLP等投影仪，为此，首先需要对颜色模型进行转换，具体方法是将投影仪的输入从RGB色彩空间转换到YUV色彩空间。

YUV（亦称YCrCb）是被欧洲电视系统所采用的一种颜色编码方法（属于PAL）。YUV色彩空间将亮度信号Y和色度信号U、V分离，其中“Y”表示亮度，而“U”和“V”表示色度。除了投影仪输入，各个步骤中利用相机拍摄得到的图像也从RGB色彩空间转换到YUV色彩空间。从而本发明所有步骤都基于YUV色彩空间进行。由于YUV色彩空间很好的将投影仪的亮度用"Y"这一单个刺激值表示，这样在进行亮度校正时就可以忽略投影仪的内部构造。

YUV与RGB相互转换的公式为：

Y=0.299R+0.587G+0.114B；

U=-0.147R-0.289G+0.436B；

V=0.615R-0.515G-0.100B；

R=Y+1.14V；

G=Y-0.39U-0.58V；

B=Y+2.03U。

二、相机标定

定义相机渐晕函数C(x，y)，用以描述相机的渐晕效应；h表示相机的响应函数。

在光学系统中，当远离光轴的物点成像时，由于光阑的存在，使能够到达像面上的光束逐渐变得窄小起来，结果使离轴的像点逐渐变暗，这个过程叫做渐晕效应。

计算C(x，y)和h，按照以下具体步骤进行：

对均匀亮度的输入图像，用P(x,y)表示投影仪输出亮度随投影屏幕空间位置（x,y)变化的函数（渐晕效应），即投影仪的渐晕函数。f(i)表示投影仪的响应函数，其中i表示输入图像的亮度值，考虑输入为i的图像，投影仪输出的真实亮度变为f(i)P(x，y)。用相机捕获投影图像，t_j表示相机的曝光时间，j表示不同的曝光。相机和投影仪一样，具有非线性响应和渐晕效应，分别用h(i)和C(x，y)表示相机的响应函数和亮度变化函数。用G(i，j，x，y)表示投影图像被相机捕获所得图像的亮度，G(i，j，x，y)=h(f(i)P(x，y)C(x，y)t_j)    （1）。

已知相机的响应函数是可逆的，（1）式变为h^-1(G(i，j，x，y))=f(i)P(x，y)C(x，y)t_j      (2)。

令Q(x，y)=P(x，y)C(x，y)，两边取对数，得到lnh^-1(G(i，j，x，y))=lnf(i)+ln(Q(x，y))+ln(t_j)     (3)。

定义h'=lnh^-1，f'=lnf，上式变为h'(G(i，j，x，y))=f'(i)+ln(Q(x，y))+ln(t_j)     (4)。在(4)式中，G和t_j已知，h'，f'和Q未知。

假设Dh'，Df'分别表示h'和f'的定义域，通常从0变化到255，P表示投影仪分辨率。(4)式定义了|Dh'||Df'||P|个等式和|Dh'|+|Df'|+|P|个变量，对Q(x，y)取样，如|P|=100，足以满足|Dh'||Df'||P|>|Dh'|+|Df'|+|P|。这样(4)式定义了一个超定方程组，利用最小二乘法求得h'和f'。则(4)式可以写成：ln(Q(x，y))=h'(G(i，j，x，y))-f'(i)-ln(t_j)    (5)。将h'和f'回代，即可直接求出不同曝光时间下的Q(x，y)。

由于随着相机光圈值的不同，C(x，y)会随之变化，Q(x，y)也会跟着改变。因此，用Qk(x，y)表示在光圈设置为a_k时Q(x，y)的值。假设a₁是最小的光圈值，此时相机的渐晕效应可以忽略不计，因此Q₁(x，y)近似为1。因此，C_k(x，y)=C_k(x，y)P(x，y)/P(x，y)=Q_k(x，y)/Q₁(x，y)     (6)。从而根据不同的光圈值，求得相应的相机渐晕函数。

利用高动态范围合成图像方法恢复相机响应函数h，线性化相机拍摄的图像。由于已经求出相机的渐晕函数，可以在任意光圈值设置下进行拍摄。

三、标定投影仪

利用标定过的相机计算每台投影仪的响应函数。具体步骤如下：

假设E(x，y，i)表示在最终显示区域坐标(x，y)处输入i投影的真实亮度。L(s，t)表示投影仪在(s，t)处最大的投影亮度，B(s，t)表示黑色偏移在(s，t)处的亮度，f表示投影仪j的响应函数，所以

E(x，y，i)=(f(i)(L(s，t)-B(s，t)))+B(s，t)；

由于投影仪的响应函数f(i)是恒定的，且与空间位置无关，因此只对非重叠区域的一小部分像素分析。

用i=(il，0，0)表示投影仪输入亮度。投影仪依次投影iL=(0，0，il)，0≤il≤1，投影仪亮度输入从0递增到255。用相机捕获输入颜色的亮度响应，求出响应函数f(i):

f(i)=(L(i)-L(min(i)))/(L(max(i))-L(min(i)))。

其中L(max(i))和L(min(i))分别表示投影仪输入亮度为最大和最小时所投影的亮度，响应函数f(i)表示投影仪的亮度响应函数，这里L(i)与L(min(i))都考虑到了黑色偏移的存在。

然后用相机捕获每台投影仪的黑色偏移分布和最大亮度分布，分别记为b(s，t)和l(s，t)，(s，t)表示投影仪投影的位置。对每个投影仪，所有通道输入最小亮度，利用相机捕获投影仪的最小亮度（黑色偏移）分布，得到b(s，t)。对每个投影仪，所有通道输入最大亮度，利用相机捕获投影仪的最大亮度分布，得到l(s，t)。

进行上述图像捕获时，相机的位置要保持不变。

用B(x，y)表示最终显示区域的黑色偏移分布，L(x，y)表示最终显示区域上的最大亮度分布。则：

B(x，y)=∑b_j(s_j，t_j)；

L(x，y)=∑l_j(s_j，t_j)；

其中b_j(s_j，t_j)表示投影仪j在(s_j，t_j)处的最小亮度，l_j(s_j，t_j)表示投影仪j在(s_j，t_j)的最大亮度。(s_j，t_j)到(x，y)的坐标映射即投影区域和最终显示区域的对应关系，通过一般的几何校正得到。

四、获得整个多投影显示系统的校正参数

获得整个多投影显示系统的校正参数，包括整个多投影显示系统的公共响应函数、公共黑色偏移分布和公共最大亮度分布，具体步骤如下：

步骤5.1：选择合适的公共响应函数，用F(i)表示。对整个最终显示区域，选取一个合适的公共响应函数，如F(i)=i²，其中F(0)=0，F(1)=1。

步骤5.2：定义最终显示区域的公共最大亮度分布L'(x，y)和最小亮度分布（即黑色偏移亮度分布）B'(x，y)，一些校正方法令L'(x，y)=minL(x，y)，B'(x，y)=maxB(x，y)，这样做确保了整个显示区域严格的亮度一致，但是由于每个像素的亮度被匹配为具有最有限动态范围的那个像素亮度，这种方法严重压缩了显示图像的动态范围。

步骤5.3：理想的情况是：在实现亮度一致的同时，最大化显示图像的动态范围。相关文献表明：人眼对剧烈变化的亮度很敏感，但是可以接受平滑的亮度变化。利用这个事实，采用已有的算法，重新定义L'(x，y)和B'(x，y)。如下：

(1)定义一个最优化问题，目标在于达到亮度一致性的同时，最大化显示图像的动态范围。

(2)由于B(x，y)相较于L(x，y)来说非常小，因此将它定义为所有投影坐标都能达到的最小亮度

$B^{\′}(x,y)=\max B(x,y),\∀x,y;$

(3)通过对L进行平滑来求解L'(x，y)，这是一个最优化问题，可以利用一个基于梯度约束平滑方法来解决。为了从L(x，y)生成L'(x，y)，需要遵循下面的最优化约束：

3.1)范围约束L'≤L保证了L'不会超过最终显示区域能达到的最大亮度：L'(x，y)<L(x，y)。

3.2)一致性约束。一致性约束保证了L'有一个人眼无法感知的平滑的变化： $\&PartialD;L^{\&prime;}/\&PartialD;x\&le;L^{\&prime;}/\mathrm{\&lambda;},$

其中λ是平滑参数，可以进行实时调整。

3.3)通过上面2个约束，就可以找到最优的L'。

步骤6：定义函数E'(x，y，i)，表示实现了上述亮度一致的多投影仪亮度函数。

E'(x，y，i)=(F(i)(L'(x，y)-B'(x，y)))+B'(x，y)，

已知E(x，y，i)=(f(i’)(L(s，t)-B(s，t)))+B(s，t)，

对于输入(x，y，i)，由于F(i)、L'(s，t)、B'(s，t)已知，令E(x，y，i)=E'(x，y，i)，即可得到校正值i’，从而得到整个显示区域的校正模板，生成颜色查找表。每台投影仪利用颜色查找表修改投影图像后投影，最终生成颜色一致的无缝拼接投影画面。

本发明实现场景进行投影时，关键在三部分：相机标定、投影仪标定、生成颜色查找表。相机标定包括：计算渐晕函数、计算非线性响应函数。投影仪标定包括：计算机投影仪非线性响应函数、计算投影仪的黑色偏移分布和最大亮度分布。生成颜色查找表包括：计算公共响应函数、公共最小和最大亮度分布，生成校正模板。

下面对本发明做进一步说明：

定义公共最大亮度分布：

(1)理想的情况是：在实现亮度一致的同时，最大化显示图像的动态范围。研究表明：人眼对剧烈变化的亮度很敏感，但是可以接受平滑的亮度变化。利用这个事实，采用已有的算法，重新定义L'(x，y)和B'(x，y)。如下：

(2)由于B(x，y)相较于L(x，y)来说非常小，因此将它定义为所有投影坐标都能达到的最小亮度

$B^{\&prime;}(x,y)=\max B(x,y),\&ForAll;x,y;$

(3)通过对L进行平滑来求解L'(x，y)，这是一个最优化问题，目标在于达到亮度一致性的同时，最大化显示图像的动态范围，可以利用一个基于梯度约束平滑方法来解决。为了从L(x，y)生成L'(x，y)，需要遵循下面的最优化约束：

3.1)范围约束L'≤L保证了L'不会超过最终显示区域能达到的最大亮度：L'(x，y)<L(x，y)，

3.2)一致性约束。一致性约束保证了L'有一个人眼无法感知的平滑的变化： $\&PartialD;L^{\&prime;}/\&PartialD;x\&le;L^{\&prime;}/\mathrm{\&lambda;},$

其中λ是平滑参数，是L'沿任意d方向的梯度。在实际中，该梯度可表现为一个线性滤波器，它计算周围的8个像素点：x'属于{x-1，x，x+1}，y'属于{y-1，y，y+1}。

3.3)通过上面2个约束可以产生很多可行解L'，为了最大化动态范围，选择最大的L'。

3.4)利用动态规划方法求解上述问题，只需要线性时间O(XY)，其中X和Y是最终显示区域的像素宽度和高度。

3.5)L'随着参数λ变化而变化，λ越大，最终显示的动态范围越低，显示区域的亮度越趋于严格的一致；λ越小，最终显示的动态范围越高，显示区域的亮度越不平滑。

3.6)利用3.5)的性质，在投影静态内容时，选择较大的λ，如λ=800，获得更严格的亮度一致；投影动态内容时，选择较小的λ，如λ=400，获得更高的动态范围。

图2表示四台实验投影仪P1～P4同时投影时的显示区域，由于投影仪摆放位置的不同，以及每台投影仪自身的画面畸变，必须对显示区域进行几何校正，使得最终显示区域为用粗黑线表示的矩形区域。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种多投影仪显示系统的颜色校正方法，其特征在于所述方法包括以下步骤：

(1)将相机成像和投影仪输入的色彩空间进行转换，从RGB色彩空间转换到YUV色彩空间；

(2)标定相机获得相机的渐晕函数和非线性响应函数；

(3)根据标定过的相机进行标定多投影仪显示系统的投影仪，获得多投影仪显示系统的每台投影仪的非线性响应函数；根据标定过的相机获得每台投影仪的黑色偏移分布和最大亮度分布；所述黑色偏移分布b(s，t)是通过在所有通道输入最小亮度，利用相机捕获每个投影仪的最小亮度分布得到的；投影仪的最大亮度分布l(s，t)是通过在所有通道输入最大亮度，利用相机捕获每个投影仪的最大亮度分布得到的；其中(s，t)表示投影仪投影的位置；

(4)计算获得整个多投影显示系统的公共响应函数、公共黑色偏移分布和公共最大亮度分布，获得校正模板，生成颜色查找表；利用颜色查找表修改校正投影图像。

2.根据权利要求1所述的颜色校正方法，其特征在于所述方法中多投影仪显示系统包括服务器、客户端计算机、投影仪阵列、投影屏幕和相机，其中每一台客户端计算机控制一台投影仪，负责投影特征图像和投影内容；所述服务器负责接收每台投影仪和相机的参数，计算出校正模板，传递给各个客户端计算机；所述客户端计算机在投影图像之前利用校正模板修改图像，通过投影仪向投影屏幕投影校正后的图像。

3.根据权利要求1所述的颜色校正方法，其特征在于所述方法步骤(1)中将RGB色彩空间转换到YUV色彩空间的计算公式为：

Y＝0.299R+0.587G+0.114B；

U＝-0.147R-0.289G+0.436B；

V＝0.615R-0.515G-0.100B。

4.根据权利要求1所述的颜色校正方法，其特征在于所述方法步骤(3)中投影仪的非线性响应函数为f(i)＝(L(i)-L(min(i)))/(L(max(i))-L(min(i)))；其中i表示投影仪的输入亮度，0≤i≤255，L(i)表示真实投影亮度，L(max(i))和L(min(i))分别表示投影仪输入亮度为最大和最小时所投影的亮度，响应函数f(i)表示投影仪的亮度响应函数。

5.根据权利要求1所述的颜色校正方法，其特征在于最终显示区域的黑色偏移分布B(x，y)＝∑b_j(s_j，t_j)；最终显示区域上的最大亮度分布L(x，y)＝∑l_j(s_j，t_j)；其中b_j(s_j，t_j)表示投影仪j在(s_j，t_j)处的最小亮度，l_j(s_j，t_j)表示投影仪j在(s_j，t_j)的最大亮度。