CN104463858A - 一种投影颜色自适应校正方法 - Google Patents

Abstract

本发明一种投影颜色自适应校正方法，1)对摄像头进行标定，消除摄像头的径向畸变和切向畸变；2)确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射；3)根据原始投像图像I对投影表面进行校正参数计算得到颜色校正图像C；4)对原始投影图像进行预处理，将超出颜色校正图像C的颜色范围的颜色进行拉伸得到亮度拉伸图像S；5)将亮度拉伸图像S代替原始投影图像I代入颜色校正图像C中进行全局亮度校正，将像素颜色校正值进行校验优化得到优化颜色校正图像C_final；6)对经过计算的优化颜色校正图像C_final进行绘制投影。本发明可以摆脱投影设备对专业投影幕布的依赖，在日常生活环境实现如同在白色平板幕布进行放映的效果。

Description

一种投影颜色自适应校正方法

技术领域

本发明涉及一种在普适计算环境领域中自适应复杂投影环境的投影颜色校正方法。

背景技术

在日常环境中对投影仪进行自适应校正需要解决非常规投影环境对投影图像的影响，其中需要解决的一个重要的难题就是投影显示表面的固有纹理以及环境光等因素所造成的颜色偏差和光亮度损失。

对于投影图像的颜色校正，Nayar等对人类对投影图像颜色的视觉成像过程进行参数化分析，将图像经过投影仪投射到显示表面然后连同如投影纹理等干扰光一起反射回人眼的多次转换过程假设为颜色的多通道混合矩阵，然后使用相机采集多幅颜色标定图像来实现对颜色混合矩阵的求解。该方法由于对像素点进行逐个计算，其颜色校正精度较高，相对应需要庞大的计算量，并且需要投影多幅图像才能完成颜色混合矩阵建立。Ashdown等人提出了一种复杂的颜色校正计算框架，该方法使用一个经过颜色标定的高动态范围(HDR)相机对投影表面进行高分辨率图像采集，然后将采集数据转换为基于人类视觉感知的CIELUV色彩空间并对色差值进行拟合，最后使用基于微分方程的松弛法颜色计算出颜色校正图像。该方法可以在投影表面纹理复杂以及存在多种环境干扰光的情况下实现精确的颜色校正，但是受限于求解方式的特殊性仅使用于对平面投影环境的静态投影图片进行颜色校正。

发明内容

针对现有技术的不足，本发明的目的在于提供一种投影颜色自适应校正方法，该方法根据基于优化朗伯特反射模型的颜色校正方法对投影图像进行颜色校正，可以有效消除复杂投影环境对投影图像造成的颜色偏差，观察者在视觉 上感知不到投影表面固有纹理以及环境光对投影图像的影响，最终得到满足预先期望的投影图像。应用本发明公开的自适应颜色校正方法可以摆脱传统投影设备对专业投影幕布的依赖，在日常生活环境实现如同在白色平板幕布进行放映的效果。

本发明的目的是通过以下技术方案来实现的：

一种投影颜色自适应校正方法，包含以下步骤：

步骤1)、对安装在投影仪上的摄像头进行标定，消除摄像头的径向畸变和切向畸变；

步骤2)、对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射；

步骤3)、根据原始投像图像I对投影表面进行校正参数计算得到颜色校正图像C；

步骤4)、根据摄像头采集的图像数据，对原始投影图像进行预处理，将超出颜色校正图像C的颜色范围的颜色进行拉伸得到亮度拉伸图像S；

步骤5)、将亮度拉伸图像S代替原始投影图像I代入颜色校正图像C中进行全局亮度校正，将像素颜色校正值进行校验优化得到优化颜色校正图像C_final；

步骤6)、对经过计算的优化颜色校正图像C_final进行绘制投影。

依据上述特征，所述步骤1)中对摄像头进行标定采用张正友提出的相机平面标定法。

依据上述特征，所述步骤3)中对投影表面进行校正参数计算采用优化的朗伯特反射模型，建模过程如下：

在标准的朗伯特反射模型：

R_S＝(i·n)·R_I            公式1

＝|i|·|n|·cosα·R_I

＝cosα·R_I

中增加反射表面固有纹理T和反射表面所处环境光R_E两个参数，R_I为入射光辐射度、i为入射光单位向量、n为反射表面法向量，α为入射光单位向量i和反射表面法向量n的夹角，根据固有纹理T和环境光R_E混合计算得到反射光辐射度

$R_{{T,R}_E}=R_E\·T$      公式2；

由公式1计算得到的反射光辐射度R_S增加反射表面固有纹理T后，得到新的反射光辐射度R'_S：

R'_S＝cosα·R_I·T        公式3；

综合公式1、公式2、公式3，得到优化的朗伯特反射模型，计算得到反射光辐射度R：

R＝cosα·R_I·T+R_E·T     公式4；

通对公式4得到入射光辐射度R_I的计算公式： 

$R_I=\frac{R-R_E\·T}{\cos \mathrm{\α}\·T}$     公式5；

将原始投影图像I_(R,G,B)的红、绿、蓝三个通道分别代入R，计算得到原始投影图像对应的颜色校正图像C：

$C=\frac{I-R_E\·T}{\cos \mathrm{\α}\·T}$        公式6；

使入射光辐射度R_I＝0，将R_I的值代入公式4得：

R₁＝R_E·T  (R_I＝0)          公式7；

使环境光R_E＝0，同时使用投影仪向投影表面投射白色图像W，此时R_(I,red)＝R_(I,green)＝R_(I,blue)＝1，即R_I＝1，将R_E和R_I代入公式4得

R₂＝cosα·T  (R_I＝1,R_E＝0)     公式8；

将环境光R_E和投影表面的固有纹理T以及入射角度α当作常量，则公式6表示为I关于C的颜色校正函数：

C＝f(I)＝(I-R₂)/R₁         公式9；

将R₁和R₂代入到公式6中，将计算颜色校正图像的关键问题转化为求解函数的常量R₁和R₂的值。

依据上述特征，所述步骤4)中将超出颜色校正图像C的颜色范围的颜色进行拉伸的方法为：

设R₁的RGB数据最大值为MAX(R_(2,red),R_(2,green),R_(2,blue))，对原始投影图像I中亮度值大于MIN(R_(1,red),R_(1,green),R_(1,blue))或者小于MAX(R_(2,red),R_(2,green),R_(2,blue))的点先进行亮度拉伸因子S₁和S₂的计算：

$\left\{\begin{array}{c}{S}_1=I\·(\mathrm{MAX}(R_{(1,\mathrm{red})},R_{(1,\mathrm{green})},R_{(1,\mathrm{blue})})-(1+\frac{1}{I})\·\mathrm{MIN}(R_{(2,\mathrm{red})},R_{(2,\mathrm{green})},R_{(2,\mathrm{blue})})\\ S_2=I\·(\mathrm{MIN}(R_{(1,\mathrm{red})},R_{(1,\mathrm{green})},R_{(1,\mathrm{blue})})-(1+\frac{1}{I})\·\mathrm{MAX}(R_{(2,\mathrm{red})},R_{(2,\mathrm{green})},R_{(2,\mathrm{blue})})\end{array}\right.$   公式12；

对原始投影图像I中每个点计算像素点亮度值：

Luminance＝0.2127·red+0.7152·green+0.0722·blue    公式13；

根据每个点的像素点亮度值计算出平均亮度因子L；

根据亮度拉伸因子S₁和S₂以及原始投影图像的平均亮度因子L，计算原始投影图像I的亮度拉伸图像S：

S＝S₁·(1-L)+S₂·L     公式14。

依据上述特征，所述步骤5)中将像素颜色校正值进行校验优化的方法为：

步骤5.1)、对亮度拉伸图像S代替原始投影图像I计算得到的颜色校正图像C进行分析，设C_(x,y)为颜色校正图像C上坐标为(x,y)的像素点的RGB数据，同 时设集合O_1(x,y)和O_2(x,y)为该点的两个亮度参考值，并且设置集合O₁和O₂的元素初始值为0，若点C_(x,y)的RGB数据超出亮度范围即存在(C_(x,y,m)-1)＞0的情况，则：

O_1(x,y)＝MAX((C_(x,y,red)-1),(C_(x,y,green)-1),(C_(x,y,blue)-1))     公式15，

其中m∈{red,green,blue})；

若在O_2(x,y)对应的O_1(x,y)的值为0，则表示点C_(x,y)的RGB数据没有超出亮度范围即C_(x,y,m)∈[0,1]，则有

O_2(x,y)＝1-MAX(C_(x,y,red),C_(x,y,green),C_(x,y,blue))    公式16；

步骤5.2)、通过公式15和公式16计算颜色校正图像C的所有像素点对应的亮度参考值集合O₁和O₂，使用O₁和O₂对原始投影图像I的平均亮度因子L进行调整得到优化后的平均亮度因子L_new，同时为亮度参考值设定一个阈值O_T得到：

$L_{\mathrm{new}}=\left\{\begin{array}{cc}\mathrm{MIN}((\mathrm{MAX}\left(O_1\right)-O_T+L),1)& \mathrm{if}(\mathrm{MAX}\left(O_1\right)>O_T)\\ \mathrm{MAX}(0,L-\mathrm{MIN}\left(O_2\right))& \mathrm{if}(\mathrm{MAX}\left(O_1\right)\∈[0,O_T\left]\right)\end{array}\right.$    公式17；

步骤5.3)用经过亮度偏差校验的平均亮度因子L_new计算原始投影图像对应的优化后的亮度拉伸变换图像S_new，再次代入颜色校正图像，经计算得到的优化后的优化颜色校正图像C_final：

C_final C_final＝(S_new-R₂)/R₁     公式18。

依据上述特征，所述步骤6)中对经过计算的优化颜色校正图像C_final进行绘制投影采用计算机图像显卡的双通道渲染方法对预投影图像进行绘制，包含以下步骤：

步骤6.1)、使用图像绘制程序获取显卡第一个通道对原始图像进行绘制的数据，并且对原始图像与摄像头采集图像的像素坐标映射进行存储；

步骤6.2)、将绘制好的优化颜色校正图像C_final通过显卡第二个通道图像输出给投影仪并投射于投影表面。

使用本发明提出的投影颜色自适应校正方法在具有复杂背景的投影环境中进行投影，可以有效消除投影表面的固有纹理和环境光照条件对投影图像的影响，投影表面可以是具有任意颜色背景的反光物质表面，不需要专业投影幕布就可以实现如同在白色平板幕布进行放映的效果。并且，可以智能感知投影环境调整投影图像，使得投影系统不受狭小空间的限制，实现了任意摆放投影仪随时随地进行投影。同时，具有独立的实时在线校正系统，投影校正过程无需人工参与，极大简化了投影仪的安装调节过程，且该方法基于软件进行系统控制，极大的降低了硬件成本。采用计算机视觉方法对采集数据处理和分析，极大的降低了投影系统运行成本。

附图说明

图1a为本发明中平面投影表面的示例1；

图1b为本发明中原始投影图像I的示例；

图1c为本发明中经计算得到的颜色校正图像C；

图1d为本发明中经计算得到的优化颜色校正图像C_final

图1e为本发明中因投影表面的材质、固有纹理和环境光导致投影图像发生颜色和光强度的偏差的图像示例；

图1f使用本发明后的显示效果图1。

图2a本发明中非平面投影表面的示例2；

图2b本发明中将原始投影图像I投影到投影平面的效果图2；

图2c本发明中经计算得到的优化颜色校正图像C_final；

图2d使用本发明后的显示效果图2。

图3为本发明的流程框图。

具体实现方式 

下面结合附图对本发明作进一步的详细说明。

1.系统安装：首先，将一个摄像头安装在一台投影仪上，并保证摄像头镜头与投影仪的镜头同轴方向；然后将摄像头输出端口连接到计算机，并安装相应的驱动程序，同时将计算机显卡的一个输出口连接到投影仪。

2.本发明投影颜色自适应校正方法，具体包括以下步骤：

(1)使用计算机视觉方法结合安装在投影仪上的摄像头完成系统标定。

摄像头标定采用的是张正友提出的相机平面标定法，使用计算得到的摄像头内部参数对摄像头的径向畸变和切向畸变进行校正。标定后的摄像头实时获取投影显示图像并反馈投影环境信息。

(2)使用计算机视觉方法对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射。

(3)使用计算机视觉方法并结合摄像头采集的图像数据，为投影表面建立优化的朗伯特反射模型。

在办公室、家庭等日常投影环境中，对于投影表面是具有规则花纹的窗帘、铺有墙纸的墙壁等情况时(图1a)，投影表面的材质、固有纹理和环境光都会导致投影图像发生颜色和光强度的偏差(图1e)。由于观察者的视觉形成来自于投影表面的漫反射光学成像，本发明采用一种对朗伯特反射模型(Lambertian Reflection Model)的优化方法，对投影表面进行参数化分析以便于计算投影图像的颜色校正和光强度校正。

标准的朗伯特反射模型是对非光滑表面的一种理想化估计，它假设表面对光源在不同角度的入射光辐射可以完全被反射，并且向任意角度的光辐射强度都一样，反射光辐射度取决于入三方面的因素：入射光辐射度R_I、入射光单位向量i、反射表面法向量n，设α为入射光单位向量i和反射表面法向量n的夹角， 则标准的朗伯特反射模型计算的反射光辐射度R_S可以表示为：

R_S＝(i·n)·R_I  。             (公式1)

＝|i|·|n|·cosα·R_I

＝cosα·R_I

本发明对标准朗伯特反射模型进行优化，对标准模型增加反射表面固有纹理T和反射表面所处环境光R_E两个参数，其中，固有纹理T和环境光R_E混合可以计算得到反射光辐射度

$R_{{T,R}_E}=R_E\·T.$    (公式2)

将由公式1计算得到的反射光辐射度R_S增加反射表面固有纹理T后，可以得到新的反射光辐射度R'_S：

R'_S＝cosα·R_I·T。       (公式3)

综合公式1、公式2、公式3可以得到使用优化的朗伯特反射模型计算得到的反射光辐射度R：

R＝cosα·R_I·T+R_E·T。          (公式4)

最后，通对公式4式进行变形可以得到公式5，即得到入射光辐射度R_I的计算公式： 

$R_I=\frac{R-R_E\·T}{\cos \mathrm{\α}\·T}.$            (公式5)

在投影环境中，投影仪作为入射光源，入射光辐射度R_I对应投影图像投射到投影表面的光辐射度，投影表面的反射光辐射度R可以通过高清摄像头采集RGB图像分别对红、绿、蓝三个通道进行测量。观察者期望摄像头采集的RGB图像与原始投影图像I一致，则可以通过改变入射光辐射度R_I即改变原始投影图像I的RGB颜色数据来实现。具体如公式(6)将原始投影图像I_(R,G,B)(三个通道分别计算)代入R，计算得到的C就是原始投影图像对应的颜色校正图像：

$C=\frac{I-R_E\·T}{\cos \mathrm{\α}\·T}.$       (公式6)

使用智能投影系统进行数据采集求解公式5，首先，在室内投影环境中的常规光照条件下关闭投影仪，即入射光辐射度R_I＝0，将R_I的值代入公式4可将公式简化为公式7；然后，直接使用高清摄像头采集投影表面图像，此时测量得到的R₁就是(R_E·T)的值。第二步，关闭辅助光照，假设除投影仪光源外没有其它光照条件，则可认为投影表面反射光辐射度不受环境光影响，此时R_E＝0；同时使用投影仪向投影表面投射白色图像W，此时R_(I,red)＝R_(I,green)＝R_(I,blue)＝1，即R_I＝1；将R_E和R_I代入公式4可将公式化简为公式8，通过摄像头测量得到的R₂就是(cosα·T)的值。

R₁＝R_E·T   (R_I＝0)；         (公式7)

R₂＝cosα·T   (R_I＝1,R_E＝0)。        (公式8)

对于固定的投影环境，环境光R_E和投影表面的固有纹理T以及入射角度α都是固定不变的可以当作常量，则公式6就可表示为I关于C的颜色校正函数(如公式9)，将R₁和R₂代入到公式(6)中，则计算颜色校正图像的关键问题转化为求解函数的常量R₁和R₂的值。

C＝f(I)＝(I-R₂)/R₁。      (公式9)

(4)使用计算机视觉方法并结合摄像头采集的图像数据，将原始投影图像进行预处理，根据计算的有效图像显示空间拉伸原始投影图像的颜色范围。

使用第(3)节所述颜色校正方法的公式(9)可计算出原始投影图像对应的颜色校正图像C，根据RGB图像性质可知原始投影图像C各通道的亮度值限制在区间[0,1]中。同时，假设R₁的RGB数据最大值为MAX(R_(2,red),R_(2,green),R_(2,blue))，R₂的最小值为MIN(R_(1,red),R_(1,green),R_(1,blue))，则根据公式(10)可以推导原始投影图像I中亮度值大于MIN(R_(1,red),R_(1,green),R_(1,blue))或者小于MAX(R_(2,red),R_(2,green),R_(2,blue))的点使用公式(9)计算的颜色校正值是无效的，那么如果希望颜色校正图像C中所 有点的颜色校正值是有效的，原始投影图像I必须进行亮度拉伸变换以满足公式(11)：

0≤C＝(I-R₂)/R₁≤1；            (公式10)

I∈[MAX(R_(2,red),R_(2,green),R_(2,blue)),MIN(R_(1,red),R_(1,green),R_(1,blue))]。   (公式11)

为了提高方法的鲁棒性，增加由亮度拉伸因子S₁和S₂以及原始投影图像I的平均亮度值L，其中S₁和S₂由公式(12)计算得到：

$\left\{\begin{array}{c}{S}_1=I\·(\mathrm{MAX}(R_{(1,\mathrm{red})},R_{(1,\mathrm{green})},R_{(1,\mathrm{blue})})-(1+\frac{1}{I})\·\mathrm{MIN}(R_{(2,\mathrm{red})},R_{(2,\mathrm{green})},R_{(2,\mathrm{blue})})\\ S_2=I\·(\mathrm{MIN}(R_{(1,\mathrm{red})},R_{(1,\mathrm{green})},R_{(1,\mathrm{blue})})-(1+\frac{1}{I})\·\mathrm{MAX}(R_{(2,\mathrm{red})},R_{(2,\mathrm{green})},R_{(2,\mathrm{blue})})\end{array}\right..$    (公式12)

图像的亮度值(Image Luminance Value)是指颜色标准化组织CIE定义的图像CIE-XYZ颜色空间三刺激值(X,Y,Z)中Y的值，可以由公式13计算得到。对原始投影图像I中每个点使用公式13计算像素点亮度值，可以求得原始投影图像I的平均亮度因子L。最后，结合公式12求的亮度拉伸因子S₁和S₂以及原始投影图像的平均亮度因子L，使用公式14来计算原始投影图像I的亮度拉伸图像S，将S作为原始投影图像I代入公式9可以计算得到每个像素点都是有效颜色校正值的颜色校正图像(图1c)。

Luminance＝0.2127·red+0.7152·green+0.0722·blue；    (公式13)

S＝S₁·(1-L)+S₂·L。        (公式14)

(5)使用计算机视觉方法并结合摄像头采集的图像数据，对颜色校正图像C进行全局亮度校正，将像素颜色校正值进行校验优化。

根据第(4)节所述投影图像预处理方法可以消除颜色校正图像中像素点存在无效颜色校正值的情况，同时，分析公式(14)可知对原始投影图像进行亮度拉伸的代价是损失了部分亮度显示区域。为了减少投影图像预处理导致的观 察者对亮度的视觉差异，可以借助公式13计算出的图像亮度值采用全局亮度校正的方法实现。

第一步，对S作为原始投影图像I代入公式9计算得到的颜色校正图像C进行分析。设C_(x,y)为图像C上坐标为(x,y)的像素点的RGB数据，同时设集合O_1(x,y)和O_2(x,y)为该点的两个亮度参考值，并且设置集合O₁和O₂的元素初始值为0。如果点C_(x,y)的RGB数据超出亮度范围即存在(C_(x,y,m)-1)＞0(其中m∈{red,green,blue})的情况，则：

O_1(x,y)＝MAX((C_(x,y,red)-1),(C_(x,y,green)-1),(C_(x,y,blue)-1))。    (公式15)

如果在O_2(x,y)对应的O_1(x,y)的值为0，则表示点C_(x,y)的RGB数据没有超出亮度范围即C_(x,y,m)∈[0,1]，则有

O_2(x,y)＝1-MAX(C_(x,y,red),C_(x,y,green),C_(x,y,blue))。     (公式16)

通过公式15和公式16可以计算得到颜色校正图像C的所有像素点对应的亮度参考值集合O₁和O₂，使用O₁和O₂对第(4)节计算得到的原始投影图像平均亮度因子L进行调整得到优化后的平均亮度因子L_new，同时为亮度参考值设定一个阈值O_T作为限定条件，可以得到

$L_{\mathrm{new}}=\left\{\begin{array}{cc}\mathrm{MIN}((\mathrm{MAX}\left(O_1\right)-O_T+L),1)& \mathrm{if}(\mathrm{MAX}\left(O_1\right)>O_T)\\ \mathrm{MAX}(0,L-\mathrm{MIN}\left(O_2\right))& \mathrm{if}(\mathrm{MAX}\left(O_1\right)\∈[0,O_T\left]\right)\end{array}\right.;$    (公式17)

C_final＝(S_new-R₂)/R₁。       (公式18)

将经过亮度偏差校验的平均亮度因子L_new替换L代入到公式14，可以得到原始投影图像对应的优化后的亮度拉伸变换图像S_new，再次代入到公式9中得到公式(18)。经计算得到的优化后的图像C_final(图1d)作为最终的颜色校正图像由投影仪投射于投影表面，观察者从视觉上感知不到投影表面固有纹理和环境光照对投影图像的干扰(图1f)。

(6)使用基于显卡的双通道渲染方法，对经过计算的投影颜色校正图像进 行绘制。

对投影图像使用前文所述的颜色校正方法进行计算，并采用基于计算机图像显卡的双通道渲染方法对预投影图像进行绘制。首先，使用图像绘制程序Chromium获取显卡第一个通道对原始图像进行绘制的数据，并且对原始图像与摄像头采集图像的像素坐标映射进行存储。然后，结合摄像头采集标定图像和像素坐标映射，应用基于优化的朗伯特反射模型的颜色校正方法计算像素点的颜色校正值。最后，使用片段着色器(fragment shader)将原始投影图像中像素点的颜色校正值映射到对应像素点坐标上完成着色。将绘制好的校正图像通过显卡第二个通道图像输出给投影仪并投射于投影表面，最终可以看到满足预先期望的投影图像，观察者在视觉上感知不到投影表面固有纹理以及环境光对投影图像的影响。

本发明中，所说的系统标定是使用张正友提出的相机平面标定法对摄像头进行校准，消除摄像头的径向畸变和切向畸变。

本发明中，所说的颜色校正是计算机通过分析摄像头采集的颜色标定参考图像，首先对投影图像进行预处理和全局亮度校正，然后使用优化的朗伯特反射模型的颜色校正方法对投影图像进行颜色校正，最终消除投影表面固有纹理和环境光照对投影图像的干扰。

本发明中，所说的双通道绘制方法是将预投影图像在显卡的第一个通道进行绘制得到一帧图像，然后使用颜色校正方法对图像数据进行计算，并将计算结果输入第二个通道，在显卡的第二个通道绘制完成一帧新的图像，这帧图像通过第二个通道的输出端口输入给投影仪进行投影。

本发明中，所说的投影仪可采用DLP投影仪。

本发明中，所说的摄像头可采用普通网络摄像头。

本发明中，所说的计算机可以是具有独立图形显卡的计算机系统。

以下通过一实施例对本发明做进一步说明：

本实施例中，设计并实现了一套可以投影颜色自适应校正的智能投影系统进行实验。原型系统使用Lenovo T151DLP投影仪作为放映设备，并安装Logitech C905摄像头完成图像获取和环境监控，最后连接一部商务笔记本作为计算单元运行图像校正方法和设备通信。校正方法采用Matlab和C++两种编程语言混合编程进行实现，同时使用图形程序库OpenGL辅助图形绘制。

如图1a所示，选择室内的一个墙面作为投影表面，并将彩色贴纸无序贴在墙壁上创造出具有图案纹理的投影环境。直接使用投影仪向投影表面放映如图1b所示图像时，墙壁上的彩色贴纸对投影图像的视觉感知产生明显的颜色偏差，观察者很容易看到投影区域存在多个干扰色块(如图1e)。在准备工作中，系统需要首先完成摄像头标定以及投影仪与摄像头之间像素点坐标对应映射的计算。整个系统准备过程需要花费2-3分钟，当投影系统保持静止时采用固定数据进行实验。

在系统自适应颜色校正过程中，对采集数据进行相关计算并采用基于计算机图像显卡的双通道渲染方法对预投影图像进行绘制。首先，使用图像绘制程序Chromium获取显卡第一个通道对原始图像进行绘制的数据，并且对原始图像与摄像头采集图像的像素坐标映射进行存储。然后，结合摄像头采集标定图像和像素坐标映射，应用基于优化朗伯特反射模型的颜色校正方法计算像素点的颜色校正值。最后，使用片段着色器(fragment shader)将原始投影图像中像素点的颜色校正值映射到对应像素点坐标上完成着色(如图1d)，并将绘制好的校正图像通过显卡第二个通道图像输出给投影仪并投射于投影表面(如图1f)。

如图1f所示，经过颜色校正后，图1e中存在的彩色干扰色块在图1f中完 全消失，观察者在视觉上感知不到投影表面固有纹理以及环境光对投影图像的影响。

将本专利提出的投影颜色自适应校正方法在非平面投影环境(图2a)进行实验。投影图像的视觉效果如图2b所示，可以明显看到彩色纹理对投影图像的影响。应用本专利提出的基于优化的朗伯特反射模型的颜色校正方法对经过几何校正的投影图像进行颜色校正，将图2c所示颜色校正图像投映在投影表面，观察者可以得到满足视觉期望的投影图像(如图(d))。

实验结果表明，使用本专利提出的投影颜色自适应校正方法在具有复杂背景的投影环境中进行投影，可以有效消除投影表面的固有纹理和环境光照条件对投影图像的影响，实现如同在白色平板幕布进行放映的效果。

Claims (6)

1.一种投影颜色自适应校正方法，包含以下步骤：

步骤1)、对安装在投影仪上的摄像头进行标定，消除摄像头的径向畸变和切向畸变；

步骤2)、对摄像头采集的图像数据进行分析和计算，确定投影仪与摄像头之间像素点对应关系，建立对应像素点坐标映射；

步骤3)、根据原始投像图像I对投影表面进行校正参数计算得到颜色校正图像C；

步骤4)、根据摄像头采集的图像数据，对原始投影图像进行预处理，将超出颜色校正图像C的颜色范围的颜色进行拉伸得到亮度拉伸图像S；

步骤5)、将亮度拉伸图像S代替原始投影图像I代入颜色校正图像C中进行全局亮度校正，将像素颜色校正值进行校验优化得到优化颜色校正图像C_final；

步骤6)、对经过计算的优化颜色校正图像C_final进行绘制投影。

2.根据权利要求1所述的一种投影颜色自适应校正方法，其特征在于所述步骤1)中对摄像头进行标定采用张正友提出的相机平面标定法。

3.根据权利要求1所述的一种投影颜色自适应校正方法，其特征在于所述步骤3)中对投影表面进行校正参数计算采用优化的朗伯特反射模型，建模过程如下：

在标准的朗伯特反射模型：

R_S＝(i·n)·R_I   公式1

＝|i|·|n|·cosα·R_I

＝cosα·R_I

中增加反射表面固有纹理T和反射表面所处环境光R_E两个参数，R_I为入射光辐射度、i为入射光单位向量、n为反射表面法向量，α为入射光单位向量i和反射表面法向量n的夹角，根据固有纹理T和环境光R_E混合计算得到反射光辐射度

$R_{{T,R}_E}=R_E\·T$    公式2；

由公式1计算得到的反射光辐射度R_S增加反射表面固有纹理T后，得到新的反射光辐射度R'_S：

R′_S＝cosα·R_I·T   公式3；

综合公式1、公式2、公式3，得到优化的朗伯特反射模型，计算得到反射光辐射度R：

R＝cosα·R_I·T+R_E·T   公式4；

通对公式4得到入射光辐射度R_I的计算公式：

$R_I=\frac{R-R_E\·T}{\cos \mathrm{\α}\·T}$    公式5；

将原始投影图像I_(R,G,B)的红、绿、蓝三个通道分别代入R，计算得到原始投影图像对应的颜色校正图像C：

$C=\frac{I-R_E\·T}{\cos \mathrm{\α}\·T}$    公式6；

使入射光辐射度R_I＝0，将R_I的值代入公式4得：

R₁＝R_E·T(R_I＝0)   公式7；

使环境光R_E＝0，同时使用投影仪向投影表面投射白色图像W，此时R_(I,red)＝R_(I,green)＝R_(I,blue)＝1，即R_I＝1，将R_E和R_I代入公式4得

R₂＝cosα·T(R_I＝1,R_E＝0)   公式8；

将环境光R_E和投影表面的固有纹理T以及入射角度α当作常量，则公式6表示为I关于C的颜色校正函数：

C＝f(I)＝(I-R₂)/R₁   公式9；

将R₁和R₂代入到公式6中，将计算颜色校正图像的关键问题转化为求解函数的常量R₁和R₂的值。

4.根据权利要求1所述的一种投影颜色自适应校正方法，其特征在于所述步骤4)中将超出颜色校正图像C的颜色范围的颜色进行拉伸的方法为：

设R₁的RGB数据最大值为MAX(R_(2,red),R_(2,green),R_(2,blue))，对原始投影图像I中亮度值大于MIN(R_(1,red),R_(1,green),R_(1,blue))或者小于MAX(R_(2,red),R_(2,green),R_(2,blue))的点先进行亮度拉伸因子S₁和S₂的计算：

$\left\{\begin{array}{c}{S}_1=I\·(\mathrm{MAX}(R_{(1,\mathrm{red})},R_{(1,\mathrm{green})},R_{(1,\mathrm{blue})})-(1+\frac{1}{I})\·\mathrm{MIN}(R_{(2,\mathrm{red})},R_{(2,\mathrm{green})},R_{(2,\mathrm{blue})}))\\ S_2=I\·\left(\mathrm{MIN}(R_{(1,\mathrm{red})},R_{(1,\mathrm{green})},R_{(1,\mathrm{blue})}-(1+\frac{1}{I})\·\mathrm{MAX}(R_{(2,\mathrm{red})},R_{(2,\mathrm{green})},R_{(2,\mathrm{blue})}))\right)\end{array}\right.$    公式12；

对原始投影图像I中每个点计算像素点亮度值：

Luminance＝0.2127·red+0.7152·green+0.0722·blue   公式13；

根据每个点的像素点亮度值计算出平均亮度因子L；

根据亮度拉伸因子S₁和S₂以及原始投影图像的平均亮度因子L，计算原始投影图像I的亮度拉伸图像S：

S＝S₁·(1-L)+S₂·L   公式14。

5.根据权利要求1所述的一种投影颜色自适应校正方法，其特征在于所述步骤5)中将像素颜色校正值进行校验优化的方法为：

步骤5.1)、对亮度拉伸图像S代替原始投影图像I计算得到的颜色校正图像C进行分析，设C_(x,y)为颜色校正图像C上坐标为(x,y)的像素点的RGB数据，同时设集合O_1(x,y)和O_2(x,y)为该点的两个亮度参考值，并且设置集合O₁和O₂的元素初始值为0，若点C_(x,y)的RGB数据超出亮度范围即存在(C_(x,y,m)-1)＞0的情况，则：

O_1(x,y)＝MAX((C_(x,y,red)-1),(C_(x,y,green)-1),(C_(x,y,blue)-1))   公式15，

其中m∈{red,green,blue})；

若在O_2(x,y)对应的O_1(x,y)的值为0，则表示点C_(x,y)的RGB数据没有超出亮度范围即C_(x,y,m)∈[0,1]，则有

O_2(x,y)＝1-MAX(C_(x,y,red),C_(x,y,green),C_(x,y,blue))   公式16；

步骤5.2)、通过公式15和公式16计算颜色校正图像C的所有像素点对应的亮度参考值集合O₁和O₂，使用O₁和O₂对原始投影图像I的平均亮度因子L进行调整得到优化后的平均亮度因子L_new，同时为亮度参考值设定一个阈值O_T得到：

$L_{\mathrm{new}}=\left\{\begin{array}{cc}\mathrm{MIN}((\mathrm{MSX}\left(O_1\right)-O_T+L),1)& \mathrm{if}\left(\mathrm{MAX}\left(O_1\right)>O_T\right)\\ \mathrm{MAX}(0,L-\mathrm{MIN}\left(O_2\right))& \mathrm{if}(\mathrm{MAX}\left(O_1\right)\∈[0,O_T\left]\right)\end{array}\right.$    公式17；

步骤5.3)用经过亮度偏差校验的平均亮度因子L_new计算原始投影图像对应的优化后的亮度拉伸变换图像S_new，再次代入颜色校正图像，经计算得到的优化后的优化颜色校正图像C_final：

C_final C_final＝(S_new-R₂)/R₁   公式18。

6.根据权利要求1所述的一种投影颜色自适应校正方法，其特征在于所述步骤6)中对经过计算的优化颜色校正图像C_final进行绘制投影采用计算机图像显卡的双通道渲染方法对预投影图像进行绘制，包含以下步骤：

步骤6.1)使用图像绘制程序获取显卡第一个通道对原始图像进行绘制的数据，并且对原始图像与摄像头采集图像的像素坐标映射进行存储；

步骤6.2)、将绘制好的优化颜色校正图像C_final通过显卡第二个通道图像输出给投影仪并投射于投影表面。