CN102053812A - 多投影仪组合显示的自反馈亮度校正方法 - Google Patents

Abstract

多投影仪组合显示的自反馈亮度校正方法，属于多投影仪组合显示的大屏幕高分辨率显示技术领域，其特征在于，所述方法是在一个由投影仪阵列、数码相机、服务器和客户端计算机组成的一个闭环自反馈亮度校正系统中实现的。服务器通过特征点图像和投影空间的特征点的关系得到几何校正的网格；并把初始模板传送到客户端，在循环进行亮度衰减-投影-获取图像-更新模板得到亮度校正的模板；客户端对服务器传送每一幅图像进行几何校正和亮度校正，从而在大屏幕上得到一个无缝拼接的大画面，具有操作简单、画面自然的优点。

Description

多投影仪组合显示的自反馈亮度校正方法

技术领域

本发明涉及多投影仪组合显示的亮度校正，实现多投影仪组合显示的大屏幕高分辨率显示的亮度一致。

背景技术

现有的多投影仪大屏幕拼接显示的亮度校正，都是用多台投影仪在大屏幕上拼接显示一个大的画面，相邻的投影仪之间有交叠区域，也就是对应的投影图像有交叠区域，可以通过软件或者硬件的方法消除交叠区域的亮带，实现多投影仪大屏幕的无缝拼接显示。现有的软件亮度校正方法按是否使用相机反馈亮度分为两类：需要相机反馈亮度的方法和不需要相机反馈亮度的方法。

需要相机反馈亮度的方法都是通过相机反馈投影仪的亮度响应曲面来计算用于亮度衰减的衰减系数。由于投影仪亮度响应的非线性，必须测量多投影显示墙中每台投影仪的亮度响应函数，然后将其逆函数对每个投影仪的输出图像进行预处理，使得投影仪的亮度响应满足线性关系。投影仪的亮度响应函数可以采用专业光学设备进行测量，因为设备昂贵，一般单位不具备研究条件。用相机的多个曝光时间获取各个亮度的亮度响应曲面可以代替专业的光学设备得到投影仪的亮度响应曲线，这种方法需要很大数量的样本图像，即使用B样条曲线拟合或非线性参数估计方法，多曝光时间多样本图像的测量仍然是复杂又耗时。

不需要相机反馈亮度的方法都基于亮度融合的方法利用几何校正中投影仪的几何信息进行交叠区域的计算，不需要用相机反馈亮度图像，所以不受屏幕高光带的影响。基于亮度融合的方法只考虑了投影仪重叠区域的亮度差异，没有考虑投影仪之间和投影仪内部的亮度差异。所以，在投影仪内部各点的亮度差异和投影仪之间的亮度差异很大时，不能达到亮度一致的校正效果。

发明内容

本发明的目的在于消除多投影仪组合显示交叠区域的亮带和非交叠区域的亮度不一致，实现多投影仪无缝拼接的大屏幕高分辨率显示的亮度一致。

本发明的特征在于，所述方法是在一个由一张显示用的大屏幕、一台服务器、r×t个数字光处理技术投影仪DLP构成的一个投影仪矩阵以及多台客户端计算机组成的自反馈亮度校正系统中依次按以下的步骤实现的，其中：r为行，t为列，1≤r≤3，1≤t≤4，每两台相邻的所述DLP投影仪成组地一共只用一台所述客户端计算机控制：

步骤(1)：所述服务器计算用于所述投影仪进行几何校正的网格；

步骤(1.1)：建立坐标系；为所述大屏幕建立U-V直角坐标系，原点在该大屏幕的左下角，每点坐标为(u，v)；在所述每个DLP投影仪上为要投影的图像建立一个X-Y直角坐标系，原点在所述投影图像的左下角，每点坐标为(x，y)；

步骤(1.2)：所述服务器为所述每个DLP投影仪分别建立一个投影空间，在该投影空间中生成p行q列等间距的特征点，2≤p≤16，2≤q≤16，其中，p＝q＝4，并把这些特征点按先上后下、先左后右的顺序建立四边形网格，把每个四边形的左下角和右上角连接起来得到每个投影仪的投影空间三角形组成的网格，如图2空心特征点组成的网格所示；

步骤(13)：每台所述客户端计算机把这些投影空间的特征点组成的图像输入到每个DLP投影仪的屏幕空间进行显示，该投影仪屏幕空间与该投影仪投影空间在坐标上对齐，其投影分别显示在大屏幕上得到大屏幕的屏幕空间上的初始显示区域，并且把这些初始显示区域按照先上后下、先左后右的顺序排序；

步骤(1.4)：数码相机对所述大屏幕上的投影图像分别进行拍照，并输入到所述服务器中；

步骤(1.5)：所述大屏幕的屏幕空间由所有所述DLP投影仪在屏幕上的投影组成；

步骤(1.6)：所述服务器对所述大屏幕上的各投影图像用设定的亮度阈值进行二值化，亮度值大于等于阈值的区域为特征点区域，亮度值小于阈值的区域为非特征点区域，通过计算每个特征点区域的重心坐标得到该特征点在大屏幕的屏幕空间上坐标，所述阈值在180～220之间取值，并把这些特征点按先上后下、先左后右的顺序建立四边形网格，在每个网格的左下角和右上角连接起来得到每个投影仪对应在大屏幕的屏幕空间三角形组成的网格，如图3所示；

步骤(17)：该服务器按以下步骤得到所述大屏幕的屏幕空间中的每一点D的坐标(D_u，D_v)对应在所述投影空间的点D′的坐标(D_x′，D_y′)，如图4所示；

步骤(1.7.1)：在所述屏幕空间网格中计算点D所在的三角形ΔABC；

步骤(1.7.2)：计算ΔABC在所述投影空间网格中对应的三角形ΔA′B′C；

步骤(1.7.3)：按下式计算所述屏幕空间点D(D_u，D_v)面积坐标(m，k，w)，

$m=\frac{S\left(\mathrm{\ΔABD}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& B_u& D_u\\ A_v& B_v& D_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $k=\frac{S\left(\mathrm{\ΔDBC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{D}_u& B_u& C_u\\ D_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $w=\frac{S\left(\mathrm{\ΔADC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& D_u& C_u\\ A_v& D_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}$

其中：m是所述ΔABC的内三角形ΔABD与该三角形ΔABC的面积之比，k是所述ΔABC的内三角形ΔDBC与该三角形ΔABC的面积之比，w是所述ΔABC的内三角形ΔADC与该三角形ΔABC的面积之比，(A_u，A_v)、(B_u，B_v)及(C_u，C_v)为所述ΔABC的三个顶点坐标，(D_u，D_v)为D点坐标；

步骤(1.7.4)：按下式计算屏幕空间的点D对应的投影空间的点D′的坐标(D_x′，D_y′)：

$\left\{\begin{array}{c}{D}_x^{\′}=m\×A_x^{\′}+k\×B_x^{\′}+w\×C_x^{\′}\\ D_y^{\′}=m\×A_y^{\′}+k\×B_y^{\′}+w\×C_y^{\′}\end{array}\right.$

其中，(A_x′，A_y′)、(B_x′，B_y′)、(C_x′，C_y′)所述ΔA′B′C′的顶点坐标；

步骤(1.8)：所述服务器计算用于几何校正的由三角形组成的网格mesh-i，i是所述大屏幕上r×t个DLP投影仪的序号，并传送到控制每个DLP投影仪的客户端计算机；

步骤(1.8.1)：取所述步骤(1.3)得到的所有所述初始显示区域的内接矩形作为该大屏幕上的最终显示的矩形投影区域，如图5中虚线矩形所示，其左下角和右上角顶点坐标分别为(u_min，v_min)和(u_max，v_max)，左下角顶点的坐标表示为：

$\left\{\begin{array}{c}{u}_{\min }=\max ({\mathrm{LB}}_u^{i_L},{\mathrm{LT}}_u^{i_L})\\ v_{\min }=\max ({\mathrm{LB}}_v^{i_B},{\mathrm{RB}}_v^{i_B})\end{array}\right.$

其中，i_L和i_B分别为该大屏幕的屏幕空间中最左边一列和最下面一行所述初始显示区域的序号，当r＝3，t＝4时，如图5所示，i_L＝1，5，9，i_B＝9，10，11，12，在该第i_L个呈四边形的初始显示的投影区域中，

分别是左下角和左上角顶点的横坐标，在该第i_B个呈四边形的初始显示的投影区域中，

分别是左下角和右下角顶点的纵坐标；

右下角顶点的坐标为：

$\left\{\begin{array}{c}{u}_{\max }=\min ({\mathrm{RB}}_u^{i_R},{\mathrm{RT}}_u^{i_R})\\ v_{\max }=\min ({\mathrm{LT}}_v^{i_T},{\mathrm{RT}}_v^{i_T})\end{array}\right.$

其中，i_R和i_T分别为该大屏幕的屏幕空间中最右边一列和最上面一行所述初始显示的投影区域的序号，当r＝3，t＝4时，如图5所示，i_R＝4，8，12，i_T＝1，2，3，4，在该第i_R个呈四边形的初始显示的投影区域中，

分别是右下角和右上角顶点的横坐标，在该第i_T个呈四边形的初始显示的投影区域中，

分别是左上角和右上角顶点的纵坐标；

步骤(1.8.2)：所述服务器计算所述每个DLP投影仪在大屏幕的屏幕空间上的初始显示区域与所述最终显示矩形的交集区域为该DLP投影仪在该大屏幕的屏幕空间上实际要显示的区域P，如图6所示，P＝{P₁，P₂，…P₁₂}；

步骤(1.8.3)：所述服务器为每个所述DLP投影仪在大屏幕的屏幕空间的实际显示区域P_i重新等距离生成所述p×q大小的点阵，p＝q＝4，按所述步骤(1.7)得到的投影仪空间和屏幕空间的坐标对应关系，把该p×q点阵转换到所述每个DLP投影仪的投影空间中，并把这些投影空间的特征点按从上到下，从左到右的顺序生成三角形网格mesh-i；

步骤(1.8.4)：所述服务器计算分配给每个所述投影仪的图像的起始位置(xⁱ _start，yⁱ _start)、大小(width_i，height_i)以及分配给所述网格mesh-i的每个顶点的纹理坐标(s_i，j，t_i，j)；

$\left\{\begin{array}{c}{x^i}_{\mathrm{start}}=[({u^i}_{\min }-u_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {y^i}_{\mathrm{start}}=[({v^i}_{\min }-v_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.$ $\left\{\begin{array}{c}{\mathrm{width}}_i=[({u^i}_{\max }-{u^i}_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {\mathrm{height}}_i=[({v^i}_{\max }-{v^i}_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.$

$\left\{\begin{array}{c}{s}_{i,j}=(u_{i,j}-{u^i}_{\min })/({u^i}_{\max }-{u^i}_{\min })\\ t_{i,j}=(v_{i,j}-{v^i}_{\min })/({v^i}_{\max }-{v^i}_{\min })\end{array}\right.$

其中，width和height分别是所述服务器计算分配给每个所述投影仪的图像的宽和高，wd和hd分别为要拼接显示的图像在投影到所述大屏幕之前的宽和高，(u_min，v_min)和(u_max，v_max)分别是所述大屏幕上所述最终显示的矩形投影区域的左下角和右上角的顶点坐标，uⁱ _min，uⁱ _max，vⁱ _min和vⁱ _max分别是投影区域P_i的四个顶点坐标中u坐标的最小、最大值和v坐标的最小、最大值，(u_i，j，v_i，j)是所述mesh-i网格中第j个顶点对应的大屏幕的屏幕空间的坐标，j＝1，2，3，4；

步骤(2)：所述服务器通过反馈屏幕空间中的亮度衰减图像来更新每个投影仪用于亮度校正的模板，使得重叠区域和非重叠区域有相同的亮度，该模板是一个二维数组，大小与投影仪的分辨率相同，模板中的每个值是对应投影空间图像中每个点的亮度衰减因子，多次反馈最终得到满足亮度一致条件的模板；

步骤(2.1)：所述服务器根据投影仪中的每一点在大屏幕上的投影到与大屏幕上的该点有重叠的所有所述投影仪在大屏幕上的所述实际显示区域P_i的距离来计算初始模板中的衰减因子，第m个所述DLP投影仪的模板在(x，y)点的衰减因子A_m(x，y)，m＝1，2，…，12，

$A_m(x,y)={\left(\frac{a_m(u,v)}{{\mathrm{\Σ}}_i{a}_i(u,v)}\right)}^{1/\mathrm{\γ}}$

其中，i是大屏幕的屏幕空间中与实际显示区域P_m在(u，v)处有交叠的实际显示区域P_i的序号，(u，v)是由所述步骤1.7得到的第m投影仪的投影空间点(x，y)对应在该大屏幕的屏幕空间的坐标，

a_m(u，v)＝d_mx(u，v)×d_my(u，v)；

d_mx(u，v)和d_my(u，v)是屏幕空间点(u，v)分别到所述的实际显示区域P_m的左右边界和上下边界的距离最小值，

a_i(u，v)＝d_ix(u，v)×d_iy(u，v)，

d_ix(u，v)和d_iy(u，v)是屏幕空间点(u，v)分别到实际显示区域P_i的左右边界和上下边界的距离最小值，γ取值范围为1.8到2.4之间；

步骤(2.2)：每个所述客户端计算机为其控制的DLP投影仪计算投影空间的预处理图像，该预处理图像用黑色清除所述步骤(1.8.3)得到的用于对所述DLP投影仪进行几何校正网格mesh-i外的图像，几何校正网格mesh-i内每个点的亮度为白色图像的亮度与该DLP投影仪的模板在相同位置的衰减因子相乘得到的亮度；所有所述DLP投影仪把该预处理图像同时投影到大屏幕上，并用所述数码相机获取投影后的衰减图像，送到所述服务器中；

步骤(2.3)：根据所述步骤(2.2)得到的投影后的衰减图像，所述服务器按下式计算所有所述DLP投影仪都投影后在大屏幕上的每个点都要达到的目标亮度refValue：

$\mathrm{refValue}=1/N*{\mathrm{\Σ}}_{u,v}\mathrm{value}(u,v)$

其中，N是该投影后的衰减图像在所述步骤(1.8.1)得到的所述最终显示区域中的点的个数，(u，v)是该投影后的衰减图像中在所述最终显示区域内的任意一点的坐标，value(u，v)是该投影后的衰减图像在(u，v)处的亮度值；

步骤(2.4)：通过所述步骤(2.2)得到的所述投影后的衰减图像和所述步骤(2.3)得到的所述目标亮度，再根据所述步骤(1.7)中得到屏幕空间和投影空间的对应关系得到投影空间的任意一点(x，y)所对应的屏幕空间的点的坐标(u，v)，每个所述DLP投影仪的模板A在(x，y)处的衰减因子用下式进行更新：

A(x，y)＝A(x，y)+scale×delta(u，v)×df(x，y)

其中，scale是避免模板修正过度的比例因子，区间范围(0，1)，取0.5，df(x，y)是根据所述DLP投影仪的投影空间的点(x，y)在所述大屏幕上的投影到大屏幕上每个所述实际显示区域的距离为每个投影仪分配的比例因子，用所述步骤(2.1)得到的初始模板在(x，y)处的值代替，

delta(u，v)＝(refValue-value(u，v))/refValue，

refValue是所述步骤(2.3)得到的目标亮度，value(u，v)是相机图像在(u，v)的亮度；

步骤(2.5)：重复所述步骤(2.2)到所述步骤(2.5)，直到屏幕空间中任意一点(u，v)的亮度L(u，v)和该点的八个相邻点中的任意一点(u′，v′)的亮度L(u′，v′)都满足亮度一致的约束条件如下：

$\frac{|L(u,v)-L(u^{\′},v^{\′})|}{\sqrt{{|u-u^{\′}|}^2+{|v-v^{\′}|}^2}}\≤\frac{1}{5}L(u,v)$

步骤(2.6)：把满足所述步骤(2.5)中的所述约束条件时最后更新得到的每个投影仪的模板作为最终进行亮度校正的模板；

步骤(3)：按以下步骤进行所述r×t个DLP投影仪组合显示的亮度校正；

步骤(3.1)：所述服务器采集一副图像，把要显示的图像，按所述步骤(1.8.4)计算得到的图像的起始位置(xⁱ _start，yⁱ _start)和大小(width_i，height_i)，截取相应的子图像分配给所述的每个客户端计算机；

步骤(3.2)；所述的客户端计算机都把分配给自己控制的所述DLP投影仪的图像映射到所述步骤(1.8.3)计算得到的用于投影仪几何校正的网格mesh-i上，网格中的每个顶点对应所述步骤(1.8.4)得到的纹理坐标(s_i，j，t_i，j)，插值得到网格中任一点的纹理坐标，网格内部的每一点的亮度就是所述服务器传过来的子图像在相应纹理坐标处的亮度，网格外面用黑色清除；

步骤(3.3)：所述客户端计算机把所述步骤(3.2)得到的图像的每一点的亮度值乘以所述步骤(2)得到的模板中的相同位置的衰减因子，以使原始图像进行亮度衰减再输出到所述子图像对应的DLP投影仪中，从而所有投影仪的投影结果在整个屏幕上得到亮度一致；

步骤(3.4)：所述服务器在一定的时间间隔后，重复所述步骤(3.1)到所述步骤(3.3)；

本发明的特征在于，通过迭代反馈的方法得到用于亮度校正的模板；

本发明的特征在于，所述的所有图像是实时显示的，其中包括视频图像。

本发明与现有的技术相比有以下的优点：

1.通过相机反馈的亮度响应曲面对模板值进行修正的自反馈亮度校正方法，避免了复杂又麻烦的亮度响应曲线的测量工作。

2.通过改进初始模板的计算方法，使计算出来的模板过渡更均匀，消除了模板中的三角带问题，从而使亮度校正后的图像过渡更自然。

3.通过构建的模板修正方法和反馈迭代结束的亮度一致条件，使反馈迭代能够很快的收敛，并且自动得到收敛的结果。

附图说明

图1是几何校正网格计算模块的过程示意图。

图2是投影空间网格的示意图。

图3是屏幕空间网格的示意图。

图4是面积坐标计算示意图。

图5是所有投影仪拼接显示的区域。

图6是每个投影仪最终的显示区域。

图7是模板更新示意图。

图8是亮度校正模板计算模块的过程示意图。

图9是实时校正模块的过程示意图。

图10是多投影仪组合显示的自反馈亮度校正系统的总流程图。

具体实施方式

本发明通过以下技术方案予以实现：投影仪阵列、投影屏幕、数码相机、服务器和客户端计算机组成一个闭环的自反馈亮度校正系统。用r×t个DLP投影仪组成一个投影仪矩阵，每两台相邻的DLP投影仪共用一台客户端计算机独立控制。客户端计算机投影特征点，并用相机获取特征点图像。服务器通过特征点图像中的特征点和投影空间的特征点的一一对应关系计算得到每个投影仪用于几何校正的网格。服务器计算初始模板，并传递给相应的客户端计算机。客户端计算机应用模板对白色图像进行亮度衰减，并送到投影仪输出。相机获取投影图像。服务器根据获取图像的每个像素的亮度对模板进行更新。循环进行“衰减-投影-获取-更新模板”的过程直到达到亮度一致的约束条件，得到每个投影仪最终更新的模板。客户端计算机把服务器传过来的每一幅图像变形到用于几何校正的网格内，其余位置用黑色清除，得到几何校正后的图像。几何校正后的图像的每一点与最后更新的模板的相同位置的衰减因子相乘得到亮度校正后的图像。每个投影仪都输出亮度校正后的图像。投影结果在屏幕上得到一个好像一个投影仪的投影的无缝拼接的大画面。

本发明主要有三个模块：几何校正网格计算模块，亮度校正模板计算模块和实时校正模块。

图1是几何校正网格计算模块的过程示意图。用r×t个DLP投影仪(图中以3×4为例)组成一个投影仪矩阵，每两台相邻的DLP投影仪共用一台客户端计算机独立控制。每个客户端计算机为其控制的两台投影仪分别在投影空间生成p行q列的等间距的特征点，如图2中空心特征点所示。投影仪的投影区域1-12在屏幕上组成3行4列，如图3所示。相机获取每个投影仪的特征点图像。服务器通过获取的特征点图像和投影空间的特征点建立投影空间和屏幕空间的对应关系，来计算用于几何校正的网格，屏幕空间和投影空间的坐标对应关系和分配给每个投影仪的图像的起始位置、大小以及每个顶点的纹理坐标。

把屏幕空间的点和投影空间的点建立一一对应关系，得到每个DLP投影仪的初始显示区域。取所有DLP投影仪在该屏幕空间的初始显示区域的内接矩形作为屏幕上的最终显示矩形RECT(如图5中虚线矩形所示)，每个DLP投影仪在该大屏幕上实际要显示区域P_i是通过该DLP投影仪的初始显示区域与所述最终显示矩形RECT求交得到的，如图6所示。在每个DLP投影仪在该大屏幕空间的实际显示区域重新生成所述p×q大小的点阵，通过投影空间和屏幕空间的坐标对应关系，把该p×q点阵转换到所述每个DLP投影空间中，并按从上到下，从左到右的顺序所示生成三角形网格mesh-i，如图2中实心点组成的网格所示。

设所述屏幕上的最终显示矩形RECT的的左下角和右上角的顶点坐标分别为(u_min，v_min)和(u_max，v_max)，需要校正的图像的宽高分别为wd和hd，第i个投影仪的最终显示区域P_i的外接矩形的左下和右上角顶点坐标分别为(uⁱ _min，vⁱ _min)和(uⁱ _max，vⁱ _max)，网格mesh-i第j个顶点的屏幕空间坐标为(u_i，j，v_i，j)，那么，所述服务器计算分配给每个投影仪的图像的起始位置(xⁱ _start，yⁱ _start)、大小(width_i，height_i)以及每个顶点的纹理坐标(s_i，j，t_i，j)分别为：

$\left\{\begin{array}{c}{x^i}_{\mathrm{start}}=[({u^i}_{\min }-u_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {y^i}_{\mathrm{start}}=[({v^i}_{\min }-v_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.$ $\left\{\begin{array}{c}{\mathrm{width}}_i=[({u^i}_{\max }-{u^i}_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {\mathrm{height}}_i=[({v^i}_{\max }-{v^i}_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.$

$\left\{\begin{array}{c}{s}_{i,j}=(u_{i,j}-{u^i}_{\min })/({u^i}_{\max }-{u^i}_{\min })\\ t_{i,j}=(v_{i,j}-{v^i}_{\min })/({v^i}_{\max }-{v^i}_{\min })\end{array}\right.$

通过三角形面积坐标不变性和屏幕空间特征点和投影空间特征点的一一对应关系，得到屏幕空间中每一点D的坐标(D_u，D_v)对应在投影空间的点D′的坐标(D_x′，D_y′)，从而得到屏幕空间和投影空间的坐标对应关系。

首先，把屏幕空间特征点和投影空间特征按从上到下，从左到右的顺序分别组成三角形网格，如图3中的网格和图2空心点组成的网格所示；

其次，根据点D的坐标(D_u，D_v)，在屏幕空间特征点组成的网格中找到所在的三角形ΔABC，如图4所示。ΔABC的三个顶点坐标分别记为(A_u，A_v)、(B_u，B_v)、(C_u，C_v)；

其次，根据投影空间和屏幕空间的网格对应关系，得到ΔABC的三个顶点在投影空间的对应的特征点及其组成的三角形ΔA′B′C′；

然后，根据屏幕空间点D的坐标(D_u，D_v)和所在的三角形ΔABC，计算点D的面积坐标(m，k，w)：

$m=\frac{S\left(\mathrm{\ΔABD}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& B_u& D_u\\ A_v& B_v& D_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $k=\frac{S\left(\mathrm{\ΔDBC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{D}_u& B_u& C_u\\ D_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|},$ $w=\frac{S\left(\mathrm{\ΔADC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& D_u& C_u\\ A_v& D_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}$

最后，ΔA′B′C′的三个顶点坐标分别记为(A_x′，A_y′)、(B_x′，B_y′)、(C_x′，C_y′)，由于三角形面积坐标不变性，屏幕空间点D对应在投影空间点D′的面积坐标与点D的面积坐标相同，根据面积坐标计算投影空间的点D′的坐标(D_x′，D_y′)，如图4所示：

$\left\{\begin{array}{c}{D}_x^{\′}=m\×A_x^{\′}+k\×B_x^{\′}+w\×C_x^{\′}\\ D_y^{\′}=m\×A_y^{\′}+k\×B_y^{\′}+w\×C_y^{\′}\end{array}\right.$

图7是亮度校正模板计算模块的模板更新示意图。服务器计算初始模板，通过应用模板进行亮度校正，反馈亮度校正结果，来判断是否满足亮度一致条件，不满足的话就根据反馈结果更新模板，重复这个过程直到满足亮度一致条件。图8是亮度校正模板计算模块的过程示意图。服务器计算初始模板传递给相应的客户端计算机。客户端计算机计算几何校正和亮度衰减预处理后的图像。将计算机预处理后的图像送到投影仪输出。图中每个投影仪预处理后的显示区域分别为P₁-P₁₂。数码相机获取所有投影仪投影的预处理图像。服务器根据获取图像的每个像素的亮度，对模板进行更新。循环进行“衰减-投影-获取图像-更新模板”的过程直到满足亮度一致的约束条件。

服务器根据投影仪中的每一点投影到屏幕上后到每个投影仪在屏幕上的显示区域的距离来计算初始模板中的衰减因子。我们按下式计算第m个投影仪的模板在(x，y)点的衰减因子A_m(x，y)：

$A_m(x,y)={\left(\frac{a_m(u,v)}{{\mathrm{\Σ}}_i{a}_i(u,v)}\right)}^{1/\mathrm{\γ}}$

其中，i是大屏幕的屏幕空间中与实际显示区域P_m在(u，v)处有交叠的实际显示区域P_i的序号，(u，v)是第m投影仪的投影空间点(x，y)对应在该大屏幕的屏幕空间的坐标，

a_m(u，v)＝d_mx(u，v)×d_my(u，v)，

d_mx(u，v)和d_my(u，v)是屏幕空间点(u，v)分别到所述的实际显示区域P_m的左右边界和上下边界的距离最小值，

a_i(u，v)＝d_ix(u，v)×d_iy(u，v)，

d_ix(u，v)和d_iy(u，v)是屏幕空间点(u，v)分别到实际显示区域P_i的左右边界和上下边界的距离最小值，γ取值范围为1.8到2.4之间。

客户端计算机将几何校正网格内白色图像的每个像素的亮度与模板相同位置的的衰减因子相乘得到亮度衰减后图像，几何校正网格外用黑色清除。每个投影仪投影亮度衰减后的图像，并用相机获取投影的衰减图像。根据相机获取的图像计算一个投影仪中的每个点都要达到的目标亮度，用下面的公式计算目标亮度refValue：

$\mathrm{refValue}=1/N*{\mathrm{\Σ}}_{u,v}\mathrm{value}(u,v)$

其中，N是投影后的衰减图像在所述最终显示区域中的点的个数，(u，v)是投影后的衰减图像中在所述最终显示区域内的任意一点的坐标，value(u，v)是该投影后的衰减图像在(u，v)处的亮度值。

服务器根据获取图像的每个像素的亮度，对模板进行更新，过亮的像素对应的模板值减小，过暗的地方对应的模板值增加。根据屏幕空间和投影空间的对应关系得到投影空间的任意一点(x，y)所对应的屏幕空间的点的坐标(u，v)，每个投影仪的当前模板A在(x，y)处的衰减因子用下式进行更新：

A(x，y)＝A(x，y)+scale×delta(u，v)×df(x，y)

其中，scale是避免模板修正过度的比例因子，区间范围(0，1)，我们取0.5，df(x，y)是根据(x，y)点到屏幕上的投影到每个投影仪的距离远近而为每个投影仪分配的比例因子，我们初始模板在(x，y)处的值代替，

delta(u，v)＝(refValue-value(u，v))/refValue，

refValue是前面计算的目标亮度，value(u，v)是相机图像在(u，v)的亮度。

重复“衰减-投影-获取图像-更新模板”的过程，直到相机图像中任意一点(u，v)的亮度L(u，v)和该点的八个相邻点中的任意一点(u′，v′)的亮度L(u′，v′)都满足亮度一致的约束条件如下：

$\frac{|L(u,v)-L(u^{\′},v^{\′})|}{\sqrt{{|u-u^{\′}|}^2+{|v-v^{\′}|}^2}}\≤\frac{1}{\mathrm{\λ}}L(u,v)$

根据韦伯定律，视觉在某个亮度上可以接受的亮度差异为该亮度的1/5，所以λ取值为5；

满足约束条件时更新的模板就是反馈迭代过程最终得到的亮度校正的模板。

图9是实时校正模块的示意图。服务器按照几何校正网格计算模块得到的分配给每个投影仪的图像的起始位置和大小，把要显示的图像分别进行裁剪并传送给相应的客户端计算机。客户端计算机根据前面两个计算模块得到的几何校正网格和亮度校正模板，将要显示的图像变形到几何校正网格内，其他位置用黑色清除，得到几何校正后的图像。几何校正后的图像的每一点与最终更新得到的模板的相同位置的衰减因子相乘得到亮度校正后的图像。将几何校正和亮度校正后的图像送到投影仪输出。这样，所有投影仪的投影将在屏幕上的一个矩形显示区域内显示一个大的画面，每个投影仪显示画面的一部分。投影仪的投影相互有重叠，重叠的部分通过前面的计算能够做到几何对齐并且和非重叠部分亮度一致，好像整个画面是由一个投影仪投影出来的。按一定的时间间隔重复前面所有的操作，这样服务器中变化的图像就能在屏幕上完成实时的组合显示。

图10是多投影仪组合显示的自反馈亮度校正系统的总流程图，包含了几何校正网格计算，亮度校正模板计算和实时校正共三个过程，其中亮度校正模板计算和实时校正是分别循环计算的。

Claims (1)

1.多投影仪组合显示的自反馈亮度校正方法，其特征在于，所述方法是在一个由一张显示用的大屏幕、一台服务器、r×t个数字光处理技术投影仪DLP构成的一个投影仪矩阵以及多台客户端计算机组成的自反馈亮度校正系统中依次按以下的步骤实现的，其中：r为行，t为列，1≤r≤3，1≤t≤4，每两台相邻的所述DLP投影仪成组地一共只用一台所述客户端计算机控制：

步骤(1)：所述服务器计算用于所述投影仪进行几何校正的网格；

步骤(1.1)：建立坐标系：为所述大屏幕建立U-V直角坐标系，原点在该大屏幕的左下角，每点坐标为(u，v)；在所述每个DLP投影仪上为要投影的图像建立一个X-Y直角坐标系，原点在所述投影图像的左下角，每点坐标为(x，y)；

步骤(1.2)：所述服务器为所述每个DLP投影仪分别建立一个投影空间，在该投影空间中生成p行q列等间距的特征点，2≤p≤16，2≤q≤16，其中，p＝q＝4，并把这些特征点按先上后下、先左后右的顺序建立四边形网格，把每个四边形的左下角和右上角连接起来得到每个投影仪的投影空间三角形组成的网格；

步骤(1.3)：每台所述客户端计算机把这些投影空间的特征点组成的图像输入到每个DLP投影仪的屏幕空间进行显示，该投影仪屏幕空间与该投影仪投影空间在坐标上对齐，其投影分别显示在大屏幕上得到大屏幕的屏幕空间上的初始显示区域，并且把这些初始显示区域按照先上后下、先左后右的顺序排序；

步骤(1.4)：数码相机对所述大屏幕上的投影图像分别进行拍照，并输入到所述服务器中；

步骤(1.5)：所述大屏幕的屏幕空间由所有所述DLP投影仪在屏幕上的投影组成；

步骤(1.6)：所述服务器对所述大屏幕上的各投影图像用设定的亮度阈值进行二值化，亮度值大于等于阈值的区域为特征点区域，亮度值小于阈值的区域为非特征点区域，通过计算每个特征点区域的重心坐标得到该特征点在大屏幕的屏幕空间上坐标，所述阈值在180～220之间取值，并把这些特征点按先上后下、先左后右的顺序建立四边形网格，在每个网格的左下角和右上角连接起来得到每个投影仪对应在大屏幕的屏幕空间三角形组成的网格；

步骤(1.7)：该服务器按以下步骤得到所述大屏幕的屏幕空间中的每一点D的坐标(D_u，D_v)对应在所述投影空间的点D′的坐标(D_x′，D_y′)：

步骤(1.7.1)：找出点D在所述屏幕空间网格中所在的三角形ΔABC；

步骤(1.7.2)：找到ΔABC对应在所述投影空间网格中的三角形ΔA′B′C′；

步骤(1.7.3)：按下式计算所述屏幕空间点D(D_u，D_v)面积坐标(m，k，w)，

$m=\frac{S\left(\mathrm{\ΔABD}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& B_u& D_u\\ A_v& B_v& D_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}$ $k=\frac{S\left(\mathrm{\ΔDBC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{D}_u& B_u& C_u\\ D_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}$ $w=\frac{S\left(\mathrm{\ΔADC}\right)}{S\left(\mathrm{\ΔABC}\right)}=\frac{\left|\begin{array}{ccc}{A}_u& D_u& C_u\\ A_v& D_v& C_v\\ 1& 1& 1\end{array}\right|}{\left|\begin{array}{ccc}{A}_u& B_u& C_u\\ A_v& B_v& C_v\\ 1& 1& 1\end{array}\right|}$ 其中：m是所述ΔABC的内三角形ΔABD与该三角形ΔABC的面积之比，k是所述ΔABC的内三角形ΔDBC与该三角形ΔABC的面积之比，w是所述ΔABC的内三角形ΔADC与该三角形ΔABC的面积之比，(A_u，A_v)、(B_u，B_v)及(C_u，C_v)为所述ΔABC的三个顶点坐标，(D_u，D_v)为D点坐标；

步骤(1.7.4)：按下式计算屏幕空间的点D对应的投影空间的点D′的坐标(D_x′，D_y′)：

$\left\{\begin{array}{c}{D}_x^{\′}=m\×A_x^{\′}+k\×B_x^{\′}+w\×C_x^{\′}\\ D_y^{\′}=m\×A_y^{\′}+k\×B_y^{\′}+w\×C_y^{\′}\end{array}\right.$

其中，(A_x′，A_y′)、(B_x′，B_y′)、(C_x′，C_y′)所述ΔA′B′C′的顶点坐标；

步骤(1.8)：所述服务器计算用于几何校正的由三角形组成的网格mesh-i，i是所述大屏幕上r×t个DLP投影仪的序号，并传送到控制每个DLP投影仪的客户端计算机；

步骤(1.8.1)：取所述步骤(1.3)得到的所有所述初始显示区域的内接矩形作为该大屏幕上的最终显示的矩形投影区域，其左下角和右上角顶点坐标分别为(u_min，v_min)和(u_max，v_max)，左下角顶点的坐标表示为：

$\left\{\begin{array}{c}{u}_{\min }=\max ({\mathrm{LB}}_u^{i_L},{\mathrm{LT}}_u^{i_L})\\ v_{\min }=\max ({\mathrm{LB}}_v^{i_B},{\mathrm{RB}}_v^{i_B})\end{array}\right.$

其中，i_L和i_B分别为该大屏幕的屏幕空间中最左边一列和最下面一行所述初始显示区域的序号，当r＝3，t＝4时，i_L＝1，5，9，i_B＝9，10，11，12，在该第i_L个呈四边形的初始显示的投影区域中，

分别是左下角和左上角顶点的横坐标，在该第i_B个呈四边形的初始显示的投影区域中，分别是左下角和右下角顶点的纵坐标；

右下角顶点的坐标为：

$\left\{\begin{array}{c}{u}_{\max }=\min ({\mathrm{RB}}_u^{i_R},{\mathrm{RT}}_u^{i_R})\\ v_{\max }=\min ({\mathrm{LT}}_v^{i_T},{\mathrm{RT}}_v^{i_T})\end{array}\right.$

其中，i_R和i_T分别为该大屏幕的屏幕空间中最右边一列和最上面一行所述初始显示的投影区域的序号，当r＝3，t＝4时，i_R＝4，8，12，i_T＝1，2，3，4，在该第i_R个呈四边形的初始显示的投影区域中，

分别是右下角和右上角顶点的横坐标，在该第i_T个呈四边形的初始显示的投影区域中，

分别是左上角和右上角顶点的纵坐标；

步骤(1.8.2)：所述服务器计算所述每个DLP投影仪在大屏幕的屏幕空间上的初始显示区域与所述最终显示矩形的交集区域为该DLP投影仪在该大屏幕的屏幕空间上实际要显示的区域P，P＝{P₁，P₂，…P₁₂}；

步骤(1.8.3)：所述服务器为每个所述DLP投影仪在大屏幕的屏幕空间的实际显示区域P_i重新等距离生成所述p×q大小的点阵，p＝q＝4，按所述步骤(1.7)得到的投影仪空间和屏幕空间的坐标对应关系，把该p×q点阵转换到所述每个DLP投影仪的投影空间中，并把这些投影空间的特征点按从上到下，从左到右的顺序生成三角形网格mesh-i；

步骤(1.8.4)：所述服务器计算分配给每个所述投影仪的图像的起始位置(xⁱ _start，yⁱ _start)、大小(width_i，height_i)以及分配给所述网格mesh-i的每个顶点的纹理坐标(s_i，j，t_i，j)；

$\left\{\begin{array}{c}{x^i}_{\mathrm{start}}=[({u^i}_{\min }-u_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {y^i}_{\mathrm{start}}=[({v^i}_{\min }-v_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.$ $\left\{\begin{array}{c}{\mathrm{width}}_i=[({u^i}_{\max }-{u^i}_{\min })/(u_{\max }-u_{\min })]\×\mathrm{wd}\\ {\mathrm{height}}_i=[({v^i}_{\max }-{v^i}_{\min })/(v_{\max }-v_{\min })]\×\mathrm{hd}\end{array}\right.$

$\left\{\begin{array}{c}{s}_{i,j}=(u_{i,j}-{u^i}_{\min })/({u^i}_{\max }-{u^i}_{\min })\\ t_{i,j}=(v_{i,j}-{v^i}_{\min })/({v^i}_{\max }-{v^i}_{\min })\end{array}\right.$

其中，width和height分别是所述服务器计算分配给每个所述投影仪的图像的宽和高，wd和hd分别为要拼接显示的图像在投影到所述大屏幕之前的宽和高，(u_min，v_min)和(u_max，v_max)分别是所述大屏幕上所述最终显示的矩形投影区域的左下角和右上角的顶点坐标，uⁱ _min，uⁱ _max，vⁱ _min和vⁱ _max分别是投影区域P_i的四个顶点坐标中u坐标的最小、最大值和v坐标的最小、最大值，(u_i，j，v_i，j)是所述mesh-i网格中第j个顶点对应的大屏幕的屏幕空间的坐标，j＝1，2，3，4；

步骤(2)：所述服务器通过反馈屏幕空间中的亮度衰减图像来更新每个投影仪用于亮度校正的模板，使得重叠区域和非重叠区域有相同的亮度，该模板是一个二维数组，大小与投影仪的分辨率相同，模板中的每个值是对应投影空间图像中每个点的亮度衰减因子，多次反馈最终得到满足亮度一致条件的模板；

步骤(2.1)：所述服务器根据投影仪中的每一点在大屏幕上的投影到与大屏幕上的该点有重叠的所有所述投影仪在大屏幕上的所述实际显示区域P_i的距离来计算初始模板中的衰减因子，第m个所述DLP投影仪的模板在(x，y)点的衰减因子A_m(x，y)，m＝1，2，...，12，

$A_m(x,y)={\left(\frac{a_m(u,v)}{{\mathrm{\Σ}}_i{a}_i(u,v)}\right)}^{1/\mathrm{\γ}}$

其中，i是大屏幕的屏幕空间中与实际显示区域P_m在(u，v)处有交叠的实际显示区域P_i的序号，(u，v)是由所述步骤1.7得到的第m投影仪的投影空间点(x，y)对应在该大屏幕的屏幕空间的坐标，

a_m(u，v)＝d_mx(u，v)×d_my(u，v)；

d_mx(u，v)和d_my(u，v)是屏幕空间点(u，v)分别到投影区域P_m的左右边界和上下边界的距离最小值，a_i(u，v)＝d_ix(u，v)×d_iy(u，v)，

d_ix(u，v)和d_iy(u，v)是屏幕空间点(u，v)分别到投影区域P_i的左右边界和上下边界的距离最小值，γ取值范围为1.8到2.4之间；

步骤(2.2)：每个所述客户端计算机为其控制的DLP投影仪计算投影空间的预处理图像，该预处理图像用黑色清除所述步骤(1.8.3)得到的用于对所述DLP投影仪进行几何校正网格mesh-i外的图像，几何校正网格mesh-i内每个点的亮度为白色图像的亮度与该DLP投影仪的模板在相同位置的衰减因子相乘得到的亮度；所有所述DLP投影仪把该预处理图像同时投影到大屏幕上，并用所述数码相机获取投影后的衰减图像，送到所述服务器中；

步骤(2.3)：根据所述步骤(2.2)得到的投影后的衰减图像，所述服务器按下式计算所有所述DLP投影仪都投影后在大屏幕上的每个点都要达到的目标亮度refValue：

$\mathrm{refValue}=1/N*{\mathrm{\Σ}}_{u,v}\mathrm{value}(u,v)$

其中，N是该投影后的衰减图像在所述步骤(1.8.1)得到的所述最终显示区域中的点的个数，(u，v)是该投影后的衰减图像中在所述最终显示区域内的任意一点的坐标，value(u，v)是该投影后的衰减图像在(u，v)处的亮度值；

步骤(2.4)：通过所述步骤(2.2)得到的所述投影后的衰减图像和所述步骤(2.3)得到的所述目标亮度，再根据所述步骤(1.7)中得到屏幕空间和投影空间的对应关系得到投影空间的任意一点(x，y)所对应的屏幕空间的点的坐标(u，v)，每个所述DLP投影仪的模板A在(x，y)处的衰减因子用下式进行更新：

A(x，y)＝A(x，y)+scale×delta(u，v)×df(x，y)

其中，scale是避免模板修正过度的比例因子，区间范围(0，1)，取0.5，df(x，y)是根据所述DLP投影仪的投影空间的点(x，y)在所述大屏幕上的投影到大屏幕上每个所述实际显示区域的距离为每个投影仪分配的比例因子，用所述步骤(2.1)得到的初始模板在(x，y)处的值代替，

delta(u，v)＝(refValue-value(u，v))/refValue，refValue是所述步骤(2.3)得到的目标亮度，value(u，v)是相机图像在(u，v)的亮度；

步骤(2.5)：重复所述步骤(2.2)到所述步骤(2.5)，直到屏幕空间中任意一点(u，v)的亮度L(u，v)和该点的八个相邻点中的任意一点(u′，v′)的亮度L(u′，v′)都满足亮度一致的约束条件如下：

$\frac{|L(u,v)-L(u^{\′},v^{\′})|}{\sqrt{{|u-u^{\′}|}^2+{|v-v^{\′}|}^2}}\≤\frac{1}{5}L(u,v)$

步骤(2.6)：把满足所述步骤(2.5)中的所述约束条件时最后更新得到的每个投影仪的模板作为最终进行亮度校正的模板；

步骤(3)：按以下步骤进行所述r×t个DLP投影仪组合显示的亮度校正；

步骤(3.1)：所述服务器采集一副图像，把要显示的图像，按所述步骤(1.7)计算得到的图像的起始位置(xⁱ _start，yⁱ _start)和大小(width_i，height_i)，截取相应的子图像分配给所述的每个客户端计算机；

步骤(3.2)：所述的客户端计算机都把分配给自己控制的所述DLP投影仪的图像映射到所述步骤(1.6)计算得到的用于投影仪几何校正的网格mesh-i上，网格中的每个顶点对应所述步骤(1.4)得到的纹理坐标(s_i，j，t_i，j)，插值得到网格中任一点的纹理坐标，网格内部的每一点的亮度就是所述服务器传过来的子图像在相应纹理坐标处的亮度，网格外面用黑色清除；

步骤(3.3)：所述客户端计算机把所述步骤(3.2)得到的图像的每一点的亮度值乘以所述步骤(2)得到的模板中的相同位置的衰减因子，以使原始图像进行亮度衰减再输出到所述子图像对应的DLP投影仪中，从而所有投影仪的投影结果在整个屏幕上得到亮度一致；

步骤(3.4)：所述服务器在一定的时间间隔后，重复所述步骤(3.1)到所述步骤(3.3)。

Images