CN101321303A - 非平面多投影显示的几何与光学校正方法 - Google Patents

Abstract

一种计算机增强现实领域的非平面多投影显示的几何与光学校正方法，本发明中，每个投影仪依次投影单张棋盘格图像，使用棋盘格查找方法查找图片中的棋盘格内角点，这些内角点将摄像机中对应的投影仪覆盖区域细分为四边形面片网格，与所用棋盘格图像中已知的相应角点建立矩阵方程，建立各投影仪与图像之间的几何映射，并提供投影仪坐标系中的每一个像素点以一个权重，对于投影仪坐标系中的每个像素点，找到几何映射中对应的图像坐标系中的位置，赋予该位置像素点的值，再乘以所设置的权重，得到最终该投影仪需要投影的图像。本发明克服了光照条件以及投影表面复杂性对于校正的影响，校正预处理过程简便，适合更多的实用需求。

Description

非平面多投影显示的几何与光学校正方法

技术领域

本发明涉及一种计算机影像处理技术领域的方法，具体是一种非平面多投影显示的几何与光学校正方法。

背景技术

多投影拼接显示的研究大多集中在平面上，非平面上的拼接近些年来也随着应用需求的提升不断有方案提出。多投影拼接显示系统是计算机增强现实领域(Augmented Reality，简称AR)的重要分支之一，其主要应用是通过多个投影仪组成阵列拼接显示，来获得高分辨率，高物理尺寸的画面效果。若将投影仪投射到任意表面，覆盖用户所处的环境，即可给用户带来沉浸式的体验，再辅以一定的交互，形成了增强现实领域的一大应用热点。

经对现有技术文献的检索发现，Tardif，J.-P.；Roy，S.；Trudeau，M.等在3-D Digital Imaging and Modeling，2003.Proceedings.FourthInternational Conference on，(vol.，no.，pp.217-224，6-10Oct.2003)(2003年第四届国际3D数字成像与建模会议)中发表的“Multi-projectors forarbitrary surfaces without explicit calibration nor reconstruction”(无需精确标定或重构的任意表面多投影显示)，该文中针对复杂表面多投影拼接提出了几何校正的方法，通过各投影仪分别投影多张pattern图，再由相机逐个捕捉，取得投影仪像素点与相机捕捉的图片像素点的对应关系。该技术的不足之处在于：校正预处理过程主要是几何映射的建立，均比较复杂，不易于用户的使用；结构光以及pattern图的识别对光照条件和表面复杂性有很大的限制；投影表面大都只是比较规则的曲面，例如圆弧面、环形面。实际使用时缺乏鲁棒性，不利于增强现实中的实际应用。

发明内容

本发明针对上述现有技术的不足，提出了一种非平面多投影显示的几何与光学校正方法，使其通过在预处理阶段投影一张棋盘格pattern图，来实现复杂表面的多投影无缝拼接显示，克服了现有的多投影系统对于光照条件以及投影表面复杂性的限制，简化预处理过程，易于用户使用。

本发明是通过如下技术方案实现的，本发明包括如下步骤：

步骤一，由一个投影仪阵列和一台摄像机组成整个多投影环境，投影仪之间上下摆放，投影区域有一定的重叠，摄像机能够同时观察所有投影仪所投影覆盖的区域；

步骤二，几何校正：每个投影仪依次投影单张棋盘格图像，并由摄像机依次捕捉，对于每一张捕捉下的图片，使用棋盘格查找方法查找图片中的棋盘格内角点，这些内角点将摄像机中对应的投影仪覆盖区域细分为四边形面片网格，与所用棋盘格图像中已知的相应角点建立矩阵方程，建立各投影仪与图像之间的几何映射；

步骤三，光学校正：提供投影仪坐标系中的每一个像素点以一个权重，非重叠区域权重为1，重叠区域的权重取决于当前像素点到各个投影区域边界的距离，根据各个区域的权重建立各个投影仪像素点的映射表；

由于投影仪投影区域需相互重叠来避免几何上的缝隙，故相邻投影仪的投影覆盖区域需有一定程度的重叠。由此会带来重叠区域的高亮效果，使得整个图像光度不一致，拼接痕迹明显。理想的用户体验应该是觉察不到整个画面由多个投影仪拼接显示，故需要平滑这种高亮的效果。之前的几何校正提供了每个投影仪坐标系到图像坐标系的映射，所以重叠区域容易判定。

步骤四，实时的矫正过程：对于投影仪坐标系中的每个像素点，找到步骤二建立的几何映射中对应的图像坐标系中的位置，赋予该位置像素点的值，再乘以步骤三所设置的权重，得到最终该投影仪需要投影的图像。

所述使用棋盘格查找方法查找图片中的棋盘格内角点，具体为：检测棋盘格中由四个黑白区域构成的角点，并记录角点处黑白区域的边界位置，通过角点位置以及相应的边界位置连通属于同一个棋盘格黑或者白区域的角点，从而得到相互连通的角点集合，通过已知棋盘格行数与列数确定棋盘格中的角点数，从而根据所得连通的角点集合中角点个数是否等于棋盘格的角点数确定棋盘格角点集合，从而识别棋盘格。

所述建立各投影仪与图像之间的几何映射，具体为：

对于每一个四边形，点坐标(x，y，1)乘以一个3×3的矩阵，等于对应点的坐标(x*，y*，1)，四个点点对应关系中的(x，y)建立8个方程，再加上固定的z坐标1，一共9个方程，计算出矩阵的9个参数，依次计算出摄像机坐标系中每个四边形内像素点与投影仪坐标系中对应的四边形内像素点之间的变换矩阵，称为Homography(单应性)矩阵，每个投影仪对应一组Homography矩阵；由于要投影的图像大小已知，在摄像机中显示的位置已知，同样计算出图像坐标系与摄像机坐标系之间的Homography矩阵，将上述两类矩阵相乘得到图像坐标系与投影仪坐标系之间的Homography矩阵，遍历投影仪坐标系由内角点组成的四边形网格内的各个像素点，其坐标位置乘以对应四边形的投影仪坐标系到图像坐标系的Homography矩阵可得到预投影图像坐标系中像素点的位置。

所述重叠区域的权重，其与当前像素点到各个投影区域边界的距离的关系具体为： $B_{P_i}(x_{P_i},y_{P_i})=d_{P_i}(x_{P_i},y_{P_i})/{\mathrm{\Σ}}_j{d}_{P_j}\left(H_{C2P_j}{H}_{P_{i}2C}(x_{P_i},y_{P_i})\right),j=1...i...N$

其中：B表示权重，P_i、P_j表示第i、j个投影仪，(x，y)表示坐标值，d是像素点到每个投影仪投影区域四个边的一个归一化最短距离，

是相机坐标系到第j个投影仪坐标系的Homography矩阵，

是第i个投影仪坐标系到相机坐标系的Homography矩阵，N表示投影仪的总数。

本发明具有如下有益效果：本发明可以在只投影一张棋盘格pattern的同时，完成几何与光学两方面的校正，实现在非平面上的多投影拼接。同时，本发明克服了光照条件以及投影表面复杂性对于校正的影响，校正预处理过程简便，适合更多的实用需求。经大量实验表明，针对不存在白遮挡的表面，本发明有效性可达百分之九十以上。

附图说明

图1是本发明的实施例1中的一个26*22的棋盘格示例；

图2是本发明的实施例1的一个投影仪覆盖区域的四边形面片网格示例；

图3是本发明实施例1投影的一个柱子表面；

图4是在图3的柱面上投影显示的一张中国山水画；

图5是本发明实施例2要投影的一个墙角；

图6是在图5的墙角投影显示的一张中国山水画。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

如图3所示，本实施例在圆柱上投影纵向长幅中国山水画。

本实施例包括如下步骤：

步骤一，本实施例采用2个投影仪、一个摄像机，摆放投影仪时，投影仪投影图1所示棋盘格图像，两投影仪上下摆放，投影区域有一定量的重叠，使得图2所示棋盘格内角点所构成的四边形网格与另一投影仪的四边形网格有重叠，摄像机摆放的位置应能同时观察到两个投影仪所投影覆盖的区域。

步骤二，几何校正过程：上下投影仪依次投影图1所示棋盘格，并由摄像机捕捉到两张图像。对于每张图像，应用棋盘格查找方法查找其所有内角点。图1所示26*22的棋盘格图像共有25*21个棋盘格内角点。每4个内角点，组成一个四边形，构成图2所示的四边形网格。将图1视为投影仪坐标系，图2摄像机捕捉到的图像视为摄像机坐标系。遍历投影仪坐标系内每个内角点构成的四边形，对应摄像机坐标系内的四边形，四个角点位置之间的对应关系可建立方程，算出当前四边形内像素点的摄像机坐标系与投影仪坐标系之间的变换矩阵，称为Homography矩阵，简称为H_C2P和H_P2C，H_C2P为相机坐标系到投影仪坐标系的Homography矩阵，H_P2C是投影仪坐标系到相机坐标系的Homography矩阵，两者互为逆矩阵。这样，每个投影仪共可算出24*20*2个Homography矩阵。由于要投影的图像大小已知，即本实施例所用中国山水画的大小，在摄像机坐标系中显示的位置已知，图像上下左右四个角点与对应摄像机坐标系中的位置建立方程，同样算出图像坐标系与摄像机坐标系之间的变换矩阵，称为H_I2C和H_C2I，H_I2C为投影仪坐标系到相机坐标系的Homography矩阵，H_C2I是相机坐标系到投影仪坐标系的Homography矩阵，两者互为逆矩阵。H_I2C乘以H_C2P可得图像坐标系到投影仪坐标系的Homography矩阵H_I2P，H_P2C乘以H_C2I可得投影仪坐标系到相机坐标系的Homography矩阵H_P2I。遍历投影仪坐标系由内角点组成的四边形网格内的像素点，其坐标位置乘以对应四边形的H_P2I可得到预投影图像坐标系中像素点的位置。这样，建立了各投影仪与图像之间的几何映射。

由于上述Homography矩阵需由四个点的对应关系才可建立方程计算，所以只有图2所示棋盘格内角点所构成的四边形面片网格内的像素点才能通过乘以Homography矩阵找到预投影图像坐标系中像素点的准确位置。所以每个投影仪的显示区域限制在内角点所构成的四边形面片网格内部。这样虽然缩小了一定的显示范围，但换来了准确的几何映射，而且多投影拼接可以很自然的解决显示画面小的问题。再者，投影仪边界区域的亮度要明显低于内部，舍弃边界部分对于之后的光学校正也有一定的帮助。

步骤三、光学校正过程：给投影显示区域中的每一个像素点设置一个权重，默认为1。遍历投影仪坐标系由内角点组成的四边形网格内的像素点，其坐标位置乘以对应四边形的H_P2I，再乘以另一个投影仪对应四边形的H_I2P，即可得到当前投影仪坐标系中的像素点在另一个投影仪坐标系中的位置。若位置不在另一个投影仪的显示区域，可判定点不在重叠区域，默认值1不变；若位置落在另一个投影仪的显示区域内部，可判定点在重叠区域，重叠区域的权充取决于当前像素点到上下两个投影区域边界的最短距离。

$B_{P_i}(x_{P_i},y_{P_i})=d_{P_i}(x_{P_i},y_{P_i})/{\mathrm{\Σ}}_j{d}_{P_j}\left(H_{C2P_j}{H}_{P_{i}2C}(x_{P_i},y_{P_i})\right),j=1...i...N$

其中：B表示权重，P_i、P_j表示第i、j个投影仪，(x，y)表示坐标值，d是像素点到每个投影仪投影区域四个边的一个归一化最短距离，是相机坐标系到第j个投影仪坐标系的Homography矩阵，

是第i个投影仪坐标系到相机坐标系的Homography矩阵，N表示投影仪的总数。

预处理结束，由上述公式可以看到，虽然该实施例用到了两个投影仪，但本发明对于组成投影仪阵列的投影仪数量是没有限制的。

步骤四，实时的矫正过程，遍历每个投影仪显示区域中的像素点，找到其几何映射中对应的图像坐标系中的位置，赋予该位置像素点的值，RGB通道各乘以其对应的权重，可得到最终每个投影仪需要投影的图像。

实施例结果如图4所示，柱面的扭曲效果被校正，上下投影仪图像内容拼接准确，重叠区域过渡自然，用户无法察觉，就像投影在平面一般。证明了本实施例的有效性及准确性。经大量实验表明，针对不存在自遮挡的表面，有效性可达百分之九十，均能取得准确的校正效果。

实施例2

如图5是另一个实施例用到的投影表面----墙角，色墙面加上有一定纹理的屋顶，形变大，且不平滑，且有一定纹理。

如图6所示，是采用与实施例1相同的方法，采用左右拼接的两个投影仪实施拼接显示，图中，扭曲效果被校正，左右投影仪图像内容拼接准确，重叠区域过渡自然，用户无法察觉。

Claims (4)

1.一种非平面多投影显示的几何与光学校正方法，其特征在于，包括如下步骤：

步骤一，由一个投影仪阵列和一台摄像机组成整个多投影环境，投影仪之间上下摆放，投影区域有重叠，摄像机能同时观察所有投影仪所投影覆盖的区域；

步骤二，几何校正：每个投影仪依次投影单张棋盘格图像，并由摄像机依次捕捉，对于每一张捕捉下的图片，使用棋盘格查找方法查找图片中的棋盘格内角点，这些内角点将摄像机中对应的投影仪覆盖区域细分为四边形面片网格，与所用棋盘格图像中已知的相应角点建立矩阵方程，建立各投影仪与图像之间的几何映射；

步骤三，光学校正：提供投影仪坐标系中的每一个像素点以一个权重，非重叠区域权重为1，重叠区域的权重取决于当前像素点到各个投影区域边界的距离，根据各个区域的权重建立各个投影仪像素点的映射表；

步骤四，实时的矫正过程：对于投影仪坐标系中的每个像素点，找到步骤二建立的几何映射中对应的图像坐标系中的位置，赋予该位置像素点的值，再乘以步骤三所设置的权重，得到最终该投影仪需要投影的图像。

2.根据权利要求1所述的非平面多投影显示的几何与光学校正方法，其特征是，所述使用棋盘格查找方法查找图片中的棋盘格内角点，具体为：检测棋盘格中由四个黑白区域构成的角点，并记录角点处黑白区域的边界位置，通过角点位置以及相应的边界位置连通属于同一个棋盘格黑或者白区域的角点，得到相互连通的角点集合，通过已知棋盘格行数与列数确定棋盘格中的角点数，根据所得连通的角点集合中角点个数是否等于棋盘格的角点数确定棋盘格角点集合，识别棋盘格。

3.根据权利要求1所述的非平面多投影显示的几何与光学校正方法，其特征是，所述建立各投影仪与图像之间的几何映射，具体为：

对于每一个四边形，点坐标(x，y，1)乘以一个3×3的矩阵，等于对应点的坐标(x*，y*，1)，四个点点对应关系中的(x，y)建立8个方程，再加上固定的z坐标1，一共9个方程，计算出矩阵的9个参数，依次计算出摄像机坐标系中每个四边形内像素点与投影仪坐标系中对应的四边形内像素点之间的变换矩阵，称为Homography矩阵，每个投影仪对应一组Homography矩阵；要投影的图像大小已知，在摄像机中显示的位置已知，同样计算出图像坐标系与摄像机坐标系之间的Homography矩阵，将上述两类矩阵相乘得到图像坐标系与投影仪坐标系之间的Homography矩阵，遍历投影仪坐标系由内角点组成的四边形网格内的各个像素点，其坐标位置乘以对应四边形的投影仪坐标系到图像坐标系的Homography矩阵得到预投影图像坐标系中像素点的位置。

4.根据权利要求1所述的非平面多投影显示的几何与光学校正方法，其特征是，所述重叠区域的权重，其与当前像素点到各个投影区域边界的距离的关系具体为： $B_{P_i}(x_{P_i},y_{P_i})=d_{P_i}(x_{P_i},y_{P_i})/{\mathrm{\Σ}}_j{d}_{P_j}\left(H_{{C2P}_j}{H}_{P_{i}2C}(x_{P_i},y_{P_i})\right),j=1...i...N,$

其中：B表示权重，P_i、P_j表示第i、j个投影仪，(x，y)表示坐标值，d是像素点到每个投影仪投影区域四个边的一个归一化最短距离，是相机坐标系到第j个投影仪坐标系的Homography矩阵，

是第i个投影仪坐标系到相机坐标系的Homography矩阵，N表示投影仪的总数。

Images