CN101500172B - 基于光传感器的投影自动几何校正方法 - Google Patents

Abstract

本发明为基于光传感器的投影自动几何校正方法，解决已有的校正方法成本高，精度低的问题。控制计算机生成一个光模式序列，并通过投影设备向投影幕依次投射该序列中的每个光模式。安装在投影幕中的光传感器分别采集其受光照强度，并传输此模拟信号至数据采集设备。同时，控制计算机读取每个光传感器在每个光模式下受光照强度的数字信号。控制计算机根据采集到的光传感器的信号历史，计算出它们在投影坐标系中的平面坐标，并将其作为几何校正网格在投影幕上的控制点的预期坐标。据此将投影幕划分成若干个彼此相互邻接的网格，根据从原始图像到投影图像的网格控制点的对应关系，控制计算机对原始图像进行几何预变换，并将结果图像的对应部分分别投射到目标投影幕上每个小网格所覆盖的区域，以此达到几何校正的目的。

Description

基于光传感器的投影自动几何校正方法

技术领域

本发明涉及的是一种无缝投影中的自动几何校正方法，特别涉及一种基于光传感器的自动几何校正方法。

背景技术

数字投影设备的逐渐普及使得多通道的超高分辨率的数据可视化和视频娱乐成为了可能。这类投影需要多台投影设备共同合作，它们通常情况下被安放在桌面上，或者固定在支架上，同时将原始图像投射到同一目标投影幕的不同部分，最终通过技术手段将投影图像无缝的拼接在一起，并且观察者看到的图像(下文中简称为观察者图像)是完整的超大型高分辨率的图像。图像拼接的一个技术难点就是经过投影幕的反射后，原本正常的图像的投影会发生几何畸变。解决这个问题的办法是通过一定的方法确定从原始图像到观察者图像的像素点的对应关系，并据此对原始图像在投射之前进行几何预变换。这样，经过预变换的图像经过投影设备的投射后再经过投影幕的反射，就可以使观众看到的图像和原始图像保持一致，从而达到几何校正的目的。

要达到这样的效果，可以由控制计算机生成一个与原始图像等大的矩形网格，然后投影设备将它投射到投影幕上就得到一个有几何畸变的网格。接下来通过一定的方式，把这个网格的控制点分别移动至预期的位置，使观众看到的网格和原始网格保持一致。此时，网格在投影幕上已经覆盖了一定的区域。之后，控制计算机由校正模式切换至显示模式。这时，投影设备投射原始图像并在投影幕上形成了一个投影图像，它恰好完全与网格所确定的区域相重叠。这样，观众看到的观察者图像就和预期的图像是一致的了，也就消除了几何畸变。以往常见的移动网格控制点的方案有两种：人工校正和基于计算机视觉的自动校正。在人工校正的方案中，经过训练的专家级人员通过手动的方式来移动网格的控制点。这个方案成本低廉且施工简易，但是整个过程会消耗大量的人力和时间，后期维护的成本很高。特别在投影设备或者投影幕经常发生相对移动的情况下，比如办公会议环境，频繁的费时的人工几何校正大大限制了多通道投影系统的应用。在基于计算机视觉的自动校正方案中，一台或多台数码摄像设备会代替观众观察投影幕上的网格的控制点，通过它们确定从原始图像到观察者图像的像素点的映射关系，从而达到摄像机标定的目的。再以控制点在投影坐标系中的坐标为样本，根据回归计算得到从观察者图像到原始图像的单应性矩阵。这样，将投影图像的像素点坐标乘以单应性矩阵即可知道它在原始图像中的对应像素点的坐标，并据此控制计算机对原始图像进行几何预变换。虽然这样的自动校正理论上可以达到亚像素级的精度，但是因为各种客观原因，如光源的移动、光强的变化、投影幕反光能力的强弱和摄像镜头的光学畸变等，最终得到的网格控制点的实际位置和理想位置会有或大或小的出入，致使实际几何校正结果达不到理论上的精确度。

还有一种技术方案是基于光传感器的自动几何校正(例如，参见文献1：美国专利号7001023)，它首先在投影幕上的预定位置安装一系列的光传感器，用他们来标定网格控制点的投影在投影幕上预期的位置。然后，投影设备向投影幕投射一个二进制式的光模式序列，光传感器将其对序列中每个光模式的反馈信号传输至控制计算机，由控制计算机基于这些信号的历史记录计算出光传感器在投影坐标系中的平面坐标，进而构造参数矩阵。在对这个参数矩阵的奇异值分解过程中得到从投影图像到原始图像的单应性矩阵，再根据它对原始图像进行几何预变换。接下来的几何校正步骤就与前述的人工和基于计算机视觉的两种方案相同了。因为这种方案中投射的光模式是二进制式的光模式，因此控制计算机需要将光传感器反馈的模拟信号转换为0和1的数字信号。这个过程中是通过预设阈值常数的方法来对原始光照信号进行处理的。然而，光传感器对光照的电气响应强弱很容易受到环境光照的影响，如自然光和室内照明等。预先设定的阈值常数量往往会导致光传感器的坐标解码失败，进而导致几何校正的失败。其次，单应性矩阵的计算依赖于对参数矩阵的奇异值分解。然而，单应性矩阵仅适用于纯平面的投影幕，如办公室的垂直墙面等。当投影幕为非平面时，例如大型的柱面、球面和椭球面等，由于基于单应性矩阵的映射计算过程属于非线性运算，它会导致投影图像在由多个相邻的由光传感器所确定的网格的边缘处发生错位现象，即投影图像并非在每个方向上处处都是连续的，观众看到的观察者图像也是错位的。解决这个问题的办法就是在投影幕上安装大量的密集的光传感器，使错位的程度尽可能的降低。这样投影设备的生产成本和现场施工的难度都会大大提升，特别是从光传感器到控制计算机的电线的布线将变得异常复杂。

因此，一种适用于任意曲面的完全自动的自适应环境的几何校正技术需要被开发出来。

发明内容

本发明的目的是提供一种成本低廉，可使用各种光传感器，适应性能好，校正精度高的基于光传感器的投影自动几何校正方法。

本发明是这样实现的：

本发明基于光传感器的投影自动几何校正方法，控制计算机101生成一个与原始图像等大并且网格线交叉点在垂直和水平方向上均等间距的矩形网格，该矩形网格以左上角为原点，水平向右为横轴正向，垂直向下为纵轴正向，建立投影设备102的投影坐标系，矩形网格宽度为W_I，高为H_I，投影设备102与控制计算机101相连接，

在投影幕106上安装N个光传感器构成阵列，阵列的宽度为W_S，高度为H_S，其中N＝W_S×H_S，光传感器位于投影幕106表面上的每个单元平面的顶点和单元平面内曲度发生突变的位置，如单元曲面的波峰，波谷或者独立尖角处，每个光传感器的输出端由导线连接至数据采集设备107的输入端，数据采集设备向控制计算机101输出光传感器的信号，具体几何校正方法如下：

(1)控制计算机101切换进入几何校正模式，生成光模式序列100，投影设备将光模式序列中的每一个光模式依次投射到投影幕106，

(2)数据采集设备107收集每个光传感器对每个光模式的响应信号数值S_i，(i＝1，2，...，N)并反馈到控制计算机101，控制计算机101将响应信号数值S_i映射为二进制数字R_i∈{0，1}，(i＝1，2，..，N)，

(3)控制计算机101根据每个光传感器对应的二进制数值R_i的历史记录，计算出每个光传感器在投影设备的投影坐标系中的平面坐标(X_i，Y_i)，(i＝1，2，...，N)，

(4)控制计算机101切换入投影模式，对需要投影的原始图像112进行几何预变换，

(5)投影设备102将进行了几何预变换所得图像投射到投影幕106上就得到了正确的观察者图像。

步骤(1)中所述的光模式序列100包括第一光模式序列500、第二光模式序列501和第三光模式序列502，第一光模式序列500由满光照的光模式503和无光照的光模式504各一个组成，第二光模式序列501由黑白相间的竖条组成的光模式构成，第三光模式序列502由黑白相间的模条组成的光模式构成，第二光模式序列501由N_V个光模式组成，

第三光模式序列502由N_H个光模式组成，

第二光模式序列501的第j个光模式的黑白垂直竖条的宽度均为(j＝1，2，...，N_V)，第三光模式序列502的第k个光模式的水平横条的高度

(k＝1，2，...，N_H)。

步骤(2)中，光传感器对第一光模式序列500的满光照光模式503的信号数值为B_i，(i＝1，2，...，N)，无光照光模式504的信号数值为D_i，(i＝1，2，...，N)，控制计算机(101)将从数据采集设备(107)得到的光传感器的信号数值S_i∈[D_i，B_i]，(i＝1，2，...，N)映射为二进制数字R_i∈{0，1}，(i＝1，2，...，N)，映射计算公式如下：

其中，光照阈值T_i＝(1-U)×B_i+U×D_i，中间值 $U=\sqrt{1-P^2},$ (0.5＜P＜1，i＝1，2，...，N)。

第i个光传感器的平面坐标(X_i，Y_i)，(i＝1，2，...，N)的确定方法如下：

(1)区间绑定：投影设备在开始投射第二、三光模式序列前，将第i个光传感器的模坐标X_i和纵坐标Y_i分别绑定上一个闭区间，它们分别为

和

(i＝1，2，...，N)，

(2)迭代解码：在投射第二光模式序列(501)的过程中，每投射一个光模式，控制计算机(101)按照如下的规则，分别更新第i个光传感器的横坐标绑定的区间：

其中临时变量 $Q_1=\frac{1}{2}({\mathrm{XL}}_{i,j-1}-1+{\mathrm{XU}}_{i,j-1}),$ (i＝1，2，...，N，j＝1，2，...，N_V)，

在投射第三光模序列(502)的过程中，每投射一个光模式，控制计算机(101)按照如下规则，分别更新第i个光传感器的纵坐标绑定的区间：

其中临时变量 $Q_2=\frac{1}{2}({\mathrm{YL}}_{i,j-1}-1+{\mathrm{YU}}_{i,j-1}),$ (i＝1，2，...，N，j＝1，2，...，N_H)，

(3)坐标赋值：在所有光模式都投射完毕后，第i个光传感器的横坐标X_i和纵坐标Y_i如下：

$\left\{\begin{array}{c}{X}_i=\frac{1}{2}({\mathrm{XL}}_{N_V}+{\mathrm{XU}}_{N_V})\\ Y_i=\frac{1}{2}({\mathrm{YL}}_{N_H}+{\mathrm{YU}}_{N_H})\end{array}\right.,(i=\mathrm{1,2},...,N).$

进行几何预变换之前，控制计算机101在光投影设备的投影坐标系中，按照插值算法添加了多个虚拟光传感器，与原矩形网格线交叉点匹配成对。增加虚拟光传感器的方法如下：

尺寸为H_S×W_S的二维矩阵M₁，组成二维矩阵的元素为从上到下，从左到右的第i个元素为一个向量(X_i，Y_i)，(i＝1，2，...，N)，虚拟光传感器的添加是基于二维矩阵M₁，沿投影设备(102)的投影坐标系的横轴和纵轴两个方向先后进行，首先沿二维矩阵M₁的行方向，从上到下依次选取第j，(j＝1，2，...，H_S)行的所有元素得行向量V_j，以该行向量V_j的元素为曲线拟合样本，按照插值算法添加若干个插值点，并与行向量V_j的所有元素进行合并形成新的行向量NV_j，把得到的H_S个新的行向量按照先后顺序在垂直方向上进行叠加，得尺寸为H₂×W₂的二维矩阵M₂，其中H₂＝H_S，W₂为在水平方向上插值点的个数，W₂的数值由人为设定且大于W_S，沿二维矩阵M₂的列方向，从左到右依次选取第k，(j＝1，2，...，W₂)列的所有元素，得一个由二维点坐标构成的列向量V_k，以V_k的元素为曲线拟合样本，按照插值算法添加若干个插值点，并且和原列向量V_k的所有元素进行合并形成新的列向量NV_k，把得到的W_S个新的列向量按照先后顺序在水平方向上进行叠加，得到尺寸为H₃×W₃的二维矩阵M₃，其中W₃＝W₂，H₃为在垂直方向上插值点的个数，H₃的数值由人为设定且大于H_S，二维矩阵M₃即为添加虚拟光传感器以后的光传感器坐标矩阵。

几何预变换的方法如下：

(1)控制计算机初始化经二维矩阵M₃映射所得的图像的所有像素点均为暗黑色，

(2)取矩阵M₃中每个构成矩阵的顺时针方向的四个元素A、B、C和D在原矩形网格线交叉点的颜色数值为C₁、C₂、C₃和C₄，

(3)几何预变换后的结果图像中的A、B、C和D四个矩阵元素以及通过它们的四条插值曲线确定了一个封闭的小网格，

(4)过封闭小网格中任意一点Z的水平直线交AD边界于H，交BC边界于F，过Z的垂直直线交AB边界于E，交DC边界于G，

(5)封闭小网格的面积为S₀，小网格被过Z点的水平和垂直直线划成的四个顺时针方向的封闭区域，他们的面积分别为S₁，S₂，S₃和S₄，

(6)根据以下公式，得到几何预变换的结果图像上Z点的颜色数值C_Z

$C_Z=\underset{j=1}{\overset{4}{\mathrm{\Σ}}}\frac{C_j{S}_j}{S_0}$

(7)循环式地按照2-6步骤计算矩阵M₃的另外四个元素确定的封闭小网格中的所有点的颜色值。

当所有封闭小网格的任意点的颜色值都计算出来，几何预变换后的图像也就生成完毕。

首先，控制计算机生成一个光模式序列，并通过投影设备向投影幕依次投射该序列中的每个光模式。在投射每个光模式的过程中，安装在投影幕中的光传感器分别采集其受光照强度，并传输此模拟信号至数据采集设备。同时，控制计算机通过数据采集设备的硬件驱动接口，读取每个光传感器在每个光模式下受光照强度的数字信号。然后，在整个光模式序列都投射完毕以后，控制计算机根据采集到的光传感器的信号历史，计算出它们在投影坐标系中的平面坐标，并将其作为几何校正网格在投影幕上的控制点的预期坐标。据此将投影幕划分成若干个彼此相互邻接的网格，再根据插值算法增加虚拟的光传感器，得到进一步细化的小网格。最后，根据从原始图像到投影图像的网格控制点的对应关系，控制计算机对原始图像进行几何预变换，并将结果图像的对应部分分别投射到目标投影幕上每个小网格所覆盖的区域，以此达到几何校正的目的。整个过程完全由计算机控制自动完成，速度快，安装和维护成本低，可以在任意曲面和姿态的投影幕上达到亚像素级的校正精度。

本发明有如下优点：

1.向投影幕依次投射一个全光照的亮白色和一个无光照的暗黑色的光模式，通过光传感器对这两个光模式的电气响应，投影系统自动为每个光传感器单独自动设定光照阈值。这样，不同厂商的光传感器也可以混用在同一个投影幕上，仅要求每个光传感器的输出信号都有固定的量程。

2.一次几何校正需要的时间很短，通常情况下仅为数秒。由于光传感器对光照的响应时间很短为毫秒级，几乎可以忽略，所以几何校正的时间复杂度与光传感器的安装数量无关，仅为原始图像尺寸的O(N)级。

3.在确定了光传感器在投影坐标系中的坐标以后，按照插值算法添加多个虚拟的光传感器。这样，即使投影幕上仅安装相对少量的光传感器，投影系统也可以自适应复杂的曲面，同时也可以避免了在投影网格间出现的图像错位的现象。

附图说明

图1为本发明的硬件结构图。

图2为光传感器结构图。

图3为投影幕与传感器的安装结构图。

图4为本发明的流程图。

图5为光模式序列示意图。

图6几何预变换后的封闭小网格示意图。

具体实施方式

硬件部分：

如图1所示，整套投影系统的硬件部分由六大元素组成：控制计算机101、投影设备102、目标投影幕106、光扩散薄膜108、光传感器如103、104和105等、以及信号采集盒107。在几何校正过程中，他们按照顺时针方向依次发挥作用，组成了一个完整的闭环控制系统。此时控制计算机101处于几何校正模式，它向投影设备102输出的是光模式序列100。在几何校正结束以后，控制计算机切换至投影模式，此时它对输入的原始图像112进行几何预变换，并将结果图像输出至投影设备102。

投影设备102和投影幕106均处于任意姿态，且投影设备102在投影幕106上的投影图像的一部分109完全覆盖了四个相邻的光传感器，意即在以它们为顶点的多边形110范围内不再有其他的光传感器。这里，术语姿态包括了位置和立体方向两方面的含义。同样的道理，其他每四个相邻的光传感器也被投影图像的其他部分完全覆盖，所以投影幕106上所有的传感器都被投影图像所覆盖。注意，投影设备102可以代表一个或者多个投影源，但是每四个相邻的光传感器仅对应一个投影源的投影图像的一部分。

观众111和投影设备102在相对于投影幕106的同一边(下文中简称为正面)。这样，图像经过投影幕106的反射后就可以被观众111观看到。由于投影设备102和投影幕106的姿态可以是任意的，因此投影图像109就不会恰好覆盖期望的投影区域110。所以，就需要由控制计算机101对输入的原始图像100进行几何预变换。经过了几何预变换的图像再经过投影设备106的投影后，就能恰好的覆盖住期望的投影区域110。

如果期望的投影区域是整个投影幕106的话，就需要在投影幕106上安装更多的光传感器，例如103、104和105。所有光传感器在投影幕106上的安装位置都是已知的且不依赖于原始图像100，它们的具体位置根据投影幕106的实际情况而定：如果投影幕106是一个纯平面，光传感器可以安装在该平面的每个顶点处。如果投影幕106可以通过二次、三次和更高次的数学公式来描述，甚至不能用简单的数学公式来描述的时候，光传感器可以安装在投影幕106曲度发生突变等有代表性的位置，如曲面的波峰、波谷或者尖角等处。

如图2所示，光传感器由两部分组成：光导纤维203和感光器件204。一根光导纤维203恰好完全被放置于穿孔202中，且占满其内部所有的空间，将光线从穿孔202的正面(图示的左方)传导至背面。感光器件204紧贴在穿孔202背面的出口处，受光面受到光导纤维传导来的光线的正投照射，并以所受电压的模拟信号的形式，通过其正负极引脚200和201对外输出穿孔202正面所受的光照强度。

如图3所示，光传感器，例如104，安装在投影幕106上的穿孔202中。一个光传感器对应一个穿孔。这里需要注意的是，穿孔202呈圆柱形，且圆口直径应当尽可能小，通常在1毫米以下。这样，穿孔一方面在投影幕106的正面上很难被远处的观众111发现，另一方面它在投影设备102的投影坐标系中可以被看作是一个亚像素点，也就可以使光传感器的坐标数值达到亚像素级的精度。

在图1和图2中，覆盖在投影幕106的正表面的一层透光薄膜108起到了光扩散的作用，它将投影幕106正面接受到的光线折射入藏于穿孔中的光导纤维之中。这样做有两个方面的好处：第一，它可以隐藏投影幕106上用于安装光传感器的穿孔，使观众看到的投影幕是一整块平滑的曲面。第二，它还可以将小角度(小于1度)入射的光线也反射入穿孔中，这样即使在投影设备102与投影幕106正面的所成角度很小的极端情况下，光传感器也能正常的工作。

如图1所示，每个感光器件的引脚200和201由导线304连接至数据采集设备107的输入端305，每一个输入端对应一个光传感器。数据采集设备107不断刷新每个光传感器当前输出的模拟信号。当控制计算机101需要从数据采集设备107读取某个光传感器的光照信号时，数据采集设备107会将该光传感器的模拟信号输出给控制计算机101。这样，控制计算机101就可以读取任意光传感器在任意时刻的受光状态。在这里，数据采集设备107可以是一个或多个各自独立的设备，如插在控制计算机101扩展槽中的PCI卡；也可以由多个设备通过某种方式组合而成的设备，如级联的外置式的数据采集盒。

软件部分：

如图4所示，几何校正需要知道光传感器在投影设备102的投影坐标系中的平面坐标，整个过程可以分解为六个大的步骤。首先，控制计算机101进入几何校正模式，并生成一个光模式序列100。然后，投影设备102将该序列中的每一个光模式依次投射到投影幕106。其次，数据采集设备107收集每个光传感器对每个光模式的响应信号，并反馈至控制计算机101。在整个光模式序列都投射完毕以后，控制计算机101根据数据采集设备107反馈的信号历史，计算出每个光传感器在投影设备102的投影坐标系中的平面坐标，并将它作为网格控制点的预期坐标。以这些坐标作为数据样本，控制计算机101按照三次样条插值算法添加多个虚拟的光传感器，从而进一步细化网格，并将细化后的小网格的控制点与原始图像100中对应的网格控制点进行匹配成对，完成从原始图像到投影图像的映射。最后，控制计算机101进入投影模式，对每一个需要投影的原始图像112，按照二次线性插值算法进行处理，之后就得到经过了预变换的图像。此时，投影设备102再把这个图像投射到投影幕106上就得到了预期正确的投影图像。下文将对每个步骤分别进行叙述。为了方便叙述，令光传感器的数量为N，每个光传感器的信号数值在当前光模式下为S_i，(i＝1，2，...，N)，每个光传感器对应的光照阈值为T_i，(i＝1，2，...，N)，原始图像112的像素宽度均为W_I，像素高度均为H_I，投影幕上安装的光传感器的点数宽度为W_S，点数高度为H_S。

光模式的投射400

如图5所示，每一个光模式实际上是一张由控制计算机生成的二进制式的平面图像，其中像素点的颜色要么是满光照的亮白色，要么是无光照的暗黑色。所有的光模式按照从左至右、从上到下的顺序依次投射。每个光模式在被投射时，都需要计算机101控制投影设备102维持当前的投影不变且达到足够的时长。这样可以保证投影幕106表面上的任意一点都受到足够时长的光照，光传感器的光强信号采样区间也不处于感光器件204的输出信号的上升沿和下降沿。因此，这个时长是一个人工设定的常数，并且其数值至少要大于感光器件204的电气响应时延的2倍。整个光模式序列分为三个子序列500、501和502。

子序列500由两种光模式组成，即满光照的光模式503和无光照的光模式504各一个。控制计算机101首先生成一个所有的像素点均为亮白色的光模式504，然后通过投影设备102以满功率的灯光将整个投影区域全部照亮。这个过程中，控制计算机101通过数据采集设备107读取每个光传感器的信号数值B_i，(i＝1，2，..，N)。在此之后，类似的原理，控制计算机再生成一个所有像素点均为暗黑色的光模式503，然后通过投影设备102以接近于零功率的灯光照射整个投影区域。这个过程中，控制计算机101再次通过数据采集设备107读取每个光传感器的信号数值D_i，(i＝1，2，...，N)。这两个光模式投射完毕以后，就可以得到每一个光传感器输出信号的数值区间[D_i，B_i]，(i＝1，2，...，N)。从本质上讲，光模式504和503被用于测定每个感光器件204对光照的电气响应特性。因为每一个感光器件即使是同一厂家同一批次生产的，它在受光照时输出信号的数值范围也可能是不同的，所以必须要分别进行测定。这样，出自不同厂商的不同类别的不同型号的感光器件可以混用在同一个投影幕上，比如光敏电阻和光敏二极管就可以混用在一起。一方面光传感器的生产成本可以降低，另一方面感光器件一旦出现了损坏，就可以灵活的使用现有器件来进行更换。同时，环境光照和投影光线相对于每个光传感器的入射角度也被隐式地编码到了这个输出信号的数值区间之中。与无环境光照影响的情况相比，当环境关照的强度较大或者投影光线入射角度较小时，D_i和B_i会同步增加同样的数量，反之亦然。然而，D_i和B_i的差值仅与该感光器件的量程有关，与环境光照和投影光线的入射角度无关。因此，几何校正的计算仅使用了这个差值作为参数，这样就可以使投影系统自适应环境关照和投影光线的入射角度。

子序列501和502被用于确定每个光传感器在投影设备102的投影坐标系中的平面坐标(X_i，Y_i)，(i＝1，2，...，N)。两个子序列相同之处在于它们均由黑白相间的长条组成的光模式构成，不同之处在于子序列501仅包含垂直竖条，而子序列502仅包含水平横条，他们按照图5所示的从左至右、从上到下的顺序依次被投影设备102进行投射。子序列501由个仅包含垂直竖条的光模式组成，其中第j，(1≤j≤N_V)个光模式中较窄的垂直竖条的宽度V_j的计算公式为

而较宽的垂直竖条的宽度为两倍的V_j。同样的道理，子序列502由

个仅包含水平横条的光模式组成，其中第k，(1≤k≤N_H)个光模式中较窄的垂直竖条的高度H_k的计算公式为而较高的水平横条的宽度为两倍的H_k。

光强读取401

控制计算机101从数据采集设备107得到的光传感器的信号数值S_i∈[D_i，B_i]，(i＝1，2，...，N)。为了使控制计算机101读取的数字信号与感光器件的类别和型号无关，光传感器的输出信号数值需要被映射为二进制的数字R_i∈{0，1}，(1≤i≤N)。数字0代表光传感器在当前光模式下未受到光线的照射。相应的，数字1代表光传感器在当前光模式下受到了光线的照射。映射的计算公式如下：

$U=1-\sqrt{1-P^2},(0.5<P<1)$

T_i＝(1-U)×B_i+U×D_i

其中T_i为光照阈值，U为一个中间变量，P为一个人为预设的常量，(i＝1，2，...，N)。根据现有经验它的数值通常定为0.7可以达到比较好的投影效果。在这里，这个映射公式有一个前提条件，它假设在整个光模式的投射过程中，除投影设备102以外的光源的位置和发光强度都是稳定不变的，例如自然光和室内照明等。这个假设是合理且有意义的，因为在通常情况下，整个光模式序列的投射过程仅需要不足5秒的时间，所以除投射设备102以外的光源的位置和发光强度是不会发生明显变化的，并且不足以对光传感器的正常受光产生影响。

光传感器的坐标解码402

光传感器的坐标解码分为三步来完成：二元数组绑定、迭代解码和坐标赋值。

1.二元数组绑定：在开始投射子序列501和502之前，为第i个光传感器的横坐标和纵坐标分别绑定上一个二元数组，它们被表示为(XL_i，0，XU_i，0)和(YL_i，0，YU_i，0)，其中XL_i，0＝YL_i，0＝0， ${\mathrm{XU}}_{i,0}=2^{N_V},$ ${\mathrm{YU}}_{i,0}=2^{N_H},$ (i＝1，2，...，N)。

2.迭代解码：在投射子序列501的过程中，每投射一个光模式时，控制计算机101按照如下的规则，分别更新第i个光传感器的横坐标对应的二元数组：

其中 $Q_1=\frac{1}{2}({\mathrm{XL}}_{i,j-1}+{\mathrm{XU}}_{i,j-1}),$ (i＝1，2，...，N，j＝1，2，...，N_V)

同样的道理，在投射子序列502的过程中，每投射一个光模式，控制计算机101按照如下的规则，分别更新每个光传感器的纵坐标对应的二元数组：

其中 $Q_2=\frac{1}{2}({\mathrm{YL}}_{i,j-1}+{\mathrm{YU}}_{i,j-1}),$ (i＝1，2，...，N，j＝1，2，...，N_H)

3.坐标赋值：在所有的光模式都投射完毕以后，令第i个光传感器的平面坐标分别为(X_i，Y_i)，则他们的具体数值就可以按照以下的规则得到：

$\left\{\begin{array}{c}{X}_i=\frac{1}{2}({\mathrm{XL}}_{N_V}+{\mathrm{XU}}_{N_V})\\ Y_i=\frac{1}{2}({\mathrm{YL}}_{N_H}+{\mathrm{YU}}_{N_H})\end{array}\right.$

因此，解码完毕以后，第i个光传感器都对应一个平面坐标(X_i，Y_i)，(i＝1，2，...，N)。这样，就可以建立一个H_S×W_S的二维矩阵M₁，它的从上到下从左到右数的第i个元素为一个向量(X_i，Y_i)。

增加虚拟光传感器403

在上一步的操作402中，所有光传感器在投影坐标系中的平面坐标已经解码，并且得到了对应的二维矩阵M₁，这似乎已经足够建立从原始图像到投影图像的像素点的映射。然而在实践中，光传感器的安装数量往往是有限的，即安装在投影幕上的少量的光传感器所定义的网格不足以描述复杂的曲面投影幕。在这种情况下，通过在投影幕上增加一定量的虚拟的光传感器，从而达到细化现有网格的目的，这是一种非常有效和廉价的解决方案。

虚拟光传感器的添加是基于二维矩阵M₁沿投影坐标系的横轴和纵轴两个方向先后进行的。首先，沿二维矩阵M₁的行方向，从上到下依次选取第j，(1≤j≤H_S)整行的所有元素，即可得到一个由二维点坐标构成的行向量V_j。以该行向量的元素为曲线拟合样本，按照样条插值算法添加若干个插值点，并且将得到的插值点和原行向量V_j的所有元素进行合并形成新的行向量NV_j。然后，把得到的这H_S个新的行向量按照先后顺序在垂直方向上进行叠加，就可以得到一个尺寸为H₂×W₂二维矩阵，其中H₂＝H_S，W₂为在水平方向上插值点的个数，W₂的数值由人为设定且大于W_S。

之后，再沿二维矩阵M₂的列方向，从左到右依次选取第k，(1≤j≤W₂)整列的所有元素，即可得到一个由二维点坐标构成的列向量V_k。同样，以列向量V_k的元素为曲线拟合样本，按照样条插值算法添加若干个插值点，并且和原列向量V_k的所有元素进行合并形成新的列向量NV_k。然后，把得到的这W₂的列向量按照先后顺序在水平方向上进行叠加，就可以得到一个尺寸为H₃×W₃二维矩阵M₃，其中W₃＝W₂，H₃为在垂直方向上插值点的个数，H₃的数值由人为设定且大于H_S。

二维矩阵M₃即为添加虚拟光传感器以后的光传感器坐标阵。换句话说，由这些真实和虚拟的光传感器所确定的网格比仅由真实的光传感器所确定的网格更加细化，同时也并未丧失原网格应有的精度。在这个插值的过程中，插值点的数量越多，光传感器的分布就越密集，因而由光传感器定义的网格就能更好的描述复杂的投影幕曲面。不过这样做的代价是样条插值的时耗会增长，而且控制计算机在切换到投影模式后，每一张原始图像的几何预变换的时耗也会相应增长，这样就可能影响到投影显示系统的实时性，特别是当投影图像是超高分辨率的视频的时候。因此，插值点的数量不宜太多。另一方面，虽然样条插值属于非线性插值，但是由于他的曲线样本点是分布在整个投影幕表面上的，因此他不会在小网格边缘出现图像错位的现象。

预变换原始图像404

在得到了精细化后的光传感器坐标阵后，几何校正的大部分工作就已经完成了，因为已经确定了从原始图像到投影图像的像素点的对应关系。接下来，控制计算机101就由几何校正模式切换至显示模式。这时，控制计算机101根据像素点的对应关系，对每个输入的原始图像112进行几何预变换，同时将结果图像输出至投影设备102。

首先，控制计算机初始化预变换后的图像(下文简称为变换后图像)的所有像素点均为暗黑色。然后，针对矩阵M₃中每四个在水平和垂直方向上相邻的元素进行运算。为了叙述方便，令当前正在处理的四个矩阵元素按照矩阵平面的顺时针方向分别为A、B、C和D。他们在原始图像100中对应的网格控制点处的色彩分别为C₁、C₂、C₃和C₄。从原始图像112到变换后图像的像素点映射关系，按照如下所述的双线性插值算法来确定，如图6所示：

1.变换后图像上的A、B、C和D四点以及通过他们的四条样条插值曲线确定了一个封闭的小网格，这里的插值曲线可能是直线也可以是高次曲线。

2.扫描这个网格内的所有像素点，令Z点为这个小网格内的任意一点。一条过Z的水平直线交AD边界于H，同时交BC边界于F。一条过Z点的垂直直线交AB边界于E，同时交DC边界于G。

3.令由A、B、C和D四点确定的小网格的面积为S₀，由A、E、Z和H四点确定的封闭区域的面积为S₁，由E、B、F和Z四点确定的封闭区域的面积为S₂，由Z、F、C和G四点确定的封闭区域的面积为S₃，由H、Z、G和D四点确定的封闭区域的面积为S₃，其中S₀＝S₁+S₂+S₃+S₄。

4.根据以下公式，可以得到变换后图像上点Z的色彩值C_Z：

$C_Z=\underset{j=1}{\overset{4}{\mathrm{\&Sigma;}}}\frac{C_j{S}_j}{S_0}$

控制计算机在处理完一个小网格后，则循环式地按照上述算法处理由另外四个由光传感器点，以及经过他们的样条插值曲线，共同决定的小网格。当所有的小网格都处理完毕以后，变换后图像也就生成完毕了。

投射经过几何预变换后的图像405

在这一步中，投影设备102将预变换后的图像直接投射到投影幕106上即可。不过，这种方法仅适用于静态的图像，如办公会议的幻灯片和外景相片的演示等等，并不适用于高质量视频的播放。为了满足视频播放的即时性，可以将部分数值计算(如双线性插值)转移到控制计算机101的显示卡中进行，由其内部的硬件单元直接来完成计算。最终，变换后的图像经过投影幕106的反射以后，观众111观看到的图像就与原始图像100完全一致。

Claims (2)

1.基于光传感器的投影自动几何校正方法，控制计算机(101)生成一个与原始图像等大并且网格线交叉点在垂直和水平方向上均等间距的矩形网格，该矩形网格以左上角为原点，水平向右为横轴正向，垂直向下为纵轴正向，建立投影设备(102)的投影坐标系，矩形网格宽度为W_I，高为H_I，投影设备(102)与控制计算机(101)相连接，

在投影幕(106)上安装N个光传感器构成阵列，阵列的宽度为W_S，高度为H_S，其中N＝W_S×H_S，光传感器位于投影幕(106)表面上的每个单元平面的顶点和单元平面内曲度发生突变的位置，每个光传感器的输出端由导线连接至数据采集设备(107)的输入端，数据采集设备向控制计算机(101)输出光传感器的信号，具体几何校正方法如下：

(1)控制计算机(101)切换进入几何校正模式，生成光模式序列(100)，投影设备将光模式序列中的每一个光模式依次投射到投影幕(106)，

(2)数据采集设备(107)收集每个光传感器对每个光模式的响应信号数值S_i，i＝1，2，...，N并反馈到控制计算机(101)，控制计算机(101)将响应信号数值S_i映射为二进制数字R_i∈{0，1}，i＝1，2，...，N，记光传感器对第一光模式序列(500)的满光照光模式(503)的信号数值为B_i，i＝1，2，...，N，无光照光模式(504)的信号数值为D_i，i＝1，2，...，N，映射计算公式如下：

其中，光照阈值T_i＝(1-U)×B_i+U×D_i，i＝1，2，...，N，中间值

P为人为预设的常量，i为光传感器序列，

(3)控制计算机(101)根据每个光传感器对应的二进制数值R_i的历史记录，计算出每个光传感器在投影设备的投影坐标系中的平面坐标(X_i，Y_i)，i＝1，2，...，N，第i个光传感器的平面坐标(X_i，Y_i)，i＝1，2，...，N的确定方法如下：

区间绑定：在投影设备开始投射第二光模式序列(501)和第三光模式(502)序列前，将第i个光传感器的横坐标X_i和纵坐标Y_i分别绑定上一个闭区间，它们分别为

和

i＝1，2，...，N，

迭代解码：在投射第二光模式序列(501)的过程中，每投射一个光模式，控制计算机(101)按照如下的规则，分别更新第i个光传感器的横坐标绑定的区间：

其中临时变量

i＝1，2，...，N，j＝1，2，...，N_V，R_ij为按照几何校正方法步骤2中所述的映射计算公式，将第i个光传感器在投射光模式序列(501)中的第j个光模式时，将光照信号映射计算所得的数值，

在投射第三光模序列(502)的过程中，每投射一个光模式，控制计算机(101)按照如下规则，分别更新第i个光传感器的纵坐标绑定的区间：

其中临时变量

i＝1，2，...，N，j＝1，2，...，N_H，

坐标赋值：在所有光模式都投射完毕后，第i个光传感器的横坐标X_i和纵坐标Y_i如下：

$\left\{\begin{array}{c}{X}_i=\frac{1}{2}({\mathrm{XL}}_{N_F}+{\mathrm{XU}}_{N_F})\\ Y_i=\frac{1}{2}({\mathrm{YL}}_{N_H}+{\mathrm{YU}}_{N_H})\end{array}\right.,i=\mathrm{1,2},...,N,$

(4)增加虚拟的光传感器，方法如下：

尺寸为H_S×W_S的二维矩阵M₁，组成二维矩阵的元素为从上到下，从左到右的第i个元素为一个向量(X_i，Y_i)，i＝1，2，...，N，虚拟光传感器的添加是基于二维矩阵M₁，沿投影设备(102)的投影坐标系的横轴和纵轴两个方向先后进行，首先沿二维矩阵M₁的行方向，从上到下依次选取第j，j＝1，2，...，H_S行的所有元素得行向量V_j，以该行向量V_j的元素为曲线拟合样本，按照插值算法添加若干个插值点，并与行向量V_j的所有元素进行合并形成新的行向量NV_j，把得到的H_S个新的行向量按照先后顺序在垂直方向上进行叠加，得尺寸为H₂×W₂的二维矩阵M₂，其中H₂＝H_S，W₂为在水平方向上插值点的个数，W₂的数值由人为设定且大于W_S，沿二维矩阵M₂的列方向，从左到右依次选取第k，k＝1，2，...，W₂列的所有元素，得一个由二维点坐标构成的列向量V_k，以V_k的元素为曲线拟合样本，按照插值算法添加若干个插值点，并且和原列向量V_k的所有元素进行合并形成新的列向量NV_k，把得到的W_S个新的列向量按照先后顺序在水平方向上进行叠加，得到尺寸为H₃×W₃的二维矩阵M₃，其中W₃＝W₂，H₃为在垂直方向上插值点的个数，H₃的数值由人为设定且大于H_S，二维矩阵M₃即为添加虚拟光传感器以后的光传感器坐标矩阵，

(5)控制计算机(101)切换入投影模式，对需要投影的原始图像(112)进行几何预变换，

控制计算机初始化经二维矩阵M₃映射所得的图像的所有像素点均为暗黑色，

取矩阵M₃中每个构成矩阵的顺时针方向的四个元素A、B、C和D在原矩形网格线交叉点的颜色数值为C₁、C₂、C₃和C₄，

几何预变换后的结果图像中的A、B、C和D四个矩阵元素以及通过它们的四条插值曲线确定了一个封闭的小网格，

过封闭小网格中任意一点Z的水平直线交AD边界于H，交BC边界于F，过Z的垂直直线交AB边界于E，交DC边界于G，

封闭小网格的面积为S₀，小网格被过Z点的水平和垂直直线划成的四个顺时针方向的封闭区域，他们的面积分别为S₁，S₂，S₃和S₄，

根据以下公式，得到几何预变换的结果图像上Z点的颜色数值C_Z

$C_Z=\underset{j=1}{\overset{4}{\mathrm{\&Sigma;}}}\frac{C_j{S}_j}{S_0}$

循环式地按照上述算法计算矩阵M₃的封闭小网格中的所有点的颜色值，

当封闭小网格中的所有像素点的颜色值都按照Z点的计算方法计算出来，几何预变换后的图像也就生成完毕，

(6)投影设备(102)将进行了几何预变换所得图像投射到投影幕(106)上就得到了正确的观察者图像，

以上所述的符号XL_i，j、XU_i，j、YL_i，j、YU_i，j分别为由两个大写字母共同构成的具有独立含义的整体符号，XL_i，j，i＝1，2，...，N，j＝1，2，...，N_V，表示第i个光传感器在投射第二光模式序列(501)中的第j，j＝1，2，...，N_V个光模式后更新计算所得的横坐标的数值下界，相应的XU_i，j，i＝1，2，...N，j＝1，2，...N_V为更新计算所得的该横坐标数值上界，同样的道理，YL_i，j，i＝1，2，...，N，j＝1，2，...N_H，

表示第i个光传感器在投射第三光模式序列(502)中的第j，j＝1，2，...，N_H个光模式后更新计算所得的纵坐标的数值下界，相应的YU_i，j，i＝1，2，...N，j＝1，2，...N_H为更新计算所得的该纵坐标的数值上界。

2.根据权利要求1所述的方法，其特征在于在步骤(1)中所述的光模式序列(100)包括第一光模式序列(500)、第二光模式序列(501)和第三光模式序列(502)，第一光模式序列(500)由满光照的光模式(503)和无光照的光模式(504)各一个组成，第二光模式序列(501)由黑白相间的竖条组成的光模式构成，第三光模式序列(502)由黑白相间的模条组成的光模式构成，第二光模式序列(501)由N_V个光模式组成，

第三光模式序列(502)由N_H个光模式组成，

第二光模式序列(501)的第j个光模式的黑白垂直竖条的宽度均为

j＝1，2，...，N_V，第三光模式序列(502)的第k个光模式的水平横条的高度

k＝1，2，...，N_H。

Images