CN102014259B - 基于投影纹理映射的斜投影失真校正方法 - Google Patents

Abstract

本发明公开了基于投影纹理映射的斜投影失真校正方法，其按如下步骤：第一步，建立投影仪、投影屏幕和观察者的模型；第二步，将观察者视为一个虚拟的投影仪，通过投影纹理映射，将纹理图像映射到投影屏幕上；第三步，将投影仪视为一个虚拟的观察者，将投影纹理映射后的投影屏幕进行渲染，获取虚拟观察者所观察到的变形图像，该变形图像就是投影系统进行图像校正所需的预变形图像；第四步，将第三步的预变形图像作为投影图像，由现实中的投影系统所使用，实现投影图像的几何失真校正。本发明方法避免了估计投影变换参数所存在的缺点和局限性，降低了成本。

Description

基于投影纹理映射的斜投影失真校正方法

技术领域

本发明属于视觉投影系统的投影图像失真校正技术领域，更具体地说，涉及一种投影仪斜投影至球面或非球面(包括正投影)显示屏的图像失真校正方法。

背景技术

视觉投影系统是一种图像和视频信息呈现的重要系统，主要包括投影仪、投影屏幕和计算机软硬件设备。如图1所示，投影仪2将计算机产生的图像投影到屏幕1上的过程称为投影成像。投影成像过程可以看作是投影图像3与屏幕图像4之间的一种投影变换。在理想的投影变换下，投影图像与屏幕图像保持视觉一致，图像之间不存在几何变形。但是，由于投影仪自身的光学性质、投影屏幕的几何形状以及投影仪和投影屏幕之间相对的位置与角度关系等等，投影成像普遍存在几何失真的现象。因此，为使观察者看到的是未变形的投影图像，应该对图像进行几何校正以抵消由此类因素造成的图像失真。在目前的实际应用中，常见的几何失真类型有如下几种：

1.线性失真

现有的投影仪在设计时都是针对平面投影屏幕的，要求在使用时尽可能正投影至投影屏幕才能保证投影效果，否则投影成像就会产生线性失真。此时投影图像中的线段在屏幕上依然呈现为线段，但是由于线段的长度和线段之间的夹角发生变化，从而导致图像失真。其中，最常见的是梯形失真(trapeziumdistortion)，如图2、3所示。目前，对于梯形失真的校正方法通常有两种，一种是光学梯形校正，通过调整镜头的物理位置达到校正的目的，另一种是数码梯形校正，通过投影变换参数估计和软件插值算法对投影图像进行形状调整和补偿实现校正。

2.枕形失真(pincushion distortion)

枕形失真又称为弧形失真。如图4所示，当使用针对平面投影屏幕的投影仪把图像投影到弧形投影屏幕时，就会产生枕形失真，见投影屏幕正视图5。这是一种非线性失真，投影图像中的线段在屏幕上不一定呈现为线段。

3.桶形失真(barrel distortion)

桶形失真又称为球面失真。这是另一种常见的非线性失真，通常发生在球形投影屏幕上，如图6、7所示。

以上两种最常见的非线性失真还会因为投影仪与投影屏幕的之间相对位置与角度关系，比如斜投影，而加剧变形程度。矩形的投影图像将会投影成像为任意的曲边四边形。

目前的非线性失真校正方法大致可以分为两类。一类方法是通过光学校正，即通过具有独特变形校正功能的特定投影仪来实现。这种方案的一个缺点就是投影仪成本高，普通用户难以承受。另一类方法是采用计算机非线性失真校正技术来实现，其核心思想是对矩形投影图像进行预变形处理，以抵消因斜投影和投影屏幕几何形状所造成的非线性失真，使观察者看到不失真图像。一般的方法是先将矩形投影图像的四条边映射为屏幕图像曲边四边形的四条边，然后采用插值的方法计算曲边四边形内部像素与投影图像内部像素之间的映射关系。该方法必须使用三次以上的高阶多项式表示曲线，计算非常繁琐，参数调节的灵活性较差。目前也有提出的图像失真校正方法分成两步：定位步骤和形变步骤。前者以图像的四个顶点为基准，采用双线性变换矩阵将矩形投影图像非线性映射为一个中间过渡的曲线四边形；后者对该过渡曲线四边形的每条曲边应用二次曲线调整，通过两个二次曲线产生的一组与该边线方向垂直的偏移量，使得屏幕图像的曲线在观众的视觉平面上呈现为直线边。该方法中双线性变换和二次曲线调整非常耗时，需要根据人的主观感受进行调整，因此操作难度大。此外，以上两类方法都假设投影图像与屏幕图像之间存在某种变换模型，在更为复杂的投影环境下，比如投影屏幕为任意曲面，这些模型假设很可能不成立，导致不可消除的模型误差。因此，具有较大的局限性。

发明内容

针对现有技术存在的上述技术问题，本发明提出了基于投影纹理映射(Projective Texture Mapping)的斜投影失真校正方法，其是一种面向投影系统的图像失真校正的低成本且快速处理方法。

本发明将投影图像作为纹理，通过投影纹理映射获取预变形图像。纹理映射是将纹理像素映射到物体表面的过程，因此通常需要在物体建模过程中通过手工指定纹理和三维模型顶点的对应关系，从而将纹理“贴”到了物体表面。投影纹理映射是一种特殊的纹理映射方法，不需要手工指定纹理和顶点的对应关系。实际上，投影纹理映射中使用的纹理坐标是在顶点着色过程中通过视点矩阵和投影矩阵自动计算得到的，是一个将物体“投影”到纹理上的过程。因此，投影纹理映射具有两大优点：其一，将纹理与空间顶点进行实时对应，不需要预先在建模过程中生成纹理坐标；其二，使用投影纹理映射，可以有效的避免纹理扭曲现象。投影纹理映射的流程如下：首先，根据投影仪(视点相机)的位置、投影角度，将物体每个顶点的空间坐标转换为对应的纹理坐标，如图8所示；然后，依据该纹理坐标获取投影图像上的纹理像素值；最后，形成投影图像纹理映射后整个物体的视觉效果。因此，投影纹理坐标的求得，与纹理本身没有关系，而是由投影仪的位置、角度以及模型的顶点坐标所决定的。

本发明所提出的投影图像几何失真校正方法利用了投影纹理映射技术的优点，其基本原理是建立投影系统与观察者模型，将物体(投影屏幕)投影到纹理(理想的投影图像)上，建立观察者预期的场景；然后通过交换投影仪与观察者之间的角色功能，获取预变形的投影图像，实现投影图像失真校正。本发明采取如下技术方案(参见图9)：

第一步，构建投影仪、投影屏幕和观察者的模型。对于柱面、球面等规则曲面的投影屏幕，可以直接通过数学公式建立其三维模型，以多个四边形近似柱面或者球面；对于其他非规则曲面屏幕，则可以采用如激光扫描等技术建立模型。普通的投影仪和观察者都可以近似为透视相机模型，如图10所示，三维场景的渲染可视为近平面13和远平面12所裁剪的视域角为θ的视域体11内的物体14在相机模型10中投影成像15的过程。对于投影仪，关键的模型参数有投影仪位置、投影方向、投影范围的角度等，这些参数可以通过投影仪说明书以及安装投影仪后的设置和测量获得。对于观察者，关键的模型参数是观察者相对于投影屏幕的位置，一旦位置确定，视线方向、视角大小等参数都可以根据所应观察到的投影屏幕区域信息动态设置。

第二步，将观察者视为一个虚拟的投影仪，采用投影纹理映射技术，首先，根据虚拟投影仪的位置、投影角度，将物体每个顶点的空间坐标转换为对应的纹理坐标；然后，依据该纹理坐标获取投影图像上的纹理像素值；最后，形成投影图像纹理映射后整个物体的视觉效果。上述物体即指投影屏幕。根据投影纹理映射的特点可知，此时以观察者(虚拟投影仪)和投影屏幕组成的投影系统中的屏幕图像正是观察者所应观察到的理想图像。该步骤中所使用的纹理图像可以是三维场景的渲染结果，也可以是现有的平面图像。

第三步，将投影仪视为一个虚拟的观察者，利用透视相机模型成像原理，如图10所示，将投影纹理映射后的投影屏幕进行渲染，获取虚拟观察者所观察到的变形图像。将该变形图像作为投影图像，投影仪将能重现观察者所应观察到的理想图像，因此该变形图像就是投影系统进行图像校正所需的预变形图像。

第四步，将该预变形图像作为投影图像，由现实世界中的投影系统所使用，实现了投影图像的几何失真校正。

由上述描述内容可以看出，本发明方法并没有对投影图像与屏幕图像之间的变换模型进行假定和参数估计，而是建立投影系统与观察者模型，通过交换观察者和投影仪的角色功能，利用投影纹理映射和图形学渲染技术，获取预变形投影图像。因此，本发明方法避免了估计投影变换参数所存在的缺点和局限性，降低了成本。

此外，本发明方法对投影类型、投影屏幕的形状并没有特殊要求，可以推广到球面和非球面一般投影(包括正投影)应用中。本发明可以同时校正斜投影和球面屏所引起的几何失真，利用投影纹理映射技术，避免复杂的变形参数估算与调整过程。

附图说明

图1是投影系统投影成像原理示意图。

图2、3是平面斜投影产生梯形失真的示意图。

图4、5是环幕正投影产生枕型失真的示意图。

图6、7是球幕正投影产生桶形失真的示意图。

图8是模型顶点的投影纹理坐标的转换流程图。

图9是获取投影图像几何失真校正的预变形图像的流程图。

图10是透视相机模型三维场景成像过程示意图。

图11是一个实施例的投影系统和观察者的模型构建示意图。

图12是该实施例的俯视图。

图13是该实施例的左视图。

具体实施方式

下面对本发明实施例作详细说明。

参见图11-13，本实施例中，投影屏幕是一个球幕，观察者被限制于球幕的球心处，而投影仪被置于观察者上方、球幕的轴截面上，投影范围覆盖整个球面。本实施例基于投影纹理映射的斜投影失真校正方法按如下步骤：

第一步，构建投影仪、投影屏幕和观察者的计算机模型。如图11所示，首先，在球心(观察者21所处位置)建立世界坐标系，使得球幕中心20到球心的轴线方向为Z方向，观察者的头顶方向为Y轴方向，观察者的右手方向为X轴方向。该坐标系满足右手法则。球幕是球面的一部分，对于球面上的任意一点22，其空间坐标均可以参数化表示为

$\left\{\begin{array}{c}x=r\sin \left(\mathrm{\α}\right)\cos \left(\mathrm{\β}\right)\\ z=r\sin \left(\mathrm{\α}\right)\sin \left(\mathrm{\β}\right)\\ y=r\cos \left(\mathrm{\α}\right)\end{array}\right.,$

因此，可以通过划分球幕α和β的取值范围，利用四边形逼近该球面，建立球幕的三维模型。观察者位置已经限定于球心(0，0，0)，其视线方向为-Z方向，视域角θ为球幕的视场角，近平面距离

远平面距离f＝r。由于投影系统的搭建过程已知，因此可以根据图11和图13，测量获取投影仪2的空间位置(0，y，z)，计算投影仪2与球幕中心20的投影方向与Z轴的夹角

近平面距离

为了避免复杂的计算，远平面距离可以设置的稍大一些，比如r+y+z。至此就建立了投影系统和观察者的计算机模型。

第二步，将观察者视为一个虚拟的投影仪，通过投影纹理映射技术，首先，根据虚拟投影仪的位置、投影角度，将物体每个顶点的空间坐标转换为对应的纹理坐标；然后，依据该纹理坐标获取投影图像上的纹理像素值；最后，形成投影图像纹理映射后整个物体的视觉效果。上述物体即指投影屏幕。根据投影纹理映射的特点可知，此时以观察者(虚拟投影仪)和投影屏幕组成的投影系统中的屏幕图像正是观察者所应观察到的理想图像。该步骤中，用户可以添加物体模型，通过三维场景的渲染获取观察者所需要的理想图像；也可以直接加载现成的平面图像作为理想图像。

将该理想图像作为纹理，根据观察者模型，通过OpenGL(Open GraphicsLibrary，一个硬件无关的三维图形标准和广泛使用的开放式软件接口)所提供的投影纹理映射技术，将该纹理投影映射至球幕模型上。在此过程中，投影纹理映射的特点保证了观察者在球幕模型上所观察到的是不失真的图像。

第三步，将投影仪视为一个虚拟的观察者，根据透视相机模型，调用OpenGL提供的gluLookAt()和gluPerspective()函数，设置视点与物体的相对位置关系以及视域体的远近平面和视场角的大小，从而将球幕模型的世界坐标转换为视口坐标，渲染带有纹理的球幕模型至一幅图像。所获得的图像正是几何失真校正所待求的预变形图像。

第四步，将第三步的预变形图像作为投影图像，交给现实中的投影系统所使用并显示，从而实现了投影图像的几何失真校正。

本发明对于投影系统和观察者的模型构建过程只需要进行一次，只要现实世界中的投影系统和观察者不变，模型就不需要因为投影图像的不同而作任何变动。不同的投影图像需要产生相应的预变形图像，这个过程所涉及从观察者位置的投影和从投影仪位置的渲染操作只发生于模型中。因此，对于投影失真校正的操作简便且高效。

本发明所提出的基于投影纹理映射的斜投影失真校正方法有效的利用了现有的投影仪、投影屏幕和观察者三者之间的空间关系，通过建立场景的三维模型，采用投影纹理映射技术获取预变形的投影图像，从而校正斜投影和屏幕形状所引起的图像几何失真。该方法避免了投影变换的模型假设以及关于变换参数的估计与调整，因此解决了现有校正方法存在的技术问题。

Claims (3)

1.基于投影纹理映射的斜投影失真校正方法，其特征是按如下步骤：

第一步，建立投影仪、投影屏幕和观察者的模型；首先，在球心即观察者所处位置建立世界坐标系，使得球幕中心到球心的轴线方向为Z方向，观察者的头顶方向为Y轴方向，观察者的右手方向为X轴方向；该坐标系满足右手法则；球幕是球面的一部分，对于球面上的任意一点，其空间坐标均可以参数化表示为

$\left\{\begin{array}{c}x=r\sin \left(\mathrm{\α}\right)\cos \left(\mathrm{\β}\right)\\ z=r\sin \left(\mathrm{\α}\right)\sin \left(\mathrm{\β}\right)\\ y=r\cos \left(\mathrm{\α}\right)\end{array}\right.,$

因此，通过划分球幕α和β的取值范围，利用四边形逼近该球面，建立球幕的三维模型；观察者位置已经限定于球心(0,0,0)，其视线方向为-Z方向，视域角θ为球幕的视场角，近平面距离

远平面距离f=r；测量获取投影仪的空间位置(0,y,z)，计算投影仪与球幕中心的投影方向与Z轴的夹角 $\mathrm{\γ}=\arctan \left(\frac{y}{r+z}\right),$ 近平面距离 $n=\sqrt{y^2{(z+r)}^2}-\cos \mathrm{r\γ}(r\sin \left(\frac{\mathrm{\θ}}{2}\right)\tan \mathrm{\γ}+r(1-\cos \left(\frac{\mathrm{\θ}}{2}\right)));$

第二步，将观察者视为一个虚拟的投影仪，首先，根据虚拟投影仪的位置、投影角度，将投影屏幕每个顶点的空间坐标转换为对应的纹理坐标；然后，依据该纹理坐标获取投影图像上的纹理像素值；最后，形成投影图像纹理映射后整个投影屏幕的视觉效果；

第三步，将投影仪视为一个虚拟的观察者，将第二步投影纹理映射后的投影屏幕进行渲染，获取虚拟观察者所观察到的变形图像，该变形图像就是投影系统进行图像校正所需的预变形图像；

第四步，将第三步的预变形图像作为投影图像，由现实中的投影系统所使用，实现投影图像的几何失真校正。

2.如权利要求1所述的基于投影纹理映射的斜投影失真校正方法，其特征是：第一步中，投影仪近似为针孔模型，模型参数包括投影仪位置、投影方向、投影范围的角度；观察者视为针孔模型，模型参数包括观察者的位置、视线方向、视角大小。

3.如权利要求1所述的基于投影纹理映射的斜投影失真校正方法，其特征是：所述的投影屏幕是柱面或球面。

Images