CN1491515A - 利用相机校准投影仪的方法 - Google Patents

Abstract

一种方法利用相对彼此处于固定物理关系的相机来校准投影仪。针对投影仪和相机相对于显示表面的第一和第二姿势，将输出图像投影到显示表面上。针对每个姿势获取一个输入图像。针对每个姿势，根据每个输入图像来确定投影仪的透视投影矩阵和相机的透视投影矩阵。针对每个姿势确定从投影仪的透视投影矩阵和相机的透视投影矩阵到欧几里得形式的变换，以及从所述变换中确定投影仪的固有参数。

Description

利用相机校准投影仪的方法

技术领域

本发明涉及利用相对彼此之间处于固定物理关系的相机来校准投影仪的方法。

背景技术

便携式数字投影仪目前很常见。当这些投影仪被连接到PC或VCR上时，其典型地安装在台上且被瞄准显示表面，以显示幻灯片展示或视频。许多这些投影仪使用透射LCD，且经常仅具有一个单主透镜。投影仪可以一次一个或作为图像序列来显示图像。

许多这些投影仪被这样加以设计，以便于当投影仪被水平地放置在水平支撑表面上时，水平未变形的图像被投影在显示表面上，这样投影仪的光轴典型地垂直于垂直投射表面而排列。如果任何上述假设被违犯，则投影表面上最后所得到的图像可能不是矩形，而将最多是梯形，且最糟糕是任意四边形。这个问题被称为梯形失真。

对于现有技术投影仪，修正梯形失真的唯一方法是通过四处移动投影仪、倾斜且旋转投影仪来单调乏味地调节投影仪的物理位置直至接近矩形的图像得以显示。在一些情况下，有可能无法物理性地调节投影仪的位置。例如，投影仪可能需要正好在显示表面上部或下部。一些现有技术投影仪从光学上或者通过用户提供投影仪的位置数据来修正失真的图像。为了自动地修正变形的图像，投影仪需要被校准。然而，在计算机视觉或投影几何领域，投影仪一直得到极小的关注。

相机的校准过程是众所周知的。典型地，利用针孔相机模型来表达相机的光学系统。然而，在投影仪和相机之间存在两个主要差别。首先且最显著地是，仅仅作为输出设备的投影仪，不可能像相机所做的那样来观察校准图案。给定六个或以上2D投影仪象素与在公知目标对象上对应的3D点之间的对应，则校准投影仪是容易做到的，见0.Faugeras在MIT Press，Cambridge，Massachusetts，1993上所著的“Three-Dimensional Computer Vision：A GeometricViewpoint”。那个技术要求单调乏味的的手工过程来选择照明3D点的那些投影仪象素。

为了使这个及其任何其它半自动方法自动化，必须使用输入设备如相机。投影仪和相机的第二主要差别在于有关简化相机模型的主点接近图像中心这一传统假设对于投影仪是无效的。大多数投影仪使用离轴投影。当它们被放置在台上或安装在天花板上时，图像分别通过透镜的上半部和下半部而被投影。因此，主点被垂直地移位。

有可能将两个或多个相机附着到投影仪上，且使用被投影的校准图像和立体校准技术。然而，多个相机增加了成本、处理资源和带宽。此外，在投影仪上安装多个相机将需要对现存投影仪的设计做大量修改。

因此，存在对用于校准数字投影仪的方法及简化系统的需求。

发明的公开内容

本发明提供了利用相对彼此处于固定物理关系的相机来校准投影仪的方法。针对投影仪和相机相对于显示表面的第一和第二姿势，输出图像被投影到投影仪的显示表面上。针对每个姿势，需要一个输入图像。

针对每个姿势，根据每个输入图像确定投影仪的透视投影矩阵及相机的透视投影矩阵。针对每个姿势，确定从投影仪的透视投影矩阵和相机的透视投影矩阵到欧几里得(Euclidean)形式的变换，以及根据上述变换确定投影仪的固有参数。

附图的简要说明

图1是利用根据本发明的单个相机来校准投影仪的系统方框图；

图2是利用根据本发明的单个相机来校准投影仪的方法流程图；以及

图3a-b是距离主点的垂直偏差的图形。

完成本发明的最佳模式

校准系统

如图1所示，我们的发明提供一种用于校准相对于相机110处于固定位置的投影仪100的方法。优选地，所述投影仪使用数字输出机理。投影仪100能够将输出图像103显示在显示表面104上。典型地，投影仪100被定位在投影室内的台120上，或者被安装在天花板上。因此，投影仪100不总是完好地相对于显示表面被垂直定位，并且输出图像103看起来是翘曲的。这被典型地称为“梯形失真”。

因此，相机110获得被投影的输出图像的输入图像，并且确定投影仪的校准参数和修正参数。然后这些参数被用来去除输出图像103的翘曲，以便于它看起来正好是矩形形式105。问题是投影仪仅仅是一个输出设备，因此，没有办法来确定它的位置是如何影响翘曲的。

我们的方法确定了投影仪100和相机110两者的固有参数，以及它们的相对姿势。然后，后校准再现过程可以利用这一信息并结合基于重力用来提供垂直坐标的倾斜传感130，来去除被投影图像103的翘曲。

校准方法

如图2所示，首先，针对投影仪100和相机110相对于显示表面的两种不同姿势，我们将校准图案140投影(210)到显示表面104上。针对每种姿势，我们接下来获得(220)被投影图案的输入图像。在与由Zhang，Z.于Proc.7^th Int. Conference on Computer Vision，1999第666-673页中的“Flexible camera calibration by viewinga plane from unknown orientations”及由Sturm，P。和Maybank，S.于Proc。of IEEE Conference on Computer Vision and PatternRecognition，June 1999第432-437页中的“On plane-based cameracalibration：A general algorithm，singularities，applications，”所说明的过程相类似的过程中，通过使用校准图案的多个视图，我们获取了(230)相机110的固有参数。

校准图案140具有投影仪输出图像和相机输入图像之间的至少四个或更多个点或线的对应。所述对应被用来确定平面的两个截然不同的单应性，每个单应性用于每个姿势。

投影重建

两个单应性被用来按如下构建一景物直至投影变换。已知由相机110所获得的校准图案140的输入图像和投影仪100的输出校准图像，则通过3×3单应性矩阵H输出和输入图像中的对应产生联系。如果m₁和m₂是属于平面∏的3D点M的投影，则

m₂～＝Hm₁，

其中m₁和m₂是齐次坐标且～＝是指达到等级的相等(equality upto scale)。

已知两个截然不同的平面(姿势)，及由此两个截然不同的单应性，则通过使用下述广义本征值方程式来确定输出和输入图像中的外极(epipoles)e₁和e₂，

(e₁～＝)    kH^-1 ₁e₂＝H^-1 ₂e₂其中k是未知的标量。

对于景物的投影重建，则投影仪及相机的透视投影矩阵按如下被加以确定240，

P_1p＝[I|O]    P_2p＝[H|e₂]，其中H是单应性之一。在我们的系统中，P_1p定义了相机110的投影矩阵且P_2p定义了投影仪100的投影矩阵。

欧几里得重建

其次，投影矩阵被升级，以给出欧几里得重建。目的是找出4×4变换250矩阵G_p260，以便于

P_1e＝P_1pG_p～＝A₁[I|O]，以及

P_2e＝P_2p G_p～＝A₂[R|-Rt]，

其中A₁是说明已知的相机固有参数的3×3矩阵，A₂是说明未知的投影仪固有参数的3×3矩阵，且旋转R和平移t定义了投影仪100和相机110之间的相对物理关系，直至未知等级(up to unknownscale)。

A₁是公知的且可以被提公因子，这样目的是找出矩阵G260以便于

P_1e＝P_1pG～＝[I|O]，以及                        (1)

P_2e＝P_2pG～＝A₂[R|-Rt].

A₂最通用的形式涉及五个固有参数：焦距、画面长宽比、主点和斜角、可不计的径向畸变。假设投影仪具有单位画面长宽比和零斜角是合理的。

我们的方法是使用涉及两个固有参数的A₂简化形式，即焦距R和主点距离图像中心C的垂直偏差d。如图3a中所示对于现有技术相机校准技术所常见的主点接近图像的中心这一假设对于其中主点通常距离图像中心C具有一基本垂直偏差d的投影仪来说并不正确，如图3b所示。

因此，A₂具有这样的形式：

A₂＝[f00；0fd；001].

其中f是焦点，且d是主点的垂直偏差。

从方程式(1)中，G为如下形式

$G=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ n1& n2& n3& 1\end{array}\right].$

在此，矢量n＝[n1 n2 n3]_T定义了在投影坐标系内处于无穷远的平面。目的是找出n以及由此找出G。如果G′指示G的头三列，则它遵循P_2pG′～＝A₂R。因此，

P_2pG’G’^TP_2pT～＝A₂RR^TA₂ ^T＝A₂A₂ ^T

这导致

$P_{2P}\left[\begin{array}{cc}{I}_{3\×3}& n\\ n^T& n^{T}n\end{array}\right]P_{2P}^T\≅A_2{A_2}^T,---\left(2\right)$

其中

K₂＝A₂A₂ ^T＝[f²00；0(f²+d²)d；0d1].

方程式(2)被用来产生对n的三个未知量的约束。所述约束中的两个约束(k₂(1，2)＝0和k₂(1，3)＝0在n1、n2、n3和n^Tn中是线性的。第三个约束(k₂(2，2)-K₂(1，1)-K₂(2，3)2＝0)是二次的。因此，有可能以n^Tn来表达n1、n2和n3。

使用二次约束(n1²+n2²+n3²＝n^Tn)产生n的三个未知量的四个解。每个解采用方程式(2)来确定270固有参数f和d，以及采用方程式(1)被用来确定R和t。

去掉物理上不可能的解(例如其中被观察的景物点位于相机后面的解)给出真实A₂、R和t的单一解。

通过使用具体术语和实例对这一发明加以说明。要理解为在本发明的实质和范围内可进行各种其它的适配和修改。因此，所附加权利要求的目的将所有这样的变动和修改涵盖在本发明的真实实质和范围内。

Claims (1)

1.一种利用相对彼此处于固定物理关系的相机来校准投影仪的方法，包括：

针对投影仪和相机相对于显示表面的第一和第二姿势，将输出图像投影到显示表面上；

针对每个姿势获取一个输入图像；

针对每个姿势，根据每个输入图像来确定投影仪的透视投影矩阵和相机的透视投影矩阵；

针对每个姿势，确定投影仪的透视投影矩阵和相机的透视投影矩阵到欧几里得形式的变换；以及

从所述变换中得出投影仪的固有参数。

Images