CN101091137A - 调整投影仪姿态的计算机实现方法和装置 - Google Patents

Abstract

本申请涉及一种调整投影仪相对于显示表面的姿态的方法。确定显示表面和投影仪之间的单应性H_D，P。单应性H_D，P被分解为表示投影仪姿态M_P的旋转和平移参数。确定相应于理想单应性H₀的投影仪的理想姿态M₀。根据M_A＝M₀(M_P)^－1确定姿态调整M_A。将姿态调整M_A分解为旋转和平移调整参数。然后，根据旋转和平移调整参数机械地调整投影仪到理想姿态M₀。

Description

调整投影仪姿态的计算机实现方法和装置

技术领域

本发明一般地涉及图像投影仪，更具体地涉及校正被显示图像中的梯形失真问题。

背景技术

图像投影仪已普遍使用。这些投影仪瞄准垂直显示表面以进行幻灯片演示或显示视频。许多投影仪使用传输LCD，并且典型地具有单个透镜。投影仪可以一次显示一幅显示图像或显示图像序列。

这些投影仪典型地设计得使得仅当垂直于显示表面中心对准投影仪的光轴的时候，才能在显示表面上显示未失真的图像。如果违反了以上前提，则最后输出图像可能不是矩形的，并且将最好是梯形、最差是任意的四边形。此问题称为梯形失真。

以现有技术中的投影仪，校正梯形失真的一个途径是，通过平移和旋转投影仪而移动它来乏味地调整投影仪的物理位置，直到显示矩形图像。

1998年8月18日授权给Appel等的美国专利No.5548357，“高架投影仪的梯形失真和聚焦校正”描述了显示测试幻灯片的系统。用户识别彼此最平行的线对。该线对标识启动失真校正程序，该程序利用穿过投影仪的水平面与显示屏之间的斜角。

1998年8月授权给Woo的美国专利No.5795046，“在显示图片的投影系统中预补偿非对称图片的方法”描述了这样的系统，其中用户通过键盘向系统中输入位置信息来补偿投影角和梯形误差。

2003年2月18日授权给Raskar的美国专利No.6520647，“对任意方位的投影仪的自动梯形失真校正”描述了在关于显示表面任意定位的投影仪中校正梯形失真的方法。相对于显示表面测量投影仪光轴的仰角、滚转角和方位角。从仰角、滚转角和方位角确定平面投影变换矩阵。根据该平面投影变换使由投影仪投影的源图像变形(warp)，然后再投影到显示表面上。

但是，数字地变形图像导致图像质量的劣化，因为必须重新采样像素，并丢弃一些像素。

发明内容

本发明调整投影仪相对于显示表面的姿态。确定显示表面和投影仪之间的单应性H_D，P。单应性H_D，P被分解为表达投影仪姿态M_P的旋转和平移参数。确定相应于理想单应性H₀的投影仪的理想姿态M₀。根据M_A＝M₀(M_P)^-1确定姿态调整M_A。将M_A分解为旋转和平移调整参数。然后，根据旋转和平移调整参数机械地调整投影仪到理想姿态M₀。

附图说明

图1是根据本发明的投影仪系统的结构图；

图2是根据本发明的具有邻接图像的多投影仪系统的结构图；

图3是根据本发明的调整投影仪姿态的方法的流程图；以及

图4是根据本发明的具有重叠图像的多投影仪系统的结构图。

具体实施方式

如图1所示，根据本发明的投影仪显示系统100包括具有真实世界(x，y，z)坐标中的任意姿态M_p的投影仪100，以及(u，v)坐标系中的显示表面120。坐标系可以具有范围[0，...，1]中的规格化值，或实际物理尺寸。投影仪和显示表面的纵横比基本匹配。所谓姿态，我们特指围绕三个轴的旋转和平移。投影仪相对于显示表面的姿态是任意且未知的。因此，存在本发明机械地解决的潜在的梯形失真问题。

本系统也可以包括光学传感器，例如，光学传感器安装在摄影机140中作为CCD栅格。投影仪和摄影机连接到执行根据本发明的方法300的处理器150。投影仪和摄像机的内部参数和径向失真是已知的。

或者，显示屏可以包括安装在显示表面上已知位置的光电传感器160。通过电线、光纤电缆或无线链路将光电传感器连接到处理器150。

可以从前面或背面观察显示表面。显示表面包括位置已知的可辨别特征，比如角121和边122。投影仪可以显示输出图像170或图像序列，即，视频。投影仪安装在平台130上，平台130有六个外部自由度以产生投影仪相对于平面120的一些任意姿态。连接点131可以改变投影仪的姿态M_p。以电动机驱动连接点131。

如上所述，输出图像170可以是某些任意的失真四边形，不一定与显示表面对准。需要校正这样的失真使得被显示图像是矩形并且与显示表面边缘对准，而不用数字地变形被显示图像。

投影仪110在图像坐标系中显示输出图像。投影仪具有四个内部自由度以执行水平移动、垂直移动、变焦和歪斜。通常通过移动透镜进行图像的移动，通过里外移动透镜实现变焦，并且通过同时水平和垂直地移动进行歪斜。

如图2所示，本发明也可以用于多投影仪系统200。多个投影仪110-113显示的图像既可以是邻接的，如图2，也可以是重叠的，如图4。

基于摄影机的技术

所需的显示矩形是D。显示矩形D可以是全部或部分的显示表面120。对于投影仪的理想姿态M₀，输出图像170基本上匹配显示表面120，并且投影仪的光轴垂直地对准显示表面的中心。

这可以根据理想的单应性H₀通过缩放、旋转和平移投影仪来完成。如果投影仪和显示表面具有相同的纵横比，则沿z轴的缩放可以通过变焦完成。平移是沿x轴和y轴的。旋转可以沿任何轴。

如图3所示，根据本发明的方法，在显示输出图像170时我们获得310显示表面120的输入图像180。输出图像包括不同图案。

从输入图像，我们检测显示表面的特征，例如，四个角121，或边122。我们也从输入图像180检测输出图像170的图案中的特征，包括四个位置171-174。应理解，三个特征和位置就足够了，但是为了提高精确度使用了四个。

根据检测到的特征和位置并且使用常规的已知技术，我们确定320摄影机和显示表面之间的单应性H_C，D 321，以及摄影机和投影仪之间的单应性H_C，P 322。

使用单应性321和322，我们根据下式将显示表面的坐标(u，v)关联到投影仪坐标(x，y)：

[wx wy w]^T＝H_D，P[u v 1]^T＝H_C，D(H_C，P)^-1[u v 1]^T，

其中w是投影坐标的齐次系数，T表示转置，并且H_D，P是显示表面和投影仪之间的单应性。

然后，我们将单应性H_D，P分解为表达投影仪110的姿态M_P 331的旋转和平移参数，如下。对于针孔设备，立体投影矩阵P_P根据下式将3D点投影到2D图像平面上：

P_P＝A_P[R|t]＝A_P[r₁ r₂ r₃ |t]＝A_PM_P，

其中A_P是包括投影仪内部参数的3×3矩阵，即，焦距和主点，并且R和t是投影仪的外部参数，并且M_P表示姿态，即，投影仪的旋转和平移。矩阵R是3×3旋转矩阵，具有列r₁、r₂和r₃作为旋转参数，并且t是平移参数。

如果显示表面上的3D点按照投影仪坐标系表示，并且R和t相对于该坐标系表示，则该点从投影仪到图像平面上的投影可以表示为：

${\left[\begin{array}{ccc}\mathrm{wx}& \mathrm{wy}& w\end{array}\right]}^T\≅A_P\left[\begin{array}{cccc}{r}_1& r_2& r_3& |t\end{array}\right]{\left[\begin{array}{cccc}X& Y& Z& 1\end{array}\right]}^T,$

其中“ ”表示根据比例限定，并且X，Y和Z是3D空间中点的坐标。

我们将显示表面定义为3D空间中的平面。不失一般性，我们假设3D平面是与Z＝0共面的，即，点可以表示为：(U，V，0，1)^T。使用上式中的这些点，有：

${\left[\begin{array}{ccc}\mathrm{wx}& \mathrm{wy}& w\end{array}\right]}^T\≅A_P\left[\begin{array}{cccc}{r}_1& r_2& r_3& |t\end{array}\right]{\left[\begin{array}{cccc}U& V& 0& 1\end{array}\right]}^T$

$\≅A_P\left[\begin{array}{ccc}{r}_1& r_2& |t\end{array}\right]{\left[\begin{array}{ccc}U& V& 1\end{array}\right]}^T$

$\≅H_{D,P}{\left[\begin{array}{ccc}U& V& 1\end{array}\right]}^T$

换言之，我们有H_D，P＝A_P[r₁ r₂ |t]·假如我们已知矩阵A_P，我们有：(A_P)^-1H_D，P＝(A_P)^-1A_P[r₁ r₂ |t]＝[r₁ r₂ |t]，并且r₃可以从r₁×r₂确定。

或者，我们可以确定最佳正交矩阵以找到旋转参数r₁、r₂、r₃。这是我们按照旋转和平移参数确定330投影仪的姿态M_P＝[r₁ r₂ r₃ |t]331所需要的全部信息。

对于理想姿态M₀，单应性是H₀。已知投影仪的内部参数A_P，我们可以确定投影仪的理想姿态M₀以显示具有投影仪与显示表面之间的单应性H₀的矩形。该理想姿态是：

M₀＝(A_P)^-1H₀。

已知任意姿态M_P，我们确定旋转和平移调整M_A 341以将任意姿态M_P变换为理想姿态M₀。使用M₀＝M_AM_P，即，我们确定340 M_A＝M₀(M_P)^-1。

我们将M_A分解为安装了电动机的连接点(motorized joint)131的旋转角和平移参数以使用安装了电动机的连接点131直接调整350安装在有六个自由度的平台130上的投影仪110。

在这一点上，可以获得另一个输入图像以检验360调整的精确度，并且可以重复355步骤310、320、330和340直到获得361所需精度的结果。

基于光电传感器的技术

代替摄影机140，我们可以使用安装在显示屏120上已知位置的光电传感器160。

被显示的输出图像170的范围覆盖所有光电传感器。尽管三个传感器就足以确定单应性321和322，但是我们使用四个以提高结果的精确度。

如上述基于摄影机的技术，我们使用传感器160检测输出图像170中的四个位置，参见美国专利申请序列号10/635404，Lee等在2003年8月6日提交的“使用离散的光学传感器校准投影仪到任意形状表面的方法和系统”，并且通过引用将其包括在此。

也就是，我们使用投影仪用称为二进制编码图案的序列照明光电传感器。该二进制编码图案包含交替的黑和白部分。我们使用水平序列照明一次，再使用垂直序列照明一次。在投影的序列中，光电传感器记录是否检测到白的部分(高亮度)或黑的部分(低亮度)。结果，我们获得水平和垂直序列的二进制数序列。该二进制数序列编码投影仪的像素的位置。

然后，我们使用如上所述的方法300以确定单应性，并且据此进行处理。

多投影仪显示

在多投影仪显示系统的情况中，我们区别两种情况：如图2中所示邻接的输出图像，以及如图4中所示重叠的输出图像。

如果是如图2中邻接的输出图像，则预先定义与每个输出图像相关的矩形，并且我们可以单独对每个投影仪应用方法300。

在如图4中重叠的输出图像的情况下，我们调整重叠区域400中亮度的增加。这可以通过两个途径完成。

第一，我们可以数字地修改投影仪的帧缓冲器151中的像素亮度，参见通过引用包括在此的美国专利6677956和专利6781591。

第二，可以在各个摄影机的透镜前适当位置放置减小亮度的过滤器410-413。对于第二种技术，所需显示矩形是预先确定的，并且据此设计过滤器。例如，输出图像的一些区域仅与一幅相邻图像重叠，而其它一些区域与多个输出图像重叠。

优点是，光学过滤器修改像素亮度使得重叠区域中黑色的级别与不重叠区域中黑色的级别相同。在现有技术中，这种过滤器已经用于多投影仪飞行模拟器系统。这些过滤器可以安装在六个自由度的平台上以将过滤器恰当地对准以产生所需阴影。

尽管已经通过优选实施例的实例方式描述了本发明，但应理解，可以在本发明的精神和范围内做出各种其它更改和修正。因此，覆盖本发明的真正精神和范围内的所有这些变更和修改是所附权利要求的目的。

Claims (14)

1.一种用于调整投影仪相对于显示表面的姿态的计算机实现方法，包括：

确定显示表面和投影仪之间的单应性H_D，P；

将单应性H_D，P分解为表示投影仪姿态M_P的旋转和平移参数；

确定相应于理想单应性H₀的投影仪理想姿态M₀；

根据M_A＝M₀(M_P)^-1确定姿态调整M_A；

将姿态调整M_A分解为旋转和平移调整参数；以及

根据旋转和平移调整参数将投影仪机械地调整到理想姿态M₀。

2.根据权利要求1的方法，其中，所述投影仪安装在包括安装了电动机的连接点的六个自由度的平台上，并且该方法还包括：

提供旋转和平移调整参数给安装了电动机的连接点以将投影仪调整到理想姿态M₀。

3.根据权利要求1的方法，其中，光学传感器安装在摄影机中，并且该方法还包括：

以投影仪在显示表面上显示输出图像，所述显示表面在已知位置具有可检测的特征，并且所述输出图像在已知位置包括预先确定的图案；

获取显示表面的输入图像和输出图像；

检测输入图像中的所述特征和位置；

从所述特征和位置确定摄影机和显示表面之间的单应性H_C，D以及摄影机和投影仪之间的单应性H_C，P；以及

从单应性H_C，D和H_C，P确定单应性H_D，P。

4.根据权利要求1的方法，其中，光学传感器是安装在显示表面上已知位置的光电传感器，并且该方法还包括：

以投影仪在显示表面上显示输出图像序列，所述输出图像序列包括在已知位置的预先确定的图案；

使用光电传感器从输出图像序列检测特征和位置；以及

使用光电传感器从输出图像序列中的特征和位置确定单应性H_D，P。

5.根据权利要求1的方法，其中根据M₀＝(A_P)^-1H₀确定理想姿态，其中A_P是包括投影仪内部参数的矩阵。

6.根据权利要求1的方法，其中，从前面观看显示表面。

7.根据权利要求1的方法，其中，从后面观看显示表面。

8.根据权利要求1的方法，其中，存在显示邻接图像的多个投影仪，并且单独调整每个投影仪。

9.根据权利要求3或4的方法，还包括：

根据下式将显示表面的坐标(u，v)关联到投影仪坐标的坐标(x，y)：

[wx wy w]^T＝H_D，P[u v 1]^T＝H_C，D(H_C，P)^-1[u v 1]^T，其中w是投影坐标的齐次系数，T表示转置，并且立体投影矩阵P_P根据下式将3D点投影到2D图像平面上：

P_P＝A_P[R|t]＝A_P[r₁ r₂ r₃ |t]＝A_PM_P，其中A_P是包括投影仪内部参数和主点的3×3矩阵，并且R和t是投影仪的外部参数，矩阵R是3×3旋转矩阵，具有列r₁、r₂和r₃作为旋转参数，并且t是平移参数。

10.根据权利要求9的方法，其中，理想姿态M₀是M₀ ＝(A_P)^-1H₀，并且M₀＝M_AM_P，以及M_A＝M₀(M_P)^-1。

11.根据权利要求1的方法，其中，存在显示重叠图像的多个投影仪，该方法还包括：

调整重叠区域中亮度的增加。

12.根据权利要求11的方法，其中，所述亮度调整在投影仪的帧缓冲器中数字地执行。

13.根据权利要求11的方法，其中，所述亮度调整用减小亮度的过滤器光学地执行。

14.一种用于调整投影仪相对于显示表面的姿态的装置，包括：

六个自由度的平台，包括安装了电动机的连接点；

安装在所述六个自由度的平台上的投影仪；

显示表面；

用于确定显示表面和投影仪之间的单应性H_D，P的部件；

用于将单应性H_D，P分解为表示投影仪姿态M_P的旋转和平移参数的部件；

用于确定相应于理想单应性H₀的投影仪理想姿态M₀的部件；

用于根据M_A＝M₀(M_P)^-1确定姿态调整M_A的部件；

用于将姿态调整M_A分解为旋转和平移调整参数的部件；以及

用于提供旋转和平移调整参数给电动机以将投影仪调整到理想姿态M₀的部件。

Images