CN100367783C - 在显示表面上投影输出图像的装置 - Google Patents

Abstract

在显示表面上投影输出图像的装置包括一个处理单元。该处理单元包括由总线连接的微处理器、存储器和I/O接口。与处理单元耦合的投影仪子系统用于在显示表面上显示输出图像。与处理单元耦合的照相机子系统用于获取反映显示表面几何形状的输入图像。该照相机子系统与投影仪子系统有固定的物理关系。与处理单元耦合的内部传感器用于确定投影仪子系统和照相机系统相对于显示表面的取向。

Description

在显示表面上投影输出图像的装置

技术领域

一般地说，本发明涉及投影仪，更具体地说，涉及使图像适应于显示表面可变几何尺寸的投影仪。

背景技术

投影仪的最可利用的特性是它能显示尺寸大于其对应物CRT和LCD所产生图像的图像，而且能把图像放在与投影仪有一距离的任意表面上。与基于CRT和LCD的设备类似，投影仪通常显示平的矩形图像。可惜的是，基于投影仪的设备所独有的许多特性大大地没有被利用。

因为投影仪不与显示表面耦合，而在CRT或LCD设备中则不是这样，所以投影仪的尺寸能比它产生的图像的尺寸小得多。来自多个投影仪的重叠图像能被有效地叠加在显示表面上，而且来自具有很不同的技术指标和构形(form)因子的投影仪的一些图像能被混合在一起。再有，显示表面不需要是平面或刚性的，这样，许多类型的表面和混合的投影仪图像能用于一个物理环境。

投影仪发展趋势

投影仪正在变得更小、更轻、更亮和更便宜。当设备变得更小时，构形因子的灵活性扩展新的使用方式和新的应用。例如，未来的投影仪能用于在固定的位置或者是在一个移动的装置中。

分布式、物品化的计算趋势

计算越来越是分布于异构的、独立型的计算单元的多个集群上而不是在一组组织得很好的主机上。更便宜、更强有力的计算机的发展加速了这一趋势。

类似地，在投影仪系统中，人们希望从大的、整体的、同一的系统转移到由异构的、独立型的投影仪构成的网络。这类投影仪能用于独立工作方式，类似于PC或PDA，或者集群式合作操作，类似于计算网格。

在过去的几年里，投影仪已突破了它们在娱乐、飞行模拟器以及展示应用中的传统作用。结果，基于投影仪的系统的进步受到更大的关注，而且投影仪已开始应用于非传统的目的。

基于投影仪的环境

近来，用于扩大物理环境的显示设备已变得更加普及，例如大监视器、投影屏幕、固定安装的LCD或等离子体屏幕、以及移动应用的手持PDA。没入(immersion)不是大多数这类显示的必定目标。

由于投影仪的尺寸和价格降低，投影仪越来越多地取代传统的显示设备和媒体，见Rasker等的“使用基于照相机配准的多投影显示”，IEEE可视化，1999，Underkoffler等的“被解放的像素：在光亮房间中的真实世界图形”，SIGGRAPH 99会议文集，笫385-392页，1999，Pinhanez的“到处显示的投影仪：创建随遇图形接口的设备”，随遇计算(Ubiquitous Computing)，Ubicomp’01，2001，Sukthanker等的“使用照相机单对应性树的大格式多投影仪显示的对准”，可视化文集，2002，以及Stork的“在工程应用中的基于投影的被放大的现实”，2002。

从几何学观点看，现有技术的这些投影仪系统使用一个或多个环境传感器协助中央处理单元。该处理单元计算投影仪和显示表面之间的欧几里德关系或仿射关系。

与此相反，人们希望提供一个基于单个内藏型(self-contained)投影仪的非集中化投影仪系统。

某些现有技术的投影仪系统为使用投影仪集群的无缝显示提供自动配准，见Yang的“PixelFlex：一种可重配置的多投影仪显示系统”，IEEE可视化01，2001，和Brown等的“一种实用的和灵活的大格式显示系统”，第十届太平洋计算机图形和应用大会，第178-183页，2002。然而，那些系统需要环境传感器，不允许投影仪超出任何一个传感器的范围，并只能工作于一阶平面表面。

人们希望提供一种投影仪，它能在高阶表面，如圆柱体和圆丘上显示图像而无需使用环境传感器。

增强型投影仪

一些现有技术的显示系统使用增强型传感器和额外的计算，见Underkoffler等在上文中描述的“I/O bulb”，它使用共位置的投影仪和照相机。一个倾斜传感器能用于自动梯形校正，见Raskar的“一种自校正投影仪”，IEEE计算机视图和模式识别，2001。

人们还希望提供具有网络能力的投影仪并使投影仪具有几何感知能力且可自配置，从而使多个投影仪能彼此通信并对显示表面及在环境中存在的物体的物理形状敏感。

发明内容

本发明提供新技术以支持有几何感知能力的投影仪以及由一个或多个这些有几何感知能力的投影仪构成的可自配置的显示系统。

本发明还提供校准和再现技术，用于在存在其他投影仪的情况下在不同类型的表面和物体上显示图像。

这些技术能应用于传统的基于投影仪的环境并允许新型应用和接口。

所以，本发明的一个目的是提供一种自适应于形状的投影仪系统。这种自适应于形状的或具有几何感知能力的投影仪在平面或非平面上显示图像而其局部畸变达到最小。该系统处置相应的等角(conformal)投影问题及水平和垂直约束的改变。

本发明的又一目的是提供一个自配置的特用投影仪系统，它能从多个内藏型投影仪投影的图像产生看来是单个无缝图像的图像，而无需使用任何环境传感器。

本发明的一个目的是提供一种方法，以使用一个场景的主控和欧几里德信息全局对准(align)多个图像。这包括在多个被投影的四边形图像的组合中确定最大内接(inscribed)矩形图像的方法，而该组合是一个任意形状的多边形。

本发明的一个目的是提供一种投影仪系统，用于在弯曲显示表面上，特别是在二次曲面上显示图像。所以，提供了一种简化的参数化的转换方法。为处理弯曲表面，本发明还提供一种方法，用于当由于曲面上的投影图像畸变而造成成对关系中存在小误差时全局地对准和配准图像。

附图说明

图1是根据本发明的对几何形状有感知能力的投影仪的方块图；

图2A是根据本发明的一个可自配置的特制投影仪集群的方块图；

图2B是由图2A的集群显示的一个组合图像的方块图；

图3是以图1的投影仪自适应生成图像的方法的流程图；

图4是确定要被投影的输出图像的取向的方法流程图；

图5是被投影仪集群放大的圆柱体对象的方块图；

图6是形成图2A和图2B的集群的方法流程图；

图7是全局性对准由图2A和图2B的集群投影的图像的方法流程图；

图8是确定图1的投影仪中欧几里德再现的方法流程图；

图9是以图1的投影仪生成图像的方法流程图；

图10是在被照亮的任意形状多边形中找出最大内接矩形图像的方块图；

图11是为图1的投影仪确定一个二次变换的方法流程图；以及

图12是为图1的投影仪确定一个刚性变换的方法流程图。

具体实施方式

对几何形状有感知(aware)能力的投影仪

图1显示根据本发明的对几何形状有感知能力的投影仪100。应该指出，投影仪100能用于前投和背投两种方式，并且能单独使用或与其他类似投影仪组合使用。

我们的投影仪100包括微处理器110、存储器120以及由总线140连接的I/O接口130，总体上是一个处理单元。该处理单元在其电子结构上是传统的，但在进行这里描述的步骤时的操作是非传统的。

该投影仪还包括投影仪子系统150用于显示输出图像以及照相机子系统160用于获取输入图像。

网络子系统170允许投影仪与其他类似的投影设备或其他本地或远程的计算设备通信。所以，网络系统能被连接到天线或红外线收发信机180，这取决于通信媒体。

用户接口190能提供输入和输出数据以便于投影仪的操作。内部传感器195(例如倾斜传感器或加速度计)能确定投影仪的取向。应该指出，传感器只是内部的，不是感知传感器外部的环境。

投影仪操作

投影仪100能实现若干功能，如智能梯形(keystone)校正、取向补偿图像强度、自动亮度、变焦和聚焦，用于获取几何形状和织构(texture)的3D扫描、以及用于照相机子系统160的智能闪光。对于这最后一个功能，投影仪功能对于照相机功能而言是辅助的。这里，投影仪只是照亮被照相机观察的场景中的特定区域。

下面将更详细地描述若干附加的自适应功能：

因为我们不希望依靠投影仪外部的任何欧氏几何信息，例如室内的工作着的标志灯、显示屏上的边界或人的协助，所以我们使用一个完全自校准的投影仪-照相机立体对来支持“即插即显示”能力。

投影仪100能与场景中的其他设备和对象进行通信以“学习”所需要的几何关系。在投影仪操作时动态地学习这些关系的能力是与现有技术的投影仪的主要区别，现有技术的投影仪需要预先配置的几何构成、复杂的校准、通信以及使用者的协助。

现有技术的那些使用简单的平面单对应性(homography)和避免完全校准的投影系统需要显示关于平面的某些欧氏几何(Euclidean)信息，例如屏幕边缘或标记的信息，或者假定投影仪处在一个“理想”位置，即其投影中心(CoP)基本上与平面显示表面正交。

可自配置的特制投影仪集群

如图2A和2B中所示，投影仪100能单独使用，或在经由网络210(如无线以太网、RF或红外)彼此通信的多个投影仪的可自配置特制联网集群中使用。当作为集群(cluster)200来配置时，多个投影仪100显示认为是单个无缝组合图像的图像201，如图2B中的点画所示。组合图像201事实上是由显示表面230或其他物理对象上的多个投影图像220组合而成。请注意，表面230能是一个二次曲面。在这一举例中，两个投影仪从下方投影，一个从上方投影，如从它的倒梯形可以看出。

如下文中描述的那样，投影仪的放置可以是随意的，就是说那些图像的边界不一定要对准。全部需要的就是在形成所看到的单一组合输出图像的显示表面上由一组投影图像形成一个n边多边形。

形状自适应投影仪

当随意地使用投影仪100时，可能是在一个移动装置中，并不总是能得到平面显示表面。事实上，可能希望把图像显示在室内的角落上，柱子上或圆丘形天花板上。所以，必须校正输出图像以使畸变最小。如果使用多个投影仪，进一步的问题是无缝合并多个输出图像，它们可能是由具有不兼容的发光强度的投影仪产生的。请注意，这与现有技术的问题不同，在那种情况中对于放在“理想”位置的单个投影仪，即其投影中心(CoP)基本上与平面显示表面正交的投影仪，其输出图像被预先卷曲了。

我们想要产生看来是单个的输出图像，它与表面的形状相一致。三维矫正(cue)是人类视觉的一个组成部分，例如，当从一侧观看弯曲墙上的一个大字报时，或说一个柱状物体的标签时，或观看弯曲建筑物上的壁饰时，都会有这种情况。所以，我们投影的输出图像与正常的视觉经验一致。

等角投影

我们的方法所显示的图像在显示表面上被照亮的区域上有最小畸变。例如，在类似于电影屏幕的平面表面上，其结果是投影图像犹如观众在以“前面-平行(front-to-parallel)”方式观看电影。如果投影仪被偏斜，则应用梯形校正。

对于一个弯曲表面，或者表面总体上非平面的，我们希望使这个或这些图像成为显示表面上的“壁纸”，从而当沿着表面法线观看时在显示表面上的局部每点是未受畸变的。

因业表面法线能改变，我们确定一个等角图像，其中输出图像的各个区域与显示表面上相应区域的比值是固定的。

只有当表面是可展开的时候，零拉伸(stretch)解决方案才是可能的。可展开(developable)表面的实例是两个平面墙壁在墙角相遇，或一段直角柱，即垂直于平面突出的平面弯曲。在其他情况中，例如两个平面墙壁和一个天花板在角处相遇，或一部分球面，我们是在最小二乘意义上解决最小拉伸问题。

利用我们的方法，在输入图像中织构(texture)的卷曲(scroll)在被照亮的表面上看起来是平滑的卷曲，各图像区域的大小和形状没有改变。我们通过配上由Levy等描述的最小二乘等角映射(LSCM)来确定显示表面3D形状的映射(Levy等，“用于自动产生织构映射集的最小二乘等角映射”，SIGGRAPH 2002论文集，2002)。Levy关心的是当产生平面图像时的织构映射三角形，然而，我们需要将图像投影在可展开的表面上。

LSCM使3D表面上及其2D参数化空间上相应区域之间的角畸变和非均一标度(scaling)达到最小。对于一个可展开的表面，这一解决方案是充分等角的。对于3D网格上的给定点X，如果2D织构坐标(u，v)由一个复数(u+iv)代表，而显示表面使用局部正交基(basis)中的坐标(x+iy)，则等角映射的目标是保证穿过X的等u和等v曲线的正切矢量是正交的，即

$\frac{\∂u}{\∂x}=\frac{\∂v}{\∂y}$ 和 $\frac{\∂u}{\∂y}=-\frac{\∂v}{\∂x}$

Levy等基于每个三角形求解该问题，并通过把任何异物同形(homeomorphic)表面映射到具有(u，v)参数化的盘上来使畸变最小。

平面变换方法

图3显示我们的等角投影方法300的步骤。

我们首先以投影仪子系统150将一个结构化图案(structuredpattern)，例如一个均一的格盘(checkerboard)或正方形网格投影(310)到显示表面。该结构化图案的输入图像被照相机子系统160获取(315)。

由该图案在输入图像中的形状，我们产生(320)一个3D多边形网格D^p，例如由多个三角形构成的网格。该网格是在投影仪的坐标框架(frame)内产生的。对于可展开的或弯曲的表面，该网格是被畸变的，因为它反映显示表面的形状。

在显示表面的坐标框架D中投影仪的取向被内部传感器195感测(330)，我们转动(335)网格D^p使其轴线与显示表面的坐标框架D对准。

然后，使用LSCM确定(340)织构坐标U，从而找出坐标框架D在欧氏几何平面中的二维嵌入区(embedding)D^∏。

我们在嵌入区D^∏中定位(345)一个可显示区域，如一个矩形，该区域尽可能大，而且当最大区域被投影到显示表面上时该区域在显示表面的坐标框架D中尽可能地“向上取向”，并相应地更新(350)该织构坐标以适于该显示区域。

然后，使用织构坐标U使一个输出图像织构映射(355)到网格D^p上，并从投影仪的观点使该网格再现(render)(360)于显示表面上。传统的基于硬件或软件的技术能用于产生这些织构的三角形。

在步骤345，我们试图找出输出图像在(u，v)平面中的取向R^tex。如果我们假定显示表面是垂直直角柱的一部分，即一个曲线在水平平面中的垂直突出，如两垂直墙壁相遇或支柱，则我们的目标是当输出图像投影到该显示表面上时输出图像的垂直轴线与显示表面的垂直轴线对准。

再有，我们使用投影仪在显示表面的坐标框架中的取向，这是使用内部传感器195的理由。如果该表面不是一个垂直直角柱，例如圆丘，则我们的解决方案是在最小二乘意义上对准输出图像。

取向方法

如图4中所示，确定2D取向R^tex的步骤如下。

在3D中的网格中每个顶点为p₁、p₂、p₃的三角形t_j上，我们首先确定(410)一个局部仿射(affine)(2D)x-y坐标系

X＝p₁+x(p₂-p₁)+y(p₃-p₁)

                               。

我们通过在最小二乘意义上求解

[010]^T＝x_j(p₂-p₁)+y_j(p₃-p₁)

在三角形t_j上找出对应于显示表面垂直轴线投影的矢量。

我们想要在织构空间中使全部[x_j，y_j]与[0，1]对准，这涉及2D旋转和变换。所以，在规一化矢量[x_j，y_j]之后，我们确定(420)协方差矩阵

$M=\underset{j}{\mathrm{\Σ}}{[x_j,y_j]}^T\left[\mathrm{0,1}\right].$

我们对矩阵M＝USV^T进行奇异值分解，以得到所希望的2D旋转R^t＝UV^T。

最后，我们使用U_vertical＝R^texUT旋转(440)所有织构坐标。

照亮垂直表面

有时，希望保持沿一个方向图像特征的形状，但以其他方向的畸变为代价。例如，例如投影在近垂直但非可展开表面(如球形段)上的标识文字应以所有文本字符看起来具有相同高度，即使这些字符在水平方向被畸变。

所以，我们修改LSCM技术以考虑这一新的限制。因为垂线的符号已被编码到由于传感器195的读数造成的旋转中，我们能改变最小二乘等角映射的成本函数(cost function)。我们以如下形式表示对四个偏导数的附加约束：

$\mathrm{weight}\·\frac{\∂v}{\∂y}-\mathrm{const}.$

通常，只使用一个这样的约束。例如，上述约束保持沿垂直方向延伸至一个最小值，即该方程式便在所有三角形上

的方差变小(penalize)直至最小化。请注意，在这一情况中，在各三角形上的局部正交x，y基的选择使得x轴线在显示表面上任何地方都指向水平方向。

上述等角投影方法能用于多种显示表面，包括两个或三个平面部分在一角相遇、“W”型表面以及不可展开表面，如凹型圆丘(dome)。

投影仪集群

如图5中所示，我们的具有几何感知能力的投影仪100的集群200能用于在平面和弯曲显示表面501上再现图像。

特制投影仪集群200有若干优点。该集群的操作无需集中管理，从而单个投影仪能动态地加入或退出该集群。该集群不需要外部的环境传感器，并且显示的图像超出任何一个内部传感器的范围。

我们在平面显示表面的范围内描述集群200的基本操作。对于高阶显示表面，如二次曲面，我们提供一种新的二次转换方法。

使用特制集群的平面显示

使用特殊集群200进行无缝多投影仪重叠显示提供许多好处。集群允许很宽的纵横比，见图2A和2B，并允许投影仪和显示表面之间有短的距离。我们还能使用异构(heterogeneous)投影仪和高阶表面。异构投影仪是指有不同显示特性的投影仪，如不同的光强度、纵横比和像素分辨力。集群允许更高的像素分辨力和更亮的显示。此外，还能使用多个集群。

一些现有技术的系统利用具有基于照相机的配准的随意对准的投影仪，这些系统使用由显示平面引起的在不同投影仪视图中的单对应性。这些单对应性关系与某种欧氏几何参考框架一起用于预卷曲图像，从而使显示的图像看起来在显示表面上是几何配准的(registered)和无畸变的。

然而，以宽的纵横比显示图像一直是一个问题。我们通过使用一种新的全局对准方法克服这一问题，该方法依靠一个投影仪的投影仪子系统和相邻投影仪的照相机子系统之间的成对的(pair-wise)单对应性。

多个分布式照相机在靠近的位置观看被投影的有相似像素分辨力比值的图像，这允许我们计算成对的单对应性。通过求解一个线性方程组，成对的单对应性被用于计算该集群的全局一致性的单对应性集合。这导致改善的像素配准。

全局对准操作的进行无需重大的预先计划或编程。这所以成为可能是因为每个投影仪以对称方式独立地工作和以进行它自己的观测和计算。屏幕角或主照相机的对准等欧氏几何信息是不需要的。内部传感器和照相机允许每个投影仪具有几何感知能力，而且投影仪能动态地加入或退出集群。而现有技术的多投影仪显示系统则难于建立和管理。

构成一个集群

图6显示构成投影仪100的集群200的方法。该方法响应接收(610)一个“校准”消息。该校准消息能由想加入集群200的投影仪U_k广播出来。另一种作法是，该校准消息能由已在该集群中的任何投影仪在其取向根据传感器195被改变时广播出来。此外，该消息能由环境中的某些其他源广播，以指出例如显示表面已改变了形状或取向。当然，也能在使用者已随意放置投影仪之后和集群需要在其第一次例化(instantiation)中被形成时广播该消息。该消息经由附近的网络210，如无线以太网、RF或红外，在附近的所有m个投影仪中被接收。

这使全部m个投影仪U_i，i＝1，...，m，的照相机处于“注意”方式，所有接收投影仪以广播“准备好”消息作出响应(620)。

在这一点，各投影仪顺序投影(630)一个结构化图案，它能被嵌入该集群200各投影仪中的m个照相机C_i，i＝1，...，m，中的一个或多个观看到。任何数量的通信协议技术能用于同步该结构化图案的顺序投影。

如果存在的集群中任何一个照相机获取(640)所投影的图案，则整个集群进行(650)全局校准以包括投影仪U_k或任何其他投影仪。对准包括确定集群中投影仪之间的成对几何关系，如下文所述。

如果一个特定照相机不能获取一个图案，则认为一个投影仪在附近但它所投影的图案没有与该集群显示的图像的范围重叠。然而，该方法不需要所有投影仪看到全部图案。不失一般性，假定该集群现在包括n个投影仪。

成对的几何仿射关系。

如图7中所示，我们进行重叠图像的图像配准。各图像之间的关系被表示为单对应性(homography)。在3D中一个不透明平表面的两个任意透视图之间的映射能用平面投影变换表示，表示为达到一个标度定义的3×3矩阵。

由两个视图中四个或更多个对应关系能计算出八个自由度。此外，由于线性关系，单对应性矩阵能被级联以传播该图像变换。

使用网络210，投影仪P_k指示集群中的每个投影仪P_i逐一投影一个结构化图案，如均一的格盘。

所投影的图像被集群中每个投影仪的照相机160同时获取。这允许各投影仪确定成对的单对应性H_picj，用于将来自投影仪P_i的结构化图案变换为照相机C_j中的输入图像。还确定(740)一个置信值V。

每个投影仪的成对的单对应性H_pi，pj与置信值一起被间接计算为H_piciH^-1 _pjci。为了简单，我们把它写作H_ij。置信值V与结构化图案在显示表面上重叠的百分数有关。在全局对准过程中使用该置信值。

因为我们使用均一的检验板图案，置信值的一个好的近似是(由照相机C_i获取的投影仪P_j的结构化图案特征个数)与(投影仪P_j的图案中特征总数)之比r_ij。我们发现置信度h_ij＝r_ij ⁴是一个好的评价尺度。如果照相机C_i看不见由投影仪P_j显示的图案，则该值自动为零。

全局对准

在没有环境传感器的情况下，我们计算显示屏和所有投影仪之间的相对3D姿势(post)，以允许无缝的单一显示的图像。没有已知的姿势，所计算出的结果对于由单对应性进行的变换是正确的，而在显示表面上看起来是被畸变的。再有，如果表面是一些垂直平面，则我们的解决方法自动地使投影的图像与这些垂直平面的水平和垂直轴线对准。

然而，当计算(750)用于全局对准的3D姿势，我们避免低置信度信息，如投影仪的立体校准和倾斜传感器参数，而利用相对稳健的图像空间计算，如上文所确定的单对应性。

这样，我们首先计算全局一致的单对应性。沿一个循环级联的一组单对应性变换 $\underset{i=0}{\overset{k-1}{\mathrm{\Π}}}{H}_{(i+1\%k)\left(i\right)}$ 应同一(equal identity)。这里，“％”符号代表求模算子。由于特征位置的不确定性，这种情况是少见的。这样，目标是在存在小误差的情况下产生有意义的马赛克。

一个简单的解决方案将是使用单个照相机观看显示区域并在那个空间进行计算。当单个照相机不能看到整个显示时，能使用基于最小扫描树的解决方法。那里，投影仪是连接到图形边缘重叠的投影仪的节点，只保持单对应性的最小集合。通过使用靠近显示中央的投影仪作为树的根节点，该方法可用于减小级联单对应性的个数，从而减小累积误差。

而我们的方法700通过使用来自所有可得到的单对应性的信息，寻找一个全局一致的配准。通过求解由独立计算的成对单对应性矩阵导出的一个线性方程组，由于单对应性级联造成的累积误差能相对于选定的参考框架或平面被同时减小。我们的方法是从Davis描述的方法(“镶嵌带有移动对象的场景”，IEEE计算机视觉和模式识别(CVPR)，第354-360页，1998)修改而成的。

我们修改那种方法以考虑被测量的成对投影仪单对应性H_ij中的置信度h_ij。全局单对应性G_i将来自投影仪P_i的输出图像I_i变换(transfer)到全局参考框架。这还能表示为图像I_i到图像I_j的变换，以其单对应性H_ij被变换为具有全局单对应性G_j的全局框架：

$G_j{H}_{\mathrm{ij}}\≅G_i.$

这样，当每个单对应性H_ij已知时，我们建立一个稀疏线性方程组以计算未来的全局(global)变换。

因为每个单对应性的定义达到一个标度因子，所以重要的是我们要进行规一化，从而能直接使|G_jH_ij-G_i|达到最小。规一化单对应性的行列式是1，即 $\hat{H}=H/{\left(\det \right|H\left|\right)}^{1/3}.$ 为了简单，我们略去符号上的“尖角”。

我们进一步用上述计算为h_ij的单对应性H_ij的置信度标度单个线性方程。这样，该方程组对每个i，j是：

H_ij(G_jH_ij-G_i)＝0

                              。

如果独立的成对单对应性的个数大于投影仪的个数，则该线程方程组的系统是过约束，并在最小二乘意义上对它求解。这产生一组全局配准矩阵，它最小偏离计算出的一组成对投影。

在交换成对单对应性之后，每个投影仪分别平行地进行全局对准(750)，把它自己的图像作为参考平面对待。在这一阶段，全局图像变换和屏幕对准投影的结果的已知程度达到只有每个投影仪P_i和显示表面之间有一个未知单对应性H_i0。

欧氏几何重建

在没有来自环境的欧氏几何信息的情况下，我们相对于屏幕计算投影仪P_j的3D姿势，由此找出H_i0。尽管在3D中确定姿势存在很大噪声，但我们在各投影仪当中的图像变换仍保持与以前相同，即基于全局变换保证无缝的单一输出图像。我们确定单对应性H_i0的方法是基于Raskar等描述的方法(“一种自校正投影仪”，IEEE计算机视觉和模式识别(CVPR)，2001)。

如图8中所示，我们的进行重建的方法800是由每个投影仪P_i并行的。

其步骤如下。使投影仪P_i和照相机C_i图像空间中的对应点构成三角形(810)以产生3D点X＝{x₁，x₂，…}。

定位(820)一个最佳拟合平面，并在局部坐标之间以旋转R^∏变换X，这里显示平面是z＝0。

应用(830)由于倾斜造成的旋转X₀＝R^tiltR^πX，从而使X₀现在被对准，即z坐标为0。在显示表面的垂直平面中的点有相同的x坐标，而在水平平面中的点有相同的y坐标。

确定(840)单对应性H_i0，它把投影仪P_i中点X的图像映射到X₀中的对应点，忽略z值。

最后，对所有其他投影仪，确定(850)单对应性H_j0＝H_i0H_ji，这里H_ji是由投影仪P_i计算出的全局单对应性G_j。

再现

由图9中所示，为一个投影仪找到适当的投影矩阵以进行再现涉及首先计算该投影仪在屏幕上的贡献区域，然后重新投影延伸到该投影仪图像中的那个完整的显示。在这第一步中，我们确定(910)由该集群中的一个投影仪照亮的四边形的延伸范围。这一范围以屏幕对准(X₀)的坐标表示。所以，使用H_j0[±1±1 1]^T变换规一化投影仪图像平面的四角[±1 ±1]。

在屏幕X₀空间中全部投影四边形的组合可能是一个凹形平面多边形L。

接下来，我们将定位(920)一个将拟合到多边形L内部的最大矩形图像S，如下文所述。

n个投影仪每个计算一个稍有不同的S_i，这取决于X₀的欧氏几何重建中的误差。为了S的全局一致性，我们对S_i四顶点每个取加权平均。该权重是投影仪距那个顶点的距离P_i。

在第二步，我们使用H_j0 ^-1定位投影仪图像空间中的矩形S各角点的投影。请注意，矩形S的重新投影的角点将最可能延伸到投影仪物理图像尺寸之外。因为矩形S代表可显示区域，它指出要显示的输入图像T的范围。所以，在输出图像中超出这一范围的像素不被照亮。

这样，我们能定位(940)输出图像与其投影之间的单对应性H_Tj。

最后，我们织构映射(texture map)(950)输出图像到正确纵横比的单位矩形上，并以从H_Tj导出的投影矩阵再现图像。

当图像重叠时，使用图形硬件中的α通道实现强度混合。所赋予的混合权重与到图像边界的距离成正比。所有步骤在全部投影仪中对称地进行。

在多边形中的最大内接矩形图像

图10显示如何在一个可能是凹形的多边形L1001中定位一个具有预定纵横比a的最大的轴线对准的矩形S。多边形L是由一组投影四边形构成的。能通过表述不等式得到三个未知数的解，其中两个用于表示矩形S的位置，一个用于标度。对于凹形多边形，方程式稍有不同。

我们提供对该问题的一个简单的重新参数化。

多边形L1001，图中显示出边状态(edge on)，是在深度值z＝1的第一深度平面1002中画出的，纵横比为α的矩形R1006是在z＝0的第二深度平面1003中画出的。将矩形R投影到z＝1平面中的矩形S的投影1004的中心W＝(x，y，z)，其中z在范围内[0，1]中，如果矩形S保持完全在多边形L之内的话，则该中心被认为是有效的。这些深度平面能被存储在深度缓存区中。

我们定位一个具有最小深度z的投影中心(CoP)，因为它定义最大的内接矩形S。

考虑对W的禁止区1005，图中以阴影表示。在以矩形R作为基线由多边形L上的点造成的一组四面体内部的任何CoP都是无效的。

我们构造将多边形L的边缘与矩形R的边缘连接起来的四边体。因为连接平面z＝0和z＝1的四面体的面都是三角形，我们的方法计算每个三角形三元组(each triangle triple)的交点，并得到有最小z值的三角形。

我们只需考虑两类三角形，即把多边形L的一个顶点与矩形R的一个边缘连接起来的那些三角形和把多边形L的一个边缘与矩形R的一个顶点连接起来的那些三角形，如图10中所示。

对于有n边的多面形L 1001，如图2B中n＝14，我们有8n个三角形，其复杂性为O(n⁴)。这与O(n²)方法相比显示是次优的(见P.K.等，P.K.，“凸形多边形的最大布局和运动规划”，关于机器人学算法基础的第二届国际专门研讨会，1996)。然而，我们的方法比较容易地以少数几行代码实现。因为n是O(投影仪个数)，所以我们的方法的运行时间仍可忽略。

例如，当投影仪被随意放置并指向应发生投影图像的一个总区域时，每个投影仪需要大约5秒钟去发现成对的单对应性。全局对准(alignment)、内接矩形和混合加权的计算需要再加上3秒钟。对于由6个随意安装的投影仪构成的集群，需要用大约30秒钟形成一个操作集群。

使用特制集群的弯曲显示

在这一部分，我们描述在诸如圆丘、柱状屏幕、椭球面或抛物面等二次曲面上自动配准的方法。在计算机视觉方面已知一些现有技术方法使用二次曲面进行图像变换，见Shashua等的“二次参考面：理论和应用”，国际计算机视觉杂志(IJCV)，23(2)，185-198，1997。

在多投影仪系统中，已描述了根据平面变换(即平面单对应性)关系(见Chen等的“使用未校准照相机自动对准高分辨力多投影仪显示”，IEEE可视化，2000)以及PixelFlex系统(见Yang等，上文)实现无缝多投影仪平面显示的若干方法。

然而，我们尚不知用于参数化卷曲和自动配准更高阶表面的任何技术。这看来是一个疏忽，因为二次曲面的确出现在基于投影仪的显示中的许多形状和构造中。大格式飞行模拟器传统上是圆柱形或圆丘形的，天文馆和OmniMax剧场使用半球形屏幕，而许多虚拟现实系统使用圆柱形屏幕。

在现有技术中，对准通常是人工完成的。有时，人工过程辅之以投影一个“导航”图案，见Jarvis的“在Silicon Graphics IG上的实时60Hz畸变校正”，实时图形学5，7，第6-7页，1997年2月。一些使用弯曲显视屏幕的多投影仪系统把屏幕各块作为小块平面处理。

我们提供一个与上述平面方法类似的完全自动方法。我们的参数方法导致减小了对照相机分辨力的约束，对像素局部化误差有更好的容错能力，能更快地校准以及简单得多的参数化弯曲过程。

我们对二次变换问题重建方程并把解用于无缝显示应用中。

二次变换的简化

在3D中一个不透明二次表面Q的两个任意透视图之间的映射能用一个二次变换表示。尽管平面变换能从4个或更多个像素对应关系计算出来，但二次变换T需要9个或更多个对应关系。

如果在3D中的一个单一点X被表示为4×1矢量，而点X位于二次表面Q上，该表面被表示为对称4×4矩阵，则X^TQX＝0，在两个视图中的对应像素x和x′的单一坐标的关系是：

$x^{\′}\≡\mathrm{Bx}-(q^{T}x\±\sqrt{{\left(q^{T}x\right)}^2-x^T{Q}_{33}x)e}$

如果给定像素对应关系(x，x′)，这一方程传统上用于计算下列未知量：3D二次Q＝[Q₃₃q：q^T1]，3×3单对应性矩阵B以及在单一坐标中的外极(epipole)e。由Shashua等使用的这一形式以及甚至近来的工作包含21个变量，见Wexler等的“Q-弯曲：二次参考面的直接计算”，IEEE关于计算机视觉和模式识别(CVPR)会议，1999年6月。这比实际需要的变量数多4个。

我们的方法是基于一个简单的观察。我们能通过定义

A＝B-eq^T  和E＝qq^T-Q₃₃

来去掉部分不定性，并得到我们使用的形式：

$x\≅\mathrm{Ax}\±\left(\sqrt{x^T\mathrm{Ex}}\right)e$

这里x^TEx＝0定义上无撇(x)视图中的二次表面的轮廓圆锥，而A是加上撇(x′)视图和无上撇(x)视图之间通过极平面的单对应性。

除了总体标度外，我们的形式只包含一个不定性自由度，它来自E和e的相对标度。通过引入附加的规一化约束，如E(3，3)＝1，能去掉这一不定性(ambiguity)。再有，在图像中的轮廓圆锥内，平方根前面的符号是固定的。

对于照相机，由点对应关系直接计算二次变换(transfer)参数(即A、E和e)的现有技术方法涉及在3D中估计二次曲面Q，见Shashua等。用于照相机的另一种线性方法使用相应像素的三角形分割，见Cross等的“从双空间几何重建二次表面”，第六届国际计算机视觉大会文集，第25-31页，1998。如果两个视图的内部参数未知，则所有计算是在计算基本矩阵之后在投影空间中完成的。

然而，我们观察到，当涉及的是投影仪而不是照相机时，现有技术的线性方法产生很大的再投影误差，对于XGA投影仪，其误差在20或30个像素的量级。如果由单个投影仪照亮的二次表面上的点在大多数情况下没有显著的深度变化的话，基本矩阵的计算固有地是病态的。

所以，我们使用已知的内部参数和估计的欧氏几何刚性变换。因此，与平面的情况不同，在这种情况中准确图像变换的计算在计算的早期涉及三维量。

二次变换方法

如图11中所示，我们的方法1100首先确定(111)照相机和投影仪之间的对应关系。接下来，我们分成三角形(triangulate)和产生(1120)3D中的二次变换方程。然后，我们确定二次变换参数并使用二次变换参数卷曲(1140)输入图像。

如在平面集群的情况中那样，每个投影仪P_k，k＝1，...，n，在二次表面上依次投影一个结构化图案。该图案由照相机C_i，i＝1，...，n，看到。然而，我们不能直接找到二次变换T_PiCk，而是要首先找到投影仪P_i和照相机C_k之间的刚性变换Γ_Pi ^C _k。

图12显示用于照相机C_k的步骤。因为Γ_Pi ^C _k是已知的，我们对投影仪P_i和照相机C_i中的相应点分成三角形(1210)以得到显示表面上的3D点D_i，并把这些点存储在照相机的C_i坐标系中。

给定由投影仪P_i投影的点D_i以及由相邻投影仪的照相机C_k观察到的相应点，我们确定(1220)刚性变换 ${\mathrm{\Γ}}_{P_i}^{C_k}={\mathrm{\Γ}}_{P_i}^{C_k}{\mathrm{\Γ}}_{P_i}^{C_i}.$

然后，我们用一个3D二次变换Q_i拟合(fit)(1230)C_i坐标系中的点D_i。

我们使用我们的简化二次变换公式，由Q_i、投影矩阵M_ck和M_pi、以及像素对应关系确定(1240)变换参数A_i、E_i和e_i。

最后，我们进行(1250)变换参数A_i、E_i和e_i的非线性精细化，以使像素再投影误差最小。

请注意，由二次表面上的已知3D点找出照相机的3D姿势是容易出错的，这是因为3D点通常相当靠近平面。因为我们知道照相机内部参数，我们首先根据单对应性对外部参数做初始猜想，然后使用迭代过程校正这一猜想，见Lu等的“由视频图像进行快速和全局收敛姿势估计”，IEEE模式分析和机器智能学报，22，6，笫610-622页，2000。

图像再现

为了图像再现，我们把二次变换作为经由极平面的单对应性对待，即A加上由E和e定义的每像素位移。与平面显示用的集群类似，不借助任何外部环境传感器或场景中的欧氏几何标记，我们利用这一单对应性和在投影仪U_k处的内部传感器读数，使输出图像与显示表面的水平和垂直轴线对准。

给定输出图像和由照相机C_k获取的输入图像之间的关系，以及照相机C_k和全部投影仪P_i，i＝1，...，n，之间的二次变换，每个投影仪使输出图像卷曲到它自己的照相空间中。请注意，使用二次变换卷曲一个图像不同于现有技术中已知的现有技术再现二次表面，见Watson等的“在光栅显示上再现二次曲线的快速算法”，第27届SEACM年度大会论文集，1989。

我们使用简单的顶点阴影器(Shader)或图形硬件进行图像再现。对于每个投影仪，我们将输出图像作为织构(texture)映射到矩形形状的、密集镶嵌的三角形网格上，并使用二次变换计算网格每个顶点的投影。

我们的系统和方法对于单个或多个投影仪的无缝显示是理想的，且无需昂贵的基础设施。由我们的发明能得到的新的应用包括低成本和灵活的圆丘显示、购物拱廊以及在圆柱上的显示。我们的方法还能作为平面和任意自由形状显示之间的中间步骤。

虽然已经以优选实施例的举例方式描述了本发明，但应该理解，能在本发明的精神和范围内做出各种其他适应和修改。所以，所附权利要求的目的是要覆盖所有这些变化和修改，作为进入本发明的真正精神和范围之中。

Claims (5)

1.一种在显示表面上投影输出图像的装置，包含：

处理单元，包括由总线连接的微处理器、存储器和I/O接口；

投影仪子系统，与处理单元耦合并被配置成在显示表面上显示输出图像；

照相机子系统，与处理单元耦合并被配置成获取反映显示表面几何形状的输入图像，照相机子系统与投影仪子系统有固定的物理关系；以及

内部传感器，与处理单元耦合并被配置成确定投影仪子系统和照相机子系统相对于显示表面的取向，

其中所述装置还包括：

将结构化图案投影到显示表面上的装置；

获取结构化图案的第一输入图像的装置；

根据第一输入图像在投影仪子系统的坐标框架中产生该结构化图案网格的装置；

在投影仪子系统的坐标框架中确定织构的坐标的装置；

根据显示表面更新该织构的坐标的装置；

将该织构映射到该网格上的装置；以及

在显示表面上再现织构化网格的装置。

2.权利要求1的装置，进一步包含：

网络子系统，与处理单元耦合并被配置成与其他计算设备通信。

3.权利要求1的装置，进一步包含：

与处理单元耦合的用户接口。

4.权利要求1的装置，进一步包含：

卷曲输出图像以适应于一个二次表面的装置。

5.权利要求2的装置，其中其他计算设备与权利要求1的装置完全相同。

Images