New! View global litigation for patent families

CN1204754C - 利用多个投影机在显示表面上形成镶嵌图形的方法和系统 - Google Patents

利用多个投影机在显示表面上形成镶嵌图形的方法和系统 Download PDF

Info

Publication number
CN1204754C
CN1204754C CN 02802661 CN02802661A CN1204754C CN 1204754 C CN1204754 C CN 1204754C CN 02802661 CN02802661 CN 02802661 CN 02802661 A CN02802661 A CN 02802661A CN 1204754 C CN1204754 C CN 1204754C
Authority
CN
Grant status
Grant
Patent type
Prior art keywords
method
system
forming
mosaic
multiple
Prior art date
Application number
CN 02802661
Other languages
English (en)
Other versions
CN1465194A (zh )
Inventor
R·拉斯卡尔
Original Assignee
三菱电机株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Abstract

本发明公开了一种用多个投影机在显示表面上形成镶嵌图像的方法。由于各投影机在显示表面上依次投影对齐图像,使其被投影的对齐图像的组合体形成多边形。另外,用照相机为各对齐图像依次取得对应的输入图像。然后,特别指定由多边形所围成的显示表面上的显示区域,并为各投影机确定显示区域和各输入图像之间的一个投影矩阵。各投影机的源图像按对应投影机的单对应性而被翘曲。该翘曲的源图像的像素按一个投影矩阵进行加权,然后,在显示表面上直接被翘曲,与此同时投影其加权的源图像,从而形成镶嵌图像。

Description

利用多个投影机在显示表面上形成镶嵌图形的方法和系统

技术领域

本发明涉及一种在平坦的表面上投影图像的光学装置,更具体地说涉及一种为形成一个镶嵌显示图像,投影任意个图像的方法。

背景技术

照片镶嵌块是为了形成一张可分辨大的图像而相互配准的二维排列的图像。这些图像或是从同一观察点在各个方向拍摄的,或是从平面景物的各种观察点拍摄的。可参考如修切利斯基(Szeliski)等公开的论文“建立全景图像镶嵌及纹理映射模型(Creating full viewpanoramic image mosaics and texture-mapped models)”(ComputerGraphics(SIGRAPH′97)),第251~258页,1997年);陈(Chen)等公开的论文“Quicktime(Apple公司的数字多媒体技术)VR,虚拟环境导航的一种基于图像的方法(Quicktime VR an image-basedapproach to virtual environment navigation)”(Comp.Graph.Proc.,Annual Conf.Series(Siggraph′95),第29~38页,1995年);以及在1999年11月16日给予修切利斯基(Szeliski)等的题目为“用以构筑图像镶嵌的消重影方法及其设备(Deghosting method andapparatus for construction of image mosaics)”的美国专利第5,986,668号。

由于提供了产生高分辨率、高亮度图像的实用解决手段,大型投影机阵列被大量采用。如在电视墙(video wall)的老式系统中典型的是用背面投影机的阵列,虽然邻接图像的边缘小,但通常存在可视见的间隙或重叠而被分离。而新型系统用叠加的投影机,为了进行图像的配准(registration)与混合(blending),设有通过手动操作进行准确的机电式调整的设备。这些显示装置的设计仍旧非常单调,有必要使投影机准确地叠加,并且,多数情况下使其对显示表面大致垂直。即,显示表面必须和各投影机的光轴垂直。这肯定是大型显示装置设计中的最大缺点。

该图像投影过程可用已知的针孔相机模型来表现,在此点上投影机和照相机是类似的。但是,过去的投影机在计算机视觉领域几乎不受人关注。

另外,拉斯克(Rasker)等公开的论文“采用基于相机配准的多重投影机显示(Multi-projector displays using camera-basedregistration)”(IEEE Visualization,第161~168页,1999年)中叙述了为建立多重投影机显示系统的各种方法。这些方法提供了用立体照相机在共有的坐标系中全面确定显示表面和各个投影机的内部与外部参数的、对无缝(seamless)显示问题的整体解决手段。其结果是对整体显示环境的总括的叙述。但是,该方法虽然考虑了整体性解决手段,但实现该方法需要计算上的工作量和资源,具有其特有的复杂性。

在陈(Chen)等公开的论文“利用一种UN校准的照相机的高分辨率多重投影机显示的自动配准(Automatic alignment of high-resolution multi-projector displays using an UN-calibrated camera)”(的文献(IEEE Visualization2000,2000年)中,提出了用可设置在镜头倾斜(pan-tilt)装置上的有可控的连续变焦与焦点的照相机,来减少机械的配准问题的机构。采用该机构,需要30分钟以上的时间进行数据的收集与计算。而在西亚替(Surety)的论文“用于无缝的大型显示的可缩放自调整显示技术(Scalable Self-Calibration DisplayTechnology for seamless large-scale Displays)”(pH论文,麻省理工学院的科技,1999年)中,也提供使用照相机来建立对多个投影机的相对位置的几何构造的解决方案。该照相机通过设于显示表面的正面的、一张印有规则的间隔配置的格子上成像进行校准。其后,将投影机图像在格子上进行配准。

最好能明显地降低对投影机阵列的支持与成本。并且,最好提供能适合给定投影机阵列结构的高自由度的图像配准与着色(rendering)技术。另外,最好完全自动化,并设置多个投影机,缩短为配准所需的时间。

发明内容

本发明提供一种设有任意个投影机的多重投影机显示系统。还提供一种对投影机阵列进行配准,用以形成一个无缝的长方形显示图像的自动化的方法。用一台照相机,从投影的各图像的相对位置与方向判断投影机姿势。利用投影机的姿势,将投影机对平面的显示表面进行配准,达成图像的配准与浓度的混合。在工作中,在平面的显示表面上投影时,为了作为一幅图像被正确显示而源图像被翘曲。其后,该翘曲的图像被进行浓度修正以使其叠加相抵销。然后,就能投影经修正的图像。本发明的优点之一是,显示表面可以相对投影机的光轴倾斜。

更具体地说,本发明是提供一种用多个投影机在显示表面上形成镶嵌图像的方法与系统。各投影机依次在显示表面上投影配准图像,使被投影的配准图像结合成为多边形。

用照相机为各配准图像依次取得对应的输入图像。然后,特别指定由多边形围成的显示表面的显示区域,并为各投影机确定显示区域和各输入图像之间的一个投影矩阵。

用于各投影机的源图像,按照对应于投影机的一个投影矩阵翘曲。该翘曲的源图像的像素随着投影矩阵叠加,然后将被翘曲、叠加的源图像同时向显示表面直接投影,形成镶嵌图像。

按照本发明的一种用多个投影机在显示表面上形成镶嵌图像的方法,其特征在于包括:为所述各投影机依次在所述显示表面上投射配准图像,使该被投射的配准图像的组合体形成多边形的步骤;为所述各投射到所述显示表面的配准图像依次用照相机取得对应的输入图像的步骤;识别由所述多边形围成的所述显示表面上的显示区域的步骤;通过利用从所述输入图象中提取出来的单个的配准图像,在照相机和投影机之间为每个投影机定义一个第一单对应性的步骤;通过利用投射到显示区域以外并重叠到其他投射的图像的部分配准图像,在显示区域和照相机之间为每个投影机定义一个第二单对应性的步骤;通过将所述第一和第二单对应性组合在一起,为所述各投影机确定所述显示区域和所述各输入图像之间的单个的投影矩阵的步骤;为所述各投影机把源图像按照所述对应的一个投影矩阵翘曲的步骤;按照所述一个投影矩阵把所述翘曲的源图像的像素加权的步骤;以及直接在所述显示表面上同时投射所述翘曲的加权的源图像,并形成所述镶嵌图像的步骤。

按照本发明的一种用以在显示表面上形成镶嵌图像的系统,其中包括:多个投影机,每个投影机用来将配准图像投射到所述显示表面上,使所述被投射的配准图像的组合体形成多边形;照相机,所述照相机用来为所述投射到所述显示表面的各配准图像依次取得对应的输入图像;第一定义单元,用来通过利用从所述输入图象中提取出来的单个的配准图像,在照相机和投影机之间为每个投影机定义一个第一单应性;第二定义单元,用来通过利用投射到显示区域以外并重叠到其他投射的图像的部分配准图像,在显示区域和照相机之间为每个投影机定义一个第二单对应性;识别单元,用以识别由所述多边形围成的所述显示表面上的显示区域;确定单元,用来为所述各投影机,在所述显示区域和所述各输入图像之间确定单独的投影矩阵;翘曲单元,用来为所述各投影机使源图像按照所述对应的单独的投影矩阵翘曲;以及加权装置,用来按照所述单独的投影矩阵,对翘曲的所述各源图像的像素加权,并把所述投影的、翘曲的和加权的源图像在所述显示表面上形成所述镶嵌图像。

附图说明

图1是本发明的多重投影机显示系统的示意图。

图2是图1的显示系统的预处理阶段的流程图。

图3是图1的显示系统的着色阶段的流程图。

具体实施方式

定义下面的说明中,对后述的计算机操作的图像加以具体识别与定义。

配准图像(Registration image):投影在平面的显示表面的、有特定结构与几何形状的图像。多个配准图像被依次投影,投影机阵列内的每个投影机投影一个。

相机图像(Camera image):在配准图像被投影期间,显示表面的由照相机拍摄的图像。一个投影机投影的配准图像取一个相机图像。

源图像(Source image):为了形成镶嵌图像,应被投影在显示表面上的图像。多个源图像同时产生,投影机的阵列内的投影机各一个。

被投影图像(Projected image):翘曲与混合后的源图像。

被显示图像(Displayed image):在显示表面上被投影的多个图像中由用户视觉感受的图像。

显示区域(Display area):出现被显示图像的显示表面区域。

多重投影系统概述图1表示本发明的自修正型多重投影机显示系统100。系统100包括投影机101~104的阵列和连接在处理器120的照相机110。例如,本发明中用四台分辨率为1024×768像素的三菱电机制X-80投影机和一台分辨率为640×480像素的Logitech Quickcam Pro USB照相机。系统100可用于前面或背面投影方式。

投影机101~104可以为任意数量,任意地朝向平面形显示表面130设置,使投影的图像131~134大致重叠。要注意的是图像131~134不必一定配准或完全重叠。实际上,投影的图像131~134产生梯形畸变,且互相旋转或倾斜,会在图像间生成间隙。而且,投影机的光轴可以对显示表面倾斜且互相间倾斜。

这里,投影机以2×2的阵列进行叠堆,但其它结构也可以。例如,所有投影机可以在垂直方向叠堆或在水平方向排列。必需的只是,投影机要大致向着显示表面130,整体上显示区域135中有几个叠加的图像。同样,照相机110的朝向被适当设置,以使其视野至少覆盖图像131~134的组合体。如下面更详细的叙述,要注意的是,照相机仅在预处理阶段200中使用。在最佳实施例中,投影机与照相机均为数字装置。

处理器120中设有和用户相互交流的输入/输出(I/O)装置121。它们是标准的结构。并且,处理器还包含存于存储器内的可执行程序100,用以在工作中实施系统100的控制的方法。使系统工作的方法包括预处理阶段200和着色阶段300。这些在下面更详细描述。如采用本发明的自修正,则在投影机阵列中,不管阵列的每个投影机以什么角度向平面形表面倾斜,都可以形成已知的形状,如一个以特定长宽比的长方形显示图像显示的镶嵌图像。

配准与图像镶嵌方法本发明不是根据装置的类型和其相对的姿势两方面来确定其固有参数的投影机-照相机系统100来进行全部的配准,而是以多重投影机系统100,仅用一个投影矩阵,将来自各投影机的源图像翘曲。一个投影矩阵是按如下方式预先确定的、照相机和投影机之间的单对应性和显示区域和照相机之间的单对应性的组合。

预处理图2表示预处理200中进行的过程。配准图形,如棋盘图形140,为各投影机101~104而被依次投影在显示表面上(210)。配准图形的特征如角或线对应(C)221从输入图像111抽出。本发明用48个对应达成子像素的配准精度。对应211用于确定照相机和各投影机i之间的单对应性。(Hci)用于确定231。

知道所有因投影机的单对应性后,确定可利用显示区域135的尺寸(D)241(240)。尺寸241由被投影的所有图像131~134的组合体所围成的最大长方形(或者其它任意特定的形状)构成。要注意,显示区域会有其它规则或不规则的预先确定的形状,如圆形、三角形、椭圆形、菱形、脸面形(face)等。该形状可以由参数或形状标记划定。

知道可利用显示区域135的尺寸后,可指定在显示区域的外侧和其它被投影的图像叠加的被投影图像的部分。从而,显示坐标和照相机坐标之间的单对应性(Hrc)251和着色阶段中必需应用的浓度的权重(W)261(250)可以被确定。

在显示区域外侧的像素有0的权重(黑),叠加部分的像素有0<W<1范围内的权重,其它全部的像素有1的权重。由下面所述,在混合中各像素与其对应的权重相乘。

着色如图3所示的着色处理(300)中,应被投影的源图像(I)301最初按照一个投影矩阵Bi302翘曲(310)。然后,该被翘曲图像I311向I321混合(320)的过程中进行浓度加权,投影在显示区域135上(330)。浓度加权按像素各自进行。例如,权重是在传统的着色处理装置中使用的α映像内存储。

单对应性为了定义着色中使用的一个投影矩阵Bi302,叙述了如何使用两个单对应性231及251。本发明采用针孔照相机模型。两个照相机取得三维平面II内的两个图像时,两个图像由按比例(~=)定义的单对应性H而相关联。当m1和m2为平面II内的三维位置M的投影时,m2~=Hm1。式中,m1和m2表示齐次坐标,~=表示按比例相等。

本发明的多重投影机系统100中,最好使来自多个投影机Pi(式中,i=1,…,N)的N个源图像表示为无缝地接合的一个图像。为了使投影机相互配准,本发明用一个照相机110取得全部N个各个配准图像的的输入图像。然后,投影机对照相机的映射与相对投影机之间的映射,用因使用平面显示表面130而产生的上述单对应性描述。

本发明,在表达为二维照相机坐标Xc=(x,y,1)Tes时,以及来自多个投影机的二维投影机坐标ui=(u,v,1)T时(i=1,…,N),均选择齐次坐标。在这样的场合,N个被投影的图像用满足下式的已知单对应性Hci,Hc2,…,HcN映射为输入图像131。

ui~=HciXc(1)(式中,i=1,…,N)表示的图像中,被投影的图像131~134以已知的形状切割。和被投影的图像坐标等价的表示该形状内部的图像的坐标由Xr=(x,y,1)T表示。

显示坐标和照相机坐标之间的关系可由第二二维投影矩阵Hrc描述。因此,下式成立。

ui~=HciXc~=(HciHrc)Xr(2)(式中,i=1,…,N)为了简单表示,定义一组单对应性。

Hri=HciHrc(式中,i=1,…,N)上式直接指定各投影机和显示的图像之间的几何关系。此时,两个任意投影的图像间的像素映射如下。

uj~=HrjHri-1ui(3)式中,ui与uj各自表示投影机Pi与Pj的源图像内的对应像素。

配准为了形成无缝的显示图像,使被投影的图像相互配准,且使遍及叠加区域的浓度看起来柔和。本说明书中第一次叙述了将多个投影机101~104和一个照相机110用于配准的技术,然后,叙述了柔和的浓度混合(320)。

本小节中记载了为确定被投影图像间的关系的过程。该关系是通过堆源图像301的翘曲处理,为了确定被投影的图像适当地配准,在着色(300)中被隐含地使用。为被投影的镶嵌图像,本发明并不像传统技术那样为了无缝地接合被投影图像而去明显地校正照相机或投影机中的任一个;而是采用多个投影机和静止照相机之间的单对应性使多个被投影的图像充分正确配准的方法。换言之,本发明并不需要像传统技术那样,为了确定内部与外部的参数而校正光学系统;本发明只依赖于各种单对应性。

为了使投影机101~104和照相机110配准,本发明最初从各投影机101~104依次在显示表面130上投影配准图形140(210),并取得对应的输入图像111。通过从配准图形内已知的二维特征相对应的二维输入图像111抽出特征,本发明可基于式(1)确定照相机和各投影机之间的单对应性。

更形式化地,将照相机110和给定的投影机之间的单对应性231,可作为最大似然估计问题而被公式化。输入图像x和配准图像u之间给出n个对应特征时,其最大似然值由以下的费用函数取最小值而求得。

Σi=1n||uj-HjXj||---(4)]]>式中,H是按比例地从照相机到投影机的单对应性。相机图像和配准图像之间用4个以上对应时,H的8个未知参数由最小二乘法判断。可以用更复杂的技术改进对噪声或异常值的耐受性。可在任意场合,进行自动配准。再有,如上所述,任意两个投影机间的相对的映射,可接合式(3)和(4)来确定。再请留意,这里不需要作明显的校正。

为了形成被显示图像135,本发明是从所有投影机同时投影而形成的图像组合体所围成的最大尺寸的形状,例如可找出的长方形。此问题可公式化为约束线性优化问题。

被照明的四边形131~134,在照相机110的坐标系中指定。本发明中,例如,最好能找到由N个四边形的组合体围成的给定长宽比构成的轴上配准的最大四边形。该组合体是在图1中由粗边表示的多边形L136。本发明中,假设最大的长方形的至少一个顶点在多边形L的边上。由于长宽比固定,该长方形有三个自由度,即二维平面内的一个顶点的位置,以及长方形的比例。因此,本发明中,将多边形L136的边分离,通过检出在L边上存在长方形顶点的各可取位置和各可取的比例,求取最大的长方形。通过检查判断长方形的边和多边形L的边是否交叉。发现大致内接的最合适的长方形后,用式(2)更新从显示坐标系到投影机像素的单对应性。

并且,即使一个照相机110不能视见所有被投影的图像,也可以通过添加更多的投影机,建立可伸缩的(scalable)的多重投影机系统100。此时的必要条件,只是定义一个任意的投影机和与被显示图像135对应的坐标之间的关系。本最佳实施例中,以内接在视见的照相机内的长方形来定义该关系。但是,可以利用一个或多个照相机和显示坐标之间在欧几里得结构中的任意映射。因此,即使一个照相机不能视见所有的投影,只要有任意的一个照相机中视见两边的投影,就容易扩大邻接的投影机i和j之间的关系(HrjHri-1)。

着色被显示的图像135由于各个投影机粗略设置而倾斜投影时,也作为多个被投影的图像321的按比例的无缝的图像(vision)被着色处理(300)。如图3所示,本发明最初把按照投影矩阵302投影的各源图像301翘曲,投影在显示表面130上时,被翘曲的所有图像在显示区域135中看起来是配准的。被翘曲的各图像311,之后用权重361进行混合处理,产生被投影的图像321,然后把该图像传送给投影机101~104中的一个。

利用单对应性的翘曲为投影图像所必需的翘曲处理,用将投影的图像的像素坐标变换为想要显示的图像的像素坐标的投影矩阵来加以定义。如上所述,投影矩阵302在预处理中被确定。在各投影机中,着色过程将各源图像301个别地加以翘曲。

源图像301被输入投影机的纹理存储器。然后,在x-y平面内,即具有范围[0∶1,0∶1]的单位长方形被纹理映射。投影机i的场合,由于是xi~=Hriur,可用到以下的一个投影矩阵。

Bi=Hri[1|0]            (5)式中,[1|0]用填充零矢量的单位矩阵将3×3矩阵变换为4×4矩阵。请参照以下的式(6)。

正确地说,本发明采用以Hri相乘的正射影矩阵。显示坐标[0∶1,0∶1]的外侧区域内的像素,也出现在投影机帧缓冲器内。这虽然是在显示区域的外侧,但是和多边形L136即由N个照明的四边形的组合体所围成的区域相对应。

背景色(0权重)被保持为黑色,以避免向该区域贡献。投影矩阵是为了计算深度缓冲,通过简单地增加行或列变换为在传统的图形流水线中使用的4×4矩阵。结果的深度值当然可以不管,例如以下的公式成立。

[1|0]=1000010000100000---(6)]]>图像浓度的混合由多个投影机照明的显示区域135的区域,通常看起来突出地明亮。为了使叠加的区域看起来无缝,即为了使具有柔和的浓度,要利用浓度混合过程。本发明中,为各投影机产生掩蔽(mask),通过该掩蔽给投影的图像内的所有像素分配范围为0.0到1.0的浓度权重。

混合处理中,将每个像素的浓度的权重装入到第二纹理映像的α通道上。但是,色通道为黑色。相同的单位长方形由变更浓度权重的该纹理映像加以着色。α通道具有作为透过函数的作用,与翘曲的图像311的基底浓度相乘。如此,利用投影矩阵的翘曲与浓度修正这两项处理都可以用三维图形硬件有效率地完成。

请理解多个投影机在同一照明点上叠加的情况。例如,在图1的显示区域135的中心,有四个投影机正好叠加的情况。但是,为了得到均匀的浓度,使照明相同显示表面点的所有被投影的像素的权重之和成为1。

简单的解决方法是仅用一个投影机照明给定的点。另外的方法有,给予各投影机等量的权重,例如,两个投影机的场合分别给0.5的权重,四个投影机的场合分别给0.25的权重。实际上由于投影机的配准、透视畸变以及非线性桶形畸变的小误差,被投影的图像在各边缘上严格说并不一致。再有,经过一定时间投影机的位置会因机械或电气振动而改变。在存在上述任一问题时,即使一个图像的位置偏移也会在显示的图像内产生令人讨厌的线。因此,有必要在叠加中达到权重的柔和过渡。结果,必须降低叠加的图像内的浓度受到静止配准与动态配准误差的影响。

本发明的混合算法是采用边缘附近的像素上分配的权重大致为0的方式。没有叠加的区域内的像素的权重显然为1,叠加区域内的邻接像素按如下方式分配其权重。

更具体地说,本发明利用混合技术来发现和像素u=(u,v,1)相关联的权重Am(u)。于是,本发明对被翘曲的源图像311内的像素与到该图像边缘的距离成比例地进行加权。更严格地说,就是像素以与最近的“不可见”像素即权重为0的像素的距离成比例地进行加权。投影矩阵用归一化的投影机坐标进行计算,以使u与v坐标在[0,1]区间变化。因此,某一像素到投影机Pi内的最近边缘的距离由下式表述。

di(u)=w(u,v)min(u,v,1-u,1-v)       (7)式中,u∈[0,1]时w(u,v)=1,v∈[0,1]时w(u,v)=0。

这就把权重分配问题简化为求最小函数。再有,基于在多个投影机范围的隐含的像素对应,本发明使照明同一显示表面的像素的权重相加之和确实为一。与投影机Pm的像素u相关联的像素的权重Am(u)由以下式可计算。

Am(u)=dm(u)/(∑idi(HriHrm-1u))       (8)(式中,j=1,…,N)该类型的浓度混合处理,不管被投影的图像间的间隙或多余的叠加中产生不产生误差,存在较小的位置偏移误差时其稳定性变高。如下所述,在三维图形硬件中为得到透明度,用共同使用的α映射导入权重。最后,被翘曲且浓度被加权的图像321由各投影机投影(330),产生显示图像。

[发明效果]对于在短时间内设定多个数字投影机,使组合的投影在图像内不发生明显的重叠且显示为一个组合图像,本发明是有效的。投影机和一个处理器连接。用户只是简单地使投影机全部朝向显示表面的方向,使各个被投影的图像以某一预定的方式,如有六台投影机的时候以2×3的矩阵叠加或大致叠加。一旦投影机被粗略地设置,由于使投影机彼此间且投影机和显示表面等配准,可由各投影机显示配准图像。如投影机被配准,就立即可用该投影机显示无缝的镶嵌图像。整个过程只需2、3秒。

本发明用特定的用语与示例叙述。本发明的精神与范围内,要知道还会有其它各种适合的方案与变更的方案。因此,附加权利要求书的目的在于,覆盖所有符合本发明的精神和在本发明范围内的所有变形与变更。

Claims (10)

1.一种用多个投影机在显示表面上形成镶嵌图像的方法,其特征在于包括:为所述各投影机依次在所述显示表面上投射配准图像,使该被投射的配准图像的组合体形成多边形的步骤;为所述各投射到所述显示表面的配准图像依次用照相机取得对应的输入图像的步骤;识别由所述多边形围成的所述显示表面上的显示区域的步骤;通过利用从所述输入图象中提取出来的单个的配准图像,在照相机和投影机之间为每个投影机定义一个第一单对应性的步骤;通过利用投射到显示区域以外并重叠到其他投射的图像的部分配准图像,在显示区域和照相机之间为每个投影机定义一个第二单对应性的步骤;通过将所述第一和第二单对应性组合在一起,为所述各投影机确定所述显示区域和所述各输入图像之间的单个的投影矩阵的步骤;为所述各投影机把源图像按照所述对应的一个投影矩阵翘曲的步骤;按照所述一个投影矩阵把所述翘曲的源图像的像素加权的步骤;以及直接在所述显示表面上同时投射所述翘曲的加权的源图像,并形成所述镶嵌图像的步骤。
2.如权利要求1所述的方法,其特征在于:所述显示表面对所述投影机中的至少一个光轴倾斜。
3.如权利要求1所述的方法,其特征在于:一个所述投影机的光轴至少对一个其它所述投影机的光轴倾斜。
4.如权利要求1所述的方法,其特征在于:所述各投影机的光轴对所有其它的所述投影机的光轴倾斜。
5.如权利要求1所述的方法,其特征在于:所述配准图像含有棋盘图形。
6.如权利要求1所述的方法,其特征在于:所述显示区域是由所述多边形围成的最大可能的长方形。
7.如权利要求1所述的方法,其特征在于:所述第一单对应性Hi是最大似然估计问题,还包含:最小费用函数Σn||u-Hix||]]>式中n是表示所述输入图像x和所述配准图像u之间的对应特征的数量。
8.如权利要求7所述的方法,其特征在于:两个任意的源图像间的像素的映射为uj~=HjHi-1ui,式中,ui与uj表示所述源图像中的对应像素,Hj为所述第二单对应性。
9.如权利要求1所述的方法,其特征在于:还包括当所述特定的像素在所述显示区域的外侧时,在各翘曲的图像中所述特定的像素上分配0权重的步骤;当所述特定的像素成为照明所述显示区域的唯一的像素时,在所述特定的像素上分配1权重的步骤;在以上情况以外时,在所述特定的像素上分配0<W<1范围的权重W的步骤,W和到具有0权重的最接近像素间的距离成比例。
10.一种用以在显示表面上形成镶嵌图像的系统,其中包括:多个投影机,每个投影机用来将配准图像投射到所述显示表面上,使所述被投射的配准图像的组合体形成多边形;照相机,所述照相机用来为所述投射到所述显示表面的各配准图像依次取得对应的输入图像;第一定义单元,用来通过利用从所述输入图象中提取出来的单个的配准图像,在照相机和投影机之间为每个投影机定义一个第一单应性;第二定义单元,用来通过利用投射到显示区域以外并重叠到其他投射的图像的部分配准图像,在显示区域和照相机之间为每个投影机定义一个第二单对应性;识别单元,用以识别由所述多边形围成的所述显示表面上的显示区域;确定单元,用来为所述各投影机,在所述显示区域和所述各输入图像之间确定单独的投影矩阵;翘曲单元,用来为所述各投影机使源图像按照所述对应的单独的投影矩阵翘曲;以及加权装置,用来按照所述单独的投影矩阵,对翘曲的所述各源图像的像素加权,并把所述投影的、翘曲的和加权的源图像在所述显示表面上形成所述镶嵌图像。
CN 02802661 2001-08-15 2002-08-08 利用多个投影机在显示表面上形成镶嵌图形的方法和系统 CN1204754C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US09930425 US6733138B2 (en) 2001-08-15 2001-08-15 Multi-projector mosaic with automatic registration

Publications (2)

Publication Number Publication Date
CN1465194A true CN1465194A (zh) 2003-12-31
CN1204754C true CN1204754C (zh) 2005-06-01

Family

ID=25459317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 02802661 CN1204754C (zh) 2001-08-15 2002-08-08 利用多个投影机在显示表面上形成镶嵌图形的方法和系统

Country Status (6)

Country Link
US (1) US6733138B2 (zh)
EP (1) EP1421795B1 (zh)
JP (1) JP2005500756A (zh)
CN (1) CN1204754C (zh)
DE (1) DE60239408D1 (zh)
WO (1) WO2003017679A1 (zh)

Families Citing this family (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7133083B2 (en) * 2001-12-07 2006-11-07 University Of Kentucky Research Foundation Dynamic shadow removal from front projection displays
US6825850B2 (en) * 2002-10-30 2004-11-30 Microsoft Corporation System and process for optimal texture map reconstruction from multiple views
US7019713B2 (en) * 2002-10-30 2006-03-28 The University Of Chicago Methods and measurement engine for aligning multi-projector display systems
JP3731663B2 (ja) * 2002-12-04 2006-01-05 セイコーエプソン株式会社 画像処理システム、プロジェクタおよび画像処理方法
US20040169827A1 (en) * 2003-02-28 2004-09-02 Mitsuo Kubo Projection display apparatus
US6709116B1 (en) * 2003-03-21 2004-03-23 Mitsubishi Electric Research Laboratories, Inc. Shape-adaptive projector system
US6834965B2 (en) * 2003-03-21 2004-12-28 Mitsubishi Electric Research Laboratories, Inc. Self-configurable ad-hoc projector cluster
US6755537B1 (en) * 2003-03-21 2004-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for globally aligning multiple projected images
US6811264B2 (en) * 2003-03-21 2004-11-02 Mitsubishi Electric Research Laboratories, Inc. Geometrically aware projector
JP3845386B2 (ja) * 2003-04-18 2006-11-15 Necビューテクノロジー株式会社 補助線を利用した幾何学補正インターフェースにおける画面外エリアの補正方法
US6899433B2 (en) * 2003-06-19 2005-05-31 Brookhaven Science Associates Split image optical display
FR2857131A1 (fr) * 2003-07-01 2005-01-07 Thomson Licensing Sa Procede de recalage automatique d'un modele geometrique d'une scene sur une image de la scene, dispositif de mise en oeuvre et support de programmation.
US7675540B2 (en) * 2003-08-19 2010-03-09 Kddi Corporation Concealed regions complementing system of free viewpoint video images
US20050110959A1 (en) * 2003-10-15 2005-05-26 Seiko Epson Corporation Multi-projection display
US20050140575A1 (en) * 2003-12-26 2005-06-30 Wei-Lun Huang Real-time image warping method for curved screen
JP2006047531A (ja) * 2004-08-03 2006-02-16 Seiko Epson Corp マルチプロジェクションディスプレイ及びプロジェクタユニット
CA2592691C (en) * 2004-12-28 2017-07-04 Hypermed, Inc. Hyperspectral/multispectral imaging in determination, assessment and monitoring of systemic physiology and shock
US7334901B2 (en) * 2005-04-22 2008-02-26 Ostendo Technologies, Inc. Low profile, large screen display using a rear projection array system
FR2884992B1 (fr) * 2005-04-22 2007-06-08 Thales Sa Procede de synchronisation et d'asservissement dans les systemes de communications sans fil
CA2844683C (en) 2005-04-26 2016-06-28 Imax Corporation Electronic projection systems and methods
US20070133794A1 (en) * 2005-12-09 2007-06-14 Cloutier Frank L Projection of overlapping sub-frames onto a surface
WO2007075514A1 (en) * 2005-12-16 2007-07-05 Thomson Licensing System and method for providing uniform brightness in seam portions of tiled images
DE102006002602A1 (de) * 2006-01-13 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kalibrierungsverfahren und Kalibrierungssystem
US8197070B2 (en) * 2006-01-24 2012-06-12 Seiko Epson Corporation Color-based feature identification
US8777418B2 (en) 2006-01-26 2014-07-15 Christie Digital Systems Usa, Inc. Calibration of a super-resolution display
JP4674581B2 (ja) * 2006-01-27 2011-04-20 ソニー株式会社 画像形成装置および方法
US7866832B2 (en) * 2006-02-15 2011-01-11 Mersive Technologies, Llc Multi-projector intensity blending system
US7773827B2 (en) * 2006-02-15 2010-08-10 Mersive Technologies, Inc. Hybrid system for multi-projector geometry calibration
US20080180467A1 (en) * 2006-04-13 2008-07-31 Mersive Technologies, Inc. Ultra-resolution display technology
US20070242240A1 (en) * 2006-04-13 2007-10-18 Mersive Technologies, Inc. System and method for multi-projector rendering of decoded video data
US7740361B2 (en) * 2006-04-21 2010-06-22 Mersive Technologies, Inc. Alignment optimization in image display systems employing multi-camera image acquisition
US7763836B2 (en) * 2006-04-21 2010-07-27 Mersive Technologies, Inc. Projector calibration using validated and corrected image fiducials
US7893393B2 (en) * 2006-04-21 2011-02-22 Mersive Technologies, Inc. System and method for calibrating an image projection system
CN100481966C (zh) * 2006-07-06 2009-04-22 上海交通大学 基于平面单应矩阵特征线的摄像机标定方法
US20080007700A1 (en) * 2006-07-10 2008-01-10 Vanbaar Jeroen Method and system for aligning an array of rear-projectors
US20080043209A1 (en) * 2006-08-18 2008-02-21 Simon Widdowson Image display system with channel selection device
WO2008043035A3 (en) * 2006-10-04 2008-07-03 Rochester Inst Tech Aspect-ratio independent, multimedia presentation systems and methods thereof
US7942530B2 (en) * 2006-10-31 2011-05-17 The Regents Of The University Of California Apparatus and method for self-calibrating multi-projector displays via plug and play projectors
US20080143969A1 (en) * 2006-12-15 2008-06-19 Richard Aufranc Dynamic superposition system and method for multi-projection display
US20080174703A1 (en) * 2007-01-18 2008-07-24 Piehl Arthur R Sensing modulator
US7901094B2 (en) * 2007-01-24 2011-03-08 Seiko Epson Corporation View projection: one-touch setup of light displays on arbitrary surfaces
US7835079B2 (en) * 2007-03-06 2010-11-16 Ostendo Technologies, Inc. Micro-structure based screen system for use in rear projection array display systems
DE102007027420B9 (de) * 2007-06-14 2008-12-11 Airbus Deutschland Gmbh Innenraumprojektion für Luftfahrzeuge
US8955984B2 (en) 2008-06-17 2015-02-17 The Invention Science Fund I, Llc Projection associated methods and systems
US7954954B2 (en) * 2007-07-31 2011-06-07 Hewlett-Packard Development Company, L.P. System and method of projecting an image using a plurality of projectors
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US8073289B2 (en) * 2007-10-17 2011-12-06 The United States Of America As Represented By The Secretary Of The Navy Method of using a real time desktop image warping system to mitigate optical distortion
JP4553046B2 (ja) * 2008-02-13 2010-09-29 セイコーエプソン株式会社 プロジェクタ、マルチスクリーンシステム、プロジェクタ制御方法、プロジェクタ制御プログラム、情報記憶媒体
WO2009129473A3 (en) * 2008-04-17 2010-01-07 Mersive Technologies, Inc. Multiple-display systems and methods of generating multiple-display images
US8936367B2 (en) * 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8308304B2 (en) * 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8641203B2 (en) 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US8944608B2 (en) 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US20090310038A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Projection in response to position
US8723787B2 (en) 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8733952B2 (en) 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US8540381B2 (en) 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
US8430515B2 (en) 2008-06-17 2013-04-30 The Invention Science Fund I, Llc Systems and methods for projecting
US8384005B2 (en) * 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8267526B2 (en) * 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US20090309826A1 (en) 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
DE102008043153A1 (de) * 2008-10-24 2010-04-29 Robert Bosch Gmbh Verfahren zur Erzeugung eines Bildes sowie Projektor und Mobiltelefon mit einem Projektor
JP5444963B2 (ja) * 2008-11-26 2014-03-19 セイコーエプソン株式会社 プロジェクタ
US8013904B2 (en) * 2008-12-09 2011-09-06 Seiko Epson Corporation View projection matrix based high performance low latency display pipeline
US7901095B2 (en) * 2009-03-27 2011-03-08 Seiko Epson Corporation Resolution scalable view projection
WO2010129363A3 (en) * 2009-04-28 2011-02-24 The Regents Of The University Of California Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera
US8102332B2 (en) * 2009-07-21 2012-01-24 Seiko Epson Corporation Intensity scaling for multi-projector displays
US8243144B2 (en) * 2009-07-31 2012-08-14 Seiko Epson Corporation Light transport matrix from homography
US8201950B2 (en) * 2009-08-27 2012-06-19 Seiko Epson Corporation Camera-based registration for projector display systems
JP5434418B2 (ja) * 2009-09-15 2014-03-05 セイコーエプソン株式会社 プロジェクターシステム、制御装置、プログラム及びプロジェクターシステムの制御方法
US9110495B2 (en) * 2010-02-03 2015-08-18 Microsoft Technology Licensing, Llc Combined surface user interface
US8439504B2 (en) * 2010-03-02 2013-05-14 Canon Kabushiki Kaisha Automatic mode switching between single and multiple projectors
US8262229B2 (en) * 2010-03-22 2012-09-11 Seiko Epson Corporation Multi-projector display system calibration
US20110234921A1 (en) * 2010-03-24 2011-09-29 Victor Ivashin Black-Level Compensation in Multi-Projector Display Systems
CN102221773A (zh) * 2010-04-14 2011-10-19 江苏尚阳数字科技有限公司 高清数字立体巨幕影院系统
EP2843618B1 (en) 2010-04-18 2016-08-31 Imax Theatres International Limited Double stacked projection
CN106228527A (zh) 2010-11-15 2016-12-14 斯加勒宝展示技术有限公司 利用手动和半自动技术校准显示系统的系统和方法
WO2012142309A3 (en) * 2011-04-12 2013-01-10 Jupiter Systems Method and apparatus for fast data delivery on a digital pixel cable
US9497447B2 (en) 2011-06-15 2016-11-15 Scalable Display Technologies, Inc. System and method for color and intensity calibrating of a display system for practical usage
CN103765869B (zh) 2011-08-16 2017-12-12 图像影院国际有限公司 混合图像分解和投影
US20130070094A1 (en) * 2011-09-20 2013-03-21 The Regents Of The University Of California, A California Corporation Automatic registration of multi-projector dome images
JP5729237B2 (ja) * 2011-09-26 2015-06-03 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
WO2013046302A1 (ja) * 2011-09-26 2013-04-04 Necディスプレイソリューションズ株式会社 プロジェクター補正システムと方法、プロジェクター
CN103890638A (zh) 2011-10-20 2014-06-25 图象公司 用于图像投影的失真补偿
GB2497936B (en) * 2011-12-22 2015-04-08 Canon Kk Method and device for controlling a video projector in a video projection system comprising multiple video projectors
WO2013159028A1 (en) * 2012-04-19 2013-10-24 Scalable Display Technologies, Inc. System and method of calibrating a display system free of variation in system input resolution
JP6157065B2 (ja) * 2012-06-08 2017-07-05 キヤノン株式会社 投影装置およびその制御方法
US9245348B2 (en) 2012-06-15 2016-01-26 Microsoft Technology Licensing, Llc Determining a maximum inscribed size of a rectangle
KR101776706B1 (ko) 2012-11-30 2017-09-08 한화테크윈 주식회사 복수의 카메라 기반 사람계수장치 및 방법
CN103986894B (zh) * 2013-02-07 2017-08-01 杭州群核信息技术有限公司 一种基于gpu的实时多投影仪图像重合的投影方法
CN105308503A (zh) 2013-03-15 2016-02-03 斯加勒宝展示技术有限公司 利用短程相机校准显示系统的系统和方法
JP2015026992A (ja) * 2013-07-26 2015-02-05 株式会社リコー 投影システム、画像処理装置、投影方法およびプログラム
US9761158B2 (en) * 2013-12-18 2017-09-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2015158658A (ja) * 2014-01-24 2015-09-03 株式会社リコー 投影システム、画像処理装置、校正方法、システムおよびプログラム
US9438872B2 (en) * 2014-09-18 2016-09-06 Coretronic Corporation Projection display system and method for correcting projection region
CN105787920A (zh) * 2014-12-26 2016-07-20 秦永进 球幕标定方法、标定系统及控制设备
US20170178288A1 (en) * 2015-12-21 2017-06-22 Stanislaw Adaszewski Two-dimensional piecewise approximation to compress image warping fields

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5986668A (en) * 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US20030011619A1 (en) * 1997-10-08 2003-01-16 Robert S. Jacobs Synchronization and blending of plural images into a seamless combined image
US6456339B1 (en) 1998-07-31 2002-09-24 Massachusetts Institute Of Technology Super-resolution display
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display

Also Published As

Publication number Publication date Type
WO2003017679A1 (en) 2003-02-27 application
JP2005500756A (ja) 2005-01-06 application
EP1421795B1 (en) 2011-03-09 grant
CN1465194A (zh) 2003-12-31 application
EP1421795A1 (en) 2004-05-26 application
DE60239408D1 (de) 2011-04-21 grant
US20030052837A1 (en) 2003-03-20 application
US6733138B2 (en) 2004-05-11 grant

Similar Documents

Publication Publication Date Title
Agrawala et al. Artistic multiprojection rendering
US6097854A (en) Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US7001023B2 (en) Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
Raskar Immersive planar display using roughly aligned projectors
Raskar et al. A self-correcting projector
Raskar et al. Spatially augmented reality
Raskar et al. iLamps: geometrically aware and self-configuring projectors
Capel Image mosaicing
McMillan et al. Plenoptic modeling: An image-based rendering system
US6628298B1 (en) Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination
US7133083B2 (en) Dynamic shadow removal from front projection displays
US20050052623A1 (en) Projecting system
US20080246757A1 (en) 3D Image Generation and Display System
US7006709B2 (en) System and method deghosting mosaics using multiperspective plane sweep
Raskar et al. Shader lamps: Animating real objects with image-based illumination
US20040257540A1 (en) Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
Bimber et al. The Visual Computing of Projector‐Camera Systems
Gross et al. blue-c: a spatially immersive display and 3D video portal for telepresence
Yang et al. Pixelflex: A reconfigurable multi-projector display system
US20080095468A1 (en) Method And Device For Representing A Digital Image On A Surface Which Is Non-Trivial In Terms Of Its Geometry And Photometry
US8264546B2 (en) Image processing system for estimating camera parameters
Raskar et al. Table-top spatially-augmented realty: bringing physical models to life with projected imagery
US20070195285A1 (en) Hybrid system for multi-projector geometry calibration
US20090073324A1 (en) View Projection for Dynamic Configurations
US20040150641A1 (en) Reality-based light environment for digital imaging in motion pictures

Legal Events

Date Code Title Description
C06 Publication
C10 Entry into substantive examination
C14 Grant of patent or utility model
EXPY Termination of patent right or utility model