CN102129680A - 实时几何形状感知投影和快速重校准 - Google Patents

实时几何形状感知投影和快速重校准 Download PDF

Info

Publication number
CN102129680A
CN102129680A CN2011100077870A CN201110007787A CN102129680A CN 102129680 A CN102129680 A CN 102129680A CN 2011100077870 A CN2011100077870 A CN 2011100077870A CN 201110007787 A CN201110007787 A CN 201110007787A CN 102129680 A CN102129680 A CN 102129680A
Authority
CN
China
Prior art keywords
projector
group
pixel
camera
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100077870A
Other languages
English (en)
Other versions
CN102129680B (zh
Inventor
丁源源
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN102129680A publication Critical patent/CN102129680A/zh
Application granted granted Critical
Publication of CN102129680B publication Critical patent/CN102129680B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明的方面包括用于重校准投影机-摄像机系统的系统和方法。在实施例中，系统和方法可以自动重校准具有任意内部特性和位姿的投影机，并为任意的期望观看点进行绘制。和以前的方法不同，此处公开的方法使用观察摄像机和投影机形成立体对。结构化的光被用于执行显示表面的像素级的精细重构建。在实施例中，几何扭曲被实现为直接纹理映射问题。结果，通过简单计算新投影矩阵并将其设为摄像机矩阵以执行投影机移动的重校准。为了重校准新的观看点，根据新的摄像机矩阵修改纹理映射。

Description

实时几何形状感知投影和快速重校准
技术领域
本发明主要涉及投影机-摄像机系统，特别涉及自适应投影机显示系统。
背景技术
多媒体系统，例如计算机系统、游戏系统、视频会议系统、投影机系统、以及家庭影院系统的日益流行，导致了在广泛情况下工作的投影机显示系统。已开发出自适应投影机显示系统以处理多种情况下的投影。例如，对于自适应投影机显示系统的研究试图找出对颜色失真、显示表面变形、以及其它校准问题加以校正的办法。在该领域的研究导致了改进投影机系统的健壮性的办法。
由于这类系统日渐地被不熟悉投影技术和校准技术的一般消费者所使用，开发需要很少或不需用户输入的校准和校正方法是有益的。关于自适应投影显示的文献有很多。因此，不可能总结全部现有的尝试。不过，此处介绍一些涉及很少或不涉及用户界面的校准方法。
Raij和Pollefeys建议了一种用于在平面上定义显示区域的自动化方法，免除了对定义该区域的物理基准和测量的需要。可使用平面自动校准来确定在单个平面上的投影机投影阵列的内在特性(intrinsics)。然后使用用于平面场景的相对位姿(pose)估计技术来重新构建摄像机、投影机、以及显示平面。Raij和Pollefeys在“Auto-Calibration of Multi-Projector Display Walls”(发表于Proc.Int’l Conf.on Pattern Recognition(ICPR)，Volume I，pages 14-17，2004)一文中描述了他们的技术，该文在此整体引入作为参考。
Raskar和其他人研究了如何以灵活的方法来使用投影机。他们的基本显示单元是一个带有传感器、计算能力和网络能力的投影机。其可以创建与投影于其上的表面或物体相适应的无缝显示。可以处理带有复杂几何形状的显示表面，例如曲面。该技术被描述于R.Raskar，M.S.Brown，R.Yang，W.C.Chen，G.Welch，H.Towles，B.Seales，以及H.Fuchs的“Multi-projector displays using camera-based registration”(发表于VIS’99：Proceedings of the conference on Visualization’99，pages161-168，Los Alamitos，CA，USA，1999(IEEE Computer Society Press))一文中，该文整体并入本文作为参考。
Yang和Welch公开了使用被投影的图像(imagery)中的特征以在预校准的投影机和摄像机之间进行匹配，从而自动确定显示表面的几何形状。然而，该方法的一个问题是，估计算法是以迭代方式工作的，因此不适于实时地连续校正。Yang和Welch在R.Yang和G.Welch的“Automatic projector display surface estimation using every-day imagery”(发表于Pro.Ninth International Conference in Central Europe on Computer Graphics，Visualization，and Comput er Vision，2001)一文中讨论了他们的技术，该文整体并入本文作为参考。
代替在图像间匹配特征，还有将校准辅助嵌入用户图像的有效技术。例如，D.Cotting和其他人讨论了将察觉不到的校准图案嵌入到所投影的图像中。该方法利用数字光处理(DLP)投影机中的微镜像翻转序列并轻微修改了每像素亮度(intensity)以使得被同步的摄像机捕获所需要的图案。该方法可在D.Cotting，M.Naef，M.Gross，和H.Fuchs的“Embedding Imperceptible Patterns Into Projected Images For Simultaneous Acquisition And Display”(发表于ISMAR’04：Proccedings of the 3rd IEEE/ACM International Symposium on Mixed and Augmented Reality，第100-109页，Washington，DC，USA，2004(IEEE Computer Society))，以及D.Cotting，R.Ziegler，M.Gross，和H.Fuchs的“Adaptive Instant Displays：Continuously Calibrated Projections Using Per-Pixel Light Control”(Proceedings of Eurographics 2005，Eurographics Association，第705-714页，2005(Dublin，Ireland，2005年8月29日-9月2日))中找到，其整体在此引入作为参考。不过，这一方法的主要不足在于它要求把投影机的动态范围的一部分牺牲掉，这会导致投影的图像的退化。
一种方法演示了在任意显示表面上不修改被投影图像而校准投影机的方法。该方法被T.Johnson和H.Fuchs公开于“Real-Time Projector Tracking on Complex Geometry using Ordinary Imagery”(发表于Proc.of IEEE International Workshop on Projector-Camera Systems(ProCams)(2007))一文中，该文整体在此引入作为参考。该方法使用一对校准的立体摄像机以首先通过观察投影机所提供的结构化光线图案来重构建表面。该方法还假定表面是分段地平面的，并使用RANSAC以适应显示表面的更精确的几何描述。通过在存储在帧缓冲器和固定摄像机所捕获的投影图像之间进行匹配，该方法重新估计投影机的位姿。
这些技术中的绝大多数假定固定的观察点，并且他们通常使用一个立体摄像机对来重新构建和追踪带有恒定内部投影矩阵的投影机。尽管这些方法提供了相对于现有显示选项的一些优势，但系统校准经常是单调乏味的工作。此外，对新观察位置进行绘制需要进行重校准。
发明内容
为了减轻前述的限制，下文将介绍系统和方法，在实施例中，其使用单个摄像机和具有任意显示表面的单个投影机。在实施例中，系统和方法可自动重校准具有任意内在特性和位姿的投影机，并为任意期望的观察点绘制(render)。相比之前的方法，此处公开的方法使用观察摄像机和投影机以形成立体对。在实施例中，结构化的光被用于执行像素级细度的显示表面重构建。
在实施例中，几何扭曲(warping)被实现为直接纹理映射问题。因此，在实施例中，通过计算新的投影矩阵并将其设置为开放式图形库(OpenGL)摄像机矩阵来执行投影机运动的重校准。在实施例中，为了重校准新的观察点，根据新的摄像机矩阵来修改纹理映射。在实施例中，该方法使用OpenGL和OpenGL阴影语言(GLSL)来实现，OpenGL和GLSL使所述系统和方法可实时绘制视频。需要注意的是，除了OpenGL和GLSL，其它不同的应用程序和应用程序编程接口也可以使用。
此处介绍的方法可包含在包括至少一个存储一个或多个指令序列的计算机可读介质的计算机程序产品中，其中一个或多个处理器执行所述一个或多个指令序列将致使所述一个或多个处理器执行用于校准投影机系统的计算机实现方法。本发明的实施例包括用于校准包括投影机和摄像机的投影机系统的计算机系统或多个计算机系统。
本发明的一些特征和优点在此概要部分中被大致描述；然而，其它特征、优点、以及实施例将在此介绍，或在考虑附图、说明书以及权利要求后对于本领域技术人员而言是明显的。因此，应理解的是，本发明的范围并不局限于本概要部分中公开的特定实施例。
附图说明
将参考本发明的实施例，这些实施例的实例可被示出于附图中。这些附图旨在用于说明而非限制之目的。尽管本发明主要在这些实施例的上下文中被描述，应该理解的是并不试图将本发明的范围限制成这些特定实施例。
图1示出根据本发明的各实施例的投影机-摄像机系统的自动重校准方法；
图2示出根据本发明的各实施例的投影机-摄像机系统；
图3描述根据本发明的各实施例的用于校准摄像机和投影机的方法；
图4描述根据本发明的各实施例的用于重构建显示表面的方法；
图5示出根据本发明的各实施例的使用投影机-摄像机立体对来重构建显示表面的方面；
图6描述根据本发明的各实施例的改进显示表面的重构建的方法；
图7描述根据本发明的各实施例的在重构建的显示表面中填充缺口的方法；
图8示出根据本发明的各实施例的由投影机移动重校准投影机-摄像机系统的方法；
图9示出根据本发明的各实施例的由摄像机移动重校准投影机-摄像机系统的方法；
图10描述根据本发明的各实施例改变观察位置和投影；
图11描述根据本发明的各实施例的校准/重校准系统的实施例；以及
图12描述根据本发明的各实施例的计算系统。
具体实施方式
在以下描述中，为了说明的目的，给出了特定的细节以提供对本发明的理解。然而，对于本领域技术人员而言，本发明显然可在无这些细节的情况下实现。本领域技术人员将认识到，本发明的实施例，其中部分将在下文中描述，是可以并入多个不同的系统和设备，其示例而非限制地包括：多媒体系统、影院系统、视频会议系统、投影系统、游戏系统、计算机系统等。本发明的各方面可以以软件、硬件、固件、或其组合来实现。
图表中所示的部件或模块是对本发明的示例性实施例予以说明，并用于使本发明更清楚。还应理解的是，在此处的讨论中，部件可以被描述为分离的功能单元，其可包括子单元，但本领域技术人员将认识到，这些各种部件，或其部分，可以被分成分离的部件或可集成在一起，包括集成在单个的系统或部件中。
另外，附图中的部件/模块之间的连接并不意图被限定为直接连接。相反，这些部件之间的数据可以被中间部件修改、重格式化、或作其它修改。而且，可以使用额外的或更少的连接。还需要注意的是，术语“耦合”或者“通信耦合”应被理解为包括了直接连接、通过一个或多个中间设备的间接连接、以及无线连接。
说明书中提到的“实施例”表示结合实施例所描述的特定的特征、结构、特性、功能被包含在本发明的至少一个实施例中并可在超过一个实施例中。短语“在一个实施例中”或“在实施例中”，在说明书中的多处并不是必然引用相同的实施例。
A.概述
此处介绍用于具有用户友好且健壮的自动重校准，并可为任意规定的观察点绘制透视-校正图像的自适应投影机显示系统的系统和方法。很多研究者对该问题有兴趣且建议了不同的方法。以前的尝试描述了用于校正在非平面表面被用于显示时所发生的几何形状畸变的大致方法。其它方法提出执行自动校准，其避免在显示配置变化时的显示中断。一些自动校准技术使用校准辅助(例如，在被投影图像中的不可察觉的校准图案)。被动的方法则检测和匹配用户图像中的特征以自动估计显示表面的几何形状。
这些技术中的绝大多数假定固定的观察点，并且他们通常使用一个立体摄像机对来重新构建和追踪带有恒定内部投影矩阵的投影机。尽管这些方法提供了相对于其他显示选择的一些优势，但系统校准经常是单调乏味的工作。此外，对新观察位置进行绘制需要进行重校准。
此处介绍的系统和方法根本上不同于这些现有的方法。首先，在实施例中，该系统和方法一起使用一个摄像机和一个投影机以重构建显示表面的精细(每像素级别)细节。和此前的方法相反，使用观察摄像机和投影机来形成立体对。第二，在实施例中，该系统和方法允许在显示期间改变投影机的内部和外部(位姿)投影矩阵。第三，在实施例中，该系统和方法还允许任意的用户期望的观察位置改变。
此处介绍系统和方法减轻了前述的现有方法的限制。在实施例中，单个摄像机和具有任意显示表面的单个投影机，可以自动重校准投影机的任意内部和外部特性(位姿)，还可为任意的期望观察点绘制。
B.方法实施例
1.概要方法
图1呈现了根据本发明的各实施例的自动校准投影机-摄像机系统的概要方法。图2描述了根据本发明的实施例的典型投影机-摄像机系统配置。系统200包括投影机210和摄像机220，其分别耦合到计算系统230。计算系统230和投影机210连接以将图像提供给投影机210以供投影，并和摄像机220连接以接收摄像机220所捕获的图像。还描述了显示表面240，其可为任意的非平面表面。
在图1中所描述的实施例中，方法100从校准摄像机和投影机的内部和外部参数开始。给定校准的投影机-摄像机立体对，显示表面可重构建110。重构建显示表面建立了一对应，其将一组投影机像素经由一组显示表面点映射到一组摄像机像素。如果投影机或摄像机被移动并/或用于投影机校正，则所述到显示表面的对应可被使用115以帮助重校准投影机-摄像机系统。以下将描述这些步骤的各种实施例。
2.校准摄像机和投影机的内部和外部参数
图3描述了根据本发明的各实施例的用于校准摄像机和投影机的方法300。图3的方法300是可用于校准105(图1)摄像机和投影机的内部和外部参数的方法实施例。
投影机(例如，投影机210)可被视为一对针孔摄像机，而其内部和外部参数可被表达为与摄像机(例如，摄像机220)的参数一样。在实施例中，一个带有红-白色(尽管本领域技术人员应认识到其它颜色可被使用)的检测图案被放置305到一个平板上，例如显示表面240。另一个带有相同行数和列数的绿-白色(尽管本领域技术人员应认识到其它颜色可被使用)的检测图案被投影310到该板上。一组检测图案的图像可由摄像机所捕获315。这些图案的部分，例如角，可被检测320、340作为特征化点并用于校准325、345。
由于两个检测图案在统一平面上，摄像机图像和投影机图像中的对应满足相同的单应性(homography)约束。让
Figure BDA0000043782670000071
以及
Figure BDA0000043782670000072
表示摄像机图像中的红和绿角，让
Figure BDA0000043782670000073
表示投影机图像中的绿角。角的位置被估计从而带有角
Figure BDA0000043782670000074
的图案被投影，所投影的图案应该和实际的红色检测板图案一致。因此，得到下式：
Figure BDA0000043782670000075
Figure BDA0000043782670000081
通过使用xcg和xpg，可以计算单应性H，其中H是一个3x3的矩阵。求得单应性的倒数，H-1，等式(1)可重写如下：
Figure BDA0000043782670000082
通过获取315包含实际红色检测板图案和绿色投影图案的一组图像，可得到一组经估计的图像角xpr。因此，校准过程以和校准摄像机完全一样的方法完成。
在实施例中，由于期望投影机和摄像机在相同的坐标系统中被校准，将所检测的角的顺序保持为和实际检测板以及投影机图像中的图案相一致是重要的。
在实施例中，可通过分离摄像机和投影机的校准来简化校准过程。在实施例中，摄像机的校准可使用校准方法，例如Zhang的方法(仅举例而非限制)来执行，该方法在Z.Zhang的“A Flexible New Technique for Camera Calibration”(发表于IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.22，no.11，pp.1330-1334，2000)一文中讨论，该文整体并入本文作为参考。需要注意的是，Zhang的校准方法是本领域技术人员所熟知的，并且，本领域技术人员应认识到其它方法可被用于校准，并认识到并无特定校准方法对本发明而言是必需的。一组带有检测图案的图像可被投影330到不同位置和位姿的平面并被捕获335。需要注意的是，摄像机的投影矩阵，Pc，是已知的，而投影机投影矩阵，Pp，将被计算。
给定：
Figure BDA0000043782670000083
Figure BDA0000043782670000084
同时注意
Figure BDA0000043782670000085
使用一组特征，例如xcg和xpg，可以计算出单应性H。还需注意：
H·Pp＝Pc        (5)
因此，对每个检测板角位置，存在一个线性系统。可使用奇异值分解SVD来求解投影机的投影矩阵，Pp。
3.重构建显示表面
摄像机和投影机形成一个有效的立体对。在校准摄像机和投影机之后，可使用三角测量来重构建显示表面。图4描述了根据本发明的多种实施例重构建显示表面的方法。
在图4中描述的实施例中，方法400从获取405显示表面的逆光传输矩阵或逆光传输矩阵的近似开始。所述逆光传输矩阵或逆光传输矩阵的近似可被直接用于获取410投影机像素和摄像机像素之间的对应。由于摄像机图像通常会比投影机包含更多的像素，因此对于每个投影机像素，可计算一个摄像机像素的补片(patch)。在实施例中，摄像机像素的补片的质心可被用作415供重构建的对应像素。
校准过程获得摄像机和投影机的投影矩阵，其可用于重构建显示表面。在实施例中，可通过到图像表面的反投影(back-projection)来确定三维显示结构。对每个带有齐次(homogeneous)坐标[u，v，1]及其对应三维坐标X[x，y，z，1]的像素，有以下等式：
u · w v · w w = P · X = P 1 P 2 P 3 x y z 1 , 其中w是标量值。(6)
等式(6)可以被重写为：
w＝P3X
uP3X＝P1X        (7)
vP3X＝P2X
该式可以进一步简化为
P 1 - u P 3 P 2 - v P 3 · X = 0 - - - ( 8 )
已知摄像机和投影机的u、v和P，可为摄像机和投影机的每一个生成两个线性等式。在实施例中，奇异值分解SVD可被用于解四个等式的线性系统以求解X。
在三角测量后，对每个投影机-摄像机像素对，获得420一组点、或点云，其由对应于每对对应(correspondence)的三维坐标所表示。就是说，对于每个投影机像素和对应的摄像机像素，有一个对应的三维显示表面点。
图5示出了根据本发明的各实施例的使用投影机-摄像机立体对来重构建显示表面的方面。附图5中描述了一个投影机510、以及摄像机530、一个显示表面550，其可为非平面显示表面。投影机510具有相关的投影机图像515，其包括一像素阵列。类似地，摄像机530具有相关的摄像机图像535，其包括一像素阵列。可获得显示表面的光传输矩阵，T(570)，其将摄像机图片535关联到投影机图像515。从投影机510发射的光线被取向为朝向显示表面550，其中一部分最终到达摄像机传感器535。来自投影机中的像素的光线到达摄像机并形成一个mxn的图像，其中摄像机中的每个像素接收特定量的光。如果所投影的图像被表示为一个(p×q)×1向量p，而所捕获的图像被表示为一个(m×n)×1向量c，然后在投影机和摄像机之间的光传输被写为c＝Tp，其中T称作光传输矩阵。
在摄像机和投影机之间的关系也可由逆光传输矩阵T-1表示，如图5中的575所示。逆光传输矩阵T-1对多种应用是有用的，例如推断未知的投影机图像或分析光在任意场景中传播(bounce)的方式。例如，给定一个投影机-摄像机系统，从而c＝Tp，并给定c，为了推断未知的p，逆光传输矩阵T-1被用于计算投影机图像，p＝T-1c。
如上所提到的，因为摄像机图像通常包含的像素比投影机多，因此对每个投影机像素(例如，520)，可计算摄像机像素的补片(例如，540)。在实施例中，摄像机像素的补片(例如，540)的质心(例如，545)可被用作用于重构建的对应像素。
图5中示出了一组三维重构建显示表面点555。在实施例中，首先考虑相对于投影机像素坐标的表面表示；并且，每个投影机像素(例如，520)对应于显示表面三维点(例如，560)，并且该点在摄像机图像中有一个对应(例如，545)。
在实施例中，由于所述一组显示表面点可能包含由于图像噪声、数字错误、和/或其它因素导致的一些异常值(outlier)，可执行额外的处理以细化425所述一组显示表面点。本领域技术人员应该认识到，有许多方法来细化被噪声或其它人为现象所影响的一组数据，这些方法可在此使用。图6描述了根据本发明的各实施例的用于细化显示表面的重构建的方法。
图6中所示的方法600从计算605显示表面位置的统计特性开始。计算605三维显示表面位置的平均数(均值、中值或模数)[xm，ym，zm]和偏差设定期望范围的阈值，在该预期范围外的点被排除610。在实施例中，满足以下条件的点被选中：
|x-xm|＜dx·a，|y-ym|＜dy·a，|z-zm|＜dz·a，(9)
其中a是阈值系数。在实施例中，a的值被设为2.8；然而，本领域技术人员将认识到，其它值可被使用。在实施例中，可通过尝试不同值的试验从而经验化地选择a。
在实施例中，可为一组点(即，局部区域)的每一个，而不是为整组点执行平均数(均值、中值或模数)和标准偏差的计算以及排除界外点的阈值处理过程。在实施例中，可通过在投影机图像平面或摄像机图像平面中选择局部的像素窗口(例如，5x5的像素窗口)来获得三维显示表面点的局部集合，并将该三维显示表面点的局部集合设置为和图像平面像素的局部窗口对应的点。在实施例中，阈值处理过程可在局部窗口内执行但可使用来自整组点而非来自局部窗口的平均数(均值、中值或模数)和标准偏差。
在阈值处理后，所重构建的显示表面点可包括缺口(hole)或无效点，因为异常值被移除了。就是说，当一个显示表面点被排除时(例如，图5中的565)，投影机平面中的与所排除的显示表面点对应的像素因为没有对应的显示表面点而有一个“缺口”。本领域技术人员应认识到，有很多方法去填充一组或多组数据内的数据间断(gap)，包括但不限于内插。例如，在实施例中，为了填充这些缺口，将德劳奈(delaunay)三角测量应用到带有有效三维坐标的点云上，然后使用含缺口的最近三角来内插该缺口。
在可选实施例中，由于投影机可能有高分辨率，德劳奈三角测量和内插方法可能是低效的(德劳奈三角测量的最快实施是O(n＊log n)，其中n是投影机分辨率(例如，1024x768))。为了解决该问题，可使用局部德劳奈三角测量和内插方法。
图7描述了根据本发明的各实施例的用于在重构建的显示表面中有效填充缺口的方法。图7所示的方法700背后的主要概念是使用最近的有效点(邻域系统)来为缺口(无效点)计算局部德劳奈三角测量。对于每个缺口，动态地定义一个窗口作为邻域，该领域中具有足够的有效点用于执行德劳奈三角测量和内插。如图7中所示，在实施例中，使用距离转换，例如但非限制地在两维图像平面上操作的斜切(chamfer)距离变换，以计算705从缺口像素到有效像素的距离图(map)。
在搜索投影机图像平面时，当遇到缺口时，找到(710)距离图的局部最大值，该距离值定义窗口大小。在实施例中，通过沿着梯度上升方向搜索以找到局部最大值。基于该局部窗口大小，局部窗口内的对应三维表面点是德劳奈三角测量，其被用于内插(715)丢失的三维显示表面点。
需要注意的是，摄像机通常比投影机的分辨率高。回忆一下，如附图5中所示出的，单个投影机像素(例如，520)可能对应多个摄像机像素(例如，540)，一个质心(545)被用于计算。在实施例中，可使用内插来填充摄像机像素。在实施例中，可使用双线性内插来填充摄像机像素到三维显示表面点的对应。
在可选实施例中，摄像机像素和显示表面的对应可相对于投影机图像平面以类似如上所述的方式执行。就是说，可通过以下步骤执行内插：(1)计算距离图；(2)建立局部三角测量网(mesh)；(3)在局部三角测量网内内插。然而，应该注意的是，本领域技术人员应该认识到其它用于在摄像机像素对应映射中填充的方法。
需要注意的是，作为结果，有两个对应映射：投影机像素到3D显示表面的对应以及摄像机像素到3D显示表面的对应。因此，应该注意的是，投影机像素具有经由三维显示表面像素到摄像机像素的对应。在实施例中，这些对应被保存并可被用于将在下文中说明的快速重校准。
4.投影校正和快速重校准
a)实时几何图形感知绘制
在实施例中，为了从观察摄像机的视点来投影透视校正图像，该透视校正被建模为直接纹理映射过程。由于在实施例中重构建的表面是相对于观察摄像机的图像坐标系统而相关联的，通过定义从摄像机视角的期望图像，图像像素可直接被映射到三维点云上。
从期望图像到投影机的输入图像的扭曲然后可被建模为一个直接绘制问题。在实施例中，OpenGl被用于绘制带有从期望图像映射的纹理的顶点阵列(表示点云)。然而，本领域技术人员应认识到，可使用其它图形应用程序编程接口。基于图形的扭曲还允许实时视频投影。
此处介绍的系统和方法的益处是：他们提供了对于处理两个经常面对的重校准情形(投影机移动和视角变换)的灵活性。此处介绍的系统和方法可以自动重校准以适应这些变化。在实施例中，被投影所覆盖的显示表面假定是非平面的。
b.重校准投影机移动
在运行时，投影机的运动使得逆光转换所定义的补偿不再有效。图8示出了根据本发明实施例的由于投影机移动重校准投影机-摄像机系统的方法。
在实施例中，为了重校准投影机-摄像机系统，覆盖投影机图像的全部或大部分的图案，例如检测板图案，被投影(805)。该图案具有特征，其像素位置在投影图像中已知。所投影的图像被固定摄像机所捕获(810)。检测(815)诸如检测图案角的一组特征点。在实施例中，由W.Sun，X.Yang，S.Xiao，以及W.Hu在“Robust Checkebroad Recognition For Efficient Nonplanar Geometry Registration In Projector-Camera Systems”一文(发表于PROCAMS’08：Proceedings of the 5th ACM/IEEE International Workshop on Projector Camera Systems，pp.1-7，New York，NY，USA，2008，ACM，该文整体并入本文作为参考)中提出的方法可被用来在非平面的显示表面所引入的畸变下检测角；然而，应注意，并无特定的检测方法对于本发明是必需的。
具有三维显示表面的点云的几何图被用于获得(820)对应于固定摄像机中的被检测特征点像素的三维点。由于投影机图像中的特征点是已知的，可获得(825)涉及从与摄像机图像点的相关性获得的三维显示表面点与投影机图像像素的对应。就是说，投影机输入图像和摄像机所观察的图像之间的两维像素对应被检测到。由于从三维表面点到摄像机像素的3D到2D对应是已知的，所以可获得从三维表面点到投影机输入图像像素的3D到2D对应。可从该3D到2D对应映射计算投影机的新投影矩阵。在实施例中，这些三维点可被假定为非共面的；因此，它们提供了用于获得投影机在新位姿下的新投影矩阵P的充分约束，所述新投影矩阵应被构建以表示新的位置、新的取向、或新的位置与新的取向。
在实施例中，新投影矩阵，P，可如下获得(830)。给定在两维投影机图像素坐标(x)和三维显示表面点(X)之间的一组N对2D-3D点对应(x，X)，由以下公式给出转换：
x＝PX    (10)
其等同于以下公式：
x×PX＝0，其中“×”表示叉乘    (11)
该等式可被重写为：
0 - X T y X T X T 0 - x X T P 1 P 2 P 3 = 0 - - - ( 12 )
因此，N个对应得到2N个线性等式。在实施例中，使用奇异值分解SVD来求解投影矩阵。
在实施例中，通过在OpenGL中改变投影矩阵，可为新投影机位置绘制正确的扭曲。需要注意的是，如果三维点并不位于统一平面，则所述约束足以确定唯一解。否则，可能会不明确。然而，这通常不会影响绘制结果，因为任一方案都针对的是最小化重校准误差。
c)为新观看位置的投影
不同于以前的系统，本系统和方法可以创建任意的观看角度，而非仅仅来自固定的观察摄像机位置。需要注意的是，投影机所投影的图像或若干图像被捕获的新观看位置可被一观看者所捕获(观看)，所述观看者可为摄像机、一个人、或一群人。
图9示出了根据本发明的各实施例由于摄像机移动重校准投影机-摄像机系统的方法。
在实施例中，考虑与固定观察摄像机具有相同内部特性的虚拟观看摄像机，并将该虚拟观看摄像机的投影中心(COP)置于用户期望位置。该虚拟观看摄像机相对于被用于初始校准的固定捕获摄像机的平移和转动被加以计算(905)。在实施例中，可通过为摄像机投影矩阵假定相同的内部矩阵，并通过从该摄像机矩阵中分解出内部矩阵，从而获得平移和转动信息。在可选实施例中，可从诸如激光指示器和传感器、射频识别标签、红外指示器和传感器等的定位设备获得平移和转动信息。在实施例中，定位设备可嵌入在远程控制中，其中远程控制的位置被用作观看位置。在另一个实施例中，用户界面可描述投影机显示环境并可从用户接收规定不同视点的输入。相对于当前视点对新视点的选择可被用于计算平移和旋转。
使用相同的内部参数，虚拟摄像机的新投影矩阵被计算(910)。在实施例中，可通过将内部参数与平移及旋转信息相乘以计算新的投影矩阵。
在实施例中，为新的视点重校准的另一方法包括：在期望观看位置放置观察摄像机、拍摄使用初始光传送矩阵投影的场景的图像、然后找出在投影图像和摄像机捕获图像之间的特征对应。从投影机像素到3D表面点的2D到3D对应是已知的，而从表面点到摄像机像素的3D到2D对应可容易地获得。因此，等式x＝PX可被用于直接计算新的投影矩阵。注意摄像机投影矩阵的重构建只需要一副图像因此非常快。
在实施例中，为了从新的视点投影透视校正图像，可修改纹理映射过程。在实施例中，纹理映射可实施为顶点着色器(vertex shader)程序。新的摄像机投影矩阵可被设为(915)顶点着色器的输入，并通过使用投影矩阵将顶点投影到新的摄像机图像平面以计算三维点云中的每个顶点的纹理坐标。
5.在新投影矩阵下计算投影
一旦摄像机视点或投影机位置被改变，在投影机和摄像机之间的光传输矩阵不再准确。需要为新的摄像机/投影机位置计算更新的光传输矩阵。在实施例中，可通过置换(permute)初始光传输矩阵来获得更新的光传输矩阵。
例如，在实施例中，当投影机改变其位置时，可使用以下过程来计算更新的光传输阵列。对于光传输矩阵的每一行(例如，r0)，其对应于一个原始的投影机像素(例如，[x0，y0])，且使用对应映射找到其对应的三维显示表面点。接下来，使用新的投影机投影矩阵来投影三维显示点以获得其新的像素坐标(例如，[x1，y1])和新的行位置(例如，r1)。在实施例中，当像素坐标不是整数时，可在像素的局部邻域(例如，4个相邻像素)内执行子像素内插。在实施例中，可应用类似的过程来置换列以计算新的光传输矩阵。
在实施例中，为了获得实时性能，可使用诸如加利福尼亚Santa Clara的NVIDIA公司销售的计算统一设备架构(CUDA)GPU的图形处理单元(GPU)用于实现计算新的光传送矩阵和计算光传输矩阵和摄像机图像的相乘。
在实施例中，当显示表面接近全白且辐射失真可被忽略时，可由对应映射来简化光传送矩阵。因此，通过使用多通道绘制来利用GPU图形管线可直接获得重校准。特别地，当观察摄像机(观看摄像机)改变位置，可使用3D到2D对应映射给每个表面点分配像素颜色。并且，三维显示表面点被投影到投影机图像平面，并被分配来自三维显示表面点颜色的像素颜色值。在实施例中，这些步骤可采用点着色器直接实现。因此，双通道绘制可直接输出图像作为投影机的输入，其将为在观看位置的预期图像产生透视校正投影。当改变投影机的位置时，而应用类似的过程。
6.交互绘图(drawing)和纹理化(texturing)
应注意的是，给定显示表面(点云)的像素级几何形状，可实现交互的几何形状感知的绘图功能。通过图形用户接口或其它类型的用户接口，用户可创建或绘画从任意的用户选择的透视的图像或若干图像。所得到的用于校正观看的扭曲的图像可然后被投影到显示表面上。
在实施例中，该系统可允许用户在显示表面上选择一个范围，并规定任意的一个或多个期望图像作为纹理以映射到所选择的显示表面区域。例如，考虑附图10中的描述。例如，在实施例中，系统可向用户显示显示环境1000-A和1000-B或显示表面1040的描述。用户可高亮或者选择显示表面1040的用于观看的区域(例如，1055-A，1055-B)和观看位置(例如，1050-A，1050-B)。已经被初始地校准的投影机-摄像机系统(1010、1020、和1030)可使用观看位置的改变(例如，从1050-A到1050-B)来调整图像以从新的观看位置(例如，1050-B)进行正确观看。
由于显示表面被表示为形成致密点云的一组点，直接简单的顶点选择算法可能是耗时的，尤其是因为对于可能具有高分辨率的摄像机图像坐标系统使用了点云。如果用户想要让绘图/图像功能变为实时交互的，调节新选择的性能可能是重要的。在实施例中，为了加速选择和图像调节，显示表面点的点云集合可被存储以改善访问。例如，在实施例中，基于四叉树的细节级别的方法可被用于存储点云并以粗到细的方式执行选择，从而降低从O(n)到O(log n)的运行时间。
C.系统实施例
图11示出了根据本发明的各实施例的投影机-摄像机系统。描述了通信地耦合到投影机1110和摄像机1120的成像系统1105。在图11所述的实施例中，成像系统1105包括和投影机1110连接的投影机驱动器1115。投影机驱动器1115给投影机1110提供图像，例如而非限制地包括一个或多个含一组特征的图像和被调整以用于透视校正观看的图像。在图11所示的实施例中，成像系统1105包括和摄像机1120通信的摄像机驱动器1125。摄像机驱动器1120从摄像机820接收图像，例如而非限制地包括一个或多个包含一组特征的图像。
在实施例中，成像系统1105还包括特征点探测器1130，其通信地耦合至并接收摄像机所捕获的一个或多个图像。特征点检测器1130检查所捕获的一个或多个图像以识别特征点的摄像机像素位置。例如，在实施例中，投影机驱动器1115使得投影机1110显示一组检测板图案图像，摄像机驱动器1125使得摄像机捕获所述一组检测板图案图像，而特征点探测器1130在所述一组检测板图案图像中检查特征点。在实施例中，特征点探测器1130接收在投影机图像中的特征点位置，并使用该信息以帮助在所捕获的一个或多个图像中定位特征。本领域技术人员应认识到特征点探测器1130可实现多种特征点探测方法中的任一个。
在实施例中，成像系统1105还包括单应性计算器1135，其接收关于在投影机像素和所捕获的图像像素之间相关联的特征点的信息。如上所述，给定已知的投影机像素和所探测的摄像机像素，可使用投影机-摄像机像素对来计算单应性。在实施例中，单应性计算器1135还计算单应性转换的逆。在可选实施例中，成像系统1105包括接收单应性并计算其逆的逆单应性计算器(未示出)。
在实施例中，成像系统1105还包括投影矩阵计算器1140，其计算摄像机和投影机的投影矩阵。在实施例中，投影矩阵计算器1140使用如前讨论的方法中的一个或多个，例如结合附图1、3、8、9所讨论的方法来计算投影矩阵。本领域技术人员应认识到，投影机矩阵可实现计算投影矩阵的多种方法中的任一个。
在实施例中，成像系统1105还包括光传输矩阵计算器1145，其计算在投影机像素和所捕获的图像像素之间的光传输矩阵。在实施例中，光传输矩阵计算器1145还计算光传输矩阵的逆的至少一个近似。在可选实施例中，成像系统1105包括逆光传输矩阵计算器(未示出)，其接收光传输并计算其至少一个近似。在实施例中，可使用观看投影矩阵，其为光传输矩阵的正交版本，并且该观看投影矩阵的逆可被用作逆光传输矩阵的至少一个近似，这在2007年1月12日提交的美国专利申请11/623,016(公开号：US 2007/0171382A1)中有所讨论，该专利申请要求2006年12月19日提交的美国专利申请11/613,129(其又根据35U.S.C.§119(e)要求2006年1月24日提交的美国临时申请60/762,178的优先权)的优先权，其整体都在此引入作为参考。
在实施例中，成像系统1105包括显示表面重构建器1150，其使用从逆光传送矩阵获得的投影机像素和摄像机像素之间的对应以及投影矩阵以三角化测量三维显示表面点。在实施例中，显示表面重构建器1150可实现结合附图4所讨论的方法中的一个或多个。在实施例中，显示表面重构建器1150还执行附加的后处理。例如，显示表面重构建器1150可细化如前所讨论的三维显示表面点。在实施例中，显示表面重构建器1150可通过使用结合附图6和7所讨论的方法中的一个或多个来细化显示表面点。
在实施例中，成像系统1105包括用于纹理映射的纹理映射器1155。在各实施例中，纹理映射器1155可被实现为顶点着色器。
在实施例中，成像系统1105包括促进用户和本发明的实施例之间的交互的用户界面模块1160。用户界面模块1160可为图形用户界面，用户界面在其中图形地向用户描述显示环境。在实施例中，用户界面可从用户接收输入。输入可包括：显示环境的用户改动，其中对于新观看位置的图像被改动从而对于观看者仍然是透视地校正的；从任意用户选择的透视对显示图像的编辑，等。图10描述了显示环境的例子，该显示环境可被呈现给用户，允许用户为投影机选择显示环境的一区段以显示图像，此外还允许用户选择用户观看点。
在实施例中，成像系统1105包括四叉树数据存储器1165，其促进三维显示表面点的有效存储和访问。在实施例中，四叉树数据存储器采用四叉树细节级别的方法以存储三维显示表面点1165的至少部分。
在实施例中，计算系统可被配置以执行此处所述的方法中的一个或多个。实现此处所述的方法中的一个或多个的系统可包括在计算机系统上操作的校准应用程序，其和投影机以及摄像机连接并从其接收(直接或间接)数据。该计算机系统可包括一个或多个计算机和一个或多个数据库。在实施例中，校准应用可为投影机或摄像机的一部分或可为单独的设备。
应注意的是，本发明可以实施为任何可以处理图像数据的指令-执行/计算设备或系统，其非限制地包括：通用计算机，和专用计算机，例如专用于数据或图像处理的计算机。应注意的是，本发明也可实现为其它计算设备和系统，非限制地包括：数字摄像机、投影机、多媒体设备、以及任何其它投影、处理、捕获、传送、或存储图像的设备。另外，在任何这些设备中，本发明的方面可被以广泛的方式实现，包括软件、硬件、固件、或其组合。例如，执行本发明的各方面的功能可由以广泛的方式所实现的部件来执行，包括分离的逻辑部件、一个或多个专用集成电路(ASIC)，和/或程序控制的处理器。应注意的是，实现这些项目的方式对本发明并不是必需的。
图12描述了可实现或体现本发明的实施例的指令执行/计算设备1200的实施例的功能块图解。如图12中所示出的，处理器1202执行软件指令并和其它系统部件交互。在实施例中，处理器1202可为通用处理器，例如(旨在举例而非限制)AMD处理器、INTEL处理器、SUNMICROSYSMTEMS处理器、POWERPC兼容CPU、或者处理器可为一个或多个应用专用处理器。耦合到处理器1202的存储设备1204提供数据和软件程序的长期存储。存储设备1204可为硬盘驱动器和/或其它可以存储数据的设备，例如计算机可读介质(例如，软盘、磁带、光盘、DVD等)驱动器或固态存储器设备。存储设备1204可保持用于和处理器1202使用的程序、指令、和/或数据。在实施例中，存储在存储设备1204上或从中读取的程序或指令可被载入存储器1206并被处理器1202所执行。在实施例中，存储设备保持用于在处理器1202上实现操作系统的程序或指令。在一个实施例中，可能的操作系统包括，但不限于UNIX、AIX、LINUX、Microsoft Windows、以及Apple MAC OS。在实施例中，操作系统在计算系统1200上执行，并控制计算系统1200的操作。
耦合到处理器1202的可寻址存储器1206可被用于存储数据和要被处理器1202执行的软件指令。存储器1206可为，例如，固件、只读存储器(ROM)、闪存、非易失性随机存取存储器(NVRAM)、随机存取存储器(RAM)、或其组合。在一个实施例中，存储器1206存储多个软件对象，或者称作服务、工具、部件、或模块。本领域技术人员也可以认识到，存储装置1204和存储器1206可为相同项目并以两个容量工作。在一个实施例中，此处所描述的方法中的一个或多个可被体现在存储在诸如存储器1204、1206的计算机可读介质中、并被处理器1202所执行的一个或多个模块中。
在一个实施例中，计算系统1200提供了和其它设备、其它网络、或此二者相通信的能力。计算系统1200可包括一个或多个网络接口或适配器1212、1214以将计算系统1200通信地耦合到其它网络或设备。例如，计算系统1200可具有网络接口1212、通信端口1214、或二者皆有，这其中的每一个通信地耦合到处理器1202，且其可被用于耦合计算系统1200与其它计算机系统、网络、和设备。
在一个实施例中，计算系统1200可包括耦合到处理器1202的一个或多个输出设备1208，用于促进显示图形和文本。输出设备1208可包括但不限于：显示器、LCD屏、CRT监视器、打印机、触摸屏、或其它用于显示信息的设备。在实施例中，双极(dipole)信息可被用于图形地描述被检查的部分。在实施例中，主体部分作为主体部分的模型的一部分并且还可以以多种时间间隔描述主体部分。计算系统1200还可包括图形适配器(未示出)以帮助在输出设备1208上显示信息或图像。
耦合到处理器1202的一个或多个输入设备1210可被用于促进用户输入。输入设备1210可包括但不限于指示设备，例如鼠标、轨迹球、或触摸板，且也可包括键盘或小键盘以将数据或指令输入计算系统1200。
在一个实施例中，计算系统1200可经过通信端口1214、网络接口1212、存储器1204/1206中的存储数据，或经过输入设备1210从扫描仪、复印机、传真机、投影机、摄像机、传感器、或其它计算设备接收输入。
本领域技术人员将认识到，计算系统对于本发明的实施并不是必需的。本领域技术人员也将认识到，前述的一些元件可以物理地和/或功能地分离为子模块或组合在一起。
应注意的是，本发明的实施例可进一步涉及带有计算机可读介质的计算机程序产品，所述计算机可读介质上具有计算机代码，用于执行各种计算机实现的操作。该介质和计算机代码可为出于本发明之目的而专门设计并构建的，或者它们可为本领域技术人员已知或可用的类型。计算机可读介质的例子包括但不限于：磁性介质，例如硬盘、软盘、或磁带；光学介质，例如CD-ROM和全息设备；磁光介质；专门被配置用于存储或用于存储并执行程序代码的硬件设备，例如专用集成电路(ASIC)、可编程逻辑器件(PLD)、闪存设备、ROM和RAM设备。计算机代码的例子包括机器码，例如由编译器所产生，以及包含由计算机使用解码器执行的高级代码的文件。本发明的实施例可完全或部分由可在由计算机执行的程序模块中的机器可执行指令实现。程序模块的示例包括：库、程序、例程、对象、部件、和数据结构。在分布式计算环境中，程序模块可被物理地分布在本地、或远程、或二者皆有的配置中。
本领域技术人员将可理解的是，在前的实例和实施例是示例性的而非在限制本发明的范围。旨在在阅读说明书并对研究了附图后对本领域技术人员明显的所有的置换、增强、等效、组合、以及改进包括在本发明的精神和范围之内。因此，旨在所附权利要求包括落入本发明的精神和范围的这些修改、置换、和等效。

Claims (20)

1.一种计算机程序产品，包括至少一个存储一个或多个指令序列的计算机可读介质，其中由一个或多个处理器执行所述一个或多个指令序列使得所述一个或多个处理器执行用于校准投影机系统的计算机实现方法，所述投影机系统包括摄像机和投影机，所述摄像机和投影机的每个被取向为朝向显示表面，所述计算机实现方法包括：
获取经由一组显示表面点将一组投影机像素映射到一组摄像机像素的对应；以及
响应于处于不同位姿的所述投影机：
使用所述投影机将一组特征点投影到所述显示表面，所述一组特征点具有已知的投影机像素位置；
使用所述摄像机捕获所述一组特征点的至少部分；
检测来自所述一组特征点的一组被检测特征点；
使用所述一组被检测特征点的至少部分将投影机像素关联到所述摄像机像素；
使用所述对应将所述关联的投影机像素映射到来自所述一组显示表面点的显示表面点；以及
使用所述映射的对应来获取用于处在不同位姿的投影机的新投影矩阵。
2.如权利要求1所述的计算机程序产品，其中所述获取经由一组显示表面点将一组投影机像素映射到一组摄像机像素的对应的步骤包括：
获取用于所述投影机的投影机投影矩阵和用于所述摄像机的摄像机投影机矩阵；
使用逆光传输矩阵的至少一个近似来获取在投影机像素和摄像机像素之间的关联；以及
使用所述在投影机像素和摄像机像素之间的关联、所述投影机投影矩阵、以及所述摄像机投影机矩阵来获取一组显示表面点和所述对应。
3.如权利要求2所述的计算机程序产品，其中所述使用所述在投影机像素和摄像机像素之间的关联、所述投影机投影矩阵、以及所述摄像机投影机矩阵来获取一组显示表面点和所述对应的步骤包括：
从投影机图像平面并从摄像机图像平面反投影以为所述一组显示表面点中的至少部分显示表面点三角测量位置。
4.如权利要求2所述的计算机程序产品，还包括：
细化所述一组显示表面点。
5.如权利要求4所述的计算机程序产品，其中所述细化所述一组显示表面点的步骤包括：
从所述一组显示表面点中识别一组异常值点；
将所述一组异常值点从所述一组显示表面点中排除；以及
生成一组替换点以替换被排除的所述一组异常值点。
6.如权利要求5所述的计算机程序产品，其中所述生成一组替换点以替换被排除的所述一组异常值点的步骤包括：
对所述一组异常值点中的每个被排除的点，使用一组有效显示表面点以为该被排除的点内插一值。
7.如权利要求6所述的计算机程序产品，其中所述使用一组有效显示表面点以为该被排除的点内插一值的步骤包括：
计算从所述一组异常值点的至少部分到一组未排除的显示表面点的距离映射；以及
对于所述一组异常值点中的被排除的点：
使用所述距离映射的局部最大值以定义局部窗口；以及
使用位于所述局部窗口内的所述一组未排除的显示表面点的至少部分来计算德劳奈三角测量，从而为所述被排除的点内插一值。
8.如权利要求1所述的计算机程序产品，还包括：
使用所述新投影矩阵以改变通过所述投影机投影的图像。
9.一种计算机程序产品，包括至少一个存储一个或多个指令序列的计算机可读介质，其中由一个或多个处理器执行所述一个或多个指令序列使得所述一个或多个处理器执行用于校准投影机系统的计算机实现方法，所述投影机系统包括摄像机和投影机，所述摄像机和投影机的每个被取向为朝向显示表面，所述计算机实现方法包括：
获取经由一组显示表面点将一组投影机像素映射到一组摄像机像素的对应；以及
响应于采用不同于所述摄像机位置的观看位置：
获得用于所述观看位置的新摄像机投影矩阵；以及
使用所述对应以计算新光投影矩阵以改变通过所述投影机投影的图像。
10.如权利要求9所述的计算机程序产品，其中所述使用所述对应以计算新光投影矩阵以改变通过所述投影机投影的图像的步骤包括：
将所述新投影矩阵设置为纹理映射器的输入；以及
通过使用所述新投影矩阵来将顶点投影到所述新观看位置的图像平面，在来自所述一组显示表面点的一组显示点中为每个顶点计算纹理坐标。
11.如权利要求9所述的计算机程序产品，其中所述使用所述对应以计算新光投影矩阵以改变通过所述投影机投影的图像的步骤包括：
使用在所述摄像机和所述显示表面之间的所述对应以为一组显示点中的每个点分配颜色值；
使用投影机投影矩阵以将所述一组显示点投影到投影机图像平面；以及
基于被投影的所述一组显示点分配像素颜色值。
12.如权利要求9所述的计算机程序产品，其中所述获得用于所述观看位置的新摄像机投影矩阵的步骤包括：
获取所述观看位置相对于摄像机位置的平移和转动；以及
使用所述观看位置相对于摄像机的平移和转动，并使用所述摄像机的内部参数以计算新投影矩阵。
13.如权利要求11所述的计算机程序产品，还包括：
从用户接收所述观看位置信息；以及
基于所述观看位置信息计算所述观看位置相对于摄像机位置的平移和转动。
14.如权利要求13所述的计算机程序产品，其中所述从用户接收所述观看位置信息的步骤包括：
显示显示环境，其包括对显示表面和所述摄像机的位置的描述；以及
从用户接收所述观看位置信息，所述用户表示在所述显示环境中的所述观看位置。
15.如权利要求9所述的计算机程序产品，其中所述获得用于所述观看位置的新摄像机投影矩阵的步骤包括：
使用所述投影机将一组特征点投影到所述显示表面，所述一组特征点具有已知的投影机像素位置；
使用所述摄像机捕获所述一组特征点的至少部分；
检测来自所述一组特征点的一组被检测特征点；
使用所述一组被检测特征点的至少部分将投影机像素关联到摄像机像素；
使用所述对应将所述关联的投影机像素映射到来自所述一组显示表面点的显示表面点；以及
使用所述映射的对应来获取用于不同位姿的新摄像机投影矩阵。
16.如权利要求9所述的计算机程序产品，其中所述获取经由一组显示表面点将一组投影机像素映射到一组摄像机像素的对应的步骤包括：
获取用于所述投影机的投影机投影矩阵和用于所述摄像机的摄像机投影机矩阵；
使用逆光传输矩阵的至少一个近似来获取在投影机像素和摄像机像素之间的关联；以及
使用所述在投影机像素和摄像机像素之间的关联、所述投影机投影矩阵、所述摄像机投影机矩阵来获取一组显示表面点和所述对应。
17.如权利要求13所述的计算机程序产品，其中所述使用所述在投影机像素和摄像机像素之间的关联、所述投影机投影矩阵、所述摄像机投影机矩阵来获取一组显示表面点和所述对应的步骤包括：
从投影机图像平面并从摄像机图像平面反投影以为所述一组显示表面点中的至少部分显示表面点三角测量位置。
18.一种用于重校准包括投影机和摄像机的投影机系统的计算机系统，该系统包括：
一个或多个处理器；以及
与所述一个或多个处理器通信的一个或多个计算机可读介质，所述计算机可读介质上存储有可被所述一个或多个处理器执行的一组指令，所述一组指令包括：
获取经由一组显示表面点将一组投影机像素映射到一组摄像机像素的对应；以及
响应于所述投影机或观看位置的位姿的改变，使用所述对应以计算新投影矩阵，其中观看者在所述观看位置观看通过所述投影机投影的图像。
19.如权利要求18所述的系统，其中所述位姿的改变针对于所述投影机，并且其中所述使用所述对应以为所述投影机计算新投影矩阵的步骤包括：
使用所述投影机将一组特征点投影到所述显示表面，所述一组特征点具有已知的投影机像素位置；
使用所述摄像机捕获所述一组特征点的至少部分；
检测来自所述一组特征点的一组被检测特征点；
使用所述一组被检测特征点的至少部分将投影机像素关联到摄像机像素；
使用所述对应将所述被关联的投影机像素映射到来自所述一组显示表面点的显示表面点；以及
使用所述映射的对应来获取用于处在不同位姿的投影机的新投影矩阵。
20.如权利要求18所述的系统，其中所述位姿的改变针对于观看者观看通过所述投影机投影的图像的所述观看位置，并且所述使用所述对应以计算新摄像机投影矩阵的步骤包括：
获取所述观看位置相对于摄像机位置的平移和转动；
使用所述观看位置相对于摄像机的平移和转动，并使用所述摄像机的内部参数以计算新投影矩阵；以及
使用所述新摄像机投影矩阵以获取新光投影矩阵以用于改变通过所述投影机投影的图像。
CN2011100077870A 2010-01-15 2011-01-14 实时几何形状感知投影和快速重校准 Expired - Fee Related CN102129680B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/688,417 US8355601B2 (en) 2010-01-15 2010-01-15 Real-time geometry aware projection and fast re-calibration
US12/688,417 2010-01-15

Publications (2)

Publication Number Publication Date
CN102129680A true CN102129680A (zh) 2011-07-20
CN102129680B CN102129680B (zh) 2013-11-27

Family

ID=44267755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011100077870A Expired - Fee Related CN102129680B (zh) 2010-01-15 2011-01-14 实时几何形状感知投影和快速重校准

Country Status (3)

Country Link
US (1) US8355601B2 (zh)
JP (1) JP2011147125A (zh)
CN (1) CN102129680B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026824A (ja) * 2011-07-21 2013-02-04 Mitsubishi Precision Co Ltd 映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ
CN104299548A (zh) * 2014-10-29 2015-01-21 中国科学院自动化研究所 裸眼多视真三维显示系统的校正系统及实现方法
CN104990517A (zh) * 2015-06-30 2015-10-21 东莞市盟拓光电科技有限公司 结构光三维测量中的斜投影校正方法及系统
CN105453546A (zh) * 2013-08-13 2016-03-30 株式会社理光 图像处理装置、图像处理系统、图像处理方法和计算机程序
CN105528788A (zh) * 2015-12-08 2016-04-27 湖南拓视觉信息技术有限公司 相对位姿参数的标定方法、装置和确定三维形状的装置
CN106576157A (zh) * 2014-09-25 2017-04-19 英特尔公司 使用面向内或面向世界的图像投影仪的电子设备中的具有自动图像校正的集成可调图像投影
CN106716495A (zh) * 2014-09-22 2017-05-24 三菱电机株式会社 信息显示控制系统及纹理图集生成方法
CN107545592A (zh) * 2016-06-28 2018-01-05 达索系统公司 动态摄像机校准
CN107950019A (zh) * 2015-09-07 2018-04-20 索尼公司 信息处理装置、信息处理方法和程序
CN108028900A (zh) * 2015-09-01 2018-05-11 Nec平台株式会社 投影设备、投影方法和程序存储介质
CN109146987A (zh) * 2018-06-15 2019-01-04 西北大学 一种基于gpu的快速锥束计算机断层成像重建方法
CN110133625A (zh) * 2019-05-20 2019-08-16 北京奥特贝睿科技有限公司 一种快速球坐标激光雷达仿真方法
WO2019179168A1 (zh) * 2018-03-22 2019-09-26 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
CN110738705A (zh) * 2018-07-19 2020-01-31 通用汽车环球科技运作有限责任公司 车辆摄像头的自动校准
CN111357284A (zh) * 2017-11-17 2020-06-30 Domeprojection.Com公司 用于自动恢复投影系统的校准状态的方法
TWI703870B (zh) * 2018-07-31 2020-09-01 中強光電股份有限公司 投影裝置、投影系統及影像校正方法
CN112154394A (zh) * 2019-10-31 2020-12-29 深圳市大疆创新科技有限公司 地形检测方法、可移动平台、控制设备、系统及存储介质
US11303864B2 (en) 2020-09-09 2022-04-12 Christie Digital Systems Usa, Inc. System and method for projector alignment using detected image features

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8201951B2 (en) * 2008-11-19 2012-06-19 Seiko Epson Corporation Catadioptric projectors
US9195121B2 (en) * 2009-04-28 2015-11-24 The Regents Of The University Of California Markerless geometric registration of multiple projectors on extruded surfaces using an uncalibrated camera
KR101791590B1 (ko) * 2010-11-05 2017-10-30 삼성전자주식회사 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US8454171B2 (en) * 2011-03-23 2013-06-04 Seiko Epson Corporation Method for determining a video capture interval for a calibration process in a multi-projector display system
US9497447B2 (en) * 2011-06-15 2016-11-15 Scalable Display Technologies, Inc. System and method for color and intensity calibrating of a display system for practical usage
US9185401B2 (en) * 2011-07-15 2015-11-10 Electronics And Telecommunications Research Institute Method and apparatus for camera network calibration with small calibration pattern
US8704895B2 (en) * 2011-08-29 2014-04-22 Qualcomm Incorporated Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera
BRPI1106473B8 (pt) * 2011-11-08 2022-03-22 Associacao Instituto Nac De Matematica Pura E Aplicada Processo para captura e exibição de imagens estereoscópicas, aplicação e uso relacionado
US9832352B2 (en) * 2011-11-16 2017-11-28 Autofuss System and method for 3D projection mapping with robotically controlled objects
US9443353B2 (en) * 2011-12-01 2016-09-13 Qualcomm Incorporated Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
JP6070307B2 (ja) * 2012-05-21 2017-02-01 株式会社リコー パターン抽出装置、画像投影装置、パターン抽出方法およびプログラム
US9093007B2 (en) * 2012-09-21 2015-07-28 Blackberry Limited Method and device for generating a presentation
US9264679B2 (en) * 2012-12-10 2016-02-16 Texas Instruments Incorporated Maintaining distortion-free projection from a mobile device
US9519968B2 (en) * 2012-12-13 2016-12-13 Hewlett-Packard Development Company, L.P. Calibrating visual sensors using homography operators
WO2014101955A1 (en) 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment
CN104634242A (zh) * 2013-11-12 2015-05-20 鸿富锦精密工业（深圳）有限公司 探针补点系统及方法
TWI489082B (zh) 2013-12-24 2015-06-21 Univ Nat Taiwan Science Tech 用於校正雷射量測裝置的方法及其系統
JP2015128242A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 画像投影装置及びそのキャリブレーション方法
JP2015139006A (ja) * 2014-01-20 2015-07-30 株式会社リコー 情報処理装置、プログラム
US10241616B2 (en) 2014-02-28 2019-03-26 Hewlett-Packard Development Company, L.P. Calibration of sensors and projector
EP2995494B1 (en) * 2014-09-11 2020-04-08 Continental Automotive GmbH Animation arrangement
DE102015105797B4 (de) * 2015-04-16 2021-03-04 EXTEND3D GmbH Verfahren sowie Vorrichtung zur blickwinkelrichtigen Projektion einer geometrischen Struktur
JP6511980B2 (ja) * 2015-06-19 2019-05-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9659371B2 (en) 2015-10-08 2017-05-23 Christie Digital Systems Usa, Inc. System and method for online projector-camera calibration from one or more images
US10451407B2 (en) * 2015-11-23 2019-10-22 The Boeing Company System and method of analyzing a curved surface
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10027954B2 (en) 2016-05-23 2018-07-17 Microsoft Technology Licensing, Llc Registering cameras in a multi-camera imager
CN106372283B (zh) * 2016-08-24 2018-06-08 大连理工大学 一种面向数字摄影获得的薄壁壳实测三维形貌点云数据处理方法
JP6766720B2 (ja) * 2017-03-27 2020-10-14 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10701308B2 (en) * 2017-07-31 2020-06-30 Noah Zimmerman Methods and systems for a natural and realistic telepresence experience
DE102017221853A1 (de) * 2017-12-04 2019-06-06 Carl Zeiss Industrielle Messtechnik Gmbh Anordnung und Verfahren zum dreidimensionalen optischen Vermessen eines Objekts
US20190180475A1 (en) * 2017-12-08 2019-06-13 Qualcomm Incorporated Dynamic camera calibration
JP2019146155A (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6642610B2 (ja) * 2018-03-22 2020-02-05 カシオ計算機株式会社 投影制御装置、投影装置、投影制御方法及びプログラム
US11375165B2 (en) * 2018-04-10 2022-06-28 ImmersaView Pty., Ltd. Image calibration for projected images
US10638104B2 (en) * 2018-09-14 2020-04-28 Christie Digital Systems Usa, Inc. Device, system and method for generating updated camera-projector correspondences from a reduced set of test patterns
JP2020150303A (ja) * 2019-03-11 2020-09-17 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN112153357A (zh) * 2019-06-28 2020-12-29 中强光电股份有限公司 投影系统及其投影方法
CN115442584B (zh) * 2022-08-30 2023-08-18 中国传媒大学 一种多传感器融合的异形面动态投影方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047285A1 (en) * 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for calibrating projector-camera system
US20050134599A1 (en) * 2003-07-02 2005-06-23 Shree Nayar Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties
CN1949166A (zh) * 2006-11-09 2007-04-18 上海大学 自由多视点多投影三维显示系统和方法
CN101140661A (zh) * 2007-09-04 2008-03-12 杭州镭星科技有限公司 一种以动态投影为背景的实时目标识别方法
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6527395B1 (en) * 2001-12-10 2003-03-04 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating a projector with a camera
US7215362B2 (en) 2002-10-31 2007-05-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Auto-calibration of multi-projector systems
JP2005326247A (ja) * 2004-05-14 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> 校正装置及び校正方法並びに校正プログラム
WO2006024254A1 (de) 2004-08-30 2006-03-09 Bauhaus-Universität Weimar Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
US7306341B2 (en) 2005-02-28 2007-12-11 Hewlett-Packard Development Company, L.P. Multi-projector geometric calibration
JP2007036482A (ja) * 2005-07-25 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 情報投影表示装置およびプログラム
US20070115484A1 (en) * 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
US7901093B2 (en) 2006-01-24 2011-03-08 Seiko Epson Corporation Modeling light transport in complex display systems
US7794090B2 (en) 2006-01-24 2010-09-14 Seiko Epson Corporation Efficient dual photography
US7768527B2 (en) * 2006-05-31 2010-08-03 Beihang University Hardware-in-the-loop simulation system and method for computer vision
JP5236219B2 (ja) * 2007-06-21 2013-07-17 三菱プレシジョン株式会社 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置
US8218003B2 (en) * 2007-10-05 2012-07-10 Seiko Epson Corporation Optimization strategies for GPU view projection matrix implementation
US9538167B2 (en) * 2009-03-06 2017-01-03 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047285A1 (en) * 1999-12-23 2001-06-28 Justsystem Corporation Method and apparatus for calibrating projector-camera system
US20050134599A1 (en) * 2003-07-02 2005-06-23 Shree Nayar Methods and systems for compensating an image projected onto a surface having spatially varying photometric properties
CN1949166A (zh) * 2006-11-09 2007-04-18 上海大学 自由多视点多投影三维显示系统和方法
CN101140661A (zh) * 2007-09-04 2008-03-12 杭州镭星科技有限公司 一种以动态投影为背景的实时目标识别方法
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREW RAIJ ET AL.: "Auto-Calibration of Multi-Projector Display Walls", 《PATTERN RECOGNITION，2004.ICPR 2004.PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON》 *
RAMESH RASKAR ET AL.: "Multi-Projector Displays Using Camera-Based Registration", 《VISUALIZATION ＇99.PROCEEDINGS》 *
韦争亮 等: "单摄像机单投影仪三维测量系统标定技术", 《清华大学学报（自然科学版）》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013026824A (ja) * 2011-07-21 2013-02-04 Mitsubishi Precision Co Ltd 映像の歪みを補正する方法、映像の歪みを補正する装置、模擬視界表示装置及び操縦訓練のためのシミュレータ
CN105453546A (zh) * 2013-08-13 2016-03-30 株式会社理光 图像处理装置、图像处理系统、图像处理方法和计算机程序
CN105453546B (zh) * 2013-08-13 2018-10-02 株式会社理光 图像处理装置、图像处理系统和图像处理方法
CN106716495B (zh) * 2014-09-22 2020-08-18 三菱电机株式会社 信息显示控制系统及纹理图集生成方法
CN106716495A (zh) * 2014-09-22 2017-05-24 三菱电机株式会社 信息显示控制系统及纹理图集生成方法
CN106576157A (zh) * 2014-09-25 2017-04-19 英特尔公司 使用面向内或面向世界的图像投影仪的电子设备中的具有自动图像校正的集成可调图像投影
CN104299548A (zh) * 2014-10-29 2015-01-21 中国科学院自动化研究所 裸眼多视真三维显示系统的校正系统及实现方法
CN104299548B (zh) * 2014-10-29 2017-02-15 中国科学院自动化研究所 裸眼多视真三维显示系统的校正系统及实现方法
CN104990517A (zh) * 2015-06-30 2015-10-21 东莞市盟拓光电科技有限公司 结构光三维测量中的斜投影校正方法及系统
CN104990517B (zh) * 2015-06-30 2018-11-02 东莞市盟拓光电科技有限公司 结构光三维测量中的斜投影校正方法及系统
CN108028900A (zh) * 2015-09-01 2018-05-11 Nec平台株式会社 投影设备、投影方法和程序存储介质
CN108028900B (zh) * 2015-09-01 2020-10-09 Nec平台株式会社 投影设备、投影方法和程序存储介质
US10572971B2 (en) 2015-09-01 2020-02-25 Nec Platforms, Ltd. Projection device, projection method and program storage medium
CN107950019A (zh) * 2015-09-07 2018-04-20 索尼公司 信息处理装置、信息处理方法和程序
CN107950019B (zh) * 2015-09-07 2021-05-28 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
CN105528788B (zh) * 2015-12-08 2018-08-03 湖南拓视觉信息技术有限公司 相对位姿参数的标定方法、装置和确定三维形状的装置
CN105528788A (zh) * 2015-12-08 2016-04-27 湖南拓视觉信息技术有限公司 相对位姿参数的标定方法、装置和确定三维形状的装置
CN107545592A (zh) * 2016-06-28 2018-01-05 达索系统公司 动态摄像机校准
CN107545592B (zh) * 2016-06-28 2024-01-02 达索系统公司 动态摄像机校准
CN111357284B (zh) * 2017-11-17 2022-07-12 Domeprojection.Com公司 用于自动恢复投影系统的校准状态的方法
CN111357284A (zh) * 2017-11-17 2020-06-30 Domeprojection.Com公司 用于自动恢复投影系统的校准状态的方法
WO2019179168A1 (zh) * 2018-03-22 2019-09-26 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
CN110300292A (zh) * 2018-03-22 2019-10-01 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
CN110300292B (zh) * 2018-03-22 2021-11-19 深圳光峰科技股份有限公司 投影畸变校正方法、装置、系统及存储介质
CN109146987B (zh) * 2018-06-15 2023-01-06 西北大学 一种基于gpu的快速锥束计算机断层成像重建方法
CN109146987A (zh) * 2018-06-15 2019-01-04 西北大学 一种基于gpu的快速锥束计算机断层成像重建方法
CN110738705A (zh) * 2018-07-19 2020-01-31 通用汽车环球科技运作有限责任公司 车辆摄像头的自动校准
TWI703870B (zh) * 2018-07-31 2020-09-01 中強光電股份有限公司 投影裝置、投影系統及影像校正方法
US11323674B2 (en) 2018-07-31 2022-05-03 Coretronic Corporation Projection device, projection system and image correction method
CN110133625A (zh) * 2019-05-20 2019-08-16 北京奥特贝睿科技有限公司 一种快速球坐标激光雷达仿真方法
CN112154394A (zh) * 2019-10-31 2020-12-29 深圳市大疆创新科技有限公司 地形检测方法、可移动平台、控制设备、系统及存储介质
WO2021081958A1 (zh) * 2019-10-31 2021-05-06 深圳市大疆创新科技有限公司 地形检测方法、可移动平台、控制设备、系统及存储介质
US11303864B2 (en) 2020-09-09 2022-04-12 Christie Digital Systems Usa, Inc. System and method for projector alignment using detected image features

Also Published As

Publication number Publication date
CN102129680B (zh) 2013-11-27
US8355601B2 (en) 2013-01-15
US20110176007A1 (en) 2011-07-21
JP2011147125A (ja) 2011-07-28

Similar Documents

Publication Publication Date Title
CN102129680B (zh) 实时几何形状感知投影和快速重校准
EP3213512B1 (en) Method for alignment of low-quality noisy depth map to the high-resolution colour image
EP3422955B1 (en) System and method for assisted 3d scanning
US9697647B2 (en) Blending real and virtual construction jobsite objects in a dynamic augmented reality scene of a construction jobsite in real-time
Newcombe et al. Live dense reconstruction with a single moving camera
JP6057298B2 (ja) 迅速な３ｄモデリング
KR100443552B1 (ko) 가상 현실 구현 시스템 및 방법
Sajadi et al. Autocalibration of multiprojector cave-like immersive environments
CN104981842A (zh) 表面几何成像
CN102572486B (zh) 立体视频的采集系统及方法
CN111563950B (zh) 纹理映射策略确定方法、装置及计算机可读存储介质
CN104574350A (zh) 三维数据撷取方法及其系统
US9147279B1 (en) Systems and methods for merging textures
SG175393A1 (en) Techniques for rapid stereo reconstruction from images
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN104168467A (zh) 运用时间序列结构光技术实现投影显示几何校正的方法
CN102521586A (zh) 一种用于拍照手机的高分辨率三维人脸扫描方法
Van Crombrugge et al. Extrinsic camera calibration for non-overlapping cameras with Gray code projection
Kawahara et al. Dynamic 3D capture of swimming fish by underwater active stereo
Portalés et al. An efficient projector calibration method for projecting virtual reality on cylindrical surfaces
CN102314682B (zh) 一种标定摄像头的方法、装置和系统
Law et al. Projector placement planning for high quality visualizations on real-world colored objects
Delaunoy et al. Two cameras and a screen: How to calibrate mobile devices?
Al-Zahrani et al. Applications of a direct algorithm for the rectification of uncalibrated images
CN103020950B (zh) 亮度函数获取方法以及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131127

Termination date: 20210114

CF01 Termination of patent right due to non-payment of annual fee