CN101246599A - 根据2d图像序列进行3d场景重构的方法 - Google Patents

根据2d图像序列进行3d场景重构的方法 Download PDF

Info

Publication number
CN101246599A
CN101246599A CNA200810007016XA CN200810007016A CN101246599A CN 101246599 A CN101246599 A CN 101246599A CN A200810007016X A CNA200810007016X A CN A200810007016XA CN 200810007016 A CN200810007016 A CN 200810007016A CN 101246599 A CN101246599 A CN 101246599A
Authority
CN
China
Prior art keywords
image
subclass
scene
camera
refinement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200810007016XA
Other languages
English (en)
Inventor
大卫·A·斯普纳
桑尼·昌
克里斯托弗·L·西蒙斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conversion Works Inc
Original Assignee
Conversion Works Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conversion Works Inc filed Critical Conversion Works Inc
Publication of CN101246599A publication Critical patent/CN101246599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明涉及一种以如下方式进行交互和迭代重构的系统和方法：通过根据可得数据的子集产生模型然后使用附加数据细化该模型，来帮助减小计算要求。涉及场景重构的示范实施例通过首先根据2D图像的子集产生3D场景的模型来根据该场景的多个2D图像重构3D场景。然后可使用子集中的每个图像的特定特性来细化模型，所述特定特性是使用子集中的其它图像来计算的。使用不在原始子集中的图像来进一步细化模型。

Description

根据2D图像序列进行3D场景重构的方法
对相关申请的交叉引用
本申请要求了2007年1月26日提交的、标题为“METHODOLOGY FOR 3D SCENE RECONSTRUCTIONFROM 2D IMAGE SEQUENCES”的美国实用新型专利申请No.11/627,414的优先权；该申请的公开内容通过引用整体结合在这里。
技术领域
本发明总体而言涉及计算机重构，更具体而言涉及使用2维(2D)到3维(3D)转换的场景重构。
背景技术
人类以三个空间维度来感知世界。遗憾的是，大多数当前创建的图像和视频实质上是2D的。如果我们能够使这些图像和视频注入3D信息，那么我们不仅将增强它们的功能，还可从中得到多很多的乐趣。然而，使2D图像和视频注入3D信息常常需要根据描绘的原始2D数据完全重构场景。可使用给定的图像集合来创建观察器的模型以及场景中物体的模型(达到足够的细节水平)，使得能够产生场景的逼真的更迭视角的图像。场景的模型因此包含场景中物体的几何和相关联的图像数据以及用来捕捉那些图像的相机的几何。
在重构这些场景时，常常需要提取2D图像中的特征(如物体的边缘)并且确定它们相对于相机的位置。各种物体特征的3D位置的差异与多个图像的不同相机位置相结合，导致了在2D图像中捕捉到的特征的3D到2D投影的相对差异。通过确定2D图像中特征的位置，并且比较从不同相机位置摄取的图像中这些特征的相对位置，可确定特征的3D位置。
一种被称为相机校准的技术使用采用场景的不同相机视角捕捉到的多个2D图像。然后可找到点对应的集合，这允许计算几何属性，如每个图像的相机位置和取向。这确定了在2D图像中找到的特征的3D坐标。很多当前的相机校准方法如机器人视觉和卫星成像与全自动相适应。荷兰Kluwer学术出版社的International Journal ofComputer Vision的第59卷，第3号，207-232页，2004年9月的M.Pollefeys等人的“Visual Modeling with a Hand-Held Camera”描述了使用手持式摄像机来重建3D场景的过程。在此过程中，摄像师控制相机，并从多个视角收集物体的图像。然后处理视频序列中的图像以获得适用于立体3D投影的物体的重构。
然而，当前相机校准方法仍存在基本问题。例如，典型的动画将具有非常大的且预定的图像集合，其(为了相机和场景重构的目的)可能包含无关的或低亮度的图像、具有不足的视角变化、以及包含具有变化的几何和图像数据的物体。公知的相机校准方法也不能利用其它应用的处理器节省方面，所述其它应用诸如机器人导航应用，其尽管不得不使用冗长的和低质量的图像实时地工作，却可将注意力限制于感兴趣的特定区域并且不需要合成分段物体的图像数据。
另外，现有的相机校准方法并非理想地适用于场景重构。其原因包括过重计算负担、不足的场景细化工具、以及从图像中提取的点云不充分表达特定于模型的几何(如线和平面)。由于这些方法单步地将所有的用于重构的所有帧上的提取特征相关联，所以过重计算负担常常出现。另外，现有方法可能不提供与用户的足够交互性，而用户可利用场景内容的用户知识来改进重构。
现有技术也不很适用于诸如动画的事物的2D到3D转换。现有技术通常不能虑及动态物体，它们通常使用点云作为模型，其不足以进行再现，并且它们不适应非常大的输入图像集合。这些技术通常也不适应场景几何的变化的细节水平，不允许对物体或相机模型的附加几何约束，不提供利用相异场景(例如相同布景，不同道具)之间的共享几何的手段，并且不具有场景模型的交互细化。
发明内容
本发明涉及一种以如下方式进行交互和迭代重构的系统和方法：通过根据可得数据的子集产生模型然后使用附加数据细化该模型，来帮助减小计算要求。涉及场景重构的示范实施例通过首先根据2D图像的子集产生3D场景的模型来根据该场景的多个2D图像重构3D场景。然后可使用子集中的每个图像的特定特性来细化模型，所述特定特性是使用子集中的其它图像来计算的。使用不在原始子集中的图像来进一步细化模型。
一个说明性实施例使用较小数目的关键2D帧内的减少数目的用户所选关键点来对那些帧执行3D场景重构的初始计算。这样的本发明实施例可帮助进行多方面的迭代改进，其可提高精确度并且减小重构过程的计算要求。这些改进可包括重新考虑在初始重构中使用的关键帧和关键顶点的选择的能力。这些改进还可包括通过后方交会(resection)过程为中间帧计算的相机位置。在一个实施例中，后方交会基于已知3D几何的观察投影。这些改进还可包括可通过三角测量过程来添加的网格细节(mesh detail)。在一个实施例中，三角测量基于根据更迭帧计算的相机几何以及那些帧中的该细节的观察投影。
本发明诸实施例亦可允许用户以粗略三角网格(或其中网格顶点规定感兴趣特征的任何网格)的形式规定特征点，而不是让软件自动产生所有特征点。尽管自动特征检测软件与用户相比可产生较多的特征，但用户能够规定感兴趣特征的集合。这于是减小了计算负担。本发明诸实施例亦可允许使用关键帧来进行初始场景估计，而不是使每个帧具有均一的权重。例如，可从由于显著相机几何差异而彼此偏移的帧的集合中选择关键帧。
本发明诸实施例亦可允许用户控制如下选择：在重构中使用哪些帧和重构物体中哪些细节，以及所用图像的顺序。此外，本发明诸实施例可允许将图像分段为静态和动态区，其中可使用迭代计算进一步改进分段。
前面已颇为宽泛地略述了本发明的特征和技术优点，以便可以更好地理解后面的本发明的详细描述。下文中将描述构成本发明权利要求主题的本发明的附加特征和优点。本领域技术人员应该理解，所公开的概念和特定实施例可容易地用作修改或设计用于执行相同的本发明目的的其它结构的基础。本领域技术人员还应该认识到，这样的等价构造不脱离所附权利要求中阐述的本发明的精神和范围。根据以下结合附图考虑的描述，将更好地理解被认为是本发明(关于其工作方法和组织)的特性的新颖特征以及其它目的和优点。然而，应该清楚地理解，提供每个图仅是为了说明和描述，而并非旨在作为对本发明范围的限定。
附图说明
为了更全面地理解本发明，现在参考以下结合附图进行的描述，在附图中：
图1图示了从多个相机位置捕捉示范三维场景；
图2图示了示范三维场景的多个二维图像；
图3是图示了根据本发明一个实施例的场景重构的流程图；以及
图4图示了根据本发明一个实施例设置的场景重构的系统。
具体实施方式
当开始于由移动相机或不同位置的多个相机捕捉到的2D图像序列时，3D场景重构通常涉及组合相机校准与物体重构，这将产生场景中物体和相机的几何。例如，如果相机从房间中不同位置捕捉了多个图像，通常将需要确定表示相机移动的3D几何以及用于房间中特征(如墙、家具和其它物体)的三角网格。
图1示出了场景10，其中相机100处于由收集曲线110联接的多个位置1001-1006。场景10包括物体101和102。物体101具有诸如平表面1011和边缘1012的特征，其可分别以三角网格表示为平面和线。物体102具有特征1021，在由相机100在位置1001-1006中的一些位置捕捉到的2D图像中，特征1021可被物体101遮蔽。
图2A-2F示出了相机100分别在位置1001-1006(未示出)观察而捕捉到的场景10的图像2001-2006。在每个图像2001-2006中，物体101遮蔽了物体102的不同位置。特征1021在图像2002、2003和2006中被部分遮蔽，在图像2004和2005中被完全遮蔽，而在图像2001中完全可见。
图3示出了一个说明性实施例用来根据2D图像集合重构3D场景的步骤。这些步骤可作为细化过程而迭代执行(其中可使得在单次迭代中跳过任何数目的步骤)。为简单起见，图3中未明确给出每个步骤的条件性质。每个步骤的描述附有对该过程如何应用于使用图像2001-2006重构场景10的图2A-2F的解释。
然而，在考虑各个步骤之前，以较高层位提供该过程的简要描述。该过程的目的是产生表示每个输入图像的视角的相机模型以及场景中每个有区别物体的模型。此过程允许通过根据对应相机模型再现物体模型来虑及物体在每个输入图像中的外观。此过程为静态物体构造模型。动态物体是其几何改变的物体。静态物体是这样的物体：其在场景内的几何在所有可得图像中不显著改变(忽略了动态物体的互补类)。在一些实施例中，可稍后通过诸如标准建模和动画技术的单独过程来合并动态物体的重构。
物体的相机模型说明性地概述了物体在场景内的几何、以及其在每个可得图像中的投影外观。这种模型的一个说明性表达是参数面网格，其中每个顶点具有：以场景坐标表示的3D位置；以及包含对应图像特征的可见性指示和该特征的2D位置(如果该特征可见)的对的序列(每个可得图像一个)。
为了讨论附图，将根据连接所有相机位置的最简单曲线对图像循序编号，而无论图像是否以该顺序捕捉，且无论图像是否全部由单个相机捕捉。例如，图1的收集曲线110是连接位置1001-1006的最简单曲线，而无论相机100是否以收集曲线110所示的圆弧移动。将收集曲线的端标记为起始或结束可以是任意的。即，起始图像可实际上是收集的第一个图像或者是最后一个图像(如果颠倒视频序列)，或者可在另一时间收集。中间帧是从收集曲线上的落在关键帧所对应的位置之间的相机位置捕捉到的那些图像。应该理解，本发明不局限于任何特定的图像采集顺序或时序，也不局限于任何特定的用于采集机制的路径。
再参考图3和有区别物体标识过程301，过程301确定场景中哪些物体将通过对其显式建模来被区别。此外，过程301向每个有区别物体分配一个以最小细节水平对其结构取近似的网格。在一个实施例中，此分配的初始网格取自模板库。然而，也可使用其它方法，如使用用户交互或自动技术为匹配观察到的物体特征而特别构造的网格。
应该注意，在过程301中不向网格顶点分配有意义的坐标值。此外，不是所有的网格结构都需要立即规定。代替之，可分别使用迭代来合并在特定帧集合内可见的结构。
将过程301应用于图2A的图像，考虑帧2001，可将物体101和102标识为有区别静态物体。在此帧，可规定物体101的三角网格包含与物体的三个可见侧面和七个可见角对应的六个面和七个顶点。可规定物体102的三角网格包含与物体的左侧面和四个可见角对应的两个面和四个顶点。接着，考虑图2F中的帧2006，物体101的网格可扩充有与现在可见的右侧面和右侧面的下后角对应的两个附加面和一个附加顶点。类似地，物体102的网格可扩充有与前侧面、顶侧面和右侧面以及右侧面的角对应的六个新面和四个新顶点。
在过程302，选择关键帧。为了在此讨论，关键帧是指为其计算相机几何的那些可得图像，非关键帧是指中间帧。关键帧集合被优选地选择为表示整个相机移动范围，使得每个关键帧展示显著不同的相机视角并且每个关键帧与某个数目的其它关键帧共享足够的图像信息(即特征对应)。应该注意，在选择关键帧时需要平衡。选择较多关键帧通常产生较多共享信息，并因此得到较好结果。然而，这增大了计算复杂性，并且可能很快变得难以处理。
本发明一些实施例在过程302使用自动选择过程来基于移动分析从可得帧的集合中选择关键帧的子集。其它实施例通过用户输入(通过图形用户接口或其它适当装置来获取)利用场景内容的用户知识来指导关键帧的选择。
在一个实施例中，分别在图2A、2D和2F中的图像2001、2004和2006被设计为关键帧，而分别在图2B、2C和2E中的图像2002、2003和2005可被设计为中间帧。利用这些限定，图像2002和2003在关键帧2001和2004之间，而图像2005在关键帧2004和2006之间。注意，尽管这些限定允许当相机100沿着收集曲线110移动时图像2001-2006来自一视频序列，但这些限定不要求任何特定捕捉顺序，也不要求单个相机捕捉了所有图像。为了简化附图的讨论，将假定图像序列是由沿着收集曲线110移动的单个相机100收集的。
在过程303，规定关键顶点。为了在此讨论，关键顶点是指稍后在过程304中为其计算场景坐标值的网格顶点。网格的关键顶点是以最小细节水平表达基本网格结构(即重要特征)的现有顶点的子集。然而，也可使用其它网格。
在每个关键帧(如帧2001、2003和2006)，每个关键帧顶点由于物体遮蔽(由动态物体、其它静态物体或该物体自身所致)而被标记为可见或不可见。此外，在每个关键帧，可见关键顶点的图像坐标被选择为匹配对应的图像特征。规定关键顶点的过程可根据算法来执行、通过用户交互来执行、或者通过两者的组合来执行。
将过程303应用于图2A-F的图像，分配给物体101和102的初始网格的所有顶点可被规定为关键顶点。在图2A中，在帧2001，物体102左侧面的四个顶点2011、2012、2013、2014被标记为可见，并且将它们的图像坐标规定为匹配对应的图像特征(即角)，而物体102的剩余四个顶点被标记为不可见。在同一帧，属于物体101的左侧面、前侧面和顶侧面的七个顶点2021-2027被标记为可见并且被分配图像坐标，而剩余顶点2028(对应于后下右角；此帧中未示出)被标记为不可见。前进到图2D中的关键帧2004，物体101和102两者的八个顶点中有七个被标记为可见(仅下后左角中的顶点2012和2022不可见)。这些可见顶点被分配图像坐标。最后，前进到图2F中的关键帧2006，物体101具有相同集合的七个可见顶点(图中未标记)，它们被再次分配图像坐标，而物体102的两个后左顶点2011和2012(图中未标记)被标记为不可见，且剩余六个顶点2013-2018(图2D中示出)被标记为可见，它们被分配图像坐标。
在过程304，执行基本相机校准和场景重构算法。通过数值优化，过程304为每个关键帧计算相机几何并且为每个关键顶点计算3D场景坐标值，使得每个计算场景点穿过每个计算相机的投影尽可能精确地匹配对应的图像坐标。此过程可由下面的等式来表示：
          Cf(Pv)＝I(f，v)              等式(1)
其中Cf是帧f的相机矩阵，Pv是可见顶点v的同一坐标值，I(f，v)是顶点v的帧f的观察图像坐标值。
在一些实施例中，在前一迭代中计算出的相机属性和顶点坐标值可作为初始估计而用于过程304。
根据图2A和2F的实施例，初始应用过程304，得到关键帧2001、2004和2006的计算相机几何以及两个物体101和102的七个关键顶点的计算场景坐标值。在每个物体101和102中，后下左角顶点2012和2022分别仅在关键帧2001中可见。
在一些实施例中，这时，可通过添加关键帧2003或关键帧2002来重复过程302和303。这确保了所有关键顶点在多于一个的关键帧中可见并且将由过程304分配场景坐标。
在过程305，通过三角测量添加网格细节。过程305涉及向网格(即顶点、边缘和面)添加结构、然后根据已经为其计算了相机几何的帧(例如关键帧)的集合对每个新顶点的位置进行三角测量。在每个所选帧，为新顶点分配图像坐标。然后通过三角测量计算基本3D场景位置。在一些实施例中，可通过用户输入或通过应用自动特征检测和跟踪算法来执行图像坐标的这种分配。应该注意，提供顶点的观察图像坐标的帧越多，三角测量场景坐标点的精确度就越高。
参考图2，在一些实施例中，通过添加表示前面中的矩形凹进1021的结构来细化物体102的网格。此附加特征主要由凹进1021的前和后角所对应的八个顶点构成。
通过选择帧2001和2003、在每个所选帧中适当定位那些所选顶点、然后调用三角测量过程，可获得凹进1021的所选前左顶点的场景坐标位置。类似地，通过帧2004和2006，可获得孔的前右顶点的场景坐标。
应该注意，四个后顶点在任何可得图像中都不可见，因此它们的以场景坐标表示的位置独立于步骤304或305而选择。在一些实施例中，此过程可通过用户知识而发生，或通过使用物体102的特定领域知识而发生。然而，也可使用其它方法。
在过程306，通过后方交会为中间帧计算相机几何。为了对所选中间帧的相机几何进行后方交会，需要选择在已经为其计算了3D场景坐标的那个帧中可见的顶点(即关键顶点)的集合，然后调整这些顶点的图像坐标以匹配那个帧中对应特征的观察投影。然后过程306调用后方交会算法来计算那个关键帧的相机参数。
在一个实施例中，初始相机几何估计可通过内插相邻关键帧的相机参数来获得。此相机几何估计可用来对所选顶点的图像坐标取近似。根据这些估算坐标，可通过用户交互或自动特征检测/跟踪进行进一步细化。注意，涉及的顶点越多且它们展示的深度范围越大，后方交会相机的精确度就越高。
通过选择物体102的四个可见顶点以及物体101的七个可见顶点，可计算中间帧2002的相机几何。然后，通过定位这些所选顶点以匹配对应图像特征并调用后方交会过程，可计算相机几何。
决定307确定是否该构造以足够的质量和细节水平完成或者是否另一迭代应执行进一步细化。如果该过程没有完成则该过程返回到步骤301。例如，场景可包含长桌和若干围绕它的椅子，而所有椅子可能在任何一个图像中都不可见。过程304可选择少数初始关键帧供过程305使用。在过程305中，用户在那些初始选择的关键帧中为某些椅子规定粗略网格。仅包括该场景中某些椅子的所述网格在过程306中被细化。然后，当返回到过程305时，用户已经有了表示椅子的3D模型。而且，当返回到过程305时，用户可编辑现有网格。这些可用于简化在后续添加的关键帧中对任何新的可见椅子的建模。另外，当返回到过程306时，新添加的关键帧将具有与先前处理的关键帧公共的点。由于这些公共点的3D位置是已知的，相机校准计算得以简化。
传统相机校准试图自动计算场景和相机几何，其中对所使用的每个图像施加相等权重。然而，对于包括相机校准的很多类型的计算，与随未知数数目线性增加相比，计算负担增加得更快。通过降低初始模型的复杂性，可显著减小计算负担。然后，通过利用较低分辨率数据结果，细化要求比不使用较低分辨率数据结果时要求更小的计算负担。因此，简化初始计算的复杂性然后通过更高效的过程回添加细节最终减少了总的计算时间。方法30与传统方法相比减小了计算负担、提供了交互场景细化、并且允许用户限定的网格来表达特定于模型的几何(如线和平面)。
图4图示了适于通过存储和/或执行本发明诸实施例所关联的软件来使用这些实施例的计算机系统400。中央处理单元(CPU)401耦合到系统总线402。CPU 401可以是任何通用CPU。然而，只要CPU 401支持这里描述的本发明操作，则本发明诸实施例不受CPU401的架构的限制。总线402耦合到可以是SRAM、DRAM或SDRAM的随机存取存储器(RAM)403。可以是PROM、EPROM或EEPROM的只读存储器(ROM)404亦耦合到总线402。RAM 403和ROM 404保持用户和系统数据及程序，这在本领域中是众所周知的。
总线402亦耦合到输入/输出(I/O)适配器卡405、通信适配器卡411、用户接口卡408和显示适配器卡409。I/O适配器卡405将存储装置406(如硬盘、CD盘、软盘或磁带中的一种或多种)连接到计算机系统400。I/O适配器卡405亦连接到打印机(未示出)，这允许系统打印诸如文档、照片、文章等的信息的纸拷贝。注意，该打印机可以是打印机(例如点阵、激光等)、传真机、扫描仪或复印机。通信适配器卡411适于将计算机系统400耦合到网络412，网络412可以是电话网、局域网(LAN)和/或广域网(WAN)、以太网和/或因特网中的一种或多种。用户接口适配器卡408将诸如键盘413、点击装置407等的用户输入装置耦合到计算机系统400。显示适配器卡409由CPU 401驱动来控制显示装置410上的显示。
尽管已详细描述了本发明及其优点，但应该理解，在不背离由所附权利要求限定的本发明的精神和范围的情况下，可以在此作出各种变化、替换和更改。而且，本申请的范围并非旨在局限于说明书中描述的工艺、机器、制造、物质组成、装置、方法和步骤的特定实施例。本领域普通技术人员应该从本发明的公开中容易理解，可以根据本发明来利用执行与在此描述的对应实施例基本相同的功能或实现基本相同的结果的现有的或以后将开发的工艺、机器、制造、物质组成、装置、方法或步骤。因此，所附权利要求旨在将这样的工艺、机器、制造、物质组成、装置、方法或步骤包括在所附权利要求的范围内。

Claims (28)

1.一种场景重构方法，包括：
获得表示场景的至少两个视角的所述场景的多个图像；
使用所述图像的第一子集产生所述场景的模型；
使用所述第一子集的所述图像计算所述第一子集中的每个所述图像的所述视角；并且
使用所述图像的第二子集以及所述计算视角细化所述模型，其中，所述第二子集包括至少一个不在所述第一子集中的图像。
2.如权利要求1的方法，还包括：
使用所述多个图像的所述第二子集细化所述模型；并且
使用所述细化模型细化所述场景。
3.如权利要求1的方法，其中，所述第一子集包括：
用第一相机视角捕捉到的第一图像；以及
用第二相机视角捕捉到的第二图像；以及
其中，所述第二子集包括：
用第三相机视角捕捉到的第三图像，其中，所述第三视角在所述第一视角和所述第二视角之间。
4.如权利要求1的方法，还包括：
向所述第二子集迭代地添加所述多个图像中的已经不在所述第二子集中的一个或多个图像，并使用所述第二子集细化所述场景。
5.如权利要求1的方法，其中，所述细化是迭代的。
6.如权利要求5的方法，其中，所述第二子集因一次或多次迭代而增强，所述增强包括：
向所述第二子集添加所述多个图像中的已经不在所述第二子集中的一个或多个图像。
7.如权利要求1的方法，其中，使用用户输入来确定所述第一和第二子集。
8.如权利要求1的方法，其中，所述第二子集包含所述第一子集。
9.一种用于重构3维(3D)场景的系统，所述系统包括：
图像捕捉装置，其被设置成捕捉所述场景的多个2维(2D)图像；
图像选择装置，其被设置成区分所述图像的第一子集和所述图像的第二子集；以及
处理装置，其被设置成根据所述第一图像子集产生所述3D场景的模型，并且被进一步设置成使用所述第二子集细化所述模型。
10.如权利要求9的系统，其中，所述捕捉装置是单个相机。
11.如权利要求9的系统，其中，所述捕捉装置是两个或更多相机。
12.如权利要求9的系统，其中，所述捕捉装置捕捉所述3D场景的多个透视图。
13.如权利要求9的系统，还包括：
图形用户接口，其被设置成获取用户输入。
14.一种重构3D场景的方法，所述方法包括：
使用所述3D场景的2D图像的第一子集，来为2D图像的所述第一子集中的每个2D图像计算相机位置并计算描绘所述第一子集的所述图像之间的相机位置变化的曲线；
根据所述第一图像子集、所述计算的相机位置和所述计算的曲线为所述3D场景产生至少一个点网格；并且
使用所述3D场景的2D图像的第二子集来向所述网格添加至少一个新特征。
15.如权利要求14的方法，其中，所述添加新特征包括对所述新特征的位置进行三角测量。
16.如权利要求14的方法，其中，所述添加新特征包括人工编辑所述至少一个网格。
17.如权利要求14的方法，其中，所述添加新特征包括自动特征检测。
18.如权利要求14的方法，其中，所述添加新特征包括内插相机位置。
19.如权利要求14的方法，其中，所述网格中的点关联于所述第二子集中的一个或多个图像中的点。
20.如权利要求19的方法，其中，所述关联是人工的。
21.如权利要求19的方法，其中，所述关联包括自动特征匹配。
22.一种场景重构方法，所述方法包括：
以场景的第一图像子集的第一细节水平产生所述场景的近似；并且
通过添加所述场景的第二图像子集中的细节以产生第二细节水平来细化所述近似，其中，所述第二细节水平与所述第一细节水平相比具有较多特征。
23.如权利要求22的方法，其中，所述产生场景包括：
接受用户输入以限定一个或多个特征。
24.如权利要求22的方法，还包括：
将图像分段为静态和动态区。
25.如权利要求24的方法，其中，所述静态和动态区对应于静态和动态几何。
26.如权利要求25的方法，其中，所述分段包括转描(rotoscoping)。
27.如权利要求25的方法，其中，所述细化还包括轮廓跟踪。
28.如权利要求22的方法，其中，所述第一图像子集和所述第二图像子集是不同的。
CNA200810007016XA 2007-01-26 2008-01-25 根据2d图像序列进行3d场景重构的方法 Pending CN101246599A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/627,414 US8655052B2 (en) 2007-01-26 2007-01-26 Methodology for 3D scene reconstruction from 2D image sequences
US11/627,414 2007-01-26

Publications (1)

Publication Number Publication Date
CN101246599A true CN101246599A (zh) 2008-08-20

Family

ID=39321814

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200810007016XA Pending CN101246599A (zh) 2007-01-26 2008-01-25 根据2d图像序列进行3d场景重构的方法

Country Status (8)

Country Link
US (1) US8655052B2 (zh)
EP (1) EP1950704A3 (zh)
JP (1) JP2008186456A (zh)
KR (2) KR101613721B1 (zh)
CN (1) CN101246599A (zh)
AU (1) AU2008200277B2 (zh)
CA (1) CA2618875C (zh)
NZ (1) NZ565418A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804231A (zh) * 2009-06-15 2012-11-28 微软公司 三维场景的分段平面重建
CN104170369A (zh) * 2012-03-15 2014-11-26 诺基亚公司 用于捕获图像的方法、设备和计算机程序
CN106091921A (zh) * 2015-04-28 2016-11-09 三菱电机株式会社 用于确定场景中的尺寸的方法
CN109074235A (zh) * 2016-03-25 2018-12-21 奥沃德公司 任意视图生成
CN110084854A (zh) * 2009-12-24 2019-08-02 康耐视公司 用于相机校准误差的运行时测定的系统和方法
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN111598976A (zh) * 2019-02-01 2020-08-28 华为技术有限公司 场景识别方法及装置、终端、存储介质
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US8897596B1 (en) 2001-05-04 2014-11-25 Legend3D, Inc. System and method for rapid image sequence depth enhancement with translucent elements
US9031383B2 (en) 2001-05-04 2015-05-12 Legend3D, Inc. Motion picture project management system
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2011523538A (ja) 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US20120075296A1 (en) * 2008-10-08 2012-03-29 Strider Labs, Inc. System and Method for Constructing a 3D Scene Model From an Image
WO2011017308A1 (en) * 2009-08-04 2011-02-10 Shenzhen Tcl New Technology Ltd. Systems and methods for three-dimensional video generation
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN102222357B (zh) * 2010-04-15 2014-01-15 温州大学 基于图像分割和网格细分的脚型三维表面重建方法
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9113130B2 (en) * 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
JP5966256B2 (ja) * 2011-05-23 2016-08-10 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8666145B2 (en) * 2011-09-07 2014-03-04 Superfish Ltd. System and method for identifying a region of interest in a digital image
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US9654759B2 (en) * 2012-07-20 2017-05-16 Koninklijke Philips N.V. Metadata for depth filtering
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
US9905039B2 (en) 2014-02-21 2018-02-27 Qualcomm Incorporated View independent color equalized 3D scene texturing
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9417911B2 (en) * 2014-03-12 2016-08-16 Live Planet Llc Systems and methods for scalable asynchronous computing framework
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN104063899A (zh) * 2014-07-10 2014-09-24 中南大学 一种岩心保形三维重建方法
KR101598706B1 (ko) 2014-08-14 2016-02-29 주식회사 엔씨소프트 배경 그래픽의 입체적 표시를 위한 컴퓨팅 디바이스 및 컴퓨터 프로그램
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
KR102347658B1 (ko) * 2014-09-19 2022-01-05 한화테크윈 주식회사 영상 처리 방법
WO2016054089A1 (en) 2014-09-29 2016-04-07 Pelican Imaging Corporation Systems and methods for dynamic calibration of array cameras
US9816287B2 (en) * 2014-12-22 2017-11-14 Cyberoptics Corporation Updating calibration of a three-dimensional measurement system
RU2606875C2 (ru) * 2015-01-16 2017-01-10 Общество с ограниченной ответственностью "Системы Компьютерного зрения" Способ и система отображения масштабных сцен в режиме реального времени
US10082237B2 (en) 2015-03-27 2018-09-25 A9.Com, Inc. Imaging system for imaging replacement parts
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN105139445B (zh) * 2015-08-03 2018-02-13 百度在线网络技术（北京）有限公司 场景重建方法及装置
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
US11232627B2 (en) 2016-03-25 2022-01-25 Outward, Inc. Arbitrary view generation
US11972522B2 (en) 2016-03-25 2024-04-30 Outward, Inc. Arbitrary view generation
US10163249B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US10163251B2 (en) 2016-03-25 2018-12-25 Outward, Inc. Arbitrary view generation
US11989820B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
US11989821B2 (en) 2016-03-25 2024-05-21 Outward, Inc. Arbitrary view generation
EP3330924A1 (en) * 2016-12-01 2018-06-06 Thomson Licensing Method for 3d reconstruction of an environment of a mobile device, corresponding computer program product and device
US10535156B2 (en) * 2017-02-03 2020-01-14 Microsoft Technology Licensing, Llc Scene reconstruction from bursts of image data
US10282898B1 (en) 2017-02-23 2019-05-07 Ihar Kuntsevich Three-dimensional scene reconstruction
US10453252B2 (en) 2017-05-08 2019-10-22 Disney Enterprises, Inc. 3D model construction from 2D assets
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
GB2570447A (en) * 2018-01-23 2019-07-31 Canon Kk Method and system for improving construction of regions of interest
WO2019164973A1 (en) * 2018-02-20 2019-08-29 Local Motors IP, LLC Method and apparatus for additive manufacturing
US20210097669A1 (en) * 2018-03-23 2021-04-01 Oregon State University Recovery of dropouts in surface maps
US10750083B2 (en) 2018-04-06 2020-08-18 Motorola Solutions, Inc. Systems and methods for processing digital image data representing multiple views of an object of interest
CN118505771A (zh) 2018-04-23 2024-08-16 康耐视公司 用于立体瞬时图像序列的改善3d数据重构的系统和方法
US11170224B2 (en) * 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
CN108898661B (zh) * 2018-05-31 2023-04-18 深圳先进技术研究院 三维图像构建的方法、装置及具有存储功能的装置
US12023192B2 (en) 2018-11-29 2024-07-02 The Board Of Trustees Of The Leland Stanford Junior University Single or a few views computed tomography imaging with deep neural network
US10922884B2 (en) * 2019-07-18 2021-02-16 Sony Corporation Shape-refinement of triangular three-dimensional mesh using a modified shape from shading (SFS) scheme
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
JP7330376B2 (ja) 2019-10-07 2023-08-21 ボストン ポーラリメトリックス，インコーポレイティド 偏光によるセンサシステム及び撮像システムの増強のための方法
CN112712584B (zh) 2019-10-25 2024-05-24 阿里巴巴集团控股有限公司 空间建模方法、装置、设备
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
US11302074B2 (en) * 2020-01-31 2022-04-12 Sony Group Corporation Mobile device 3-dimensional modeling
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
KR20220026423A (ko) 2020-08-25 2022-03-04 삼성전자주식회사 지면에 수직인 평면들의 3차원 재구성을 위한 방법 및 장치
KR102506126B1 (ko) * 2020-12-22 2023-03-06 주식회사 오픈노트 전통시장 전력설비 관리시스템
DE102021101439A1 (de) * 2021-01-22 2022-07-28 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur rotationsüberprüfung einer mikroskopkamera
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN114373056B (zh) * 2021-12-17 2024-08-02 云南联合视觉科技有限公司 一种三维重建方法、装置、终端设备及存储介质
US20230334713A1 (en) * 2022-04-15 2023-10-19 Tencent America LLC On coding of boundary uv2xyz index for mesh compression

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US4925294A (en) 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
FR2569020B1 (fr) 1984-08-10 1986-12-05 Radiotechnique Compelec Procede pour creer et modifier une image synthetique
EP1136906A3 (en) 1990-11-30 2001-11-14 Sun Microsystems, Inc. Improved method and apparatus for creating virtual worlds
US5323007A (en) 1992-02-07 1994-06-21 Univ. Of Chicago Development Corp. Argonne National Laboratories Method of recovering tomographic signal elements in a projection profile or image by solving linear equations
US5614941A (en) 1993-11-24 1997-03-25 Hines; Stephen P. Multi-image autostereoscopic imaging system
US5805117A (en) 1994-05-12 1998-09-08 Samsung Electronics Co., Ltd. Large area tiled modular display system
US5621815A (en) 1994-09-23 1997-04-15 The Research Foundation Of State University Of New York Global threshold method and apparatus
US5729471A (en) 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5742291A (en) 1995-05-09 1998-04-21 Synthonics Incorporated Method and apparatus for creation of three-dimensional wire frames
US6151404A (en) 1995-06-01 2000-11-21 Medical Media Systems Anatomical visualization system
US6016150A (en) 1995-08-04 2000-01-18 Microsoft Corporation Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers
US6049628A (en) 1995-09-01 2000-04-11 Cerulean Colorization Llc Polygon reshaping in picture colorization
JPH0991436A (ja) * 1995-09-21 1997-04-04 Toyota Central Res & Dev Lab Inc 画像処理方法及びその装置
US5748199A (en) 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
AUPN732395A0 (en) 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
JPH09237346A (ja) * 1995-12-26 1997-09-09 Ainesu:Kk 部分立体モデルの合成方法及び完全立体モデルの作成方法
JPH09186957A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像記録再生装置
JPH09289655A (ja) 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
KR100468234B1 (ko) 1996-05-08 2005-06-22 가부시키가이샤 니콘 노광방법,노광장치및디스크
JP3679512B2 (ja) 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6009189A (en) * 1996-08-16 1999-12-28 Schaack; David F. Apparatus and method for making accurate three-dimensional size measurements of inaccessible objects
US6310733B1 (en) 1996-08-16 2001-10-30 Eugene Dolgoff Optical elements and methods for their manufacture
US5977978A (en) 1996-11-13 1999-11-02 Platinum Technology Ip, Inc. Interactive authoring of 3D scenes and movies
US6208360B1 (en) 1997-03-10 2001-03-27 Kabushiki Kaisha Toshiba Method and apparatus for graffiti animation
JPH10293852A (ja) 1997-04-21 1998-11-04 Fuji Photo Film Co Ltd 輪郭線抽出方法
EP0990224B1 (en) 1997-06-17 2002-08-28 BRITISH TELECOMMUNICATIONS public limited company Generating an image of a three-dimensional object
US6208347B1 (en) 1997-06-23 2001-03-27 Real-Time Geometry Corporation System and method for computer modeling of 3D objects and 2D images by mesh constructions that incorporate non-spatial data such as color or texture
US6031564A (en) 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
US6226004B1 (en) 1997-09-12 2001-05-01 Autodesk, Inc. Modeling system using surface patterns and geometric relationships
WO1999015945A2 (en) 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
US6734900B2 (en) 1997-11-13 2004-05-11 Christopher Mayhew Real time camera and lens control system for image depth of field manipulation
US5990900A (en) 1997-12-24 1999-11-23 Be There Now, Inc. Two-dimensional to three-dimensional image converting system
US6384820B2 (en) 1997-12-24 2002-05-07 Intel Corporation Method and apparatus for automated dynamics of three-dimensional graphics scenes for enhanced 3D visualization
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
GB9807097D0 (en) 1998-04-02 1998-06-03 Discreet Logic Inc Processing image data
US6333749B1 (en) 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
KR100304784B1 (ko) 1998-05-25 2001-09-24 박호군 편광과광띠를이용한다자시청용3차원영상표시장치
US20050231505A1 (en) 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
JP3420504B2 (ja) 1998-06-30 2003-06-23 キヤノン株式会社 情報処理方法
US6134345A (en) 1998-08-28 2000-10-17 Ultimatte Corporation Comprehensive method for removing from an image the background surrounding a selected subject
US6456745B1 (en) 1998-09-16 2002-09-24 Push Entertaiment Inc. Method and apparatus for re-sizing and zooming images by operating directly on their digital transforms
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US6342887B1 (en) 1998-11-18 2002-01-29 Earl Robert Munroe Method and apparatus for reproducing lighting effects in computer animated objects
US6466205B2 (en) 1998-11-19 2002-10-15 Push Entertainment, Inc. System and method for creating 3D models from 2D sequential image data
US6278460B1 (en) 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
JP2000194863A (ja) 1998-12-28 2000-07-14 Nippon Telegr & Teleph Corp <Ntt> ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体
JP4203779B2 (ja) 1999-03-15 2009-01-07 ソニー株式会社 表示要素立体化装置及びその方法
JP3476710B2 (ja) * 1999-06-10 2003-12-10 株式会社国際電気通信基礎技術研究所 ユークリッド的な３次元情報の復元方法、および３次元情報復元装置
US6359630B1 (en) 1999-06-14 2002-03-19 Sun Microsystems, Inc. Graphics system using clip bits to decide acceptance, rejection, clipping
US6128132A (en) 1999-07-13 2000-10-03 Disney Enterprises, Inc. Method and apparatus for generating an autostereo image
US6870545B1 (en) 1999-07-26 2005-03-22 Microsoft Corporation Mixed but indistinguishable raster and vector image data types
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
GB2365243B (en) 2000-07-27 2004-03-24 Canon Kk Image processing apparatus
US6678406B1 (en) 2000-01-26 2004-01-13 Lucent Technologies Inc. Method of color quantization in color images
US6674925B1 (en) 2000-02-08 2004-01-06 University Of Washington Morphological postprocessing for object tracking and segmentation
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US6580821B1 (en) 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP3575679B2 (ja) * 2000-03-31 2004-10-13 日本電気株式会社 顔照合方法と該照合方法を格納した記録媒体と顔照合装置
US7471821B2 (en) 2000-04-28 2008-12-30 Orametrix, Inc. Method and apparatus for registering a known digital object to scanned 3-D model
US6956576B1 (en) 2000-05-16 2005-10-18 Sun Microsystems, Inc. Graphics system using sample masks for motion blur, depth of field, and transparency
US6765568B2 (en) 2000-06-12 2004-07-20 Vrex, Inc. Electronic stereoscopic media delivery system
US6714196B2 (en) 2000-08-18 2004-03-30 Hewlett-Packard Development Company L.P Method and apparatus for tiled polygon traversal
JP2002095018A (ja) 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
JP2002092657A (ja) 2000-09-12 2002-03-29 Canon Inc 立体表示制御装置、方法及び記憶媒体
US6924822B2 (en) 2000-12-21 2005-08-02 Xerox Corporation Magnification methods, systems, and computer program products for virtual three-dimensional books
US6677957B2 (en) 2001-01-09 2004-01-13 Intel Corporation Hardware-accelerated visualization of surface light fields
WO2002084862A1 (en) * 2001-04-11 2002-10-24 Koninklijke Philips Electronics N.V. High duty cycle offset compensation for operational amplifiers
US20020164067A1 (en) 2001-05-02 2002-11-07 Synapix Nearest neighbor edge selection from feature tracking
CA2446150C (en) 2001-05-04 2013-01-08 Legend Films, Llc Image sequence enhancement system and method
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US6752498B2 (en) 2001-05-14 2004-06-22 Eastman Kodak Company Adaptive autostereoscopic display system
JP2002350775A (ja) 2001-05-30 2002-12-04 Fuji Photo Optical Co Ltd プロジェクタ装置
US7230624B2 (en) 2001-06-21 2007-06-12 Microsoft Corporation Method and apparatus for modeling and real-time rendering of surface detail
US6989840B1 (en) 2001-08-31 2006-01-24 Nvidia Corporation Order-independent transparency rendering system and method
US6816629B2 (en) 2001-09-07 2004-11-09 Realty Mapping Llc Method and system for 3-D content creation
US20030090482A1 (en) 2001-09-25 2003-05-15 Rousso Armand M. 2D to 3D stereo plug-ins
US6809745B1 (en) 2001-10-01 2004-10-26 Adobe Systems Incorporated Compositing two-dimensional and 3-dimensional images
GB0126526D0 (en) 2001-11-05 2002-01-02 Canon Europa Nv Three-dimensional computer modelling
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US7756305B2 (en) 2002-01-23 2010-07-13 The Regents Of The University Of California Fast 3D cytometry for information in tissue engineering
US7412022B2 (en) * 2002-02-28 2008-08-12 Jupiter Clyde P Non-invasive stationary system for three-dimensional imaging of density fields using periodic flux modulation of compton-scattered gammas
US20030202120A1 (en) 2002-04-05 2003-10-30 Mack Newton Eliot Virtual lighting system
US7051040B2 (en) 2002-07-23 2006-05-23 Lightsurf Technologies, Inc. Imaging system providing dynamic viewport layering
KR100804572B1 (ko) 2002-09-27 2008-02-20 샤프 가부시키가이샤 입체화상 표시장치, 입체화상 기록장치, 입체화상 부호화장치, 입체화상 복호장치, 입체화상 기록방법 및 입체화상 전송방법
US7113185B2 (en) 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
US7289662B2 (en) * 2002-12-07 2007-10-30 Hrl Laboratories, Llc Method and apparatus for apparatus for generating three-dimensional models from uncalibrated views
WO2004070563A2 (en) * 2003-01-31 2004-08-19 Genex Technologies, Inc. Three-dimensional ear biometrics system and method
WO2005115017A1 (en) * 2003-02-14 2005-12-01 Lee Charles C 3d camera system and method
WO2004081853A1 (en) 2003-03-06 2004-09-23 Animetrics, Inc. Viewpoint-invariant image matching and generation of three-dimensional models from two-dimensional imagery
US6821866B2 (en) 2003-03-11 2004-11-23 Texas Instruments Incorporated Method of identifying wafer cutting positions of different size partial wafers
JP4677175B2 (ja) * 2003-03-24 2011-04-27 シャープ株式会社 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7362918B2 (en) 2003-06-24 2008-04-22 Microsoft Corporation System and method for de-noising multiple copies of a signal
GB2405776B (en) * 2003-09-05 2008-04-02 Canon Europa Nv 3d computer surface model generation
GB2406252B (en) 2003-09-18 2008-04-02 Canon Europa Nv Generation of texture maps for use in 3d computer graphics
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7831087B2 (en) 2003-10-31 2010-11-09 Hewlett-Packard Development Company, L.P. Method for visual-based recognition of an object
US20050140670A1 (en) 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
US7053904B1 (en) 2003-12-15 2006-05-30 Nvidia Corporation Position conflict detection and avoidance in a programmable graphics processor
US7755608B2 (en) 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
WO2005084405A2 (en) * 2004-03-03 2005-09-15 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
US7643966B2 (en) 2004-03-10 2010-01-05 Leica Geosystems Ag Identification of 3D surface points using context-based hypothesis testing
US8042056B2 (en) 2004-03-16 2011-10-18 Leica Geosystems Ag Browsers for large geometric data visualization
GB0410551D0 (en) 2004-05-12 2004-06-16 Ller Christian M 3d autostereoscopic display
US7015926B2 (en) 2004-06-28 2006-03-21 Microsoft Corporation System and process for generating a two-layer, 3D representation of a scene
JP2008506953A (ja) * 2004-07-14 2008-03-06 ブレインテック カナダ インコーポレイテッド 機械視覚のための方法及び装置
US20060023197A1 (en) 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
JP4610262B2 (ja) 2004-08-30 2011-01-12 富士フイルム株式会社 投写型画像表示装置
WO2006034256A2 (en) 2004-09-17 2006-03-30 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US20080246836A1 (en) 2004-09-23 2008-10-09 Conversion Works, Inc. System and method for processing video images for camera recreation
US20080259073A1 (en) 2004-09-23 2008-10-23 Conversion Works, Inc. System and method for processing video images
JP2008515347A (ja) 2004-09-29 2008-05-08 ワーナー ブロス．エンターテイメント，インク． 成分画像のブロッチ補正
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US8396329B2 (en) * 2004-12-23 2013-03-12 General Electric Company System and method for object measurement
DE102005001325B4 (de) 2005-01-11 2009-04-09 Siemens Ag Verfahren zum Ausrichten eines Grafikobjekts auf einem Übersichtsbild eines Objekts
JP4646797B2 (ja) 2005-02-01 2011-03-09 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US20060207647A1 (en) 2005-03-16 2006-09-21 General Electric Company High efficiency inorganic nanorod-enhanced photovoltaic devices
US7599555B2 (en) 2005-03-29 2009-10-06 Mitsubishi Electric Research Laboratories, Inc. System and method for image matting
US7706603B2 (en) * 2005-04-19 2010-04-27 Siemens Corporation Fast object detection for augmented reality systems
US7636128B2 (en) 2005-07-15 2009-12-22 Microsoft Corporation Poisson matting for images
US7720282B2 (en) 2005-08-02 2010-05-18 Microsoft Corporation Stereo image segmentation
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
US7477777B2 (en) 2005-10-28 2009-01-13 Aepx Animation, Inc. Automatic compositing of 3D objects in a still frame or series of frames
US7737973B2 (en) 2005-10-31 2010-06-15 Leica Geosystems Ag Determining appearance of points in point cloud based on normal vectors of points
US7518619B2 (en) * 2005-11-07 2009-04-14 General Electric Company Method and apparatus for integrating three-dimensional and two-dimensional monitors with medical diagnostic imaging workstations
US20070153122A1 (en) 2005-12-30 2007-07-05 Ayite Nii A Apparatus and method for simultaneous multiple video channel viewing
JP5063071B2 (ja) 2006-02-14 2012-10-31 株式会社ニューフレアテクノロジー パタン作成方法及び荷電粒子ビーム描画装置
KR101195942B1 (ko) * 2006-03-20 2012-10-29 삼성전자주식회사 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법
US8471866B2 (en) 2006-05-05 2013-06-25 General Electric Company User interface and method for identifying related information displayed in an ultrasound system
EP2016559A2 (en) 2006-05-05 2009-01-21 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4407670B2 (ja) 2006-05-26 2010-02-03 セイコーエプソン株式会社 電気光学装置および電子機器
US20090167843A1 (en) 2006-06-08 2009-07-02 Izzat Hekmat Izzat Two pass approach to three dimensional Reconstruction
US9508190B2 (en) 2006-06-09 2016-11-29 Thomson Licensing Method and system for color correction using three-dimensional information
US7836086B2 (en) 2006-06-09 2010-11-16 Pixar Layering and referencing of scene description
EP1868157A1 (en) * 2006-06-14 2007-12-19 BrainLAB AG Shape reconstruction using X-ray images
EP2160037A3 (en) 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
US20080056719A1 (en) 2006-09-01 2008-03-06 Bernard Marc R Method and apparatus for enabling an optical network terminal in a passive optical network
US7742060B2 (en) 2006-09-22 2010-06-22 Autodesk, Inc. Sampling methods suited for graphics hardware acceleration
US7715606B2 (en) * 2006-10-18 2010-05-11 Varian Medical Systems, Inc. Marker system and method of using the same
US8619073B2 (en) 2006-10-27 2013-12-31 Thomson Licensing System and method for recovering three-dimensional particle systems from two-dimensional images
US7767967B2 (en) 2006-11-01 2010-08-03 Sony Corporation Capturing motion using quantum nanodot sensors
US7656402B2 (en) 2006-11-15 2010-02-02 Tahg, Llc Method for creating, manufacturing, and distributing three-dimensional models
CA2668941C (en) 2006-11-17 2015-12-29 Thomson Licensing System and method for model fitting and registration of objects for 2d-to-3d conversion
CN101542536A (zh) 2006-11-20 2009-09-23 汤姆森特许公司 用于合成三维图像的系统和方法
CN101542537B (zh) 2006-11-21 2012-09-19 汤姆逊许可证公司 用于3d图像的颜色校正的方法和系统
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US20080226160A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for filling light in frames during 2-d to 3-d image conversion
US20080228449A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US20080226181A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images
US20080226194A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for treating occlusions in 2-d to 3-d image conversion
US20080225042A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
US20080225059A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. System and method for using off-screen mask space to provide enhanced viewing
US20080225040A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. System and method of treating semi-transparent features in the conversion of two-dimensional images to three-dimensional images
US20080226128A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images
US20080225045A1 (en) 2007-03-12 2008-09-18 Conversion Works, Inc. Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804231B (zh) * 2009-06-15 2014-08-27 微软公司 三维场景的分段平面重建
CN102804231A (zh) * 2009-06-15 2012-11-28 微软公司 三维场景的分段平面重建
CN110084854B (zh) * 2009-12-24 2024-05-07 康耐视公司 用于相机校准误差的运行时测定的系统和方法
CN110084854A (zh) * 2009-12-24 2019-08-02 康耐视公司 用于相机校准误差的运行时测定的系统和方法
CN104170369A (zh) * 2012-03-15 2014-11-26 诺基亚公司 用于捕获图像的方法、设备和计算机程序
CN104170369B (zh) * 2012-03-15 2017-12-19 诺基亚技术有限公司 用于捕获图像的方法、设备和计算机可读存储介质
CN106091921A (zh) * 2015-04-28 2016-11-09 三菱电机株式会社 用于确定场景中的尺寸的方法
CN106091921B (zh) * 2015-04-28 2019-06-18 三菱电机株式会社 用于确定场景中的尺寸的方法
CN109074235A (zh) * 2016-03-25 2018-12-21 奥沃德公司 任意视图生成
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN110494864B (zh) * 2017-03-08 2023-08-11 电子湾有限公司 3d模型的集成
US11727627B2 (en) 2017-03-08 2023-08-15 Ebay Inc. Integration of 3D models
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN111598976B (zh) * 2019-02-01 2023-08-22 华为技术有限公司 场景识别方法及装置、终端、存储介质
US11918900B2 (en) 2019-02-01 2024-03-05 Huawei Technologies Co., Ltd. Scene recognition method and apparatus, terminal, and storage medium
CN111598976A (zh) * 2019-02-01 2020-08-28 华为技术有限公司 场景识别方法及装置、终端、存储介质

Also Published As

Publication number Publication date
KR20150104073A (ko) 2015-09-14
US8655052B2 (en) 2014-02-18
AU2008200277A1 (en) 2008-08-14
EP1950704A3 (en) 2011-06-08
AU2008200277B2 (en) 2013-11-14
JP2008186456A (ja) 2008-08-14
NZ565418A (en) 2009-08-28
KR20080070579A (ko) 2008-07-30
KR101613721B1 (ko) 2016-04-19
CA2618875A1 (en) 2008-07-26
CA2618875C (en) 2018-06-12
EP1950704A2 (en) 2008-07-30
US20080181486A1 (en) 2008-07-31

Similar Documents

Publication Publication Date Title
CN101246599A (zh) 根据2d图像序列进行3d场景重构的方法
CN110602396B (zh) 智能合影方法、装置、电子设备及存储介质
US11869205B1 (en) Techniques for determining a three-dimensional representation of a surface of an object from a set of images
US10949978B2 (en) Automatic background replacement for single-image and multi-view captures
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
US10430994B1 (en) Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats
Feng et al. Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications
EP2272050B1 (en) Using photo collections for three dimensional modeling
KR20180003535A (ko) 라이더 스테레오 융합 실사 3d 모델 가상 현실 비디오
US20060119597A1 (en) Image forming apparatus and method
CN112907751B (zh) 一种基于混合现实的虚拟装修方法、系统、设备和介质
KR102455468B1 (ko) 객체의 3차원 모델을 복원하는 방법 및 장치
JP2018526736A (ja) シーン再構成方法、装置、端末機器及び記憶媒体
CN112270736B (zh) 增强现实处理方法及装置、存储介质和电子设备
Klose et al. Stereoscopic 3D view synthesis from unsynchronized multi-view video
JP4958689B2 (ja) 立体画像生成装置およびプログラム
US20230298280A1 (en) Map for augmented reality
CN111402412A (zh) 数据采集方法及装置、设备、存储介质
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
Wang et al. Interactive free-viewpoint video generation
Chang et al. A review on image-based rendering
Patro et al. Social snapshot: A system for temporally coupled social photography
Lee et al. Mobile phone-based 3d modeling framework for instant interaction
Blanc et al. Towards fast and realistic image synthesis from real views
WO2023149333A1 (ja) 情報処理装置、情報処理方法、および、コンピュータ読み取り可能な非一時的記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080820