CN101542536A - 用于合成三维图像的系统和方法 - Google Patents

用于合成三维图像的系统和方法 Download PDF

Info

Publication number
CN101542536A
CN101542536A CN200680056433A CN200680056433A CN101542536A CN 101542536 A CN101542536 A CN 101542536A CN 200680056433 A CN200680056433 A CN 200680056433A CN 200680056433 A CN200680056433 A CN 200680056433A CN 101542536 A CN101542536 A CN 101542536A
Authority
CN
China
Prior art keywords
metadata
views
image
view
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200680056433A
Other languages
English (en)
Inventor
安娜·B·贝尼特斯
张冬青
吉姆·A·范彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101542536A publication Critical patent/CN101542536A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种用于合成3D图像的系统和方法，其将具有3D性质的两个或更多图像的各部分或至少一部分组合以创建3D图像。本公开的系统和方法提供来获得至少两个三维(3D)图像(202，204)；得到与所述至少两个3D图像有关的元数据(例如，照明、几何形状和对象信息)(206，208)；将所述至少两个3D图像的元数据映射到单个3D坐标系中；以及将所述至少两个3D图像中的每个3D图像的部分合成为单个3D图像(214)。单个3D图像可以被呈现为期望的格式(例如，立体图像对)(218)。该系统和方法可将所呈现的输出与相关的元数据(例如，立体图像对的两眼间距离)相关联(218)。

Description

用于合成三维图像的系统和方法
技术领域
本公开通常涉及计算机图形处理和显示系统，更具体地涉及用于合成三维(3D)图像的系统和方法。
背景技术
立体成像是将从场景中的稍微不同的视点采集的至少两个图像视觉组合、以产生三维景深(depth)的假象(illusion)的处理。该技术依赖于两只人眼间距一段距离、因此并不观看到完全相同的场景的事实。通过为每只眼提供来自不同视角(perspective)的图像，使观看者的眼睛错觉为感觉到景深。典型地，在提供两个不同的视角的情况下，各分量图像分别被称为“左”和“右”图像，也称为参考图像和补充图像。然而，本领域技术人员将认识到，可组合多于两个的视点以形成立体图像。
可使用各种技术通过计算机产生立体图像。例如，“立体图(anaglyph)”方法使用色彩来对立体图像的左分量和右分量进行编码。之后，观看者佩戴一副特殊的眼镜，该眼镜进行滤光，使得每只眼只感觉到一个视图。
类似地，页面切换(page-flipped)立体成像是用于在图像的右视图和左视图之间快速切换显示的技术。同样，观看者佩戴一副特殊的眼镜，该眼镜包含典型地由液晶材料制造的高速电子快门，该高速电子快门与显示器上的图像同步地打开和关闭。如在立体图的情况下一样，每只眼只感觉到一个分量图像。
最近已经开发了不需要特殊眼镜或头盔的其他立体成像技术。例如，晶状体(lenticular)成像将两个或更多完全不同的图像视图分割为薄片，然后将薄片交织以形成单个图像。经交织的图像然后定位到晶状体透镜之后，该晶状体透镜对完全不同的的视图进行重构，使得每只眼感觉到不同的视图。一些晶状体显示通过定位在如通常在膝上型计算机上看到的传统的LCD显示器之上的晶状体透镜实现。
与上述技术相关的应用是对于3D图像(例如，立体图像)的VFX合成。当前，诸如Apple ShakeTM和Autodesk CombustionTM之类的现有的合成软件用于该处理。然而，这些软件系统在合成和呈现期间独立地处理立体图像对中的左眼图像和右眼图像。
因此，当前对立体图像进行VFX合成的处理是反复试验操作，其缺乏操作者用于确定对于正确地呈现左右图像的适当的相机位置、光线模型等的系统方式。这样的反复试验处理可能导致不精确的对象景深估计和效率低的合成工作流。
此外，这些软件系统不允许操作者修改对于呈现的立体图像的特定设置，如两眼间距离。不适当的两眼间距离可能导致不断地改变3D运动画面中的会聚平面，这引起观众的视觉疲劳。
发明内容
一种用于合成3D图像的系统和方法，其将具有3D性质的两个或更多图像的各部分或至少一部分进行组合以创建3D图像。本公开的系统和方法获取两个或更多输入图像。系统的输入可以是具有左右眼视图的立体图像对、具有与视图相对应的景深图的单眼图像、用于计算机图形(CG)对象的3D模型、2D前景和/或背景板(plate)、以及这些的组合等等。该系统和方法然后获得或提取所获取的图像的相关元数据，如照明、几何形状和对象信息。响应于来自操作者的输入，该系统和方法对每个所获取的图像选择或修改诸如照明、几何形状和对象之类的图像数据。用于合成3D图像的系统和方法然后将所选择的或修改的图像数据映射到相同的坐标系，并且基于由操作者提供的方向和设置将图像数据组合为单个3D图像。此时，操作者可以判断是否修改设置或将组合的3D图像呈现为期望的格式(例如，立体图像对)。该系统和方法可以将所呈现的输出与相关元数据(例如，立体图像对的两眼间距离)相关联。
根据本公开的一方面，一种用于合成三维(3D)图像的方法，包括：获得至少两个三维(3D)图像；得到与所述至少两个3D图像有关的元数据；将所述至少两个3D图像的元数据映射到单个3D坐标系中；以及将所述至少两个3D图像中的每个3D图像的部分合成为单个3D图像。所述元数据包括但不限于照明信息、几何形状信息、对象信息和它们的组合。
在另一方面中，所述方法还包括以预定格式呈现所述单个3D图像。
在另一方面中，所述方法还包括将输出元数据与所呈现的3D图像相关联。
根据本公开的另一方面，提供了一种用于合成三维(3D)图像的系统。该系统包括：用于获取至少两个三维(3D)图像的装置；被配置为用于得到与所述至少两个3D图像有关的元数据的提取器；被配置为用于将所述至少两个3D图像的元数据映射到单个三维坐标系中的坐标映射器；以及被配置为用于将所述至少两个3D图像中的每个3D图像的部分合成为单个3D图像的合成器。
在一个方面中，所述系统包括被配置为修改元数据的至少一个属性的色彩校正器。
在另一方面中，所述提取器还包括光提取器，被配置为用于确定至少两个3D图像的光环境。
在另一方面中，所述提取器还包括几何形状提取器，被配置为用于确定至少两个3D图像中的场景或对象的几何形状。
根据另一方面，提供了一种可由机器读取的程序存储设备，其有形地体现可由机器执行的指令的程序，该程序用于执行用于合成三维(3D)图像的方法步骤，所述方法包括：获得至少两个三维(3D)图像；得到与所述至少两个3D图像有关的元数据；将所述至少两个3D图像的元数据映射到单个3D坐标系中；将所述至少两个3D图像中的每个3D图像的部分合成为单个3D图像；以及以预定格式呈现单个3D图像。
附图说明
根据结合附图阅读优选实施例的下述详细描述，本公开的这些和其他方面、特性和优点将被描述或变得显而易见。
在附图中，遍及各图相似的参考标号表示相似的元件：
图1是根据本公开一方面、用于将至少两个三维(3D)图像合成为单个3D图像的系统的示意性图示。
图2是根据本公开一方面、用于将至少两个三维(3D)图像合成为单个3D图像的示例性方法的流程图；以及
图3图示根据本公开一方面、将两个三维图像映射到单个3D坐标系。
应当理解，附图用于图示本公开的构思的目的，并且不一定是用于图示本公开的唯一可能的配置。
具体实施方式
应当理解，附图中所示的元件可以以硬件、软件或其组合的各种形式实现。优选地，这些元件以硬件和软件的组合在一个或多个适当编程的通用设备上实现，该通用设备可包括处理器、存储器和输入/输出接口。
本描述例示本公开的原理。因此应理解本领域技术人员将能够设计出虽然未在这里明确描述或示出、但是体现本公开的原理并且包括在本公开的精神和范围内的各种布置。
这里所叙述的所有例子和条件语句意在教学目的，以帮助读者理解由发明人贡献以促进本领域技术的本公开的原理和构思，并被解释为不限制为这样具体叙述的例子和条件。
此外，这里叙述本公开的原理、方面、以及实施例的所有陈述、以及本公开的具体例子意在包含本公开的结构的和功能的等价物。另外，意在这样的等价物包括当前已知的等价物以及将来发展的等价物，即，无论结构如何、执行相同功能的所开发的任何元件。
因此，例如，本领域技术人员将理解：这里呈现的框图表示体现本公开的原理的示例电路的概念性视图。类似地，将理解：任何流程图示、流程图、状态转换图、伪代码等等表示各种处理，所述各种处理可以基本上在计算机可读介质中表示，并因此由计算机或处理器执行，无论这样的计算机或处理器是否被明确示出。
附图中所示的各种元件的功能可以通过使用专用硬件以及能够与适合的软件相关联而执行软件的硬件来提供。当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器、或其中一些可以被共享的多个独立处理器提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为唯一地代表能够执行软件的硬件，其也可以隐含地、不受限制地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储装置。
也可以包括其它的传统的和/或定制的硬件。类似地，附图中所示的任何开关只是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑间的交互作用、或甚至手动地执行，具体技术可由实施者选择，如从上下文中被更具体地理解的。
在本权利要求书中，表示为执行指定功能的部件的任何元件意在包含执行该功能的任何手段，所述手段包括：例如，a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括与用于执行该软件以执行该功能的适当电路组合的固件、微代码等。由这样的权利要求定义的本公开存在于这样的事实：由各种所叙述的部件提供的功能以权利要求所要求保护的方式被组合和集合到一起。因此，将认为，可提供这些功能的任何部件与这里所示出的部件等效。
合成是在运动画面产生中广泛使用的标准处理，其用于将来自不同源的多个图像组合为一个图像，以便实现一定的视觉效果。传统的合成工作流为处理2D运动画面而开发，对于处理3D运动画面(例如，3D立体运动画面)没有进行优化。
本公开解决了将具有3D性质的两个或更多图像的各部分或至少一部分组合为新的单个3D图像的问题。本公开提供了可以将具有三维(3D)性质的两个或更多图像中的每个图像的至少一部分组合为新的3D图像的系统和方法。支持范围广泛的3D图像，包括但不限于立体图像对、具有景深图的2D图像、用于CG对象的3D模型、前景和/或背景板等。此外，该系统和方法可获取、提取和输出关于合成处理的相关元数据。该系统和方法允许包括或排除特定平面中的对象(剪辑)并允许基于由操作者指定的指令来混合对象。
系统的输入可以是具有左眼视图和右眼视图的立体图像对、具有与视图对应的景深图的单眼图像、用于计算机图形对象的3D模型、2D前景和/或背景板、和这些的组合等等。系统的输出可以是左眼视图和右眼视图的立体图像对、或呈现和合成由操作者指定的输入图像的组合的任何其他类型的3D图像。输入和输出图像都可以与诸如假设的两眼间距离和立体图像对的照明模型等等之类的相关元数据相关联。此外，输出元数据可用于便利其他应用的附加处理(例如，改变两眼间距离)。
该系统和方法可采用诸如色彩校正器和光模型发生器之类的传统VFX工具。当输入图像不包括照明模型或足够详细的几何形状信息时，需要上述VFX工具。该系统和方法还提供来合并和修改照明模型以及输入图像的3D几何形状。可以基于由操作者选择或指定的指令来合并或修改这些模型。
现在参照附图，图1中示出根据本公开实施例的示例性系统组件。提供扫描设备103以用于将例如相机原片负片(camera-original film negative)的胶片印片(film print)104扫描为数字格式，例如Cineon格式或SMPTE DPX文件。扫描设备103可包括例如电视电影或将从胶片产生视频输出的任何设备，如例如具有视频输出的Arri LocProTM。或者，可直接使用来自后生产处理或数字相机106的文件(例如，已经为计算机可读形式的文件)。计算机可读文件的潜在来源包括但不限于AVIDTM编辑器、DPX文件、D5磁带等。
扫描的胶片印片输入到后处理设备102，例如计算机。计算机在各种已知计算机平台中的任何计算机平台上实现，该计算机平台具有诸如下述的硬件：一个或多个中央处理单元(CPU)；存储器110，如随机存取存储器(RAM)和/或只读存储器(ROM)；以及一个或多个输入/输出(I/O)用户接口112，如键盘、光标控制设备(例如，鼠标或操纵杆)和显示设备。计算机平台还包括操作系统和微指令代码。这里描述的各种处理和功能可以是微指令代码的一部分或经由操作系统执行的软件应用程序的一部分(或其组合)。此外，各种其他外设可通过诸如并行端口、串行端口或通用串行总线(USB)之类的各种接口和总线结构连接到计算机平台。其他外设可包括附加存储设备124和打印机128。打印机128可以用来打印胶片126的修改版本，例如胶片的立体版本，其中可能已经使用作为下述技术的结果的3D建模的对象来更改或替代一个场景或多个场景。
或者，已经是计算机可读形式的文件/胶片印片106(例如，数字电影，其例如可存储在外部硬盘驱动器124上)可直接输入到计算机102中。注意到，这里使用的术语“胶片”可指胶片印片或数字电影。
软件程序包括在存储器110中存储的三维(3D)合成器模块114，用于将至少两个3D图像的至少一部分组合为单个3D图像。3D合成器模块114包括光提取器116，用于预测要放置在场景中的对象的光环境。光提取器116可与多个光模型交互以确定光环境。3D几何形状检测器118被提供来提取几何形状信息并识别3D图像中的对象。3D几何形状检测器118或者通过经图像编辑软件手动地画出包含对象的图像区域的轮廓，或者通过用自动检测算法隔离包含对象的图像区域，来识别对象。色彩校正器119被提供来更改图像或图像的一部分的色彩、亮度、对比度、色温等。由色彩校正器119实现的色彩校正功能包括但不限于区域选择、色彩分级、散焦、关键通道和消光(key channel and matting)、伽玛控制、正确度(rightness)和对比度等等。
3D合成器模块114还包括坐标映射器120，用于将对象从3D对象库117或从输入图像映射到单个坐标系。呈现器122被提供来用由光提取器116产生的光信息等等呈现场景中的对象。呈现器在本领域已知，并且包括而不限于LightWave 3D、熵和混合器(Entropy and Blender)。
图2是根据本公开一方面、用于将至少两个3D图像的各部分或一部分合成为单个3D图像的示例性方法的流程图。最初，在步骤202，后处理设备102获取至少两个三维(3D)图像，例如具有左眼视图和右眼视图的立体图像对、具有与视图对应的景深图的单眼图像、用于计算机图形(CG)对象的3D模型、2D前景和/或背景板、以及这些的组合等等。后处理设备102可通过得到计算机可读格式的数字主图像文件来获得至少两个3D图像。数字视频文件可通过用数字相机捕获运动图像的时间序列来获得。或者，视频序列可通过传统的胶片类型的相机捕获。在此情况下，胶片经由扫描设备103扫描。
应当认识到，无论胶片被扫描还是已经是数字格式，胶片的数字文件都将包括关于帧的位置的指示或信息，例如帧号、从胶片开始起的时间等等。数字图像文件的每帧将包括一个图像，例如，l1，l2，...ln。
一旦获得数字文件，就可获取两个或更多输入图像。诸如光线、几何形状和对象信息之类的相关元数据也可按需要输入到系统或由系统提取。下一步骤是操作者按需要选择或修改每个输入图像的诸如照明、几何形状、对象等等之类的元数据的属性。输入然后映射到相同坐标系，并且基于来自操作者的指导和设置将该输入组合为单个3D图像。此时，操作者可判断修改设置还是以期望的格式(例如，立体图像对)呈现并合成组合的3D图像。呈现的输出可与相关元数据(例如，立体图像对的两眼间距离)相关联。
参照图2，在步骤202和204中输入至少两个3D图像。作为3D图像合成器的输入，支持范围广泛的3D图像。例如，具有左眼视图和右眼视图的立体图像对、具有与视图对应的景深图的单眼图像、用于计算机图形对象的3D模型、2D前景或背景板、以及这些的组合可以是该系统的输入。
接下来，在步骤206和208，系统将获得输入图像的照明、几何形状、对象和其他信息。所有输入图像可以被获取相关元数据123，如相机距离和立体图像对的照明模型等等。获取意味着按需要接受为输入图像并处理。例如，输入两个立体图像并从中提取景深图。如果用于合成的必要元数据不可用，则系统可以使用如上关于图1描述的模块，以半自动或自动方式从输入图像中提取元数据。例如，光提取器116将确定场景的照明环境，并预测在场景中的特定点处的光信息，例如，辐射率。此外，几何形状提取器118将从图像中提取输入图像的场景或各部分的几何形状以及其他相关元数据，如相机参数、景深图等。此外，可由操作者手动输入元数据，例如与特定图像相关产生的照明模型可以与该图像相关联。可从外部源获得或接收元数据，例如可通过诸如例如激光扫描仪或其他设备之类的几何形状捕获设备获得3D几何形状，并将该3D几何形状输入到几何形状提取器118。类似地，可通过诸如例如小型球面反射镜(mirror ball)、光传感器、相机等等之类的照明捕获设备捕获光信息，并将该光信息输入到光提取器116等等。
系统可使用传统的VFX工具来提取或产生合成处理所需的相关元数据123。这样的工具包括但不限于色彩校正算法、几何形状检测算法、光建模算法等。当3D输入图像不包括照明模型或足够详细的几何形状信息时，需要这些工具。系统可使用的其他相关元数据是立体图像对的相机距离等等。
一旦对与用户感兴趣的某些对象相对应的整个图像或画面的一部分提取了关于几何形状的信息(景深图等等)，系统就可以分割在输入图像中出现的对象。例如，在人A和人B握手的立体图像对中，系统可对与人A、人B和背景相对应的对象进行分割。对象分割算法是本领域公知的。可通过诸如模型拟合(model fitting)之类的各种方法确定或修正(refine)图像中感兴趣的场景或对象的3D几何形状，其中具有已知几何形状的预定义3D模型被与图像中与对象对应的区域进行匹配和登记。在另一示例性方法中，通过将图像区域与预定义颗粒(particle)系统相匹配来得到或修正所分割的对象的几何形状，其中颗粒系统被产生以具有预定义几何形状。
在步骤210、212，系统可使得操作者能够对于至少两个输入图像修改元数据的属性，例如照明、几何形状、对象和其他信息。如果图像的3D性质不精确或不可用，则可能需要创建或修改该图像的3D性质以获得精确的3D合成。例如，由于3D获得设备的低景深分辨率，背景板的景深图经常不可用。在此情况下，操作者可能需要在合成需要时将3D景深分配到背景板中的某些对象。操作者还可以在期望时修改每个输入图像的照明、几何形状、对象等。系统提供来合并和修改输入图像或图像中的对象的照明模型以及3D几何形状。可基于由操作者选择或指定的指令合并或修改这些模型(例如，在期望位置增加新的光源)。此外，操作者可采用色彩校正器119来通过修改光色、表面色和反射性质、光位置和表面几何形状来修改所获取的图像的对象或一部分的“外观”。在修改之前或之后将呈现各图像或各图像的各部分，以确定是否需要修改或更多修改。
接下来，在步骤214中，基于由操作者经由3D合成模块114提供的设置执行合成。在该步骤期间，在不同输入图像中的视觉元素(例如，对象)由操作者手动地、或基于景深信息自动地定位到相同的3D坐标系中，如图3所示。参照图3，每个输入图像302、304在与输入图像相关的坐标系中分别包括对象308和310。来自每个输入图像302、304的对象308、310将被映射到新的3D图像306的全局坐标系312中。操作者可修改和改变输入图像的各对象或各部分之间的位置或关系。系统还允许操作者包括或排除特定平面中的对象(剪辑)以及基于特定规则混合对象。最终，基于由操作者选择或指定的指令、例如指定对于关于全局坐标系输入每个图像的坐标系的转换、旋转和缩放变换，来合并和组合所选择的对象和输入图像。例如，来自输入图像304的对象310关于3D图像306的全局坐标系312旋转并且从其初始大小缩放。
在合成步骤后，可能需要进一步修改元数据的属性(步骤216)。如果需要修改属性，则该方法将返回到步骤210、212，否则可呈现合成的3D图像。
在步骤218，合成的3D图像最终以期望格式、例如左眼视图和右眼视图的立体图像对或任何其他类型的3D图像，经由呈现器122呈现。输出图像可与相关的元数据129相关联，如假设的两眼间距离和立体图像对的照明模型、3D图像的封闭(occlusion)信息和相关联的景深图等等。可自动产生元数据，例如两眼间距离，或手动输入元数据，例如光源位置和强度。
所呈现的图像然后可存储在数字文件130中。数字文件130可以存储在存储设备124中，以用于之后的取回，例如用于打印原片的立体版本。
尽管已经在这里详细示出和描述了合并了本公开的教导的实施例，但是本领域技术人员可以容易地设计仍然合并这些教导的许多其他的变化实施例。已经描述了合成3D图像的系统和方法的优选实施例(意在说明性的而非限制性的)，注意到，本领域技术人员根据上述教导可进行修改和变化。因此，理解到，在所附权利要求概括的本公开的范围和精神内所公开的本公开的具体实施例中可进行变化。

Claims (20)

1.一种用于合成三维图像的方法，包括：
获得至少两个三维图像(202，204)；
得到与所述至少两个三维图像有关的元数据(206，208)；
将所述至少两个三维图像的元数据映射到单个三维坐标系中；以及
将所述至少两个三维图像中的每个三维图像的部分合成为单个三维图像(214)。
2.如权利要求1所述的方法，其中所述元数据是照明信息、几何形状信息和对象信息中的至少一个。
3.如权利要求1所述的方法，还包括以预定格式呈现所述单个三维图像(218)。
4.如权利要求3所述的方法，还包括将输出元数据与所呈现的三维图像相关联(218)。
5.如权利要求4所述的方法，其中所述预定格式是具有左眼视图和右眼视图的立体图像对，其中所述输出元数据是在所述立体图像对的左眼视图和右眼视图之间的两眼间距离。
6.如权利要求1所述的方法，其中至少两个所获得的三维图像中的每个三维图像是具有左眼视图和右眼视图的立体图像对、具有与视图对应的景深图的单眼视图图像、计算机图形对象的三维模型、以及二维前景或背景板中的一个。
7.如权利要求3所述的方法，还包括修改所述至少两个三维图像的元数据的至少一个属性(210，212)。
8.如权利要求1所述的方法，其中得到元数据的步骤包括从至少两个三维图像中提取元数据。
9.如权利要求1所述的方法，其中得到元数据包括从至少一个外部源接收元数据。
10.一种用于合成三维图像的系统(100)，包括：
用于获得至少两个三维图像的装置；
被配置为用于得到与所述至少两个三维图像有关的元数据的提取器(116，118)；
被配置为用于将所述至少两个三维图像的元数据映射到单个三维坐标系中的坐标映射器(120)；以及
被配置为用于将所述至少两个三维图像中的每个三维图像的部分合成为单个三维图像的合成器(114)。
11.如权利要求10所述的系统(100)，还包括被配置为用于以预定格式呈现所述单个三维图像的呈现器(122)。
12.如权利要求11所述的系统(100)，其中所述合成器(114)还被配置为将输出元数据与所呈现的三维图像相关联。
13.如权利要求10所述的系统(100)，其中所述元数据是照明信息、几何形状信息和对象信息中的至少一个。
14.如权利要求10所述的系统(100)，还包括被配置为用于修改图像的元数据的至少一个属性的色彩校正器(119)。
15.如权利要求10所述的系统(100)，其中所述提取器还包括光提取器(116)，其被配置为用于确定至少两个三维图像的光环境。
16.如权利要求10所述的系统(100)，其中所述提取器还包括几何形状提取器(118)，其被配置为用于确定至少两个三维图像中的对象的几何形状。
17.如权利要求10所述的系统(100)，其中所述提取器(116，118)还被配置为从至少一个外部源接收元数据。
18.一种可由机器读取的程序存储设备，其有形地体现可由机器执行的指令的程序，该程序用于执行用于合成三维图像的方法步骤，所述方法包括：
获得至少两个三维图像(202，204)；
得到与所述至少两个三维图像有关的元数据(206，208)；
将所述至少两个三维图像的元数据映射到单个三维坐标系中；
将所述至少两个三维图像中的每个三维图像的部分合成为单个三维图像(214)；以及
以预定格式呈现所述单个三维图像(218)。
19.如权利要求18所述的程序存储设备，其中所述元数据是照明信息、几何形状信息和对象信息中的至少一个。
20.如权利要求18所述的程序存储设备，其中所述方法还包括将输出元数据与所呈现的三维图像相关联(218)。
CN200680056433A 2006-11-20 2006-11-20 用于合成三维图像的系统和方法 Pending CN101542536A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/045029 WO2008063170A1 (en) 2006-11-20 2006-11-20 System and method for compositing 3d images

Publications (1)

Publication Number Publication Date
CN101542536A true CN101542536A (zh) 2009-09-23

Family

ID=38362781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200680056433A Pending CN101542536A (zh) 2006-11-20 2006-11-20 用于合成三维图像的系统和方法

Country Status (6)

Country Link
US (1) US20110181591A1 (zh)
EP (1) EP2084672A1 (zh)
JP (1) JP4879326B2 (zh)
CN (1) CN101542536A (zh)
CA (1) CA2669016A1 (zh)
WO (1) WO2008063170A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929634A (zh) * 2013-01-11 2014-07-16 三星电子株式会社 3d动画效果产生方法和系统
CN104063796A (zh) * 2013-03-19 2014-09-24 腾讯科技（深圳）有限公司 对象信息展示方法、系统及装置
CN105282534A (zh) * 2014-07-17 2016-01-27 全视技术有限公司 用于嵌入立体图像的系统及方法
US9542975B2 (en) 2010-10-25 2017-01-10 Sony Interactive Entertainment Inc. Centralized database for 3-D and other information in videos
CN107810633A (zh) * 2015-09-10 2018-03-16 谷歌有限责任公司 立体渲染系统
CN110991050A (zh) * 2019-12-06 2020-04-10 万翼科技有限公司 Cad叠图方法及相关产品

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
EP2446636A1 (en) 2009-06-24 2012-05-02 Dolby Laboratories Licensing Corporation Method for embedding subtitles and/or graphic overlays in a 3d or multi-view video data
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US9959453B2 (en) * 2010-03-28 2018-05-01 AR (ES) Technologies Ltd. Methods and systems for three-dimensional rendering of a virtual augmented replica of a product image merged with a model image of a human-body feature
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
KR101764372B1 (ko) * 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
JP6001826B2 (ja) * 2011-05-18 2016-10-05 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラムおよび情報処理方法
KR20120133951A (ko) * 2011-06-01 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 깊이정보 조정방법 및 그 저장매체
JP2013118468A (ja) 2011-12-02 2013-06-13 Sony Corp 画像処理装置および画像処理方法
US9258550B1 (en) 2012-04-08 2016-02-09 Sr2 Group, Llc System and method for adaptively conformed imaging of work pieces having disparate configuration
EP2675173A1 (en) * 2012-06-15 2013-12-18 Thomson Licensing Method and apparatus for fusion of images
TWI466062B (zh) * 2012-10-04 2014-12-21 Ind Tech Res Inst 重建三維模型的方法與三維模型重建裝置
GB2519112A (en) 2013-10-10 2015-04-15 Nokia Corp Method, apparatus and computer program product for blending multimedia content
US9426620B2 (en) 2014-03-14 2016-08-23 Twitter, Inc. Dynamic geohash-based geofencing
KR20160078023A (ko) * 2014-12-24 2016-07-04 삼성전자주식회사 디스플레이 제어 장치 및 디스플레이 제어 방법
TWI567476B (zh) * 2015-03-13 2017-01-21 鈺立微電子股份有限公司 影像處理裝置與影像處理方法
WO2017015580A1 (en) 2015-07-23 2017-01-26 Artilux Corporation High efficiency wide spectrum sensor
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
ES2765280T3 (es) 2015-08-04 2020-06-08 Artilux Inc Aparato sensor de luz de germanio-silicio
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
CN114754864B (zh) 2015-08-27 2023-03-24 光程研创股份有限公司 宽频谱光学传感器
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
CN111868929B (zh) 2018-02-23 2021-08-03 奥特逻科公司 光检测装置及其光检测方法
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
TWI758599B (zh) 2018-04-08 2022-03-21 美商光程研創股份有限公司 光偵測裝置
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6084590A (en) * 1997-04-07 2000-07-04 Synapix, Inc. Media production with correlation of image stream and abstract objects in a three-dimensional virtual stage
JP3309841B2 (ja) * 1999-12-10 2002-07-29 株式会社日立製作所 合成動画像生成装置および合成動画像生成方法
US20020094134A1 (en) * 2001-01-12 2002-07-18 Nafis Christopher Allen Method and system for placing three-dimensional models
JP2002223458A (ja) * 2001-01-26 2002-08-09 Nippon Hoso Kyokai <Nhk> 立体映像作成装置
JP4190263B2 (ja) * 2002-11-25 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542975B2 (en) 2010-10-25 2017-01-10 Sony Interactive Entertainment Inc. Centralized database for 3-D and other information in videos
CN103635899B (zh) * 2010-10-25 2017-10-13 索尼电脑娱乐公司 对于视频中的3d和其他信息的集中式数据库
CN103929634A (zh) * 2013-01-11 2014-07-16 三星电子株式会社 3d动画效果产生方法和系统
CN104063796A (zh) * 2013-03-19 2014-09-24 腾讯科技（深圳）有限公司 对象信息展示方法、系统及装置
CN105282534A (zh) * 2014-07-17 2016-01-27 全视技术有限公司 用于嵌入立体图像的系统及方法
CN105282534B (zh) * 2014-07-17 2019-04-23 豪威科技股份有限公司 用于嵌入立体图像的系统及方法
CN107810633A (zh) * 2015-09-10 2018-03-16 谷歌有限责任公司 立体渲染系统
US10757399B2 (en) 2015-09-10 2020-08-25 Google Llc Stereo rendering system
CN110991050A (zh) * 2019-12-06 2020-04-10 万翼科技有限公司 Cad叠图方法及相关产品

Also Published As

Publication number Publication date
WO2008063170A1 (en) 2008-05-29
JP4879326B2 (ja) 2012-02-22
US20110181591A1 (en) 2011-07-28
JP2010510573A (ja) 2010-04-02
CA2669016A1 (en) 2008-05-29
EP2084672A1 (en) 2009-08-05

Similar Documents

Publication Publication Date Title
CN101542536A (zh) 用于合成三维图像的系统和方法
CN101479765B (zh) 对2d电影进行转换用于立体3d显示的方法和系统
CA2668941C (en) System and method for model fitting and registration of objects for 2d-to-3d conversion
US4925294A (en) Method to convert two dimensional motion pictures for three-dimensional systems
US9020241B2 (en) Image providing device, image providing method, and image providing program for providing past-experience images
CN102047288B (zh) 利用正向和反向深度预测进行图像的深度提取的系统和方法
US20090219383A1 (en) Image depth augmentation system and method
US20140181630A1 (en) Method and apparatus for adding annotations to an image
CN102027752A (zh) 用于测量立体运动画面的潜在眼睛疲劳的系统和方法
WO2011029209A2 (en) Method and apparatus for generating and processing depth-enhanced images
AU2005331138A1 (en) 3D image generation and display system
CN102067611B (zh) 用于给立体影片加标记的系统和方法
WO2014094874A1 (en) Method and apparatus for adding annotations to a plenoptic light field
Marton et al. Natural exploration of 3D massive models on large-scale light field displays using the FOX proximal navigation technique
CA2540538C (en) Stereoscopic imaging
KR101177058B1 (ko) 마커 기반 3차원 입체 시스템
Kim et al. 3-d virtual studio for natural inter-“acting”
CN107155101A (zh) 一种3d播放器使用的3d视频的生成方法及装置
KR100731266B1 (ko) 3차원 입체 영상의 신호 처리 장치 및 방법
EP3716217A1 (en) Techniques for detection of real-time occlusion
KR20100036683A (ko) 영상 출력 방법 및 장치
KR100893855B1 (ko) 3차원 포그라운드와 2차원 백그라운드 결합 방법 및 3차원어플리케이션 엔진
JP2009504028A (ja) 多次元ディスプレイ用の視覚イメージを取り込んで、映写するためのシステム、装置および方法
CA2252063C (en) System and method for generating stereoscopic image data
CN101536040B (zh) 为了2d至3d转换对对象进行模型拟合和配准的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20090923

RJ01 Rejection of invention patent application after publication