CN101529468A - 用于从二维图像中恢复三维粒子系统的系统和方法 - Google Patents

用于从二维图像中恢复三维粒子系统的系统和方法 Download PDF

Info

Publication number
CN101529468A
CN101529468A CN200680056228A CN200680056228A CN101529468A CN 101529468 A CN101529468 A CN 101529468A CN 200680056228 A CN200680056228 A CN 200680056228A CN 200680056228 A CN200680056228 A CN 200680056228A CN 101529468 A CN101529468 A CN 101529468A
Authority
CN
China
Prior art keywords
particle
fuzzy object
particie
particie system
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200680056228A
Other languages
English (en)
Other versions
CN101529468B (zh
Inventor
张东庆
安娜·贝莲·贝尼特斯
吉姆·亚瑟·梵彻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101529468A publication Critical patent/CN101529468A/zh
Application granted granted Critical
Publication of CN101529468B publication Critical patent/CN101529468B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明提供了一种用于从二维2D图像中恢复三维3D粒子系统的系统和方法。本发明的系统和方法用于:识别(201)二维2D图像中的模糊对象;从多个预定粒子系统中选择(202)与预定模糊对象相关的粒子系统;产生(204)所选的粒子系统中的至少一个粒子;模拟(206)所述至少一个粒子,以更新所述至少一个粒子的状态;对所选的粒子系统进行渲染(208);将所渲染的粒子系统与2D图像中所识别的模糊对象进行比较(210);以及在比较结果在可接收阈值之内的情况下存储(212、214)所选的粒子系统,其中,所存储的粒子系统表示所述模糊对象的恢复后的几何形状。

Description

用于从二维图像中恢复三维粒子系统的系统和方法
技术领域
本发明总体上涉及计算机图形处理和显示系统,更具体地,涉及一种用于从二维(2D)图像中恢复三维(3D)粒子系统的系统和方法。
背景技术
长期以来,从单幅图像中恢复三维(3D)几何形状在计算机视觉计算机图形学中是一个持续存在的问题。当前技术仅处理从多边形网格形式的二维(2D)图像中恢复立体或可变形对象的几何形状。现有技术不能处理模糊对象(fuzzy object)(例如,火、草、树、水等)的3D几何形状的恢复,特别是恢复可能产生图像中的2D模糊对象的粒子系统。
对未来的影片制作系统而言,从2D图像中恢复3D信息十分重要。重要应用之一是,从单幅2D图像重构场景的3D几何形状,该过程被称作2D至3D转换。由于根据2D来恢复3D是一个不适定问题,精确的3D重构需要人的交互。这样的半自动方法已使用在由加利福尼亚Westlake Village的一家名为In-Three的公司开发的2D至3D转换系统中,该系统专门用于根据常规2D影片来制作立体影片。在2001年3月27日授权给Kaye的美国专利No.6,208,348中描述了该2D至3D转换系统。在2D至3D的过程中,几何尺寸专家必须创建与输入图像中对象相匹配的3D几何形状或立体对。对人类编辑者而言,很容易创建或修改如建筑物和人体之类的立体或可变形对象的几何形状,但是该过程非常耗时,并且对人类编辑者而言很难创建与2D图像中如树和云等模糊对象相匹配的3D几何形状。
尽管在单视点3D几何形状恢复方面已存在大量现有技术,但是,似乎极少关注从2D图像中恢复模糊对象的3D几何形状。因此,需要一种用于从2D图像中恢复模糊对象的3D几何形状的系统和方法。
发明内容
本公开提供了一种用于从二维(2D)图像中恢复三维(3D)粒子系统的系统和方法。本公开的几何形状重构系统和方法从2D图像中恢复表示模糊对象的几何形状的3D粒子系统。所述几何形状重构系统和方法识别2D图像中的模糊对象,从而可以由粒子系统产生所述模糊对象。模糊对象的识别可以通过利用编辑工具描绘包含模糊对象的区域的轮廓来手动完成,或者通过自动检测算法完成。然后,对这些模糊对象进行进一步分析,以开发用于将其与粒子系统库相匹配的准则。通过以帧和时间方式(即图像的顺序序列)来分析图像段的光特性和表面特性来确定最佳匹配。所述系统和方法模拟并对从库中选择的粒子系统进行渲染(rendering),然后将渲染结果与图像中的模糊对象进行比较。本发明的系统和方法将根据特定匹配准则来确定粒子系统是否是良好匹配。
根据本发明的一个方面,一种三维(3D)重构方法包括:识别二维(2D)图像中的模糊对象;从多个预定粒子系统中选择与预定模糊对象相关的粒子系统;模拟所选的粒子系统;对所模拟的粒子系统进行渲染;将所渲染的粒子系统与2D图像中所识别的模糊对象进行比较;其中,如果比较结果小于预定阈值,则接受所选的粒子系统来表示所识别的模糊对象的几何形状。
根据本发明的另一方面,提供了一种用于对来自二维(2D)图像的模糊对象进行三维(3D)重构的系统。所述系统包括后处理设备,被配置用于重构来自至少一幅2D图像的模糊对象的三维模型,所述后处理设备包括:对象检测器,被配置用于识别2D图像中的至少一个模糊对象;粒子系统产生器,被配置用于产生和模拟粒子系统;粒子渲染器,被配置用于对所产生的粒子系统进行渲染;以及重构模块,被配置用于从多个预定粒子系统中选择与预定模糊对象相关的粒子系统、将所渲染的粒子系统与2D图像中所识别的至少一个模糊对象进行比较、并在比较结果小于预定阈值的情况下存储所选的粒子系统,其中,所存储的粒子系统表示所识别的至少一个模糊对象的恢复后的几何形状。
在本发明的另一方面中,提供了一种机器可读的程序存储设备,所述程序设备有形地实现机器可执行的指令程序,以执行用于从二维(2D)图像中恢复三维(3D)粒子系统的方法步骤,所述方法包括:识别二维(2D)图像中的模糊对象;从多个预定粒子系统中选择与预定模糊对象相关的粒子系统;模拟所选的粒子系统;对所模拟的粒子系统进行渲染;将所渲染的粒子系统与2D图像中所识别的模糊对象进行比较;以及如果比较结果小于预定阈值,则存储所选的粒子系统,其中,所存储的粒子系统表示模糊对象的恢复后的几何形状。
附图说明
根据可以结合附图来阅读的优选实施例的详细描述,对本发明的上述和其他方面、特征和优点进行描述并使其变得显而易见。
所有附图中相似的附图标记表示相似的元件,在附图中:
图1A是静态粒子系统的迭代过程的流程图;
图1B是动态粒子系统的迭代过程的流程图;
图2是根据本发明一方面的用于从二维(2D)图像中恢复三维(3D)粒子系统的系统的示例性说明;
图3是根据本发明一方面的用于从二维(2D)图像中恢复三维(3D)粒子系统的示例性方法的流程图;以及
图4是根据本发明一方面的用于从至少两幅二维(2D)图像中恢复三维(3D)粒子系统的示例性方法的流程图。
应当理解,附图是用于说明本发明构思的目的,并不一定是用于说明本发明的唯一可能配置。
具体实施方式
应理解,可以按照硬件、软件或其结合的各种形式来实现附图所示的元件。优选地,通过一台或多台适当编程的通用设备上的硬件和软件的结合,来实现这些元件,所述通用设备可以包括处理器、存储器和输入/输出接口。
本描述说明了本发明的原理。因此,可以认识到,本领域技术人员能够想到各种实施本发明的原理的设置,虽然这里没有显式地描述或示出这些设置,但是,这些设置包括在本发明的精神和范围中。
这里阐述的所有示例和条件语言是为了教导的目的,以帮助读者理解本发明的原理以及发明人为了改进现有技术而贡献的概念,这些应被解释为并非将本发明局限于这样具体阐述的示例和条件。
此外,这里阐述本发明的原理、方面和实施例以及其具体示例的所有表述应包括其结构和功能的等效物。此外,这样的等效物应包括当前已知的等效物以及未来开发的等效物,例如,开发出的执行相同功能的任何元件,而不论其结构如何。
因此,例如,本领域技术人员应理解,这里呈现的框图表示了实现本发明原理的示意电路图的概念视图。类似地,可以认识到,任何流程图、流程图表、状态转移图、伪代码等表示了各种过程,所述过程可以被实质上表示在计算机可读介质中,并从而由计算机或处理器执行,而不论是否显式地示出了这样的计算机或处理器。
可以通过使用专用硬件以及能够与合适的软件相关联地执行软件的硬件,来提供图中所示的各种元件的功能。在由处理器提供时,可以由单个专用处理器、单个共享处理器或多个单处理器(其中一些可以是共享的)来提供该功能。此外,显式使用的术语“处理器”或“控制器”不应被解释为是排他性地指能够执行软件的硬件,可以隐含地包括但不限于:数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、和永久存储器。
也可以包括其他硬件,不论其为传统的和/或常规的。类似地,图中所示的任何开关仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互,或甚至手动地实施其功能,如从上下文中可以更具体地理解的,实现者可以选择特定的技术。
在权利要求书中,表述为用于执行指定功能的装置的任何元件应包含执行该功能的任何方式,例如包括a)执行该功能的电路元件的结合或者b)任何形式的软件,从而包括固件、微代码等,与执行该软件的适当电路相结合来执行该功能。由这样的权利要求所限定的本发明在于以下事实:以权利要求所要求保护的方式,将各种所述装置所提供的功能结合并集合在一起。因此,应认为可以提供这些功能的任何装置都与这样所示的装置等效。
在计算机图形学中,如建筑物和人体等立体或可变形对象可以表示为如NURBS(非均匀有理贝塞尔样条)和三角网格之类的解析或多边形网格。然而,很难将模糊对象表示为网格。取而代之地,通常使用被称作粒子系统的技术来产生模糊对象。通过实现选择具有某个预定规格的粒子系统来提供恢复模糊对象的几何形状的方式(例如,为了恢复树,树叶可以是预定的粒子图元(primitives))。将具有不同规格(即用于不同模糊对象)的粒子系统收集在库中,以用于本发明的3D重构应用。
本发明的系统和方法涉及恢复3D粒子系统的问题,其中3D粒子系统的渲染与2D模糊对象(如2D图像中的云、树和波浪)相匹配。
恢复的粒子系统被称作匹配的粒子系统。该过程被称作将粒子系统与图像相匹配。这样的系统可用于2D影片至3D影片的转换,以及需要场景3D几何形状的其他VFX(视觉效果)产品应用。
粒子系统由图元(例如,粒子)的集合组成。这些粒子中的每一个具有直接或间接影响粒子性态或对粒子进行渲染的方式和位置的属性。通过具有控制参数集合(如产生速率或发射速率、位置、速度、粒子寿命、粒子褪色参数、年龄、形状、大小和透明度)的系统来产生和模拟粒子。如以下所述,针对每种不同类型的模糊对象(例如树、云等)来定义控制参数集合,并将其存储在粒子系统库中。
通常,粒子系统的状态在三个步骤之间往复:粒子发射、粒子模拟和渲染(如图1A和图1B所示)。粒子发射产生新的粒子。对每个新产生的粒子的属性或控制参数给出初始值,所述初始值可以是固定的或由随机过程来确定。粒子模拟对现有粒子的物理性质进行模拟,并控制现有粒子的消灭(death)。每个粒子的属性可以随时间改变,或可以是时间和其他粒子属性的函数。渲染将3D粒子系统渲染为2D图像,即例如经由显示器将3D粒子系统转换成视觉形式。
可以将粒子系统分类成静态粒子系统和动态粒子系统。在如图1A所示的静态粒子系统中,在粒子模拟完成之后,仅进行一次粒子系统渲染。渲染结果产生静态模糊对象的图像。在如图1B所示的动态粒子系统中,连续产生并模拟粒子。粒子可以随时间消灭并改变其状态(如颜色)。在每一次模拟步骤之后执行渲染,模拟步骤可以模仿动态模糊对象的性态(如波动的水)。渲染结果产生模糊对象的视频输出。
恢复3D粒子系统的原因是为了根据模糊对象在图像中的2D投影来重构其几何形状。与立体对象的几何形状恢复相比,模糊对象的几何形状重构面临两个挑战。第一,模糊对象和背景之间的边界通常不清楚,使将模糊对象与背景分离变得极为复杂。第二,由于模糊对象通常不具有统一的形状,因此很难将模糊对象参数化。因此,尽管现有方法可能能够使用基于模型的方法来估计立体对象的全局几何参数,但几何参数估计不能应用于模糊对象。不能通过如仿射变换的简单参数函数来描述两个粒子系统之间的变形或关系。本发明的系统和方法利用基于模拟的方法来估计粒子状态和参数。所述系统和方法模拟并渲染粒子系统,然后将渲染结果与图像中的模糊对象相比较。然后,本发明的系统和方法将根据特定匹配准则来确定粒子系统是否是良好匹配。以下将描述用于恢复静态和动态粒子系统的不同方法。
现在参照附图,在图2中示出了根据本公开实施例的示例性系统组件。可以提供扫描设备103用来将胶片拷贝(film print)104(例如摄像机原始胶片底片)扫描成数字格式(例如Cineon格式或电影电视工程师协会(SMPTE)的数字图像交换(DPX)文件)。扫描设备103可以包括例如电视电影机或将从胶片产生视频输出的任何设备(例如,具有视频输出的Arri LocProTM)。可选地,可以直接使用来自后期制作处理或数字电影院106的文件(例如,计算机可读形式的文件)。计算机可读文件的潜在源是AVIDTM编辑器、DPX文件、D5盘带等。
将扫描后的胶片拷贝输入至后处理设备102(例如计算机)。所述计算机可以在任何各种已知计算机平台上实现,所述计算机平台具有:如一个或多个中央处理单元(CPU)之类的硬件,如随机存取存储器(RAM)和/或只读存储器(ROM)之类的存储器11,以及如键盘、光标控制设备(例如鼠标或操纵杆)和显示设备之类的输入/输出(I/O)用户接口112。所述计算机平台还包括操作系统和微指令代码。这里所描述的各种过程和功能可以是微指令代码的一部分或是经由操作系统执行的软件应用程序的一部分(或其组合)。此外,各种其他外围设备可以通过各种接口和总线结构(如并行端口、串行端口或通用串行总线(USB))连接至计算机平台。其他外围设备还可以包括附加存储设备124和打印机128。采用打印机128来打印胶片的修订版本126,在该修订版本中,根据以下所述的技术,使用3D建模的对象来改变或替换其中的场景。
可选地,已采取计算机可读形式的文件/胶片拷贝106(例如可以存储在外部硬盘124中的数字电影),可以直接输入至计算机102。注意,这里所使用的术语“影片(film)”可以指胶片拷贝或数字电影。
软件程序包括存储在存储器110中的三维(3D)重构模块114,用于从2D图像重构3D模糊对象。3D重构模块114包括用于识别2D图像中模糊对象的对象检测器116。对象检测器116通过使用图像编辑软件来描绘包含模糊对象的图像区域的轮廓来手动识别对象,或通过利用自动检测算法分离包含模糊对象的图像区域来识别对象。3D重构模块114还包括用于产生和控制/模拟粒子系统的粒子系统产生器118。如下所述,粒子系统产生器将与粒子系统库122进行交互。粒子系统库122包括多个预定粒子系统,其中每一粒子系统与预定模糊对象相关。例如,预定粒子系统之一可以用于对树进行建模。基于树的粒子系统包括针对产生用于模拟树的粒子的控制参数或属性。每个粒子的控制参数或属性可以包括但不限于:位置、速度(速率和方向)、颜色、寿命、年龄、形状、大小、透明度等。
提供粒子渲染器120,用于例如在显示器上渲染所产生的粒子系统。
首先将描述用于从单幅图像中恢复静态粒子系统的方法;然后,将所述方法扩展用于从图像序列(例如视频剪辑)中恢复粒子系统。
图3是根据本发明一方面的用于从二维(2D)图像中重构三维(3D)对象的示例性方法的流程图。通过反复试验使用基于模拟的方法来实现从单幅图像中恢复粒子系统。
首先,后处理设备102获得计算机可读格式的数字母片(master)视频文件。可以通过利用数字视频摄像机捕捉视频图像的时间序列来获取该数字视频文件。可选地,可以通过传统胶片类型摄像机来获取视频序列。在这种情况下,经由扫描设备来扫描胶片。在场景或摄像机中移动对象时,摄像机将获得2D图像。摄像机将获取场景的多个视点。
可以理解,无论对影片进行扫描,或影片已经是数字格式,影片的数字文件将包括关于帧位置的指示或信息,例如帧编号、距离影片起始处的时间等。数字视频文件的每一帧将包括一幅图像,例如,I1、I2、...In
图3示出了用于找到可以产生图像或图像的一部分的粒子系统的迭代过程。在每一次迭代中,系统产生新粒子。首先,在步骤201中,识别图像中的模糊对象。使用对象检测器116,可以使用图像编辑工具由用户手动选择模糊对象,或可选地,可以使用图像检测算法(例如,分割算法)来自动检测模糊对象。描绘轮廓的区域(即模糊对象)的外观确定了将从粒子系统库122中选择的相匹配的特定粒子系统。
通过以帧和时间方式来分析图像区域的视觉特性(例如形状、颜色、纹理、运动等),确定预定粒子系统和输入图像之间的最佳匹配。
一旦识别出要重构的模糊对象,从预定粒子系统库122中选择(步骤202)多个预定粒子系统中的至少一个。开发预定粒子系统中的每一个来模拟预定模糊对象,例如树、云等。选择所选的预定粒子系统来尝试匹配来自图像的模糊对象的内容。所选的预定粒子系统包括粒子系统的控制参数。以随机方式确定粒子的控制参数(例如位置)。一种示例性方法是从概率分布中提取粒子状态,其中这样的概率分布可以在迭代之前确定,或者在迭代期间动态地适配于系统。一旦定义了控制参数,则在步骤204,经由粒子系统产生器118逐一产生粒子。
对于由粒子产生器产生的每个粒子,在步骤206,进行模拟过程来更新粒子状态,从而使添加的粒子的外观与图像内容更好地匹配。例如,如果粒子与包括粒子位置、速率和大小的状态相关联,则例如根据能量守恒定律,模拟过程将在特定物理约束条件下更新所有这些参数。模拟的结果将促使经由粒子渲染器120来渲染粒子系统。
在步骤208中,出于比较目的而执行渲染过程。渲染算法对视觉效果或计算机图形学领域的技术人员是已知的。普通的渲染算法包括但不限于:光栅化、光线跟踪和光子映射。对于光线跟踪,通过从图像像素至光源反向跟踪相应光线来渲染对象,然后,由对象表面的反射系数和光源的特性来确定像素颜色。
对于每个新粒子,在步骤210,在所渲染的粒子和位于图像I1的小窗口中的模糊对象的图像像素之间执行局部比较。各种已知的差值度量可以用于该比较。所渲染的粒子和图像区域之间的一种示例性差值度量是最小二乘差(Least Square Difference,LSD)。假设所渲染的粒子图像是P(x,y),并且窗口中所识别的区域或子图像是I(x,y),则LSD计算如下:
D = Σ ( x , y ) ∈ L [ P ( x , y ) - I ( x , y ) ] 2
其中,x和y是像素的空间坐标,P和I表示像素处的颜色强度值。在一个实施例中,例如在灰度图象中,颜色强度值是单个数。在另一实施例中,颜色强度值将是每个像素的RGB值,即三个数。对由对象检测器116识别的图像区域上的所有像素执行上述求和。
所述方法迭代返回步骤206,直到已经处理所识别区域(即模糊对象所在的区域)中的所有粒子为止。在一个实施例中,在迭代期间,控制参数不改变,即在整个迭代期间始终使用从粒子系统库中预先选择的相同粒子系统。在其他实施例中,在每次迭代期间动态改变控制参数,以尝试找到粒子系统和图像之间的最佳匹配。
然后,在步骤212中,该系统使用差值度量的输出来确定是否应接受粒子的产生。通过相对于粒子状态来最小化上述差值度量,找到最优粒子状态,即改变粒子状态,使得在所渲染的图像和输入图像之间实现最小差值。如果从粒子状态至其图像的映射是解析的,则通过梯度下降方法还可以导出获得这些状态的闭合式解决方案。
基本上,如果差值度量的结果或输出小于预定阈值,则接受粒子的产生,即所恢复的粒子系统是匹配的粒子系统。预定阈值可以基于实验依经验而确定。如果产生和模拟步骤是可接受的,则在步骤214,存储粒子系统,以表示模糊对象的恢复后的几何形状。否则,如果差值度量的结果大于预定阈值,则在步骤216丢弃该粒子系统。
恢复动态粒子系统可以通过估计视频序列的每一帧的静态粒子系统来实现。然而,为了加快转换过程,来自先前帧的粒子状态可以用作当前帧中的初始粒子状态。这缩小了搜索空间,并从而减少了计算代价。
当从图像序列中恢复粒子系统时,可以从不同的摄像机视点获得关于粒子的附加信息。这样的信息可以用来提高匹配处理精确度。具体地,可以使用单幅图像来产生初始粒子系统,然后,使用视频序列的其余图像来细化粒子系统。参照图4,通过随机采样和模拟过程,可以实现该细化处理。采样处理可以在粒子系统中添加附加粒子、删除一些粒子或改变粒子状态。
参照图4,在步骤302中,如结合图3所述,选择初始可接受的粒子系统。然后,随机采样过程从步骤303所示的三个分支之一开始:粒子产生(即添加粒子);粒子状态改变(即修改粒子);以及粒子消灭(即删除粒子)。在产生过程中,与结合图3所述的过程类似,在步骤304和306中添加并模拟粒子。
然后,与上述步骤210和212类似,在步骤310和312中,该过程确定添加是否是可接受或有利的,其中,对差值度量的输出进行计算并进行阈值比较,以确定是否接受添加。在消灭过程中,选择要从系统中移除的粒子,然后,该确定移除是否是可接受或有利的。在状态改变过程中,随机选择粒子并进行模拟和比较处理来改变粒子状态,以更好地匹配新图像。
以上已经提供了一种用于从一幅图像或图像序列中恢复静态和动态粒子系统的系统和方法。所公开的技术通过执行输入图像和所渲染的粒子系统之间的比较来恢复3D粒子系统。由于所述系统和方法采用基于模拟的方法(其中逐一发射粒子),因此,在所产生的粒子周围局部进行比较,而不是使用整个图像全局进行比较。按照这种方式,通过以帧和时间方式来分析图像区域的视觉特性(例如,形状、颜色,纹理、运动等)来确定预定粒子系统与输入图像之间的最佳匹配。
然后可以将特定模糊对象的恢复后的3D模型存储在与包含图像的文件分离的数字文件130中。可以将3D对象的数字文件130存储在存储设备124中以用于后续检索,例如在影片的编辑阶段期间,可以例如通过组合器将建模的对象插入之前未出现该对象的场景中。
尽管这里已经详细示出并描述了结合了本发明教导的实施例,但本领域技术人员可以容易想到仍结合这些教导的许多其他变化的实施例。已经描述了用于从二维(2D)图像中恢复三维(3D)粒子系统的系统和方法的优选实施例(意在说明而非限制),但是应注意,本领域技术人员可以根据上述教导做出修改和变型。因此,应当理解,在由所附权利要求概括的本发明的范围和精神内,可以在所公开的本发明的具体实施例中进行改变。

Claims (20)

1、一种三维重构方法,包括:
识别(201)二维图像中的模糊对象;
从多个预定粒子系统中选择(202)与预定模糊对象相关的粒子系统;
模拟(206)所选的粒子系统;
对所模拟的粒子系统进行渲染(208);
将所渲染的粒子系统与二维图像中所识别的模糊对象进行比较(210);以及
其中,如果比较结果小于预定阈值(212),则接受(214)所选的粒子系统来表示所识别的模糊对象的几何形状。
2、根据权利要求1所述的方法,还包括:
产生(204)所选的粒子系统中的至少一个粒子;以及
模拟(206)所述至少一个粒子,以更新所述至少一个粒子的状态。
3、根据权利要求2所述的方法,其中,所述多个预定粒子系统中的每个预定粒子系统包括用于模拟预定粒子系统中的至少一个粒子的控制参数。
4、根据权利要求3所述的方法,其中,所述控制参数包括:位置、速度、速率和方向、颜色、寿命、年龄、形状、大小或透明度中的至少一个。
5、根据权利要求2所述的方法,还包括:利用第二二维图像来细化(303)所选的粒子系统中的至少一个粒子。
6、根据权利要求5所述的方法,其中,细化步骤(303)包括:添加至少一个粒子、删除至少一个粒子或修改至少一个粒子的状态。
7、根据权利要求6所述的方法,其中,所述至少一个粒子是从存储的粒子系统中选出的。
8、根据权利要求1所述的方法,其中,通过差值度量来执行比较步骤(210)。
9、根据权利要求1所述的方法,其中,比较步骤(210)还包括:确定所渲染粒子系统中的至少一个粒子与二维图像中所识别的模糊对象的至少一个像素之间的最小二乘差。
10、根据权利要求1所述的方法,其中,识别步骤(201)包括:描绘二维图像中包括模糊对象的区域的轮廓。
11、一种用于对来自二维图像的模糊对象进行三维重构的系统(100),所述系统(100)包括:
后处理设备(102),被配置用于重构来自二维图像的模糊对象的三维模型,所述后处理设备(102)包括:
对象检测器(116),被配置用于识别二维图像中的模糊对象;
粒子系统产生器(118),被配置用于产生和模拟粒子系统;
粒子渲染器(120),被配置用于对所产生的粒子系统进行渲染;以及
重构模块(114),被配置用于从多个预定粒子系统(122)中选择与预定模糊对象相关的粒子系统、将所渲染的粒子系统与二维图像中所识别的模糊对象进行比较、并在比较结果小于预定阈值的情况下存储所选的粒子系统,其中,所存储的粒子系统表示所识别的模糊对象的恢复后的几何形状。
12、根据权利要求11所述的系统(100),其中,所述粒子系统产生器(118)还被配置为:通过更新至少一个粒子的状态来模拟粒子系统中的至少一个粒子。
13、根据权利要求12所述的系统(100),其中,所述多个预定粒子系统中的每个预定粒子系统包括用于模拟至少一个粒子的控制参数。
14、根据权利要求13所述的系统(100),其中,所述控制参数包括:位置、速度、速率和方向、颜色、寿命、年龄、形状、大小或透明度中的至少一个。
15、根据权利要求12所述的系统(100),其中,所述重构模块(114)还被配置为:利用第二二维图像来细化所选的粒子系统中的至少一个粒子。
16、根据权利要求15所述系统(100),其中,所述重构模块(114)还被配置为:通过添加至少一个粒子、删除至少一个粒子或修改至少一个粒子的状态来细化所选的粒子系统。
17、根据权利要求11所述的系统(100),其中,所述重构模块(114)还被配置为:通过差值度量来对所渲染的粒子系统与二维图像中所识别的模糊对象进行比较。
18、根据权利要求11所述的系统(100),其中,所述重构模块(114)还被配置为:通过确定所渲染粒子系统中的至少一个粒子与二维图像中所识别的模糊对象的至少一个像素之间的最小二乘差来对所渲染的粒子系统与二维图像中所识别的模糊对象进行比较。
19、根据权利要求11所述的系统(100),其中,所述对象检测器(116)被配置为:通过描绘二维图像中包括至少一个模糊对象的区域的轮廓来识别所述至少一个模糊对象。
20、一种机器可读的程序存储设备,所述程序设备有形地实现机器可执行的指令程序,以执行用于从二维图像中恢复三维粒子系统的方法步骤,所述方法包括:
识别(201)二维图像中的模糊对象;
从多个预定粒子系统中选择(202)与预定模糊对象相关的粒子系统;
模拟(206)所选的粒子系统;
对所模拟的粒子系统进行渲染(208);
将所渲染的粒子系统与二维图像中所识别的模糊对象进行比较(210);以及
在比较结果小于预定阈值的情况下存储(212、214)所选的粒子系统,其中,所存储的粒子系统表示所述模糊对象的恢复后的几何形状。
CN2006800562286A 2006-10-27 2006-10-27 用于从二维图像中恢复三维粒子系统的系统和方法 Expired - Fee Related CN101529468B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2006/042586 WO2008051231A1 (en) 2006-10-27 2006-10-27 System and method for recovering three-dimensional particle systems from two-dimensional images

Publications (2)

Publication Number Publication Date
CN101529468A true CN101529468A (zh) 2009-09-09
CN101529468B CN101529468B (zh) 2013-06-05

Family

ID=37878790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800562286A Expired - Fee Related CN101529468B (zh) 2006-10-27 2006-10-27 用于从二维图像中恢复三维粒子系统的系统和方法

Country Status (6)

Country Link
US (1) US8619073B2 (zh)
EP (1) EP2080167B1 (zh)
JP (1) JP5108893B2 (zh)
CN (1) CN101529468B (zh)
CA (1) CA2667538C (zh)
WO (1) WO2008051231A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104777329A (zh) * 2014-01-13 2015-07-15 北京航空航天大学 一种用于粒子图像测速三维粒子场重构的线性规划算法
CN105957135A (zh) * 2015-03-09 2016-09-21 西门子公司 用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统
CN106227327A (zh) * 2015-12-31 2016-12-14 深圳超多维光电子有限公司 一种显示转换方法、装置及终端设备
CN108665531A (zh) * 2018-05-08 2018-10-16 阿里巴巴集团控股有限公司 3d粒子模型的变换方法及装置
CN115329697A (zh) * 2022-08-26 2022-11-11 北京国科恒通科技股份有限公司 仿三维线路图生成方法、装置、系统和存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
US20110043540A1 (en) * 2007-03-23 2011-02-24 James Arthur Fancher System and method for region classification of 2d images for 2d-to-3d conversion
AU2008321478B2 (en) * 2007-11-09 2012-12-13 Wms Gaming Inc. Particle array for a wagering game machine
DE102008053470A1 (de) 2008-10-28 2010-04-29 Siemens Aktiengesellschaft System und Verfahren zur Verarbeitung von Bilddaten im medizinischen Bereich
TWI582408B (zh) 2011-08-29 2017-05-11 安美基公司 用於非破壞性檢測-流體中未溶解粒子之方法及裝置
CN103455323B (zh) * 2013-07-05 2018-12-25 新奥特(北京)视频技术有限公司 一种粒子效果的实现方法及装置
CN107392835B (zh) 2016-05-16 2019-09-13 腾讯科技(深圳)有限公司 一种粒子系统的处理方法及装置
CN106056660A (zh) * 2016-05-31 2016-10-26 深圳铂睿智恒科技有限公司 一种移动终端模拟粒子系统的方法
US10088660B2 (en) 2017-02-10 2018-10-02 Amgen Inc. Imaging system for counting and sizing particles in fluid-filled vessels
CN109191550B (zh) * 2018-07-13 2023-03-14 卓米私人有限公司 一种粒子渲染方法、装置、电子设备及存储介质
CN108933895A (zh) * 2018-07-27 2018-12-04 北京微播视界科技有限公司 三维粒子特效生成方法、装置和电子设备
CN109461205A (zh) * 2018-09-29 2019-03-12 北京航空航天大学 一种从烟花视频重建三维烟花的方法
EP4000052A1 (en) 2019-07-18 2022-05-25 Carrier Corporation Flame detection device and method
CN115409952B (zh) * 2022-11-01 2023-01-24 湖南马栏山视频先进技术研究院有限公司 一种结核性脑膜脑炎重建系统、方法及存储器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
US6208348B1 (en) * 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
JP2005339127A (ja) 2004-05-26 2005-12-08 Olympus Corp 画像情報表示装置及び画像情報表示方法
US7411590B1 (en) * 2004-08-09 2008-08-12 Apple Inc. Multimedia file format
US7769204B2 (en) * 2006-02-13 2010-08-03 George Privalov Smoke detection method and apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104777329A (zh) * 2014-01-13 2015-07-15 北京航空航天大学 一种用于粒子图像测速三维粒子场重构的线性规划算法
CN104777329B (zh) * 2014-01-13 2018-06-05 北京航空航天大学 一种用于粒子图像测速三维粒子场重构的线性规划算法
CN105957135A (zh) * 2015-03-09 2016-09-21 西门子公司 用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统
CN105957135B (zh) * 2015-03-09 2019-07-09 西门子公司 用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统
CN106227327A (zh) * 2015-12-31 2016-12-14 深圳超多维光电子有限公司 一种显示转换方法、装置及终端设备
CN108665531A (zh) * 2018-05-08 2018-10-16 阿里巴巴集团控股有限公司 3d粒子模型的变换方法及装置
CN115329697A (zh) * 2022-08-26 2022-11-11 北京国科恒通科技股份有限公司 仿三维线路图生成方法、装置、系统和存储介质

Also Published As

Publication number Publication date
US8619073B2 (en) 2013-12-31
CA2667538A1 (en) 2008-05-02
WO2008051231A1 (en) 2008-05-02
CA2667538C (en) 2015-02-10
EP2080167A1 (en) 2009-07-22
JP2010507865A (ja) 2010-03-11
EP2080167B1 (en) 2019-07-03
JP5108893B2 (ja) 2012-12-26
US20100315410A1 (en) 2010-12-16
CN101529468B (zh) 2013-06-05

Similar Documents

Publication Publication Date Title
CN101529468B (zh) 用于从二维图像中恢复三维粒子系统的系统和方法
Kumar et al. Monocular dense 3d reconstruction of a complex dynamic scene from two perspective frames
US8824801B2 (en) Video processing
CN108961410B (zh) 一种基于图像的三维线框建模方法及装置
US10916046B2 (en) Joint estimation from images
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
Manni et al. Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device
Haro et al. Shape from incomplete silhouettes based on the reprojection error
Qian et al. LS3D: Single-view gestalt 3D surface reconstruction from Manhattan line segments
Peethambaran et al. Enhancing Urban Façades via LiDAR‐Based Sculpting
CN113920270B (zh) 一种基于多视角全景的布局重建方法及其系统
CN115375847A (zh) 材质恢复方法、三维模型的生成方法和模型的训练方法
Pagés et al. Splash: A hybrid 3d modeling/rendering approach mixing splats and meshes
CN112652059B (zh) 基于Mesh R-CNN模型改进的目标检测与三维重构方法
US20240161406A1 (en) Modifying two-dimensional images utilizing iterative three-dimensional meshes of the two-dimensional images
US20240161366A1 (en) Modifying two-dimensional images utilizing three-dimensional meshes of the two-dimensional images
US20240161320A1 (en) Generating adaptive three-dimensional meshes of two-dimensional images
Sumi et al. A production method of reusing existing 2D animation sequences
CN118052828A (zh) 利用二维图像的分割三维对象网格修改二维图像
Lyness et al. Low-cost model reconstruction from image sequences
Gråd Improving Conventional Image-based 3D Reconstruction of Man-made Environments Through Line Cloud Integration
Kontinen Drift Correction for SLAM Point Clouds: Smooth Natural Neighbor Interpolation
Guo et al. Repair of Holes Appearing in the Stereo Reconstruction Based on 3D Reprojection and DCGAN
Breckon Completing unknown portions of 3D scenes by 3D visual propagation
CN117788694A (zh) 基于先验学习的室内三维场景语义建模方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190529

Address after: Paris France

Patentee after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130605

Termination date: 20201027

CF01 Termination of patent right due to non-payment of annual fee