CN101432776A - 用于从二维图像进行三维物体重建的系统和方法 - Google Patents

用于从二维图像进行三维物体重建的系统和方法 Download PDF

Info

Publication number
CN101432776A
CN101432776A CNA2006800544786A CN200680054478A CN101432776A CN 101432776 A CN101432776 A CN 101432776A CN A2006800544786 A CNA2006800544786 A CN A2006800544786A CN 200680054478 A CN200680054478 A CN 200680054478A CN 101432776 A CN101432776 A CN 101432776A
Authority
CN
China
Prior art keywords
image
dimensional
function
point
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800544786A
Other languages
English (en)
Other versions
CN101432776B (zh
Inventor
尤塞夫·W·尼吉姆
伊泽特·H·伊泽特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101432776A publication Critical patent/CN101432776A/zh
Application granted granted Critical
Publication of CN101432776B publication Critical patent/CN101432776B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion

Abstract

提供了一种用于使用二维(2D)图像进行场景的三维(3D)获取和建模的系统和方法。该系统和方法规定：获取场景的第一和第二图像；对第一图像应用平滑函数(202)以使得场景中例如物体的角点和边缘的物体特征点更为明显；对第一图像应用至少两个特征检测函数，以检测第一图像中物体的特征点(204，208)；组合至少两个特征检测函数的输出以选择要跟踪的物体特征点(210)；对第二图像应用平滑函数(206)，对第二图像应用跟踪函数以跟踪所选择的物体特征点(214)；以及从跟踪函数的输出重建场景的三维模型(218)。

Description

用于从二维图像进行三维物体重建的系统和方法
相关申请的交叉引用
本申请要求于2006年5月5日在美国提交的临时申请60/798087在35U.S.C.§119下的权益。
技术领域
本发明一般涉及三维物体建模，更具体地涉及一种使用包括平滑功能的混合特征检测以及跟踪从二维(2D)图像进行三维(3D)信息获取的系统和方法。
背景技术
当拍摄场景时，得到的视频序列包含关于该场景的三维(3D)几何形状的隐含信息。对于适当的人类感觉而言，这样的隐含信息足够了，而对于许多应用而言，需要3D场景的精确几何形状。这些应用的一种类别是当使用复杂的数据处理技术时，例如在生成该场景的新视角时、或在为工业检查应用而重建3D几何形状时。
一段时间以来，恢复3D信息已经成为活跃的研究领域。在文献中存在大量的技术，其或者例如使用激光测距仪直接捕获3D信息，或者从如立体或基于运动的结构估计(structure from motion)技术的一个或多个二维(2D)图像来恢复3D信息。3D获取技术通常可以被分类为主动和被动方法、单视角和多视角方法、以及几何测定和光度测定方法。
被动方法从在常规光照条件下拍摄的图像或视频获取3D几何形状。使用从图像和视频提取的几何测定或光度测定特征来计算3D几何形状。主动方法使用特殊光源，如激光、结构光、或红外光。
主动方法基于物体和场景对投射到该物体和场景的表面的特殊光的响应来计算几何形状。
单视角方法使用从单个照相机视点拍摄的多个图像来恢复3D几何形状。示例包括基于运动的结构估计和基于散焦的深度估计(depth from defocus)。
多视角方法根据从物体运动得到的或具有不同光源位置的多个照相机视点拍摄的多个图像来恢复3D几何形状。立体匹配是通过将立体对中的左图像和右图像中的像素匹配来得到像素的深度信息而进行多视角3D恢复的示例。
几何测定方法通过检测单个图像或多个图像中的如角点、边缘、线或轮廓的几何测定特征来恢复3D几何形状。所提取的角点、边缘、线或轮廓之间的空间关系可被用来推断图像中像素的3D坐标。基于运动的结构估计(SFM)是尝试根据从在场景内移动的照相机或者静态照相机与移动的物体拍摄的一系列图像来重建场景的3D结构的技术。尽管公认SFM实质上是非线性问题，但是已经进行了将其线性表示的若干尝试，其提供了算术简洁性以及直接的求解方法。另一方面，非线性技术需要迭代优化，并且必须应付局部最小值。然而，这些技术确保了良好的数字精度和灵活度。SFM相对于立体匹配的优点在于需要一个照相机。通过利用过去的特征运动历史来预测下一帧中的不一致性的跟踪技术，可使得基于特征的方法更有效。
其次，由于2个连续的帧之间的小的空间和时间差，作为估计被称为光学流的图像明亮图案(image brightness pattern)的明显运动的问题，还可能出现对应性问题。存在使用SFM的若干算法；其大多数基于从2D图像重建3D几何形状。一些算法假设已知的对应值，而其他算法使用统计方法来重建而没有利用对应性。
几十年来已经广泛研究了上述方法。然而，没有单个技术在所有情形下都运行良好，并且大多数过去的方法关注在实验室条件下的3D重建，而这相对容易。对于真实世界的场景而言，对象可能处于运动中，光照可能是复杂的，并且深度范围可能较大。上述技术难以处理这些真实世界的情况。
发明内容
本公开提供了一种用于使用二维(2D)图像来进行场景的三维(3D)获取和建模的系统和方法。本公开的系统和方法包括：获取场景的至少两个图像，并且应用平滑函数以使得特征更为明显，之后应用特征选择和跟踪的混合方案以便恢复3D信息。首先，对图像应用平滑函数，之后应用将找到图像中的特征的特征点选择。采用至少两个特征点检测函数来覆盖第一图像中较广范围的好的特征点，然后对第二图像应用平滑函数，之后应用用于在第二图像中跟踪所检测的特征点的跟踪函数。组合特征检测/选择和跟踪的结果以获得完整的3D模型。该工作的一个目标应用是胶片集(film set)的3D重建。得到的3D模型可被用于在电影拍摄期间的造影(visualization)或后期制作。包括但不限于游戏和3D TV的其他应用将从该方法受益。
根据本公开的一个方面，提供了一种三维获取处理，包括：获取场景的第一图像和第二图像；对第一图像应用至少两个特征检测函数，以检测图像中物体的特征点；组合至少两个特征检测函数的输出以选择要跟踪的物体特征点；对第二图像应用跟踪函数以跟踪所选择的物体特征点；以及从跟踪函数的输出重建场景的三维模型。该处理在应用至少两个特征检测函数步骤之前还对第一图像应用平滑函数，以使得第一图像中物体的特征点更为明显，其中特征点是图像中物体的角点、边缘或线。
在本公开的另一方面中，提供了一种从两维(2D)图像进行三维(3D)信息获取的系统。该系统包括：后期处理设备，其被配置为从至少两个图像重建场景的三维模型，该后期处理设备包括：特征点检测器，其被配置为检测图像中的特征点，该特征点检测器包括至少两个特征检测函数，其中所述至少两个特征检测函数被应用到所述至少两个图像中的第一图像；特征点跟踪器，其被配置为在所述至少两个图像之间跟踪所选择的特征点；以及深度图(depth map)生成器，其被配置为从所跟踪的特征点生成所述至少两个图像之间的深度图，其中后期处理设备从深度图创建3D模型。后期处理设备还包括平滑函数过滤器，其被配置为使得第一图像中物体的特征点更为明显。
在本公开的另一方面中，提供了一种可由机器读取的程序存储设备，其有形地包括可由机器执行的、用于执行从二维(2D)图像建模三维(3D)场景的方法步骤的指令的程序，该方法包括：获取场景的第一图像和第二图像；对第一图像应用平滑函数；对平滑后的第一图像应用至少两个特征检测函数，以检测图像中物体的特征点；组合所述至少两个特征检测函数的输出以选择要跟踪的物体特征点；对第二图像应用平滑函数；对第二图像应用跟踪函数以跟踪所选择的物体特征点；以及从跟踪函数的输出重建场景的三维模型。
附图说明
从下面要结合附图阅读的优选实施例的详细描述，本发明的这些和其他方面、特征和优点将被描述或变得明显。
在附图中，贯穿附图相同的参考标号指代相似的元件：
图1是根据本发明一方面的三维(3D)信息获取系统的示意性图示；
图2是根据本发明一方面的、用于从二维(2D)图像重建三维(3D)物体的示例性方法的流程图；
图3A是利用一个特征点检测函数处理的场景的图示；以及
图3B是利用混合检测函数处理的图3A中示出的场景的图示。
应当理解，附图用于图示本发明概念的目的，并且其不一定是用于图示本发明的唯一可能的配置。
具体实施方式
应当理解，附图中示出的元件可以以硬件、软件或其组合的各种形式实现。优选地，这些元件在一个或多个被适当编程的通用设备上以硬件和软件的组合实现，该通用设备可包括处理器、存储器和输入/输出接口。
本说明书举例说明本发明的原理。因此将认识到，本领域技术人员将能够设计各种布置，其尽管没有在此明确地描述或示出，但是体现本发明的原理并包括在本发明的精神和范围内。
这里描述的所有示例和条件式语言意在教导目的，以帮助读者理解本发明的原理和发明人为推进本领域所贡献的构思，并且应被解释为不限于这样具体描述的示例和条件。
此外，这里的描述本发明的原理、方面和实施例以及其具体示例的所有陈述意在包括其结构和功能等效物两者。此外，意在这样的等效物包括目前已知的等效物以及未来开发的等效物，即，所开发的执行相同功能而无论其结构的任何元件。
因此，例如，本领域技术人员将认识到，这里呈现的框图表示体现本发明原理的示意性电路的概念图。类似地，将认识到，任何流程图、流程图表、状态转换图、伪代码等表示基本可以在计算机可读介质中表示并且因此可由计算机或处理器(无论这样的计算机或处理器是否被明确示出)执行的各种处理。
可通过使用专用硬件以及能够与适当软件关联而执行软件的硬件来提供附图所示的各种元件的功能。当所述功能由处理器提供时，其可以通过单个专用处理器、通过单个共享处理器、或通过其中的一些可以共享的多个独立的处理器来提供。此外，术语“处理器”或“控制器”的明确使用不应被解释为唯一地指代能够执行软件的硬件，而可以隐含包括并不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储装置。
还可以包括传统的和/或定制的其他硬件。类似地，附图中所示的任何开关仅是概念性的。其功能可通过程序逻辑的运行、通过专用逻辑电路、通过程序控制和专用逻辑电路的交互、或甚至手动地执行，如从上下文更具体理解的，实现者可选择具体的技术。
在其权利要求书中，被表述为用于执行具体的功能的装置的任何元件意在包含执行该功能的任何方式，包括例如，a)执行该功能的电路元件的组合或b)任何形式并因而包括固件、微代码等的软件，该软件与用于执行该软件的适当电路组合来执行该功能。如由这样的权利要求定义的本发明基于这样的事实：由各个所述装置提供的功能被以权利要求所要求保护的方式组合和集中到一起。因此认为，可提供这些功能的任何装置与这里所示出的这些装置等效。
本发明中公开的技术处理恢复物体和场景的3D几何形状的问题。由于对象的运动、前景和背景之间大的深度不连续性、以及复杂的光照和亮度条件，恢复真实世界的场景的几何形状是有挑战性的问题。在用来估计图像的深度图或用来重建3D表示的特征点选择和跟踪中使用的当前方法本身执行得并不太好。使用了从2D图像重建3D图像，但是其结果受限，并且深度图不是非常精确。由于例如人类对象的存在，如激光扫描的用于精确3D获取的一些技术在许多情况下是不可接受的。
提供了一种用于恢复物体和场景的三维(3D)几何形状的系统和方法。本发明的系统和方法提供了使用混合方法来恢复3D特征的增强的基于运动的结构估计(SFM)方法。由于缺乏能够可靠地为大环境定位特征的单一方法而激发了该技术的提出。本发明的技术通过在特征点检测/选择和跟踪之前、首先对图像应用如泊松或拉普拉斯变换的不同平滑函数来开始。与通常使用的高斯函数相比，该类平滑过滤器帮助使得图像中的特征对检测而言更为明显。然后，对一个图像应用多个特征检测器以获得好的特征。在使用两个特征检测器后，获得好的特征，然后，使用跟踪方法在若干图像中跟踪所述好的特征。
现在参照附图，图1中示出根据本公开的实施例的示例性系统组件。可提供扫描设备103，以将例如照相机原版胶片底片(camera-original filmnegatives)的胶片拷贝(film print)104扫描为数字格式，例如，Cineon格式或电影和电视工程师协会(SMPTE)数字图片交换(DPX)文件。
扫描设备103可包括例如电视电影或将从胶片生成视频输出的任何设备，如例如具有视频输出的Arri LocProTM。作为替代，可以直接使用来自后期制作处理的文件或数字电影106(例如，已经是计算机可读形式的文件)。计算机可读文件的可能来源是AVIDTM编辑器、DPX文件、D5磁带等。
将所扫描的胶片拷贝输入到例如计算机的后期处理设备102。计算机在任何各种已知计算机平台上实现，该计算机平台具有以下硬件：如一个或多个中央处理单元(CPU)；如随机存取存储器(RAM)和/或只读存储器(ROM)的存储器110；以及如键盘、光标控制设备(例如，鼠标或操纵杆)和显示设备的输入/输出(I/O)用户接口112。计算机平台还包括操作系统和微指令代码。这里描述的各种处理和功能可以是微指令代码的一部分或经由操作系统执行的软件应用程序的一部分(或其组合)。在一个实施例中，软件应用程序有形地包括在程序存储设备上，其可以被上载到如后期处理设备102的任何适当机器并由其执行。此外，各种其他外围设备可以通过如并行端口、串行端口或通用串行总线(USB)的各种接口和总线结构连接到计算机平台。其他外围设备可包括附加存储设备124和打印机128。打印机128可以用来打印胶片126的修正版本，作为下述技术的结果，在该修正版本中已经使用3D建模的物体更改或替代了场景。
作为替代，已经是计算机可读形式的文件/胶片拷贝106(例如，数字电影，其例如可存储在外部的硬盘驱动器124上)可以直接输入到计算机102。注意，这里使用的术语“胶片”可指胶片拷贝或数字电影。
软件程序包括存储在存储器110中的三维(3D)重建模块114。3D重建模块114包括用于使得图像中物体的特征对检测而言更为明显的平滑函数过滤器116。3D重建模块114还包括用于检测图像中的特征点的特征点检测器118。特征点检测器118将包括用于检测或选择特征点的至少两个不同的特征点检测函数，例如算法。提供特征点跟踪器120，用于经由跟踪函数或算法在多个连续的图像中跟踪所选择的特征点。还提供了深度图生成器122来从所跟踪的特征点生成深度图。
图2是根据本发明一方面的、用于从两维(2D)图像重建三维(3D)物体的示意性方法的流程图。
参照图2，首先，后期处理设备102获得计算机可读格式的数字主视频文件。可以通过用数字摄像机捕获视频图像的时间序列来获取数字视频文件。作为替代，可通过传统的胶片型的照相机捕获视频序列。在此情况下，经由扫描设备103扫描胶片，并且处理进行到步骤202。照相机将获取2D图像，同时移动场景中的物体或照相机。照相机将获取场景的多个视点。
将认识到，无论胶片被扫描或已经是数字格式，胶片的数字文件都将包括关于帧的位置的指示或信息(例如，时间码、帧号、从胶片的开始起的时间等)。数字视频文件的每个帧将包括一个图像，例如，I1，I2，...，In。
在步骤202，对图像I1应用平滑函数过滤器116。优选地，平滑函数过滤器116是泊松变换或拉普拉斯变换，与在本领域通常使用的高斯函数相比，其帮助使得图像中物体的特征对检测而言更为明显。将认识到，可以使用其他的平滑函数过滤器。
然后，在步骤204，图像I1被第一特征点检测器处理。特征点是图像的突出特征，如角点、边缘、线等，在这些特征处存在大量的图像亮度对比。选择特征点，因为它们可被容易地识别并可以被健壮地跟踪。特征点检测器118可使用本领域所公知的Kitchen-Rosenfeld角点检测算子(corner detectionoperator)C。该算子用来评估在给定像素位置处图像的“成角性”的程度。“角点”通常是由图像亮度梯度最大为例如90度角的两个方向的交叉而限定的图像特征。为了提取特征点，在图像I1的每个有效像素位置应用Kitchen-Rosenfeld算子。在特定像素处算子C的值越高，其“成角性”的程度越高，并且如果图像I1中的像素位置(x，y)处的C大于在(x，y)周围的邻近区域中的其他像素位置的C，则(x，y)是特征点。邻近区域可以是以像素位置(x，y)为中心的5×5矩阵。为了确保健壮性，所选择的特征点可以具有大于阈值如Tc＝10的成角性的程度。来自特征点检测器118的输出是图像I1中的一组特征点{F1}，其中每个F1对应于图像I1中的“特征”像素位置。可以采用许多其他的特征点检测器，包括但不限于尺度不变特征变换(Scale InvariantFeature Transform，SIFT)、最小核值相似区(Smallest Univalue SegmentAssimilating Nucleus，SUSAN)、霍夫变换、Sobel边缘算子和Canny边缘检测器。
在步骤206，将图像I1输入到平滑函数过滤器116，并且对图像应用第二不同的特征点检测器(步骤208)。然后，在步骤204和208中组合所检测的特征点并且消除重复选择的特征点(步骤210)。要认识到，在步骤206应用的平滑函数过滤器与步骤202应用的过滤器相同，然而，在其他实施例中，在步骤202和206的每个步骤中可应用不同的平滑函数过滤器。
要认识到，通过对特征点检测采用混合方法，将检测出大量特征点。图3A图示具有由小正方形表示的所检测的特征点的场景。图3A中的场景由一个特征点检测器处理。相反，图3B中的场景由按照本发明的混合点检测器方法处理，并且已经检测了明显更多数量的特征点。
在选择了所检测的特征点后，使用与对第一图像I1使用的平滑函数过滤器相同的平滑函数过滤器来对第二图像I2进行平滑(步骤212)。然后，在第二图像I2上跟踪在第一图像I1上选择出的好的特征点(步骤214)。给定图像I1中的一组特征点F1，特征点跟踪器120通过找到这些特征点最接近的匹配来在所拍摄的场景的下一图像I2中跟踪这些特征点。
如上所述，在其他实施例中，在步骤212应用的平滑函数过滤器可以不同于在步骤202和206应用的过滤器。此外，要认识到，尽管顺序描述步骤202到步骤212，但是在某些实施例中，可经由并行处理或硬件来同时应用平滑函数过滤器。
一旦跟踪特征点，就对每个所跟踪的特征计算不一致性信息。作为在水平方向上I1和I2中的像素位置之间的差来计算不一致性。
不一致性与深度反向相关，其中比例因子(Scaling factor)与照相机校准参数相关。在步骤216，由深度图生成器122获得和采用照相机校准参数，以对两个图像之间的物体或场景生成深度图。照相机参数包括但不限于照相机的聚焦长度和两次照相机拍摄之间的间距。照相机参数可经由用户接口112被手动输入系统100，或可从照相机校准算法估计。使用照相机参数，在特征点估计深度。得到的深度图是稀疏的，仅具有所检测的特征处的深度值。深度图是用于数学上表示空间中一表面的二维阵列值，其中阵列的行和列对应于该表面的x和y位置信息；并且阵列元素是从给定点或照相机位置到该表面的深度或距离读数。深度图可以被视为物体的灰度图像，利用深度信息代替在物体的表面的每个点或像素处的亮度信息。因此，在3D图形构造技术中表面的点也被称作像素，并且在本公开中可互换地使用这两个术语。由于不一致性信息与乘以比例因子后的深度成反比，因此对于大多数应用，其可直接用于构造3D场景模型。这简化了计算，因为它使得照相机参数的计算不再必要。
依据图像对I1和I2中存在的一组特征点以及每个特征点处的深度估计，并且假设选择特征点使得它们彼此相对接近并在整个图像上扩展，深度图生成器122通过将这样的特征点互连来创建3D网格结构，其中特征点位于所形成的多边形的顶点。特征点彼此越接近，得到的3D网格结构越密集。
由于3D结构的每个顶点处的深度已知，因此可以估计每个多边形内的各点处的深度。这样，可以估计在所有图像像素位置处的深度。这可通过平面插值进行。
生成3D网格结构的健壮和快速的方法是Delaunay三角测量。连接特征点以形成一组三角形，该三角形顶点位于特征点位置。使用与每个特征点和其对应顶点相关联的深度，“深度平面”可适合于每一单个三角形，从该三角形可确定三角形内的每个点的深度。
物体的完整3D模型可通过将从Delaunay算法得到的三角形网格与来自图像I1的纹理信息(texture infomation)组合而重建(步骤218)。纹理信息是2D亮度图像。完整的3D模型将包括图像像素处的深度和亮度值。得到的组合图像可以使用传统的造影工具造影，如在加利福尼亚州斯丹福的斯坦福大学开发的ScanAlyze软件。
然后，可使得所重建的具体物体或场景的3D模型在显示设备上显现或可将其保存在与包含图像的文件分离的数字文件130中。3D重建的数字文件130可存储在存储设备124中，以便稍后在例如胶片的编辑阶段期间去取出，在胶片的编辑阶段所建模的物体可被插入到先前不存在该物体的场景中。
本发明的系统和方法利用多个特征点检测器，并且组合多个特征点检测器的结果来改进所检测的特征点的数量和质量。与单特征检测器相反，组合不同的特征点检测器改进找到要跟踪的好的特征点的结果。在从多个特征点检测器(即，使用多于一个的特征点检测器)得到“更好的”结果后，与使用一个特征检测器来得到深度图结果相比，在第二图像中的特征点更易于跟踪并且产生更好的深度图结果。
尽管已经在此详细示出和描述了合并本发明的教导的实施例，但是本领域技术人员可以容易地设计仍然合并这些教导的许多其他变化的实施例。已经描述了用于对场景进行三维(3D)获取和建模的系统和方法的优选实施例(其意在例示而非限制)，注意到，本领域技术人员根据上述教导可以进行修改和变化。因此要理解到，在权利要求所概述的本发明的范围和精神内的所公开的本发明的具体实施例中可进行各种改变。已经按专利法要求详细和具体地描述了本发明，所声称并期望由专利法保护的内容在权利要求中提出。

Claims (21)

1.一种三维获取处理，包括：
获取场景的第一图像和第二图像；
对第一图像应用至少两个特征检测函数，以检测第一图像中物体的特征点(204，208)；
组合所述至少两个特征检测函数的输出以选择要跟踪的物体特征点(210)；
对第二图像应用跟踪函数以跟踪所选择的物体特征点(214)；以及
从跟踪函数的输出重建场景的三维模型(218)。
2.如权利要求1所述的三维获取处理，还包括：在应用所述至少两个特征检测函数步骤之前对第一图像应用平滑函数(202)，以使得第一图像中物体的特征点更为明显。
3.如权利要求2所述的三维获取处理，其中，特征点是图像中物体的角点、边缘或线。
4.如权利要求2所述的三维获取处理，还包括：在应用跟踪函数步骤之前对第二图像应用相同的平滑函数(206)。
5.如权利要求1所述的三维获取处理，还包括：在应用所述至少两个特征检测函数中的第一个特征检测函数之前对第一图像应用第一平滑函数(202)，并且在应用所述至少两个特征检测函数中的第二个特征检测函数之前对第一图像应用第二平滑函数(206)，第一平滑函数和第二平滑函数使得第一图像中物体的特征点更为明显。
6.如权利要求1所述的三维获取处理，其中，组合步骤还包括消除由所述至少两个特征检测函数检测的重复的特征点。
7.如权利要求1所述的三维获取处理，其中，重建步骤还包括生成所选择的物体特征点在第一图像和第二图像之间的深度图(216)。
8.如权利要求7所述的三维获取处理，其中，重建步骤还包括从所选择的物体特征点和深度图生成三维网格结构。
9.如权利要求8所述的三维获取处理，其中，生成三维网格结构步骤是由三角函数执行的。
10.如权利要求8所述的三维获取处理，其中，重建步骤还包括组合网格结构和来自第一图像的纹理信息，以完成三维模型。
11.一种用于从两维(2D)图像进行三维(3D)信息获取的系统(100)，该系统包括：
后期处理设备(102)，其被配置为从至少两个图像重建场景的三维模型；该后期处理设备包括：
特征点检测器(118)，其被配置为检测图像中的特征点，该特征点检测器(118)包括至少两个特征检测函数，其中，所述至少两个特征检测函数被应用到所述至少两个图像的第一图像；
特征点跟踪器(120)，其被配置为在所述至少两个图像之间跟踪所选择的特征点；以及
深度图生成器(122)，其被配置为依据所跟踪的特征点生成所述至少两个图像之间的深度图；
其中，后期处理设备从深度图创建3D模型。
12.如权利要求11所述的系统(100)，其中，后期处理设备(102)还包括平滑函数过滤器(116)，其被配置为使得第一图像中物体的特征点更为明显。
13.如权利要求12所述的系统(100)，其中，平滑函数过滤器(116)是泊松变换或拉普拉斯变换。
14.如权利要求12所述的系统(100)，其中，特征点检测器(118)被配置为组合来自所述至少两个特征检测函数的所检测的特征点并消除重复的所检测的特征点。
15.如权利要求12所述的系统(100)，其中，后期处理设备(102)还被配置为从所选择的特征点和深度图生成三维网格结构。
16.如权利要求15所述的系统(100)，其中，后期处理设备(102)还被配置为组合网格结构和来自第一图像的纹理信息以完成3D模型。
17.如权利要求16所述的系统(100)，还包括用于呈现3D模型的显示设备(112)。
18.一种可由机器读取的程序存储设备，其有形地包括可由该机器执行的、用于执行从二维(2D)图像建模三维(3D)场景的方法步骤的指令的程序，该方法包括：
获取场景的第一图像和第二图像；
对第一图像应用平滑函数(202)；
对平滑后的第一图像应用至少两个特征检测函数，以检测第一图像中物体的特征点(204，208)；
组合所述至少两个特征检测函数的输出以选择要跟踪的物体特征点(210)；
对第二图像应用平滑函数(206)；
对第二图像应用跟踪函数以跟踪所选择的物体特征点(214)；以及
从跟踪函数的输出重建该场景的三维模型(218)。
19.如权利要求18所述的程序存储设备，其中，重建步骤还包括生成所选择的物体特征点在第一图像和第二图像之间的深度图。
20.如权利要求19所述的程序存储设备，其中，重建步骤还包括从所选择的物体特征点和深度图生成三维网格结构。
21.如权利要求20所述的程序存储设备，其中，重建步骤还包括组合网格结构和来自第一图像的纹理信息，以完成三维模型。
CN2006800544786A 2006-05-05 2006-10-25 用于从二维图像进行三维物体重建的系统和方法 Expired - Fee Related CN101432776B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US79808706P 2006-05-05 2006-05-05
US60/798,087 2006-05-05
PCT/US2006/041647 WO2007130122A2 (en) 2006-05-05 2006-10-25 System and method for three-dimensional object reconstruction from two-dimensional images

Publications (2)

Publication Number Publication Date
CN101432776A true CN101432776A (zh) 2009-05-13
CN101432776B CN101432776B (zh) 2013-04-24

Family

ID=38577526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800544786A Expired - Fee Related CN101432776B (zh) 2006-05-05 2006-10-25 用于从二维图像进行三维物体重建的系统和方法

Country Status (5)

Country Link
EP (1) EP2016559A2 (zh)
JP (1) JP2009536499A (zh)
CN (1) CN101432776B (zh)
CA (1) CA2650557C (zh)
WO (1) WO2007130122A2 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443826A (zh) * 2011-01-10 2013-12-11 杭州共形数字科技有限公司 网格动画
US8855406B2 (en) 2010-09-10 2014-10-07 Honda Motor Co., Ltd. Egomotion using assorted features
CN104517316A (zh) * 2014-12-31 2015-04-15 中科创达软件股份有限公司 一种三维物体建模方法及终端设备
CN105957135A (zh) * 2015-03-09 2016-09-21 西门子公司 用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统
CN106096582A (zh) * 2010-06-08 2016-11-09 智谷控股有限公司 区分真人面部与平坦表面
CN106846469A (zh) * 2016-12-14 2017-06-13 北京信息科技大学 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置
CN109117496A (zh) * 2018-06-25 2019-01-01 国网经济技术研究院有限公司 一种变电站工程临建布置三维模拟设计方法和系统
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN110533777A (zh) * 2019-08-01 2019-12-03 北京达佳互联信息技术有限公司 三维人脸图像修正方法、装置、电子设备和存储介质
CN111083373A (zh) * 2019-12-27 2020-04-28 恒信东方文化股份有限公司 一种大屏幕及其智能拍照方法
CN111601246A (zh) * 2020-05-08 2020-08-28 中国矿业大学(北京) 基于空间三维模型图像匹配的智能位置感知系统
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542034B2 (en) 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
KR100894874B1 (ko) * 2007-01-10 2009-04-24 주식회사 리얼이미지 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법
US8089635B2 (en) 2007-01-22 2012-01-03 California Institute Of Technology Method and system for fast three-dimensional imaging using defocusing and feature recognition
EP2106531A2 (en) 2007-01-22 2009-10-07 California Institute Of Technology Method for quantitative 3-d imaging
US8655052B2 (en) 2007-01-26 2014-02-18 Intellectual Discovery Co., Ltd. Methodology for 3D scene reconstruction from 2D image sequences
US8274530B2 (en) 2007-03-12 2012-09-25 Conversion Works, Inc. Systems and methods for filling occluded information for 2-D to 3-D conversion
AU2008244494B2 (en) 2007-04-23 2010-10-21 California Institute Of Technology Single-lens 3-D imaging device using a polarization-coded aperture mask combined with a polarization-sensitive sensor
WO2009067223A2 (en) * 2007-11-19 2009-05-28 California Institute Of Technology Method and system for fast three-dimensional imaging using defocusing and feature recognition
US8514268B2 (en) 2008-01-22 2013-08-20 California Institute Of Technology Method and device for high-resolution three-dimensional imaging which obtains camera pose using defocusing
CN101383046B (zh) * 2008-10-17 2011-03-16 北京大学 一种基于图像的三维重建方法
US8773507B2 (en) 2009-08-11 2014-07-08 California Institute Of Technology Defocusing feature matching system to measure camera pose with interchangeable lens cameras
US8773514B2 (en) 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern
CN102271262B (zh) 2010-06-04 2015-05-13 三星电子株式会社 用于3d显示的基于多线索的视频处理方法
DK3091508T3 (en) 2010-09-03 2019-04-08 California Inst Of Techn Three-dimensional imaging system
US10607350B2 (en) * 2011-08-31 2020-03-31 Apple Inc. Method of detecting and describing features from an intensity image
WO2013029673A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of detecting and describing features from an intensity image
JP5966837B2 (ja) * 2012-10-05 2016-08-10 大日本印刷株式会社 奥行き制作支援装置、奥行き制作支援方法、およびプログラム
EP3047391B1 (en) * 2013-09-18 2023-06-28 Siemens Medical Solutions USA, Inc. Method and system for statistical modeling of data using a quadratic likelihood functional
CN108140243B (zh) * 2015-03-18 2022-01-11 北京市商汤科技开发有限公司 用于构建3d手模型的方法、设备和系统
WO2017132165A1 (en) 2016-01-25 2017-08-03 California Institute Of Technology Non-invasive measurement of intraocular pressure
CN106023307B (zh) * 2016-07-12 2018-08-14 深圳市海达唯赢科技有限公司 基于现场环境的快速重建三维模型方法及系统
CN110942479B (zh) * 2018-09-25 2023-06-02 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3548652B2 (ja) * 1996-07-24 2004-07-28 株式会社東芝 物体形状復元装置及びその方法
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
JP2003242162A (ja) * 2002-02-18 2003-08-29 Nec Soft Ltd 特徴点抽出方法、画像検索方法、特徴点抽出装置、画像検索システム及びプログラム
FR2837597A1 (fr) * 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
CN1312633C (zh) * 2004-04-13 2007-04-25 清华大学 大规模三维场景多视点激光扫描数据自动配准方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096582A (zh) * 2010-06-08 2016-11-09 智谷控股有限公司 区分真人面部与平坦表面
CN106096582B (zh) * 2010-06-08 2019-06-18 智谷控股有限公司 区分真人面部与平坦表面
US8855406B2 (en) 2010-09-10 2014-10-07 Honda Motor Co., Ltd. Egomotion using assorted features
CN103443826A (zh) * 2011-01-10 2013-12-11 杭州共形数字科技有限公司 网格动画
CN103443826B (zh) * 2011-01-10 2018-10-19 杭州共形数字科技有限公司 网格动画
CN104517316A (zh) * 2014-12-31 2015-04-15 中科创达软件股份有限公司 一种三维物体建模方法及终端设备
CN105957135A (zh) * 2015-03-09 2016-09-21 西门子公司 用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统
CN105957135B (zh) * 2015-03-09 2019-07-09 西门子公司 用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统
CN106846469A (zh) * 2016-12-14 2017-06-13 北京信息科技大学 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置
CN106846469B (zh) * 2016-12-14 2019-12-03 北京信息科技大学 基于特征点追踪由聚焦堆栈重构三维场景的方法和装置
CN110494864A (zh) * 2017-03-08 2019-11-22 电子湾有限公司 3d模型的集成
CN110494864B (zh) * 2017-03-08 2023-08-11 电子湾有限公司 3d模型的集成
US11727627B2 (en) 2017-03-08 2023-08-15 Ebay Inc. Integration of 3D models
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
CN109117496A (zh) * 2018-06-25 2019-01-01 国网经济技术研究院有限公司 一种变电站工程临建布置三维模拟设计方法和系统
CN109117496B (zh) * 2018-06-25 2023-10-27 国网经济技术研究院有限公司 一种变电站工程临建布置三维模拟设计方法和系统
CN110533777A (zh) * 2019-08-01 2019-12-03 北京达佳互联信息技术有限公司 三维人脸图像修正方法、装置、电子设备和存储介质
CN110533777B (zh) * 2019-08-01 2020-09-15 北京达佳互联信息技术有限公司 三维人脸图像修正方法、装置、电子设备和存储介质
CN111083373A (zh) * 2019-12-27 2020-04-28 恒信东方文化股份有限公司 一种大屏幕及其智能拍照方法
CN111083373B (zh) * 2019-12-27 2021-11-16 恒信东方文化股份有限公司 一种大屏幕及其智能拍照方法
CN111601246A (zh) * 2020-05-08 2020-08-28 中国矿业大学(北京) 基于空间三维模型图像匹配的智能位置感知系统
CN111601246B (zh) * 2020-05-08 2021-04-20 中国矿业大学(北京) 基于空间三维模型图像匹配的智能位置感知系统
CN111724481A (zh) * 2020-06-24 2020-09-29 嘉应学院 对二维图像进行三维重构的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
EP2016559A2 (en) 2009-01-21
CA2650557C (en) 2014-09-30
WO2007130122A2 (en) 2007-11-15
CN101432776B (zh) 2013-04-24
WO2007130122A3 (en) 2008-04-17
CA2650557A1 (en) 2007-11-15
JP2009536499A (ja) 2009-10-08

Similar Documents

Publication Publication Date Title
CN101432776B (zh) 用于从二维图像进行三维物体重建的系统和方法
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
JP5160643B2 (ja) ２次元画像からの３次元オブジェクト認識システム及び方法
US8452081B2 (en) Forming 3D models using multiple images
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
US20120176478A1 (en) Forming range maps using periodic illumination patterns
US20120176380A1 (en) Forming 3d models using periodic illumination patterns
US10380796B2 (en) Methods and systems for 3D contour recognition and 3D mesh generation
Kahn et al. Towards precise real-time 3D difference detection for industrial applications
Fu et al. Fast spatial–temporal stereo matching for 3D face reconstruction under speckle pattern projection
Thomas et al. A flexible scene representation for 3d reconstruction using an rgb-d camera
Tykkälä et al. Live RGB-D camera tracking for television production studios
Saval-Calvo et al. μ-MAR: multiplane 3D marker based registration for depth-sensing cameras
Ruchay et al. Accuracy analysis of 3D object reconstruction using RGB-D sensor
Fan et al. Large-scale dense mapping system based on visual-inertial odometry and densely connected U-Net
Kumara et al. Real-time 3D human objects rendering based on multiple camera details
Tran et al. Accurate RGB-D camera based on structured light techniques
Nguyen et al. Modelling of 3d objects using unconstrained and uncalibrated images taken with a handheld camera
Hao et al. Development of 3D feature detection and on board mapping algorithm from video camera for navigation
Nakayama et al. Marker-less augmented reality framework using on-site 3D line-segment-based model generation
Samadi et al. Fast and robust stereo matching algorithm for obstacle detection in robotic vision systems
Klopschitz et al. Projected texture fusion
Fortenbury et al. Robust 2D/3D calibration using RANSAC registration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130424

Termination date: 20141025

EXPY Termination of patent right or utility model