CN103503033B - 基于置信分值来合并三维模型 - Google Patents

基于置信分值来合并三维模型 Download PDF

Info

Publication number
CN103503033B
CN103503033B CN201380001180.9A CN201380001180A CN103503033B CN 103503033 B CN103503033 B CN 103503033B CN 201380001180 A CN201380001180 A CN 201380001180A CN 103503033 B CN103503033 B CN 103503033B
Authority
CN
China
Prior art keywords
dimensional model
voxel
distance
value
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380001180.9A
Other languages
English (en)
Other versions
CN103503033A (zh
Inventor
布雷特·艾伦
阿列克谢·戈洛温斯基
蒂尔曼·赖因哈特
迈克尔·红迈·林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN103503033A publication Critical patent/CN103503033A/zh
Application granted granted Critical
Publication of CN103503033B publication Critical patent/CN103503033B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

在一个实施例中,一个方法对多个三维模型进行合并,该多个三维模型的每一个已从具有不同视点的相机的图像来生成。对于在多个体素中的各个体素,确定多个距离值。每一个确定的距离值是从该体素沿着用来生成来自多个三维模型的三维模型的相机模型的角度到该三维模型的距离。当所确定的距离值中的至少一个指示在该体素与该三维模型之间的距离超过阈值并且该体素位于对应三维模型之上时,确定指示对应三维模型的相机模型的视角被定向为面向该体素的程度的置信分值。基于所确定的置信分值,确定进入合并的三维模型的体素。

Description

基于置信分值来合并三维模型
技术领域
实施例总体上涉及三维建模。
背景技术
摄影者经常从高处,诸如从飞机,拍摄地球的图像。可以从不同视角(perspective)拍摄这样的航空照片。根据航空照片,可以使用例如立体匹配来构建三维模型。使用立体匹配来构建的模型可能不是完全准确的。例如,由于隐含图像的变化、相机视角的不准确以及立体匹配算法的限制,可能会引入不准确。
所构建的三维模型可以具有相关联的视角。例如,可以从相关联的视角将三维模型表示为深度图。每一个深度图可以提供在名义“相机”与场景的表面之间的每像素距离。虽然深度图可以能够描述从其相关联的视角显而易见的表面的三维特征,然而,深度图可能不能描述从其视角被遮掩的三维特征。出于这个原因,可能需要具有不同视角的多个深度图来完整地描述三维场景。
发明内容
实施例对使用不同视点来生成的多个深度图进行合并。在一个实施例中,一种方法对多个三维模型进行合并,该多个三维模型的每一个已从具有不同视点的相机的图像来生成。该方法包括确定在三维空间中的多个体素(voxel)。对于该多个体素中的各个体素,确定多个距离值。每一个确定的距离值是从该体素沿着用来生成三维模型的相机模型的视角到该三维模型的距离。当所确定的距离值中的至少一个指示在该体素与对应三维模型之间的距离在阈值内或该体素位于对应三维模型之上时,确定指示对应三维模型的相机模型的视角被定向为面向该体素的程度的置信分值,并且至少部分基于所确定的置信分值来确定是否将与该体素相对应的点包括入合并的三维模型。
还公开了系统和计算机程序产品实施例。
在下面参考附图详细地描述了本发明的进一步实施例、特征和优势以及本发明的各种实施例的结构和操作。
附图说明
并入本文并且形成本说明书的一部分的附图图示了本发明,并且与描述一起,进一步用来说明本发明的原理,以使相关领域技术人员能够制作并使用本发明。
图1是图示从不同视点构建的场景的深度图的图。
图2是图示根据实施例的、用于合并深度图的方法的流程图。
图3是图示图1中的场景的体素网格的图。
图4A-B是图示使用体素网格的距离测量的图。
图5是图示如何为距离测量确定置信分值的图。
图6是图示从带符号的距离场对合并的三维模型的构建的图。
图7是图示根据实施例的、用于合并深度图的系统的图。
元素在其中首次出现的附图典型地由相应参考数字中的一个或多个最左边数字指示。在附图中,相同的参考数字可以指示相同或功能相似的元素。
具体实施方式
如上所述,可能需要具有不同视角的多个深度图来完整地描述三维场景。为了产生整个三维场景的表示,该多个深度图可能需要被合并成单个三维表示。更大程度地合并多个深度图的一种方式可以是取得交集。为了取得交集,将移除在任何测量的深度值之上的任何体素。然而,这种技术可能遭受缺陷。具体地,深度图指示三维特征比其实际上深的任何错误测量可能被传播入合并的深度图。
为了应对深度图中的噪声,其他技术可以对测量求平均来合并深度图。然而,如上所述,深度图可能仅描述从其相关联的视角显而易见的三维特征。可能根本不在深度图中表示被遮掩的三维特征。类似地,只能在深度图中以低分辨率来表示没有面向深度图的视角的特征。将这些深度图测量与来自具有三维特征的更直接视图的深度图的测量一起求平均可能降低合并的深度图的准确性。
为了至少部分处理缺点,实施例基于与深度图测量相关联的置信水平来选择哪些深度图测量被合并入最终三维模型。
在一个实施例中,可以使用各种深度图来确定包括多个体素的带符号的距离场。可以对带符号的距离场中的每一个体素进行估算,并且基于如何估算,可以为像素采取三个操作中的一个来帮助确定合并的三维模型。第一,给定阈值距离“t”,当带符号的距离值中的至少一个小于-t时,可以使体素保持为空(例如,为其分配大的负值)。使体素保持为空可以将该体素从合并的三维模型切割出。第二,如果任何带符号的距离值在-t和t之间,则可以将体素的带符号的距离设置成这些值的平均值。通过取得两个值的平均值,可以在该体素处合并两个合并深度图。第三,如果任何带符号的距离值大于t,则可以填充体素(即,为其分配大的正值)。以这种方式,可以对每一个体素进行切割、合并或填充来确定在合并的三维模型中的对应体素。
在随后对实施例的详细描述中,对“一个实施例”、“实施例”、“示例实施例”等的引用指示所述实施例可以包括特定特征、结构或特性,但是每个实施例可以不必都包括该特定特征、结构或特性。此外,这样的短语不一定是指相同实施例。进一步,当结合实施例描述特定特征、结构或特性时,认为无论是否明确描述,结合其他实施例实现这样的特征、结构或特性在本领域技术人员的知识范围内。
虽然出于说明目的,附图图示了二维截面,然而,本领域技术人员将认识到,所述截面可以表示三维元素。
图1示出了图示从不同视点构建的场景的深度图的图100。图100图示了从虚拟相机102构建的三维模型112和从虚拟相机104构建的三维模型114。三维模型112和114两者均可以表示建筑物130。
三维模型112和114可以是从航空或卫星图像生成的立体重构。图像可以由架空相机在各种倾斜或最低点视角拍摄。在图像中,特征被检测并且相互关联。使用已知的视角信息,从匹配的特征对三维空间中的点作三角测量。可以使用这些点来从两个图像确定立体网。以这种方式,可以从二维图像确定三维模型信息。
然而,三维模型信息还可以具有相关联的视角信息。例如,可以从特定虚拟相机重构三维模型信息。在一个实施例中,可以将使用至少两个图像的立体重构来确定的立体网投影回到特定相机视点。在三维模型被表示为深度图的实施例中,投影中的每一个像素可以具有指示从名义相机视角到在该像素处的立体网的距离的值。在三维模型被表示为高度场的实施例中,投影中的每一个像素可以具有指示在该像素处的立体网的高度的值。在任一实施例中,每一个立体网自身的三维模型具有相关联的视角信息。三维模型可以是可以为其计算带符号的距离的任何其他类型的表面,例如,闭合的网或另一个带符号的距离场。
在图100中,通过虚拟相机102和104图示了模型112和114的视角信息。虚拟相机102和104中的每一个可以包括为对应深度图或高度场指定视角或视点所需的所有信息。例如,每一个虚拟相机模型可以具有对应位置、朝向和视场。此外,每一个虚拟相机模型可以是正射或平行投影。
为了产生单个统一三维模型,实施例将三维模型112和三维模型114进行合并。如上所述,合并模型112和114的一种方式可以是取得该两个模型的交集。然而,当应用这种技术时,指示建筑物130比其实际上低的模型112和114中的任何错误将被传播到最终合并的模型。在图100中,例如,模型114指示建筑物130在区域124比其实际上低。如果使模型相交,则该错误将被传播到最终合并的模型。为了至少部分避免这个错误,实施例基于与深度图测量相关联的置信水平来选择哪些深度图测量被合并入最终三维模型。在图2中图示了如何确定哪些深度图测量被合并入最终三维模型。
图2是图示根据实施例的、用于合并深度图的方法200的流程图。参考图3-6中图示的示例描述了方法200。
方法200在步骤202开始,其中对体素网格进行构建。体素网格可以是带符号的距离场。可以根据输入三维模型数据的分辨率或合并的三维模型的期望分辨率来构建体素网格。随着输入或期望的输出三维模型的分辨率增加,体素网格可以更精细。参考图3说明了示例体素网格。
图3示出了图示图1中的场景的体素网格的图300。体素网格中的每一个体素可以具有在三维空间的相关联的位置。体素可以跨三维环境规则间隔。体素网格中的每一个体素可以关于其是否是合并的三维模型的部分被独立地估算。
图300中的体素网格中的体素被示出为以连续分辨率规则间隔。然而,技术人员将认识到,其他实施例可以涉及自适应分辨率。凭借自适应分辨率,替代在规则间隔的体素处取样,取样点可以接近于表面更密集,但是远离表面不那么密集。该实施例可以用更少的存储器使用提供更多的细节。参考回图2,每一个体素或取样点的估算在方法200中的步骤204开始。
在步骤204,为每一个输入的三维模型确定距离值。具体地,该距离值可以表示在体素网格中的体素和该三维模型之间的距离。对于每一个输入的三维模型,沿着与三维模型相关联的视角对该距离进行测量。更具体地,可以沿着从该体素直接朝向或直接远离虚拟相机的射线对该距离进行测量。当三维模型被表示为高度场或深度图时,距离确定可以涉及简单查找,这有助于快速执行。
该距离可以是带符号的距离值,意为其数值(绝对值)可以是在那两个点之间的距离,但是其还可以为正或负。例如,所确定的距离值可以为正,用来指示体素从虚拟相机的视角位于三维模型之下(或之内),以及所确定的距离值为负,用来指示体素从虚拟相机的视角位于三维模型之上(或之外)。
一旦为每一个深度图确定了距离值,就在步骤206,丢弃指示体素远低于模型的任何距离值。在一个实施例中,为了确定体素是否远低于模型,可以对距离值进行估算来看它们是否超过阈值。丢弃超过阈值的距离值,因为它们可以指示在三维模型的视角下,体素被遮掩。虽然在三维模型的一个视角下该对象被遮掩,然而,可以从能更好地观察体素的角度来构建其他模型。出于这个原因,指示体素位于模型内深处的大的距离值可能不提供有用的信息。例如参考图4A说明了这个步骤。
图4A示出了图示关于体素的各种距离测量的图400。类似于图100和图1,图400示出了具有对应虚拟相机102和104的三维模型112和114。另外,图400示出了从虚拟相机406的角度构建的三维模型416。图400图示了为体素402生成的针对三维模型中的每一个的距离值。
具体地,图400示出了针对模型112的距离432、针对模型114的距离434以及针对模型416的距离436。假设例如假定的阈值距离是5米。如图400中所图示,距离434被测量为+7米,意为体素402在表面114之下7米。在该示例中,将在方法200的步骤206中忽视距离434。将在下面更详细地描述距离436和432。
参考回图2,在步骤206中移除在模型内部深处的距离测量之后,在判定块208,对剩余距离进行估算来确定距离是否指示体素远高于模型。为了确定距离是否指示体素远高于模型,可以将距离值与负阈值进行比较。如果距离低于负阈值(数值超过该阈值的数值),则距离指示体素远高于对应模型。否则,距离不指示体素远高于对应模型。如果没有距离测量指示体素远高于对应模型,该方法前进到步骤214,并且可以丢弃被确定为远低于表面(例如低于阈值)的任何测量。可以通过仅仅将该测量的置信设置为零来丢弃测量。否则,方法前进到步骤210。在图4B中图示了所确定的距离指示体素远高于模型的示例。
图4B示出了图示关于体素的各种距离测量的图450。类似于图1的图100以及图4B的图400,图450示出了具有对应虚拟相机102和104的三维模型112和114。另外,图450示出了从虚拟相机458的角度构建的三维模型468。图450图示了为体素452生成的针对三维模型中的每一个的距离值。
具体地,图450示出了针对模型112的距离486、针对模型114的距离434以及针对模型416的距离438。假设例如假定的阈值距离是-4米。如图400中所图示,距离486被测量为-7米,意为体素402在表面114之下7米。在该示例中,在方法200中的步骤208中,距离486将指示体素远高于三维模型。因此,方法200将前进到步骤210。将在下面更详细地描述距离436和432。
在步骤210,为该距离确定置信分值。该置信分值可以对在深度图中读到的距离的质量进行评估。一般地,特征的更直接、正常的视图将具有比特征的更偏离的视图更高的分辨率,并且可能更好的质量。出于该原因,置信值可以指示对应三维模型的相机模型的视角被定向为面向体素区域的程度。在图5中图示了如何确定置信分值的示例。
图5示出了图示如何为距离测量确定置信分值的图500。图500图示了如何确定为体素452和从虚拟相机458构建的三维模型468测量的距离486的置信。射线570从虚拟相机458延伸出来通过体素452在点560与三维模型468相交。在三维模型468被表示为深度图或高度场的实施例中,确定位置560可以包括简单查找。在射线270和三维模型468之间,可以确定角552。所确定的角552可以用来确定置信分值。随着角552变得更钝,将体素452包括在合并的三维模型中的可能性可以增加。类似地,随着角552变得更尖锐,将体素452包括在合并的三维模型中的可能性可以减少。以这种方式,可以使用在三维模型中的虚拟相机的角度之间的角来帮助确定合并的三维模型。
除角外,还可以使用附近取样点的频率来确定合并的三维模型。在图500中,在点560对三维模型468进行取样。可以确定与点560邻近的取样点。可以确定在取样点之间的距离,并且可以基于该距离来确定置信分值。在图500中,点560可以与取样点562邻近。在点560和562之间,可以测量距离554。可以基于所测量的距离554来确定指示距离值486的置信水平的置信分值。随着距离554变得更长,将体素452包括在合并的三维模型中的可能性可以增加。类似地,随着距离554变得更短,将体素452包括在合并的三维模型中的可能性可以减少。以这种方式,距离554和角552两者均可以用来确定所测量的距离486的置信水平。
在其他实施例中,可以使用立体匹配的质量来确定置信分值。此外,可以使用任何上述方法的组合来确定置信分值。
在进一步示例中,当存在多个置信值时,可以使用加权平均。例如,参考回图4,如果距离482具有置信值0.2,距离484具有置信值0.5,以及距离486具有置信值0.1,则可以为体素452存储在体素网格中的总计带符号的距离值是(2*0.2+3*0.5–7*0.1)/(0.2+0.5+0.1)=1.5。
参考回图2,一旦在步骤210确定了置信分值,就在步骤212,使用置信分值来确定是否将体素包括在合并的三维模型中。在一个实施例中,步骤212可以使用为近距离和远距离两者确定的置信分值。使用参考图5所述的技术,可以为近距离确定值Cclose,以及可以为远距离确定值Cfar。当满足下面等式:Cclose<αCfar,其中α是预定义偏置值或其他预先确定的度时,在步骤212体素可以被包括。以这种方式,方法200在步骤212确定体素是否应当被包括在合并的三维模型中。
如果体素不被包括,则可以将大的负距离存储在体素网格中。该值可以指示稍后针对该体素的算法应当不被包括在合并的三维模型中。如果体素被包括(判定块216),则在步骤214,为体素确定带符号的距离。除带符号的距离外,本领域技术人员将认识到,可以使用权重。
在步骤214,为体素确定带符号的距离。可以例如基于在步骤206和208中所述的两个阈值之间测量的距离测量来确定带符号的距离。在那两个阈值之间的距离值指示对应三维模型与体素接近。可以例如通过对足够接近体素的剩余距离值求平均或取得其的加权平均,来确定带符号的距离。参考图4A中的距离432和436以及图4B中的距离482和484说明了步骤214的示例。
在图4A中,距离432和436足够接近体素。具体地,那些距离可以在早前参考步骤206和208所述的阈值内。为了为体素402确定带符号的距离,可以对距离值求平均。如图400中所图示,距离436指示体素402在模型416之下2米,这导致距离值+2米。类似地,距离432指示体素402在模型416之上3米,这导致距离值-3米。然后,可以对各个带符号的距离值求平均,这导致体素402的权重-0.5。可以将该带符号的距离402存储在体素网格或带符号的距离场中。
类似地,在图4B中,距离482和484足够接近体素。具体地,那些距离可以在早前参考步骤206和208所述的阈值内。为了为体素452确定带符号的距离,可以对距离值求平均。如图450中所图示,距离482指示体素452在模型416之下2米,这导致距离值+2米。类似地,距离484指示体素452在模型416之下3米,这导致距离值+3米。然后,可以对各个带符号的距离值求平均,这导致体素452的带符号的距离+2.5。也可以将该带符号的距离402存储在体素网格中。
在判定块218,为在步骤202构建的体素空间中的每一个体素重复步骤204-216。作为该重复的结果,体素网格可以为每一个体素包括带符号的距离值。在步骤220,可以使用该带符号的距离的三维矩阵来构建合并的三维模型。该合并的三维模型可以通过基于体素网格中的值来定义其边缘,来进行构建。在一个示例中,可以在具有正值的体素和具有负值的体素之间定义边缘。在正和负体素之间的位置之间,可以基于正和负值的相对数值来定义边缘的位置。
从体素网格,可以存在提取网表面的数个方式。一个示例是使用移动立方体(marching cubes)算法。图6中图示了步骤220的另一个示例。
图6示出了图示根据一个实施例的、从带符号的距离的矩阵构建合并的三维模型602的图600。具体地,图600图示了具有邻近体素612和614的体素网格。由于体素612具有相关联的带正号的距离(+3)以及体素614具有相关联的带负号的距离(-1),因此,三维模型602围绕在体素612和614之间来构建。进一步,由于体素614的带符号的距离的数值(1)小于体素612的带符号的距离的数值(3),因此,可以将三维模型602构建成趋向与体素614比体素612更接近。在体素614和体素612之间的三维模型602的位置可以与相应带符号的距离线性地成比例。以这种方式,可以使用体素网格来确定合并的三维模型602。
图7是图示根据实施例的、用于合并深度图的系统700的图。在一个实施例中,系统700可以根据图2中的方法来操作。系统700包括接收多个输入深度图702作为输入的处理管线服务器710。虽然输入三维模型702被称为深度图,然而,本领域技术人员将认识到,存在表示三维模型数据的其他方式。例如,三维模型702也可以被表示为高度场。三维模型702中的每一个可以是自特定角度的立体重构。从输入三维模型702,处理管线服务器710生成合并的模型730。
处理管线服务器710包括体素空间模块712、距离测试模块714、置信分值模块716、点选择器模块718和模型构建模块720。在下面描述了这些模块中的每一个。
体素空间模块712被配置成确定在三维空间中的多个体素。体素可以跨三维环境规则间隔。体素网格中的每一个体素可以关于其是否是合并的三维模型的部分被独立地估算。在图3中图示了可以由体素空间模块712产生的示例体素空间。
距离测试模块714被配置成为多个体素中的各个体素确定多个距离值。每一个距离值可以是从体素沿着用来生成来自多个输入深度图702的三维模型的相机模型的视角到该三维模型的距离。在图4A-B中图示了各种测量的距离的示例。
置信分值模块716被配置成为距离测试模块714所确定的各个距离确定置信分值。置信分值可以指示对应三维模型的相机模型的视角被定向为面向该体素的程度。置信分值模块716可以被配置成基于在三维模型和从输入三维模型的角度延伸出来通过体素的射线之间的角来确定置信分值。类似地,置信分值模块716可以被配置成基于在根据体素来确定的接近区域中的对应三维模型的各个取样之间的距离来确定置信分值。接近区域可以包括与如果根据虚拟相机信息来渲染则将显示体素的像素邻近的像素。置信分值模块716可以如参考图5所述地确定置信值。
点选择器模块718被配置成至少部分基于所确定的置信分值来确定是否将与体素相对应的点包括入合并的三维模型。
模型构建模块720被配置成根据第一和第二距离值两者为体素确定带符号的距离。进一步,模型构建模块720被配置成基于两个邻近体素的确定的带符号的距离,来确定在该两个邻近体素之间、构建合并的三维模型的边缘的地方。例如参考图6描述了模型构建模块的操作。
可以在任何计算设备上实现处理管线服务器710。这样的计算设备可以包括但不限于:个人计算机、诸如移动电话的移动设备、工作站、嵌入式系统、游戏控制台、电视、机顶盒或任何其他计算设备。进一步,计算设备可以包括但不限于具有用于执行和存储指令的处理器和存储器的设备。软件可以包括一个或多个应用和操作系统。硬件可以包括但不限于处理器、存储器和图形用户界面显示器。计算设备还可以具有多个处理器和多个共享或单独存储器组件。例如,计算设备可以是集群的计算环境或服务器群。
体素空间模块712、距离测试模块714、置信分值模块716、点选择器模块718和模型构建模块720中的每一个可以用硬件、软件、固件或其任何组合来实现。
发明内容和摘要部分可以阐明发明人预期的本发明的一个或多个而非所有示例性实施例,因此,发明内容和摘要部分不意在以任何方式来限制本发明和所附的权利要求。
在上面借助于说明指定的功能的实现及其关系的功能构造块来描述了本发明。在本文为了便于描述,任意地限定了这些功能构造块的边界。可以限定替选边界,只要所指定的功能及其关系被适当地执行。
特定实施例的前面描述如此充分地揭示了本发明的一般性质,使得其他人可以在不背离本发明的一般概念的情况下,通过应用在本领域的技能内的知识而为各种应用容易地修改和/或调整这样的特定实施例,而不用进行过度实验。因此,基于在本文提供的教导和指导,这样的调整和修改意在在所公开的实施例的等价物的含义和范围内。应当理解的是,在本文的措词或术语出于描述而非限制的目的,因此,本说明书的术语或措词应当由技术人员根据所述教导和指导来解释。
本发明的宽度和范围不应当受任何上述示例性实施例限制,而是应当仅根据所附权利要求及其等价物来限定。

Claims (14)

1.一种用于对多个三维模型进行合并的方法,每一个三维模型是从具有不同视点的相机的图像生成的,所述方法包括:
(a)确定在三维空间中的多个体素;
对于所述多个体素中的各个体素:
(b)确定多个距离值,每一个距离值是从所述体素沿着用来生成来自所述多个三维模型的对应三维模型的相机模型的视角到所述对应三维模型的距离;
当(i)来自所述多个距离值的第一距离值指示在所述体素和与所述第一距离值相对应的所述三维模型之间的所述距离在阈值内以及(ii)来自所述多个距离值的第二距离值指示所述体素在所述阈值外并且高于与所述第二距离值相对应的所述三维模型时:
(c)确定指示与所述第一距离值相对应的所述三维模型的所述相机模型的所述视角被定向为面向所述体素的程度的第一置信分值;
(d)确定指示与所述第二距离值相对应的所述三维模型的所述相机模型的所述视角被定向为面向所述体素的程度的第二置信分值;以及
(e)至少部分基于所确定的第一和第二置信分值来确定是否将与所述体素相对应的点包括入合并的三维模型,使得当所述第二置信分值大于所述第一置信分值达预先确定的程度时,所述体素不被包括在所述合并的三维模型中。
2.根据权利要求1所述的方法,其中确定所述第一置信分值的步骤包括:基于在所述三维模型和从所述相机模型的所述视角朝所述体素延伸的射线之间的角来确定所述第一置信分值,使得所述点被包括在所述合并的三维模型中的可能性随着所述角变得更尖锐而减少。
3.根据权利要求1所述的方法,其中确定所述第一置信分值的步骤包括:基于在处于根据所述体素来确定的接近度内的所述对应三维模型的各个取样之间的距离来确定所述第一置信分值,使得所述点被包括在所述合并的三维模型中的可能性随着在各个取样之间的所述距离增加而减少。
4.根据权利要求1所述的方法,进一步包括:
(f)当(i)所述点在(e)中被确定为被包括在所述合并的三维模型中并且(ii)来自所确定的多个距离值的第三和第四距离值两者均指示在所述体素和相应三维模型之间的距离不超过所述阈值时,根据所述第三和第四距离值两者为所述体素确定权重;以及
(g)基于为两个邻近体素所确定的权重,来确定在所述两个邻近体素之间构建所述合并的三维模型的边缘的地方。
5.根据权利要求1所述的方法,其中在所述多个三维模型中的每一个三维模型被表示为深度图。
6.根据权利要求1所述的方法,其中在所述多个三维模型中的每一个三维模型被表示为高度场。
7.根据权利要求1所述的方法,其中在所述多个三维模型中的每一个三维模型是立体重构。
8.一种用于对多个三维模型进行合并的系统,每一个三维模型是从具有不同视点的相机的图像生成的,所述系统包括:
体素确定模块,所述体素确定模块被配置成确定在三维空间中的多个体素;
距离测试模块,所述距离测试模块被配置成对于所述多个体素中的各个体素,确定多个距离值,每一个距离值是从所述体素沿着用来生成来自所述多个三维模型的三维模型的相机模型的视角到该三维模型的距离;
置信分值模块,所述置信分值模块被配置成,当(i)来自所述多个距离值的第一距离值指示在所述体素和与所述第一距离值相对应的所述三维模型之间的所述距离在阈值内以及(ii)来自所述多个距离值的第二距离值指示所述体素在所述阈值外并且高于与所述第二距离值相对应的所述三维模型时:
确定指示与所述第一距离值相对应的所述三维模型的所述相机模型的所述视角被定向为面向所述体素的程度的第一置信分值,以及
确定指示与所述第二距离值相对应的所述三维模型的所述相机模型的所述视角被定向为面向所述体素的程度的第二置信分值;以及
点选择器模块,所述点选择器模块被配置成至少部分基于所确定的第一和第二置信分值来确定是否将与所述体素相对应的点包括入合并的三维模型,使得当所述第二置信分值大于所述第一置信分值达预先确定的程度时,所述体素不被包括在所述合并的三维模型中。
9.根据权利要求8所述的系统,其中所述置信分值模块被配置成:基于在所述三维模型和从所述相机模型的所述视角朝所述体素延伸的射线之间的角来确定所述第一置信分值或所述第二置信分值,使得所述点被包括在所述合并的三维模型中的可能性随着所述角变得更尖锐而减少。
10.根据权利要求8所述的系统,其中所述置信分值模块被配置成:基于在处于根据所述体素来确定的接近度内的所述对应三维模型的各个取样之间的距离来确定所述第一置信分值或所述第二置信分值,使得所述点被包括在所述合并的三维模型中的可能性随着在各个取样之间的所述距离增加而减少。
11.根据权利要求8所述的系统,进一步包括:
模型构建模块,所述模型构建模块被配置成:(i)当所述点被所述点选择器模块确定为被包括在所述合并的三维模型中并且来自所确定的多个距离值的第三和第四距离值两者均指示在所述体素和相应三维模型之间的距离不超过所述阈值时,根据所述第三和第四距离值两者为所述体素确定权重;以及
(ii)基于为两个邻近体素所确定的权重,来确定在所述两个邻近体素之间构建所述合并的三维模型的边缘的地方。
12.根据权利要求8所述的系统,其中在所述多个三维模型中的每一个三维模型被表示为深度图。
13.根据权利要求8所述的系统,其中在所述多个三维模型中的每一个三维模型被表示为高度场。
14.根据权利要求8所述的系统,其中在所述多个三维模型中的每一个三维模型是立体重构。
CN201380001180.9A 2012-05-01 2013-04-30 基于置信分值来合并三维模型 Active CN103503033B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/461,403 2012-05-01
US13/461,403 US8462155B1 (en) 2012-05-01 2012-05-01 Merging three-dimensional models based on confidence scores
PCT/US2013/038881 WO2013166023A1 (en) 2012-05-01 2013-04-30 Merging three-dimensional models based on confidence scores

Publications (2)

Publication Number Publication Date
CN103503033A CN103503033A (zh) 2014-01-08
CN103503033B true CN103503033B (zh) 2015-07-08

Family

ID=48538396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380001180.9A Active CN103503033B (zh) 2012-05-01 2013-04-30 基于置信分值来合并三维模型

Country Status (7)

Country Link
US (1) US8462155B1 (zh)
EP (1) EP2705500B1 (zh)
JP (1) JP5592039B2 (zh)
KR (1) KR101399236B1 (zh)
CN (1) CN103503033B (zh)
DE (1) DE202013012443U1 (zh)
WO (1) WO2013166023A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI441042B (zh) * 2011-07-01 2014-06-11 Pixart Imaging Inc 互動影像系統、互動控制裝置及其運作方法
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9767378B2 (en) * 2015-08-31 2017-09-19 Sony Corporation Method and system to adaptively track objects
US11830140B2 (en) * 2021-09-29 2023-11-28 Verizon Patent And Licensing Inc. Methods and systems for 3D modeling of an object by merging voxelized representations of the object
CN116310149B (zh) * 2023-05-18 2023-07-21 深圳优立全息科技有限公司 一种体素合并方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184531A (zh) * 2010-05-07 2011-09-14 微软公司 深度图置信过滤

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912293B1 (en) 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
JP2001143057A (ja) * 1999-11-18 2001-05-25 Asia Air Survey Co Ltd 都市の3次元モデルを作成する方法
US7193633B1 (en) 2000-04-27 2007-03-20 Adobe Systems Incorporated Method and apparatus for image assisted modeling of three-dimensional scenes
US6868191B2 (en) 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2002157576A (ja) 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
JP2003317081A (ja) * 2002-04-25 2003-11-07 Sony Corp 3次元モデル生成システム及び方法、並びにコンピュータ・プログラム
JP4206449B2 (ja) * 2002-10-09 2009-01-14 株式会社ジオ技術研究所 3次元電子地図データの生成方法
US20050128212A1 (en) 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
US20050212794A1 (en) 2004-03-29 2005-09-29 Communications Research Laboratory, Independent Administrative Institution Method and apparatus for removing of shadows and shadings from texture images
KR100748719B1 (ko) * 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
WO2009008864A1 (en) * 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
US8275194B2 (en) * 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 中間画像合成およびマルチビューデータ信号抽出
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
US8619122B2 (en) * 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8773424B2 (en) 2010-02-04 2014-07-08 Microsoft Corporation User interfaces for interacting with top-down maps of reconstructed 3-D scences
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184531A (zh) * 2010-05-07 2011-09-14 微软公司 深度图置信过滤

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU,Xiaoyang et al.Fusion of Depth Maps Based on Confidence.《 2011 International Conference on Electronics, Communications and Control》.2011,2658-2661. *

Also Published As

Publication number Publication date
US8462155B1 (en) 2013-06-11
EP2705500A1 (en) 2014-03-12
CN103503033A (zh) 2014-01-08
WO2013166023A1 (en) 2013-11-07
EP2705500A4 (en) 2015-09-23
JP5592039B2 (ja) 2014-09-17
EP2705500B1 (en) 2017-06-07
DE202013012443U1 (de) 2016-11-08
KR20130131444A (ko) 2013-12-03
JP2014514682A (ja) 2014-06-19
KR101399236B1 (ko) 2014-05-27

Similar Documents

Publication Publication Date Title
CN103503033B (zh) 基于置信分值来合并三维模型
US9984177B2 (en) Modeling device, three-dimensional model generation device, modeling method, program and layout simulator
US9330504B2 (en) 3D building model construction tools
EP2848002B1 (en) Apparatus and method for processing 3d information
CN102736071B (zh) 一种用于生成天气和地面反射率信息的方法和系统
US20120155744A1 (en) Image generation method
CN102510506B (zh) 一种基于双目图像和距离信息的虚实遮挡处理方法
GB2519201A (en) Processing apparatus for three-dimensional data, processing method therefor, and processing program therefor
JP4803581B2 (ja) 景観解析方法とこの方法を実行するコンピュータプログラムおよびこのプログラムを格納した媒体
KR20180126017A (ko) 서비스 지표 디스플레이 방법 및 디바이스
JP2015184061A (ja) 抽出装置、方法及びプログラム
CN104134213B (zh) 一种数字图像中的目标定位方法以及装置
Vletter (Semi) automatic extraction from Airborne Laser Scan data of roads and paths in forested areas
KR101575742B1 (ko) 스테레오 비전에 기반한 암반의 절취면 조사방법
JP6306903B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN114019532A (zh) 工程进度核查方法及设备
JP6741154B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Hwang et al. A study on optimized mapping environment for real-time spatial mapping of HoloLens
CN105323553A (zh) 一种云台设备的控制方法和装置
JP6768400B2 (ja) 情報処理装置、情報処理方法及びプログラム
AU2013219167B1 (en) Merging three-dimensional models based on confidence scores
Chen et al. A parallel multipoint viewshed analysis method for urban 3D building scenes
KR101661529B1 (ko) 삼차원 시각 분석방법, 삼차원 시각 분석 프로그램, 그 프로그램이 저장된 서버 시스템 및 컴퓨터
Zhang LiDAR-Based Change Detection for Earthquake Surface Ruptures
Dupont et al. A region growing algorithm adapted to bathymetric point clouds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder