CN109478337A - 用于改进的表面法线估计的系统和方法 - Google Patents

用于改进的表面法线估计的系统和方法 Download PDF

Info

Publication number
CN109478337A
CN109478337A CN201780042185.4A CN201780042185A CN109478337A CN 109478337 A CN109478337 A CN 109478337A CN 201780042185 A CN201780042185 A CN 201780042185A CN 109478337 A CN109478337 A CN 109478337A
Authority
CN
China
Prior art keywords
estimation
point
surface point
image
multiple images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780042185.4A
Other languages
English (en)
Inventor
A·J·林德纳
K·M·阿塔纳索夫
J·W·纳什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109478337A publication Critical patent/CN109478337A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开用于表面法线估计的方法和系统。在一些方面中，接收从多个视角表示三维对象的多个图像或深度图。基于所述单个图像内的表面点，估计所述多个图像中的单个图像内的表面点处的表面法线。基于所述表面法线和由从所述多个图像推导出的表面点构成的点云，产生所述对象的三维表面的电子表示。

Description

用于改进的表面法线估计的系统和方法
背景技术
三维表面重构可基于对于三维对象获得的多个图像和深度图。多个图像和深度图中的每一个可能是从三维对象的不同视角所俘获。可从图像和/或深度图识别对象上的点位置，且将其用于对准多个图像。可随后基于点位置产生三维对象表面的电子表示。举例来说，可确定表面上的一或多个点位置处的表面法线。可随后基于表面点与表面法线估计的邻域，估计已知表面点之间的三维表面。然而，在一些环境中，所得三维表面估计可含有减小三维再现质量的一或多个不规则处。因此，需要改进的三维表面重构方法。
发明内容
本公开的系统、方法及装置各自具有若干方面，其中没有单一方面单独负责其所期望属性。下文简要地描述本公开的一些方面，而不限制本公开的范围。
如上文所论述，三维对象表面重构可能依赖于多个视角图像和深度图以辅助重构。重构可包含识别经重构对象表面上的点。可能跨越图像匹配点，以促进多个图像的对准。可在一或多个表面点位置处估计表面法线，以帮助估计点位置处的三维对象的表面的定向。基于已知点位置中的每一处的单独表面定向，可使用各种技术“填充”已知表面点之间的表面，例如在表面点之间插入定向以确定已知点之间的对象的表面的定向。
当多个视角图像未良好对准时，多个图像可能在三维空间内的不同位置指示多个图像共有的表面点。这通常可能导致基于从不同图像的不对准表面点产生的表面法线估计的精度的降低。
为了避免这一问题，所公开的方法和系统可仅利用单一图像内的表面点执行表面法线估计。通过仅使用从单一图像推导出的点用于估计表面法线，可显著地改进表面法线估计的精度，尤其在多个视角图像之间具有相对较大偏差水平的环境下。这也可能是低亮度环境中的情况。举例来说，当三维对象图像是在低光照条件下所俘获时，表面点位置的精度可能受损。举例来说，一些表面点在较低光照条件下可能不可见，由此减少可用于表面法线估计的表面点数目。此外，低光照条件可能导致表面点识别算法以较低可靠性和一致性执行，导致多个视角图像中的每一个内所识别的表面点位置的变化。因此，在较低亮度状态下，仅使用从单一图像推导出的表面点估计表面法线可能是有利的。
公开的一个方面是一种以电子方式表示三维对象表面的方法。所述方法包含：接收对象的多个图像，所述图像表示来自多个视角的对象；识别所述多个图像中的每一个内的所述表面上的点；基于从所述图像推导出的所述表面点，在所述多个图像中的每一个内的表面点处产生表面法线的估计；产生包括从所述多个图像中的每一个推导出的表面点的点云；以及基于所述表面法线估计和所述点云，产生所述对象的三维表面的表示。
在一些方面中，方法包含在电子显示器上呈现所述三维表面的所述表示。在一些方面中，所述方法包含识别所述多个图像的第一图像内的第一表面点、识别所述多个图像的第二图像内的第二表面点、基于所述第一表面点产生第一表面点位置处的表面法线的第一估计、基于所述第二表面点产生第二表面点位置处的表面法线的第二估计，以及基于表面法线的所述第一估计和第二估计产生所述三维表面的所述表示。
在一些方面中，方法包含基于所述点云以及所述第一和第二表面法线估计，填充所述表面点之间的所述三维表面的表示。在一些方面中，所述方法选择性地基于所述多个图像之间的未对准的一或多个指示与所述多个图像中的所述三维对象的亮度水平，产生所述估计。在一些方面中，所述方法包含响应于所述未对准大于阈值，基于所述多个图像的其它图像内的表面点产生所述多个图像的第一图像内的表面点的第一估计，以及响应于所述未对准低于所述阈值，基于所述单个第一图像内的表面点产生所述第一图像内的表面点的所述第一估计。在一些方面中，所述方法包含响应于所述亮度小于阈值，基于所述多个图像的其它图像内的表面点产生所述多个图像的第一图像内的表面点的第一估计，以及响应于所述亮度大于所述阈值，基于所述单个第一图像内的表面点产生所述第一图像内的表面点的所述第一估计。
在一些方面中，所述方法包含：基于所述多个图像的多个图像中识别的表面点产生所述多个图像的第一图像的表面点的表面法线的第二估计；比较所述第一估计与所述第二估计；以及响应于所述比较产生所述三维表面的所述表示。在一些方面中，所述方法包含估计所述第一估计的表面法线之间的一致性与所述第二估计的表面法线之间的一致性，基于更一致的表面法线估计产生所述三维表面的表示。
公开的另一个方面是一种以电子方式表示三维对象表面的设备。所述设备包含电子硬件处理器、电子硬件存储器，其存储在被执行时导致所述处理器执行以下操作的指令：从所述成像传感器接收三维对象的多个图像，所述图像从多个视角表示所述三维对象；识别所述多个图像中的每一个内的所述表面上的表面点；基于所述对应图像内的所述表面点，产生每个对应图像内的表面点的表面法线的估计；产生包括所述多个图像中的每一个的表面点的点云；以及基于所述表面法线估计和所述点云，产生所述三维对象的三维表面。
在一些方面中，所述设备包含电子显示器，且所述电子存储器存储另外的指令，其导致所述电子硬件处理器在所述电子显示器上呈现所述三维表面。在一些方面中，所述电子硬件存储器存储另外的指令，其导致所述电子硬件处理器：识别所述多个图像的第一图像内的第一表面点；识别所述多个图像的第二图像内的第二表面点；基于所述第一表面点在第一表面点位置处产生表面法线的第一估计；基于所述第二表面点在第二表面点位置处产生表面法线的第二估计；以及基于表面法线的所述第一估计和第二估计，产生所述表面估计。在一些方面中，所述电子硬件存储器存储另外的指令，其导致所述电子硬件处理器基于所述点云，和所述第一和第二表面法线估计，填补所述表面点之间的所述三维表面。
在一些方面中，所述电子硬件存储器存储另外的指令，其导致所述电子硬件处理器选择性地基于所述多个图像之间的未对准与所述多个图像中的所述三维对象的亮度水平的一或多个指示，产生所述第一估计。在一些方面中，所述电子硬件存储器存储另外的指令，其导致所述电子硬件处理器响应于所述未对准大于阈值，基于所述多个图像的其它图像内的表面点产生所述多个图像的第一图像内的表面点的所述第一估计，以及响应于所述未对准低于所述阈值，基于所述单个第一图像内的表面点产生所述第一图像内的表面点的所述第一估计。
在一些方面中，所述电子硬件存储器存储另外的指令，其导致所述电子硬件处理器响应于所述亮度小于阈值，基于所述多个图像的其它图像内的表面点产生所述多个图像的第一图像内的表面点的第一估计，以及响应于所述亮度大于所述阈值，基于所述单个第一图像内的表面点产生所述第一图像内的表面点的所述第一估计。在一些方面中，所述电子硬件存储器存储另外的指令，其导致所述电子硬件处理器：基于所述点云，对于所述第一点中的每一个产生表面法线的第二估计；比较所述第一估计与所述第二估计；以及响应于所述比较产生所述表面估计。在所述设备的一些方面中，所述电子硬件存储器存储另外的指令，其导致所述电子硬件处理器：估计所述第一估计的表面法线之间的一致性与所述第二估计的表面法线之间的一致性，且基于更一致的表面法线估计产生所述表面估计。
公开的另一态样是非暂时性计算机可读存储媒体，其包括在被执行时，导致电子硬件处理器执行一种产生对象的三维表面的电子表示的方法的指令。
所述计算机可读存储媒体的方法包含：接收所述对象的多个图像，所述图像从多个视角表示所述对象；识别所述多个图像中的每一个内的所述表面上的表面点；基于所述对应图像内的所述表面点，产生每个对应图像内的表面点的表面法线的估计；产生包括所述多个图像中的每一个的表面点的点云；以及基于所述表面法线估计和所述点云，产生所述对象的所述三维表面的表示。
在一些方面中，所述计算机可读存储媒体的方法包含在电子显示器上呈现三维表面的表示。在一些方面中，所述方法包含识别所述多个图像的第一图像内的第一表面点、识别所述多个图像的第二图像内的第二表面点、基于所述第一表面点产生第一表面点位置处的表面法线的第一估计、基于所述第二表面点产生第二表面点位置处的表面法线的第二估计，以及基于表面法线的所述第一估计和第二估计产生所述三维表面的所述表示。
在一些方面中，所述计算机可读存储媒体的所述方法包含基于所述点云和所述第一和第二表面法线估计，填充所述表面点之间的所述三维表面的所述表示。在一些方面中，所述方法选择性地基于所述多个图像之间的未对准的一或多个指示与所述多个图像中的所述三维对象的亮度水平，产生所述估计。在一些方面中，所述方法包含响应于所述未对准大于阈值，基于所述多个图像的其它图像内的表面点产生所述多个图像的第一图像内的表面点的第一估计，以及响应于所述未对准低于所述阈值，基于所述单个第一图像内的表面点产生所述第一图像内的表面点的所述第一估计。在一些方面中，所述计算机可读存储媒体的所述方法包含响应于所述亮度小于阈值，基于所述多个图像的其它图像内的表面点产生所述多个图像的第一图像内的表面点的第一估计，以及响应于所述亮度大于所述阈值，基于所述单个第一图像内的表面点产生所述第一图像内的表面点的所述第一估计。
在一些方面中，所述计算机可读存储媒体的所述方法包含：基于所述多个图像的多个图像中识别的表面点产生所述多个图像的第一图像的表面点的表面法线的第二估计；比较所述第一估计与所述第二估计；以及响应于所述比较产生所述三维表面的所述表示。在一些方面中，所述方法包含估计所述第一估计的表面法线之间的一致性与所述第二估计的表面法线之间的一致性，基于更一致的表面法线估计产生所述三维表面的表示。
公开的另一个方面是一种以电子方式表示三维对象表面的设备。所述设备包含：接收所述对象的多个图像的装置，所述图像从多个视角表示所述对象；识别所述多个图像中的每一个内的所述表面上的表面点的装置；基于所述对应图像内的所述表面点，产生每个对应图像内的表面点的表面法线的估计的装置；产生包括所述多个图像中的每一个的表面点的点云的装置；以及基于所述表面法线估计和所述点云，产生所述对象的所述三维表面的表示的装置。
公开的另一方面是用于在计算机上的三维对象的改良呈现的设备，所述设备包含响应于表示所述三维对象的多个图像之间的未对准估计表面法线的装置，以及基于所述表面法线产生所述三维对象的所述表面的装置。这一方面还可包含将所述产生的表面写入到数据存储的装置。
公开的另一方面是用于在计算机上的三维对象的改良呈现的设备，所述设备包含响应于表示所述三维对象的多个图像之间的亮度估计表面法线的装置，以及基于所述表面法线产生所述三维对象的所述表面的装置。这一方面还可包含将所述产生的表面写入到数据存储的装置。
附图说明
图式中说明的各种特征可能未按比例绘制。因此，为了清晰起见，可能任意扩大或减小各种特征的尺寸。此外，加点或短划线和对象可能指示可选特征，或用于示出组件的组构。此外，图式中的一些图式可能并未描绘给定系统、方法或装置的所有组件。最后，可能贯穿说明书和图式使用相似参考标号来表示相似特征。
图1说明俘获包含三维对象的场景的多个视角图像和多个深度图的实例。
图2说明从表示三维对象的多个视角图像和多个深度图推导出的多个表面点集的实例。
图3A说明使用从多个视角图像的点云的表面法线估计的实施例的概览的实例。
图3B说明使用从单一视角图像的表面点的表面法线估计的实施例的概览的实例。
图4说明估计表面法线时使用来自多个视角图像的表面点的实例。
图5说明估计单个图像内的表面点的表面法线时，使用从单一图像推导出的表面点的实例。
图6A示出了利用使用从多个视角图像形成的点云估计的表面法线的表面重构的实例。
图6B示出了利用使用来自单一视角图像的表面点估计的表面法线的表面重构的实例。
图7是用于三维表面重构的装置实例的框图。
图8为说明用于三维表面重构的方法的实施例的实例的流程图。
图9为说明用于三维表面重构的方法的实施例的实例的流程图。
图10为说明用于三维表面重构的方法的实施例的实例的流程图。
具体实施方式
下文参考附图更充分地描述新颖系统、设备和方法的各个方面。然而，教示公开可以许多不同形式来体现，且不应被解释为限于贯穿本公开所呈现的任何特定结构或功能。而是，提供这些方面以使得本公开将透彻且完整，且将向所属领域的技术人员充分传达本公开的范围。基于本文中的教示，所属领域的技术人员应了解，本公开的范围既定涵盖无论是独立于本公开的任何其它方面而实施还是与之组合而实施的本文中所揭示的新颖系统、设备和方法的任何方面。举例来说，可使用本文中所阐述的任何数目个方面来实施设备或实践方法。另外，本公开的范围意图涵盖使用除本文中所阐述的本公开的各种方面之外的或不同于本文中所阐述的本公开的各种方面的其它结构、功能性或结构与功能性来实践的此类设备或方法。应理解，可通过权利要求的一或多个要素来实施本文中所公开的任何方面。
此外，尽管本文中描述了特定方面，但这些方面的许多变化和排列落在本公开的范围内。此外，本公开的范围不既定限于本文公开的特定益处、用途或目标。相反地，本公开的方面既定广泛地适用于不同有线和无线技术、系统配置、网络和传输协议，其中的一些是借助于实例而在图中以及在优选方面的以下描述中说明。具体实施方式及图式仅说明本公开而不限制，本公开的范围由所附权利要求书及其等效物界定。
图1示出了俘获包含三维对象102的场景的多个视角图像和多个深度图的实例。示出四个成像装置101a到d。四个成像装置101a到d中的每一个采集三维对象102的图像，产生四个图像106a到d。成像装置101a到d中的每一个还可以利用一或多个深度感应技术来获取三维对象的深度图，示出为深度图108a到d。举例来说，在一些方面中，成像装置101a到d可能利用结构光来产生三维对象的深度图108a到d。在一些其它实施例中，成像装置101a到d中的一些可能装备有光检测与测距(light detection and ranging；LIDAR)深度传感器。在一些方面中，成像装置101a到d中的一些可能对于深度感应利用飞行时间方法。在一些方面中，成像装置101a到d可以是单个成像装置。举例来说，在一些方面中，用户(未示出)可能在三维对象102周围的各种视角处放置单一成像装置(例如，在由四个成像装置101a到d说明的视角处)，且使用单个成像装置俘获图像106a到d和深度图108a到d。在一些实施例中，可循序地实现使用单个成像装置的三维对象102图像俘获，例如，依次将单个成像装置移动到由成像装置101a、101b、101c和101d指示的位置。在其它实施例中，单个成像装置可能放置在三维对象102周围的各种位置，且按任何次序俘获图像。
图2为基于多个视角图像，确定图1的三维对象表面上的点集的过程的数据流图解。图1的装置101a到d产生的图像106a到d和深度图108a到d可用于确定表面点集110a到d。表面点集110a到d中的每一个内的每个表面点从其起始图像106a到d和深度图108a到d的角度近似三维对象102表面的位置。
在一些方面中，可从相应的深度图108a到d中的信息，推导出表面点集110a到d中的每一个内的表面点的位置。如由在图2中的205示出，来自四个图像中的每一个的表面点的三维位置可随后被映射到共有的三维空间。然而，产生表面点110a到d的四个图像106a到d和深度图108a到d可能在对准时经受误差。举例来说，成像装置纵倾、横偏或滚动变化可能导致相同三维对象的两个或更多个图像之间的透视误差。类似地，当来自多个图像的表面点映射到共有的三维空间205中时，可能未适当地考虑共有的三维空间内的X、Y以及Z轴线中的偏移。因此，单一三维空间内的两个图像之间共有的表面点的所计算位置可能在一定程度上改变。此外，由于这一未对准，来自单一三维空间的不同图像的不同表面点的相对位置可能不准确地反映表面点区域中的实际三维对象表面特征的相对位置。可能发生的未对准类型的实例在图2中示出为跨越三维空间205内的表面点集110a到d的表面轮廓变化。
图3A示出了基于上文相对于图2所论述的表面点集110a到d的表面法线的产生。作为三维对象的表面重构的一部分，表面点集110a到d可用于产生表面法线估计。表面法线示出为图3A中的箭头(仅两个表面法线估计表示为304a到b，以保持图示清晰性)。在一些方面中，可通过分析从被估计法线的表面点的最近邻近表面点产生的协方差矩阵的本征向量和本征值(或PCA-主分量分析)，估计三维对象表面上点的表面法线。
在估计所述表面法线(例如，304a到b)之后，可部分地基于表面法线304a到b估计三维表面305。然而，如先前论述，由于表面法线304a到b的估计可能经受由表面点集110a到d之间的未对准引入的误差，因此经重构三维表面305可包含一或多个不连续306a到b。
图3B示出了用于基于图像数据和深度图确定三维表面点位置的示范性方法。深度图可提供图像数据中的每个像素的深度值。特定像素的深度值Z代表从成像装置(例如，图1的成像装置101a)的成像传感器的图像传感器平面160到三维对象(例如，图1的三维对象102)表面的距离。
如图3B中所示，f是成像传感器的焦距，Z是从成像传感器的图像传感器平面160的表面点到三维对象表面点162的深度。在图3B中，x代表在“X”维的从成像传感器光轴到传感器平面上的表面点位置的偏移。表面点162的X坐标可计算为X＝Z*f/x。Y坐标类似，产生具有3D坐标(X，Y，Z)的点。在一些其它方面中，由来自三维对象不同视角的多个图像提供的立体视图可用于获取三维空间内的表面点的坐标。在这些方面中，可能不需要深度图。
图4示出了三维对象的表面201，和近似表面201的四个表面点集212、214、216和218。尽管在图2中将表面201和表面点集212、214、216和218示出为二维，但本公开实施例通常针对于估计三维表面和相同的表面点近似。如上文相对于图2所论述，可分别从四个不同视角图像和/或分别从四个不同深度图，推导出四(4)个表面点集212、214、216和218。表面点集212、214、216和218中的每一个中的对应表面点位置之间的差值，例如用差值210所示，可能是因导出表面点集212、214、216和218中的每一个的四个视角图像之间的未对准而引入。
作为三维对象表面重构的一部分，可基于导出表面点集212、214、216和218的多个视角图像，估计三维对象的表面法线。举例来说，可对于表面点214c估计表面法线202，其为表面点集214的部分。表面法线202的估计可利用“最近邻接”方法，其中在估计表面法线205时，可能利用邻域205内的其它表面点212b、214b、214d和216b的集合。举例来说，点214c阈值距离(由环205表示)内的表面点可用于表面法线估计，而比点214的阈值距离远的表面点可能不用于估计在点214表面位置处的表面法线。举例来说，不在邻域205内的表面点，例如表面点212a、216a、216d、216e等等，可能不在估计表面法线202时被利用。因为邻域205涵盖来自表面点集212、214和216中的每一个的一些表面点，所以在估计表面法线202时使用近似实际表面201且从不同视角图像推导出的表面点。因为导出表面点集212、214和216的视角图像的集合可能未理想地对准，所以表面点集212、214、216和218还可包含相对未对准。表面点集之间的这一未对准可能不利地影响表面法线202的估计。
图5示出估计单个图像内的表面点的表面法线时，使用从单一图像推导出的表面点和对应深度图。图5与图4相似，不同在于，在图5中，由表面点314c产生的表面法线302是仅使用表面点314组内的表面点估计，其是从单一视角图像和/或对应深度图所推导出的。在估计表面法线302时不考虑其它表面点集312、316和318。集312、316和318中的每一个内的单独表面点在图5中未被示出，以说明它们在估计表面法线302时不被考虑。通过将表面法线302的估计限定到从单一视角图像和/或对应深度图推导出的表面点，表面法线302的估计不取决于多个视角图像106a到d的对准，这是因为其在上文相对于图4所论述的实例表面法线估计中。
图6A示出了利用使用从多个视角图像推导出的点云估计的表面法线的表面重构。图6A中的表面重构600示出了表面重构600中的不连续。举例来说，重构600中的前额604包含不连续606和608，其可能是由利用来自未充分对准的多个视角图像的表面点的表面法线估计中的误差所引起。
图6B示出了利用了使用从单一视角图像和/或对应深度图推导出的表面点估计的表面法线的表面重构。如所示出，表面重构650示出了平滑前额654，没有存在于表面重构600中的不连续，其如上文相对于图6A所论述，是基于根据从多个视角图像推导出的表面点估计的表面法线。
图7是用于三维表面重构的示范性装置700的框图。装置700包含电子硬件处理器705、电子硬件存储器710、稳定存储器715、成像传感器720、深度传感器722、显示器725和第二存储器730。在一些方面中，电子硬件存储器710和第二电子硬件存储器730可以是相同存储器。
存储器730可存储配置或导致处理器705来执行本文中论述的方法的一或多个功能的指令。在某些方面中，存储于存储器730中的指令可能被分组或逻辑上组织成模块。举例来说，存储器730可包含成像传感器控制模块735，其包含允许处理器705使用成像传感器720俘获图像的指令。表面点模块740可能存储配置处理器705识别由成像传感器720俘获的图像中的一或多个表面点的指令。表面点模块740还可以使用来自深度传感器722的信息识别表面点。如上文相对于图2到3所论述，表面点模块740中的指令还可以配置处理器705以确定通用三维空间内的所识别表面点中的每一个的位置。图像对准模块745中的指令可配置处理器705以对准由成像传感器720俘获的多个图像。举例来说，在一些方面中，公开的方法可能从多个视角俘获三维对象的多个图像。这些多个视角图像可能被对准以在多个视角图像中的至少两个中发现的表面点之间提供相关度。
表面法线估计模块750中的指令可能配置或导致处理器705估计由成像传感器720俘获的图像内的一或多个表面法线。在一些方面中，表面法线估计可基于由表面点模块740识别的表面点。在一些方面中，用于特定表面法线估计的表面点可能是仅基于来自单一图像的表面点。这可以减小所述估计对于由成像传感器720俘获的多个图像之间的未对准所引起的误差的敏感性。在一些方面中，表面法线估计模块750可能基于多个视角图像中识别的表面点，估计表面法线。举例来说，在一些方面中，如果多个视角图像之间的未对准低于阈值，那么来自多个视角图像的表面点可用于估计表面法线，而当未对准超过阈值时，可使用仅单一视角图像中的表面点识别，估计表面法线。
表面估计模块755中的指令可配置或导致处理器705估计由成像传感器720俘获的一或多个图像表示的三维对象的表面。举例来说，表面估计模块755中的指令可能基于由表面估计模块755估计的表面法线和表面点，来确定由表面点模块740识别的表面点之间的表面位置。
未对准确定模块760中的指令可能配置或导致处理器705确定成像传感器720俘获的多个图像之间的未对准水平。举例来说，未对准可能是基于被分析的图像中的每一个中的对应关键点之间位置的差值而确定。在一些方面中，未对准可能与对应关键点之间的平均、中位或最大距离成比例。
亮度确定模块765中的指令可能配置或导致处理器705确定由成像传感器720俘获的一或多个图像表示的三维对象的亮度水平。由模块765确定的亮度可用于确定表面法线估计模块755是否将基于来自单一图像或多个图像的表面点执行其估计。
操作系统775中的指令可能配置或导致处理器705执行装置700的基本功能，例如任务管理和输入/输出。
图8是用于三维表面重构的示范性方法的流程图。在一些方面中，方法800可以由上文相对于图7所论述的处理器705执行。举例来说，在一些方面中，相对于图7论述的模块中的一个或多个中的指令可能配置处理器705执行下文论述的一或多个功能。
在框805中，接收多个图像。图像可包含来自多个视角的对三维对象的表示。在一些方面中，所述多个图像可能是从成像传感器720接收。在一些方面中，所述多个图像可能是从存储器715接收。在一些方面中，所述多个图像可能是从计算机网络接收，例如网络连接存储或基于云的存储系统。在一些方面中，框805可能替代地包含替代或补充所述多个图像接收多个深度图。在一些方面中，可从在图7中示出的深度传感器722中推导出的信息，接收深度图。在框805的某些方面中，可接收所述多个图像和所述多个对应深度图。
在框810，从所述多个图像和/或深度图中的每一个识别或推导出对象表面上的表面点。举例来说，在一些方面中，表面点可能是从在框805接收的一或多个深度图中提供的深度信息推导出。
还在框810中确定每个表面点在三维空间内的位置。如上文相对于图2和3A所论述，可基于在框805接收的图像和深度图确定三维空间内的表面点位置，其可能例如借助使用构造光或LIDAR单元而产生。
块810的结果可包含例如与所述多个图像中的每一个相关的表面点。表面点可能定义三维空间中的位置(例如，X、Y以及Z值)。举例来说，如图2中所示出，块810可包含来自第一图像的表面点第一集合的确定，例如图4的表面点集212，和来自第二图像的表面点第二集合的确定，例如图4的表面点集214中的那些。
在框815，可能基于三维对象的其它表面点，估计三维对象上的表面点位置处的表面法线。在一些方面中，表面法线可能是通过取三维空间中的三维对象的表面上的至少三个表面点所形成的三角形的两个不平行边缘的向量叉积而估计。在一些方面中，可能从三维空间内的多个表面点识别多个三角形(即，三维对象表面上的至少三个表面点的多个集合)。在块815的某些方面中，识别的三角形(表面点集)中的每一个的两个边缘的向量叉积(即多个法线)可能被平均化以确定表面法线。
框815将第一图像和/或第一深度图中识别的表面点位置处的表面法线的确定限制到从第一图像和/或对应第一深度图推导出的其它表面点，且并不利用从其它图像和/或其它深度图(取自不同角度)识别的表面点。举例来说，返回参考图2，框815可能仅基于表面点216a和216c到e，来确定表面点216b的表面法线。在确定对应于集216内的表面点的位置处的表面法线时，框815将不利用来自表面点集212、214或218的表面点。
通过依赖于从单一图像和/或深度图推导出的表面点用于表面法线估计，框820避免可能因依赖于来自多个视角图像和/或深度图的不对准表面点而导致的表面法线估计误差。
在一些方面中，框815可能以上文所述的类似方式确定对应于第一图像内的多个表面点位置的三维对象多个位置处的多个表面法线。举例来说，框815的一些方面还包含在从第二图像推导出的表面点位置处产生第二表面法线。这些第二表面法线的估计可能限于使用从第二图像推导出的其它表面点位置，且可能不利用从例如上文所论述的第一图像推导出的表面点。
在框820，产生点云，其包含从所述多个图像和/或深度图中的每一个推导出的表面点。产生点云可能不需要任何特定操作，但可能仅是程序800的概念部分。此处论述的点云包含从多个视角图像和/或深度图推导出的表面点。举例来说，点云可包含从二、三、四、五、六、七、八、九、十或一百(100)个图像和/或深度图，或任何数目的图像和/或深度图共同地推导出的表面点。
在框825，基于在框820确定的表面法线估计和点云，产生三维对象表面的电子表示。举例来说，块825可能利用多边形建模、曲线建模或数字塑形中的一或多个，以产生三维对象的表面估计。
在一些方面中，可通过估计体积指示符函数V(x,y,z)重构表面，其在对象内部等于一(1)，在其它各处为零(0)。那么对象表面是这一指示符函数的水平表面，例如V＝0.5。指示符函数可通过能量最小化算法从点pi和法线ni估计。能量项使得指示符函数的导数在位置尽可能接近法线：其中是梯度算子。
一些表面重构方法使用全局或局部方法来近似表面。全局方法可能定义隐函数为径向基底函数的和，以表面上的点为中心。然而，理想径向基底函数全局支持且不衰变，因此所得解组矩阵可能是密集且病态的。局部拟合方法考虑附近点的子集。举例来说，它们可能估计切面且基于到最接近点切面的带正负号距离定义隐函数。带正负号距离也可以被累加到体积栅格中。可例如使用移动最小平方将若干附近点的影响混合在一起。不同方法是通过例如自适应八叉树来适应性地细分空间，以形成点邻域。
表面重构的其它方法是基于组合结构，例如α形状、狄洛尼三角剖分或沃罗诺伊图解。这些方法可能产生插入表面上存在的全部或大多数点的三角形网格。这些方法在有噪声数据存在的情况下受损，其产生可能为尖突状的表面。在后续处理中可平滑所述表面。
定义电子表示的数据可被存储到数据存储中，或用于在电子显示器上呈现电子表示的图像，例如图7的显示器725。
程序800的一些方面包含将表示表面估计的数据存储到稳定存储器、在电子显示器上呈现表面估计，或经由计算机网络将表示表面估计的数据发射到另一计算机，其进一步接收和处理数据。
图9是用于三维表面重构的示范性过程的流程图。在一些方面中，程序900可以由上文相对于图7所论述的装置700执行。举例来说，上文相对于图7所论述的模块中的一个或多个中的指令可能配置处理器705以执行下文论述的一或多个功能。在一些方面中，程序900可操作表面重构期间产生的一或多个表面法线。可随后基于一或多个表面法线执行表面重构。
在框905，接收表示三维对象的第一图像。在一些方面中，可从成像传感器720接收图像。在其它方面中，可从稳定存储器715接收图像。在一些其它方面中，可从计算机网络接收图像。在一些方面中，框905可能替代地包含接收表示第一图像的深度图。在框905的某些方面中，接收可视图像和深度图。
在框910，确定第一图像内的特定表面点的邻域内的表面点的数目。举例来说，如上文相对于图4和5所论述，在估计特定表面点位置处的表面法线时，可使用特定表面点阈值距离内的表面点。由于深度图的部分可能缺失或无效，因此一些表面点可能从围绕特定表面点的邻域中缺失。除非邻域内表面点数目足够，以合理的精度水平估计特定表面点位置的表面法线是不可能的。
判定框915将在框915确定的表面点数目与阈值比较。如果数字超过阈值，那么程序900移动到框930，其中基于从第一图像推导出的其它表面点，估计特定表面点位置处的表面法线。如上文所论述，在一些方面中，表面法线可能是通过取三维空间中的三维对象的表面上的至少三个表面点所形成的三角形的两个边缘的向量叉积而估计。在一些方面中，可能从三维空间内的多个表面点识别多个三角形(即，三维对象表面上的至少三个表面点的多个集合)。在某些方面中，产生于识别的三角形中的每一个(表面点集)的向量叉积可能被平均化以确定表面法线。在一些方面中，框915可能类似于上文相对于图8所论述的框815操作。框930可能不利用超出从在框905中接收的那些其它视角图像和/或深度图推导出的表面点(即，仅利用从用于推导特定表面点的相同图像和/或深度图推导出的表面点)。
如果邻域内的表面点数目低于阈值，那么框920接收三维对象的一或多个另外视角图像和/或对应深度图。另外一或多个视角图像和/或深度图中的每一个包含相同三维对象的表示，但是是从与第一图像不同的透视。举例来说，在某些方面中，另外视角图像可能以X、Y或Z轴的不同位置表示三维对象，其中对象中心放置在X、Y以及Z轴的交叉点。
在框925，基于从第一图像推导出的表面点和从在920框接收的其它视角图像和/或深度图推导出的其它表面点，估计特定表面点位置处的表面法线。通过利用来自多个图像的表面点(例如在框905和920的组合中接收的那些)，用于估计表面数目的表面点数目可能大于判定框915中所提及的阈值。
如上文所论述，在一些方面中，表面法线可能是通过取三维空间中的三维对象的表面上的至少三个表面点所形成的三角形的两个边缘的向量叉积而估计。在一些方面中，可能从三维空间内的多个表面点识别多个三角形(即，三维对象表面上的至少三个表面点的多个集合)。在某些方面中，产生于识别的三角形中的每一个(表面点集)的向量叉积可能被平均化以确定表面法线。在一些方面中，框925可能类似于上文相对于图8所论述的框815操作。
程序900还可包含估计基于框925或930中估计的表面法线的三维对象的表面。举例来说，如上文相对于图8所论述，程序900可包含框820和825。在一些方面中，在表面估计期间可以多次执行程序900。举例来说，可以对于表面重构中使用的每个表面法线执行程序900。在一些方面中，在完成三维对象表面的估计之后，程序900可能将所述表示写入到输出装置。举例来说，输出装置可以是稳定存储器，例如存储器715；显示器，例如显示器725；或在某些方面中是网络。举例来说，程序900可能通过网络将估计或表示发射到远程装置，例如远程数据存储或其它远程装置。
图10是用于三维表面重构的示范性过程的流程图。在一些方面中，程序1000可以由上文相对于图7所论述的装置700进行。举例来说，上文相对于图7所论述的模块中的一个或多个中的指令可能配置处理器705以执行下文论述的一或多个功能。
在框1005中，接收多个图像。在一些方面中，可从成像传感器720接收图像。在其它方面中，可从稳定存储器715接收图像。在一些其它方面中，可从计算机网络接收图像。所述多个图像中的每一个包含相同三维对象的表示。每个图像可能从不同视角表示对象。举例来说，在某些方面中，图像可能从X、Y或Z轴不同位置表示三维对象，其中对象中心放置在X、Y以及Z轴的交叉点。在一些方面中，可接收对应于所述多个图像的多个深度图。在某些方面中仅接收所述多个深度图。在一些方面中，框1005可能仅接收单一图像。
在框1010，基于所述多个图像的单一第一图像的表面点产生表面法线的第一估计。如上文所论述，在一些方面中，表面法线可能是通过取三维空间中的三维对象的表面上的至少三个表面点所形成的三角形的两个边缘的向量叉积而估计。在一些方面中，可能从三维空间内的多个表面点识别多个三角形(即，三维对象表面上的至少三个表面点的多个集合)。在某些方面中，产生于识别的三角形中的每一个(表面点集)的向量叉积可能被平均化以确定表面法线。在一些方面中，框1010可能类似于上文相对于图8所论述的框815操作。
块1010可包含推导在三维对象表面上的多个表面点。在一些方面中，所述多个表面点可包括2、3、4、5、10、20、50、100或1,000个表面点，或任何数目的表面点。块1010还可包含在所确定的表面点的两个或更多个位置处产生表面法线。
在框1020，在第一估计之间确定第一一致性测量。举例来说，在一些方面中，一致性测量可能确定第一估计所估计的表面法线平行到什么程度。在一些方面中，可基于法线内积计算两个表面法线的平行度。如果内积为零(0)，那么两个向量(法线)正交，而如果内积为最大值，那么两个向量(法线)可能更平行。
判定框1025判定第一一致性测量是否超过阈值。在这些方面中，更高的一致性测量结果代表更平行的表面法线，而更低一致性测量结果代表更不平行的表面法线。如果一致性超过阈值，那么程序1000移动到框1030，其中基于第一估计，估计三维表面。如果一致性低于阈值，那么程序1000移动到框1035，其基于从所述多个图像的多个图像推导出的表面点，产生表面法线的第二估计。如上文所论述第二估计可能经受由所述多个图像的第一、第二和/或其它图像之间的未对准而引入的变化，在一定程度上，来自这些图像的表面点被用于产生表面法线估计。然而，在一些成像环境中，可从所述多个图像得到的增加数目的表面点对于表面法线估计可具有正效果。举例来说，如果来自第一图像的表面点因三维对象的阴影而受限，那么并入来自其它图像和/或深度图的表面点可改良表面法线估计的精度。
框1030和框1040可能通过填充所述多个图像中的每一个中识别的表面点之间的表面，来产生三维表面的表示。填充过程可能部分地基于框1010(对于框1030)或框1035(对于框1040)产生的估计。
举例来说，表面可能表示为体积指示符函数的水平表面。与表面形状映射上的轮廓线相似，2D映射上的每个像素也可以指示那一点的海拔高度。如果借助轮廓线分组具有类似高度的点，那么产生海拔高度尺寸线。填充对象表面可被认为与这一过程相似，但可能利用其它的深度尺寸。图像中的每个体元可包含体元的深度值。如果具有类似深度值的体元被链接在一起，那么产生表面。至少在一些实施例中，随着在对象内部提供值一(1)和在其它各处提供值零(0)的指示符函数，常数＝0.5可能产生对象表面。
在产生表面表示之后，程序1000可将表示写入到输出装置，例如电子显示器(例如，显示器725)、存储器(例如，存储器715)，或网络。
如本文中所使用，术语“确定”涵盖广泛多种动作。举例来说，“确定”可包含推算、计算、处理、导出、研究、查找(例如，在表、数据库或另一数据结构中查找)、断定等等。并且，“确定”可包含接收(例如，接收信息)、接入(例如，接入存储器中的数据)等等。此外，“确定”可包含解析、选择、挑选、建立等。另外，如本文中所使用，在某些方面，“信道宽度”可涵盖或也可被称作带宽。
如本文中所使用，涉及项列表“中的至少一个”的词语是指那些项的任何组合，包含单个成员项。作为实例，“以下各者中的至少一者：a、b或c”意在涵盖：a、b、c、a-b、a-c、b-c及a-b-c。
上文所述的方法的各种操作可以通过任何合适能够执行操作的装置执行，例如各种硬件和/或软件组件、电路和/或模块。通常，图式中所说明的任何操作可以由能够执行所述操作的对应功能装置执行。
可使用通用处理器、数字信号处理器(digital signal processor；DSP)、专用集成电路(application specific integrated circuit；ASIC)、现场可编程门阵列信号(field programmable gate array signal；FPGA)或其它可编程逻辑装置(programmablelogic device；PLD)、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文所描述的功能的任何组合来实施或执行结合本发明而描述的各种说明性逻辑块、模块和电路。通用处理器可以是微处理器，但在替代例中，处理器可以是任何市售处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器的组合、一或多个微处理器与DSP核心结合，或任何其它此种配置。
在一或多个方面中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果以软件实施，那么可将功能作为一或多个指令或代码存储在计算机可读媒体上或经由计算机可读媒体传输。计算机可读媒体包含计算机存储媒体与通信媒体两者，通信媒体包含促进将计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机访问的任何可用媒体。借助于实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所需程序代码且可由计算机存取的任何其它媒体。此外，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(digital subscriber line；DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射软件，那么所述同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。如本文所使用的磁盘及光盘包含压缩光盘(compact disc；CD)、激光光盘、光学光盘、数字多功能光盘(digital versatile disc；DVD)、软磁盘及蓝光光盘，其中磁盘通常是以磁性方式再现数据，而光盘是用激光以光学方式再现数据。因此，在一些方面中，计算机可读媒体可包括非暂时性计算机可读媒体(例如，有形媒体)。此外，在一些方面，计算机可读媒体可包括暂时性计算机可读媒体(例如，信号)。以上各项的组合也应包含于计算机可读媒体的范围内。
本文公开的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非指定了步骤或动作的特定次序，否则在不脱离权利要求书的范围的情况下，可修改特定步骤和/或动作的次序和/或用途。
所描述的功能可以硬件、软件、固件或其任何组合实施。如果在软件中实施，那么可将所述功能作为一或多个指令存储在计算机可读媒体上。存储媒体可为可由计算机访问的任何可用媒体。借助于实例而非限制，此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携带或存储呈指令或数据结构的形式的所需程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。
因此，某些方面可包括用于执行本文中所呈现的操作的计算机程序产品。举例来说，此计算机程序产品可包括上面存储有(和/或编码有)指令的计算机可读媒体，所述指令可由一或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包含封装材料。
此外，应了解，用于执行本文中所描述的方法和技术的模块和/或其它合适装置可在适用时通过用户终端和/或基站下载和/或以其它方式获得。举例来说，可将此类装置耦合到服务器以促进传送用于执行本文中所描述的方法的装置。替代地，本文描述的各种方法可借助于存储装置提供(例如，RAM、ROM、例如压缩光盘(CD)或软性磁盘的物理存储媒体等)，以使得用户终端和/或基站可以在将存储装置耦合或提供到装置时获取各种方法。此外，可以利用用于将本文中所描述的方法和技术提供到装置的任何其它合适的技术。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可在上文所描述的方法和设备的布置、操作和细节方面作出各种修改、改变和变化。
虽然前述内容是针对本发明的各方面，但是在不偏离本发明的基本范围的情况下，可设计出本发明的其它和另外方面，且由所附权利要求书确定本发明的范围。

Claims (24)

1.一种以电子方式表示对象的三维表面的方法，其包括：
接收所述对象的多个图像，所述图像从多个视角表示所述对象；
从所述多个图像中的每一个推导三维空间中的所述对象的所述表面上的点；
基于从所述图像推导出的所述表面点，在所述多个图像中的每一个内的表面点处产生表面法线的估计；
产生包括从所述多个图像中的每一个推导出的表面点的点云；以及
基于所述表面法线估计和所述点云，产生所述对象的所述三维表面的表示。
2.根据权利要求1所述的方法，其进一步包括在电子显示器上呈现所述三维表面的所述表示，或将所述表示存储到稳定存储装置。
3.根据权利要求1所述的方法，其进一步包括：
确定从第一图像推导出的表面点的数目，所述表面点还在从所述第一图像推导出的特定表面点的邻域内；
基于从所述第一图像推导出的所述表面点，响应于所述邻域内的所述表面点数目超过阈值，产生所述特定表面点处的表面法线的估计；
基于从所述多个图像中的第二图像推导出的表面点，响应于所述邻域内的所述表面点数目低于所述阈值，产生所述特定表面点处的所述表面法线的所述估计；以及
基于所述估计产生所述表示。
4.根据权利要求1所述的方法，其进一步包括：
从所述多个图像中的第一图像确定第一表面点；
针对所述第一表面点的至少一部分确定表面法线的第一估计；
确定所述第一估计之间的一致性；
响应于所述一致性低于一致性阈值：
基于从所述多个图像中的第二图像推导出的第二表面点，产生所述表面法线的第二估计，及
基于所述第二估计产生所述表示。
5.根据权利要求4所述的方法，其中确定所述第一估计之间的所述一致性是基于所述第一估计中的所述表面法线中的至少两个的内积。
6.根据权利要求1所述的方法，其中所述多个图像包括多个对应深度图，所述深度图从所述多个视角指示距离所述对象的所述表面的距离。
7.根据权利要求6所述的方法，其中推导三维空间中的表面点是基于所述距离。
8.一种以电子方式表示对象的三维表面的设备，其包括：
电子硬件处理器；
电子硬件存储器，其存储在被执行时导致所述电子硬件处理器执行以下操作的指令：
接收所述对象的多个图像，所述图像从多个视角表示所述对象；
从所述多个图像中的每一个推导三维空间中的所述对象的所述表面上的点；
基于从所述图像推导出的所述表面点，在所述多个图像中的每一个内的表面点处产生表面法线的估计；
产生包括从所述多个图像中的每一个推导出的表面点的点云；以及
基于所述表面法线估计和所述点云，产生所述对象的所述三维表面的表示。
9.根据权利要求8所述的设备，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器在电子显示器上呈现所述三维表面的所述表示，或将所述表示存储到稳定存储装置。
10.根据权利要求8所述的设备，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器：
确定从第一图像推导出的表面点的数目，所述表面点还在从所述第一图像推导出的特定表面点的邻域内，
基于从所述第一图像推导出的所述表面点，响应于所述邻域内的所述表面点数目超过阈值，产生所述特定表面点处的表面法线的估计，
基于从所述多个图像中的第二图像推导出的表面点，响应于所述邻域内的所述表面点数目低于所述阈值，产生所述特定表面点处的所述表面法线的所述估计，以及基于所述估计产生所述表示。
11.根据权利要求8所述的设备，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器：
从所述多个图像中的第一图像确定第一表面点，
针对所述第一表面点的至少一部分确定表面法线的第一估计，
确定所述第一估计之间的一致性，
响应于所述一致性低于一致性阈值：
基于从所述多个图像中的第二图像推导出的第二表面点，产生所述表面法线的第二估计，及
基于所述第二估计产生所述表示。
12.根据权利要求11所述的设备，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器基于所述第一估计中的所述表面法线中的至少两个的内积确定所述第一估计之间的所述一致性。
13.根据权利要求8所述的设备，其中所述多个图像包括多个对应深度图，所述多个深度图指示从所述对象的所述表面到所述多个视角的距离，其中三维空间中的表面点的所述推导基于所述距离。
14.一种计算机可读存储媒体，其包括在被执行时导致电子硬件处理器执行以电子方式表示对象的三维表面的方法的指令，所述方法包括：
接收所述对象的多个图像，所述图像从多个视角表示所述对象；
从所述多个图像中的每一个推导三维空间中的所述对象的所述表面上的点；
基于从所述图像推导出的所述表面点，在所述多个图像中的每一个内的表面点处产生表面法线的估计；
产生包括从所述多个图像中的每一个推导出的表面点的点云；以及
基于所述表面法线估计和所述点云，产生所述对象的所述三维表面的表示。
15.根据权利要求14所述的计算机可读存储媒体，所述方法进一步包括：
确定从第一图像推导出的表面点的数目，所述表面点还在从所述第一图像推导出的特定表面点的邻域内；
基于从所述第一图像推导出的所述表面点，响应于所述邻域内的所述表面点数目超过阈值，产生所述特定表面点处的表面法线的估计；
基于从所述多个图像中的第二图像推导出的表面点，响应于所述邻域内的所述表面点数目低于所述阈值，产生所述特定表面点处的所述表面法线的所述估计；以及
基于所述估计产生所述表示。
16.根据权利要求15所述的计算机可读存储媒体，所述方法进一步包括：
从所述多个图像中的第一图像确定第一表面点；
针对所述第一表面点的至少一部分确定表面法线的第一估计；
确定所述第一估计之间的一致性；
响应于所述一致性低于一致性阈值：
基于从所述多个图像中的第二图像推导出的第二表面点，产生所述表面法线的第二估计，及
基于所述第二估计产生所述表示。
17.根据权利要求16所述的计算机可读存储媒体，其中确定所述第一估计之间的所述一致性是基于所述第一估计中的所述表面法线中的至少两个的内积。
18.根据权利要求15所述的计算机可读存储媒体，其中所述多个图像包括多个对应深度图，所述深度图从所述多个视角指示距所述对象的所述表面的距离，其中从所述多个图像中的每一个对三维空间中的所述对象的所述表面上的点的所述推导是基于所述指示的距离。
19.一种用于三维对象重构的系统，其包括：
深度传感器；
成像传感器；
电子显示器；
电子硬件处理器；
电子硬件存储器，其存储在被执行时导致所述电子硬件处理器执行以下操作的指令：
从所述成像传感器接收三维对象的多个图像，所述图像从多个视角表示所述三维对象；
从所述多个图像中的每一个，且基于来自所述深度传感器的输入，推导三维空间中的所述三维对象的所述表面上的点；
基于从所述图像推导出的所述表面点，在所述多个图像中的每一个内的表面点处产生表面法线的估计；
产生包括从所述多个图像中的每一个推导出的表面点的点云；
基于所述表面法线估计和所述点云，产生所述对象的所述三维表面的表示；以及
在所述电子显示器上显示所述表示。
20.根据权利要求19所述的系统，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器在所述电子显示器上呈现所述三维表面的所述表示，或将所述表示存储到稳定存储装置。
21.根据权利要求19所述的系统，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器：
确定从第一图像推导出的表面点的数目，所述表面点还在从所述第一图像推导出的特定表面点的邻域内；
基于从所述第一图像推导出的所述表面点，响应于所述邻域内的所述表面点数目超过阈值，产生所述特定表面点处的表面法线的估计；
基于从所述多个图像中的第二图像推导出的表面点，响应于所述邻域内的所述表面点数目低于所述阈值，产生所述特定表面点处的所述表面法线的所述估计；以及
基于所述估计产生所述表示。
22.根据权利要求19所述的系统，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器：
从所述多个图像中的第一图像确定第一表面点；
针对所述第一表面点的至少一部分确定表面法线的第一估计；
确定所述第一估计之间的一致性；
响应于所述一致性低于一致性阈值：
基于从所述多个图像中的第二图像推导出的第二表面点，产生所述表面法线的第二估计，及
基于所述第二估计产生所述表示。
23.根据权利要求22所述的系统，其中所述电子硬件存储器存储另外的指令，所述指令导致所述电子硬件处理器基于所述第一估计中的所述表面法线中的至少两个的内积确定所述第一估计之间的所述一致性。
24.根据权利要求19所述的系统，其中所述多个图像包括多个对应深度图，所述多个深度图指示从所述对象的所述表面到所述多个视角的距离，其中三维空间中的所述表面点的所述推导是基于所述距离。
CN201780042185.4A 2016-07-19 2017-05-22 用于改进的表面法线估计的系统和方法 Pending CN109478337A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/214,141 2016-07-19
US15/214,141 US10192345B2 (en) 2016-07-19 2016-07-19 Systems and methods for improved surface normal estimation
PCT/US2017/033828 WO2018017184A1 (en) 2016-07-19 2017-05-22 Systems and methods for improved surface normal estimation

Publications (1)

Publication Number Publication Date
CN109478337A true CN109478337A (zh) 2019-03-15

Family

ID=59091561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780042185.4A Pending CN109478337A (zh) 2016-07-19 2017-05-22 用于改进的表面法线估计的系统和方法

Country Status (4)

Country Link
US (1) US10192345B2 (zh)
EP (1) EP3488424A1 (zh)
CN (1) CN109478337A (zh)
WO (1) WO2018017184A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102357355B1 (ko) * 2017-10-23 2022-01-28 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치
US11270523B2 (en) 2017-11-29 2022-03-08 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US11403813B2 (en) 2019-11-26 2022-08-02 Sdc U.S. Smilepay Spv Systems and methods for constructing a three-dimensional model from two-dimensional images
US10109114B1 (en) 2017-11-29 2018-10-23 SmileDirectClub LLC Technologies for merging three-dimensional models of dental impressions
US10861250B2 (en) * 2017-11-29 2020-12-08 Sdc U.S. Smilepay Spv Technologies for merging three-dimensional models of dental impressions
US10853447B2 (en) * 2018-01-19 2020-12-01 8i Limited Bezier volume representation of point cloud attributes
US11074752B2 (en) 2018-02-23 2021-07-27 Sony Group Corporation Methods, devices and computer program products for gradient based depth reconstructions with robust statistics
CN111742352B (zh) * 2018-02-23 2023-11-10 索尼公司 对三维对象进行建模的方法和电子设备
CN109887024A (zh) * 2019-02-16 2019-06-14 西南科技大学 一种点云法线估算新方法
JP6984633B2 (ja) * 2019-04-26 2021-12-22 オムロン株式会社 対象物の位置姿勢を検出する装置、方法およびプログラム
US11030801B2 (en) 2019-05-17 2021-06-08 Standard Cyborg, Inc. Three-dimensional modeling toolkit
US11315274B2 (en) 2019-09-20 2022-04-26 Google Llc Depth determination for images captured with a moving camera and representing moving features
WO2022015802A1 (en) * 2020-07-14 2022-01-20 Vicarious Fpc, Inc. Method and system for generating training data
US11315269B2 (en) * 2020-08-24 2022-04-26 Toyota Research Institute, Inc. System and method for generating a point cloud that includes surface normal information
CN112258650B (zh) * 2020-09-21 2024-03-19 北京科技大学 一种膏体充填进度实时测量与可视化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130321393A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Smoothing and robust normal estimation for 3d point clouds
CN103843329A (zh) * 2011-09-29 2014-06-04 高通股份有限公司 用于立体图像对的有条件显示的方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283837A (en) 1991-08-27 1994-02-01 Picker International, Inc. Accurate estimation of surface normals in 3-D data sets
US7538764B2 (en) * 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US7023432B2 (en) * 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
EP2026279B1 (en) * 2007-08-13 2011-10-19 Aqsense, S.L. Method and system for aligning three-dimensional surfaces
JP4435867B2 (ja) 2008-06-02 2010-03-24 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP5343042B2 (ja) * 2010-06-25 2013-11-13 株式会社トプコン 点群データ処理装置および点群データ処理プログラム
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US8463024B1 (en) * 2012-05-25 2013-06-11 Google Inc. Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
CN102819864B (zh) 2012-08-14 2014-12-17 北京航空航天大学 基于光度图的几何与表面材质的重建方法
US9154773B2 (en) 2013-03-15 2015-10-06 Seiko Epson Corporation 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103843329A (zh) * 2011-09-29 2014-06-04 高通股份有限公司 用于立体图像对的有条件显示的方法和设备
US20130321393A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Smoothing and robust normal estimation for 3d point clouds

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATTHEW BERGER ET AL: "State of the Art in Surface Reconstruction from Point Clouds", 《EUROGRAPHICS STAR REPORT》 *

Also Published As

Publication number Publication date
WO2018017184A1 (en) 2018-01-25
US10192345B2 (en) 2019-01-29
US20180025496A1 (en) 2018-01-25
EP3488424A1 (en) 2019-05-29

Similar Documents

Publication Publication Date Title
CN109478337A (zh) 用于改进的表面法线估计的系统和方法
CN104272731B (zh) 用于处理3d信息的设备和方法
Ke et al. Quasiconvex optimization for robust geometric reconstruction
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
CN105143907B (zh) 定位系统和方法
Fooladgar et al. Geometrical analysis of localization error in stereo vision systems
Takimoto et al. 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor
CN104677330A (zh) 一种小型双目立体视觉测距系统
JP2019510311A (ja) 平面の鏡を用いたステレオ画像システムを較正するための方法およびコンピュータプログラム製品
CN110226186A (zh) 一种用于表示地图元素的方法和装置以及基于此定位车辆/机器人的方法和装置
CN107924461A (zh) 用于多因素图像特征配准和跟踪的方法、电路、设备、系统及相关计算机可执行代码
CN111047634B (zh) 场景深度的确定方法、装置、设备及存储介质
WO2020221443A1 (en) Scale-aware monocular localization and mapping
Brunie et al. Using force fields derived from 3D distance maps for inferring the attitude of a 3D rigid object
CN105335934B (zh) 视差图计算方法和装置
Yang et al. Vision system of mobile robot combining binocular and depth cameras
Bhowmick et al. Mobiscan3D: A low cost framework for real time dense 3D reconstruction on mobile devices
CN112258635B (zh) 基于改进双目匹配sad算法的三维重建方法及装置
Kawahara et al. Underwater 3d surface capture using multi-view projectors and cameras with flat housings
Zhang et al. Passive 3D reconstruction based on binocular vision
An et al. On the camera position dithering in visual 3D reconstruction
Kumar et al. To Study the Effect of Varying Camera Parameters in the Process of Matching and Reconstruction
Nguyen et al. Matching-based depth camera and mirrors for 3D reconstruction
Kaczmarek Influence of aggregating window size on disparity maps obtained from equal baseline multiple camera set (EBMCS)
Moura et al. VEM-SLAM-Virtual environment modelling through SLAM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190315

WD01 Invention patent application deemed withdrawn after publication