CN111275824A - 用于交互式增强现实的表面重建 - Google Patents

用于交互式增强现实的表面重建 Download PDF

Info

Publication number
CN111275824A
CN111275824A CN201911065759.7A CN201911065759A CN111275824A CN 111275824 A CN111275824 A CN 111275824A CN 201911065759 A CN201911065759 A CN 201911065759A CN 111275824 A CN111275824 A CN 111275824A
Authority
CN
China
Prior art keywords
depth
logic
interpolation
smoothing
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911065759.7A
Other languages
English (en)
Inventor
大卫·艾斯瑞尔·冈萨雷斯·阿吉雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN111275824A publication Critical patent/CN111275824A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及用于交互式增强现实的表面重建。一种半导体封装装置的实施例可包括技术来执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑表面的深度信息并且保留表面的边缘信息，基于有条件迭代流形插补来迭代地从表面去除孔洞，基于三角边缘收缩来减小与表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与表面的可见部分相对应的数据来构造3D模型的至少一部分。公开和要求保护了其他实施例。

Description

用于交互式增强现实的表面重建
技术领域
实施例概括而言涉及图形系统。更具体而言，实施例涉及用于交互式增强现实的表面重建。
背景技术
增强现实(augmented reality，AR)可以指表观真实世界环境的视图或显示，其中可通过计算机生成的感知信息来增强存在于真实世界视图中的物体。增强的信息可添加到真实世界视图或者掩蔽真实世界视图的一些方面。为获得更好的用户体验，增强的信息应当看起来与真实世界视图无缝地交织，以使得其被感知为真实环境的沉浸式方面。
发明内容
本申请一方面提供了一种电子处理系统。该电子处理系统包括：处理器；深度传感器，其通信地耦合到处理器；以及逻辑，其通信地耦合到处理器和深度传感器，逻辑用于：执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑表面的深度信息并且保留表面的边缘信息，基于有条件迭代流形插补来迭代地从表面去除孔洞，基于三角边缘收缩来减小与表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与表面的可见部分相对应的数据来构造3D模型的至少一部分。
本申请另一方面提供了一种半导体封装装置。该半导体封装装置包括：一个或多个衬底；以及耦合到一个或多个衬底的逻辑，其中逻辑被至少部分地实现在可配置逻辑和固定功能硬件逻辑的一者或多者中，耦合到一个或多个衬底的逻辑用于：执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑表面的深度信息并且保留表面的边缘信息，基于有条件迭代流形插补来迭代地从表面去除孔洞，基于三角边缘收缩来减小与表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与表面的可见部分相对应的数据来构造3D模型的至少一部分。
本申请另一方面提供了一种3D模型构造设备。该3D模型构造设备包括：用于执行深度传感器融合以确定表面的深度信息的装置；用于基于具有自调谐带宽估计的自适应平滑来平滑表面的深度信息并且保留表面的边缘信息的装置；用于基于有条件迭代流形插补来迭代地从表面去除孔洞的装置；用于基于三角边缘收缩来减小与表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个的装置；以及用于基于与表面的可见部分相对应的数据来构造3D模型的至少一部分的装置。
附图说明
通过阅读以下说明书和所附权利要求，并且通过参考以下附图，对本领域技术人员而言，实施例的各种优点将变得清楚，在附图中：
图1是根据实施例的电子处理系统的示例的框图；
图2是根据实施例的半导体封装装置的示例的框图；
图3A至图3C是根据实施例的构造真实物体的3D模型的方法的示例的流程图；
图4是根据实施例的电子处理系统的另一示例的透视图；
图5是根据实施例的表面重建的处理流的示例的流程图；
图6是根据实施例的深度对样本的示例的说明图线；
图7是根据实施例的概率密度对像素深度的示例的说明性图表；
图8是根据实施例的表面距离分布的示例的说明性图表；
图9是根据实施例的确定双边平滑的3D点的说明性式子；
图10A至图10C是根据实施例的被利用于双边内核构成的数据的示例的说明性透视图；
图11是根据实施例的确定插补点的说明性式子；
图12A至图12E是根据实施例的用于有条件迭代插补的处理流的示例的说明性图示；
图13是根据实施例的网格的示例的说明性图示；
图14是根据实施例的具有导航控制器的系统的示例的框图；并且
图15是根据实施例的具有小形状因子的系统的示例的框图。
具体实施方式
现在转到图1，电子处理系统10的实施例可包括处理器11、通信地耦合到处理器11的深度传感器12和通信地耦合到处理器11和深度传感器12的逻辑13，该逻辑13用于：执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑表面的深度信息并且保留表面的边缘信息，基于有条件迭代流形插补来迭代地从表面去除孔洞，基于三角边缘收缩(例如，或者用于其他图形基元的边缘收缩)来减小与表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与表面的可见部分相对应的数据来构造3D模型的至少一部分。在一些实施例中，逻辑13还可被配置为获取与表面相对应的深度信号，并且基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号(例如，作为深度传感器融合的一部分)。在一些实施例中，逻辑还可被配置为确定全局和局部平滑相关强度和作用域以基于多元统计内核卷积来适配图像度量和深度范围(例如，作为平滑的一部分)。在一些实施例中，有条件迭代流形插补是基于距离变换和启发式图遍历插补的。在一些实施例中，三角边缘收缩是基于感知不变复杂性降低的(例如，作为大小减小/优化的一部分)。例如，逻辑13也可被配置为基于从表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。在一些实施例中，逻辑13可位于包括处理器11在内的各种组件中或者与各种组件共位(例如在同一管芯(die)上)。
上述处理器11、深度传感器12、逻辑13和其他系统组件的每一者的实施例可以用硬件、软件、或者其任何适当组合来实现。例如，硬件实现方式可包括可配置逻辑，例如可编程逻辑阵列(programmable logic array，PLA)、现场可编程门阵列(field programmablegate array，FPGA)、复杂可编程逻辑器件(complex programmable logic device，CPLD)或者使用诸如专用集成电路(application specific integrated circuit，ASIC)、互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)或晶体管-晶体管逻辑(transistor-transistor logic，TTL)技术之类的电路技术的固定功能逻辑硬件，或者这些的任何组合。处理器11的实施例可包括通用处理器、专用处理器、中央处理器单元(central processor unit，CPU)、图形处理器、图形处理器单元(graphics processorunit，GPU)、控制器、微控制器，等等。
可替换地或者额外地，这些组件的全部或一些部分可作为存储在机器或计算机可读存储介质中的一组逻辑指令被实现在一个或多个模块中以被处理器或计算设备执行，所述机器或计算机可读存储介质例如是随机访问存储器(random access memory，RAM)、只读存储器(read only memory，ROM)、可编程ROM(programmable ROM，PROM)、固件、闪存等等。例如，可以以一种或多种操作系统(operating system，OS)适用/适当的编程语言的任何组合来编写用于执行组件的操作的计算机程序代码，所述编程语言包括面向对象的编程语言，比如PYTHON、PERL、JAVA、SMALLTALK、C++、C#等，还包括传统的过程式编程语言，比如“C”编程语言或类似的编程语言。例如，主存储器、持久性存储介质或其他系统存储器可存储一组指令，该组指令当被处理器11执行时使得系统10实现系统10的一个或多个组件、特征或方面(例如，逻辑13、执行深度传感器融合、平滑、插补、优化、创建3D模型，等等)。
现在转到图2，半导体封装装置20的实施例可包括一个或多个衬底21，和耦合到一个或多个衬底21的逻辑22，其中逻辑22至少部分地实现在可配置逻辑和固定功能硬件逻辑的一个或多个中。耦合到一个或多个衬底21的逻辑22可被配置为：执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑表面的深度信息并且保留表面的边缘信息，基于有条件迭代流形插补迭代地从表面去除孔洞，基于三角边缘收缩来减小与表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与表面的可见部分相对应的数据来构造3D模型的至少一部分。在一些实施例中，逻辑22还可被配置为获取与表面相对应的深度信号，并且基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号(例如，作为深度传感器融合的一部分)。在一些实施例中，逻辑还可被配置为确定全局和局部平滑相关强度和作用域以基于多元统计内核卷积来适配图像度量和深度范围(例如，作为平滑的一部分)。在一些实施例中，有条件迭代流形插补是基于距离变换和启发式图遍历插补的。在一些实施例中，三角边缘收缩是基于感知不变复杂性降低的(例如，作为大小降低/优化的一部分)。例如，逻辑22也可被配置为基于从表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。在一些实施例中，耦合一个或多个衬底21的逻辑22可包括定位在一个或多个衬底21内的晶体管沟道区域。
逻辑22的实施例以及装置20的其他组件可实现在硬件、软件、或者其任何组合中(其中至少包括硬件中的部分实现)。例如，硬件实现方式可包括可配置逻辑，例如PLA、FPGA、CPLD，或者利用诸如ASIC、CMOS或TTL技术之类的电路技术之类的固定功能逻辑硬件，或者这些的任何组合。此外，这些组件的一些部分可作为存储在机器或计算机可读存储介质中的一组逻辑指令被实现在一个或多个模块中以被处理器或计算设备执行，所述机器或计算机可读存储介质例如是RAM、ROM、PROM、固件、闪存，等等。例如，可以以一种或多种OS适用/适当的编程语言的任何组合来编写用于执行组件的操作的计算机程序代码，所述编程语言包括面向对象的编程语言，比如PYTHON、PERL、JAVA、SMALLTALK、C++、C#等，还包括传统的过程式编程语言，比如“C”编程语言或类似的编程语言。
装置20可实现方法25(图3A至图3C)或者本文论述的任何实施例的一个或多个方面。在一些实施例中，图示的装置20可包括一个或多个衬底21(例如，硅、蓝宝石、砷化镓)和耦合到(一个或多个)衬底21的逻辑22(例如，晶体管阵列和其他集成电路/IC组件)。逻辑22可至少部分在可配置逻辑或固定功能逻辑硬件中实现。在一个示例中，逻辑22可包括被定位(例如，嵌入)在(一个或多个)衬底21内的晶体管沟道区域。从而，逻辑22和(一个或多个)衬底21之间的接口可能不是突变结。逻辑22也可被认为包括生长在(一个或多个)衬底21的初始晶片上的外延层。
现在转到图3A至图3C，一种构造真实物体的3D模型的方法25的实施例可包括：在块26执行深度传感器融合以确定表面的深度信息，在块27基于具有自调谐带宽估计的自适应平滑来平滑表面的深度信息并且保留表面的边缘信息，在块28基于有条件迭代流形插补迭代地从表面去除孔洞，在块29基于三角边缘收缩减小与表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且在块30基于与表面的可见部分相对应的数据来构造3D模型的至少一部分。方法25的一些实施例还可包括在块31获取与表面相对应的深度信号，并且在块32基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号(例如，作为融合操作的一部分)。方法25的一些实施例还可包括在块33确定全局和局部平滑相关强度和作用域以基于多元统计内核卷积来适配图像度量和深度范围(例如，作为平滑操作的一部分)。在方法25的一些实施例中，在块34，有条件迭代流形插补可基于距离变换和启发式图遍历插补(例如，作为插补操作的一部分)。在方法25的一些实施例中，在块35，三角边缘收缩可基于感知不变复杂性降低(例如，作为优化操作的一部分)。例如，方法25还可包括在块36基于从表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘(例如，作为优化操作的一部分)。
方法25的实施例可实现在系统、装置、计算机、设备等等中，例如本文描述的那些。更具体而言，方法25的硬件实现方式可包括可配置逻辑，例如PLA、FPGA、CPLD，或者利用诸如ASIC、CMOS或TTL技术之类的电路技术实现在固定功能逻辑硬件中，或者这些的任何组合。可替换地或者额外地，方法25可作为存储在机器或计算机可读存储介质中的一组逻辑指令被实现在一个或多个模块中以被处理器或计算设备执行，所述机器或计算机可读存储介质例如是RAM、ROM、PROM、固件、闪存，等等。例如，可以以一种或多种OS适用/适当的编程语言的任何组合来编写用于执行组件的操作的计算机程序代码，所述编程语言包括面向对象的编程语言，比如PYTHON、PERL、JAVA、SMALLTALK、C++、C#等，还包括传统的过程式编程语言，比如“C”编程语言或类似的编程语言。
例如，方法25可实现在计算机可读介质上，如下文联系示例20至25所述的。方法25的实施例或一些部分可实现在固件、应用(例如，通过应用编程接口(applicationprogramming interface，API))或者在操作系统(operating system，OS)上运行的驱动器软件中。此外，逻辑指令可包括汇编器指令、指令集体系结构(instruction setarchitecture，ISA)指令、机器指令、机器相关指令、微代码、状态设置数据、用于集成电路的配置数据、个性化电子电路和/或原生于硬件的其他结构化组件(例如主机处理器、中央处理单元/CPU、微控制器等等)的状态信息。
一些实施例可有利地为交互式增强现实(AR)提供无孔洞且无褶皱的表面重建。AR与混合现实和计算机中介现实(computer-mediated reality)相关或者同义。最终以实体交互来充实的基于图像构成的交互式人机界面(human computer interface，HCI)(例如，用于AR的头戴式显示器等等)或基于投影的交互式HCI(例如，4D视频、沉浸式游戏、教育或娱乐虚拟现实(virtual reality，VR)等等)可要求或受益于平滑的、有高度代表性的无孔洞且无褶皱的表面模型，这可被称为有界离散流形(bounded discrete manifold)。
这种3D表面模型可提供图像内容和世界坐标之间的直接或间接几何变换。将适当的3D表面模型与HCI中心影像组合成原始图像的新的几何上修改的版本提供了准备好被集成(例如，构成或投影)在真实世界中以便无缝地混合到场景中的修改后图像。
这种任务驱动的“2D图像的失真”(有时称为空间翘曲)对于将构成或投影覆盖到物理介质上可以是有益或必要的。丰富翘曲的视觉内容可被合成为使得整体产物是生动的3D物体，其具有透过(并且高度取决于)经由在目标表面上并且因此在环境上的可靠的点到图像和点到空间关系而一致的相干空间内容的锐利外观。
现在转到图4，电子处理系统40的实施例可包括用于诸如HCI之类的用例的3D表面重建的示例技术。目标物体41可被利用作为示例3D画布。系统40可以为打算用于诸如可视化和交互之类的双重使用的图形用户界面(graphic user interface，GUI)提供一种自由形式有形监视器。这种表面3D网格的计算表示可需要满足有挑战性的标准，同时也是通过容易获得的现成廉价传感器42(例如，单个红-绿-蓝-深度(RGB-D)相机)生成的。示例处理流可包括(A)利用深度传感器42对目标物体41建模，该深度传感器42在(B)被放置在适当的距离(例如，对于具有单个相机的应用能够捕捉足够的空间)，该适当的距离可甚至略微(例如，大约14～18％)超过该设备的规格限制。在(C)，本文描述的技术的实施例可同时解决3D表面重建过程的一个或多个复杂问题(例如，在计算设备43上)。在(D)，一些实施例还可包括高效的序列化和可视化网格工具(例如，在便携计算机44上)。
给定：i)来自通过包括但不限于RGB-D相机(例如，INTEL的REALSENSE技术)的传感器捕捉的特定据点的一组n深度扫描(例如，对n的适当估计可以是自动的，如下文更详细地描述的)，以及ii)计划经由图像构成或投影用于3D活动的目标显示/交互物体(或场景子空间)，有挑战性的问题是自动获得没有诸如孔洞或褶皱之类的异常的3D表面网格模型，同时产生被保留边缘地平滑的表面，暴露存储在紧凑文件中的以高精度和显著代表性适当地描绘物体的顶点和多边形的规则分布。一些实施例可有利地解决前述问题中的一个或多个。
一些实施例可生成对于许多HCI或者其他类似的交互性用例超过要求的标准的3D表面模型。许多应用中的一个重要重建标准可包括一种合理的有界流形结构(例如，具有平滑转变的无褶皱且无孔洞的网格，保留物理物体的突变边缘)。与对应于目标物体41的CAD线框模型相比，一些实施例可生成一种由生成的3D表面模型表示的合理的有界流形结构，该生成的3D表面模型相对于CAD模型地面实况具有较低的测量偏差(例如，在实质部分上小于1mm，在一些区域中在1到3mm之间，并且在少数区域中大于3mm)。
一些其他系统可提供技术来从深度相机生成3D表面模型。然而，这些其他系统可遭遇一个或多个问题。例如，一些其他系统可能无法可靠地一次管理多于一个临界约束。例如，一些其他系统可应对信号噪声，但产生低锐度，即模糊表面边缘。一些其他系统可具有非常准确的边缘，但限制目标距离或者施加大小限制，从而严重地减小了可使用空间。一些其他系统可强烈地受限于设备的限制性感测范围片段，因为它们不提供技术来在3D点呈现高随机性行为的地方完全利用或扩展感测范围。一些其他系统的另一共同限制是它们的端到端过程花费较长的时段(例如，甚至数分钟)和/或在试验-调谐-调整循环中也可要求人工干预。
一些实施例可通过提供概率性融合和深度分辨率优化技术来克服各种重建问题。一些实施例可有利地管理超出指定的最大感测深度的传感器噪声，提供了有益的感测范围扩展。一些实施例可提供基本上完全自动化(例如，按压单一按钮、应用调用等等)并且无参数(例如，没有要独立于相机姿势或物体类型调整或改变的设置)的技术，赋予了鲁棒的应用和简单的部署，使得即使在具有真实世界的不利光照条件的情况下在复杂材料存在时也具有一贯强韧的行为。一些实施例可生成具有边缘锐度和准确度的高质量表面，这在覆盖图像或者在投影锐利线条在尖锐或轮缘表面上时可能是有益的。例如，一些实施例可避免产生褶皱并且因此避免了阻塞产生，同时也强调了有向的边界或轮缘区域以投影具有线条或边界属性的独特3D特征，以获得优秀的图形感知界面。一些实施例还可有利地迅速完成该过程(例如，以几秒的量级)。
现在转到图5，用于表面重建的处理流50的实施例可包括适当的硬件和软件来提供双域(例如，成像信号和几何结构)处理流水线，该管理可从概念上被划分成大约四个或更多个阶段。设备51提供的输入可被包括融合阶段52、平滑阶段53、插补阶段54和优化阶段55的流水线所处理。处理流水线的结果可包括生成的3D模型56。融合阶段52可包括深度感测融合技术，用于信号获取和获取的信号的时间概率优化，这可使得能够从扫描(例如，迅速捕捉的RGB-D图像)的有噪声收集中提取无噪声深度信号。平滑阶段53可包括技术来执行自适应带宽估计以用于边缘保留深度平滑(例如，确定全局和局部平滑强度和作用域，利用多元高斯内核卷积来适配图像度量和Z深度范围)。插补阶段54可包括技术来通过经由内核混合的投影生长流形插补来执行迭代孔洞去除(例如，利用部分流形结构的良好设计的插补可包括利用距离变换和启发式图形遍历插补)。优化阶段55可包括技术来执行表面网格优化，以获得感知不变复杂性降低。例如，可通过并入从每个顶点的融合稳定性得出的诱导信心成本因子来扩展用于网格缩减的边缘折叠技术。
处理流50的各方面的实施例可包括适合与多种深度传感器一起使用的软件开发套件(software developer kit，SDK)，所述多种深度传感器例如包括多种RGB-D相机、LIDAR传感器、RADAR传感器、超声传感器、相干电磁范围感测技术，等等。有利地，这种SDK可使能包括以下各项中的一项或多项的特征集合：额外/扩展的深度范围建模，甚至无可比较的相机、LIDAR、RADAR规范；具有自动目标检测的无孔洞且无褶皱的建模；具有对于闪光物体上的反光点以及严重粗糙或有纹理的材料具有弹性的紧凑表示的高效3D数字化；以及用于自动单次高效3D建模的无参数端到端系统。
一些实施例可有利地提供端到端无孔洞且无褶皱的表面重建。一些实施例可从物理上或逻辑上将重建过程分解成大约四个或更多个独立的阶段(例如，根据信号类型)，这些阶段可包括用于信号获取的概率融合(例如，对应于融合阶段52)，用于双边表面平滑的带宽的统计估计(例如，对应于平滑阶段53)，基于投影的深度上的距离变换的有条件迭代流形插补(例如，对应于插补阶段54)，以及利用具有顶点稳定性的边缘收缩和曲率成本函数来保留感知形状的表面优化(例如，对应于优化阶段55)。
一些实施例可利用以诸如INTEL REALSENSE相机之类的深度相机捕捉的数据。在感测阶段期间捕捉的图像的量可变化(例如，在60～300个图像之间)。图像的量可取决于(一个或多个)物体和相机之间的距离。物体之间的距离越远，就可要求越多的图像。可在估计平滑带宽的同时在闭环中控制图像捕捉的数目。例如，如果对数高斯拟合的稳定性不稳定(例如，如下文更详细地解释的)，则可捕捉60帧以上，直到收敛或者达到300的最大值为止。
深度信号的获取/融合可以是表面重建流水线的第一部分。由于原始信号的离群值，初始数据在深度上可具有非常有限的动态范围。在去除位于超出相机的最大深度规格(specs)的两倍那么多的离群值之后，场景的动态深度可被显著改善/可观察。经平滑的深度图像仍可包括可观察到的不合需要的深度伪影，即在表面的一些区域中的孔洞。一些实施例可将每个表面贴片分割为可被观察为限界框的场景中的点的连接分量。在通过表面重建流水线的实施例处理表面之后，可观察到不存在孔洞或褶皱，而边缘被保留并且深度显著更平滑。表面重建流水线的一些实施例可包括(1)概率时间融合(例如，利用内核密度估计(kernel density estimation，KDE)的每像素的噪声去除-概率分布函数(probabilistic distribution function，PDF)；显著扩展相机范围)；(2)自动目标识别(例如，从环境检测物体；对于真实世界中的部署是鲁棒的)；(3)孔洞和伪影处理(例如，对于稳定表面的边限扩展；精确的生长流形插补)；(4)边缘保留平滑(例如，可投影表面网格生成；具有法线的密集且相干的表面)。
融合阶段示例
用于信号获取的概率融合的示例可包括技术来从有噪声信号去到最优深度准流形(例如，作为来自图5的融合阶段52的一部分)。由感测设备(例如，RGB-D相机)提供的深度图像可被表述如下：
Figure BDA0002259285990000111
这是一个非平稳满射函数，它从来自如下表述的图像坐标集合Ω的两个集合
Ω：＝{(i,j)|0≤i<W,0≤j≤H} [式2]
(对于W像素宽和H像素高的图像)映射到由可利用m比特表示的距离值构成的离散量化深度集合γ。这个深度图像It通过其索引时间戳t∈Z+来临时注册(例如，参见图6)。
现在转到图6，深度对样本的图线的实施例图示了以60Fps捕捉的300帧的时间范围内的单个像素的深度噪声行为。显示了描述性统计以示出下面结合图7描述的平均和边界变化的各种重要方面。由于场景和深度捕捉设备的若干个(多层面的并且相关的)因素，深度图像被复杂的(非高斯)时变噪声永久污染。这意味着，从完全相同的场景条件内的相同据点捕捉的两个顺序图像将在其数字化的深度中暴露出偏差。然而，因为相机和场景在捕捉图像模型创建的同时被静态地放置，所以在相当短的时段中(例如几秒，或者取决于任务和设置大致为1到5秒)，可能将此获取用公式表示为推断感测过程，或者按元素随机优化问题。
在这些项中，任务是获得最优值
Figure BDA0002259285990000121
其表示在像素x处可测量的深度(例如，最近离散量化“真实”深度)。换言之，这个按元素函数建模是在考虑到t0和t1之间包含的时间采样范围的情况下对于每个像素位置x的最可能深度值的估计的结果(例如，参见图6)。在一些实施例中，这个任务可利用三个关键数学基础来解决。第一，创建深度值的直方图以产生PD-PDF(像素深度–概率分布函数)的离散近似，即：
H(x)：＝{(d,f)|d∈γ,f∈[0,|t1-t0|]} [式3]
这种直方图包含表述在通常以毫米为单位的每个离散深度d∈Z处的发生的数量(f∈Z代表计数频率)的统计堆(bin)。注意频率值被限制在0和采样时段|t1-t0|的长度之间某处，采样时段的长度可大约为60～300帧。
其次，找到具有最大关联频率(d′,fmax)的统计堆模式评估对最优深度的第一原始近似。然而，因为统计堆精度最高只到离散化因子H，所以这仍然需要被改善以反映真实世界表面。这个第一阶段的优点是这种过程对于任何类型和数量的离群值是不变的。该过程在执行时间上是极为高效的，这是由于同时插入样本和跟踪(一个或多个)统计堆模式。但如果直接实现的话，则这个计算上的优点有可能伴随着大存储器占用的缺点。一些实施例可利用H'的链接列表而不是完整规模直方图H来克服这个存储器大小问题。这帮助将存储器占用减小了2到3个数量级。这是在每个插入期间同时保持跟踪(一个或多个)最大频率统计堆来完成的，从而既实现了高性能也实现了最低存储器占用。一些实施例可在所谓的帧间时段(例如，从设备捕捉两个图像之间的时间，例如<<16毫秒)中运行完整过程，这使得其对于沿着流水线的下一阶段是不明显的或者在时间上透明的。
最终，通过利用经由KDE的局部连续PDF估计来估计连续最优深度，可以i)消除多个同等显着的统计堆模式之间的歧义，换言之去除表面中的褶皱，并且ii)显著地改善深度传感器的分辨率，成为理想的无噪声连续深度测量设备。这可被表述为：
βKDE(H(x),(d′,fmax))→dopt∈R+ [式4]
利用来自内核密度估计(βKDE)的梯度上升采样对密度优化实现的模块利用密度累积期间的伊番科尼可夫(Epanechnikov)内核上的西尔弗曼(Silverman)规则来自动确定其混合半径(也称为带宽或帕尔森窗口(Parzen-window)大小)。
现在转到图7，像素深度对概率密度的图线的实施例图示了使用直方图的统计堆模式检测和迭代KDE梯度上升的深度融合。基于密度的优化暴露了对离群值的鲁棒性，同时就分辨率而言改善了深度信号，即从不稳定的有噪声离散化深度到稳定、精确、连续的无噪声信号。从图7中可见，平均值和中值远远不是最佳融合策略。在不限于操作理论的情况下，这可由于拉拔和淹没效应而发生，这些值遭受离群值样本的不可避免的贡献。这是直方图和KDE梯度上升方法获得准确且鲁棒的深度估计的本质原因。
在流水线中的该点处，时间深度融合技术已经将n个深度图像(通常是以60FPS捕捉的n 60～300个图像)的集合集成到了单个无噪声、稳定且分辨率提高的深度图像中，这种图像不仅拒绝了离群值或者复杂的噪声模式，而且其是以无参数(对于程序或用户而言)并且无假设(关于噪声或场景结构的假设)的方式来实现这一点的。注意，用于PDF上的梯度上升的KDE将深度估计从离散值(通常以整数mm为单位)改善到真实值。这显著地帮助表示表面的精细转变，尤其是当具有倾斜的平面或者精细曲率表面时。最终，利用与专用数据结构相耦合的通用密度管理方法的明智组合，可以管理存储器和计算效率。
平滑阶段示例
一些实施例可有利地包括技术来为双边表面平滑提供带宽的统计估计(例如，作为来自图5的平滑阶段53的一部分)。在表面已被深度优化之后，由于表面材料或者相机的不均匀响应函数，其仍受到孔洞的影响。因此，在考虑到以下事项的情况下平滑表面是有益的：(1)表面上的孔洞不仅是缺失点的问题，它们也破坏围绕其边界周围的区域。从而，平滑表面边缘点(接近或直接围绕孔洞或者表面的边界)在加权聚合期间不应当同等地做贡献；(2)表面上的一个点到其邻居的距离在平滑期间应当被以非简单且很小心的方式被内核加权。这意味着，距离计算不应被认为是欧几里德点到点，而是应当被计算为表面上的(豪斯道夫(Hausdorff))最小距离。这个微小加权差异使得平滑结果在包含孔洞、边界或大斜坡的区域内显著不同；以及(3)用于平滑的空间带宽选择需要既是全局不变的又是最优的(参见图8)，而局部范围带宽应当适应每一贴片的局限性质。这是多边过滤的自然后果。有利地，一些实施例提供了技术来制订一种系统性方案来估计这两个带宽。
图8示出了使用豪斯道夫度量的表面距离分布的图线的实施例。注意三个不同的表面被拟合到对数正态分布。拟合这个参数分布的重要性依赖于如下事实，即其允许了直接从分布描述符也就是均值和标准偏差抽取带宽。这由用虚线标记的均值μ和μ+σ处的点表示。总之，第3分位数(μ+σ)处的距离值是通过拟合对数正态分布Δ来获得的。这自动且不变地确定了全局空间带宽，以用于在运行时对每个表面的平滑。
基于这些标准，描述空间带宽断言的正式表述如下。首先，由先前阶段产生的像素深度
Figure BDA0002259285990000141
暗示着空间点
Figure BDA0002259285990000142
由以下各项唯一确定：i)图像坐标
Figure BDA0002259285990000143
ii)其深度
Figure BDA0002259285990000144
以及iii)由先前(自动完成设备，并且经由API可访问或者是充分人造的)可访问校准获得的相机投影矩阵K∈R3,3，即：
Figure BDA0002259285990000145
表面上的距离由具有连接两个关联点x和y的最小长度的轨迹确定为
Figure BDA0002259285990000151
利用无向图上的
Figure BDA0002259285990000152
的距离变换来高效实现该繁重计算，其中源(0距离点处)是深度图像的边界和孔洞轮廓。下沉区域在表面的中轴处。通过限制拓扑图距离1≤g≤r∈Z+，Δ(距离对)上的豪斯道夫距离分布提供了对表面的结构的不变洞察。当就底层曲线分布也即对数高斯形状来观察它时这实际上是不变的(例如，参见图8)。距离μ+σ是经验确定的并且被选择为全局平滑带宽。
现在转到图9，可利用基于前述定义的式子的实施例来确定双边平滑3D点
Figure BDA0002259285990000153
集合Uμ+σ(x)由在最大距离μ+σ处x的邻域内的所有点构成。类似地，混合内核函数Kμ+σ是3D空间高斯加权，而T混合内核是仅限深度的
Figure BDA0002259285990000154
高斯加权函数。同时的范围和空间加权内核使能了边缘保留(例如，参见图10A至10C)。
图10A至10C示出了双边内核构成的实施例。图10A示出了示例输入信号。图10B示出了自适应双边内核(Kμ+σ*T)。图10C示出了根据一些实施例的边缘保留平滑输出。
插补阶段示例
一些实施例可有利地包括技术来提供有条件迭代流形插补(例如，作为来自图5的平滑阶段54的一部分)。在流水线的这个阶段，从无褶皱融合深度表面创建了表面。然后通过双边平滑去除了精细的偏差。现在，应当填充孔洞，估计它们的边缘区域之间的最适当转变。因此，一种迭代的类似缝合技术可按如下连接点：
Figure BDA0002259285990000155
(在此上下文中称为顶点)，通过使得孔洞变得被完全填满，其中相反的顶点以连续且一致的方式在新插补的网格中相会。为了让这种情况发生，在创建新的填充顶点点时以下方面需要被利用网格-图结构和(先前定义的)内核混合组合来正式建模：(1)连续插补是单独求解每像素的Z深度值。发生这种情况是因为在3D中点是由Λ(x,I′(x),K)来估计的。这意味着，估计
Figure BDA0002259285990000161
空间坐标的问题被化简到从x的连接邻域Ωi获得I′(x)。(2)因为不是(接近孔洞的网格顶点的)邻域中的所有元素都存在并且存在的那些分布在不同的表面距离(就豪斯道夫度量而言)，所以插补过程是从孔洞的边界移动到其中心的深度估计的迭代序列。另外，因为接近孔洞的点的质量和一致性是不可靠的，所以邻域集合Ωi具有最小图半径i≥3∈Z。
现在转到图11，可利用式子的实施例来确定插补点
Figure BDA0002259285990000162
利用支持Ωi内的先前定义的混合内核Kω来表述选择性插补。公式中的两个新元素是执行顺序
Figure BDA0002259285990000163
(优先级列表)和对表面上的那些元素(外部的和已经在内部的)的贡献的选择Q(y)→{0,1}。
图12A至12E示出了有条件迭代插补的处理流的实施例。图12A示出了对于距离变换用不同的填充模式来表示的表面上的孔洞。在此图示中，每个不同的填充模式表示拓扑步骤或者距孔洞的边缘的不同图距离。图12B示出了说明性地放大到孔洞边界中并且使得能够提取图12C中所示的第二级放大(例如，具有代表性像素)。图12C中的顶点顺序对应于图12D的透视修改版本。注意点P位于图12D的中心。这个点P是要利用如图12E中的链接所示的支持区域(邻域)插补的第一个顶点。这些链接被基于i)图距离和ii)流形上的豪斯道夫距离两者来加权。插补的顺序和后续顶点的链接被经由优先级列表高效地更新。所得到的插补序列类似于蜘蛛在织网时的运动。
优化阶段示例
一些实施例可有利地包括技术来提供表面优化(例如，作为图5的优化阶段55的一部分)。一旦产生了没有褶皱、孔洞或其他缺陷的网格，三角形的数量对于某些应用可能仍是不适当的或者是压倒性的。这激发了形状保留网格化简。在这个过程期间，想法是去除尽可能多的三角形而不显著或者明显更改隐式表面的形状。本领域技术人员将会明白，在此阶段中可应用任何适当的网格技术。有时被称为边缘化简或收缩技术的技术可能是最适当的。具体地，通过向驱动边缘收缩的排序成本函数添加边缘显着性(孔隙或折痕角)和顶点信心(这些值是从深度融合阶段远道而来的标准偏差值)可改善一些其他边缘化简技术(例如，参见图13)。有利地，扩展边缘化简技术的一些实施例可帮助确保边缘化简只发生在具有更低感测信心的区域中(例如，确保填充插补区域上的高度可靠行为)。
现在转到图13，网格132的实施例可包括顶点v1和v2。在优化阶段之后，新的网格134可只包括一个中心顶点v3。例如，优化阶段可包括用于网格优化的边缘收缩。对边缘的选择可基于涉及折痕角和顶点的稳定性的成本函数。
图14图示了系统700的实施例。在实施例中，系统700可以是媒体系统，但是系统700不限于此情境。例如，系统700可被包含到以下各项中：个人计算机(personalcomputer，PC)、膝上型计算机、超便携膝上型计算机、平板设备、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(personal digital assistant，PDA)、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备(例如，智能电话、智能平板或智能电视)、移动互联网设备(mobile internet device，MID)、消息传递设备、数据通信设备、等等。
在实施例中，系统700包括耦合到呈现视觉内容的显示器720的平台702。平台702可从内容设备接收视频比特流内容，其中内容设备例如是(一个或多个)内容服务设备730或(一个或多个)内容递送设备740或其他类似的内容源。包括一个或多个导航特征的导航控制器750可用于与例如平台702和/或显示器720交互。在下文更详细地描述这些组件的每一者。
在实施例中，平台702可包括芯片集705、处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电装置718(例如，网络控制器)的任何组合。芯片集705可提供处理器710、存储器712、存储装置714、图形子系统715、应用716和/或无线电装置718之间的相互通信。例如，芯片集705可包括能够提供与存储装置714的相互通信的存储适配器(未图示)。
处理器710可实现为复杂指令集计算机(Complex Instruction Set Computer，CISC)或精简指令集计算机(Reduced Instruction Set Computer，RISC)处理器、x86指令集兼容处理器、多核或者任何其他微处理器或中央处理单元(CPU)。在实施例中，处理器710可包括(一个或多个)双核处理器、(一个或多个)双核移动处理器，等等。
存储器712可实现为易失性存储器设备，例如但不限于随机访问存储器(RandomAccess Memory，RAM)、动态随机访问存储器(Dynamic Random Access Memory，DRAM)或静态RAM(Static RAM，SRAM)。
存储装置714可实现为非易失性存储设备，例如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接存储设备、闪存、电池后备SDRAM(同步DRAM)和/或网络可访问存储设备。在实施例中，例如当包括多个硬盘驱动器时，存储装置714可包括技术来为有价值的数字媒体增加存储性能增强保护。
图形子系统715可执行诸如静态或视频之类的图像的处理以便显示。图形子系统715例如可以是图形处理单元(graphics processing unit，GPU)或视觉处理单元(visualprocessing unit，VPU)。模拟或数字接口可用于通信地耦合图形子系统715和显示器720。例如，该接口可以是高清晰度多媒体接口(High-Definition Multimedia Interface，HDMI)、显示端口、无线HDMI和/或无线HD适用技术中的任何一者。图形子系统715可被集成到处理器710或芯片集705中。图形子系统715可以是通信地耦合到芯片集705的独立卡。在一个示例中，图形子系统715包括如本文所述的噪声降低子系统。
本文描述的图形和/或视频处理技术可在各种硬件体系结构中实现。例如，图形和/或视频功能可被集成在芯片集内。或者，可使用分立的图形和/或视频处理器。作为另一种实施例，图形和/或视频功能可由包括多核处理器在内的通用处理器实现。在另外的实施例中，这些功能可实现在消费者电子设备中。
无线电装置718可以是包括能够利用各种适当的无线通信技术来发送和接收信号的一个或多个无线电装置的网络控制器。这种技术可涉及跨一个或多个无线网络的通信。示范性无线网络包括(但不限于)无线局域网(wireless local area network，WLAN)、无线个人区域网(wireless personal area network，WPAN)、无线城域网(wirelessmetropolitan area network，WMAN)、蜂窝网络和卫星网络。在跨这种网络通信时，无线电装置718可根据任何版本的一个或多个适用的标准操作。
在实施例中，显示器720可包括任何电视型监视器或显示器。显示器720例如可包括计算机显示屏幕、触摸屏显示器、视频监视器、类似电视的设备和/或电视。显示器720可以是数字的和/或模拟的。在实施例中，显示器720可以是全息显示器。另外，显示器720可以是可接收视觉投影的透明表面。这种投影可传达各种形式的信息、图像和/或对象。例如，这种投影可以是移动增强现实(mobile augmented reality，MAR)应用的视觉覆盖。在一个或多个软件应用716的控制下，平台702可在显示器722上显示用户界面720。
在实施例中，(一个或多个)内容服务设备730可由任何国家的、国际的和/或独立的服务所容宿并从而例如是平台702经由互联网可访问的。(一个或多个)内容服务设备730可耦合到平台702和/或显示器720。平台702和/或(一个或多个)内容服务设备730可耦合到网络760以向和从网络760传输(例如，发送和/或接收)媒体信息。(一个或多个)内容递送设备740也可耦合到平台702和/或显示器720。
在实施例中，(一个或多个)内容服务设备730可包括有线电视盒、个人计算机、网络、电话、能够递送数字信息和/或内容的具备互联网能力的设备或电器、以及能够经由网络760或直接地在内容提供者与平台702和/或显示器720之间单向或双向地传输内容的任何其他类似设备。将会明白，可经由网络760单向地和/或双向地向和从系统700中的组件的任何一者和内容提供者传输内容。内容的示例可包括任何媒体信息，例如视频、音乐、医疗和游戏信息，等等。
(一个或多个)内容服务设备730接收内容，例如有线电视节目，包括媒体信息、数字信息和/或其他内容。内容提供者的示例可包括任何有线或卫星电视或无线电台或互联网内容提供者。提供的示例并不意欲限制实施例。
在实施例中，平台702可从具有一个或多个导航特征的导航控制器750接收控制信号。控制器750的导航特征例如可用于与用户界面722交互。在实施例中，导航控制器750可以是指点设备，该指点设备可以是允许用户将空间(例如，连续的和多维的)数据输入到计算机中的计算机硬件组件(具体而言是人机接口设备)。诸如图形用户界面(GUI)、电视机和监视器之类的许多系统允许用户利用物理手势控制计算机或电视机和向其提供数据。
控制器750的导航特征的移动可被在显示器上显示的指针、光标、聚焦环或其他视觉指示物的移动重复在显示器(例如，显示器720)上。例如，在软件应用716的控制下，位于导航控制器750上的导航特征例如可被映射到在用户界面722上显示的虚拟导航特征。在实施例中，控制器750可不是单独的组件，而是被集成到平台702和/或显示器720中。然而，实施例并不限于本文示出或描述的元素或情境。
在实施例中，例如，当被启用时，驱动器(未示出)可包括使得用户能够在初始启动之后通过触摸按钮像电视机那样即刻开启和关闭平台702。程序逻辑可允许平台702即使在平台被“关闭”时也可将内容流送到媒体适配器或者其他的(一个或多个)内容服务设备730或(一个或多个)内容递送设备740。此外，芯片集705可包括对例如5.1环绕立体声音频和/或高清晰度7.1环绕立体声音频的硬件和/或软件支持。驱动器可包括用于集成图形平台的图形驱动器。在实施例中，图形驱动器可包括高速外围组件互连(peripheral componentinterconnect，PCI)图形卡。
在各种实施例中，系统700中示出的组件中的任何一个或多个可被集成。例如，平台702和(一个或多个)内容服务设备730可被集成，或者平台702和(一个或多个)内容递送设备740可被集成，或者平台702、(一个或多个)内容服务设备730和(一个或多个)内容递送设备740可被集成。在各种实施例中，平台702和显示器720可以是集成的单元。例如，显示器720和(一个或多个)内容服务设备730可被集成，或者显示器720和(一个或多个)内容递送设备740可被集成。这些示例并不意欲限制实施例。
在各种实施例中，系统700可实现为无线系统、有线系统或者两者的组合。当实现为无线系统时，系统700可包括适合于通过无线共享介质通信的组件和接口，例如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑，等等。无线共享介质的示例可包括无线频谱的一些部分，例如RF频谱等等。当实现为有线系统时，系统700可包括适合于通过有线通信介质通信的组件和接口，例如输入/输出(I/O)适配器、将I/O适配器与相应的有线通信介质连接的物理连接器、网络接口卡(network interface card，NIC)、盘控制器、视频控制器、音频控制器，等等。有线通信介质的示例可包括导线、电缆、金属引线、印刷电路板(printed circuit board，PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤，等等。
平台702可建立一个或多个逻辑或物理信道来传输信息。该信息可包括媒体信息和控制信息。媒体信息可以指表示打算给用户使用的内容的任何数据。内容的示例例如可包括来自语音交谈的数据、视频会议、流视频、电子邮件(“email”)消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等。来自语音交谈的数据可例如是话音信息、静默时段、背景噪声、舒适噪声、音调，等等。控制信息可以指表示打算给自动化系统使用的命令、指令或控制字的任何数据。例如，控制信息可用于将媒体信息路由通过系统，或者指示节点以预定的方式处理媒体信息。然而，实施例并不限于图14中示出或描述的元素或情境。
如上所述，系统700可实现为不同的物理风格或形状因子。图15图示了系统700可在其中实现的小形状因子设备800的实施例。在实施例中，例如，设备800可实现为具有无线能力的移动计算设备。移动计算设备例如可以指具有处理系统和移动电源或供电电源(例如一个或多个电池)的任何设备。
如上所述，移动计算设备的示例可包括：个人计算机(PC)、膝上型计算机、超便携膝上型计算机、平板设备、触摸板、便携计算机、手持计算机、掌上计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如，智能电话、智能平板或智能移动电视)、移动互联网设备(MID)、消息传递设备、数据通信设备、等等。
移动计算设备的示例还可包括被布置为被人穿戴的计算机，例如手腕计算机、手指计算机、戒指计算机、眼镜计算机、皮带扣计算机、臂环计算机、鞋子计算机、衣服计算机和其他可穿戴计算机。在实施例中，例如，移动计算设备可实现为除了语音通信和/或数据通信以外还能够执行计算机应用的智能电话。虽然作为示例一些实施例可利用被实现为智能电话的移动计算设备来描述，但可明白其他实施例也可利用其他无线移动计算设备来实现。实施例不限于此情境中。
如图15中所示，设备800可包括外壳802、显示器804、输入/输出(I/O)设备806、和天线808。设备800还可包括导航特征812。显示器804可包括用于显示适用于移动计算设备的信息的任何适当的显示单元。I/O设备806可包括用于将信息输入到移动计算设备中的任何适当的I/O设备。I/O设备806的示例可包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、摇臂开关、麦克风、扬声器、语音识别设备和软件，等等。信息也可经由麦克风被输入到设备800中。这种信息可被语音识别设备数字化。实施例不限于此情境中。
有利地，系统700和/或设备800可实现本文描述的实施例的一个或多个方面。例如，系统700和/或设备800可实现以下示例的一个或多个方面。
附加注释和示例：
示例1包括一种电子处理系统，其包括处理器、通信地耦合到所述处理器的深度传感器、以及通信地耦合到所述处理器和所述深度传感器的逻辑，所述逻辑用于执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息，基于有条件迭代流形插补来迭代地从所述表面去除孔洞，基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分。
示例2包括如示例1所述的系统，其中所述逻辑还用于获取与所述表面相对应的深度信号，并且基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号。
示例3包括如示例1所述的系统，其中所述逻辑还用于确定全局和局部平滑相关强度和作用域，以基于多元统计内核卷积来适配图像度量和深度范围。
示例4包括如示例1所述的系统，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
示例5包括如示例1所述的系统，其中所述三角边缘收缩是基于感知不变复杂性降低的。
示例6包括如示例5所述的系统，其中所述逻辑还用于基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。
示例7包括一种半导体封装装置，包括一个或多个衬底，以及耦合到所述一个或多个衬底的逻辑，其中所述逻辑至少部分地实现在可配置逻辑和固定功能硬件逻辑的一个或多个中，耦合到所述一个或多个衬底的所述逻辑用于：执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息，基于有条件迭代流形插补来迭代地从所述表面去除孔洞，基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分。
示例8包括如示例7所述的装置，其中所述逻辑还获取与所述表面相对应的深度信号，并且基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号。
示例9包括如示例7所述的装置，其中所述逻辑还用于确定全局和局部平滑相关强度和作用域，以基于多元统计内核卷积来适配图像度量和深度范围。
示例10包括如示例7所述的装置，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
示例11包括如示例7所述的装置，其中所述三角边缘收缩是基于感知不变复杂性降低的。
示例12包括如示例11所述的装置，其中所述逻辑还用于基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。
示例13包括如示例7所述的装置，其中耦合到所述一个或多个衬底的所述逻辑包括放置在所述一个或多个衬底内的晶体管沟道区域。
示例14包括一种构造真实物体的3D模型的方法，包括执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息，基于有条件迭代流形插补来迭代地从所述表面去除孔洞，基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分。
示例15包括如示例14所述的方法，还包括获取与所述表面相对应的深度信号，并且基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号。
示例16包括如示例14所述的方法，还包括确定全局和局部平滑相关强度和作用域，以基于多元统计内核卷积来适配图像度量和深度范围。
示例17包括如示例14所述的方法，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
示例18包括如示例14所述的方法，其中所述三角边缘收缩是基于感知不变复杂性降低的。
示例19包括如示例18所述的方法，还包括基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。
示例20包括至少一个计算机可读存储介质，包括一组指令，所述指令当被计算设备执行时使得所述计算设备执行深度传感器融合以确定表面的深度信息，基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息，基于有条件迭代流形插补来迭代地从所述表面去除孔洞，基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分。
示例21包括如示例20所述的至少一个计算机可读存储介质，包括另一组指令，所述另一组指令当被所述计算设备执行时使得所述计算设备获取与所述表面相对应的深度信号，并且基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号。
示例22包括如示例20所述的至少一个计算机可读存储介质，包括另一组指令，所述另一组指令当被所述计算设备执行时使得所述计算设备确定全局和局部平滑相关强度和作用域以基于多元统计内核卷积来适配图像度量和深度范围。
示例23包括如示例20所述的至少一个计算机可读存储介质，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
示例24包括如示例20所述的至少一个计算机可读存储介质，其中所述三角边缘收缩是基于感知不变复杂性降低的。
示例25包括如示例24所述的至少一个计算机可读存储介质，包括另一组指令，所述另一组指令当被所述计算设备执行时使得所述计算设备基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。
示例26包括一种3D模型构造设备，包括用于执行深度传感器融合以确定表面的深度信息的装置，用于基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息的装置，用于基于有条件迭代流形插补来迭代地从所述表面去除孔洞的装置，用于基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个的装置，以及用于基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分的装置。
示例27包括如示例26所述的设备，还包括用于获取与所述表面相对应的深度信号的装置，以及用于基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号的装置。
示例28包括如示例26所述的设备，还包括用于确定全局和局部平滑相关强度和作用域以基于多元统计内核卷积来适配图像度量和深度范围的装置。
示例29包括如示例26所述的设备，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
示例30包括如示例26所述的设备，其中所述三角边缘收缩是基于感知不变复杂性降低的。
示例31包括如示例30所述的设备，还包括用于基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘的装置。
实施例适用于与所有类型的半导体集成电路(“IC”)芯片一起使用。这些IC芯片的示例包括但不限于处理器、控制器、芯片集组件、可编程逻辑阵列(programmable logicarray，PLA)、存储器芯片、网络芯片，片上系统(systems on chip，SoC)、SSD/NAND控制器ASIC，等等。此外，在一些附图中，用线条来表示信号导线。某些可能是不同的，以指示更多的构成信号路径，具有数字标注，以指示构成信号路径的数目，和/或在一端或多端具有箭头，以指示主要信息流方向。然而，这不应当以限制方式来解释。更确切地说，可结合一个或多个示范性实施例使用这种添加的细节来促进对电路的更容易的理解。任何表示的信号线，无论是否具有附加信息，都可实际上包括一个或多个信号，这一个或多个信号可在多个方向上行进并且可利用任何适当类型的信号方案来实现，例如利用差动对实现的数字或模拟线路、光纤线路和/或单端线路。
可能已经给出了示例大小/型号/值/范围，但是实施例不限于此。随着制造技术(例如，光刻术)随着时间而成熟，预期能够制造具有更小大小的器件。此外，为了图示和论述的简单起见，在附图内可以示出或不示出到IC芯片和其他组件的公知电源/接地连接以避免模糊实施例的某些方面。另外，可以以框图形式示出布置以避免模糊实施例，并且同时也考虑到了如下事实：关于这种框图布置的实现的具体细节是高度取决于在其内实现实施例的平台的，即，这种具体细节应当完全在本领域技术人员的视界内。在阐述具体细节(例如，电路)以便描述示例实施例的情况下，本领域技术人员应当清楚，在没有这些具体细节的情况下，或者利用这些具体细节的变体，也可实现实施例。从而说明书应当被认为是说明性的，而不是限制性的。
术语“耦合”在本文中可用于指所论述的组件之间的任何类型的关系，无论是直接的还是间接的，并且可适用于电的、机械的、流体的、光的、电磁的、机电的或其他连接。此外，除非另外指出，否则术语“第一”、“第二”等等在本文中可只用于促进论述，而不带有特定的时间或先后意义。
就在本申请中和权利要求中使用的而言，由术语“……中的一个或多个”连接的项目的列表可意指列出的术语的任何组合。例如，短语“A、B和C中的一个或多个”和短语“A、B或C中的一个或多个”两者都可意指A；B；C；A和B；A和C；B和C；或者A、B和C。
本领域技术人员从前述描述将会明白，可按多种形式实现实施例的广泛技术。因此，虽然已联系其特定示例描述了实施例，但实施例的真实范围不应当限于此，因为本领域技术人员在研习了附图、说明书和所附权利要求后将清楚其他修改。

Claims (25)

1.一种电子处理系统，包括：
处理器；
深度传感器，其通信地耦合到所述处理器；以及
逻辑，其通信地耦合到所述处理器和所述深度传感器，所述逻辑用于：
执行深度传感器融合以确定表面的深度信息，
基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息，
基于有条件迭代流形插补来迭代地从所述表面去除孔洞，
基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且
基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分。
2.如权利要求1所述的系统，其中所述逻辑还用于：
获取与所述表面相对应的深度信号；并且
基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号。
3.如权利要求1到2中任一项所述的系统，其中所述逻辑还用于：
确定全局和局部平滑相关强度和作用域，以基于多元统计内核卷积来适配图像度量和深度范围。
4.如权利要求1到2中任一项所述的系统，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
5.如权利要求1到2中任一项所述的系统，其中所述三角边缘收缩是基于感知不变复杂性降低的。
6.如权利要求5所述的系统，其中所述逻辑还用于：
基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。
7.一种半导体封装装置，包括：
一个或多个衬底；以及
耦合到所述一个或多个衬底的逻辑，其中所述逻辑被至少部分地实现在可配置逻辑和固定功能硬件逻辑的一者或多者中，耦合到所述一个或多个衬底的所述逻辑用于：
执行深度传感器融合以确定表面的深度信息，
基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息，
基于有条件迭代流形插补来迭代地从所述表面去除孔洞，
基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个，并且
基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分。
8.如权利要求7到8中任一项所述的装置，其中所述逻辑还用于：
获取与所述表面相对应的深度信号；并且
基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号。
9.如权利要求7到8中任一项所述的装置，其中所述逻辑还用于：
确定全局和局部平滑相关强度和作用域，以基于多元统计内核卷积来适配图像度量和深度范围。
10.如权利要求7到8中任一项所述的装置，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
11.如权利要求7到8中任一项所述的装置，其中所述三角边缘收缩是基于感知不变复杂性降低的。
12.如权利要求11所述的装置，其中所述逻辑还用于：
基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。
13.如权利要求7到8中任一项所述的装置，其中耦合到所述一个或多个衬底的所述逻辑包括放置在所述一个或多个衬底内的晶体管沟道区域。
14.一种构造真实物体的3D模型的方法，包括：
执行深度传感器融合以确定表面的深度信息；
基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息；
基于有条件迭代流形插补来迭代地从所述表面去除孔洞；
基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个；并且
基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分。
15.如权利要求14所述的方法，还包括：
获取与所述表面相对应的深度信号；并且
基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号。
16.如权利要求14到15中任一项所述的方法，还包括：
确定全局和局部平滑相关强度和作用域，以基于多元统计内核卷积来适配图像度量和深度范围。
17.如权利要求14到15中任一项所述的方法，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
18.如权利要求14到15中任一项所述的方法，其中所述三角边缘收缩是基于感知不变复杂性降低的。
19.如权利要求18所述的方法，还包括：
基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘。
20.一种3D模型构造设备，包括：
用于执行深度传感器融合以确定表面的深度信息的装置；
用于基于具有自调谐带宽估计的自适应平滑来平滑所述表面的深度信息并且保留所述表面的边缘信息的装置；
用于基于有条件迭代流形插补来迭代地从所述表面去除孔洞的装置；
用于基于三角边缘收缩来减小与所述表面相对应的数据的文件大小和存储器上的存储大小中的一个或多个的装置；以及
用于基于与所述表面的可见部分相对应的数据来构造3D模型的至少一部分的装置。
21.如权利要求20所述的设备，还包括：
用于获取与所述表面相对应的深度信号的装置；以及
用于基于对所获取的深度信号的时间概率分析来提取噪声降低的深度信号的装置。
22.如权利要求20到21中任一项所述的设备，还包括：
用于确定全局和局部平滑相关强度和作用域以基于多元统计内核卷积来适配图像度量和深度范围的装置。
23.如权利要求20到21中任一项所述的设备，其中所述有条件迭代流形插补是基于距离变换和启发式图遍历插补的。
24.如权利要求20到21中任一项所述的设备，其中所述三角边缘收缩是基于感知不变复杂性降低的。
25.如权利要求24所述的设备，还包括：
用于基于从所述表面中的每个顶点的融合稳定性得出的诱导信心成本因子来折叠边缘的装置。
CN201911065759.7A 2018-12-05 2019-11-04 用于交互式增强现实的表面重建 Pending CN111275824A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/210,818 2018-12-05
US16/210,818 US10657711B2 (en) 2018-12-05 2018-12-05 Surface reconstruction for interactive augmented reality

Publications (1)

Publication Number Publication Date
CN111275824A true CN111275824A (zh) 2020-06-12

Family

ID=66096505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911065759.7A Pending CN111275824A (zh) 2018-12-05 2019-11-04 用于交互式增强现实的表面重建

Country Status (3)

Country Link
US (1) US10657711B2 (zh)
CN (1) CN111275824A (zh)
DE (1) DE102019216979A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378998A (zh) * 2019-06-19 2019-10-25 广东工业大学 一种基于边缘移动的模型重建方法
CN113362470A (zh) * 2021-05-25 2021-09-07 天津大学 一种应用自适应密度估计子的点云泊松表面重建方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414938B (zh) * 2020-03-04 2023-06-20 中国计量大学 一种板式换热器内气泡的目标检测方法
US20220329737A1 (en) * 2021-04-13 2022-10-13 Okibo Ltd 3d polygon scanner
CN113838001B (zh) * 2021-08-24 2024-02-13 内蒙古电力科学研究院 基于核密度估计的超声波全聚焦图像缺陷处理方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378998A (zh) * 2019-06-19 2019-10-25 广东工业大学 一种基于边缘移动的模型重建方法
CN110378998B (zh) * 2019-06-19 2022-05-13 广东工业大学 一种基于边缘移动的模型重建方法
CN113362470A (zh) * 2021-05-25 2021-09-07 天津大学 一种应用自适应密度估计子的点云泊松表面重建方法

Also Published As

Publication number Publication date
DE102019216979A1 (de) 2020-06-10
US10657711B2 (en) 2020-05-19
US20190114833A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
US20220261960A1 (en) Super-resolution reconstruction method and related apparatus
US10360718B2 (en) Method and apparatus for constructing three dimensional model of object
CN111275824A (zh) 用于交互式增强现实的表面重建
US9852513B2 (en) Tracking regions of interest across video frames with corresponding depth maps
CN105374065B (zh) 用于在渲染图像中使用的可重新照明纹理
US10489956B2 (en) Robust attribute transfer for character animation
WO2020108610A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN109840881B (zh) 一种3d特效图像生成方法、装置及设备
CN108986016B (zh) 图像美化方法、装置及电子设备
CN113269862B (zh) 场景自适应的精细三维人脸重建方法、系统、电子设备
US9495755B2 (en) Apparatus, a method and a computer program for image processing
KR20170020210A (ko) 오브젝트의 3차원 모델을 구성하는 방법 및 장치
US11216998B2 (en) Jointly editing related objects in a digital image
US11748949B2 (en) Object scanning using planar segmentation
CN112967381B (zh) 三维重建方法、设备和介质
US11954828B2 (en) Portrait stylization framework using a two-path image stylization and blending
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
Manni et al. Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device
Ji et al. Geometry-aware single-image full-body human relighting
CN106537462B (zh) 利用深度或视差对来自图像的视图插补进行自适应网格重构
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN110378948B (zh) 3d模型重建方法、装置及电子设备
Wang et al. Superpixel-based color–depth restoration and dynamic environment modeling for Kinect-assisted image-based rendering systems
US9344733B2 (en) Feature-based cloud computing architecture for physics engine
US20230131418A1 (en) Two-dimensional (2d) feature database generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination