CN117897720A - 低信号像素的深度数据的去噪 - Google Patents

Abstract

提供了与从低信号像素的噪声相位数据中恢复深度数据相关的示例。一个示例提供了一种计算系统，该计算系统包括逻辑机器和存储机器，该存储机器保存由逻辑机器可执行以通过以下方式处理深度数据的指令：获取多个像素的深度图像数据(406)和激活亮度图像数据(408)，深度图像数据包括多个频率的相位数据；以及至少基于激活亮度图像数据来标识低信号像素(410)。该指令还可执行以将去噪滤波器应用于低信号像素的相位数据以获取经去噪相位数据，而不将去噪滤波器应用于其他像素的相位数据(412)。该指令还可执行以在应用去噪滤波器之后对多个频率的相位数据执行相位展开(418)以获取深度图像(420)；并且输出深度图像。

Description

低信号像素的深度数据的去噪

背景技术

深度感测系统(诸如飞行时间(ToF)相机)可以用于产生环境的深度图像，其中深度图像的每个像素表示到环境中的对应点的距离。在ToF成像中，到环境中的成像表面上的点的距离基于时间间隔的长度来确定，在该时间间隔中，由ToF相机发射的光传播到该点并且然后返回到ToF相机的传感器。对在深度传感器处收集的原始数据进行处理以产生深度图像。

发明内容

提供本“发明内容”是为了以简化的形式介绍以下在“具体实施方式”中进一步描述的概念的选择。本“发明内容”不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于能够解决本公开的任何部分中指出的任何或所有缺点的实现。

一个示例提供了一种计算系统，该计算系统包括逻辑机器和存储机器，该存储机器保存由逻辑机器可执行以通过以下方式处理深度数据的指令：获取多个像素的深度图像数据和激活亮度图像数据，深度图像数据包括多个频率的相位数据；以及至少基于激活亮度图像数据来标识低信号像素。该指令还可执行以通过以下方式处理深度数据：将去噪滤波器应用于低信号像素的相位数据以获取经去噪相位数据，而不将去噪滤波器应用于其他像素的相位数据。该指令还可执行以在应用去噪滤波器之后，对多个频率的相位数据执行相位展开以获取深度图像；并且输出深度图像。

附图说明

图1A-图1B示出了包括飞行时间(ToF)相机的示例电子设备。

图2示出了示例ToF相机系统的各方面。

图3示意性地示出了多个(K个)调制频率的示例ToF图像数据。

图4示出了用于处理深度数据的示例方法，该方法包括将去噪滤波器应用于低信号像素。

图5示出了用于处理深度图像数据的示例分布式深度引擎流水线。

图6示出了用于使用复域数据进行分割来处理深度数据的示例处理流水线。

图7示出了具有信号调节块的深度数据的示例处理流水线，该信号调节块使用激活亮度数据进行分割。

图8示出了具有信号调节块的深度数据的示例处理流水线，该信号调节块使用复域数据和激活亮度数据两者进行分割。

图9示意性地示出了另一示例分布式深度引擎流水线。

图10示出了用于通过将去噪滤波器应用于低信号像素来处理深度数据的示例方法的流程图。

图11示出了用于从接收的粗略深度图像数据和激活亮度图像数据来重构相位数据的示例方法的流程图。

图12示出了示例计算系统的框图。

图13示出了示例扩展内核邻域(kernel neighborhood)方法，其中多个内核对给定像素的结果有贡献。

图14示出了图13的扩展内核邻域方法的像素贡献计数的矩阵和加权因子的对应矩阵。

图15示出了示例迭代内核方法，其中经由应用内核来更新像素，然后将内核迭代地应用于已更新结果以进一步细化像素。

图16示出了示例协作内核方法，其中使用与给定像素相似的像素来细化像素的结果。

具体实施方式

如上所述，对于深度图像传感器的每个传感器像素，飞行时间(ToF)深度相机测量由深度相机发射的光返回到传感器像素的时间间隔的长度。由于反射率可以在场景中的对象之间变化，因此在一些情况下，一些像素可能会感测到低强度信号。此外，深度图像传感器像素可以对串扰误差敏感，其中在一个像素处捕获的光电子朝向相邻像素扩散并且在相邻像素处被收集。低反射率、串扰误差和/或其他噪声源可能导致低信噪比(也称为低信号)情况。

鉴于这样的噪声问题，在执行其他数据处理(诸如在基于相位的ToF成像中使用的相位展开)之前，通常由ToF深度相机对原始深度图像数据执行滤波。基于相位的ToF成像是ToF成像的一种变体，其中基于从对象反射回来的调幅光的相移来计算深度。在基于相位的ToF成像中，ToF相机上的光源用调幅光照射场景。从相机反射回来的光的相移与相机的距离的模(distance modulo)调制频率的波长成比例。然而，由于调制光的周期性，测量的总相位每2π重复(或包绕wrap)一次。由于无法经由基于相位的ToF像素直接测量包绕的数目，因此总相位以及因此与测量相关的实际距离是模糊的。为了解决这个问题，可以使用两个或更多个不同的调制频率来增加不模糊性的范围，从而允许对相位信息进行“展开(unwrap)”以准确确定距离。相位展开是一种用于通过用多个不同频率的调幅光照射场景来消除相位数据模糊的一种方式，这是因为距离模糊对于照射光的每个频率是不同的。由ToF相机获取的ToF图像数据(也称为深度图像数据)包括两个或更多个频率的相位数据。

由于所收集的相位信息中的噪声，准确的相位展开可能是困难的。这可能导致不正确的展开，并且从而在像素处的确定距离中导致相对较大的误差。因此，深度引擎流水线(用于处理深度图像数据的处理流水线)包括用于在执行相位展开之前首先校准信号并且对数据进行滤波的过程。例如，深度传感器可以执行多频率相位收集以获取多个调制频率的噪声数据。然后，经由信号校准校正和去噪来对噪声数据进行处理。去噪过程通常使用被去噪的像素周围的像素的N×N内核，并且因此与逐像素操作相比计算成本较高。在去噪之后，可以从复信号中计算总相位，然后是相位展开和串扰校正。此外，可以经由激活亮度平均来从去噪数据中获取强度图像。然后输出最终深度和强度图像，例如用于手势标识、AR应用或其他用户服务。

由于处理深度图像数据可以是计算密集型的，因此可以利用分布式架构将繁重的计算从低功率深度相机设备移动到具有更大功率的远程计算系统，在一些示例中，低功率深度相机设备可以位于电池供电的移动设备上。虽然分布式深度引擎可以将繁重的计算转移到远程系统，但由于每帧传输的数据量(例如，每个调制频率两个图像(激活亮度图像和相位图像))和相机的帧速率(例如，在一些示例中为45-90Hz)，在低带宽连接的情况下传输相位数据可能是具有挑战性的。

然而，深度图像可以包括低信号像素区域，在低信号像素区域中，信噪比非常低，以使得即使使用标准信号校准和滤波过程，正确展开的概率也相对较低。在这些情况下，执行相位展开可能无法提供有意义的信息。一个选项是带误差展开，这可能是对资源的低效使用，特别是在计算能力有限的无约束深度相机设备上。另一选项是忽略这种低信号像素区域。这种方法可以节省低功率深度相机设备上的资源。此外，在分布式深度引擎的情况下，可以选择性地传输高信号数据，而忽略低信号数据，这可以节省带宽。然而，在包括相对较大量的低信号像素的图像中，忽略低信号深度图像数据可能导致不令人满意的最终深度图像。

因此，公开了与从低信号像素的噪声相位数据中恢复深度数据相关的示例。在获取相位数据和激活亮度数据之后，基于激活亮度数据来标识低信号像素。然后，在相位展开之前，将去噪滤波器应用于低信号像素的相位数据。在一些示例中，去噪滤波器包括未加权平均值。在去噪之后，对相位数据执行相位展开。去噪滤波器可以被应用于低信号像素，而不被应用于其他像素。因此，所公开的示例可以提供从低信号像素的噪声相位数据高效地恢复有用的深度信息。在较少的误差和较少的被忽略像素的情况下，这些示例可以提供比没有公开的示例的情况下更好质量的深度图像。

如上所述，分布式架构可以用于处理深度数据。虽然在相位展开之前对低信号像素执行去噪可以有助于避免展开误差，但将相位数据传输到远程系统可能具有挑战性(即，高带宽)。替代地，在展开/传输之前用较大的内核对深度相机上的相位数据进行去噪可以是计算密集型的，而逐像素去噪(即，1×1内核)可能不足以避免展开误差。深度相机上的计算密集型去噪可以抵消分布式深度引擎流水线的效率优势。

因此，还公开了与从粗略深度数据重构相位数据并且对重构相位数据执行去噪相关的示例。在一个示例中，深度相机获取噪声相位数据和激活亮度数据。在去噪之前对噪声相位数据进行展开以获取粗略深度图像数据。将粗略深度图像数据与激活亮度数据一起传输到远程计算系统。在远程计算系统中，使用粗略深度图像数据和激活亮度数据来重构相位数据。然后，对重构相位数据应用去噪滤波器。在一些示例中，标识低信号像素，并且将去噪滤波器选择性地应用于低信号像素的相位数据。由于相位数据在传输之前被展开，因此压缩/传输的数据较少，从而允许较低带宽的连接。因此，在远程系统处重构相位数据可以使得远程系统能够在分布式深度处理流水线中执行去噪操作，这可以提供增加的速度和效率。

在详细讨论这些示例之前，图1A-图1B示出了可以采用基于相位的ToF深度ToF相机的各种不同示例电子设备100A-E。首先参考图1A，设备100A是包括ToF相机102A的智能手机。设备100B是包括ToF网络相机102B的个人计算机。设备100C是包括外围相机系统的视频游戏系统，该外围相机系统包括ToF相机102C。设备100D是包括相机系统的虚拟现实头戴式耳机，该相机系统包括ToF相机102D。每个设备可以与远程计算系统104通信，以实现根据所公开的示例的分布式深度流水线。结合远程计算系统104，电子设备100A-D可以利用分布式深度引擎流水线来处理深度图像数据。远程计算系统104可以包括任何合适的计算系统，诸如云计算系统、PC、笔记本计算机、电话、平板计算机等。

图1B示出了包括安全相机100E的示例使用环境110，该安全相机包括ToF相机。安全相机100E经由通信集线器(hub)116向远程计算系统120发送数据。远程计算系统120可以包括任何合适的计算系统，例如物联网(IoT)端点设备、云计算系统、企业系统、联网PC、或在云计算系统上实现的虚拟机。通信集线器116还连接到其他IoT设备，诸如恒温器114。结合通信集线器116和/或远程计算系统120，安全相机100E可以通过对分布式深度引擎流水线内的低信号像素进行去噪来处理深度图像数据。

图2示出了包括ToF相机202的示例性的基于相位的ToF深度成像系统200的示意图。ToF相机202包括传感器阵列204、控制器208和物镜系统210，该传感器阵列204包括多个ToF像素206，每个ToF像素206被配置为获取捕获相位数据的光样本。在一些示例中，物镜系统210可以省略。物镜系统210被配置为将对象222的至少一个表面220的图像聚焦到传感器阵列204上。控制器208被配置为收集和处理来自传感器阵列204的ToF像素206的数据，并且从而构造深度图像。控制器208可以包括用于执行去噪和/或相位展开的可执行指令(例如，软件、固件和/或硬件)，如下所述。控制器208可以跨一个或多个计算设备来实现。控制器208可以与远程计算系统212通信，以根据本文中公开的分布式深度图像处理流水线示例来执行深度图像处理。下面参考图12更详细地描述被配置为执行相位展开的计算设备的硬件实现的示例。

深度成像系统200还包括调制光发射器230和用于传感器阵列204的模拟和/或数字调制的电子快门232，该电子快门232用于控制传感器阵列204对光的积分。调制光发射器230和传感器阵列204可以经由控制器208来控制。调制光发射器230可以被配置为发射具有ToF像素206可检测的任何频率的电磁辐射。例如，调制光发射器230可以包括红外(IR)发光二极管(LED)、激光二极管(LD)或任何其他合适的光源。调幅光可以顺序地或同时地以不同的频率被调制，例如，调制波形可以包括多个频率。

传感器阵列204被配置为将来自调制光发射器230的光采样为从表面220反射并且返回到相机的光。传感器阵列204的每个ToF感测像素206可以包括一个或多个像素抽头，该像素抽头可操作以在不同的时间间隔对反射光信号进行积分，由此可以确定相移。对于每个调制频率，传感器阵列204被控制以在来自光源的调幅光的多个相位角处对光进行采样，并且从用于调制频率的多个光样本中确定每个调制频率的相位样本。然后可以展开相位样本以获取每个像素的深度值。

如上所述，由于调制光的周期性，测量的总相位每2π重复(或包绕)一次。例如，给定测量相位总相位为/>其中n(k)是整数。由于n(k)不能经由基于相位的ToF像素直接测量，因此总相位以及因此与测量相关的实际距离是模糊的。因此，在基于相位的ToF成像中，调制频率对可以测量的距离(称为模糊范围)施加限制。可以使用两个或更多个不同的调制频率来增加不模糊范围，并且然后对收集的相移数据进行展开以准确确定距离。

图3示意性地示出了多个(K个)调制频率的示例ToF图像数据300。数据300表示在多频率帧收集期间可以由深度成像系统200获取的数据。在所示示例中，深度数据包括K个调制频率中的每个的M×N个数据阵列，从而产生M×N网格302a-c的数据，其中每个网格中的每个像素304表示在K个调制频率中的对应照射光调制频率k处获取的测量。例如，对于调制频率k，由像素304在(m，n)处收集的实验信号由下式表示

其中是相位，{m∈1，2…，M}，{n∈1，2…，N}，并且{k∈1，2…，K}。变量之上的波浪号强调记号(tilde accent)指示该变量是通过实验获取和/或计算的，而没有波浪号强调记号则指示与无噪声情况相对应的变量。虽然图3所示的示例示出了三个网格302a-c，但是可以使用任何数目的频率K≥2。

复信号的相位可以计算为

其中是针对频率k而收集的信号的虚部，并且/>是所收集的信号的实部。测量的相位用于计算与像素相关联的深度值。然而，如上所述，在基于相位的ToF成像中，调制频率对可以测量的距离(称为模糊范围)施加限制。因此，可以使用一组(a set of)K≥2个调制频率K来增加不模糊性(unambiguity)的范围，从而允许对相位信息进行展开以准确确定距离。相位展开是一种用于通过用多个不同频率的调幅光照射场景来对相移数据消除模糊(ambiguity)并且标识正确距离值的一种方式，这是因为距离模糊对于照射光的每个频率是不同的。例如，在多频率方法中，调幅光可以包括包含多个频率/>的波形。频率的集合包括被选择为在不模糊范围中的不同位置处包绕的频率，该不模糊范围从距离零延伸到所有三个频率都在共同距离处包绕的点。

每频率的相位和激活亮度(AB)可以使用离散傅立叶变换(DFT)投影来估计。在一个示例中，利用相隔120度的锁相相位进行三次获取。这样的获取可以通过消除部分谐波来帮助提高信噪比。DFT投影可以使用下式来计算

其中k是频率，是获取相位，Sr是信号的实部，Si是信号的虚部，s(c，k)是每捕获c的由像素收集的信号。然后，使用下式来计算两个可观察量(相位和激活亮度)

其中φ是相位，AB是平均激活亮度。基于可观察量的不确定性传播，根据下式，复项Sr和Si的误差是线性的

其中Δs是每捕获信号中的误差。此外，根据下式，对于激活亮度，误差是线性的，并且对于相位，误差与激活信号成反比

其中AB是激活亮度，Δs是信号中的误差。在复域中误差是线性的。因此，可以利用更多的平滑(或更大的内核大小)来实现同等水平的精度。因此，对复信号进行作用可以是有利的。

因此，公开了用于执行复信号的平滑和/或去噪的示例。图4示出了用于处理深度图像数据的示例方法400，该方法包括对低信号像素的相位数据进行标识和去噪。方法400可以在从深度相机接收数据的计算系统上实现。在一些示例中，方法400可以在合并有深度相机的计算设备(例如，“单片”深度引擎流水线)上实现。

在402，该方法包括多频帧收集，其中针对多个幅度调制频率中的每个幅度调制频率来经由ToF图像传感器来收集多个相位样本(每个相位样本包括图像数据帧)。在404，执行信号校准校正以获取相位数据406和激活亮度数据408。

在410，基于激活亮度数据408来标识低信号像素。低信号像素可以使用任何合适的度量和/或分割操作来标识。例如，可以将像素的激活亮度数据与阈值强度水平进行比较。在一些示例中，基于计算的度量的阈值强度用于将数据分为两个或更多个区域(例如，高信号、低信号、边缘区域等)。激活亮度低于强度阈值的像素可以被视为低信号。在一些示例中，阈值强度是基于像素的激活亮度数据的分布来确定的。在一些示例中，阈值强度基于在像素处捕获的光子的能量通量。在一些示例中，两个或更多个阈值可以被用于应用不同大小的去噪内核，如下所述。此外，在一些示例中，激活亮度数据中的相对较大的噪声可以指示低信号数据(即，低信噪比)。因此，在一些示例中，低信号像素至少基于激活亮度数据的标准偏差或方差来标识。

分割操作可以帮助确定哪些图像区域包括相对较高的信噪比(即，高信号)、哪些区域包括相对较低的信噪比(即，低信号)、以及哪些区域是边缘区域。可以使用任何合适的图像度量，诸如方差、标准偏差、平均值、强度和/或深度的分散系数、或“余弦”度量。变化系数是内核在总体平均值上的标准偏差，并且是一个提供与总体平均值相关的变异性的无量纲量。当内核中的数据与平均信号相比高度可变时，在激活亮度的情况下，它可以指示边缘，或者在深度的情况下，它可以指示展开误差。色散系数(定义为平均值上的总体方差)是一个维度量，并且因此是非尺度不变的，它提供了数据中聚类的指示，即，在激活亮度的情况下，大于1的值可以检测边缘，而在深度的情况下，大于1的值可以检测展开误差。

在一些示例中，余弦度量被用于分割。度量的系数可以使用下式来计算

其中α∈[-1，1]其中α(m，n；i，j)是在针对频率k的像素(m，n)与像素(i，j)处的复信号/>之间的互相关。然后，平方余弦度量可以使用下式来表示

其中是在像素邻域(例如，参见图3的邻域306)上计算的像素(m，n)的余弦度量。

方法400还包括：在412，将去噪滤波器应用于低信号像素的相位数据。去噪滤波器可以包括未加权平均值，也称为均值滤波器或盒滤波器。在其他示例中，去噪滤波器可以包括任何合适的操作，诸如加权平均、线性平滑、各向异性扩散、非局部均值、非线性滤波器(例如，中值滤波器)或小波变换。

返回图3，在(m，n)处的像素304在可以在去噪滤波器中使用的像素的邻域306内。因此，被应用于像素304的去噪滤波器可以包括在周围环境i∈{-l，…，l}和j∈{-J，…，J}上扩展的内核。像素的未加权平均值可以使用下式来计算

其中是信号的实部，/>是信号的虚部，并且/>是包括经去噪相位数据的增强信号。这样，去噪滤波器可以分别被应用于每个频率的相位数据。

去噪滤波器可以包括任何合适的内核大小N×。在一些示例中，为3×3或更大的内核大小以适中的成本提供足够的性能改善。更大的内核大小可以提供进一步的性能改善。然而，在一些示例中，较大的内核大小可能提供减少的回报，因为像素周围的较大邻域可以包括来自不同区域(例如，边缘区域)的像素。因此，在一些示例中，在11×11至15×15之间的内核大小可以在性能与计算成本之间提供良好的平衡。尽管如此，在计算成本不太令人关注的其他示例中，可以使用更大的内核大小。在一些示例中，去噪滤波器被应用于低信号像素，而不被应用于其他像素。在其他示例中，去噪滤波器或其他滤波器也被应用于其他像素。

去噪滤波器的内核大小可以基于局部信噪比来确定。在一些示例中，较小的内核被用于局部信噪比相对较高的区域，而较大的去噪内核被用于局部信噪比相对较低的区域。例如，第一强度阈值可以被用于标识被应用有第一较小内核大小的低信号像素，并且第二强度阈值可以被用于标识被应用有第二较大内核大小的高信号像素。在其他示例中，可以使用不同数目的强度阈值和内核大小。

在一些示例中，去噪滤波器可以附加地或替代地包括时间滤波。在这样的示例中，去噪可以至少基于先前存储的相位数据来执行。时间去噪滤波器可以包括N×N×T内核，其中N是空间大小，T是帧数。利用相对较小的N个内核(例如，1×1×T)的时间去噪滤波器可以由于较少的空间模糊而提供更高的分辨率。

在一些示例中，使用其他滤波器(诸如高斯模糊)来处理边缘区域。高斯模糊根据下式生成径向分布和空间相关的系数：

其中/>

其中λ是负责平滑的参数。在一些示例中，可以通过使平滑系数取决于比率ρ来控制和稳定精度或“抖动”：

其中/>

其中ρ是噪声目标与内核内未滤波的深度变化/>之间的比率。这里，ζ表示标准偏差/>或方差(ζ＝1)。

以图4继续，在去噪之后，方法400包括在418执行相位展开以获取深度图像。如上所述，在去噪之后执行相位展开可以为低信号像素提供更少的展开误差。在相位展开之后，在420输出深度图像。在一些示例中，深度图像与激活亮度图像一起输出。例如，最终图像可以输出到远程计算系统上的软件应用、合并有ToF相机的设备、或云计算系统。

图5示意性地示出了用于处理深度图像数据以获取去噪深度图像的示例分布式流水线500。在该示例中，虚线502上方的过程在ToF相机内和/或在深度相机内执行，而虚线502下方的过程通过远离深度相机的处理来执行。在504，流水线包括生成粗略深度图像数据和激活亮度图像数据。粗略深度图像数据包括与展开的噪声相位数据相对应的每个像素的深度值。相位展开操作为每个像素提供相位数(即，每个调制频率的包绕数)，其然后用于计算每个像素的深度值。粗略深度图像可以比使用去噪数据产生的深度图像具有更多的展开误差，因为噪声可能导致相位测量出现在与与实际距离相对应的包绕不同的相位包绕中。此外，可以执行激活亮度平均操作以获取激活亮度图像。

继续图5，在506，向远程计算系统传输粗略深度图像和激活亮度图像。在一些示例中，可以压缩粗略深度图像和激活亮度图像以节省带宽。此外，在一些示例中，如上所述，可以基于度量来分割粗略深度图像。

在508，远程计算系统使用粗略深度图像数据和激活亮度图像数据来重构噪声相位数据。例如，可以通过下式从粗略M×N深度图像来重构M×N×k相位数据

其中是重构信号，/>和/>是信号的实部和虚部，/>是由设备传输的激活亮度，/>是相位。这里，波浪号强调记号指示噪声信号或噪声值。相位可以通过下式从粗略深度来确定：

其中是深度，f_k是总共K个频率中的一个频率。

在一些示例中，在重构中使用的频率与由相机在帧收集期间使用的频率不同。例如，一组虚拟频率可以被引入并且被用于使用上述等式来重构相位数据。此外，可以使用任何合适的多个(K个)频率。可以选择不同的频率和/或不同数目的频率，以通过使由频率确定的Voronoi小区的面积、体积或超体积最大化来产生更具噪声弹性的解决方案。

在一些示例中，在510，分布式流水线基于激活亮度图像数据来标识低信号像素。任何合适的度量和/或分割操作都可以用于标识低信号像素。在512，分布式流水线执行去噪，该去噪可以包括卷积运算，如所描绘的N×N内核所示。如上所述，可以应用包括未加权平均值的去噪滤波器。在一些示例中，去噪滤波器被应用于低信号像素的相位数据，而不被应用于其他像素。由于508可以产生虚拟频率的相位数据，所以去噪滤波器可以被应用于与虚拟频率相对应的复数数据。在512的去噪可以附加地或替代地包括时间滤波，如上所述。

分布式流水线还可以对重构相位数据执行信号校正。信号校正可以包括各种去噪过程，诸如抖动减少、平滑和/或边缘增强，其中的一些可能包括卷积运算。此外，在一些示例中，信号校正可以包括对图像的分割以便以不同方式处理不同的像素。在去噪之后，在514执行串扰校正，如所描绘的N′×N′内核所示，以在516生成最终去噪深度图像和最终粗略强度(激活亮度)图像。例如，最终图像可以被输出到远程计算系统上的软件应用、合并有ToF相机的设备、或云计算系统。

使用分布式流水线500，可以远程执行更密集的计算过程，而不是在深度成像系统上执行更密集的计算过程，这可以允许在对低信号数据进行去噪时使用更大的内核。例如，在512的远程去噪可以使用大的内核大小(N×N个高斯滤波器，N≥5)，从而提高分布式流水线的效率。在一些示例中，去噪内核的大小可以在5×5至19×19像素之间。更具体地，去噪滤波器的大小可以在11×11至15×15像素之间。与在ToF相机上执行去噪的其他流水线相比，去噪的远程处理可以允许采用相对较大的内核大小(例如，在15×15至19×19之间)。在相位展开之后远程使用这种较大的去噪内核可以允许恢复深度数据，该深度数据与在相位展开之前在深度相机上使用较小的去噪内核相比具有更高的精度。

在一些示例中，内核大小可以被调谐以提供期望的精准确度水平。如上所述，根据局部信噪比，可以使用相对较大或较小的内核大小，并且内核大小可以逐像素变化。此外，在一些示例中，替代地或附加地，远程系统可以执行时间滤波，该时间滤波可以包括T个存储的粗略深度图像帧上的计算密集型卷积(例如，使用N×N×T内核)，如上所述。在相位展开之后使用远程系统执行时间滤波可以提供优于在相位展开之前在深度相机上执行时间滤波的优点。例如，时间滤波涉及存储数目为T个的先前图像帧。因此，与使用粗略深度(和粗略强度)数据执行时间滤波相比，由于必须以每个调制频率存储相位样本，因此在相位展开之前执行时间滤波涉及为每个深度图像存储深度图像数据的更多数目的个体图像帧。此外，远程计算系统可以具有比深度相机更多的可用存储，从而允许远程计算系统存储更多数目的先前深度图像。

在上面的一些示例中，N×N去噪内核可以包括盒滤波器，该盒滤波器计算给定像素周围的N×N邻域上的未加权平均值。在其他示例中，可以采用更复杂的滤波方法(而不是简单的盒滤波器)来对低信号像素的相位数据进行去噪。例如，可以使用多个相对较小的内核来代替单个较大的内核。每个内核可以对两个或更多个不同像素的结果做出贡献，这可以降低去噪的总体计算负载。可以使用任何合适的方法。示例包括扩展内核邻域方法、迭代内核方法和/或协作内核方法，下面将更详细地描述每种方法。这样的方法可以在避免使用相对较大的内核的同时将信噪比提高到高于内核大小所期望的信噪比。此外，不同的滤波方法可以根据系统资源(例如，并行处理能力)来在性能与计算成本之间提供不同的折衷。

一个示例滤波方法涉及使用扩展内核邻域，其中包含给定像素(i，j)的内核对像素(i，j)的结果有贡献。图13示出了像素1302周围的扩展内核邻域1300，其也可以称为“被测像素”。如图13所示，盒1304表示被应用于像素1302周围的邻域上的3×3内核。在所示示例中，内核大小为3×3，并且包括九个像素，即像素1306a-h和像素1302。在扩展内核邻域方法中，包括给定像素(例如，像素1302)的每个内核都被包括在该像素的信号平均中。在所示示例中，九个不同的3×3个内核包括与以邻域1304中的9个像素中的每个为中心的内核相对应的像素1302。这九个内核由盒1308a-h(对应于像素1306a-h周围的邻域)和盒1304表示。当计算九个内核中的每个内核时，结果对像素1302的结果有贡献。像素1302被包含在九个内核中，并且对结果贡献九次。如图14中的矩阵1400所示，像素1302周围的5×5扩展内核邻域1300内的其他像素根据包含该像素的内核的数目贡献1、2、3、4或6次。以这种方式，5×5高斯模糊可以用3×3个内核和相对较少的迭代来实现。任何合适的内核大小都可以在扩展内核邻域中使用。通常，使用扩展内核邻域方法中的N×N个内核有效地等效于应用大小为(2N-1)×(2N-1)的高斯模糊滤波器。因此，扩展内核邻域方法通常可以帮助减小模糊内核大小以提高信噪比。这可以有助于克服与较大内核相关的问题，同时保留由于模糊引起的细节。

在实践中，由于每个像素应用一次较小内核，因此可以在不产生显著附加成本的情况下使用扩展内核邻域方法。此外，与所使用的内核大小所期望的信噪比相比，扩展内核邻域的信噪比可以得到增强。例如，由于3×3内核包含9个像素，标准最大信噪比增强预期为3倍。但是，通过在扩展内核邻域方法中使用3×3内核，在一个实验中，信噪比增强被测量为4.25倍。类似地，5×5内核的标准最大信噪比增强为5倍，而在扩展内核邻域方法下，信噪比增强被测量为7.35倍。因此，可以在没有与较大内核相关联的计算成本的情况下实现增加的信噪比。

在(2N-1)×(2N-1)扩展内核邻域上应用高斯模糊内核可能不能实现与在扩展内核邻域上应用的盒滤波器相同的性能。一种可能的解决方案是用矩阵运算来增强扩展内核邻域方法，该矩阵运算将加权因子应用于像素。在被测像素的结果中代表性不足的像素可以被给予相对较大的权重，而在被测像素的结果中代表性过高的像素被给予相对较小的权重。例如，图14示出了扩展内核邻域1300中的像素的5×5矩阵1400的相对贡献。被测像素(即，中心像素1302)被包含在九个内核中并且贡献九倍，而其他像素贡献更少。这样，可以构造加权因子矩阵1404，其中相对贡献被反转和归一化以产生矩阵中的值。因此，与相同的方法相比，扩展内核邻域方法的性能可以经由添加额外加权操作而得到改善，但不使用附加加权运算。在一些示例中，诸如当为了保留细节而优选高斯模糊滤波器时，可以省略附加加权操作。

另一示例滤波方法包括迭代内核方法。在第一迭代中，内核(例如，盒滤波器)在每个像素处被应用，并且更新像素的结果。然后，每次后续迭代都将内核应用于已更新结果，以进一步细化每个像素。图15示出了示例迭代内核方法，其中在第一迭代1500中，在被测像素1504周围的邻域1502上应用3×3盒滤波器。在第一迭代期间，盒滤波器也被应用于其他像素，例如，像素1508周围的邻域1506。作为第一迭代1500的结果，邻域1502中的九个像素的结果被更新，如第二迭代1510中的散列盒所示。当更新其他像素时，为了清楚起见，省略了散列。在第二迭代1510，盒滤波器被应用于已更新结果，并且像素1504的结果被进一步细化。

迭代内核过程可以提供大于但小于/>的信噪比增强，其中k是迭代次数，m×n是内核的大小。可以使用任何合适的内核大小。在3×3盒滤波器的情况下，标准最大信噪比预期将提高3倍。两次迭代之后测量的增强为4.25，三次迭代之后测量的增强为5.18。类似地，对于5×5盒滤波器，标准最大信噪比预期将增强5倍，而两次迭代后测量的增强为7.35，三次迭代之后测量的增强为8.9。注意，在盒滤波器的情况下，在两次迭代之后停止可以产生的结果在数学上等效于上述扩展内核邻域。

在一些示例中，执行固定数目的迭代(例如，三次迭代)。在其他示例中，可以迭代地提高信噪比以达到期望的信噪比。当执行附加迭代加法计算时，迭代内核过程可以并行执行。

另一示例滤波方法包括协作内核，该协作内核涉及使用相似的像素对给定像素(也称为被测像素)进行去噪。一个示例协作内核方法如下。首先，经由局部邻域方法(例如，应用盒滤波器)增强被测像素的信号。在第二步中，使用与被测像素相似的像素来产生被测像素的去噪版本。例如，如图16所示，协作内核可以包括在被测像素1602的邻域1600上应用盒滤波器。盒滤波器也被应用以更新其他像素的结果。协作像素1604——被确定为与像素1602相似——然后被用于进一步细化像素1602的结果。任何合适的相似性函数都可以用于确定像素1602与协作像素1604之间的像素相似性。例如，相位和激活亮度与被测像素接近的像素可以被视为协作像素。在一些示例中，可以使用复信号来计算互相关以产生相似性得分。

在自然场景中可以存在相对较大量的相似像素候选，这可以允许显著的信噪比增强。虽然对可实现的信噪比增强可以没有理论限制，但协作内核方法可以比上述其他示例方法更复杂。协作内核方法的性能可以取决于诸如干净信号、稳健相似性函数和有效搜索等因素。类似的像素可以在空间上分离。因此，协作内核方法可以包括在整个场景中搜索相似像素。在一些示例中，搜索可以仅限于场景中的像素子集(例如，分割区域、图像象限、先前帧的相似像素列表等)。相似性搜索可以在每个帧处执行，也可以相对不频繁地执行。

任何上述滤波方法都可以用于对低光(low-light)像素进行去噪，同时避免大内核的问题。例如，相对较大的内核(例如，9×9)在边缘区域附近可能不能很好地执行。然而，利用相对较小的内核(例如，5×5)可以避免边缘区域问题，同时在其他区域中提供类似的性能。因此，这些方法可以用作相对较大的内核(例如，9×9、11×11、13×13等)的替代方案。

图6-图8示出了用于对粗略深度和强度图像数据进行去噪的示例流水线。对从深度成像系统传输到远离深度成像系统的计算系统(无论是传输到本地计算设备还是云设备)的粗略深度和激活亮度图像执行图6-图8中概述的过程。粗略深度图像包括深度域和复域内的数据。图6示出了对深度域数据进行处理的示例。图7示出了对复域数据进行处理的示例。图8示出了对深度域和复域数据两者发生处理的示例。

图6示出了用于对从深度相机接收的粗略深度图像和粗略强度图像执行深度域处理的第一示例去噪流水线600。在602，接收粗略深度图像和激活亮度图像。然后，在604，计算深度和激活亮度度量，如上面更详细描述的。一旦计算出度量，则在606，对深度图像进行分类(通过度量进行分割)。所计算的度量用于产生卷积系数和/或加权值。图像区域可以具有相对较高的信噪比、相对较低的信噪比或中等信噪比。

在610，对高信号数据执行抖动减少操作。在612，对边缘区域执行边缘增强操作。在614，对低信号数据执行去噪操作。如上所述，与抖动减少和边缘增强操作相比，去噪可以包括相对较大的卷积内核。因此，分段可以帮助为低信号数据分配大量计算资源。在图6所示的示例中，可以使用具有取决于标准偏差的局部深度的平滑参数的高斯滤波器组来对由度量确定的高信号区域进行加权。使用平滑参数对边缘区域进行加权，这可以对保留边缘信息有很小的帮助。在中低SNR状态下(其中展开误差以更高的速率发生)，将展开次数的最大频率选择为用于产生最大深度的频率。继续图6，去噪流水线600包括在620的串扰校正。然后，在622输出最终深度图像和激活亮度图像。

图7示出了用于对从深度相机接收的粗略深度图像和激活亮度图像执行复域处理的另一示例去噪流水线700。在702，接收粗略深度图像和激活亮度图像。在704，计算深度度量和激活亮度度量。接下来，在706，使用激活亮度和粗略深度来生成复杂图像。如上所述，可以使用用于收集数据的频率集合或者使用虚拟频率来重构复杂数据。例如，可以选择一组虚拟频率以通过优化由频率确定的Voronoi小区的面积、体积或超体积来产生更具噪声弹性的解决方案。在708，对粗略深度图像进行分类，以计算将产生加权平均的卷积系数的参数。

根据度量的值，使用高斯滤波器组对像素区域进行不同的加权，该高斯滤波器组具有取决于局部深度的标准偏差或方差的平滑参数。在710，在复域中对高信号数据执行抖动减少操作。在712，对边缘区域执行边缘增强操作。在714，在复域中对低信号数据执行去噪操作。在低信号的情况下，可以使用较大的内核来使正确展开的概率最大化。在720，执行串扰校正以确保边缘中的良好质量。在722，输出最终深度图像和激活亮度图像。

图8示出了用于对从深度相机接收的粗略图像执行深度域和复域处理的组合的示例去噪流水线800。在802，接收粗略深度图像和激活亮度图像。然后，在804，计算深度和激活亮度度量，如上面更详细描述的。一旦计算出度量，则在806，对深度图像进行分类(通过度量进行分割)。所计算的度量用于产生卷积系数和/或加权值。

图像区域可以具有相对较高的信噪比、相对较低的信噪比或中等信噪比。对于高信号像素，在810，对深度域数据执行抖动减少操作。对于边缘区域，在812，对深度域数据执行边缘增强操作。在814，如上所述，从粗略深度数据重构复域数据。可以使用用于收集数据的一组频率或者不同的虚拟频率来重构复杂数据。然后，在816，对低信号像素的复域数据执行去噪操作。和之前一样，可以使用较大的内核来使正确展开的概率最大化。最后，在820，执行串扰校正操作，并且在822，输出最终深度和激活亮度图像。

在一些示例中，可以对粗略深度图像(以及潜在的与深度图像相对应的激活亮度图像)进行分割，使得一些深度像素(以及AB图像的一些强度像素)在包括深度相机的设备上被局部处理，而其他像素在远离包括深度相机的设备的情况下被处理。图9示出了示例分布式深度引擎流水线900的框图，其示出了这样的处理路径的示例。在904，深度相机903的ToF图像传感器902生成粗略深度图像和激活亮度图像。ToF相机903还对图像进行分割，以将深度数据的一些像素引导到基于云的计算系统918以进行更密集的计算处理并且将其他像素引导到本地处理器(例如，与深度相机集成的设备或深度相机是其外围设备的设备的本地处理器)以进行较少计算密集的处理(电话、可穿戴设备等的处理器)。在一些情况下，粗略深度图像可以不被分割，并且因此根据在确定是否应当分割时应用的条件，粗略深度图像完全在本地或完全远程地处理。示例条件如下所述。

对于分割图像，在905，将像素的第一子集传输到深度相机903所在的设备的本地处理器，以用于利用较小的去噪内核进行局部去噪906。去噪像素可以可选地在908被压缩，在910被提供给服务，和/或在912被提供给消费应用。示例服务包括机器学习过程和/或高级算法，诸如人脸标识、对象识别、表面重构、以及同时定位和映射算法。来自粗略深度图像的深度数据的其他像素可以在914被压缩，并且在916被传输到基于云的计算系统918，以用于使用较大的去噪内核进行远程去噪。基于云的计算系统对粗略深度图像的那些像素(以及潜在的激活亮度图像的像素)进行去噪以产生去噪像素，然后将去噪像素提供给消费应用912。

图10是描绘用于处理深度数据的示例方法1000的流程图。在1002，该方法包括获取多个像素的深度图像数据和激活亮度数据，深度图像数据包括多个频率的相位数据。在一些示例中，相位数据和激活亮度数据是从深度相机的深度图像传感器获取的。在一些示例中，在1004，该方法包括从远程设备接收深度图像数据和激活亮度数据，该远程设备诸如是远离执行方法1000的计算系统的深度相机。此外，在一些示例中，在1006，该方法包括接收粗略深度图像和激活亮度图像，并且重构多个频率的相位数据。

方法1000还包括：在1008，至少基于激活亮度图像数据来标识低信号像素。在一些示例中，在1010，该方法包括通过将像素的激活亮度数据与阈值强度进行比较来标识低信号像素。在一些示例中，在1012，该方法包括至少基于激活亮度数据的标准偏差来标识低信号像素。

方法1000还包括：在1014，将去噪滤波器应用于低信号像素的相位数据以获取经去噪相位数据，而不将去噪滤波器应用于其他像素的相位数据。在一些示例中，在1016，该方法包括基于先前存储的粗略深度图像数据使用时间滤波来对粗略深度图像数据进行去噪。在一些示例中，在1018，去噪滤波器包括未加权平均值。在一些示例中，分别对每个频率的相位数据进行去噪。因此，方法1000可以包括通过针对多个频率中的每个频率将去噪滤波器应用于该频率的相位数据来处理多个频率的相位数据。在一些示例中，在1020，去噪滤波器包括大小在11×11至15×15之间的内核。在一些示例中，在1021，方法1000包括应用扩展内核邻域方法、迭代内核方法或协作内核方法中的一种方法来对低信号像素进行去噪。

方法1000还包括：在1022，在应用去噪滤波器之后，对多个频率的相位数据执行相位展开以获取深度图像。在1024，该方法还包括输出深度图像。在一些示例中，在1026，将深度图像输出到远程计算系统(例如，云计算系统、远程计算设备等)。例如，远程计算系统可以包括合并有ToF相机的计算设备，深度图像数据和激活亮度数据是从该ToF相机获取的。

图11是用于经由从粗略深度数据重构相位数据来处理深度数据的示例方法1100的流程图。在1102，该方法包括接收与由ToF相机获取的深度图像相对应的粗略深度图像数据和激活亮度图像数据。在一些示例中，在1104，该方法包括接收分割图像数据。

方法1100还包括：在1106，基于粗略深度图像数据和激活亮度图像数据来重构相位数据。重构相位数据可以如上面关于图5的508所述的那样执行。在一些示例中，在1110，该方法包括基于激活亮度图像数据来确定低信号像素，并且在展开之前，将去噪滤波器应用于低信号像素的相位数据，而不将去噪滤波器应用于其他像素。在一些示例中，在1112，去噪滤波器包括未加权平均值。在一些示例中，在1114，去噪内核包括在11×11至15×15之间的大小。在一些示例中，在1116，方法1100包括基于先前存储的深度图像数据使用时间滤波来对深度图像数据进行去噪。

继续，在1118，方法1100还包括对去噪之后的相位数据执行相位展开以获取深度图像。在1120，该方法还包括输出深度图像。在一些示例中，深度图像与激活亮度图像一起输出。例如，可以将图像输出到远程计算系统上的软件应用、合并有ToF相机的设备、或云计算系统。

在一些实施例中，本文中描述的方法和过程可以绑定到一个或多个计算设备的计算系统。特别地，这样的方法和过程可以被实现为计算机应用程序或服务、应用程序编程接口(API)、库和/或其他计算机程序产品。

图12示意性地示出了可以实现上述方法和过程中的一个或多个的计算系统1200的非限制性实施例。计算系统1200以简化形式示出。计算系统1200可以采用一个或多个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备的形式。

计算系统1200包括逻辑机器1202和存储机器1204。计算系统1200可以可选地包括显示子系统1206、输入子系统1208、通信子系统1210和/或图12中未示出的其他组件。

逻辑机器1202包括被配置为执行指令的一个或多个物理设备。例如，逻辑机器可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其他逻辑构造的一部分的指令。这样的指令可以被实现以执行任务、实现数据类型、变换一个或多个组件的状态、实现技术效果、或以其他方式获取期望结果。

逻辑机器可以包括被配置为执行软件指令的一个或多个处理器。附加地或替代地，逻辑机器可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑机器的处理器可以是单核或多核的，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机器的个体组件可选地可以分布在两个或更多个单独的设备之间，这些设备可以远程定位和/或被配置用于协调处理。逻辑机器的各方面可以由以云计算配置而配置的远程可访问的联网计算设备来虚拟化和执行。

存储机器1204包括被配置为保存由逻辑机器可执行以实现本文中描述的方法和过程的指令的一个或多个物理设备。当这样的方法和过程被实现时，存储机器1204的状态可以被转变——例如，以保持不同数据。

存储机器1204可以包括可移除的和/或内置的设备。存储机器1204可以包括光学存储器(例如，CD、DVD、HD-DVD、蓝光光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等。存储机器1204可以包括易失性的、非易失性的、动态的、静态的、读/写的、只读的、随机存取的、顺序存取的、位置可寻址的、文件可寻址的和/或内容可寻址的设备。

应当理解，存储机器1204包括一个或多个物理设备。然而，替代地，本文中描述的指令的各方面可以由不由物理设备保持有限持续时间的通信介质(例如，电磁信号、光信号等)来传播。

逻辑机器1202和存储机器1204的各方面可以一起集成到一个或多个硬件逻辑组件中。例如，这样的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序和应用特定集成电路(PASIC/ASIC)、程序和应用特定标准产品(PSSP/ASSP)、片上系统(SOC)和复杂可编程逻辑器件(CPLD)。

术语“模块”、“程序”和“引擎”可以用于描述被实现以执行特定功能的计算系统1200的一个方面。在一些情况下，模块、程序或引擎可以经由执行由存储机器1204保持的指令的逻辑机器1202来实例化。可以理解，不同的模块、程序和/或引擎可以从相同的应用、服务、代码块、对象、库、例程、API、函数等来实例化。同样，相同的模块、程序和/或引擎可以由不同的应用、服务、代码块，对象、例程、API、函数等来实例化。术语“模块”、“程序”和“引擎”可以包括可执行文件、数据文件、库、驱动程序、脚本、数据库记录等的个体或组。

应当理解，本文中使用的“服务”是可以在多个用户会话上执行的应用程序。服务可以可用于一个或多个系统组件、程序和/或其他服务。在一些实现中，服务可以在一个或多个服务器计算设备上运行。

当被包括时，显示子系统1206可以用于呈现由存储机器1204保持的数据的视觉表示。该视觉表示可以采用图形用户界面(GUI)的形式。随着本文中描述的方法和过程改变由存储机器保持的数据，并且因此转变存储机器的状态，显示子系统1206的状态同样可以被转换以可视地表示底层数据的变化。显示子系统1206可以包括利用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可以与逻辑机器1202和/或存储机器1204组合在共享外壳中，或者这样的显示设备可以是外围显示设备。

当被包括时，输入子系统1208可以包括诸如键盘、鼠标、触摸屏或游戏控制器等一个或多个用户输入设备或与之接口连接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)组件或与之接口连接。这样的组件可以是集成的或外围的，并且输入动作的转变和/或处理可以在板内或板外处理。示例NUI组件可以包括用于语音和/或语音识别的麦克风；用于机器视觉和/或手势识别的红外、彩色、立体和/或深度相机(例如，深度相机200)；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测组件。

当被包括时，通信子系统1210可以被配置为将计算系统1200与一个或多个其他计算设备通信耦合，诸如远程计算系统，这可以包括例如云计算系统、企业系统、深度相机设备或联网PC。通信子系统1210可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置用于经由无线电话网络、或者有线或无线局域网或广域网进行通信。在一些实施例中，通信子系统可以允许计算系统1200经由诸如互联网等网络向其他设备发送消息和/或从其他设备接收消息。

另一示例提供了一种计算系统，所述计算系统包括逻辑机器；以及存储机器，保存由所述逻辑机器可执行以通过以下方式处理深度数据的指令：获取多个像素的深度图像数据和激活亮度图像数据，所述深度图像数据包括多个频率的相位数据，至少基于所述激活亮度图像数据来标识低信号像素，将去噪滤波器应用于所述低信号像素的相位数据以获取经去噪相位数据，而不将所述去噪滤波器应用于其他像素的相位数据，在应用所述去噪滤波器之后，对所述多个频率的所述相位数据执行相位展开以获取深度图像，以及输出所述深度图像。在一些这样的示例中，所述计算设备是包括飞行时间(ToF)图像传感器的ToF相机，并且所述多个频率的所述相位数据是由所述ToF图像传感器获取的。在一些这样的示例中，所述计算系统远离粗略深度图像数据和所述激活亮度图像数据从其被接收到的深度相机，所述多个频率的所述相位数据是从所述粗略深度图像数据和所述激活亮度数据被重构的。在一些这样的示例中，替代地或附加地，所述指令还可执行以基于先前存储的粗略深度图像数据使用时间滤波来对所述粗略深度图像数据进行去噪。在一些这样的示例中，替代地或附加地，所述指令可执行以通过针对所述多个频率中的每个频率将所述去噪滤波器应用于所述频率的相位数据来处理所述多个频率的所述相位数据。在一些这样的示例中，替代地或附加地，所述去噪滤波器包括未加权平均值。在一些这样的示例中，替代地或附加地，所述滤波器包括大小在11×11至15×15之间的内核。在一些这样的示例中，替代地或附加地，所述指令可执行以通过将所述像素的所述激活亮度图像数据与阈值强度进行比较来标识低信号像素。在一些这样的示例中，替代地或附加地，所述指令可执行以至少基于所述激活亮度图像数据的标准偏差来标识低信号像素。

另一示例提供了一种计算系统，所述计算系统包括逻辑机器和存储机器，所述存储机器保存由所述逻辑机器可执行以进行以下操作的指令：接收与由飞行时间图像传感器获取的深度图像相对应的粗略深度图像数据和激活亮度图像数据，基于所述粗略深度图像数据和所述激活亮度图像数据，将去噪滤波器应用于所述相位数据，对去噪之后的所述相位数据执行相位展开以获取深度图像，以及输出所述深度图像。在一些这样的示例中，所述指令可执行以使用来重构所述相位数据，其中/>是像素(m，n)和频率k处的重构相位数据，/>是与所述像素相对应的所述激活亮度图像数据，并且/>是来自所述粗略深度图像数据的所述像素的相位。在一些这样的示例中，替代地或附加地，所述指令可执行以基于所述激活亮度数据来确定低信号像素，并且在相位展开之前，将去噪滤波器应用于所述低信号像素的所述相位数据并且不将所述去噪滤波器应用于其他像素。在一些这样的示例中，替代地或附加地，所述去噪滤波器包括未加权平均值。在一些这样的示例中，替代地或附加地，所述去噪滤波器包括大小在11×11至15×15之间的内核。在一些这样的示例中，所述粗略深度图像数据包括与分割深度图像相对应的低信号像素的粗略深度数据。在一些这样的示例中，替代地或附加地，所述指令可执行以将所述深度图像输出到远程计算设备，所述粗略深度图像数据和所述激活亮度图像数据是从所述远程计算设备接收的。

另一示例提供了一种用于处理深度图像数据的方法，所述方法包括获取多个像素的深度图像数据和激活亮度数据，所述深度数据包括多个频率的相位数据，至少基于所述激活亮度图像数据来标识低信号像素，将去噪滤波器应用于所述低信号像素的相位数据以获取经去噪相位数据，而不将所述去噪滤波器应用于其他像素的相位数据，在应用所述去噪滤波器之后，对所述多个频率的所述相位数据执行相位展开以获取深度图像，以及输出所述深度图像。在一些这样的示例中，标识低信号像素包括比较像素的激活亮度数据。在一些这样的示例中，替代地或附加地，所述去噪滤波器包括未加权平均值。在一些这样的示例中，替代地或附加地，应用所述去噪滤波器包括应用扩展内核邻域方法、迭代内核方法或协作内核方法中的一种方法。

应当理解，本文中描述的配置和/或方法本质上是示例性的，并且这些特定实施例或示例不应当在限制意义上被考虑，因为很多变化是可能的。本文中描述的特定例程或方法可以表示任何数目的处理策略中的一个或多个。因此，所示出和/或所描述的各种动作可以按所示出的和/或描述的顺序执行、按其他顺序执行、并行地执行或者省略地。同样地，可以改变上述处理的顺序。

本公开的主题包括本文中公开的各种过程、系统和配置、以及其他特征、功能、动作和/或特性的所有新颖和非显而易见的组合和子组合、以及它们的任何和所有等价物。

Claims (15)

1.一种计算系统，包括：

逻辑机器；以及

存储机器，保存由所述逻辑机器可执行以通过以下操作处理深度数据的指令：

获取多个像素的深度图像数据和激活亮度图像数据，所述深度图像数据包括多个频率的相位数据，

至少基于所述激活亮度图像数据来标识低信号像素，

将去噪滤波器应用于所述低信号像素的相位数据以获取经去噪相位数据，而不将所述去噪滤波器应用于其他像素的相位数据，

在应用所述去噪滤波器之后，对所述多个频率的所述相位数据执行相位展开以获取深度图像，以及

输出所述深度图像。

2.根据权利要求1所述的计算系统，其中所述计算设备是包括飞行时间(ToF)图像传感器的ToF相机，并且其中所述多个频率的所述相位数据是由所述ToF图像传感器获取的。

3.根据权利要求1所述的计算系统，其中所述计算系统远离深度相机，从所述深度相机接收粗略深度图像数据和所述激活亮度图像数据，并且其中所述多个频率的所述相位数据是从所述粗略深度图像数据和所述激活亮度数据被重构的。

4.根据权利要求3所述的计算系统，其中所述指令还能够被执行以基于先前存储的粗略深度图像数据使用时间滤波来对所述粗略深度图像数据进行去噪。

5.根据权利要求1所述的计算系统，其中所述指令可执行以通过针对所述多个频率中的每个频率将所述去噪滤波器应用于所述频率的相位数据，来处理所述多个频率的所述相位数据。

6.根据权利要求1所述的计算系统，其中所述去噪滤波器包括未加权平均值。

7.根据权利要求1所述的计算系统，其中所述滤波器包括大小在11×11至15×15之间的内核。

8.根据权利要求1所述的计算系统，其中所述指令可执行以通过将所述像素的所述激活亮度图像数据与阈值强度进行比较来标识低信号像素。

9.根据权利要求1所述的计算系统，其中所述指令能够被执行以至少基于所述激活亮度图像数据的标准偏差来标识低信号像素。

10.根据权利要求1所述的计算系统，其中所述指令可执行以应用以下项中的一项：扩展内核邻域方法、迭代内核方法或协作内核方法。

11.一种用于处理深度图像数据的方法，包括：

接收与由飞行时间图像传感器获取的深度图像相对应的粗略深度图像数据和激活亮度图像数据，

基于所述粗略深度图像数据和所述激活亮度图像数据重构相位数据，

将去噪滤波器应用于所述相位数据，

对去噪之后的所述相位数据执行相位展开以获取深度图像，以及

输出所述深度图像。

12.根据权利要求11所述的方法，还包括：使用下式来重构所述相位数据

其中是在像素(m，n)和频率k处的重构相位数据，/>是与所述像素相对应的所述激活亮度图像数据，并且/>是来自所述粗略深度图像数据的所述像素的所述相位。

13.根据权利要求11所述的方法，还包括：基于所述激活亮度数据来确定低信号像素，并且在相位展开之前，将去噪滤波器应用于所述低信号像素的所述相位数据并且不将所述去噪滤波器应用于其他像素。

14.根据权利要求13所述的方法，其中所述去噪滤波器包括未加权平均值。

15.根据权利要求11所述的方法，其中所述粗略深度图像数据包括与分割深度图像相对应的低信号像素的粗略深度数据。