CN109636730B - 用于过滤深度图中的伪像素的方法 - Google Patents

Abstract

本发明涉及一种用于过滤深度图中的伪像素的方法。过滤深度图以去除伪像素是很重要的。过滤伪像素时的一个问题是去除它们同时保留深度图的真实细节的边界。已知的过滤伪像素的方法是使用双边过滤器。双边过滤器提供了有效的过滤，使得能够在平滑微弱细节或噪声的同时保持深度图的锐利边缘。然而，双边过滤器不能有效地去除伪像素。事实上，伪像素与直接围绕它们的像素相比表现出锐利的边缘。换言之，即使在多次迭代过滤后，双边过滤器仍然保留伪像素。所提出的方案使得能够去除深度图中的伪像素，同时保留深度图的锐利边缘且平滑微弱细节或噪声。

Description

用于过滤深度图中的伪像素的方法

技术领域

本发明涉及深度图，更具体地，涉及一种用于在执行图像处理时过滤影 响深度图使用的伪像素的方法。

背景技术

深度图是特殊的图像，其中每个像素记录在某个位置处被观察的对象相 对于照相机的距离、或者距离的倒数、或者任何作为距离的函数的信息。可 以例如使用观察相同视场的若干照相机并且利用视图之间的视差变化来推导 深度而计算深度图。在实践中，估计的深度图示出了伪像素。许多原因使得 深度图估计变得困难，例如：从一个照相机到下一个照相机部分遮蔽的对象；来自不同位置处被观察的对象的反射光的变化；使视差估计变得困难的没有 或几乎没有纹理的表面；在照相机之间的灵敏度变化。

过滤深度图以去除伪像素是很重要的。过滤伪像素时的一个问题是去除 它们但保留深度图的真实细节的边界。

已知的过滤伪像素的方法是使用双边过滤器。双边过滤器定义了与像素 I(x，y)相关联的权重函数w(x，y，k，l)。坐标(k，l)表示中心像素I (x，y)与计算权重的像素I(x+k，y+l)之间的偏移。

w(x,y,k,l)＝d(x+k,y+l)r(I(x,y),I(x+k,y+l))

权重被称为“双边的”，因为它取决于强度项：r(I(x,y),I(x+k,y+l))； 以及独立于像素值的几何距离项d(x+k,y+l)。函数r和d的典型选择是：

权重函数w取决于两个参数：控制像素I(x+k，y+l)必须具有与中心像 素I(x，y)多少相同的强度的σ_d；控制多少距离(k,l)影响卷积过滤器的σ_r。 像素的强度是像素和照相机之间的距离的函数。

权重被定义在以像素I(x，y)为中心的一组[2P+1×2P+1]像素内，诸如 (k,l)∈[-P,+P]²。通过将权重函数除以权重函数内所有权重之和来定义卷积 过滤器：

具有(i,j)∈[0,2P+1]²的卷积过滤器是权重函 数通过积分归一化。

双边过滤器提供了有效的过滤，使得能够在平滑微弱细节或噪声的同时 保持深度图的锐利边缘。

然而，双边过滤器不能有效地去除伪像素。事实上，伪像素与直接围绕 它们的像素表现出锐利的边缘。针对位于I(x，y)处的伪像素而计算的权重 函数w(x，y，k，l)仅对于具有与I(x，y)类似的可比较幅度的周围像素 具有较高权重。因此，在双边过滤级之后，未去除伪像素。换言之，即使在 若干次迭代过滤后，双边过滤器仍然保留伪像素。一种选择是增加参数σ_d， 但是这将导致伪像素以及对象边界的锐利边缘被溶解(dissolve)。

本发明是考虑到上述情况而设计的。

发明内容

根据本发明的第一方面，提供了一种用于过滤深度图中的伪像素的计算 机实现方法，该方法包括对于被称为当前像素的深度图的像素：

-确定属于以当所述前像素为中心的所述深度图的一组像素的被称为邻 近像素的至少一个像素的至少一个权重，所述权重是所述当前像素和所述至 少一个邻近像素之间的几何距离、以及与所述当前像素相邻的像素的强度和 所述至少一个邻近像素的强度的函数；

-确定与至少一个相邻像素相对应的权重函数，其系数为所确定的权重，

-通过应用与最大化其所有系数之和的归一化的权重函数相对应的卷积 过滤器，过滤所述当前像素。

所提出的解决方案使得能够如最小或最大过滤器一样去除深度图中的伪 像素，同时如双边滤波器一样保留深度图的锐利边缘且平滑微弱细节或噪声。

事实上，如果当前像素是伪像素，则其权重函数的所有系数之和与使用 相邻像素的强度确定的其他权重函数的系数之和相比不是最大的，因为相邻 像素中的伪像素不太频繁。

在最小/最大过滤器方案中，过滤后的像素等于邻近像素的最小值：

或者等于邻近像素的最大值：

在图像上连续调用最小过滤器以及然后最大过滤器是所谓的图像冲蚀。 在图像上连续调用最大过滤器以及然后最小过滤器被称为图像扩张。冲蚀过 滤器使得去除具有比它们的直接周围更大的幅度的伪像素。而扩张过滤器使 得去除具有比它们的直接周围更小的幅度的伪像素。在实践中，冲蚀过滤器 或扩张过滤器能够去除伪像素，但是严重影响真实对象的边界。

在双边过滤器的方案中，当前像素在权重函数的计算中起着关键的作用。 如果当前像素是伪像素，则权重函数突出了与当前像素相似的邻近像素。因 此，在过滤之后，伪像素被保持完整，而不是被溶解或擦除。

在根据本发明实施例的方案中，发明人提出当计算权重函数的权重时通 过将当前像素的强度替换为相邻像素的强度来限制当前像素在计算权重函数 中的作用。因此，根据本发明的方法使得能够生成与当前像素相邻的像素的 数量一样多的权重函数。为了过滤当前像素，在多个生成的权重函数中选择 权重函数。所选择的权重函数是最大化相应权重函数的所有系数之和的函数。然后从所选择的权重函数生成一个卷积过滤器。

根据本发明的实施例，至少相邻像素的权重由下面给出：

其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，(x,y) 是所述当前像素的坐标，以及(k,l)表示所述当前像素I(x,y)和确定权重的邻 近像素之间的偏移。

这种简化的权重函数可以由诸如嵌入在智能手机的具有有限计算能力的 处理器运行。

根据本发明的实施例中，权重函数是一维过滤器，并且与深度图的取向 正交。

根据本发明的实施例中，通过计算角度α来确定所述权重函数的取向，所 述角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中 的当前像素的强度的局部导数之比的反正切。

根据本发明的实施例，该方法还包括：

-确定第一权重函数，其系数被确定为相邻像素中具有最高强度的相邻 像素的强度的函数，

-确定第二权重函数，其系数被确定为相邻像素中具有最低强度的相邻 像素的强度的函数，

-确定第三权重函数，其系数被确定为所述当前像素的强度的函数，

-确定第四权重函数，其系数被确定为是相邻像素的强度的中值的强度 的函数，

-通过应用与最大化四个权重函数中的所有系数之和的归一化权重函数 相对应的卷积过滤器，来过滤所述当前像素。

仅生成四个权重函数减少了用于过滤伪像素所需的计算负载。这四个权 重函数还利用了由也被嵌入在智能手机中的GPU提供的向量计算的优势。

本发明的另一个目的涉及一种能够过滤深度图中的伪像素的设备，所述 设备包括至少一个硬件处理器，所述硬件处理器被配置为对于被称为当前像 素的所述深度图的像素：

-确定用于属于以当所述前像素为中心的所述深度图的一组像素的被称 为邻近像素至少一个像素的至少一个权重，所述权重是所述当前像素和所述 至少一个邻近像素之间的几何距离、以及与所述当前像素相邻的像素的强度 和所述至少一个邻近像素的强度的函数；

-确定与至少一个相邻像素相对应的权重函数，其系数为所确定的权重，

-通过应用与最大化其所有系数之和的归一化的权重函数相对应的卷积 过滤器，过滤所述当前像素。

根据本发明的实施例，至少一个相邻像素的权重由下面给出：

其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，(x,y) 是所述当前像素的坐标，以及(k,l)表示所述当前像素I(x,y)和确定权重的邻 近像素之间的偏移。

根据本发明的实施例，权重函数是一维过滤器，并且与所述深度图的边 缘的取向正交。

根据本发明的实施例，通过计算角度α来确定所述权重函数的取向，所述 角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中的 当前像素的强度的局部导数之比的反正切。

根据本发明的实施例，硬件处理器还被配置为：

-确定第一权重函数，其系数被确定为相邻像素中具有最高强度的相邻 像素的强度的函数，

-确定第二权重函数，其系数被确定为相邻像素中具有最低强度的相邻 像素的强度的函数，

-确定第三权重函数，其系数被确定为所述当前像素的强度的函数，

-确定第四权重函数，其系数被确定为是相邻像素的强度的中值的强度 的函数，

-通过应用与最大化四个权重函数中的所有系数之和的归一化权重函数 相对应的卷积过滤器，过滤所述当前像素。

由本发明的要素实现的一些处理可以是计算机实现的。因此，这些要素 可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码 等)或组合这里所有通常可以被称为“电路”、“模块”或“系统”的软件和硬件方 面的实施例的形式。此外，这些要素可以采取体现在具有体现在介质中的计 算机可用程序代码的任何有形表达介质中的计算机程序产品的形式。

由于本发明的要素可以用软件实现，所以本发明可以体现为计算机可读 代码，用于在任何合适的载体介质上提供给可编程装置。有形载体介质可以 包括诸如软盘、CD-ROM、硬盘驱动器、磁带装置或固态存储器装置等的存 储介质。瞬时载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RF信号)之类的信号。

附图说明

将仅以示例的方式并参照以下附图来描述本发明的实施例，其中：

图1是图示能够运行根据本发明实施例的方法的设备的示例的示意性框 图；

图2表示根据本发明实施例的用于过滤深度图的伪像素的方法的步骤的 流程图；

图3表示以当前像素为中心的并被称为邻近像素的一组[2P+1×2P+2]像 素。

具体实施方式

如本领域技术人员将理解的，本原理的方面可以体现为系统、方法或计 算机可读介质。因此，本原理的方面可以采取完全硬件实施例、完全软件实 施例(包括固件、驻留软件、微代码等)或组合这里所有通常可以被称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本原理的方 面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存 储介质的任何组合。

图1是图示能够运行根据本发明实施例的方法的设备的示例的示意性框 图。

装置100包括通过总线106连接的处理器101、存储单元102、输入设备 103、显示设备104和接口单元105。当然，计算机装置100的构成元件可以 通过总线连接以外的连接来连接。

处理器101控制装置100的操作。存储单元102存储由处理器101运行 的至少一个程序以及包括深度图、由处理器101执行的计算所使用的参数、 由处理器101执行的计算的中间数据等的各种数据。处理器101可以由任何 已知和合适的硬件、软件或硬件和软件的组合形成。例如，处理器101可以 由诸如处理电路的专用硬件形成，或者由诸如运行存储在其存储器中的程序 的CPU(中央处理单元)的可编程处理单元形成。

存储单元102可以由能够以计算机可读方式存储程序、数据等的任何合 适的存储器或部件形成。存储单元102的示例包括非暂时性计算机可读存储 介质，诸如半导体存储器件、以及加载到读写单元中的磁、光或磁光记录介质。程序使处理器101执行根据本公开的实施例的用于操纵光场图像的处理， 如参考图2-3所描述的。

输入设备103可以由键盘、诸如鼠标的定点设备等形成，以便用户使用 以输入命令。输出设备104可以由用于显示的显示设备形成，例如图形用户 接口(GUI)。例如，输入设备103和输出设备104可以通过触摸屏面板一体 地形成。

接口单元105提供装置100和外部装置之间的接口。接口单元105可以 经由电缆或无线通信与外部装置通信。

装置100可以是例如便携式设备，诸如平板电脑或智能手机。

图2表示根据本发明实施例的用于过滤深度图的伪像素的方法的步骤的 流程图。对深度图的所有像素运行以下步骤。

在步骤200中，设备100的处理器101定义如图3所示的被称为邻近像 素的、以当前像素为中心的一组[2P+1×2P+1]像素。在图3中，该组邻近像素 是5x5的组。

在步骤201中，设备100的处理器101计算与当前像素相关联的第一权 重函数w_0,0(x,y)的权重，其中(x,y)是深度图中的当前像素的坐标。

如下，计算与所考虑的邻近像素相关联的权重w_0,0(x,y,k,l)：

w_0,0(x,y,k,l)＝d(x+k,y+l)r(I(x,y),I(x+k,y+l)) (1)

其中(k,l)表示当前像素与计算权重的坐标为(x+k,y+l)的邻近像素之 间的偏移。

权重取决于强度项：r(I(x,y),I(x+k,y+l))，其中I(x,y)是当前像素的 强度且I(x+k,y+l)是确定权重的邻近像素的强度；以及独立于像素值的几 何距离项d(x+k,y+l)。在本发明的实施例中，函数r和d是：

权重w取决于两个参数：控制所考虑的邻近像素必须具有与当前像素多 少相同的强度的σ_d；控制多少距离(k,l)影响权重函数的σ_r。

对于当前像素的所有邻近像素计算这样的权重。

在步骤202中，从与当前像素相关联的权重函数生成第一卷积过滤器 C_0,0(x,y)。

值得注意的是，上述等式通常来自于大小[2P+1×2P+1]像素的局部 卷积过滤器C_0,0(x,y)，其应用于深度图的具有坐标(x,y)的像素。卷积过滤器 C_0，0(x,y)[i,j]的每个系数由下面给出：

(i,j)∈[0,2P+1]²以及权重函数w_0,0(x,y,k,l)的所有权重之和因此，上述等式可以用卷积 算子*重写：

I_filter(x,y)＝I*C(x,y)

C_0,0(x,y)是与当前像素(x,y)相关联的局部卷积过滤器。换句话说，卷积 过滤器等于归一化权重函数(所有权重除以权重函数的积分)。

在步骤203中，设备100的处理器101计算与当前像素相关联的第二权 重函数w_n,m的权重。

如下，计算与所考虑的邻近像素相关联的权重w_n,m(x+n,y+m,k，l)：

w(x+n,y+m,k,l)＝d(x+k,y+l)r(I(x+n,y+m),I(x+k,y+l))

其中(k,l)表示当前像素之间的偏移，(n,m)是所考虑的与当前像素相邻 的像素的坐标和计算权重且坐标为(x+k,y+l)的邻近像素的坐标。在本发明 的实施例中，可以定义(n,m)∈[-1；1]来计算9个权重函数。

权重取决于强度项：r(I(x+n，y+m)，I(x+k，y+l))，其中， I(x+n，y+m)是与当前像素相邻的像素的强度，I(x+k,y+l)是确定权重的 邻近像素的强度；以及独立于像素值的几何距离项d(x+k,y+l)。

在本发明的实施例中，函数r和d是：

对于当前像素的所有邻近像素计算这样的权重。

在步骤204中，基于w_n,m(x+n,y+m,k,l)生成与当前像素相关联的第 二卷积过滤器C_n,m(x,y)。

在本发明的实施例中，对于与当前像素相邻的每个像素运行步骤203和 204，生成同样多的权重函数。

在本发明的另一个实施例中，运行步骤203和步骤204三次，生成三个 权重函数。

在本实施例中，生成第二权重函数，其中I(x+n,y+m)是与当前像素相 邻的像素的强度，在当前像素相邻的所有像素中该像素具有最高的强度。

生成第三权重函数，其中I(x+n,y+m)是与当前像素相邻的像素的强度， 在与当前像素相邻的所有像素中该像素具有最低的强度。

生成第四权重函数，其中I(x+n,y+m)是与当前像素相邻的像素的强度 的中值。

在步骤205中，在步骤201至204期间生成的多个卷积过滤器中，选择 要应用于过滤当前像素的卷积过滤器。

设备100的处理器101计算权重函数w_n,m(x+n,y+m,k,l)的所有系数 之和W_n,m(x,y)。

所选择的权重函数w_n,m是具有最大W_n,m(x,y)的函数。因此，所选择的卷 积过滤器C_n,m(x,y)是与最大W_n,m(x,y)相关联的一个卷积过滤器。

在步骤206中，所选择的卷积过滤器被用于计算像素I_filterd(x,y)，像素 I_filterd(x,y)是当前像素的过滤版本。

根据本发明，当当前像素是伪像素时，其权重函数w_0,0(x,y)与其他权重 函数相比具有小的和W_0,0(x,y)，因为在计算权重函数w_n,m(x,y)的P个相邻像 素中，伪像素不太频繁。

在本发明的实施例中，归一化所选择的权重函数，使得其积分等于1.0。

参照图2所描述的方法可以应用于深度图的所有像素。该方法可能迭代 若干次。在本发明的实施例中，基于眼睛检查，用户手动选择参数P、σ_d和σ_r。

在本发明的实施例中，由以下定义更简单的权重：

其中r是参考值，以及T是深度图像素与参考值r之间的差异准则。这个权 重很容易用如允许在两个指令中估计w的“step”和“abs”的GPU指令计算。

在本发明的另一个实施例中，权重函数是由2P+1个像素构成的一维(1D) 权重函数。1D权重函数垂直于深度图图像的轮廓取向。

通过计算局部导数D_x(x,y)＝I(x-1,y)-I(x+1,y)和D_y(x,y)＝ I(x,y-1)-I(x,y+1)得到1D权重函数的取向角α。然后通过以下给出角度 α的值：

–α＝atan(D_y/D_x)+π/2

在本发明的实施例中，应用于当前像素的卷积过滤器是：

其中，C_n,m(x,y)是从具有最大W_n,m(x,y)的权重函数w_n,m(x,y)计算的卷 积过滤器。

在这种情况下，访问I(x+icos(α),y+sin(α))的像素坐标不是整数。利 用GPU实现方式，使用双边线性内插法直接访问非整数坐标。GPU被优化 以像整数坐标一样有效地访问非整数。

虽然上文已经参照具体实施例描述了本发明，但是本发明不限于具体实 施例，并且修改对于本领域技术人员来说将是明显的，这些修改属于本发明 的范围。

在参考上述仅以示例的方式给出并且不旨在限制仅由所附权利要求确定 的本发明的范围的说明性实施例时，许多进一步的修改和变化将把其暗示给 本领域熟练技术人员。具体地，在适当的情况下，可以互换来自不同实施例 的不同特征。

Claims (12)

1.一种用于过滤深度图中的像素的计算机实现的方法，所述方法包括，对于被称为当前像素的所述深度图的像素：

-生成多个权重函数，所述多个权重函数与相应的与所述当前像素相邻的像素相关联，所述多个权重函数中的每一个具有至少一个系数，所述系数被确定为所述当前像素和至少一个邻近像素之间的几何距离的函数以及与相应的相邻的像素的强度和所述至少一个邻近像素的强度的函数；

-为所述多个权重函数中的每一个确定所述权重函数的所有系数之和；

-选择所述多个权重函数中的一个权重函数，所选择的权重函数具有所述所有系数的最大和；以及

-通过应用与所选择的权重函数相对应的卷积过滤器，过滤所述当前像素。

2.根据权利要求1的方法，其中生成所述多个权重函数还包括：使用通过以下而给定的权重来生成与相应的相邻的像素相关联的权重函数：

其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，(x,y)是所述当前像素的坐标，以及(k,l)表示所述当前像素I(x,y)和确定权重的邻近像素之间的偏移。

3.根据权利要求1的方法，其中所述多个权重函数中的至少一个是一维过滤器，并且与所述深度图的取向正交。

4.根据权利要求3的方法，其中通过计算角度α来确定所述权重函数的取向，所述角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中的当前像素的强度的局部导数之比的反正切。

5.根据权利要求1所述的方法，其中生成所述多个权重函数还包括：

-确定第一权重函数，其系数被确定为所述当前像素的强度的函数，

-确定第二权重函数，其系数被确定为相邻像素中具有最高强度的相邻像素的强度的函数，

-确定第三权重函数，其系数被确定为相邻像素中具有最低强度的相邻像素的强度的函数，

-确定第四权重函数，其系数被确定为相邻像素的强度的中值的强度的函数，并且

其中，选择所述多个权重函数中的一个权重函数包括从所述第一权重函数至所述第四权重函数中选择。

6.一种能够过滤深度图中的像素的设备，所述设备包括至少一个硬件处理器，所述硬件处理器被配置为，对于被称为当前像素的所述深度图的像素：

-生成多个权重函数，所述多个权重函数与相应的与所述当前像素相邻的像素相关联，所述多个权重函数中的每一个具有至少一个系数，所述系数被确定为所述当前像素和至少一个邻近像素之间的几何距离的函数以及相应的相邻的像素的强度和所述至少一个邻近像素的强度的函数；

-为所述多个权重函数中的每一个确定所述权重函数的所有系数之和；

-选择所述多个权重函数中的一个权重函数，所选择的权重函数具有所述所有系数的最大和，

-通过应用与所选择的权重函数相对应的卷积过滤器，过滤所述当前像素。

7.根据权利要求6的设备，其中生成所述多个权重函数还包括：使用通过以下而给定的权重来生成与相应的相邻像素相关联的权重函数：

其中r是参考值，T是所述深度图的像素与参考值r之间的差异准则，(x,y)是所述当前像素的坐标，以及(k,l)表示所述当前像素I(x,y)和确定权重的邻近像素之间的偏移。

8.根据权利要求6的设备，其中所述多个权重函数中的至少一个是一维过滤器，并且与所述深度图的取向正交。

9.根据权利要求8的设备，其中通过计算角度α来确定所述权重函数的取向，所述角度α的值是第一变量x中的当前像素的强度的局部导数与第二变量y中的当前像素的强度的局部导数之比的反正切。

10.根据权利要求6所述的设备，生成所述多个权重函数还包括：

-确定第一权重函数，其系数被确定为所述当前像素的强度的函数，

-确定第二权重函数，其系数被确定为相邻像素中具有最高强度的相邻像素的强度的函数，

-确定第三权重函数，其系数被确定为相邻像素中具有最低强度的相邻像素的强度的函数，

-确定第四权重函数，其系数被确定为相邻像素的强度的中值的强度的函数，并且

其中选择所述多个权重函数中的所述一个权重函数包括：从所述第一权重函数至所述第四权重函数中选择。

11.一种计算机可读介质，包括当由计算机运行时使计算机执行根据权利要求1的方法的指令。

12.一种承载有程序代码的指令的非临时存储介质，当在计算设备上执行程序时用于执行根据权利要求1的方法。