CN102077244B - 用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置 - Google Patents

Abstract

一种在深度图或视差图的掩蔽域中进行填充的方法，该图基于至少两个图像而估算并且由形成一组行和列的像素的矩阵构成，该图的每个像素与被叫做“像素值”的深度值或者视差值相关联，并且被叫做“无效像素”的掩蔽域的任何像素与可被识别为无效的像素的值相关联。这个方法包括在预定义的方向上逐个像素地遍历(E1、E2、E10)该图的每一行，并且向在当前行中遇到(E3)的每个无效像素Pi分配以下值，所述值按照与属于当前行中的无效像素Pi之后的第一有效像素P1(如果它存在的话)周围的预定义的邻域的像素相关联的值的函数来确定(E4-E9)，并且该第一有效像素P1的值V(P1)关于当前行中的无效像素Pi之前的最后的有效像素P0(如果它存在的话)的值V(P0)而对应于更大的深度或者更小的视差。

Description

用于在基于至少两个图像而估算的深度图或视差图的掩蔽域中进行填充的方法和装置

技术领域

本发明涉及处理数字图像，并且更具体地涉及一种用于填充根据至少两个图像来估算的深度图或视差图中的被遮蔽区域(occluded area)的技术。

背景技术

已知为深度图或视差图的图传统地使用在三维视频(3D视频)应用(诸如，浮雕显示(display in relief)、三维场景的重构、以及视频图像中的虚拟导航)中。这些图是通过根据相同场景的至少两个图像的估算处理而获得的，所述相同场景来自通过多个摄像机拍摄的立体视频或者多视图视频或者对应于相同视频中的不同时间。

在传送立体内容的具体情况下通常使用两种方法。第一种方法使用一对被定位以便再现人的视觉系统的传统的摄像机，每个相机对应于一只眼睛。被拍摄的两个单视觉(monoscopic)的视频序列被传送给用户。另一种方法仅仅传送伴随有与每个像素相关联的深度信息的一个单视觉彩色视频序列。在这种情况下，可以通过基于深度图的渲染(rendering)算法而在用户端处合成一个或多个虚拟视图。该深度图方法具有减少用于传送的总带宽的具体优点，并且直接可应用于具有数据压缩的视频编码。

为了定义将什么传统地称作深度图和视差图，并且为了简化解释，考虑其中(例如，通过摄像机来)产生来自两个不同视点的相同场景的两个图像的双目(binocular)立体视觉的具体情况。该两个图像传统地被称作右手图像和左手图像。在该上下文中，对应于给定图像的深度图(例如，右手图像或左手图像)是数字图像，该数字图像的每个像素与表示作为所关注的像素与相机的距离的特性的色彩(例如，灰色的阴影)的值相关联。

图1示出深度图，其中通过从用于最近的对象的白色到用于最远的对象的黑色的灰度级来表示在图像中出现的对象相对于摄制了场景的相机的距离。由此，在该示例中，具有比较淡的阴影的桌子和包含花朵的花瓶是场景中最近的对象(前景)，而所表示的屏幕呈现为最远的对象(背景)。

图2a和2b表示可以根据其来估算深度图的一对立体图像。图2a表示左手图像，而图2b表示右手图像。

视差图体现了上述的两个图像的立体匹配的结果。立体匹配在于：在左手图像和右手图像中发现同源的(homologous)像素，即，作为场景中相同实体的投影的像素。视差图是视觉地表示这种匹配的结果的一种方式：视差图的每个像素表示视差的幅度，即，左手图像中像素的位置和右手图像中该像素的对应方(counterpart)的位置之间的距离。由此，视差图的每个像素与表示视差的幅度的色彩特性的值相关联。传统的处理再次使用灰度的阴影：例如，像素越暗，则视差越小，其中完全白色的像素表示在两个图像之一中没有对应方的像素。

易于证明：与图像的给定像素相关联的深度值越高，则对应的视差值越低。由此，深度和视差为两个成反比例的量值，本发明可以均等地应用于深度图或者视差图。在本描述的剩余部分中，深度图和视差图可互换地指代并且术语“图”指代这些图中的任一个。

深度图或者视差图的使用在诸如视频中的虚拟导航、浮雕显示、3D建模以及视频编码之类的新兴技术的上下文中是非常重要的。通过来自不同视图的预测而获得的深度图还可以用于通过使用深度图来预测视图而执行压缩的压缩应用。在这种方法中，深度图用于预测在相同场景的其他视频中的对应的视图，以便限制冗余信息的传送，特别是在由多个视频和相关联的深度图组成的MVD(多视图视频和深度)数据的情况下。无论最终应用是什么，这些图的精度因此对于重构的视图的质量和对于编码应用中的高效的视频压缩是关键的。

具体地，深度图/视差图的质量与所关注的图中被遮蔽区域的存在有联系。被遮蔽区域是像素在图像之一中没有对应方的图的区域，其中在仅仅一个图像中一部分可见。这些被遮蔽区域本质上是由场景中的被称作遮蔽对象的对象造成的，所述遮蔽对象即在两个图像之一(右手图像或者左手图像)中屏蔽了在另一个图像中直接可见的所表示场景的具体范围的对象。发现被遮蔽区域本质上处于由图中的深度不连续性造成的边界的周围。

图3表示使用基于图形剪切的已知算法估算的视差图的示例。更精确地，所使用的算法是例如在文献″Multi-camera scene reconstruction via graph cuts″，V.Kolmogorov and R.Zabih，Proceedings ofthe European Conference onComputer Vision，2002中描述的算法。

在所表示的图像中，白色区域是通过上述的图形剪切算法检测的被遮蔽区域并且尚不可能对其确定像素值，这是因为在分别由图2a和图2b表示的左手图像和右手图像中缺少对应方。

因此，必须考虑深度图或者视差图中的这些被遮蔽区域，以便增强通过基于这些图的重构或者合成处理所获得的图像的质量。这具体地在检测和/或填充对应于缺失信息的被遮蔽区域中的间隙(gap)中成为问题。

用于处理上述的深度图或者视差图的缺陷的已知技术具体包括对从深度图或者视差图重构的图像进行操作的第一类技术。

该第一类的解决方案例如在文献″Stereoscopic imaging：Fillingdisoccluded areas in image-based rendering″，C.Vázquez，W.J.Tam，and F.Speranza，Proceedings of the SPIE Three-Dimensional TV，Video，and Display，Vol.6392，pp.0D1-0D12，2006中进行了描述。根据这些解决方案，重构的图像中的间隙通过传播(propagate)从其邻域(vicinity)获得的值而进行填充。然而，对从深度图或者视差图重构的图像进行操作的这类技术具有很少利用(如果进行利用的话)深度图的特定特征的缺点。这些图表示具有与纹理化的二维(2D)图像不同的特征，诸如缺乏纹理细节以及对该对象的相对位置的深度的影响。

第二类已知的技术直接对深度图或者视差图进行操作。例如，文献：″Improving depth maps by nonlinear diffusion″，J.Yin and J.R.Cooperstock，Proc.12th International Conference Computer Graphics，Visualization and ComputerVision，Pizen，Czech Republic，Feb.2004描述了可应用于深度图以增强被遮蔽区域或者缺乏纹理的区域的后期处理。该后期处理基于通过非线性扩散(即，与边缘检测结合的高斯平滑化)进行的填充。

在文献″Design Considerations for View Interpolation in a 3D Video CodingFramework″，Yannick Morvan，Dirk Farin，and Peter H.N.de With，27thSymposium on Information Theory in The Benelux，Vol.1p.，June 2006，Noordwijk，Netherlands中描述的另一技术通过比较最靠近被遮蔽像素的两个有效像素的深度值来传播背景。

图4a和4b分别表示来自图3的视差图的细节和在使用基于图形剪切的已知技术来填充被遮蔽区域之后的相同的细节。在图4b中表示的图像由此示出来自图3的视差图的、但是在使用以下算法来填充被遮蔽区域之后的相同细节，所述算法逐行地取得图像并且利用当前行(沿着该行的方向是深度图与其相关联的图像的函数)中的无效像素之后的第一有效(非被遮蔽的)像素来填充被遮蔽区域的无效像素。这样的填充算法例如在文献″Occlusions inmotion processing″，Abhijit Ogale，Cornelia Fermuller，and Yiannis Aloimonos，SpatioTemporal Image Processing，March 2004，London，UK中进行了描述。

在填充之后获得的图4b的图像中，对于人的左边可见的白色区域(特别是在他们的右手周围)对应于在填充被遮蔽区域时产生的误差。这些误差主要是由于已错误地对其分配了值并且因此破坏了填充过程的被遮蔽区域的像素造成的，或者是由于在填充期间不正确的值的传播所造成的，这导致了例如如在图像中表示的人的右手周围的细节的丢失。

由此，对深度图或者视差图直接进行操作的技术具有以下缺点：不能管理被遮蔽区域中的误差或者伪像和/或生成模糊的外观(特别是在所表示的对象的边缘处)，这是因为所应用的处理引起的。此外，通过仅仅比较邻近无效像素的第一有效像素的值，背景的传播是不确定的，在凹对象(concave object)的情况下尤其如此。

结果，上述的技术仅仅部分地处理了深度图或视差图的缺陷以及伪像、不正确的值的传播，以及由这些图的缺陷导致的细节的丢失，这是因为被遮蔽区域的存在造成了重构的图像中的不一致性并且在使用从深度图/视差图预测的图像的浮雕显示期间的不一致性。

因此，存在改进视差图和深度图的质量(特别是关于它们在对象的轮廓周围的精度)的实际需求。

发明内容

具体地响应于上述的需求，本发明的第一方面提供了一种填充深度图或视差图的被遮蔽区域的方法。

在该方法中，所述图根据至少两个图像来估算并且由形成一组行和列的像素的矩阵组成，该图的每个像素与被称作“像素值”的深度值或者视差值相关联，并且被称作“无效像素”的被遮蔽区域的任何像素与可被识别为无效的像素值相关联。

根据本发明，该方法包括：

·在预定义的方向上逐个像素地处理该图的每一行；以及

·向在当前行中遇到的每个无效像素Pi分配值，所述值按照与当前行中的无效像素Pi之后的第一有效像素P1(如果存在的话)周围的预定义的邻域中的像素相关联的值的函数来确定，并且该第一有效像素P1的值V(P1)相对于当前行中的无效像素Pi之前的最后的有效像素P0(如果存在的话)的值V(P0)而对应于更大的深度或者更小的视差。

通过向无效像素分配如上所述获得的值而获得的对被遮蔽区域的这种填充使得可以传播背景(即，最大深度值或者最小视差值)并且仅仅是背景，这是由于遮蔽对象造成的被遮蔽区域总是位于以下对象的相同侧，该对象处于遮蔽对象背后并且当在预定义方向中处理行时被进行考虑。通过将分配给无效像素的深度(视差)值限制在比来自被遮蔽区域之前的行的最后的值高(低)得多，确保了用于填充间隙的值对应于背景。通过本发明的方法来填充间隙具体地使得可以防止对象的像素而不是背景被传播，并且使得可以在适当的情况下当图像的部分不应该被联结(tie)(具体地，如在凹对象的情况下频繁发生)时、防止他们联结。因此具体地可以保留相同凹对象(例如，人)内的细节，特别是保留手臂和手之间的区别。

根据本发明的方法的优选的特征：

·如果存在有效像素P0、但是不存在有效像素P1，则将像素值分配给无效像素Pi，并且这个像素值按照与当前行中的无效像素Pi之后的第一有效像素P2(如果存在的话)周围的预定义邻域中的像素相关联的值的函数来确定；

·如果不存在有效像素P2，则向无效像素Pi分配像素值，这个像素值按照与像素P0周围的预定义邻域中的像素相关联的值的函数来确定；

·如果不存在有效像素P0，则向无效像素Pi分配像素值，并且这个像素值按照与当前行中的无效像素Pi之后的第一有效像素P2(如果存在的话)周围的预定义邻域中的像素相关联的值的函数来确定；否则，如果不存在有效像素P2，则向无效像素Pi分配缺省值Vd。

在本发明的优选实施方案中，按照与所关注的像素的邻域中的像素相关联的值的函数、通过向所关注的邻域中的像素的所述值应用中间值或者平均值数学函数来确定向无效像素Pi分配的像素值。

在实践中，像素周围的邻域由以所关注的像素为中心的有效像素块组成。

在一个具体应用中，根据一对右手和左手图像来获得所述深度图或者视差图，如果根据左手图像来估算该图，则对该图的像素行进行处理的预定义的方向对应于从右至左的方向，而如果根据右手图像来估算该图，则对该图的像素行进行处理的预定义的方向对应于从左至右的方向。

被遮蔽区域是在从一个相机转到另一相机时未覆盖的区域，并且因此，对于并列或修整(rectify)的图像(即，其对应于利用会聚相机进行的图像拍摄、但是其中两个图像的核线(epipolar line)已经对齐)的右手(左手)图像而言，该遮蔽区域本质上位于对象的左边(右边)。

本发明还提供了一种数字地处理深度图或视差图的方法，包括通过如上简要定义的填充方法来填充该图的被遮蔽区域的步骤。

根据本发明的数字处理方法的具体特征，可以在该填充被遮蔽区域的操作之前进行：

·旨在消除该图的被遮蔽区域中的估算误差的闭合形态滤波的操作；和/或

·在整个图上使用依照预定义大小的块所分析的像素的值的中间值滤波而对该图进行局部均匀化的操作。

在关联方式中，本发明提供了一种用于数字地处理深度图或视差图的装置，该装置值得注意的在于，其包括用于填充该图的被遮蔽区域的模块，该模块适配于使用如上简明定义的本发明的填充方法。

本发明进一步提供了一种数字图像处理计算机程序，其值得注意的在于，所述计算机程序包括用于当该程序在计算机系统中执行时、执行用以数字地处理深度图或视差图的本发明的方法的指令。在此，表述“计算机系统”意味着适配于处理数字数据的任何基于处理器的装置。

通过本发明的计算机程序和数字处理装置实现的优点具体包括上述的与本发明的填充方法或者用于数字地处理深度图/视差图的本发明的方法有关的那些优点。

附图说明

在阅读了仅仅通过示例以及参照附图而给出的以下详细描述时，可以更好地理解本发明，在附图中：

·已经评述的图1表示深度图的一个示例；

·已经评述的图2a和2b表示可以根据其来估算深度图的一对立体图像；

·已经评述的图3表示使用基于图形剪切的已知算法估算的视差图的一个示例；

·已经评述的图4a和4b分别表示来自图3的视差图的细节和在使用现有技术来填充被遮蔽区域之后的相同细节；

·图5a和5b表示填充深度图或视差图中的被遮蔽区域的本发明的方法的主要步骤的流程图；

·图6示出本发明的一个实施方案中用于数字地处理深度图/视差图的方法和装置，其中在填充操作之前进行消除图的估算误差的操作和对图的局部均匀化的操作；

·图7a和7b分别表示在应用形态滤波器(morphological filter)之前(图7a)和在应用形态滤波器之后(图7b)的在图4a中表示的图的相同细节；

·图8a和8b图示对在应用了形态滤波器之后获得的视差图应用局部均匀化滤波器的结果，图8a和8b分别示出在应用局部均匀化滤波器之前和之后的图；以及

·图9示出在根据本发明进行处理以填充被遮蔽区域之后的来自图8b的视差图。

具体实施方式

图5a和5b表示用于填充深度图或视差图中的被遮蔽区域的本发明的方法的主要步骤的流程图。如上所述，本发明可互换地应用于深度图或者视差图，这是因为这些图对应于成反比例的数据。

本发明的方法应用于根据至少两个图像(例如，右手图像和左手图像)来估算的深度图或视差图，或者应用于由来自另一视图的预测(例如，如基于压缩算法从不同视图进行的预测一样)获得的深度图或视差图。

讨论中的图传统地由形成一组行和列的像素的矩阵组成。图的每个像素与被称作像素值的深度值或视差值相关联。该值典型地是以八个比特编码的二进制值，并且能够采取从0到255且包含0和255的十进制值。在值的该范围内，一些值是有效的深度值/视差值，而特定的值是无效的值。由此，如果被选取为表示被遮蔽区域的色彩是白色，则相关联的深度值/视差值典型地是十进制值255。由此，从相关联的像素值，可将对应于图的被遮蔽区域的像素识别为无效。

在实践中，用于填充深度图/视差图的被遮蔽区域的本发明的方法通过在数据处理系统中执行的计算机程序来实现，要被处理的图预先存储在数据处理系统中。本发明的方法逐行地并且对于每一行、逐个像素地考虑深度图/视差图(以下称为图)。在预定义的方向上逐个像素地处理该图的每一行。

相应地，在实践中，在根据包括右手图像和左手图像的一对图像来获得图的情况下，如果根据左手图像来估算图，则处理图的像素行的方向对应于从右至左的方向。相反，如果根据右手图像来估算图，则处理图的像素行的方向为从左至右。

如在图5a中表示的，用于填充深度图/视差图的被遮蔽区域的本发明的方法以步骤(E1)和然后的步骤(E2)开始，该步骤(E1)用于选择图的一行(被称作当前行)，该步骤(E2)用于从所选择的行中选择像素(被称作当前像素Pc)。

测试步骤E3根据相关联的像素值是否对应于无效值(例如，对应于白色的值255)来确定当前像素Pc是否是无效像素。结果，如果当前像素是有效的(测试E3，“0”)，则它不属于被遮蔽区域，并然后执行测试步骤E10，以确定当前行的处理是否已经完成以及该图是否已经被完全处理。

由此，如果在步骤E10中，确定当前行的处理还没有完成(E10，“00”)，则返回到步骤E2以选择当前行的下一像素。如果当前行的所有像素都已经处理、但是不是该图的所有行已被处理(E10，“10”)，则返回到步骤E1以从图中选择另一行，例如，紧接在已经处理的行下面的行。最终，如果该图的所有行都已经处理，则已经完成了对该图的处理(E10，“11”)。

如果在步骤E3中确定当前像素Pc是无效的(Pc＝Pi；E3，“1”)，则对行中在该无效像素Pi之前的最后的有效像素(标注为P0)进行搜索(步骤E4)。在实践中，当处理图的任一行时，存储有关所检查的每个像素的信息(位置、有效性、相关联的值等等)，这使得随后可以非常快地获得与已经检查的像素相关的信息。

如果这样的像素P0存在(E5，“1”)，则通过在预定义的方向上处理当前行来对行中在无效像素Pi之后的第一有效像素P1进行搜索(步骤E6)，并且使得相关联的像素值V(P1)对应于比像素P0的值V(P0)更大的深度(或者如果处理视差图，则对应于更小的视差)。通过不等式的条件：V(P1)＞V(P0)、在图5a中用符号表现所搜索的相对于像素P0而对应于更大深度的像素P1。

在实践中，对于位于所关注的无效像素Pi之后的有效像素的搜索在通过本发明的方法的用户能够进行修改的多个像素(例如，50个像素)所限定的固定范围中实行。

如果这样的像素P1存在(步骤E7，“1”)，则然后在步骤E8中确定像素P1周围的像素的邻域N1，在此之后，在步骤E9中计算要分配给无效像素Pi的深度(或视差)值(标注为Vcal(Pi))。

根据本发明，深度值Vcal(Pi)按照与处于像素P1周围的像素的邻域N1中的像素相关联的深度(或视差)值的函数来确定，步骤E8中的表达式“Ncal＝N1”用符号表示将像素的邻域N1分配给计算深度值Vcal(Pi)。

在实践中，像素周围的所确定邻域可以由以讨论中的像素为中心的像素块(例如，由五个有效像素组成的块)而组成。

在本发明优选的实施方案中，通过计算属于所关注的像素邻域的像素的值的数学中间值(mathematical median)来确定要分配给所关注的无效像素Pi的值Vcal(Pi)。可替换地，可以使用数学平均值来替代数学中间值。由此，对于像素P1周围的像素的邻域N1，计算与邻域N1的像素相关联的深度(或者视差)值的中间值。

返回到步骤E7，如果在图的当前行中不存在无效像素Pi之后的并且相对于像素P0而对应于更大的深度的有效像素P1(步骤E7，“0”)，则所应用的处理是被标明为“情形2”并且在图5b中图示的处理。在该情况下，对当前行中的无效像素Pi之后的第一有效像素P2进行搜索(步骤E21)。如果存在这样的像素P2(E22，“1”)，则确定像素P2周围的像素的邻域N2(步骤E23)，如以上所解释的，随后(经由图5b的步骤E25而)返回到步骤E9(图5a)。在步骤E9(标注为“Val_Pi”)中，按照与像素P2周围的像素的邻域N2中的像素相关联的深度(或视差)值的函数来计算要分配给无效像素Pi的深度值或者视差值(标注为Vcal(Pi))。在实践中，计算与邻域N2的像素相关联的深度(或者视差)值的数学中间值。

相反，如果不存在这样的像素P2(步骤E22，“0”)，则使用预先(步骤E4)确定的像素P0，并且由此，如以上所解释地确定像素P0周围的像素邻域(标注为N0)(步骤E24)。之后(经由图5b的步骤E25而)返回到图5a的步骤E9。在步骤E9中，按照与像素P0周围的像素的邻域N0中的像素相关联的深度(或视差)值的函数，来计算要分配给无效像素Pi的深度(或视差)值Vcal(Pi)。在实践中，计算与邻域N0的像素相关联的深度(或者视差)值的数学中间值。

最终，在图5a的步骤E5中，如果不存在当前行中的无效像素Pi之前的有效像素P0(E5“0”)，则应用图5b中图示的被标明为“情形1”的处理。在该情况下，对当前行中无效像素Pi之后的第一有效像素P2进行搜索(步骤E11)。如果存在这样的像素P2(E12，“1”)，则如之前所解释地确定像素P2周围的像素的邻域N2(步骤E13)，随后(经由图5b的步骤E16而)返回到图5a的步骤E9。在步骤E9中，按照与像素P2周围的像素的邻域N2中的像素相关联的深度(或视差)值的函数，来计算要分配给无效像素Pi的深度(或视差)值(标注为Vcal(Pi))。在实践中，计算与邻域N2的像素相关联的深度(或者视差)值的数学中间值。

相反，如果不存在这样的像素P2(步骤E12，“0”)，则向像素Pi分配缺省值(标注为Val_def)(步骤E14)。这之后返回到上述的图5a的测试E10(步骤E15)。

在实践中，使得被分配给无效像素Pi的缺省值Val_def例如等于128，其对应于平均深度(或视差)。

图6示出本发明的一个实施方案中用于数字地处理深度图/视差图的方法和装置，其中在填充操作之前进行消除图的估算误差和使得图局部均匀化的操作。

如在图6中所表示的，用于数字地处理深度图或者视差图的本发明的装置包括用于填充图的被遮蔽区域的模块63，并且可以进一步包括两个附加模块61和62之一或者二者，该两个附加模块61和62各自的功能在以下描述。最终，用于数字地处理深度图/视差图的本发明的装置还可以包括用于根据多个图像来估算深度图或者视差图的模块60。

在一个优选的实施方案中，这些模块在实践中由包括适配于执行用于数字地处理深度图/视差图的本发明的方法的指令的一组计算机程序而组成。于是，当在计算机或者数据处理系统中执行上述的程序组时，执行该方法。

在图6中表示的实施例中，相同场景的两个(右手和左手)图像Im被提供给用于执行根据两个图像Im来估算视差图的操作(标注为A)的软件模块60。例如，模块60可以使用基于图形剪切的算法，例如，以上所引用并且在文献″Multi-camera scene reconstruction via graph cuts″，V.Kolmogorov andR.Zabih，Proceedings of the European Conference on Computer Vision，2002中描述的算法。如在图3中所表示的，模块60因此在其输出端传递视差图Cin。

在所示并描述的实施例中，模块61取得视差图Cin，以用于消除由模块60在估算相对于输入图像(Im)的视差(或者深度)图时产生的估算误差(称作非正常值(outlier)。这些误差本质上是由视差图中的被遮蔽区域所造成的。在一个实施例中，模块61仅仅在还未被视差估算算法所填充的被遮蔽区域中向视差图应用已知的闭合(closure)形态滤波器。如在图4a和4b中所示，该滤波使得可以消除被遮蔽区域中的非正常值，以使得它们不干扰对这些区域的填充。形态滤波器对图中的间隙进行平滑化，并且由此，使得可以通过随后使用来自无效像素的邻域的值来填充被遮蔽区域而防止误差传播。

图7a和7b分别表示在应用形态滤波器之前(图7a)和在应用形态滤波器之后(图7b)的在图4a中表示的图的相同细节。由此，对应于在该图像中表示的人的右拇指周围存在的估算误差的、在左手图像(图7a)中环形区域中的两个灰色的点已经在右手图像(图7b)中消失了。

再次参照图6，在所描述的实施例中，在经历了上述的形态滤波(操作B)之后，视差图经历由局部均匀化模块62执行的局部均匀化操作C。

在该操作C期间，向视差图应用第二级滤波。与在操作B期间应用的滤波相比，向整个图应用该第二级滤波，以便局部地使视差图均匀化、同时在其上保留对象的轮廓的所有细节。由此，所应用的滤波具体地使得可以消除或者合并(merge)由用于使视差图/深度图在时间上高度不稳定的非常详尽的(detailed)对象(例如，树木)造成的小的被遮蔽区域，特别是在视频情况下。

通过模块62应用的第二级滤波按照下面的方式来操作。从完整的视差/深度图像检测非正常值。对于图的每个像素，考虑与在以所关注的像素为中心的块中包含的所有邻域像素v_i对应的邻域V。研究该块中的邻域像素v_i，以评估该块中具有相似值的像素和具有和与所关注的像素p相关联的值不同的值的那些像素的数目。例如，所关注的像素块可以是具有边长为7个像素的正方形，但是可以由本发明的图像处理装置的用户按照所处理的图像的类型的函数来修改块的大小。

参照阈值s₁和s₃来定义像素值的相似和不同的概念，以便使处理更加鲁棒。由此，如果像素p的值和像素p周围的邻域V中像素v_i的值之间的差低于阈值s₁(例如，其可以设置为10)，则认为像素p和像素v_i相似，表达如下：

$\∀v_i\∈{\mathrm{Vv}}_i$ 和p相似 $\⇔/p-v_i/\≤s_1$

类似地，如下定义参照阈值s₃(例如，其可以被设置为40)的值不同的概念：

$\∀v_i\∈V{v}_i$ 和p不同 $\⇔/p-v_i/\≥s_3$

对于正被分析的块的所关注的每个像素，如果块中的相似像素的比例低于阈值s₂和/或如果不同像素的比例高于阈值s₄，则将所关注的像素检测为非正常值(误差像素)。可以使用以下值，例如：s₂＝30％和s₄＝60％。然后，要分配给被识别为非正常值的像素的校正值是通过用于检测误差的块的中间值滤波而获得的值。

通过以下公式来概括所应用的处理：

如果

$(\frac{\underset{v_i\∈V}{\mathrm{\Σ}}\left\{\right|p-v_i|\≤s_1\}}{\underset{v_i\∈V}{\mathrm{\Σ}}1}\≥s_2)$ 或 $(\frac{\underset{v_i\∈V}{\mathrm{\Σ}}\left\{\right|p-v_i|\≥s_3\}}{\underset{v_i\∈V}{\mathrm{\Σ}}1}\≤s_4)$

则

$p={\mathrm{median}}_{v_i\∈V}\left(v_i\right)$

可以由用户按照所关注的图像或者序列的函数来修改所使用的阈值s₁、s₂、s₃、s₄。

图8a和8b图示对在应用了如上述的滤波器模块61所使用的形态滤波器之后获得的视差图应用上述的局部均匀化滤波器的结果。具体地，图8a总体上表示从中取得图7b中表示的细节的视差图。图8b表示在对图8a的图应用了均匀化滤波器之后获得的图。

如比较图8a和8b可以看出的，图8a中存在的白色斑点在图8b的图像中已经消失了。相应地，通过由上述的滤波器模块62进行的局部均匀化滤波，在图8b的图中已经处理了在图8a的图中存在的、在几何学上(geometrically)与其邻域不一致的像素。

最终，图9示出在上述的填充模块63已经根据本发明对来自图8b的视差图进行处理以填充被遮蔽区域之后的该视差图。

将图9的图与图3中表示的初始的图、以及与图4b中表示且在通过现有技术填充方法对相同的图进行处理之后获得的该图的细节进行比较，关于依据本发明获得的图9的图，具体地看出以下几点：

·其表现地更加均匀；以及

·人周围的被遮蔽区域已经消失，而没有丢失例如在人的右手周围的细节的精度。

Claims (11)

1.一种填充深度图或视差图的被遮蔽区域的方法，所述深度图或视差图根据至少两个图像来估算并且由形成一组行和列的像素的矩阵组成，该深度图或视差图的每个像素与作为像素值的深度值或者视差值相关联，并且作为无效像素的被遮蔽区域的任一像素与能被识别为无效的像素值相关联；

所述方法包括以下步骤，用于在预定义的方向上逐个像素地处理(E1、E2、E10)该深度图或视差图的每一行，并且向在当前行中遇到(E3)的每个无效像素Pi分配(E4-E9)像素值，

其中所述分配的像素值按照与选定像素周围的预定义的邻域中的像素相关联的值的函数来确定或者所述分配的像素值是缺省值，

并且如果存在当前行中的无效像素Pi之前的最后有效像素P0，则所述选定像素是当前行中的无效像素Pi之后的第一有效像素P1，该第一有效像素P1的像素值V(P1)相对于该最后有效像素P0的像素值V(P0)而对应于更大的深度或者更小的视差，

如果存在有效像素P0(E5)、但是不存在有效像素P1(E7)，则所述选定像素是当前行中的无效像素Pi之后的第一有效像素P2(E21-E23、E25、E29)，

如果存在有效像素P0(E5)、但是不存在有效像素P2(E22)，则所述选定像素是最后有效像素P0(E24、E25、E29)，

如果不存在有效像素P0(E5)，则所述选定像素是有效像素P2(E11-E13、E16、E9)，

如果不存在有效像素P0也不存在有效像素P2(E12)，则所述分配的像素值是缺省值Vd(E14)。

2.根据权利要求1的方法，其中通过向该预定义的邻域中的像素的所述值应用中间值或者平均值数学函数、来确定向无效像素Pi分配的像素值。

3.根据权利要求2的方法，其中像素周围的邻域由以该像素为中心的有效像素块组成。

4.根据权利要求1-3中的任一个的方法，其中根据一对右手和左手图像来获得所述深度图或者视差图，并且其中如果根据左手图像来估算该图，则对该图的像素行进行处理的预定义的方向对应于从右至左的方向，而如果根据右手图像来估算该图，则对该图的像素行进行处理的预定义的方向对应于从左至右的方向。

5.一种数字地处理深度图或视差图的方法，其特征在于，所述方法包括使用根据任何前述的权利要求的方法来填充被遮蔽区域的操作(D)。

6.根据权利要求5的处理方法，其中在该填充被遮蔽区域的操作(D)之前进行用于消除该图的被遮蔽区域中的估算误差的闭合形态滤波的操作(B)。

7.根据权利要求5或权利要求6的处理方法，其中在该填充被遮蔽区域的操作(D)之前、进行在整个图上使用依照预定义大小的块的像素的值的中间值滤波、而对该深度图或视差图进行局部均匀化的操作(C)。

8.一种填充深度图或视差图的被遮蔽区域的装置，所述深度图或视差图根据至少两个图像来估算并且由形成一组行和列的像素的矩阵组成，该深度图或视差图的每个像素与作为像素值的深度值或者视差值相关联，并且作为无效像素的被遮蔽区域的任一像素与能被识别为无效的像素值相关联；

所述装置包括用于在预定义的方向上逐个像素地处理(E1、E2、E10)该深度图或视差图的每一行、并且向在当前行中遇到(E3)的每个无效像素Pi分配(E4-E9)像素值的部件，

其中所述分配的像素值按照与选定像素周围的预定义的邻域中的像素相关联的值的函数来确定或者所述分配的像素值是缺省值，

并且如果存在当前行中的无效像素Pi之前的最后有效像素P0，则所述选定像素是当前行中的无效像素Pi之后的第一有效像素P1，该第一有效像素P1的像素值V(P1)相对于该最后有效像素P0的像素值V(P0)而对应于更大的深度或者更小的视差，

如果存在有效像素P0(E5)、但是不存在有效像素P1(E7)，则所述选定像素是当前行中的无效像素Pi之后的第一有效像素P2(E21-E23、E25、E29)，

如果存在有效像素P0(E5)、但是不存在有效像素P2(E22)，则所述选定像素是最后有效像素P0(E24、E25、E29)，

如果不存在有效像素P0(E5)，则所述选定像素是有效像素P2(E11-E13、E16、E9)，

如果不存在有效像素P0也不存在有效像素P2(E12)，则所述分配的像素值是缺省值Vd(E14)。

9.根据权利要求8的装置，进一步包括通过向该预定义的邻域中的像素的所述值应用中间值或者平均值数学函数、来确定向无效像素Pi分配的像素值的部件。

10.根据权利要求8的装置，其特征在于，所述装置进一步包括用于在填充被遮蔽区域之前、消除该图的被遮蔽区域中的估算误差的闭合形态滤波器模块(61)。

11.根据权利要求8的装置，其特征在于，所述装置进一步包括用于在填充被遮蔽区域之前、在整个图上使用依照预定义大小的块的像素值的中间值滤波、而对该深度图或视差图进行局部均匀化的模块(62)。