CN107004256B - 用于噪声深度或视差图像的实时自适应滤波的方法和装置 - Google Patents

Abstract

本发明涉及用于使用自适应方法对视差或深度图像的像差进行滤波的方法和装置。所述方法使得根据源自在光信号上执行的变换的几何现实的准则，对在其3D邻域中非空间相干的点进行局部滤波。有利地，所述噪声滤波方法可以应用于稠密深度图像或稠密视差图像。

Description

用于噪声深度或视差图像的实时自适应滤波的方法和装置

技术领域

本发明涉及图像处理和计算机视觉的领域，特别是涉及对噪声深度或视差图像的处理的领域。

背景技术

对图像中的场景的分析(诸如图像分割，背景提取，自动目标识别以及多级检测)是文献中已经广泛涉及的领域，其主要用于“单传感器”(2D)图像。得益于在3D感知方面的最新进展，场景分析也尝试利用深度信息，因为目标不只是在颜色和/或纹理方面的相干视觉单元，也是空间紧凑单元。

已知的多种3D感知系统包括：

-诸如3D扫描仪或者飞行时间(TOF)摄像机的设备。这种3D传感器提供深度图像，其中每一个像素对应于场景中的点与特定点之间的距离。得到的深度图像一般比较准确，尽管如此，他们都包含像差(例如在使用TOF摄像机情况下的“斑点”)。它们价格昂贵，从一千到几千欧元不等，使得它们的使用只能局限在费用不是主要障碍的应用里。此外，由于图像生成的低频率，许多这种3D传感器不能用于实时应用。

-立体系统，一般包括摄像机和/或投影仪的组合，结合特定的处理操作(例如视差计算)。这些都得益于标准的摄像机，甚至其他应用(例如，倒车影像功能)中可能已经出现的摄像机的低成本。但是，这些图像的噪声更大(对光照条件的灵敏程度，有关于轻微纹理表面的问题，等等)，并且从视差图像推导出的深度图像不稠密。非线性变换{视差图像->深度图像}在深度图像上表现为非均匀的信息密度。典型地，靠近摄像机的数据会更加稠密，而在目标边界的数据将可能不准确。

深度图像或视差图像的图像质量对在此图像上进行的处理操作的性能有极大影响。在立体图像的情况下，深度图像中的极大误差更加不利于进行的处理操作。

所以，3D场景分析系统(例如，场景分割)不是昂贵，就是被深度图像中出现的误差所负面地影响。

可以在视差图像上对与深度相关联的数据进行滤波。传统地，采用中值滤波处理异常误差。这种滤波器唯一的参数就是模板的尺寸(或者形状)。典型地使用3*3或5*5的方形模板。

尽管噪声去除能力随着模板的尺寸增加而增强，但是这是伴随着对细节的去除，连同在噪声存在时可能的边缘的位移。在图像分割的情况下，这可能导致不准确的分割，并且应该注意的是这一效果并不是均一的遍布在深度图像或遍布在视差图像上。

但是使用小的模板降低滤波的能力。如果噪声水平在统计上是显著的，其滤波只能是部分的。

因此，对滤波器尺寸的选择是在像差的去除和图像变形之间的权衡。这个选择是留给用户的，而且没有用于自动确定“最佳”值的方法。

在命名为“使用来自用于重型设备操作的距离成像摄像机的距离数据的快速3D目标检测和建模”(Rapid 3D object detection and modeling using range data fromrange imaging camera for heavy equipment operation，作者Son，Kim和Choi，发表于“建设中的自动化”(Automation in Construction)，卷19，第898页至906页，Elsevier，2010))的文章中，作者提出了一种3D场景分割系统，其由飞行时间摄像机和处理软件组成，包括用于深度图像中的降噪、提取地面元素、分割目标以及创建目标包围体的连续步骤。这种方法的局限在于，系统要求使用飞行时间摄像机(它是昂贵的装置)，并且滤波操作按与传感器相关联的噪声类型而进行调整。滤波使用固定的模板，而不考虑信号的局部特征：3*3的均值差分滤波器结合0.6的固定阈值，用于滤除“丢失”(dropout)类型的异常值(没有被传感器接收到的波)；以及，3*3中值滤波器，用于修正斑点噪声。进一步，如上所述，固定的模板尺寸和固定的阈值不允许根据信号(特别是与3D方法的几何结构相关联的那些信号)的局部和实际特征来对信号的滤波/保留之间的权衡进行最优化。最后，分割的全局性方法使用允许精细分割的稠密的3D网格，但是它的计算时间始终很长，在秒的量级。

在三星电子(Samsung Electronics)提出的专利申请EP2541496(A2)“用于使用深度信息滤除深度噪声的方法、介质和装置”("Procédé,support et appareil pourfiltrer le bruit de profondeur utilisant les informations de profondeur")中，用于滤除深度噪声的方法可以根据深度信息执行空域或时域滤波。为了执行空域滤波，所述方法能够基于深度信息确定空域滤波器的特征。同样的，为了执行时域滤波，所述方法也能够基于深度信息确定一定数量的参照系。尽管这种解决方案根据要处理的区域的深度调整应用的滤波器的尺寸和系数，仍然存在缺点，尤其包括滤波器的特征没有考虑从摄像机光学中心至目标的距离。

在专利申请WO 2013079602(A1)“经由联合多边滤波的时空视差图像平滑”(Lissage de carte de disparité spatio-temporelle par filtrage multilatéralconjoint，作者Kauff P.等)中，旨在对视差图像D(p,t0)进行滤波的滤波器结构包括第一滤波器、第二滤波器以及滤波器选择器。第一滤波器是旨在根据集中趋势的第一测度对视差图像的特定部分进行滤波。第二滤波器是旨在根据集中趋势的第二测度对视差图像的特定部分进行滤波。滤波器选择器是提供用来选择第一滤波器或者第二滤波器以对视差图像的特定部分进行滤波，所述选择基于特定区域的至少一个局部性质。这种方法仅适用于视差图像，且取决于用于选择的滤波器的固定阈值的选取，而这是与物理或几何现实不一致的。

因此，在现有技术中不存在这样的解决方案，其允许在维持低系统成本的同时提高深度图像的质量，从而也允许在维持低系统成本的同时提高后续处理的质量。

进一步，不存在考虑了在原有光信号上进行的操作的几何现实的已知的方法。

于是需要有解决方案来克服已知的方法的缺陷。本发明解决这一需求。

发明内容

本发明的一个目的是提出用于对视差图像或深度图像的像差，使用自适应方法进行滤波的装置和方法。

所述提出的方法允许根据源自在光信号上执行的变换的几何现实的准则，对在其3D邻近区域中非空间相干的那些点进行局部滤波。

本发明的自适应滤波在现有方法上通过在整个3D空间上稳定滤波能力/细节的保留之间的权衡来改进，该权衡调整到可以由用户指定的值。

提出的噪声滤除方法在稠密深度图像或稠密视差图像上进行，能够提高后续处理操作(诸如，对观测的场景的自动分割，也就是，将场景自动分解为多个组成元素)的质量和效率。

本发明的装置可以插入处理链，以作为噪声深度图像或噪声视差图像的后处理和/或作为使用深度图像或视差图像的场景分析应用的预处理。

有利地，提出的解决方案的特点是：

-对3D数据的自适应滤波，考虑了数据的空间相干性和对原始信号(光波)进行的操作的几何现实；

-受控的系统成本，通过使用立体传感器；

-要求最小的计算资源和允许在标准的、廉价的计算体系结构上的实时调度的方法。

有利地，滤波参数是局部最优的，考虑了在光信号上的变换的几何现实。

因此，在滤波能力和细节的保留之间的权衡实现了自动管理，根据空间位置(空域均一性)来调整，并且只取决于一个直观的留给用户选择的参数，而且在讨论的整个3D空间中都有效。

有利地，本发明的滤波器的特征不仅取决于深度，也取决于从摄像机的光学中心到目标的的距离。

更一般地，滤波器参数的调整不是基于经验公式(在这种情况下是线性等式)，而是基于几何变换的现实。滤波器参数也动态地取决于数据的空间相干准则。

有利地，滤波器不是直接应用于数据以输出滤波的图像，但是提出的方法允许生成必须滤波的像素的图像，随后独立地处理这些像素。因此，不以任何方式对那些认为有效的像素进行修改。

本发明将在任何实时应用中都有用，致力于分析全部或部分3D场景，并且使用视差图像或深度图像作为输入。

涉及视频监视、视频保护或视频辅助，以及其应用涉及对场景内容的信息的反馈的各方，会认为本发明的方法有用。

为了获得期望的结果，提出了方法和设备。

特别地，一种用于对初始3D图像滤波的方法包括以下步骤：

-为与初始图像的每一个像素相关联的每一个3D点定义局部分析区域；

-基于对局部分析区域中的每个3D点测量的空间相干值，为与初始3D图像的像素的集合相关联的3D点的集合生成空间相干图像；

-基于对局部分析区域中的每个3D点测量的几何现实值，为与初始3D图像的像素的集合相关联的3D点的集合生成几何现实图像；

-基于空间相干图像和几何现实图像，生成二值图像，其中根据为这个点获得的空间相干值和几何现实值，把二值图像中的每一个点分类为场景点或噪声点；以及

-将二值图像与初始3D图像相结合以获得降噪图像。

有利地，局部分析区域S(P(u,v))由固定尺寸的3D体组成，所述3D体以与像素相关联的3D点的坐标P(u,v)为中心。

在一个实施方案中，对3D点测量空间相干值Cs(u,v)的步骤包括以下步骤：确定初始图像的像素集合，所述像素集合中的像素相关联的3D点包含在所述3D点的局部分析区域中；以及根据结果对所述3D点定义空间相干值。

在一个实施方案中，对与3D点相关联的像素测量几何现实值Rg(u,v)的步骤包括以下步骤：将局部分析区域投影至空的场景中；确定在其投影至空场景的图像中的局部分析区域中可见的3D点的集合；以及根据结果对所述像素定义几何现实值

在一个实施方案中，生成二值图像的步骤包括以下步骤：基于空间相干值和几何现实值，为每一个3D点生成滤波值；将得到的滤波值和与阈值进行比较；根据以上比较的结果，将3D点分类为场景点或噪声点；以及生成场景点和噪声点的集合的图像。

在一个实施方案中，初始图像是视差图像。在一个变形的实施方案中，初始图像是深度图像。

在实施方案中，局部分析区域从包含球形、立方体、箱形或圆柱体的表示、或3D网格表面表示、立体像素表示或代数表示的组中进行选择。

在一个实施方案中，几何现实值是预先计算的。

本发明也包括了一种用于对初始噪声图像滤波的装置，所述装置包括用于实施根据权利要求中所述的方法的步骤的装置。

本发明可以采用计算机程序产品的形式来实施，所述计算机程序产品包括在计算机上运行程序时，允许执行所要求保护的方法的步骤的代码指令。

附图说明

从以下参照附图，在支持本发明的一个优选但是非限制模式的实施方案的描述中，本发明的各个方面和优点将变得显然：

图1显示了根据本发明的一个实施方案的用于获得降噪图像的方法的步骤。

图2显示了根据本发明的一个实施方案的用于获得空间相干图像的方法的步骤。

图3显示了根据本发明的一个实施方案的用于获得几何现实图像的方法的步骤。

图4显示了根据本发明的一个实施方案的用于获得决策图像的方法的步骤。

图5显示了根据一个实施方案的本发明的滤波装置的功能模块。

图6显示了在一个本发明的实施方案中的六个局部模板的投影。

图7a至图7f显示了根据本发明的一个实施方案的在图1中的滤波方法的各个步骤中获得的图像。

具体实施方案

参考图1，其以总体的方式显示了本发明中允许得到降噪图像的方法(100)的步骤。这个方法开始于必须对表示场景的初始图像降噪时(102)。初始的3D图像可以使用立体视觉和3D数据处理技术得到，其中场景由在不同角度拍摄的一对图像所表示。

有利地，方法(100)可以应用于初始视差D或深度P图像。

已知的是，为了计算场景中的点的视差，必须具有该点在左图像和右图像中的两个投影的坐标。使用匹配算法以达到此目的，匹配算法旨在寻找图像中给定的点在另一幅图像中的对应点。一旦计算出来场景中的点的视差，就产生了场景的大量的对应点。

并且已知场景中点的视差‘d’与其相对于摄像机的深度‘z’是相关联的。这个关联由以下等式(1)定义：

z*d＝B*f [等式1]

由于已知‘B’是‘基线’或者是在摄像机的两个光学中心之间的距离，以及‘f’是焦点距离(对两个摄像机相同)，‘f’具有常数值，所以，视差‘d’的变化直接取决于在点和摄像机之间的距离‘z’的变化。

场景中的点的坐标(x,y,z)对应于具有坐标(u,v)和视差‘d’的像素，接下来，根据以下等式(2,3,4)来计算坐标(x,y,z)：

z＝B*f/d [等式2]

x＝(u-u0)*z/f [等式3]

y＝(v-v0)*z/f [等式4]其中(u0,v0)对应于图像中光学中心的投影的坐标。

类似地，在图像中的场景的目标的视表面的区域以及在目标可视部分的实际表面的区域之间存在关联。由目标到摄像机的光学中心的距离的大的变化会引起视差图像中目标的视表面的区域的本质变化。这一规律也适用于深度图像。此外，在使用如现有技术中的固定尺寸的滤波器(例如，中值滤波器)降噪的情况下，由于朝向中的变化太过巨大，处理会在图像的有限的区域进行滤波功能，但是在图像中的其他区域会滤波失败。

进一步，有利地，本发明提出了一种使用最佳阈值转换法的适用于3D数据的新的滤波方法。所述方法考虑了数据的空间相干性和在信号上进行的操作的几何现实。为了达到此目的，引入两种新的测量值：空间相干值Cs和几何现实值Rg。

遍及其余的描述，使用以下注释：

-对于深度图像：R(u,v)表示深度图像中坐标为u和v的像素，而P(u,v)表示所述像素相关联的坐标为(x,y,z)的3D点。

-对于视差图像：D(u,v)表示视差图像中坐标为u和v的像素，而P(u,v)表示所述像素相关联的坐标为(x,y,z)的3D点，坐标(x,y,z)根据等式(2,3,4)计算得到。

回到图1，接收初始视差图像或深度图像之后，所述方法使得基于初始图像生成两幅新图像：第一幅图像，称为空间相干图像(104)；以及第二幅图像，称为几何现实图像(106)。接下来，所述方法使得空间相干图像和几何现实图像结合以生成第三幅图像(108)，称为决策图像，将会参照图4对其进行详细描述。

在随后的步骤中，决策图像与初始图像相结合以生成被分析的场景的降噪图像(110)。

然后，降噪图像可以在场景分析方法中使用，诸如图像分割、背景提取、自动目标识别或多级检测。例如，本发明结合把场景分解为单独真实物体的3D分割方法，能够提供例如局部障碍检测。有利地，本发明的方法生成质量提高的降噪图像，能够改善分割操作的计算时间，计算时间在百分之一(1/100)秒的量级。

降噪图像也可以有利地用于提供视差图像或深度图像的简单的可视化，提高对于人类用户的阅读舒适度和解译容易程度。

图7a至图7f显示了根据本发明的一个实施方案的在图1中的滤波方法的各个步骤中获得的图像。

图2显示了图1的方法(104)的步骤，其使得在本发明的一个实施方案中生成空间相干图像。初始图像可以是视差图像或者，在一个变形的实施方案中初始图像可以是深度图像。

在第一个步骤(202)中，所述方法使得选择具有固定尺寸‘s’并且以点P(u,v)为中心的3D体的局部模板S(P(u,v))。尺寸‘s’是用户对将要分析的场景的元素所要求的体积粒度或精度。

可以采用模板‘S’的各种表示方式。

-基本的球形、立方体、箱形或圆柱体表示；

-3D网格表面表示；

-立体像素表示；或

-代数表示，诸如类型f(x,y,z)＝0的隐式曲面。

在下一步骤(204)中，所述方法使得确定其3D投影包含在选择的局部模板S(P(u,v))中的点的集合。

在下一步骤(206)中，根据所述实施方案，依据深度或依据视差对每一个坐标为(u,v)的像素，基于计数的点的数量进行空间相干性测量值的计算。本领域技术人员能够理解，像素周围的点的数量越大，空间相干性越好，反之亦然：像素周围的点的数量小标志着低的空间相干性，而低的空间相干性可以意味着所述像素代表噪声。

因此，空间相干准则C_s(u,v)构造为基于实际初始图像的像素的集合的函数ф(E)，与所述像素的集合相关联的3D点属于以P(u,v)为中心的选择的局部模板，诸如：

C_s(u,v)＝ф(E)，其中

-在深度图像的情况下E＝{R(u',v')，以使得P(u',v')∈S(P(u,v))}；以及

-在视差图像的情况下E＝{D(u',v')，以使得D(u',v')∈S(P(u,v))}。

在一个优选的实施方案中，空间相干性准则根据以下等式定义：

C_s(u,v)＝ф(E)＝Card(E) [等式5]，其中

所述‘Card’函数表示基数函数，也就是E的尺寸。

一旦对初始图像的所有像素计算了空间相干值，所述方法使得生成空间相干图像(208)。

图3显示了图1的方法(106)的步骤，基于可以是视差图像或者在一个变形的实施方案中可以是深度图像的初始图像，所述方法在本发明的一个实施方案中使得生成几何现实图像。

在第一个步骤(302)中，所述方法使得选择具有固定尺寸‘s’并且以点P(u,v)为中心的3D体的局部模板S(P(u,v))。在一个优选的实施方案中，为方法(104)和(106)选择的模板相同。

接下来所述方法使得，对每一个像素，局部模板投影至空的场景(304)。对位于2D图像的任意像素位置(u,v)的所有视差值或深度值，并且在预定义的函数范围内，以定义的视差(或深度，分别地)的函数的粒度执行投影步骤。因此，投影对应于所述“2D至3D”变换的几何现实。只要光学参数(每一个摄像机的内部校正、立体图像对的协同，立体头部在其环境中的高度和方向)保持不变，所述投影在系统的操作的期间内保持有效。

下一步骤(306)能够确定在投影的模板中出现的点(也就是，在空的场景中可见的点的集合)的数量，以能够在下一步骤(310)中对坐标为(u,v)的每一个像素，根据实施方案的模式依据深度或视差来计算几何现实的测量值Rg(u,v)。

因此，几何现实准则R_g(u,v)构造为基于与局部模板的可见的点相关联的有效像素(也就是，具有定义的视差或投影的像素)的集合的函数。

在一个优选的实施方案中，几何现实准则R_g(u,v)定义为这个集合的基数函数，并且对应于局部模板S(P(u,v))在模板在空的场景中的投影图像中的视表面的区域。

通过图示的方式，图6显示了对于球形模板，对于具有不同位置(u,v)和视差的点的六个投影。这个例子能够显示每一个局部模板的视表面的区域代表坐标为(u,v)的对应的点的几何现实。

可能有几何现实准则的两种实施方案：

-或者对每一个深度或者对每一个视差进行完整的预计算，并且存储上述结果。这种实施方案支持更短的处理链计算时间，但是需要存储空间；

-或者对每一个投影进行计算。这种实施方案支持更小的内存，但是需要更长的计算时间。

本领域技术人员能够领会变形的实施方案是可能的，诸如，例如利用压缩和减小的尺寸的存储进行预计算。这个变形需要解压缩计算以重新读取数据。

一旦对初始图像的所有像素计算了几何现实值，所述方法使得生成几何现实图像(312)。

图4显示了图1的方法(108)的步骤，其使得在本发明的一个实施方案中生成决策图像。一旦生成空间相干图像和几何现实图像，所述方法就开始。在第一步骤(402)中，所述方法使得基于空间相干准则‘Cs’和几何现实准则‘Rg’两个准则，定义滤波准则。滤波准则将能够区分像素是场景的点还是噪声点。将对深度图像(或视差图像，分别地)的每一个坐标为(u,v)的像素计算滤波准则。

滤波准则F(u,v)由结合了像素的空间相干值C_s(u,v)和几何现实值R_g(u,v)的函数‘F’规定，并且表示为：

F(u,v)＝F(C_s(u,v),R_g(u,v))

在一个实施方案中，根据以下等式，函数选择为C_s与R_g的幂的比值：

F(u,v)＝C_s(u,v)/(R_g(u,v))^α [等式6]，其中

使用参数α来管理在空间相干准则和几何现实准则两个准则之间的权衡。因此，α的值越高，准则中倾向于几何现实的程度越大。可以由用户来参数化α的规格，以使得α可以根据应用的目的不同而调整。

然而，默认特殊情况α＝1是本质相关的，并且使得滤波准则F固定为填充的程度，固定在相干区域内的激活的像素的百分比。

在随后的步骤(404)中，所述方法使得每一个点(u,v)的滤波准则的值与阈值相比较。如果准则的值低于定义的阈值(分支为否)，则将该点分类为噪声点(406)。如果准则的值高于定义的阈值(分支为是)，则将该点分类为属于场景的点(408)。

下一步骤(410)包括基于分类为‘场景’点或‘噪声’点的点的集合生成决策图像‘F_δ’。决策图像是二值图像，其代表初始数据(视差数据或深度数据)的掩膜以将估计为正确的数据的集合(其中点的值赋为‘1’)与估计为噪声的数据的集合(其中点的值赋为‘0’)分离。

当生成决策图像时，整体的方法(100)通过把原始图像(视差图像D(u,v)或者深度图像R(u,v))与决策图像F_δ结合，使得生成降噪图像(图1的步骤110)。于是所述两幅图像的结合取决于所考虑的应用。

在一个特殊的实施方案中，根据以下等式定义降噪图像：

在初始视差图像的情况下；

在初始深度图像的情况下，

其中

和

分别地表示视差(D)数据或者深度(R)数据的局部估计。

同样有利地，本发明所述的方法使得对于滤波的图像，或者保留像素的原始数值，或者用估计值来取代像素的原始数值。

在一个特殊的实施方案中，估计函数取固定的数值以使得：

(固定的数值)。

由于通过指定图像(深度图像或者视差图像)的像素为特定地可识别的数值‘K’来隔离所述指定图像的像素，本实施方案是有利的。一个这样的情景涉及优选不考虑初始的噪声的像素的应用。

在一个典型的实施方案里，对分解在N个比特上的信号，K＝0或K＝2^N-1，以不干扰所述像素的可能取值的范围。

如果K＝0，输出的像素的取值为：

D_f(u,v)＝D(u,v)*F_δ(u,v)，对于初始视差图像；以及

R_f(u,v)＝R(u,v)*F_δ(u,v)，对于初始深度图像。

在一个变形的实施方案中，估计函数

可以是在(u,v)的邻域中出现的(非噪声)数据D(u,v)或R(u,v)的局部内插。能够使用双线性差值或加权的中值类型的非线性操作。这种方法与稠密的和“平滑的”滤波的图像的获得相关，例如，对于可视化或者压缩的目的；确实，诸如判别式固定的K的非典型数值与熵编码不兼容。

图5图示地显示了本发明的装置(500)的一个实施方案的功能性模块，其用于实施图1所述的方法。所述装置包含模块(502)，其使得产生场景的初始3D视差图像或深度图像。在一个实施方案中，从廉价的校准的立体传感器观测所述场景，并且基于一对校正的图像构造视差图像(表示所述3D信息)。

模块(502)联接至用于生成空间相干图像的第一个图像生成模块(504)，并且联接至用于生成几何现实图像的第二个图像生成模块(506)。模块504和506包含能够实施参照图2和图3所描述的步骤的装置。

模块504和506的输出联接至用于生成滤波图像的第三个图像生成模块(508)。模块508的输出联接至用于生成决策图像的第四个图像生成模块(510)。模块508和510包含能够实施参照图4所描述的步骤的装置。

模块510的输出与模块502的输出结合，以输入到最后的图像生成模块(512)，模块(512)用于根据参照步骤110描述的原理生成降噪图像。

因此，装置500使得滤波应用至视差图像(或者深度图像)以去除自然来源的噪声，诸如，雨、强光、灰尘，或者与传感器相关的噪声，或者与视差计算相关的噪声。

本发明可以与3D场景分割方法相结合。降噪图像(由装置500输出)变换为点云，其中的点随后在l x h x p的单元格构成的3D栅格中量化。为了将通常由地面连接的障碍彼此断开，应用能够去除那些包含地面3D点的栅格的单元格的滤波器。随后使用现有技术已知的分割方法将其余的单元格空间地分割入连接的部分。例如，一种方法包括通过连接的空间迭代地聚集单元格。

通过应用本发明的滤波器，去除代表噪声的点对3D分割的性能有积极的影响。特别地，用于分割的滤波器的优点在于障碍经常由噪声点连接。在这种情况下，难以空间地分割多个障碍。进一步地，量化的优点在于障碍经常在视差图像中局部重建。因此，难以基于产生的点云重新连接同一个障碍的多个部分。最后，去除对应于地面的单元格的优点在于障碍经常由地面连接。因此断开这些连接是有意义的。

本领域技术人员能够理解给出的3D障碍探测器的例子只是场景分析的一个例子，以使得从本发明提出的视差图像降噪函数得到好处。然而，诸如本发明中提出的滤波的使用不局限于通过分割的方法搜索障碍。所述滤波的使用涉及任何用于基于噪声深度图像或噪声视差图像的场景的实时分析的系统。

该方法能够从硬件和软件元件中实施。软件元件可以以计算机可以读取的介质上的计算机程序产品的形式存在，其中的介质可以是电子的、磁性的、光学的或电磁的。

Claims (11)

1.一种用于对初始3D图像滤波的方法，包括以下步骤：

-为与初始图像的每一个像素相关联的每一个3D点定义局部分析区域；

-基于对局部分析区域中的每个3D点测量的空间相干值，为与初始3D图像的像素的集合相关联的3D点的集合生成空间相干图像，所述空间相干值与包含在所述点的局部分析区域中的3D点的数量相关；

-基于对与局部分析区域中的每个3D点相关联的像素测量的几何现实值，为与初始3D图像的像素的集合相关联的3D点的集合生成几何现实图像，所述几何现实值与在投影至局部分析区域的空的场景中的图像中可见的3D点的数量相关；

-基于空间相干图像和几何现实图像生成二值图像，其中根据为这个点获得的空间相干值和几何现实值，把二值图像中的每一个点分类为场景点或噪声点；以及

-将二值图像与初始3D图像相结合以获得降噪图像。

2.根据权利要求1所述的方法，其中定义局部分析区域S(P(u,v))的步骤包括定义以与像素相关联的3D点的坐标P(u,v)为中心的固定尺寸的3D体。

3.根据权利要求1或2所述的方法，其中对3D点测量空间相干值C_s(u,v)的步骤包括以下步骤：

-确定初始图像的像素集合，所述像素集合中的像素相关联的3D点包含在所述3D点的局部分析区域中；以及

-根据所述初始图像的像素集合对所述3D点定义空间相干值。

4.根据权利要求1或2所述的方法，其中对与3D点相关联的像素测量几何现实值R_g(u,v)的步骤包括以下步骤：

-将局部分析区域投影至空的场景中；

-确定在局部分析区域投影至空场景的图像中，局部分析区域中可见的3D点的集合；以及

-根据所述局部分析区域中可见的3D点的集合对所述像素定义几何现实值。

5.根据权利要求1所述的方法，其中，生成二值图像的步骤包括以下步骤：

-基于空间相干值和几何现实值，为每一个3D点生成滤波值；

-将得到的滤波值与阈值进行比较；

-根据比较的结果，将3D点分类为场景点或噪声点；以及

-生成场景点和噪声点的集合的图像。

6.根据权利要求1所述的方法，其中，初始图像是视差图像。

7.根据权利要求1所述的方法，其中，初始图像是深度图像。

8.根据权利要求1所述的方法，其中，从包含球形、立方体、箱形或圆柱体的表示、或3D网格表面表示、立体像素表示或代数表示的组中选择局部分析区域。

9.根据权利要求1所述的方法，其中，几何现实值是预先计算的。

10.一种用于对初始图像滤波的装置，所述装置包括用于实施根据权利要求1至9中任一项所述的方法的步骤的装置。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序包括代码指令，所述代码指令允许在计算机上运行所述程序时，执行根据权利要求1至9中任一项所述的方法的步骤。

Images