CN107845073A - 一种基于深度图的局部自适应三维点云去噪方法 - Google Patents

Abstract

本发明公开了一种基于深度图的局部自适应三维点云去噪方法，包括：对每个深度图进行三角化，得到深度图中每个像素点的相邻点，将像素点与它的相邻点连在一起组成三角形，根据深度图中每个像素点到其相邻点的空间距离的平均值，得到每个像素点的尺度；选取每个深度图的相邻视图，依次选取深度图中的每个像素点作为参考点，得到参考点的邻居点；根据参考点与邻居点之间的距离、参考点与邻居点之间的法向以及参考点的尺度，得到参考点的几何一致性函数、邻居点的加权函数的和、参考点的颜色一致性函数；根据阈值标记参考点，将所有被标记为过滤的参考点删除，得到过滤后的深度图的三维点云。本发明速度快、局部自适应能力强、去噪效果和鲁棒性好。

Description

一种基于深度图的局部自适应三维点云去噪方法

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于深度图的局部自适应三维点云去噪方法。

背景技术

以深度图为基础的三维重建方法在精确度和鲁棒性方面已经取得了很大的进展，在许多方面都有了很多应用。这些方法的一个明显的缺点是很容易产生异常值点(outliers)和噪声，因此得到的点云通常质量不佳。即使当前最先进的表面重建方法也经常无法从这种点云中得到有效的结果。为了得到良好的三维重建模型，出现了许多控制噪声和异常值点的方法，主要有三种类型。

第一种方法是在多视图立体重建时对重建的深度图进行优化，这个过程常被集成到深度的估计过程中。Furukawa等人使用基于重建质量和可见性方法的滤波器来融合点云并控制误差和重建质量的变化。Wu等人首先使用一个基于可见性线索的指示函数来除去异常值点，然后在不同视图之间施加可见性一致约束。等人基于颜色一致性和几何一致性支持集为像素点定义了一个有向图，然后在这个有向图里寻找一致的像素点的聚类，并融合这个聚类里的点。寻找聚类非常耗时，不容易并行化，而且这个方法使用的颜色一致性和几何一致性因子是它的重建方法里独有的，因此应用受到限制。为了适应之后的表面重建过程，附加的异常值点去除步骤依然是必要的。

第二种方法是独立于多视图重建过程，直接对多视图立体重建产生的深度图或点云进行去噪和异常值点过滤。Sun等人观察到物体的表面除了一些尖锐的细节外都是光滑的，提出了一种使用L₀范数最小化来保留尖锐细节的点云去噪算法。Wolff等人使用深度图作为输入，将空间点投影到其他深度图里，使用深度图所代表的物体表面来检验空间点与其他视图之间的几何一致性和颜色一致性，这种方法速度很快，但使用全局的绝对距离，没有局部自适应性，去噪效果和鲁棒性较差。

第三种方法是在表面重建时使用某种机制来适应不同质量的点云。有一类方法使用滑动最小二乘法(MLS，moving least-squares)控制噪声和异常值点。它们中的一些方法使用点云的局部密度适应不同采样率下重建出的点。Poisson表面重建方法将表面重建转换为一个空间泊松问题，估计出一个平滑后的表面指示函数。此方法也估计局部的点云密度，并以此来确定每个点的权重。然而由于数据的冗余性，点云的密度与采样分辨率并不完全等同，因此这些方法的局部自适应性不强，并且无法控制异常值点的影响。

由此可见，现有的点云去噪方法存在速度慢、局部自适应能力差、去噪效果和鲁棒性较差的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度图的局部自适应三维点云去噪方法，由此解决现有的点云去噪方法存在速度慢、局部自适应能力差、去噪效果和鲁棒性较差的问题。

为实现上述目的，本发明提供了一种基于深度图的局部自适应三维点云去噪方法，包括：

(1)对每个深度图进行三角化，得到深度图中每个像素点的相邻点，将像素点与它的相邻点连在一起组成三角形，根据深度图中每个像素点到其相邻点的空间距离的平均值，得到每个像素点的尺度；

(2)选取每个深度图的相邻视图，依次选取深度图中的每个像素点作为参考点，将参考点投影到相邻视图得到投影点，如果投影点落到三角化后的深度图的一个三角形里，这个三角形的三个顶点就是参考点的邻居点；

(3)根据参考点与邻居点之间的距离、参考点与邻居点之间的法向以及参考点的尺度，得到参考点的几何一致性函数、几何一致性函数的几何阈值、邻居点的加权函数的和、邻居点的加权函数的和的权重阈值、参考点的颜色一致性函数以及颜色一致性函数的颜色阈值；

(4)当参考点的颜色一致性函数小于颜色阈值、参考点的几何一致性函数小于几何阈值且邻居点的加权函数的和大于权重阈值时，参考点被标记为保留，否则参考点被标记为过滤，将所有被标记为过滤的参考点删除，得到过滤后的深度图的三维点云。

进一步的，步骤(2)包括：

(2-1)从深度图中选取第一个参考视图，根据SFM算法计算参考视图与其他深度图之间共有的SFM稀疏点的数量；

(2-2)对于参考视图，将它与其他深度图共有的SFM稀疏点数量进行排序，将SFM稀疏点数量最多的前C个深度图作为参考视图的相邻视图；

(2-3)从深度图中选取第二个参考视图，重复步骤(2-1)-(2-2)，直至每个深度图都找到C个相邻视图；

(2-4)从参考视图中依次选取参考点，将参考点投影到参考视图的第一个相邻视图里，得到参考点投影在第一个相邻视图里的投影点，通过投影点的相邻点得到投影点所在的三角形，将三角形的三个顶点，作为参考点的邻居点；

(2-5)更换相邻视图，重复步骤(2-4)，直至参考点投影到C个相邻视图里，最终得到参考点的所有邻居点。

进一步的，步骤(2-4)的具体实现方式为：

从参考视图中依次选取参考点，将参考点投影到参考视图的第一个相邻视图里，得到参考点投影在第一个相邻视图里的投影点及其二维坐标；如果二维坐标为正数，二维坐标中的横坐标小于等于投影视图的宽且纵坐标小于等于投影视图的高，则二维坐标合法，通过投影点的相邻点得到投影点所在的三角形，将三角形的三个顶点，作为参考点的邻居点。

进一步的，几何一致性函数为：

其中，F(x)为几何一致性函数，i表示邻居点的总数，f_i表示参考点到邻居点的局部距离的度量，w_i表示邻居点的加权函数。

进一步的，邻居点的加权函数为：

w_i＝wd_i·wn_i

其中，wd_i是距离权重函数，wn_i是法向权重函数。

进一步的，颜色一致性函数为：

其中，E(p)为颜色一致性函数，c为参考点的颜色，c′为根据颜色一致性函数的距离权重函数和颜色一致性函数的法向权重函数得到的颜色。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明将深度图三角化后得到点的尺度信息和连接信息，通过将点投影到深度图里寻找邻居点，并使用局部支持的函数保证参与计算的邻居点确实与参考点临近，不需要将三维空间进行离散化，有效减小了时间复杂度和空间复杂度；

(2)本发明使用点的尺度计算一致性函数，能够分辨不同质量的三维点，具有局部的自适应性，使距离和颜色的估计更精确可靠，提高了去噪方法的精确性和鲁棒性。

附图说明

图1是本发明实施例提供的一种基于深度图的局部自适应三维点云去噪方法的流程图；

图2是本发明实施例提供的使用投影寻找邻居点的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1展示了本发明的总体流程图。本发明通过将参考点投影到三角化后的深度图里来寻找空间邻居点，快速高效；使用点的尺度计算有局部自适应能力的几何一致性和颜色一致性函数，可以提高去噪的精度，保留物体的尖锐特征。具体实施方式如下：

(1)深度图的三角化和尺度的计算：对每个深度图进行三角化，得到深度图中每个像素点的相邻点，将相邻点连在一起组成三角形，根据深度图中每个像素点到其相邻点的空间距离的平均值，得到每个像素点的尺度，该点的尺度代表该点的采样分辨率。一个有尺度和法向的空间点代表了空间中的一个有限表面，这个表面是真实物体表面的采样；

(2)进行视图选择：每个深度图有与其相邻的视图，这些视图之间有共有的场景，由于不相邻的视图之间场景重合很少，投影到不相邻视图也是无意义的，因此在进行点到深度图的投影时，只投影到相邻视图的深度图里，可以在保证质量的情况下提高速度。选取每个深度图的相邻视图。

(3)通过投影寻找邻居点：根据多视图三维重建的Structure from Motion(SFM)算法得到相机参数，依次选取深度图中的每个像素点作为参考点，使用相机参数将参考点投影到相邻视图得到投影点，如果投影点落到三角化后的深度图的三角形里，三角形的三个顶点就是参考点的邻居点。通过将参考点投影到深度图的所有相邻视图里，可以得到所有的邻居点，

(4)通过邻居点计算参考点的局部自适应几何一致性函数：为每一个邻居点设置一个局部支持的函数f_i和一个局部支持的加权函数w_i。两者均是参考点与邻居点之间的距离的函数，并以邻居点的尺度和法向为参数。f_i代表了参考点到邻居点的局部距离的度量，w_i代表了这个邻居点的重要程度。通过w_i求得f_i的加权和，即为参考点的几何一致性函数；我们设置的函数都是局部支持的，即距离过远的点不参与计算，而判断距离是否过远，与邻居点的尺度有关，这样可以保证局部自适应；

(5)通过邻居点计算参考点的局部自适应颜色一致性函数：我们通过参考点与邻居点之间的颜色差别来判断参考点是否为噪声或异常值点，我们设置了一个局部自适应的对邻居点颜色的加权函数，将加权得到的颜色与参考点的颜色进行对比，可以得到参考点的局部自适应的颜色一致性度量；

(6)判断是否过滤：在为一个参考点计算出几何一致性函数和颜色一致性函数后，为它们设立局部自适应的阈值，判断是否将此参考点过滤掉，设置是否过滤的标记，阈值的设置进一步保证了局部自适应性；

(7)重复步骤：更换参考点，重复步骤(3)-(6)，直至所有的点都被标记；

(8)点的过滤：将所有被标记为过滤的点删除，输出过滤后的三维点云。

本发明实施例优选的，所述步骤(2)具体包括：

(2.1)使用Structure from Motion算法得到的SFM稀疏点作为寻找相邻视图的标准，从深度图中选取第一个参考视图，计算参考视图与其他深度图之间共有的SFM稀疏点的数量；

(2.2)对于参考视图，将它与其他深度图共有的SFM稀疏点数量进行排序，寻找SFM稀疏点数量最多的前C个深度图作为参考视图的相邻视图；

(2.3)从深度图中选取第二个参考视图，重复(2.1)-(2.2)步骤，直至每个深度图都找到C个相邻视图。

本发明实施例优选的，所述步骤(3)具体包括：

(3.1)使用相机参数将参考点投影到参考视图的第一个相邻视图里，得到参考点投影在第一个相邻视图里的投影点及其二维坐标；

(3.2)判断投影点的二维坐标是否合法，如果二维坐标为负数，或者二维坐标中的横坐标大于投影视图的宽，或者二维坐标中的纵坐标大于投影视图的高，则二维坐标不合法。如果二维坐标为正数，二维坐标中的横坐标小于等于投影视图的宽且纵坐标小于等于投影视图的高，则如图2所示，二维坐标合法，通过投影点的相邻点得到投影点所在的三角形，得到三角形的三个顶点，作为参考点的邻居点。如果坐标不合法或者找不到三角形，执行步骤(3.3)。

(3.3)更换相邻视图，重复(3.1)-(3.2)步骤，直至参考点投影到C个相邻视图里，最终得到参考点的所有邻居点。

本发明实施例优选的，所述步骤(4)具体包括：

(4.1)对于参考点的一个邻居点，为这个邻居点设置一个原点在邻居点上，x轴正向与法向重合的局部坐标系，计算参考点在这个局部坐标系里的坐标，

(4.2)根据局部坐标系和邻居点的尺度得到局部支持的函数f_i和局部支持的加权函数w_i，为了让这些函数有局部自适应性，我们保证f_i的积分为1，但范围由邻居点的尺度确定，局部支持的函数f_i计算的距离是一种相对的距离，可以保证不同尺度下的距离的统一度量，提高精确度。

为了保证函数的局部性，并对更近的点设置更大的权重，设置了一个局部支持的加权函数w_i，本发明实施例优选的，w_i的定义如下：

w_i＝wd_i·wn_i

其中wd_i是距离权重函数，随着距离的增大而降低，保证距离相近的点可以得到更高的权重；wn_i是法向权重函数，度量参考点与邻居点之间的法向的相似性，保证法向相似的点的权重更大，可以提高方法的鲁棒性。

(4.3)更换邻居点重复(4.1)-(4.2)步骤，直至所有的邻居点都参与了计算；

(4.4)用加权函数w_i计算所有函数f_i的加权和，得到参考点的局部自适应几何一致性函数F(x)，i表示邻居点的总数，计算所有加权函数w_i的和W(x)：

本发明实施例优选的，所述步骤(5)具体包括：

(5.1)对于参考点的所有邻居点，通过参考点与邻居点之间的距离和法向差异计算邻居点颜色的权重函数，本发明实施例优选的，颜色一致性函数的距离权重函数W_c(p_i)和颜色一致性函数的法向权重函数W_s(p_i)，定义与wd_i和wn_i相似。

(5.2)通过颜色一致性函数的距离权重函数W_c(p_i)和颜色一致性函数的法向权重函数W_s(p_i)求所有邻居点颜色的加权和，计算出一个颜色c′，本发明实施例优选的，c′的定义如下：

其中，K(p)为归一化函数，c(p_i)为第i个邻居点的颜色。

(5.3)将参考点的颜色c与计算得到的颜色c进行比较，计算两者的差别，即为颜色一致性函数E(p)：

本发明实施例优选的，所述步骤(6)具体包括：

(6.1)对几何一致性函数设立几何阈值T_p，其与参考点的尺度有关，可以自适应地过滤不同质量的点，保证方法的局部自适应性。

为了提高过滤效果，本发明实施例优选的，为W(x)设置权重阈值α。

(6.2)对颜色一致性函数设立颜色阈值ε，由于颜色一致性函数E(p)的计算具有自适应性，因此本发明实施例优选的，将ε设置为常数；

本发明实施例优选的，所述步骤(7)具体实施是：同时满足以下条件的点将会被保留：

-T_p＜F(x)＜T_p，W(x)＞α，E(p)＜ε

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度图的局部自适应三维点云去噪方法，其特征在于，包括：

(1)对每个深度图进行三角化，得到深度图中每个像素点的相邻点，将像素点与它的相邻点连在一起组成三角形，根据深度图中每个像素点到其相邻点的空间距离的平均值，得到每个像素点的尺度；

(2)选取每个深度图的相邻视图，依次选取深度图中的每个像素点作为参考点，将参考点投影到相邻视图得到投影点，如果投影点落到三角化后的深度图的一个三角形里，这个三角形的三个顶点就是参考点的邻居点；

(3)根据参考点与邻居点之间的距离、参考点与邻居点之间的法向以及参考点的尺度，得到参考点的几何一致性函数、几何一致性函数的几何阈值、邻居点的加权函数的和、邻居点的加权函数的和的权重阈值、参考点的颜色一致性函数以及颜色一致性函数的颜色阈值；

(4)当参考点的颜色一致性函数小于颜色阈值、参考点的几何一致性函数小于几何阈值且邻居点的加权函数的和大于权重阈值时，参考点被标记为保留，否则参考点被标记为过滤，将所有被标记为过滤的参考点删除，得到过滤后的深度图的三维点云。

2.如权利要求1所述的一种基于深度图的局部自适应三维点云去噪方法，其特征在于，所述步骤(2)包括：

(2-1)从深度图中选取第一个参考视图，根据SFM算法计算参考视图与其他深度图之间共有的SFM稀疏点的数量；

(2-2)对于参考视图，将它与其他深度图共有的SFM稀疏点数量进行排序，将SFM稀疏点数量最多的前C个深度图作为参考视图的相邻视图；

(2-3)从深度图中选取第二个参考视图，重复步骤(2-1)-(2-2)，直至每个深度图都找到C个相邻视图；

(2-4)从参考视图中依次选取参考点，将参考点投影到参考视图的第一个相邻视图里，得到参考点投影在第一个相邻视图里的投影点，通过投影点的相邻点得到投影点所在的三角形，将三角形的三个顶点，作为参考点的邻居点；

(2-5)更换相邻视图，重复步骤(2-4)，直至参考点投影到C个相邻视图里，最终得到参考点的所有邻居点。

3.如权利要求2所述的一种基于深度图的局部自适应三维点云去噪方法，其特征在于，所述步骤(2-4)的具体实现方式为：

从参考视图中依次选取参考点，将参考点投影到参考视图的第一个相邻视图里，得到参考点投影在第一个相邻视图里的投影点及其二维坐标；如果二维坐标为正数，二维坐标中的横坐标小于等于投影视图的宽且纵坐标小于等于投影视图的高，则二维坐标合法，通过投影点的相邻点得到投影点所在的三角形，将三角形的三个顶点，作为参考点的邻居点。

4.如权利要求1-3任意一项所述的一种基于深度图的局部自适应三维点云去噪方法，其特征在于，所述几何一致性函数为：

<mrow> <mi>F</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;Sigma;</mi> <mi>i</mi> </msub> <msub> <mi>w</mi> <mi>i</mi> </msub> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msub> <mi>&amp;Sigma;</mi> <mi>i</mi> </msub> <msub> <mi>w</mi> <mi>i</mi> </msub> </mrow> </mfrac> </mrow>

其中，F(x)为几何一致性函数，i表示邻居点的总数，f_i表示参考点到邻居点的局部距离的度量，w_i表示邻居点的加权函数。

5.如权利要求4所述的一种基于深度图的局部自适应三维点云去噪方法，其特征在于，所述邻居点的加权函数为：

w_i＝wd_i·wn_i

其中，wd_i是距离权重函数，wn_i是法向权重函数。

6.如权利要求1-3任意一项所述的一种基于深度图的局部自适应三维点云去噪方法，其特征在于，所述颜色一致性函数为：

<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mo>|</mo> <mi>c</mi> <mo>-</mo> <msup> <mi>c</mi> <mo>&amp;prime;</mo> </msup> <mo>|</mo> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <mo>|</mo> <mi>c</mi> <mo>|</mo> <mo>|</mo> </mrow> </mfrac> </mrow>

其中，E(p)为颜色一致性函数，c为参考点的颜色，c′为根据颜色一致性函数的距离权重函数和颜色一致性函数的法向权重函数得到的颜色。