CN112634149B - 一种基于图卷积网络的点云去噪方法 - Google Patents

Abstract

本发明提供了一种基于图卷积网络的点云去噪方法，该方法引入图结构表示三维点云数据，在点的对偶空间中引入图卷积运算以提取点云模型中的几何信息，实现了对于神经网络轻量级的训练及推断过程。本发明中的网络架构采用了多尺度输入及动态边缘卷积EdgeConv模块，在保证置换不变性的同时提取多种尺度层级的局部几何信息，相比于在3D噪声空间中定义邻域，根据点的高维特征空间表示之间的相似性对图进行动态计算可以发掘出更复杂的潜在相关性，最终可以简单高效地达到高度特征保持的点云去噪效果。本发明将图卷积神经网络应用在点云的去噪问题上，通过动态图卷积实现有效的特征学习，在CAD模型和原始扫描模型等多个噪声数据集中均达到了最优的去噪效果。

Description

一种基于图卷积网络的点云去噪方法

技术领域

本发明属于计算机图形学领域，涉及一种基于图卷积网络的点云去噪方法，特别适用于对三维数据采集过程中的噪声与特征模糊进行处理。

背景技术

三维激光扫描是一种快速获取高精度点云的新技术，但由于受物体本身的构造、粗糙程度、纹理以及测量环境等因素的影响，获取的点云数据大多存在孤立的噪声点。为了获得逼真的三维网格模型，在对实测三维数据进行曲面重建之前必须对其进行去噪处理。三维模型的去噪技术受到二维图像去噪技术的很大启发，目前已经引入了各种低通和保留特征的滤波器来进行去噪处理，如应用最广泛的双边滤波器。但基于滤波的去噪有一个明显的缺点，即噪声程度过大时模型的几何特征被严重破坏，用滤波器难以恢复出来，特别是模型中的弱特征。另一类方法是基于优化进行点云去噪。但此类方法仅适用满足其几何假设的点云，并且对于具有不同特征的点云不能很好地概括噪声模式。

相比之下，基于学习的方法并未对模型几何特征或噪声模式做出特定假设，并且已成功应用于图像去噪。但是，与图像不同，3D点云通常是不规则的，因此基于图像的卷积运算不能直接适用。

发明内容

本发明的提出了一种基于图卷积神经网络(GCN)的点云去噪方法，通过在点云顶点的对偶空间上使用具有旋转不变性的图表示，进而通过动态图卷积网络实现有效的特征学习。本发明中的网络架构采用了多尺度输入及动态边缘卷积EdgeConv模块，在保证置换不变性的同时提取多种尺度层级的局部几何信息，相比于在3D噪声空间中定义邻域，根据点的高维特征空间表示之间的相似性对图进行动态计算，可以发掘出更复杂的潜在相关性，最终可以简单高效地达到高度特征保持的点云去噪效果。

本发明是通过以下技术方案来实现的：

一种基于图卷积网络的点云去噪方法，包括以下步骤：

步骤一：对噪声点云中每个顶点求在不同尺度层级的局部块，并采用法向张量投票算法对各尺度层级的局部块进行旋转对齐。其中，所述不同尺度层级的局部块由在以顶点为球心、不同半径的包围球内均匀采样顶点获得，尺度层级与包围球的半径一一对应。

步骤二：将步骤一对齐的局部块均转换为图表示，以每个顶点的不同尺度层级的局部块为一组数据共同输入至训练好的图卷积神经网络，所述图卷积神经网络包括K个图卷积模块、池化层及L₁层全连接(FC)层，K为尺度数，图卷积模块由L_d层EdgeConv层组成，其中，每个尺度层级的局部块分别输入至图卷积模块提取特征，K个提取的特征经过全连接层聚合预测出无噪声的局部坐标系下归一化的顶点坐标，再对点云模型的全局顶点坐标进行更新，得到去噪后的模型。

进一步地，所述步骤一通过以下子步骤来实现：

(1.1)对于选取的顶点v_i，以其为原点，按照不同尺度下的半径划定包围球，在各个包围球内均匀采样顶点作为局部块p_i中的点。

(1.2)定义对于该块中所有点v_i的法向投票张量T_i，并得到特征值和单位特征向量。

(1.3)根据1.2得到的特征向量构造一个旋转矩阵R_i，并将p_i中每个的点和法向与R_i ^-1相乘以生成旋转对齐后的局部块数据

进一步地，所述步骤1.1中，采用三种尺度，三种尺度对应的包围球半径分别为点云模型对角线长度的0.025倍，0.05倍及0.1倍，对应在包围球内均匀采样至局部块p_i中的点的数目分别为32，64，128。

进一步地，所述步骤二通过以下子步骤来实现：

(2.1)以每个顶点的不同尺度层级的局部块为一组数据，将每个尺度的局部块中顶点的坐标与法向特征信息迭代输入至对应的图卷积模块，进行动态边卷积处理，得到特征空间中最邻近的特征点。

(2.2)将2.1图卷积后学习到的特征通过全连接层聚合。

(2.3)特征聚合后由池化层进行对称性池化操作，选取最主要的特征预测偏移量，得到无噪声的局部坐标系下归一化的顶点坐标。

(2.4)将局部坐标系下的顶点坐标还原至全局坐标系下，最终对点云模型的全局顶点坐标进行更新，得到去噪后的模型。

进一步地，所述图卷积神经网络的训练数据集通过如下方法构建：

对数据集中无噪声模型的点云数据每个顶点以顶点为球心、固定半径(0.05倍点云模型对角线长度)划定包围球，并在包围球内均匀采样获得局部块；应用法向张量投票算法到每个顶点生成的局部块上，得到三个特征值λ₁,λ₂,λ₃。根据特征值将所有的数据中所有模型的局部块分为特征块和无特征块两组，均匀采样块数据构建成训练数据集。

本发明的突出贡献是：

本发明提出了一种基于图卷积网络(GCN)的特征保持的点云去噪方法。与先前的基于体素的表示进行特征学习或基于人为构造特征学习的点云去噪方法不同，本发明引入图结构表示三维点云数据，然后在点的对偶空间中引入动态边缘卷积运算。本发明采用图表示形式自然地提取三维点云模型中的几何信息，实现了对于神经网络轻量级的训练及推断过程。本发明中的网络架构采用了多尺度输入及动态边缘卷积EdgeConv模块，可以在未连接邻近点的潜在隐式联系中提取不同尺度特征，在保证置换不变性的同时充分学习数据的局部几何信息。

本发明将图卷积神经网络应用在点云的去噪问题上，通过动态图卷积实现有效的特征学习，在CAD模型和原始扫描模型等多个噪声数据集中均达到了最优的去噪效果。

附图说明

图1是本发明进行点云去噪的流程示意图。

图2是本发明的多尺度输入图卷积网络结构，右下角为EdgeConv层结构示意。

图3是本发明的点云去噪效果图。

图4是本发明的点云去噪后进行泊松重建得到的网格模型效果图。

具体实施方式

本发明提出了一种新的点云去噪方法，引入图卷积运算以自然地提取点云模型中的几何信息，同时，将不规则的点云块数据划分成多种尺度输入到图卷积网络中，使其能够全面获取点云信息，有效提高网络模型的性能。

图卷积网络已经被应用于处理非欧几里得结构。图卷积网络的早期工作需要静态图结构，因此无法扩展为具有变化拓扑的点云。对动态图卷积的最新研究表明，可变边缘可以表现得更好。本发明还利用动态图结构来有效地学习块中的几何特征，相比于在3D噪声空间中定义邻域，根据点的高维特征空间表示之间的相似性对图进行动态计算可以发掘出更复杂的潜在相关性，能够比其他现有的方法更好地捕获噪声下源模型的固有几何特征。

具体地，本发明对于点云数据的每个顶点v_i，按照不同尺度(即不同固定半径)划定包围球，分别提取不同尺度下包围球内的顶点作为该点、该尺度对应的局部块p_i，利用不同尺度的局部块共同预测无噪声的局部坐标系下归一化的顶点坐标。进而还原至全局坐标系下，最终对点云模型的全局顶点坐标进行更新实现去噪。具体包括如下步骤：

步骤一：对于选取的顶点v_i，按照其点云模型的0.025、0.05及0.1倍对角长度为固定半径分别划定包围球，将包围球内顶点进行均匀采样后得到该块p_i中的点。对于该块中所有点c_i的法向投票张量T_i，并得到特征值和单位特征向量。根据特征向量构造一个旋转矩阵R_i，并将p_i中每个的点和法向与R_i ^-1相乘以生成旋转对齐后的块数据

步骤二：将步骤一对齐的局部块转换为图表示，局部块中的点作为图中的顶点。以每个顶点的不同尺度层级的局部块为一组数据，将每个尺度的局部块中顶点的坐标与法向特征信息迭代输入至对应的EdgeConv模块，进行动态边卷积处理，得到特征空间中最邻近的特征点。将每个EdgeConv模块输出的特征通过全连接层聚合图卷积学习得到多尺度特征，然后进行对称性池化操作，选取出最主要的特征预测无噪声的局部坐标系下归一化的顶点坐标，即相对于带噪模型中对应点的偏移量。将局部坐标系下的顶点坐标进行对齐操作还原，得到全局坐标系下的顶点坐标更新点云，得到去噪后的模型。

图1说明了本发明中多个图卷积神经网络的去噪流程。下面，结合一个具体的实施例对本发明方法作进一步说明：

对于一个带噪声的点云模型，首先将输入点云的顶点集合定义为V＝{v_i}₁ ^Nv，其中N_v表示点云模型的顶点数。对于选取的点v_i，分别按照点云模型的0.025、0.05及0.1倍对角长度L_diag为固定半径划定包围球，分别均匀采样32，64，128个对应包围球内的顶点生成三种尺度的局部块数据p_i。对于任一尺度层级，其点云中所有局部块经下述方式进行处理：

其中点云中所有局部块的集合被定义为P＝{p_i}₁ ^Nv，p_i应该满足：

其中，r为所选取点v_i上对应尺度包围球的半径，r＝α×L_diag，α∈{0.025,0.05,0.1}。

本发明优选实施例中，针对旋转变换的对齐操作，由于特定尺度层级下的网络输入是局部坐标系下点的位置及法向值，故其对于全局平移具有不变性，但如果进行了全局旋转操作，就得到了完全不同的特征信息。由于深层学习方法很难学习空间变换，为了防止处于不同位置却具有相同几何特征的块对图卷积网络带来影响，本发明使用法向张量投票算法将所有的局部块对齐到一个公共坐标系中使其具有旋转不变性。具体如下：

首先构建平移矩阵，将点v_i变换为局部坐标系原点(0，0，0)，然后将局部块归一化为单位包围球。对于对应局部块中所有点v_i的法向投票张量T_i，得到特征值和单位特征向量。根据特征向量构造一个旋转矩阵R_i，并将p_i中每个的点和法向与R_i ^-1相乘以生成旋转对齐后的块数据

一个投票张量T_i对于点v_i的定义如下：

其中μ_j＝exp(-||v_j-v_i||/σ)，σ为参数，本实施例中设置为1/3，并且n_j'是v_j的投票法向量：n_j'＝2(n_j·w_j)w_j-n_j，其中w_j＝normalize{[(v_j-v_i)×n_j]×(v_j-v_i)}。由于T_i是一个半正定矩阵，可以通过其谱分解表示为：

其中λ₁≥λ₂≥λ₃是其特征值，e₁，e₂和e₃是对应的单位特征向量，它们构成了一组正交基。

之后构造旋转矩阵R_i＝[e₁，e₂，e₃]，并将p_i中每个点v_i和法向与R_i ^-1相乘以生成新的块

之后引入图结构表达每个对齐的块作为图卷积网络的输入。建立一个无向图G＝(Q，E，Φ)，其中为块

中的每个点v_i创建一个图上节点q_i∈Q，和一个边e＝(q_i,q_j)∈E如果对应的点v_i和v_j相邻。Φ表示节点特征，包含一组节点属性。对于点v_i对应

v_i和

分别指对齐后点v_i的坐标和法向。

本发明的图卷积神经网络采用多尺度输入架构，如图2所示。因为很多情况下在一种尺度中不容易获取的特征在另外的某种尺度下更容易提取，所以多尺度技术能有效提高网络模型的性能。本发明的图卷积网络包含与尺度数一致的卷积模块数，将获得的每个尺度对应的特征输入至对应的卷积模块中，在卷积模块的每一层中，类似于传统的卷积网络，GCN会汇总每个节点的相邻节点的特征并进行更新，也被称为卷积操作。由于每个局部块对应的图结构具有较大的差异，本发明采取边缘条件卷积(Edge-Conditioned Convolution)策略处理卷积过程中不同的结构。令G_l＝(Q_l，E_l，Φ_l)是图卷积中的第l层，

是G_l中第i个节点的特征向量。通过以下方式更新节点特征：

这里Ψ是特征聚集，

网络中的每个图形卷积层有同样的Linear_Θ，表示包括批处理规范化(BN)和LeakyReLU激活函数的多层感知机(MLP)。

由于从几何图到连通性的映射不是一对一的函数，因此仅利用原始图结构可能会在卷积过程中导致某些信息丢失。本发明允许在卷积过程中连接不相邻的图节点以丰富图节点的接受域。这种图的转换称为动态边缘卷积(EdgeConv)。对于此方案，每个节点的邻节点都是根据节点的欧几里得距离由K近邻算法(KNN)动态计算而来，在本实施例的实现中设置K＝4。

如图2所示，本发明的网络体系结构由三个不同尺度特征对应的图卷积模块、池化层及全连接(FC)层组成，其中图卷积模块包含L_d层动态边缘卷积EdgeConv层，FC的层数为L₁。本实施例的实现中设置L_d＝4，L_l＝5。在图卷积模块的各层之后，将学习到的特征连接在一起，并将三个不同尺度下获得的特征聚合后进行池化(pooling)操作。本实施例中，将平均池化和最大池化都用作对称函数，以此来选择出最重要的特征。最后全连接层回归出1×3的向量，即本发明预测的顶点偏移量。除最后的全连接层外，本发明体系结构中的每一层都带有批处理规范化(BN)和LeakyReLU激活函数。

优选地，对于每个3D模型，生成不同级别和类型的噪声进行训练。本发明应用法向张量投票算法到数据集中无噪声模型的每个顶点生成的局部块上，得到三个特征值λ₁,λ₂,λ₃。对于每个模型将每个顶点的局部块分到四组：{p_i|λⁱ ₂<0.01∧λⁱ ₃<0.001}为表示平面区域的局部块，{p_i|λⁱ ₂>0.01∧λⁱ ₃<0.1}为表示边区域的局部块，{p_i|λⁱ ₃>0.1}为表示角区域的局部块，其余的为表示过渡区域的局部块。相对于其他平面及过渡区域，表示边区域和角区域的局部块数量较少，又进一步的分为两组：表示平面和过渡区域的无特征块集合，以及表示边和角区域的特征块集合。在这两组集合中对局部块均匀采样生成训练数据，以此平衡数据防止过拟合。

损失函数是网络输出和标准值

之间的MSE。此处

为真实无噪声模型中点v对应的点坐标，R为上文提到的对应的旋转矩阵。

本发明将图卷积神经网络应用在点云的去噪问题上，通过动态图卷积实现有效的特征学习，对比SOTA的方法Pcpnet(Marie-Julie Rakotosaona,Vittorio La Barbera,Paul Guerrero,Niloy J.Mitra,Maks Ovsjanikov.2020.PointCleanNet:Learning toDenoise and Remove Outliers from Dense Point Clouds.Comput.Graph.Forum 39(1):185-203)，达到了更优的去噪效果。

图3展示了本方法的从设备捕获的真实噪声的原始扫描点云的去噪结果，从左到右依次为输入的噪声模型，Pcpnet的去噪结果，本发明的去噪结果，原始的无噪声真值。图4为图3对应点云泊松重建得到的网格模型效果图。从图中可以看出，本发明方法实现的去噪结果更佳，可以简单高效地达到高度特征保持的点云去噪效果。

Claims (5)

1.一种基于图卷积网络的点云去噪方法，其特征在于，包括以下步骤：

步骤一：求噪声点云中每个顶点在不同尺度层级的局部块，并采用法向张量投票算法对各尺度层级的局部块进行旋转对齐；其中，所述不同尺度层级的局部块由在以顶点为球心、不同半径的包围球内均匀采样获得，尺度层级与包围球的半径一一对应；

步骤二：将步骤一对齐的局部块均转换为图表示，以每个顶点的不同尺度层级的局部块为一组数据共同输入至训练好的图卷积神经网络，所述图卷积神经网络包括K个图卷积模块、池化层及L₁层全连接层，K为尺度数，图卷积模块由L_d层EdgeConv层组成，其中，每个尺度层级的局部块分别输入至图卷积模块提取特征，K个提取的特征经过全连接层聚合从而预测出无噪声的局部坐标系下归一化的顶点坐标，再对点云模型的全局顶点坐标进行更新，得到去噪后的模型。

2.根据权利要求1所述的一种基于图卷积网络的点云去噪方法，其特征在于，所述步骤一通过以下子步骤来实现：

(1.1)对于选取的顶点v_i，以其为原点，按照不同尺度下的半径划定包围球，在各个包围球内均匀采样获得局部块；

(1.2)定义对于顶点v_i的法向投票张量T_i，并得到特征值和单位特征向量；

(1.3)根据(1.2)得到的特征向量构造一个旋转矩阵R_i，并将p_i中每个点的法向与R_i ^-1相乘以生成旋转对齐后的局部块数据

3.根据权利要求2所述的一种基于图卷积网络的点云去噪方法，其特征在于，所述步骤(1.1)中，采用三种尺度，三种尺度对应的包围球半径分别为点云模型对角线长度的0.025倍，0.05倍及0.1倍，对应在包围球内均匀采样至局部块p_i中的点的数目分别为32，64，128。

4.根据权利要求1所述的一种基于图卷积网络的点云去噪方法，其特征在于，所述步骤二通过以下子步骤来实现：

(2.1)以每个顶点的不同尺度层级的局部块为一组数据，将每个尺度的局部块中顶点的坐标与法向特征信息迭代输入至对应的图卷积模块，进行动态边卷积处理，得到特征空间中最邻近的特征点；

(2.2)将步骤(2.1)图卷积后学习到的特征通过全连接层聚合；

(2.3)特征聚合后由池化层进行对称性池化操作，选取最主要的特征预测偏移量，得到无噪声的局部坐标系下归一化的顶点坐标；

(2.4)将局部坐标系下的顶点坐标还原至全局坐标系下，最终对点云模型的全局顶点坐标进行更新，得到去噪后的模型。

5.根据权利要求1所述的一种基于图卷积网络的点云去噪方法，其特征在于，所述图卷积神经网络的训练数据集通过如下方法构建：

对数据集中无噪声模型的点云数据中每个顶点以顶点为球心、固定半径划定包围球，并在包围球内均匀采样获得局部块；应用法向张量投票算法到每个顶点生成的局部块上，得到三个特征值λ₁,λ₂,λ₃；根据特征值将所有的数据中的局部块分为特征块和无特征块两组，均匀采样块数据构建成训练数据集。

Images