CN110930334A - 一种基于神经网络的网格去噪方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的网格去噪方法，所述方法包括下列步骤：采用固定参数的引导法向滤波进行预滤波操作，提取预滤波后的网格模型的二邻域平面法向生成图像矩阵，并利用法向张量投票进行针对刚性变换与图像旋转的对齐操作，构建数据集并训练神经网络；在运行去噪阶段，将带噪网格预滤波后生成的图像矩阵输入训练过的网络模型中，利用旋转矩阵还原出新的法向作为引导法向，更新法向与顶点信息得到去噪后的网格模型。本发明将神经网络应用在三维网格的去噪问题上，通过将面法向映射为图像矩阵，最终可以简单高效地达到高度保持特征的网格去噪效果。

Description

一种基于神经网络的网格去噪方法

技术领域

本发明属于计算机图形学领域，涉及一种基于神经网络的网格去噪方法，特别适用于对三维数据采集过程中的噪声与特征模糊进行处理。

背景技术

三角网格是计算机图形学、计算机视觉以及虚拟现实等领域中几何对象的基本表示模型。在获取网格曲面数据的过程中，由于采集设备、环境等因素的影响，所获取的网格曲面，不可避免地存在着误差。所以，大部分网格曲面均含有不同程度的噪声，这不仅无法客观反映数据中的真实信息，还对后续处理与计算造成影响。因此，三角网格曲面的去噪对获取高质量的网格数据是非常必要的。

早期基于滤波器的去噪方案在网格去噪的顶点位置应用拉普拉斯平滑等各向同性算法。尽管这些方法能够降低噪声，但它们平滑了尖锐的表面特征。为了在保留表面特征的同时去除噪声，通常采用各向异性方法。最近的一些方法在平面法向上应用了平均移位滤波器或双边滤波器，然后用滤波的平面法向量更新网格模型。引导法向滤波技术在联合双边滤波器中使用可靠的导向法线可以从具有相对大的输入噪声的网格模型中消除噪声，但是其需繁琐的人工调参步骤，且仍会丢失部分几何特征。还有一些去噪方案，利用包括二次拟合在内的各种技术从噪声输入中检测几何特征，如L1近似值和法向方差聚类，然后分别将不同的滤波器应用于特征部分和非特征部分。即使利用二次拟合等技术能够保留网格曲面的强几何特征，但其缺点是会平滑掉网格曲面的细微特征。基于优化的去噪算法可以恢复最匹配输入和由噪声的某些先验定义、底层表面几何特征的约束条件的网格，如高斯噪声或独立同分布噪声，其去噪是自动的，但它们很难推广到具有不同噪声模式和几何特征的网格，因为一些假设可能在真实场景中破坏。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于神经网络的网格去噪方法，利用神经网络自动地学习网格表面特征到真实法向间的映射关系，进行高效的网格去噪，简化迭代方法中针对不同几何特征的网格进行的参数调整步骤，同时保持更多的几何特征。

本发明的目的是通过以下技术方案来实现的：一种基于神经网络的网格去噪方法，包括以下步骤：

步骤一：采用固定参数的引导法向滤波对用于训练的带噪网格模型进行预滤波操作；

步骤二：提取步骤一预滤波后的网格模型的二邻域平面法向，构造法向张量T，同时利用法向张量投票对预滤波后的网格模型进行刚性变换与图像旋转的对齐操作，对齐后生成图像矩阵，并构建数据集；所述数据集为64×64×4大小的图像矩阵与中心面片1×3大小的法向构成的训练对。

步骤三：将步骤二得到的训练对中的图像矩阵作为输入，中心面片的法向值作为输出，以最小化损失函数为目标函数训练神经网络，训练完成得到去噪神经网络模型；

步骤四：在运行去噪阶段，获取需要去噪的带噪网格模型，执行步骤一获得预滤波后的网格模型；执行步骤二生成图像矩阵；将生成的图像矩阵输入步骤三得到的去噪神经网络模型中，去噪神经网络模型输出预测的中心面片的法向值，利用对齐操作中的旋转矩阵将预测的中心面片的法向值还原出新的平面法向；

步骤五：将还原出的新法向作为引导法向，更新步骤四中预滤波后的网格模型的法向与顶点信息得到去噪后的网格模型。

进一步地，所述步骤一采用的引导法向滤波方法先滤波小平面法线，然后更新顶点位置。固定参数设置为：空间域高斯函数标准差σ_s为1个平均边长，值域高斯函数标准差σ_r为0.20，顶点迭代次数与法向迭代次数均设置为10次。

进一步地，所述步骤二的图像矩阵为64×64像素大小的4维特征向量(n_x,n_y,n_z,t)，n_x,n_y,n_z是像素点对应面片的具有旋转不变性的三个法向值，t是标记是否为中心面片的数值，若当前像素为中心面片则标记值为1.0，否则为0。

进一步地，所述步骤二的利用法向张量进行刚性变换的对齐操作具体为：

假设预滤波后的网格模型的面片块对应的d个法线为：{m₁,…,m_d}，构造法向张量T：

T的三个特征向量e₁,e₂,e₃定义了将特征向量对齐的旋转矩阵R的坐标轴，将每个m_j与R^-1相乘获得每个面片的具有旋转不变性的法向值(n_x,n_y,n_z)。

进一步地，所述步骤二的图像旋转的对齐操作具体为：

将预滤波后的网格模型的每个面片的二邻域面片顶点的坐标信息做仿射变换，乘旋转矩阵R并平移到以中心面片质心位置为原点的局部坐标系下；再将生成的d个法向值映射在法向张量T的后两个特征向量e₂、e₃定义的二维坐标平面上，完成图像数据的对齐操作。

进一步地，所述步骤三中，神经网络选取U-Net神经网络模型，损失函数L(θ)设置为网络输出法向和原始法向的余弦值取负再归一化到[0,1]的误差函数加上L2范数正则项：

其中，X_i、Y_i分别为选取的所述训练对中的图像矩阵和原始平面法向，θ表示权重，n表示图像矩阵与原始法向构成的训练对的个数，λ表示正则系数，F函数表示训练的输入图像矩阵到原始平面法向的映射。

本发明的有益效果是，本发明将处理二维图像的神经网络应用到网格去噪中，利用神经网络自动地学习网格表面特征到真实法向间的映射关系，进行高效的网格去噪，简化网格去噪的迭代方案中针对不同几何特征的网格进行的参数调整步骤，在去除噪声的同时保持了更多的几何特征。

附图说明

图1为本发明基于神经网络的网格去噪方法的流程图；

图2为三角网格曲面数据结构示意图；

图3为本发明优选实施例的基于神经网络的网格去噪的流程示意图；

图4a为原始的fandisk模型；

图4b为通过将标准差为0.3倍平均边长的高斯噪声沿顶点法线添加到原始网格顶点产生的带噪的fandisk模型；

图4c为经典的双边网格滤波对fandisk模型网格去噪的效果图；

图4d为非局部相似性低秩矩阵恢复方法对fandisk模型网格去噪的效果图；

图4e为级联法向回归对fandisk模型网格去噪的效果图；

图4f为本发明对fandisk模型网格去噪的效果图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

本发明的基于神经网络的网格去噪方法，通过将面法向映射为图像矩阵，利用神经网络自动地学习网格表面特征到真实法向间的映射关系，最终可以简单高效地达到高度保持特征的网格去噪效果。

如图1所示，本发明的优选实施例的基于神经网络的网格去噪方法，包括以下步骤：

S1：采用固定参数的引导法向滤波对所准备数据集中带噪三角网格进行预滤波操作；

本发明优选实施例的预滤波操作采用引导法向滤波方法，首先滤波小平面法线，然后更新顶点位置。设置固定参数为：空间域高斯函数标准差σ_s为1个平均边长，值域高斯函数标准差σ_r为0.20，顶点迭代次数与法向迭代次数均设置为10次。一般情况下，三角网格曲面是由扫描设备获取数据后，使用三角化方法对数据进行三角化得到的，其结构如图2所示。

S2：提取预滤波后的网格模型的二邻域平面法向生成图像矩阵，并利用法向张量投票进行针对刚性变换与图像旋转的对齐操作，构建数据集；

本发明优选实施例的针对刚性变换的对齐操作中，由于网络输入是面片邻域的法向值，故其对于平移不变，但如果进行了全局旋转操作，就得到了另一种版本的法向图像矩阵。为了使其具有旋转不变性，使用法向张量来对齐所有的面片块。假设面片块对应的d个法线为：{m₁,…,m_d}，构造法向张量T：

T的三个特征向量e₁,e₂,e₃(按特征值λ排序)定义了将特征向量对齐的旋转矩阵R的坐标轴，即T的三个特征向量e₁,e₂,e₃构成了旋转矩阵R；通过将每个m_j与R^-1相乘，即可消除全局旋转不确定性。

本发明优选实施例的针对图像旋转的对齐操作中，由于每个面片邻域生成图像时选取的方向不同，导致数据集中图像像素值的位置不统一，即数据集噪声过大，会对神经网络的学习造成极大困扰。所以想要对统一的分布进行学习，需要针对生成的图像进行对齐操作。将每个面片的二邻域面片顶点的坐标信息做仿射变换，乘旋转矩阵R，并平移到以中心面片质心位置为原点的局部坐标系下；再将生成的d个法向值映射在法向张量T的后两个特征向量e₂、e₃定义的二维坐标平面上，便可生成方向性一致的图像数据。其中，将生成的d个法向值映射在法向张量T的后两个特征向量e₂、e₃定义的二维坐标平面上，生成图像数据的具体操作为：遍历中心面的二邻域内的所有面片，选取每一个面片变换到以中心面片质心位置为原点的局部坐标系下的顶点坐标(p_x,p_y,p_z)的p_y、p_z值，取其中最大最小值进行归一化后根据p_y、p_z值计算出每个面片投影在平面内的三角形三条边的表达式，再枚举两个坐标轴方向的截线判断当前面片投影后覆盖了大小为64×64的图像中的哪些像素点，在对应像素位置存入表述该面片信息的4维特征向量(n_x,n_y,n_z,t)，其中n_x、n_y、n_z是像素点对应面片的具有旋转不变性的三个法向值，t是标记是否为中心面片的数值，若当前像素为中心面片则标记值为1.0，否则为0。遍历完中心面片二邻域内的所有面片后，对于被多个面片覆盖的像素点保存的n_x、n_y、n_z值取平均，便生成了中心面片对应的图像矩阵。预滤波后的网格模型中的每个面片的二邻域平面法向生成的64×64×4大小的图像矩阵与中心面片1×3大小的法向就构成了本发明优选实施例的数据集中的训练对。

S3：将对齐后的图像矩阵作为输入，中心面片的法向值作为输出，以最小化损失函数为目标训练神经网络；

本发明优选实施例的神经网络选取U-Net神经网络模型，训练参数选取BatchSize为64；初始学习率为0.0001，每过10个epoch，学习率衰减为原来的0.1；最小化损失函数采用Adam优化方法。

本发明优选实施例的损失函数设置L(θ)为网络输出法向和原始法向的余弦值取负再归一化到[0,1]的误差函数加上L2范数正则项：

其中，X_i、Y_i分别为选取的所述训练集中的图像矩阵和原始平面法向，θ表示权重，n表示图像矩阵与原始法向构成的训练对的个数，λ表示正则系数，F函数表示训练的输入图像矩阵到原始平面法向的映射。

根据最小化损失函数获得网络卷积层的权重，建立能有效学习网格表面特征到真实法向间的映射关系的神经网络模型，该模型对不同噪声方差、不同几何特征下的网格去噪都有很强的鲁棒性，去噪结果的平均法向角度差和视觉效果都很好。

S4：在运行去噪阶段，将带噪网格预滤波、对齐后生成的图像矩阵输入训练过的网络模型中，将神经网络的预测的中心面片的法向值乘对齐操作中的旋转矩阵的逆矩阵还原出新的平面法向；

图3为本发明的优选实施例的基于神经网络的网格去噪流程示意图，本发明中测试用网格模型是由对fandisk网格模型进行加噪处理得到。原始的fandisk模型如图4a所示，该模型有6475个顶点，19419条边，12946个三角面。带噪的网格模型如图4b所示，通过将标准差为0.3倍平均边长的高斯噪声沿顶点法线添加到原始网格顶点产生的带噪的fandisk模型。

S5：将还原出的新法向作为引导法向，更新步骤S4中预滤波后的网格模型的法向与顶点信息得到去噪后的网格模型。

本发明的优选实施例中，通过引导法向更新法向与顶点信息得到了对fandisk模型去噪后的网格模型。

为了说明本发明的效果，做了以下对比试验：在fandisk网格模型上进行实验，并与经典的双边网格滤波、非局部相似性低秩矩阵恢复方法、级联法向回归对进行比较。实验采用与原始模型的平均法向角度差进行评价，平均法向角度差值越小，则去噪效果较好。

从图4a-图4f中我们可以看出，传统的去噪方法对网格去噪后，棱边与角的处理存在过于光滑丢失表面几何特征的问题，而本发明在去噪的同时较好地保持了尖锐特征。表1是fandisk网格模型用不同去噪方法得到的平均法向角度差的对比，本发明提出的基于神经网络的网格去噪方法对三维模型的去噪结果的平均法向角度差有明显的提升。

表1.不同去噪方法得到的平均法向角度差(单位：度)

网格模型	双边网格滤波	低秩矩阵恢复	级联法向回归	本发明方法
					fandisk	12.1101	7.97732	2.89616	2.57724

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于神经网络的网格去噪方法，其特征在于，包括以下步骤：

步骤一：采用固定参数的引导法向滤波对用于训练的带噪网格模型进行预滤波操作；

步骤二：提取步骤一预滤波后的网格模型的二邻域平面法向，构造法向张量T，同时利用法向张量投票对预滤波后的网格模型进行刚性变换与图像旋转的对齐操作，生成图像矩阵，并构建数据集；所述数据集为64×64×4大小的图像矩阵与中心面片1×3大小的法向构成的训练对。

步骤三：将步骤二得到的训练对中的图像矩阵作为输入，中心面片的法向值作为输出，以最小化损失函数为目标函数训练神经网络，训练完成得到去噪神经网络模型；

步骤四：在运行去噪阶段，获取需要去噪的带噪网格模型，执行步骤一获得预滤波后的网格模型；执行步骤二生成图像矩阵；将生成的图像矩阵输入步骤三得到的去噪神经网络模型中，去噪神经网络模型输出预测的中心面片的法向值，利用对齐操作中的旋转矩阵将预测的中心面片的法向值还原出新的平面法向；

步骤五：将还原出的新法向作为引导法向，更新步骤四中预滤波后的网格模型的法向与顶点信息得到去噪后的网格模型。

2.根据权利要求1所述的基于神经网络的网格去噪方法，其特征在于，所述步骤一采用的引导法向滤波方法先滤波小平面法线，然后更新顶点位置。固定参数设置为：空间域高斯函数标准差σ_s为1个平均边长，值域高斯函数标准差σ_r为0.20，顶点迭代次数与法向迭代次数均设置为10次。

3.根据权利要求1所述的基于神经网络的网格去噪方法，其特征在于，所述步骤二的图像矩阵为64×64像素大小的4维特征向量(n_x,n_y,n_z,t)，n_x,n_y,n_z是像素点对应面片的具有旋转不变性的三个法向值，t是标记是否为中心面片的数值，若当前像素为中心面片则标记值为1.0，否则为0。

4.根据权利要求1所述的基于神经网络的网格去噪方法，其特征在于，所述步骤二的利用法向张量进行刚性变换的对齐操作具体为：

假设预滤波后的网格模型的面片块对应的d个法线为：{m₁,…,m_d}，构造法向张量T：

T的三个特征向量e₁,e₂,e₃定义了将特征向量对齐的旋转矩阵R的坐标轴，将每个m_j与R^-1相乘获得每个面片的具有旋转不变性的法向值(n_x,n_y,n_z)。

5.根据权利要求1所述的基于神经网络的网格去噪方法，其特征在于，所述步骤二的图像旋转的对齐操作具体为：

将预滤波后的网格模型的每个面片的二邻域面片顶点的坐标信息做仿射变换，乘旋转矩阵R并平移到以中心面片质心位置为原点的局部坐标系下；再将生成的d个法向值映射在法向张量T的后两个特征向量e₂、e₃定义的二维坐标平面上，完成图像数据的对齐操作。

6.根据权利要求1所述的基于神经网络的网格去噪方法，其特征在于，所述步骤三中，神经网络选取U-Net神经网络模型，损失函数L(θ)设置为网络输出法向和原始法向的余弦值取负再归一化到[0,1]的误差函数加上L2范数正则项：

其中，X_i、Y_i分别为选取的所述训练对中的图像矩阵和原始平面法向，θ表示权重，n表示图像矩阵与原始法向构成的训练对的个数，λ表示正则系数，F函数表示训练的输入图像矩阵到原始平面法向的映射。

Images