CN112991473B - 一种基于立方体模板的神经网络编码解码方法及系统 - Google Patents

Abstract

本发明公开了一种基于立方体模板的神经网络编码解码方法及系统，包括确定所需要的数据集作为输入点云数据，数据集为单类别或多类别的点云数据，点云数据为矩阵形式；获得矩阵形式的点云数据的逐点局部几何特征；对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。本发明直接基于点云数据的真实采样机制，能够有效地对点云格式数据进行编码，并从隐藏编码中解码出与编码前数据接近的点云，减少信息损失。

Description

一种基于立方体模板的神经网络编码解码方法及系统

技术领域

本发明涉及图像处理领域，具体涉及一种基于立方体模板的神经网络编码解码方法及系统。

背景技术

深度学习是一类受启发于生理学神经网络传播机制的、在计算机中利用人工神经网络构造解决各类问题的技术统称。随着相关理论的发展以及计算机硬件技术的进步，深度学习也逐渐延伸至传统计算机三维图形学的领域。

计算机三维图形学主要研究的是采样或模拟真实世界物体数据，并将其在计算机虚拟空间中重新构建并可视化的方法。传统三维图形学中的一些经典问题，如物体分类、语义分割、三维配准、模型自动生成和曲面网格重建等，受益于深度学习的发展，也有了新的解决路径。而该领域中的点云格式数据，区别于网格表面、体素以及多视角图片等类型，由于其通常直接采样于真实世界，而且具有简单统一的矩阵形式，近年来成为了三维深度学习常用的数据格式。

目前已经出现了基于点云格式数据的三维深度学习，但其中较多都是判别式模型，生成式相关的研究较少，且效果不佳，如何将传统图像生成式深度学习的方法引入至该平行领域成为了一个具有挑战性的问题。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于立方体模板的神经网络编码解码方法及系统。

本发明主要采用如下技术方案：

一种基于立方体模板的神经网络编码解码方法，包括：

确定所需要的数据集作为输入点云数据，数据集为单类别或多类别的点云数据，点云数据为矩阵形式；

获得矩阵形式的点云数据的逐点局部几何特征；

对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；

将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；

将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。

进一步，所述获得矩阵形式点云数据的逐点局部几何特征，具体包括如下；

首先构建点云逐点近邻索引，并将其拼接为近邻索引矩阵；

然后基于近邻索引矩阵得到点的局部中心化协方差矩阵进行特征值和特征向量提取，利用得到三个长度为3的特征向量拼接成向量几何特征，利用最小特征值对应特征向量计算法向量平均夹角距离的标量几何特征，利用三个标量几何特征近似计算曲率标量几何特征，然后基于近邻索引矩阵得到点与近邻点的平均距离标量几何特征即是逐点局部几何特征。

进一步，所述构建点云逐点近邻索引，具体是是结合k近邻方法与欧氏距离方法，将点云数据中每个点的近邻点索引集合。

进一步，所述将点云逐点近邻索引拼接为近邻索引矩阵，具体是由一个点云数据中所有点的近邻索引集合向量化拼接而成，维度大小为N×k，N为点云中点的个数，k为预先设定的k近邻参数值。

进一步，所述将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云，具体包括：

立方体模板与隐藏编码向量进行通道拼接得到拼接后的矩阵步骤；

对拼接后的矩阵进行解码步骤。

进一步，在将立方体模板与隐藏编码向量进行通道拼接之前，需要将隐藏编码向量重复m次成为矩阵，其中m为立方体模板中所含点的个数。设隐藏编码向量长度为V，则重复后的矩阵维度为m×V，立方体模板矩阵的维度为m×3，则通道拼接后的矩阵维度为m×(V+3)。

进一步，获得通道拼接后的矩阵后，将其输入基于感知机的揉塑重构网络层，分阶段进行两次重构，分两个阶段重构是先得到初步雏形，再在雏形基础上复原点云模型。

进一步，还包括：

计算输入点云到输出点云，以及输出点云到输入点云的倒角距离，

再根据两者大小，计算指数加权权重，值越小，证明输入点云和输出点云差距越小。

一种实现所述的神经网络编码解码方法的系统，包括

几何特征提取模块：获得矩阵形式的点云数据的逐点局部几何特征；

数据增强模块：对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；

基于图思想的编码器模块：将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；

基于立方体模板的解码器模块：将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。

进一步，还包括动态倒角距离计算模块。

本发明的有益效果：

与现有技术相比，本发明直接基于点云数据的真实采样机制，能够有效地对点云格式数据进行编码，并从隐藏编码中解码出与编码前数据接近的点云，减少信息损失，因此本发明的编码解码器结构也可用于构建生成式对抗网络等经典深度学习网络，为真正的点云格式数据生成提供了可能。

附图说明

图1是本发明的结构框图；

图2是本发明的神经网络具体结构示意图；

图3是本发明所述的网络训练过程中输出点云逐渐向输入点云拟合以及动态倒角距离权重逐渐变化的二维示意图；

图4是本发明实施示例4中生成新点云格式数据的流程图。

图5是本发明实施示例5中生成新点云格式数据的流程图。

具体实施方式

下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。

实施例

一种基于立方体模板的神经网络编码解码方法，包括，

S1确定所需要的数据集作为输入点云数据，数据集为单类别或多类别的点云数据，点云数据为矩阵形式；

进一步，所述数据集可以使用ShapeNet、ModelNet等多类别公开点云数据集，或者使用点云采集设备，从真实世界物体的表面采集单类别或多类别的点云数据，如桌子和椅子，每个类别的样本量需要达到一定数量N，比如N＝100。

S2获得矩阵形式的点云数据的逐点局部几何特征；

进一步，包括：

S2.1首先构建点云逐点近邻索引，并将其拼接为近邻索引矩阵；

所述点云逐点近邻索引，是结合k近邻方法与欧氏距离方法，提取出的点云模型每个点的近邻点索引集合，k近邻可保证点云中正常密度区域的点能提取出等数量k的索引集合，欧氏距离限制可保证在查询密度低区域点的附近点时将距离过远的噪声点排除在外。

所述近邻索引矩阵，由一个点云模型中所有点的近邻索引集合向量化后拼接而成，维度大小为N×k，N为点云中点的个数，k为预先设定的k近邻参数值。对于被欧氏距离限制导致近邻点不足k个的，以该点本身索引或-1等标识值进行补全，后续使用时基于补全规则进行排除，这样可以保证能组成完整大小的近邻索引矩阵。

S2.2然后基于近邻索引矩阵得到点的局部中心化协方差矩阵进行特征值和特征向量提取，利用得到三个长度为3的特征向量拼接成向量几何特征，利用最小特征值对应特征向量计算法向量平均夹角距离的标量几何特征，利用三个标量几何特征近似计算曲率标量几何特征，然后基于近邻索引矩阵得到点与近邻点的平均距离标量几何特征即是逐点局部几何特征。

其中，三个长度为3是指向量有三个元素。

S3对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强。

进一步，需要对输入的点云数据以及几何特征提取模块得到的向量几何特征进行统一随机角度的旋转操作，以提升神经网络结构的鲁棒性。由于输入的点云模型按照真实世界的设定有固定的上下之分，旋转只选取垂直于地面的轴进行旋转。角度可以是0-360度的随机角度，在网络训练过程中每次迭代都更新，但是每次旋转，对于点云数据和几何特征的随机旋转角度都是相等。

S4将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；

需在不同阶段引入数据增强后的点云以及点云几何特征作为输入。

具体为：神经网络在始端引入数据增强后的点云作为输入，目的是让神经网络从基于真实世界信息采样的点云三维坐标特征中提取高维度抽象特征；在中端图处理层阶段引入标量几何特征和数据增强后的向量几何特征，目的是让神经网络在提取高维度抽象特征后，结合基于传统算法计算得到的几何特征，能进一步学习点云的信息。

S5将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。

具体包括立方体模板与隐藏编码向量进行通道拼接，以及对拼接后的矩阵进行解码两部分。

在将立方体模板与隐藏编码向量进行通道拼接之前，需要将隐藏编码向量重复m次成为矩阵，其中m为立方体模板中所含点的个数。设隐藏编码向量长度为V，则重复后的矩阵维度为m×V，立方体模板矩阵的维度为m×3，则通道拼接后的矩阵维度为m×(V+3)。

获得通道拼接后的m×(V+3)矩阵后，需要将其输入给基于感知机的揉塑重构网络层，分阶段进行两次重构，由于立方体矩阵模板与预期输出的点云模型同属于离散化表面模型，神经网络结合模板信息及隐藏编码信息可以在高维空间使用感知机进行抽象的揉塑操作；分阶段重构是为了先得到初步雏形，再在雏形基础上复原点云模型。

如图3所示，S6计算输入点云到输出点云，以及输出点云到输入点云的倒角距离，再根据两者大小，计算指数加权权重，值越小，证明输入点云和输出点云差距越小，为大值赋予大权重，反之亦然，这样能使神经网络在训练过程中动态适应输出点云从噪声状态到精确拟合原点云的状态。单一倒角距离以及动态倒角距离损失函数的计算公式如下：

动态倒角距离损失函数＝w₁*倒角距离(P，P’)+w₂*倒角距离(P′，P)。

实施例2

如图1所示，一种基于神经网络编码解码的系统，包括：

几何特征提取模块：获得矩阵形式的点云数据的逐点局部几何特征；

数据增强模块：对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；

基于图思想的编码器模块：将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；

基于立方体模板的解码器模块：将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。

动态倒角距离计算模块：用于分别计算输入点云到输出点云以及输出点云到输入点云的倒角距离，再根据两者大小，计算指数加权权重，为大值赋予大权重。

实施例3

本发明神经网络的训练方法，包括前向传播、反向求导、梯度下降的操作，如图2所示，具体包括以下步骤：

第一步，确定训练神经网络所需要的数据集；

第二步，使用几何特征处理模块，对第一步中的数据集的每个样本提取几何特征，并保存到计算机本地储存设备或者运行内存中；

第三步，随机选取B个第一步中得到的输入点云数据样本作为一个批次，如B＝16，并使用数据增强模块，对批次中的点云数据及对应的几何特征数据进行统一的数据增强操作；

第四步，使用基于图思想的编码器模块，以数据增强后的点云数据作为始端输入，并在中端图处理层阶段引入数据增强后的几何特征数据；

第五步，将第四步得到的隐藏编码，与固定的立方体模板进行通道拼接，之后输入给基于立方体的解码器模块中的解码器神经网络层，经过两次揉塑操作后，得到解码后的输出点云；

之后，更换另一批输入数据作为迷你批次，重复第三步至第五步的操作，在每次重复期间，使用前向传播和反向求导以及梯度下降的方法，优化模型参数，直至迭代次数达到预设值E，如E＝1000，或者神经网络的损失函数不再下降，或者下降值连续多次迭代小于某个阈值t，如t＝0.0001，停止迭代，得到训练好的神经网络并保存至计算机本地储存设备。这里讲的一次迭代，是指第三步所述的随机选取过程刚好遍历完训练数据所有样本，而一次重复是指提取一次随机选取的迷你批次。

实施例4

一种基于立方体模板的神经网络编码解码方法，如图4所示，包括：

第一步，确定目标类别，如椅子，该类别应存在于神经网络训练阶段所需要的点云数据集；

第二步，从目标类别中选取一点云模型，并输入给神经网络的几何特征提取模块，神经网络将利用数据增强模块以及基于图思想的编码器模块自动提取隐藏编码；

第三步，引入高斯噪声作为中间输入与隐藏编码进行加和，由于隐藏编码是归一化的，高斯噪声也应先做归一化操作，保证加和后仍为归一化数据；

第四步，将加和结果继续作为解码器的输入，获得输出的生成点云模型，该模型仍属于目标类别，且与第二步所选取的点云模型有细节差异，原因是中间引入了高斯噪声。

实施例5

基于训练好的本发明所述神经网络的一种基于立方体模板的神经网络编码解码方法，如图5所示，包括以下步骤：

第一步，确定一个或若干个目标类别，该类别应在神经网络训练过程的训练数据集中存在；

第二步，从目标类别中选取至少两个点云模型，并并行输入给神经网络的几何特征提取模块，神经网络将利用数据增强模块以及基于图思想的编码器模块自动提取与选取的点云模型个数对应的若干个隐藏编码；

第三步，将中间的隐藏编码进行线性插值，线性权重之和应为1，保证插值后的新隐藏编码仍为归一化的；

第四步，将插值后的隐藏编码继续作为解码器的输入，获得输出的生成点云模型，若第一步选取了一个目标类别，则输出仍属于该目标类别，且同时包含第二步选取的若干模型的部分特征，若第一步选取了多于一个目标类别，则输出为多个目标类别的中间状态，如介于椅子和桌子之间的某种特殊类别，同时包含桌子和椅子的几何特征。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于立方体模板的神经网络编码解码方法，其特征在于，包括：

确定所需要的数据集作为输入点云数据，数据集为单类别或多类别的点云数据，点云数据为矩阵形式；

获得矩阵形式的点云数据的逐点局部几何特征；

对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；

将增强后不同长度的点云数据编码成统一大小的隐藏编码向量,具体为：

需在不同阶段引入数据增强后的点云以及点云几何特征作为输入；

神经网络在始端引入数据增强后的点云作为输入，目的是让神经网络从基于真实世界信息采样的点云三维坐标特征中提取高维度抽象特征；在中端图处理层阶段引入标量几何特征和数据增强后的向量几何特征，目的是让神经网络在提取高维度抽象特征后，结合基于传统算法计算得到的几何特征，能进一步学习点云的信息；

将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。

2.根据权利要求1所述的神经网络编码解码方法，其特征在于，所述获得矩阵形式的点云数据的逐点局部几何特征，具体包括如下；

首先构建点云逐点近邻索引，并将其拼接为近邻索引矩阵；

然后基于近邻索引矩阵得到点的局部中心化协方差矩阵进行特征值和特征向量提取，利用得到三个长度为3的特征向量拼接成向量几何特征，利用最小特征值对应特征向量计算法向量平均夹角距离的标量几何特征，利用三个标量几何特征近似计算曲率标量几何特征，然后基于近邻索引矩阵得到点与近邻点的平均距离标量几何特征即是逐点局部几何特征。

3.根据权利要求2所述的神经网络编码解码方法，其特征在于，所述构建点云逐点近邻索引，具体是结合k近邻方法与欧氏距离方法，将点云数据中每个点的近邻点索引集合。

4.根据权利要求2所述的神经网络编码解码方法，其特征在于，将点云逐点近邻索引拼接为近邻索引矩阵，具体是由一个点云数据中所有点的近邻索引集合向量化拼接而成，维度大小为N×k，N为点云中点的个数，k为预先设定的k近邻参数值。

5.根据权利要求1-4任一项所述的神经网络编码解码方法，其特征在于，所述将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云，具体包括：

立方体模板与隐藏编码向量进行通道拼接得到拼接后的矩阵的步骤；

对拼接后的矩阵进行解码的步骤。

6.根据权利要求5所述的神经网络编码解码方法，其特征在于，在将立方体模板与隐藏编码向量进行通道拼接之前，需要将隐藏编码向量重复m次成为矩阵，其中m为立方体模板中所含点的个数，设隐藏编码向量长度为V，则重复后的矩阵维度为m×V，立方体模板矩阵的维度为m×3，则通道拼接后的矩阵维度为m×(V+3)。

7.根据权利要求6所述的神经网络编码解码方法，其特征在于，获得通道拼接后的矩阵后，将其输入基于感知机的揉塑重构网络层，分阶段进行两次重构，分两个阶段重构是先得到初步雏形，再在雏形基础上复原点云模型。

8.根据权利要求1所述的神经网络编码解码方法，其特征在于，还包括：

计算输入点云到输出点云，以及输出点云到输入点云的倒角距离，

再根据两者大小，计算指数加权权重，值越小，证明输入点云和输出点云差距越小。

9.一种实现权利要求1-8任一项所述的神经网络编码解码方法的系统，其特征在于，包括

几何特征提取模块：获得矩阵形式的点云数据的逐点局部几何特征；

数据增强模块：对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；

基于图思想的编码器模块：将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；

具体为：

需在不同阶段引入数据增强后的点云以及点云几何特征作为输入；

神经网络在始端引入数据增强后的点云作为输入，目的是让神经网络从基于真实世界信息采样的点云三维坐标特征中提取高维度抽象特征；在中端图处理层阶段引入标量几何特征和数据增强后的向量几何特征，目的是让神经网络在提取高维度抽象特征后，结合基于传统算法计算得到的几何特征，能进一步学习点云的信息；

基于立方体模板的解码器模块：将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。

10.根据权利要求9所述的系统，其特征在于，还包括动态倒角距离计算模块。