CN110363145A - 基于稀疏fpn的3d物体点云数据识别方法 - Google Patents

Abstract

本申请提供了基于稀疏FPN的3D物体点云数据识别方法，获取3D物体的点云数据，将点云数据分为训练集和测试集；标记训练集和测试集中数据的所属类别；构建基于稀疏FPN的识别网络模型，识别网络模型包括稀疏卷积模块、FPN模块和全连接层，稀疏卷积模块包括三个，三个稀疏卷积子模块分别与FPN模块连接，FPN模块与全连接层连接；采用训练集训练识别网络模型，直至识别网络模型的损失函数最小，获得调整后的识别网络模型；将测试集中的点云数据输入调整后的识别网络模型中，输出点云数据的所属类别信息。采用稀疏卷积模块和FPN模块，提高深层特征的感受域，将点云数据的浅层特征和深层特征结合，提高点云数据的识别精度。

Description

基于稀疏FPN的3D物体点云数据识别方法

技术领域

本申请涉及计算机视觉与数字图像处理领域，尤其涉及基于稀疏FPN的3D物体点云数据识别方法。

背景技术

点云数据是指扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息或反射强度信息。点云数据作为一种重要的立体数据结构，在虚拟现实、机器人领域中扮演者重要的角色。由于点云数据相对于图像而言有特殊的格式，现如今大多数研究都将点云数据转换为三维体素网格，用立体网格中的空间占据率来表示三维几何形状，再通过深度神经网络对立体网络进行特征提取以及分类。这种通过点云数据与网格之间转换的方法，增加了计算负担，增加了处理过程的繁琐性。因此，提出一种直接对3D物体点云数据进行识别的方法，避免3D物体点云数据处理的繁琐性。

随着卷积神经网络的提出，提出了基于卷积神经网络的3D物体点云数据识别方法。基于卷积神经网络的3D物体点云数据识别方法具体过程如下：首先，点云数据通过输入层输入；其次，对点云数据进行多次卷积处理，获得高维卷积层，并提取高维卷积层中的各个特征；再次，各个特征经过池化层降维，并将降维后的特征经过全连接层输出；最后，全连接层的特征经过softmax函数映射，获取点云数据的所属类别。

而现有技术中对3D识别网络进行多次卷积处理，并将最终特征输出。由于基于卷积神经网络的3D物体点云数据识别方法只将多次卷积处理后的最终特征输出。但随着卷积神经网络的深入，深层网络的感受域越来越小，点云数据的边缘点被忽略舍去，点云数据识别的精确度也逐渐降低。因此，亟需基于稀疏FPN的3D物体点云数据识别方法。

发明内容

本申请提供了基于稀疏FPN的3D物体点云数据识别方法，以解决基于卷积神经网络的3D物体点云数据识别方法进行点云数据识别时精确度低的技术问题。

为了解决上述问题，本申请提供以下的技术方案:

基于稀疏FPN的点云数据识别方法，方法包括：获取3D物体的点云数据，并将点云数据随机分为训练集和测试集；标记训练集和所述测试集中每一个数据的所属类别；构建基于稀疏FPN的识别网络模型，识别网络模型包括稀疏卷积模块、FPN模块和全连接层，稀疏卷积模块包括第一稀疏卷积子模块、第二稀疏卷积子模块和第三稀疏卷积子模块，三个稀疏卷积子模块分别与FPN模块通过卷积连接，FPN模块与全连接层通过卷积连接；训练集训练识别网络模型，直至识别网络模型的损失函数最小，获得调整后的识别网络模型；将测试集中的点云数据输入到调整后的识别网络模型中进行测试，输出点云数据的所属类别信息。

可选地，构建基于稀疏FPN的识别网络模型，包括：点云数据经过第一稀疏卷积子模块卷积后获得一次卷积点云数据；一次卷积点云数据依次通过第二稀疏卷积子模块和第三稀疏卷积子模块进行卷积，分别获得二次卷积点云数据和三次卷积点云数据；将一次卷积点云数据、二次卷积点云数据和三次卷积点云数据分别对应输入FPN模块中，并分别进行两次卷积，获得对应点云数据；对应点云数据进行concat操作后，获得整合点云数据；整合点云数据经过两次卷积后，获得四次卷积点云数据，并将四次卷积点云数据通过全连接层输出，获得基于稀疏FPN的识别网络模型。

可选地，稀疏卷积模块包括：第一稀疏卷积子模块和第二稀疏卷积子模块均包括两个3*3稀疏卷积核，稀疏卷积核的稀疏率为2；第三稀疏卷积子模块包括两个3*3稀疏卷积核，稀疏卷积核的稀疏率为4。

可选地，FPN模块包括1*1卷积核和3*3卷积核。

可选地，采用训练集训练识别网络模型，直至识别网络模型的损失函数最小，获得调整后的识别网络模型，包括：将训练集中的点云数据输入到识别网络模型中，进行正向传播，获得估计值；将估计值和实际值输入误差函数，获得误差；通过反向传播方法计算误差，获得梯度向量；通过SGD–Momentum算法对梯度向量处理，调整权重值；当Epoch达到20时，通过Adm算法对梯度向量处理，调整权重值；直至设定次数或损失误差的平均值不再下降，获得调整后的识别网络模型。

可选地，损失函数为：

其中，α表示惩罚系数，y表示标签，x表示网络全连接层的输出，F_i表示中间的特征，E表示与F_i同纬度的对角矩阵。

有益效果：本申请提供了基于稀疏FPN的3D物体点云数据识别方法。首先，获取3D物体的点云数据，并对点云数据进行处理。其次，构建基于稀疏FPN的识别网络模型，识别网络模型包括稀疏卷积模块、FPN模块和全连接层。稀疏卷积模块和FPN模块组成的识别网络模型，可扩大点云数据的深层特征感受域，并将点云数据的深层特征和浅层特征结合，提高点云数据的完整性。然后，采用训练集训练识别网络模型，获得调整后的识别网络模型。最后，将测试集中的点云数据输入到调整后的识别网络模型进行测试，输出点云数据的类别信息。本申请中，采用稀疏卷积模块和FPN模块，提高深层特征的感受域，并将点云数据的浅层特征和深层特征结合进行点云数据识别，提高点云数据的识别精度。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为申请提供的基于稀疏FPN的3D物体点云数据识别方法的流程示意图；

图2为申请提供的识别网络模型的结构示意图；

图3为申请提供的构建基于稀疏FPN的识别网络模型的流程示意图。

具体实施方式

参见图1，本申请提供的基于稀疏FPN的3D物体点云数据识别方法的流程示意图，可知，本申请提供了基于稀疏FPN的3D物体点云数据识别方法，该方法包括：

S01：获取3D物体的点云数据，并将点云数据随机分为训练集和测试集。

3D物体的点云数据是一系列的坐标数据，代表x、y、z轴的坐标数据。

S02：标记训练集和测试集中每一个数据的所属类别。

点云数据的所属类别用数字表示。

S03：构建基于稀疏FPN的识别网络模型。

参见图3，为申请提供的构建基于稀疏FPN的识别网络模型的流程示意图，可知，本申请构建基于稀疏FPN的识别网络模型的具体过程如下：

S031：点云数据经过第一稀疏卷积子模块卷积后获得一次卷积点云数据。

S032：一次卷积点云数据依次通过第二稀疏卷积子模块和第三稀疏卷积子模块进行卷积，分别获得二次卷积点云数据和三次卷积点云数据。

S033：将一次卷积点云数据、对齐点云数据、二次卷积点云数据和三次卷积点云数据分别对应输入FPN模块中，并分别进行两次卷积，获得对应点云数据。

S034：对应点云数据进行concat操作后，获得整合点云数据。

S035：整合点云数据经过两次卷积后，获得四次卷积点云数据，并将四次卷积点云数据通过全连接层输出，获得基于稀疏FPN的识别网络模型。

参见图2，为申请提供的识别网络模型的结构示意图，可知，本申请提供的识别网络模型包括稀疏卷积模块、FPN模块和全连接层，稀疏卷积模块包括第一稀疏卷积子模块、第二稀疏卷积子模块和第三稀疏卷积子模块，三个稀疏卷积子模块分别与FPN模块通过卷积连接，FPN模块与全连接层通过卷积连接。第一稀疏卷积子模块和第二稀疏卷积子模块均包括两个3x 3稀疏卷积核，且两个稀疏卷积核的稀疏率为2。第三稀疏卷积子模块包括两个3 x 3稀疏卷积核，且稀疏卷积核的稀疏率为4。FPN模块包括1 x 1卷积核和3 x 3卷积核。

S04：采用训练集训练识别网络模型，直至识别网络模型的损失函数最小，获得调整后的识别网络模型。

S041：将训练集中的点云数据输入到识别网络模型中，进行正向传播，获得估计值。

S042：将估计值和实际值输入误差函数，获得误差。

误差函数为：

其中，α表示惩罚系数，y表示标签，x表示网络全连接层的输出，F_i表示中间的特征，E表示与F_i同纬度的对角矩阵。

S043：通过反向传播方法计算误差，获得梯度向量。

S044：通过SGD–Momentum算法对梯度向量处理，调整权重值。

S045：当Epoch达到20时时，通过Adm算法对梯度向量处理，调整权重值。

S046：直至设定次数或损失误差的平均值不再下降，获得调整后的识别网络模型。

S05：将测试集中的数据输入到调整后的识别网络模型中进行测试，输出3D点云数据的所属类别信息。

本申请提供了基于稀疏FPN的3D物体点云数据识别方法。首先，获取3D物体的点云数据，并对点云数据进行处理。其次，构建基于稀疏FPN的识别网络模型，识别网络模型包括稀疏卷积模块、FPN模块和全连接层。稀疏卷积模块和FPN模块组成的识别网络模型，可扩大点云数据的深层特征感受域，并将点云数据的深层特征和浅层特征结合，提高点云数据的完整性。然后，采用训练集训练识别网络模型，获得调整后的识别网络模型。最后，将测试集中的点云数据输入到调整后的识别网络模型进行测试，输出点云数据的类别信息。本申请中，采用稀疏卷积模块和FPN模块，提高深层特征的感受域，并将点云数据的浅层特征和深层特征结合进行点云数据识别，提高点云数据的识别精度。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.基于稀疏FPN的3D物体点云数据识别方法，其特征在于，所述方法包括：

获取3D物体的点云数据，并将所述点云数据随机分为训练集和测试集；

标记所述训练集和所述测试集中每一个数据的所属类别；

构建基于稀疏FPN的识别网络模型，所述识别网络模型包括稀疏卷积模块、FPN模块和全连接层，所述稀疏卷积模块包括第一稀疏卷积子模块、第二稀疏卷积子模块和第三稀疏卷积子模块，三个所述稀疏卷积模块分别与所述FPN模块通过卷积连接，所述FPN模块与所述全连接层通过卷积连接；

采用所述训练集训练所述识别网络模型，直至所述识别网络模型的损失函数最小，获得调整后的识别网络模型；

将所述测试集中的点云数据输入到所述调整后的识别网络模型中进行测试，输出所述点云数据的所属类别信息。

2.根据权利要求1所述的方法，其特征在于，所述构建基于稀疏FPN的识别网络模型，包括：

点云数据经过所述第一稀疏卷积子模块卷积后获得一次卷积点云数据；

所述一次卷积点云数据依次通过所述第二稀疏卷积子模块和所述第三稀疏卷积子模块进行卷积，分别获得二次卷积点云数据和三次卷积点云数据；

将所述一次卷积点云数据、所述二次卷积点云数据和所述三次卷积点云数据分别对应输入所述FPN模块中，并分别进行两次卷积，获得对应点云数据；

所述对应点云数据进行concat操作后，获得整合点云数据；

所述整合点云数据经过两次卷积后，获得四次卷积点云数据，并将所述四次卷积点云数据通过所述全连接层输出，获得基于稀疏FPN的识别网络模型。

3.根据权利要求1所述的方法，其特征在于，所述稀疏卷积模块包括：

第一稀疏卷积子模块和第二稀疏卷积子模块均包括两个3*3稀疏卷积核，稀疏卷积核的稀疏率均为2；

第三稀疏卷积子模块包括两个3*3稀疏卷积核，稀疏卷积核的稀疏率均为4。

4.根据权利要求1所述的方法，其特征在于，所述FPN模块包括1*1卷积核和3*3卷积核。

5.根据权利要求1所述的方法，其特征在于，采用所述训练集训练所述识别网络模型，直至所述识别网络模型的损失函数最小，获得调整后的识别网络模型，包括：

将所述训练集中的点云数据输入到所述识别网络模型中，进行正向传播，获得估计值；

将所述估计值和实际值输入误差函数，获得误差；

通过反向传播方法计算所述误差，获得梯度向量；

通过SGD–Momentum算法对所述梯度向量处理，调整权重值；

当Epoch达到20时，通过Adm算法对所述梯度向量处理，调整权重值；

直至设定次数或损失误差的平均值不再下降，获得调整后的识别网络模型。

6.根据权利要求1所述的方法，其特征在于，所述损失函数为：

其中，α表示惩罚系数，y表示标签，x表示网络全连接层的输出，F_i表示中间的特征，E表示与F_i同纬度的对角矩阵。