CN111860668B - 一种针对原始3d点云处理的深度卷积网络的点云识别方法 - Google Patents

Abstract

本发明公开了一种针对原始3D点云处理的深度卷积网络的点云识别方法，包括：通过FPS算法对原始点云进行采样；使用球域搜索算法对每个采样中心点周围给定半径所形成地球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域；使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征。本发明可以对原始点云直接进行端到端的特征学习，无需任何预处理，并且具有较高的点云识别精度，将图像数据转为点云并使用该方法对其进行识别，性能也基本等效于传统2D卷积网络。

Description

一种针对原始3D点云处理的深度卷积网络的点云识别方法

技术领域

本发明属于点云识别的技术领域，尤其涉及一种针对原始3D点云处理的深度卷积网络的点云识别方法。

背景技术

由于点云学习在无人驾驶，机器视觉和机器人等诸多领域的广泛应用，近来引起了越来越多的关注。作为AI中的主要技术，深度学习已成功用于解决各种2D视觉问题。但是，由于使用深度神经网络处理点云所面临的独特挑战，因此点云上的深度学习仍处于起步阶段。近年来，在点云上的深度学习甚至变得蓬勃发展，提出了许多方法来解决该领域的不同问题。

现有技术中，Voxnet将点云表示为体积占用网格，然后用3D卷积神经网络来进行监督学习。所用数据包含LiDAR点云，RGBD点云和CAD 模型。首先将点云拟合到32x32x32的体素化网格，可以构建一个全部填充为零的32x32x32的数组。然后缩放点云来计算每个体素内的有多少个点。在获得体素化网格后，接下来执行3D卷积计算，使其有效地在基于体素的图像上滑动立方体(注:3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核)。VoxNet通过将点云表示为体积占用网格的构建方式固有地会引入离散化伪像和信息丢失。通常，高分辨率会导致较高的内存和计算成本，而低分辨率会导致细节丢失。在实践中选择合适的网格分辨率并非易事。

MVCNN首次提出了基于视图的方法，将一个3D形状的物体的每一张视角图像各自独立地经过第一段的CNN1卷积网络(注:整张网络第一部分的所有分支，共享相同的CNN1里的参数)，然后从不同图像中学习的特征通过视图池化层(View-pooling)聚合为全局特征。之后，再送入剩下的CNN2卷积网络，得到预测结果。MVCNN只是将多视图特征最大池化为一个全局描述符。但是，最大池化只能保留特定视图中的最大元素，从而导致信息丢失。

PointNet对于每一个N×3的点云输入，网络先通过一个T-Net将其在空间上对齐(旋转到正面)，再通过MLP将其映射到64维的空间上，再进行对齐，最后映射到1024维的空间上。这时对于每一个点，都有一个 1024维的向量表征，而这样的向量表征对于一个3维的点云明显是冗余的，因此这个时候引入最大池化操作，将1024维所有通道上都只保留最大的那一个，这样得到的1×1024的向量就是N个点云的全局特征。对于分类问题，则直接将这个全局特征再进过MLP去输出每一类的概率即可；但如果是分割问题，由于需要输出的是逐点的类别，因此其将全局特征拼接在了点云64维的逐点特征上，最后通过MLP，输出逐点的分类概率。 PointNet对每一个点映射到高维空间，再通过max结合。由于其网络直接暴力地将所有的点最大池化为了一个全局特征，因此局部点与点之间的联系并没有被网络学习到，使之无法获取局部信息。

pointnet++采用分层学习网络进行特征的逐层提取且一步一步提取了越来越大的局部区域，由一系列的set-abstraction组成，每层set- abstraction层包括sampling&grouping和pointnet两层子层。一层set- abstraction层的输入是一组点集N×(d+c)(表示的是具有N个点，每个点d维，包含有c个点特征)，首先通过sampling&grouping子层，使用FPS算法进行最远点采样，得到N′×(d+c)的矩阵(表示经FPS采样得到的N′个点，每个点d维，包含有c个点特征)，并且对N×(d+c)的原始点集和N′×d的采样中心点作为输入进行分组，输出为N′×K×(d+c)的矩阵，这里每一组代表一个局部邻域，其中K表示每个邻域内所包含点的个数。然后通过pointnet子层，对输入的N′个局部邻域的矩阵N′×K×(d+c)进行特征提取，输出中的每个局部区域由其质心和编码质心邻域的局部特征抽象而成，大小为N′×(d+c′)。PointNet++虽然可以对提取到的局部特征进行整合，但仍然仅会分别处理局域点集中的每个点，并且不会提取该点及其邻居之间的关系，例如距离和边缘向量。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种针对原始3D点云处理的深度卷积网络的点云识别方法，对原始点云直接进行端到端的特征学习，无需任何预处理，并且具有较高的点云识别精度，将图像数据转为点云并使用该方法对其进行识别，性能也基本等效于传统 2D卷积网络。

为了解决上述技术问题，本发明提供一种针对原始3D点云处理的深度卷积网络的点云识别方法，包括以下步骤：

步骤1：通过FPS算法对原始点云进行采样；

步骤2：使用球域搜索算法对每个采样中心点周围给定半径所形成的球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域；

步骤3：使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征。

可选的，在步骤1中，对于给定点集{x₁,x₂,...,x_s}，使用FPS算法采样出S′个采样点的集合的子集，其中/>是相对于其余点集合/>而言在度量距离中最远的点。

可选的，在步骤2中，将大小为S′×C的采样中心点集、S×C的位置点集、采样中心点附近最大样本数K和分组半径作为输入；

在采样中心点附近给定半径的球域内进行搜索，找到与采样中心点距离最近的前K个点的索引，并按其索引进行划分，找到每个采样中心点所在局域内的K个点，输出是大小为S′×K×(C+D)的分组后点集。

进一步的，在步骤3中，对分组后大小为S′×K×(C+D)的S′个局部区域的点集输入到点云卷积网络之中进行细粒度特征提取，输出特征大小为 S′×(C+D′)。

由上，本发明的针对原始3D点云处理的深度卷积网络的点云识别方法具有如下有益效果：

1、可以对原始点云直接进行端到端的特征学习，而不是将点云投影到图像或体积网格，无需任何预处理，并且具有较高的点云识别精度。

2、提出一种密度重新加权的卷积方式，对局域中不同密度的点赋予不同的权重，使之能够完全逼近任何3D点集上的3D连续卷积。并将2D 图像数据转为点云，使用该方法对其进行识别，也取得了较高精度，加入该卷积操作后网络的对图像数据的识别性能可基本等效于传统的2D卷积网络。

3、使用分层学习网络进行局域信息逐层特征提取，并采用多尺度方法进行特征提取与融合，进一步提升了网络的整体性能。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。

图1为本发明的针对原始3D点云处理的深度卷积网络的点云识别方法的流程图；

图2为点云卷积操作中局域内K个点的点云卷积操作示意图；

图3为网络的总体结构图；

图4为以MNIST数据集上的数字“7”为例，其中(a)为2D栅格图像， (b)为图像转换后的3D点云格式图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式，其作为本说明书的一部分，通过实施例来说明本发明的原理，本发明的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。

卷积操作在2D图像的处理中有着广泛的运用，对于d维向量x的函数f(x)和g(x)，如等式(1)中定义卷积:

图像可以解释为2D离散函数，通常表示为网格状矩阵。在CNN中，每个滤波器都限于一个小的局部区域，例如3×3，5×5等。在每个局部区域内，不同像素之间的相对位置始终是固定的，而且对于局部区域内的每个位置，可以很容易地将滤波器离散化为具有实值权重的总和。

点云表示一组3D点集{p_i|i＝1,...,n，其中每个点都包含位置向量 (x,y,z)及其特征(例如颜色，表面法线等)，与图像不同的是，点云具有更灵活的形状，因此在每个局域中不同点的相对位置是不同的，常规离散卷积滤波器的栅格图像无法直接应用于点云。

为了使卷积与点集兼容，提出了一种排列不变的卷积运算。首先回到 3D卷积的连续版本:

F(x+δ_x,y+δ_y,z+δ_z)是围绕点(x,y,z)为中心的局部区域G的特征，点云可以看作是来自连续R³空间的非均匀样本。在每个局部区域中， (δ_x,δ_y,δ_z)可以是局部区域中的任何可能位置。

接下来，将该卷积运算定义为相对于重要性采样的连续3D卷积的蒙特卡洛估计:

其中S(δ_x,δ_y,δ_z)是点(δ_x,δ_y,δ_z)的逆密度，可以用高斯核密度估计和 MLP近似，W(δ_x,δ_y,δ_z)也可用MLP近似。

基于以上公式设计点云卷积操作，局域内K个点的点云卷积操作如图2所示，其中，C_in，C_out，C_mid分别代表输入、输出和中间通道的尺寸。k，c_in，c_out分别代表第k个邻居的索引，输入特征的第c_in个通道，输出特征的第c_out个通道。P∈R^K×3、P_local∈R^K×3分别代表局域内点的相对位置和局域位置，其中，P_local可以通过位置坐标减去局域中点的质心坐标来计算。代表局域中点的输入特征和经过MLP网络学习后的特征。为权重函数的输出，D∈R^K×1为通过高斯核密度估计和密度网络计算出的密度比例尺度。

首先，对局域点云中每个点的密度进行估算，由公式(4)给出:

然后，根据点云中点的密度估算其对应的权重，并按照公式(5)进行卷积:

卷积之后，具有K个邻近点的局部区域的特征F_in被编码为最后，经过全连接层得到最终输出特征/>

总的来说，该方法将动态滤波器扩展到一个新的卷积运算，使用高斯核密度估计和近似MLP网络来学习密度函数，将学习到的点的密度尺度结合点的相对位置通过由MLP网络近似的权重函数之中，得到局域中每个点的权重值。整个卷积核可视为由权重函数和密度函数组成的3D点局域坐标的非线性函数，可用于对3D空间中任意点集进行平移不变和置换不变的卷积。

网络总体结构为多尺度分层学习的网络结构，由若干层3D点云卷积层(图3中为三层)组成，每层3D点云卷积层均由FPS采样、球域搜索和点云卷积三个关键操作构成，就某一层3D点云卷积层而言，执行流程为: 首先通过FPS算法对原始点云进行采样，然后使用球域搜索算法对每个采样中心点周围给定半径所形成的球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域。最后使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征。这个过程被重复，直到获得整个点集的特征。

下面各段分别阐述了单个抽象层上的各个关键操作:

FPS采样操作。对于给定点集{x₁,x₂,...,x_s}，使用FPS算法采样出S′个采样点的集合的子集，其中/>是相对于其余点集合/>而言在度量距离中最远的点。

球域搜索操作。将大小为S′×C的采样中心点集、S×C的位置点集、采样中心点附近最大样本数K和分组半径作为输入。在采样中心点附近给定半径的球域内进行搜索，找到与采样中心点距离最近的前K个点的索引，并按其索引进行划分，找到每个采样中心点所在局域内的K个点，输出是大小为S′×K×(C+D)的分组后点集。由于每个组中采样中心点对应局域内的点数K的密度是不同的，后续的3D点云卷积操作能够将灵活数量的点转换为固定长度的局域特征向量。

点云卷积操作。在该操作中，对分组后大小为S′×K×(C+D)的S′个局部区域的点集输入到点云卷积网络之中进行细粒度特征提取，输出特征大小为S′×(C+D′)。

在实验过程中还加入了法向特征作为方向信息，使用多尺度对点云卷积操作之后的特征进行特征融合，以进一步提高网络的性能。

ModelNet40包含了40个类别，12311个人造物体的CAD模型，其中 9843个用于训练，2468个用于测试，而ModelNet10仅有其中的10个类别，是一个小型数据集。

表1ModelNet10/40数据集上分类精度的比较

在同为1024点的情况下，网络在ModelNet40上的整体分类准确率达到了92.8％，在ModelNet10上的整体分类准确率达到了94.7％，对点云识别精度均超越了先前的网络。

加入不同的模块前后的精度对比

采用多尺度采样分组的精度比单尺度采样分组的精度提高了0.26％，另外，采用法向特征特征比不采用法向特征提高了0.57％，可以证明，引入多尺度采样分组方法和法向特征可以进一步提升网络的性能。

对于MNIST图像，每张图片的像素转换为具有xy坐标和灰度值特征的2D点(图4)。对于CIFAR-10图像，将每张图片的像素转换为具有xy 坐标和RGB特征的2D点。最后，对经过处理后的点输入到网络之中，进行特征提取与模型预测。

实验结果:

在MINIST数据集上网络达到了99.13％的准确率，在CIFAR-10上达到了89.04％的准确率，通过本实验可以看出，网络在图像上的性能可以基本等效于传统的2D卷积网络。

以上所述是本发明的优选实施方式而已，当然不能以此来限定本发明之权利范围，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变动，这些改进和变动也视为本发明的保护范围。

Claims (1)

1.一种针对原始3D点云处理的深度卷积网络的点云识别方法，其特征在于，包括以下步骤：

步骤1：通过FPS算法对原始点云进行采样；

步骤2：使用球域搜索算法对每个采样中心点周围给定半径所形成的球域内的K个邻近点进行查找并分组，进而将原始点云划分成重叠的局部区域；

步骤3：使用点云卷积操作对每个局域内的点集进行精细特征提取，产生更高层次的抽象特征；

在步骤1中，对于给定点集{x₁,x₂,...,x_s}，使用FPS算法采样出S′个采样点的集合的子集，其中/>是相对于其余点集合/>而言在度量距离中最远的点；

在步骤2中，将大小为S′×C的采样中心点集、S×C的位置点集、采样中心点附近最大样本数K和分组半径作为输入；

在采样中心点附近给定半径的球域内进行搜索，找到与采样中心点距离最近的前K个点的索引，并按其索引进行划分，找到每个采样中心点所在局域内的K个点，输出是大小为S′×K×(C+D)的分组后点集；

在步骤3中，对分组后大小为S′×K×(C+D)的S′个局部区域的点集输入到点云卷积网络之中进行细粒度特征提取，输出特征大小为S′×(C+D′)。