CN110503148B - 一种具有尺度不变性的点云对象识别方法 - Google Patents

Abstract

本申请公开了一种具有尺度不变性的点云对象识别方法，该方法包括：步骤1，根据模型样本中的第一点云数据，逐层提取多层卷积神经网络的卷积中心点，并根据卷积中心点的特征，计算多层卷积神经网络中最后一层卷积层的尺度不变特征，并生成点云识别神经网络；步骤2，根据训练样本中的第二点云数据，利用分类损失函数，训练点云识别神经网络；步骤3，利用训练好的点云识别神经网络，识别任意尺度的待识别立体点云对象，并输出识别分类结果。通过本申请中的技术方案，降低了点云数据缩放对点云对象识别网络输出的影响，提高了点云对象识别网络对立体对象的学习效率。

Description

一种具有尺度不变性的点云对象识别方法

技术领域

本申请涉及计算机视觉的技术领域，具体而言，涉及一种具有尺度不变性的点云对象识别方法。

背景技术

点云是激光雷达、深度相机等众多立体环境传感设备能采集到的原始数据结构，因其表示立体对象的准确性和精度较高而备受瞩目。近年来随着这些采集设备的普及，点云被广泛用于自动驾驶、建筑设计、游戏建模等领域。在学术研究领域，伴随着深度学习的兴起，计算能力的飞速提高，信息量庞大的点云数据逐渐成为3D物体识别领域中最流行的数据表示之一。

在真实应用当中，由于采集装置和被采集对象的相对位置不确定、远近距离不相同，我们采集到的点云数据在尺度上有很大的变化，同样的对象在不同的远近距离表现出不同的尺度。

但由于深度神经网络大多不具有对尺度的不变性，对输入数值的整体大小敏感，现有的基于深度神经网络的点云对象识别技术，不能很好地适应真实环境中被采集对象的尺度变化。

而现有技术中，为了解决这个问题，常常采用数据增强、特征增强等方法对被采集对象的采集数据进行处理，近似达到对尺度的适应，但这样的解决方法并没有从根本上解决问题，并且会带来诸多问题，例如：降低网络训练的效率、带来额外的开销等等。

发明内容

本申请的目的在于：得到一种对输入点云结构具有尺度不变性的神经网络，从本质上解决神经网络对尺度的敏感性问题，高效地应对真实环境中立体对象尺度变化的问题。

本申请的技术方案是：提供了一种具有尺度不变性的点云对象识别方法，该识别方法适用于多层卷积神经网络，该识别方法包括：步骤1，根据模型样本中的第一点云数据，逐层提取多层卷积神经网络的卷积中心点，并根据卷积中心点的特征，计算多层卷积神经网络中最后一层卷积层的尺度不变特征，并生成点云识别神经网络；步骤2，根据训练样本中的第二点云数据，利用分类损失函数，训练点云识别神经网络；步骤3，利用训练好的点云识别神经网络，识别任意尺度的待识别立体点云对象，并输出识别分类结果。

上述任一项技术方案中，进一步地，卷积神经网络包含分类器和多层卷积层，步骤1中，具体包括：步骤11，将第一点云数据输入多层卷积神经网络中，采用随机采样方式，逐层确定卷积层中的卷积中心点采样点

步骤12，采用迭代算法，根据卷积层的卷积中心点采样点、卷积中心点坐标

和对应的局部点特征，逐层计算卷积中心点采样点的等变特征

记作卷积中心点的特征；步骤13，根据最后一层卷积层特征，计算最后一层卷积层的尺度不变特征

步骤14，将尺度不变特征接入分类器中，得到完整的点云识别神经网络。

上述任一项技术方案中，进一步地，等变特征

的计算公式为：

式中，c为卷积中心点采样点索引，

l为卷积层的层数，s_F为局部特征的最大尺度，Φ(·)为输入向量与卷积核的内积操作，

为中间计算变量，表示第c个卷积中心对应的未归一化的特征向量组合，s_P为局部点的最大尺度，MLP_δ(·)为多层感知机，

局部点的相对坐标构成的矩阵，⊕表征向量拼接操作，

为局部点对应的特征向量构成的矩阵，k为局部点的个数，i用作局部点的索引，i＝1,…,k，

为第c个卷积中心对应的kNN局部中所有点相对坐标的组合，

为第c个卷积中心对应的坐标。

上述任一项技术方案中，进一步地，尺度不变特征

的计算公式为：

式中，L为最后一层卷积层的编号，pooling(·)为平均池化运算。

上述任一项技术方案中，进一步地，步骤2中，分类损失函数的计算公式为：

式中，D_j(x_i)为第i个样本x_i在第j个样本分类上的分类输出值，

为第i个样本x_i属于标签y_i的分类输出值，B为样本分类的总数。

本申请的有益效果是：

通过逐层计算的方法，确定多层卷积神经网络中最后一层卷积层的尺度不变特征，得到一种对点云数据尺度，具有不变性的点云识别神经网络，实现了对于同一个点云数据，不论如何缩放，都不会影响点云识别神经网络、对该点云数据的识别结果的输出，大大提高了点云识别神经网络对立体对象的学习效率，使得点云识别神经网络，在没有额外数据增强的情况下，得到比现有方法使用数据增强更好的效果。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的具有尺度不变性的点云对象识别方法的示意流程图；

图2是根据本申请的一个实施例的卷积层运算过程示意流程图；

图3是根据本申请的一个实施例的仿真试验数据对比图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本实施例提供了一种具有尺度不变性的点云对象识别方法，该识别方法适用于多层卷积神经网络，该识别方法包括：

步骤1，根据模型样本中的第一点云数据，逐层提取多层卷积神经网络的卷积中心点，并根据卷积中心点的特征，计算多层卷积神经网络中最后一层卷积层的尺度不变特征，并生成点云识别神经网络；

进一步地，卷积神经网络包含分类器和多层卷积层，步骤1中，具体包括：

步骤11，将第一点云数据输入多层卷积神经网络中，采用随机采样方式，逐层确定卷积层中的卷积中心点采样点

具体地，设第l层的卷积中心点采样点的索引集合为：

式中，n^(l)为第l层卷积层中卷积中心点采样点的个数，

为第l层卷积层中的第c个卷积中心点采样点。

在本实施例中采用随机采样的方式，也可以将随机采样方式替换为最远点采样、密度分布采样。

为了计算方便，规定卷积中心点采样点的初始值为：

式中，n表示输入的原始点云数据中点的个数，即表示全体输入点的索引集合。

步骤12，采用迭代算法，根据卷积层的卷积中心点采样点、卷积中心点坐标

和对应的局部点特征，逐层计算卷积中心点采样点的等变特征

记作卷积中心点的特征；

具体地，如图2所示，卷积神经网络的多层卷积层之间采用迭代算法，即第l-1层卷积层的输出为第l层卷积层的输入，设定第l层卷积层的输入为特征和对应点组成的集合

式中，

为第c个卷积中心对应的坐标，

为第c个卷积中心对应的特征向量。

需要说明的是，本实施例采用kNN临近算法进行特征计算，因此，将卷积中心点采样点作为局部点，每一个局部点都有局部点特征，即特征向量

进而根据kNN临近算法，可以确定该局部点一定范围内的局部特征(局部特征可能指局部很多点的特征)。对于第一层卷积层，

为空，此向量

参与后面计算中向量拼接操作时会产生歧义，这里规定任何一个向量拼接一个空向量，拼接后的结果保持不变。

进一步地，等变特征

的计算公式为：

式中，c为卷积中心点采样点索引，

即由本层的采样方式决定，l为卷积层的层数，s_F为局部特征的最大尺度，Φ(·)为输入向量与卷积核的内积操作，

为中间计算变量，表示第c个卷积中心对应的未归一化的特征向量组合(表示为矩阵形式)，s_P为局部点的最大尺度，MLP_δ(·)为多层感知机，

局部点的相对坐标构成的矩阵，

表征向量拼接操作，

为局部点对应的特征向量构成的矩阵，k为局部点的个数(即kNN邻近算法中k个最临近的样本的数量)，i用作局部点的索引，i＝1,…,k，

为第c个卷积中心对应的kNN局部中所有点相对坐标的组合，

为第c个卷积中心对应的坐标。

需要说明的是，局部特征的最大尺度s_F和局部点的最大尺度s_P，被定义为二范数的最大值，也可以被替换为其它能表征局部特征代表性长度，例如一范数最大值、二范数平均值，值得注意的是，这两个变量在后续计算中，不参与后续梯度下降算法中的梯度计算，因为其表征的是第一点云数据的物理属性，不应该参与卷积神经网络迭代优化的过程。

对于向量拼接操作

若向量a＝(a₁,…,a_θ),b＝(b₁,…,b_β)，则有

可以证明，等变特征

是一个对输入尺度等变的特征，即任意的尺度变化m∈R⁺,对输入的变换等价于对输出的变化。验证过程如下：

即：

由此可以证明这种操作，得到的是对输入尺度“等变”的等变特征，它保证输入尺度变化时，内积操作操作Φ的向量是保持不变的，同时保证输出特征f之间的相对尺度信息得以保持。

通过上述计算公式，可以计算出最后一层卷积层的输入集合

在本实施例中，设定最后一层卷积层的卷积中心点采样点的索引集合为

最后一层卷积层的运算过程非常类似前几层的卷积层运算，不同的是，不作局部特征的最大尺度s_F的乘回。这样做的目的是得到一个对输入尺度“不变”的特征，而不是“等变”的特征。这是考虑到最后一层卷积层输出等变特征

将直接池化后，通过分类器得到卷积神经网络输出结果，因而，等变特征

之间的相对尺度信息已经不重要，而其不变性却对分类器的正确输出有重要意义。

步骤13，根据最后一层卷积层的特征

计算最后一层卷积层的尺度不变特征

进一步地，尺度不变特征

的计算公式为：

式中，L为最后一层卷积层的编号，pooling(·)为平均池化运算。

需要说明的是，pooling(·)也可以为最大池化运算。

步骤14，将尺度不变特征

传入分类器中，得到完整的点云识别神经网络。

具体地，在上述步骤14得到具有不变性的尺度不变特征

(卷积特征)后，再传入卷积神经网络(点云卷积网络)的分类器中，就能得到一个可以分类和识别输入点云数据的神经网络,记作点云识别神经网络PointCNN-norm。

步骤2，根据训练样本中的第二点云数据，利用分类损失函数，训练点云识别神经网络；

进一步地，步骤2中，分类损失函数的计算公式为：

式中，D_j(x_i)为第i个样本x_i在第j个样本分类上的分类输出值，

为第i个样本x_i属于标签y_i的分类输出值，B为样本分类总数。

具体地，将点云识别神经网络PointCNN-norm记作D，输入标记为x₁…x_N，标签记作y₁…y_N。设定第二点云数据的样本数量为N，对应的样本分类总数为B，第二点云数据中包括原始数据和分类的标签信息，将第二点云数据输入点云识别神经网络D，通过交叉熵的概念定义第i个样本的分类损失函数：

然后使用常规的随机梯度下降算法(SGD)优化这个损失函数，即根据梯度方向更新调整网络参数(如卷积核参数，全连接参数)，降低损失函数的值。迭代这一过程直到分类准确率收敛，这样，就得到一个训练好参数的点云识别神经网络PointCNN-norm。

步骤3，利用训练好的点云识别神经网络，识别任意尺度的待识别立体点云对象，并输出识别分类结果。

具体地，如图3所示，为了验证本实施例提出的点云识别神经网络PointCNN-norm的准确性，利用PointCNN算法、PointNET算法、PointNET++算法、DGCNN算法和PointSIFT算法最为比较，对相同的任意尺度的立体点云对象进行识别，通过仿真比较，本实施例中的点云识别神经网络PointCNN-norm的分类准确率明显由于其他算法。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种具有尺度不变性的点云对象识别方法，包括：步骤1，根据模型样本中的第一点云数据，逐层提取多层卷积神经网络的卷积中心点，并根据卷积中心点的特征，计算多层卷积神经网络中最后一层卷积层的尺度不变特征，并生成点云识别神经网络；步骤2，根据训练样本中的第二点云数据，利用分类损失函数，训练点云识别神经网络；步骤3，利用训练好的点云识别神经网络，识别任意尺度的待识别立体点云对象，并输出识别分类结果。通过本申请中的技术方案，降低了点云数据缩放对点云对象识别网络输出的影响，提高了点云对象识别网络对立体对象的学习效率。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (2)

1.一种具有尺度不变性的点云对象识别方法，其特征在于，该识别方法适用于多层卷积神经网络，该识别方法包括：

步骤1，根据模型样本中的第一点云数据，逐层提取所述多层卷积神经网络的卷积中心点，并根据所述卷积中心点的特征，计算所述多层卷积神经网络中最后一层卷积层的尺度不变特征，并生成点云识别神经网络；

步骤2，根据训练样本中的第二点云数据，利用分类损失函数，训练所述点云识别神经网络；

步骤3，利用训练好的所述点云识别神经网络，识别任意尺度的待识别立体点云对象，并输出识别分类结果；

其中，所述卷积神经网络包含分类器和多层卷积层，所述步骤1中，具体包括：

步骤11，将所述第一点云数据输入所述多层卷积神经网络中，采用随机采样方式，逐层确定所述卷积层中的卷积中心点采样点

步骤12，采用迭代算法，根据所述卷积层的所述卷积中心点采样点、卷积中心点坐标

和对应的局部点特征，逐层计算所述卷积中心点采样点的等变特征

记作所述卷积中心点的特征；

步骤13，根据最后一层卷积层所述特征，计算最后一层所述卷积层的所述尺度不变特征

步骤14，将所述尺度不变特征接入所述分类器中，得到完整的所述点云识别神经网络；

其中，所述等变特征

的计算公式为：

式中，c为卷积中心点采样点索引，

l为卷积层的层数，s_F为局部特征的最大尺度，Φ(·)为输入向量与卷积核的内积操作，

为中间计算变量，表示第c个卷积中心对应的未归一化的特征向量组合，s_P为局部点的最大尺度，MLP_δ(·)为多层感知机，

局部点的相对坐标构成的矩阵，

表征向量拼接操作，

为局部点对应的特征向量构成的矩阵，k为局部点的个数，i用作局部点的索引，i＝1,…,k，

为第c个卷积中心对应的kNN局部中所有点相对坐标的组合，

为第c个卷积中心对应的坐标；

其中，所述尺度不变特征

的计算公式为：

式中，L为最后一层所述卷积层的编号，pooling(·)为平均池化运算。

2.如权利要求1所述的具有尺度不变性的点云对象识别方法，其特征在于，所述步骤2中，分类损失函数的计算公式为：

式中，D_j(x_i)为第i个样本x_i在第j个样本分类上的分类输出值，

为第i个样本x_i属于标签y_i的分类输出值，B为样本分类的总数。

Images