CN110348299B - 三维物体的识别方法 - Google Patents

Abstract

本发明提供了一种三维物体的识别方法，包括：通过旋转不变编码器对输入的点云进行编码，得到旋转不变特征向量；对旋转不变特征向量进行卷积和池化处理，得到中间特征向量；对中间特征向量进行多层感知机全局池化处理，得到全局特征向量；将全局特征向量输入全连接层构成的分类器，得到三维物体的分类结果。本发明用图结构来描述点与点之间的关系，点与点的连接关系作为边，采用拉普拉斯矩阵L描述图结构，对图结构表示的三维特征进行旋转不变编码，然后利用层级图卷积进行全局特征提取，利用多层全连接输出最终分类结果，从而可以简化数据的处理过程，且提取的三维特征具备旋转不变性，使得三维物体的分类结果更加准确。

Description

三维物体的识别方法

技术领域

本发明涉及三维深度学习技术领域，具体地，涉及三维物体的识别方法。

背景技术

三维特征分两种，一种是手工设计的，一种是基于深度学习。手工设计的三维特征都是针对部分特定的应用去设计的，通用性不强，难以处理低分辨率、高噪声的三维数据。基于深度学习的方法是2015年后才逐渐出现的，得益于深度模型强大的学习能力和鲁邦性，基于学习的三维特征在性能上远远优于传统手工设计的特征。三维模型的表示方法可以是点云，voxel、multiview或者球投影等等。三维模型的不同的表示方法对应有不同的特征提取网络。其中，采用点云表示的三维模型，具备存储量小，计算效率高等优点。并且，点云是由三维深度传感器(如激光雷达，深度相机)直接输出的数据，不需要进行数据的额外预处理。

三维旋转不变性是三维特征中十分重要的特性，在三维物体识别、匹配和搜索等任务中有广泛应用。显然，对于点云中的某个点而言，其三维空间坐标值跟三维坐标系的选取有关，所以直接学习点云的坐标无法实现特征的三维旋转不变性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种三维物体的识别方法。

根据本发明提供的一种三维物体的识别方法，包括：

通过旋转不变编码器对输入的点云进行编码，得到旋转不变特征向量；

对所述旋转不变特征向量进行卷积和池化处理，得到中间特征向量；

对所述中间特征向量进行多层感知机全局池化处理后，得到全局特征向量；

将所述全局特征向量输入全连接层构成的分类器，得到三维物体的分类结果。

可选地，通过旋转不变编码器对输入的点云进行编码，得到旋转不变特征向量，包括：

计算点云中点与点之间的距离；

根据距离搜寻每个点的k个近邻点，得到k邻接矩阵A∈R^N×N；

根据k邻接矩阵计算拉普拉斯矩阵L；

将拉普拉斯矩阵L作为图移算子，并将所述图移算子作用于输入图信号X；

将所述输入信号X输入所述旋转不变编码器，并对输出结果取模长之后，转化为旋转不变特征向量。

可选地，对所述旋转不变特征向量进行卷积和池化处理，得到中间特征向量，包括：

通过层级卷积模块对所述旋转不变特征向量进行卷积和池化处理，得到中间特征向量；其中，所述层级卷积模块包括：交替连接的边卷积层和池化层；所述边卷积层用于获取边缘特征向量；所述池化层用于对所述边缘特征向量进行降采样处理，以减少处理的点云个数。

可选地，通过三个级联的层级卷积模块对所述旋转不变特征向量进行卷积和池化处理。

可选地，对所述中间特征向量进行多层感知机全局池化处理后，得到全局特征向量，包括：

计算所述中间特征向量中点云的局部几何变化率；

对输入点云进行网格化，以使得点云被分配至网格中；

在每个网格中仅保留局部变化率最大的点云；其中，所有被保留的点云对应的特征，构成了所述全局特征向量。

与现有技术相比，本发明具有如下的有益效果：

本发明提供的三维物体的识别方法，利用点云携带的三维特征蕴含在点与点之间的相互关系，采用图结构来描述点与点之间的关系，点云本身特征作为节点特征，点与点的连接关系作为边，采用拉普拉斯矩阵L描述图结构，对图结构表示的三维特征进行旋转不变编码，然后利用层级图卷积进行全局特征提取，利用多层全连接输出最终分类结果。本发明可以简化数据的处理过程，且提取的三维特征具备旋转不变性，使得三维物体的分类结果更加准确。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例提供的三维物体的识别方法的流程示意图；

图2为本发明中三维物体的识别的算法流程示意图；

图3为通过旋转不变编码器对输入的点云进行编码的方法流程图；

图4为本发明中三维物体的识别原理结构示意图；

图5为本发明中层级卷积模块的结构示意图；

图6为本发明中多层感知机全局池化处理的算法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

图1为本发明一实施例提供的三维物体的识别方法的流程示意图，如图1所示，本实施例的方法可以包括：

S101、通过旋转不变编码器对输入的点云进行编码，得到旋转不变特征向量。

本实施例中，首先计算点云中点与点之间的距离；根据距离搜寻每个点的k个近邻点，得到k邻接矩阵A∈R^N×N；根据k邻接矩阵计算拉普拉斯矩阵L；将拉普拉斯矩阵L作为图移算子，并将所述图移算子作用于输入图信号X；将所述输入信号X输入所述旋转不变编码器，并对输出结果取模长之后，转化为旋转不变特征向量。

具体地，3D旋转不变几何特征需要该特征能够表达所代表的几何含义，又不能随旋转变化。令任意的三维形状的点云表示为X；描述这个三维形状的特征向量为F；定义一个特征提取函数H()，则特征F＝H(X)，若要保持三维特征描述向量不随旋转变化，首先定义一个旋转矩阵R表示三维空间上的任意旋转，则需满足F＝H(RX)成立。在这里X使用点云表示，每个点云包含xyz坐标组成的三通道特征。

特征提取函数H()主要包含前端和后端两个部分。图2为本发明中三维物体的识别的算法流程示意图。如图2所示，前端是旋转不变特征的编码器，作用在点云的每个点上，可以利用点与周围点之间的关系，将会随坐标系变化而变化的点云坐标转化为不随旋转变化的高维特征向量；后端是层级结构图卷积网络，用于提取整体旋转不变特征，每层后对点云进行下采样并进行池化，最后用全局最大值池化提取全局特征，用三层全连接作为分类器输出最后分类结果。

图3为通过旋转不变编码器对输入的点云进行编码的方法流程图，如图3所示，首先对图信号X每个节点寻找临近点并构建临近图；尖酸拉普拉斯矩阵L；将L作为图移算子，作用于输入图信号X；对输出结果其模长，转换为旋转不变特征。利用旋转不变特征编码层对特征进行高维编码。

具体地，首先计算点云中点与点间的距离，然后对每个点根据距离搜寻的k个近邻点，得到k邻接距离矩阵A∈R^N×N。其中，任意两点之间的权重的计算公式如下：

其中，x_i，x_j∈X，x_i为中心点坐标，x_j为其近邻点坐标，σ为自适应归一化参数，A_i，j表示表示N个点中第i和j个点之间的权重。根据邻近矩阵可以计算得到拉普拉斯矩阵L^rw＝I-D^-1A，D为邻接距离矩阵A的度矩阵；Ni表示第i个点的近邻点集合，W_i，j表示

本实施例中，使用点的坐标作为信号，

令X∈R^N×3表示整个图上所有节点组成的信号。输入原始图信号，输出处理后的图信号。图移算子作用在图上的某一个节点，起到的作用是把当前节点上的值由其近邻点的值的加权平均值替代，使用拉普拉斯矩阵作为图移算子，每一个线性平移不变性的图滤波核都可以写成图移算子的多项式：

其中：h_l(l＝0，1，...，K-1)表示的是第l个滤波器系数，K为滤波器长度，滤波器作用于信号X的输出为F＝h(L)X∈R^N。I表示单位对角矩阵，L表示拉普拉斯矩阵。

定义图上的K个特征为：

i∈0，1，...，K-1其中

代表(h(L)X)_i每行的模长，则该特征具有旋转不变性。(h(L)X)_i表示h(L)X展开成多项式后的第(i+1)项，也就是h_iLⁱX，f_i(X)表示前面定义的图上的特征。

证明1：令X为原始三维坐标，R为任意旋转矩阵，旋转后的点云坐标为XR.则旋转不变特征为：

其中：(h(L))_i是h(L)的第i行。图移算子作用于图信号上某个点上，是对该中心点的邻域点取加权平均，对于L＝I-D^-1A；该矩阵每一行的和为0；于是LX＝IX-D^-1AX可以看作先对邻域求加权平均点，权重由邻域点到中心点的距离决定，然后计算中心点到加权平均点的相对坐标，于是||LX||代表的是中心点到邻域加权平均点的欧式距离，在SO(3)群中，欧式距离是一个不变量，本发明把这个距离称为局部几何变化率。旋转不变特征编码层：给定由矩阵L＝I-D^-1A表示的点云图，以及图信号X∈R^N×3，经过编码后的图信号是

其中F₀是特征映射的数量，即编码的旋转不变特征的维数，多项式阶数为K，然后旋转不变编码器的第j个输出通道可以写为：

其中：b_j是特征映射的第j个通道的偏差，θ_0j，...，θ_(K-1)j是K个可训练的滤波器系数，可以理解为卷积核，根据证明1可知经过编码后的特征是旋转不变的。X_j′表示旋转不变编码器的第j个输出，L^rw表示random walk拉普拉斯矩阵，拉普拉斯矩阵的一种。

S102、对所述旋转不变特征向量进行卷积和池化处理，得到中间特征向量。

本实施例中，通过层级卷积模块对所述旋转不变特征向量进行卷积和池化处理，得到中间特征向量；其中，所述层级卷积模块包括：交替连接的边卷积层和池化层；所述边卷积层用于获取边缘特征向量；所述池化层用于对所述边缘特征向量进行降维处理，以减少处理的点云个数。可选地，可以通过三个级联的层级卷积模块对所述旋转不变特征向量进行卷积和池化处理。

图4为本发明中三维物体的识别原理结构示意图，如图4所示，输入点云经过特征编码器之后经过三个层级卷积模块(HGCNN)，然后通过多层感知机全局池化之后，再经过三个全连接层，输出分类结果。图4中Nk为第k层的点云个数，100 60...140是对应层特征向量长度，1024...40是全连接层每层的特征维度，输入为1024维，中间层为512维和256维。最后输出为40维，40是我们使用的数据集中物体的类别数，其他数据集可根据需求更改。

图5为本发明中层级卷积模块的结构示意图，如图5所示，卷积操作使用边卷积(Edge-Conv)，边卷积模块以X′为输入，通过多层感知机计算每个点的边缘特征，并整合相邻节点间的特征，由于X′是旋转不变的，因此整个特征传播过程是旋转不变的。DGCNN的一个缺点是所有卷积和图结构更新操作过程点云个数是不变的，这导致高计算复杂度。本发明沿用了边卷积操作，但是在每一层中采用图池化来实现分层学习，使计算效率得到有效提高。图5中N0是输入点云个数，N1是输出点云个数，D1和D2是相应层的特征向量长度。

S103、对所述中间特征向量进行多层感知机全局池化处理后，得到全局特征向量。

本实施例中，首先计算所述中间特征向量中点云的局部几何变化率；对输入点云进行网格化，以使得点云被分配至网格中；在每个网格中仅保留局部变化率最大的点云；其中，所有被保留的点云对应的特征，构成了所述全局特征向量。

图6为本发明中多层感知机全局池化处理的算法流程图，如图6所示，图池化主要涉及点云下采样操作。实验表面，局部几何变化率越大代表该点携带的几何特征越丰富，这种点一般是边缘点，应该在点云下采样后尽量得到保留。令一方面如果只保留局部几何变化率大的点，会导致下采样后的点都集中在边缘，造成点云的局部密度相差太大，对识别结果造成负面影响。本发明提出的方法既保留了特征丰富的点又平衡点云密度，首先我们将点云所在三维空间网格化，对每个小网格里的所有点，我们只保留其中局部几何变化率最大的点。这样保证下采样后点云的空间密度是均衡的，而下采样后的点又携带了尽量多的几何信息。下采样完成后，对每个保留下来的点，在下采样前的点云中搜索m个近邻点，使用局部最大值池化整合特征，这样就完成了这个图池化操作。

S104、将所述全局特征向量输入全连接层构成的分类器，得到三维物体的分类结果。

本实施例中，通过三层全连接层构成的分类器对所述全局特征向量进行降维，从高维特征向量降维到与分类任务类别数一样长的低维特征向量，代表预测为不同类别对应的概率，然后选取概率最大的一个类别作为最终预测类别。

本实施例中，经过HGCNN提取的高维特征经过全局最大值池化得到全局特征，这个特征经过三层全连接构成的分类器就可以输出最终的三维物体所属类别。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (4)

1.一种三维物体的识别方法，其特征在于，包括：

通过旋转不变编码器对输入的点云进行编码，得到旋转不变特征向量；

对所述旋转不变特征向量进行卷积和池化处理，得到中间特征向量；包括：通过层级卷积模块对所述旋转不变特征向量进行卷积和池化处理，得到中间特征向量；其中，所述层级卷积模块包括：交替连接的边卷积层和池化层；所述边卷积层用于获取边缘特征向量；所述池化层用于对所述边缘特征向量进行降采样处理，以减少处理的点云个数；

对所述中间特征向量进行多层感知机全局池化处理后，得到全局特征向量；

将所述全局特征向量输入全连接层构成的分类器，得到三维物体的分类结果。

2.根据权利要求1所述的三维物体的识别方法，其特征在于，通过旋转不变编码器对输入的点云进行编码，得到旋转不变特征向量，包括：

计算点云中点与点之间的距离；

根据距离搜寻每个点的k个近邻点，得到k邻接矩阵A∈R^N×N；

根据k邻接矩阵计算拉普拉斯矩阵L；

将拉普拉斯矩阵L作为图移算子，并将所述图移算子作用于输入图信号X；

将所述输入信号X输入所述旋转不变编码器，并对输出结果取模长之后，转化为旋转不变特征向量。

3.根据权利要求1所述的三维物体的识别方法，其特征在于，通过三个级联的层级卷积模块对所述旋转不变特征向量进行卷积和池化处理。

4.根据权利要求1-3中任一项所述的三维物体的识别方法，其特征在于，对所述中间特征向量进行多层感知机全局池化处理后，得到全局特征向量，包括：

计算所述中间特征向量中点云的局部几何变化率；

对输入点云进行网格化，以使得点云被分配至网格中；

在每个网格中仅保留局部变化率最大的点云；其中，所有被保留的点云对应的特征，构成了所述全局特征向量。

Images