CN113076958B - 一种具有旋转不变性的三维点云模型分类方法与系统 - Google Patents

Abstract

本发明公开了一种具有旋转不变性的三维点云模型分类方法与系统，该方法包括：S1、获得三维点云模型的特征球面；S2、通过特征球面卷积神经网络，对三维点云模型的特征球面进行特征提取，获取三维点云模型的特征描述符；S3、通过全连接层以及SoftMax分类器，对所获取的三维点云模型的特征描述符进行处理，以获取三维点云模型所属类别。本发明克服了点云的不规则性及无序性，规定了模型在球面上的起始、终止位置，在所提出的特征球面卷积神经网络部分中充分利用球面的光滑性，利用循环卷积使球面上各位置的信息都可以被提取，增强了所提取特征的旋转不变性，通过深度融合经、纬度循环卷积，补充了特征的细粒度信息，增强了特征球面卷积神经网络提取特征的能力。

Description

一种具有旋转不变性的三维点云模型分类方法与系统

技术领域

本发明涉及深度学习和计算机视觉的技术领域，尤其是指一种具有旋转不变性的三维点云模型分类方法与系统。

背景技术

随着人工智能的发展，利用深度学习进行三维目标的分类已取得长足进展，并已提出各种基于视图、体素、点云、网格、八叉树的深度学习神经网络模型。现有的三维点云目标识别分类方法可以分为两大类，基于原始点云以及基于点云的转换。基于原始点云的三维识别分类方法可以最大限度的保留三维目标的本征特征，并且分类效率高，但是由于三维点云的不规则性和无序性，导致该种方法提取的特征不具有很好的旋转不变性、平移不变性等。基于点云转换的方法，首先将点云预处理为视图、体素等形式，再利用传统的特征提取方法实现特征提取，该方法虽然可以充分利用传统特征提取方法的优势，使提取的特征具有良好的空间信息，但是在对数据处理时，会造成点云信息的损坏或丢失。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，提供了一种具有旋转不变性的三维点云模型分类方法，通过将三维点云模型构造为以经纬度划分的特征球面，克服了点云的不规则性及无序性，规定了模型在球面上的起始、终止位置，增强了三维点云的空间信息，并且在所提出的特征球面卷积神经网络部分中充分利用球面的光滑性，利用循环卷积使球面上各位置的信息都可以被提取，增强了所提取特征的旋转不变性，最后，通过深度融合经、纬度循环卷积，补充了特征的细粒度信息，增强了特征球面卷积神经网络提取特征的能力，使所提取特征具有更好的表达力，进一步提高分类准确率。

本发明的第二目的在于提供一种具有旋转不变性的三维点云模型分类系统。

本发明的第一目的通过下述技术方案实现：一种具有旋转不变性的三维点云模型分类方法，包括以下步骤：

S1、获得三维点云模型的特征球面；

S2、通过特征球面卷积神经网络，对三维点云模型的特征球面进行特征提取，获取三维点云模型的特征描述符；其中，所述特征球面卷积神经网络共有四层，第一层包括卷积核大小为3×3的循环卷积LoopConv，第二层到第四层均为由经、纬度方向的循环卷积和下采样组成的组卷积，第二层组卷积输出通道为256，第三层组卷积输出通道为512，第四层组卷积输出通道为1024；

S3、通过全连接层以及SoftMax分类器，对所获取的三维点云模型的特征描述符进行处理，以获取三维点云模型所属类别。

进一步，所述步骤S1包括以下步骤：

S101、将三维点云模型做位姿矫正处理，包括平移、旋转和缩放；

S102、将位姿矫正处理后的三维点云模型密集化处理：根据其每个三角面片面积大小设置阈值，对面积大于阈值的三角面片进行密集化处理，对面积小于阈值的三角面片不做处理；

S103、将密集化处理后的三维点云模型中的每个点通过投影算子δ投影在球面上：

式中，x、y、z分别代表投影前三维点云模型中每个点在三维笛卡尔坐标系中x轴、y轴、z轴的取值，r、θ、分别表示投影后三维点云模型中每个点在球面上的深度、仰角以及方位角；

S104、将投影在球面上的三维点云模型根据经、纬度划分为K×K个区域；

S105、对划分出来的每一个区域，通过最大-平均融合方法提取区域特征点，将三维点云模型投影的球面转化为由K×K个区域特征点组成的球面，即三维点云模型的特征球面，记为Sph。

进一步，所述步骤S2包括以下步骤：

S201、对于三维点云模型的特征球面，通过公式f₁＝LoopConv1(Sph)获取特征球面卷积神经网络的第一层输出f₁，式中，LoopConv1表示一个卷积核大小为3×3、输出通道与输入通道相同、步长为1、填充为1的卷积，Sph表示三维点云模型的特征球面；

S202、对于特征球面卷积神经网络的第一层输出f₁，通过公式f₂＝GConv1(f₁)获取特征球面卷积神经网络第二层的输出f₂，式中，GConv1表示组卷积1；其中，所述组卷积1包括：

对于f₁，通过公式获得f₁经度方向的循环卷积输出/>式中，LoopConv11为卷积核大小为2×3、输出通道为256、步长为2、填充为0的循环卷积；

对于f₁，通过公式获得f₁纬度方向的循环卷积输出/>式中，rot表示对f₁的顺时针旋转；

对于f₁，通过公式f_2ds＝LoopConv12(f₁)获得f₁下采样输出f_2ds，式中，LoopConv12为卷积核大小为3×3、输出通道为256、步长为2、填充为0的下采样循环卷积；

将f₁经度方向的循环卷积输出f₁纬度方向的循环卷积输出/>f₁下采样输出f_2ds相加，获得特征球面卷积神经网络第二层的输出f₂；

S203、对于特征球面卷积神经网络第二层的输出f₂，通过公式f₃＝GConv2(f₂)获得特征球面卷积神经网络第三层的输出f₃，式中，GConv2表示组卷积2；其中，所述组卷积2包括：

对于f₂，通过公式获得f₂经度方向的循环卷积输出/>式中，LoopConv21为卷积核大小为2×3、输出通道为512、步长为2、填充为0的循环卷积；

对于f₂，通过公式获得f₂纬度方向的循环卷积输出式中，rot表示对f₂的顺时针旋转；

对于f₂，通过公式f_3ds＝LoopConv22(f₂)获得f₂下采样输出f_3ds，式中，LoopConv22为卷积核大小为3×3、输出通道为512、步长为2、填充为0的下采样循环卷积；

将f₂经度方向的循环卷积输出f₂纬度方向的循环卷积输出/>f₂下采样输出f_3ds相加，获得特征球面卷积神经网络第三层的输出f₃；

S204、对于特征球面卷积神经网络第三层的输出f₃，通过公式f₄＝GConv3(f₃)获得特征球面卷积神经网络第四层的输出f₄，式中，GConv3表示组卷积3；其中，所述组卷积3包括：

对于f₃，通过公式获得f₃经度方向的卷积输出/>式中，LoopConv31为卷积核大小为2×3、输出通道为1024、步长为2、填充为0的循环卷积；

对于f₃，通过公式获得f₃纬度方向的卷积输出/>式中，rot表示对f₃的顺时针旋转；

对于f₃，通过公式获得f₃下采样输出/>式中，LoopConv32为卷积核大小为3×3、输出通道为1024、步长为2、填充为0的下采样循环卷积；

将f₃经度方向的卷积输出f₃纬度方向的卷积输出/>f₃下采样输出f_4ds相加，获得特征球面卷积神经网络第四层的输出f₄，实现对三维点云模型特征球面的特征描述符的提取。

进一步，在步骤S3中，对于特征球面卷积神经网络第四层的输出f₄，首先通过全连接层，然后送入SoftMax分类器进行分类，得到三维点云模型属于所属类别的概率，最后选择概率最大的所属类别，即为该三维点云模型的类别。

本发明的第二目的通过下述技术方案实现：一种具有旋转不变性的三维点云模型分类系统，包括：

构造特征球面单元，用于将三维点云模型构造为特征球面；其中，三维点云模型通过将每个点投影在球面上，以经纬度划分域，最大-平均融合方法提取区域特征点，将三维点云模型投影的球面转化为由K×K个区域特征点组成的球面，即为三维点云模型的特征球面，记为Sph；

特征球面卷积神经网络单元，用于提取三维点云模型的特征球面Sph的特征；其中，Sph首先通过卷积核大小为3×3、输出通道与输入通道相同、步长为1、填充为1的卷积，然后依次通过组卷积1、组卷积2、组卷积3，获得三维点云模型的特征球面Sph的特征描述符；

分类器单元，用于处理三维点云模型的特征球面Sph的特征描述符，以获取三维点云模型所属类别；其中，已获取的特征描述符首先通过全连接层，然后通过SoftMax分类器，即可获得该三维点云模型所属类别的概率，最后选择概率最大的所属类别，即为该三维点云模型的类别。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明设计的一种具有旋转不变性的三维点云模型分类方法在模型预处理阶段通过将三维点云模型映射在被经纬度划分为若干个区域的空球面上并采用最大-平均融合方法提取每个区域的区域特征点，构造特征球面Sph，有效克服了点云的不规则性及无序性，并且规定了模型在球面上的起始、终止位置，消除了特征球面卷积神经网络训练过程中的卷积位置的随机性，增强了三维点云的空间信息。

2、在特征球面卷积神经网络部分充分利用球面的光滑性，将整个球面离散为点组成的环形结构，通过旋转特征球面Sph的方式，实现经、纬度方向的循环卷积共享，降低特征球面卷积神经网络训练难度，提高特征球面卷积神经网络训练效率；同时，通过经、纬度方向的循环卷积使球面上各位置的信息都可以被提取，增强了所提取特征的旋转不变性。

3、通过下采样与经、纬度循环卷积的融合，弥补了循环卷积过程中部分信息损失，提高了特征球面卷积神经网络的拟合能力，使所提取特征具有更好的表达力，进一步提高分类准确率。

附图说明

图1为本发明方法的流程示意图。

图2为本发明特征球面构造流程。

图3为本发明的特征球面卷积神经网络总构架图。

图4为LoopConv示意图。

图5为本发明系统的架构图。

图6为本发明的应用流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1所示，本实施例所提供的具有旋转不变性的三维点云模型分类方法，包括以下步骤：

S1、获得三维点云模型的特征球面，参见图2所示，具体过程如下：

S101、将三维点云模型做位姿矫正处理，包括平移、旋转和缩放；

S102、将位姿矫正处理后的三维点云模型密集化处理：根据其每个三角面片面积大小设置阈值，对面积大于阈值的三角面片进行密集化处理，对面积小于阈值的三角面片不做处理；

S103、将密集化处理后的三维点云模型中的每个点通过投影算子δ投影在球面上：

式中，x、y、z分别代表投影前三维点云模型中每个点在三维笛卡尔坐标系中x轴、y轴、z轴的取值，r、θ、分别表示投影后三维点云模型中每个点在球面上的深度、仰角以及方位角；

S104、将投影在球面上的三维点云模型根据经、纬度划分为K×K个区域；

S105、对划分出来的每一个区域，通过最大-平均融合方法提取区域特征点，将三维点云模型投影的球面转化为由K×K个区域特征点组成的球面，即三维点云模型的特征球面，记为Sph。

S2、通过特征球面卷积神经网络，对三维点云模型的特征球面Sph进行特征提取，获取三维点云模型的特征描述符，参见图3所示，图中所有LoopConv均为循环卷积，GConv为组卷积，rot为对输入的顺时针旋转，LoopConv循环卷积参见图4所示，具体过程如下：

S201、对于三维点云模型的特征球面，通过公式f₁＝LoopConv1(Sph)获取特征球面卷积神经网络的第一层输出f₁，式中，LoopConv1表示一个卷积核大小为3×3、输出通道与输入通道相同、步长为1、填充为1的卷积，Sph表示三维点云模型的特征球面；

S202、对于特征球面卷积神经网络的第一层输出f₁，通过公式f₂＝GConv1(f₁)获取特征球面卷积神经网络第二层的输出f₂，式中，GConv1表示组卷积1；其中，所述组卷积1包括：

对于f₁，通过公式获得f₁经度方向的循环卷积输出/>式中，LoopConv11为卷积核大小为2×3、输出通道为256、步长为2、填充为0的循环卷积；

对于f₁，通过公式获得f₁纬度方向的循环卷积输出/>式中，rot表示对f₁的顺时针旋转；

对于f₁，通过公式f_2ds＝LoopConv12(f₁)获得f₁下采样输出f_2ds，式中，LoopConv12为卷积核大小为3×3、输出通道为256、步长为2、填充为0的下采样循环卷积；

将f₁经度方向的循环卷积输出f₁纬度方向的循环卷积输出/>f₁下采样输出f_2ds相加，获得特征球面卷积神经网络第二层的输出f₂；

S203、对于特征球面卷积神经网络第二层的输出f₂，通过公式f₃＝GConv2(f₂)获得特征球面卷积神经网络第三层的输出f₃，式中，GConv2表示组卷积2；其中，所述组卷积2包括：

对于f₂，通过公式获得f₂经度方向的循环卷积输出/>式中，LoopConv21为卷积核大小为2×3、输出通道为512、步长为2、填充为0的循环卷积；

对于f₂，通过公式获得f₂纬度方向的循环卷积输出f_3lati，式中，rot表示对f₂的顺时针旋转；

对于f₂，通过公式f_3ds＝LoopConv22(f₂)获得f₂下采样输出f_3ds，式中，LoopConv22为卷积核大小为3×3、输出通道为512、步长为2、填充为0的下采样循环卷积；

将f₂经度方向的循环卷积输出f₂纬度方向的循环卷积输出/>f₂下采样输出f_3ds相加，获得特征球面卷积神经网络第三层的输出f₃；

S204、对于特征球面卷积神经网络第三层的输出f₃，通过公式f₄＝GConv3(f₃)获得特征球面卷积神经网络第四层的输出f₄，式中，GConv3表示组卷积3；其中，所述组卷积3包括：

对于f₃，通过公式获得f₃经度方向的卷积输出/>式中，LoopConv31为卷积核大小为2×3、输出通道为1024、步长为2、填充为0的循环卷积；

对于f₃，通过公式获得f₃纬度方向的卷积输出/>式中，rot表示对f₃的顺时针旋转；

对于f₃，通过公式f_4ds＝LoopConv32(f₃)获得f₃下采样输出f_4ds，式中，LoopConv32为卷积核大小为3×3、输出通道为1024、步长为2、填充为0的下采样循环卷积；

将f₃经度方向的卷积输出f₃纬度方向的卷积输出/>f₃下采样输出f_4ds相加，获得特征球面卷积神经网络第四层的输出f₄，实现对三维点云模型特征球面的特征描述符的提取。

S3、通过全连接层以及SoftMax分类器，对所获取的三维点云模型特征描述符进行处理，以获取三维点云模型所属类别，具体过程如下：

对于特征球面卷积神经网络第四层的输出f₄，首先通过全连接层，然后送入SoftMax分类器进行分类，得到三维点云模型属于所属类别的概率，最后选择概率最大的所属类别，即为该三维点云模型的类别。

参见图5所示，本实施例也提供了一种具有旋转不变性的三维点云模型分类系统，包括：

构造特征球面单元，用于将三维点云模型构造为特征球面；其中，三维点云模型通过将每个点投影在球面上，以经纬度划分域，最大-平均融合方法提取区域特征点，将三维点云模型投影的球面转化为由K×K个区域特征点组成的球面，即为三维点云模型的特征球面，记为Sph；

特征球面卷积神经网络单元，用于提取三维点云模型的特征球面Sph的特征；其中，Sph首先通过卷积核大小为3×3、输出通道与输入通道相同、步长为1、填充为1的卷积，然后依次通过组卷积1、组卷积2、组卷积3，获得三维点云模型的特征球面Sph的特征描述符；

分类器单元，用于处理三维点云模型的特征球面Sph的特征描述符，以获取三维点云模型所属类别；其中，已获取的特征描述符首先通过全连接层，然后通过SoftMax分类器，即可获得该三维点云模型所属类别的概率，最后选择概率最大的所属类别，即为该三维点云模型的类别。

参见图6所示，为本实施例上述具有旋转不变性的三维点云模型分类中的应用流程，包括：

步骤1：对三维点云模型做位姿矫正处理，包括平移、旋转和缩放，使三维点云模型处于一种统一的位姿，增强模型对旋转变化的鲁棒性；

步骤2：对于已做位姿处理的三维点云模型密集化处理，根据其每个三角面片面积大小设置阈值，对面积大于阈值的三角面片进行密集化处理，对面积小于阈值的三角面片不做处理；

步骤3：将密集化处理后的三维点云模型投影至球面上，并进行经、纬度划分为K×K个区域；对于划分出的每一个区域提取其区域特征点，并构成由K×K个区域特征点组成的三维点云模型的特征球面，记为Sph；

步骤4：对于三维点云模型的特征球面Sph，通过特征球面卷积神经网络，提取其具有旋转不变性的特征描述符；所述特征球面卷积神经网络包括一个卷积核大小为3×3、输出通道与输入通道相同、步长为1、填充为1的卷积操作以及三个组卷积操作；所述三个组卷积操作包括两个卷积核尺寸为2×3、步长为2、填充为0、输出通道分别为256、512、1024的环形卷积以及一个卷积核大小为3×3、步长为2、填充为0、输出通道分别为256、512、1024的下采样环形卷积操作；

步骤5：对于提取的三维点云模型具有旋转不变性的特征描述符，通过全连接层以及SoftMax分类器进行分类，得到三维点云模型属于所属类别的概率，最后选择概率最大的所属类别，即为该三维点云模型的类别。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.一种具有旋转不变性的三维点云模型分类方法，其特征在于，包括以下步骤：

S1、获得三维点云模型的特征球面；

S2、通过特征球面卷积神经网络，对三维点云模型的特征球面进行特征提取，获取三维点云模型的特征描述符；其中，所述特征球面卷积神经网络共有四层，第一层包括卷积核大小为3×3的循环卷积LoopConv，第二层到第四层均为由经、纬度方向的循环卷积和下采样组成的组卷积，第二层组卷积输出通道为256，第三层组卷积输出通道为512，第四层组卷积输出通道为1024；包括以下步骤：

S201、对于三维点云模型的特征球面，通过公式f₁＝LoopConv1(Sph)获取特征球面卷积神经网络的第一层输出f₁，式中，LoopConv1表示一个卷积核大小为3×3、输出通道与输入通道相同、步长为1、填充为1的卷积，Sph表示三维点云模型的特征球面；

S202、对于特征球面卷积神经网络的第一层输出f₁，通过公式f₂＝GConv1(f₁)获取特征球面卷积神经网络第二层的输出f₂，式中，GConv1表示组卷积1；其中，所述组卷积1包括：

对于f₁，通过公式获得f₁经度方向的循环卷积输出/>式中，LoopConv11为卷积核大小为2×3、输出通道为256、步长为2、填充为0的循环卷积；

对于f₁，通过公式获得f₁纬度方向的循环卷积输出/>式中，rot表示对f₁的顺时针旋转；

对于f₁，通过公式f_2ds＝LoopConv12(f₁)获得f₁下采样输出f_2ds，式中，LoopConv12为卷积核大小为3×3、输出通道为256、步长为2、填充为0的下采样循环卷积；

将f₁经度方向的循环卷积输出f₁纬度方向的循环卷积输出/>f₁下采样输出f_2ds相加，获得特征球面卷积神经网络第二层的输出f₂；

S203、对于特征球面卷积神经网络第二层的输出f₂，通过公式f₃＝GConv2(f₂)获得特征球面卷积神经网络第三层的输出f₃，式中，GConv2表示组卷积2；其中，所述组卷积2包括：

对于f₂，通过公式获得f₂经度方向的循环卷积输出/>式中，LoopConv21为卷积核大小为2×3、输出通道为512、步长为2、填充为0的循环卷积；

对于f₂，通过公式获得f₂纬度方向的循环卷积输出/>式中，rot表示对f₂的顺时针旋转；

对于f₂，通过公式f_3ds＝LoopConv22(f₂)获得f₂下采样输出f_3ds，式中，LoopConv22为卷积核大小为3×3、输出通道为512、步长为2、填充为0的下采样循环卷积；

将f₂经度方向的循环卷积输出f₂纬度方向的循环卷积输出/>f₂下采样输出f_3ds相加，获得特征球面卷积神经网络第三层的输出f₃；

S204、对于特征球面卷积神经网络第三层的输出f₃，通过公式f₄＝GConv3(f₃)获得特征球面卷积神经网络第四层的输出f₄，式中，GConv3表示组卷积3；其中，所述组卷积3包括：

对于f₃，通过公式获得f₃经度方向的卷积输出/>式中，LoopConv31为卷积核大小为2×3、输出通道为1024、步长为2、填充为0的循环卷积；

对于f₃，通过公式获得f₃纬度方向的卷积输出/>式中，rot表示对f₃的顺时针旋转；

对于f₃，通过公式f_4ds＝LoopConv32(f₃)获得f₃下采样输出f_4ds，式中，LoopConv32为卷积核大小为3×3、输出通道为1024、步长为2、填充为0的下采样循环卷积；

将f₃经度方向的卷积输出f₃纬度方向的卷积输出/>f₃下采样输出f_4ds相加，获得特征球面卷积神经网络第四层的输出f₄，实现对三维点云模型特征球面的特征描述符的提取；

S3、通过全连接层以及SoftMax分类器，对所获取的三维点云模型的特征描述符进行处理，以获取三维点云模型所属类别。

2.根据权利要求1所述的一种具有旋转不变性的三维点云模型分类方法，其特征在于，所述步骤S1包括以下步骤：

S101、将三维点云模型做位姿矫正处理，包括平移、旋转和缩放；

S102、将位姿矫正处理后的三维点云模型密集化处理：根据其每个三角面片面积大小设置阈值，对面积大于阈值的三角面片进行密集化处理，对面积小于阈值的三角面片不做处理；

S103、将密集化处理后的三维点云模型中的每个点通过投影算子δ投影在球面上：

式中，x、y、z分别代表投影前三维点云模型中每个点在三维笛卡尔坐标系中x轴、y轴、z轴的取值，r、θ、分别表示投影后三维点云模型中每个点在球面上的深度、仰角以及方位角；

S104、将投影在球面上的三维点云模型根据经、纬度划分为K×K个区域；

S105、对划分出来的每一个区域，通过最大-平均融合方法提取区域特征点，将三维点云模型投影的球面转化为由K×K个区域特征点组成的球面，即三维点云模型的特征球面，记为Sph。

3.根据权利要求1所述的一种具有旋转不变性的三维点云模型分类方法，其特征在于，在步骤S3中，对于特征球面卷积神经网络第四层的输出f₄，首先通过全连接层，然后送入SoftMax分类器进行分类，得到三维点云模型属于所属类别的概率，最后选择概率最大的所属类别，即为该三维点云模型的类别。

4.一种具有旋转不变性的三维点云模型分类系统，其特征在于，用于实现权利要求1-3任意一项所述的具有旋转不变性的三维点云模型分类方法，包括：

构造特征球面单元，用于将三维点云模型构造为特征球面；其中，三维点云模型通过将每个点投影在球面上，以经纬度划分域，最大-平均融合方法提取区域特征点，将三维点云模型投影的球面转化为由K×K个区域特征点组成的球面，即为三维点云模型的特征球面，记为Sph；

特征球面卷积神经网络单元，用于提取三维点云模型的特征球面Sph的特征；其中，Sph首先通过卷积核大小为3×3、输出通道与输入通道相同、步长为1、填充为1的卷积，然后依次通过组卷积1、组卷积2、组卷积3，获得三维点云模型的特征球面Sph的特征描述符；

分类器单元，用于处理三维点云模型的特征球面Sph的特征描述符，以获取三维点云模型所属类别；其中，已获取的特征描述符首先通过全连接层，然后通过SoftMax分类器，即可获得该三维点云模型所属类别的概率，最后选择概率最大的所属类别，即为该三维点云模型的类别。