CN113160316B - 非刚体三维形状的扇形卷积特征提取方法与系统 - Google Patents

Abstract

本发明公开了一种非刚体三维形状的扇形卷积特征提取方法与系统，该方法包括：S1、基于最远测地距离采样，提取非刚体三维形状的显著点集；S2、通过扇形卷积神经网络，对非刚体三维形状的显著点集进行特征提取，获取非刚体三维形状的深度内蕴特征；其中，所述扇形卷积神经网络共有四层，其首层为三维扇形卷积，第二层到第四层为二维扇形卷积，输出通道分别为256、512、1024；S3、通过特征拼接和最大池化，对所获取的非刚体三维形状的深度内蕴特征进行处理，以获取非刚体三维形状的深度全局特征。本发明减少非刚体三维形状的点云规模，在保持点云特性的情况下降低后续计算损耗，并有助于提取具有更强表达能力的深度内蕴特征。

Description

非刚体三维形状的扇形卷积特征提取方法与系统

技术领域

本发明涉及深度学习和计算机视觉的技术领域，尤其是指一种非刚体三维形状的扇形卷积特征提取方法与系统。

背景技术

随着“互联网+”和计算机技术的快速发展，各个领域的三维形状信息成海量增长，并且形成了各类三维形状库。三维形状分为刚体和非刚体，针对刚体三维形状的分类与检索，目前已有较为成熟的研究并取得了不错的效果。由于非刚体与刚体的巨大差异性，特别是非刚体三维形状具有铰链结构，形状内部点的位置关系变换种类多且形式复杂，如果把刚体上较成熟的方案直接应用在非刚体上，其效果往往欠佳。

在现存的一些非刚体特征提取方法中，基于人工设计的特征具有局限性，存在适用性不强、对噪声敏感、计算量较大、信息含量单一等缺陷，而基于视觉码本的方法可实现自动学习，但其获取高层语义特征的能力有限。基于深度学习的特征提取方法，由于其学习数据源不同导致存在一定的局限：基于人工特征的方法依赖人工选择参数；基于投影图像的方法，在变换过程中忽略了形状的局部细节和全局结构的相互关系，降低了特征鉴别力；基于三维体素的方法，体素化的二值表达所蕴含的形状信息有限，而且对于高分辨率的计算复杂度大，对于低分辨率则限制了特征的辨别力；基于原始数据的方法，设计能适应原始三维数据特点的深度学习网络难度大。此外，基于深度学习的非刚体三维形状的分类与检索方法较少，仍然有许多难题需要进一步深入研究。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，提供了一种非刚体三维形状的扇形卷积特征提取方法，可以通过显著点的提取，有效减少非刚体三维形状的点云规模，在保持点云特性的情况下降低后续计算损耗，同时由于所提出的三维扇形卷积在三维空间中的非刚体三维形状表面根据测地距离定义显著点特征，并在二维扇形卷积过程中保持了显著点的局部特征和其空间位置之间关系，有助于提取具有更强表达能力的深度内蕴特征。

本发明的第二目的在于提供一种非刚体三维形状的扇形卷积特征提取系统。

本发明的第一目的通过下述技术方案实现：非刚体三维形状的扇形卷积特征提取方法，包括以下步骤：

S1、基于最远测地距离采样，提取非刚体三维形状的显著点集；

S2、通过扇形卷积神经网络，对非刚体三维形状的显著点集进行特征提取，获取非刚体三维形状的深度内蕴特征；其中，所述扇形卷积神经网络共有四层，其首层为三维扇形卷积，第二层到第四层为二维扇形卷积，输出通道分别为256、512、1024；

S3、通过特征拼接和最大池化，对所获取的非刚体三维形状的深度内蕴特征进行处理，以获取非刚体三维形状的深度全局特征。

进一步，所述步骤S1包括以下步骤：

S101、从非刚体三维形状的点云中随机选取一点m₁作为初始显著点，放入显著点集M；

S102、计算点m₁与非刚体三维形状的点云中其余未被选取的各点的测地距离，并将最大的测地距离值点m₂放入显著点集M；

S103、计算点m₂与非刚体三维形状的点云中剩余各点的测地距离，并将除去显著点集M中的点外的最远测地距离点m₃放入显著点集M；

S104、将非刚体三维形状的点云剩余各点重复步骤S103，直到获得所需要数量的点。

进一步，所述步骤S2包括以下步骤：

S201、对于显著点集M，通过三维扇形卷积：

Feature_s＝F_3ck(M)

计算以显著点集M中每个显著点为中心点的扇形区域范围中中心点与所有显著点测地距离的统计特征，并按照预设的卷积步长移动至下一个扇形区域，最终提取非刚体三维形状的显著点集M中每个显著点的局部浅层特征；式中，Feature_s表示非刚体三维形状的显著点集M中每个显著点的局部浅层特征，F_3ck表示通过三维卷积核的卷积操作，M表示非刚体三维形状的显著点集；其中，三维扇形卷积操作过程如下：

设置三维扇形卷积核：

F_3ck(θ_3s,θ_3c,R,f_fer)

式中，θ_3c为卷积核的扇形角度，θ_3s为扇形卷积步长，R为扇形卷积半径，f_fer为计算以显著点集M中每个显著点为中心点的扇形区域范围中中心点与所有显著点测地距离的均值；

在扇形卷积神经网络训练优化过程中，三维扇形卷积核F_3ck的半径R作为可学习的参数并获得最优设置长度；

S202、将显著点集M中每个显著点通过三维扇形卷积核计算得到的局部浅层特征按顺序排列在相同扇形半径及角度的二维平面圆上；

S203、将排列在相同扇形半径及角度的二维平面圆上的局部浅层特征通过：

Feature_d＝F_2ck(Feature_s)

获得非刚体三维形状的深度内蕴特征Feature_d，其中F_2ck为二维扇形卷积，包括：

S2031、将局部浅层特征Feature_s通过二维卷积核：

F_2ck1(θ_2c,n,c)

进行二维扇形卷积操作，获得扇形卷积神经网络的第二层输出；式中，扇形角度θ_2c为卷积范围，计数n为卷积步长，输出通道c为256；

S2032、将扇形卷积神经网络的第二层输出通过二维卷积核：

F_2ck2(θ_2c,n,c)

进行二维扇形卷积操作，获得扇形卷积神经网络的第三层输出；式中，输出通道c为512；

S2033、将扇形卷积神经网络的第三层输出通过二维卷积核：

F_2ck2(θ_2c,n,c)

进行二维扇形卷积操作，获得非刚体三维形状的深度内蕴特征Feature_d；式中，输出通道c为1024。

进一步，在步骤S3中，对于获得的非刚体三维形状的深度内蕴特征，首先将其纵向排列、拼接，然后采取最大池化操作，提取每一特征维度的最大值，以克服点云的无序性并获得非刚体三维形状的深度全局特征。

本发明的第二目的通过下述技术方案实现：非刚体三维形状的扇形卷积特征提取系统，包括：

显著点提取单元，用于提取非刚体三维形状的显著点集；所述显著点集作为非刚体三维形状的表达，通过最远测地距离获取；

扇形卷积神经网络单元，用于提取非刚体三维形状的显著点集的深度内蕴特征；其中，所述扇形卷积神经网络单元共有四层，包括首层的三维扇形卷积操作和第二到四层的二维扇形卷积操作；所述三维扇形卷积操作包括设置三维扇形卷积核并进行卷积和扇形卷积神经网络训练过程中扇形半径的优化；所述二维扇形操作为通过三个大小相同、步长相同、输出通道分别为256、512、1024的二维扇形卷积核进行的卷积操作；

深度全局特征提取单元，用于提取非刚体三维形状的深度全局特征；其中，所述深度全局特征是通过对获得的非刚体三维形状的深度内蕴特征最大池化所得。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明设计的非刚体三维形状的扇形卷积特征提取方法，首先通过迭代计算非刚体三维形状点云的最远测地距离获取的非刚体三维形状的显著点集，在降低点云规模，提高计算效率的同时，保留了非刚体三维形状的关键点，并有效克服非刚体三维形状的等距变换。

2、本发明设计的通过三维扇形卷积提取非刚体三维形状的局部浅层特征，通过由非刚体三维形状显著点集的可学习半径确定的局部区域，使局部区域的覆盖选择更为合理。同时，将显著点的局部浅层特征定义为局部区域内显著点测地距离的统计值，克服了点云的无序性以及，更好的保留每个点之间的结构信息。

3、本发明设计的通过二维扇形卷积提取非刚体三维形状的深层特征，将计算较为复杂的三维形状上的卷积转化为平面上二维卷积，提高了训练效率，且区别于传统的二维卷积模式，二维扇形卷积保持了显著点的局部特征和其空间位置之间关系，有助于提取具有更强表达能力的深度内蕴特征。

附图说明

图1为本发明方法的流程示意图。

图2为本发明显著点提取流程示意图。

图3为本发明扇形卷积神经网络流程示意图。

图4为三维扇形卷积操作示意图。

图5为二维扇形卷积操作示意图。

图6为本发明系统的架构图。

图7为本发明方法应用流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1所示，本实施例提供了一种非刚体三维形状的扇形卷积特征提取方法，包括以下步骤：

S1、基于最远测地距离采样，提取非刚体三维形状的显著点集，参见图2所示，具体过程如下：

S101、从非刚体三维形状的点云中随机选取一点m₁作为初始显著点，放入显著点集M；

S102、计算点m₁与非刚体三维形状的点云中其余未被选取的各点的测地距离，并将最大的测地距离值点m₂放入显著点集M；

S103、计算点m₂与三维形状的点云中剩余各点的测地距离，并将除去显著点集M中的点外的最远测地距离点m₃放入显著点集M；

S104、将非刚体三维形状的点云剩余各点重复步骤S103，直到获得所需要数量的点，共提取1024个显著点。

S2、通过扇形卷积神经网络，对非刚体三维形状的显著点集进行特征提取，获取非刚体三维形状的深度内蕴特征，扇形卷积神经网络流程参见图3所示，三维扇形卷积参见图4所示，二维扇形卷积参见图5所示，具体过程如下：

S201、对于显著点集M，通过三维扇形卷积：

Feature_s＝F_3ck(M)

计算以显著点集M中每个显著点为中心点的扇形区域范围中中心点与所有显著点测地距离的统计特征，并按照预设的卷积步长移动至下一个扇形区域，最终提取非刚体三维形状的显著点集M中每个显著点的局部浅层特征；式中，Feature_s表示非刚体三维形状的显著点集M中每个显著点的局部浅层特征，F_3ck表示通过三维卷积核的卷积操作，M表示非刚体三维形状的显著点集；其中，三维扇形卷积操作过程如下：

设置三维扇形卷积核：

F_3ck(θ_3s,θ_3c,R,f_fer)

式中，θ_3c为卷积核的扇形角度，θ_3s为扇形卷积步长，R为扇形卷积半径，f_fer为计算以显著点集M中每个显著点为中心点的扇形区域范围中中心点与所有显著点测地距离的均值；

在扇形卷积神经网络训练优化过程中，三维扇形卷积核F_3ck的半径R作为可学习的参数并获得最优设置长度；

S202、将显著点集M中每个显著点通过三维扇形卷积核计算得到的局部浅层特征按顺序排列在相同扇形半径及角度的二维平面圆上；

S203、将排列在相同扇形半径及角度的二维平面圆上的局部浅层特征通过：

Feature_d＝F_2ck(Feature_s)

获得非刚体三维形状的深度内蕴特征Feature_d，其中F_2ck为二维扇形卷积，包括：

S2031、将局部浅层特征Feature_s通过二维卷积核：

F_2ck1(θ_2c,n,c)

进行二维扇形卷积操作，获得扇形卷积神经网络的第二层输出；式中，扇形角度θ_2c为卷积范围，计数n为卷积步长，输出通道c为256；

S2032、将扇形卷积神经网络的第二层输出通过二维卷积核：

F_2ck2(θ_2c,n,c)

进行二维扇形卷积操作，获得扇形卷积神经网络的第三层输出；式中，输出通道c为512；

S2033、将扇形卷积神经网络的第三层输出通过二维卷积核：

F_2ck2(θ_2c,n,c)

进行二维扇形卷积操作，获得非刚体三维形状的深度内蕴特征Feature_d；式中，输出通道c为1024。

S3、通过特征拼接和最大池化，对所获取的非刚体三维形状的深度内蕴特征Feature_d进行处理，以获取非刚体三维形状的深度全局特征，具体过程如下：

对于获得的非刚体三维形状的深度内蕴特征Feature_d，首先将其纵向排列、拼接，然后采取最大池化操作，提取每一特征维度的最大值，以克服点云的无序性并获得非刚体三维形状的深度全局特征。

参见图6所示，本实施例也提供了一种非刚体三维形状的扇形卷积特征提取系统，包括：

显著点提取单元，用于提取非刚体三维形状的显著点集；所述显著点集作为非刚体三维形状的表达，通过最远测地距离获取；

扇形卷积神经网络单元，用于提取非刚体三维形状的显著点集的深度内蕴特征；其中，所述扇形卷积神经网络单元共有四层，包括首层的三维扇形卷积操作和第二到四层的二维扇形卷积操作；所述三维扇形卷积操作包括设置三维扇形卷积核并进行卷积和扇形卷积神经网络训练过程中扇形半径的优化；所述二维扇形操作为通过三个大小相同、步长相同、输出通道分别为256、512、1024的二维扇形卷积核进行的卷积操作；

深度全局特征提取单元，用于提取非刚体三维形状的深度全局特征；其中，所述深度全局特征是通过对获得的非刚体三维形状的深度内蕴特征最大池化所得。

参见图7示，为本实施例上述非刚体三维形状的扇形卷积特征提取方法的应用流程，包括：

步骤1：基于最远测地距离采样，提取非刚体三维形状的显著点集，在保持非刚体三维形状基本结构的情况下降低非刚体三维形状的点云规模，减少后续的计算消耗；

步骤2：对于提取的非刚体三维形状的显著点集，通过扇形卷积神经网络中设置的三维扇形卷积核，提取其对于非刚体三维形状的显著点集中每个显著点的局部浅层特征；

步骤3：将显著点集M中每个显著点通过三维扇形卷积核计算得到的局部浅层特征按顺序排列在相同扇形半径及角度的二维平面圆上；

步骤4：将排列在相同扇形半径及角度的二维平面圆上的局部浅层特征通过扇形卷积神经网络中设置的三层而维扇形卷积核获得非刚体三维形状的深度内蕴特征；

步骤5：对于获得的非刚体三维形状的深度内蕴特征，首先将其纵向排列、拼接，然后采取最大池化操作，提取每一特征维度的最大值，以克服点云的无序性并获得非刚体三维形状的深度全局特征。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (4)

1.非刚体三维形状的扇形卷积特征提取方法，其特征在于，包括以下步骤：

S1、基于最远测地距离采样，提取非刚体三维形状的显著点集；

S2、通过扇形卷积神经网络，对非刚体三维形状的显著点集进行特征提取，获取非刚体三维形状的深度内蕴特征；其中，所述扇形卷积神经网络共有四层，其首层为三维扇形卷积，第二层到第四层为二维扇形卷积，输出通道分别为256、512、1024；包括以下步骤：

S201、对于显著点集M，通过三维扇形卷积：

Feature_s＝F_3ck(M)

计算以显著点集M中每个显著点为中心点的扇形区域范围中中心点与所有显著点测地距离的统计特征，并按照预设的卷积步长移动至下一个扇形区域，最终提取非刚体三维形状的显著点集M中每个显著点的局部浅层特征；式中，Feature_s表示非刚体三维形状的显著点集M中每个显著点的局部浅层特征，F_3ck表示通过三维卷积核的卷积操作，M表示非刚体三维形状的显著点集；其中，三维扇形卷积操作过程如下：

设置三维扇形卷积核：

F_3ck(θ_3s,θ_3c,R,f_fer)

式中，θ_3c为卷积核的扇形角度，θ_3s为扇形卷积步长，R为扇形卷积半径，f_fer为计算以显著点集M中每个显著点为中心点的扇形区域范围中中心点与所有显著点测地距离的均值；

在扇形卷积神经网络训练优化过程中，三维扇形卷积核F_3ck的半径R作为可学习的参数并获得最优设置长度；

S202、将显著点集M中每个显著点通过三维扇形卷积核计算得到的局部浅层特征按顺序排列在相同扇形半径及角度的二维平面圆上；

S203、将排列在相同扇形半径及角度的二维平面圆上的局部浅层特征通过：

Feature_d＝F_2ck(Feature_s)

获得非刚体三维形状的深度内蕴特征Feature_d，其中F_2ck为二维扇形卷积，包括：

S2031、将局部浅层特征Feature_s通过二维卷积核：

F_2ck1(θ_2c,n,c)

进行二维扇形卷积操作，获得扇形卷积神经网络的第二层输出；式中，扇形角度θ_2c为卷积范围，计数n为卷积步长，输出通道c为256；

S2032、将扇形卷积神经网络的第二层输出通过二维卷积核：

F_2ck2(θ_2c,n,c)

进行二维扇形卷积操作，获得扇形卷积神经网络的第三层输出；式中，输出通道c为512；

S2033、将扇形卷积神经网络的第三层输出通过二维卷积核：

F_2ck2(θ_2c,n,c)

进行二维扇形卷积操作，获得非刚体三维形状的深度内蕴特征Feature_d；式中，输出通道c为1024；

S3、通过特征拼接和最大池化，对所获取的非刚体三维形状的深度内蕴特征进行处理，以获取非刚体三维形状的深度全局特征。

2.根据权利要求1所述的非刚体三维形状的扇形卷积特征提取方法，其特征在于，所述步骤S1包括以下步骤：

S101、从非刚体三维形状的点云中随机选取一点m₁作为初始显著点，放入显著点集M；

S102、计算点m₁与非刚体三维形状的点云中其余未被选取的各点的测地距离，并将最大的测地距离值点m₂放入显著点集M；

S103、计算点m₂与非刚体三维形状的点云中剩余各点的测地距离，并将除去显著点集M中的点外的最远测地距离点m₃放入显著点集M；

S104、将非刚体三维形状的点云剩余各点重复步骤S103，直到获得所需要数量的点。

3.根据权利要求1所述的非刚体三维形状的扇形卷积特征提取方法，其特征在于，在步骤S3中，对于获得的非刚体三维形状的深度内蕴特征，首先将其纵向排列、拼接，然后采取最大池化操作，提取每一特征维度的最大值，以克服点云的无序性并获得非刚体三维形状的深度全局特征。

4.非刚体三维形状的扇形卷积特征提取系统，其特征在于，包括：

显著点提取单元，用于提取非刚体三维形状的显著点集；所述显著点集作为非刚体三维形状的表达，通过最远测地距离获取；

扇形卷积神经网络单元，用于提取非刚体三维形状的显著点集的深度内蕴特征；其中，所述扇形卷积神经网络单元共有四层，包括首层的三维扇形卷积操作和第二到四层的二维扇形卷积操作；所述三维扇形卷积操作包括设置三维扇形卷积核并进行卷积和扇形卷积神经网络训练过程中扇形半径的优化；所述二维扇形操作为通过三个大小相同、步长相同、输出通道分别为256、512、1024的二维扇形卷积核进行的卷积操作；

深度全局特征提取单元，用于提取非刚体三维形状的深度全局特征；其中，所述深度全局特征是通过对获得的非刚体三维形状的深度内蕴特征最大池化所得。

Images