CN113313830A - 基于多分支图卷积神经网络的编码点云特征提取方法 - Google Patents

Abstract

本发明公开了一种基于多分支图卷积神经网络的编码点云特征提取方法，包括：获取若干三维网格模型数据；基于改进的点云生成方法，对于每一个三维网格模型数据，根据阈值设定判断，进行点云生成，获取其对应的第一点云；基于第一点云和新型热核特征编码方法，获取对应的编码点云；基于多分支图卷积神经网络模型，对于每一个编码点云，获取其对应的深度学习特征。本发明可以提取具有变换不变性和高鉴别力的三维模型形状内容特征，为后续的分类识别与检索等任务垫定基础。

Description

基于多分支图卷积神经网络的编码点云特征提取方法

技术领域

本发明涉及三维模型分类识别与检索的技术领域，尤其是指一种基于多分支图卷积神经网络的编码点云特征提取方法。

背景技术

现阶段，有效地提取三维模型的低维、高鉴别力的形状内容特征，有利于对其进行分类与检索等，因此研究三维模型特征提取新方法是当前三维计算机视觉领域的重要研究内容。然而特征提取步骤面临许多难题与挑战，首先，传统的基于点云的方法多采用单一的三维空间点坐标信息作为网络输入，缺乏辅助编码信息；其次，传统的从网格采样生成点云的方法，多使用分段插值的方法，缺乏采样策略，极易忽略面片实际大小情况，使得采集得到的点集不够均匀；最后，使用传统的多层感知机MLP作为网络特征提取器，无法更有效地建模类似点云的非欧几何数据，难以捕获模型局部领域有效信息，性能提升有限。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于多分支图卷积神经网络的编码点云特征提取方法，可以提取具有变换不变性和高鉴别力的三维模型形状内容特征，为后续的分类识别与检索等任务垫定基础。

为实现上述目的，本发明所提供的技术方案为：基于多分支图卷积神经网络的编码点云特征提取方法，包括以下步骤：

S1、获取若干三维网格模型数据，包括顶点集合和面片集合；

S2、基于改进的点云生成方法，对于每一个三维网格模型数据，根据阈值设定判断，进行点云生成，获取其对应的第一点云；

S3、基于第一点云和新型热核特征编码方法，获取对应的编码点云；其中，所述编码点云包含三维空间直角坐标系表示信息和热核特征编码值信息；

S4、基于多分支图卷积神经网络模型，对于每一个编码点云，获取其对应的深度学习特征。

进一步，在步骤S1中，读取三维网格模型数据，获取三维网格模型的顶点集合V＝{v_i|i＝1,2,...,n}与面片集合F＝{f_j|j＝1,2,...,m}；其中，v_i代表第i个顶点元素，v_i＝(v_i ¹,v_i ²,v_i ³)为顶点集合中顶点元素的三维空间直角坐标系表示，n为顶点集合中顶点元素的个数，f_j代表第j个面片元素，m为面片集合中面片元素的个数，面片集合使用面片元素上顶点索引信息储存。

进一步，所述步骤S2包括以下步骤：

S201、基于面片集合F＝{f_j|j＝1,2,...,m}，m为面片集合中面片元素的个数，通过公式计算得到面片集合中各面片元素的面积，公式如下所示：

其中

a_j＝||(v_j1-v_j2)||₂，b_j＝||(v_j1-v_j3)||₂，c_j＝||(v_j2-v_j3)||₂

式中，S(f_j)代表面片集合中第j个面片元素f_j的面积，v_j1、v_j2、v_j3为面片元素f_j上的三个顶点，a_j代表顶点v_j1与顶点v_j2构成的向量的二范数，b_j代表顶点v_j1与顶点v_j3构成的向量的二范数，c_j代表顶点v_j2与顶点v_j3构成的向量的二范数，p_j代表由a_j、b_j、c_j计算所得中间过程变量；

S202、基于面片集合中各面片元素的面积S(f_j)，通过公式计算得到面片集合中整体面片元素面积的平均值

再把该平均值作为阈值，公式如下所示：

S203、原始的点云生成方法，是直接进行点云生成操作，并未考虑三维网格模型中每个面片元素面积大小的分布情况；改进的点云生成方法增加了条件判断，是通过阈值设定判断，选择性地对面片元素进行点云生成操作，点云生成操作是基于面片集合中面片元素的信息，进行线性插值，计算得到新的顶点集合，具体如下：

基于面片集合F＝{f_j|j＝1,2,...,m}，根据公式，对面积大于阈值

的面片元素进行点云生成操作，而对面积小于阈值

的面片元素不进行点云生成操作，以此，获取对应三维网格模型生成的点云，公式如下所示：

式中，Set(f_j)为面片集合中第j个面片元素f_j上的顶点集合，v_j′表示集合

中的第j个顶点集合，q₁、q₂表示[0,1]区间划分的个数，ω₁、ω₂、o、p为中间过程变量，

为对应三维网格模型生成的点云；

S204、基于对应三维网格模型生成的点云

根据最远点采样算法或随机采样方法，采集固定顶点数量的点云，获取三维网格模型对应的第一点云，公式如下所示：

式中，Sample_Function为最远点采样算法函数或随机采样算法函数，V′为三维网格模型对应的第一点云，n′代表要采样得到的第一点云中顶点元素的个数，v′_k为第一点云中的第k个元素。

进一步，所述步骤S3包括以下步骤：

S301、基于第一点云V′＝{v_k′|k＝1,2,...,n′}和设置的时间参数序列(t₁,t₂,t₃)，根据公式计算新型热核特征编码值，v′_k为第一点云中的第k个元素，n′代表第一点云中顶点元素的个数；其中，获取新型热核特征编码值的步骤包括：

S3011、基于第一点云V′和设置的时间参数序列(t₁,t₂,t₃)，根据公式，获取相应的网格拉普拉斯矩阵；

L＝I+D^-1·H

式中，L为网格拉普拉斯矩阵，I为n′×n′的单位矩阵，D为n′×n′的稀疏对角矩阵，D中各位置的元素由式子

各元素位置上的倒数填充得到，Euc_Dis为由第一点云V′计算得到的平方距离矩阵，H为过程中间变量，t为设置的时间参数序列(t₁,t₂,t₃)中的时间元素；

S3012、基于网格拉普拉斯矩阵L进行特征分解，获取特征值λ_i和特征向量φ_i，式中，i＝1,2,...,k，k为特征值的个数；

S3013、基于对应的特征值λ_i和特征向量φ_i及设置的时间参数序列(t₁,t₂,t₃)，根据公式计算最小时间和最大时间，并进一步判断设置的时间参数序列中的时间元素是否在最小时间与最大时间范围内，若发生越界则取时间为最大时间，至此，获取新的时间参数序列(t′₁,t′₂,t′₃)，公式如下：

t_max＝4ln10/λ₂

t_min＝4ln10/λ₃₀₀

式中，t_max为最大时间，t_min为最小时间；

S3014、基于对应的特征值λ_i和特征向量φ_i及新的时间参数序列(t′₁,t′₂,t′₃)，根据公式计算对应的新型热核特征编码值，至此，获取新型热核特征编码值，公式如下：

式中，

为

对应的新型热核特征编码值，

为设置的时间参数序列(t₁,t₂,t₃)中的时间元素；

为

对应的经过归一化的新型热核特征编码值，

为获取的对应的经过归一化的新型热核特征编码值；

S302、基于第一点云V′＝{v_k′|k＝1,2,...,n′}和对应的经过归一化的新型热核特征编码值

进行拼接操作，获取对应的编码点云

其中，v′_k＝(v′_k ¹,v′_k ²,v′_k ³)为第一点云中的元素的三维空间直角坐标系表示，v″_k为编码点云集合第k个元素。

进一步，所述步骤S4包括以下步骤：

S401、基于编码点云

v″_k为编码点云集合第k个元素，和多分支图卷积神经网络模型，获取其对应的深度学习特征，v′_k＝(v′_k ¹,v′_k ²,v′_k ³)为第一点云中的元素的三维空间直角坐标系表示，

为对应的经过归一化的新型热核特征编码值，n′代表第一点云中顶点元素的个数；其中，获取多分支图卷积神经网络的步骤包括：

S4011、基于图卷积网络模式，设计多分支图卷积神经网络模型的网络结构；其中，所述多分支图卷积神经网络模型的输入是编码点云V″，输出是对应的深度学习特征；所述多分支图卷积神经网络模型的结构包括建图模块、图卷积块、融合模块和预测模块；所述建图模块基于编码点云V″，使用k近邻算法和Resize&Expand操作构建对应的3个时间分支的k近邻图表示作为输入；所述图卷积块包括EdgeConv边缘卷积层；所述融合模块包括1×1卷积核层和一层时间节点通道维度上的池化层，其中1×1卷积核层后面跟随BatchNormalization批量归一化函数、ReLU激活函数，池化层使用最大池化；所述预测模块包括两层全连接层，其中一层全连接层后面跟随Batch Normalization批量归一化函数、LeakyReLU激活函数、Dropout随机失活；

S4012、基于编码点云V″，构建网络训练的数据库，并将其中的80％划分为训练集和20％划分为验证集，所述训练集与验证集交集为空，其中使用编码点云对应标注的真实类标签；在训练集上，将编码点云V″输入至多分支图卷积神经网络模型，得到输出的特征向量和分类概率，计算分类概率与真实类标签差异，反向调整多分支图卷积神经网络模型的参数数值；在验证集上，将编码点云V″输入至多分支图卷积神经网络模型，得到输出的特征向量和分类概率，计算分类概率与真实类标签差异，评估多分支图卷积神经网络模型的性能；直至训练完成，使用其中输出的特征向量作为表征三维模型的特征；

S402、将编码点云V″输入至多分支图卷积神经网络建模，提取对应的深度学习特征。

本发明与现有技术相比，具有如下优点与有益效果：

本发明通过改进的点云生成方法，将三维网格模型采样生成为一个均匀分布的点云集合。通过新型热核特征编码方法，增加了点云的表达信息。通过多分支图卷积神经网络，对于3个分支的时间下的编码点云能够更好地建模。本发明的技术流程能够减小采样过程的计算量，并且增加模型信息表达，从而为后续的图卷积神经网络建模垫定基础。

附图说明

图1为本发明方法的流程示意图。

图2为多分支图卷积神经网络模型的获取流程示意图。

图3为多分支图卷积神经网络模型在编码点云特征提取中的应用流程示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

参见图1所示，本实施例所提供的基于多分支图卷积神经网络的编码点云特征提取方法，包括以下步骤：

S1、获取若干三维网格模型数据，包括顶点集合和面片集合，具体如下：

读取三维网格模型数据，获取三维网格模型的顶点集合V＝{v_i|i＝1,2,...,n}与面片集合F＝{f_j|j＝1,2,...,m}；其中，v_i代表第i个顶点元素，v_i＝(v_i ¹,v_i ²,v_i ³)为顶点集合中顶点元素的三维空间直角坐标系表示，n为顶点集合中顶点元素的个数，f_j代表第j个面片元素，m为面片集合中面片元素的个数，面片集合使用面片元素上顶点索引信息储存。

S2、基于改进的点云生成方法，对于每一个三维网格模型数据，根据阈值设定判断，进行点云生成，获取其对应的第一点云，具体过程如下：

S201、基于面片集合F＝{f_j|j＝1,2,...,m}，m为面片集合中面片元素的个数，通过公式计算得到面片集合中各面片元素的面积，所述公式如下所示：

其中

a_j＝||(v_j1-v_j2)||₂，b_j＝||(v_j1-v_j3)||₂，c_j＝||(v_j2-v_j3)||₂

式中，S(f_j)代表面片集合中第j个面片元素f_j的面积，v_j1、v_j2、v_j3为面片元素f_j上的三个顶点，a_j代表顶点v_j1与顶点v_j2构成的向量的二范数，b_j代表顶点v_j1与顶点v_j3构成的向量的二范数，c_j代表顶点v_j2与顶点v_j3构成的向量的二范数，p_j代表由a_j、b_j、c_j计算所得中间过程变量；

S202、基于面片集合中各面片元素的面积S(f_j)，通过公式计算得到面片集合中整体面片元素面积的平均值

再把该平均值作为阈值，所述公式如下所示：

式中

代表面片集合中整体面片元素面积的平均值，m代表面片集合中面片元素的个数；

S203、原始的点云生成方法，是直接进行点云生成操作，并未考虑三维网格模型中每个面片元素面积大小的分布情况。此处，改进的点云生成方法增加了条件判断，是通过阈值设定判断，选择性地对面片元素进行点云生成操作，点云生成操作是基于面片集合中面片元素的信息，进行线性插值，计算得到新的顶点集合，具体如下：

基于面片集合F＝{f_j|j＝1,2,...,m}，m为面片集合中面片元素的个数，根据公式，对面积大于阈值

的面片元素进行点云生成操作，而对面积小于阈值

的面片元素不进行点云生成操作，以此，获取对应三维网格模型生成的点云，所述公式如下所示：

上式中，Set(f_j)为面片集合中第j个面片元素f_j上的顶点集合；v_j1、v_j2、v_j3为面片元素f_j上的三个顶点，v_j′表示集合

中的第j个顶点集合，j＝1,2,...,m，m代表面片集合中面片元素的个数，q₁、q₂表示[0,1]区间划分的个数，

代表面片集合中整体面片元素面积的平均值，ω₁、ω₂、o、p等为中间过程变量；下式中，

为对应三维网格模型生成的点云；

S204、基于对应三维网格模型生成的点云

根据最远点采样算法或随机采样方法，采集固定顶点数量的点云，获取三维网格模型对应的第一点云，所述公式如下所示：

式中，Sample_Function为最远点采样算法函数或随机采样算法函数，V′为三维网格模型对应的第一点云，n′代表要采样得到的第一点云中顶点元素的个数，v′_k为第一点云中的第k个元素。

S3、基于第一点云和新型热核特征编码方法，获取对应的编码点云；其中，所述编码点云包含三维空间直角坐标系表示信息和热核特征编码值信息；具体过程如下：

S3011、基于第一点云V′和设置的时间参数序列(t₁,t₂,t₃)，根据公式，获取相应的网格拉普拉斯矩阵；

L＝I+D^-1·H

式中，L为网格拉普拉斯矩阵，I为n′×n′的单位矩阵，D为n′×n′的稀疏对角矩阵，D中各位置的元素由式子

各元素位置上的倒数填充得到，Euc_Dis为由第一点云V′计算得到的平方距离矩阵，H为过程中间变量，t为设置的时间参数序列(t₁,t₂,t₃)中的时间元素；

S3012、基于网格拉普拉斯矩阵L进行特征分解，获取特征值λ_i和特征向量φ_i，式中，i＝1,2,...,k，k为特征值的个数；

S3013、基于对应的特征值λ_i和特征向量φ_i及设置的时间参数序列(t₁,t₂,t₃)，根据公式计算最小时间和最大时间，并进一步判断设置的时间参数序列中的时间元素是否在最小时间与最大时间范围内，若发生越界则取时间为最大时间，至此，获取新的时间参数序列(t′₁,t′₂,t′₃)，公式如下：

t_max＝4ln10/λ₂

t_min＝4ln10/λ₃₀₀

式中，t_max为最大时间，t_min为最小时间；

S3014、基于对应的特征值λ_i和特征向量φ_i及新的时间参数序列(t′₁,t′₂,t′₃)，根据公式计算对应的新型热核特征编码值，至此，获取新型热核特征编码值，公式如下：

式中，

为

对应的新型热核特征编码值，

为设置的时间参数序列(t₁,t₂,t₃)中的时间元素；

为

对应的经过归一化的新型热核特征编码值，

为获取的对应的经过归一化的新型热核特征编码值；

S302、基于第一点云V′＝{v_k′|k＝1,2,...,n′}和对应的经过归一化的新型热核特征编码值

进行拼接操作，获取对应的编码点云

其中，v′_k＝(v′_k ¹,v′_k ²,v′_k ³)为第一点云中的元素的三维空间直角坐标系表示，v″_k为编码点云集合第k个元素。

S4、参见图2所示，基于多分支图卷积神经网络模型，对于每一个编码点云，获取其对应的深度学习特征，具体过程如下：

S401、基于编码点云

v″_k为编码点云集合第k个元素，和多分支图卷积神经网络模型，获取其对应的深度学习特征，v′_k＝(v′_k ¹,v′_k ²,v′_k ³)为第一点云中的元素的三维空间直角坐标系表示，

为对应的经过归一化的新型热核特征编码值，n′代表第一点云中顶点元素的个数；其中，获取多分支图卷积神经网络的步骤包括：

S4011、基于图卷积网络模式，设计多分支图卷积神经网络模型的网络结构；其中，所述多分支图卷积神经网络模型的输入是编码点云V″，输出是对应的深度学习特征；所述多分支图卷积神经网络模型的结构包括建图模块、图卷积块、融合模块和预测模块；所述建图模块基于编码点云V″，使用k近邻算法和Resize&Expand操作构建对应的3个时间分支的k近邻图表示作为输入；所述图卷积块包括EdgeConv边缘卷积层；所述融合模块包括1×1卷积核层和一层时间节点通道维度上的池化层，其中1×1卷积核层后面跟随BatchNormalization批量归一化函数、ReLU激活函数，池化层使用最大池化；所述预测模块包括两层全连接层，其中一层全连接层后面跟随Batch Normalization批量归一化函数、LeakyReLU激活函数、Dropout随机失活；

S4012、基于编码点云V″，构建网络训练的数据库，并将其中的80％划分为训练集和20％划分为验证集，所述训练集与验证集交集为空，其中使用编码点云对应标注的真实类标签；在训练集上，将编码点云V″输入至多分支图卷积神经网络模型，得到输出的特征向量和分类概率，计算分类概率与真实类标签差异，反向调整多分支图卷积神经网络模型的参数数值；在验证集上，将编码点云V″输入至多分支图卷积神经网络模型，得到输出的特征向量和分类概率，计算分类概率与真实类标签差异，评估多分支图卷积神经网络模型的性能；直至训练完成，使用其中输出的特征向量作为表征三维模型的特征；

S402、将编码点云V″输入至多分支图卷积神经网络建模，提取对应的深度学习特征。

参见图3所示，本实施例上述多分支图卷积神经网络模型在编码点云特征提取的应用流程，包括：

步骤1：读取三维网格模型数据，获取三维网格模型的顶点集合与面片集合；

步骤2：基于改进的点云生成方法，对于每一个三维网格模型，根据阈值设定判断，进行点云生成，获取其对应的第一点云；

步骤3：基于第一点云和新型热核特征编码方法，获取对应的编码点云；

步骤4：基于多分支图卷积神经网络模型，对于每一个编码点云，获取其对应的深度学习特征。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.基于多分支图卷积神经网络的编码点云特征提取方法，其特征在于，包括以下步骤：

S1、获取若干三维网格模型数据，包括顶点集合和面片集合；

S2、基于改进的点云生成方法，对于每一个三维网格模型数据，根据阈值设定判断，进行点云生成，获取其对应的第一点云；

S3、基于第一点云和新型热核特征编码方法，获取对应的编码点云；其中，所述编码点云包含三维空间直角坐标系表示信息和热核特征编码值信息；

S4、基于多分支图卷积神经网络模型，对于每一个编码点云，获取其对应的深度学习特征。

2.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法，其特征在于，在步骤S1中，读取三维网格模型数据，获取三维网格模型的顶点集合V＝{v_i|i＝1,2,...,n}与面片集合F＝{f_j|j＝1,2,...,m}；其中，v_i代表第i个顶点元素，v_i＝(v_i ¹,v_i ²,v_i ³)为顶点集合中顶点元素的三维空间直角坐标系表示，n为顶点集合中顶点元素的个数，f_j代表第j个面片元素，m为面片集合中面片元素的个数，面片集合使用面片元素上顶点索引信息储存。

3.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法，其特征在于，所述步骤S2包括以下步骤：

S201、基于面片集合F＝{f_j|j＝1,2,...,m}，m为面片集合中面片元素的个数，通过公式计算得到面片集合中各面片元素的面积，公式如下所示：

其中

a_j＝||(v_j1-v_j2)||₂，b_j＝||(v_j1-v_j3)||₂，c_j＝||(v_j2-v_j3)||₂

式中，S(f_j)代表面片集合中第j个面片元素f_j的面积，v_j1、v_j2、v_j3为面片元素f_j上的三个顶点，a_j代表顶点v_j1与顶点v_j2构成的向量的二范数，b_j代表顶点v_j1与顶点v_j3构成的向量的二范数，c_j代表顶点v_j2与顶点v_j3构成的向量的二范数，p_j代表由a_j、b_j、c_j计算所得中间过程变量；

S202、基于面片集合中各面片元素的面积S(f_j)，通过公式计算得到面片集合中整体面片元素面积的平均值

再把该平均值作为阈值，公式如下所示：

S203、原始的点云生成方法，是直接进行点云生成操作，并未考虑三维网格模型中每个面片元素面积大小的分布情况；改进的点云生成方法，增加了条件判断，是通过阈值设定判断，选择性地对面片元素进行点云生成操作，点云生成操作是基于面片集合中面片元素的信息，进行线性插值，计算得到新的顶点集合，具体如下：

基于面片集合F＝{f_j|j＝1,2,...,m}，根据公式，对面积大于阈值

的面片元素进行点云生成操作，而对面积小于阈值

的面片元素不进行点云生成操作，以此，获取对应三维网格模型生成的点云，公式如下所示：

式中，Set(f_j)为面片集合中第j个面片元素f_j上的顶点集合，v_j′表示集合

中的第j个顶点集合，q₁、q₂表示[0,1]区间划分的个数，ω₁、ω₂、o、p为中间过程变量，

为对应三维网格模型生成的点云；

S204、基于对应三维网格模型生成的点云

根据最远点采样算法或随机采样方法，采集固定顶点数量的点云，获取三维网格模型对应的第一点云，公式如下所示：

式中，Sample_Function为最远点采样算法函数或随机采样算法函数，V′为三维网格模型对应的第一点云，n′代表要采样得到的第一点云中顶点元素的个数，v′_k为第一点云中的第k个元素。

4.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法，其特征在于，所述步骤S3包括以下步骤：

S301、基于第一点云V′＝{v_k′|k＝1,2,...,n′}和设置的时间参数序列(t₁,t₂,t₃)，根据公式计算新型热核特征编码值，v′_k为第一点云中的第k个元素，n′代表第一点云中顶点元素的个数；其中，获取新型热核特征编码值的步骤包括：

S3011、基于第一点云V′和设置的时间参数序列(t₁,t₂,t₃)，根据公式，获取相应的网格拉普拉斯矩阵；

L＝I+D^-1·H

式中，L为网格拉普拉斯矩阵，I为n′×n′的单位矩阵，D为n′×n′的稀疏对角矩阵，D中各位置的元素由式子

各元素位置上的倒数填充得到，Euc_Dis为由第一点云V′计算得到的平方距离矩阵，H为过程中间变量，t为设置的时间参数序列(t₁,t₂,t₃)中的时间元素；

S3012、基于网格拉普拉斯矩阵L进行特征分解，获取特征值λ_i和特征向量φ_i，式中，i＝1,2,...,k，k为特征值的个数；

S3013、基于对应的特征值λ_i和特征向量φ_i及设置的时间参数序列(t₁,t₂,t₃)，根据公式计算最小时间和最大时间，并进一步判断设置的时间参数序列中的时间元素是否在最小时间与最大时间范围内，若发生越界则取时间为最大时间，至此，获取新的时间参数序列(t′₁,t′₂,t′₃)，公式如下：

t_max＝4ln10/λ₂

t_min＝4ln10/λ₃₀₀

式中，t_max为最大时间，t_min为最小时间；

S3014、基于对应的特征值λ_i和特征向量φ_i及新的时间参数序列(t′₁,t′₂,t′₃)，根据公式计算对应的新型热核特征编码值，至此，获取新型热核特征编码值，公式如下：

式中，

为

对应的新型热核特征编码值，

为设置的时间参数序列(t₁,t₂,t₃)中的时间元素；

为

对应的经过归一化的新型热核特征编码值，

为获取的对应的经过归一化的新型热核特征编码值；

S302、基于第一点云V′＝{v_k′|k＝1,2,...,n′}和对应的经过归一化的新型热核特征编码值

进行拼接操作，获取对应的编码点云

其中，

为第一点云中的元素的三维空间直角坐标系表示，v″_k为编码点云集合第k个元素。

5.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法，其特征在于，所述步骤S4包括以下步骤：

S401、基于编码点云

v″_k为编码点云集合第k个元素，和多分支图卷积神经网络模型，获取其对应的深度学习特征，

为第一点云中的元素的三维空间直角坐标系表示，

为对应的经过归一化的新型热核特征编码值，n′代表第一点云中顶点元素的个数；其中，获取多分支图卷积神经网络的步骤包括：

S4011、基于图卷积网络模式，设计多分支图卷积神经网络模型的网络结构；其中，所述多分支图卷积神经网络模型的输入是编码点云V″，输出是对应的深度学习特征；所述多分支图卷积神经网络模型的结构包括建图模块、图卷积块、融合模块和预测模块；所述建图模块基于编码点云V″，使用k近邻算法和Resize&Expand操作构建对应的3个时间分支的k近邻图表示作为输入；所述图卷积块包括EdgeConv边缘卷积层；所述融合模块包括1×1卷积核层和一层时间节点通道维度上的池化层，其中1×1卷积核层后面跟随BatchNormalization批量归一化函数、ReLU激活函数，池化层使用最大池化；所述预测模块包括两层全连接层，其中一层全连接层后面跟随Batch Normalization批量归一化函数、LeakyReLU激活函数、Dropout随机失活；

S4012、基于编码点云V″，构建网络训练的数据库，并将其中的80％划分为训练集和20％划分为验证集，所述训练集与验证集交集为空，其中使用编码点云对应标注的真实类标签；在训练集上，将编码点云V″输入至多分支图卷积神经网络模型，得到输出的特征向量和分类概率，计算分类概率与真实类标签差异，反向调整多分支图卷积神经网络模型的参数数值；在验证集上，将编码点云V″输入至多分支图卷积神经网络模型，得到输出的特征向量和分类概率，计算分类概率与真实类标签差异，评估多分支图卷积神经网络模型的性能；直至训练完成，使用其中输出的特征向量作为表征三维模型的特征；

S402、将编码点云V″输入至多分支图卷积神经网络建模，提取对应的深度学习特征。

Images