CN113313830A - 基于多分支图卷积神经网络的编码点云特征提取方法 - Google Patents
基于多分支图卷积神经网络的编码点云特征提取方法 Download PDFInfo
- Publication number
- CN113313830A CN113313830A CN202110564241.9A CN202110564241A CN113313830A CN 113313830 A CN113313830 A CN 113313830A CN 202110564241 A CN202110564241 A CN 202110564241A CN 113313830 A CN113313830 A CN 113313830A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- patch
- vertex
- neural network
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 45
- 238000000605 extraction Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多分支图卷积神经网络的编码点云特征提取方法,包括:获取若干三维网格模型数据;基于改进的点云生成方法,对于每一个三维网格模型数据,根据阈值设定判断,进行点云生成,获取其对应的第一点云;基于第一点云和新型热核特征编码方法,获取对应的编码点云;基于多分支图卷积神经网络模型,对于每一个编码点云,获取其对应的深度学习特征。本发明可以提取具有变换不变性和高鉴别力的三维模型形状内容特征,为后续的分类识别与检索等任务垫定基础。
Description
技术领域
本发明涉及三维模型分类识别与检索的技术领域,尤其是指一种基于多分支图卷积神经网络的编码点云特征提取方法。
背景技术
现阶段,有效地提取三维模型的低维、高鉴别力的形状内容特征,有利于对其进行分类与检索等,因此研究三维模型特征提取新方法是当前三维计算机视觉领域的重要研究内容。然而特征提取步骤面临许多难题与挑战,首先,传统的基于点云的方法多采用单一的三维空间点坐标信息作为网络输入,缺乏辅助编码信息;其次,传统的从网格采样生成点云的方法,多使用分段插值的方法,缺乏采样策略,极易忽略面片实际大小情况,使得采集得到的点集不够均匀;最后,使用传统的多层感知机MLP作为网络特征提取器,无法更有效地建模类似点云的非欧几何数据,难以捕获模型局部领域有效信息,性能提升有限。
发明内容
本发明的目的在于克服现有技术的缺点与不足,提出了一种基于多分支图卷积神经网络的编码点云特征提取方法,可以提取具有变换不变性和高鉴别力的三维模型形状内容特征,为后续的分类识别与检索等任务垫定基础。
为实现上述目的,本发明所提供的技术方案为:基于多分支图卷积神经网络的编码点云特征提取方法,包括以下步骤:
S1、获取若干三维网格模型数据,包括顶点集合和面片集合;
S2、基于改进的点云生成方法,对于每一个三维网格模型数据,根据阈值设定判断,进行点云生成,获取其对应的第一点云;
S3、基于第一点云和新型热核特征编码方法,获取对应的编码点云;其中,所述编码点云包含三维空间直角坐标系表示信息和热核特征编码值信息;
S4、基于多分支图卷积神经网络模型,对于每一个编码点云,获取其对应的深度学习特征。
进一步,在步骤S1中,读取三维网格模型数据,获取三维网格模型的顶点集合V={vi|i=1,2,...,n}与面片集合F={fj|j=1,2,...,m};其中,vi代表第i个顶点元素,vi=(vi 1,vi 2,vi 3)为顶点集合中顶点元素的三维空间直角坐标系表示,n为顶点集合中顶点元素的个数,fj代表第j个面片元素,m为面片集合中面片元素的个数,面片集合使用面片元素上顶点索引信息储存。
进一步,所述步骤S2包括以下步骤:
S201、基于面片集合F={fj|j=1,2,...,m},m为面片集合中面片元素的个数,通过公式计算得到面片集合中各面片元素的面积,公式如下所示:
式中,S(fj)代表面片集合中第j个面片元素fj的面积,vj1、vj2、vj3为面片元素fj上的三个顶点,aj代表顶点vj1与顶点vj2构成的向量的二范数,bj代表顶点vj1与顶点vj3构成的向量的二范数,cj代表顶点vj2与顶点vj3构成的向量的二范数,pj代表由aj、bj、cj计算所得中间过程变量;
S203、原始的点云生成方法,是直接进行点云生成操作,并未考虑三维网格模型中每个面片元素面积大小的分布情况;改进的点云生成方法增加了条件判断,是通过阈值设定判断,选择性地对面片元素进行点云生成操作,点云生成操作是基于面片集合中面片元素的信息,进行线性插值,计算得到新的顶点集合,具体如下:
基于面片集合F={fj|j=1,2,...,m},根据公式,对面积大于阈值的面片元素进行点云生成操作,而对面积小于阈值的面片元素不进行点云生成操作,以此,获取对应三维网格模型生成的点云,公式如下所示:
式中,Set(fj)为面片集合中第j个面片元素fj上的顶点集合,vj′表示集合中的第j个顶点集合,q1、q2表示[0,1]区间划分的个数,ω1、ω2、o、p为中间过程变量,为对应三维网格模型生成的点云;
式中,Sample_Function为最远点采样算法函数或随机采样算法函数,V′为三维网格模型对应的第一点云,n′代表要采样得到的第一点云中顶点元素的个数,v′k为第一点云中的第k个元素。
进一步,所述步骤S3包括以下步骤:
S301、基于第一点云V′={vk′|k=1,2,...,n′}和设置的时间参数序列(t1,t2,t3),根据公式计算新型热核特征编码值,v′k为第一点云中的第k个元素,n′代表第一点云中顶点元素的个数;其中,获取新型热核特征编码值的步骤包括:
S3011、基于第一点云V′和设置的时间参数序列(t1,t2,t3),根据公式,获取相应的网格拉普拉斯矩阵;
L=I+D-1·H
式中,L为网格拉普拉斯矩阵,I为n′×n′的单位矩阵,D为n′×n′的稀疏对角矩阵,D中各位置的元素由式子各元素位置上的倒数填充得到,Euc_Dis为由第一点云V′计算得到的平方距离矩阵,H为过程中间变量,t为设置的时间参数序列(t1,t2,t3)中的时间元素;
S3012、基于网格拉普拉斯矩阵L进行特征分解,获取特征值λi和特征向量φi,式中,i=1,2,...,k,k为特征值的个数;
S3013、基于对应的特征值λi和特征向量φi及设置的时间参数序列(t1,t2,t3),根据公式计算最小时间和最大时间,并进一步判断设置的时间参数序列中的时间元素是否在最小时间与最大时间范围内,若发生越界则取时间为最大时间,至此,获取新的时间参数序列(t′1,t′2,t′3),公式如下:
tmax=4ln10/λ2
tmin=4ln10/λ300
式中,tmax为最大时间,tmin为最小时间;
S3014、基于对应的特征值λi和特征向量φi及新的时间参数序列(t′1,t′2,t′3),根据公式计算对应的新型热核特征编码值,至此,获取新型热核特征编码值,公式如下:
S302、基于第一点云V′={vk′|k=1,2,...,n′}和对应的经过归一化的新型热核特征编码值进行拼接操作,获取对应的编码点云其中,v′k=(v′k 1,v′k 2,v′k 3)为第一点云中的元素的三维空间直角坐标系表示,v″k为编码点云集合第k个元素。
进一步,所述步骤S4包括以下步骤:
S401、基于编码点云v″k为编码点云集合第k个元素,和多分支图卷积神经网络模型,获取其对应的深度学习特征,v′k=(v′k 1,v′k 2,v′k 3)为第一点云中的元素的三维空间直角坐标系表示,为对应的经过归一化的新型热核特征编码值,n′代表第一点云中顶点元素的个数;其中,获取多分支图卷积神经网络的步骤包括:
S4011、基于图卷积网络模式,设计多分支图卷积神经网络模型的网络结构;其中,所述多分支图卷积神经网络模型的输入是编码点云V″,输出是对应的深度学习特征;所述多分支图卷积神经网络模型的结构包括建图模块、图卷积块、融合模块和预测模块;所述建图模块基于编码点云V″,使用k近邻算法和Resize&Expand操作构建对应的3个时间分支的k近邻图表示作为输入;所述图卷积块包括EdgeConv边缘卷积层;所述融合模块包括1×1卷积核层和一层时间节点通道维度上的池化层,其中1×1卷积核层后面跟随BatchNormalization批量归一化函数、ReLU激活函数,池化层使用最大池化;所述预测模块包括两层全连接层,其中一层全连接层后面跟随Batch Normalization批量归一化函数、LeakyReLU激活函数、Dropout随机失活;
S4012、基于编码点云V″,构建网络训练的数据库,并将其中的80%划分为训练集和20%划分为验证集,所述训练集与验证集交集为空,其中使用编码点云对应标注的真实类标签;在训练集上,将编码点云V″输入至多分支图卷积神经网络模型,得到输出的特征向量和分类概率,计算分类概率与真实类标签差异,反向调整多分支图卷积神经网络模型的参数数值;在验证集上,将编码点云V″输入至多分支图卷积神经网络模型,得到输出的特征向量和分类概率,计算分类概率与真实类标签差异,评估多分支图卷积神经网络模型的性能;直至训练完成,使用其中输出的特征向量作为表征三维模型的特征;
S402、将编码点云V″输入至多分支图卷积神经网络建模,提取对应的深度学习特征。
本发明与现有技术相比,具有如下优点与有益效果:
本发明通过改进的点云生成方法,将三维网格模型采样生成为一个均匀分布的点云集合。通过新型热核特征编码方法,增加了点云的表达信息。通过多分支图卷积神经网络,对于3个分支的时间下的编码点云能够更好地建模。本发明的技术流程能够减小采样过程的计算量,并且增加模型信息表达,从而为后续的图卷积神经网络建模垫定基础。
附图说明
图1为本发明方法的流程示意图。
图2为多分支图卷积神经网络模型的获取流程示意图。
图3为多分支图卷积神经网络模型在编码点云特征提取中的应用流程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
参见图1所示,本实施例所提供的基于多分支图卷积神经网络的编码点云特征提取方法,包括以下步骤:
S1、获取若干三维网格模型数据,包括顶点集合和面片集合,具体如下:
读取三维网格模型数据,获取三维网格模型的顶点集合V={vi|i=1,2,...,n}与面片集合F={fj|j=1,2,...,m};其中,vi代表第i个顶点元素,vi=(vi 1,vi 2,vi 3)为顶点集合中顶点元素的三维空间直角坐标系表示,n为顶点集合中顶点元素的个数,fj代表第j个面片元素,m为面片集合中面片元素的个数,面片集合使用面片元素上顶点索引信息储存。
S2、基于改进的点云生成方法,对于每一个三维网格模型数据,根据阈值设定判断,进行点云生成,获取其对应的第一点云,具体过程如下:
S201、基于面片集合F={fj|j=1,2,...,m},m为面片集合中面片元素的个数,通过公式计算得到面片集合中各面片元素的面积,所述公式如下所示:
式中,S(fj)代表面片集合中第j个面片元素fj的面积,vj1、vj2、vj3为面片元素fj上的三个顶点,aj代表顶点vj1与顶点vj2构成的向量的二范数,bj代表顶点vj1与顶点vj3构成的向量的二范数,cj代表顶点vj2与顶点vj3构成的向量的二范数,pj代表由aj、bj、cj计算所得中间过程变量;
S203、原始的点云生成方法,是直接进行点云生成操作,并未考虑三维网格模型中每个面片元素面积大小的分布情况。此处,改进的点云生成方法增加了条件判断,是通过阈值设定判断,选择性地对面片元素进行点云生成操作,点云生成操作是基于面片集合中面片元素的信息,进行线性插值,计算得到新的顶点集合,具体如下:
基于面片集合F={fj|j=1,2,...,m},m为面片集合中面片元素的个数,根据公式,对面积大于阈值的面片元素进行点云生成操作,而对面积小于阈值的面片元素不进行点云生成操作,以此,获取对应三维网格模型生成的点云,所述公式如下所示:
上式中,Set(fj)为面片集合中第j个面片元素fj上的顶点集合;vj1、vj2、vj3为面片元素fj上的三个顶点,vj′表示集合中的第j个顶点集合,j=1,2,...,m,m代表面片集合中面片元素的个数,q1、q2表示[0,1]区间划分的个数,代表面片集合中整体面片元素面积的平均值,ω1、ω2、o、p等为中间过程变量;下式中,为对应三维网格模型生成的点云;
式中,Sample_Function为最远点采样算法函数或随机采样算法函数,V′为三维网格模型对应的第一点云,n′代表要采样得到的第一点云中顶点元素的个数,v′k为第一点云中的第k个元素。
S3、基于第一点云和新型热核特征编码方法,获取对应的编码点云;其中,所述编码点云包含三维空间直角坐标系表示信息和热核特征编码值信息;具体过程如下:
S3011、基于第一点云V′和设置的时间参数序列(t1,t2,t3),根据公式,获取相应的网格拉普拉斯矩阵;
L=I+D-1·H
式中,L为网格拉普拉斯矩阵,I为n′×n′的单位矩阵,D为n′×n′的稀疏对角矩阵,D中各位置的元素由式子各元素位置上的倒数填充得到,Euc_Dis为由第一点云V′计算得到的平方距离矩阵,H为过程中间变量,t为设置的时间参数序列(t1,t2,t3)中的时间元素;
S3012、基于网格拉普拉斯矩阵L进行特征分解,获取特征值λi和特征向量φi,式中,i=1,2,...,k,k为特征值的个数;
S3013、基于对应的特征值λi和特征向量φi及设置的时间参数序列(t1,t2,t3),根据公式计算最小时间和最大时间,并进一步判断设置的时间参数序列中的时间元素是否在最小时间与最大时间范围内,若发生越界则取时间为最大时间,至此,获取新的时间参数序列(t′1,t′2,t′3),公式如下:
tmax=4ln10/λ2
tmin=4ln10/λ300
式中,tmax为最大时间,tmin为最小时间;
S3014、基于对应的特征值λi和特征向量φi及新的时间参数序列(t′1,t′2,t′3),根据公式计算对应的新型热核特征编码值,至此,获取新型热核特征编码值,公式如下:
S302、基于第一点云V′={vk′|k=1,2,...,n′}和对应的经过归一化的新型热核特征编码值进行拼接操作,获取对应的编码点云其中,v′k=(v′k 1,v′k 2,v′k 3)为第一点云中的元素的三维空间直角坐标系表示,v″k为编码点云集合第k个元素。
S4、参见图2所示,基于多分支图卷积神经网络模型,对于每一个编码点云,获取其对应的深度学习特征,具体过程如下:
S401、基于编码点云v″k为编码点云集合第k个元素,和多分支图卷积神经网络模型,获取其对应的深度学习特征,v′k=(v′k 1,v′k 2,v′k 3)为第一点云中的元素的三维空间直角坐标系表示,为对应的经过归一化的新型热核特征编码值,n′代表第一点云中顶点元素的个数;其中,获取多分支图卷积神经网络的步骤包括:
S4011、基于图卷积网络模式,设计多分支图卷积神经网络模型的网络结构;其中,所述多分支图卷积神经网络模型的输入是编码点云V″,输出是对应的深度学习特征;所述多分支图卷积神经网络模型的结构包括建图模块、图卷积块、融合模块和预测模块;所述建图模块基于编码点云V″,使用k近邻算法和Resize&Expand操作构建对应的3个时间分支的k近邻图表示作为输入;所述图卷积块包括EdgeConv边缘卷积层;所述融合模块包括1×1卷积核层和一层时间节点通道维度上的池化层,其中1×1卷积核层后面跟随BatchNormalization批量归一化函数、ReLU激活函数,池化层使用最大池化;所述预测模块包括两层全连接层,其中一层全连接层后面跟随Batch Normalization批量归一化函数、LeakyReLU激活函数、Dropout随机失活;
S4012、基于编码点云V″,构建网络训练的数据库,并将其中的80%划分为训练集和20%划分为验证集,所述训练集与验证集交集为空,其中使用编码点云对应标注的真实类标签;在训练集上,将编码点云V″输入至多分支图卷积神经网络模型,得到输出的特征向量和分类概率,计算分类概率与真实类标签差异,反向调整多分支图卷积神经网络模型的参数数值;在验证集上,将编码点云V″输入至多分支图卷积神经网络模型,得到输出的特征向量和分类概率,计算分类概率与真实类标签差异,评估多分支图卷积神经网络模型的性能;直至训练完成,使用其中输出的特征向量作为表征三维模型的特征;
S402、将编码点云V″输入至多分支图卷积神经网络建模,提取对应的深度学习特征。
参见图3所示,本实施例上述多分支图卷积神经网络模型在编码点云特征提取的应用流程,包括:
步骤1:读取三维网格模型数据,获取三维网格模型的顶点集合与面片集合;
步骤2:基于改进的点云生成方法,对于每一个三维网格模型,根据阈值设定判断,进行点云生成,获取其对应的第一点云;
步骤3:基于第一点云和新型热核特征编码方法,获取对应的编码点云;
步骤4:基于多分支图卷积神经网络模型,对于每一个编码点云,获取其对应的深度学习特征。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (5)
1.基于多分支图卷积神经网络的编码点云特征提取方法,其特征在于,包括以下步骤:
S1、获取若干三维网格模型数据,包括顶点集合和面片集合;
S2、基于改进的点云生成方法,对于每一个三维网格模型数据,根据阈值设定判断,进行点云生成,获取其对应的第一点云;
S3、基于第一点云和新型热核特征编码方法,获取对应的编码点云;其中,所述编码点云包含三维空间直角坐标系表示信息和热核特征编码值信息;
S4、基于多分支图卷积神经网络模型,对于每一个编码点云,获取其对应的深度学习特征。
2.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法,其特征在于,在步骤S1中,读取三维网格模型数据,获取三维网格模型的顶点集合V={vi|i=1,2,...,n}与面片集合F={fj|j=1,2,...,m};其中,vi代表第i个顶点元素,vi=(vi 1,vi 2,vi 3)为顶点集合中顶点元素的三维空间直角坐标系表示,n为顶点集合中顶点元素的个数,fj代表第j个面片元素,m为面片集合中面片元素的个数,面片集合使用面片元素上顶点索引信息储存。
3.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法,其特征在于,所述步骤S2包括以下步骤:
S201、基于面片集合F={fj|j=1,2,...,m},m为面片集合中面片元素的个数,通过公式计算得到面片集合中各面片元素的面积,公式如下所示:
式中,S(fj)代表面片集合中第j个面片元素fj的面积,vj1、vj2、vj3为面片元素fj上的三个顶点,aj代表顶点vj1与顶点vj2构成的向量的二范数,bj代表顶点vj1与顶点vj3构成的向量的二范数,cj代表顶点vj2与顶点vj3构成的向量的二范数,pj代表由aj、bj、cj计算所得中间过程变量;
S203、原始的点云生成方法,是直接进行点云生成操作,并未考虑三维网格模型中每个面片元素面积大小的分布情况;改进的点云生成方法,增加了条件判断,是通过阈值设定判断,选择性地对面片元素进行点云生成操作,点云生成操作是基于面片集合中面片元素的信息,进行线性插值,计算得到新的顶点集合,具体如下:
基于面片集合F={fj|j=1,2,...,m},根据公式,对面积大于阈值的面片元素进行点云生成操作,而对面积小于阈值的面片元素不进行点云生成操作,以此,获取对应三维网格模型生成的点云,公式如下所示:
式中,Set(fj)为面片集合中第j个面片元素fj上的顶点集合,vj′表示集合中的第j个顶点集合,q1、q2表示[0,1]区间划分的个数,ω1、ω2、o、p为中间过程变量,为对应三维网格模型生成的点云;
式中,Sample_Function为最远点采样算法函数或随机采样算法函数,V′为三维网格模型对应的第一点云,n′代表要采样得到的第一点云中顶点元素的个数,v′k为第一点云中的第k个元素。
4.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法,其特征在于,所述步骤S3包括以下步骤:
S301、基于第一点云V′={vk′|k=1,2,...,n′}和设置的时间参数序列(t1,t2,t3),根据公式计算新型热核特征编码值,v′k为第一点云中的第k个元素,n′代表第一点云中顶点元素的个数;其中,获取新型热核特征编码值的步骤包括:
S3011、基于第一点云V′和设置的时间参数序列(t1,t2,t3),根据公式,获取相应的网格拉普拉斯矩阵;
L=I+D-1·H
式中,L为网格拉普拉斯矩阵,I为n′×n′的单位矩阵,D为n′×n′的稀疏对角矩阵,D中各位置的元素由式子各元素位置上的倒数填充得到,Euc_Dis为由第一点云V′计算得到的平方距离矩阵,H为过程中间变量,t为设置的时间参数序列(t1,t2,t3)中的时间元素;
S3012、基于网格拉普拉斯矩阵L进行特征分解,获取特征值λi和特征向量φi,式中,i=1,2,...,k,k为特征值的个数;
S3013、基于对应的特征值λi和特征向量φi及设置的时间参数序列(t1,t2,t3),根据公式计算最小时间和最大时间,并进一步判断设置的时间参数序列中的时间元素是否在最小时间与最大时间范围内,若发生越界则取时间为最大时间,至此,获取新的时间参数序列(t′1,t′2,t′3),公式如下:
tmax=4ln10/λ2
tmin=4ln10/λ300
式中,tmax为最大时间,tmin为最小时间;
S3014、基于对应的特征值λi和特征向量φi及新的时间参数序列(t′1,t′2,t′3),根据公式计算对应的新型热核特征编码值,至此,获取新型热核特征编码值,公式如下:
5.根据权利要求1所述的基于多分支图卷积神经网络的编码点云特征提取方法,其特征在于,所述步骤S4包括以下步骤:
S401、基于编码点云v″k为编码点云集合第k个元素,和多分支图卷积神经网络模型,获取其对应的深度学习特征,为第一点云中的元素的三维空间直角坐标系表示,为对应的经过归一化的新型热核特征编码值,n′代表第一点云中顶点元素的个数;其中,获取多分支图卷积神经网络的步骤包括:
S4011、基于图卷积网络模式,设计多分支图卷积神经网络模型的网络结构;其中,所述多分支图卷积神经网络模型的输入是编码点云V″,输出是对应的深度学习特征;所述多分支图卷积神经网络模型的结构包括建图模块、图卷积块、融合模块和预测模块;所述建图模块基于编码点云V″,使用k近邻算法和Resize&Expand操作构建对应的3个时间分支的k近邻图表示作为输入;所述图卷积块包括EdgeConv边缘卷积层;所述融合模块包括1×1卷积核层和一层时间节点通道维度上的池化层,其中1×1卷积核层后面跟随BatchNormalization批量归一化函数、ReLU激活函数,池化层使用最大池化;所述预测模块包括两层全连接层,其中一层全连接层后面跟随Batch Normalization批量归一化函数、LeakyReLU激活函数、Dropout随机失活;
S4012、基于编码点云V″,构建网络训练的数据库,并将其中的80%划分为训练集和20%划分为验证集,所述训练集与验证集交集为空,其中使用编码点云对应标注的真实类标签;在训练集上,将编码点云V″输入至多分支图卷积神经网络模型,得到输出的特征向量和分类概率,计算分类概率与真实类标签差异,反向调整多分支图卷积神经网络模型的参数数值;在验证集上,将编码点云V″输入至多分支图卷积神经网络模型,得到输出的特征向量和分类概率,计算分类概率与真实类标签差异,评估多分支图卷积神经网络模型的性能;直至训练完成,使用其中输出的特征向量作为表征三维模型的特征;
S402、将编码点云V″输入至多分支图卷积神经网络建模,提取对应的深度学习特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110564241.9A CN113313830B (zh) | 2021-05-24 | 2021-05-24 | 基于多分支图卷积神经网络的编码点云特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110564241.9A CN113313830B (zh) | 2021-05-24 | 2021-05-24 | 基于多分支图卷积神经网络的编码点云特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113313830A true CN113313830A (zh) | 2021-08-27 |
CN113313830B CN113313830B (zh) | 2022-12-16 |
Family
ID=77374324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110564241.9A Active CN113313830B (zh) | 2021-05-24 | 2021-05-24 | 基于多分支图卷积神经网络的编码点云特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113313830B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113936176A (zh) * | 2021-10-15 | 2022-01-14 | 哈尔滨理工大学 | 一种基于图卷积和形状描述子的三维点云分类方法 |
CN115170728A (zh) * | 2022-06-07 | 2022-10-11 | 青海师范大学 | 三维点云模型的相似性测量方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170046840A1 (en) * | 2015-08-11 | 2017-02-16 | Nokia Technologies Oy | Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment |
CN107092859A (zh) * | 2017-03-14 | 2017-08-25 | 佛山科学技术学院 | 一种三维模型的深度特征提取方法 |
CN108280158A (zh) * | 2018-01-15 | 2018-07-13 | 北京科技大学 | 基于梯度方向累加热核特征的非刚性三维模型检索方法 |
CN109887075A (zh) * | 2019-02-20 | 2019-06-14 | 清华大学 | 用于三维模型构建的三维点云模型训练方法 |
CN109993748A (zh) * | 2019-03-30 | 2019-07-09 | 华南理工大学 | 一种基于点云处理网络的三维网格物体分割方法 |
CN110349159A (zh) * | 2019-06-21 | 2019-10-18 | 浙江大学宁波理工学院 | 基于权重能量自适应分布的三维形状分割方法及系统 |
CN110838122A (zh) * | 2018-08-16 | 2020-02-25 | 北京大学 | 点云的分割方法、装置及计算机存储介质 |
CN111738086A (zh) * | 2020-05-22 | 2020-10-02 | 上海交通大学 | 用于点云分割的构图方法、系统及点云分割系统、装置 |
CN111967511A (zh) * | 2020-08-04 | 2020-11-20 | 河海大学 | 一种基于异构特征融合网络的地基云图分类方法 |
WO2021018690A1 (en) * | 2019-07-31 | 2021-02-04 | Continental Automotive Gmbh | Method for determining an environmental model of a scene |
CN112348056A (zh) * | 2020-10-16 | 2021-02-09 | 北京大学深圳研究生院 | 点云数据分类方法、装置、设备及可读存储介质 |
CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
-
2021
- 2021-05-24 CN CN202110564241.9A patent/CN113313830B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170046840A1 (en) * | 2015-08-11 | 2017-02-16 | Nokia Technologies Oy | Non-Rigid Registration for Large-Scale Space-Time 3D Point Cloud Alignment |
CN107092859A (zh) * | 2017-03-14 | 2017-08-25 | 佛山科学技术学院 | 一种三维模型的深度特征提取方法 |
CN108280158A (zh) * | 2018-01-15 | 2018-07-13 | 北京科技大学 | 基于梯度方向累加热核特征的非刚性三维模型检索方法 |
CN110838122A (zh) * | 2018-08-16 | 2020-02-25 | 北京大学 | 点云的分割方法、装置及计算机存储介质 |
CN109887075A (zh) * | 2019-02-20 | 2019-06-14 | 清华大学 | 用于三维模型构建的三维点云模型训练方法 |
CN109993748A (zh) * | 2019-03-30 | 2019-07-09 | 华南理工大学 | 一种基于点云处理网络的三维网格物体分割方法 |
CN110349159A (zh) * | 2019-06-21 | 2019-10-18 | 浙江大学宁波理工学院 | 基于权重能量自适应分布的三维形状分割方法及系统 |
WO2021018690A1 (en) * | 2019-07-31 | 2021-02-04 | Continental Automotive Gmbh | Method for determining an environmental model of a scene |
CN111738086A (zh) * | 2020-05-22 | 2020-10-02 | 上海交通大学 | 用于点云分割的构图方法、系统及点云分割系统、装置 |
CN111967511A (zh) * | 2020-08-04 | 2020-11-20 | 河海大学 | 一种基于异构特征融合网络的地基云图分类方法 |
CN112348056A (zh) * | 2020-10-16 | 2021-02-09 | 北京大学深圳研究生院 | 点云数据分类方法、装置、设备及可读存储介质 |
CN112488210A (zh) * | 2020-12-02 | 2021-03-12 | 北京工业大学 | 一种基于图卷积神经网络的三维点云自动分类方法 |
Non-Patent Citations (11)
Title |
---|
YANGYANG XU ET AL.: "Transductive Zero-Shot Action Recognition via Visually Connected Graph Convolutional Networks", 《IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS》, 22 September 2020 (2020-09-22), pages 1 - 9 * |
ZENG, FANZHI ET AL.: "Improved Three-Dimensional Model Feature of Non-rigid Based on HKS", 《SMART COMPUTING AND COMMUNICATION, SMARTCOM 2017》, 12 December 2017 (2017-12-12), pages 427 - 437 * |
冯智键等: "基于深度学习的三维模型重建检索算法研究", 《福建电脑》, vol. 33, no. 11, 25 November 2017 (2017-11-25), pages 9 - 10 * |
周燕等: "基于深度学习的三维形状特征提取方法", 《计算机科学》, vol. 46, no. 9, 15 September 2019 (2019-09-15), pages 48 - 58 * |
李海生等: "基于深度学习的三维数据分析理解方法研究综述", 《计算机学报》, vol. 43, no. 1, 9 July 2019 (2019-07-09), pages 41 - 63 * |
杨振发等: "基于几何结构特征的点云表面重建方法", 《系统仿真学报》 * |
杨振发等: "基于几何结构特征的点云表面重建方法", 《系统仿真学报》, vol. 29, no. 11, 8 November 2017 (2017-11-08), pages 2684 - 2692 * |
牛辰庚等: "基于点云数据的三维目标识别和模型分割方法", 《图学学报》, vol. 40, no. 2, 15 April 2019 (2019-04-15), pages 274 - 281 * |
童俊文: "基于深度学习和多描述子融合的三维模型识别与检索", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, 15 February 2021 (2021-02-15), pages 138 - 2001 * |
钱杰昌: "基于热核及深度学习的非刚体三维模型的分类与检索", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
钱杰昌: "基于热核及深度学习的非刚体三维模型的分类与检索", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》, 15 February 2020 (2020-02-15), pages 138 - 1220 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113936176A (zh) * | 2021-10-15 | 2022-01-14 | 哈尔滨理工大学 | 一种基于图卷积和形状描述子的三维点云分类方法 |
CN113936176B (zh) * | 2021-10-15 | 2024-06-07 | 哈尔滨理工大学 | 一种基于图卷积和形状描述子的三维点云分类方法 |
CN115170728A (zh) * | 2022-06-07 | 2022-10-11 | 青海师范大学 | 三维点云模型的相似性测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113313830B (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107273936B (zh) | 一种gan图像处理方法及系统 | |
CN113313830B (zh) | 基于多分支图卷积神经网络的编码点云特征提取方法 | |
CN105138973A (zh) | 人脸认证的方法和装置 | |
CN116937579B (zh) | 一种考虑时空相关性的风电功率区间预测及其可解释方法 | |
CN110083125A (zh) | 一种基于深度学习的机床热误差建模方法 | |
CN104392231A (zh) | 基于分块与稀疏主特征提取的快速协同显著性检测方法 | |
CN111259917B (zh) | 一种基于局部近邻成分分析的图像特征提取方法 | |
CN113723238B (zh) | 一种人脸轻量网络模型构建方法和人脸识别方法 | |
CN115527036A (zh) | 电网场景点云语义分割方法、装置、计算机设备和介质 | |
CN113361785A (zh) | 配电网短期负荷预测方法、装置、终端及存储介质 | |
CN114723764A (zh) | 一种点云物体的参数化边缘曲线提取方法 | |
CN114187506B (zh) | 视点意识的动态路由胶囊网络的遥感图像场景分类方法 | |
CN114004152B (zh) | 基于图卷积和循环神经网络的多风场风速时空预测方法 | |
CN111275074A (zh) | 基于栈式自编码网络模型的电力cps信息攻击辨识方法 | |
CN118038032A (zh) | 基于超点嵌入和聚类的点云语义分割模型及其训练方法 | |
CN114140848B (zh) | 基于knn和dsn的微表情识别方法、系统、设备及存储介质 | |
CN114781699B (zh) | 基于改进粒子群Conv1D-Attention优化模型的水库水位预测预警方法 | |
CN116562416A (zh) | 基于变模态与延时特征Transformer模型的水库水位预测方法 | |
CN114254828B (zh) | 一种基于混合卷积特征提取器和gru的电力负荷预测方法 | |
CN115240424A (zh) | 基于数据驱动的多视图流量预测方法及系统 | |
CN113313831B (zh) | 基于极坐标图卷积神经网络的三维模型特征提取方法 | |
CN114037051A (zh) | 一种基于决策边界的深度学习模型压缩方法 | |
CN108427967B (zh) | 一种实时影像聚类方法 | |
CN110796167A (zh) | 基于提升方案深度神经网络的图像分类方法 | |
CN116842855B (zh) | 分布式光伏配电网出力预测方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |