CN114612660A - 一种基于多特征融合点云分割的三维建模方法 - Google Patents

一种基于多特征融合点云分割的三维建模方法 Download PDF

Info

Publication number
CN114612660A
CN114612660A CN202210196505.4A CN202210196505A CN114612660A CN 114612660 A CN114612660 A CN 114612660A CN 202210196505 A CN202210196505 A CN 202210196505A CN 114612660 A CN114612660 A CN 114612660A
Authority
CN
China
Prior art keywords
point cloud
attention
feature
follows
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210196505.4A
Other languages
English (en)
Inventor
邱飞岳
周建
章国道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210196505.4A priority Critical patent/CN114612660A/zh
Publication of CN114612660A publication Critical patent/CN114612660A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多特征融合点云分割的三维建模方法，属于三维建模技术领域。它包括以下步骤：1、从3D点云原始数据中提取关键点；2、提取点云的邻域细粒度特征和全局信息；3、提取3D点云原始数据的局部几何信息；4、聚合步骤3中提取出的特征，并加入关键点得到权重矩阵；5、提取步骤1‑3中获得的点云的深度语义特征；6、将步骤1‑5中提取的点云特征经过由多层感知器组成的全连接层，得到最后的分割数据；7、利用点云分割数据，构建出三维模型。本发明将3D点云经过双注意力机制和VLAD的处理，提取出的特征进行连接和聚合，最后经过多层感知器的全连接层得到最终的分割结果；能够有效提高分割精度及语义层次。

Description

一种基于多特征融合点云分割的三维建模方法
技术领域
本发明属于三维建模技术领域，具体涉及一种基于多特征融合点云分割的三维建模方法。
背景技术
运用激光点云数据进行三维几何建模技术在VR(virtualreality，虚拟现实)、AR(augmentedreality，增强现实)、自动驾驶、机器人技术等应用方面有着至关重要的作用。为了能够更好的进行三维几何建模，对于大量的激光点云数据如何进行分割和提取是非常重要的一环。
点云数据指的是目标对方表面的大量点点集合，可以看作是三维空间的表示。随着深度学习在二维图像取得的成功，一些研究者致力于三维点云的分割模型。但是三维数据的主要缺点之一是它固有地依赖特定的采样模式，使得它对遮挡、噪声和稀疏采样非常敏感。将CNN应用在不规则结构的数据中仍然是一个挑战，这些挑战包括：一、在几何上，由于三维点云特殊的空间结构，很难用矩阵表示点云中的点，这就使得全局和局部几何表示变得相当困难；二、三维点云是非结构化的数据，因此没有一个结构化的网格进行卷积操作；三、点云的本质是一长串点，导致了旋转、位移、平移的不变性。然而，并不是所有的深度神经网络可以都能完全解决这些问题。
PointNet网络是一个开创性的方法，它将原始点云作为深度神经网络的输入，但是这种方法不涉及局部特征的学习。后来相继提出了PointNet++网络，使用底层空间的距离度量，将点云分割成重叠的局部区域，并从邻近节点中提取和捕获精细的几何局部特征。但是，这种神经网络只考虑局部区域的每个点，并使用相同的语义级别捕获局部信息，忽略了不同语义级别之间的内在差异。KCNet为PointNet增加了一个基于图的池化层，使用本地特征结构增强神经网络的健壮性，但是他们没有使用池化层来提高语义层次。
发明内容
针对现有技术中存在的上述问题，本发明的目的在于提供一种用于三维建模的多特征融合点云分割方法，克服现有技术中的三维点云分割任务中没有考虑语义级别，导致分割精度无法进一步提高的问题。
本发明提供如下技术方案：一种基于多特征融合点云分割的三维建模方法，包括以下步骤:
步骤1：利用NARF算法从3D点云原始数据中提取出相关点，作为关键点；
步骤2：采用自注意力机制构建自注意力机制层，将原始3D点云数据输入到自注意力机制层，来提取点云的邻域细粒度特征和全局信息；
步骤3：在多层感知器中嵌入图注意力机制，将3D点云原始数据输入构建的图注意力机制层，来提取局部几何信息；
步骤4：采用多头图形注意力机制来聚合步骤3中提取出的特征，并加入步骤1中提取的关键点得到权重矩阵；
步骤5：通过局部特征聚合描述符VLAD进一步提取步骤1-3中获得的点云的深度语义特征；
步骤6：将步骤1-5中提取的点云特征经过由多层感知器组成的全连接层，得到最后的分割数据；
步骤7：利用步骤6中获得的点云分割数据，构建出三维模型。
进一步的，所述步骤2的具体过程如下:
将3D点云输入到自注意力机制层后，得到了输入向量Q，K，V的线性映射，Q，K，V向量的值组合成三维点云的邻接向量X，通过自注意力机制层中的编码器聚合局部和全局信息，输入向量Q，K，V的线性映射公式如下：
Figure BDA0003526011840000031
其中
Figure BDA0003526011840000032
R表示输入向量，n×dk与m×dk代表输入向量的维度；
对于单个输入向量qt，qt∈Q，Q，K，V的计算公式如下：
Figure BDA0003526011840000033
其中Z为标准化因子，vs∈V，ks∈K，q,k,v分别是query,key,value的缩写，
Figure BDA0003526011840000034
作为调节器，这样输入激活函数的内积不会太大；自注意力机制的核心部分是
Figure BDA0003526011840000035
用于测量qt和vs之间的非线性映射关系；
每个ks和qt相乘，利用softmax函数去评估ks和qt之间的相似性，最后经过计算的结果是一个加权和向量dv。
进一步的，所述步骤3的具体过程如下:
3.1、使用邻近算法KNN构建K最邻近图G＝(V，E)，其中V代表节点集，每个点用xi表示，E表示邻接点对应的边集，每条边用yij表示，并将其定义为邻接特征；
3.2分别对节点、邻接点对应的边进行编码得到自系数和局部系数，其输出结果的维度均为F0，公式如下：
x′i＝h(xi,θ)
y′ij＝h(yij,θ)
其中，h()表示一个参数化的非线性函数，θ表示一组可学习的滤波器参数；
3.3、使用非线性激活函数LeakyReLU融合自系数x′i和局部系数y′ij得到注意系数，具体公式如下：
cij＝LeakyReLU(h(x′i,θ)+h(y′ij,θ))；
3.4、使用softmax函数对每个点云节点的邻近注意力系数进行归一化，以保持相邻点之间的注意力系数αij的一致，计算公式如下：
Figure BDA0003526011840000041
其中Ni表示第i个点的邻近节点集；
3.5、为了获取足够的结构信息和稳定网络，将M个独立的单头的图注意力机制连接起来，生成具有M×F0通道的多注意特征；
多头图注意力机制的输出是多注意特征和多图特征，分别连接对应头部的注意力特征
Figure BDA0003526011840000042
和图形特征，
Figure BDA0003526011840000043
的计算公式如下：
Figure BDA0003526011840000051
Figure BDA0003526011840000052
其中，
Figure BDA0003526011840000053
表示单头图注意力特征，
Figure BDA0003526011840000054
是第m头的注意力特征，M是头的总数，||是特征通道上的串联操作。
进一步的，所述步骤5中，使用每个点的低级几何描述符和视觉词汇表之间的关系来描述高级语义特征，具体过程如下:
将m1个聚类中心(视觉词汇)作为局部特征聚合描述符(VLAD)的参数，给定n1个二维点作为VLAD的输入，同时初始化m1个聚类中心，这m1个聚类中心是通过反向传播学习的参数，每个聚类中心被分配多个点，残差向量pi(d)-ck(d)表示点pi和第k个聚类中心在第d维度上的差异，r表示m1个聚类中心和第i个点之间的关系；r的分量(n,d)计算公式如下：
Figure BDA0003526011840000055
其中第i个点的第d维度表示为pi(d)，第k个聚类中心的第d维度用ck(d)表示，ai(Ck)表示注意系数；利用注意系数ai(Ck)来加权第k个聚类中心和第i个点之间的关系；
ai(Ck)的取值只有0和1，其中1表示表示最接近描述符pi的聚类中心，其他情况为0。
通过采用上述技术，与现有技术相比，本发明的有益效果如下：
本发明将3D点云经过双注意力机制和VLAD的处理，提取出的特征进行连接和聚合，最后经过多层感知器的全连接层得到最终的分割结果；能够有效提高分割精度及语义层次。
附图说明
图1为本发明的流程图；
图2为本发明双重注意力机制网络的示意图；
图3为本发明图形注意力系数产生过程的示意图；
图4为本发明局部特征聚合描述符(VLAD)中的聚集中心和每个点的低级几何描述符之间的关系示意图；
图5为本发明的整体网络框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
请参阅图1-5，一种基于多特征融合点云分割的三维建模方法，包括以下步骤：
步骤1：从网络数据库中调用3D点云原始数据，利用NARF算法从调用的3D点云原始数据中提取出相关点，作为关键点；
步骤2：采用自注意力机制构建自注意力机制层，将原始3D点云数据输入到自注意力机制层，来提取点云的邻域细粒度特征和全局信息；具体过程如下：
如图2中自注意力机制部分所示，将3D点云输入到自注意力机制层后，得到了输入向量Q，K，V的线性映射，Q，K，V向量的值组合成三维点云的邻接向量X，通过自注意力机制层中的编码器聚合局部和全局信息，避免利用卷积叠加逐层增加接收视野，绕过点云的层次问题，输入向量Q，K，V的线性映射公式如下：
Figure BDA0003526011840000071
其中
Figure BDA0003526011840000072
其中R表示输入向量，n×dk与m×dk代表输入向量的维度。
对于单个输入向量qt，qt∈Q，Q，K，V的计算公式如下：
Figure BDA0003526011840000073
其中Z为标准化因子，vs∈V，ks∈Kq,k,v分别是query,key,value的缩写，
Figure BDA0003526011840000074
作为调节器，这样输入激活函数的内积不会太大。自注意力机制的核心部分是
Figure BDA0003526011840000075
用于测量qt和vs之间的非线性映射关系。；
每个ks和qt相乘，利用softmax函数去评估ks和qt之间的相似性，最后经过计算的结果是一个加权和向量dv。
步骤3：在多层感知器中嵌入图注意力机制，将3D点云原始数据输入构建的图注意力机制层，来提取局部几何信息；如图3所示，具体过程如下：
3.1、使用邻近算法KNN构建K最邻近图G＝(V，E)，其中V代表节点集，每个点用xi表示，E表示邻接点对应的边集，每条边用yij表示，并将其定义为邻接特征；
3.2分别对节点、邻接点对应的边进行编码得到自系数和局部系数，其输出结果的维度均为F0，公式如下：
x′i＝h(xi,θ)
y′ij＝h(yij,θ)
其中，h()表示一个参数化的非线性函数，θ表示一组可学习的滤波器参数；
3.3、使用非线性激活函数LeakyReLU融合自系数x′i和局部系数y′ij得到注意系数，具体公式如下：
cij＝LeakyReLU(h(x′i,θ)+h(y′ij,θ))；
3.4、使用softmax函数对每个点云节点的邻近注意力系数进行归一化，以保持相邻点之间的注意力系数αij的一致，计算公式如下：
Figure BDA0003526011840000081
其中Ni表示第i个点的邻近节点集；
3.5、为了获取足够的结构信息和稳定网络，将M个独立的单头的图注意力机制连接起来，生成具有M×F0通道的多注意特征；
多头图注意力机制的输出是多注意特征和多图特征，分别连接对应头部的注意力特征
Figure BDA0003526011840000082
和图形特征，
Figure BDA0003526011840000083
的计算公式如下：
Figure BDA0003526011840000091
Figure BDA0003526011840000092
其中，
Figure BDA0003526011840000093
表示单头图注意力特征，
Figure BDA0003526011840000094
是第m头的注意力特征，M是头的总数，||是特征通道上的串联操作。
步骤4：采用多头图形注意力机制来聚合步骤3中提取出的特征，并加入步骤1中提取的关键点得到权重矩阵；
步骤5：通过局部特征聚合描述符VLAD进一步提取步骤1-3中获得的点云的深度语义特征；具体过程如下：
如图4所示，将m1个聚类中心(视觉词汇)作为局部特征聚合描述符(VLAD)的参数，给定n1个二维点作为VLAD的输入，同时初始化m1个聚类中心，这m1个聚类中心是通过反向传播学习的参数，每个聚类中心被分配多个点，残差向量pi(d)-ck(d)表示点pi和第k个聚类中心在第d维度上的差异，r表示m1个聚类中心和第i个点之间的关系；特别地，当m1取4，n1取6时，取得的分割结果最好。r的分量(n,d)计算公式如下：
Figure BDA0003526011840000095
其中第i个点的第d维度表示为pi(d)，第k个聚类中心的第d维度用ck(d)表示，ai(Ck)表示注意系数；利用注意系数ai(Ck)来加权第k个聚类中心和第i个点之间的关系；
ai(Ck)的取值只有0和1，其中1表示表示最接近描述符pi的聚类中心，其他情况为0。
因为每个点仅与几个聚类中心密切相关。为了控制VLAD层不同尺寸的特征选择，使用top-k来控制维度(在我们的网络总体结构中，top-k＝2)，来考虑每个点和聚类中心在高级语义特征上的二者之间的关系；r的分量(n,d)计算公式如下：
Figure BDA0003526011840000101
top-k一方面完成不同聚类中心之间的重叠，并控制VLAD模块的输出与输入具有相同的维度。另一方面，使用共享FC层，最终聚集top-k变换特征以增强网络的非线性变换。
步骤6：将步骤1-5中提取的点云特征经过由多层感知器组成的全连接层，得到最后的分割数据；
步骤7：利用步骤6中获得的点云分割数据，构建出三维模型。
如图5所示，本发明中的点云分割网络框架图，DAMLayer是一个双重注意机制模块，由自注意机制编码和图形注意编码组成。输入N个三维点云矩阵首先通过DAMLayer层。自注意力模块主要完成输入向量Q，K，V的线性映射，这些向量的值为三维点云的领域向量矩阵X。图注意力模块主要从点云模型中提取上下文的细粒度特征。然后对提取的特征进行融合，再对计算得到的关键点进行加权矩阵，使其既包含全局特征又包含局部区域信息。然后利用最大池对称函数融合特征，利用VLAD层进一步提取高级特征信息。最后，使用三层MLP作为分类器，得到分割结果。
点云分割的网络在标准数据集ModelNet40上进行测试，这个数据集包含来自40个类别的12311个预先对齐的形状，以hdf5的形式保存，其中9843个(80％)用于训练，2648个(20％)用于测试。
通过深度相机采集到物体的二维成像的点，采用全景图点云重建算法，生成对应的点云数据。
将点云数据输入到网络框架中，进行语义分割，利用输出的分割数据得到最终的三维模型。
本发明将3D点云经过双注意力机制和VLAD的处理，提取出的特征进行连接和聚合，最后经过3层感知器的全连接层得到最终的分割结果。该发明在公共数据集ModelNet40上的分割精度达到了92.45％。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多特征融合点云分割的三维建模方法，其特征在于：包括以下步骤：
步骤1：利用NARF算法从3D点云原始数据中提取出相关点，作为关键点；
步骤2：采用自注意力机制构建自注意力机制层，将原始3D点云数据输入到自注意力机制层，来提取点云的邻域细粒度特征和全局信息；
步骤3：在多层感知器中嵌入图注意力机制，将3D点云原始数据输入构建的图注意力机制层，来提取局部几何信息；
步骤4：采用多头图形注意力机制来聚合步骤3中提取出的特征，并加入步骤1中提取的关键点得到权重矩阵；
步骤5：通过局部特征聚合描述符VLAD进一步提取步骤1-3中获得的点云的深度语义特征；
步骤6：将步骤1-5中提取的点云特征经过由多层感知器组成的全连接层，得到最后的分割数据；
步骤7：利用步骤6中获得的点云分割数据，构建出三维模型。
2.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法，其特征在于所述步骤2的具体过程如下：
将3D点云输入到自注意力机制层后，得到了输入向量Q，K，V的线性映射，Q，K，V向量的值组合成三维点云的邻接向量X，通过自注意力机制层中的编码器聚合局部和全局信息，输入向量Q，K，V的线性映射公式如下：
Figure FDA0003526011830000021
其中
Figure FDA0003526011830000022
R表示输入向量，n×dk与m×dk代表输入向量的维度；
对于单个输入向量qt，qt∈Q，Q，K，V的计算公式如下：
Figure FDA0003526011830000023
其中Z为标准化因子，vs∈V，ks∈K，q，k，v分别是query，key，value的缩写，
Figure FDA0003526011830000024
作为调节器，这样输入激活函数的内积不会太大；自注意力机制的核心部分是
Figure FDA0003526011830000025
用于测量qt和vs之间的非线性映射关系；
每个ks和qt相乘，利用softmax函数去评估ks和qt之间的相似性，最后经过计算的结果是一个加权和向量dv。
3.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法，其特征在于所述步骤3的具体过程如下：
3.1、使用邻近算法KNN构建K最邻近图G＝(V，E)，其中V代表节点集，每个点用xi表示，E表示邻接点对应的边集，每条边用yij表示，并将其定义为邻接特征；
3.2分别对节点、邻接点对应的边进行编码得到自系数和局部系数，其输出结果的维度均为F0，公式如下：
x′i＝h(xi，θ)
y′ij＝h(yij，θ)
其中，h()表示一个参数化的非线性函数，θ表示一组可学习的滤波器参数；
3.3、使用非线性激活函数LeakyReLU融合自系数x′i和局部系数y′ij得到注意系数，具体公式如下：
cij＝LeakyReLU(h(x′i，θ)+h(y′ij，θ))；
3.4、使用softmax函数对每个点云节点的邻近注意力系数进行归一化，以保持相邻点之间的注意力系数αij的一致，计算公式如下：
Figure FDA0003526011830000031
其中Ni表示第i个点的邻近节点集；
3.5、为了获取足够的结构信息和稳定网络，将M个独立的单头的图注意力机制连接起来，生成具有M×F0通道的多注意特征；
多头图注意力机制的输出是多注意特征和多图特征，分别连接对应头部的注意力特征
Figure FDA0003526011830000032
和图形特征，
Figure FDA0003526011830000033
的计算公式如下：
Figure FDA0003526011830000034
Figure FDA0003526011830000035
其中，
Figure FDA0003526011830000036
表示单头图注意力特征，
Figure FDA0003526011830000037
是第m头的注意力特征，M是头的总数，||是特征通道上的串联操作。
4.根据权利要求1所述的一种基于多特征融合点云分割的三维建模方法，其特征在于所述步骤5中，使用每个点的低级几何描述符和视觉词汇表之间的关系来描述高级语义特征，具体过程如下：
将m1个聚类中心(视觉词汇)作为局部特征聚合描述符(VLAD)的参数，给定n1个二维点作为VLAD的输入，同时初始化m1个聚类中心，这m1个聚类中心是通过反向传播学习的参数，每个聚类中心被分配多个点，残差向量pi(d)-ck(d)表示点pi和第k个聚类中心在第d维度上的差异，r表示m1个聚类中心和第i个点之间的关系；r的分量(n，d)计算公式如下：
Figure FDA0003526011830000041
其中第i个点的第d维度表示为pi(d)，第k个聚类中心的第d维度用ck(d)表示，ai(Ck)表示注意系数；利用注意系数ai(Ck)来加权第k个聚类中心和第i个点之间的关系；
ai(Ck)的取值只有0和1，其中1表示表示最接近描述符pi的聚类中心，其他情况为0。
CN202210196505.4A 2022-03-01 2022-03-01 一种基于多特征融合点云分割的三维建模方法 Pending CN114612660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210196505.4A CN114612660A (zh) 2022-03-01 2022-03-01 一种基于多特征融合点云分割的三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210196505.4A CN114612660A (zh) 2022-03-01 2022-03-01 一种基于多特征融合点云分割的三维建模方法

Publications (1)

Publication Number Publication Date
CN114612660A true CN114612660A (zh) 2022-06-10

Family

ID=81861337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210196505.4A Pending CN114612660A (zh) 2022-03-01 2022-03-01 一种基于多特征融合点云分割的三维建模方法

Country Status (1)

Country Link
CN (1) CN114612660A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294343A (zh) * 2022-07-13 2022-11-04 苏州驾驶宝智能科技有限公司 一种基于跨位置及通道的注意力机制的点云特征增强方法
CN116091777A (zh) * 2023-02-27 2023-05-09 阿里巴巴达摩院(杭州)科技有限公司 点云全景分割及其模型训练方法、电子设备
CN116501908A (zh) * 2023-05-16 2023-07-28 哈尔滨工程大学 一种基于特征融合可学习图注意力网络的图像检索方法
CN117649530A (zh) * 2024-01-30 2024-03-05 武汉理工大学 基于语义级拓扑结构的点云特征提取方法、系统及设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294343A (zh) * 2022-07-13 2022-11-04 苏州驾驶宝智能科技有限公司 一种基于跨位置及通道的注意力机制的点云特征增强方法
CN115294343B (zh) * 2022-07-13 2023-04-18 苏州驾驶宝智能科技有限公司 一种基于跨位置及通道的注意力机制的点云特征增强方法
CN116091777A (zh) * 2023-02-27 2023-05-09 阿里巴巴达摩院(杭州)科技有限公司 点云全景分割及其模型训练方法、电子设备
CN116501908A (zh) * 2023-05-16 2023-07-28 哈尔滨工程大学 一种基于特征融合可学习图注意力网络的图像检索方法
CN116501908B (zh) * 2023-05-16 2024-04-26 哈尔滨工程大学 一种基于特征融合可学习图注意力网络的图像检索方法
CN117649530A (zh) * 2024-01-30 2024-03-05 武汉理工大学 基于语义级拓扑结构的点云特征提取方法、系统及设备
CN117649530B (zh) * 2024-01-30 2024-04-23 武汉理工大学 基于语义级拓扑结构的点云特征提取方法、系统及设备

Similar Documents

Publication Publication Date Title
CN110287849B (zh) 一种适用于树莓派的轻量化深度网络图像目标检测方法
Zhang et al. End-to-end photo-sketch generation via fully convolutional representation learning
Yang et al. Multifeature fusion-based object detection for intelligent transportation systems
CN114612660A (zh) 一种基于多特征融合点云分割的三维建模方法
Deng et al. MVF-Net: A multi-view fusion network for event-based object classification
CN113870160B (zh) 一种基于变换器神经网络的点云数据处理方法
Cao et al. Skeleton-based action recognition with temporal action graph and temporal adaptive graph convolution structure
Ji et al. Few-shot scene classification of optical remote sensing images leveraging calibrated pretext tasks
Mosella-Montoro et al. 2d–3d geometric fusion network using multi-neighbourhood graph convolution for rgb-d indoor scene classification
CN116109678B (zh) 基于上下文自注意力学习深度网络的目标跟踪方法与系统
CN115861619A (zh) 一种递归残差双注意力核点卷积网络的机载LiDAR城市点云语义分割方法与系统
Manssor et al. Real-time human detection in thermal infrared imaging at night using enhanced Tiny-yolov3 network
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN114972794A (zh) 基于多视图Pooling Transformer的三维对象识别方法
CN112668662B (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Wang et al. Superpixel segmentation with squeeze-and-excitation networks
Wu et al. Deep texture exemplar extraction based on trimmed T-CNN
Meng et al. A modified fully convolutional network for crack damage identification compared with conventional methods
CN117078956A (zh) 一种基于点云多尺度并行特征提取和注意力机制的点云分类分割网络
CN115239765B (zh) 基于多尺度可形变注意力的红外图像目标跟踪系统及方法
CN116433904A (zh) 一种基于形状感知和像素卷积的跨模态rgb-d语义分割方法
CN116386042A (zh) 一种基于三维池化空间注意力机制的点云语义分割模型
CN114638953B (zh) 点云数据的分割方法、装置及计算机可读存储介质
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
Li et al. Few-shot meta-learning on point cloud for semantic segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination