CN115170859A - 一种基于空间几何感知卷积神经网络的点云形状分析方法 - Google Patents
一种基于空间几何感知卷积神经网络的点云形状分析方法 Download PDFInfo
- Publication number
- CN115170859A CN115170859A CN202210540037.8A CN202210540037A CN115170859A CN 115170859 A CN115170859 A CN 115170859A CN 202210540037 A CN202210540037 A CN 202210540037A CN 115170859 A CN115170859 A CN 115170859A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- features
- neural network
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及3D视觉领域,具体涉及一种基于空间几何感知卷积神经网络的点云形状分析方法。根据K近邻算法将点云构建为图结构数据,并在每个邻域内根据特征自适应地生成具有不同几何形状的域自适应卷积核。随后,以邻域节点的单位方向向量,仰角和方位角作为先验的几何信息,并与生成的卷积核执行卷积运算实现空间几何感知的卷积操作。随后,设计了图注意力池化对点云进行粗化,实现多尺度分析并降低计算代价。最后,以空间几何感知卷积与图注意力池化为基本单元构建了两个网络分别实现了点云分类与部件分割任务。本发明能够有效地对目标点云进行分类与部件分割,并且保证了对点云平移与放缩变换的不变性,使得模型具有更强的鲁棒性。
Description
技术领域
本发明涉及3D视觉领域,具体涉及一种基于空间几何感知卷积神经网络的点云形状分析方法。
背景技术
3D视觉以经成为了一个热门的话题,并广泛应用于许多新兴的技术中,如自动驾驶,虚拟现实,定位导航等。3D数据作为3D视觉研究的基础通常以下几种形式:多视角图像、体素、网格、以及点云。多视角图像将3D对象表示为从多个视角拍摄的2D图像,便于处理与分析,但是其缺乏空间几何信息无法准确描述3D对象的本质属性。体素可以看作构成3D目标的基本单元,但是它往往受限与分辨率的大小,同时也伴随着高昂的计算代价。网格数据常被用于可视化3D形状,但其数据本身无法从3D扫描设备中直接获取,需要进一步的抽象表示。相反地,点云是由3D物体表面的一系列点构成的集合,其描述的是3D物体的几何信息以及空间位置的分布,并且可以由3D扫描设备直接获取。因此,点云数据引起了越来越多的研究兴趣。
因点云形状分析的重要科学意义与广泛应用价值,目前已有大量方法被提出,包括投影的方法,基于逐点MLP的方法,基于卷积的方法以及基于图的方法。其中,基于投影的方法通常将点云转换成多视角图像或者体素栅格这类规则化的数据,并使用标准的2D 卷积和3D卷积神经网络进行处理与分析。然而由于数据转化往往伴随着3D结构的破坏导致信息的丢失,在后续的研究中通常采用更直接的方式对点云进行特征提取。基于逐点 MLP的方法采用多感知器与对称函数复合的形式提取点云特征,以解决点云的置换不变性。基于卷积的方法则是根据点云的性质尝试将标准的2D卷积推广至点云。基于图的方法方法通常将点云构建为图结构数据,并在空间域中定义图上的卷积与池化操作,从而实现对点云的特征提取。然而上述方法通常对点云平移变换不变性与尺度放缩不变性的考虑有所欠缺,即模型容易受到平移与放缩干扰的影响。
发明内容
为解决现有技术的不足,本发明的的发明目的在于设计一个空间几何感知的卷积算子,其能够保证模型对平移与放缩变换是不变的,从而使得模型具有更强的鲁棒性。
本发明的另一个目的在于提供一个统一的框架实现点云的分类与部件分割任务。
为了达到上述目的,本发明提供了如下技术方案:
本发明一种基于空间几何感知图卷积神经网络的点云形状分析方法,该方法包括如下步骤:步骤S1:通过初始几何特征描述模块提取具有平移和尺度不变性的初始几何特征,通过K近邻算法找出点云中每个点pi对应的2个近邻点pi1,pi2,从而在点云上构建一系列的三角面片;通过构建的三角面片计算pi的最近邻单位边向量与法向量,并以此作为初始几何特征用于后续步骤的输入;
步骤S2:根据点云不同邻域内的特征信息,通过一个共享的映射函数g(m)(·)自适应地生成具有不同几何形状的域自适应核;
步骤S3:在点云邻域中设计空间感知卷积算子,其计算每个邻域节点pij对应的单位方向向量eij、仰角θij e、方位角θij a,并作为先验的几何信息参与卷积运算;
步骤S4:采用随机采样与图注意力机制,设计点云上的图注意力池化操作,从而粗化点云并聚合邻域特征;
步骤S5:堆叠多个空间几何感知卷积层与图注意力池化层,以此构建网络的特征提取分支;
步骤S6:针对点云形状分类任务,对特征提取分支获取的特征进行全局最大池化操作,获取点云的整体形状描述符,并输入全连接网络实现目标的分类;
步骤S7:针对点云部件分割任务,设计与图注意力池化相应的反池化操作将提取到的特征逐步解码至原尺寸,然后通过全连接网络对每个点进行分类从而实现目标不同区域的分割。
其中步骤S1具体包括:根据K近邻算法查询点云上每个点pi对应的两个近邻点pi1,pi2,并在点云上构建一系列的三角面片,随后在每个三角面片上定义pi的近邻边向量与法向量:
步骤S2具体包括:对于任意一点pi通过3D空间中的K近邻算法确定其在点云上的邻域S为邻域节点的个数,从而将点云构建为图G(V,E), V,E分别表示顶点集合与边集合,随后在每个邻域内通过邻域的特征 F(pi,S)=[fi1,fi2,...,fiS}∪{fi}与一个共享的映射函数g(m)(·)自适应地根据邻域的几何形状生成与之相匹配的卷积核:
此处Δfij=fij-fi为节点fij的边缘特征,kij (m)为第m个卷积核Ki (m)内的核点;
此处Δxij,Δyij点pij在X轴和Y轴上的相对坐标,随后将这些几何信息作为输入与生成的域自适应核进行卷积运算:
步骤S5包括:根据提出的相关技术设计一个点云的特征提取分支,主要包含一个初始几何描述模块,以及堆叠的五个空间几何感知卷积层,并在第二,第四层卷积后插入了一个图注意力池化层,最终将点云编码为一系列高维特征;
针对点云形状分类任务,步骤S6包括:通过全局最大池化操作将编码得到的高维特征聚合成一个高维向量并作为点云的整体形状描述符,并将其输入到全连接神经网络中预测目标的类别;
针对点云部件分割任务,其特征在于,根据所述步骤S7包括:通过与图注意力池化相对应的反池化操作将点云逐步恢复至原始尺寸,其首先通过最近邻插值对高维特征进行插值,随后与上一阶段的编码特征一同输入到一个注意力块中,并对编码特征进行关注:
其中Γ1,Γ2是两个以ReLU为激活函数的特征映射,Γ3是以Sigmoid为激活函数的特征映射,随后将关注后的特征与插值特征进行拼接,并输入到多层感知器MLP中实现反池化操作
通过2次带有注意力机制的反池化操作将编码分支获取的高维特征逐步解码并恢复点云的原始尺寸,以此获取点云上每个点的特征表示,最后同样通过全连接神经网络对每个点进行逐点的分类以实现目标点云的部件分割。
附图说明
图1为本发明初始几何描述模块示意图。
图2为本发明邻域先验几何信息定义以及域自适应核示意图。
图3为本发明空间几何感知卷积的流程示意图。
图4为图注意力池化操作示意图。
图5为点云分类与点云部件分割网络结构图。
图6为注意力块与反池化操作流程图。
具体实施方式
下面参照附图描述根据本发明实施例提供的基于空间几何感知图神经网络的点云形状分析方法,首先将参照附图描述根据本发明设计例提供的初始特征描述模块,域自适应卷积核,空间几何感知卷积,以及图注意力池化,最后,采用这些组件为基本单元,并在统一的框架下设计了两个网络以实现点云形状分类任务与部件分割任务。参照图1-6所示,该方法包括以下步骤:
S1初始几何特征描述模块:输入点云P={p1,p2,...,pN},并以任意一点pi为中心通过K近邻算法搜索距离pi最近的点pi1,pi2。如图1所示,pi,pi1,pi2这三个点构成了一个三角面片,并显式地提取点云的初始几何特征如下:
S2域自适应卷积核的构建:对于给定的输入点云或中间过程点云P,其对应的特征为 F(在输入层,F为初始几何特征描述模块提取到的初始几何特征)。使用带有自环的K 近邻(KNN)算法来确定每个点的邻域,表示为其中S 反映邻域的大小。令F(pi,S)={fi1,fi2,...,fiS}∪{fi}为邻域上每个点对应的特征。随后将中心点特征fi与边缘特征Δfij=fij-fi,j=1,2,...,S输入到一个共享的映射函数g(·)中,从而构建一系列域自适应卷积核即
其中m为D个卷积核的索引序号,kij (m)为卷积核的权重,“||”表示向量的拼接操作。
其中Δxij,Δyij表示点pij与点pi在X轴与Y轴上的坐标差。随后,将这些几何先验信息作为输入并与步骤2生成的域自适应卷积核执行卷积运算,即
其中<·,·>表示向量的点积运算。图3阐明了空间几何感知卷积运算的详细过程。
S4图注意力池化操作:卷积层之后通常是池化操作,这在标准CNN中扮演着重要的角色。在提出的网络架构中,本发明同样设计了点云上的池化操作以实现点云的粗化。如图4所示,首先通过随机采样在原点云上采样得到一个点云子集ρ为采样率。随后,对于点云子集上的任意一点pi与其对应的邻域采用图注意机制计算每个节点的注意力系数:
其中ωi0是一个可学习的权重,φ,ψ是两个独立的线性映射函数。这些学习到的注意力权重可以被视为一组软掩码,自适应地选择重要的响应特征。最后通过注意力系数聚合叶节点的特征实现点云上由细到粗的图池化,即:
S5-S7点云分类与分割网络:以步骤S1-S4中提出的初始几何特征描述模块,域自适应卷积核,空间几何感知卷积以及图注意力池化操作为基本单元,针对点云的分类与分割任务构建网络如图5所示。在分类任务中,点云通过一系列的卷积与池化操作被表示为一个高维向量,并通过全连接网络实现点云的分类。在分割网络的特征提取阶段采用与分类网络相同的架构,不同的是分割任务需要对点云上每个点进行分类,因此为了获取每个点的特征,本发明设计额外设计了反池化操作,从而实现点云由粗到细的细化并恢复点云的尺寸,具体如图6所示。
以上所述仅为本发明的具体实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于空间几何感知图卷积神经网络的点云形状分析方法,其特征在于,该方法包括如下步骤:
步骤S1:通过初始几何特征描述模块提取具有平移和尺度不变性的初始几何特征,通过K近邻算法找出点云中每个点pi对应的2个近邻点pi1,pi2,从而在点云上构建一系列的三角面片;通过构建的三角面片计算pi的最近邻单位边向量与法向量,并以此作为初始几何特征用于后续步骤的输入;
步骤S2:根据点云不同邻域内的特征信息,通过一个共享的映射函数g(m)(·)自适应地生成具有不同几何形状的域自适应核;
步骤S3:在点云邻域中设计空间感知卷积算子,其计算每个邻域节点pij对应的单位方向向量eij、仰角θij e、方位角θij a,并作为先验的几何信息参与卷积运算;
步骤S4:采用随机采样与图注意力机制,设计点云上的图注意力池化操作,从而粗化点云并聚合邻域特征;
步骤S5:堆叠多个空间几何感知卷积层与图注意力池化层,以此构建网络的特征提取分支;
步骤S6:针对点云形状分类任务,对特征提取分支获取的特征进行全局最大池化操作,获取点云的整体形状描述符,并输入全连接网络实现目标的分类;
步骤S7:针对点云部件分割任务,设计与图注意力池化相应的反池化操作将提取到的特征逐步解码至原尺寸,然后通过全连接网络对每个点进行分类从而实现目标不同区域的分割。
6.根据权利要求1所述的一种基于空间几何感知图卷积神经网络的点云形状分析方法,其特征在于,所述步骤S5包括:一个初始几何描述模块,以及堆叠的五个空间几何感知卷积层,并在第二,第四层卷积后插入了一个图注意力池化层,最终将点云编码为一系列高维特征。
7.根据权利要求1所述的一种基于空间几何感知图卷积神经网络的点云形状分析方法,其特征在于,所述步骤S6包括:通过全局最大池化操作将编码得到的高维特征聚合成一个高维向量并作为点云的整体形状描述符,并将其输入到全连接神经网络中预测目标的类别。
8.根据权利要求1所述一种基于空间几何感知图卷积神经网络的点云形状分析方法,其特征在于,所述步骤S7包括:通过与图注意力池化相对应的反池化操作将点云逐步恢复至原始尺寸,其首先通过最近邻插值对高维特征进行插值,随后与上一阶段的编码特征一同输入到一个注意力块中,并对编码特征进行关注:
其中Γ1,Γ2是两个以ReLU为激活函数的特征映射,Γ3是以Sigmoid为激活函数的特征映射,随后将关注后的特征与插值特征进行拼接,并输入到多层感知器MLP中实现反池化操作
通过2次带有注意力机制的反池化操作将编码分支获取的高维特征逐步解码并恢复点云的原始尺寸,以此获取点云上每个点的特征表示,最后同样通过全连接神经网络对每个点进行逐点的分类以实现目标点云的部件分割。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210540037.8A CN115170859A (zh) | 2022-05-18 | 2022-05-18 | 一种基于空间几何感知卷积神经网络的点云形状分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210540037.8A CN115170859A (zh) | 2022-05-18 | 2022-05-18 | 一种基于空间几何感知卷积神经网络的点云形状分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115170859A true CN115170859A (zh) | 2022-10-11 |
Family
ID=83482750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210540037.8A Pending CN115170859A (zh) | 2022-05-18 | 2022-05-18 | 一种基于空间几何感知卷积神经网络的点云形状分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115170859A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115965788A (zh) * | 2023-01-12 | 2023-04-14 | 黑龙江工程学院 | 基于多视角图结构特征注意力卷积的点云语义分割方法 |
CN116452866A (zh) * | 2023-04-04 | 2023-07-18 | 北京科技大学顺德创新学院 | 基于点云-体素的几何自适应点云分类和分割方法及装置 |
-
2022
- 2022-05-18 CN CN202210540037.8A patent/CN115170859A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115965788A (zh) * | 2023-01-12 | 2023-04-14 | 黑龙江工程学院 | 基于多视角图结构特征注意力卷积的点云语义分割方法 |
CN116452866A (zh) * | 2023-04-04 | 2023-07-18 | 北京科技大学顺德创新学院 | 基于点云-体素的几何自适应点云分类和分割方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740665B (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及系统 | |
CN111627065B (zh) | 一种视觉定位方法及装置、存储介质 | |
AU2020104423A4 (en) | Multi-View Three-Dimensional Model Retrieval Method Based on Non-Local Graph Convolutional Network | |
Nurunnabi et al. | Robust statistical approaches for local planar surface fitting in 3D laser scanning data | |
El Housseini et al. | Deep Learning for target recognition from SAR images | |
CN112990010B (zh) | 点云数据处理方法、装置、计算机设备和存储介质 | |
CN115170859A (zh) | 一种基于空间几何感知卷积神经网络的点云形状分析方法 | |
CN112749616B (zh) | 点云数据的多域邻域嵌入和加权 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
Ward et al. | RGB-D image-based object detection: from traditional methods to deep learning techniques | |
CN111199558A (zh) | 一种基于深度学习的图像匹配方法 | |
CN113449784A (zh) | 基于先验属性图谱的图像多分类方法、装置、设备及介质 | |
CN114067075A (zh) | 基于生成对抗网络的点云补全方法及装置 | |
Ahmad et al. | 3D capsule networks for object classification from 3D model data | |
CN115331109A (zh) | 基于旋转等变卷积通道注意力增强和多尺度特征融合的遥感图像目标检测方法 | |
Van Hoai et al. | Feeding Convolutional Neural Network by hand-crafted features based on Enhanced Neighbor-Center Different Image for color texture classification | |
US11468609B2 (en) | Methods and apparatus for generating point cloud histograms | |
CN115222951A (zh) | 基于具备旋转不变性的三维点云描述子的图像处理方法 | |
Wu et al. | MSGCN: a multiscale spatio graph convolution network for 3D point clouds | |
Ahmadian et al. | Single image super-resolution with self-organization neural networks and image laplace gradient operator | |
CN111860668A (zh) | 一种针对原始3d点云处理的深度卷积网络的点云识别方法 | |
CN116664854A (zh) | 目标检测方法、装置、电子设备及机器可读存储介质 | |
CN115775214A (zh) | 一种基于多阶段分形组合的点云补全方法及系统 | |
CN112699829B (zh) | 基于深度特征和稀疏度量投影的车辆重识别方法及系统 | |
CN114998630A (zh) | 一种从粗到精的地对空图像配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |