CN116452866A - 基于点云-体素的几何自适应点云分类和分割方法及装置 - Google Patents

基于点云-体素的几何自适应点云分类和分割方法及装置 Download PDF

Info

Publication number
CN116452866A
CN116452866A CN202310349933.0A CN202310349933A CN116452866A CN 116452866 A CN116452866 A CN 116452866A CN 202310349933 A CN202310349933 A CN 202310349933A CN 116452866 A CN116452866 A CN 116452866A
Authority
CN
China
Prior art keywords
point cloud
voxel
point
adaptive
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310349933.0A
Other languages
English (en)
Inventor
曾慧
赵天孟
李擎
刘红敏
樊彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shunde Innovation School of University of Science and Technology Beijing
Original Assignee
Shunde Innovation School of University of Science and Technology Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shunde Innovation School of University of Science and Technology Beijing filed Critical Shunde Innovation School of University of Science and Technology Beijing
Priority to CN202310349933.0A priority Critical patent/CN116452866A/zh
Publication of CN116452866A publication Critical patent/CN116452866A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于点云‑体素的几何自适应点云分类和分割方法及装置，属于计算机视觉技术领域。所述方法包括：构建基于体素的深度卷积算子和基于点的位置自适应池化算子；根据构建的深度卷积算子和位置自适应池化算子，构建基于点云‑体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；根据构建的特征提取模块，构建基于点云‑体素的几何自适应网络；输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务。采用本发明，能够提高点云形状分类和部件分割的精度并具有高效快速的特点。

Description

基于点云-体素的几何自适应点云分类和分割方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别是指一种基于点云-体素的几何自适应点云分类和分割方法及装置。
背景技术
近年来，基于点云数据的分析和处理在三维理解领域变得越来越火热，吸引了学术界和工业界众多研究人员的注意。不同于像素规则排布的二维图像，点云由三维空间中散乱、不规则分布的点组成，使得人们无法将发展成熟的二维卷积网络直接应用于点云的分析和处理。同时，点云稀疏和无结构化的特性也对三维卷积网络的使用带来了阻碍和挑战。基于此，人们开始直接基于原始点云进行研究，并逐渐产生了很多具有代表性的工作。
在近几年的工作中，人们研究的重点是通过使用卷积、图和注意力等运算来设计精细化的局部聚合算子，用于提取点云中的局部几何信息。这些精细化的局部聚合算子虽然取得了不错的效果，但结构设计复杂，运算量大，对不同的点云没有自适应性。而且，近几年的工作表明，精细化设计的局部聚合算子对于点云分析网络的性能提升逐渐趋于饱和，这表明更加复杂的局部聚合算子并不能为网络的性能带来大幅度的提升。
发明内容
本发明实施例提供了基于点云-体素的几何自适应点云分类和分割方法及装置，能够提高点云形状分类和部件分割的精度并具有高效快速的特点。所述技术方案如下：
一方面，提供了一种基于点云-体素的几何自适应点云分类和分割方法，该方法应用于电子设备，该方法包括：
构建基于体素的深度卷积算子和基于点的位置自适应池化算子；
根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；
根据构建的特征提取模块，构建基于点云-体素的几何自适应网络；
输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务。
进一步地，构建的基于体素的深度卷积算子，用于将点云离散化为体素，使用三维深度卷积对体素进行卷积运算，对计算得到的体素特征反体素化，得到点云中的粗粒度局部特征。
进一步地，所述将点云离散化为体素，使用三维深度卷积对体素进行卷积运算，对计算得到的体素特征反体素化，得到点云中的粗粒度局部特征包括：
假设一输入点云其中，/>表示点云的坐标，/>表示点云的特征，/>表示实数集，N表示点云中点的数量，d表示每个点特征的维度，将所述点云转换到以质心为原点的局部坐标系，将所有点的坐标除以点到原点的最远距离，从而将所有点归一化到一个单位圆内，对所有点的坐标进行缩放和平移，使其处于[0,1]区间内；其中，归一化后的点云表示为/>
将归一化后的点云离散划分为体素；其中，经过离散化操作，点云特征转化成了体素特征/>r表示体素的分辨率；
使用三维深度卷积对体素特征进行特征提取，对提取得到的体素特征进行反体素化处理，得到点云中的粗粒度局部特征
进一步地，构建的基于点的位置自适应池化算子，用于将点云局部区域内邻域点和中心点的相对坐标和特征差值编码为权重，使用该权重对邻域点特征进行加权，将加权后的邻域点特征池化后作为中心点的特征，得到点云中的细粒度几何特征。
进一步地，所述将点云局部区域内邻域点和中心点的相对坐标和特征差值编码为权重，使用该权重对邻域点特征进行加权，将加权后的邻域点特征池化后作为中心点的特征，得到点云中的细粒度几何特征包括：
A1，对于点云中的一个点pi，使用K最近邻算法寻找它的K个邻域点pj，将邻域点与中心点的坐标和特征分别作差，得到邻域点和中心点的相对坐标△pij和特征差值△fij；其中，pi为中心点，/> 表示中心点i的局部邻域；
A2，将特征差值△fij映射为和相对坐标△pij相同维度的特征向量△p′ij：
△p′ij＝γ(△fij)
其中，γ表示由两层多层感知器组成的编码器；
A3，将特征向量△p′ij与相对坐标△pij拼接得到权重w：
△p″ij＝{△p′ij|△pij}
其中，|表示按通道维度拼接；
A4，使用权重w对邻域点特征进行加权；
A5，对加权后的邻域点特征进行池化后作为中心点的特征；
A6，点云中的所有点都执行步骤A1-A5后，得到点云特征该点云特征包含点云中细粒度的几何信息。
进一步地，所述根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块包括：
将构建的基于体素的深度卷积算子和基于点的位置自适应池化算子进行并联，组合成具有点云和体素两个分支的基于点云-体素的特征提取模块。
进一步地，所述基于点云-体素的特征提取模块，用于通过体素分支提取点云中的粗粒度局部特征，通过点云分支提取点云中的细粒度几何特征，将两个分支提取的特征进行相加融合，得到包含点云中不同尺度信息的融合特征。
进一步地，构建的基于点云-体素的几何自适应网络包括：特征嵌入模块、多层PAVD模块、特征聚合模块和检测头模块；其中，所述多层PAVD模块为由多个PAVD模块依次连接而成；PAVD模块为基于点云-体素的特征提取模块；
特征嵌入模块，用于将输入点云的低维坐标转化为高维特征；
多层PAVD模块，用于基于点云和体素两种表示方式对特征嵌入模块输出的高维点云特征进行特征提取；其中，所述PAVD模块包括：体素分支和点云分支，点云分支使用基于点的位置自适应池化算子提取点云中的细粒度几何特征，体素分支使用基于体素的深度卷积算子提取点云中的粗粒度局部特征，两个分支的特征通过逐元素相加实现特征融合；
特征聚合模块，用于对各个PAVD模块输出的融合后的特征进行进一步的融合；
检测头模块，用于对特征聚合模块输出的点云特征进行检测，完成分类或分割任务，所述检测头模块由三层MLP组成，每个检测头中都加入了Dropout层。
一方面，提供了一种基于点云-体素的几何自适应点云分类和分割装置，包括：
第一构建模块，用于构建基于体素的深度卷积算子和基于点的位置自适应池化算子；
第二构建模块，用于根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；
第三构建模块，用于根据构建的特征提取模块，构建基于点云-体素的几何自适应网络；
分类分割模块，用于输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于点云-体素的几何自适应点云分类和分割方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于点云-体素的几何自适应点云分类和分割方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，构建基于体素的深度卷积算子和基于点的位置自适应池化算子；根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；根据构建的特征提取模块，构建基于点云-体素的几何自适应网络；输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务，这样，能够提高点云形状分类和部件分割的精度并具有高效快速的特点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于点云-体素的几何自适应点云分类和分割方法的流程示意图；
图2为本发明实施例提供的基于点的位置自适应池化算子的工作流程示意图；
图3为本发明实施例提供的基于点云-体素的几何自适应网络的结构示意图；
图4为本发明实施例提供的基于点云-体素的几何自适应点云分类和分割装置的结构示意图；
图5是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种基于点云-体素的几何自适应点云分类和分割方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器，该方法包括：
S101，构建基于体素的深度卷积算子和基于点的位置自适应池化算子；
本实施例中，构建的基于体素的深度卷积算子，首先将点云离散化为体素，然后使用三维深度卷积对体素进行卷积运算，最后对计算得到的体素特征反体素化，从而得到点云中的粗粒度局部特征；此过程的具体步骤可以表述如下：
假设一输入点云其中，/>表示点云的坐标，/>表示点云的特征，/>表示实数集，N表示点云中点的数量，d表示每个点特征的维度，将点云转换到以质心为原点的局部坐标系，将所有点的坐标除以点到原点的最远距离，从而将所有点归一化到一个单位圆内，对所有点的坐标进行缩放和平移，使它们处于[0,1]区间内；其中，在对点云归一化的整个过程内，只涉及点云的坐标，而每个点的特征保持不变，因此归一化后的点云可以表示为/>
将归一化后的点云离散划分为体素，具体做法是先统计每个体素内包含了哪些点，然后对这些点的特征求平均值，这个平均值就作为每个体素的特征，此过程可以表示为：
其中，表示体素(u,v,w)的特征，(u,v,w)表示体素的坐标，Nu,v,w表示落在体素(u,v,w)内点的数量，/>表示点/>的坐标，r表示体素的分辨率，/>表示向下取整，Γ为表征点/>是否属于体素(u,v,w)的符号函数，取值0或1/>为点/>对应的点云特征。
经过离散化操作，点云特征转化成了体素特征/>
使用三维深度卷积对体素特征进行特征提取；其中，深度卷积来源于深度可分离卷积，深度可分离卷积将传统的全卷积分解成两步去执行，分别是深度(depth-wise)卷积和点(point-wise)卷积，相比于全卷积，深度可分离卷积在不影响网络精度的情况下大大减少了卷积运算的参数量和计算量，提升了网络的运行效率；使用两层三维深度卷积来充当体素的特征提取网络，每个三维深度卷积层后都附加批归一化(Batch Normalization)层和ReLU非线性激活函数层，通过三维深度卷积，获取到点云中的粗粒度局部特征。
由于后续需要将点云特征和体素特征相融合，必须将提取得到的体素特征转换回点云特征的表示形式，即点云的反体素化处理。在对点云体素化时，曾将多个点的特征相加取平均作为一个体素网格的特征，因此在反体素化时，需要进行插值，即将一个体素网格的特征通过某种插值算法传播给多个点。常用的插值算法有最近邻插值、双线性插值和三线性插值，这里选择使用三线性插值算法，因为最近邻插值传播给邻域内每个点的特征是一样的，而点云中每个点的特征显然不应该是一样的，同时，体素处于三维空间，因此不适合使用双线性插值。反体素化完成后，体素特征变换回点云特征/>此特征包含点云中的粗粒度局部信息，其中，/>中的上标l表示局部(local)的意思。
本实施例中，构建的基于点的位置自适应池化算子，用于将点云局部区域内邻域点和中心点的相对坐标和特征差值编码为权重，使用该权重对邻域点特征进行加权，将加权后的邻域点特征池化后作为中心点的特征，从而得到点云中的细粒度几何特征。
本实施例中，为了更好地提取点云中的细粒度几何信息，需要充分利用点云的坐标。在现有工作的基础上，提出了基于点的位置自适应池化算子，首先将点云局部区域内邻域点和中心点的相对坐标和特征差值编码为权重，再使用该权重对邻域点特征进行加权，最后将加权后的邻域点特征池化后作为中心点的特征，从而得到点云中的细粒度几何特征；这样，通过邻域点和中心点的相对坐标和特征差值，可以得到点云局部范围内点与点之间的相对位置关系和特征相似度，进一步可以获得点云的局部形状等几何信息。此过程的具体步骤可以表述如下：
如图2所示，该图为基于点的位置自适应池化算子提取点云中的细粒度几何特征的流程示意图，其中，图2(a)部分表示基于点云的坐标使用K最近邻(K-Nearest Neighbor，KNN)算法为点云中每个点寻找局部邻域，具体的：首先通过KNN算法，可以得到点云局部区域内中心点的坐标和特征，分别用pi和fi表示，以及邻域点的坐标和特征，分别用pj和fj表示，其中 表示中心点的局部邻域；
图2(b)部分表示通过邻域点和中心点的相对坐标和特征差值编码得到的权重对邻域点特征进行加权，图2(c)部分表示对加权后的邻域点特征进行池化，在这里选择最大池化。接下来，主要介绍一下图2(b)、图2(c)部分中涉及到的模块结构和原理：
第一步，将邻域点和中心点的坐标和特征相减，得到相对坐标△pij和特征差值△fij；
第二步，使用特征映射模块γ(由多层感知器(Multilayer Perceptron，MLP)组成)，将特征差值△fij映射为和相对坐标△pij相同维度的特征向量△p′ij＝γ(△fij)，将△p′ij和对相对坐标△pij进行拼接，得到维度为6的特征向量△p″ij＝{△p′ij|△pij}；其中，|表示按通道维度拼接；
第三步，使用特征压缩模块α(由多层感知器组成)将邻域点特征的维度压缩至原来的1/6，再使用特征重复操作β将压缩后的特征复制6份，从而邻域点特征的维度从d变为6·(d/6)，此步将邻域点特征分为6组，此时的邻域点特征表示为f″j；其中，
第四步，将第二步得到的6维度的特征向量△p″ij作为权重w，对第三步得到的邻域点特征f″j进行分组(以组为单位)加权，得到加权后的邻域点特征f″′j。经过以上四步操作，将点云局部区域内的坐标位置信息融入到了局部区域的特征之中，从而可以很容易地获取和感知点云中的几何信息。
第五步，在得到加权后的邻域点特征fj″′后，使用最大池化操作对所有的邻域点特征进行池化，将池化后的特征更新为中心点的特征，该操作实现了点云局部区域的特征聚合，聚合后的特征包含了点云中的细粒度几何信息。
本实施例中，对点云中的所有点都执行图2(a)-图2(c)中的操作后，得到点云特征该点云特征包含点云中细粒度的几何信息，其中，/>中的上标g表示几何(geometric)的意思。
S102，根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块(简称PAVD模块)，自适应地提取和融合输入点云中不同尺度的特征；
本实施例中，将构建的基于体素的深度卷积算子和基于点的位置自适应池化算子进行并联，组合成具有点云和体素两个分支的基于点云-体素的特征提取模块。
本实施例中，所述基于点云-体素的特征提取模块，用于通过体素分支提取点云中的粗粒度局部特征，通过点云分支提取点云中的细粒度几何特征，将两个分支提取的特征进行相加融合，得到包含点云中不同尺度信息的融合特征。
S103，根据构建的特征提取模块，构建基于点云-体素的几何自适应网络(简称PAVDNet网络)；
本实施例中，将构建的PAVD模块作为基本的网络层，来构建PAVDNet网络，如图3(a)所示，构建的PAVDNet网络包括：特征嵌入模块、多层PAVD模块、特征聚合模块和检测头模块；其中，所述多层PAVD模块为由多个PAVD模块依次连接而成；PAVD模块为基于点云-体素的特征提取模块；
如图3(b)所示，特征嵌入模块，用于将输入点云的低维坐标转化为高维特征，方便之后的特征提取，该模块由两层多层感知器(MLP)组成，每层MLP都包含一维卷积(1DConvolution)、批归一化(Batch-Normalization)和ReLU非线性激活函数；
如图3(c)、(d)所示，多层PAVD模块，用于基于点云和体素两种表示方式对特征嵌入模块输出的高维点云特征进行特征提取；其中，所述PAVD模块包括：体素分支和点云分支，如图3(c)所示，体素分支使用基于体素的深度卷积算子提取点云中的粗粒度局部特征，如图3(d)所示，点云分支使用基于点的位置自适应池化算子提取点云中的细粒度几何特征，两个分支的特征通过逐元素相加实现特征融合；
如图3(e)所示，特征聚合模块，用于对各个PAVD模块输出的融合后的特征进行进一步的融合，该模块由一层MLP组成；
检测头模块，用于对特征聚合模块输出的点云特征进行检测，完成分类或分割任务，所述检测头模块由三层MLP组成，为了抑制网络的过拟合和提升网络的鲁棒性，每个检测头中都加入了Dropout层。
S104，输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割等点云处理任务。
如图3所示，分类结果可以包括：飞机等；以飞机为例，分割结果可以包括：机翼、机身、机尾和引擎等。
为了验证本发明实施例提供的基于点云-体素的几何自适应点云分类和分割方法的有效性，使用ModelNet40、ScanObjectNN和ShapeNet Part三种数据集中提供的评估指标测试其性能：
(1)平均类别准确率(mean class accuracy，mAcc)，数值越大越好；
(2)整体准确率(overall accuracy，OA)，数值越大越好；
(3)类别平均交并比(category mIoU)，数值越大越好；
(4)实例平均交并比(instance mIoU)，mIoU值越大，表示预测值和标签值重叠部分越多，分割结果越精确；
其中，整体准确率和实例平均交并比是最主要的考察指标。
本实施例中，应用ModelNet40和ScanObjectNN数据集来分别评估基于点云-体素的几何自适应网络在人工合成数据集和真实数据集上的点云形状分类性能，应用ShapeNetPart数据集评估基于点云-体素的几何自适应网络的点云部件分割性能；其中，
ModelNet40是一个人工合成的点云分类数据集，包含共40个类别的12311个CAD三维模型，在点云形状分类和表面法向量评估等任务中应用广泛；
ScanObjectNN是一个真实的点云分类数据集，包含15个类别的实际扫描对象，所有类别加起来共有15000个对象，其中有2902个唯一的对象实例。由于是真实扫描数据集，每个对象中都包含一定的遮挡、噪声和背景信息，因此在ScanObjectNN数据集上的形状分类任务对于每个方法来说都有一定的挑战性
ShapeNet Part是一个点云部件分割数据集，包含16,880个三维模型，这些三维模型共有16个类别和50个部件标签，其中每类模型都包含2-6个部件。
在实施过程中，构建基于体素的深度卷积算子和基于点的位置自适应池化算子；根据构建的基于体素的深度卷积算子和基于点的位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；根据构建的基于点云-体素的特征提取模块，构建基于点云-体素的几何自适应网络；利用构建的基于点云-体素的几何自适应网络完成点云的形状分类和部件分割任务。
在本实施例中，针对ModelNet40数据集，将其中的9843个模型作为训练集，其余的2468个模型作为测试集。对数据集中的每个模型进行均匀采样，选出1024个点作为训练和测试时使用的点云数据。在训练阶段，对点云进行尺度为[-0.1,0.1]的随机平移，尺度为[0.8,1.25]的随机缩放，以及最大概率为0.875的随机点丢弃，通过这些方法来增广数据集，以此增强网络的泛化能力和鲁棒性。在测试阶段，直接使用原点云数据，而不使用这些数据增广方法。训练时使用的初始学习率为0.001，批量大小为8，迭代次数为200；针对ScanObjectNN数据集，选取其中最难的和使用最广泛的PB_T50_RS版本对PAVDNet网络进行测试。对数据集中的每个模型进行均匀采样，选出1024个点作为训练和测试时使用的点云数据。在训练阶段，对点云进行尺度为[-0.1,0.1]的随机平移和尺度为[0.9,1.1]的随机缩放，通过这些方法来增广数据集，以此增强网络的泛化能力和鲁棒性。在测试阶段，直接使用原点云数据，而不使用这些数据增广方法。训练时使用的初始学习率为0.001，批量大小32，迭代次数为250；针对ShapeNet Part数据集，选取14006个模型作为训练集，其余2874个模型作为测试集。对数据集中的每个模型进行均匀采样，选出2048个点作为训练和测试时使用的点云数据。在训练阶段，对点云进行尺度为[-0.1,0.1]的随机平移，尺度为[0.8,1.25]的随机缩放，与形状分类任务一样，通过这些方法来增广数据集和增强网络的泛化能力。在测试阶段，直接使用原点云数据，而不使用这些数据增广方法。训练时使用的初始学习率为0.001，批量大小为8，迭代次数为200。
为了验证本发明所述方法的性能，本实施例中，选择了近几年基于深度学习的点云形状分类和部件分割方法进行了对比，实验结果如表1～3所示；其中，表1表示不同方法在ModelNet40数据集上的点云形状分类结果，表2表示不同方法在ScanObjectNN数据集上的点云形状分类结果，表3表示不同方法在ShapeNet Part数据集上的部件分割结果。
由表1可以看出，相比于其他方法，本实施例提出的PAVDNet网络取得了91.9％的mAcc和93.7％的OA，是表1所有方法中最高的，这证明了本实施例提出的PAVDNet网络在ModelNet40分类数据集上的有效性。
表1不同方法在ModelNet40数据集上的点云形状分类结果
方法 输入形式 mAcc OA
3DShapeNets 体素 77.3 84.7
VoxNet 体素 83.0 85.9
PointNet 点云 86.2 89.2
MVCNN 多视图 - 90.1
Kd-Net 点云 - 91.8
PointNet++ 点云 - 91.9
PointGrid 点云 - 92.0
SpecGCN 点云 - 92.1
PointCNN 点云 88.1 92.2
DGCNN 点云 90.2 92.2
PointWeb 点云 89.4 92.3
SpiderCNN 点云 - 92.4
PVCNN 点云 - 92.4
PointConv 点云 - 92.5
Point2Sequence 点云 90.4 92.6
KPConv 点云 - 92.9
RS-CNN 点云 - 92.9
PointASNL 点云 - 92.9
InterpCNN 点云 - 93.0
PCT 点云 - 93.2
PT 点云 90.6 93.7
PAVDNet(ours) 点云 91.9 93.7
由表2可以看出，相比于其他方法，本实施例提出的PAVDNet网络取得了85.3％的mAcc和87.2％的OA，是表1所有方法中最高的，这证明了本实施例提出的PAVDNet网络在ScanObjectNN分类数据集上的有效性。
表2不同方法在ScanObjectNN数据集上的点云形状分类结果
方法 输入形式 mAcc OA
PointNet 点云 63.4 68.2
SpiderCNN 点云 69.8 73.7
PointNet++ 点云 75.4 77.9
DGCNN 点云 73.6 78.1
PointCNN 点云 75.1 78.5
DRNet 点云 78.0 80.3
GBNet 点云 77.8 80.5
SimpleView 点云 - 80.5
PRANet 点云 79.1 82.1
MVTN 点云 - 82.8
PVCNN 点云 83.5 85.0
PointMLP 点云 83.9 85.4
PAVDNet(ours) 点云 85.3 87.2
由表3可以看出，相比于其他方法，本实施例提出的PAVDNet网络取得了最高的86.7％的实例mIoU，比同类方法PVCNN高出0.5％，比最近的基于注意力机制的方法PCT和PT分别高出0.3％和0.1％，表明了本实施例提出的PAVDNet网络在ShapeNet Part数据集上的有效性。
表3不同方法在ShapeNet Part数据集上的部件分割结果。
方法 cat.mIoU ins.mIoU
Kd-Net 77.4 82.3
PointNet 80.4 83.7
PointNet++ 81.9 85.1
PCNN 81.8 85.1
DGCNN 82.3 85.2
Point2Sequence 82.2 85.2
SpiderCNN 82.4 85.3
PointCNN 84.6 86.1
PointASNL 83.4 86.1
PointMLP 84.6 86.1
ASSANet - 86.1
RS-CNN 84.0 86.2
PVCNN - 86.2
PointGrid 82.2 86.4
KPConv 85.1 86.4
PCT 83.1 86.4
PT 83.7 86.6
Stratifiedformer - 86.6
PAVDNet(ours) 84.9 86.7
为了验证本实施例所述的方法各部分的意义，本实施例中还进行了消融实验。实验结果如表4～8所示，其中，表4描述了PAVD模块体素分支和点云分支的消融实验；表5描述了PAVD模块两个分支的特征融合方式的消融实验；表6描述了PAVD模块体素分支中体素分辨率大小的消融实验；表7描述了PAVD模块点云分支中邻域点数量的消融实验；表8描述了PAVD模块点云分支中权重组成成分的消融实验。
由表4可以看出，在只有点云分支时，PAVDNet网络取得的OA下降了0.4％，在只有体素分支时，OA下降了0.9％。可以看出，同时使用两种点云表示方式的效果要好于单独使用一种的，体现了基于多表示方式融合的方法的优点。
表4关于PAVD模块体素分支和点云分支的消融实验
分支 mAcc OA
只有点云分支 90.1 93.3
只有体素分支 90.4 92.8
两个分支都有 91.9 93.7
由表5可以看出，相加融合的效果要优于拼接的效果，因此选择相加融合。
表5关于PAVD模块两个分支的特征融合方式的消融实验
融合方式 mAcc OA
相加 91.9 93.7
拼接 90.9 93.1
由表6可以看出，当体素大小为16时，取得的OA最高。因此，在基于体素的深度卷积算子中将体素的分辨率设置为16。
表6关于PAVD模块体素分支中体素分辨率的消融实验
体素分辨率 mAcc OA
16 91.9 93.7
32 90.8 93.4
64 90.5 93.0
由表7可以看出，当邻域点数量不大于16时，PAVDNet网络取得的OA随体素邻域点数量的增大而增大，当邻域点数量大于16时，OA开始降低。因此，在基于点的位置自适应池化算子中将邻域点的数量设置为16。
表7关于PAVD模块点云分支中邻域点数量的消融实验
邻域点的数量 mAcc OA
8 91.4 93.6
16 91.9 93.7
24 90.7 93.4
32 90.7 93.3
由表8可以看出，当只使用邻域点和中心点的相对坐标作为权重时，PAVDNet取得的OA下降了0.5％。在将邻域点和中心点的特征差值也作为一部分权重的情况下，使用相加融合取得OA比只使用相对坐标的高0.2％，使用拼接融合取得的OA比只使用相对坐标的高0.5％。因此，在基于点的位置自适应池化算子中，选择将相对坐标和特征差值映射得到的特征向量进行拼接融合。
表8关于PAVD模块点云分支中权重组成成分的消融实验
权重组成 mAcc OA
相对坐标 90.7 93.2
相对坐标、特征差值(相加) 91.3 93.4
相对坐标、特征差值(拼接) 91.9 93.7
以上诸多消融实验的结果，证明了的方法中各个部分设计的意义和有效性。
本实施例中，还将对PAVDNet网络进行空间和时间上的复杂度分析，并与其他方法进行对比。依旧以在ModelNet40数据集上的形状分类实验作为分析对比的基础，不同方法的时空复杂度如表9所示，所有方法的输入数据均为1×1024大小的点云，其中，1表示batchsize的大小，1024表示点云中点的数量。从表9中可以看出，与同类方法PVCNN相比，PAVDNet网络在减少2/3的参数量和只增加少量计算量的情况下取得了1.3％的OA的提升，运行速度也相差不大。与最近的方法PointMLP相比，PAVDNet在达到同等水平OA的情况下，其参数量和计算量具有极大的优势，展现了提出的PAVDNet网络的有效性和高效性。
表9不同方法的时空复杂度分析
本发明实施例所述的基于点云-体素的几何自适应点云分类和分割方法，至少具有以下优点：
(1)提出一种基于体素的深度卷积算子，该算子使用三维深度卷积完成体素卷积运算，可以更加高效地提取点云中的粗粒度局部特征；
(2)提出一种基于点的位置自适应池化算子，该算子将邻域点和中心点的相对坐标作为权重对邻域点特征进行加权，较好地融入了点云中的几何结构信息，同时将邻域点和中心点的特征差值也作为一部分权重，较好地表征了点云局部范围的特征相似度，使得池化算子提取到的特征中包含更多的细粒度几何信息；
(3)提出一种高效的基于点云-体素的几何自适应网络，该网络可以同时提取点云中的粗粒度局部特征和细粒度几何特征，实现了两种特征间的优势互补，可以用于点云的形状分类和部件分割等任务，并且具有高效快速的优点；
(4)提出的基于点云-体素的几何自适应网络展现出了优良的性能，大量实验结果表明，提出的网络在ModelNet40、ScanObjectNN和ShapeNet Part多个数据集上均取得了有竞争力的表现。
本发明还提供一种基于点云-体素的几何自适应点云分类和分割装置的具体实施方式，由于本发明提供的基于点云-体素的几何自适应点云分类和分割装置与前述基于点云-体素的几何自适应点云分类和分割方法的具体实施方式相对应，该基于点云-体素的几何自适应点云分类和分割装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于点云-体素的几何自适应点云分类和分割方法具体实施方式中的解释说明，也适用于本发明提供的基于点云-体素的几何自适应点云分类和分割装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。
如图4所示，本发明实施例还提供一种基于点云-体素的几何自适应点云分类和分割装置，包括：
第一构建模块11，用于构建基于体素的深度卷积算子和基于点的位置自适应池化算子；
第二构建模块12，用于根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；
第三构建模块13，用于根据构建的特征提取模块，构建基于点云-体素的几何自适应网络；
分类分割模块14，用于输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务。
本发明实施例所述的基于点云-体素的几何自适应点云分类和分割装置，构建基于体素的深度卷积算子和基于点的位置自适应池化算子；根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；根据构建的特征提取模块，构建基于点云-体素的几何自适应网络；输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务，这样，能够提高点云形状分类和部件分割的精度并具有高效快速的特点。
图5是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述基于点云-体素的几何自适应点云分类和分割方法。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于点云-体素的几何自适应点云分类和分割方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于点云-体素的几何自适应点云分类和分割方法，其特征在于，包括：
构建基于体素的深度卷积算子和基于点的位置自适应池化算子；
根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；
根据构建的特征提取模块，构建基于点云-体素的几何自适应网络；
输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务。
2.根据权利要求1所述的基于点云-体素的几何自适应点云分类和分割方法，其特征在于，构建的基于体素的深度卷积算子，用于将点云离散化为体素，使用三维深度卷积对体素进行卷积运算，对计算得到的体素特征反体素化，得到点云中的粗粒度局部特征。
3.根据权利要求2所述的基于点云-体素的几何自适应点云分类和分割方法，其特征在于，所述将点云离散化为体素，使用三维深度卷积对体素进行卷积运算，对计算得到的体素特征反体素化，得到点云中的粗粒度局部特征包括：
假设一输入点云其中，/>表示点云的坐标，/>表示点云的特征，/>表示实数集，N表示点云中点的数量，d表示每个点特征的维度，将所述点云转换到以质心为原点的局部坐标系，将所有点的坐标除以点到原点的最远距离，从而将所有点归一化到一个单位圆内，对所有点的坐标进行缩放和平移，使其处于[0,1]区间内；其中，归一化后的点云表示为/>
将归一化后的点云离散划分为体素；其中，经过离散化操作，点云特征/>转化成了体素特征/>r表示体素的分辨率；
使用三维深度卷积对体素特征进行特征提取，对提取得到的体素特征进行反体素化处理，得到点云中的粗粒度局部特征
4.根据权利要求1所述的基于点云-体素的几何自适应点云分类和分割方法，其特征在于，构建的基于点的位置自适应池化算子，用于将点云局部区域内邻域点和中心点的相对坐标和特征差值编码为权重，使用该权重对邻域点特征进行加权，将加权后的邻域点特征池化后作为中心点的特征，得到点云中的细粒度几何特征。
5.根据权利要求4所述的基于点云-体素的几何自适应点云分类和分割方法，其特征在于，所述将点云局部区域内邻域点和中心点的相对坐标和特征差值编码为权重，使用该权重对邻域点特征进行加权，将加权后的邻域点特征池化后作为中心点的特征，得到点云中的细粒度几何特征包括：
A1，对于点云中的一个点pi，使用K最近邻算法寻找它的K个邻域点pj，将邻域点与中心点的坐标和特征分别作差，得到邻域点和中心点的相对坐标△pij和特征差值△fij；其中，pi为中心点，/> 表示中心点i的局部邻域；
A2，将特征差值△fij映射为和相对坐标△pij相同维度的特征向量△p′ij：
△p′ij＝γ(△fij)
其中，γ表示由两层多层感知器组成的编码器；
A3，将特征向量△p′ij与相对坐标△pij拼接得到权重w：
△p″ij＝{△p′ij|△pij}
其中，|表示按通道维度拼接；
A4，使用权重w对邻域点特征进行加权；
A5，对加权后的邻域点特征进行池化后作为中心点的特征；
A6，点云中的所有点都执行步骤A1-A5后，得到点云特征该点云特征包含点云中细粒度的几何信息。
6.根据权利要求1所述的基于点云-体素的几何自适应点云分类和分割方法，其特征在于，所述根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块包括：
将构建的基于体素的深度卷积算子和基于点的位置自适应池化算子进行并联，组合成具有点云和体素两个分支的基于点云-体素的特征提取模块。
7.根据权利要求6所述的基于点云-体素的几何自适应点云分类和分割方法，其特征在于，所述基于点云-体素的特征提取模块，用于通过体素分支提取点云中的粗粒度局部特征，通过点云分支提取点云中的细粒度几何特征，将两个分支提取的特征进行相加融合，得到包含点云中不同尺度信息的融合特征。
8.根据权利要求1所述的基于点云-体素的几何自适应点云分类和分割方法，其特征在于，构建的基于点云-体素的几何自适应网络包括：特征嵌入模块、多层PAVD模块、特征聚合模块和检测头模块；其中，所述多层PAVD模块为由多个PAVD模块依次连接而成；PAVD模块为基于点云-体素的特征提取模块；
特征嵌入模块，用于将输入点云的低维坐标转化为高维特征；
多层PAVD模块，用于基于点云和体素两种表示方式对特征嵌入模块输出的高维点云特征进行特征提取；其中，所述PAVD模块包括：体素分支和点云分支，点云分支使用基于点的位置自适应池化算子提取点云中的细粒度几何特征，体素分支使用基于体素的深度卷积算子提取点云中的粗粒度局部特征，两个分支的特征通过逐元素相加实现特征融合；
特征聚合模块，用于对各个PAVD模块输出的融合后的特征进行进一步的融合；
检测头模块，用于对特征聚合模块输出的点云特征进行检测，完成分类或分割任务，所述检测头模块由三层MLP组成，每个检测头中都加入了Dropout层。
9.一种基于点云-体素的几何自适应点云分类和分割装置，其特征在于，包括：
第一构建模块，用于构建基于体素的深度卷积算子和基于点的位置自适应池化算子；
第二构建模块，用于根据构建的深度卷积算子和位置自适应池化算子，构建基于点云-体素的特征提取模块，自适应地提取和融合输入点云中不同尺度的特征；
第三构建模块，用于根据构建的特征提取模块，构建基于点云-体素的几何自适应网络；
分类分割模块，用于输入点云分类数据集和点云部件分割数据集对构建的几何自适应网络进行训练，利用训练好的几何自适应网络实现点云的形状分类和部件分割任务。
CN202310349933.0A 2023-04-04 2023-04-04 基于点云-体素的几何自适应点云分类和分割方法及装置 Pending CN116452866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310349933.0A CN116452866A (zh) 2023-04-04 2023-04-04 基于点云-体素的几何自适应点云分类和分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310349933.0A CN116452866A (zh) 2023-04-04 2023-04-04 基于点云-体素的几何自适应点云分类和分割方法及装置

Publications (1)

Publication Number Publication Date
CN116452866A true CN116452866A (zh) 2023-07-18

Family

ID=87121284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310349933.0A Pending CN116452866A (zh) 2023-04-04 2023-04-04 基于点云-体素的几何自适应点云分类和分割方法及装置

Country Status (1)

Country Link
CN (1) CN116452866A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135220A (zh) * 2024-03-13 2024-06-04 重庆大学 一种基于体素和点集融合的点云分割方法、装置及设备
CN118351307A (zh) * 2024-04-16 2024-07-16 北京科技大学 一种多域注意力增强的三维点云语义分割方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170859A (zh) * 2022-05-18 2022-10-11 山西大学 一种基于空间几何感知卷积神经网络的点云形状分析方法
WO2023040247A1 (zh) * 2021-09-18 2023-03-23 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023040247A1 (zh) * 2021-09-18 2023-03-23 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法
CN115170859A (zh) * 2022-05-18 2022-10-11 山西大学 一种基于空间几何感知卷积神经网络的点云形状分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIANMENG ZHAO 等: "Point-Voxel based Geometry-Adaptive Network for 3D Point Cloud Analysis", 《SSRN》, pages 1 - 12 *
朱平 等: "《先进设计理论与方法》", vol. 1, 31 January 2023, 机械工业出版社, pages: 293 - 294 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118135220A (zh) * 2024-03-13 2024-06-04 重庆大学 一种基于体素和点集融合的点云分割方法、装置及设备
CN118135220B (zh) * 2024-03-13 2024-08-20 重庆大学 一种基于体素和点集融合的点云分割方法、装置及设备
CN118351307A (zh) * 2024-04-16 2024-07-16 北京科技大学 一种多域注意力增强的三维点云语义分割方法及装置

Similar Documents

Publication Publication Date Title
WO2021232687A1 (zh) 一种基于深度学习的点云上采样方法
CN109118564B (zh) 一种基于融合体素的三维点云标记方法和装置
CN110321910B (zh) 面向点云的特征提取方法、装置及设备
US10204299B2 (en) Unsupervised matching in fine-grained datasets for single-view object reconstruction
WO2018010434A1 (zh) 一种图像分类方法及装置
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN116452866A (zh) 基于点云-体素的几何自适应点云分类和分割方法及装置
CN114401666A (zh) 基于深度学习的3d点云的对象检测和实例分割
CN111242208A (zh) 一种点云分类方法、分割方法及相关设备
CN111028327A (zh) 一种三维点云的处理方法、装置及设备
CN109978888B (zh) 一种图像分割方法、装置及计算机可读存储介质
CN107301643B (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法
CN115830375B (zh) 点云分类方法及装置
CN112634149A (zh) 一种基于图卷积网络的点云去噪方法
CN111223128A (zh) 目标跟踪方法、装置、设备及存储介质
CN118351320B (zh) 基于三维点云的实例分割方法
CN114693923A (zh) 一种基于上下文和注意力的三维点云语义分割方法
CN117788810A (zh) 一种无监督语义分割的学习系统
CN116343016A (zh) 一种基于轻量型卷积网络的多角度声呐图像目标分类方法
CN112801153B (zh) 一种嵌入lbp特征的图的半监督图像分类方法及系统
Chhabra et al. Comparison of different edge detection techniques to improve quality of medical images
Tang et al. Integrated surface, curve and junction inference from sparse 3-D data sets
CN112634281A (zh) 一种基于图卷积网络的网格分割方法
Han et al. An attention-oriented U-Net model and global feature for medical image segmentation
Ke et al. Image registration optimization mechanism based on reinforcement learning and real time denoising

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination