CN112633330A - 点云分割方法、系统、介质、计算机设备、终端及应用 - Google Patents

点云分割方法、系统、介质、计算机设备、终端及应用 Download PDF

Info

Publication number
CN112633330A
CN112633330A CN202011410671.7A CN202011410671A CN112633330A CN 112633330 A CN112633330 A CN 112633330A CN 202011410671 A CN202011410671 A CN 202011410671A CN 112633330 A CN112633330 A CN 112633330A
Authority
CN
China
Prior art keywords
feature
point cloud
network
graph
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011410671.7A
Other languages
English (en)
Other versions
CN112633330B (zh
Inventor
张建龙
方光祖
王颖
余鑫城
刘池帅
崔梦莹
李桥
何建辉
郭鑫宇
时国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202011410671.7A priority Critical patent/CN112633330B/zh
Publication of CN112633330A publication Critical patent/CN112633330A/zh
Application granted granted Critical
Publication of CN112633330B publication Critical patent/CN112633330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉技术领域，公开了一种点云分割方法、系统、介质、计算机设备、终端及应用，构建基于分层图Transformer的特征提取模块，包括基于图Transformer的特征下采样网络和特征上采样网络；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。本发明丰富了点云的初始特征；图Transformer能够有效地提取点云邻域之间的关系；提高了点云分割的精度。

Description

点云分割方法、系统、介质、计算机设备、终端及应用
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种点云分割方法、系统、介质、计算机设备、终端及应用。
背景技术
近年来，摄像机矩阵、激光雷达等采集设备的出现降低了3D点云数据的获取难度。而如何从大量的3D点云数据中获取有用的信息，解决场景理解中的问题，是目前计算机视觉研究的重要内容。基于3D点云数据的目标检测、分类、识别是当前解决场景理解的主要技术，而3D点云分割是这些技术的基础。
传统的点云分割技术主要基于非深度学习的方法，此类方法主要是对点云进行了简单的分割，每个物体并不含有特定的语义信息，需要后续人工进行语义标注，效率低下。为了简化分割结果需要人工标注的步骤，一种可以直接输出具有语义信息的分割点云的深度学习方法，变得极其重要。基于深度学习的方法主要有基于视图的方法，利用视图技术将3D点云转换为2D视图，从而应用图像中的卷积操作进行特征提取。基于体素化的方法，将点云数据转换到三维网格中，应用卷积神经网络提取特征，而体素分辨率的增大，会造成计算上的极大浪费。以上方法都需要利用手工提取点云特征，不能直接处理点云的原始数据。而Charles在2017年CVPR上提出PointNet模型，第一个直接对原始点云数据进行分割的端到端的深度神经网络模型。该方法利用对称函数解决点云的无序性，得到每个点的全局特征，但并没有考虑点的局部特征。后续他们又提出了一种改进的PointNet体系结构PointNet++，通过最远点采样得到局部区域的中心点，然后利用中心点构建局部区域，采用PointNet提取局部点集中的几何特征，并对它们进行分层聚合以进行推理，该方法较PointNet分割精度有所提升。
上述PointNet系列方法，可以直接处理原始点云数据，提高了点云分割的精度。但是PointNet++仍然独立地处理局部点集中的单个点，并没有考虑点对之间的关系，不能构建相对丰富的特征，导致分割精度不高。另外PointNet系列方法只能处理小规模数量的点云数据，对于一个大规模场景，需要将场景划分为多个均匀的区域，使得应用场景受到限制。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有PointNet系列方法没有考虑点对之间的关系，不能构建相对丰富的特征，导致分割精度不高。
(2)现有PointNet系列方法只能处理小规模数量的点云数据，对于一个大规模场景，需要将场景划分为多个均匀的区域，使得应用场景受到限制。
解决以上问题及缺陷的难度为：如何提升网络提取局部特征并考虑点对之间关系的能力以及如何处理更大规模的点云场景。
解决以上问题及缺陷的意义为：能够提升点云分割的精度，使得点云分割能够应用于实际的大规模3D场景，加快自动驾驶、机器人感知和增强现实等领域的发展。
发明内容
针对现有技术存在的问题，本发明提供了一种点云分割方法、系统、介质、计算机设备、终端及应用。
本发明是这样实现的，一种点云分割方法，所述点云分割方法构建基于分层图Transformer的特征提取模块，包括基于图Transformer的特征下采样网络和特征上采样网络，分层用于减少网络处理的数据，图Transformer提取点云邻域之间的关系；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，用于解决不同类型点云数量的不平衡问题，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
进一步，构建基于分层图Transformer的特征提取模块具体包括：
步骤一，构建基于图Transformer的特征下采样网络，该特征下采样网络包括n个级联的下采样模块，每个下采样模块包括依次级联的特征编码层、图Transformer特征提取层和采样分层层；
步骤二，构建特征上采样网络，该特征上采样网络包括依次级联的n个上采样模块，每个上采样模块包括依次级联的特征插值层和特征融合层。
进一步，所述构建基于图Transformer的特征下采样网络，该特征下采样网络包括n个级联的下采样模块，每个下采样模块包括依次级联的特征编码层、图Transformer特征提取层和采样分层层具体包括：
(1)构造特征编码层方式，采用K最近邻法将点云数据构造图的形式，点云中的每个点对应图中的一个顶点，每个顶点有K个邻居，特征编码方式如下：
Figure BDA0002819328280000031
其中pi表示图中顶点i的空间信息，
Figure BDA0002819328280000033
表示顶点i邻居k的空间信息；fi表示图中顶点i的特征信息，fi k表示顶点i邻居k的特征信息，MLP为多层感知器；Concat表示连接操作，
Figure BDA0002819328280000034
为顶点i的编码了邻居k的特征；
(2)搭建图Transformer特征提取层，对编码特征
Figure BDA0002819328280000035
进行特征提取，提取方式如下：
Figure BDA0002819328280000036
其中FFN(.)是一个两层前馈神经网络，LayerNorm表示为层归一化，层之间具有非线性变换；Mhatt(.)是多头图注意力层，其表达式如下：
Figure BDA0002819328280000032
其中||表示N个注意力头的级联，σ是激活函数，W是权重，其中α是每个头注意力参数，表达式如下：
Figure BDA0002819328280000041
其中
Figure BDA0002819328280000042
Δfi k＝fi-fi k；
Figure BDA0002819328280000043
通过图Transformer提取到特征Fi，其融合了K个邻居的特征信息；
(3)将图Transformer提取到的点特征图F∈RN×D进行随机下采样，N为顶点个数，D为特征维度，得到点数减少的点特征图F′∈R(N/l)×D，l为采样率；
(4)将依次级联的特征编码层、图Transformer特征提取层和采样分层层组合成基于图Transformer的下采样模块，依次叠加n个下采样模块，得到不同层次的点特征图{Fd0∈RN×D,Fd1∈R(N/l)×D,...,Fdn∈R(N/nl)×D}。
进一步，构建特征上采样网络，该特征上采样网络包括依次级联的n个上采样模块，每个上采样模块包括依次级联的特征插值层和特征融合层具体包括：
(1)构造上采样模块，将得到的不同层次特征中的点特征图Fdn通过上采样插值到与Fdn-1尺度一样的点特征图Fun-1∈RN/(nl-l)×D，将Fdn-1和Fun-1进行特征融合，融合方式如下：
Fun-1＝MLP(concat(Fdn-1,Fun-1))；
(2)依次叠加n个上采样模块，进行特征插值和融合，则上采样的多层次特征信息为{Fun-1∈RN/(nl-l)×D,...,Fu1∈R(N/l)×D,Fu0∈RN×D}，最终得到融合了多层次局部特征的特征图Fu0∈RN×D。
进一步，搭建基于分层图Transformer的点云分割网络并进行训练具体包括：
(1)搭建分层图Transformer特征提取模块，采用级联了4个基于图Transformer的下采样模块的下采样网络进行特征提取和分层，采样率l为4，维度D为32，则不同层次的特征图为{Fd0∈RN×32,Fd1∈R(N/4)×32,Fd2∈R(N/16)×32,Fd3∈R(N/64)×32,Fd4∈R(N/256)×32}，通过上采样网络进行特征插值和融合，得到融合了多层次局部特征的特征图Fu0∈RN×32；
(2)搭建特征融合和预测输出模块，将特征提取模块得到的特征Fu进行特征融合操作，通过MLP进行特征升维，得到特征图Fu∈RN×128，进行最大池化操作，只保留特征Fu每个维度中特征最大的点，即为点的全局特征Fg∈R1×128，将全局特征Fg与多层次的局部特征Fu进行融合得到局部-全局特征Fug∈RN×160，将局部-全局特征Fug通过MLP{160,64,c}进行降维，c样本标签的种类数，最后通过softmax层得到大小N×c为最后的输出结果；
(3)首先将训练集的原始点云进行网格下采样，得到点数相同的N×3的点云，作为网络输入；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型。其损失函数为带权重的交叉损失函数，公式如下：
Figure BDA0002819328280000051
lossi为点i损失值，c为样本标签的种类数；
Figure BDA0002819328280000052
wj为类型j的权重，Nj代表所属类型总的点数：
Figure BDA0002819328280000053
每个点的loss与权重相乘，最后将每个点的损失值求和取平均得到最终的损失值；
在获得训练模型之后，输入测试集的点云到训练好的模型进行测试，得到点云分割结果。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：构建基于分层图Transformer的特征提取模块，包括基于图Transformer的特征下采样网络和特征上采样网络；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：构建基于分层图Transformer的特征提取模块，包括基于图Transformer的特征下采样网络和特征上采样网络；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的点云分割方法。
本发明的另一目的在于提供一种实施所述点云分割方法的点云分割系统，所述点云分割系统包括：
特征提取构建模块，用于构建基于分层图Transformer的特征提取模块，主要包括基于图Transformer的特征下采样网络和特征上采样网络；
网络模型获取模块，用于搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；
分割结果输出模块，用于使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
本发明的另一目的在于提供一种采集设备，所述采集设备用于实现所述的点云分割方法；所述采集设备包括：摄像机矩阵、激光雷达。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供了一种基于分层图Transformer的点云分割方法，其将点云数据构造成图的形式，并对图中每个顶点进行特征编码，丰富了点云的初始特征；使用分层图Transformer，分层使得网络能够处理大规模数量的点云数据，图Transformer能够有效地提取点云邻域之间的关系；而分层图Transformer能够得到丰富的不同层次的语义特征，从而提高点云分割的精度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的点云分割方法流程图。
图2是本发明实施例提供的点云分割系统的结构示意图；
图2中：1、特征提取构建模块；2、网络模型获取模块；3、分割结果输出模块。
图3是本发明实施例提供的基于分层图Transformer的特征提取模块的网络结构图。
图4是本发明实施例提供的基于分层图Transformer的分割网络结构图。
图5是本发明实施例提供的点云分割网络分割结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种点云分割方法、系统、介质、计算机设备、终端及应用，下面结合附图对本发明作详细的描述。
如图1所示点云分割方法包括以下步骤：
S101：构建基于分层图Transformer的特征提取模块，主要包括基于图Transformer的特征下采样网络和特征上采样网络；
S102：搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；
S103：使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
本发明提供的点云分割方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的点云分割方法仅仅是一个具体实施例而已。
如图2所示，本发明提供的点云分割系统包括：
特征提取构建模块1，用于构建基于分层图Transformer的特征提取模块，主要包括基于图Transformer的特征下采样网络和特征上采样网络；
网络模型获取模块2，用于搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；
分割结果输出模块3，用于使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明实施例提供的基于分层图Transformer的特征提取模块的构造方法步骤如下：
步骤一，构建基于图Transformer的特征下采样网络，该特征下采样网络包括n个级联的下采样模块，每个下采样模块包括依次级联的特征编码层、图Transformer特征提取层和采样分层层；具体步骤如下：
(1)构造特征编码层方式，具体操作如下：
采用K最近邻法将点云数据构造图的形式，点云中的每个点对应图中的一个顶点，每个顶点有K个邻居，K为16。特征编码方式如下：
Figure BDA0002819328280000091
其中pi表示图中顶点i的空间信息，
Figure BDA0002819328280000092
表示顶点i邻居k的空间信息；fi表示图中顶点i的特征信息，fi k表示顶点i邻居k的特征信息。MLP为多层感知器；Concat表示连接操作，
Figure BDA0002819328280000093
为顶点i的编码了邻居k的特征。
(2)搭建图Transformer特征提取层，对编码特征
Figure BDA0002819328280000094
进行特征提取，提取方式如下：
Figure BDA0002819328280000095
其中FFN(.)是一个两层前馈神经网络，LayerNorm表示为层归一化，层之间具有非线性变换；Mhatt(.)是多头图注意力层，其表达式如下：
Figure BDA0002819328280000096
其中||表示N个注意力头的级联，σ是激活函数，W是权重，其中α是每个头注意力参数，表达式如下：
Figure BDA0002819328280000097
其中
Figure BDA0002819328280000098
Δfi k＝fi-fi k；
Figure BDA0002819328280000099
通过图Transformer提取到特征Fi，其融合了K个邻居的特征信息。
(3)将图Transformer提取到的点特征图F∈RN×D(N为顶点个数，D为特征维度)进行随机下采样，得到点数减少的点特征图F′∈R(N/l)×D(l为采样率)。
(4)将依次级联的特征编码层、图Transformer特征提取层和采样分层层组合成基于图Transformer的下采样模块，依次叠加n个下采样模块，得到不同层次的点特征图{Fd0∈RN×D,Fd1∈R(N/l)×D,...,Fdn∈R(N/nl)×D}。
步骤二，构建特征上采样网络，该特征上采样网络包括依次级联的n个上采样模块，每个上采样模块包括依次级联的特征插值层和特征融合层。具体步骤如下：
(1)构造上采样模块，将步骤一得到的不同层次特征中的点特征图Fdn通过上采样插值到与Fdn-1尺度一样的点特征图Fun-1∈RN/(nl-l)×D，然后将Fdn-1和Fun-1进行特征融合，融合方式如下：
Fun-1＝MLP(concat(Fdn-1,Fun-1)) (6)
(2)依次叠加n个上采样模块，进行特征插值和融合，则上采样的多层次特征信息为{Fun-1∈RN/(nl-l)×D,...,Fu1∈R(N/l)×D,Fu0∈RN×D}，最终得到融合了多层次局部特征的特征图Fu0∈RN×D。
如图4所示，本发明实施例提供的搭建基于分层图Transformer的点云分割网络并进行训练的具体方法如下：
(1)搭建分层图Transformer特征提取模块，采用级联了4个基于图Transformer的下采样模块的下采样网络进行特征提取和分层，采样率l为4，维度D为32，则不同层次的特征图为{Fd0∈RN×32,Fd1∈R(N/4)×32,Fd2∈R(N/16)×32,Fd3∈R(N/64)×32,Fd4∈R(N/256)×32}。通过上采样网络进行特征插值和融合，得到融合了多层次局部特征的特征图Fu0∈RN×32。
(2)搭建特征融合和预测输出模块，将特征提取模块得到的特征Fu进行特征融合操作，通过MLP进行特征升维，得到特征图Fu∈RN×128，然后进行最大池化操作，只保留特征Fu每个维度中特征最大的点，即为点的全局特征Fg∈R1×128。将全局特征Fg与多层次的局部特征Fu进行融合得到局部-全局特征Fug∈RN×160。将局部-全局特征Fug通过MLP{160,64,c}进行降维，c样本标签的种类数(c为13)，最后通过softmax层得到大小N×c为最后的输出结果。
(3)首先将训练集的原始点云进行网格下采样，得到点数相同的N×3的点云，作为网络输入；然后搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型。其损失函数为带权重的交叉损失函数，公式如下：
Figure BDA0002819328280000111
lossi为点i损失值，c为13样本标签的种类数：
Figure BDA0002819328280000112
wj为类型j的权重，Nj代表所属类型总的点数：
Figure BDA0002819328280000113
每个点的loss与权重相乘，最后将每个点的损失值求和取平均得到最终的损失值。
使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
下面结合仿真对本发明的技术效果作详细的描述。
1、仿真条件
本发明是在CPU为Intel(R)Core(TM)i7-7700、CPU3.60GHz、RAM 32.00GB、Ubuntu18.04操作系统、显卡GeForce RTX2080Ti、Pytorch深度学习框架、S3DIS数据集运用Pycharm软件完成本发明仿真实验。
S3DIS数据集是Stanford Large-Scale 3D Indoor Spaces数据集，S3DIS数据集将每个小房间作为一个场景，总共272房间。将区域5作为测试集，其它5个区域作为训练集。训练集共204个，测试集共68个，包含的类别数13类，每个样本点云数量为40960。
2、仿真实验内容及分析
根据本发明划分训练集和测试集，构建分层图Transformer点云分割网络，使用训练集对分层图Transformer点云分割网络进行训练，使用训练好的网络模型对测试集中的点云进行预测，得到每个点云的分割结果。比较发明与现有的PointNet和PointNet++方法分割效果进行对比，采用分割精度作为评价指标，结果如表1所示：
表1 S3DIS数据集分割精度对比表
评价指标 PointNet PointNet++ 本发明
分割精度 78.60％ 81.00％ 83.28％
从表1中可以看出，本发明在S3DIS数据集上比现有技术PointNet和PointNet++分割效果更佳。
将点分割结果进行可视化，如图5所示，可以看出本发明所设计的网络模型能很好的分割室内场景中的桌子、椅子、书柜和墙壁等物体。综上可以说明本发明的分层图Transformer点云分割网络能够有效的捕获点云局部邻域间的信息，有效的提高点云的分割精度。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种点云分割方法，其特征在于，所述点云分割方法构建基于分层图Transformer的特征提取模块，包括基于图Transformer的特征下采样网络和特征上采样网络；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
2.如权利要求1所述的点云分割方法，其特征在于，构建基于分层图Transformer的特征提取模块具体包括：
步骤一，构建基于图Transformer的特征下采样网络，该特征下采样网络包括n个级联的下采样模块，每个下采样模块包括依次级联的特征编码层、图Transformer特征提取层和采样分层层；
步骤二，构建特征上采样网络，该特征上采样网络包括依次级联的n个上采样模块，每个上采样模块包括依次级联的特征插值层和特征融合层。
3.如权利要求2所述的点云分割方法，其特征在于，所述构建基于图Transformer的特征下采样网络，该特征下采样网络包括n个级联的下采样模块，每个下采样模块包括依次级联的特征编码层、图Transformer特征提取层和采样分层层具体包括：
(1)构造特征编码层方式，采用K最近邻法将点云数据构造图的形式，点云中的每个点对应图中的一个顶点，每个顶点有K个邻居，特征编码方式如下：
Figure FDA0002819328270000011
其中pi表示图中顶点i的空间信息，
Figure FDA0002819328270000012
表示顶点i邻居k的空间信息；fi表示图中顶点i的特征信息，fi k表示顶点i邻居k的特征信息，MLP为多层感知器；Concat表示连接操作，
Figure FDA0002819328270000013
为顶点i编码了邻居k的特征；
(2)搭建图Transformer特征提取层，对编码特征
Figure FDA0002819328270000014
进行特征提取，提取方式如下：
Fi＝LayerNorm(FFN(Fi)+LayerNorm(Fi+Mhatt(Fi K)))；
其中FFN(.)是一个两层前馈神经网络，LayerNorm表示为层归一化，层之间具有非线性变换；Mhatt(.)是多头图注意力层，其表达式如下：
Figure FDA0002819328270000021
其中||表示N个注意力头的级联，σ是激活函数，W是权重，其中α是每个头注意力参数，表达式如下：
Figure FDA0002819328270000022
其中
Figure FDA0002819328270000023
Δfi k＝fi-fi k；
Figure FDA0002819328270000024
通过图Transformer提取到特征Fi，其融合了K个邻居的特征信息；
(3)将图Transformer提取到的点特征图F∈RN×D进行随机下采样，N为顶点个数，D为特征维度，得到点数减少的点特征图F′∈R(N/l)×D，l为采样率；
(4)将依次级联的特征编码层、图Transformer特征提取层和采样分层层组合成基于图Transformer的下采样模块，依次叠加n个下采样模块，得到不同层次的点特征图{Fd0∈RN ×D,Fd1∈R(N/l)×D,...,Fdn∈R(N/nl)×D}。
4.如权利要求2所述的点云分割方法，其特征在于，构建特征上采样网络，该特征上采样网络包括依次级联的n个上采样模块，每个上采样模块包括依次级联的特征插值层和特征融合层具体包括：
(1)构造上采样模块，将得到的不同层次特征中的点特征图Fdn通过上采样插值到与Fdn-1尺度一样的点特征图Fun-1∈RN/(nl-l)×D，将Fdn-1和Fun-1进行特征融合，融合方式如下：
Fun-1＝MLP(concat(Fdn-1,Fun-1))；
(2)依次叠加n个上采样模块，进行特征插值和融合，则上采样的多层次特征信息为{Fun-1∈RN/(nl-l)×D,...,Fu1∈R(N/l)×D,Fu0∈RN×D}，最终得到融合了多层次局部特征的特征图Fu0∈RN×D。
5.如权利要求1所述的点云分割方法，其特征在于，搭建基于分层图Transformer的点云分割网络并进行训练具体包括：
(1)搭建分层图Transformer特征提取模块，采用级联了4个基于图Transformer的下采样模块的下采样网络进行特征提取和分层，采样率l为4，维度D为32，则不同层次的特征图为{Fd0∈RN×32,Fd1∈R(N/4)×32,Fd2∈R(N/16)×32,Fd3∈R(N/64)×32,Fd4∈R(N/256)×32}，通过上采样网络进行特征插值和融合，得到融合了多层次局部特征的特征图Fu0∈RN×32；
(2)搭建特征融合和预测输出模块，将特征提取模块得到的特征Fu进行特征融合操作，通过MLP进行特征升维，得到特征图Fu∈RN×128，进行最大池化操作，只保留特征Fu每个维度中特征最大的点，即为点的全局特征Fg∈R1×128，将全局特征Fg与多层次的局部特征Fu进行融合得到局部-全局特征Fug∈RN×160，将局部-全局特征Fug通过MLP{160,64,c}进行降维，c样本标签的种类数，最后通过softmax层得到大小N×c为最后的输出结果；
(3)首先将训练集的原始点云进行网格下采样，得到点数相同的N×3的点云，作为网络输入；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型，其损失函数为带权重的交叉损失函数，公式如下：
Figure FDA0002819328270000031
lossi为点i损失值，c为样本标签的种类数；
Figure FDA0002819328270000032
wj为类型j的权重，Nj代表所属类型总的点数：
Figure FDA0002819328270000041
每个点的loss与权重相乘，最后将每个点的损失值求和取平均得到最终的损失值；
在获得训练模型之后，输入测试集的点云到训练好的模型进行测试，得到点云分割结果。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：构建基于分层图Transformer的特征提取模块，包括基于图Transformer的特征下采样网络和特征上采样网络；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
7.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：构建基于分层图Transformer的特征提取模块，包括基于图Transformer的特征下采样网络和特征上采样网络；搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
8.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现权利要求1～5任意一项所述的点云分割方法。
9.一种实施权利要求1～5任意一项所述点云分割方法的点云分割系统，其特征在于，所述点云分割系统包括：
特征提取构建模块，用于构建基于分层图Transformer的特征提取模块，主要包括基于图Transformer的特征下采样网络和特征上采样网络；
网络模型获取模块，用于搭建基于分层图Transformer的点云分割网络，使用带有权重的交叉熵损失函数，使用训练集对分层图Transformer点云分割网络进行有监督的训练，每轮训练根据损失值，调整网络参数，得到网络模型；
分割结果输出模块，用于使用训练好的网络模型对测试集中的点云进行预测，得到点云中每个点的分割结果。
10.一种采集设备，其特征在于，所述采集设备用于实现权利要求1～6任意一项所述的点云分割方法；所述采集设备包括：摄像机矩阵、激光雷达。
CN202011410671.7A 2020-12-06 2020-12-06 点云分割方法、系统、介质、计算机设备、终端及应用 Active CN112633330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011410671.7A CN112633330B (zh) 2020-12-06 2020-12-06 点云分割方法、系统、介质、计算机设备、终端及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011410671.7A CN112633330B (zh) 2020-12-06 2020-12-06 点云分割方法、系统、介质、计算机设备、终端及应用

Publications (2)

Publication Number Publication Date
CN112633330A true CN112633330A (zh) 2021-04-09
CN112633330B CN112633330B (zh) 2024-02-02

Family

ID=75308236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011410671.7A Active CN112633330B (zh) 2020-12-06 2020-12-06 点云分割方法、系统、介质、计算机设备、终端及应用

Country Status (1)

Country Link
CN (1) CN112633330B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159232A (zh) * 2021-05-21 2021-07-23 西南大学 一种三维目标分类、分割方法
CN113393474A (zh) * 2021-06-10 2021-09-14 北京邮电大学 一种基于特征融合的三维点云的分类和分割方法
CN113555109A (zh) * 2021-07-08 2021-10-26 南通罗伯特医疗科技有限公司 基于改良pct神经网络的手术术前规划装置
CN113705655A (zh) * 2021-08-24 2021-11-26 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN113870160A (zh) * 2021-09-10 2021-12-31 北京交通大学 一种基于变换器神经网络的点云数据处理方法
CN114211490A (zh) * 2021-12-17 2022-03-22 中山大学 一种基于Transformer模型的机械臂抓手位姿预测方法
CN114239808A (zh) * 2021-12-20 2022-03-25 湖北工业大学 一种基于PointCloudTransformer的多尺度优化网络方法
CN115222988A (zh) * 2022-07-17 2022-10-21 桂林理工大学 激光雷达点云数据城市地物PointEFF精细分类方法
CN115862013A (zh) * 2023-02-09 2023-03-28 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法
CN116109650A (zh) * 2023-02-01 2023-05-12 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN116310349A (zh) * 2023-05-25 2023-06-23 西南交通大学 基于深度学习的大规模点云分割方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN110322453A (zh) * 2019-07-05 2019-10-11 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法
CN111192270A (zh) * 2020-01-03 2020-05-22 中山大学 一种基于点全局上下文关系推理的点云语义分割方法
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321910A (zh) * 2018-03-29 2019-10-11 中国科学院深圳先进技术研究院 面向点云的特征提取方法、装置及设备
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
CN110322453A (zh) * 2019-07-05 2019-10-11 西安电子科技大学 基于位置注意力和辅助网络的3d点云语义分割方法
CN111192270A (zh) * 2020-01-03 2020-05-22 中山大学 一种基于点全局上下文关系推理的点云语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张新良;付鹏飞;赵运基;谢恒;王琬如;: "融合图卷积和差异性池化函数的点云数据分类分割模型", 中国图象图形学报, no. 06 *
牛辰庚;刘玉杰;李宗民;李华;: "基于点云数据的三维目标识别和模型分割方法", 图学学报, no. 02 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113159232A (zh) * 2021-05-21 2021-07-23 西南大学 一种三维目标分类、分割方法
CN113393474A (zh) * 2021-06-10 2021-09-14 北京邮电大学 一种基于特征融合的三维点云的分类和分割方法
CN113555109A (zh) * 2021-07-08 2021-10-26 南通罗伯特医疗科技有限公司 基于改良pct神经网络的手术术前规划装置
CN113705655A (zh) * 2021-08-24 2021-11-26 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN113705655B (zh) * 2021-08-24 2023-07-18 北京建筑大学 三维点云全自动分类方法及深度神经网络模型
CN113870160B (zh) * 2021-09-10 2024-02-27 北京交通大学 一种基于变换器神经网络的点云数据处理方法
CN113870160A (zh) * 2021-09-10 2021-12-31 北京交通大学 一种基于变换器神经网络的点云数据处理方法
CN114211490A (zh) * 2021-12-17 2022-03-22 中山大学 一种基于Transformer模型的机械臂抓手位姿预测方法
CN114211490B (zh) * 2021-12-17 2024-01-05 中山大学 一种基于Transformer模型的机械臂抓手位姿预测方法
CN114239808A (zh) * 2021-12-20 2022-03-25 湖北工业大学 一种基于PointCloudTransformer的多尺度优化网络方法
CN114239808B (zh) * 2021-12-20 2023-09-01 湖北工业大学 一种基于PointCloudTransformer的多尺度优化网络方法
CN115222988A (zh) * 2022-07-17 2022-10-21 桂林理工大学 激光雷达点云数据城市地物PointEFF精细分类方法
CN116109650A (zh) * 2023-02-01 2023-05-12 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN116109650B (zh) * 2023-02-01 2024-02-13 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN115862013A (zh) * 2023-02-09 2023-03-28 南方电网数字电网研究院有限公司 基于注意力机制的输配电场景点云语义分割模型训练方法
CN116310349B (zh) * 2023-05-25 2023-08-15 西南交通大学 基于深度学习的大规模点云分割方法、装置、设备及介质
CN116310349A (zh) * 2023-05-25 2023-06-23 西南交通大学 基于深度学习的大规模点云分割方法、装置、设备及介质

Also Published As

Publication number Publication date
CN112633330B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN112633330B (zh) 点云分割方法、系统、介质、计算机设备、终端及应用
Wu et al. Object detection based on RGC mask R‐CNN
Zhang et al. Context encoding for semantic segmentation
CN111242208B (zh) 一种点云分类方法、分割方法及相关设备
Zhang et al. MCnet: Multiple context information segmentation network of no-service rail surface defects
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
Zhou et al. Self-attention feature fusion network for semantic segmentation
Lu et al. 3DCTN: 3D convolution-transformer network for point cloud classification
CN111210446B (zh) 一种视频目标分割方法、装置和设备
Li et al. Joint semantic-instance segmentation method for intelligent transportation system
CN116152611B (zh) 一种多级多尺度点云补全方法、系统、设备及存储介质
CN115222998B (zh) 一种图像分类方法
CN112418235A (zh) 一种基于膨胀最近邻特征增强的点云语义分割方法
CN114565789B (zh) 一种基于集合预测的文本检测方法、系统、装置及介质
Li et al. Small Object Detection Algorithm Based on Feature Pyramid‐Enhanced Fusion SSD
Li et al. Multi-view convolutional vision transformer for 3D object recognition
Liu et al. Extracting geometric and semantic point cloud features with gateway attention for accurate 3D object detection
Zhou et al. TNPC: Transformer-based network for point cloud classification
CN117372617A (zh) 一种基于GCN-Transformer模型的点云数据重建方法及电子设备
Chen et al. 3D mesh transformer: A hierarchical neural network with local shape tokens
Wu et al. Semantic segmentation via pixel‐to‐center similarity calculation
Cheng et al. FFA-Net: fast feature aggregation network for 3D point cloud segmentation
Wang et al. CAW: A Remote‐Sensing Scene Classification Network Aided by Local Window Attention
Li et al. Enhanced multi-scale networks for semantic segmentation
Wang et al. Image Semantic Segmentation Algorithm Based on Self-learning Super-Pixel Feature Extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant