CN109993748B - 一种基于点云处理网络的三维网格物体分割方法 - Google Patents

一种基于点云处理网络的三维网格物体分割方法 Download PDF

Info

Publication number
CN109993748B
CN109993748B CN201910254112.2A CN201910254112A CN109993748B CN 109993748 B CN109993748 B CN 109993748B CN 201910254112 A CN201910254112 A CN 201910254112A CN 109993748 B CN109993748 B CN 109993748B
Authority
CN
China
Prior art keywords
layer
point cloud
data
convolution
dimensional grid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910254112.2A
Other languages
English (en)
Other versions
CN109993748A (zh
Inventor
许勇
池虹雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910254112.2A priority Critical patent/CN109993748B/zh
Publication of CN109993748A publication Critical patent/CN109993748A/zh
Application granted granted Critical
Publication of CN109993748B publication Critical patent/CN109993748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于点云处理网络的三维网格物体分割方法，包括以下步骤：准备三维网格数据集以及预训练好的点云处理网络PointNet；计算三维网格数据中三角面片的中心点坐标，作为三维网格数据对应的点云数据；在点云中随机选择N个点，输入到预训练的PointNet中得到分割结果；利用KNN算法，赋予点云中未被选择的点概率分布，得到全部被分割好的点云数据；将点云分割结果映射回到三维网格数据，并用条件随机场对结果进行修正，最终得到三维网格的分割结果。本发明基于深度学习，能够对完整的数据进行分析，从数据中提取全局特征，实现数据驱动的分割，而非传统的基于人工设计的三维特征提取算子。

Description

一种基于点云处理网络的三维网格物体分割方法
技术领域
本发明涉及计算机领域中三维模型分割、点云特征提取技术，涉及一种基于点云处理网络的三维网格物体分割方法。
背景技术
随着三维数据可用性的增加，由于三维传感技术和三维建模软件的发展，数据驱动方法变得越来越适用于三维形状处理。三维数据处理任务主要有SLAM三维建模，三维物体检测，风格迁移，人类姿态估计，骨骼跟踪等等。其中三维物体检测和三维建模，都离不开三维物体的识别，而三维物体风格迁移人类姿态，估计以及骨骼跟踪，都需要基于三维数据的分割，或者一个优秀的三维数据分割算法有利于其他三维数据处理任务。在众多关于三维形状数据的处理任务中，将三维形状物体分割和标记为有意义的部分是理解和处理物体的基础。基于三维形状组件的推理已经被证明有利于大量的视觉，机器人和虚拟现实的应用。
由于三维网格物体其实是多个三角面片的集合，所以分割任务也可以被看作是对于单个面片的多分类问题。三维形状模型的分割任务尽管是理解和处理三维物体的基础，却具有很大的挑战性。三维形状具有多样性和模糊性。
在数据驱动技术出现之前，通常使用知识驱动的方法实现高级形状理解和建模。在知识驱动的范例中，借助于明确的规则或手工制作的参数来提取和解释几何和结构模式。这些示例包括基于启发式的形状分割和程序形状建模。虽然这些方法具有一定的经验成功，但它们表现出一些固有的局限性首先，硬编码显式规则和启发式算法是非常困难的，这些规则和启发式算法可以处理3D形状和场景的巨大几何和结构变化。因此，知识驱动的方法通常难以很好地概括为大型和多样化的形状集合。另一个问题是，非专家发现难以与需要作为输入“级别”的几何参数或指令的知识驱动技术进行交互。
与知识驱动方法相比，数据驱动技术从数据中学习表示和参数。它们通常不依赖于硬编码的先验知识，因此不依赖于手工制作的参数，使这些技术更具数据自适应性，从而在许多实际环境中显着提高性能。由机器学习技术支持的数据驱动方法的成功在很大程度上依赖于大数据集合的可访问性。通过增加训练集大小，目睹了机器学习算法的成功性能提升。
深度学习最近获得了普及，声音或图像处理的任务中实现了最先进的性能。由于其出色的性能，已经努力将其应用于更具挑战性的场景，例如三维数据处理。神经网络在人工智能各个领域的研究中都表现了优秀的表达能力。在三维形状模型的分类和分割任务中有越来越多的神经网络被设计出来，并且比传统的方法表现优秀。随着现在计算资源越来越多，对模型的训练也不再是难事，加上网络上三维形状数据的爆炸式增长，深度学习在该任务上的表现也逐渐超越了传统的方法。
发明内容
本发明的目的在于针对现有的分割模型大多受限于处理单个面片，很难从完整的数据中直接提取特征的问题，提供一种基于点云处理网络的三维网格物体分割方法，该方法能够保证分割效果的前提下从完整的三维网格模型中提取特征，直接处理完整三维网格数据。
为实现以上目的，本发明采取如下技术方案。
一种基于点云处理网络的三维网格物体分割方法，包括以下步骤：
S1、数据准备，准备已通过大规模三维点云数据库预训练的点云处理网络PointNet的权重和待训练的三维网格数据库；
S2、数据的预处理，对步骤S1中得到的三维网格数据，计算其中每个三角面片的中心点，作为三维网格数据所对应的点云数据，并在其中随机抽取N个点，作为输入点云处理网络的点云数据；
S3、通过搭建点云处理网络，分割N个点云数据；
S4、利用K近邻(k-nearest neighbor，KNN)算法，计算原点云中未被标注的点的分割类别；
S5、将点云的分割结果映射回三维网格数据，并计算面片间的特征；
S6、通过条件随机场算法，修正三维网格数据的分割结果，最后输出分割结果。
进一步地，步骤S1中，数据准备的过程如下：
S1.1、下载通过大规模三维点云数据库训练过的点云处理网络PointNet网络权重；
S1.2、下载三维网格数据库PSB(Princeton Segmentation BenchmarkMeshsegBenchmark-1.0)。
进一步地，步骤S2中，数据预处理的过程如下：
S2.1、计算三维网格数据每个三角片面的中心点坐标，每个面片的中心点作为一个点云数据；
S2.2、从点云数据中随机抽取N个点，作为输入点云处理网络的点云数据。
进一步地，步骤S3中，的过程如下：
S3.1、输入点云数据X，X的维度为N×d1，N为点的数目，d1为一个点在空间中的坐标维度；
S3.2、将X输入子网络T-Netl，输出重组为d1×d1的矩阵transl；所述T-Net1的结构为：第一层卷积层，卷积核大小为1×d1，通道数CT-Net11；第二层卷积层，卷积核大小为1×1，通道数CT-Net12；第三层卷积核大小为1×1，通道数CT-Net13；第四层为最大值池化，池化范围为N×1；第四层为全连接层，隐藏单元数目为HT-Net11；第五层为全连接层，隐藏单元数目为HT-Net12；第六层为全连接输出层，隐藏单元数目为d1 2；
S3.3、将X与trans1进行矩阵之间的相乘，得到特征X2；
S3.4、将X2输入子网络MLP1，得到特征X3；所述MLP1的结构为：第一层卷积层，卷积核大小为1×d，通道数CMLP11；第二层卷积层，卷积核大小为1×1，通道数CMLP12；
S3.5、将X3输入子网络T-Net2，将输出重组为d2×d2的矩阵trans2；所述T-Net2的网络结构为：第一层卷积层，卷积核大小为1×d1，通道数CT-Net21；第二层卷积层，卷积核大小为1×1，通道数CT-Net22；第三层卷积核大小为1×1，通道数CT-Net23；第四层为最大值池化，池化范围为N×1；第四层为全连接层，隐藏单元数目为HT-Net21；第五层为全连接层，隐藏单元数目为HT-Net22；第六层为全连接输出层，隐藏单元数目为d2 2；
S3.6、将X3与trans2进行矩阵之间的相乘，得到特征X4；
S3.7、将X4输入子网络MLP2，得到特征X5；所述MLP2的结构为：第一层卷积层，卷积核大小为1×1，通道数CMLP21；第二层卷积层，卷积核大小为1×1，通道数CMLP22；第三层卷积层，卷积核大小为1×1，通道数CMLP23；
S3.8、将X5通过一个最大化池化层，得到特征X6；该最大化池化层的池化范围为N×1；
S3.9、将X6与X4在其矩阵的列维度上拼接起来，得到X7；
S3.10、将X7输入子网络MLP3，输出点云处理网络的标注结果R1；所述MLP3的结构为：第一层卷积层，卷积核大小为1×1，通道数CMLP31；第二层卷积层，卷积核大小为1×1，通道数CMLP32；第三层卷积层，卷积核大小为1×1，通道数CMLP33；第三层卷积层，卷积核大小为1×1，通道数CMLP34；第四层卷积层，卷积核大小为1×1，通道数CMLP34；第五层分类卷积层，卷积核大小为1×1，通道数CMLP35。
进一步地，步骤S4的计算过程如下：
将已经被标注的点云结果R1作为参考标签，以点与点之间三维空间下的欧氏距离作为度量标准；对于待标记的点云p，在R1中找到与p最临近的k个点，涵盖这k个点的p的领域记作Nk(p)，在Nk(p)中根据分类决策规则，计算点p所属的分割类别y：
Figure BDA0002013209380000041
其中I为指示函数，其中pi是属于Nk(p)内的一个已经被标注的点，i表示面片的中心点，i为1到N可能的取值，yi为点pi的分割类别，cj为所有可能的分割类别，找到使
Figure BDA0002013209380000042
最大的cj，即为点p所属的分割类别y；
点云中每个点都对应着三维网格数据中面片的中心点，将点云的标签对应三维网格数据中的三角面片，同时，计算每个三角面片的法向量ni和每两个相邻面片之间的二面角bij；
其中，法向量ni的计算如下：
Figure BDA0002013209380000043
其中
Figure BDA0002013209380000044
和/>
Figure BDA0002013209380000045
分别为三角面片的三个顶点坐标，再根据下面的公式计算每两个相邻面片之间的二面角bij：
bij＝arccos(ni-nj)
其中ni和nj为两个相邻的面片。
进一步地，步骤S6的修正过程如下：
用条件随机场算法对整个三维物体的分割情况进行一个精修，基于下面的公式：
E(c；θ)＝∑iaiE1(ci；xi，θ1)+∑i，jlijE2(ci，cj；bij，θ2)，
其中随机变量ci表示每个面片i的标签，xi是从该面片上提取的几何特征，i，j是相邻点(或面片)的索引，bij表示两相邻面片间的二面角，θ＝{θ1，θ2}是可能的其他参数，ai为面片的面积，lij为相邻面片共同边的长度，一元项E1衡量面片i独立的特征xi与其标签ci之间的一致性，二元项E2衡量给定成对特征特征bij相邻面片ci和cj之间的一致性；最小化E(c；θ)，得到最后的分割结果c。
本发明相对于现有技术具有如下的优点和效果：
1、本发明实现一个集合提取特征与特征分类任务的网络。点云处理网络的输入是对一个完整三维形状描述，是一组数据集合。点云处理网络的输出是与数据集合同等数量的标签，即标签的集合。这样的网络更符合神经网络集特征提取特征分类与一体的性质
2、本发明基于深度学习，能够对完整的数据进行分析，从数据中提取全局特征，实现数据驱动的分割，而非传统的基于人工设计的三维特征提取算子。
3、本发明利用K近邻算法，在不用监督学习的条件下将所有未分类的点赋予标签，耗时很短。并且三维空间中，利用点之间欧式距离作为度量更具有的合理性。
附图说明
图1为本发明基于点云处理网络的三维网格物体分割方法的流程图；
图2为本发明中点云处理网络的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例的公开了一种基于点云处理网络的三维网格物体分割方法，基于对整体处理的网络PointNet，先将三维网格数据转换成点云数据，在点云数据上进行分割，再将已经分割好的点云标签映射到原三维网格数据上，最后，利用条件随机场算法调整分割结果。
本实施例公开的基于点云处理网络的三维网格物体分割方法具体包括如下步骤：
S1、数据准备：
准备已通过大规模三维点云数据库预训练的点云处理网络PointNet的权重和待训练的三维网格数据库，包括以下步骤：
S1.1、下载通过大规模点云数据库训练过的PointNet网络权重；
S1.2、下载三维网格数据库PSB；
S2、数据的预处理：
对步骤S1中得到的三维网格数据，计算其中每个三角面片的中心点，作为三维网格数据所对应的点云数据，并在其中随机抽取2048个点，作为输入网络的点云数据，包括以下步骤：
S2.1、计算三维网格数据每个三角片面的中心点坐标，所有三角面片的中心点就组成了三维网格数据对应的点云数据；
S2.2、从点云数据中随机抽取2048个点，作为输入点云处理网络的点云数据；。
对于PointNet网络而言，虽然其接受一整个三维形状的数据，但是其数据量也是固定的，即点云的数据是固定的。将三维网格数据转换成点云数据，就需要在三维物体上均匀的采点。本发明先将三维网格数据的面片分割成大致相同的大小，即将某些描述平面的面积相对很大的面片，分割成许多小的面片。保证三维物体上所有的面片的面积方差较小。这样，将每个面片的中心点看做一个点云数据，则这些点云数据就可以看成对三维形状的描述。在这些点云数据上随机采集一定量的点，即作为网络的输入。由于被细分的面片足够多，所以随机采集的点可以被近似认为是均匀的。
S3、通过PointNet网络，分割2048个点云数据，如图2所示，包括以下步骤：
S3.1、输入点云数据2048个面片的中心点X，X的维度为2048×3；
S3.2、将X输入子网络T-Net1，T-Net1的结构为：第一层卷积层，卷积核大小为1×3，通道数64；第二层卷积层，卷积核大小为1×1，通道数128；第三层卷积核大小为1×1，通道数1024；第四层为最大值池化，池化范围为2048×1；第四层为全连接层，隐藏单元数目为512；第五层为全连接层，隐藏单元数目为256；第六层为全连接输出层，隐藏单元数目为9。将输出重组为3×3的矩阵trans1；
S3.3、将X与trans1进行矩阵之间的相乘，得到特征X2；
S3.4、将X2输入子网络MLP1，MLP1的结构为：第一层卷积层，卷积核大小为1×3，通道数64；第二层卷积层，卷积核大小为1×1，通道数64，得到特征X3；
S3.5、将X3子网络T-Net2，T-Net2的网络结构为：第一层卷积层，卷积核大小为1×3，通道数64；第二层卷积层，卷积核大小为1×1，通道数128；第三层卷积核大小为1×1，通道数1024；第四层为最大值池化，池化范围为2048×1；第四层为全连接层，隐藏单元数目为512；第五层为全连接层，隐藏单元数目为256；第六层为全连接输出层，隐藏单元数目为4096。将输出重组为64×64的矩阵trans2；
S3.6、将X3与trans2进行矩阵之间的相乘，得到特征X4；
S3.7、将X4输入子网络MLP2，MLP2的结构为：第一层卷积层，卷积核大小为1×1，通道数64；第二层卷积层，卷积核大小为1×1，通道数128；第三层卷积层，卷积核大小为1×1，通道数1024，得到特征X5；
S3.8、将X5通过一个最大化池化层，池化范围为2048×1，得到特征X6；
S3.9、将X6与X4拼接起来，得到X7；
S3.10、将X7输入子网络MLP3，MLP3的结构为：第一层卷积层，卷积核大小为1×1，通道数512；第二层卷积层，卷积核大小为1×1，通道数256；第三层卷积层，卷积核大小为1×1，通道数128；第三层卷积层，卷积核大小为1×1，通道数128；第四层卷积层，卷积核大小为1×1，通道数128；第五层分类卷积层，卷积核大小为1×1，通道数50，输出为分类的结果R1；
S4、利用KNN算法，计算原精度点云中未被标注的点的分割类别；
在通过神经网络得到粗略的分割结果之后，需要将分割标签映射回原来的三维网格数据上。根据之前点云采集的策略，有一部分的面片其实是没有被预测到标签的，需要给这些面片赋予预测的概率分布。拟采用的方法是利用KNN算法。对于点云而言，其描述数据就是其xyz三个维度的坐标值，所以其空间关系和分割结果之间有直观的相关性。如果一个面片周围的被标记面片都被分类为手的话，那这个面片在很大程度上也应该被分类成手。所以，利用KNN将没有被标记到的面片赋予一个概率，这样对于整个三维网格而言，其所有的面片都具有了一个关于预测类别的概率分布。
将已经被标注的点云结果R1作为参考标签，以点与点之间三维空间下的欧氏距离作为度量标准。对于待标记的点云p，在R1中找到与p最临近的k个点(k可以根据实际情况做调整)，涵盖这k个点的p的领域记作Nk(p)。在Nk(p)中根据分类决策规则决定p的类别y：
Figure BDA0002013209380000081
其中I为指示函数，其中pi是属于Nk(p)内的一个已经被标注的点，i为面片的中心点，i为1到N可能的取值，yi为点pi的分割类别，cj为所有可能的分割类别，找到使
Figure BDA0002013209380000082
最大的cj，即为点p所属的分割类别y；
S5、将点云的分割结果映射回三维网格数据，并计算面片间的特征。
点云中每个点都对应着三维网格数据中面片的中心点，将点云的标签对应三维网格数据中的三角面片，同时，计算每个三角面片的法向量ni和每两个相邻面片之间的二面角bij。
法向量的ni计算方法为：
Figure BDA0002013209380000083
其中
Figure BDA0002013209380000084
分别为三角面片的三个顶点坐标，再根据下面的公式计算每两个相邻面片之间的二面角bij：
bij＝arccos(ni-nj)
其中ni和nj为两个相邻的面片。
S6、通过条件随机场算法，修正三维网格数据的分割结果。
用条件随机场算法对整个三维物体的分割情况进行一个精修。基于下面的公式：
E(c；θ)＝∑iaiE1(ci；xi，θ1)+∑i，jlijE2(ci，cj；bij，θ2)，
其中随机变量ci表示每个面片i的标签，xi是从该面片上提取的几何特征，i，j是相邻点(或面片)的索引，bij表示两相邻面片间的二面角，θ＝{θ1，θ2}是可能的其他参数，ai为面片的面积，lij为相邻面片共同边的长度，一元项E1衡量面片i独立的特征xi与其标签ci之间的一致性，二元项E2衡量给定成对特征bij相邻面片ci和cj之间的一致性；
通过遍历合理的参数空间查找能最小化E(c；θ)的参数，得到最后的分割结果c。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以权利要求所述为准。

Claims (6)

1.一种基于点云处理网络的三维网格物体分割方法，其特征在于，包括以下步骤：
S1、数据准备，包括准备已通过三维点云数据库预训练的点云处理网络PointNet的权重和待训练的三维网格数据库；
S2、数据的预处理，对步骤S1中得到的三维网格数据，计算其中每个三角面片的中心点，作为三维网格数据所对应的点云数据，并在其中随机抽取N个点，作为输入点云处理网络的点云数据；
S3、通过搭建点云处理网络，分割N个点云数据；
S4、利用KNN算法，计算原点云中未被标注的点的分割类别；计算过程如下：
将已经被标注的点云结果R1作为参考标签，以点与点之间三维空间下的欧氏距离作为度量标准；对于待标记的点云p，在R1中找到与p最临近的k个点，涵盖这k个点的p的领域记作Nk(p)，在Nk(p)中根据下面的分类决策规则，计算点p所属的分割类别y:
Figure QLYQS_1
其中I为指示函数，其中pi是属于Nk(p)内的一个已经被标注的点，i表示面片的中心点，i＝1，2,3，……，N，yi为点pi的分割类别，cj为所有可能的分割类别，找到使
Figure QLYQS_2
最大的cj，即为点p所属的分割类别y；
S5、将点云的分割结果映射回三维网格数据，并计算面片间的特征；
S6、通过条件随机场算法，修正三维网格数据的分割结果，最后输出分割结果。
2.根据权利要求1所述的基于点云处理网络的三维网格物体分割方法，其特征在于，步骤S1中，数据准备的过程如下：
S1.1、下载通过三维点云数据库预训练过的点云处理网络PointNet的权重；
S1.2、下载三维网格数据库PSB。
3.根据权利要求1所述的基于点云处理网络的三维网格物体分割方法，其特征在于，步骤S2中，数据预处理的过程如下：
S2.1、计算三维网格数据每个三角片面的中心点坐标，每个面片的中心点作为一个点云数据；
S2.2、从点云数据中随机抽取N个点，作为输入点云处理网络的点云数据。
4.根据权利要求1所述的基于点云处理网络的三维网格物体分割方法，其特征在于，步骤S3的过程如下：
S3.1、输入点云数据X，X的维度为N×d1，N为点的数目，d1为一个点在空间中的坐标维度；
S3.2、将X输入子网络T-Net1,输出重组为d1×d1的矩阵trans1；所述T-Net1的结构为：第一层卷积层，卷积核大小为1×d1,通道数CT-Net11；第二层卷积层，卷积核大小为1×1,通道数CT-Net12；第三层卷积核大小为1×1,通道数CT-Net13；第四层为最大值池化，池化范围为N×1；第四层为全连接层，隐藏单元数目为HT-Net11；第五层为全连接层，隐藏单元数目为HT-Net12；第六层为全连接输出层，隐藏单元数目为d1 2；
S3.3、将X与trans1进行矩阵之间的相乘，得到特征X2；
S3.4、将X2输入子网络MLP1，得到特征X3；所述MLP1的结构为：第一层卷积层，卷积核大小为1×d,通道数CMLP11；第二层卷积层，卷积核大小为1×1,通道数CMLP12；
S3.5、将X3输入子网络T-Net2，将输出重组为d2×d2的矩阵trans2；所述T-Net2的网络结构为：第一层卷积层，卷积核大小为1×d1,通道数CT-Net21；第二层卷积层，卷积核大小为1×1,通道数CT-Net22；第三层卷积核大小为1×1,通道数CT-Net23；第四层为最大值池化，池化范围为N×1；第四层为全连接层，隐藏单元数目为HT-Net21；第五层为全连接层，隐藏单元数目为HT-Net22；第六层为全连接输出层，隐藏单元数目为d2 2；
S3.6、将X3与trans2进行矩阵之间的相乘，得到特征X4；
S3.7、将X4输入子网络MLP2，得到特征X5；所述MLP2的结构为：第一层卷积层，卷积核大小为1×1,通道数CMLP21；第二层卷积层，卷积核大小为1×1,通道数CMLP22；第三层卷积层，卷积核大小为1×1,通道数CMLP23；
S3.8、将X5通过一个最大化池化层，得到特征X6；该最大化池化层的池化范围为N×1；
S3.9、将X6与X4在其矩阵的列维度上拼接起来，得到X7；
S3.10、将X7输入子网络MLP3，输出点云处理网络的标注结果R1；所述MLP3的结构为：第一层卷积层，卷积核大小为1×1,通道数CMLP31；第二层卷积层，卷积核大小为1×1,通道数CMLP32；第三层卷积层，卷积核大小为1×1,通道数CMLP33；第三层卷积层，卷积核大小为1×1,通道数CMLP34；第四层卷积层，卷积核大小为1×1,通道数CMLP34；第五层分类卷积层，卷积核大小为1×1,通道数CMLP35。
5.根据权利要求1所述的基于点云处理网络的三维网格物体分割方法，其特征在于，步骤S5的计算过程如下：
点云中每个点都对应着三维网格数据中面片的中心点，将点云的标签对应三维网格数据中的三角面片，同时，计算每个三角面片的法向量ni和每两个相邻面片之间的二面角bij；
其中，法向量ni的计算如下：
Figure QLYQS_3
其中
Figure QLYQS_4
和/>
Figure QLYQS_5
分别为三角面片的三个顶点坐标，再根据下面的公式计算每两个相邻面片之间的二面角bij：
bij＝arccos(ni-nj)
其中ni和nj为两个相邻的面片。
6.根据权利要求1所述的基于点云处理网络的三维网格物体分割方法，其特征在于，步骤S6的过程如下：
用条件随机场算法是用如下公式对整个三维物体的分割情况进行修正：
E(c；θ)＝∑iaiE1(ci；xi，θ1)+∑i，jlijE2(ci，cj；bij，θ2)，
其中随机变量ci表示每个面片i的标签，xi是从该面片上提取的几何特征，i,j是相邻点或面片的索引，bij表示两相邻面片间的二面角，θ＝{θ1,θ2}是可能的其他参数，ai为面片的面积，lij为相邻面片共同边的长度，一元项E1衡量面片i独立的特征xi与其标签ci之间的一致性，二元项E2衡量给定成对特征bij相邻面片ci和cj之间的一致性；最小化E(c；θ)，得到最后的分割结果c。
CN201910254112.2A 2019-03-30 2019-03-30 一种基于点云处理网络的三维网格物体分割方法 Active CN109993748B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910254112.2A CN109993748B (zh) 2019-03-30 2019-03-30 一种基于点云处理网络的三维网格物体分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910254112.2A CN109993748B (zh) 2019-03-30 2019-03-30 一种基于点云处理网络的三维网格物体分割方法

Publications (2)

Publication Number Publication Date
CN109993748A CN109993748A (zh) 2019-07-09
CN109993748B true CN109993748B (zh) 2023-06-20

Family

ID=67131973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910254112.2A Active CN109993748B (zh) 2019-03-30 2019-03-30 一种基于点云处理网络的三维网格物体分割方法

Country Status (1)

Country Link
CN (1) CN109993748B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3767521A1 (en) * 2019-07-15 2021-01-20 Promaton Holding B.V. Object detection and instance segmentation of 3d point clouds based on deep learning
CN110414577A (zh) * 2019-07-16 2019-11-05 电子科技大学 一种基于深度学习的激光雷达点云多目标地物识别方法
CN110619299A (zh) * 2019-09-12 2019-12-27 北京影谱科技股份有限公司 基于网格的对象识别slam方法和装置
CN111223101B (zh) * 2020-01-17 2023-08-11 湖南视比特机器人有限公司 点云处理方法、点云处理系统和存储介质
CN111898654A (zh) * 2020-07-14 2020-11-06 上海眼控科技股份有限公司 三维对象特征获取方法、装置、计算机设备和存储介质
CN111881892B (zh) * 2020-09-10 2020-12-18 熵智科技(深圳)有限公司 有序点云5d纹理网格数据结构生成方法、装置、设备及介质
CN112634281A (zh) * 2020-12-10 2021-04-09 浙江大学 一种基于图卷积网络的网格分割方法
CN113077553B (zh) * 2021-04-06 2023-02-10 华南理工大学 一种基于表面属性的三维模型分割方法
CN113137919B (zh) * 2021-04-29 2022-10-28 中国工程物理研究院应用电子学研究所 一种激光点云栅格化方法
CN113313830B (zh) * 2021-05-24 2022-12-16 华南理工大学 基于多分支图卷积神经网络的编码点云特征提取方法
CN113723468B (zh) * 2021-08-06 2023-08-04 西南科技大学 一种三维点云的物体检测方法
CN116246039B (zh) * 2023-05-12 2023-07-14 中国空气动力研究与发展中心计算空气动力研究所 一种基于深度学习的三维流场网格分类分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877128B (zh) * 2009-12-23 2012-09-05 中国科学院自动化研究所 一种三维场景中不同物体的分割方法
CN104103093B (zh) * 2014-07-10 2017-02-15 北京航空航天大学 一种基于深度卷积神经网络的三维网格语义标记方法
CN105184852B (zh) * 2015-08-04 2018-01-30 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
US10424065B2 (en) * 2016-06-10 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for performing three-dimensional semantic parsing of indoor spaces
CN106815847B (zh) * 2017-01-12 2019-11-22 非凡智慧（宁夏）科技有限公司 基于激光雷达点云的树木分割方法及单棵树提取方法
CN109118500B (zh) * 2018-07-16 2022-05-10 重庆大学产业技术研究院 一种基于图像的三维激光扫描点云数据的分割方法
CN109493344A (zh) * 2018-09-18 2019-03-19 北京大学 一种大规模城市三维场景的语义分割方法
CN109410238B (zh) * 2018-09-20 2021-10-26 中国科学院合肥物质科学研究院 一种基于PointNet++网络的枸杞识别计数方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108710906A (zh) * 2018-05-11 2018-10-26 北方民族大学 基于轻量级网络LightPointNet的实时点云模型分类方法

Also Published As

Publication number Publication date
CN109993748A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109993748B (zh) 一种基于点云处理网络的三维网格物体分割方法
Su et al. A deeper look at 3d shape classifiers
Chen et al. Linear spectral clustering superpixel
CN108319957A (zh) 一种基于超点图的大规模点云语义分割方法
Yuan et al. Factorization-based texture segmentation
CN103207879B (zh) 图像索引的生成方法及设备
Singh et al. Svm-bdt pnn and fourier moment technique for classification of leaf shape
WO2018107979A1 (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
Wang et al. A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification
Li et al. Multi-scale neighborhood feature extraction and aggregation for point cloud segmentation
CN103295025B (zh) 一种三维模型最优视图的自动选择方法
CN105574534A (zh) 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN104298990B (zh) 一种基于骨架图的快速图形匹配与识别的方法
CN105354593B (zh) 一种基于nmf的三维模型分类方法
CN101894273A (zh) 一种基于人工蜂群优化边缘势场函数无人机目标识别方法
CN105243139A (zh) 一种基于深度学习的三维模型检索方法及其检索装置
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN104038792B (zh) 用于iptv监管的视频内容分析方法及设备
CN105046694A (zh) 一种基于曲面拟合系数特征的点云快速配准方法
CN110210431A (zh) 一种基于点云语义标注和优化的点云分类方法
Zhang et al. 3D object retrieval with multi-feature collaboration and bipartite graph matching
CN112529068B (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN103235947A (zh) 一种手写体数字识别方法及装置
CN108009557A (zh) 一种基于共享权重卷积网络的三维模型局部特征描述方法
CN107301643A (zh) 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant