CN110569926B - 一种基于局部边缘特征增强的点云分类方法 - Google Patents

一种基于局部边缘特征增强的点云分类方法 Download PDF

Info

Publication number
CN110569926B
CN110569926B CN201910884261.7A CN201910884261A CN110569926B CN 110569926 B CN110569926 B CN 110569926B CN 201910884261 A CN201910884261 A CN 201910884261A CN 110569926 B CN110569926 B CN 110569926B
Authority
CN
China
Prior art keywords
point
central
sampling
points
nearest neighbor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910884261.7A
Other languages
English (en)
Other versions
CN110569926A (zh
Inventor
吴晓群
朱慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Technology and Business University
Original Assignee
Beijing Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Technology and Business University filed Critical Beijing Technology and Business University
Priority to CN201910884261.7A priority Critical patent/CN110569926B/zh
Publication of CN110569926A publication Critical patent/CN110569926A/zh
Application granted granted Critical
Publication of CN110569926B publication Critical patent/CN110569926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于局部边缘特征增强的点云分类方法，属于计算机图形学、计算机视觉与模式识别技术领域。包括：S1、选用公共数据集并划分训练集和验证集；S2、对训练集中每个点云模型采样并对采样中心点构建局部区域；S3、对局部区域中的点提取边缘特征，池化后得到采样中心点的特征；S4、对采样中心点再次采样并对得到的二次采样中心点构建局部区域；S5、对步骤S4得到的局部区域中的点提取边缘特征，池化后得到二次采样中心点的特征；S6、提取点云模型的全局特征；S7、全局特征通过全连接层，实现点云模型的特征提取及分类。所述方法更聚焦于如何快速清晰地表达局部区域内各点之间的几何关系有助于提高分类任务的点云识别质量。

Description

一种基于局部边缘特征增强的点云分类方法
技术领域
本发明涉及一种基于局部边缘特征增强的点云分类方法，属于计算机图形学、计算机视觉与模式识别技术领域。
背景技术
随着三维成像技术的发展，结构光测量、激光扫描、ToF等技术趋于成熟，物体表面的三维坐标能够精准而快速的获取，从而生成易于存储的三维点云数据，能够更好地表示物体的表面形状和三维物体信息，在机器人、AR/VR、人机交互、遥感测绘、自动驾驶等多个领域具有广阔的应用前景。其中，点云数据的分类识别是各类应用研究的基础和关键。
近来，深度学习在图像处理领域的大获成功，点云数据的不断增长，催化了使用数据驱动方法来从点云学习特征的研究。由于常规的深度网络的输入都是规则结构的数据，而点云则是是利用结构光扫描仪或者三维激光扫描仪采集到的分布在三维空间中的离散点集，是无序的，这使得它很难直接应用卷积来获取三维点之间的局部相关性信息。同时，由于采集方法的原因，点云数据常常是非均匀分布的，不同局部区域的点云密度常常不等，这会为特征提取时，数据点的采样带来困难。
现有的分类方法主要分为基于传统手动提取特征的点云物体分类方法和基于机器学习的点云物体分类方法。两者在点云物体识别中都有一定的应用，但是都存在着一定的缺陷。首先，对于基于传统手动提取特征的点云物体分类方法，由于点云数据量大，导致提取的目标特征为一个高维向量，计算量大，效率低下；且需要专家的先验知识的参与，算法自动化程度较低；其次，对于基于机器学习的点云物体分类方法，由于点云的无序性、无连接性以及特征旋转不变性，使得卷积神经网络很难直接应用到点云数据上来。
斯坦福大学是将点云直接应用到卷积神经网络中的开拓者，其通过空间变换网络对空间中的点云进行数据对齐和特征对齐，在网络中对每个点进行一定程度的特征提取后，采用最大池化操作对点云整体提取出全局特征，从而实现三维物体的分类。但该网络提取的点云特征只是针对某一个采样点或简单的将所有点的特征连接起来形成全局特征，欠缺了对局部特征的提取与处理。故此团队又提出了PointNet++，通过构建一个类似金字塔的特征聚合方案来解决这个问题，但这类算法忽视点之间的几何相关信息，导致丢失一部分局部特征信息。因此，DGCNN通过链接每个中心点与其k个最近邻居来聚合本地上下文信息，达到点云模型分类任务。但由于该网络提取原始点云中所有点的特征，大大增加了GPU的总计算开销和内存使用。
通过分析发现，以上工作在解决点云数据的不规则性和无序性的同时，需更聚焦于如何捕获点云数据的局部几何信息。然而先前的大部分网络中点的特征是以孤立的方式进行学习的，不涉及局部邻域中各点之间的信息联合并且计算所有的点云数据不仅增加了计算开销，而且无法应用到大规模数据中，增加了三维点云数据的处理难度。
发明内容
本发明的目的在于克服现有技术的不足，具体针对现有点云模型在实现分类任务时存在算法自动化程度较低，点云识别质量差的技术缺陷，提出了一种基于局部边缘特征增强的点云分类方法。
为解决上述技术问题，本发明采用如下技术方案：
所述基于局部边缘特征增强的点云分类方法，包括以下步骤：
步骤S1、选用公共数据集并从数据集得到所需数量的点云模型作为原始点云数据，再基于该原始点云数据划分训练集和验证集，初始化结果集1和结果集2为空；
其中，从公共数据集中选取S个点云模型作为训练集，T个点云模型作为测试集，共包括K类，且所述S个及T个点云模型中的每一个点云模型均属于K类中的一类；
步骤S2、对训练集中的一个点云模型进行采样，并基于得到的采样中心点构建并输出M1个局部区域；
其中，S个点云模型中的一个点云模型用{x1,x2,...,xn}来表示；n表示该点云模型中点的个数，点云模型中的每个点包含该点的x，y，z三维坐标信息；
其中，对点云模型进行采样，具体为：通过最远点采样方法得到采样中心点，对每个采样中心点构建局部区域；
对点云模型进行采样的目的是从稠密的点云中抽取出一些相对较为重要的采样中心点，完成覆盖整个数据集的任务；
对点云模型进行采样，具体包括如下子步骤：
步骤S2.1随机选择一个点云模型{x1,x2,...,xn}中的一个点；
步骤S2.2分别计算基于步骤S2.1中选择的点与点云模型中其他点的欧式距离；
步骤S2.3选择离步骤S2.1中所选择点距离最远的点，并将该最远的点加入到结果集1中；
步骤S2.4判断结果集1中点的数量是否达到某个给定值，若否跳至步骤S2.3；若是，得到包括M1个采样中心点的采样中心点集{xi1,xi2,...xiM1}，使xij为距离集合{xi1,xi2,...xij-1}中所有点的最远点，跳至步骤S2.5；
基于得到的采样中心点构建局部区域，采用点球模型分组方法实现，包括如下子步骤：
步骤S2.5基于步骤S2.4中得到采样中心点集中顺序选择一个采样中心点；
步骤S2.6以基于步骤S2.5中选择的采样中心点为圆点，半径为R1，圆内所需包含的点个数为P1，在半径R1内随机选择P1个点，得到基于步骤S2.5中选择的采样中心点为圆点的一个局部区域；
其中，R1的范围是0.4到0.6，P1的范围是64到192；
步骤S2.7判断采样中心点集中的采样中心点是否完全遍历，若否跳至步骤S2.5，继续遍历；若是，得到M1个以采样中心点集中的采样中心点为圆心的局部区域{A1,...AM1}，跳至步骤S3；
其中，任意一个局部区域Ai,i∈[1,M1]包含了局部区域点集{x1,x2,...,xP1}；
通过点球模型分组方法得到的局部区域保证了一个固定的区域尺度，从而使局部区域特征在空间上具有可泛化性，这对于需要局部模式识别的任务是有益的；
步骤S3、对步骤S2得到的M1个局部区域中的每个点构建k最近邻有向图，根据k最近邻有向图中存在的有向边缘采用多层感知机模型提取每个点的边缘特征，经过两次池化操作，得到M1个采样中心点的点特征，这些采样中心点的点特征结合了局域几何信息；
其中，对于任意一个局部区域Ai,i∈[1,M1]，作如下子步骤：
步骤S3.1对局部区域Ai,i∈[1,M1]中包含的每个点{x1,x2,...,xP1}构建并得到P1个k最近邻有向图，用来表示局部结构，包括如下子步骤：
步骤S3.1.1顺序选择局部区域点集{x1,x2,...,xP1}中的一个点作为中心结点；
步骤S3.1.2计算步骤S3.1.1中选择的中心结点与局部区域点集中其他结点的欧式距离；
步骤S3.1.3将步骤S3.1.2中得到的P1-1个欧式距离按升序排列；
其中，局部区域点集中一共有P1个点，因此，中心结点与局部区域点集中其他P1-1个结点的欧式距离的数量为P1-1个；
步骤S3.1.4选择距离步骤S3.1.1中选择的中心结点的k1个最近点作为k最近邻有向图中的结点，得到有向图G＝(v,e)；
其中，结点为v＝{1,2,...,k1}，而有向边缘则为e＝v×v；
步骤S3.1.5判断局部区域点集中的点是否完全遍历，若否，跳至步骤S3.1.1，继续遍历；若是，得到P1个k最近邻有向图，跳至步骤S3.2；
步骤S3.2首先，基于步骤S3.1中得到的k最近邻有向图中中心结点存在的多个有向边缘采用多层感知机模型提取中心结点的多个边缘特征；其次，对每个中心结点的多个边缘特征做池化操作，得到P1个k最近邻有向图中中心结点的点特征；
其中，对于任意一个k最近邻有向图，作如下子步骤：
步骤S3.2.1基于步骤S3.1中得到的k最近邻有向图中的中心结点xi,i∈[1,k1]与其局部区域点集中的其他结点xji1,...,xjik1包含多个有向边缘(i,ji1),...(i,jik1))，定义一个边缘特征为eij＝hθ(xi,xj)＝hθ(xi,xj-xi)；
其中，hθ:RF×RF→RF'是基于学习参数θ构成的非线性目标函数；
步骤S3.2.2根据k最近邻有向图中结点的x，y，z三维坐标，对于k最近邻有向图中中心结点的多个有向边缘通过多层感知机模型按照给定的每一层的输出特征尺寸计算每个边缘特征，得到k最近邻有向图中中心结点的k1个边缘特征；
具体包括如下子步骤：
步骤S3.2.2.1选择k最近邻有向图中的中心结点，并顺序选择k最近邻有向图中的一个结点，构建一个有向边缘；
步骤S3.2.2.2根据步骤S3.2.2.1中顺序选择k最近邻有向图中得到的一个结点和k最近邻有向图中的中心结点的x，y，z三维坐标，构建三层感知机模型，通过卷积操作得到步骤S3.2.2.1中构建的一个有向边缘的边缘特征；
其中，三层感知机模型的输出尺寸分别为a1，a2，a3，卷积核大小均为1×1，步长均为1×1；
步骤S3.2.2.3判断k最近邻有向图中的中心结点包含的k1个有向边缘是否遍历完成，若否，跳至步骤步骤S3.2.2.1；若是，得到k最近邻有向图中的中心结点的k1个边缘特征，跳至步骤S3.2.3；
步骤S3.2.3基于步骤S3.2.2中得到k最近邻有向图中中心结点xi,i∈[1,P1]的k1个边缘特征做池化操作，得到P1个k最近邻有向图中中心结点的点特征xi'＝maxj:(i,j)∈ehθ(xi,xj)；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤S3.3、基于步骤S3.2中得到的P1个k最近邻有向图中中心结点的点特征做池化操作，将池化后的特征作为局部区域采样中心点的特征，得到局部区域中采样中心点的点特征为xcenter1＝maxi∈[1,P1]xi'；
该局部区域中采样中心点的点特征结合了局域几何信息；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤S4、基于步骤S3中得到的M1个采样中心点进行采样，并基于得到的二次采样中心点构建并输出M2个局部区域；
其中，对M1个采样中心点进行采样，具体为：通过最远点采样方法得到二次采样中心点，对每个二次采样中心点构建局部区域；
对M1个采样中心点进行采样，类似于步骤S2，具体包括如下子步骤：
步骤S4.1随机选择M1个采样中心点集中的一个点；
步骤S4.2分别计算基于步骤S4.1中选择的点与其他M1-1个点的欧式距离；
其中，采样中心点共有M1个，因此，随机选择的一个点与采样中心点集中其他M1-1个点的欧式距离的数量为M1-1个；
步骤S4.3选择离步骤S4.1中所选择点距离最远的点，并将该最远的点加入到结果集2中；
步骤S4.4判断结果集2中点的数量是否达到某个给定值，若否跳至步骤S4.3；若是，得到包括M2个二次采样中心点的采样中心点集{xi1,xi2,...,xiM2}，使xij为距离集合{xi1,xi2,...xij-1}中所有点的最远点，跳至步骤S4.5；
其中，步骤S4.4中得到的M2个二次采样中心点是步骤S2.4得到的M1个采样中心点的子集，并且随着采样次数增多，采样中心点的个数变少，但是每一个采样中心点包含的信息增多；
基于得到的二次采样中心点构建局部区域，同样采用点球模型分组方法实现，具体包括如下子步骤：
步骤S4.5基于步骤S4.4中得到的采样中心点集中顺序选择一个二次采样中心点；
步骤S4.6以基于步骤S4.5中选择的二次采样中心点为圆点，半径R2，圆内所需包含的点个数为P2，在半径R2的圆内随机选择P2个点，得到基于步骤S4.5中选择的二次采样中心点为圆点的一个局部区域；
其中，R2的范围是0.6到0.8，P2的范围是到64到128；
步骤S4.7判断采样中心点集中的二次采样中心点是否完全遍历，若否跳至步骤S4.5，继续遍历；若是，得到M2个次采样中心点集中的二次采样中心点为圆心的局部区域{A1,...AM2}，跳至步骤S5；
其中，任意一个局部区域Ai,i∈[1,M2]包含了局部区域点集{x1,x2,...,xP2}；
步骤S5、对步骤S4得到的M2个局部区域中的每个点构建k最近邻有向图，根据k最近邻有向图中存在的有向边缘采用多层感知机模型提取每个点的边缘特征，经过两次池化操作，得到M2个采样中心点的点特征，这些采样中心点的点特征结合了局域深层次几何信息；
其中，对于任意一个局部区域Ai,i∈[1,M2]，作如下子步骤：
步骤S5.1对局部区域Ai,i∈[1,M2]中包含的每个点{x1,x2,...,xP2}构建并得到P2个k最近邻有向图，用来表示局部结构，包括如下子步骤：
步骤S5.1.1顺序选择局部区域点集{x1,x2,...,xP2}中的一个点作为中心结点；
步骤S5.1.2计算步骤S5.1.1中选择的中心结点与局部区域点集中其他点的欧式距离；
步骤S5.1.3将步骤S5.1.2中得到的P2-1个欧式距离按升序排列；
其中，局部区域点集中一共有P2个点，因此，中心结点与局部区域点集中其他P2-1个结点的欧式距离的数量为P2-1个；
步骤S5.1.4选择距离步骤S5.1.1中选择的中心结点的k2个最近点作为k最近邻有向图中的结点，得到有向图G'＝(v',e')；
其中，结点为v'＝{1,2,...,k2}，而有向边缘则为e'＝v'×v'；
步骤S5.1.5判断局部区域点集中的点是否完全遍历，若否，跳至步骤S5.1.1，继续遍历；若是，得到P2个k最近邻有向图，跳至步骤S5.2；
步骤S5.2首先，基于步骤S5.1中得到的k最近邻有向图中中心结点存在的多个有向边缘采用多层感知机模型提取中心结点的多个边缘特征；其次，对每个中心结点的多个边缘特征做池化操作，得到P2个k最近邻有向图中中心结点的点特征；
其中，对于任意一个k最近邻有向图，作如下子步骤：
步骤S5.2.1基于步骤S5.1中得到的k最近邻有向图中的中心结点xi,i∈[1,k2]与其局部区域点集中的其他结点xji1,...,xjik2包含多个有向边缘(i,ji1),...(i,jik2))，定义一个边缘特征为eij'＝hθ'(xi,xj)＝hθ'(xi,xj-xi)；
其中，hθ':RF'×RF'→RF”是基于学习参数θ'构成的非线性目标函数；
步骤S5.2.2根据k最近邻有向图中结点的x，y，z三维坐标和步骤S4中得到的结点对应的点特征，对于k最近邻有向图中中心结点的多个有向边缘通过多层感知机模型按照给定的每一层的输出特征尺寸计算每个边缘特征，得到k最近邻有向图中中心结点的k2个边缘特征；
具体包括如下子步骤：
步骤S5.2.2.1选择k最近邻有向图中的中心结点，并顺序选择k最近邻有向图中的一个结点，构建一个有向边缘；
步骤S5.2.2.2根据步骤S5.2.2.1中顺序选择k最近邻有向图中得到的一个结点和k最近邻有向图中的中心结点两者的x，y，z三维坐标和结点对应的点特征，构建三层感知机模型，通过卷积操作得到步骤S5.2.2.1中构建的一个有向边缘的边缘特征；
其中，三层感知机模型的输出尺寸分别为a4，a5，a6，卷积核大小均为1×1，步长均为1×1；
步骤S5.2.2.3判断k最近邻有向图中的中心结点包含的k2个有向边缘是否遍历完成，若否，跳至步骤步骤S5.2.2.1；若是，得到k最近邻有向图中的中心结点的k2个边缘特征，跳至步骤S5.2.3；
步骤S5.2.3基于步骤S5.2.2中得到k最近邻有向图中中心结点xi,i∈[1,P2]的k2个边缘特征做池化操作，得到P2个k最近邻有向图中中心结点的点特征xi”＝maxj:(i,j)∈e'hθ'(xi,xj)；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤S5.3、基于步骤S5.2中得到的P2个k最近邻有向图中中心结点的点特征做池化操作，将池化后的特征作为局部区域采样中心点的特征，得到局部区域中采样中心点的点特征为xcenter2＝maxi∈[1,P2]xi”；
该M2个局部区域中采样中心点的点特征结合了局域深层次几何信息；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤S6、对步骤S5中得到的M2个二次采样中心点的特征构建三层感知机，提取点云模型的全局信息，得到点云模型的全局特征；
其中，构建的三层感知机的输出尺寸分别为a7，a8，a9，卷积核大小均为1×1，步长均为1×1；
步骤S7、对步骤S6得到的点云模型的全局特征通过三个全连接层，得到了基于局部边缘特征增强的点云分类模型，从而实现点云模型的特征提取及分类；
其中，全连接层的输出通道数分别为F1，F2，K，卷积核大小均为1×1，丢失率为d。
有益效果
本发明基于局部边缘特征增强的点云分类方法，与现有点云分类技术相比，具有如下优点与有益效果：
1.针对点云模型的特点，构建一个快速简单的点云分类框架；
2.与现有方法相比，我们的方法更聚焦于如何快速清晰地表达局部区域内各点之间的几何关系有助于提高分类任务的点云识别质量；
3.在自动驾驶、人机交互、虚拟现实等领域具有广泛应用前景。
附图说明
图1是本发明一种基于局部边缘特征增强的点云分类方法中PrincetonModelNet40数据集点云模型示例；
图2是本发明一种基于局部边缘特征增强的点云分类方法中层级特征提取模块；
图3是本发明一种基于局部边缘特征增强的点云分类方法中k最近邻图中中心结点的5个边缘特征可视化示例；
图4是本发明一种基于局部边缘特征增强的点云分类方法中k最近邻图中中心结点的一个边缘特征求解过程示例；
图5是本发明一种基于局部边缘特征增强的点云分类方法中得到点云模型的分类得分框架图。
具体实施方式
下面结合附图对本发明所述一种基于局部边缘特征增强的点云分类方法的实施方式做详细说明。
实施例1
本实施例阐述了应用本发明所述基于局部边缘特征增强的点云分类方法在移动机器人巡航场景下的详细实施。
由于自动导航、自动检测、装配任务以及移动机器人代替人到复杂或危险的环境中执行探测、巡防任务等大量现实应用的需要，对场景中物体的识别研究引起了人们极大的关注。人类具有强大的识别能力，可以从复杂场景中迅速地识别物体。但要使计算机能够像人类一样自动地识别出场景中的物体，仍有很大的困难。随着自动化程度的提高，机器人导航、工业零件检测及抓取等众多领域对计算机视觉系统的要求越来越高，因此基于二维图像的物体识别已经无法满足人类的要求。而目前三维点云数据的获取已经非常快捷，同时三维点云数据的采集不受光照影响，规避了三维图像遇到的光照、姿态等问题，因此基于点云数据的兰维物体识别也引起了人们的重视。
对于移动机器人来说，在复杂环境中探测是一个艰巨的挑战，这要求移动机器人必须能够判断周围是否有障碍物，是否可以直接通过还是需要绕行避让。这一问题主要涉及两个方面的问题，即地形可通行性分析与道路生成。三维点云分类识别任务在上述第一个问题中广泛应用。将激光雷达安装在机器人平台上，使其向前下方倾斜来构建环境地形图，感知周围环境，通过识别周围的物体来理解周围环境，提高点云物体的识别分类精度是机器人自动导航中必不可少的环节。
本发明的具体实现步骤如下：
步骤A1、选用Princeton ModelNet40数据集，该数据集是一个刚性三维模型数据集，如图1所示，内部模型均已沿Z轴正向摆放。ModelNet40含有40类共计12311个刚性模型，以此为基准,使用Point Cloud Library(PCL)工具在三角网格面上均匀采样1024个点，并将它们归一化到单位球内，以此获得点云模型。采用官方划分，S为9842个作为训练样本，T为2468个作为测试样本。
步骤A2、对S个训练集中的点云模型中的一个模型进行采样，并基于得到的采样中心点构建并输出128个局部区域；
其中，S个点云模型中的一个点云模型用{x1,x2,...,xn}来表示；n表示该点云模型中点的个数为1024，点云模型中的每个点包含该点的x，y，z三维坐标信息；
其中，对点云模型进行采样，具体为：通过最远点采样方法得到采样中心点，对每个采样中心点构建局部区域；
对点云模型进行采样的目的是从稠密的点云中抽取出一些相对较为重要的采样中心点，完成覆盖整个数据集的任务；
对点云模型进行采样，具体包括如下子步骤：
步骤A2.1随机选择一个点云模型{x1,x2,...,x1024}中的一个点；
步骤A2.2分别计算基于步骤S2.1中选择的点与点云模型中其他点的欧式距离；
步骤A2.3选择离步骤A2.1中所选择点距离最远的点，并将该最远的点加入到结果集1中；
步骤A2.4判断结果集1中点的数量是否达到128，若否跳至步骤A2.3；若是，得到包括128个采样中心点的采样中心点集{xi1,xi2,...,xi128}，使xij为距离集合{xi1,xi2,...xij-1}中所有点的最远点，跳至步骤A2.5；
基于得到的采样中心点构建局部区域，采用点球模型分组方法实现，包括如下子步骤：
步骤A2.5基于步骤A2.4中得到采样中心点集中顺序选择一个采样中心点；
步骤A2.6以基于步骤A2.5中选择的采样中心点为圆点，半径R1为0.4，圆内所需包含的点个数P1为64，在半径为0.4的圆内随机选择64个点，得到基于步骤A2.5中选择的采样中心点为圆点的一个局部区域；
步骤A2.7判断采样中心点集中的采样中心点是否完全遍历，若否跳至步骤A2.5，继续遍历；若是，得到128个以采样中心点集中的采样中心点为圆心的局部区域{A1,...A128}，跳至步骤A3；
其中，任意一个局部区域Ai,i∈[1,128]包含了局部区域点集{x1,x2,...,x64}；
通过点球模型分组方法得到的局部区域保证了一个固定的区域尺度，从而使局部区域特征在空间上具有可泛化性，这对于需要局部模式识别的任务是有益的；
步骤A3、对步骤A2得到的128个局部区域中的每个点构建k最近邻有向图，根据k最近邻有向图中存在的有向边缘采用多层感知机模型提取每个点的边缘特征，经过两次池化操作，得到128个采样中心点的点特征，这些采样中心点的点特征结合了局域几何信息；
其中，对于任意一个局部区域Ai,i∈[1,128]，输入到层级特征提取模块中，如图2所示，作如下子步骤：
步骤A3.1对局部区域Ai,i∈[1,128]中包含的每个点{x1,x2,...,x64}构建并得到64个k最近邻有向图，用来表示局部结构，包括如下子步骤：
步骤A3.1.1顺序选择局部区域点集{x1,x2,...,x64}中的一个点作为中心结点；
步骤A3.1.2计算步骤A3.1.1中选择的中心结点与局部区域点集中其他结点的欧式距离；
步骤A3.1.3将步骤A3.1.2中得到的63个欧式距离按升序排列；
其中，局部区域点集中一共有64个点，因此，中心结点与局部区域点集中其他63个结点的欧式距离的数量为63个；
步骤A3.1.4选择距离步骤A3.1.1中选择的中心结点的20个最近点作为k最近邻有向图中的结点，得到有向图G＝(v,e)；
其中，结点为v＝{1,2,...,20}，而有向边缘则为e＝v×v；
步骤A3.1.5判断局部区域点集中的点是否完全遍历，若否，跳至步骤A3.1.1，继续遍历；若是，得到64个k最近邻有向图，跳至步骤A3.2；
步骤A3.2首先，基于步骤A3.1中得到的k最近邻有向图中中心结点存在的多个有向边缘采用多层感知机模型提取中心结点的多个边缘特征；其次，对每个中心结点的多个边缘特征做池化操作，得到63个k最近邻有向图中中心结点的点特征；
其中，对于任意一个k最近邻有向图，作如下子步骤：
步骤A3.2.1基于步骤A3.1中得到的k最近邻有向图中的中心结点xi,i∈[1,20]与其局部区域点集中的其他结点xji1,...,xji20包含多个有向边缘(i,ji1),...(i,ji20))，定义一个边缘特征为eij＝hθ(xi,xj)＝hθ(xi,xj-xi)；
其中，hθ:RF×RF→RF'是基于学习参数θ构成的非线性目标函数；
其中，k最近邻有向图中的中心结点与其局部区域点集中的其他结点包含的多个有向边缘，如图3所示，图3是一个k最近邻有向图中的中心结点与其局部区域点集中的其他结点包含的5个有向边缘的可视化示例。
步骤A3.2.2根据k最近邻有向图中结点的x，y，z三维坐标，对于k最近邻有向图中中心结点的多个有向边缘通过多层感知机模型按照给定的每一层的输出特征尺寸计算每个边缘特征，得到k最近邻有向图中中心结点的20个边缘特征；
其中，k最近邻有向图中结点的特征维度如图2所示，维度为n×F，n为64，F为3；
具体包括如下子步骤：
步骤A3.2.2.1选择k最近邻有向图中的中心结点，并顺序选择k最近邻有向图中的一个结点，构建一个有向边缘；
步骤A3.2.2.2根据步骤A3.2.2.1中顺序选择k最近邻有向图中得到的一个结点和k最近邻有向图中的中心结点的x，y，z三维坐标，构建三层感知机模型，如图4所示，通过卷积操作得到步骤A3.2.2.1中构建的一个有向边缘的边缘特征；
其中，三层感知机模型的输出尺寸分别为64，64，128，卷积核大小均为1×1，步长均为1×1；
步骤A3.2.2.3判断k最近邻有向图中的中心结点包含的20个有向边缘是否遍历完成，若否，跳至步骤步骤A3.2.2.1；若是，得到k最近邻有向图中的中心结点的20个边缘特征，跳至步骤A3.2.3；
步骤A3.2.3基于步骤A3.2.2中得到k最近邻有向图中中心结点xi,i∈[1,64]的20个边缘特征做池化操作，得到64个k最近邻有向图中中心结点的点特征xi'＝maxj:(i,j)∈ehθ(xi,xj)；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
其中，如图2所示k为20；k最近邻有向图中中心结点的点特征维度如图2所示维度为n×an，n为64，an为128；
步骤A3.3、基于步骤A3.2中得到的64个k最近邻有向图中中心结点的点特征做池化操作，将池化后的特征作为局部区域采样中心点的特征，得到局部区域中采样中心点的点特征为xcenter1＝maxi,∈[1,64]xi'；
该128个局部区域中采样中心点的点特征结合了局域几何信息；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
其中局部区域中采样中心点的点特征维度如图2所示，维度为C×an，C为128，an为128；
步骤A4、基于步骤A3中得到的128个采样中心点进行采样，并基于得到的二次采样中心点构建并输出64个局部区域；
其中，对128个采样中心点进行采样，具体为：通过最远点采样方法得到二次采样中心点，对每个二次采样中心点构建局部区域；
对128个采样中心点进行采样，类似于步骤A2，具体包括如下子步骤：
步骤A4.1随机选择128个采样中心点集中的一个点；
步骤A4.2分别计算基于步骤A4.1中选择的点与其他127个点的欧式距离；
其中，采样中心点共有128个，因此，随机选择的一个点与采样中心点集中其他127个点的欧式距离的数量为127个；
步骤A4.3选择离步骤A4.1中所选择点距离最远的点，并将该最远的点加入到结果集2中；
步骤A4.4判断结果集2中点的数量是否达到64，若否跳至步骤A4.3；若是，得到包括64个二次采样中心点的采样中心点集{xi1,xi2,...,xi128}，使xij为距离集合{xi1,xi2,...xij-1}中所有点的最远点，跳至步骤A4.5；
其中，步骤A4.4中得到的64个二次采样中心点是步骤A2.4得到的128个采样中心点的子集，并且随着采样次数增多，采样中心点的个数变少，但是每一个采样中心点包含的信息增多；
基于得到的二次采样中心点构建局部区域，同样采用点球模型分组方法实现，具体包括如下子步骤：
步骤A4.5基于步骤A4.4中得到的采样中心点集中顺序选择一个二次采样中心点；
步骤A4.6以基于步骤A4.5中选择的二次采样中心点为圆点，半径R2为0.8，圆内所需包含的点个数P2为128，在半径为0.8的圆内随机选择128个点，得到基于步骤A4.5中选择的二次采样中心点为圆点的一个局部区域；
步骤A4.7判断采样中心点集中的二次采样中心点是否完全遍历，若否跳至步骤A4.5，继续遍历；若是，得到64个次采样中心点集中的二次采样中心点为圆心的局部区域{A1,...A64}，跳至步骤A5；
其中，任意一个局部区域Ai,i∈[1,64]包含了局部区域点集{x1,x2,...,x128}；
步骤A5、对步骤A4得到的64个局部区域中的每个点构建k最近邻有向图，根据k最近邻有向图中存在的有向边缘采用多层感知机模型提取每个点的边缘特征，经过两次池化操作，得到64个采样中心点的点特征，这些采样中心点的点特征结合了局域深层次几何信息；
其中，对于任意一个局部区域Ai,i∈[1,64]，输入到层级特征提取模块中，如图2所示，作如下子步骤：
步骤A5.1对局部区域Ai,i∈[1,64]中包含的每个点{x1,x2,...,x128}构建并得到128个k最近邻有向图，用来表示局部结构，包括如下子步骤：
步骤A5.1.1顺序选择局部区域点集{x1,x2,...,x128}中的一个点作为中心结点；
步骤A5.1.2计算步骤A5.1.1中选择的中心结点与局部区域点集中其他点的欧式距离；
步骤A5.1.3将步骤A5.1.2中得到的127个欧式距离按升序排列；
其中，局部区域点集中一共有128个点，因此，中心结点与局部区域点集中其他127个结点的欧式距离的数量为127个；
步骤A5.1.4选择距离步骤A5.1.1中选择的中心结点的30个最近点作为k最近邻有向图中的结点，得到有向图G'＝(v',e')；
其中，结点为v'＝{1,2,...,30}，而有向边缘则为e'＝v'×v'；
步骤A5.1.5判断局部区域点集中的点是否完全遍历，若否，跳至步骤A5.1.1，继续遍历；若是，得到128个k最近邻有向图，跳至步骤A5.2；
步骤A5.2首先，基于步骤A5.1中得到的k最近邻有向图中中心结点存在的多个有向边缘采用多层感知机模型提取中心结点的多个边缘特征；其次，对每个中心结点的多个边缘特征做池化操作，得到128个k最近邻有向图中中心结点的点特征；
其中，对于任意一个k最近邻有向图，作如下子步骤：
步骤A5.2.1基于步骤A5.1中得到的k最近邻有向图中的中心结点xi,i∈[1,30]与其局部区域点集中的其他结点xji1,...,xji30包含多个有向边缘(i,ji1),...(i,ji30))，定义一个边缘特征为eij'＝hθ'(xi,xj)＝hθ'(xi,xj-xi)；
其中，hθ':RF'×RF'→RF”是基于学习参数θ'构成的非线性目标函数；
步骤A5.2.2根据k最近邻有向图中结点的x，y，z三维坐标和步骤A4中得到的结点对应的点特征，对于k最近邻有向图中中心结点的多个有向边缘通过多层感知机模型按照给定的每一层的输出特征尺寸计算每个边缘特征，得到k最近邻有向图中中心结点的30个边缘特征；
具体包括如下子步骤：
步骤A5.2.2.1选择k最近邻有向图中的中心结点，并顺序选择k最近邻有向图中的一个结点，构建一个有向边缘；
步骤A5.2.2.2根据步骤A5.2.2.1中顺序选择k最近邻有向图中得到的一个结点和k最近邻有向图中的中心结点两者的x，y，z三维坐标和结点对应的点特征，构建三层感知机模型，通过卷积操作得到步骤A5.2.2.1中构建的一个有向边缘的边缘特征；
其中，三层感知机模型的输出尺寸分别为128，128，256，卷积核大小均为1×1，步长均为1×1；
步骤A5.2.2.3判断k最近邻有向图中的中心结点包含的30个有向边缘是否遍历完成，若否，跳至步骤步骤A5.2.2.1；若是，得到k最近邻有向图中的中心结点的30个边缘特征，跳至步骤A5.2.3；
步骤A5.2.3基于步骤A5.2.2中得到k最近邻有向图中中心结点xi,i∈[1,128]的30个边缘特征做池化操作，得到128个k最近邻有向图中中心结点的点特征xi”＝maxj:(i,j)∈e'hθ'(xi,xj)；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤A5.3、基于步骤A5.2中得到的128个k最近邻有向图中中心结点的点特征做池化操作，将池化后的特征作为局部区域采样中心点的特征，得到局部区域中采样中心点的点特征为xcenter2＝maxi∈[1,128]xi”；
该64个局部区域中采样中心点的点特征结合了局域深层次几何信息；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤A6、对步骤A5中得到的64个二次采样中心点的特征构建三层感知机，提取点云模型的全局信息，得到点云模型的全局特征；
其中，构建的三层感知机的输出尺寸分别为256，512，1024，卷积核大小均为1×1，步长均为1×1；
步骤A7、对步骤A6得到的点云模型的全局特征通过三个全连接层，得到了基于局部边缘特征增强的点云分类模型，从而实现点云模型的特征提取及分类；
其中，全连接层的输出通道数分别为512，256，K，卷积核大小均为1×1，丢失率为0.5。
本实验环境为在CentOS7.3操作系统，基于开源的深度学习框架Pytorch实现，硬件平台是Intel(R)Xeon(R)CPU E5-2609 v4@1.70GHz，12GB RAM和一个GPU(NVIDIATitanX)。
本实验旨在测试本实施例上述的基于局部边缘特征增强的点云分类方法的分类能力。
本实验所采用的数据集Princeton ModelNet40数据集是一个刚性三维模型数据集，内部模型均已沿Z轴正向摆放。ModelNet40含有40类共计12311个刚性模型，以此为基准,使用Point Cloud Library(PCL)工具在三角网格面上均匀采样1024个点，并将它们归一化到单位球内，以此获得点云模型。采用官方划分，9842个点云模型作为训练样本，2468个点云模型作为测试样本。
在训练过程中,每个epoch随机打乱训练集中点云模型的的排列顺序,并以此为输入进行训练。于此同时,为扩充训练集，减小网络的过拟合，提高预测的鲁棒性,针对训练中每个batch的数据,随机给定一个属于[0,2π]的角度θ,使点云模型绕着Z轴方向旋转θ度,并添加(0,0.03)的高斯噪声对点云数据进行随机抖动,以扩增训练数据。
在基于局部边缘特征增强的点云分类方法训练中初始化网络参数，设置学习率learning_rate＝0.001，batchsize＝12，decay_rate＝0.0001。训练集每迭代5次，将该基于局部边缘特征增强的点云分类模型运用于验证集求出loss值。在迭代200步左右，算法收敛，分类准确率为90.7％。如图5所示，得到验证集中输入点云模型的类别得分，得到各个类别准确率如表1所示。
表1ModelNet40数据集各个类别验证准确率
Figure GDA0002940836400000221
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于局部边缘特征增强的点云分类方法，其特征在于：包括以下步骤：
步骤S1、选用公共数据集并从数据集得到所需数量的点云模型作为原始点云数据，再基于该原始点云数据划分训练集和验证集，初始化结果集1和结果集2为空；
其中，从公共数据集中选取S个点云模型作为训练集，T个点云模型作为测试集，共包括K类，且所述S个及T个点云模型中的每一个点云模型均属于K类中的一类；
步骤S2、对训练集中的一个点云模型进行采样，并基于得到的采样中心点构建并输出M1个局部区域；
其中，S个点云模型中的一个点云模型用{x1,x2,...,xn}来表示；n表示该点云模型中点的个数，点云模型中的每个点包含该点的x，y，z三维坐标信息；
其中，对点云模型进行采样，具体为：通过最远点采样方法得到采样中心点，对每个采样中心点构建局部区域；
对点云模型进行采样的目的是从稠密的点云中抽取出一些相对较为重要的采样中心点，完成覆盖整个数据集的任务；
对点云模型进行采样，具体包括如下子步骤：
步骤S2.1随机选择一个点云模型{x1,x2,...,xn}中的一个点；
步骤S2.2分别计算基于步骤S2.1中选择的点与点云模型中其它 点的欧式距离；
步骤S2.3选择离步骤S2.1中所选择点距离最远的点，并将该最远的点加入到结果集1中；
步骤S2.4判断结果集1中点的数量是否达到某个给定值，若否跳至步骤S2.3；若是，得到包括M1个采样中心点的采样中心点集{xi1,xi2,...xiM1}，使xij为距离集合{xi1,xi2,...xij-1}中所有点的最远点，跳至步骤S2.5；
基于得到的采样中心点构建局部区域，采用点球模型分组方法实现，包括如下子步骤：
步骤S2.5基于步骤S2.4中得到采样中心点集中顺序选择一个采样中心点；
步骤S2.6以基于步骤S2.5中选择的采样中心点为圆点，半径为R1，圆内所需包含的点个数为P1，在半径R1内随机选择P1个点，得到基于步骤S2.5中选择的采样中心点为圆点的一个局部区域；
其中，R1的范围是0.4到0.6，P1的范围是64到192；
步骤S2.7判断采样中心点集中的采样中心点是否完全遍历，若否跳至步骤S2.5，继续遍历；若是，得到M1个以采样中心点集中的采样中心点为圆心的局部区域{A1,...AM1}，跳至步骤S3；
其中，任意一个局部区域Ai,i∈[1,M1]包含了局部区域点集{x1,x2,...,xP1}；
通过点球模型分组方法得到的局部区域保证了一个固定的区域尺度，从而使局部区域特征在空间上具有可泛化性，这对于需要局部模式识别的任务是有益的；
步骤S3、对步骤S2得到的M1个局部区域中的每个点构建k最近邻有向图，根据k最近邻有向图中存在的有向边缘采用多层感知机模型提取每个点的边缘特征，经过两次池化操作，得到M1个采样中心点的点特征，这些采样中心点的点特征结合了局域几何信息；
其中，对于任意一个局部区域Ai,i∈[1,M1]，作如下子步骤：
步骤S3.1对局部区域Ai,i∈[1,M1]中包含的每个点{x1,x2,...,xP1}构建并得到P1 个k最近邻有向图，用来表示局部结构，包括如下子步骤：
步骤S3.1.1顺序选择局部区域点集{x1,x2,...,xP1}中的一个点作为中心结点；
步骤S3.1.2计算步骤S3.1.1中选择的中心结点与局部区域点集中其它 结点的欧式距离；
步骤S3.1.3将步骤S3.1.2中得到的P1-1个欧式距离按升序排列；
其中，局部区域点集中一共有P1个点，因此，中心结点与局部区域点集中其它 P1-1个结点的欧式距离的数量为P1-1个；
步骤S3.1.4选择距离步骤S3.1.1中选择的中心结点的k1个最近点作为k最近邻有向图中的结点，得到有向图G＝(v,e)；
其中，结点为v＝{1,2,...,k1}，而有向边缘则为e＝v×v；
步骤S3.1.5判断局部区域点集中的点是否完全遍历，若否，跳至步骤S3.1.1，继续遍历；若是，得到P1个k最近邻有向图，跳至步骤S3.2；
步骤S3.2首先，基于步骤S3.1中得到的k最近邻有向图中中心结点存在的多个有向边缘采用多层感知机模型提取中心结点的多个边缘特征；其次，对每个中心结点的多个边缘特征做池化操作，得到P1个k最近邻有向图中中心结点的点特征；
其中，对于任意一个k最近邻有向图，作如下子步骤：
步骤S3.2.1基于步骤S3.1中得到的k最近邻有向图中的中心结点xi,i∈[1,k1]与其局部区域点集中的其它 结点
Figure FDA0002940836390000031
包含多个有向边缘(i,ji1),...(i,jik1))，定义一个边缘特征为eij＝hθ(xi,xj)＝hθ(xi,xj-xi)；
其中，hθ:RF×RF→RF'是基于学习参数θ构成的非线性目标函数；
步骤S3.2.2根据k最近邻有向图中结点的x，y，z三维坐标，对于k最近邻有向图中中心结点的多个有向边缘通过多层感知机模型按照给定的每一层的输出特征尺寸计算每个边缘特征，得到k最近邻有向图中中心结点的k1个边缘特征；
具体包括如下子步骤：
步骤S3.2.2.1选择k最近邻有向图中的中心结点，并顺序选择k最近邻有向图中的一个结点，构建一个有向边缘；
步骤S3.2.2.2根据步骤S3.2.2.1中顺序选择k最近邻有向图中得到的一个结点和k最近邻有向图中的中心结点的x，y，z三维坐标，构建三层感知机模型，通过卷积操作得到步骤S3.2.2.1中构建的一个有向边缘的边缘特征；
其中，三层感知机模型的输出尺寸分别为a1，a2，a3，卷积核大小均为1×1，步长均为1×1；
步骤S3.2.2.3判断k最近邻有向图中的中心结点包含的k1个有向边缘是否遍历完成，若否，跳至步骤步骤S3.2.2.1；若是，得到k最近邻有向图中的中心结点的k1个边缘特征，跳至步骤S3.2.3；
步骤S3.2.3基于步骤S3.2.2中得到k最近邻有向图中中心结点xi,i∈[1,P1]的k1个边缘特征做池化操作，得到P1个k最近邻有向图中中心结点的点特征xi'＝maxj:(i,j)∈ehθ(xi,xj)；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤S3.3、基于步骤S3.2中得到的P1个k最近邻有向图中中心结点的点特征做池化操作，将池化后的特征作为局部区域采样中心点的特征，得到局部区域中采样中心点的点特征为xcenter1＝maxi∈[1,P1]xi'；
该局部区域中采样中心点的点特征结合了局域几何信息；
其中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1；
步骤S4、基于步骤S3中得到的M1个采样中心点进行采样，并基于得到的二次采样中心点构建并输出M2个局部区域；
其中，对M1个采样中心点进行采样，具体为：通过最远点采样方法得到二次采样中心点，对每个二次采样中心点构建局部区域；
对M1个采样中心点进行采样，类似于步骤S2，具体包括如下子步骤：
步骤S4.1随机选择M1个采样中心点集中的一个点；
步骤S4.2分别计算基于步骤S4.1中选择的点与其它 M1-1个点的欧式距离；
其中，采样中心点共有M1个，因此，随机选择的一个点与采样中心点集中其它 M1-1个点的欧式距离的数量为M1-1个；
步骤S4.3选择离步骤S4.1中所选择点距离最远的点，并将该最远的点加入到结果集2中；
步骤S4.4判断结果集2中点的数量是否达到某个给定值，若否跳至步骤S4.3；若是，得到包括M2个二次采样中心点的采样中心点集{xi1,xi2,...,xiM2}，使xij为距离集合{xi1,xi2,...xij-1}中所有点的最远点，跳至步骤S4.5；
其中，步骤S4.4中得到的M2个二次采样中心点是步骤S2.4得到的M1个采样中心点的子集，并且随着采样次数增多，采样中心点的个数变少，但是每一个采样中心点包含的信息增多；
基于得到的二次采样中心点构建局部区域，同样采用点球模型分组方法实现，具体包括如下子步骤：
步骤S4.5基于步骤S4.4中得到的采样中心点集中顺序选择一个二次采样中心点；
步骤S4.6以基于步骤S4.5中选择的二次采样中心点为圆点，半径R2，圆内所需包含的点个数为P2，在半径R2的圆内随机选择P2个点，得到基于步骤S4.5中选择的二次采样中心点为圆点的一个局部区域；
步骤S4.7判断采样中心点集中的二次采样中心点是否完全遍历，若否跳至步骤S4.5，继续遍历；若是，得到M2个次采样中心点集中的二次采样中心点为圆心的局部区域{A1,...AM2}，跳至步骤S5；
其中，任意一个局部区域Ai,i∈[1,M2]包含了局部区域点集{x1,x2,...,xP2}；
步骤S5、对步骤S4得到的M2个局部区域中的每个点构建k最近邻有向图，根据k最近邻有向图中存在的有向边缘采用多层感知机模型提取每个点的边缘特征，经过两次池化操作，得到M2个采样中心点的点特征，这些采样中心点的点特征结合了局域深层次几何信息；
其中，对于任意一个局部区域Ai,i∈[1,M2]，作如下子步骤：
步骤S5.1对局部区域Ai,i∈[1,M2]中包含的每个点{x1,x2,...,xP2}构建并得到P2个k最近邻有向图，用来表示局部结构，包括如下子步骤：
步骤S5.1.1顺序选择局部区域点集{x1,x2,...,xP2}中的一个点作为中心结点；
步骤S5.1.2计算步骤S5.1.1中选择的中心结点与局部区域点集中其它 点的欧式距离；
步骤S5.1.3将步骤S5.1.2中得到的P2-1个欧式距离按升序排列；
其中，局部区域点集中一共有P2个点，因此，中心结点与局部区域点集中其它 P2-1个结点的欧式距离的数量为P2-1个；
步骤S5.1.4选择距离步骤S5.1.1中选择的中心结点的k2个最近点作为k 最近邻有向图中的结点，得到有向图G'＝(v',e')；
其中，结点为v'＝{1,2,...,k2}，而有向边缘则为e'＝v'×v'；
步骤S5.1.5判断局部区域点集中的点是否完全遍历，若否，跳至步骤S5.1.1，继续遍历；若是，得到P2个k最近邻有向图，跳至步骤S5.2；
步骤S5.2首先，基于步骤S5.1中得到的k最近邻有向图中中心结点存在的多个有向边缘采用多层感知机模型提取中心结点的多个边缘特征；其次，对每个中心结点的多个边缘特征做池化操作，得到P2个k最近邻有向图中中心结点的点特征；
其中，对于任意一个k最近邻有向图，作如下子步骤：
步骤S5.2.1基于步骤S5.1中得到的k最近邻有向图中的中心结点xi,i∈[1,k2]与其局部区域点集中的其它 结点
Figure FDA0002940836390000071
包含多个有向边缘(i,ji1),...(i,jik2))，定义一个边缘特征为eij'＝hθ'(xi,xj)＝hθ'(xi,xj-xi)；
其中，hθ':RF'×RF'→RF”是基于学习参数θ'构成的非线性目标函数；
步骤S5.2.2根据k最近邻有向图中结点的x，y，z三维坐标和步骤S4中得到的结点对应的点特征，对于k最近邻有向图中中心结点的多个有向边缘通过多层感知机模型按照给定的每一层的输出特征尺寸计算每个边缘特征，得到k最近邻有向图中中心结点的k2个边缘特征；
具体包括如下子步骤：
步骤S5.2.2.1选择k最近邻有向图中的中心结点，并顺序选择k最近邻有向图中的一个结点，构建一个有向边缘；
步骤S5.2.2.2根据步骤S5.2.2.1中顺序选择k最近邻有向图中得到的一个结点和k最近邻有向图中的中心结点两者的x，y，z三维坐标和结点对应的点特征，构建三层感知机模型，通过卷积操作得到步骤S5.2.2.1中构建的一个有向边缘的边缘特征；
步骤S5.2.2.3判断k最近邻有向图中的中心结点包含的k2个有向边缘是否遍历完成，若否，跳至步骤步骤S5.2.2.1；若是，得到k最近邻有向图中的中心结点的k2个边缘特征，跳至步骤S5.2.3；
步骤S5.2.3基于步骤S5.2.2中得到k最近邻有向图中中心结点xi,i∈[1,P2]的k2个边缘特征做池化操作，得到P2个k最近邻有向图中中心结点的点特征xi”＝maxj:(i,j)∈e'hθ'(xi,xj)；
步骤S5.3、基于步骤S5.2中得到的P2个k最近邻有向图中中心结点的点特征做池化操作，将池化后的特征作为局部区域采样中心点的特征，得到局部区域中采样中心点的点特征为xcenter2＝maxi∈[1,P2]xi”；
该M2个局部区域中采样中心点的点特征结合了局域深层次几何信息；
步骤S6、对步骤S5中得到的M2个二次采样中心点的特征构建三层感知机，提取点云模型的全局信息，得到点云模型的全局特征；
步骤S7、对步骤S6得到的点云模型的全局特征通过三个全连接层，从而实现点云模型的特征提取及分类，得到了基于局部边缘特征增强的点云分类模型。
2.根据权利要求1所述的一种基于局部边缘特征增强的点云分类方法，其特征在于：步骤S4.6中，R2的范围是0.6到0.8。
3.根据权利要求1所述的一种基于局部边缘特征增强的点云分类方法，其特征在于：步骤S4.6中，P2的范围是到64到128。
4.根据权利要求1所述的一种基于局部边缘特征增强的点云分类方法，其特征在于：步骤S5.2.2.2中，三层感知机模型的输出尺寸分别为a4，a5，a6，卷积核大小均为1×1，步长均为1×1。
5.根据权利要求1所述的一种基于局部边缘特征增强的点云分类方法，其特征在于：步骤S5.2.3中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1。
6.根据权利要求1所述的一种基于局部边缘特征增强的点云分类方法，其特征在于：步骤S5.3中，具体池化操作为最大池化，卷积核大小为1×1，步长为1×1。
7.根据权利要求1所述的一种基于局部边缘特征增强的点云分类方法，其特征在于：步骤S6中，构建的三层感知机的输出尺寸分别为a7，a8，a9，卷积核大小均为1×1，步长均为1×1。
8.根据权利要求1所述的一种基于局部边缘特征增强的点云分类方法，其特征在于：步骤S7中，全连接层的输出通道数分别为F1，F2，K，卷积核大小均为1×1，丢失率为d。
CN201910884261.7A 2019-09-19 2019-09-19 一种基于局部边缘特征增强的点云分类方法 Active CN110569926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910884261.7A CN110569926B (zh) 2019-09-19 2019-09-19 一种基于局部边缘特征增强的点云分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910884261.7A CN110569926B (zh) 2019-09-19 2019-09-19 一种基于局部边缘特征增强的点云分类方法

Publications (2)

Publication Number Publication Date
CN110569926A CN110569926A (zh) 2019-12-13
CN110569926B true CN110569926B (zh) 2021-06-08

Family

ID=68780960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910884261.7A Active CN110569926B (zh) 2019-09-19 2019-09-19 一种基于局部边缘特征增强的点云分类方法

Country Status (1)

Country Link
CN (1) CN110569926B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112052884A (zh) * 2020-08-17 2020-12-08 南京审计大学 一种基于局部边缘特征增强的点云分类方法及系统
CN112633376A (zh) * 2020-12-24 2021-04-09 南京信息工程大学 基于深度学习的点云数据地物分类方法、系统与存储介质
CN114764860A (zh) * 2021-01-14 2022-07-19 北京图森智途科技有限公司 一种特征提取方法、装置、计算机设备及存储介质
CN112927248B (zh) * 2021-03-23 2022-05-10 重庆邮电大学 一种基于局部特征增强和条件随机场的点云分割方法
CN112991557A (zh) * 2021-04-25 2021-06-18 广东工业大学 应用于点云分析模型的局部中心最近点采样方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034104A (zh) * 2010-12-10 2011-04-27 中国人民解放军国防科学技术大学 三维点云中基于随机采样一致性的特征线检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9576373B2 (en) * 2015-04-30 2017-02-21 Harris Corporation Geospatial imaging system providing segmentation and classification features and related methods
US9710714B2 (en) * 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US10176589B2 (en) * 2017-01-31 2019-01-08 Mitsubishi Electric Research Labroatories, Inc. Method and system for completing point clouds using planar segments
CN108256529A (zh) * 2017-11-29 2018-07-06 深圳慎始科技有限公司 基于点云投影轮廓签名和分布矩阵的全局点云描述方法
CN108335335B (zh) * 2018-02-11 2019-06-21 北京大学深圳研究生院 一种基于增强图变换的点云属性压缩方法
CN110163799B (zh) * 2019-05-05 2023-05-05 杭州电子科技大学上虞科学与工程研究院有限公司 一种基于深度学习的超分辨率点云生成方法
CN110197223B (zh) * 2019-05-29 2021-02-09 北方民族大学 基于深度学习的点云数据分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102034104A (zh) * 2010-12-10 2011-04-27 中国人民解放军国防科学技术大学 三维点云中基于随机采样一致性的特征线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Escape from Cells: Deep Kd-Networks for the Recognition of 3D Point Cloud Models;Roman Klokov 等;《2017 IEEE International Conference on Computer Vision (ICCV)》;IEEE;20171029;863-872 *

Also Published As

Publication number Publication date
CN110569926A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110569926B (zh) 一种基于局部边缘特征增强的点云分类方法
US11830246B2 (en) Systems and methods for extracting and vectorizing features of satellite imagery
EP3405845B1 (en) Object-focused active three-dimensional reconstruction
CN111242041B (zh) 基于伪图像技术的激光雷达三维目标快速检测方法
Li et al. Multi-scale neighborhood feature extraction and aggregation for point cloud segmentation
CN113706480B (zh) 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN111242208A (zh) 一种点云分类方法、分割方法及相关设备
CN109711410A (zh) 一种三维物体快速分割和识别方法、装置及系统
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
EP4174792A1 (en) Method for scene understanding and semantic analysis of objects
Cuevas-Velasquez et al. Segmentation and 3D reconstruction of rose plants from stereoscopic images
CN113553943B (zh) 目标实时检测方法以及装置、存储介质、电子装置
Tian et al. 3D object recognition method with multiple feature extraction from LiDAR point clouds
Li et al. MVF-CNN: Fusion of multilevel features for large-scale point cloud classification
Alidoost et al. Y-shaped convolutional neural network for 3d roof elements extraction to reconstruct building models from a single aerial image
Bieder et al. Exploiting multi-layer grid maps for surround-view semantic segmentation of sparse lidar data
WO2022194035A1 (zh) 一种三维模型构建方法、神经网络训练方法以及装置
Ouadiay et al. Simultaneous object detection and localization using convolutional neural networks
Diaz et al. Real-time ground filtering algorithm of cloud points acquired using Terrestrial Laser Scanner (TLS)
Chen et al. Point-attention Net: a graph attention convolution network for point cloudsegmentation
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier
Lee et al. ELF-Nets: deep learning on point clouds using extended laplacian filter
Huang Change detection of construction sites based on 3D point clouds
Salah et al. Summarizing large scale 3D mesh for urban navigation
Xiao et al. MKANet: Multi-scale Kernel Aggregation Network for Multi-spectral LiDAR 3D Point Cloud Scene Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant