CN112597796A - 一种鲁棒的基于图卷积的点云表征学习方法 - Google Patents

一种鲁棒的基于图卷积的点云表征学习方法 Download PDF

Info

Publication number
CN112597796A
CN112597796A CN202011290404.0A CN202011290404A CN112597796A CN 112597796 A CN112597796 A CN 112597796A CN 202011290404 A CN202011290404 A CN 202011290404A CN 112597796 A CN112597796 A CN 112597796A
Authority
CN
China
Prior art keywords
point cloud
graph
graph convolution
robust
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011290404.0A
Other languages
English (en)
Inventor
李宗民
张玉鹏
孙奉钰
白云
刘玉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202011290404.0A priority Critical patent/CN112597796A/zh
Publication of CN112597796A publication Critical patent/CN112597796A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于机器视觉和模式识别领域，具体公开了一种鲁棒的基于图卷积的点云表征学习方法，主要解决图卷积在点云构建图时花费时间长以及当点云发生位移和旋转等尺度变化时，模型性能会显著下降的问题。该方法包括如下步骤：s1、获取点云数据；s2、对于点云数据进行体素化然后采用贪心算法进行下采样；s3、基于采样完的点云进行图的构建；s4、定义图卷积，然后提取构建出来图的特征；s5、采用双流网络、注意力机制以及多尺度特征融合增强模型健壮性，最后得到训练完成的模型。经过测试，本发明得到的模型相较于其他主流方法，时间上能节省80％，在点云发生位移和旋转等尺度变化时，具有很好的鲁棒性，效果明显优于其他方法。

Description

一种鲁棒的基于图卷积的点云表征学习方法
技术领域
本发明属于机器视觉和模式识别领域，在无人驾驶、机器人等领域有着重要的应用，尤 其是涉及一种鲁棒的基于图卷积的点云表征学习方法。
背景技术
点云表征学习在无人驾驶，机器人等三维视觉方向应用广泛。跟规则的图像信息不同， 点云是稀疏无序的。目前的方法虽然有不错的性能，但当点云位移和尺度变化时，性能会显 著下降，并且耗费时间较长。
机器学习算法的成功与否不仅仅取决于算法本身，也取决于数据的表示。数据的不同表 示可能会导致有效信息的隐藏或是曝露，这也决定了算法是不是能直截了当地解决问题。表 征学习的目的是对复杂的原始数据化繁为简，把原始数据的无效信息剔除，把有效信息更有 效地进行提炼，形成特征，这也应和了机器学习的一大任务——可解释性。也正是因为特征 的有效提取，使得今后的机器学习任务简单并且精确许多。
目前，对于点云表征学习主要还是集中在Pointnet系列的方法，对点云数据的处理网络 中，在点云没有噪声的情况下效果能够达到不错的效果，但是点云一旦有了噪声，性能就会 显著下降很多，这在无人驾驶，机器人等实际应用中会存在诸多的隐藏隐患。
目前图卷积提取点云特征存在构建图花费时间太久的问题，大约80％的时间花费在构建 图的过程中，这使得图卷积在点云上的应用变得十分局限，尤其是在大规模场景下，目前在 三维目标检测中，图卷积在精度与其他方法接近的情况下，处理速度是其他方法的四倍以上， 这样极大限制了图卷积在自动驾驶等方面的实际应用。
本发明提出的一种鲁棒的基于图卷积的点云表征学习方法不仅解决了图卷积构建图时的 时间问题而且对于噪声具有很强的鲁棒性，有力地推动图卷积在点云表征学习的进一步发展。
发明内容
本发明的目的在于提出一种鲁棒的基于图卷积的点云表征学习方法，该方法以图神经网 络为基础，结合了无监督中的聚类算法、贪心算法等技术，较为准确的处理和学习三维点云 的结构信息，该方法可以在不同场景下有效的进行工作。其采用如下方案：
s1、获取点云数据；
s2、对于点云数据进行体素化然后采用贪心算法进行下采样；
s3、基于采样完的点云进行图的构建；
s4、定义图卷积，然后提取构建出来图的特征；
s5、采用双流网络、注意力机制以及多尺度特征融合增强模型健壮性，最后得到训练完 成的模型。
所述步骤s1中，对于点云数据的采集，对于模型采用随机采样，更好的维持模型原本的 几何流形，目前主流的网络都需要对于点云数据进行统一坐标化处理，因此多一个噪声点就 会对结果产生很大的影响，本发明在采集点云数据后可以直接使用数据，不用对其进行预处 理。
所述步骤s2中，得到的点云进行体素化处理，每个体素内随机选取三个点云作为体素内 所有点云的代表，通过贪心算法选取所有非空体素中，覆盖率最高的前M个，作为采样结束 后的点云数据。
所述步骤s3中，对于采样结束后的点，步骤s2中选取的前M个体素，对于每个体素及 其周围的邻居体素中的点云求一个重心，这个作为图的中心点，然后构建图。
所述步骤s4中，定义图卷积运算，图最大池化，三维图卷积核的形状和权重是可学习的， 显示了从无序的点云描述局部拓扑结构的能力，能够观察和提取任意形状和大小的无序3D点 云的结构信息。
所述步骤s5中，采用双流网络、注意力机制以及多尺度特征融合，使得网络能够观察和 提取任意形状和大小的无序3D点云的结构信息。
本发明具有如下优点：
提出一种新的三维图形卷积网络深度学习模型，用于处理和学习三维点云的结构信息。 我们的目标是得到可变形的三维核，其形状和权重在训练阶段是可学习的。此外，与标准CNN 中的最大池操作类似，我们在网络中执行金字塔池化的图操作，以总结不同尺度下处理的特 征。因此，我们的网络能够观察和提取任意形状和大小的无序3D点云的结构信息。在精度速 度跟目前主流网络接近的程度下，具有更强的鲁棒性，能充分解决实际应用中存在的诸多隐 患。对于提高自动控制效率，提高工业自动化程度，具有十分重要的意义。
附图说明
图1是本发明所构建的基于图卷积的点云表征学习网络模型示意图。图2是本发明所提 出的方法整体流程。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
结合图1所示，一种鲁棒的基于图卷积的点云表征学习方法，包括如下步骤：
s1、获取点云数据
点云数据的采集，对于模型采用随机采样，更好的维持模型原本的几何流形，目前主流 的网络都需要对于点云数据进行统一坐标化处理，因此多一个噪声点就会对结果产生很大的 影响，本发明在采集点云数据后可以直接使用数据，不用对其进行预处理。
s2、对于点云数据进行体素化然后采用贪心算法进行下采样
通常情况下，点云数据数目是十分巨大的，因此对点云进行体素化，采用贪心算法，尽 可能的选择点云覆盖率最高的体素，具体步骤如下：
s21、定义每个体素的大小(Vx,Vy,Vz)，对于整个的点云数据进行体素化，左上角为坐标 原点，以每个体素各方向大小为坐标点，对于每个点云进行体素坐标索引。
s22、在非空体素内，随机选取三个点云作为代表点，不足三个的有几个选几个，随机选 取M个体素作为初始的采样后的中心点，采用贪心算法计算体素及周围邻居体素内点云数目 覆盖率(当前选取体素及邻居中的点云数量/所有的点云数量)最高的体素，并记录体素索引。 选择出所有的体素中本身及周围邻居覆盖率最高的前M个体素。
s3、基于采样完的点云进行图的构建
根据选择出的M个体素，对于每个体素及其邻居中的点云计算出重心，并把这个重心当 成图的中心点，来进行图的构建。这样就避免了以往在构建图时，所有的点固定在原始数据 的子集中，这样就构建了M个图,图的边权重全部采用两点之间的欧氏距离。
s4、定义图卷积，然后提取构建出来图的特征
本发明定义了一种全新的三维图卷积，卷积核KS是一个可以变形的图，它的权重以及大 小是可以学习的。我们定义每个三维图卷积核都有一个中心点，这个点定义为kC＝(0,0,0)， 卷积核其他的点为k1,k2,k3,…,kS，卷积核的边数一开始是可以由我们定义的。我们对于卷积 核每个向量权重定义为：W(K)∈RD，因此在特征图运用权重运算相加就可实现卷积运算。 因为卷积核与特征图点的数目与方向可能会不同，因此定义卷积核边的方向Ks-KC＝Ks,s＝ 1,2,…,S，现在卷积核被定义为{W(KC),(KS,W(KC))|s＝1,2,…,S}其中每个元素都是可以训练 学习的。
使用定义的卷积核来对之前构建好的图进行卷积操作：
Figure BDA0002783621200000031
其中，
Figure BDA0002783621200000032
表示第n个图的M个点，<>表示内积运算，
Figure BDA0002783621200000033
Figure BDA0002783621200000034
定义sim(Pm，Ks)：
Figure BDA0002783621200000035
这是计算图与卷积核之间余弦相似度，g()函数对每个卷积核支持点ks总结最大的 sim(Pm，Ks)。
经过前面的定义，本发明的三维卷积运算可以表示为：
Figure BDA0002783621200000036
s5、采用双流网络、注意力机制以及多尺度特征融合增强模型健壮性，最后得到训练完 成的模型。
上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说 明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或 明显变形方式。上述的变化方式均应在本发明的保护范围之内，理应受到本发明的保护。

Claims (10)

1.一种鲁棒的基于图卷积的点云表征学习方法，包括如下步骤：
s1、获取点云数据；
s2、对于点云数据进行体素化然后采用贪心算法进行下采样；
s3、基于采样完的点云进行图的构建；
s4、定义图卷积，然后提取构建出来图的特征；
s5、采用双流网络、注意力机制以及多尺度特征融合增强模型健壮性，最后得到训练完成的模型。
2.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，所述步骤s1中，采用随机采样方法实现三维模型的点云提取。
3.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，所述步骤s2中，进一步包括：
s21、对于获取的点云数据，首先进行体素化，定义每个体素的大小，对于整个的点云数据进行体素化，左上角为坐标原点，以每个体素各方向大小为坐标点，对于每个点云进行体素坐标索引；
s22、在非空体素内，随机选取三个点云作为代表点，随机选取M个体素作为初始的采样后的中心点，采用贪心算法计算体素及周围邻居体素内点云数目覆盖率(当前选取体素及邻居中的点云数量/所有的点云数量)最高的体素，并记录体素索引。
通过体素化来提高数据的结构化效率，通过只对已占用区域进行计算来提高计算效率。
4.根据权利要求3所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，对体素化后的点云，根据覆盖率的大小进行排序，选择前M个的体素采用K-NN算法图的构建。
5.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，所述步骤s4中，对于图定义一种全新的图卷积，卷积核的大小以及边权重是可学习的，在精度与计算复杂度中找到一个平衡点。
6.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，所述步骤s4中，定义的图卷积对于点云数据发生平移旋转缩放的变化时具有很强的鲁棒性。
7.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，所述步骤s4中，定义的卷积核是图，更完美的适合图上的表征学习。
8.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，所述步骤s5中，并行的双流图卷积网络、注意力机制可以更充分地得到原始物体的几何流形。
9.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，采用金字塔池化的方法提取不同尺度的特征，防止图表征学习的过平滑。
10.根据权利要求1所述的一种鲁棒的基于图卷积的点云表征学习方法，其特征在于，整个网络在训练以及测试过程中都是端到端实现的。
CN202011290404.0A 2020-11-18 2020-11-18 一种鲁棒的基于图卷积的点云表征学习方法 Pending CN112597796A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011290404.0A CN112597796A (zh) 2020-11-18 2020-11-18 一种鲁棒的基于图卷积的点云表征学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011290404.0A CN112597796A (zh) 2020-11-18 2020-11-18 一种鲁棒的基于图卷积的点云表征学习方法

Publications (1)

Publication Number Publication Date
CN112597796A true CN112597796A (zh) 2021-04-02

Family

ID=75183093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011290404.0A Pending CN112597796A (zh) 2020-11-18 2020-11-18 一种鲁棒的基于图卷积的点云表征学习方法

Country Status (1)

Country Link
CN (1) CN112597796A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435461A (zh) * 2021-06-11 2021-09-24 中国地质大学（武汉） 一种点云局部特征提取方法、装置、设备及存储介质
CN114387202A (zh) * 2021-06-25 2022-04-22 南京交通职业技术学院 一种基于车端点云与图像融合的3d目标检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053432A (zh) * 2017-11-14 2018-05-18 华南理工大学 基于局部icp的室内稀疏点云场景的配准方法
US20190042935A1 (en) * 2017-12-28 2019-02-07 Intel Corporation Dynamic quantization of neural networks
CN109685821A (zh) * 2018-12-26 2019-04-26 中国科学院大学 基于高质量体素的区域生长3d岩体点云平面提取方法
CN110020681A (zh) * 2019-03-27 2019-07-16 南开大学 基于空间注意力机制的点云特征提取方法
CN110660082A (zh) * 2019-09-25 2020-01-07 西南交通大学 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN111325099A (zh) * 2020-01-21 2020-06-23 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053432A (zh) * 2017-11-14 2018-05-18 华南理工大学 基于局部icp的室内稀疏点云场景的配准方法
US20190042935A1 (en) * 2017-12-28 2019-02-07 Intel Corporation Dynamic quantization of neural networks
CN109685821A (zh) * 2018-12-26 2019-04-26 中国科学院大学 基于高质量体素的区域生长3d岩体点云平面提取方法
CN110020681A (zh) * 2019-03-27 2019-07-16 南开大学 基于空间注意力机制的点云特征提取方法
CN110660082A (zh) * 2019-09-25 2020-01-07 西南交通大学 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN111325099A (zh) * 2020-01-21 2020-06-23 南京邮电大学 一种基于双流时空图卷积神经网络的手语识别方法及系统
CN111882593A (zh) * 2020-07-23 2020-11-03 首都师范大学 结合注意力机制及三维图卷积网络的点云配准模型及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435461A (zh) * 2021-06-11 2021-09-24 中国地质大学（武汉） 一种点云局部特征提取方法、装置、设备及存储介质
CN113435461B (zh) * 2021-06-11 2023-07-14 深圳市规划和自然资源数据管理中心(深圳市空间地理信息中心) 一种点云局部特征提取方法、装置、设备及存储介质
CN114387202A (zh) * 2021-06-25 2022-04-22 南京交通职业技术学院 一种基于车端点云与图像融合的3d目标检测方法

Similar Documents

Publication Publication Date Title
CN107742102B (zh) 一种基于深度传感器的手势识别方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN110222580B (zh) 一种基于三维点云的人手三维姿态估计方法和装置
CN111311647B (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
CN104881671B (zh) 一种基于2D‑Gabor的高分遥感影像局部特征提取方法
CN103729643A (zh) 多模式场景中的三维对象的识别和姿势确定
CN102236794A (zh) 3d场景中3d对象的识别和姿态确定
CN108388902B (zh) 结合全局框架点与局部shot特征的复合3d描述子构建方法
CN112597796A (zh) 一种鲁棒的基于图卷积的点云表征学习方法
CN112364931A (zh) 基于元特征和权重调整的少样本目标检测方法及网络模型
CN111028292A (zh) 一种亚像素级图像匹配导航定位方法
CN112669385A (zh) 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN113159232A (zh) 一种三维目标分类、分割方法
CN113705655A (zh) 三维点云全自动分类方法及深度神经网络模型
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
Zhuang et al. Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking
CN107563963B (zh) 一种基于单张深度图超分辨率重建的方法
CN114783068A (zh) 姿态识别方法、装置、电子装置和存储介质
CN113420648B (zh) 一种具有旋转适应性的目标检测方法及系统
CN109241981B (zh) 一种基于稀疏编码的特征检测方法
Srivastava et al. Drought stress classification using 3D plant models
CN116740077A (zh) 一种基于三维点云的植物叶片分割方法
CN114782455B (zh) 一种用于农机嵌入式设备的棉花行中心线图像提取方法
CN113989672B (zh) 一种基于平衡学习的sar图像船只检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210402