CN112529010B - 一种基于在线局部特征提取的点云识别方法 - Google Patents

一种基于在线局部特征提取的点云识别方法 Download PDF

Info

Publication number
CN112529010B
CN112529010B CN202011407114.XA CN202011407114A CN112529010B CN 112529010 B CN112529010 B CN 112529010B CN 202011407114 A CN202011407114 A CN 202011407114A CN 112529010 B CN112529010 B CN 112529010B
Authority
CN
China
Prior art keywords
point
point cloud
points
feature extraction
local feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011407114.XA
Other languages
English (en)
Other versions
CN112529010A (zh
Inventor
宋亚楠
沈卫明
林光钟
陈刚
罗尚虎
蒋唐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shengyi Optical Sensing Technology Co ltd
Institute Of Computer Innovation Technology Zhejiang University
Original Assignee
Zhejiang Shengyi Optical Sensing Technology Co ltd
Institute Of Computer Innovation Technology Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shengyi Optical Sensing Technology Co ltd, Institute Of Computer Innovation Technology Zhejiang University filed Critical Zhejiang Shengyi Optical Sensing Technology Co ltd
Priority to CN202011407114.XA priority Critical patent/CN112529010B/zh
Publication of CN112529010A publication Critical patent/CN112529010A/zh
Application granted granted Critical
Publication of CN112529010B publication Critical patent/CN112529010B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于局部特征提取的点云识别方法。首先使用k‑NN算法搜索被编码点周围的最邻近点，并沿XYZ三个坐标轴分别计算每个邻近点与被编码点之间的点引力；然后结合搜索到的邻近点与被编码点的空间位置坐标，构建点云中每个点的局部特征；最后设计一个融合局部特征提取操作的点云识别网络。本发明提出的在线局部特征提取操作能够增强网络对点云局部信息的利用能力，提升点云识别网络的准确率；而且，在线局部特征提取操作能够应用到基于卷积网络的任何点云识别网络中，具有较强的适用性。

Description

一种基于在线局部特征提取的点云识别方法
技术领域
本发明属于计算机视觉及人工智能领域，特别涉及一种基于在线局部特征提取的点云识别方法。
背景技术
点云作为重要的数据表达方式，能为场景的语义理解提供更加丰富的空间信息，已经广泛应用于机器人、人机交互、自动驾驶等多个领域。然而，点云具有非结构化和无序性的特点，不满足深度学习网络对规则结构数据的要求，导致依赖卷积操作的深度学习方法不能有效处理点云数据。一些学者将点云转换为三维体素网格或者二维多视角视图等规则数据格式，扩大了深度学习网络在点云领域的应用范围。然而，这种转换不但会增加网络的计算复杂度，而且会丢失部分有效信息。PointNet[1]开启了深度学习网络直接处理无序点云的先河，其通过空间变换子网络对齐点云数据，使用多层感知机直接操作离散点云，通过最大池化算子整合点云特征。然而，该网络只针对单个离散点提取特征，不能有效利用点云数据的局部特征信息，不利于点云识别精度的提升。
[1]R.Q.Charles,H.Su,K.Mo,and L.J.Guibas,"PointNet:Deep Learning onPoint Sets for 3D Classification and Segmentation,"in Proceedings of IEEEConference on Computer Vision and Pattern Recognition,Honolulu,Hawaii,2017,pp.77-85.
发明内容
为了解决背景技术中的问题，本发明提供了一种基于在线局部特征提取的点云识别方法，能够捕获点云的局部空间信息特征，提高点云识别的准确率，并且特征提取操作能够融入到深度学习网络，实现点云的高效在线识别。
本发明采用的技术方案如下：
一、一种在线局部特征提取操作
包括以下步骤：
步骤1：为点云中的每个点构建局部特征，利用k-NN算法搜索距被编码点最近的k-1个点作为邻近点；所述被编码点为需构建局部特征的点；
步骤2：计算邻近点对被编码点的点引力；
步骤3：构建被编码点的局部特征，局部特征的形状为k×6；
步骤4：对点云中的每个点构建局部特征后得到点云局部特征。
所述步骤1具体为：获取邻近点和被编码点在空间直角坐标系下的三维空间坐标，计算邻近点对被编码点在X轴、Y轴和Z轴方向的点引力px、py、pz：
Figure BDA0002818362370000021
/>
Figure BDA0002818362370000022
Figure BDA0002818362370000023
其中，x0、y0、z0分别为邻近点和被编码点在X轴、Y轴和Z轴上的距离，w为点引力平衡系数，用于调节点引力的大小范围。
所述步骤3中被编码点的局部特征行数为k行，每行由6列组成，第一行的前三列为被编码点的三维空间坐标，第一行的后三列为被编码点自身对自身的点引力；第二行至第k行分别代表随机排列的k-1个邻近点，其中每一行的前三列为邻近点的三维空间坐标，每一行的后三列为邻近点对被编码点的点引力大小(px、py、pz)。
由于，x0、y0、z0均为零，被编码点自身对自身的点引力(px、py、pz)为
Figure BDA0002818362370000024
所述步骤4具体为：根据步骤1～步骤3为点云中每个点构建相应的局部特征，从而得到由N个点的局部特征组成的维度为N×k×6的点云局部特征；
其中，N为点云中点的数量。
二、基于上述在线局部特征提取操作的点云识别方法
包括以下步骤：
步骤1：基于PointNet网络结构构建点云识别网络：在PointNet网络结构中的输入转换操作之后融入上述在线局部特征提取操作，保持PointNet网络结构中的其余结构不变；
步骤2：选用物体分类数据集ModelNet40训练步骤1构建的点云识别网络；
步骤3：将待识别的点云输入步骤2完成训练的点云识别网络中，预测得到点云的物体类别。
所述点云识别网络的参数与PointNet网络结构的参数保持一致。
本发明的有益效果：
本发明构造了一个能够融合到现有点云识别网络的在线局部特征提取操作。基于该操作，点云识别网络能够充分利用点云结构的空间局部信息，增强网络自身对噪声的鲁棒性，提高网络对点云识别的精度。
本发明设计的局部特征提取操作能够无缝融合到卷积网络中，无需对现有点云识别网络做较大改动，不仅可用于点云分类网络，也能用于点云分割等基于卷积操作的点云识别任务，具有很强的适用性。
附图说明
图1为被编码点的局部特征示意图。
图2为点云局部特征示意图。
图3为点云分类网络示意图。
图4为本发明方法的流程框图。
具体实施方式
下面结合附图和实施例对本发明做详细说明。
需要理解的是，本发明所描述的实施例是示例性的，实施例描述中所使用的具体参数仅是为了便于描述本发明，并不用于限定本发明。
本发明的一种基于在线局部特征提取的点云识别方法，包括构建点云局部特征以及构建点云识别网络两个部分。
1、构建点云局部特征
本发明将点云中的每个点视为一个个质点，参考万有引力的思想，认为点云中每个点之间存在引力，并且距离越近，引力越大，距离越远，引力越小。本发明利用点云之间的引力构建点云的局部特征。并且认为每个点的局部特征只受距离其最近的一部分点的影响。
步骤1：为点云中的每个点构建局部特征，将需要构建局部特征的点称为被编码点。利用k-NN算法搜索距被编码点最近的k-1个点。
步骤2：计算步骤1中搜索到的邻近点对被编码点的点引力。点引力代表搜索到的点对被编码点局部特征的贡献，该贡献的大小由搜索到的点与被编码点之间的距离按照万有引力的思想确定。万有引力公式如下：
Figure BDA0002818362370000031
其中，m1和m2分别代表两个物体的质量，r代表两个物体之间的距离，G为万有引力常量。
在本发明中，搜索到的点和被编码点对应万有引力中的两个物体，搜索到的点与被编码点的质量分别对应万有引力中两个物体的质量m1和m2，搜索到的点与被编码点之间的距离在X、Y、Z三个坐标轴上分解，然后对应万有引力中的距离r。因此，搜索到的点对被编码点局部特征的贡献包括两个部分：两个点各自的空间位置坐标；沿X、Y、Z三个坐标轴计算两个点之间的引力大小，这个用于被编码点局部特征的引力被称为点引力。
以X轴为例，点引力px的计算公式如下：
Figure BDA0002818362370000041
在点引力公式中，假设点云中每个点的质量为1、万有引力常数为1。x0为两个点在X轴上的距离。w为点引力平衡系数，调节点引力的大小范围。沿Y、Z坐标轴的引力计算类似。
步骤3：构建被编码点的局部特征。在步骤2计算完每个邻近点对被编码点局部特征的贡献后，构建被编码点的局部特征。局部特征示意图如图1所示。该局部特征包含两个部分：被编码点以及距其最近k-1个点的三维空间坐标，被编码点与其最近k-1个点之间在三个坐标轴方向的点引力。因此，一个被编码点的局部特征维度为k×6。
如图1所示，被编码点的局部特征中的第一行为被编码点本身的坐标信息以及自身对自身的点引力大小。第2行到第k行代表被编码点周围的k-1个最近邻点，包括最近点的三维空间坐标信息以及对被编码点的点引力大小。图1展示了点云中一个被编码点的局部特征。需要说明的是，构成局部特征的k个点的相对位置是按行随机排列的，图1只是给出了其中一种排列情况。
步骤4：对点云中的每个点构建其对应的局部特征。根据步骤1-3，为点云中的每个点都构建相应的局部特征。假设一个点云中包含N个点，则点云的局部特征示意图如图2所示。
2、构建点云识别网络：
为了高效利用本发明提出的点云局部特征提取操作，将该操作无缝融合到现有的点云识别网络中，实现点云识别网络的端到端训练过程。本发明以经典的PointNet为基础网络结构，构建一个基于在线局部特征提取的点云识别方法。
步骤1：变换点云局部特征形状，以满足卷积网络操作需求。点云中每个点的局部特征形状为k×6，假设一个点云中有N个点，则关于点云的新的特征表示维度为N×k×6。以B表示每次训练中的点云批次大小，则在一次迭代中，输入到点云识别网络的特征维度为B×N×k×6。该维度和常规的卷积操作需求保持一致，能够无缝对接到现有的卷积网络中。
步骤2：点云识别网络构建。将本发明的局部特征提取操作融入到一个基于PointNet的点云识别网络，如图3所示。点云识别网络以点云为输入，首先经过输入转换操作对齐点云坐标。局部特征提取操作以坐标对齐后的点云为输入，执行k-NN搜索以及局部特征构建操作，输出n×k×6的新特征，n为点的个数。图中mlp为多层感知机，后面的数字代表每层的节点数。多层感知机通过一维卷积实现。
为了保证点云表示对几何变换等变换操作具有不变性，PointNet引入了输入转换操作和特征转换操作。本发明将提出的局部特征提取操作放在输入转换操作后面，其输出经过两层卷积操作后，再执行特征转换操作，保证局部特征提取操作对点云几何变换的鲁棒性。
具体实施例：
如图4所示，包括如下步骤：
步骤1：利用k-NN算法搜索距离被编码点最近的k-1个点。本实施例中，k设置为20，包括被编码点本身以及搜索到的19个邻近点。该距离以点云中各点之间的欧氏距离为标准。
步骤2：计算步骤1中搜索到的邻近点对被编码点的点引力。按本发明的点引力计算公式，分别计算每个邻近点对被编码点的点引力大小，点引力中的引力平衡系数w取0.1。
步骤3：构建被编码点的局部特征。利用步骤2计算的邻近点与被编码点之间的点引力，结合搜索的19个邻近点以及被编码点本身的空间三维坐标，构建如图1所示的被编码点局部特征。点云中每个点的局部特征维度为20×6。
步骤4：对点云中每个点构建其对应的局部特征。重复步骤1-3，为点云中的每个点构建相应的局部特征。本实施例中，一个点云包含1024个点，点云的局部特征维度为1024×20×6。
步骤5：步骤1-4中的特征构建参数确定后，构建融合在线局部特征提取操作的点云识别网络。本实施例中基于PointNet构建点云识别网络，如图3所示。该网络中的参数与PointNet中的参数保持一致。本发明提出的局部特征提取操作无缝融入到点云分类网络中。
步骤6：选用数据集ModelNet40训练构建的点云分类网络，包含12,311个CAD模型，40个物体类别。其中，9843个模型用来训练，2468个模型用来测试。训练批次大小为32，初始学习率为0.001，动量大小0.9，训练次数为250个epoch。
步骤7：训练结束后的点云识别网络可直接用于点云类别的识别。
与现有技术相比，本发明基于万有引力的思想构建点云的局部空间特征，有效利用了编码点自身及其邻近点的空间坐标信息，充分考虑了邻近点与被编码点之间的相互影响。同时，本发明的局部特征提取操作能够友好地和卷积操作相互融合，方便构建端到端的点云识别网络模型。在3D物体分类数据集ModelNet40上，本发明获得了90.03％的分类识别准确率，86.82％的平均类别准确率。
以上所述，仅为本发明较佳的具体实施方案，但本发明的保护范围并不局限于上述实施方案，任何本技术领域的技术人员在本发明描述的技术范围内，根据本发明的技术方案及其发明构思所做的等同替换或改变，都应包含在本发明的保护范围之内。

Claims (5)

1.一种在线局部特征提取操作，其特征在于，包括以下步骤：
步骤1：为点云中的每个点构建局部特征，利用k-NN算法搜索距被编码点最近的k-1个点作为邻近点；所述被编码点为需构建局部特征的点；
步骤2：计算邻近点对被编码点的点引力；
步骤3：构建被编码点的局部特征，局部特征的形状为k×6；
步骤4：对点云中的每个点构建局部特征后得到点云局部特征；
所述步骤1具体为：获取邻近点和被编码点在空间直角坐标系下的三维空间坐标，计算邻近点对被编码点在X轴、Y轴和Z轴方向的点引力px、py、pz：
Figure FDA0003889904990000011
Figure FDA0003889904990000012
Figure FDA0003889904990000013
其中，x0、y0、z0分别为邻近点和被编码点在X轴、Y轴和Z轴上的距离，w为点引力平衡系数。
2.根据权利要求1所述的一种在线局部特征提取操作，其特征在于，所述步骤3中被编码点的局部特征行数为k行，每行由6列组成，第一行的前三列为被编码点的三维空间坐标，第一行的后三列为被编码点自身对自身的点引力；第二行至第k行分别代表随机排列的k-1个邻近点，其中每一行的前三列为邻近点的三维空间坐标，每一行的后三列为邻近点对被编码点的点引力大小。
3.根据权利要求1所述的一种在线局部特征提取操作，其特征在于，所述步骤4具体为：根据步骤1～步骤3为点云中每个点构建相应的局部特征，从而得到由N个点的局部特征组成的维度为N×k×6的点云局部特征；
其中，N为点云中点的数量。
4.基于权利要求1～3任一所述的在线局部特征提取操作的点云识别方法，其特征在于，包括以下步骤：
步骤1：基于PointNet网络结构构建点云识别网络：在PointNet网络结构中的输入转换操作之后融入权利要求1～3任一所述的在线局部特征提取操作，保持PointNet网络结构中的其余结构不变；
步骤2：选用物体分类数据集训练步骤1构建的点云识别网络；
步骤3：将待识别的点云输入步骤2完成训练的点云识别网络中，预测得到点云的物体类别。
5.根据权利要求4所述的基于在线局部特征提取操作的点云识别方法，其特征在于，所述点云识别网络的参数与PointNet网络结构的参数保持一致。
CN202011407114.XA 2020-12-04 2020-12-04 一种基于在线局部特征提取的点云识别方法 Active CN112529010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011407114.XA CN112529010B (zh) 2020-12-04 2020-12-04 一种基于在线局部特征提取的点云识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011407114.XA CN112529010B (zh) 2020-12-04 2020-12-04 一种基于在线局部特征提取的点云识别方法

Publications (2)

Publication Number Publication Date
CN112529010A CN112529010A (zh) 2021-03-19
CN112529010B true CN112529010B (zh) 2023-03-24

Family

ID=74997573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011407114.XA Active CN112529010B (zh) 2020-12-04 2020-12-04 一种基于在线局部特征提取的点云识别方法

Country Status (1)

Country Link
CN (1) CN112529010B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077501B (zh) * 2021-04-02 2022-05-27 浙江大学计算机创新技术研究院 一种基于特征学习的端到端点云配准方法
CN113192112B (zh) * 2021-04-29 2022-05-31 浙江大学计算机创新技术研究院 一种基于学习采样的部分对应点云配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065354A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 点云优化方法及其装置
CN103744886A (zh) * 2013-12-23 2014-04-23 西南科技大学 一种直接提取的k个最近邻点搜索方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017031718A1 (zh) * 2015-08-26 2017-03-02 中国科学院深圳先进技术研究院 弹性物体变形运动的建模方法
US10229533B2 (en) * 2016-11-03 2019-03-12 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for fast resampling method and apparatus for point cloud data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065354A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 点云优化方法及其装置
CN103744886A (zh) * 2013-12-23 2014-04-23 西南科技大学 一种直接提取的k个最近邻点搜索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《拟万有引力定律三维激光点云数据精简方法》;邓博文，等;《中国测试》;20180531;第44卷(第5期);第108-112页 *

Also Published As

Publication number Publication date
CN112529010A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN109977232B (zh) 一种基于力导图的图神经网络可视分析方法
CN113077501B (zh) 一种基于特征学习的端到端点云配准方法
Gao et al. LFT-Net: Local feature transformer network for point clouds analysis
Hsu et al. A knowledge-based engineering system for assembly sequence planning
CN107886069A (zh) 一种多目标人体2d姿态实时检测系统及检测方法
CN111460928B (zh) 一种人体动作识别系统及方法
CN112529010B (zh) 一种基于在线局部特征提取的点云识别方法
CN113128424B (zh) 基于注意力机制的图卷积神经网络动作识别方法
CN111401151B (zh) 一种精确的三维手部姿态估计方法
CN108710906A (zh) 基于轻量级网络LightPointNet的实时点云模型分类方法
CN112464611B (zh) 一种基于云端协同智能处理的pcb自动布线系统
CN113449612B (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN110007754B (zh) 手与物体交互过程的实时重建方法及装置
JP2019159940A (ja) 点群特徴抽出装置、点群特徴抽出方法及びプログラム
CN115546888A (zh) 一种基于身体部位分组的对称语义图卷积姿态估计方法
CN112052940A (zh) 基于向量压缩与重构的社交网络特征动态提取方法
CN111612046B (zh) 特征金字塔图卷积神经网络及其在3d点云分类中的应用
CN114565774B (zh) 基于局部几何与全局结构联合学习的3d图卷积分类方法
CN115908497A (zh) 一种基于人体拓扑感知网络的三维人体姿态估计方法及系统
CN116011691A (zh) 一种针对最优路径规划的分布式反馈混联注意力网络模型
CN113658236B (zh) 一种基于图注意力机制的残缺点云配准方法
CN113420676B (zh) 一种二路特征交错融合网络的3d人体姿态估计方法
CN116030255A (zh) 一种三维点云语义分割的系统及方法
CN114743123A (zh) 一种基于隐函数三维表示和图神经网络的场景理解方法
CN112488117B (zh) 一种基于方向诱导卷积的点云分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant