CN110020681A - 基于空间注意力机制的点云特征提取方法 - Google Patents

基于空间注意力机制的点云特征提取方法 Download PDF

Info

Publication number
CN110020681A
CN110020681A CN201910235177.2A CN201910235177A CN110020681A CN 110020681 A CN110020681 A CN 110020681A CN 201910235177 A CN201910235177 A CN 201910235177A CN 110020681 A CN110020681 A CN 110020681A
Authority
CN
China
Prior art keywords
point cloud
cloud
feature
point
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910235177.2A
Other languages
English (en)
Inventor
程明明
陈林卓
李炫毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN201910235177.2A priority Critical patent/CN110020681A/zh
Publication of CN110020681A publication Critical patent/CN110020681A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

基于空间注意力机制的点云特征提取方法，该方法包含如下步骤：a.点云预处理：利用最远点采样算法进行降采样；b.点云数据集扩充：通过添加扰动，随机旋转的方法扩增点云训练数据集数量，推理阶段不需要点云的数据增强；c.点云特征获取：利用双流网络思想，一个神经网络分支提取点云空间特征，另一个神经网络分支提取点云总体信息的语义特征；d.逐层融合两个点云特征提取网络的的语义信息，获得每个点云的特征向量。e.得到点云特征后，我们利用局部空间注意力模块对每个点进行进一步的特征提取，最后通过全连接网络得到最后的分类或分割结果。本方法能够通过利用双流网络和局部空间注意力机制，在点云分类与分割任务中得到更加精确的结果。

Description

基于空间注意力机制的点云特征提取方法
技术领域
本发明属于点云处理技术领域，特别涉及到一种基于空间注意力机制的点云特征提取方法。
背景技术
点云是三维处理中的最重要的基本表示方式之一。通常情况下，有两种提取点云特征的方法：一种是将点云数据体素化利用3D卷积进行点云数据特征的提取，这一步骤会消耗大量的计算资源，并且造成推理速度缓慢等问题。另一种方法是，使用多视角的方法提取三维物体的多个视角信息，继而利用二维图像的方法进行特征提取，这种方法在简单场景的分类任务上能取得比较好的效果，但是在真实场景下并不能发挥很大作用，并且很难应用到点云的分割任务中去。
同时，随着TOF技术，结构光技术，双目匹配等技术的发展，深度数据正逐渐成为一种容易获取的数据。人们可以通过手机，平板等便携性的设备轻松获取。传统的深度数据语义特征提取方式对于计算量要求比较高，推理速度比较慢，无法同时满足人们对实时性，精确度的要求。其中比较经典的是D.Maturana在2015年提出来的体素化的方法，这些方法虽然在提取点云特征方面效果比较好，但是其计算量巨大，同时也降低了点云数据的分辨率，无法获得每个点云的特征，也就无法精确分割。
从三维数据的获取上来看，点云数据是一种最直接的三维数据。因此，直接从点云数据上提取每个点的语义特征是一种更好的表示。在点云特征提取过程中，不同于传统的二维图像，点云数据具有无规律，置换不变性，空间坐标连续等特点。因此更好的利用空间信息能够提升点云分割任务的精确性。然而传统的点云特征提取方法忽略了点云的空间信息，仅仅将点云的空间信息作为信息输入，没有充分的利用空间信息来进行特征提取。因此，我们提出了局部注意力模块，该模块能够根据3D点云的坐标来为点云施加不同的注意力权重，这些权重会随着3D点云的空间坐标变化，从而能让模型感知到更加丰富的空间模式。
发明内容
本发明目的是解决已知技术中在较低计算量的情况下，不能充分利用点云的空间信息抽取到点云的每个点的语义特征的问题，提供一种基于空间注意力机制的点云特征提取方法。
本发明的技术方案
一种基于空间注意力机制的点云特征提取方法，本发明首先利用双流神经网络的思想，一个神经网络分支提取点云空间特征，另一个神经网络分支提取点云总体信息的语义特征，基于这个架构，我们将两个神经网络得到的特征逐级合并，得到每个点云的特征向量。最后利用局部空间注意力模块进一步提取局部图的特征与分类。该方法具体包含如下步骤：
a.点云预处理：为了减少计算量，利用最远点采样算法对点云进行降采样；选择最具有代表性的点云的同时，减少了大量的计算量。
b.点云数据集扩充：在训练阶段，通过添加高斯分布扰动，随机旋转点云集合的方法来增加数据集的容量，这种方法可以有效地防止过拟合。
c.点云特征获取：将点云的空间坐标与其他的输入信息分开，利用双流网络思想，一个神经网络分支提取点云空间特征，另一个神经网络分支提取点云总体信息的语义特征；
d.将两个神经网络得到的特征逐级合并，得到每个点云的特征向量。
e.得到每个点特征向量后，利用提出的局部空间注意力模块对每个点进行进一步的特征提取，生成基于空间信息的注意力图，并与后续特征提取操作结合，使得这些特征提取操作充分考虑空间信息。最后通过共享全连接网络得到最后的分类或者分割结果。
本发明的优点和有益效果：
本发明方法通过将空间信息与特征提取操作融合，能够更好的利用点云自带的空间信息，在模型容量较小的情况下能得到更精确的分割与分类结果。
附图说明
图1为本发明提出的点云特征提取方法的总体网络流程图。
图2为我们的方法与其他方法的对比。
图3为点云分类和语义分割网络架构示意图。
图4为本发明中提出的局部空间注意力模块。
图5为本发明模型在S3DIS数据集上的分割结果。
图6为本发明模型在ShapeNet数据集上的分割结果。
具体实施方式
下面结合附图对本发明作进一步详细的说明。
图1表示基于空间注意力机制的点云特征提取方法流程图，图中表示的步骤为：
a.点云预处理：利用最远点采样算法对点云进行降采样；选择最具有代表性的点云的同时，减少了大量的计算量。这种算法已经被证明在减少点云数目的同时，最大程度的保留点云信息。
b.点云数据集扩充：在训练阶段，我们通过添加高斯分布扰动，随机旋转点云集合的方法来增加数据集的容量，这种方法可以有效地防止过拟合。
c.点云特征获取：我们将点云的空间坐标与其他的输入信息分开，利用双流网络思想，一个神经网络分支利用空间信息特征提取器提取点云空间特征，另一个神经网络分支提取点云总体信息的语义特征；
d.将两个神经网络得到的特征逐级合并，得到每个点云的特征向量。
e.得到每个点特征向量后，利用局部空间注意力模块，对每个点进行进一步的特征提取；该模块能生成基于空间信息的注意力图，并与后续特征提取操作结合，使得这些特征提取操作充分考虑空间信息，例如最大池化操作。最后通过共享全连接网络得到最后的分类与分割结果。之前的方法由于是逐点操作且与空间信息无关，不能很好的考虑空间信息。
图2给出了本发明方法与其他方法的对比，我们用不同的颜色代表不同的权重，其中(a)为其他方法，施加在每个点云上的权重一致且与空间无关。(b)为本发明的方法，通过注意力图与卷积操作相结合，使得每个点的权重与其他点的空间关系相关，这样能更好的捕捉到点云的空间结构。
图3给出了本发明点云分类与分割网络的示意图。该网络利用分支架构与由局部空间注意力模块，能够更好的利用空间信息，进而得到更精确的分类与分割结果。
图4为局部空间注意力模块。该模块通过处理点云局部图的空间信息得到注意力图，并将注意力图与后续操作结合，如图3中的1*1卷积与最大池化操作。其中数字代表输出通道数。
图5给出了我们的模型在S3DIS数据集上的分割结果。
图6给出了我们的模型在ShapeNet数据集上的分割结果。
表1给出了该方法的效果和传统方法在分类与语义分割数据集上结果的对比，从我们的测试中可以看出本方法获得的点云特征信息更丰富，分割分类得到的结果更加精确。
表1：本算法与PointNet++算法产生的结果的比较。

Claims (1)

1.一种基于空间注意力机制的点云特征提取方法，其特征在于：该方法包含如下步骤：
a.点云预处理：利用最远点采样算法对点云进行降采样，这种算法已经被证明在减少点云数目的同时，最大程度的保留点云信息；
b.点云数据集扩充：在训练阶段，通过添加高斯分布扰动，随机旋转点云集合的方法来增加数据集的容量；
c.点云特征获取：将点云的空间坐标与其他的输入信息分开，利用双流网络思想，一个神经网络分支提取点云空间特征，另一个神经网络分支提取点云总体信息的语义特征；
d.将两个神经网络得到的特征逐级合并，得到每个点云的特征向量；
e.得到每个点特征向量后，利用空间局部注意力模块来对每个点进行进一步的特征提取；最后通过共享全连接网络得到最后的分类或者分割结果。
CN201910235177.2A 2019-03-27 2019-03-27 基于空间注意力机制的点云特征提取方法 Pending CN110020681A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910235177.2A CN110020681A (zh) 2019-03-27 2019-03-27 基于空间注意力机制的点云特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910235177.2A CN110020681A (zh) 2019-03-27 2019-03-27 基于空间注意力机制的点云特征提取方法

Publications (1)

Publication Number Publication Date
CN110020681A true CN110020681A (zh) 2019-07-16

Family

ID=67190088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910235177.2A Pending CN110020681A (zh) 2019-03-27 2019-03-27 基于空间注意力机制的点云特征提取方法

Country Status (1)

Country Link
CN (1) CN110020681A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046781A (zh) * 2019-12-09 2020-04-21 华中科技大学 一种基于三元注意力机制的鲁棒三维目标检测方法
CN111311571A (zh) * 2020-02-13 2020-06-19 上海小萌科技有限公司 一种目标信息获取方法、系统、装置及可读存储介质
CN111340744A (zh) * 2020-02-20 2020-06-26 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其系统
CN112101265A (zh) * 2020-09-22 2020-12-18 四川大学 一种鲁棒的作物病害诊断系统
CN112597796A (zh) * 2020-11-18 2021-04-02 中国石油大学(华东) 一种鲁棒的基于图卷积的点云表征学习方法
CN113034592A (zh) * 2021-03-08 2021-06-25 西安电子科技大学 基于自然语言描述的三维场景目标检测建模及检测方法
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN114677322A (zh) * 2021-12-30 2022-06-28 东北农业大学 基于注意力引导点云特征学习的奶牛体况自动评分方法
WO2022262219A1 (zh) * 2021-06-18 2022-12-22 中国科学院深圳先进技术研究院 一种构建自我监督点云学习的语义扰动重构网络的方法
US11676406B2 (en) 2020-05-20 2023-06-13 Applications Mobiles Overview Inc. System and method of augmenting a three-dimensional objects training dataset
CN117351212A (zh) * 2023-11-30 2024-01-05 湘潭大学 一种基于双向多尺度注意力的水利环境下的点云分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488877B1 (en) * 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法
CN109074469A (zh) * 2016-04-18 2018-12-21 讯宝科技有限责任公司 条形码扫描和确定尺寸
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488877B1 (en) * 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
CN109074469A (zh) * 2016-04-18 2018-12-21 讯宝科技有限责任公司 条形码扫描和确定尺寸
CN107357427A (zh) * 2017-07-03 2017-11-17 南京江南博睿高新技术研究院有限公司 一种用于虚拟现实设备的手势识别控制方法
CN109410307A (zh) * 2018-10-16 2019-03-01 大连理工大学 一种场景点云语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIE SN ET AL: "《Attentional ShapeContextNet for Point Cloud Recognition》", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
许会: "《基于Kinect相机的人体行为识别方法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046781B (zh) * 2019-12-09 2022-05-27 华中科技大学 一种基于三元注意力机制的鲁棒三维目标检测方法
CN111046781A (zh) * 2019-12-09 2020-04-21 华中科技大学 一种基于三元注意力机制的鲁棒三维目标检测方法
CN111311571A (zh) * 2020-02-13 2020-06-19 上海小萌科技有限公司 一种目标信息获取方法、系统、装置及可读存储介质
CN111340744A (zh) * 2020-02-20 2020-06-26 合肥工业大学 基于注意力双流深度网络的低质量图像降采样方法及其系统
US11676406B2 (en) 2020-05-20 2023-06-13 Applications Mobiles Overview Inc. System and method of augmenting a three-dimensional objects training dataset
CN112101265B (zh) * 2020-09-22 2023-04-25 四川大学 一种鲁棒的作物病害诊断系统
CN112101265A (zh) * 2020-09-22 2020-12-18 四川大学 一种鲁棒的作物病害诊断系统
CN112597796A (zh) * 2020-11-18 2021-04-02 中国石油大学(华东) 一种鲁棒的基于图卷积的点云表征学习方法
CN113034592B (zh) * 2021-03-08 2021-08-31 西安电子科技大学 基于自然语言描述的三维场景目标检测建模及检测方法
CN113034592A (zh) * 2021-03-08 2021-06-25 西安电子科技大学 基于自然语言描述的三维场景目标检测建模及检测方法
CN113177555A (zh) * 2021-05-21 2021-07-27 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
CN113177555B (zh) * 2021-05-21 2022-11-04 西南大学 基于跨层级跨尺度跨注意力机制的目标处理方法及装置
WO2022262219A1 (zh) * 2021-06-18 2022-12-22 中国科学院深圳先进技术研究院 一种构建自我监督点云学习的语义扰动重构网络的方法
CN114677322A (zh) * 2021-12-30 2022-06-28 东北农业大学 基于注意力引导点云特征学习的奶牛体况自动评分方法
CN117351212A (zh) * 2023-11-30 2024-01-05 湘潭大学 一种基于双向多尺度注意力的水利环境下的点云分割方法
CN117351212B (zh) * 2023-11-30 2024-03-01 湘潭大学 一种基于双向多尺度注意力的水利环境下的点云分割方法

Similar Documents

Publication Publication Date Title
CN110020681A (zh) 基于空间注意力机制的点云特征提取方法
CN107273800B (zh) 一种基于注意机制的卷积递归神经网络的动作识别方法
CN113240691B (zh) 一种基于u型网络的医学图像分割方法
Li et al. Traffic scene segmentation based on RGB-D image and deep learning
CN108510012A (zh) 一种基于多尺度特征图的目标快速检测方法
CN106599883A (zh) 一种基于cnn的多层次图像语义的人脸识别方法
CN111832655A (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN113221639A (zh) 一种基于多任务学习的代表性au区域提取的微表情识别方法
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN111476133B (zh) 面向无人驾驶的前背景编解码器网络目标提取方法
CN110852295B (zh) 一种基于多任务监督学习的视频行为识别方法
CN113255813B (zh) 一种基于特征融合的多风格图像生成方法
CN111539897A (zh) 用于生成图像转换模型的方法和装置
Xu et al. BANet: A balanced atrous net improved from SSD for autonomous driving in smart transportation
CN110334584A (zh) 一种基于区域全卷积网络的手势识别方法
CN113392244A (zh) 一种基于深度度量学习的三维模型检索方法及系统
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN111489405B (zh) 基于条件增强生成对抗网络的人脸草图合成系统
CN113902753A (zh) 基于双通道和自注意力机制的图像语义分割方法及系统
Vobecky et al. Advanced pedestrian dataset augmentation for autonomous driving
CN116681960A (zh) 一种基于K8s的中尺度涡旋智能识别方法及系统
CN111242216A (zh) 基于条件生成对抗卷积神经网络的图像生成方法
CN113780241B (zh) 一种显著物体检测的加速方法与装置
Bian et al. Sentiment analysis of Chinese paintings based on lightweight convolutional neural network
Fang et al. Sketch recognition based on attention mechanism and improved residual network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716