CN113723468B - 一种三维点云的物体检测方法 - Google Patents

一种三维点云的物体检测方法 Download PDF

Info

Publication number
CN113723468B
CN113723468B CN202110900201.7A CN202110900201A CN113723468B CN 113723468 B CN113723468 B CN 113723468B CN 202110900201 A CN202110900201 A CN 202110900201A CN 113723468 B CN113723468 B CN 113723468B
Authority
CN
China
Prior art keywords
point cloud
point
dimensional
feature
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110900201.7A
Other languages
English (en)
Other versions
CN113723468A (zh
Inventor
徐锋
陈妍洁
陈国栋
郭中远
李瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202110900201.7A priority Critical patent/CN113723468B/zh
Publication of CN113723468A publication Critical patent/CN113723468A/zh
Application granted granted Critical
Publication of CN113723468B publication Critical patent/CN113723468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本文公开发明了一种三维点云的物体检测方法，包含点云采集、点云预处理、特征处理、聚类分组、检测五个模块。首先通过点云采集模块来获取点云数据；其次利用点云预处理模块对点云进行降采样和规范操作；然后利用特征处理模块对点云进行特征提取与聚合操作，对输入点的局部坐标信息、反密度信息以及邻近点的特征信息进行点云特征学习，生成种子点，然后通过聚合模块对得到的种子点进行投票操作，使点云更加向物体中心聚合；再通过聚类分组模块对其进行聚类操作；最后利用检测模块对聚类分组模块输出的信息进行处理，输出三维检测框。

Description

一种三维点云的物体检测方法
技术领域
本发明涉及计算机视觉、深度学习技术领域，特别涉及一种三维点云的物体检测方法。
背景技术
近年来，深度学习在二维计算机视觉的目标检测和分割中取得了很大的进展；然而在实际生活中，除了对二维场景的理解外，对于三维对象的检测也是至关重要和不可或缺的，例如，在自动驾驶、家用扫地机器人以及城市规划中。因此进行三维物体检测越来越受到人们的关注。
点云具有以下三个特点：无序性，点云是一组无特定顺序集合的点，可以有多种排列方式；点云之间是相互作用的，每个点不是孤立存在的，所以模型能够根据相邻点来获取局部结构，且局部结构之间可以相互作用；变换不变性，点云的表示方式应该是满足一些旋转不变性的，对点云进行全局旋转变换后，点云的分类或分割结果是应该不受影响的。所以三维物体检测的问题就是如何对点云进行处理。
现有的一些三维物体检测方法通常分为以下几类：1、基于多视角投影的方法：将点云转换为在多个视角下投影的图像，形成多张不同角度的二维图像，最后将其输入到二维卷积神经网络进行特征提取，但是这种方法在点云转换成图像的过程中会不可避免地造成信息的丢失；2、基于体素的方法：将点云转换成规则的体素，并将二维卷积扩展到三维卷积，但是这种方法会增加复杂度和计算量；3、基于点云和二维图像结合的方法：同时提取二维和三维特征来进行学习的，但是这种方法数据输入比较庞大，而且平台搭建复杂。
发明内容
有鉴于此，针对现有技术的不足，本发明提供了一种三维点云的物体检测的方法，该方法不需要二维图像的输入，直接对点云进行处理，通过对点云进行采集、预处理、特征处理、聚类采集以及检测确定物体的三维检测框。
本发明所采用的技术方案是提供一种三维点云的物体检测方法，包括点云采集模块、预处理模块、特征处理模块、聚类采集模块以及检测模块。
所述的点云采集模块是通过三维扫描设备获取点云信息，包括点云的XYZ三维坐标信息。
所述的预处理模块是对点云进行降采样处理得到N个点云，然后对N个点云进行规范操作，使点云进行对齐，得到规范的点云，规范操作使用空间变换网络，学习生成变换矩阵，然后将N个点乘以变换矩阵来对齐点云。
所述的特征处理模块是先对点云进行特征提取，具体步骤为：
（1）特征提取的输入包括三部分：点的局部坐标信息、点的反密度信息以及邻近点的特征信息；
（2）点的局部坐标信息部分为输入点的坐标信息，进行MLP操作，输出一个局部坐标矩阵，即将局部坐标的空间结构信息加入了网络中；
（3）点的反密度信息部分为利用高斯概率密度计算每个点的密度，然后求倒数得到反密度系数，每个点的高斯概率密度为：
其中s为每个采样点与其他点的空间距离，为设置的参数。反密度系数/>为：
然后将其输入到MLP中进行操作，输出一个反密度系数矩阵；
（4）邻近点的特征信息部分为每个采样点选取q个邻近点，这些邻近点的特征形成特征矩阵；
（5）将反密度系数矩阵与邻近点特征矩阵逐元素相乘，得到矩阵L；
（6）将局部坐标矩阵与矩阵L相乘，即点的反密度信息和空间坐标信息加入到网络中；
通过特征提取，利用点云的特征学习网络得到M个点云，且每个点云有（3+C）维的特征，然后通过MLP操作对点云特征通道进行投票操作，使点云增加除了三维坐标和特性信息之外的中心点对于当前点的坐标偏置和特征偏置，进行投票操作使点云更加向物体中心聚合。
所述的聚类采集模块，将特征处理模块的输出信息作为聚类采集模块的输入，通过聚合操作得到K个聚类结果。
所述的检测模块，根据聚类采集模块的聚类结果回归物体的三维检测框。
本发明与现有技术相比，其优点有（1）直接对点云进行处理，不需要附加任何其他信息，操作简便，而且不会造成原始信息的丢失。（2）与现有的目标检测网络相比，特征提取部分加入反密度信息，使采样更均匀，同时在特征聚合部分利用投票操作，使得检测精度进一步提升。
附图说明
图1为本发明的流程图。
图2为本发明的预处理框图。
图3为本发明的特征处理框图。
具体实施方式
为了对本发明实施例中的技术方案进行更清晰完整的描述，下面结合附图对本发明进行更为详细的说明。
请参阅图1，本发明提供一种技术方案，一种三维点云的物体检测方法，包括以下步骤。
步骤一：通过三维扫描设别来获取三维场景中的点云信息作为我们设计的点云预处理模块的输入。
步骤二：通过预处理模块对点云进行降采样和规范操作，参阅图2，首先对点云进行降采样处理得到N个点云，然后对N个点云进行规范操作，使点云进行对齐，得到规范的点云，规范操作使用空间变换网络，学习生成的变换矩阵，然后将N个点乘以变换矩阵来对齐点云。
步骤三：通过特征处理模块对点云进行特征提取与聚合操作，参阅图3，先对点云进行特征提取，具体步骤为：
（1）特征提取的输入包括三部分：点的局部坐标信息、点的反密度信息以及邻近点的特征信息；
（2）点的局部坐标信息部分为输入点的坐标信息，进行MLP操作，输出一个局部坐标矩阵，即将局部坐标的空间结构信息加入了网络中；
（3）点的反密度信息部分为利用高斯概率密度计算每个点的密度，每个点的高斯概率密度为：
其中s为每个采样点与其他点的空间距离，为设置的参数。然后求倒数得到反密度/>:
将其输入到MLP网络中进行操作，输出一个反密度系数矩阵；
（4）邻近点的特征信息部分为每个采样点选取q个邻近点，这些邻近点的特征形成特征矩阵；
（5）将反密度矩阵与邻近点特征矩阵逐元素相乘，得到矩阵L；
（6）将局部坐标矩阵与矩阵L相乘，即点的反密度信息和空间坐标信息加入到网络中；
利用特征提取，通过点云的特征学习网络得到M个点云，且每个点云有（3+C）维的特征，然后通过MLP网络对特征提取得到的（3+C）维特征通道进行投票操作，由特征提取得到的种子点M，从M中选取一组种子点，/>，其中/>表示点云的三维坐标，/>表示点云在特征提取模块学习得到的C维特征向量，投票网络输入的是种子点特征/>，输出的是欧几里得空间偏移量/>和特征偏移量/>，由投票网络生成的投票为,其中:
通过特征聚合操作之后每个点除了自身的三维坐标以及特征信息外，还带有中心点相对于当前点的坐标偏置以及特征偏置。
步骤四：所述的聚类采集模块，将特征处理模块的输出信息作为聚类采集模块的输入，对M个点云进行最远点采样，得到K个聚类中心，然后以半径r为阈值进行聚类，得到K个聚类结果。
步骤五：利用检测模块生成三维候选框。对每一个点云聚类，先进行归一化操作，然后通过一个分类网络：对每组内投票到的点各自进行MLP操作，所有点的特征向量经过最大池化操作汇聚成一个向量，作为该组的特征向量，进行MLP操作后生成候选框建议，回归物体的方向，中心以及预选框的长宽高尺度，以及每类所属类别的概率，输出三维检测框，得到三维场景物体检测的结果。

Claims (3)

1.一种三维点云的物体检测方法，其特征在于，包括以下步骤：
步骤一：通过点云采集模块获取三维场景中点云的XYZ坐标信息；
步骤二：将步骤一中获取的点云数据输入到点云预处理模块，对点云进行降采样和规范操作；
步骤三：将步骤二中经过点云预处理模块获取的点云信息输入到特征处理模块，对点云进行特征提取与聚合操作；进行特征提取输入的参数包括点的局部坐标信息、邻近点特征信息以及利用高斯概率密度函数对点云进行处理，然后求倒数来计算获得的点的反密度信息，然后通过MLP网络对点云进行特征学习，得到M个点云，每个点云有3+C维特征，之后通过另一个MLP网络对点云特征通道进行投票操作，使点云增加除了三维坐标以及特性信息之外的中心点对于当前点的坐标偏置和特征偏置，使点云更加向物体中心聚合；
步骤四：将步骤三中进行特征处理后的点云输入到聚类采集模块，对点云进行聚类操作；
步骤五：根据步骤四中得到的聚类结果由检测模块回归得到目标物体的三维检测框。
2.根据权利要求1所述的一种三维点云的物体检测方法，其特征在于，所述的点云采集模块利用三维扫描设备获取点云信息。
3.根据权利要求1所述的一种三维点云的物体检测方法，其特征在于，所述的点云预处理模块对点云进行降采样操作得到N个点云，并对N个点云进行规范操作使点云进行对齐。
CN202110900201.7A 2021-08-06 2021-08-06 一种三维点云的物体检测方法 Active CN113723468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110900201.7A CN113723468B (zh) 2021-08-06 2021-08-06 一种三维点云的物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110900201.7A CN113723468B (zh) 2021-08-06 2021-08-06 一种三维点云的物体检测方法

Publications (2)

Publication Number Publication Date
CN113723468A CN113723468A (zh) 2021-11-30
CN113723468B true CN113723468B (zh) 2023-08-04

Family

ID=78675003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110900201.7A Active CN113723468B (zh) 2021-08-06 2021-08-06 一种三维点云的物体检测方法

Country Status (1)

Country Link
CN (1) CN113723468B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599808A (zh) * 2016-12-01 2017-04-26 中国科学院光电研究院 一种基于全波形激光雷达数据的隐蔽目标提取方法
CN108596910A (zh) * 2018-03-14 2018-09-28 浙江大学 一种基于单高斯模型的三维声纳点云图像分割方法
CN109816664A (zh) * 2018-12-25 2019-05-28 西安中科天塔科技股份有限公司 一种三维点云分割方法及装置
CN109993748A (zh) * 2019-03-30 2019-07-09 华南理工大学 一种基于点云处理网络的三维网格物体分割方法
CN111598946A (zh) * 2020-03-16 2020-08-28 华南理工大学 一种物体位姿测量方法、装置及存储介质
CN111723721A (zh) * 2020-06-15 2020-09-29 中国传媒大学 基于rgb-d的三维目标检测方法、系统及装置
CN111932688A (zh) * 2020-09-10 2020-11-13 深圳大学 一种基于三维点云的室内平面要素提取方法、系统及设备
CN112396068A (zh) * 2021-01-19 2021-02-23 苏州挚途科技有限公司 点云数据的处理方法、装置及电子设备
CN112529015A (zh) * 2020-12-17 2021-03-19 深圳先进技术研究院 一种基于几何解缠的三维点云处理方法、装置及设备
CN112733885A (zh) * 2020-12-23 2021-04-30 西人马帝言(北京)科技有限公司 点云识别模型的确定方法、点云识别的方法及装置
CN112991445A (zh) * 2021-03-03 2021-06-18 网易（杭州）网络有限公司 模型训练方法、姿态预测方法、装置、设备及存储介质
CN113095205A (zh) * 2021-04-07 2021-07-09 北京航空航天大学 一种基于改进霍夫投票的点云目标检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599808A (zh) * 2016-12-01 2017-04-26 中国科学院光电研究院 一种基于全波形激光雷达数据的隐蔽目标提取方法
CN108596910A (zh) * 2018-03-14 2018-09-28 浙江大学 一种基于单高斯模型的三维声纳点云图像分割方法
CN109816664A (zh) * 2018-12-25 2019-05-28 西安中科天塔科技股份有限公司 一种三维点云分割方法及装置
CN109993748A (zh) * 2019-03-30 2019-07-09 华南理工大学 一种基于点云处理网络的三维网格物体分割方法
CN111598946A (zh) * 2020-03-16 2020-08-28 华南理工大学 一种物体位姿测量方法、装置及存储介质
CN111723721A (zh) * 2020-06-15 2020-09-29 中国传媒大学 基于rgb-d的三维目标检测方法、系统及装置
CN111932688A (zh) * 2020-09-10 2020-11-13 深圳大学 一种基于三维点云的室内平面要素提取方法、系统及设备
CN112529015A (zh) * 2020-12-17 2021-03-19 深圳先进技术研究院 一种基于几何解缠的三维点云处理方法、装置及设备
CN112733885A (zh) * 2020-12-23 2021-04-30 西人马帝言(北京)科技有限公司 点云识别模型的确定方法、点云识别的方法及装置
CN112396068A (zh) * 2021-01-19 2021-02-23 苏州挚途科技有限公司 点云数据的处理方法、装置及电子设备
CN112991445A (zh) * 2021-03-03 2021-06-18 网易（杭州）网络有限公司 模型训练方法、姿态预测方法、装置、设备及存储介质
CN113095205A (zh) * 2021-04-07 2021-07-09 北京航空航天大学 一种基于改进霍夫投票的点云目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于K近邻卷积神经网络的点云模型识别与分类;于挺;杨军;;激光与光电子学进展(第10期);355-363 *

Also Published As

Publication number Publication date
CN113723468A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN110322453B (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN107169117B (zh) 一种基于自动编码器和dtw的手绘图人体运动检索方法
CN112085072B (zh) 基于时空特征信息的草图检索三维模型的跨模态检索方法
CN107680116A (zh) 一种监测视频图像中运动目标的方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN112905828B (zh) 一种结合显著特征的图像检索器、数据库及检索方法
CN110942110A (zh) 一种三维模型的特征提取方法和装置
CN113408584A (zh) Rgb-d多模态特征融合3d目标检测方法
CN103679740B (zh) 一种无人机对地目标roi提取方法
CN113450269A (zh) 一种基于3d视觉的点云关键点提取方法
CN112785636A (zh) 一种多尺度增强式的单目深度估计方法
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN116758419A (zh) 针对遥感图像的多尺度目标检测方法、装置和设备
CN113723468B (zh) 一种三维点云的物体检测方法
CN110738194A (zh) 一种基于点云有序编码的三维物体识别方法
CN115830375A (zh) 点云分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant