CN112183330A - 基于点云的目标检测方法 - Google Patents

基于点云的目标检测方法 Download PDF

Info

Publication number
CN112183330A
CN112183330A CN202011036882.9A CN202011036882A CN112183330A CN 112183330 A CN112183330 A CN 112183330A CN 202011036882 A CN202011036882 A CN 202011036882A CN 112183330 A CN112183330 A CN 112183330A
Authority
CN
China
Prior art keywords
point
points
feature
candidate
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011036882.9A
Other languages
English (en)
Other versions
CN112183330B (zh
Inventor
刘博�
王瑜
周付根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011036882.9A priority Critical patent/CN112183330B/zh
Publication of CN112183330A publication Critical patent/CN112183330A/zh
Application granted granted Critical
Publication of CN112183330B publication Critical patent/CN112183330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于点云的目标检测方法，方法包括：采用最远点取样FPS对点云采样得到点的集合A；采用第一PointSIFT网络提取集合A的特征集合B；根据特征集合B，将集合A中的点分为前景点和背景点；对每一个前景点回归一个三维候选框，组成第一候选框集合C1；采用NMS算法抑制噪声，合并置信度高的候选框，组成第二候选框集合C2；将集合C2中所有候选框内的点池化并转换到规范坐标，得到集合D；将集合D与集合B作为第二PointSIFT网络的输入，提取集合D中置信度高于第三阈值的候选框作为目标。相比于现有技术，本发明方案采用PointSIFT进行特征提取，以捕捉不同方向的局部特征，引入NMS算法来减少噪声点和离群点的影响，减少了目标检测的计算量，也提高了准确度。

Description

基于点云的目标检测方法
技术领域
本发明涉及三维点云处理领域，特别是涉及一种基于点云的目标检测方法。
背景技术
基于三维点云的目标检测广泛应用于自动驾驶领域，是感知道路场景中车辆及其他障碍物的关键技术之一。目前，自动驾驶领域场景感知的硬件系统主要有摄像头，毫米波雷达，激光雷达，超声波探测器。激光雷达通过发射激光束，然后接受来自目标的返回激光束，根据时间差测量障碍物目标与传感器器之间的距离，获得的点云数据能较好的还原目标的结构信息，且具有测量精度高、测距范围广、受光照、天气影响小等优点，被广泛配备在无人驾驶汽车上，使基于激光的三维点云数据的目标检测算法受到了广泛关注。
近年来，深度学习开始广范应用于图像的目标检测领域，其通过学习深度非线性网络结构来表征输入数据并实现复杂的函数逼近。在道路环境车辆无人驾驶等应用场景下，不仅需要获得车辆等目标的位置及三维尺寸信息，还需要获得目标物体在三维空间中的旋转角等数据。激光点云数据具有稀疏性、无序性，如何将不规则的点云数据，与深度学习结合是现有技术中研究的热点。
2017年Charles R.Qi等人提出的PointNet首先将深度学习应用于三维点云数据，直接使用点云数据作为神经网络的输入，提取点云数据的特征，可以较好地完成分类、部件分割以及大场景语义分割等应用任务。针对三维点云无序性的特点，PointNet通过MaxPooling对称函数提取三维点云中每个点的特征，可以较好的获得全局特征。为了保证点云数据的旋转和平移不变性，PointNet训练了小型神经网络STN，通过点云的位置信息学习到一个最有利于网络进行分类或分割的旋转矩阵，对激光点云数据的调整，从而实现数据对齐。但PointNet网络在提取特征时只考虑了逐点特征以及全局特征，没有局部结构信息，此外实际场景中的点云是疏密不同的，而PointNet对点云进行了均匀采样，因此在实际应用时准确率较低。在现有工程实践中，一系列新的网络模型大多延续了PointNet，因此难以缓解其技术上的不足，使得检测结果不佳。
鉴于此，本发明提出一种基于点云的目标检测方法，使用PointSIFT代替PointNet作为特征提取网络，引入NMS算法以抑制噪声目标，提高目标检测的准确率。
发明内容
本发明的目的在于提供一种基于点云的目标检测方法，包括：采用最远点取样FPS对点云采样得到点的集合A；采用第一PointSIFT网络提取集合A的特征集合B；根据特征集合B，将集合A中的点分为前景点和背景点；对每一个前景点回归一个三维候选框，组成第一候选框集合C1；采用NMS算法剔除集合C1中置信度分数低于第一阈值的候选框，合并集合C1中置信度高于第二阈值的候选框，组成第二候选框集合C2；将集合C2中所有候选框内的点池化并转换到规范坐标，得到集合D；将集合D与集合B作为第二PointSIFT网络的输入，提取集合D中置信度高于第三阈值的候选框作为目标。
进一步地，采用第一PointSIFT网络提取集合A的特征集合B的步骤，包括：将集合A中的点P0的邻域划分为8个分区；在8个分区半径为r的区域内寻找P0的最近邻点集合，最近邻点集合构成特征向量V，对特征向量V沿X、Y、Z轴上进行三阶段卷积，得到特征点f0，f0为特征集合B1中的元素；遍历计算集合A中点的特征点，构成特征集合B1；改变半径r若干次，计算得到若干特征集合B1；若干特征集合B1卷积后得到特征集合B。
进一步地，对每一个前景点回归一个三维候选框的步骤，包括：预测三维候选框的中心点位置、尺寸和方向这7维数据；在二维平面划分若干固定大小的区间，判断中心点位置属于哪个区间，采用交叉熵损失函数来计算损失；三维候选框的尺寸和方向采用L1损失函数来进行回归。
进一步地，还包括：根据三维候选框与传感器距离，调整三维候选框置信度，以保留距传感器较近的三维候选框。
进一步地，还包括：根据三维候选框与传感器距离，采用不同参数的NMS算法。
进一步地，还包括：在集合D中的点加入与传感器的距离信息，以补偿点云深度信息。
本发明的有益效果如下：
本发明提供的技术方案可以包括以下有益效果：采用PointSIFT进行特征提取，以捕捉不同方向的局部特征信息。在距离传感器不同位置设置不同数量的三维候选框，引入了NMS算法来减少噪声点和离群点的影响，减少了目标检测的计算量，也提高了检测准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一种实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于点云的目标检测方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
图1是本发明实施例一种基于点云的目标检测方法流程示意图，如图1所示，该方法包括如下7个步骤。
步骤S101：采用最远点取样对点云采样。具体地，采用最远点取样FPS对点云采样得到点的集合A。
需要进行说明的是，最远点取样FPS将场景中的点进行采样，使得获取场景中点的个数为固定值。FPS不断迭代地选择距离已有采样点集合的最远点，使得采样点尽可能覆盖空间中的所有点。
步骤S102：采用第一PointSIFT网络提取特征。具体地，将集合A中的点P0的邻域划分为8个分区；在8个分区半径为r的区域内寻找P0的最近邻点集合，最近邻点集合构成特征向量V，对特征向量V沿X、Y、Z轴上进行三阶段卷积，得到特征点f0，f0为特征集合B1中的元素；遍历计算集合A中点的特征点，构成特征集合B1；改变半径r若干次，计算得到若干特征集合B1；若干特征集合B1卷积后得到特征集合B。
在一个具体的实施例中，集合A中每个点的维度均为d维，则特征向量V的维度为2×2×2×d，则沿X、Y、Z轴上进行三阶段卷积的计算公式如下：
Vx＝g(Conv(Wx,V))∈R1×2×2×d
Vxy＝g(Conv(Wy,Vx))∈R1×1×2×d
Vxyz＝g(Conv(Wz,Vxy))∈R1×1×1×d
其中，令g(·)＝ReLU(·)，即激活函数层，Wx、Wy、Wz分别为三个轴方向的卷积核，其中Vxyz即为特征点f0。
步骤S103：划分前景点和背景点。具体地，根据特征集合B，将集合A中的点分为前景点和背景点。
在一个可选的实施例中，使用Focal Loss损失函数来判定其为前前景还是背景点。使用该损失函数是为了减少容易分类的样本的权重，将权重尽量集中于难分类样本上。
步骤S104：将前景点回归三维候选框。具体地，对每一个前景点回归一个三维候选框的步骤，包括：预测三维候选框的中心点位置、尺寸和方向这7维数据；在二维平面划分若干固定大小的区间，判断中心点位置属于哪个区间，采用交叉熵损失函数来计算损失；三维候选框的尺寸和方向采用L1损失函数来进行回归。需要进行说明的是，三维候选框的中心点位置和尺寸均为3维数据，方向仅考虑水平方向的偏航角，因此三维候选框的数据维度为7维。
步骤S105：采用NMS算法优选候选框。具体地，对每一个前景点回归一个三维候选框，组成第一候选框集合C1；采用NMS算法剔除集合C1中置信度分数低于第一阈值的候选框，合并集合C1中置信度高于第二阈值的候选框，组成第二候选框集合C2。
在一个可选的实施例中，根据三维候选框与传感器距离，调整三维候选框置信度，以保留距传感器较近的三维候选框。
在另一个可选的实施例中，根据三维候选框与传感器距离，采用不同参数的NMS算法。需要进行说明的是，NMS算法可以抑制局部的非极大值噪声。
步骤S106：转换到规范坐标。具体地，将集合C2中所有候选框内的点池化并转换到规范坐标，得到集合D。需要进行说明的是，池化是深度学习领域的公知常识，表示降采样。
步骤S107：提取目标。具体地，将集合D与集合B作为第二PointSIFT网络的输入，提取集合D中置信度高于第三阈值的候选框作为目标。
在一个可选的实施例中，在集合D中的点加入与传感器的距离信息，以补偿点云深度信息。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种基于点云的目标检测方法，其特征在于，包括：
采用最远点取样FPS对点云采样得到点的集合A；
采用第一PointSIFT网络提取集合A的特征集合B；
根据所述特征集合B，将所述集合A中的点分为前景点和背景点；
对每一个所述前景点回归一个三维候选框，组成第一候选框集合C1；
采用NMS算法剔除所述集合C1中置信度分数低于第一阈值的候选框，合并所述集合C1中置信度高于第二阈值的候选框，组成第二候选框集合C2；
将所述集合C2中所有候选框内的点池化并转换到规范坐标，得到集合D；
将所述集合D与集合B作为第二PointSIFT网络的输入，提取所述集合D中置信度高于第三阈值的候选框作为目标。
2.根据权利要求1所述的方法，其特征在于，所述采用第一PointSIFT网络提取集合A的特征集合B的步骤，包括：
将所述集合A中的点P0的邻域划分为8个分区；
在所述8个分区半径为r的区域内寻找P0的最近邻点集合，所述最近邻点集合构成特征向量V，对所述特征向量V沿X、Y、Z轴上进行三阶段卷积，得到特征点f0，所述f0为特征集合B1中的元素；
遍历计算所述集合A中点的特征点，构成所述特征集合B1；
改变所述半径r若干次，计算得到若干所述特征集合B1；
所述若干所述特征集合B1卷积后得到特征集合B。
3.根据权利要求1所述的方法，其特征在于，所述对每一个前景点回归一个三维候选框的步骤，包括：
预测所述三维候选框的中心点位置、尺寸和方向这7维数据；
在二维平面划分若干固定大小的区间，判断所述中心点位置属于哪个区间，采用交叉熵损失函数来计算损失；
所述三维候选框的尺寸和方向采用L1损失函数来进行回归。
4.根据权利要求1所述的方法，其特征在于，还包括：
根据所述三维候选框与传感器距离，调整所述三维候选框置信度，以保留距传感器较近的三维候选框。
5.根据权利要求4所述的方法，其特征在于，还包括：
根据所述三维候选框与传感器距离，采用不同参数的NMS算法。
6.根据权利要求1所述的方法，其特征在于，还包括：
在所述集合D中的点加入与传感器的距离信息，以补偿所述点云深度信息。
CN202011036882.9A 2020-09-28 2020-09-28 基于点云的目标检测方法 Active CN112183330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011036882.9A CN112183330B (zh) 2020-09-28 2020-09-28 基于点云的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011036882.9A CN112183330B (zh) 2020-09-28 2020-09-28 基于点云的目标检测方法

Publications (2)

Publication Number Publication Date
CN112183330A true CN112183330A (zh) 2021-01-05
CN112183330B CN112183330B (zh) 2022-06-28

Family

ID=73944416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011036882.9A Active CN112183330B (zh) 2020-09-28 2020-09-28 基于点云的目标检测方法

Country Status (1)

Country Link
CN (1) CN112183330B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284163A (zh) * 2021-05-12 2021-08-20 西安交通大学 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN113591734A (zh) * 2021-08-03 2021-11-02 中国科学院空天信息创新研究院 一种基于改进nms算法的目标检测方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075290A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN110032962A (zh) * 2019-04-03 2019-07-19 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075290A1 (en) * 2016-09-09 2018-03-15 Microsoft Technology Licensing, Llc Object detection based on joint feature extraction
CN109635685A (zh) * 2018-11-29 2019-04-16 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN110032962A (zh) * 2019-04-03 2019-07-19 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
CN111242041A (zh) * 2020-01-15 2020-06-05 江苏大学 基于伪图像技术的激光雷达三维目标快速检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MINGYANG JIANG等: "PointSIFT:A SIFT-like Network Module for 3D Point Cloud Semantic Segmentation", 《COMPUTER SCIENCE》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284163A (zh) * 2021-05-12 2021-08-20 西安交通大学 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN113284163B (zh) * 2021-05-12 2023-04-07 西安交通大学 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN113591734A (zh) * 2021-08-03 2021-11-02 中国科学院空天信息创新研究院 一种基于改进nms算法的目标检测方法
CN113591734B (zh) * 2021-08-03 2024-02-20 中国科学院空天信息创新研究院 一种基于改进nms算法的目标检测方法
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112183330B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN108983219B (zh) 一种交通场景的图像信息和雷达信息的融合方法及系统
CN112183330B (zh) 基于点云的目标检测方法
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
Wang et al. A point cloud-based robust road curb detection and tracking method
CN111222395B (zh) 目标检测方法、装置与电子设备
WO2020048285A1 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
CN112149550B (zh) 一种基于多传感器融合的自动驾驶车辆3d目标检测方法
CN113192091B (zh) 一种基于激光雷达与相机融合的远距离目标感知方法
WO2022151664A1 (zh) 一种基于单目摄像头的3d物体检测方法
CN113284163A (zh) 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
EP4047565A1 (en) Low level sensor fusion based on lightweight semantic segmentation of 3d point clouds
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Popov et al. Nvradarnet: Real-time radar obstacle and free space detection for autonomous driving
EP3389009A1 (en) Image processing device, object recognition device, apparatus control system, image processing method and program
CN116310673A (zh) 一种基于点云与图像特征融合的三维目标检测方法
CN115424233A (zh) 基于信息融合的目标检测方法以及目标检测装置
EP4064127A1 (en) Methods and electronic devices for detecting objects in surroundings of a self-driving car
Dimitrievski et al. Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN116758506A (zh) 一种基于点云和图像融合的三维车辆检测方法
Cheng et al. G-Fusion: LiDAR and Camera Feature Fusion on the Ground Voxel Space
CN116466320A (zh) 目标检测方法及装置
WO2018143278A1 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN116189138A (zh) 一种基于车路协同的视野盲区行人检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant