CN109784333B - 基于点云带权通道特征的三维目标检测方法及系统 - Google Patents

基于点云带权通道特征的三维目标检测方法及系统 Download PDF

Info

Publication number
CN109784333B
CN109784333B CN201910059002.0A CN201910059002A CN109784333B CN 109784333 B CN109784333 B CN 109784333B CN 201910059002 A CN201910059002 A CN 201910059002A CN 109784333 B CN109784333 B CN 109784333B
Authority
CN
China
Prior art keywords
point cloud
loss
box
angle
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910059002.0A
Other languages
English (en)
Other versions
CN109784333A (zh
Inventor
赵鑫
黄凯奇
刘哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201910059002.0A priority Critical patent/CN109784333B/zh
Priority to US16/968,573 priority patent/US11488308B2/en
Priority to PCT/CN2019/083372 priority patent/WO2020151109A1/zh
Publication of CN109784333A publication Critical patent/CN109784333A/zh
Application granted granted Critical
Publication of CN109784333B publication Critical patent/CN109784333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于点云带权通道特征的三维目标检测方法及系统，所述检测方法包括：通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；基于各目标物，在对应的三维点云空间中确定点云视锥；基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测。本发明通过深度卷积神经网络能够更准确的学习到图像的特征；基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，可降低不重要点的特征降的权重，增加关键点的权重，从而可抑制干扰点，并增强关键点，从而可提高3D Box参数的精度。

Description

基于点云带权通道特征的三维目标检测方法及系统
技术领域
本发明涉及计算机视觉，图像处理技术领域，特别涉及一种基于点云带权通道特征的三维目标检测方法及系统。
背景技术
基于点云的三维目标检测在无人驾驶中属于一个非常重要的任务。要求输入点云数据，有时可能还需要输入对应的RGB的图像数据，然后输出3D Box的参数。
一般来说，首先需要对三维点云进行栅格化，然后在每个栅格中使用三维卷积操作提取点云的特征，但是三维卷积操作在大场景中是非常消耗计算量的，这样会导致很难应用到真实场景中。通过观察，发现真实场景中的点云是十分稀疏的。
一般来说，在无人驾驶传感器输出的3D数据通常都是以点云的形式存储的。三维点云分割是真实场景中对三维目标检测中的关键，好的分割效果会提高的三维目标检测的性能。
3D Box的估计是三维目标检测的最后一步，也是十分重要的一步。由于分割效果不可能完全准确无误，在这些点云中或多或少的存在一些干扰点，这会对最后的3D Box产生负面的影响。
发明内容
为了解决现有技术中的上述问题，即为了降低点云中的干扰，本发明提供一种基于点云带权通道特征的三维目标检测方法及系统。
为解决上述技术问题，本发明提供了如下方案：
一种基于点云带权通道特征的三维目标检测方法，所述检测方法包括：
通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；
基于各目标物，在对应的三维点云空间中确定点云视锥；
基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；
基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测。
可选的，通过以下公式，得到多个目标物：
x,y,w,h＝Net(I)；
其中，I表示的是二维图像，Net表示的是深度卷积神经网络；每个目标物的位置可以用一个2D Box的中心点坐标(x,y)，长h，宽w表示。
可选的，所述基于各目标物，在对应的三维点云空间中确定点云视锥，具体包括：
将在Lidar传感器坐标系上的点xvel转换为摄像机的坐标系上的点xcam：
Figure BDA0001953507350000021
其中，
Figure BDA0001953507350000022
是坐标系的变换矩阵；
将摄像机的坐标系上的点xcam投影到二维图像上的像素点ximg：
ximg＝Pxcam；
其中，P表示相机坐标系到二维图像坐标系的投影矩阵；
根据各目标物，确定所有投影到目标物上点云，所有投影到目标物上点云为所述点云视锥。
可选的，所述基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云，具体包括：
基于点云的分割网络，计算视锥中的点云属于感兴趣点的概率：
pi＝f(xi,θ)；
其中，xi表示视锥中的第i个点云，θ表示的是网络训练的参数，pi表示第i个点云xi属于感兴趣点的概率，f表示基于点云分割的网络；
根据各点云属于感兴趣点的概率与设定的概率阈值，确定获得感兴趣的点云。
可选的，所述根据各点云属于感兴趣点的概率与设定的概率阈值，确定获得感兴趣的点云，具体包括：
如果点云属于感兴趣点的概率大于0.5，则判断为该点云感兴趣的点云，否则为非感兴趣点：
Figure BDA0001953507350000031
其中，Maski表示的是第i个点云的掩码，其取值为1或者0。
可选的，所述对视锥中的点云进行分割的过程中，产生分割损失：
交叉熵损失函数：
Figure BDA0001953507350000032
其中，y,y*分别代表的是真实类别以及预测的结果；
分割损失：
Lseg＝Entropy_Loss(y,y*)。
可选的，所述3D Box的参数包括中心、尺寸、角度及角点，
所述基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，具体包括：
基于带权通道特征的网络，计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失；
根据所述分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失，计算总的损失函数；
根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数。
可选的，分别根据以下公式，分别计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失：
Hingle损失函数：
Figure BDA0001953507350000041
(1)中心损失：
Lcenter＝Hingleδ＝2.0(x)；
(2)3D Box的尺寸分类损失：
Lsize-cls＝Entropy_Loss(y,y*)；
(3)3D Box的残差尺寸回归损失：
Lsize-reg＝Hingleδ＝1.0(x)；
(4)3D Box的角度的分类损失：
Langle-cls＝Entropy_Loss(y,y*)；
(5)3D Box的残差角度的回归损失：
Figure BDA0001953507350000051
其中，S表示的是3D Box尺寸模板的数目，m＝1,2,…S，H表示的是3D Box方向角模板的数目，n＝1,2,…,H；
(6)3D Box的8个角点的角点损失：
Figure BDA0001953507350000052
其中，
Figure BDA0001953507350000053
表示的是第k个角点中的第i个尺寸模板第j个方向角模板的真实坐标，
Figure BDA0001953507350000054
是预测出的第k个角点坐标，
Figure BDA0001953507350000055
是对3D Box绕着竖直方向旋转了180度后的角点坐标；δij表示的是第i个尺寸第j个方向模板的真实标签。
可选的，根据以下公式，计算总的损失函数L：
L＝Lseg+λ(Lcenter+Lsize-reg+Lsize-cls+Langle-reg+Langle-cls)+γLcorner；
其中，λ表示3D Box的中心，角度以及尺寸损失权重，γ表示的是角点损失的权重。
为解决上述技术问题，本发明还提供了如下方案：
一种基于点云带权通道特征的三维目标检测系统，所述检测系统包括：
提取单元，用于通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；
确定单元，用于基于各目标物，在对应的三维点云空间中确定点云视锥；
分割单元，用于基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；
估计单元，用于基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测。
根据本发明的实施例，本发明公开了以下技术效果：
本发明通过预训练的深度卷积神经网络对二维图像中的目标进行提取，能够更准确的学习到图像的特征；基于点云的分割网络，对视锥中的点云进行分割，并基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，可降低不重要点的特征降的权重，增加关键点的权重，从而可抑制干扰点，并增强关键点，从而可提高3D Box参数的精度。
附图说明
图1是本发明基于点云带权通道特征的三维目标检测方法的流程图；
图2是本发明基于点云带权通道特征的三维目标检测系统的模块结构示意图。
符号说明：
提取单元—1，确定单元—2，分割单元—3，估计单元—4。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是提供一种基于点云带权通道特征的三维目标检测方法，通过预训练的深度卷积神经网络对二维图像中的目标进行提取，能够更准确的学习到图像的特征；基于点云的分割网络，对视锥中的点云进行分割，并基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，可降低不重要点的特征降的权重，增加关键点的权重，从而可抑制干扰点，并增强关键点，从而可提高3D Box参数的精度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明基于点云带权通道特征的三维目标检测方法包括：
步骤100：通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物。
步骤200：基于各目标物，在对应的三维点云空间中确定点云视锥。
步骤300：基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云。
步骤400：基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测。
在步骤100中，根据以下公式计算得到多个目标物：
x,y,w,h＝Net(I)；
其中，I表示的是二维图像，Net表示的是深度卷积神经网络；每个目标物的位置可以用一个2D Box的中心点坐标(x,y)，长h，宽w表示。
在步骤200中，所述基于各目标物，在对应的三维点云空间中确定点云视锥，具体包括：
步骤201：将在Lidar传感器坐标系上的点xvel转换为摄像机的坐标系上的点xcam：
Figure BDA0001953507350000081
其中，
Figure BDA0001953507350000082
是坐标系的变换矩阵。
步骤202：将摄像机的坐标系上的点xcam投影到二维图像上的像素点ximg：
ximg＝Pxcam；
其中，P表示相机坐标系到二维图像坐标系的投影矩阵。
步骤203：根据各目标物，确定所有投影到目标物上点云，所有投影到目标物上点云为所述点云视锥。
通过步骤201-步骤203，建立Lidar传感器中的点云与二维图像中目标物之间的联系。那么便可以找出所有投影到目标物上点云，即为所需要的点云视锥。
在步骤300中，所述基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云，具体包括：
步骤301：基于点云的分割网络，计算视锥中的点云属于感兴趣点的概率：
pi＝f(xi,θ)；
其中，xi表示视锥中的第i个点云，θ表示的是网络训练的参数，pi表示第i个点云xi属于感兴趣点的概率，f表示基于点云分割的网络。
其中，所述分割网络(Segmentation-Network)采用是一种Conv-Deconv的对称网络结构，可准确的学习到图像的特征。
步骤302：根据各点云属于感兴趣点的概率与设定的概率阈值，确定获得感兴趣的点云。
具体地，如果点云属于感兴趣点的概率大于0.5，则判断为该点云感兴趣的点云，否则为非感兴趣点：
Figure BDA0001953507350000091
其中，Maski表示的是第i个点云的掩码，其取值为1或者0。
此外，所述对视锥中的点云进行分割的过程中，产生分割损失：
交叉熵损失函数：
Figure BDA0001953507350000092
其中，y,y*分别代表的是真实类别以及预测的结果；
分割损失：
Lseg＝Entropy_Loss(y,y*)。
在步骤400中，所述3D Box的参数包括中心、尺寸、角度及角点。
所述基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，具体包括：
步骤401：基于带权通道特征的网络，计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失。
Hingle损失函数：
Figure BDA0001953507350000093
(1)中心损失：
Lcenter＝Hingleδ＝2.0(x)；
(2)3D Box的尺寸分类损失：
Lsize-cls＝Entropy_Loss(y,y*)；
(3)3D Box的残差尺寸回归损失：
Lsize-reg＝Hingleδ＝1.0(x)；
(4)3D Box的角度的分类损失：
Langle-cls＝Entropy_Loss(y,y*)；
(5)3D Box的残差角度的回归损失：
Figure BDA0001953507350000101
其中，S表示的是3D Box尺寸模板的数目，m＝1,2,…S，H表示的是3D Box方向角模板的数目，n＝1,2,…,H；
(6)3D Box的8个角点的角点损失：
Figure BDA0001953507350000102
其中，
Figure BDA0001953507350000103
表示的是第k个角点中的第i个尺寸模板第j个方向角模板的真实坐标，
Figure BDA0001953507350000104
是预测出的第k个角点坐标，
Figure BDA0001953507350000105
是对3D Box绕着竖直方向旋转了180度后的角点坐标；δij表示的是第i个尺寸第j个方向模板的真实标签。
步骤402：根据所述分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失，计算总的损失函数。
根据以下公式，计算总的损失函数L：
L＝Lseg+λ(Lcenter+Lsize-reg+Lsize-cls+Langle-reg+Langle-cls)+γLcorner；
其中，λ表示3D Box的中心，角度以及尺寸损失权重，γ表示的是角点损失的权重。
相对于现有技术，本发明具有如下几个显著优点：1)由于本方法使用了Lidar和Image，且二者之间的特征可以达到很好的互补效果，因此在一些小物体上检测的效果较好；2)该算法可以直接对所有类别的物体进行检测，并不需要针对不同的类别训练出不同的模型，因此本方法具有通用性；3)该算法考虑到了不同通道特征之间权重，抑制不重要的特征，并增强关键的特征，从而能够更有效的提取点云的特征。
本发明还提供一种基于点云带权通道特征的三维目标检测系统，可降低点云中的干扰。
如图2所示，本发明基于点云带权通道特征的三维目标检测包括提取单元1、确定单元2、分割单元3及估计单元4。
所述提取单元1用于通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物。
所述确定单元2用于基于各目标物，在对应的三维点云空间中确定点云视锥。
所述分割单元3用于基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云。
所述估计单元4用于基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测。
相对于现有技术，本发明基于点云带权通道特征的三维目标检测系统与上述基于点云带权通道特征的三维目标检测方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于点云带权通道特征的三维目标检测方法，其特征在于，所述检测方法包括：
通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；
基于各目标物，在对应的三维点云空间中确定点云视锥；
基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；
基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测；所述3D Box的参数包括中心、尺寸、角度及角点；
“基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数”具体包括：
基于带权通道特征的网络，计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失；
根据视锥中点云分割产生的分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失，计算总的损失函数；
根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数；
所述总的损失函数为：
L＝Lseg+λ(Lcenter+Lsize-reg+Lsize-cls+Langle-reg+Langle-cls)+γLcorner
Lcenter＝Hingleδ＝2.0(x)
Lsize-reg＝Hingleδ＝1.0(x)
Figure FDA0002962550920000021
其中，L表示总的损失函数，Lseg表示分割损失，Lcenter、Lsize-cls、Lsize-reg、Langle-cls、Langle-reg分别表示3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失，Lcorner表示3D Box的角点损失，λ表示3D Box的中心，角度以及尺寸损失权重，γ表示的是角点损失的权重，Hingle表示Hingle损失函数。
2.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法，其特征在于，通过以下公式，得到多个目标物：
x,y,w,h＝Net(I)；
其中，I表示的是二维图像，Net表示的是深度卷积神经网络；每个目标物的位置可以用一个2D Box的中心点坐标(x,y)，长h，宽w表示。
3.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法，其特征在于，所述基于各目标物，在对应的三维点云空间中确定点云视锥，具体包括：
将在Lidar传感器坐标系上的点xvel转换为摄像机的坐标系上的点xcam：
Figure FDA0002962550920000022
其中，
Figure FDA0002962550920000023
是坐标系的变换矩阵；
将摄像机的坐标系上的点xcam投影到二维图像上的像素点ximg：
ximg＝Pxcam；
其中，P表示相机坐标系到二维图像坐标系的投影矩阵；
根据各目标物，确定所有投影到目标物上点云，所有投影到目标物上点云为所述点云视锥。
4.根据权利要求1所述的基于点云带权通道特征的三维目标检测方法，其特征在于，所述基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云，具体包括：
基于点云的分割网络，计算视锥中的点云属于感兴趣点的概率：
pi＝f(xi,θ)；
其中，xi表示视锥中的第i个点云，θ表示的是网络训练的参数，pi表示第i个点云xi属于感兴趣点的概率，f表示基于点云分割的网络；
根据各点云属于感兴趣点的概率与设定的概率阈值，确定获得感兴趣的点云。
5.根据权利要求4所述的基于点云带权通道特征的三维目标检测方法，其特征在于，所述根据各点云属于感兴趣点的概率与设定的概率阈值，确定获得感兴趣的点云，具体包括：
如果点云属于感兴趣点的概率大于0.5，则判断为该点云感兴趣的点云，否则为非感兴趣点：
Figure FDA0002962550920000031
其中，Maski表示的是第i个点云的掩码，其取值为1或者0。
6.根据权利要求4所述的基于点云带权通道特征的三维目标检测方法，其特征在于，所述分割损失的获取方法为：
交叉熵损失函数：
Figure FDA0002962550920000032
其中，y,y*分别代表的是真实类别以及预测的结果；
分割损失：
Lseg＝Entropy_Loss(y,y*)。
7.根据权利要求6所述的基于点云带权通道特征的三维目标检测方法，其特征在于，分别根据以下公式，分别计算3D Box的尺寸分类损失、角度的分类损失、残差角度的回归损失、角点损失：
(1)3D Box的尺寸分类损失：
Lsize-cls＝Entropy_Loss(y,y*)；
(2)3D Box的角度的分类损失：
Langle-cls＝Entropy_Loss(y,y*)；
(3)3D Box的残差角度的回归损失：
Figure FDA0002962550920000041
(4)角点损失：
Figure FDA0002962550920000042
其中，S表示的是3D Box尺寸模板的数目，m＝1,2,…S，H表示的是3D Box方向角模板的数目，n＝1,2,…,H，
Figure FDA0002962550920000043
表示的是第k个角点中的第i个尺寸模板第j个方向角模板的真实坐标，
Figure FDA0002962550920000044
是预测出的第k个角点坐标，
Figure FDA0002962550920000045
是对3D Box绕着竖直方向旋转了180度后的角点坐标；δij表示的是第i个尺寸第j个方向模板的真实标签，i、j表示下标。
8.一种基于点云带权通道特征的三维目标检测系统，其特征在于，所述检测系统包括：
提取单元，用于通过预训练的深度卷积神经网络对二维图像中的目标进行提取，得到多个目标物；
确定单元，用于基于各目标物，在对应的三维点云空间中确定点云视锥；
分割单元，用于基于点云的分割网络，对视锥中的点云进行分割，获得感兴趣的点云；
估计单元，用于基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数，进行三维目标检测；所述3D Box的参数包括中心、尺寸、角度及角点；
“基于带权通道特征的网络，对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数”具体包括：
基于带权通道特征的网络，计算3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失；
根据视锥中点云分割产生的分割损失、3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失及角点损失，计算总的损失函数；
根据所述总的损失函数对感兴趣的点云进行3D Box的参数估计，得到3D Box的参数；
所述总的损失函数为：
L＝Lseg+λ(Lcenter+Lsize-reg+Lsize-cls+Langle-reg+Langle-cls)+γLcorner
Lcenter＝Hingleδ＝2.0(x)
Lsize-reg＝Hingleδ＝1.0(x)
Figure FDA0002962550920000051
其中，L表示总的损失函数，Lseg表示分割损失，Lcenter、Lsize-cls、Lsize-reg、Langle-cls、Langle-reg分别表示3D Box的中心损失、尺寸分类损失、残差尺寸回归损失、角度的分类损失、残差角度的回归损失，Lcorner表示3D Box的角点损失，λ表示3D Box的中心，角度以及尺寸损失权重，γ表示的是角点损失的权重，Hingle表示Hingle损失函数。
CN201910059002.0A 2019-01-22 2019-01-22 基于点云带权通道特征的三维目标检测方法及系统 Active CN109784333B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910059002.0A CN109784333B (zh) 2019-01-22 2019-01-22 基于点云带权通道特征的三维目标检测方法及系统
US16/968,573 US11488308B2 (en) 2019-01-22 2019-04-19 Three-dimensional object detection method and system based on weighted channel features of a point cloud
PCT/CN2019/083372 WO2020151109A1 (zh) 2019-01-22 2019-04-19 基于点云带权通道特征的三维目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910059002.0A CN109784333B (zh) 2019-01-22 2019-01-22 基于点云带权通道特征的三维目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN109784333A CN109784333A (zh) 2019-05-21
CN109784333B true CN109784333B (zh) 2021-09-28

Family

ID=66501094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910059002.0A Active CN109784333B (zh) 2019-01-22 2019-01-22 基于点云带权通道特征的三维目标检测方法及系统

Country Status (3)

Country Link
US (1) US11488308B2 (zh)
CN (1) CN109784333B (zh)
WO (1) WO2020151109A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232599B2 (en) * 2019-07-11 2022-01-25 Tencent America LLC Method and apparatus for inter-channel prediction and transform for point cloud attribute coding
CN110490917A (zh) * 2019-08-12 2019-11-22 北京影谱科技股份有限公司 三维重建方法及装置
CN110728172B (zh) * 2019-08-23 2022-10-18 北京迈格威科技有限公司 基于点云的人脸关键点检测方法、装置、系统及存储介质
CN110706288A (zh) * 2019-10-10 2020-01-17 上海眼控科技股份有限公司 目标检测的方法、装置、设备及可读存储介质
CN112686831B (zh) * 2019-10-17 2024-06-14 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的检测方法
CN110909623B (zh) * 2019-10-31 2022-10-04 南京邮电大学 三维目标检测方法及三维目标检测器
CN111145174B (zh) * 2020-01-02 2022-08-09 南京邮电大学 基于图像语义特征进行点云筛选的3d目标检测方法
CN112053396A (zh) * 2020-09-11 2020-12-08 舟山市质量技术监督检测研究院 一种船舶舱容积测量方法、装置、计算机设备及存储介质
US11494927B2 (en) 2020-09-15 2022-11-08 Toyota Research Institute, Inc. Systems and methods for self-supervised depth estimation
US11615544B2 (en) 2020-09-15 2023-03-28 Toyota Research Institute, Inc. Systems and methods for end-to-end map building from a video sequence using neural camera models
US11508080B2 (en) 2020-09-15 2022-11-22 Toyota Research Institute, Inc. Systems and methods for generic visual odometry using learned features via neural camera models
US11321862B2 (en) 2020-09-15 2022-05-03 Toyota Research Institute, Inc. Systems and methods for multi-camera modeling with neural camera networks
US11747164B2 (en) * 2021-01-13 2023-09-05 GM Global Technology Operations LLC Methods for multi-dimensional lane matching for autonomous vehicle localization
CN112562093B (zh) * 2021-03-01 2021-05-18 湖北亿咖通科技有限公司 目标检测方法、电子介质和计算机存储介质
CN113052835B (zh) * 2021-04-20 2024-02-27 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN112862730B (zh) * 2021-04-26 2021-07-27 深圳大学 点云特征增强方法、装置、计算机设备和存储介质
CN113095324A (zh) * 2021-04-28 2021-07-09 合肥工业大学 一种针对锥桶的分类与测距方法及系统
CN113223091B (zh) * 2021-04-29 2023-01-24 达闼机器人股份有限公司 三维目标检测方法、抓取方法、装置及电子设备
CN113240038B (zh) * 2021-05-31 2024-02-09 西安电子科技大学 基于高度-通道特征增强的点云目标检测方法
CN113486887B (zh) * 2021-06-30 2023-12-22 杭州飞步科技有限公司 三维场景下的目标检测方法和装置
CN113593007B (zh) * 2021-07-07 2024-04-26 华中科技大学 一种基于变分自编码的单视图三维点云重建方法及系统
CN113627478A (zh) * 2021-07-08 2021-11-09 深圳市优必选科技股份有限公司 一种目标检测方法、目标检测装置及机器人
CN113538474B (zh) * 2021-07-12 2023-08-22 大连民族大学 基于边缘特征融合的3d点云分割目标检测系统
CN113344917B (zh) * 2021-07-28 2021-11-23 浙江华睿科技股份有限公司 一种检测方法、装置、电子设备及存储介质
CN113705631B (zh) * 2021-08-10 2024-01-23 大庆瑞昂环保科技有限公司 一种基于图卷积的3d点云目标检测方法
CN113657246B (zh) * 2021-08-13 2023-11-21 哈尔滨工程大学 一种基于自监督学习的三维点云二阶段目标检测方法
CN113706480B (zh) * 2021-08-13 2022-12-09 重庆邮电大学 一种基于关键点多尺度特征融合的点云3d目标检测方法
CN113744314B (zh) * 2021-09-06 2023-09-22 郑州海威光电科技有限公司 一种基于目标-干扰感知的目标跟踪方法
TWI786860B (zh) * 2021-10-01 2022-12-11 中華電信股份有限公司 基於點雲的物件偵測裝置和物件偵測方法
CN113920498B (zh) * 2021-10-13 2024-05-24 河北工业大学 一种基于多层特征金字塔的点云3d物体检测方法
CN114169411B (zh) * 2021-11-22 2024-08-02 哈尔滨工业大学 一种基于3d-cnn算法的三维探地雷达图像地下管线识别方法
CN114310872B (zh) * 2021-11-29 2023-08-22 杭州电子科技大学 一种基于dgg点云分割网络的机械臂自动打菜方法
CN114445850B (zh) * 2021-12-10 2024-08-20 国网甘肃省电力公司电力科学研究院 基于深度图像的电力生产人员安全监测方法
CN114327346B (zh) * 2021-12-27 2023-09-29 北京百度网讯科技有限公司 显示方法、显示装置、电子设备以及存储介质
CN114005110B (zh) * 2021-12-30 2022-05-17 智道网联科技(北京)有限公司 3d检测模型训练方法与装置、3d检测方法与装置
CN114429546A (zh) * 2022-01-21 2022-05-03 厦门大学 一种基于点击的户外激光点云交互式分割方法
CN114663879B (zh) * 2022-02-09 2023-02-21 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质
CN114820465B (zh) * 2022-04-06 2024-04-26 合众新能源汽车股份有限公司 点云检测模型训练方法、装置、电子设备及存储介质
CN114639102B (zh) * 2022-05-11 2022-07-22 珠海横琴圣澳云智科技有限公司 基于关键点与尺寸回归的细胞分割方法和装置
CN115063789B (zh) * 2022-05-24 2023-08-04 中国科学院自动化研究所 基于关键点匹配的3d目标检测方法及装置
CN115019043B (zh) * 2022-06-10 2024-07-02 华南理工大学 基于交叉注意力机制的图像点云融合三维目标检测方法
CN115082886B (zh) * 2022-07-04 2023-09-29 小米汽车科技有限公司 目标检测的方法、装置、存储介质、芯片及车辆
CN115880685B (zh) * 2022-12-09 2024-02-13 之江实验室 一种基于votenet模型的三维目标检测方法和系统
CN116188891B (zh) * 2022-12-19 2024-09-24 中国人民解放军国防科技大学 一种基于三维点云的图像生成方法和系统
CN115797736B (zh) * 2023-01-19 2023-05-09 北京百度网讯科技有限公司 目标检测模型的训练和目标检测方法、装置、设备和介质
CN116030023A (zh) * 2023-02-02 2023-04-28 泉州装备制造研究所 一种点云检测方法及系统
CN116129082B (zh) * 2023-03-06 2024-01-23 中南大学 一种面向无人货柜的TIN-NeRF新视角图像标注方法
CN116912238B (zh) * 2023-09-11 2023-11-28 湖北工业大学 基于多维识别网络级联融合的焊缝管道识别方法及系统
CN117710970B (zh) * 2024-02-05 2024-05-03 武汉互创联合科技有限公司 基于半监督算法的胚胎细胞多核目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485269A (zh) * 2016-09-28 2017-03-08 武汉大学 基于混合统计分布与多部件模型的sar图像目标检测方法
CN108053449A (zh) * 2017-12-25 2018-05-18 北京工业大学 双目视觉系统的三维重建方法、装置及双目视觉系统
CN108764080A (zh) * 2018-05-17 2018-11-06 中国电子科技集团公司第五十四研究所 一种基于点云空间二值化的无人机视觉避障方法
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3156942A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US11106947B2 (en) * 2017-12-13 2021-08-31 Canon Kabushiki Kaisha System and method of classifying an action or event
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法
US20200104715A1 (en) * 2018-09-28 2020-04-02 Xilinx, Inc. Training of neural networks by including implementation cost as an objective

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485269A (zh) * 2016-09-28 2017-03-08 武汉大学 基于混合统计分布与多部件模型的sar图像目标检测方法
CN108053449A (zh) * 2017-12-25 2018-05-18 北京工业大学 双目视觉系统的三维重建方法、装置及双目视觉系统
CN108764080A (zh) * 2018-05-17 2018-11-06 中国电子科技集团公司第五十四研究所 一种基于点云空间二值化的无人机视觉避障方法
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"3D Object Detection Using Scale Invariant and Feature Reweighting Networks";Xin Zhao等;《arXiv》;20190110;正文第1-9页 *
"Frustum PointNets for 3D Object Detection from RGB-D Data";Charles R. Qi等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20180623;第918-927页 *
"PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation";Charles R. Qi等;《2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）》;20170726;第652-660页 *
Xin Zhao等."3D Object Detection Using Scale Invariant and Feature Reweighting Networks".《arXiv》.2019, *

Also Published As

Publication number Publication date
US20210042929A1 (en) 2021-02-11
US11488308B2 (en) 2022-11-01
WO2020151109A1 (zh) 2020-07-30
CN109784333A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN109784333B (zh) 基于点云带权通道特征的三维目标检测方法及系统
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN107844750B (zh) 一种水面全景图像目标检测识别方法
CN108256394B (zh) 一种基于轮廓梯度的目标跟踪方法
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN106960446B (zh) 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN108108746B (zh) 基于Caffe深度学习框架的车牌字符识别方法
CN111640157B (zh) 一种基于神经网络的棋盘格角点检测方法及其应用
WO2020062433A1 (zh) 一种神经网络模型训练及通用接地线的检测方法
CN108961235A (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111428748A (zh) 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN109377555B (zh) 自主水下机器人前景视场三维重建目标特征提取识别方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN109886947A (zh) 基于区域的卷积神经网络的高压电线缺陷检测方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN105160686B (zh) 一种基于改进sift算子的低空多视角遥感影像匹配方法
CN111797688A (zh) 一种基于光流和语义分割的视觉slam方法
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN110443279B (zh) 一种基于轻量级神经网络的无人机图像车辆检测方法
CN113888461A (zh) 基于深度学习的小五金件缺陷检测方法、系统及设备
CN113917487A (zh) 基于激光雷达的封闭道路路沿和可行驶区域检测方法
CN103942786B (zh) 无人机可见光和红外图像的自适应团块目标检测方法
CN107871315B (zh) 一种视频图像运动检测方法和装置
CN113326734A (zh) 一种基于YOLOv5的旋转目标检测方法
CN112102379B (zh) 一种无人机多光谱影像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant