CN112418084A - 一种基于点云时序信息融合的三维目标检测方法 - Google Patents
一种基于点云时序信息融合的三维目标检测方法 Download PDFInfo
- Publication number
- CN112418084A CN112418084A CN202011317635.6A CN202011317635A CN112418084A CN 112418084 A CN112418084 A CN 112418084A CN 202011317635 A CN202011317635 A CN 202011317635A CN 112418084 A CN112418084 A CN 112418084A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- frame
- target
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 230000004927 fusion Effects 0.000 title claims abstract description 39
- 238000010586 diagram Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及本发明提供一种基于点云时序信息融合的三维目标检测方法,包括以下步骤:S1:获取当前帧点云数据;S2:通过体素特征提取网络,进行当前帧的伪图像构造;S3:将前帧先验信息和当前帧的伪图像进行融合,得到融合数据;S4:通过特征提取网络对融合数据进行特征提取;S5:基于热力图检测头进行目标定位和3D包围框回归,得到当前帧目标检测结果;S6:将当前帧目标检测结果进行空间坐标变换和过滤后,作为下一帧的前帧先验信息,与现有技术相比,本发明具有提高困难样本检测的召回率、降低误检率等优点。
Description
技术领域
本发明涉及计算机视觉与模式识别领域,尤其是涉及一种基于点云时序信息融合的三维目标检测方法。
背景技术
随着人们对驾驶时解放双手的渴望增加,自动驾驶技术受到越来越多的关注。而环境感知是自动驾驶技术最基础也是最具有挑战性的技术之一。环境感知通常由三部分组成,即目标检测、目标跟踪和轨迹预测。由此可见,目标检测任务完成的好坏,将会直接影响整个自动驾驶系统的安全性和稳定性。
伴随着最近几年人工智能的兴起,基于深度学习的目标检测方案层出不穷,并且取得了极大的成功。但是,这类研究大多还集中在图像处理领域,对于激光雷达生成的不规则的点云数据结构的研究仍然有限。目前大多数点云目标检测算法都是将单帧点云作为输入,因而,现阶段点云目标检测对于困难样本(小目标、遮挡目标等)的检测效果往往不尽如人意
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高困难样本检测的召回率、降低误检率的融合点云时序信息的三维目标检测方法,该方法有助于在不引入大量计算开销的前提下,充分利用前帧检测结果这一先验信息,从而提升当前帧目标检测的效果,尤其是提高对困难样本的检测效果。
本发明的目的可以通过以下技术方案来实现:
一种基于点云时序信息融合的三维目标检测方法,包括以下步骤:
S1:获取当前帧点云数据;
S2:通过体素特征提取网络,进行当前帧的伪图像构造;
S3:将前帧先验信息和当前帧的伪图像进行融合,得到融合数据;
S4:通过特征提取网络对融合数据进行特征提取;
S5:基于热力图检测头进行目标定位和3D包围框回归,得到当前帧目标检测结果;
S6:将当前帧目标检测结果进行空间坐标变换和过滤后,作为下一帧的前帧先验信息。
进一步地,所述的步骤S2具体包括:
S21:对当前帧点云进行体素划分,并从中提取出非空体素;
S22:基于FC全连接网络提取每个非空体素的高维特征;
S23:基于高维特征进行伪图像构造。
更进一步地,所述的步骤S21具体为:将整个L×W×H的点云按照dl×dw×dh的大小划分为若干体素,从所有体素中选出P个非空体素,建立每个非空体素在原始空间中的位置索引哈希表,并从每个非空体素中选出N个体素点,得到一个(P,N,D)维的非空体素矩阵,其中,D为每个体素点的特征数目;
所述的S22具体为:对步骤S21得到的非空体素矩阵,通过FC网络提取每个非空体素的C维高维特征,得到(P,N,C)维的矩阵,并对该(P,N,C)维的矩阵应用max-pooling池化操作得到(P,C)维的高维特征矩阵;
所述的步骤S23具体为:对步骤S22中得到的高维特征矩阵,利用步骤S21中的位置索引,映射回三维空间对应的位置上,生成(L/dl,W/dw,C)维的矩阵,即伪图像。
更进一步地,所述的步骤S21中,若所有非空体素数量大于P,则从中随机选P个;若非空体素数量小于P,则不足非空体素通过填零补充;
若非空体素中体素点的数量大于N,则从中随机选N个;若非空体素中体素点的数量小于N,则不足点通过填零补充。
进一步地,所述的步骤S3中,将前帧先验信息作为伪图像的额外通道进行拼接,实现二者的融合。
进一步地,在模型训练过程中,所述的前帧先验信息的获取方法为:
首先训练一个非时序信息融合网络,并利用该训练好的非时序信息融合网络对训练集进行检测,将每一帧的检测的结果,作为该帧对应下一帧的前帧先验信息。
进一步地,所述的特征提取网络采用CNN网络。
进一步地,所述的步骤S5具体包括:
S51:将特征提取网络提取的特征进行1×1卷积,生成热力图矩阵;
S52:通过热力图矩阵获取目标中心位置的x轴和y轴坐标;
S53:设置单独通道,通过1×1卷积分别对目标的尺寸、z轴坐标和朝向进行回归,最终得到检测目标的3D包围框。
更进一步地,所述的热力图矩阵的每个数值通过一个高斯分布渲染得到,该分布服从下式:
其中,x,y分别为热力图矩阵中任一位置的x轴坐标和y轴坐标,Y为该位置对应的数值,M为该帧点云所有目标的数目,i为该帧点云所有目标中的第i个目标,a,b分别为该目标的长和宽,xi,yi分别为该目标的中心坐标。
进一步地,所述的步骤S6具体包括:
S61:过滤当前帧目标检测结果中,距离自车大于50米的目标;
S62:将剩下的目标位置乘以坐标变换矩阵,生成所有目标在下一帧雷达坐标系下的坐标;
S63:将坐标变换后各目标坐标位置的值设置为该对应目标的检测分数,将其他位置的值设置为0,得到先验矩阵,作为下一帧的前帧先验信息。
与现有技术相比,本发明具有以下优点:
1)本发明通过本帧点云——体素特征提取——融合点云时序信息(前帧目标类别、位置、尺寸以及朝向等前帧先验信息)——基于2D CNN的特征提取网络——基于热力图的目标框提取的技术路线,在不引入大量计算开销的前提下,充分利用激光点云数据中的时序数据,将前帧先验信息与当前帧相互融合,为基于点云的三维检测提供了新思路,提高了困难样本检测的召回率、降低误检率;
2)本发明在前帧先验信息与当前帧相互融合中,提出了新的深度学习模型训练方法:为了避免模型普通训练的不收敛,在模型训练时,首先训练一个非时序信息融合网络,并利用该训练好的模型对训练集进行检测,将每一帧的检测的结果作为其下一帧的前帧先验信息进行融合,而在实际进行目标检测应用时,直接将当前帧检测结果作为其下一帧的前帧先验信息进行融合,保证前帧先验信息与当前帧相互融合能够最大程度提高困难目标检测的准确率;
3)本发明使用了基于热力图的检测头,一方面它不要进行非极大值抑制操作,另一方面,它生成的检测结果无需额外编码即可传递给下一帧使用,降低计算开销,从而提高了该方法的实时性;
4)本发明在进行帧间信息传递时,使用坐标变换,并通过距离指标对不可靠信息进行了过滤,从而避免相对静止带来的运动抵消,以及前一帧对目标的漏检或者误检对当前帧检测的误导,进一步提高困难目标检测的准确率。
附图说明
图1为本发明目标检测过程的流程示意图;
图2为本发明整体流程原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然,所描述的实施例是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都应属于本发明保护的范围。
实施例
如图1所示,本发明提供一种基于点云时序信息融合的三维目标检测方法,包括以下步骤:
S1:获取当前帧点云数据;
S2:通过体素特征提取网络,进行当前帧的伪图像构造;
S3:将前帧先验信息和当前帧的伪图像进行融合,得到融合数据;
S4:通过特征提取网络对融合数据进行特征提取;
S5:基于热力图检测头进行目标定位和3D包围框回归,得到当前帧目标检测结果;
S6:将当前帧目标检测结果进行空间坐标变换和过滤后,作为下一帧的前帧先验信息。
具体包括以下几个部分:
(1)对当前帧点云进行体素划分
将整个L×W×H的点云场景按照dl×dw×dh的大小划分为若干体素。然后从所有体素中选出P个非空体素(若所有非空体素数量大于P,则从中随机选P个;若非空体素数量小于P,则不足非空体素填零补充),同时建立每个非空体素在原始空间中的位置索引哈希表,最后从每个体素中选出N个体素点(若非空体素中的体素点数量大于N,则从中随机选N个;若非空体素中体素点的数量小于N,则不足点填零补充)。
(2)基于FC全连接网络提取每个非空体素高维特征
对上一步得到的(P,N,D)维的非空体素矩阵(其中D为每个点的特征数目)通过FC网络提取每个非空体素的C维高维特征,得到形如(P,N,C)维的矩阵,再对该矩阵应用max-pooling池化操作得到形如(P,C)维的高维特征矩阵。
(3)基于高维特征的伪图像构造
对(2)中得到的(P,C)维的高维特征矩阵,利用(1)中得到的位置索引,映射回三维空间对应的位置上,生成一张形如(L/dl,W/dw,C)的矩阵,也即一张伪图像。
(4)伪图像与前帧先验信息的特征融合
将前帧先验信息作为伪图像的额外通道进行拼接,实现二者的特征融合,得到融合数据。
前帧先验的获取在模型训练阶段和目标检测应用阶段有所不同:
模型训练时,由于模型在最开始难以“理解”之前帧先验信息,如果直接将之前帧检测结果作为本帧输入,将会导致本帧得到糟糕的检测结果,从而导致模型训练难以收敛。为避免上述问题,本发明首先训练一个非时序信息融合网络(如:PointPillars:FastEncoders for Object Detection from Point Clouds),并利用该训练好的网络对训练集进行检测,将每一帧的检测的结果作为其下一帧的前帧先验信息进行融合;
目标检测应用时,可直接将当前帧检测结果作为其下一帧的前帧先验信息进行融合即可。
(5)基于CNN对融合特征进行提取特征
将融合数据送入一个2D CNN网络。首先经过三次下采样,增加模型的感受野;再将三个尺度下的特征进行上采样,使得不同尺度的特征具有相同形状,从而对三个尺度下的特征进行拼接。
(6)基于热力图检测头的目标定位和3D包围框回归,得到目标检测结果
将卷积后的特征再进行1×1卷积,生成一张形状如(L×W)的热力图矩阵,该矩阵的每个数值通过一个高斯分布渲染得到,该分布服从下式:
其中,x,y分别为热力图矩阵中坐标为任一位置的坐标,Y为该位置对应的数值,M为该帧点云所有目标的数目,i为该帧点云所有目标中的第i个目标,a,b分别为该目标的长和宽,xi、yi分别为该目标的中心坐标。如果有两个高斯函数发生重叠,则选择元素级最大的。如果某一个元素,大于它周围另外8个元素,我们则认为对应位置为某一目标的中心位置。对于目标的其他属性(例如尺寸、z方向位置以及朝向等)则通过设置单独的通道,借助1×1卷积进行回归得到。
(7)检测结果空间坐标变换与过滤。
由于热力图中包含了目标的位置和尺寸信息,而且它的形状与伪图像相同,因此不需要进行额外的编码,就可以将热力图作为本帧的检测结果传递给下一帧,从而避免多余的计算。但是为了避免相对静止带来的运动抵消,需要将每个点的坐标乘以坐标变换矩阵,将所有目标变换到下一帧雷达坐标系中。同时为了避免传递不可靠信息给下一帧,本发明将过滤掉50米以外的不可靠目标。
整体流程如图2所示,包括以下步骤:
步骤1:将整个L×W×H的点云场景按照dl×dw×dh为单位划分为若干体素。
步骤2:从所有体素中选出P个非空体素(若所有非空体素数量大于P,则从中随机选P个;若非空体素数量小于P,则不足非空体素填零补充),同时建立每个非空体素在原始空间中的位置索引哈希表。最后从每个体素中选出N个点(若非空体素点的数量大于N,则从中随机选N个;若非空体素中点的数量小于N,则不足点填零补充)。
步骤3:对步骤2得到的(P,N,C)维的矩阵(其中C为每个点的特征数目)通过FC网络提取每个非空体素的高维特征,得到形如(P,N,C)维的矩阵。
步骤4:对步骤3得到的矩阵应用max-pooling操作得到形如(P,C)维的矩阵。
步骤5:对得到的(P,C)维的矩阵,利用位置索引,映射回三维空间对应的位置上,生成一张形如(L/dl,W/dw,C)的矩阵,也即一张伪图像。
步骤6:将前帧先验信息作为伪图像的额外通道进行拼接,实现二者的特征融合。
模型训练时,由于模型在最开始难以“理解”之前帧先验信息,如果直接将之前帧检测结果作为本帧输入,将会导致本帧得到糟糕的检测结果,从而导致模型训练难以收敛。为避免上述问题,有效的做法是:首先训练一个非时序信息融合网络(如:PointPillars:Fast Encoders for Object Detection from Point Clouds),并利用该训练好的模型对训练集进行检测,将每一帧的检测的结果作为其下一帧的前帧先验信息进行融合。
步骤7:将融合数据送入一个CNN网络。首先经过三次下采样,增加模型的感受野;再将三个尺度下的特征进行上采样,使得不同尺度的特征具有相同形状,从而对三个尺度下的特征进行拼接。
步骤8:将卷积后的特征再进行1×1卷积,生成一张形状如(L×W)的热力图矩阵,该矩阵的每个数值通过一个高斯分布渲染得到,该分布服从下式:
其中x,y为热力图矩阵中坐标为任一位置的坐标,Y为该位置对应的数值,N为该帧点云所有目标的数目,i为该帧点云所有目标中的第i个目标,a,b为该目标的长和宽,xi,yi为该目标的中心坐标。如果有两个高斯函数发生重叠,我们选择元素级最大的。如果某一个元素,大于它周围另外8个元素,我们则认为对应位置为某一目标的中心位置。对于目标的其他属性(例如尺寸、z方向位置以及朝向等)则通过设置单独的通道,借助1×1卷积进行回归得到。
步骤9:丢弃掉检测到的目标中距离自车距离大于50米的目标。
步骤10:对剩下的目标位置乘以坐标变换矩阵(坐标变换矩阵可由数据集直接得到),生成所有目标在下一帧雷达坐标系下的坐标。
步骤11:生成一个形状如(L/dl,W/dw,C+1)维的矩阵,将步骤10中得到的坐标位置取值为对应目标的检测分数,其他位置取值为0,得到的矩阵作为下帧检测的先验信息。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的工作人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于点云时序信息融合的三维目标检测方法,其特征在于,包括以下步骤:
S1:获取当前帧点云数据;
S2:通过体素特征提取网络,进行当前帧的伪图像构造;
S3:将前帧先验信息和当前帧的伪图像进行融合,得到融合数据;
S4:通过特征提取网络对融合数据进行特征提取;
S5:基于热力图检测头进行目标定位和3D包围框回归,得到当前帧目标检测结果;
S6:将当前帧目标检测结果进行空间坐标变换和过滤后,作为下一帧的前帧先验信息。
2.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,所述的步骤S2具体包括:
S21:对当前帧点云进行体素划分,并从中提取出非空体素;
S22:基于FC全连接网络提取每个非空体素的高维特征;
S23:基于高维特征进行伪图像构造。
3.根据权利要求2所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,所述的步骤S21具体为:将整个L×W×H的点云按照dl×dw×dh的大小划分为若干体素,从所有体素中选出P个非空体素,建立每个非空体素在原始空间中的位置索引哈希表,并从每个非空体素中选出N个体素点,得到一个(P,N,D)维的非空体素矩阵,其中,D为每个体素点的特征数目;
所述的S22具体为:对步骤S21得到的非空体素矩阵,通过FC网络提取每个非空体素的C维高维特征,得到(P,N,C)维的矩阵,并对该(P,N,C)维的矩阵应用max-pooling池化操作得到(P,C)维的高维特征矩阵;
所述的步骤S23具体为:对步骤S22中得到的高维特征矩阵,利用步骤S21中的位置索引,映射回三维空间对应的位置上,生成(L/dl,W/dw,C)维的矩阵,即伪图像。
4.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,所述的步骤S3中,将前帧先验信息作为伪图像的额外通道进行拼接,实现二者的融合。
5.根据权利要求4所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,在模型训练过程中,所述的前帧先验信息的获取方法为:
首先训练一个非时序信息融合网络,并利用该训练好的非时序信息融合网络对训练集进行检测,将每一帧的检测的结果,作为该帧对应下一帧的前帧先验信息。
6.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,所述的特征提取网络采用CNN网络。
7.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,所述的步骤S5具体包括:
S51:将特征提取网络提取的特征进行1×1卷积,生成热力图矩阵;
S52:通过热力图矩阵获取目标中心位置的x轴和y轴坐标;
S53:设置单独通道,通过1×1卷积分别对目标的尺寸、z轴坐标和朝向进行回归,最终得到检测目标的3D包围框。
9.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,所述的步骤S6具体包括:
S61:过滤当前帧目标检测结果中,距离自车大于50米的目标;
S62:将剩下的目标位置乘以坐标变换矩阵,生成所有目标在下一帧雷达坐标系下的坐标;
S63:将坐标变换后各目标坐标位置的值设置为该对应目标的检测分数,将其他位置的值设置为0,得到先验矩阵,作为下一帧的前帧先验信息。
10.根据权利要求3所述的一种基于点云时序信息融合的三维目标检测方法,其特征在于,所述的步骤S21中,若所有非空体素数量大于P,则从中随机选P个;若非空体素数量小于P,则不足非空体素通过填零补充;
若非空体素中体素点的数量大于N,则从中随机选N个;若非空体素中体素点的数量小于N,则不足点通过填零补充。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011317635.6A CN112418084B (zh) | 2020-11-23 | 2020-11-23 | 一种基于点云时序信息融合的三维目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011317635.6A CN112418084B (zh) | 2020-11-23 | 2020-11-23 | 一种基于点云时序信息融合的三维目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112418084A true CN112418084A (zh) | 2021-02-26 |
CN112418084B CN112418084B (zh) | 2022-12-16 |
Family
ID=74777778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011317635.6A Active CN112418084B (zh) | 2020-11-23 | 2020-11-23 | 一种基于点云时序信息融合的三维目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112418084B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205515A (zh) * | 2021-05-27 | 2021-08-03 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、及计算机存储介质 |
CN113378854A (zh) * | 2021-06-11 | 2021-09-10 | 武汉大学 | 一种融合原始点云和体素划分的点云目标检测方法 |
CN114266992A (zh) * | 2021-12-13 | 2022-04-01 | 北京超星未来科技有限公司 | 目标检测方法、装置及电子设备 |
CN116246235A (zh) * | 2023-01-06 | 2023-06-09 | 吉咖智能机器人有限公司 | 基于行泊一体的目标检测方法、装置、电子设备和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
CN111612059A (zh) * | 2020-05-19 | 2020-09-01 | 上海大学 | 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法 |
CN111709343A (zh) * | 2020-06-09 | 2020-09-25 | 广州文远知行科技有限公司 | 一种点云检测方法、装置、计算机设备和存储介质 |
-
2020
- 2020-11-23 CN CN202011317635.6A patent/CN112418084B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111429514A (zh) * | 2020-03-11 | 2020-07-17 | 浙江大学 | 一种融合多帧时序点云的激光雷达3d实时目标检测方法 |
CN111612059A (zh) * | 2020-05-19 | 2020-09-01 | 上海大学 | 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法 |
CN111709343A (zh) * | 2020-06-09 | 2020-09-25 | 广州文远知行科技有限公司 | 一种点云检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (4)
Title |
---|
ALEX H. LANG,ET AL.: "PointPillars: Fast Encoders for Object Detection from Point Clouds", 《ARXIV》 * |
JIQUAN NGIAM,ET AL.: "StarNet: Targeted Computation for Object Detection in Point Clouds", 《ARXIV》 * |
RUI HUANG,ET AL.: "An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds", 《ARXIV》 * |
XINGYI ZHOU,ET AL.: "Tracking Objects as Points", 《ARXIV》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113205515A (zh) * | 2021-05-27 | 2021-08-03 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、及计算机存储介质 |
CN113205515B (zh) * | 2021-05-27 | 2023-04-18 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、及计算机存储介质 |
CN113378854A (zh) * | 2021-06-11 | 2021-09-10 | 武汉大学 | 一种融合原始点云和体素划分的点云目标检测方法 |
CN114266992A (zh) * | 2021-12-13 | 2022-04-01 | 北京超星未来科技有限公司 | 目标检测方法、装置及电子设备 |
CN116246235A (zh) * | 2023-01-06 | 2023-06-09 | 吉咖智能机器人有限公司 | 基于行泊一体的目标检测方法、装置、电子设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112418084B (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112418084B (zh) | 一种基于点云时序信息融合的三维目标检测方法 | |
CN110674829B (zh) | 一种基于图卷积注意网络的三维目标检测方法 | |
CN107808131B (zh) | 基于双通路深度卷积神经网络的动态手势识别方法 | |
CN110176027A (zh) | 视频目标跟踪方法、装置、设备及存储介质 | |
CN109377530A (zh) | 一种基于深度神经网络的双目深度估计方法 | |
CN112487862B (zh) | 基于改进EfficientDet模型的车库行人检测方法 | |
KR20220108165A (ko) | 타깃 추적 방법, 장치, 전자 기기 및 저장 매체 | |
CN102902355A (zh) | 移动设备的空间交互方法 | |
CN111104538A (zh) | 一种基于多尺度约束的细粒度车辆图像检索的方法及装置 | |
CN107397658B (zh) | 一种多尺度全卷积网络及视觉导盲方法和装置 | |
CN111476188B (zh) | 基于特征金字塔的人群计数方法、系统、介质及电子设备 | |
CN112651316B (zh) | 二维和三维多人姿态估计系统及方法 | |
CN111209811B (zh) | 一种实时检测眼球注意力位置的方法及系统 | |
CN113792641B (zh) | 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法 | |
CN109670516B (zh) | 一种图像特征提取方法、装置、设备及可读存储介质 | |
CN112418235B (zh) | 一种基于膨胀最近邻特征增强的点云语义分割方法 | |
CN113095152A (zh) | 一种基于回归的车道线检测方法及系统 | |
CN115294356A (zh) | 一种基于广域感受野空间注意力的目标检测方法 | |
CN113643329B (zh) | 一种基于孪生注意力网络的在线更新目标跟踪方法和系统 | |
CN116797640A (zh) | 一种面向智能伴行巡视器的深度及3d关键点估计方法 | |
CN116630917A (zh) | 一种车道线检测方法 | |
CN114913519B (zh) | 一种3d目标检测方法、装置、电子设备及存储介质 | |
CN115205974A (zh) | 手势识别方法及相关设备 | |
CN115731138A (zh) | 一种基于Transformer与卷积神经网络的图像修复方法 | |
CN113222025B (zh) | 一种基于激光雷达的可行区域标签生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |