CN112418084B - 一种基于点云时序信息融合的三维目标检测方法 - Google Patents

一种基于点云时序信息融合的三维目标检测方法 Download PDF

Info

Publication number
CN112418084B
CN112418084B CN202011317635.6A CN202011317635A CN112418084B CN 112418084 B CN112418084 B CN 112418084B CN 202011317635 A CN202011317635 A CN 202011317635A CN 112418084 B CN112418084 B CN 112418084B
Authority
CN
China
Prior art keywords
dimensional
point cloud
frame
target
empty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011317635.6A
Other languages
English (en)
Other versions
CN112418084A (zh
Inventor
张立军
李聪聪
孟德建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011317635.6A priority Critical patent/CN112418084B/zh
Publication of CN112418084A publication Critical patent/CN112418084A/zh
Application granted granted Critical
Publication of CN112418084B publication Critical patent/CN112418084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明涉及本发明提供一种基于点云时序信息融合的三维目标检测方法，包括以下步骤：S1：获取当前帧点云数据；S2：通过体素特征提取网络，进行当前帧的伪图像构造；S3：将前帧先验信息和当前帧的伪图像进行融合，得到融合数据；S4：通过特征提取网络对融合数据进行特征提取；S5：基于热力图检测头进行目标定位和3D包围框回归，得到当前帧目标检测结果；S6：将当前帧目标检测结果进行空间坐标变换和过滤后，作为下一帧的前帧先验信息，与现有技术相比，本发明具有提高困难样本检测的召回率、降低误检率等优点。

Description

一种基于点云时序信息融合的三维目标检测方法
技术领域
本发明涉及计算机视觉与模式识别领域，尤其是涉及一种基于点云时序信息融合的三维目标检测方法。
背景技术
随着人们对驾驶时解放双手的渴望增加，自动驾驶技术受到越来越多的关注。而环境感知是自动驾驶技术最基础也是最具有挑战性的技术之一。环境感知通常由三部分组成，即目标检测、目标跟踪和轨迹预测。由此可见，目标检测任务完成的好坏，将会直接影响整个自动驾驶系统的安全性和稳定性。
伴随着最近几年人工智能的兴起，基于深度学习的目标检测方案层出不穷，并且取得了极大的成功。但是，这类研究大多还集中在图像处理领域，对于激光雷达生成的不规则的点云数据结构的研究仍然有限。目前大多数点云目标检测算法都是将单帧点云作为输入，因而，现阶段点云目标检测对于困难样本(小目标、遮挡目标等)的检测效果往往不尽如人意
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高困难样本检测的召回率、降低误检率的融合点云时序信息的三维目标检测方法，该方法有助于在不引入大量计算开销的前提下，充分利用前帧检测结果这一先验信息，从而提升当前帧目标检测的效果，尤其是提高对困难样本的检测效果。
本发明的目的可以通过以下技术方案来实现：
一种基于点云时序信息融合的三维目标检测方法，包括以下步骤：
S1：获取当前帧点云数据；
S2：通过体素特征提取网络，进行当前帧的伪图像构造；
S3：将前帧先验信息和当前帧的伪图像进行融合，得到融合数据；
S4：通过特征提取网络对融合数据进行特征提取；
S5：基于热力图检测头进行目标定位和3D包围框回归，得到当前帧目标检测结果；
S6：将当前帧目标检测结果进行空间坐标变换和过滤后，作为下一帧的前帧先验信息。
进一步地，所述的步骤S2具体包括：
S21：对当前帧点云进行体素划分，并从中提取出非空体素；
S22：基于FC全连接网络提取每个非空体素的高维特征；
S23：基于高维特征进行伪图像构造。
更进一步地，所述的步骤S21具体为：将整个L×W×H的点云按照dl×dw×dh的大小划分为若干体素，从所有体素中选出P个非空体素，建立每个非空体素在原始空间中的位置索引哈希表，并从每个非空体素中选出N个体素点，得到一个(P,N,D)维的非空体素矩阵，其中，D为每个体素点的特征数目；
所述的S22具体为：对步骤S21得到的非空体素矩阵，通过FC网络提取每个非空体素的C维高维特征，得到(P,N,C)维的矩阵，并对该(P,N,C)维的矩阵应用max-pooling池化操作得到(P,C)维的高维特征矩阵；
所述的步骤S23具体为：对步骤S22中得到的高维特征矩阵，利用步骤S21中的位置索引，映射回三维空间对应的位置上，生成(L/dl,W/dw,C)维的矩阵，即伪图像。
更进一步地，所述的步骤S21中，若所有非空体素数量大于P，则从中随机选P个；若非空体素数量小于P，则不足非空体素通过填零补充；
若非空体素中体素点的数量大于N，则从中随机选N个；若非空体素中体素点的数量小于N，则不足点通过填零补充。
进一步地，所述的步骤S3中，将前帧先验信息作为伪图像的额外通道进行拼接，实现二者的融合。
进一步地，在模型训练过程中，所述的前帧先验信息的获取方法为：
首先训练一个非时序信息融合网络，并利用该训练好的非时序信息融合网络对训练集进行检测，将每一帧的检测的结果，作为该帧对应下一帧的前帧先验信息。
进一步地，所述的特征提取网络采用CNN网络。
进一步地，所述的步骤S5具体包括：
S51：将特征提取网络提取的特征进行1×1卷积，生成热力图矩阵；
S52：通过热力图矩阵获取目标中心位置的x轴和y轴坐标；
S53：设置单独通道，通过1×1卷积分别对目标的尺寸、z轴坐标和朝向进行回归，最终得到检测目标的3D包围框。
更进一步地，所述的热力图矩阵的每个数值通过一个高斯分布渲染得到，该分布服从下式：
Figure BDA0002791799290000031
其中，x,y分别为热力图矩阵中任一位置的x轴坐标和y轴坐标，Y为该位置对应的数值，M为该帧点云所有目标的数目，i为该帧点云所有目标中的第i个目标，a,b分别为该目标的长和宽，xi,yi分别为该目标的中心坐标。
进一步地，所述的步骤S6具体包括：
S61：过滤当前帧目标检测结果中，距离自车大于50米的目标；
S62：将剩下的目标位置乘以坐标变换矩阵，生成所有目标在下一帧雷达坐标系下的坐标；
S63：将坐标变换后各目标坐标位置的值设置为该对应目标的检测分数，将其他位置的值设置为0，得到先验矩阵，作为下一帧的前帧先验信息。
与现有技术相比，本发明具有以下优点：
1)本发明通过本帧点云——体素特征提取——融合点云时序信息(前帧目标类别、位置、尺寸以及朝向等前帧先验信息)——基于2D CNN的特征提取网络——基于热力图的目标框提取的技术路线，在不引入大量计算开销的前提下，充分利用激光点云数据中的时序数据，将前帧先验信息与当前帧相互融合，为基于点云的三维检测提供了新思路，提高了困难样本检测的召回率、降低误检率；
2)本发明在前帧先验信息与当前帧相互融合中，提出了新的深度学习模型训练方法：为了避免模型普通训练的不收敛，在模型训练时，首先训练一个非时序信息融合网络，并利用该训练好的模型对训练集进行检测，将每一帧的检测的结果作为其下一帧的前帧先验信息进行融合，而在实际进行目标检测应用时，直接将当前帧检测结果作为其下一帧的前帧先验信息进行融合，保证前帧先验信息与当前帧相互融合能够最大程度提高困难目标检测的准确率；
3)本发明使用了基于热力图的检测头，一方面它不要进行非极大值抑制操作，另一方面，它生成的检测结果无需额外编码即可传递给下一帧使用，降低计算开销，从而提高了该方法的实时性；
4)本发明在进行帧间信息传递时，使用坐标变换，并通过距离指标对不可靠信息进行了过滤，从而避免相对静止带来的运动抵消，以及前一帧对目标的漏检或者误检对当前帧检测的误导，进一步提高困难目标检测的准确率。
附图说明
图1为本发明目标检测过程的流程示意图；
图2为本发明整体流程原理示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
如图1所示，本发明提供一种基于点云时序信息融合的三维目标检测方法，包括以下步骤：
S1：获取当前帧点云数据；
S2：通过体素特征提取网络，进行当前帧的伪图像构造；
S3：将前帧先验信息和当前帧的伪图像进行融合，得到融合数据；
S4：通过特征提取网络对融合数据进行特征提取；
S5：基于热力图检测头进行目标定位和3D包围框回归，得到当前帧目标检测结果；
S6：将当前帧目标检测结果进行空间坐标变换和过滤后，作为下一帧的前帧先验信息。
具体包括以下几个部分：
(1)对当前帧点云进行体素划分
将整个L×W×H的点云场景按照dl×dw×dh的大小划分为若干体素。然后从所有体素中选出P个非空体素(若所有非空体素数量大于P，则从中随机选P个；若非空体素数量小于P，则不足非空体素填零补充)，同时建立每个非空体素在原始空间中的位置索引哈希表，最后从每个体素中选出N个体素点(若非空体素中的体素点数量大于N，则从中随机选N个；若非空体素中体素点的数量小于N，则不足点填零补充)。
(2)基于FC全连接网络提取每个非空体素高维特征
对上一步得到的(P,N,D)维的非空体素矩阵(其中D为每个点的特征数目)通过FC网络提取每个非空体素的C维高维特征，得到形如(P,N,C)维的矩阵，再对该矩阵应用max-pooling池化操作得到形如(P,C)维的高维特征矩阵。
(3)基于高维特征的伪图像构造
对(2)中得到的(P,C)维的高维特征矩阵，利用(1)中得到的位置索引，映射回三维空间对应的位置上，生成一张形如(L/dl,W/dw,C)的矩阵，也即一张伪图像。
(4)伪图像与前帧先验信息的特征融合
将前帧先验信息作为伪图像的额外通道进行拼接，实现二者的特征融合，得到融合数据。
前帧先验的获取在模型训练阶段和目标检测应用阶段有所不同：
模型训练时，由于模型在最开始难以“理解”之前帧先验信息，如果直接将之前帧检测结果作为本帧输入，将会导致本帧得到糟糕的检测结果，从而导致模型训练难以收敛。为避免上述问题，本发明首先训练一个非时序信息融合网络(如：PointPillars:FastEncoders for Object Detection from Point Clouds)，并利用该训练好的网络对训练集进行检测，将每一帧的检测的结果作为其下一帧的前帧先验信息进行融合；
目标检测应用时，可直接将当前帧检测结果作为其下一帧的前帧先验信息进行融合即可。
(5)基于CNN对融合特征进行提取特征
将融合数据送入一个2D CNN网络。首先经过三次下采样，增加模型的感受野；再将三个尺度下的特征进行上采样，使得不同尺度的特征具有相同形状，从而对三个尺度下的特征进行拼接。
(6)基于热力图检测头的目标定位和3D包围框回归，得到目标检测结果
将卷积后的特征再进行1×1卷积，生成一张形状如(L×W)的热力图矩阵，该矩阵的每个数值通过一个高斯分布渲染得到，该分布服从下式：
Figure BDA0002791799290000061
其中，x,y分别为热力图矩阵中坐标为任一位置的坐标，Y为该位置对应的数值，M为该帧点云所有目标的数目，i为该帧点云所有目标中的第i个目标，a,b分别为该目标的长和宽，xi、yi分别为该目标的中心坐标。如果有两个高斯函数发生重叠，则选择元素级最大的。如果某一个元素，大于它周围另外8个元素，我们则认为对应位置为某一目标的中心位置。对于目标的其他属性(例如尺寸、z方向位置以及朝向等)则通过设置单独的通道，借助1×1卷积进行回归得到。
(7)检测结果空间坐标变换与过滤。
由于热力图中包含了目标的位置和尺寸信息，而且它的形状与伪图像相同，因此不需要进行额外的编码，就可以将热力图作为本帧的检测结果传递给下一帧，从而避免多余的计算。但是为了避免相对静止带来的运动抵消，需要将每个点的坐标乘以坐标变换矩阵，将所有目标变换到下一帧雷达坐标系中。同时为了避免传递不可靠信息给下一帧，本发明将过滤掉50米以外的不可靠目标。
整体流程如图2所示，包括以下步骤：
步骤1：将整个L×W×H的点云场景按照dl×dw×dh为单位划分为若干体素。
步骤2：从所有体素中选出P个非空体素(若所有非空体素数量大于P，则从中随机选P个；若非空体素数量小于P，则不足非空体素填零补充)，同时建立每个非空体素在原始空间中的位置索引哈希表。最后从每个体素中选出N个点(若非空体素点的数量大于N，则从中随机选N个；若非空体素中点的数量小于N，则不足点填零补充)。
步骤3：对步骤2得到的(P,N,C)维的矩阵(其中C为每个点的特征数目)通过FC网络提取每个非空体素的高维特征，得到形如(P,N,C)维的矩阵。
步骤4：对步骤3得到的矩阵应用max-pooling操作得到形如(P,C)维的矩阵。
步骤5：对得到的(P,C)维的矩阵，利用位置索引，映射回三维空间对应的位置上，生成一张形如(L/dl,W/dw,C)的矩阵，也即一张伪图像。
步骤6：将前帧先验信息作为伪图像的额外通道进行拼接，实现二者的特征融合。
模型训练时，由于模型在最开始难以“理解”之前帧先验信息，如果直接将之前帧检测结果作为本帧输入，将会导致本帧得到糟糕的检测结果，从而导致模型训练难以收敛。为避免上述问题，有效的做法是：首先训练一个非时序信息融合网络(如：PointPillars:Fast Encoders for Object Detection from Point Clouds)，并利用该训练好的模型对训练集进行检测，将每一帧的检测的结果作为其下一帧的前帧先验信息进行融合。
步骤7：将融合数据送入一个CNN网络。首先经过三次下采样，增加模型的感受野；再将三个尺度下的特征进行上采样，使得不同尺度的特征具有相同形状，从而对三个尺度下的特征进行拼接。
步骤8：将卷积后的特征再进行1×1卷积，生成一张形状如(L×W)的热力图矩阵，该矩阵的每个数值通过一个高斯分布渲染得到，该分布服从下式：
Figure BDA0002791799290000071
其中x,y为热力图矩阵中坐标为任一位置的坐标，Y为该位置对应的数值，N为该帧点云所有目标的数目，i为该帧点云所有目标中的第i个目标，a,b为该目标的长和宽，xi,yi为该目标的中心坐标。如果有两个高斯函数发生重叠，我们选择元素级最大的。如果某一个元素，大于它周围另外8个元素，我们则认为对应位置为某一目标的中心位置。对于目标的其他属性(例如尺寸、z方向位置以及朝向等)则通过设置单独的通道，借助1×1卷积进行回归得到。
步骤9：丢弃掉检测到的目标中距离自车距离大于50米的目标。
步骤10：对剩下的目标位置乘以坐标变换矩阵(坐标变换矩阵可由数据集直接得到)，生成所有目标在下一帧雷达坐标系下的坐标。
步骤11：生成一个形状如(L/dl,W/dw,C+1)维的矩阵，将步骤10中得到的坐标位置取值为对应目标的检测分数，其他位置取值为0，得到的矩阵作为下帧检测的先验信息。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于点云时序信息融合的三维目标检测方法，其特征在于，包括以下步骤：
S1：获取当前帧点云数据；
S2：通过体素特征提取网络，进行当前帧的伪图像构造；
S3：将前帧先验信息和当前帧的伪图像进行融合，得到融合数据；
S4：通过特征提取网络对融合数据进行特征提取；
S5：基于热力图检测头进行目标定位和3D包围框回归，得到当前帧目标检测结果；
S6：将当前帧目标检测结果进行空间坐标变换和过滤后，作为下一帧的前帧先验信息；
所述的步骤S6具体包括：
S61：过滤当前帧目标检测结果中，距离自车大于50米的目标；
S62：将剩下的目标位置乘以坐标变换矩阵，生成所有目标在下一帧雷达坐标系下的坐标；
S63：将坐标变换后各目标坐标位置的值设置为该对应目标的检测分数，将其他位置的值设置为0，得到先验矩阵，作为下一帧的前帧先验信息。
2.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，所述的步骤S2具体包括：
S21：对当前帧点云进行体素划分，并从中提取出非空体素；
S22：基于FC全连接网络提取每个非空体素的高维特征；
S23：基于高维特征进行伪图像构造。
3.根据权利要求2所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，所述的步骤S21具体为：将整个L×W×H的点云按照dl×dw×dh的大小划分为若干体素，从所有体素中选出P个非空体素，建立每个非空体素在原始空间中的位置索引哈希表，并从每个非空体素中选出N个体素点，得到一个(P,N,D)维的非空体素矩阵，其中，D为每个体素点的特征数目；
所述的S22具体为：对步骤S21得到的非空体素矩阵，通过FC网络提取每个非空体素的C维高维特征，得到(P,N,C)维的矩阵，并对该(P,N,C)维的矩阵应用max-pooling池化操作得到(P,C)维的高维特征矩阵；
所述的步骤S23具体为：对步骤S22中得到的高维特征矩阵，利用步骤S21中的位置索引，映射回三维空间对应的位置上，生成(L/dl,W/dw,C)维的矩阵，即伪图像。
4.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，所述的步骤S3中，将前帧先验信息作为伪图像的额外通道进行拼接，实现二者的融合。
5.根据权利要求4所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，在模型训练过程中，所述的前帧先验信息的获取方法为：
首先训练一个非时序信息融合网络，并利用该训练好的非时序信息融合网络对训练集进行检测，将每一帧的检测的结果，作为该帧对应下一帧的前帧先验信息。
6.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，所述的特征提取网络采用CNN网络。
7.根据权利要求1所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，所述的步骤S5具体包括：
S51：将特征提取网络提取的特征进行1×1卷积，生成热力图矩阵；
S52：通过热力图矩阵获取目标中心位置的x轴和y轴坐标；
S53：设置单独通道，通过1×1卷积分别对目标的尺寸、z轴坐标和朝向进行回归，最终得到检测目标的3D包围框。
8.根据权利要求7所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，所述的热力图矩阵的每个数值通过一个高斯分布渲染得到，该分布服从下式：
Figure FDA0003897288180000021
其中，x,y分别为热力图矩阵中任一位置的x轴坐标和y轴坐标，Y为该位置对应的数值，M为该帧点云所有目标的数目，i为该帧点云所有目标中的第i个目标，a,b分别为该目标的长和宽，xi,yi分别为该目标的中心坐标。
9.根据权利要求3所述的一种基于点云时序信息融合的三维目标检测方法，其特征在于，所述的步骤S21中，若所有非空体素数量大于P，则从中随机选P个；若非空体素数量小于P，则不足非空体素通过填零补充；
若非空体素中体素点的数量大于N，则从中随机选N个；若非空体素中体素点的数量小于N，则不足点通过填零补充。
CN202011317635.6A 2020-11-23 2020-11-23 一种基于点云时序信息融合的三维目标检测方法 Active CN112418084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317635.6A CN112418084B (zh) 2020-11-23 2020-11-23 一种基于点云时序信息融合的三维目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317635.6A CN112418084B (zh) 2020-11-23 2020-11-23 一种基于点云时序信息融合的三维目标检测方法

Publications (2)

Publication Number Publication Date
CN112418084A CN112418084A (zh) 2021-02-26
CN112418084B true CN112418084B (zh) 2022-12-16

Family

ID=74777778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317635.6A Active CN112418084B (zh) 2020-11-23 2020-11-23 一种基于点云时序信息融合的三维目标检测方法

Country Status (1)

Country Link
CN (1) CN112418084B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205515B (zh) * 2021-05-27 2023-04-18 上海高德威智能交通系统有限公司 目标检测方法、装置、及计算机存储介质
CN113378854A (zh) * 2021-06-11 2021-09-10 武汉大学 一种融合原始点云和体素划分的点云目标检测方法
CN116246235A (zh) * 2023-01-06 2023-06-09 吉咖智能机器人有限公司 基于行泊一体的目标检测方法、装置、电子设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN111709343A (zh) * 2020-06-09 2020-09-25 广州文远知行科技有限公司 一种点云检测方法、装置、计算机设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111612059A (zh) * 2020-05-19 2020-09-01 上海大学 一种基于pointpillars的多平面编码点云特征深度学习模型的构建方法
CN111709343A (zh) * 2020-06-09 2020-09-25 广州文远知行科技有限公司 一种点云检测方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds;Rui Huang，et al.;《arXiv》;20200724;全文 *
PointPillars: Fast Encoders for Object Detection from Point Clouds;Alex H. Lang，et al.;《arXiv》;20190507;摘要、第2节 *
StarNet: Targeted Computation for Object Detection in Point Clouds;Jiquan Ngiam，et al.;《arXiv》;20191202;全文 *
Tracking Objects as Points;Xingyi Zhou，et al.;《arXiv》;20200821;摘要、第4节 *

Also Published As

Publication number Publication date
CN112418084A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112418084B (zh) 一种基于点云时序信息融合的三维目标检测方法
CN109685842B (zh) 一种基于多尺度网络的稀疏深度稠密化方法
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
CN110176027A (zh) 视频目标跟踪方法、装置、设备及存储介质
CN109377530A (zh) 一种基于深度神经网络的双目深度估计方法
CN112487862B (zh) 基于改进EfficientDet模型的车库行人检测方法
CN111161317A (zh) 一种基于多重网络的单目标跟踪方法
CN107397658B (zh) 一种多尺度全卷积网络及视觉导盲方法和装置
CN111476188B (zh) 基于特征金字塔的人群计数方法、系统、介质及电子设备
CN111209811B (zh) 一种实时检测眼球注意力位置的方法及系统
CN112651316B (zh) 二维和三维多人姿态估计系统及方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN115294356A (zh) 一种基于广域感受野空间注意力的目标检测方法
CN115019274A (zh) 一种融合追踪与检索算法的路面病害识别方法
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN112270701A (zh) 基于分组距离网络的视差预测方法、系统及存储介质
CN116797640A (zh) 一种面向智能伴行巡视器的深度及3d关键点估计方法
CN116630917A (zh) 一种车道线检测方法
CN116030330A (zh) 目标检测方法及装置
CN115205974A (zh) 手势识别方法及相关设备
CN113222025B (zh) 一种基于激光雷达的可行区域标签生成方法
CN115035296A (zh) 一种基于鸟瞰投影的飞行汽车3d语义分割方法及系统
CN115115860A (zh) 一种基于深度学习的图像特征点检测匹配网络
CN112419387B (zh) 一种日光温室番茄植株图像无监督深度估计方法
CN114882072A (zh) 一种多通道图像特征融合的高速相关滤波目标追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant