CN112699806A - 一种基于三维热图的三维点云目标检测方法和装置 - Google Patents

一种基于三维热图的三维点云目标检测方法和装置 Download PDF

Info

Publication number
CN112699806A
CN112699806A CN202011633077.4A CN202011633077A CN112699806A CN 112699806 A CN112699806 A CN 112699806A CN 202011633077 A CN202011633077 A CN 202011633077A CN 112699806 A CN112699806 A CN 112699806A
Authority
CN
China
Prior art keywords
dimensional
point cloud
feature map
predicted
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011633077.4A
Other languages
English (en)
Inventor
陈延艺
夏启明
杜静
黄尚锋
陈延行
江文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lop Xiamen System Integration Co ltd
Ropt Technology Group Co ltd
Original Assignee
Lop Xiamen System Integration Co ltd
Ropt Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lop Xiamen System Integration Co ltd, Ropt Technology Group Co ltd filed Critical Lop Xiamen System Integration Co ltd
Priority to CN202011633077.4A priority Critical patent/CN112699806A/zh
Priority to PCT/CN2021/074231 priority patent/WO2022141720A1/zh
Publication of CN112699806A publication Critical patent/CN112699806A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维热图的三维点云目标检测方法和装置，将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将第一特征图依次插值到点云原始的空间位置，得到第二特征图，将第二特征图进行拼接，输出N*C维特征图；将N*C维特征图输入第一全连接神经网络，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值；将N*C维特征图输入第二全连接神经网络，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度；将预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标；将长宽高、类别、偏转角度以及中心坐标进行合并，得到目标检测结果。本发明能够提高目标的检测精度和分类能力。

Description

一种基于三维热图的三维点云目标检测方法和装置
技术领域
本发明涉及目标检测领域，具体涉及一种基于三维热图的三维点云目标检测方法和装置。
背景技术
基于3D点云的目标检测算法是探索无人驾驶任务的重要工具。车前目标检测算法的任务是检测三类：汽车，行人和自行车。基于神经网络的深度学习在目标检测研究中取得了丰硕的成果。在传统的目标识别算法中，大多数都是针对具有丰富语义信息的图像数据集，但是图像数据集中的三维空间结构特征却被丢弃了。因此，使用二维数据集生成的模型在应用于自动驾驶的真实场景时并不能完成高效的检测。LiDAR扫描的三维点云数据满足了车前目标检测的需求。
车载LiDAR对车辆前方的空间进行激光扫描，以获得物体的三维点云，这为稳定的检测算法提供了数据支持。但是点云的混乱和稀疏给点云处理带来了新的挑战。当面对基于点云的车辆检测问题时，主流算法包括基于点、基于体素和同时基于点以及体素的算法。基于点的算法使用PointNet来学习点云的逐点特征。这些方法获得每个点的特征表示，并使用卷积神经网络获得更丰富的语义特征。基于体素的算法使用体素通过将点云划分为体素来替换点云表示，可以解决无序和稀疏的问题。同时基于点以及体素的算法结合了基于点和基于素的优点，从而形成了快速有效的目标检测算法。
目前，比较流行的目标检测算法大致可分为以下两类：一类为单阶段目标检测算法，还有一类是两阶段目标检测算法。
2019年，石少帅等人提出了PointRCNN，这是第一个两阶段3D点云对象检测网络。PointRCNN网络是一种基于点的算法，它使用了自下而上的检测方法。该方法通过划分前景点来获得候选区域，然后扩展候选区域的范围以获得感兴趣的区域。在感兴趣的区域中对检测框架进行提炼，最后采用Anchor-free的方法获得预测框。但是PointRCNN在第二阶段对感兴趣区域执行的池化操作后得到的结果是模棱两可的。史少帅等人发现点云包含数据监管信息，因此他们进一步提出了一个新的两阶段网络：Part-A2网络。Part-A2网络的第一阶段使用类似于V-Net的网络结构在原始点云上执行语义分段，以获得粗糙的候选框。在第二阶段，使用局部池化方法来改善由PointRCNN池化引起的歧义。2020年，石少帅等人提出了PV-RCNN。该网络结合了基于点和基于体素的优点，使检测结果暂时处于KITTI检测任务中的优势位置。PV-RCNN在一级网络中充分利用了基于体素的高效性和速度，并以3D稀疏卷积为骨干生成候选框。在第二阶段，使用超级点代替原始点云，并在保留原始点云的空间结构的同时大大减少了计算量。通过学习超级积分的特征来完善该候选框。最后，使用Anchor-free方法生成高质量的预测结果。
相对而言，二级网络的检测精度高于一级网络，但运行速度较慢。因此难以实现实时检测。因此，高精度单级网络的研究至关重要。2017年提出了基于传统3D卷积的端到端对象检测网络Voxelnet。Voxelnet首先对原始点云进行体素化，以便将无序且稀疏的点云转换为可以学习的常规体素。Voxelnet率先提出了单阶段目标检测算法，但仍无法快速检测目标位置。但是由于3D卷积的存在，大多数算法的速度受到极大限制。并且点云的稀疏性导致大量零值。这些零值将产生很多不必要的计算量。SECOND提出了一种稀疏卷积算法来有效解决该问题。稀疏卷积算法仍然是3D卷积的一种特殊类型，它不能克服慢速3D卷积的瓶颈。使用2D卷积解决3D点云的目标检测问题是一个新的挑战。PointPillars提出了一种不同的点云处理方法。根据这些点的意义，将整个点云场景压缩到x-y平面，以获得可以表示整个点云场景的语义信息的伪图像。PointPillras在伪图像上使用了2D卷积，并且实现了对车辆前方物体的快速有效检测。SASSD提出了全新的思路，在模型训练过程中利用一个辅助网络将单阶段检测器中的体素特征转化为点级特征，并辅以监督信号，而模型推理过程中辅助网络无需参与计算，最终实现速度和精度的兼得。
发明内容
针对上述提到现有技术中基于3D稀疏卷积的三维目标检测算法的原始数据经过多层稀疏卷积后会导致空间结构信息的损失、目标检测精度较低等问题。本申请的实施例的目的在于提出了一种基于三维热图的三维点云目标检测方法和装置来解决以上背景技术部分提到的技术问题。
第一方面，本申请的实施例提供了一种基于三维热图的三维点云目标检测方法，包括以下步骤：
点云处理步骤，将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将第一特征图依次插值到点云原始的空间位置，得到第二特征图，将第二特征图进行拼接，输出N*C维特征图，其中N指点云的点数，C表示通道数；
第一预测步骤，将N*C维特征图输入第一全连接神经网络，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值，其中，每个点的所述热力响应值表示该点在所在物体中的位置信息与所述物体的中心位置的关系；
第二预测步骤，将N*C维特征图输入第二全连接神经网络，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度；
中心坐标确定步骤，将预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标；以及
目标检测结果输出步骤，将预测的物体的长宽高、类别、偏转角度以及中心坐标进行合并，得到目标检测结果。
在一些实施例中，在以雷达扫描仪为原点的世界坐标系下，设物体的中心坐标为u(a,b,c)，物体中任意一点的坐标为q(m,n,t)，则该点的热力响应值为：
Figure BDA0002880546550000031
通过以上公式将热力响应值成为量化的指标，方便进行计算。
在一些实施例中，在第一预测步骤中通过点云的空间位置计算出每个点的真实的热力响应值，并采用真实的热力响应值对第一全连接神经网络进行训练。利用三维稀疏卷积的主干网络对原始点云进行处理，预测出原始场景点云的热力响应值。
在一些实施例中，中心坐标确定步骤中具体包括：设第i个点的预测的热力响应值为Yi，该点的坐标为qi(mi,ni,ti)，则由三维高斯分布，该点所在的三维正态分布的均值为μ(μ1,μ2,μ3)，其中，正太分布的协方差矩阵方差取对角矩阵，对角线的取值设置超参数σ1，σ2，σ3，
则有：
Figure BDA0002880546550000032
Figure BDA0002880546550000041
Figure BDA0002880546550000042
令
Figure BDA0002880546550000043
则对原式进行展开有：
Figure BDA0002880546550000044
对于
Figure BDA0002880546550000045
有：
Figure BDA0002880546550000046
运用最小二乘法：
Figure BDA0002880546550000047
回归出高斯分布的均值，即预测的物体的中心坐标。
从热力响应值中回归出三维正太分布，三维正太分布的均值即为物体的中心点位置。
在一些实施例中，在点云处理步骤中将第二特征图进行拼接具体包括：将第二特征图对应位置的特征值进行相加。
在一些实施例中，第一全连接神经网络包括第一输入层，第一隐藏层和第一输出层，使用smooth L1损失函数来拟合收敛。通过第一全连接神经网络可以准确并快速地计算出预测的点云的三维坐标以及预测的热力响应值。
在一些实施例中，第二全连接神经网络包括第二输入层，第二隐藏层和第二输出层，使用smooth L1损失函数得到预测框的大小，使用focal loss损失来预测类别。通过第二全连接神经网络预测出物体的长宽高、类别以及偏转角度，计算速度快。
第二方面，本申请的实施例中提出了一种基于三维热图的三维点云目标检测装置，包括：
点云处理模块，被配置为将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将第一特征图依次插值到点云原始的空间位置，得到第二特征图，将第二特征图进行拼接，输出N*C维特征图，其中N指点云的点数，C表示通道数；
第一预测模块，被配置为将N*C维特征图输入第一全连接层，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值，其中，每个点的所述热力响应值表示该点在所在物体中的位置信息与所述物体的中心位置的关系；
第二预测模块，被配置为将N*C维特征图输入第二全连接层，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度；
中心坐标确定模块，被配置为将预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标；以及
目标检测结果输出模块，被配置为将预测的物体的长宽高、类别、偏转角度以及中心坐标进行合并，得到目标检测结果。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本发明提出了一种基于三维热图的三维点云目标检测方法和装置，本发明是基于三维热图的思想进行创新与推广，首次将三维热力响应值形成热图与三维目标检测进行结合。本发明利用三维稀疏卷积的主干网络对原始点云进行处理，预测出原始场景点云的热力响应值，再从热力响应值中回归出三维正太分布，三维正太分布的均值即为物体的中心点位置。再结合N*C维特征图预测的物体长宽高、类别以及物体的偏转角结果，即可获得物体的位置以及类别的检测。本发明保留了原始点云的空间结构信息，实验表明在目标的检测精度以及分类能力上相对于当前高速目标检测方法都有提高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请的一个实施例可以应用于其中的示例性装置架构图；
图2为本发明的实施例的基于三维热图的三维点云目标检测方法的流程示意图；
图3为本发明的实施例的基于三维热图的三维点云目标检测方法的主干网络的示意图；
图4为本发明的实施例的基于三维热图的三维点云目标检测方法的物体的热力图的示意图；
图5为本发明的实施例的基于三维热图的三维点云目标检测方法的第二全连接神经网络的网络结构示意图；
图6为本发明的实施例的基于三维热图的三维点云目标检测装置的示意图；
图7是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了可以应用本申请实施例的基于三维热图的三维点云目标检测方法或基于三维热图的三维点云目标检测装置的示例性装置架构100。
如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。
需要说明的是，本申请实施例所提供的基于三维热图的三维点云目标检测方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于三维热图的三维点云目标检测装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。
图2示出了本申请的实施例公开了一种基于三维热图的三维点云目标检测方法，包括以下步骤：
步骤S1，将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将第一特征图依次插值到点云原始的空间位置，得到第二特征图，将第二特征图进行拼接，输出N*C维特征图，其中N指点云的点数，C表示通道数。
在具体的实施例中，多层稀疏卷积形成的主干网络的示意图如图3所示，在主干网络中，将点云数据通过多层稀疏卷积得到不同尺度的第一特征图，再利用双线性插值法将第一特征图依次插值到原始点云的空间位置，原始点云的空间位置是以雷达扫描仪为原点的世界坐标系下点云的位置，将插值得到的第二特征图进行拼接，得到N*C维特征图。在优选的实施例中，拼接具体包括：将第二特征图对应位置的特征值进行相加。在网络设计中C优选为64。
步骤S2，将N*C维特征图输入第一全连接神经网络，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值，其中，每个点的所述热力响应值表示该点在所在物体中的位置信息与所述物体的中心位置的关系。
在具体的实施例中，在以雷达扫描仪为原点的世界坐标系下，设物体的中心坐标为u(a,b,c)，物体中任意一点的坐标为q(m,n,t)，则该点的热力响应值为：
Figure BDA0002880546550000071
通过以上公式将热力响应值成为量化的指标，方便进行计算。
在具体的实施例中，在步骤S2中通过点云的空间位置计算出每个点的真实的热力响应值，并采用真实的热力响应值对第一全连接神经网络进行训练。其中，每个点的热力响应值反映出该点在所在物体中的位置信息，热力响应值的取值范围为(0，1]，热力响应值从小到大表示该点距离所在物体的中心位置由远到近，当热力响应值为1时，该点的坐标为物体的中心坐标，因此可以根据每个点云位置对应的热力响应值形成该物体的热力图，如图所示。每个点的真实的热力响应值的计算公式参考公式(1)，在进行热力响应值预测时，通过计算得到的真实的热力响应值对预测的热力响应值进行监督，因此对第一全连接神经网络进行训练，得到准确的预测的热力响应值。利用三维稀疏卷积的主干网络对原始点云进行处理，预测出原始场景点云的热力响应值。
在具体的实施例中，设置第一全连接网络的输入维度为C，输出维度为4，即可得到N*4维特征图，输出信息为预测的点云三维的坐标(x,y,z)以及对应的预测的热力响应值。在具体的实施例中，第一全连接神经网络包括第一输入层，第一隐藏层和第一输出层，使用smooth L1损失函数来拟合收敛。通过第一全连接神经网络可以准确并快速地计算出预测的点云的三维坐标以及预测的热力响应值。
步骤S3，将N*C维特征图输入第二全连接神经网络，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度。
在具体的实施例中，第二全连接神经网络包括第二输入层，第二隐藏层和第二输出层，使用smooth L1损失函数得到预测框的大小，使用focal loss损失来预测类别。第二全连接神经网络的网络结构如图5所示，第二隐藏层只有1层。通过第二全连接神经网络预测出物体的长宽高、类别以及偏转角度，计算速度快。
步骤S4，将预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标。
在具体的实施例中，步骤S4中具体包括：设第i个点的预测的热力响应值为Yi，该点的坐标为qi(mi,ni,ti)，则由三维高斯分布，该点所在的三维正态分布的均值为μ(μ1,μ2,μ3)，其中，正太分布的协方差矩阵方差取对角矩阵，对角线的取值设置超参数σ1，σ2，σ3，
则有：
Figure BDA0002880546550000081
Figure BDA0002880546550000091
Figure BDA0002880546550000092
令
Figure BDA0002880546550000093
则对原式进行展开有：
Figure BDA0002880546550000094
对于
Figure BDA0002880546550000095
有：
Figure BDA0002880546550000096
运用最小二乘法：
Figure BDA0002880546550000097
回归出高斯分布的均值，即预测的物体的中心坐标。
从热力图中回归出三维正太分布，三维正太分布的均值即为物体的中心点位置。
步骤S5，将预测的物体的长宽高、类别、偏转角度以及中心坐标进行合并，得到目标检测结果。
将步骤S3预测得到的物体的长宽高、类别以及偏转角度结合步骤S4预测得到的中心坐标就可以得到目标检测结果。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种基于三维热图的三维点云目标检测装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
本申请的实施例提出的一种基于三维热图的三维点云目标检测装置，包括：
点云处理模块1，被配置为将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将第一特征图依次插值到点云原始的空间位置，得到第二特征图，将第二特征图进行拼接，输出N*C维特征图，其中N指点云的点数，C表示通道数；
第一预测模块2，被配置为将N*C维特征图输入第一全连接层，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值，其中，每个点的所述热力响应值表示该点在所在物体中的位置信息与所述物体的中心位置的关系；
第二预测模块3，被配置为将N*C维特征图输入第二全连接层，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度；
中心坐标确定模块4，被配置为将预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标；以及
目标检测结果输出模块5，被配置为将预测的物体的长宽高、类别、偏转角度以及中心坐标进行合并，得到目标检测结果。
以上模块的功能与方法相对应，在此不再赘述。
本发明提出了一种基于三维热图的三维点云目标检测方法和装置，本发明是基于三维热图的思想进行创新与推广，首次将三维热力响应值形成热图与三维目标检测进行结合。本发明利用三维稀疏卷积的主干网络对原始点云进行处理，预测出原始场景点云的热力响应值，再从热力响应值中回归出三维正太分布，三维正太分布的均值即为物体的中心点位置。再结合N*C维特征图预测的物体长宽高、类别以及物体的偏转角结果，即可获得物体的位置以及类别的检测。本发明保留了原始点云的空间结构信息，实验表明在目标的检测精度以及分类能力上相对于当前高速目标检测方法都有提高。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机装置700包括中央处理单元(CPU)701和图形处理器(GPU)702，其可以根据存储在只读存储器(ROM)703中的程序或者从存储部分709加载到随机访问存储器(RAM)704中的程序而执行各种适当的动作和处理。在RAM 704中，还存储有装置700操作所需的各种程序和数据。CPU 701、GPU702、ROM 703以及RAM704通过总线705彼此相连。输入/输出(I/O)接口706也连接至总线705。
以下部件连接至I/O接口706：包括键盘、鼠标等的输入部分707；包括诸如、液晶显示器(LCD)等以及扬声器等的输出部分708；包括硬盘等的存储部分709；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分710。通信部分710经由诸如因特网的网络执行通信处理。驱动器711也可以根据需要连接至I/O接口706。可拆卸介质712，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器711上，以便于从其上读出的计算机程序根据需要被安装入存储部分709。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分710从网络上被下载和安装，和/或从可拆卸介质712被安装。在该计算机程序被中央处理单元(CPU)701和图形处理器(GPU)702执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将第一特征图依次插值到点云原始的空间位置，得到第二特征图，将第二特征图进行拼接，输出N*C维特征图，其中N指点云的点数，C表示通道数；将N*C维特征图输入第一全连接神经网络，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值，其中，每个点的所述热力响应值表示该点在所在物体中的位置信息与所述物体的中心位置的关系；将N*C维特征图输入第二全连接神经网络，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度；将预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标；将预测的长宽高、类别、偏转角度以及中心坐标进行合并，得到目标检测结果。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种基于三维热图的三维点云目标检测方法，其特征在于，包括以下步骤：
点云处理步骤，将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将所述第一特征图依次插值到所述点云原始的空间位置，得到第二特征图，将所述第二特征图进行拼接，输出N*C维特征图，其中N指所述点云的点数，C表示通道数；
第一预测步骤，将所述N*C维特征图输入第一全连接神经网络，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值，其中，每个点的所述热力响应值表示该点在所在物体中的位置信息与所述物体的中心位置的关系；
第二预测步骤，将所述N*C维特征图输入第二全连接神经网络，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度；
中心坐标确定步骤，将所述预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标；以及
目标检测结果输出步骤，将所述预测的物体的长宽高、类别、偏转角度以及所述中心坐标进行合并，得到目标检测结果。
2.根据权利要求1所述的基于三维热图的三维点云目标检测方法，其特征在于，在以雷达扫描仪为原点的世界坐标系下，设物体的中心坐标为u(a,b,c)，物体中任意一点的坐标为q(m,n,t)，则该点的热力响应值为：
Figure FDA0002880546540000011
3.根据权利要求2所述的基于三维热图的三维点云目标检测方法，其特征在于，在所述第一预测步骤中通过所述点云的空间位置计算出每个点的真实的热力响应值，并采用所述真实的热力响应值对所述第一全连接神经网络进行训练。
4.根据权利要求2所述的基于三维热图的三维点云目标检测方法，其特征在于，所述中心坐标确定步骤中具体包括：设第i个点的预测的热力响应值为Yi，该点的坐标为qi(mi,ni,ti)，则由三维高斯分布，该点所在的三维正态分布的均值为μ(μ1,μ2,μ3)，其中，正太分布的协方差矩阵方差取对角矩阵，对角线的取值设置超参数σ1，σ2，σ3，
则有：
Figure FDA0002880546540000021
Figure FDA0002880546540000022
Figure FDA0002880546540000023
令
Figure FDA0002880546540000024
则对原式进行展开有：
Figure FDA0002880546540000025
对于
Figure FDA0002880546540000026
有：
Figure FDA0002880546540000027
运用最小二乘法：
Figure FDA0002880546540000028
回归出高斯分布的均值，即预测的物体的中心坐标。
5.根据权利要求1-4中任一项所述的基于三维热图的三维点云目标检测方法，其特征在于，在所述点云处理步骤中将所述第二特征图进行拼接具体包括：将所述第二特征图对应位置的特征值进行相加。
6.根据权利要求1-4中任一项所述的基于三维热图的三维点云目标检测方法，其特征在于，所述第一全连接神经网络包括第一输入层，第一隐藏层和第一输出层，使用smoothL1损失函数来拟合收敛。
7.根据权利要求1-4中任一项所述的基于三维热图的三维点云目标检测方法，其特征在于，所述第二全连接神经网络包括第二输入层，第二隐藏层和第二输出层，使用smoothL1损失函数得到预测框的大小，使用focal loss损失来预测类别。
8.一种基于三维热图的三维点云目标检测装置，其特征在于，包括：
点云处理模块，被配置为将点云输入多层稀疏卷积得到第一特征图，利用双线性插值法将所述第一特征图依次插值到所述点云原始的空间位置，得到第二特征图，将所述第二特征图进行拼接，输出N*C维特征图，其中N指所述点云的点数，C表示通道数；
第一预测模块，被配置为将所述N*C维特征图输入第一全连接层，输出N*4维特征图，输出数据包括预测的点云的坐标以及预测的热力响应值，其中，每个点的所述热力响应值表示该点在所在物体中的位置信息与所述物体的中心位置的关系；
第二预测模块，被配置为将所述N*C维特征图输入第二全连接层，输出五维向量，分别表示预测的物体的长宽高、类别以及偏转角度；
中心坐标确定模块，被配置为将所述预测的热力响应值通过三维高斯分布进行回归，得到高斯分布的均值，即预测的物体的中心坐标；以及
目标检测结果输出模块，被配置为将所述预测的物体的长宽高、类别、偏转角度以及所述中心坐标进行合并，得到目标检测结果。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202011633077.4A 2020-12-31 2020-12-31 一种基于三维热图的三维点云目标检测方法和装置 Pending CN112699806A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011633077.4A CN112699806A (zh) 2020-12-31 2020-12-31 一种基于三维热图的三维点云目标检测方法和装置
PCT/CN2021/074231 WO2022141720A1 (zh) 2020-12-31 2021-01-28 一种基于三维热图的三维点云目标检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011633077.4A CN112699806A (zh) 2020-12-31 2020-12-31 一种基于三维热图的三维点云目标检测方法和装置

Publications (1)

Publication Number Publication Date
CN112699806A true CN112699806A (zh) 2021-04-23

Family

ID=75513621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011633077.4A Pending CN112699806A (zh) 2020-12-31 2020-12-31 一种基于三维热图的三维点云目标检测方法和装置

Country Status (2)

Country Link
CN (1) CN112699806A (zh)
WO (1) WO2022141720A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657925A (zh) * 2021-07-28 2021-11-16 黄淮学院 基于人工智能的土木工程造价管理方法
CN113807184A (zh) * 2021-08-17 2021-12-17 北京百度网讯科技有限公司 障碍物检测方法、装置、电子设备及自动驾驶车辆
CN114998890A (zh) * 2022-05-27 2022-09-02 长春大学 一种基于图神经网络的三维点云目标检测算法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330753B (zh) * 2022-10-10 2022-12-20 博志生物科技(深圳)有限公司 椎骨识别方法、装置、设备及存储介质
CN115345908B (zh) * 2022-10-18 2023-03-07 四川启睿克科技有限公司 一种基于毫米波雷达的人体姿态识别方法
CN116664874B (zh) * 2023-08-02 2023-10-20 安徽大学 一种单阶段细粒度轻量化点云3d目标检测系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734455B2 (en) * 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
CN111681212B (zh) * 2020-05-21 2022-05-03 中山大学 一种基于激光雷达点云数据的三维目标检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657925A (zh) * 2021-07-28 2021-11-16 黄淮学院 基于人工智能的土木工程造价管理方法
CN113657925B (zh) * 2021-07-28 2023-08-22 黄淮学院 基于人工智能的土木工程造价管理方法
CN113807184A (zh) * 2021-08-17 2021-12-17 北京百度网讯科技有限公司 障碍物检测方法、装置、电子设备及自动驾驶车辆
CN114998890A (zh) * 2022-05-27 2022-09-02 长春大学 一种基于图神经网络的三维点云目标检测算法
CN114998890B (zh) * 2022-05-27 2023-03-10 长春大学 一种基于图神经网络的三维点云目标检测算法

Also Published As

Publication number Publication date
WO2022141720A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN112699806A (zh) 一种基于三维热图的三维点云目标检测方法和装置
Yang et al. Multifeature fusion-based object detection for intelligent transportation systems
Yin et al. Scale recovery for monocular visual odometry using depth estimated with deep convolutional neural fields
US20210216077A1 (en) Method, apparatus and computer storage medium for training trajectory planning model
CN116783620A (zh) 根据点云的高效三维对象检测
CN113536920B (zh) 一种半监督三维点云目标检测方法
CN112734931B (zh) 一种辅助点云目标检测的方法及系统
EP4318313A1 (en) Data processing method, training method for neural network model, and apparatus
Liu et al. Understanding road layout from videos as a whole
Zhao et al. 3D-RVP: A method for 3D object reconstruction from a single depth view using voxel and point
CN110781894A (zh) 点云语义分割方法、装置及电子设备
CN114419617A (zh) 一种目标检测方法、装置、设备及存储介质
CN115115917A (zh) 基于注意力机制和图像特征融合的3d点云目标检测方法
CN115147798A (zh) 可行驶区域预测方法、模型、装置及车辆
Guo et al. CTpoint: A novel local and global features extractor for point cloud
Tan et al. 3D detection transformer: Set prediction of objects using point clouds
Peng et al. Exploiting semantic and boundary information for stereo matching
CN110490235B (zh) 一种面向2d图像的车辆对象视点预测与三维模型恢复方法及装置
Jia et al. Self-supervised depth estimation leveraging global perception and geometric smoothness using on-board videos
Zhang et al. An Improved Detection Algorithm For Pre-processing Problem Based On PointPillars
CN115146757A (zh) 一种神经网络模型的训练方法及装置
CN114266900B (zh) 一种基于动态卷积的单目3d目标检测方法
CN113674346B (zh) 图像检测方法、装置、电子设备和计算机可读存储介质
CN116486203B (zh) 一种基于孪生网络和在线模板更新的单目标跟踪方法
US20240161442A1 (en) Method and apparatus with object detector training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination