CN113759338A - 一种目标检测方法、装置、电子设备及存储介质 - Google Patents

一种目标检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113759338A
CN113759338A CN202011240805.5A CN202011240805A CN113759338A CN 113759338 A CN113759338 A CN 113759338A CN 202011240805 A CN202011240805 A CN 202011240805A CN 113759338 A CN113759338 A CN 113759338A
Authority
CN
China
Prior art keywords
point cloud
voxel
information
original
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011240805.5A
Other languages
English (en)
Other versions
CN113759338B (zh
Inventor
刘浩
徐卓然
白宇
董博
王丹
许新玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Qianshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Qianshi Technology Co Ltd filed Critical Beijing Jingdong Qianshi Technology Co Ltd
Priority to CN202011240805.5A priority Critical patent/CN113759338B/zh
Publication of CN113759338A publication Critical patent/CN113759338A/zh
Application granted granted Critical
Publication of CN113759338B publication Critical patent/CN113759338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种目标检测方法、装置、电子设备及存储介质。该方法包括：获取原始点云、以及与原始点云对应的体素网格，将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，其中，每个体素单元中存储有匹配到体素单元中的原始点的点云信息；根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云，将待提取点云输入至已训练完成的点云特征提取网络中；根据点云特征提取网络的输出结果，得到原始点云的点云特征；根据点云特征得到原始点云中待检测目标的目标检测结果。本发明实施例的技术方案，将涵盖有体素网格中各点云信息的待提取点云作为一个整体进行点云特征提取，达到了快速提取点云特征的效果。

Description

一种目标检测方法、装置、电子设备及存储介质
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种目标检测方法、装置、电子设备及存储介质。
背景技术
为确保车辆行驶的安全性，自动驾驶车辆需要对可能会阻碍行驶的障碍物进行检测识别，以便根据不同的障碍物的类型和状态执行合理的回避动作。
自动驾驶领域中目前最为成熟的检测方案为激光雷达点云(以下可简称为点云)的鸟瞰图(Bird’s-eye View，BEV)检测方案，该检测方案是对3D点云进行特征提取得到BEV视角下的图像数据，然后基于该图像数据对原始点云中的待检测目标进行检测，该待检测目标可以是障碍物。
在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：对3D点云进行特征提取时，现有的特征提取方案存在点云特征提取速度较慢的问题，其无法在自动驾驶车辆中进行很好地应用。
发明内容
本发明实施例提供了一种目标检测方法、装置、电子设备及存储介质，以实现在目标检测过程中快速提取点云特征的效果。
第一方面，本发明实施例提供了一种目标检测方法，可以包括：
获取原始点云、以及与原始点云对应的体素网格，并将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，其中，每个体素单元中存储有匹配到体素单元中的原始点的点云信息；根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云；将待提取点云输入至已训练完成的点云特征提取网络中，并根据点云特征提取网络的输出结果得到原始点云的点云特征；根据点云特征得到原始点云中待检测目标的目标检测结果。
可选的，将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，可以包括：针对原始点云中的每个原始点，根据原始点的位置信息确定原始点在体素网格中对应的体素单元；获取体素单元的单元信息，将原始点分配到体素单元中，并根据原始点的点云信息更新单元信息；
相应的，根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云，可以包括：根据体素网格的尺寸信息和各体素单元的单元信息确定待提取点云。
可选的，原始点的点云信息包括原始点的位置信息p(x,y,z)，单元信息包括已匹配到体素单元中的各原始点的分布中心点的位置信息
Figure BDA0002768362570000021
根据原始点的点云信息更新单元信息，可以包括：通过如下公式重新计算
Figure BDA0002768362570000022
并根据重新计算结果更新
Figure BDA0002768362570000023
得到
Figure BDA0002768362570000024
Figure BDA0002768362570000025
其中，p是原始点，V是与p对应的体素单元，且Vd是已匹配到V中的各原始点的数量。
可选的，将待提取点云输入至已训练完成的点云特征提取网络中，并根据点云特征提取网络的输出结果得到原始点云的点云特征，可以包括：将待提取点云输入至已训练完成的用于对待提取点云中的每个待提取点分别进行特征提取的第一神经网络；将第一神经网络输出的特征提取结果输入至已训练完成的用于对目标维度上的各特征提取结果进行压缩的第二神经网络，其中，目标维度包括体素网格在目标方向上的尺寸信息；根据第二神经网络的输出结果得到原始点云的点云特征。
可选的，第一神经网络可以包括卷积核大小为1×1的第一卷积神经网络；和/或，第二神经网络可以包括用于对目标维度上的各特征提取结果进行加权求和的第二卷积神经网络。
可选的，待提取点云通过待提取张量进行表示，其中，待提取张量的形状根据B、F、N和M确定，B是待提取点云的数量，F是各点云信息构成的单元信息的信息维度，N是目标维度，M是体素网格在第一方向上的尺寸信息H和在第二方向上的尺寸信息W的乘积结果，第一方向和第二方向是相互垂直的、且均与目标方向相垂直的方向；
第二卷积神经网络输出的特征压缩结果以待变形张量进行表示，其中，待变形张量的形状根据B、Q、1和M确定，Q是第二卷积神经网络中的卷积核的数量，1是压缩后的目标维度；
相应的，根据第二神经网络的输出结果，得到原始点云的点云特征，包括：对第二神经网络输出的待变形张量进行变形，得到已变形张量，并根据已变形张量得到原始点云的点云特征，其中已变形张量的形状根据B、Q、H和W确定。
可选的，点云信息可包括原始点的位置信息和/或强度信息；和/或，
单元信息可以包括体素单元中的各原始点的数量、平均强度和分布中心点的位置信息中的至少一个；和/或，
第二卷积神经网络可以包括全局深度卷积神经网络；和/或，
目标方方向可以包括与水平面相互垂直的高度方向。
第二方面，本发明实施例还提供了一种目标检测装置，可以包括：
点匹配模块，用于获取原始点云、以及与原始点云对应的体素网格，并将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，每个体素单元中存储有匹配到体素单元中的原始点的点云信息；
待提取点云确定模块，用于根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云；
点云特征提取模块，用于将待提取点云输入至已训练完成的点云特征提取网络中，根据点云特征提取网络的输出结果得到原始点云的点云特征；
目标检测模块，用于根据点云特征得到原始点云中待检测目标的目标检测结果。
第三方面，本发明实施例还提供了一种电子设备，该电子设备可以包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的目标检测方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的目标检测方法。
本发明实施例的技术方案，在将原始点云中的每个原始点分别匹配到与该原始点云对应的体素网格中相应的体素单元的过程中，将各原始点的点云信息分别存储在相应的体素单元中，由此保证了后续的点云特征的提取精度；根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云，该待提取点云中同时涵盖有原始点云的点云特征、以及原始点和原始点之间的空间关系，其在后续的点云特征提取环节可以进行硬件加速；将该待提取点云作为一整体直接输入到已训练完成的点云特征提取网络中来对整个体素网格进行点云特征提取，此时无需对局部的体素特征逐一进行特征提取，亦无需对其进行索引，后续根据该点云特征提取网络的输出结果可以直接得到原始点云的点云特征，进而根据该点云特征得到该原始点云中待检测目标的目标检测结果。上述技术方案，将涵盖有体素网格中各点云信息的待提取点云作为一整体进行点云特征提取，由此提高了点云特征的提取速度，被保留下来的点云信息还保证了后续目标检测的准确度；而且，该待提取点云涵盖了原始点云的点云特征、以及原始点和原始点间的空间关系，其可以在点云特征提取过程中进行硬件加速，由此进一步提高了点云特征的提取速度，达到了对点云特征进行快速的效果。
附图说明
图1是本发明实施例一中的一种目标检测方法的流程图；
图2是本发明实施例二中的一种目标检测方法的流程图；
图3是本发明实施例三中的一种目标检测方法的流程图；
图4是本发明实施例三中的一种目标检测方法中可选示例的流程图；
图5是本发明实施例四中的一种目标检测装置的结构框图；
图6是本发明实施例五中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：当前主流的点云特征提取方案如下所述：先基于特征提取算法对点云中每个点进行特征提取、并对其建立索引，然后再基于该索引恢复各点原有的空间关系，得到BEV视角下的图像数据。但是，通常64线激光雷达在一次扫描中会产生10万个点，而且受限于自动驾驶车辆的计算性能，可部署在该自动驾驶车辆上的算法模型的计算复杂度受到严格限制，这意味着当前需要付出高昂计算代价的特征提取方案很难应用在自动驾驶车辆中。此外，为了保证点云特征的提取精度，即使是比较快速的特征提取算法，其通常需要对局部的体素特征(例如体素单元Voxel Cell或柱Pillar)逐一进行特征提取，点云特征的提取速度难以保证；而且，该点云特征提取方案难以进行硬件加速，例如应用TensorRT进行加速等等，这是因为其基于一个张量(Tensor)提取点云特征，且基于另一Tensor记录索引，即点云特征、以及点云中点和点间的空间关系不是在一个Tensor中完成，后续需要根据该索引进行处理以恢复各点原有的空间关系，这不是TensorRT能够直接支持的情况。
实施例一
图1是本发明实施例一中提供的一种目标检测方法的流程图。本实施例可适用于快速提取点云特征的情况，尤其适用于将体素化和点云信息相结合的快速且准确地提取点云特征的情况。该方法可以由本发明实施例提供的目标检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备上，该电子设备可以集成在自动驾驶车辆中。
参见图1，本发明实施例的方法具体包括如下步骤：
S110、获取原始点云、以及与原始点云对应的体素网格，并将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，其中，每个体素单元中存储有匹配到体素单元中的原始点的点云信息。
其中，基于激光雷达设备采集原始点云C，该原始点云的尺寸可以为n×m，其中n为原始点云中各原始点的个数，m为每个原始点的点云信息的信息维度，比如每个原始点中存储有各自的位置信息，则m可以为3，如(x,y,z)，其中x,y,z为原始点的坐标；再比如每个原始点中存储有各自的位置信息和强度信息，则其m可以为4，如(x,y,z,r)，r为原始点的可反射的强度信息；等等。
与该原始点云对应的体素网格(Voxel grid)可以是对原始点云所在的点云空间x-y-z进行划分后得到的网格，该体素网格的尺寸信息可以为H×W×N，即该体素网格中包括H×W×N个体素单元(Voxel Cell)V，其中，H可以是对x轴方向或是y轴方向上的原始点云进行划分的份数，W可以是对y轴方向或是x轴方向上的原始点云进行划分的份数，且N可以是对z轴方向(即高度方向)上的原始点云进行划分的份数，该高度方向是与水平面相垂直的方向，换言之，C是H×W×N个V的并集，C＝UH×W×NV。
在此基础上，可以将原始点云中的各原始点分别匹配到体素网格中相应的体素单元中，例如根据各原始点的位置信息将它们依次匹配到与其对应的体素单元中，由此实现了原始点云的体素化的效果。需要说明的是，体素化过程中，每个原始点的点云信息均已保留下来，这意味着每个体素单元中存储有已匹配到该体素单元中的每个原始点的点云信息，而且该点云信息可以体现出原始点和原始点间的空间关系，由此避免了体素化过程中可能丢失原始点的点云信息的情况出现，这对后续的目标检测精度至关重要。
S120、根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云。
其中，为解决因为需要对每个原始点、或是对原始点云中每个局部的体素特征逐一进行特征提取而带来的点云特征提取速度较慢的问题，或是因为点云特征、以及原始点和原始点间的空间关系未存储一个区域而致使在点云特征的提取过程中无法进行硬件加速的问题，本发明实施例所提出的待提取点云根据体素网格的尺寸信息和每个体素单元中各点云信息确定，其将体素网格的尺寸信息和每个体素单元中存储的各点云信息结合在一起，这意味着各原始点云的点云特征、以及原始点和原始点间的空间关系存储在同一区域中，比如待提取点云以Tensor进行表示时，点云特征和空间关系同时保留在一个Tensor中，这样的待提取点云在后续点云特征提取过程可以进行硬件加速；而且，由于待提取点云中包含有存储在体素网格中每个原始点的点云信息，后续可以将该待提取点云作为一整体直接输入至已训练完成的点云特征提取网络中来对整个体素网格进行点云特征提取，该过程无需对局部的体素特征逐一进行特征提取，亦无需对其进行索引，由此提高了点云特征的提取效率，可以适用于自动驾驶的应用场景中。
S130、将待提取点云输入至已训练完成的点云特征提取网络中，根据点云特征提取网络的输出结果得到原始点云的点云特征。
其中，在实际应用中，上述点云特征提取网络可以是一个完整的神经网络，如某可以实现点云特征提取的卷积神经网络；也可以是由至少两个神经网络组合后的神经网络，考虑到本发明实施例可能涉及到的应用场景，为对3D原始点云进行特征提取后得到BEV视角下的2D图像数据，该点云特征提取网络可包括至少一个可以实现点云特征提取的卷积神经网络、以及至少一个可以实现维度压缩的卷积神经网络；等等，在此未做具体限定。
进一步，在将待提取点云输入至已训练完成的点云特征提取网络后，根据点云特征提取网络的输出结果，可以直接得到原始点云的点云特征，也可以对该输出结果再次进行处理后得到原始点云的点云特征，该点云特征可以包括BEV视角下的图像数据。
S140、根据点云特征得到原始点云中待检测目标的目标检测结果。
其中，根据点云特征进行目标检测的实现方案有多种，如可以将点云特征与预先存储的各结果特征进行对比，根据对比结果确定原始点云中待检测目标的目标检测结果，其中，该结果特征可以是与某种目标检测结果相对应的特征，待检测目标是原始点云中待检测的目标对象，该目标检测结果可以是原始点云中是否存在待检测目标、进一步还可以是待检测目标的类型、状态等等；再如可以将点云特征输入至后续的目标检测算法中，并根据该目标检测算法的输出结果确定待检测目标的目标检测结果；等等，在此未做具体限定。示例性的，自动驾驶领域中，该待检测目标可以是某种或是某几种障碍物，自动驾驶车辆根据目标检测结果可以确定在车辆行驶路径中是否存在这些障碍物，后续可以根据该目标检测结果执行合理的回避动作。
需要说明的是，由于体素化过程中保留了每个原始点的点云信息，在对基于这样的体素化结果提取出的点云特征进行目标检测时，可以较好地保证了目标检测的准确度。
本发明实施例的技术方案，在将原始点云中的每个原始点分别匹配到与该原始点云对应的体素网格中相应的体素单元的过程中，将各原始点的点云信息分别存储在相应的体素单元中，由此保证了后续的点云特征的提取精度；根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云，该待提取点云中同时涵盖有原始点云的点云特征、以及原始点和原始点之间的空间关系，其在后续的点云特征提取环节可以进行硬件加速；将该待提取点云作为一整体直接输入到已训练完成的点云特征提取网络中来对整个体素网格进行点云特征提取，此时无需对局部的体素特征逐一进行特征提取，亦无需对其进行索引，后续根据该点云特征提取网络的输出结果可以直接得到原始点云的点云特征，进而根据该点云特征可以得到该原始点云中待检测目标的目标检测结果。上述技术方案，将涵盖有体素网格中各点云信息的待提取点云作为一整体进行点云特征提取，由此提高了点云特征的提取速度，被保留下来的点云信息还保证了后续目标检测的准确度；而且，该待提取点云涵盖了原始点云的点云特征、以及原始点和原始点间的空间关系，其可以在点云特征提取过程中进行硬件加速，由此进一步提高了点云特征的提取速度，达到了对点云特征进行快速的效果。
实施例二
图2是本发明实施例二中提供的一种目标检测方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，具体可以包括：针对原始点云中的每个原始点，根据原始点的位置信息确定原始点在体素网格中对应的体素单元；获取体素单元的单元信息，将原始点分配到体素单元中，并根据原始点的点云信息更新单元信息；相应的，根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云，具体可以包括：根据体素网格的尺寸信息和各体素单元的单元信息确定待提取点云。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图2，本实施例的方法具体可以包括如下步骤：
S210、获取原始点云、及与原始点云对应的体素网格，针对原始点云中的每个原始点，根据原始点的位置信息确定原始点在体素网格中对应的体素单元，其中，每个体素单元中存储有匹配到体素单元中的原始点的点云信息。
其中，由于体素网格是对原始点云所在的点云空间x-y-z进行划分之后得到的网格，因此根据原始点的位置信息可以确定每个原始点在该体素网格中对应的体素单元，该位置信息可以通过坐标进行表示。
S220、获取体素单元的单元信息，将原始点分配到体素单元中，并根据原始点的点云信息更新单元信息。
其中，由于各原始点是依次分配到相应的体素单元中，在将某原始点分配到与其对应的体素单元前，该体素单元中可能已经存储有至少一个原始点，也可能未存储任何的原始点。据此，在将该原始点分配到该体素单元前，可以先获取该体素单元的单元信息，该单元信息可以从整体上呈现出已匹配到该体素单元中的各原始点的点云信息；然后，将该原始点分配到该体素单元中，而且在分配结束后根据该原始点的点云信息更新该单元信息，以使更新后的单元信息可以体现出新分配到该体素单元中的原始点的点云信息。即在向某体素单元中每匹配一个原始点时，就对该体素单元的单元信息进行一次更新。可选的，该单元信息可以包括该体素单元中各原始点的数量、平均强度和/或分布中心点的位置信息，该分布中心点可以是各原始点在空间分布上的中心点，该中心点很可能是一个伪点，其位置信息可以根据各原始点的坐标的平均值确定。
在此基础上，可选的，为了确保对每个原始点只匹配一次，避免将已匹配过的原始点再次进行匹配的情况出现，可以采用增量式更新方式实现原始点在匹配过程中对应的单元信息的更新过程，这无需对同一原始点进行多次遍历。
可选的，以分布中心点的位置信息为例，上述增量式更新方式的实现过程可以是：原始点的点云信息包括原始点的位置信息p(x,y,z)，单元信息包括已匹配到体素单元中的各原始点的分布中心点的位置信息
Figure BDA0002768362570000121
此时可以通过如下公式重新计算
Figure BDA0002768362570000122
并根据重新计算结果更新
Figure BDA0002768362570000123
得到
Figure BDA0002768362570000124
Figure BDA0002768362570000125
其中，p是原始点，V是与p对应的体素单元，且Vd是已匹配到V中的各原始点的数量，‖V‖是已匹配到V内的各原始点的数量。由上可知，在将某原始点匹配到某体素单元前，若该体素单元内未存在任何原始点，则可以将该原始点的位置信息直接作为更新后的位置信息；否则，在将该原始点匹配到该体素单元前，可以先获取
Figure BDA0002768362570000126
和Vd，再根据二者计算出更新后的
Figure BDA0002768362570000127
S230、根据体素网格的尺寸信息和各体素单元的单元信息确定待提取点云。
其中，将已分配到某体素单元中的各原始点整合为一个伪点，该伪点可以是不存在的点，该体素单元的单元信息相当于该伪点的点云信息，由此，可以根据体素网格的尺寸信息和各体素单元的单元信息确定待提取点云，该待提取点云同时涵盖了体素单元的单元特征、以及各体素单元间的空间关系，该单元特征是该体素单元内各点云特征的整体表示，这样设置的好处在于，通过一个体素单元代替该体素单元内的各原始点，由此提高了后续点云特征的提取速度。
在实际应用中，可选的，各体素单元的单元信息可通过多维向量进行表示，其可以通过对各体素单元分别进行编码的方式实现，示例性的，将某体素单元编码为F维向量Vf＝(xc,yc,zc,Vr,Vd),where V∈C，其中，Vr是平均强度。若‖V‖＝0，则可以通过(0,0,0,0,0)进行占位。
S240、将待提取点云输入至已训练完成的点云特征提取网络中，根据点云特征提取网络的输出结果，得到原始点云的点云特征。
S250、根据点云特征得到原始点云中待检测目标的目标检测结果。
本发明实施例的技术方案，在根据原始点的位置信息获取到该原始点对应的体素单元后，可以先获取该体素单元的单元信息，并在将该原始点分配到该体素单元后，根据该原始点的点云信息更新该单元信息，由此，后续可以根据体素网格的尺寸信息和各体素单元的单元信息确定待提取点云，上述通过一个体素单元代替该体素单元内的各原始点的方式，达到了进一步提高后续的点云特征的提取速度的效果。
实施例三
图3是本发明实施例三中提供的一种目标检测方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，将待提取点云输入至已训练完成的点云特征提取网络中，可以包括：将待提取点云输入至已训练完成的用于对待提取点云中的每个待提取点分别进行特征提取的第一神经网络；将第一神经网络输出的特征提取结果输入至已训练完成的用于对目标维度上的各特征提取结果进行压缩的第二神经网络，其中目标维度包括体素网格在目标方向上的尺寸信息；相应的，根据点云特征提取网络的输出结果，得到原始点云的点云特征，可以包括：根据第二神经网络的输出结果，得到原始点云的点云特征。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图3，本实施例的方法具体可以包括如下步骤：
S310、获取原始点云、以及与原始点云对应的体素网格，将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，并根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云，其中，每个体素单元中存储有匹配到体素单元中的原始点的点云信息。
S320、将待提取点云输入至已训练完成的用于对待提取点云中的每个待提取点分别进行特征提取的第一神经网络。
其中，第一神经网络是用于对待提取点云中的每个待提取点分别进行特征提取的神经网络，比如多层感知器(Multiple Layers Perceptron，MLP)，卷积核大小为1×1的第一卷积神经网络等等，需要说明的是，将第一卷积神经网络的卷积核大小设置为1×1的原因在于，该1×1的卷积核可以作用于待提取点云中的每个待提取点、或说作用于待提取点云中的每个体素单元，这可以有效提高点云特征的提取精度。
S330、将第一神经网络输出的特征提取结果输入至已训练完成的用于对目标维度上的各特征提取结果进行压缩的第二神经网络，其中，目标维度包括体素网格在目标方向上的尺寸信息。
其中，考虑到本发明实施例可能涉及到的应用场景，由于体素网格的尺寸信息是3D数据，则待提取点云亦是3D数据，基于第一神经网络提取出的特征提取结果也可能是3D数据，但是在BEV检测方案中，需要得到BEV视角下的2D图像数据，由此设置了用于对目标维度上的各特征提取结果进行压缩的第二神经网络，以便将该特征提取结果输入至第二神经网络后得到2D数据，该目标维度可以表示体素网格在目标方向上的尺寸信息。
为了更好地理解上述步骤中的目标维度，在此进行示例性说明：对获取到的原始点云进行体素化，即将该原始点云所在的点云空间x-y-z划分为H×W×N大小的体素网格，令M＝H×W；由于原始点云的点云信息的信息维度是4，具体为(x,y,z,r)，x,y,z为原始点的坐标，r为原始点的可反射的强度信息，因此可以将该体素化网格编码为F维向量：F＝(xc,yc,zc,Vr,Vd)。在此基础上，可以得到形状为(B,F,N,M)的张量，此时N是目标维度，第二神经网络可以对N上的各特征提取结果进行压缩。当然，目标维度也可以是F、M等等，在此未做具体限定。
在此基础上，可选的，该第二神经网络可以是用于对目标维度上的各特征提取结果进行加权求和的第二卷积神经网络，其中的权重可以是通过训练得到的网络参数。需要说明的是，这样设置的第二卷积神经网络的好处是，一方面，其可以从该目标维度上的各特征提取结果中学习到最具代表性的特征提取结果，其可以是直接提取到的某特征提取结果，也可以是对各特征提取结果进行加权求和得到的特征提取结果，这是因为多个待提取点在目标方向上的分布是存在形状的，某些待提取点组合在一起才能更好地表示出某个点云特征，因此第二卷积神经网络可以更好地学习到形状信息；另一方面，其可以将目标维度压缩至1以便得到2D数据。在实际应用中，可选的，第二卷积神经网络可以包括全局可分离卷积(Global Depthwise Convolution，GDC)，由于其卷积核数量与输入的特征提取结果的通道数量相一致，因此其是一种可以按照通道相乘以实现通道可分离的卷积神经网络。
在此基础上，可选的，上述目标方向可以是与水平面相互垂直的高度方向，也可以是与水平面相互平行的水平方向，在此未做具体限定。在实际应用中，通常是将高度方向的尺寸信息压缩为1，这样设置的原因在于，BEV视角主要是模拟鸟类俯视地面的视角，因此对高度方向的尺寸信息进行压缩后更容易得到BEV视角下的图像数据；另外，与水平面相平行的水平方向上的尺寸信息是后续的目标检测算法中的关键参考因素，它的直接保留提高了后续的目标检测算法的检测精度。
S340、根据第二神经网络的输出结果，得到原始点云的点云特征。
其中，根据第二神经网络的输出结果，可以直接得到原始点云的点云特征，也可以对该输出结果再次进行处理后得到原始点云的点云特征，比如对该输出结果进行变形之后得到BEV视角下的图像数据，其可以输入至后续的目标检测算法中进行目标检测。
S350、根据点云特征得到原始点云中待检测目标的目标检测结果。
本发明实施例的技术方案，通过将待提取点云输入至已训练完成的第一神经网络中来分别得到每个待提取点的特征提取结果，进而可以将各特征提取结果输入至已训练完成的第二神经网络中来对目标维度上的各特征提取结果进行压缩，由此实现了将3D待提取点云变换为BEV视角下的2D点云特征的效果。
一种可选的技术方案，待提取点云通过待提取张量进行表示，其中待提取张量的形状根据B、F、N和M确定，B(batch-size)是待提取点云的数量，实际应用中可以输入多个待提取点云以同时得到该多个待提取点云的特征提取结果，F是各点云信息构成的单元信息的信息维度，N是目标维度，M是体素网格在第一方向上的尺寸信息H和第二方向上的尺寸信息W的乘积结果，第一方向和第二方向是相互垂直的、且均与目标方向相垂直的方向。需要说明的是，张量(Tensor)是神经网络中经常使用的一种数据存储形式，实际上是一个多维数组，其目的是能够创造更高维度的矩阵或是说向量。
相应的，第二卷积神经网络输出的特征压缩结果以待变形张量进行表示，其中，待变形张量的形状根据B、Q、1和M确定，Q是第二卷积神经网络中的卷积核的数量，1是压缩后的目标维度。
相应的，由于M是两个方向上的尺寸信息，且这两个尺寸信息在目标检测算法中都是关键参考因素，因此可以将M恢复为H和W。具体的，对待变形张量进行变形得到已变形张量，并根据已变形张量得到原始点云的点云特征，其中，该已变形张量的形状根据B、Q、H和W确定。
为了更好地理解上述步骤的具体实现过程，下面结合具体示例对本实施例的目标检测方法进行示例性的说明。示例性的，以图4为例，
(1)输入原始点云(Input Point Cloud)，该原始点云的尺寸信息为n×4，其中，n为原始点云中的原始点的数量，4是每个原始点的点云信息的信息维度，具体为(x,y,z,r)，x,y,z为原始点的坐标，r为原始点的可反射的强度信息。
(2)将原始点云的点云空间x-y-z划分为H×W×N大小的体素网格，并根据各原始点的(x,y,z)将它们依次匹配到该体素网格内相应的体素单元中，每个体素单元中存储有已匹配到该体素单元中的各原始点的数量Vd、平均强度Vr和分布中心点的位置信息(xc,yc,zc)。
(3)将该体素网格编码为F维向量：F＝(xc,yc,zc,Vr,Vd)。
(4)在此基础上，由于Tensor最多只能存储四维数据，且第一维是无法用于计算的batch-size(B)，因此令M＝H×W，将两维数据转变为一维数据，由此获得一个形状为(B,F,N,M)的张量T1，每帧原始点云均存在一组(F,N,M)，T1是根据B个体素网格中每个体素网格内的H×W×N个体素单元拼接而成。T1相当于上文所述的待提取张量。
(5)将T1输入BLOCK1网络中，获得形状为(B,Q,N,M)的张量T2，BLOCK1为卷积核大小为F×1×1、卷积核个数为Q的2D卷积神经网络。BEV视角中，原始点云相当于H×W个柱子，每个柱子上面有多个原始点，该多个原始点在高度方向上被划分为N份，每个原始点的向量维度是F。T1中每个红色部分都是一个原始点，在将T1输入到BLOCK1网络之后，将F维向量编码为Q维向量。
(6)将T2输入到BLOCK2网络中，获得形状为(B,Q,1,M)的张量。由于Tensor中最多只能存储四维数据，在此可以将形状为(B,Q,1,M)的张量压缩(Squeeze)至形状为(B,Q,M)的张量T3，以便后续将M恢复为H和W。BLOCK2为卷积核大小为1×N×1、且卷积核个数为Q的可分离的卷积神经网络。T3是上文所述的待变形张量。
(7)因为M＝H×W，将T3进行Reshape变换，获得形状为(B,Q,H,W)的张量，至此获得BEV视角下的输入张量T4，后续可使用2D目标检测算法(如2D CNN Detection)进行目标检测，得到原始点云中的待检测目标的目标检测结果(Detection Result)。T4即是上文所述的已变形张量。
上述技术方案，将原始点云进行体素化、且在体素化过程中保留每个原始点的点云信息，在此基础上通过BLOCK1和BLOCK2构成的全卷积神经网络实现了原始点云的点云特征的快速提取的效果，得到了BEV视角下的2D图像数据，是一种可以应用于自动驾驶领域中的点云特征提取方案。
实施例四
图5为本发明实施例四提供的目标检测装置的结构框图，该装置用于执行上述任意实施例所提供的目标检测方法。该装置与上述各实施例的目标检测方法属于同一个发明构思，在目标检测装置的实施例中未详尽描述的细节内容，可以参考上述目标检测方法的实施例。参见图5，该装置具体可包括：点匹配模块410、待提取点云确定模块420、点云特征提取模块430和目标检测模块440。
其中，点匹配模块410，用于获取原始点云、以及与原始点云对应的体素网格，将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，每个体素单元中存储有匹配到体素单元中的原始点的点云信息；
待提取点云确定模块420，用于根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云；
点云特征提取模块430，用于将待提取点云输入至已训练完成的点云特征提取网络，并根据点云特征提取网络的输出结果得到原始点云的点云特征；
目标检测模块440，用于根据点云特征得到原始点云中待检测目标的目标检测结果。
可选的，点匹配模块410，具体可以包括：
体素单元确定单元，用于针对原始点云中的每个原始点，根据原始点的位置信息确定原始点在体素网格中对应的体素单元；
单元信息更新单元，用于获取体素单元的单元信息，将原始点分配到体素单元中，并根据原始点的点云信息更新单元信息；
相应的，待提取点云确定模块420，具体可以用于：根据体素网格的尺寸信息和各体素单元的单元信息确定待提取点云。
可选的，原始点的点云信息包括原始点的位置信息p(x,y,z)，单元信息包括已匹配到体素单元中的各原始点的分布中心点的位置信息
Figure BDA0002768362570000201
单元信息更新单元，具体可以包括：
单元信息更新子单元，用于通过如下公式重新计算
Figure BDA0002768362570000202
并根据重新计算结果更新
Figure BDA0002768362570000203
得到
Figure BDA0002768362570000204
Figure BDA0002768362570000205
其中，p是原始点，V是与p对应的体素单元，且Vd是已匹配到V中的各原始点的数量。
可选的，点云特征提取模块430，具体可以包括：
点云特征提取单元，用于将待提取点云输入至已训练完成的用于对待提取点云中的每个待提取点分别进行特征提取的第一神经网络；
点云特征压缩单元，用于将第一神经网络输出的特征提取结果输入至已训练完成的用于对目标维度上的各特征提取结果进行压缩的第二神经网络，其中，目标维度包括体素网格在目标方向上的尺寸信息；
点云特征得到单元，用于根据第二神经网络的输出结果，得到原始点云的点云特征。
可选的，第一神经网络包括卷积核大小为1×1的第一卷积神经网络；和/或第二神经网络包括用于对目标维度上的各特征提取结果进行加权求和的第二卷积神经网络。
可选的，待提取点云通过待提取张量进行表示，其中，待提取张量的形状根据B、F、N和M确定，B是待提取点云的数量，F是各点云信息构成的单元信息的信息维度，N是目标维度，M是体素网格在第一方向上的尺寸信息H和在第二方向上的尺寸信息W的乘积结果，第一方向和第二方向是相互垂直的、且均与目标方向相垂直的方向；
第二卷积神经网络输出的特征压缩结果以待变形张量进行表示，其中，待变形张量的形状根据B、Q、1和M确定，Q是第二卷积神经网络中的卷积核的数量，1是压缩后的目标维度；
相应的，点云特征得到单元，具体可用于：对第二神经网络输出的待变形张量进行变形，得到已变形张量，并根据已变形张量得到原始点云的点云特征，其中，已变形张量的形状根据B、Q、H和W确定。
可选的，点云信息可包括原始点的位置信息和/或强度信息；和/或，
单元信息可以包括体素单元中的各原始点的数量、平均强度和分布中心点的位置信息中的至少一个；和/或，
第二卷积神经网络可以包括全局深度卷积神经网络；和/或，
目标方方向可以包括与水平面相互垂直的高度方向。
本发明实施例四提供的目标检测装置，通过点匹配模块在将原始点云中的每个原始点分别匹配到与该原始点云对应的体素网格中相应的体素单元的过程中，将各原始点的点云信息分别存储在相应的体素单元中，由此保证了后续的点云特征的提取精度；点云输入模块和点云特征提取模块相互配合，根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云，该待提取点云中同时涵盖有原始点云的点云特征、以及原始点和原始点之间的空间关系，其在后续的点云特征提取环节可以进行硬件加速；然后可将该待提取点云作为一整体直接输入到已训练完成的点云特征提取网络中来对整个体素网格进行点云特征提取，此时无需对局部的体素特征逐一进行特征提取，或是对其进行索引，后续根据该点云特征提取网络的输出结果可以直接得到原始点云的点云特征；目标检测模块根据该点云特征可以得到原始点云中待检测目标的目标检测结果。上述装置，将涵盖有体素网格中各点云信息的待提取点云作为一个整体进行点云特征提取，由此提高了点云特征的提取速度，被保留下来的点云信息还保证了后续目标检测的准确度；而且该待提取点云因为涵盖了原始点云的点云特征、以及原始点和原始点间的空间关系，其可在点云特征提取过程中进行硬件加速，由此进一步提高了点云特征的提取速度，达到了对点云特征进行快速的效果。
本发明实施例所提供的目标检测装置可执行本发明任意实施例所提供的目标检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述目标检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
图6为本发明实施例五提供的一种电子设备的结构示意图，如图6所示，该电子设备包括存储器510、处理器520、输入装置530和输出装置540。电子设备中的处理器520的数量可以是一个或多个，图6中以一个处理器520为例；电子设备中的存储器510、处理器520、输入装置530和输出装置540可以通过总线或其它方式连接，图6中以通过总线550连接为例。
存储器510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的目标检测方法对应的程序指令/模块(例如，目标检测装置中的点匹配模块410、点云输入模块420、点云特征提取模块430和目标检测模块440)。处理器520通过运行存储在存储器510中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的目标检测方法。
存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
实施例六
本发明实施例六提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种目标检测方法，该方法包括：
获取原始点云、以及与原始点云对应的体素网格，并将原始点云中的各原始点分别匹配到体素网格中相应的体素单元，其中，每个体素单元中存储有匹配到体素单元中的原始点的点云信息；根据体素网格的尺寸信息和每个体素单元中各点云信息确定待提取点云；将待提取点云输入至已训练完成的点云特征提取网络中，并根据点云特征提取网络的输出结果得到原始点云的点云特征；根据点云特征得到原始点云中待检测目标的目标检测结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的目标检测方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种目标检测方法，其特征在于，包括：
获取原始点云、以及与所述原始点云对应的体素网格，将所述原始点云中的各原始点分别匹配到所述体素网格中相应的体素单元，其中，每个所述体素单元中存储有匹配到所述体素单元中的所述原始点的点云信息；
根据所述体素网格的尺寸信息和每个所述体素单元中各所述点云信息确定待提取点云；
将所述待提取点云输入至已训练完成的点云特征提取网络中，并根据所述点云特征提取网络的输出结果得到所述原始点云的点云特征；
根据所述点云特征得到所述原始点云中待检测目标的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述原始点云中的各原始点分别匹配到所述体素网格中相应的体素单元，包括：
针对所述原始点云中的每个原始点，根据所述原始点的位置信息确定所述原始点在所述体素网格中对应的体素单元；
获取所述体素单元的单元信息，将所述原始点分配到所述体素单元中，并根据所述原始点的点云信息更新所述单元信息；
相应的，所述根据所述体素网格的尺寸信息和每个所述体素单元中各所述点云信息确定待提取点云，包括：根据所述体素网格的尺寸信息和各所述体素单元的所述单元信息确定待提取点云。
3.根据权利要求2所述的方法，其特征在于，所述原始点的点云信息包括所述原始点的位置信息p(x,y,z)，所述单元信息包括已匹配到所述体素单元中的各所述原始点的分布中心点的位置信息
Figure FDA0002768362560000011
所述根据所述原始点的点云信息更新所述单元信息，包括：
通过如下公式重新计算
Figure FDA0002768362560000021
并根据重新计算结果更新
Figure FDA0002768362560000022
得到
Figure FDA0002768362560000023
Figure FDA0002768362560000024
其中，p是所述原始点，V是与p对应的所述体素单元，且Vd是已匹配到V中的各所述原始点的数量。
4.根据权利要求1所述的方法，其特征在于，所述将所述待提取点云输入至已训练完成的点云特征提取网络中，并根据所述点云特征提取网络的输出结果得到所述原始点云的点云特征，包括：
将所述待提取点云输入至已训练完成的用于对所述待提取点云中的每个待提取点分别进行特征提取的第一神经网络；
将所述第一神经网络输出的特征提取结果输入至已训练完成的用于对目标维度上的各所述特征提取结果进行压缩的第二神经网络，其中，所述目标维度包括所述体素网格在目标方向上的所述尺寸信息；
根据所述第二神经网络的输出结果，得到所述原始点云的点云特征。
5.根据权利要求4所述的方法，其特征在于，所述第一神经网络包括卷积核大小为1×1的第一卷积神经网络；和/或所述第二神经网络包括用于对所述目标维度上的各所述特征提取结果进行加权求和的第二卷积神经网络。
6.根据权利要求5所述的方法，其特征在于，所述待提取点云通过待提取张量进行表示，其中，所述待提取张量的形状根据B、F、N和M确定，B是所述待提取点云的数量，F是各所述点云信息构成的单元信息的信息维度，N是所述目标维度，M是所述体素网格在第一方向上的所述尺寸信息H和在第二方向上的所述尺寸信息W的乘积结果，所述第一方向和所述第二方向是相互垂直的、且均与所述目标方向相垂直的方向；
所述第二卷积神经网络输出的特征压缩结果以待变形张量进行表示，其中，所述待变形张量的形状根据B、Q、1和M确定，Q是所述第二卷积神经网络中的卷积核的数量，1是压缩后的所述目标维度；
相应的，所述根据所述第二神经网络的输出结果，得到所述原始点云的点云特征，包括：对所述第二神经网络输出的所述待变形张量进行变形，得到已变形张量，并根据所述已变形张量得到所述原始点云的点云特征，其中，所述已变形张量的形状根据B、Q、H和W确定。
7.根据权利要求6所述的方法，其特征在于，所述点云信息包括所述原始点的位置信息和/或强度信息；和/或，
所述单元信息包括所述体素单元中的各所述原始点的数量、平均强度和/或分布中心点的位置信息；和/或，
所述第二卷积神经网络包括全局深度卷积神经网络；和/或，
所述目标方向包括与水平面相互垂直的高度方向。
8.一种目标检测装置，其特征在于，包括：
点匹配模块，用于获取原始点云、以及与所述原始点云对应的体素网格，并将所述原始点云中的各原始点分别匹配到所述体素网格中相应的体素单元，每个所述体素单元中存储有匹配到所述体素单元中的所述原始点的点云信息；
待提取点云确定模块，用于根据所述体素网格的尺寸信息和每个所述体素单元中各所述点云信息确定待提取点云；
点云特征提取模块，用于将所述待提取点云输入至已训练完成的点云特征提取网络中，根据点云特征提取网络的输出结果得到所述原始点云的点云特征；
目标检测模块，用于根据所述点云特征得到所述原始点云中待检测目标的目标检测结果。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的目标检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的目标检测方法。
CN202011240805.5A 2020-11-09 2020-11-09 一种目标检测方法、装置、电子设备及存储介质 Active CN113759338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011240805.5A CN113759338B (zh) 2020-11-09 2020-11-09 一种目标检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240805.5A CN113759338B (zh) 2020-11-09 2020-11-09 一种目标检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113759338A true CN113759338A (zh) 2021-12-07
CN113759338B CN113759338B (zh) 2024-04-16

Family

ID=78786012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240805.5A Active CN113759338B (zh) 2020-11-09 2020-11-09 一种目标检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113759338B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648579A (zh) * 2022-02-15 2022-06-21 浙江零跑科技股份有限公司 一种多分支输入的激光雷达目标检测方法
CN116520289A (zh) * 2023-07-04 2023-08-01 东莞市新通电子设备有限公司 五金件加工过程智能控制方法及相关装置
WO2023165220A1 (zh) * 2022-03-04 2023-09-07 京东鲲鹏(江苏)科技有限公司 一种目标物体的检测方法和装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118564A (zh) * 2018-08-01 2019-01-01 湖南拓视觉信息技术有限公司 一种基于融合体素的三维点云标记方法和装置
CN109410321A (zh) * 2018-10-17 2019-03-01 大连理工大学 基于卷积神经网络的三维重建方法
US20190147250A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Semantic Segmentation of Three-Dimensional Data
EP3514709A2 (de) * 2018-01-22 2019-07-24 Joachim Becker Verfahren und vorrichtung zur übertragung und anzeige von nutzereigenen vektorgraphiken mit intelligenten infopunkten aus einem cloudbasierten cad-archiv auf mobilgeräten, tragbaren oder stationären computern
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术
CN110751040A (zh) * 2019-09-18 2020-02-04 杭州飞步科技有限公司 一种三维物体的检测方法和装置、电子设备、存储介质
CN110991468A (zh) * 2019-12-13 2020-04-10 深圳市商汤科技有限公司 三维目标检测和智能行驶方法、装置、设备
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
US20200233429A1 (en) * 2019-01-23 2020-07-23 Baidu Usa Llc Comprehensive and efficient method to incorporate map features for object detection with lidar
CN111862222A (zh) * 2020-08-03 2020-10-30 湖北亿咖通科技有限公司 一种目标检测方法及电子设备
CN111862101A (zh) * 2020-07-15 2020-10-30 西安交通大学 一种鸟瞰图编码视角下的3d点云语义分割方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147250A1 (en) * 2017-11-15 2019-05-16 Uber Technologies, Inc. Semantic Segmentation of Three-Dimensional Data
EP3514709A2 (de) * 2018-01-22 2019-07-24 Joachim Becker Verfahren und vorrichtung zur übertragung und anzeige von nutzereigenen vektorgraphiken mit intelligenten infopunkten aus einem cloudbasierten cad-archiv auf mobilgeräten, tragbaren oder stationären computern
CN109118564A (zh) * 2018-08-01 2019-01-01 湖南拓视觉信息技术有限公司 一种基于融合体素的三维点云标记方法和装置
CN109410321A (zh) * 2018-10-17 2019-03-01 大连理工大学 基于卷积神经网络的三维重建方法
US20200233429A1 (en) * 2019-01-23 2020-07-23 Baidu Usa Llc Comprehensive and efficient method to incorporate map features for object detection with lidar
CN110223387A (zh) * 2019-05-17 2019-09-10 武汉奥贝赛维数码科技有限公司 一种基于深度学习的三维模型重建技术
CN110751040A (zh) * 2019-09-18 2020-02-04 杭州飞步科技有限公司 一种三维物体的检测方法和装置、电子设备、存储介质
CN110991468A (zh) * 2019-12-13 2020-04-10 深圳市商汤科技有限公司 三维目标检测和智能行驶方法、装置、设备
CN111429514A (zh) * 2020-03-11 2020-07-17 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111862101A (zh) * 2020-07-15 2020-10-30 西安交通大学 一种鸟瞰图编码视角下的3d点云语义分割方法
CN111862222A (zh) * 2020-08-03 2020-10-30 湖北亿咖通科技有限公司 一种目标检测方法及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHIHAO CUI ET AL.: "PVF-NET: Point & Voxel Fusion 3D Object Detection Framework for Point Cloud", 《2020 17TH CONFERENCE ON COMPUTER AND ROBOT VISION (CRV)》, pages 125 - 133 *
张易等: "基于3维点云鸟瞰图的高精度实时目标检测", 《机器人》, vol. 42, no. 2, pages 148 - 156 *
彭育辉;郑玮鸿;张剑锋;: "基于深度学习的道路障碍物检测方法", 《计算机应用》, vol. 40, no. 8, pages 2428 - 2433 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648579A (zh) * 2022-02-15 2022-06-21 浙江零跑科技股份有限公司 一种多分支输入的激光雷达目标检测方法
WO2023165220A1 (zh) * 2022-03-04 2023-09-07 京东鲲鹏(江苏)科技有限公司 一种目标物体的检测方法和装置
CN116520289A (zh) * 2023-07-04 2023-08-01 东莞市新通电子设备有限公司 五金件加工过程智能控制方法及相关装置
CN116520289B (zh) * 2023-07-04 2023-09-01 东莞市新通电子设备有限公司 五金件加工过程智能控制方法及相关装置

Also Published As

Publication number Publication date
CN113759338B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN110246163B (zh) 图像处理方法及其装置、设备、计算机存储介质
CN113759338B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN110717527B (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
CN107301402B (zh) 一种现实场景关键帧的确定方法、装置、介质及设备
CN114332415B (zh) 基于多视角技术的输电线路廊道的三维重建方法及装置
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN110782531A (zh) 处理三维点云数据的方法和计算设备
CN112001931A (zh) 图像分割方法、装置、设备及存储介质
CN115526892B (zh) 基于三维重建的图像缺陷去重检测方法和装置
CN113486887B (zh) 三维场景下的目标检测方法和装置
CN112348116B (zh) 利用空间上下文的目标检测方法、装置和计算机设备
CN115588190A (zh) 一种成熟果实识别和采摘点定位方法及装置
CN113469074A (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
JP2016509805A (ja) 画像ストリームの高フレームレート化
CN112580434A (zh) 一种基于深度相机的人脸误检优化方法、系统及人脸检测设备
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN111860287A (zh) 一种目标检测方法及装置、存储介质
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN116310899A (zh) 基于YOLOv5改进的目标检测方法及装置、训练方法
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN115049827A (zh) 目标物体检测分割方法、装置、设备及存储介质
CN114723883A (zh) 一种三维场景重建方法、装置、设备及存储介质
CN114022721A (zh) 图像特征点选取方法及相关装置、设备和存储介质
CN115965839A (zh) 图像识别方法、存储介质及设备
CN115937717B (zh) 一种基于特征上下文的无人机影像目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant