CN114509785A - 三维物体检测方法、装置、存储介质、处理器及系统 - Google Patents
三维物体检测方法、装置、存储介质、处理器及系统 Download PDFInfo
- Publication number
- CN114509785A CN114509785A CN202210143623.9A CN202210143623A CN114509785A CN 114509785 A CN114509785 A CN 114509785A CN 202210143623 A CN202210143623 A CN 202210143623A CN 114509785 A CN114509785 A CN 114509785A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- clouds
- data block
- point clouds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000002776 aggregation Effects 0.000 claims abstract description 30
- 238000004220 aggregation Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 23
- 238000003062 neural network model Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 abstract description 18
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 16
- 239000010410 layer Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种三维物体检测方法、装置、存储介质、处理器及系统。其中，该方法包括：获取三维物体的原始点云；对原始点云进行分类处理，从原始点云中筛选得到部分点云，其中，部分点云属于相同的目标分类；基于部分点云中每个点云对应的点云栅格进行特征聚合处理，确定部分点云对应的第一点云特征图数据块；对第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；基于第二点云特征图数据块预测三维物体的类别与位置。本发明解决了相关技术的三维物体检测过程中障碍物特征信息表达不足，导致模型推理速度和障碍物检测性能无法兼顾的技术问题。
Description
技术领域
本发明涉及自动驾驶领域，具体而言，涉及一种三维物体检测方法、装置、存储介质、处理器及系统。
背景技术
激光雷达是L4级无人驾驶环境感知系统中不可或缺的传感部件，基于激光雷达传感器的三维物体检测方法层出不穷，各具特色，根据激光雷达点云特征的提取方式，激光雷达点云三维物体检测方法主要有三种：基于鸟瞰图的三维物体检测方法保留物体的高度信息，数据损失少；基于体素网格的三维物体检测方法对点云进行体素网格划分，降低了三维点云数据的复杂性，但点云特征提取时数据丢失较多，导致三维物体检测精度提升受限，且有效点云易被无效点云稀释，降低检测能力；直接处理点云的三维物体检测方法完全依赖数据直接处理原始点云，进而能够完成高层次的点云分类和语义分割的任务，但是针对三维物体目标检测的提升有限，小目标检测效果仍然不佳。
因此，现有三维物体检测方法各有优劣，如何进行三维物体的检测得到更好的综合效果成为目前的关键问题。针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种三维物体检测方法、装置、存储介质、处理器及系统，以至少解决相关技术的三维物体检测过程中障碍物特征信息表达不足，导致模型推理速度和障碍物检测性能无法兼顾的技术问题。
根据本发明其中一实施例，提供了一种三维物体检测方法，包括：
获取三维物体的原始点云；对原始点云进行分类处理，从原始点云中筛选得到部分点云，其中，部分点云属于相同的目标分类；基于部分点云中每个点云对应的点云栅格进行特征聚合处理，确定部分点云对应的第一点云特征图数据块；对第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；基于第二点云特征图数据块预测三维物体的类别与位置。
可选地，对原始点云进行分类处理，从原始点云中筛选得到部分点云包括：利用目标神经网络模型对原始点云进行分析，得到原始点云中每个点云的权重信息及点云第一维度特征，其中，目标神经网络模型用于为原始点云中每个点云配置对应的权重值并输出点云第一维度特征；基于权重信息确定原始点云中每个点云的所属分类；按照原始点云中每个点云的所属分类，从原始点云中筛选得到部分点云。
可选地，基于权重信息确定原始点云中每个点云的所属分类包括：将原始点云中每个点云的权重系数与预设阈值进行比较，得到比较结果；按照比较结果确定原始点云中每个点云的所属分类，其中，部分点云中每个点云的权重系数大于或等于预设阈值。
可选地，基于部分点云中每个点云对应的点云栅格进行特征聚合处理，确定第一点云特征图数据块包括：通过部分点云中每个点云的点云坐标位置，分别将每个点云划分至对应的点云栅格；获取每个点云栅格中对应点云的第一维度特征；对每个点云栅格中对应点云的第一维度特征进行聚合处理，得到每个点云栅格对应的第二维度特征；利用每个点云栅格对应的第二维度特征形成第一点云特征图数据块。
可选地，对第一点云特征图数据块进行特征提取，得到第二点云特征图数据块包括：通过多个分支对第一点云特征图数据块进行卷积与反卷积操作，得到多个操作结果；将多个操作结果合并为第二点云特征图数据块。
可选地，基于第二点云特征图数据块预测三维物体的类别与位置包括：利用分组预测模型对第二点云特征图数据块进行分析，得到三维物体的类别与位置，其中，分组预测模型用于通过多个分组分别预测不同类别的物体。
根据本发明其中一实施例，还提供了一种三维物体检测装置，包括：
获取模块，用于获取三维物体的原始点云；分类模块，用于对原始点云进行分类处理，从原始点云中筛选得到部分点云，其中，部分点云属于相同的目标分类；聚合模块，用于基于部分点云中每个点云对应的点云栅格进行特征聚合处理，确定部分点云对应的第一点云特征图数据块；处理模块，用于对第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；检测模块，用于基于第二点云特征图数据块预测三维物体的类别与位置。
可选地，分类模块包括：分析单元，用于利用目标神经网络模型对原始点云进行分析，得到原始点云中每个点云的权重信息及点云第一维度特征，其中，目标神经网络模型用于为原始点云中每个点云配置对应的权重值并输出点云第一维度特征；分类单元，用于基于权重信息确定原始点云中每个点云的所属分类；筛选单元，用于按照原始点云中每个点云的所属分类，从原始点云中筛选得到部分点云。
可选地，分类单元包括：用于将原始点云中每个点云的权重系数与预设阈值进行比较，得到比较结果；按照比较结果确定原始点云中每个点云的所属分类，其中，部分点云中每个点云的权重系数大于或等于预设阈值。
可选地，聚合模块包括：划分单元，用于通过部分点云中每个点云的点云坐标位置，分别将每个点云划分至对应的点云栅格；第一栅格处理单元，用于获取每个点云栅格中对应点云的第一维度特征；聚合单元，用于对每个点云栅格中对应点云的第一维度特征进行聚合处理，得到每个点云栅格对应的第二维度特征；第二栅格处理单元，用于利用每个点云栅格对应的第二维度特征形成第一点云特征图数据块。
可选地，处理模块包括：操作单元，用于通过多个分支对第一点云特征图数据块进行卷积与反卷积操作，得到多个操作结果；合并单元，用于将多个操作结果合并为第二点云特征图数据块。
可选地，检测模块包括：预测单元，用于利用分组预测模型对第二点云特征图数据块进行分析，得到三维物体的类别与位置，其中，分组预测模型用于通过多个分组分别预测不同类别的物体。
根据本发明其中一实施例，还提供了一种非易失性存储介质，存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行前述任一项中的三维物体检测方法。
根据本发明其中一实施例，还提供了一种处理器，处理器用于运行程序，其中，程序被设置为运行时执行前述任一项中的三维物体检测方法。
在本发明实施例中，采用获取三维物体的原始点云，对所述原始点云进行分类处理，从所述原始点云中筛选得到属于相同目标分类的部分点云的方式，通过基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理以确定所述部分点云对应的第一点云特征图数据块，对所述第一点云特征图数据块进行特征提取以得到第二点云特征图数据块，以及基于所述第二点云特征图数据块预测所述三维物体的类别与位置，达到了基于Pillar点云特征提取方式，同时引入目标分类点云(例如：障碍物点云)识别与特征提取网络，通过目标分类点云与非目标分类点云(例如：环境点云)分割与特征提取优化实现模型检测精度与鲁棒性提升的目的，从而实现了在三维物体检测过程中兼顾模型推理速度和障碍物检测性能的技术效果，进而解决了相关技术的三维物体检测过程中障碍物特征信息表达不足，导致模型推理速度和障碍物检测性能无法兼顾的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明其中一实施例的三维物体检测方法的流程图；
图2是根据本发明其中一可选实施例的障碍物特征增强的三维物体检测过程的示意图；
图3是根据本发明其中一可选实施例的障碍物点云识别与特征提取模型的示意图；
图4是根据本发明其中一可选实施例的点云pillar划分与特征提取聚合过程的示意图；
图5是根据本发明其中一可选实施例的FPN网络特征提取过程的示意图；
图6是根据本发明其中一实施例的三维物体检测装置的结构框图；
图7是根据本发明其中一可选实施例的三维物体检测装置中分类模块的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明其中一实施例，提供了一种三维物体检测方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
该方法实施例可以在车辆中包含存储器和处理器的电子装置或者类似的运算装置中执行。以运行在车辆的电子装置上为例，车辆的电子装置可以包括一个或多个处理器(处理器可以包括但不限于中央处理器(CPU)、图形处理器(GPU)、数字信号处理(DSP)芯片、微处理器(MCU)、可编程逻辑器件(FPGA)、神经网络处理器(NPU)、张量处理器(TPU)、人工智能(AI)类型处理器等的处理装置)和用于存储数据的存储器。和用于存储数据的存储器。可选地，上述汽车的电子装置还可以包括用于通信功能的传输设备、输入输出设备以及显示设备。本领域普通技术人员可以理解，上述结构描述仅为示意，其并不对上述车辆的电子装置的结构造成限定。例如，车辆的电子装置还可包括比上述结构描述更多或者更少的组件，或者具有与上述结构描述不同的配置。
存储器可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的信息处理方法对应的计算机程序，处理器通过运行存储在存储器内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的信息处理方法。存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
显示设备可以例如触摸屏式的液晶显示器(LCD)和触摸显示器(也被称为“触摸屏”或“触摸显示屏”)。该液晶显示器可使得用户能够与移动终端的用户界面进行交互。在一些实施例中，上述移动终端具有图形用户界面(GUI)，用户可以通过触摸触敏表面上的手指接触和/或手势来与GUI进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
在本实施例中提供了一种运行于上述车辆的电子装置的三维物体检测方法，图1是根据本发明其中一实施例的三维物体检测方法的流程图，如图1所示，该流程包括如下步骤：
步骤S31，获取三维物体的原始点云；
步骤S32，对所述原始点云进行分类处理，从所述原始点云中筛选得到部分点云，其中，所述部分点云属于相同的目标分类；
步骤S33，基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述部分点云对应的第一点云特征图数据块；
步骤S34，对所述第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；
步骤S35，基于所述第二点云特征图数据块预测所述三维物体的类别与位置。
通过上述步骤，采用获取三维物体的原始点云，对所述原始点云进行分类处理，从所述原始点云中筛选得到属于相同目标分类的部分点云的方式，通过基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理以确定所述部分点云对应的第一点云特征图数据块，对所述第一点云特征图数据块进行特征提取以得到第二点云特征图数据块，以及基于所述第二点云特征图数据块预测所述三维物体的类别与位置，达到了基于Pillar点云特征提取方式，同时引入目标分类点云(例如：障碍物点云)识别与特征提取网络，通过目标分类点云与非目标分类点云(例如：环境点云)分割与特征提取优化实现模型检测精度与鲁棒性提升的目的，从而实现了在三维物体检测过程中兼顾模型推理速度和障碍物检测性能的技术效果，进而解决了相关技术的三维物体检测过程中障碍物特征信息表达不足，导致模型推理速度和障碍物检测性能无法兼顾的技术问题。
可选地，在步骤S32中，对原始点云进行分类处理，从原始点云中筛选得到部分点云可以包括以下执行步骤：
步骤S321，利用目标神经网络模型对原始点云进行分析，得到原始点云中每个点云的权重信息及点云第一维度特征，其中，目标神经网络模型用于为原始点云中每个点云配置对应的权重值并输出点云第一维度特征；
步骤S322，基于权重信息确定原始点云中每个点云的所属分类；按照原始点云中每个点云的所属分类，从原始点云中筛选得到部分点云。
上述目标神经网络模型可以为障碍物点云识别与特征提取模型，该障碍物点云识别与特征提取模型能够为原始点云中每个点云配置对应的权重值并输出点云第一维度特征。上述每个点云的所属分类可以包括但不限于：障碍物点云、环境点云。利用障碍物点云识别与特征提取模型对原始点云进行分析可以得到原始点云中每个点云的权重信息。然后，再基于权重信息确定原始点云中每个点云的所属分类，以便按照原始点云中每个点云的所属分类，从原始点云中筛选得到部分点云。
图2是根据本发明其中一可选实施例的障碍物特征增强的三维物体检测过程的示意图。如图2所示，该障碍物特征增强的三维物体检测模型可以包括：点云预处理部分、特征聚合部分、FPN网络部分及多组头输出部分。
点云预处理部分负责完成初始点云的预处理工作，其可以包括两个方面的内容：1)基于pillar的点云空间划分；2)障碍物点云识别与分割。这部分利用障碍物点云识别与特征提取的神经网络模型来完成。该障碍物点云识别与特征提取的神经网络模型基于PointNet思路完成基于点云层面的的轻量级分割任务。通过该障碍物点云识别与特征提取的神经网络模型可以输出每个点云的权重信息，障碍物点云的输出权重系数最大、环境点云的输出权重系数最小，由此通过给每一个点云配置其权重系数，在pillar内点云采样时按照一定阈值过滤环境点云，更多的保留障碍物自身点云特征。该障碍物点云识别与特征提取的神经网络模型还负责输出点云第一维度特征，此处点云第一维度特征为64维度的点云深度特征，该点云深度特征直接作用于后续特征聚合，由此省略现有的pillar中的点云特征提取过程。由于上述方式应用直接点云特征提取，因此点云特征损失更少。
可选地，在步骤S322中，基于权重信息确定原始点云中每个点云的所属分类可以包括以下执行步骤：
步骤S3221，将所述原始点云中每个点云的权重系数与预设阈值进行比较，得到比较结果；
步骤S3222，按照所述比较结果确定所述原始点云中每个点云的所属分类，其中，所述部分点云中每个点云的权重系数大于或等于所述预设阈值。
在对原始点云进行分类的过程中，可以通过将所述原始点云中每个点云的权重系数与预设阈值进行比较，来确定所述原始点云中每个点云的所属分类。例如：将汽车终端接收的原始点云中权重系数大于或等于所述预设阈值的部分点云分为障碍物点云，而将原始点云中权重系数小于所述预设阈值的其余点云分为环境点云，进而从原始点云中将障碍物点云筛选出来。
在本发明的其中一可选实施例中，分类过程是这样实现的：
首先，利用目标神经网络模型对全部点云进行初步分割；然后，根据点云属于障碍物反射还是环境反射来给点云配置权重系数，如果是障碍物点云则权重接近于1，如果是环境点云则权重值接近于0，按照此逻辑可以初步完成障碍物点云标记，为后续处理提供所需数据。
图3是根据本发明其中一可选实施例的障碍物点云识别与特征提取模型的示意图。在图3中的障碍物点云标记模块，输入数据是原始点云，包含n个点的三维点云(n×3)，其中n代表点云数量，3对应空间直角坐标系中x、y、z方向坐标；输入数据通过和一个3×3的转换矩阵T(3)相乘来对齐，保证了模型的对特定空间转换的不变性，其中，转换矩阵T(3)是通过一个三维空间变换矩阵预测网络(T-Net)得到的；对齐后的点云数据经过mlp(64,64)变换，输出n×64维度特征，再次经过变换矩阵T(3)输出，最后经过mlp(64,64)变换输出n×1维度特征值，输出每一个特征值对应原始点云的权重系数。其前一层的n×64维度特征供pillar划分步骤中特征提取使用。
将全部点云在x、y方向进行pillar划分，z轴方向不进行划分；然后对每一个点云进行判断，根据其权重值确认该点云是否为障碍物，判断依据为其权重值≥0.5，如果该点云属于障碍物点云。
例如，有一点云样本N中包含6个点云，编号为N(1)～N(6)，样本N输入上述障碍物点云标记模块的数据为包含6个点的三维点云(6个点云及其在空间直角坐标系中x、y、z方向坐标)，输入数据经过目标神经网络分析和上述障碍物点云标记模块标记后，根据上述权重赋值规则，输出的6×1维度特征值为{0.1,0.5,0,0.7,1,0.4}，此特征值对应点云样本N中各点云的权重系数，即N(1)权重为0.1，N(2)权重为0.5，N(3)权重为0，N(4)权重为0.7，N(5)权重为1，N(6)权重为0.4，即完成了障碍物点云的标记。
设置障碍物点云对应的阈值，对每个点云进行判断：如果一个点云的权重系数大于或者等于预设阈值，就将该点云归类到障碍物，据此完成筛选。
例如，对上述标记后的样本N进行筛选，设置障碍物点云对应的阈值为0.5，如果一个点云的权重系数大于或者等于0.5，就将该点云归类到障碍物；对点云样本N筛选后，属于障碍物的点云有：N(2)、N(4)、N(5)，属于环境点云的有：N(1)、N(3)、N(6)，即完成障碍物点云的筛选。
可选地，在步骤S33中，基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述部分点云对应的第一点云特征图数据块可以包括以下执行步骤：
步骤S331，通过所述部分点云中每个点云的点云坐标位置，分别将每个点云划分至对应的点云栅格；
步骤S332，获取每个点云栅格中对应点云的第一维度特征；
步骤S333，对每个点云栅格中对应点云的第一维度特征进行聚合处理，得到每个点云栅格对应的第二维度特征；
步骤S334，利用每个点云栅格对应的第二维度特征形成所述第一点云特征图数据块。
上述聚合处理可以通过聚合网络来实现。上述每个点云栅格中对应点云的第一维度特征可以是n个多维度特征，上述每个点云栅格对应的第二维度特征可以是一个多维度特征。上述第一点云特征图数据块可以是NHWC结构的点云特征图数据块。
仍然如图2所示，聚合网络作用在于：对pillar中的所有点云的特征向量值进行聚合处理，以及采用最大池化(maxpooling)操作将n个64维度特征(即上述第一维度特征)转换为一个64维度特征(即上述第二维度特征)，进而将该特征向量值按照其所在坐标位置填充到原来根据pillar划分的点云栅格中，没有pillar的位置填充0，这样便可形成NHWC结构的点云特征图数据块(即上述第一点云特征图数据块)，供后续网络使用。
图4是根据本发明其中一可选实施例的点云pillar划分与特征提取聚合过程的示意图。如图4所示，在第一部分，输出数据是步骤S332中的n×1维度特征，对应每个点云的权重系数，并对每一个点云进行坐标特征提取，作为第二部分的输入数据；在第二部分，根据点云坐标位置将其划分到对应的pillar中，同时记录该点云对应的n×64维度特征，将全部点云按照上述步骤进行处理，最后得到每个pillar中障碍物点云以及点云对应的一系列n×64维度特征；在第三部分，对所有pillar中的点云特征做聚合处理，采用最大池化操作将一个pillar中的所有障碍物点云特征(n，64)聚合为一维64特征作为该pillar位置的特征值，并对所有最后pillar执行上述聚合操作；最后，将前述步骤得到的特征值按照pillar所在坐标匹配生成HWC结构的点云特征图数据块供后续网络使用(H表示特征图在竖直方向的像素数，W表示特征图在水平方向的像素数，C表示通道数)。
可选地，在步骤S34中，对所述第一点云特征图数据块进行特征提取，得到第二点云特征图数据块包括以下执行步骤：
步骤S341，通过多个分支对所述第一点云特征图数据块进行卷积与反卷积操作，得到多个操作结果；
步骤S342，将所述多个操作结果合并为所述第二点云特征图数据块，其中，所述第二点云特征图数据块的特征图尺寸小于所述第一点云特征图数据块的特征图尺寸。
上述对所述第一点云特征图数据块进行特征提取操作可以由FPN神经网络模型来完成。FPN神经网络模型通过对第一点云特征图数据块做进一步特征提取，以输出小尺寸高维度特征图，供分类和回归头模型来使用。
仍然如图2所示，FPN神经网络模型可以通过多个分支对第一点云特征图数据块进行卷积与反卷积操作以得到多个操作结果，然后，再将多个操作结果合并为特征图尺寸更小的第二点云特征图数据块。例如：第二点云特征图数据块的特征图尺寸为第一点云特征图数据块的特征图尺寸的1/4。
在一个可选实施例中，图5是根据本发明其中一可选实施例的FPN网络特征提取过程的示意图，如图5所示，卷积环节中，阴影矩形块表示多层结构，其中每层包括：卷积层、批归一化层和激活函数；白色矩形块表示单层结构，包括：反卷积层、批归一化层和激活函数；黑色矩形块表示对上述结构输出的数组的连接单元，即concat方法，该方法用于连接两个或多个数组，不会改变现有的数组，而仅仅会返回被连接数组的一个副本。如果希望达到在卷积过程中特征图尺寸缩小为原特征图的1/4的效果，则卷积环节采用的多层结构可以设置为3-5层，反卷积层可以设置为1层，通过FPN神经网络模型进行三个分支的卷积、反卷积操作后，可以得到更深层次的特征表达，并同时兼顾浅层特征，平衡原始点云中不同尺寸障碍物检测能力。
可选地，在步骤S35中，基于所述第二点云特征图数据块预测所述三维物体的类别与位置包括以下执行步骤：
步骤S351，利用分组预测模型对所述第二点云特征图数据块进行分析，得到所述三维物体的类别与位置，其中，所述分组预测模型用于通过多个分组分别预测不同类别的物体。
上述分组预测模型采用多组头输出结构来实现障碍物类别及位置的回归输出，为提升检测效果以及降低类别间干扰，采用多组形式对障碍物类别划分，分组训练与检测，提升精度。由此，利用该分组预测模型对上述第二点云特征图数据块进行分析以得到三维物体的类别与位置。
仍然如图2所示，该分组预测模型基于Anchor-free方式完成推理，头结构输出障碍物中心位置，中心位置偏差，高度位置、尺寸、类别score等信息，经过后处理算法实现检测框输出。
具体地，上述分组预测模型包含多个组，每个组负责预测特定类别的障碍物。
例如，第一组预测小轿车类障碍物，第二组预测卡车类障碍物，第三组预测公交车类障碍物等。各组分别输出障碍物尺寸、热力图(heatmap)、中心点偏移、角度、高度等多个分支信息，然后再对分支信息进行如下处理：
(1)对输出的障碍物尺寸进行回归处理用来预测障碍物尺寸信息；
(2)输出的heatmap图本身预测障碍物的中心点坐标信息，对其进行sigmoid、argmax等处理形成类别置信度信息；
(3)中心点偏移值用于矫正预测的中心点与实际中心的偏差；
(4)对输出的角度信息进行回归处理用来预测障碍物朝向角度信息，
(5)对输出的高度信息进行回归处理用来预测障碍物Z轴方向位置信息。
最后，将上述输出值进行后处理操作最终形成障碍物检测框输出该三维物体的类别与位置，完成整个检测过程。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种三维物体检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图6是根据本发明其中一实施例的一种三维物体检测装置的结构框图，如图6所示，该装置包括：获取模块81，用于获取三维物体的原始点云；分类模块82，用于对所述原始点云进行分类处理，从所述原始点云中筛选得到部分点云，其中，所述部分点云属于相同的目标分类；聚合模块83，用于基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述部分点云对应的第一点云特征图数据块；处理模块84，用于对所述第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；检测模块85，用于基于所述第二点云特征图数据块预测所述三维物体的类别与位置。
可选地，图7是根据本发明其中一可选实施例的三维物体检测装置中分类模块的结构框图，分类模块82包括：分析单元821，用于利用目标神经网络模型对原始点云进行分析，得到原始点云中每个点云的权重信息及点云第一维度特征，其中，目标神经网络模型用于为原始点云中每个点云配置对应的权重值并输出点云第一维度特征；分类单元822，用于基于权重信息确定原始点云中每个点云的所属分类；筛选单元823，用于按照原始点云中每个点云的所属分类，从原始点云中筛选得到部分点云。
可选地，分类单元822包括：用于将原始点云中每个点云的权重系数与预设阈值进行比较，得到比较结果；按照比较结果确定原始点云中每个点云的所属分类，其中，部分点云中每个点云的权重系数大于或等于预设阈值。
可选地，聚合模块83包括：划分单元(图中未标出)，用于通过部分点云中每个点云的点云坐标位置，分别将每个点云划分至对应的点云栅格；第一栅格处理单元(图中未标出)，用于获取每个点云栅格中对应点云的第一维度特征；聚合单元(图中未标出)，用于对每个点云栅格中对应点云的第一维度特征进行聚合处理，得到每个点云栅格对应的第二维度特征；第二栅格处理单元(图中未标出)，用于利用每个点云栅格对应的第二维度特征形成第一点云特征图数据块。
可选地，处理模块84包括：操作单元(图中未标出)，用于通过多个分支对第一点云特征图数据块进行卷积与反卷积操作，得到多个操作结果；合并单元(图中未标出)，用于将多个操作结果合并为第二点云特征图数据块，其中，第二点云特征图数据块的特征图尺寸小于第一点云特征图数据块的特征图尺寸。
可选地，检测模块85包括：预测单元(图中未标出)，用于利用分组预测模型对第二点云特征图数据块进行分析，得到三维物体的类别与位置，其中，分组预测模型用于通过多个分组分别预测不同类别的物体。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
步骤S1，获取三维物体的原始点云；
步骤S2，对所述原始点云进行分类处理，从所述原始点云中筛选得到部分点云，其中，所述部分点云属于相同的目标分类；
步骤S3，基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述部分点云对应的第一点云特征图数据块；
步骤S4，对所述第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；
步骤S5，基于所述第二点云特征图数据块预测所述三维物体的类别与位置。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种处理器，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
步骤S1，获取三维物体的原始点云；
步骤S2，对所述原始点云进行分类处理，从所述原始点云中筛选得到部分点云，其中，所述部分点云属于相同的目标分类；
步骤S3，基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述部分点云对应的第一点云特征图数据块；
步骤S4，对所述第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；
步骤S5，基于所述第二点云特征图数据块预测所述三维物体的类别与位置。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种三维物体检测方法，其特征在于，包括：
获取三维物体的原始点云；
对所述原始点云进行分类处理，从所述原始点云中筛选得到部分点云，其中，所述部分点云属于相同的目标分类；
基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述部分点云对应的第一点云特征图数据块；
对所述第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；
基于所述第二点云特征图数据块预测所述三维物体的类别与位置。
2.根据权利要求1所述的三维物体检测方法，其特征在于，对所述原始点云进行分类处理，从所述原始点云中筛选得到所述部分点云包括：
利用目标神经网络模型对所述原始点云进行分析，得到所述原始点云中每个点云的权重信息及点云第一维度特征，其中，所述目标神经网络模型用于为所述原始点云中每个点云配置对应的权重值并输出点云第一维度特征；
基于所述权重信息确定所述原始点云中每个点云的所属分类；
按照所述原始点云中每个点云的所属分类，从所述原始点云中筛选得到部分点云。
3.根据权利要求2所述的三维物体检测方法，其特征在于，基于所述权重信息确定所述原始点云中每个点云的所属分类包括：
将所述原始点云中每个点云的权重系数与预设阈值进行比较，得到比较结果；
按照所述比较结果确定所述原始点云中每个点云的所属分类，其中，所述部分点云中每个点云的权重系数大于或等于所述预设阈值。
4.根据权利要求1所述的三维物体检测方法，其特征在于，基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述第一点云特征图数据块包括：
通过所述部分点云中每个点云的点云坐标位置，分别将每个点云划分至对应的点云栅格；
获取每个点云栅格中对应点云的第一维度特征；
对每个点云栅格中对应点云的第一维度特征进行聚合处理，得到每个点云栅格对应的第二维度特征；
利用每个点云栅格对应的第二维度特征形成所述第一点云特征图数据块。
5.根据权利要求1所述的三维物体检测方法，其特征在于，对所述第一点云特征图数据块进行特征提取，得到所述第二点云特征图数据块包括：
通过多个分支对所述第一点云特征图数据块进行卷积与反卷积操作，得到多个操作结果；
将所述多个操作结果合并为所述第二点云特征图数据块。
6.根据权利要求1所述的三维物体检测方法，其特征在于，基于所述第二点云特征图数据块预测所述三维物体的类别与位置包括：
利用分组预测模型对所述第二点云特征图数据块进行分析，得到所述三维物体的类别与位置，其中，所述分组预测模型用于通过多个分组分别预测不同类别的物体。
7.一种三维物体检测装置，其特征在于，包括：
获取模块，用于获取三维物体的原始点云；
分类模块，用于对所述原始点云进行分类处理，从所述原始点云中筛选得到部分点云，其中，所述部分点云属于相同的目标分类；
聚合模块，用于基于所述部分点云中每个点云对应的点云栅格进行特征聚合处理，确定所述部分点云对应的第一点云特征图数据块；
处理模块，用于对所述第一点云特征图数据块进行特征提取，得到第二点云特征图数据块；
检测模块，用于基于所述第二点云特征图数据块预测所述三维物体的类别与位置。
8.一种非易失性存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的三维物体检测方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至6任一项中所述的三维物体检测方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的三维物体检测方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210143623.9A CN114509785A (zh) | 2022-02-16 | 2022-02-16 | 三维物体检测方法、装置、存储介质、处理器及系统 |
| PCT/CN2022/110984 WO2023155389A1 (zh) | 2022-02-16 | 2022-08-08 | 三维物体检测方法、装置、存储介质、处理器及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210143623.9A CN114509785A (zh) | 2022-02-16 | 2022-02-16 | 三维物体检测方法、装置、存储介质、处理器及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114509785A true CN114509785A (zh) | 2022-05-17 |
Family
ID=81551537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210143623.9A Pending CN114509785A (zh) | 2022-02-16 | 2022-02-16 | 三维物体检测方法、装置、存储介质、处理器及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114509785A (zh) |
| WO (1) | WO2023155389A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114937265A (zh) * | 2022-07-25 | 2022-08-23 | 深圳市商汤科技有限公司 | 点云检测方法和模型训练方法、装置、设备及存储介质 |
| CN115546785A (zh) * | 2022-11-29 | 2022-12-30 | 中国第一汽车股份有限公司 | 三维目标检测方法及装置 |
| WO2023155389A1 (zh) * | 2022-02-16 | 2023-08-24 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及系统 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117475410B (zh) * | 2023-12-27 | 2024-03-15 | 山东海润数聚科技有限公司 | 基于前景点筛选的三维目标检测方法、系统、设备、介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180144496A1 (en) * | 2015-04-24 | 2018-05-24 | Oxford University Innovation Limited | A method of detecting objects within a 3d environment |
| CN111353512A (zh) * | 2018-12-20 | 2020-06-30 | 长沙智能驾驶研究院有限公司 | 障碍物分类方法、装置、存储介质和计算机设备 |
| CN111444814A (zh) * | 2020-03-23 | 2020-07-24 | 北京迈格威科技有限公司 | 目标检测方法、装置、电子设备及可读存储介质 |
| CN112101066A (zh) * | 2019-06-17 | 2020-12-18 | 商汤集团有限公司 | 目标检测方法和装置及智能驾驶方法、设备和存储介质 |
| EP3767521A1 (en) * | 2019-07-15 | 2021-01-20 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
| CN112711034A (zh) * | 2020-12-22 | 2021-04-27 | 中国第一汽车股份有限公司 | 物体检测方法、装置及设备 |
| CN112950708A (zh) * | 2021-02-05 | 2021-06-11 | 深圳市优必选科技股份有限公司 | 一种定位方法、定位装置及机器人 |
| WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN113284163A (zh) * | 2021-05-12 | 2021-08-20 | 西安交通大学 | 基于车载激光雷达点云的三维目标自适应检测方法及系统 |
| CN113920446A (zh) * | 2021-10-15 | 2022-01-11 | 北京超星未来科技有限公司 | 一种基于原始点云处理的3d目标检测算法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10031231B2 (en) * | 2016-09-12 | 2018-07-24 | Delphi Technologies, Inc. | Lidar object detection system for automated vehicles |
| CN111402161B (zh) * | 2020-03-13 | 2023-07-21 | 北京百度网讯科技有限公司 | 点云障碍物的去噪方法、装置、设备和存储介质 |
| FR3112215B1 (fr) * | 2020-07-01 | 2023-03-24 | Renault Sas | Système et procédé de détection d’un obstacle dans un environnement d’un véhicule |
| CN113989765A (zh) * | 2020-07-10 | 2022-01-28 | 中科(徐州)人工智能研究院有限公司 | 一种轨道障碍物的检测方法、检测装置及可读存储介质 |
| CN112598699A (zh) * | 2020-12-16 | 2021-04-02 | 华南理工大学 | 一种针对机器人工作场景中提取障碍物运动信息的方法 |
| CN114509785A (zh) * | 2022-02-16 | 2022-05-17 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及系统 |
-
2022
- 2022-02-16 CN CN202210143623.9A patent/CN114509785A/zh active Pending
- 2022-08-08 WO PCT/CN2022/110984 patent/WO2023155389A1/zh unknown
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180144496A1 (en) * | 2015-04-24 | 2018-05-24 | Oxford University Innovation Limited | A method of detecting objects within a 3d environment |
| CN111353512A (zh) * | 2018-12-20 | 2020-06-30 | 长沙智能驾驶研究院有限公司 | 障碍物分类方法、装置、存储介质和计算机设备 |
| CN112101066A (zh) * | 2019-06-17 | 2020-12-18 | 商汤集团有限公司 | 目标检测方法和装置及智能驾驶方法、设备和存储介质 |
| EP3767521A1 (en) * | 2019-07-15 | 2021-01-20 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
| WO2021134296A1 (zh) * | 2019-12-30 | 2021-07-08 | 深圳元戎启行科技有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN111444814A (zh) * | 2020-03-23 | 2020-07-24 | 北京迈格威科技有限公司 | 目标检测方法、装置、电子设备及可读存储介质 |
| CN112711034A (zh) * | 2020-12-22 | 2021-04-27 | 中国第一汽车股份有限公司 | 物体检测方法、装置及设备 |
| CN112950708A (zh) * | 2021-02-05 | 2021-06-11 | 深圳市优必选科技股份有限公司 | 一种定位方法、定位装置及机器人 |
| CN113284163A (zh) * | 2021-05-12 | 2021-08-20 | 西安交通大学 | 基于车载激光雷达点云的三维目标自适应检测方法及系统 |
| CN113920446A (zh) * | 2021-10-15 | 2022-01-11 | 北京超星未来科技有限公司 | 一种基于原始点云处理的3d目标检测算法 |
Non-Patent Citations (3)
| Title |
|---|
| 汤毅: "可重叠抑制的 Anchor-free 目标检测算法", 电视技术, vol. 44, no. 9, 31 December 2020 (2020-12-31), pages 66 - 72 * |
| 涂铭: "深度学习与目标检测 工具、原理与算法", 30 September 2021, 机械工业出版社, pages: 167 - 168 * |
| 赵云龙: "智能图像处理 Python和OpenCV实现", 31 January 2022, 机械工业出版社, pages: 189 - 190 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023155389A1 (zh) * | 2022-02-16 | 2023-08-24 | 中国第一汽车股份有限公司 | 三维物体检测方法、装置、存储介质、处理器及系统 |
| CN114937265A (zh) * | 2022-07-25 | 2022-08-23 | 深圳市商汤科技有限公司 | 点云检测方法和模型训练方法、装置、设备及存储介质 |
| CN114937265B (zh) * | 2022-07-25 | 2022-10-28 | 深圳市商汤科技有限公司 | 点云检测方法和模型训练方法、装置、设备及存储介质 |
| CN115546785A (zh) * | 2022-11-29 | 2022-12-30 | 中国第一汽车股份有限公司 | 三维目标检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023155389A1 (zh) | 2023-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830246B2 (en) | Systems and methods for extracting and vectorizing features of satellite imagery | |
| Wen et al. | Directionally constrained fully convolutional neural network for airborne LiDAR point cloud classification | |
| CN114509785A (zh) | 三维物体检测方法、装置、存储介质、处理器及系统 | |
| CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| CN112434721A (zh) | 一种基于小样本学习的图像分类方法、系统、存储介质及终端 | |
| CN110765954A (zh) | 一种车辆重识别方法、设备及存储装置 | |
| CN112529068B (zh) | 一种多视图图像分类方法、系统、计算机设备和存储介质 | |
| CN113239818B (zh) | 基于分割和图卷积神经网络的表格跨模态信息提取方法 | |
| Chew et al. | Large-scale 3D point-cloud semantic segmentation of urban and rural scenes using data volume decomposition coupled with pipeline parallelism | |
| CN113516113A (zh) | 一种图像内容识别方法、装置、设备及存储介质 | |
| CN111382638B (zh) | 一种图像检测方法、装置、设备和存储介质 | |
| CN112749576B (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 | |
| Wang et al. | Salient object detection using biogeography-based optimization to combine features | |
| WO2024078112A1 (zh) | 一种舾装件智能识别方法、计算机设备 | |
| Díaz-Medina et al. | LiDAR attribute based point cloud labeling using CNNs with 3D convolution layers | |
| CN116977265A (zh) | 缺陷检测模型的训练方法、装置、计算机设备和存储介质 | |
| CN114359586B (zh) | 一种适用于模态缺失的多模态目标检测方法及系统 | |
| CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 | |
| CN114936395A (zh) | 一种户型图识别方法、装置、计算机设备及存储介质 | |
| CN113837236A (zh) | 图像中目标对象的识别方法、装置、终端设备及存储介质 | |
| CN111353349B (zh) | 人体关键点检测方法、装置、电子设备及存储介质 | |
| Xiong et al. | Depth map recovery based on optimal scheduling of invalid point filling | |
| Pinto | Object detection with artificial vision and neural networks for service robots | |
| CN110807452A (zh) | 预测模型构建方法、装置、系统及银行卡卡号识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |