CN116188931A - 一种基于融合特征进行点云目标检测的处理方法和装置 - Google Patents

一种基于融合特征进行点云目标检测的处理方法和装置 Download PDF

Info

Publication number
CN116188931A
CN116188931A CN202310172165.6A CN202310172165A CN116188931A CN 116188931 A CN116188931 A CN 116188931A CN 202310172165 A CN202310172165 A CN 202310172165A CN 116188931 A CN116188931 A CN 116188931A
Authority
CN
China
Prior art keywords
feature
point cloud
tensor
view
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310172165.6A
Other languages
English (en)
Inventor
张永昌
周建飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Qingyu Technology Co Ltd
Original Assignee
Suzhou Qingyu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Qingyu Technology Co Ltd filed Critical Suzhou Qingyu Technology Co Ltd
Priority to CN202310172165.6A priority Critical patent/CN116188931A/zh
Publication of CN116188931A publication Critical patent/CN116188931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及一种基于融合特征进行点云目标检测的处理方法和装置，所述方法包括：获取第一点云；对第一点云进行特征提取生成前视特征张量与第一点云进行特征融合生成第一点云张量；对第一点云张量进行点云柱特征提取生成点云柱特征并对点云柱特征进行鸟瞰特征提取生成鸟瞰特征；对鸟瞰特征进行可变形卷积特征提取并对卷积特征与鸟瞰特征进行特征融合；根据鸟瞰融合特征进行目标检测。通过本发明对点云进行多视角、多尺度的特征提取与融合可以增强点云特征丰富度、提高目标检测准确度。

Description

一种基于融合特征进行点云目标检测的处理方法和装置
技术领域
本发明涉及数据处理技术领域，特别涉及一种基于融合特征进行点云目标检测的处理方法和装置。
背景技术
自动驾驶系统的感知模块在进行目标检测时常使用基于点云的3D目标检测技术进行检测，这是因为点云具有天然的三维空间优势、基于点云的3D目标检测可以准确的预测出目标与自车的相对距离。但点云的稀疏性特点又容易在目标检测过程中发生目标检测框(bounding box，bbox)尺寸预测失准的问题，尤其对距离较远的目标。
发明内容
本发明的目的，就是针对现有技术的缺陷，提供一种基于融合特征进行点云目标检测的处理方法、装置、电子设备及计算机可读存储介质；先对原始点云进行前视图特征提取并将提取出的特征与原始点云融合，再对融合了前视图特征的点云进行鸟瞰特征提取从而得到融合了前视特征的鸟瞰特征，再对该鸟瞰特征进行可变形卷积并对卷积结果与该鸟瞰特征进行特征融合，再基于该融合特征进行3D目标检测得到对应的多个3D目标检测框。通过本发明对点云进行多视角、多尺度的特征提取与融合处理，可以达到增强点云特征丰富度、提高点云目标检测准确度的目的。
为实现上述目的，本发明实施例第一方面提供了一种基于融合特征进行点云目标检测的处理方法，所述方法包括：
获取第一点云；
基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量；
基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量；
基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量；
基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；所述第一检测张量包括多个第一目标检测框向量；所述第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角。
优选的，所述第一点云包括多个第一点；各个所述第一点对应一组三维点云坐标(x,y,z)和一个反射强度ρ；
所述点云目标检测模型包括所述前视特征提取模块、所述鸟瞰特征提取模块、所述特征融合模块和所述目标检测模块；所述前视特征提取模块与所述鸟瞰特征提取模块连接；所述鸟瞰特征提取模块与所述特征融合模块连接；所述特征融合模块与所述目标检测模块连接；所述前视特征提取模块包括前视空间处理单元、前视特征提取单元和点云特征融合单元；所述前视空间处理单元的输入端为模型输入端，输出端与所述前视特征提取单元的输入端连接；所述前视特征提取单元的输出端与所述点云特征融合单元的第一输入端连接；所述点云特征融合单元的第二输入端为所述模型输入端；所述鸟瞰特征提取模块包括点云柱特征提取单元和鸟瞰特征提取单元；所述点云柱特征提取单元的输入端与所述点云特征融合单元的输出端连接，输出端与所述鸟瞰特征提取单元的输入端连接；所述特征融合模块包括可变形卷积单元和融合处理单元；所述可变形卷积单元的输入端与所述鸟瞰特征提取单元的输出端连接，输出端与所述融合处理单元的第一输入端连接；所述融合处理单元的第二输入端与所述鸟瞰特征提取单元的输出端连接；所述目标检测模块的输入端与所述融合处理单元的输出端连接，输出端为模型输出端；
所述前视特征提取单元、所述点云柱特征提取单元、所述鸟瞰特征提取单元、所述可变形卷积单元和所述目标检测模块均基于神经网络实现；所述前视特征提取单元和所述鸟瞰特征提取单元对应的神经网络均为由指定残差网络构建的多级特征金字塔网络，所述指定残差网络包括resnet50网络；所述点云柱特征提取单元对应的神经网络为PointPillars模型的点云柱特征网络；所述可变形卷积单元对应的神经网络为可变形卷积网络，所述可变形卷积网络的卷积核大小为3，所述可变形卷积网络的输入、输出张量的高度和宽度不变；所述目标检测模块对应的神经网络为由CenterPoint模型的中心热力图头网络和回归头网络组成的3D目标检测框预测头网络。
优选的，所述基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量，具体包括：
由所述前视空间处理单元以自车为坐标原点构建柱状坐标系记为对应的自车柱状坐标系；并将所述自车柱状坐标系的高度范围设为预设的第一高度范围[zmin,zmax],zmin<0<zmax；并按预设的单位角度△θ、单位高度△z将所述自车柱状坐标系的柱面前视图的高×宽分辨率设为A×B，A＝(zmax-zmin)/Δz，B＝360°/Δθ；并根据点云坐标系到所述自车柱状坐标系的柱面前视图像素坐标系的坐标转换关系对所述第一点云中各个所述第一点的所述三维点云坐标(x,y,z)进行柱面前视图像素坐标转换处理得到对应的前视图像素坐标(u,v)，
Figure BDA0004099642160000031
并在所述柱面前视图上将各个所述前视图像素坐标(u,v)对应的像素点记为对应的第一投影点；并在所述柱面前视图上将所述前视图像素坐标(u,v)相同的多个所述第一投影点组成一组对应的第一投影点集合，并在各个所述第一投影点集合中将对应的所述反射强度ρ为最大值的所述第一投影点保留、并将其他剩余的所有所述第一投影点删除；并由所述柱面前视图上各个剩余的所述第一投影点的对应的所述三维点云坐标(x,y,z)和/>
Figure BDA0004099642160000041
组成一个对应的长度为4的第一投影点向量；并根据所述柱面前视图的分辨率A×B初始化一个形状为C0×H0×W0的全零张量作为对应的第一前视图张量；并将所述第一前视图张量中与各个剩余的所述第一投影点对应的第一像素向量设为对应的所述第一投影点向量；C0、H0、W0分别为所述第一张量的特征维度、高度和宽度，C0、H0、W0为大于零的整数，C0＝4，H0＝A，W0＝B，所述第一张量包括H0*W0个所述第一像素向量；
由所述前视特征提取单元基于多级特征金字塔网络对所述第一前视图张量进行多级特征提取与多尺度特征融合处理生成对应的所述第一前视特征张量；所述第一前视特征张量的形状为C1×H1×W1；C1、H1、W1分别为所述第一前视特征张量的特征维度、高度和宽度，C1、H1、W1为大于零的整数，C1默认为16，H1＝H0，W1＝W0；所述第一前视特征张量包括H1*W1个长度为C1的第一前视特征向量；所述第一前视特征向量与所述第一像素向量一一对应；
由所述点云特征融合单元为所述第一点云的各个所述第一点分配一个对应的长度为4+C1的全零向量作为对应的第一点云向量；并基于各个所述第一点的所述三维点云坐标(x,y,z)和所述反射强度ρ对对应的所述第一点云向量的前4个向量数据进行设置；并对所述第一前视特征张量的各个所述第一前视特征向量进行遍历；并在遍历时，将当前遍历的所述第一前视特征向量作为对应的当前前视特征向量，并将所述当前前视特征向量对应的所述第一像素向量对应的所述第一投影点对应的所述前视图像素坐标(u,v)对应的一个或多个所述第一点作为对应的第一匹配点，并将所有所述第一匹配点对应的所述第一点云向量的后C1个向量数据设为所述当前前视特征向量的C1个向量数据；并在遍历结束时，由所有所述第一点云向量组成对应的所述第一点云张量。
优选的，所述基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量，具体包括：
由所述点云柱特征提取单元基于PointPillars模型的点云柱特征网络按预设的点云柱栅格空间对所述第一点云张量进行点云柱特征提取处理生成对应的所述第一点云柱特征张量；所述第一点云柱特征张量的形状为C2×H2×W2，C2、H2、W2分别为所述第一点云柱特征张量的特征维度、高度和宽度，C2、H2、W2为大于零的整数；
由所述鸟瞰特征提取单元基于多级特征金字塔网络对所述第一点云柱特征张量进行多级特征提取与多尺度特征融合处理生成对应的所述第一鸟瞰特征张量；所述第一鸟瞰特征张量的形状为C3×H3×W3，C3、H3、W3分别为所述第一鸟瞰特征张量的特征维度、高度和宽度，C3、H3、W3为大于零的整数，C3默认为64。
优选的，所述基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量，具体包括：
由所述可变形卷积单元基于可变形卷积网络对所述第一鸟瞰特征张量进行特征提取处理生成对应的所述第一卷积特征张量；所述第一鸟瞰特征张量的形状为C3×H3×W3，C3、H3、W3分别为所述第一鸟瞰特征张量的特征维度、高度和宽度，C3、H3、W3为大于零的整数，C3默认为64；所述第一卷积特征张量的形状为C4×H4×W4，C4、H4、W4分别为所述第一鸟瞰特征张量的特征维度、高度和宽度，C4、H4、W4为大于零的整数，H4＝H3，W4＝W3，C4默认为64；
由所述融合处理单元对所述第一卷积特征张量和所述第一鸟瞰特征张量按特征维度方向进行张量拼接生成对应的形状为(C3+C4)×H3×W3的第一拼接张量；并将所述第一拼接张量表示为形状为H3×W3×(C3+C4)的第二拼接张量；并基于预设的形状为1×1×C5的卷积算子对所述第二拼接张量进行张量降维处理得到对应的所述第一鸟瞰融合特征张量；所述第一鸟瞰融合特征张量的形状为H5×W5×C5，C5、H5、W5分别为所述第一鸟瞰融合特征张量的特征维度、高度和宽度，C5、H5、W5为大于零的整数，H5＝H3，W5＝W3，C5默认为64。
优选的，所述基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量，具体包括：
由所述目标检测模块基于3D目标检测框预测头网络的中心热力图头网络根据所述第一鸟瞰融合特征张量进行目标检测框中心点坐标预测处理得到多个所述第一检测框中心点坐标；并基于3D目标检测框预测头网络的回归头网络根据各个所述第一检测框中心点坐标和所述第一鸟瞰融合特征张量进行目标检测框的高度、宽度、深度和朝向角回归预测处理生成对应的所述第一检测框3D尺寸和所述第一检测框朝向角；并由各个所述第一检测框中心点坐标和对应的所述第一检测框3D尺寸和所述第一检测框朝向角组成对应的所述第一目标检测框向量；并由得到的所有所述第一目标检测框向量组成对应的所述第一检测张量；所述第一检测框3D尺寸包括高度、宽度和深度。
本发明实施例第二方面提供了一种用于实现上述第一方面所述的基于融合特征进行点云目标检测的处理方法的装置，所述装置包括：获取模块、第一特征处理模块、第二特征处理模块、第三特征处理模块和3D检测处理模块；
所述获取模块用于获取第一点云；
所述第一特征处理模块用于基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量；
所述第二特征处理模块用于基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量；
所述第三特征处理模块用于基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量；
所述3D检测处理模块用于基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；所述第一检测张量包括多个第一目标检测框向量；所述第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角。
本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。
本发明实施例提供了一种基于融合特征进行点云目标检测的处理方法、装置、电子设备及计算机可读存储介质；先对原始点云进行前视图特征提取并将提取出的特征与原始点云融合，再对融合了前视图特征的点云进行鸟瞰特征提取从而得到融合了前视特征的鸟瞰特征，再对该鸟瞰特征进行可变形卷积并对卷积结果与该鸟瞰特征进行特征融合，再基于该融合特征进行3D目标检测得到对应的多个3D目标检测框。通过本发明对点云进行多视角、多尺度的特征提取与融合处理，增强了点云的特征丰富度，提高了点云目标检测的准确度。
附图说明
图1为本发明实施例一提供的一种基于融合特征进行点云目标检测的处理方法示意图；
图2为本发明实施例一提供的点云目标检测模型的模块结构图；
图3为本发明实施例二提供的一种基于融合特征进行点云目标检测的处理装置的模块结构图；
图4为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
自动驾驶系统的感知模块基于本发明实施例一提供的一种基于融合特征进行点云目标检测的处理方法对点云进行多视角、多尺度的特征提取与融合处理可以增强点云的特征丰富度、提高点云的目标检测准确度；图1为本发明实施例一提供的一种基于融合特征进行点云目标检测的处理方法示意图，如图1所示，本方法主要包括如下步骤：
步骤1，获取第一点云；
其中，第一点云包括多个第一点；各个第一点对应一组三维点云坐标(x,y,z)和一个反射强度ρ。
这里，第一点云为由车载雷达对自车周围环境进行扫描产生的原始点云。由公开的点云数据结构我们可知，原始点云即第一点云由多个点即第一点构成，每点都有一个三维点云坐标(x,y,z)和一个反射强度ρ。
在得到第一点云之后，本发明实施后续步骤会基于一个点云目标检测模型来对第一点云进行一些列的多视角、多尺度的特征提取与融合处理。这里在对后续步骤进行说明之前，先对本发明实施例的点云目标检测模型进行如下说明。
如图2为本发明实施例一提供的点云目标检测模型的模块结构图所示，本发明实施例的点云目标检测模型包括前视特征提取模块、鸟瞰特征提取模块、特征融合模块和目标检测模块；前视特征提取模块与鸟瞰特征提取模块连接；鸟瞰特征提取模块与特征融合模块连接；特征融合模块与目标检测模块连接；前视特征提取模块包括前视空间处理单元、前视特征提取单元和点云特征融合单元；前视空间处理单元的输入端为模型输入端，输出端与前视特征提取单元的输入端连接；前视特征提取单元的输出端与点云特征融合单元的第一输入端连接；点云特征融合单元的第二输入端为模型输入端；鸟瞰特征提取模块包括点云柱特征提取单元和鸟瞰特征提取单元；点云柱特征提取单元的输入端与点云特征融合单元的输出端连接，输出端与鸟瞰特征提取单元的输入端连接；特征融合模块包括可变形卷积单元和融合处理单元；可变形卷积单元的输入端与鸟瞰特征提取单元的输出端连接，输出端与融合处理单元的第一输入端连接；融合处理单元的第二输入端与鸟瞰特征提取单元的输出端连接；目标检测模块的输入端与融合处理单元的输出端连接，输出端为模型输出端。
需要说明的是，本发明实施点云目标检测模型的前视特征提取单元、点云柱特征提取单元、鸟瞰特征提取单元、可变形卷积单元和目标检测模块均基于神经网络实现；其中，前视特征提取单元和鸟瞰特征提取单元对应的神经网络均为由指定残差网络(Residual Network,ResNet)构建的多级特征金字塔网络(Feature Pyramid Networks，FPN)，指定残差网络包括resnet50网络；点云柱特征提取单元对应的神经网络为PointPillars模型的点云柱特征网络(Pillar Feature Net)；可变形卷积单元对应的神经网络为可变形卷积网络(Deformable Convolution Network,DCN)，可变形卷积网络的卷积核大小为3，可变形卷积网络的输入、输出张量的高度和宽度不变；目标检测模块对应的神经网络为由CenterPoint模型的中心热力图头(Center heatmap head)网络和回归头(Regression heads)网络组成的3D目标检测框预测头网络。上述方案中关于ResNet以及resnet50的详细网络结构可通过论文《Deep Residual Learning for ImageRecognition》获取对应的实现描述，关于FPN的详细网络结构可通过论文《FeaturePyramid Networks for Object Detection》获取对应的实现描述，基于ResNet(resnet50)+FPN的神经网络结构进行特征提取不但可以提供多尺寸的特征信息还能通过多级上采样对各级尺寸的特征进行充分融合、达到增加特征丰富度的目的；关于PointPillars模型的详细网络结构可通过论文《PointPillars:Fast Encoders for Object Detection fromPoint Clouds》获取对应的实现描述，基于PointPillars模型的Pillar Feature Net可以根据一个设定的Pillar栅格网络(诸如Pillar栅格高度为10米、Pillar栅格平面为0.1米*0.1米)对输入点云进行Pillar栅格聚类并对每个Pillar栅格中的点云特征进行提取从而得到对应的点云柱特征由此就能得到对应的点云鸟瞰(Bird’s Eye View，BEV)特征；关于DCN的详细网络结构可通过论文《Deformable Convolutional Networks》和《Deformableconvnets v2:More deformable,better results》获取对应的实现描述，基于DCN进行特征提取可比常规卷积网络获得更多的特征信息；关于CenterPoint模型的详细网络结构可通过论文《Center-based 3D Object Detection and Tracking》获取对应的实现描述，基于enterPoint模型的Center heatmap head可以预测出各个目标的中心点坐标、基于enterPoint模型的Regression heads能根据各个目标的中心点坐标对目标检测框的高度、宽度、深度和朝向角进行回归预测。
步骤2，基于点云目标检测模型的前视特征提取模块对第一点云进行特征提取处理生成对应的第一前视特征张量并对第一前视特征张量与第一点云进行特征融合处理生成对应的第一点云张量；
这里，当前步骤本发明实施例点云目标检测模型先对原始点云即第一点云进行前视图特征提取并将提取出的特征与第一点云进行融合从而得到融合了前视图特征的点云张量即第一点云张量；
具体包括：步骤21，由前视空间处理单元以自车为坐标原点构建柱状坐标系记为对应的自车柱状坐标系；并将自车柱状坐标系的高度范围设为预设的第一高度范围[zmin,zmax],zmin<0<zmax；并按预设的单位角度△θ、单位高度△z将自车柱状坐标系的柱面前视图(Front View，FV)的高×宽分辨率设为A×B，A＝(zmax-Zmin)/Δz，B＝360°/Δθ；并根据点云坐标系到自车柱状坐标系的柱面前视图像素坐标系的坐标转换关系对第一点云中各个第一点的三维点云坐标(x,y,z)进行柱面前视图像素坐标转换处理得到对应的前视图像素坐标(u,v)，
Figure BDA0004099642160000111
并在柱面前视图上将各个前视图像素坐标(u,v)对应的像素点记为对应的第一投影点；并在柱面前视图上将前视图像素坐标(u,v)相同的多个第一投影点组成一组对应的第一投影点集合，并在各个第一投影点集合中将对应的反射强度ρ为最大值的第一投影点保留、并将其他剩余的所有第一投影点删除；并由柱面前视图上各个剩余的第一投影点的对应的三维点云坐标(x,y,z)和
Figure BDA0004099642160000112
组成一个对应的长度为4的第一投影点向量；并根据柱面前视图的分辨率A×B初始化一个形状为C0×H0×W0的全零张量作为对应的第一前视图张量；并将第一前视图张量中与各个剩余的第一投影点对应的第一像素向量设为对应的第一投影点向量；
其中，C0、H0、W0分别为第一张量的特征维度、高度和宽度，C0、H0、W0为大于零的整数，C0＝4，H0＝A，W0＝B，第一张量包括H0*W0个第一像素向量；
步骤22，由前视特征提取单元基于多级特征金字塔网络对第一前视图张量进行多级特征提取与多尺度特征融合处理生成对应的第一前视特征张量；
其中，第一前视特征张量的形状为C1×H1×W1；C1、H1、W1分别为第一前视特征张量的特征维度、高度和宽度，C1、H1、W1为大于零的整数，C1默认为16，H1＝H0，W1＝W0；第一前视特征张量包括H1*W1个长度为C1的第一前视特征向量；第一前视特征向量与第一像素向量一一对应；
步骤23，由点云特征融合单元为第一点云的各个第一点分配一个对应的长度为4+C1的全零向量作为对应的第一点云向量；并基于各个第一点的三维点云坐标(x,y,z)和反射强度ρ对对应的第一点云向量的前4个向量数据进行设置；并对第一前视特征张量的各个第一前视特征向量进行遍历；并在遍历时，将当前遍历的第一前视特征向量作为对应的当前前视特征向量，并将当前前视特征向量对应的第一像素向量对应的第一投影点对应的前视图像素坐标(u,v)对应的一个或多个第一点作为对应的第一匹配点，并将所有第一匹配点对应的第一点云向量的后C1个向量数据设为当前前视特征向量的C1个向量数据；并在遍历结束时，由所有第一点云向量组成对应的第一点云张量。
步骤3，基于点云目标检测模型的鸟瞰特征提取模块对第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量；
这里，当前步骤本发明实施例点云目标检测模型对融合了前视图特征的第一点云张量进行鸟瞰特征提取从而得到融合了前视特征的鸟瞰特征即第一鸟瞰特征张量；
具体包括：步骤31，由点云柱特征提取单元基于PointPillars模型的点云柱特征网络按预设的点云柱栅格空间对第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量；
其中，第一点云柱特征张量的形状为C2×H2×W2，C2、H2、W2分别为第一点云柱特征张量的特征维度、高度和宽度，C2、H2、W2为大于零的整数；
这里，预设的点云柱栅格空间可根据实时需求进行设定，诸如设置点云柱栅格空间由多个点云柱栅格组成，每个点云柱栅格的高度为10米、每个点云柱栅格的栅格平面为0.1米*0.1米；
步骤32，由鸟瞰特征提取单元基于多级特征金字塔网络对第一点云柱特征张量进行多级特征提取与多尺度特征融合处理生成对应的第一鸟瞰特征张量；
其中，第一鸟瞰特征张量的形状为C3×H3×W3，C3、H3、W3分别为第一鸟瞰特征张量的特征维度、高度和宽度，C3、H3、W3为大于零的整数，C3默认为64。
步骤4，基于点云目标检测模型的特征融合模块对第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对第一卷积特征张量与第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量；
这里，当前步骤本发明实施例点云目标检测模型对融合了前视特征的鸟瞰特征即第一鸟瞰特征张量进行可变形卷积并对卷积结果与该鸟瞰特征进行特征融合，通过当前步骤可进一步增强特征丰富度；
具体包括：步骤41，由可变形卷积单元基于可变形卷积网络对第一鸟瞰特征张量进行特征提取处理生成对应的第一卷积特征张量；
其中，第一鸟瞰特征张量的形状为C3×H3×W3，C3、H3、W3分别为第一鸟瞰特征张量的特征维度、高度和宽度，C3、H3、W3为大于零的整数，C3默认为64；第一卷积特征张量的形状为C4×H4×W4，C4、H4、W4分别为第一鸟瞰特征张量的特征维度、高度和宽度，C4、H4、W4为大于零的整数，H4＝H3，W4＝W3，C4默认为64；
步骤42，由融合处理单元对第一卷积特征张量和第一鸟瞰特征张量按特征维度方向进行张量拼接生成对应的形状为(C3+C4)×H3×W3的第一拼接张量；并将第一拼接张量表示为形状为H3×W3×(C3+C4)的第二拼接张量；并基于预设的形状为1×1×C5的卷积算子对第二拼接张量进行张量降维处理得到对应的第一鸟瞰融合特征张量；
其中，第一鸟瞰融合特征张量的形状为H5×W5×C5，C5、H5、W5分别为第一鸟瞰融合特征张量的特征维度、高度和宽度，C5、H5、W5为大于零的整数，H5＝H3，W5＝W3，C5默认为64。
步骤5，基于点云目标检测模型的目标检测模块根据第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；
其中，第一检测张量包括多个第一目标检测框向量；第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角；第一检测框3D尺寸包括高度、宽度和深度；
具体包括：由目标检测模块基于3D目标检测框预测头网络的中心热力图头网络根据第一鸟瞰融合特征张量进行目标检测框中心点坐标预测处理得到多个第一检测框中心点坐标；并基于3D目标检测框预测头网络的回归头网络根据各个第一检测框中心点坐标和第一鸟瞰融合特征张量进行目标检测框的高度、宽度、深度和朝向角回归预测处理生成对应的第一检测框3D尺寸和第一检测框朝向角；并由各个第一检测框中心点坐标和对应的第一检测框3D尺寸和第一检测框朝向角组成对应的第一目标检测框向量；并由得到的所有第一目标检测框向量组成对应的第一检测张量。
图3为本发明实施例二提供的一种基于融合特征进行点云目标检测的处理装置的模块结构图，该装置为实现前述方法实施例的终端设备或者服务器，也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置，例如该装置可以是前述终端设备或者服务器的装置或芯片系统。如图3所示，该装置包括：获取模块201、第一特征处理模块202、第二特征处理模块203、第三特征处理模块204和3D检测处理模块205。
获取模块201用于获取第一点云。
第一特征处理模块202用于基于点云目标检测模型的前视特征提取模块对第一点云进行特征提取处理生成对应的第一前视特征张量并对第一前视特征张量与第一点云进行特征融合处理生成对应的第一点云张量。
第二特征处理模块203用于基于点云目标检测模型的鸟瞰特征提取模块对第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量。
第三特征处理模块204用于基于点云目标检测模型的特征融合模块对第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对第一卷积特征张量与第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量。
3D检测处理模块205用于基于点云目标检测模型的目标检测模块根据第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；第一检测张量包括多个第一目标检测框向量；第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角。
本发明实施例提供的一种基于融合特征进行点云目标检测的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
图4为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图4所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。
在图4中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。
本发明实施例提供了一种基于融合特征进行点云目标检测的处理方法、装置、电子设备及计算机可读存储介质；先对原始点云进行前视图特征提取并将提取出的特征与原始点云融合，再对融合了前视图特征的点云进行鸟瞰特征提取从而得到融合了前视特征的鸟瞰特征，再对该鸟瞰特征进行可变形卷积并对卷积结果与该鸟瞰特征进行特征融合，再基于该融合特征进行3D目标检测得到对应的多个3D目标检测框。通过本发明对点云进行多视角、多尺度的特征提取与融合处理，增强了点云的特征丰富度，提高了点云目标检测的准确度。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于融合特征进行点云目标检测的处理方法，其特征在于，所述方法包括：
获取第一点云；
基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量；
基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量；
基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量；
基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；所述第一检测张量包括多个第一目标检测框向量；所述第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角。
2.根据权利要求1所述的基于融合特征进行点云目标检测的处理方法，其特征在于，
所述第一点云包括多个第一点；各个所述第一点对应一组三维点云坐标(x,y,z)和一个反射强度ρ；
所述点云目标检测模型包括所述前视特征提取模块、所述鸟瞰特征提取模块、所述特征融合模块和所述目标检测模块；所述前视特征提取模块与所述鸟瞰特征提取模块连接；所述鸟瞰特征提取模块与所述特征融合模块连接；所述特征融合模块与所述目标检测模块连接；所述前视特征提取模块包括前视空间处理单元、前视特征提取单元和点云特征融合单元；所述前视空间处理单元的输入端为模型输入端，输出端与所述前视特征提取单元的输入端连接；所述前视特征提取单元的输出端与所述点云特征融合单元的第一输入端连接；所述点云特征融合单元的第二输入端为所述模型输入端；所述鸟瞰特征提取模块包括点云柱特征提取单元和鸟瞰特征提取单元；所述点云柱特征提取单元的输入端与所述点云特征融合单元的输出端连接，输出端与所述鸟瞰特征提取单元的输入端连接；所述特征融合模块包括可变形卷积单元和融合处理单元；所述可变形卷积单元的输入端与所述鸟瞰特征提取单元的输出端连接，输出端与所述融合处理单元的第一输入端连接；所述融合处理单元的第二输入端与所述鸟瞰特征提取单元的输出端连接；所述目标检测模块的输入端与所述融合处理单元的输出端连接，输出端为模型输出端；
所述前视特征提取单元、所述点云柱特征提取单元、所述鸟瞰特征提取单元、所述可变形卷积单元和所述目标检测模块均基于神经网络实现；所述前视特征提取单元和所述鸟瞰特征提取单元对应的神经网络均为由指定残差网络构建的多级特征金字塔网络，所述指定残差网络包括resnet50网络；所述点云柱特征提取单元对应的神经网络为PointPillars模型的点云柱特征网络；所述可变形卷积单元对应的神经网络为可变形卷积网络，所述可变形卷积网络的卷积核大小为3，所述可变形卷积网络的输入、输出张量的高度和宽度不变；所述目标检测模块对应的神经网络为由CenterPoint模型的中心热力图头网络和回归头网络组成的3D目标检测框预测头网络。
3.根据权利要求2所述的基于融合特征进行点云目标检测的处理方法，其特征在于，所述基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量，具体包括：
由所述前视空间处理单元以自车为坐标原点构建柱状坐标系记为对应的自车柱状坐标系；并将所述自车柱状坐标系的高度范围设为预设的第一高度范围[zmin,zmax],zmin<0<zmax；并按预设的单位角度△θ、单位高度△z将所述自车柱状坐标系的柱面前视图的高×宽分辨率设为A×B，A＝(zmax-zmin)/Δz，B＝360°/Δθ；并根据点云坐标系到所述自车柱状坐标系的柱面前视图像素坐标系的坐标转换关系对所述第一点云中各个所述第一点的所述三维点云坐标(x,y,z)进行柱面前视图像素坐标转换处理得到对应的前视图像素坐标(u,v)，
Figure FDA0004099642150000031
并在所述柱面前视图上将各个所述前视图像素坐标(u,v)对应的像素点记为对应的第一投影点；并在所述柱面前视图上将所述前视图像素坐标(u,v)相同的多个所述第一投影点组成一组对应的第一投影点集合，并在各个所述第一投影点集合中将对应的所述反射强度ρ为最大值的所述第一投影点保留、并将其他剩余的所有所述第一投影点删除；并由所述柱面前视图上各个剩余的所述第一投影点的对应的所述三维点云坐标(x,y,z)和/>
Figure FDA0004099642150000032
组成一个对应的长度为4的第一投影点向量；并根据所述柱面前视图的分辨率A×B初始化一个形状为C0×H0×W0的全零张量作为对应的第一前视图张量；并将所述第一前视图张量中与各个剩余的所述第一投影点对应的第一像素向量设为对应的所述第一投影点向量；C0、H0、W0分别为所述第一张量的特征维度、高度和宽度，C0、H0、W0为大于零的整数，C0＝4，H0＝A，W0＝B，所述第一张量包括H0*W0个所述第一像素向量；
由所述前视特征提取单元基于多级特征金字塔网络对所述第一前视图张量进行多级特征提取与多尺度特征融合处理生成对应的所述第一前视特征张量；所述第一前视特征张量的形状为C1×H1×W1；C1、H1、W1分别为所述第一前视特征张量的特征维度、高度和宽度，C1、H1、W1为大于零的整数，C1默认为16，H1＝H0，W1＝W0；所述第一前视特征张量包括H1*W1个长度为C1的第一前视特征向量；所述第一前视特征向量与所述第一像素向量一一对应；
由所述点云特征融合单元为所述第一点云的各个所述第一点分配一个对应的长度为4+C1的全零向量作为对应的第一点云向量；并基于各个所述第一点的所述三维点云坐标(x,y,z)和所述反射强度ρ对对应的所述第一点云向量的前4个向量数据进行设置；并对所述第一前视特征张量的各个所述第一前视特征向量进行遍历；并在遍历时，将当前遍历的所述第一前视特征向量作为对应的当前前视特征向量，并将所述当前前视特征向量对应的所述第一像素向量对应的所述第一投影点对应的所述前视图像素坐标(u,v)对应的一个或多个所述第一点作为对应的第一匹配点，并将所有所述第一匹配点对应的所述第一点云向量的后C1个向量数据设为所述当前前视特征向量的C1个向量数据；并在遍历结束时，由所有所述第一点云向量组成对应的所述第一点云张量。
4.根据权利要求2所述的基于融合特征进行点云目标检测的处理方法，其特征在于，所述基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量，具体包括：
由所述点云柱特征提取单元基于PointPillars模型的点云柱特征网络按预设的点云柱栅格空间对所述第一点云张量进行点云柱特征提取处理生成对应的所述第一点云柱特征张量；所述第一点云柱特征张量的形状为C2×H2×W2，C2、H2、W2分别为所述第一点云柱特征张量的特征维度、高度和宽度，C2、H2、W2为大于零的整数；
由所述鸟瞰特征提取单元基于多级特征金字塔网络对所述第一点云柱特征张量进行多级特征提取与多尺度特征融合处理生成对应的所述第一鸟瞰特征张量；所述第一鸟瞰特征张量的形状为C3×H3×W3，C3、H3、W3分别为所述第一鸟瞰特征张量的特征维度、高度和宽度，C3、H3、W3为大于零的整数，C3默认为64。
5.根据权利要求2所述的基于融合特征进行点云目标检测的处理方法，其特征在于，所述基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量，具体包括：
由所述可变形卷积单元基于可变形卷积网络对所述第一鸟瞰特征张量进行特征提取处理生成对应的所述第一卷积特征张量；所述第一鸟瞰特征张量的形状为C3×H3×W3，C3、H3、W3分别为所述第一鸟瞰特征张量的特征维度、高度和宽度，C3、H3、W3为大于零的整数，C3默认为64；所述第一卷积特征张量的形状为C4×H4×W4，C4、H4、W4分别为所述第一鸟瞰特征张量的特征维度、高度和宽度，C4、H4、W4为大于零的整数，H4＝H3，W4＝W3，C4默认为64；
由所述融合处理单元对所述第一卷积特征张量和所述第一鸟瞰特征张量按特征维度方向进行张量拼接生成对应的形状为(C3+C4)×H3×W3的第一拼接张量；并将所述第一拼接张量表示为形状为H3×W3×(C3+C4)的第二拼接张量；并基于预设的形状为1×1×C5的卷积算子对所述第二拼接张量进行张量降维处理得到对应的所述第一鸟瞰融合特征张量；所述第一鸟瞰融合特征张量的形状为H5×W5×C5，C5、H5、W5分别为所述第一鸟瞰融合特征张量的特征维度、高度和宽度，C5、H5、W5为大于零的整数，H5＝H3，W5＝W3，C5默认为64。
6.根据权利要求2所述的基于融合特征进行点云目标检测的处理方法，其特征在于，所述基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量，具体包括：
由所述目标检测模块基于3D目标检测框预测头网络的中心热力图头网络根据所述第一鸟瞰融合特征张量进行目标检测框中心点坐标预测处理得到多个所述第一检测框中心点坐标；并基于3D目标检测框预测头网络的回归头网络根据各个所述第一检测框中心点坐标和所述第一鸟瞰融合特征张量进行目标检测框的高度、宽度、深度和朝向角回归预测处理生成对应的所述第一检测框3D尺寸和所述第一检测框朝向角；并由各个所述第一检测框中心点坐标和对应的所述第一检测框3D尺寸和所述第一检测框朝向角组成对应的所述第一目标检测框向量；并由得到的所有所述第一目标检测框向量组成对应的所述第一检测张量；所述第一检测框3D尺寸包括高度、宽度和深度。
7.一种用于执行权利要求1-6任一项所述的基于融合特征进行点云目标检测的处理方法的装置，其特征在于，所述装置包括：获取模块、第一特征处理模块、第二特征处理模块、第三特征处理模块和3D检测处理模块；
所述获取模块用于获取第一点云；
所述第一特征处理模块用于基于点云目标检测模型的前视特征提取模块对所述第一点云进行特征提取处理生成对应的第一前视特征张量并对所述第一前视特征张量与所述第一点云进行特征融合处理生成对应的第一点云张量；
所述第二特征处理模块用于基于所述点云目标检测模型的鸟瞰特征提取模块对所述第一点云张量进行点云柱特征提取处理生成对应的第一点云柱特征张量并对所述第一点云柱特征张量进行鸟瞰特征提取处理生成对应的第一鸟瞰特征张量；
所述第三特征处理模块用于基于所述点云目标检测模型的特征融合模块对所述第一鸟瞰特征张量进行可变形卷积特征提取处理生成对应的第一卷积特征张量并对所述第一卷积特征张量与所述第一鸟瞰特征张量进行特征融合处理生成对应的第一鸟瞰融合特征张量；
所述3D检测处理模块用于基于所述点云目标检测模型的目标检测模块根据所述第一鸟瞰融合特征张量进行目标检测处理生成对应的第一检测张量；所述第一检测张量包括多个第一目标检测框向量；所述第一目标检测框向量包括第一检测框中心点坐标、第一检测框3D尺寸和第一检测框朝向角。
8.一种电子设备，其特征在于，包括：存储器、处理器和收发器；
所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-6任一项所述的方法步骤；
所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-6任一项所述的方法的指令。
CN202310172165.6A 2023-02-27 2023-02-27 一种基于融合特征进行点云目标检测的处理方法和装置 Pending CN116188931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310172165.6A CN116188931A (zh) 2023-02-27 2023-02-27 一种基于融合特征进行点云目标检测的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310172165.6A CN116188931A (zh) 2023-02-27 2023-02-27 一种基于融合特征进行点云目标检测的处理方法和装置

Publications (1)

Publication Number Publication Date
CN116188931A true CN116188931A (zh) 2023-05-30

Family

ID=86442076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310172165.6A Pending CN116188931A (zh) 2023-02-27 2023-02-27 一种基于融合特征进行点云目标检测的处理方法和装置

Country Status (1)

Country Link
CN (1) CN116188931A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058646A (zh) * 2023-10-11 2023-11-14 南京工业大学 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117130010B (zh) * 2023-10-23 2024-05-24 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058646A (zh) * 2023-10-11 2023-11-14 南京工业大学 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN117058646B (zh) * 2023-10-11 2024-02-27 南京工业大学 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN117130010A (zh) * 2023-10-23 2023-11-28 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
CN117130010B (zh) * 2023-10-23 2024-05-24 青岛慧拓智能机器有限公司 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车

Similar Documents

Publication Publication Date Title
EP3506161A1 (en) Method and apparatus for recovering point cloud data
WO2021052283A1 (zh) 处理三维点云数据的方法和计算设备
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN111860695A (zh) 一种数据融合、目标检测方法、装置及设备
CN114565644B (zh) 三维运动目标检测方法、装置和设备
WO2023193401A1 (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN113284163B (zh) 基于车载激光雷达点云的三维目标自适应检测方法及系统
CN115082674A (zh) 基于注意力机制的多模态数据融合三维目标检测方法
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN115436910B (zh) 一种对激光雷达点云进行目标检测的数据处理方法和装置
KR20230070253A (ko) 포인트 클라우드들로부터의 효율적인 3차원 객체 검출
CN113420637A (zh) 自动驾驶中多尺度鸟瞰视角下的激光雷达检测方法
US20200191971A1 (en) Method and System for Vehicle Detection Using LIDAR
CN114782787A (zh) 一种对点云与图像数据进行特征融合的处理方法和装置
CN116188931A (zh) 一种基于融合特征进行点云目标检测的处理方法和装置
CN115147333A (zh) 一种目标检测方法及装置
CN115147328A (zh) 三维目标检测方法及装置
CN114519681A (zh) 自动标定方法及装置、计算机可读存储介质、终端
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
CN114419490A (zh) 一种基于注意力金字塔的sar船只目标检测方法
CN112184700B (zh) 基于单目相机的农业无人车障碍物感知方法及装置
CN113256709A (zh) 目标检测方法、装置、计算机设备以及存储介质
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN116310179A (zh) 点云补全方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination