CN115222954A - 弱感知目标检测方法及相关设备 - Google Patents

Abstract

本申请实施例公开了一种弱感知目标检测方法及相关设备。该方法包括：获取训练样本集，输入至弱感知目标检测网络中，通过弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据；基于候选目标点云数据利用弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算获取弱感知目标完整形状特征序列；基于弱感知目标完整形状特征序列和候选目标点云特征进行弱感知目标检测网络中的注意力融合操作、置信度计算和位置回归操作并计算损失值生成弱感知目标检测模型；利用弱感知目标检测模型对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。

Description

弱感知目标检测方法及相关设备

技术领域

本说明书涉及目标识别领域，更具体地说，本发明涉及一种弱感知目标检测方法及相关设备。

背景技术

近年来，频发的交通事故和低下的通行效率已经成为城市交通发展最为严重的问题，给社会造成了巨大的经济损失和不良影响。随着人工智能和计算机视觉技术的兴起，快速发展的自动驾驶技术为保障交通安全、提升通行效率提供了新的解决方案，而自动驾驶系统要准确感知复杂环境，则需要准确检测定位当前场景中的目标并判断其类别。因此，研究复杂场景中的目标检测方法对自动驾驶技术至关重要。

目前，基于人脑智能的深度神经网络在计算机视觉领域取得了一定进展，被广泛应用于目标检测任务，然而，基于深度学习的二维目标检测方法缺失深度信息，难以准确定位三维空间目标且对光照和天气条件敏感，而使用激光雷达点云数据的基于深度学习的三维目标检测方法可以获取复杂环境中的高精度深度信息，能取得更好的检测性能，因此被广泛应用于自动驾驶领域。但在自动驾驶任务中，由于实际场景干扰复杂且雷达采集设备具有不平衡性，使得距离传感器越远的目标所采集到的点越少，即远距离目标的点云数据比较稀疏且形状残缺。这类残缺的弱感知目标由于缺乏形状特征信息导致难以被准确定位，影响自动驾驶的安全性。因此，研究复杂场景中的弱感知目标检测方法是解决自动驾驶任务中复杂场景感知问题并提升驾驶安全性的关键。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为了提升弱感知目标的识别精度，第一方面，本发明提出一种弱感知目标检测方法，上述方法包括：

获取训练样本集，输入至弱感知目标检测网络中，通过上述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据，其中，上述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征；

基于上述候选目标点云数据利用上述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据上述弱感知目标缺失部分形状特征序列利用上述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列；

基于上述弱感知目标完整形状特征序列和上述候选目标点云特征进行上述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征；

基于上述弱感知目标全局特征进行上述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数，并基于上述置信度分数和上述残差参数计算损失值以调整上述弱感知目标检测网络的参数，生成弱感知目标检测模型；

利用上述弱感知目标检测模型对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。

可选的，上述迭代运算包括第一迭代运算和第二迭代运算，上述重构操作包括折叠操作和特征提取操作；

上述基于上述候选目标点云数据利用上述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据上述弱感知目标缺失部分形状特征序列利用上述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列，包括：

根据上述候选目标点云数据进行上述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列；

基于上述嵌入位置局部结构特征序列，利用上述transformer编码器进行上述第一迭代运算和维度变换操作，以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列；

对上述缺失部分中心点序列和上述缺失部分中心点局部结构特征序列执行上述弱感知目标检测网络中的第二嵌入操作得到局部形状特征序列；

根据上述局部形状特征序列、上述缺失部分中心点局部结构特征序列和上述缺失部分中心点序列，利用上述transformer解码器进行上述第二迭代运算和特征变换操作，获取上述弱感知目标缺失部分形状特征序列；

对于上述弱感知目标缺失部分形状特征序列，结合上述缺失部分中心点序列和上述候选目标点云数据，进行上述折叠操作获取弱感知目标完整点云数据；

对于上述弱感知目标完整点云数据，采用第二点云特征编码子网络进行上述特征提取操作，得到上述弱感知目标完整形状特征序列。

可选的，上述根据上述候选目标点云数据进行上述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列，包括：

利用上述候选目标点云数据通过迭代最远采样方法获取中心点序列；

利用上述中心点序列基于图卷积网络提取相关特征序列；

对上述中心点序列和上述相关特征序列执行上述第一嵌入操作以获取上述嵌入位置局部结构特征序列。

可选的，上述维度变换操作包括最大池化操作和第一多层感知器；

上述基于上述嵌入位置局部结构特征序列，利用上述transformer编码器进行上述第一迭代运算和维度变换操作，以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列，包括：

将上述嵌入位置局部结构特征序列作为上述transformer编码器的输入进行上述第一迭代运算以获取编码器输出特征序列，其中，上述第一迭代运算是基于第一自注意力加权操作和第一前馈网络进行编码的；

根据上述编码器输出特征序列利用上述最大池化操作和上述第一多层感知器变换特征维度，获取上述缺失部分中心点序列和上述缺失部分中心点局部结构特征序列。

可选的，上述第二迭代运算包括第二自注意力加权操作、交叉注意力加权操作和第二前馈网络；

上述根据上述局部形状特征序列、上述缺失部分中心点局部结构特征序列和上述缺失部分中心点序列，利用上述transformer解码器进行上述第二迭代运算和特征变换操作，获取上述弱感知目标缺失部分形状特征序列，包括：将上述局部形状特征序列作为上述transformer解码器的首层输入形状特征序列D⁽¹⁾；

将上述transformer解码器的第k层的输入形状特征序列D^(k)进行上述第二自注意力加权操作得到上述transformer解码器的第k层对应的query向量E^(k+1)；

基于上述transformer解码器的第k层的输入形状特征序列D^(k)，上述缺失部分中心点局部结构特征序列和上述缺失部分中心点序列，通过下式计算得到上述transformer解码器的第k层的混合特征R^(k)：

R^(k)＝Conv₂(Cat(D^(k),S)+Conv₁(Y)),k＝1,...,L

其中，Cat代表第一拼接操作，Conv₁代表第一卷积操作，Conv₂代表第二卷积操作，Y表示上述缺失部分中心点序列，S表示上述缺失部分中心点局部结构特征序列，L表示上述transformer解码器的层数；

将上述混合特征R^(k)作为上述transformer解码器的第k层对应的key向量和value向量，结合上述transformer解码器的第k层对应的query向量E^(k+1)，通过下式进行上述交叉注意力加权操作得到上述transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)：

其中，H是注意力头的个数，

和

分别表示上述transformer解码器的第k层的第h个上述注意力头的第一投影矩阵、第二投影矩阵和第三投影矩阵，

为上述transformer解码器的第k层的交叉注意力加权操作的输出线性投影矩阵，d是缩放因子，T表示矩阵转置操作，δ表示归一化操作；

基于上述transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)利用上述第二前馈网络获取上述transformer解码器的第k层的输出形状特征序列D^(k+1)；

基于上述transformer解码器的第k层的输出形状特征序列D^(k+1)通过上述transformer解码器的剩余(L-k)层迭代(L-k)次，得到上述transformer解码器的最后一层的输出形状特征序列D^(L+1)，作为解码器输出特征序列；

根据上述解码器输出特征序列通过第二多层感知器进行上述特征变换操作以获取上述弱感知目标缺失部分形状特征序列。

可选的，上述折叠操作包括第二拼接操作、第三多层感知器和第三拼接操作；

上述对于上述弱感知目标缺失部分形状特征序列，结合上述缺失部分中心点序列和上述候选目标点云数据，进行上述折叠操作获取弱感知目标完整点云数据，包括：

将上述缺失部分中心点序列和上述弱感知目标缺失部分形状特征序列进行上述第二拼接操作，并对上述第二拼接操作的拼接结果使用上述第三多层感知器映射，以获取弱感知目标缺失部分点云数据；

将上述弱感知目标缺失部分点云数据和上述候选目标点云数据进行上述第三拼接操作以获取上述弱感知目标完整点云数据。

可选的，上述基于上述弱感知目标完整形状特征序列和上述候选目标点云特征进行上述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征，包括：

随机采集上述候选目标点云特征得到原始采样特征序列，并基于上述原始采样特征序列使用对应的神经网络操作得到原始特征序列；

将上述弱感知目标完整形状特征序列和上述原始特征序列进行第四拼接操作以获得拼接特征序列；

对上述拼接特征序列进行逐通道池化操作和逐点池化操作以分别获得逐点注意力特征序列和逐通道注意力特征序列；

对上述逐点注意力特征序列和上述逐通道注意力特征序列基于第一线性层和第二线性层分别进行线性变换后相乘得到注意力特征乘积，并标准化处理上述注意力特征乘积以获得整体注意力权重图；

将上述整体注意力权重图和上述原始特征序列相乘以重新分配权重，获得原始加权特征序列；

根据上述原始加权特征序列基于第三前馈网络获取加权特征序列；

对上述加权特征序列使用下采样操作得到几何特征，并使用相应的神经网络操作编码上述几何特征，得到上述弱感知目标全局特征。

第二方面，本申请还提出一种弱感知目标检测装置，包括：

第一获取单元，用于获取训练样本集，输入至弱感知目标检测网络中，通过上述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据，其中，上述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征；

迭代运算单元，用于基于上述候选目标点云数据利用上述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据上述弱感知目标缺失部分形状特征序列利用上述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列；

融合单元，用于基于上述弱感知目标完整形状特征序列和上述候选目标点云特征进行上述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征；

第二获取单元，用于基于上述弱感知目标全局特征进行上述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数，并基于上述置信度分数和上述残差参数计算损失值以调整上述弱感知目标检测网络的参数，生成弱感知目标检测模型；

生成单元，用于利用上述弱感知目标检测模型对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。

第三方面，一种电子设备，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器用于执行存储器中存储的计算机程序时实现如上述的第一方面任一项的弱感知目标检测方法的步骤。

第四方面，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现第一方面上述任一项的弱感知目标检测方法。

综上，本申请提出了一种弱感知目标检测方法，通过将训练样本集输入至弱感知目标检测网络中，利用第一点云特征编码子网络获取场景点云中的初始候选数据，通过改进的transformer编码器和transformer解码器进行迭代运算以补全重构初始候选框中候选目标点云数据的整体形状以增强弱感知目标的形状特征，并基于改进的注意力融合操作来聚合补全得到的初始候选框中弱感知目标完整形状特征与补全前初始候选框中蕴含弱感知目标位置信息的原始特征序列，以获取空间几何信息丰富的弱感知目标全局特征，基于弱感知目标全局特征计算得到弱感知目标的置信度分数和残差参数，并与训练样本集中的真实标签数据进行计算并更新损失值以调整弱感知目标检测网络的参数，学习得到弱感知目标检测模型以对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。该弱感知目标检测方法中的补全重构操作通过一种结构感知的transformer模型实现，其通过transformer编码器提取候选目标点云数据的结构特征以获取缺失部分中心点局部结构特征序列，并通过聚合缺失部分中心点局部结构特征序列与transformer解码器前序层输出的形状特征来构建transformer解码器当前层对应的key-value向量，使得query向量能够查询到更多的低层结构细节信息，从而引导解码器生成更为准确的弱感知目标的完整形状特征序列。不同于现有的拼接特征聚合模块，该检测方法中的注意力融合操作能够融合不同尺度的语义特征，通过融合补全得到的弱感知目标完整形状特征和原始特征序列来重新分配点的权重，以增强目标关键点权重，抑制非关键点对检测性能的干扰。该检测方法通过结合补全重构操作和注意力融合操作有效提升了弱感知目标的检测精度。

本发明的弱感知目标检测方法，本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的一种弱感知目标检测方法流程示意图；

图2为本申请实施例提供的一种三维目标初始候选数据生成流程示意图；

图3为本申请实施例提供的一种弱感知目标检测模型结构示意图；

图4为本申请实施例提供的一种弱感知目标检测方法与基准方法的检测精度比较示意图；

图5为本申请实施例提供的一种采用本方法进行弱感知目标检测效果示意图；

图6为本申请实施例提供的一种弱感知目标检测装置；

图7为本申请实施例提供的一种弱感知目标检测电子设备结构示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

请参阅图1，为本申请实施例中一种弱感知目标检测方法流程示意图，方法包括：

S110、获取训练样本集，输入至弱感知目标检测网络中，通过上述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据，其中，上述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征；

示例性的，将训练样本集中大小为N×C_n的场景点云Y_scene输入至弱感知目标检测网络中，采用如图2所示的初始候选数据生成模块中的第一点云特征编码子网络PointNet++提取特征得到具有判别性的大小为N×C的逐点特征F_scene以分割出目标前景点，并由弱感知目标检测网络中的区域建议生成网络(RPN)进行初步检测获取场景点云Y_scene中目标前景点对应的3D候选框的长、宽、高、角度及中心点坐标的回归参数和分类概率，以回归生成3D候选框，计算3D候选框与训练样本集中真实目标框的重叠区域和合并区域的比值，挑选比值超过0.55的Z个3D候选框，根据Z个3D候选框的参数在场景点云Y_scene中查找到Z个候选目标，由于场景点云中的弱感知目标点数过少，缺乏充分的特征表示难以被感知，因此在Z个候选目标中挑选出M个点云数量稀少的候选目标对应为弱感知目标的一部分，由于M个候选目标点数过少，缺乏空间几何信息，导致对应的M个候选框的位置参数不准确，因此M个候选框中的候选数据仅为实际弱感知目标的部分数据，由M个点数稀少的候选目标对应的候选框构成大小为M×C_p的初始候选框集合，其中，初始候选框集合中的每一个初始候选框的大小均为M₀×C_p，对于某一个初始候选框P，P中的点云数据即为初始候选框P中的候选目标点云数据Y_known，根据P在逐点特征F_scene中裁剪可得到初始候选框P中的候选目标点云特征F_known；初始候选框P、初始候选框P中的候选目标点云数据Y_known和初始候选框P中的候选目标点云特征F_known为初始候选数据，其中，Y_known大小为N₁×C_n，F_known大小为N₁×C，M为初始候选框集合中初始候选框的个数，M₀为P的维度，C_p为初始候选框集合、初始候选框P的维度；N为场景点云Y_scene、逐点特征F_scene中点的个数，C为逐点特征F_scene、候选目标点云特征F_known的特征维度，N₁为候选目标点云数据Y_known、候选目标点云特征F_known中点的个数，C_n为Y_scene、Y_known中点的维度，Z，N，C_n，C，M，M₀，C_p，N₁均为正整数。例如：将训练样本集中大小为16384×3的场景点云Y_scene输入至弱感知目标检测网络中，首先经过弱感知目标检测网络中的第一点云特征编码子网络PointNet++提取特征得到大小为16384×128的逐点特征F_scene，F_scene经过弱感知目标检测网络中的RPN进行初步检测得到3D候选框对应的大小为16384×1的分类概率和大小为16384×7的回归参数，并基于分类概率和回归参数生成3D候选框，随后挑选出IOU比值超过0.55的32个3D候选框，根据32个3D候选框的参数在场景点云Y_scene中查找到32个候选目标，并在32个候选目标中挑选出点云数量在200至2048之间的10个候选目标，对于其中点的数量不足2048的候选目标，采用填充零值的方法使其点的数量固定为2048；10个候选目标对应的10个3D候选框构成大小为10×7的初始候选框集合，初始候选框集合中的每一个初始候选框的大小均为1×7，对于某一个初始候选框P，P中大小为2048×3的候选目标的点云数据即为候选目标点云数据Y_known，根据初始候选框P在逐点特征F_scene中裁剪可得到P中大小为2048×128的候选目标点云特征F_known。

S120、基于上述候选目标点云数据利用上述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据上述弱感知目标缺失部分形状特征序列利用上述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列；

示例性的，根据步骤S110获取到的候选目标点云数据Y_known利用弱感知目标检测网络中的transformer编码器和弱感知目标检测网络中的transformer解码器进行迭代运算得到大小为N₂×C₃的弱感知目标缺失部分形状特征序列D_fine，并对弱感知目标缺失部分形状特征序列D_fine进行弱感知目标检测网络中的重构操作，得到大小为N₅×I₁的弱感知目标完整形状特征序列F_com，其中，N₂为弱感知目标缺失部分形状特征序列D_fine中点的个数，C₃为D_fine的特征维度，N₅为弱感知目标完整形状特征序列F_com中点的个数，I₁为F_com的特征维度，N₅，I₁，N₂，C₃均为正整数。

需要说明的是，本申请中的transformer编码器和transformer解码器是对标准transformer进行改进，而提出一种具有较强的全局上下文结构特征提取能力的结构感知的transformer模型来实现弱感知目标补全重构操作，从而可以补全弱感知目标的形状点集，增强其结构形状信息以提高检测精度。

S130、基于上述弱感知目标完整形状特征序列和上述候选目标点云特征进行上述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征；

示例性的，根据步骤S110获取得到的初始候选框P中的候选目标点云特征F_known和步骤S120获取到的弱感知目标完整形状特征序列F_com，执行弱感知目标检测网络中的注意力融合操作得到大小为B×I₃的弱感知目标全局特征F_glo，其中，B为F_glo对应的点数，I₃为F_glo的特征维度，B，I₃均为正整数。

S140、基于上述弱感知目标全局特征进行上述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数，并基于上述置信度分数和上述残差参数计算损失值以调整上述弱感知目标检测网络的参数，生成弱感知目标检测模型；

示例性的，根据步骤S130示例获取到的弱感知目标全局特征F_glo，分别进行弱感知目标检测网络中的置信度计算和弱感知目标检测网络中的位置回归操作，生成弱感知目标对应的大小为M₀×M₀的置信度分数cls和大小为M₀×C_p的残差参数reg，根据置信度分数cls生成弱感知目标的类别信息，并基于类别信息与训练样本集中的真实目标类别标签使用交叉熵损失函数计算分类损失，基于初始候选框和训练样本集中的真实目标框计算残差目标，并基于残差参数reg与残差目标计算smooth-L1损失，得到位置回归损失，基于训练样本集中的分类损失和位置回归损失之和约束并调整弱感知目标检测网络的参数，学习生成弱感知目标检测模型，其中，M₀为cls和reg的维度，C_p为reg的维度，M₀，C_p均为正整数。

S150、利用上述弱感知目标检测模型对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。

示例性的，获取待检测样本集，将待检测样本集中的大小为N×C_n的场景点云输入至具有弱感知目标检测网络的最优参数的弱感知目标检测模型中，首先执行步骤S110进行初步检测，获取到待检测样本集中的初始候选数据，包括待检测样本集中的初始候选框、候选目标点云数据和候选目标点云特征，然后对待检测样本集中的初始候选数据执行步骤S120以重构得到待检测样本集中的弱感知目标完整形状特征序列，再基于步骤S130对待检测样本集中的弱感知目标完整形状特征序列和候选目标点云特征执行注意力融合操作，得到待检测样本集中的弱感知目标全局特征，最后通过步骤S140中的置信度计算和位置回归操作得到待检测样本集中的Q个弱感知目标对应的弱感知目标类别信息及大小均为M₀×C_p的弱感知目标检测框，完成弱感知目标检测，其中，N为待检测样本集中场景点云中点的个数，C_n为待检测样本集中场景点云中点的维度，M₀为目标检测框的维度，C_p为目标检测框的维度。N，C_n，Q，M₀，C_p均为正整数。例如：将待检测样本集中的大小为16384×3的场景点云输入至具有弱感知目标检测网络的最优参数的弱感知目标检测模型中，通过顺序执行步骤S110的初步检测、步骤S120、步骤S130得到待检测样本集中的弱感知目标全局特征，然后基于待检测样本集中的弱感知目标全局特征执行步骤S140中的置信度计算得到置信度分数，根据该置信度分数判断出待检测样本集中的8个弱感知目标的类别信息，并基于待检测样本集中的弱感知目标全局特征执行步骤S140中的位置回归操作得到的待检测样本集中大小均为1×7的8个弱感知目标的目标检测框；以待检测样本集中某个弱感知目标为例，经过置信度计算操作得到该弱感知目标的置信度分数为0.98，基于置信度分数判断出弱感知目标类别信息为“车辆”，由位置回归操作生成对应的长为4.35米，宽为1.76米，高为1.78米，中心点位于(2.36米，1.59米，19.10米)，角度为38度的弱感知目标检测框，完成弱感知目标检测。综上，本申请提出了一种弱感知目标检测方法，通过将训练样本集输入至弱感知目标检测网络中，首先利用第一点云特征编码子网络获取场景点云中的初始候选数据，然后通过改进的transformer编码器和transformer解码器进行迭代运算以补全重构初始候选框中候选目标点云数据的整体形状以增强弱感知目标的形状特征，并基于改进的注意力融合操作来聚合补全得到的初始候选框中弱感知目标完整形状特征与补全前初始候选框中蕴含弱感知目标位置信息的原始特征序列，以获取空间几何信息丰富的弱感知目标全局特征，基于弱感知目标全局特征计算得到弱感知目标的置信度分数和残差参数，并与训练样本集中的真实标签数据进行计算并更新损失值以调整弱感知目标检测网络的参数，学习得到弱感知目标检测模型以对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。该弱感知目标检测方法中的补全重构操作通过一种结构感知的transformer模型实现，其通过transformer编码器提取候选目标点云数据的结构特征以获取缺失部分中心点局部结构特征序列，并通过聚合缺失部分中心点局部结构特征序列与transformer解码器前序层输出的形状特征来构建transformer解码器当前层对应的key-value向量，使得query向量能够查询到更多的低层结构细节信息，从而引导解码器生成更为准确的弱感知目标的完整形状特征序列。不同于现有的拼接特征聚合模块，该检测方法中的注意力融合操作能够融合不同尺度的语义特征，通过融合补全得到的弱感知目标完整形状特征和原始特征序列来重新分配点的权重，以增强目标关键点权重，抑制非关键点对检测性能的干扰。该检测方法通过结合补全重构操作和注意力融合操作有效提升了弱感知目标的检测精度。

在一些示例中，上述迭代运算包括第一迭代运算和第二迭代运算，上述重构操作包括折叠操作和特征提取操作；

上述步骤S120具体可以包括：步骤S1201至步骤S1206；

S1201、根据上述候选目标点云数据进行上述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列；

示例性的，将根据步骤S110获取到的候选目标点云数据Y_known进行弱感知目标检测网络中的采样卷积操作和弱感知目标检测网络中的第一嵌入操作，获得大小为N₂×C₂的嵌入位置局部结构特征序列F⁽¹⁾，其中N₂为嵌入位置局部结构特征序列F⁽¹⁾中点的个数，C₂为嵌入位置局部结构特征序列F⁽¹⁾的特征维度，N₂，C₂均为正整数。

在一些示例中，上述步骤S1201具体包括：步骤S12011至步骤S12013；

S12011、利用上述候选目标点云数据通过迭代最远采样方法获取中心点序列；

S12012、利用上述中心点序列基于图卷积网络提取相关特征序列；

S12013、对上述中心点序列和上述相关特征序列执行上述第一嵌入操作以获取上述嵌入位置局部结构特征序列。

示例性的，将根据步骤S110获取到的候选目标点云数据Y_known通过迭代最远采样方法获得大小为N₂×C_n的中心点序列X，基于X和Y_known利用图卷积网络获取到大小为N₂×C₁的相关特征序列G，并将中心点序列X和相关特征序列G执行第一嵌入操作，即通过对应的神经网络映射变换使得中心点序列X的特征维度等于相关特征序列G的特征维度，以得到投影中心点特征，随后在通道维度上拼接投影中心点特征与相关特征序列G，得到投影拼接结果，再对投影拼接结果经过对应的神经网络得到嵌入位置局部结构特征序列F⁽¹⁾，其中N₂为中心点序列X、相关特征序列G点的个数，C_n为X中点的维度，C₁为相关特征序列G的特征维度，N₂，C_n，C₁均为正整数。

例如：对于由步骤S110示例中获取得到的初始候选框P中大小为2048×3的候选目标点云数据Y_known，采用迭代最远点采样方法从Y_known中采样得到大小为128×3的中心点序列X，然后基于图卷积网络提取出大小为128×512的相关特征序列G，将中心点序列X嵌入到相关特征序列G中得到大小为128×384的嵌入位置局部结构特征序列F⁽¹⁾。

S1202、基于上述嵌入位置局部结构特征序列，利用上述transformer编码器进行上述第一迭代运算和维度变换操作，以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列；

示例性的，将由步骤S1201获取到的嵌入位置局部结构特征序列F⁽¹⁾通过弱感知目标检测网络中的transformer编码器进行第一迭代运算和维度变换操作，从而获取大小为N₂×C_n的缺失部分中心点序列Y和大小为N₂×C₃的缺失部分中心点局部结构特征序列S，其中，N₂为缺失部分中心点序列Y、缺失部分中心点局部结构特征序列S中点的个数，C_n为缺失部分中心点序列Y中点的维度，C₃为缺失部分中心点局部结构特征序列S的特征维度，N₂，C₃，C_n均为正整数。

在一些示例中，上述维度变换操作包括最大池化操作和第一多层感知器；

上述步骤S1202具体可以包括：步骤S12021和步骤S12022；

S12021、将上述嵌入位置局部结构特征序列作为上述transformer编码器的输入进行上述第一迭代运算以获取编码器输出特征序列，其中，上述第一迭代运算是基于第一自注意力加权操作和第一前馈网络进行编码的；

S12022、根据上述编码器输出特征序列利用上述最大池化操作和上述第一多层感知器变换特征维度，获取上述缺失部分中心点序列和上述缺失部分中心点局部结构特征序列。

示例性的，将由步骤S1201获取到的嵌入位置局部结构特征序列F⁽¹⁾作为弱感知目标检测网络中transformer编码器首层的输入特征序列F⁽¹⁾经过L层transformer编码器通过第一迭代运算进行迭代更新与细化，第一迭代运算包括L次如式(1)所示的计算，transformer编码器的第k层的输入特征序列F^(k)通过第一自注意力加权操作进行编码器第一自注意力计算，生成transformer编码器的第k层的第一自注意力加权特征序列，并通过第一前馈网络细化第一自注意力加权特征序列，生成transformer编码器的第k层的注意力加权结构特征序列F^(k+1)，F^(k+1)为transformer编码器的第k层的输出特征序列，F^(k)的大小为N₂×C₂，F^(k+1)的大小为N₂×C₂，N₂为F^(k)、F^(k+1)中点的个数，C₂为F^(k)、F^(k+1)的特征维度，N₂，C₂均为正整数。

F^(k+1)＝Self_Att₁(F^(k))+FFN₁(Self_At_t1(F^(k))),k＝1,...,L (1)

其中，FFN₁表示第一前馈网络，Self_Att₁为式(2)所示的进行编码器第一自注意力计算的第一自注意力加权操作：

其中，H₁是第一自注意力加权操作的自注意力头的个数，大小均为C₂×(C₂/H₁)的

分别表示transformer编码器的第k层的第h个自注意力头的投影矩阵，C₂、(C₂/H₁)为

的维度，大小为C₂×C₂的

是transformer编码器的第k层的第一自注意力加权操作的输出线性投影矩阵，C₂是

的维度，其中，C₂，H₁均为正整数；

将F^(k+1)送入至transformer编码器的第k+1层，作为transformer编码器的第k+1层的输入特征序列继续被迭代更新，直至第L层；

根据transformer编码器首层的输入特征序列F⁽¹⁾利用L层transformer编码器迭代计算，得到大小为N₂×C₂的编码器输出特征序列F^(L+1)，其中，N₂为编码器输出特征序列F^{(L +1)}中点的个数，C₂为F^(L+1)的特征维度，N₂，C₂均为正整数。

对F^(L+1)采用最大池化操作及第一多层感知器变换特征维度，得到缺失部分中心点序列Y和缺失部分中心点局部结构特征序列S。

例如：将步骤S1201中示例得到的大小为128×384的嵌入位置局部结构特征序列F⁽¹⁾输入至三层transformer编码器，在transformer编码器的第一层中进行第一次如式(1)所示的计算得到transformer编码器的第一层的输出特征序列F⁽²⁾，即F⁽¹⁾首先通过第一自注意力加权操作进行自注意力头的个数为8的编码器第一自注意力计算，在transformer编码器的第一层的第8个自注意力头中，将大小为128×384的输入特征序列F⁽¹⁾分别与大小为384×48、384×48、384×48的投影矩阵相乘，得到大小为128×48、128×48、128×48的第一特征向量、第二特征向量、第三特征向量，通过第一特征向量、第二特征向量、第三特征向量相乘得到大小为128×48的第一自注意力特征，然后拼接8个自注意力头计算得到的8个第一自注意力特征，得到大小为128×384的注意力拼接结果，并将注意力拼接结果与大小为384×384的输出线性投影矩阵

相乘，得到大小为128×384的第一自注意力加权特征序列，再由第一前馈网络更新得到transformer编码器的第一层的大小为128×384的输出特征序列F⁽²⁾，F⁽²⁾作为transformer编码器的第二层的输入特征序列，由transformer编码器的第二层进行第二次如式(1)所示的计算，输出transformer编码器的第二层的大小为128×384的输出特征序列F⁽³⁾，F⁽³⁾作为transformer编码器的第三层的输入特征序列，由transformer编码器的第三层进行第三次如式(1)所示的计算，得到大小为128×384的编码器输出特征序列F⁽⁴⁾，再使用最大池化操作及第一多层感知器变换F⁽⁴⁾的特征维度，得到大小为128×3的缺失部分中心点序列Y和大小为128×1024的缺失部分中心点局部结构特征序列S。

S1203、对上述缺失部分中心点序列和上述缺失部分中心点局部结构特征序列执行上述弱感知目标检测网络中的第二嵌入操作得到局部形状特征序列；

示例性的，对步骤S1202示例中获取到的缺失部分中心点序列Y和缺失部分中心点局部结构特征序列S执行弱感知目标检测网络中的第二嵌入操作得到大小为N₂×C₂的局部形状特征序列D⁽¹⁾，其中，N₂为D⁽¹⁾中点的个数，C₂为D⁽¹⁾的特征维度，N₂，C₂均为正整数。例如：对步骤S1202中示例获取到的大小为128×3的缺失部分中心点序列Y和大小为128×1024的缺失部分中心点局部结构特征序列S执行弱感知目标检测网络中的第二嵌入操作，得到大小为128×384的局部形状特征序列D⁽¹⁾。

S1204、根据上述局部形状特征序列、上述缺失部分中心点局部结构特征序列和上述缺失部分中心点序列，利用上述transformer解码器进行上述第二迭代运算和特征变换操作，获取上述弱感知目标缺失部分形状特征序列；

示例性的，将由步骤S1203示例中获取到的局部形状特征序列D⁽¹⁾利用弱感知目标检测网络中的transformer解码器进行上述第二迭代运算和特征变换操作，获取弱感知目标缺失部分形状特征序列D_fine。

在一些示例中，上述第二迭代运算包括第二自注意力加权操作、交叉注意力加权操作和第二前馈网络；

上述步骤S1204具体可以包括：步骤S12041和步骤S12047；

S12041、将上述局部形状特征序列作为上述transformer解码器的首层输入形状特征序列D⁽¹⁾；

S12042、将上述transformer解码器的第k层的输入形状特征序列D^(k)进行上述第二自注意力加权操作得到上述transformer解码器的第k层对应的query向量E^(k+1)；

S12043、基于上述transformer解码器的第k层的输入形状特征序列D^(k)，上述缺失部分中心点局部结构特征序列和上述缺失部分中心点序列，通过下式计算得到上述transformer解码器的第k层的混合特征R^(k)：

R^(k)＝Conv₂(Cat(D^(k),S)+Conv₁(Y)),k＝1,...,L

其中，Cat代表第一拼接操作，Conv₁代表第一卷积操作，Conv₂代表第二卷积操作，Y表示上述缺失部分中心点序列，S表示上述缺失部分中心点局部结构特征序列，L表示上述transformer解码器的层数；

S12044、将上述混合特征R^(k)作为上述transformer解码器的第k层对应的key向量和value向量，结合上述transformer解码器的第k层对应的query向量E^(k+1)，通过下式进行上述交叉注意力加权操作得到上述transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)：

其中，H是注意力头的个数，

和

分别表示上述transformer解码器的第k层的第h个上述注意力头的第一投影矩阵、第二投影矩阵和第三投影矩阵，

为上述transformer解码器的第k层的交叉注意力加权操作的输出线性投影矩阵，d是缩放因子，T表示矩阵转置操作，δ表示归一化操作。

S12045、基于上述transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)利用上述第二前馈网络获取上述transformer解码器的第k层的输出形状特征序列D^(k+1)；

S12046、基于上述transformer解码器的第k层的输出形状特征序列D^(k+1)通过上述transformer解码器的剩余(L-k)层迭代(L-k)次，得到上述transformer解码器的最后一层的输出形状特征序列D^(L+1)，作为解码器输出特征序列；

S12047、根据上述解码器输出特征序列通过第二多层感知器进行上述特征变换操作以获取上述弱感知目标缺失部分形状特征序列。

示例性的，构建L层transformer解码器对由步骤S1203获取到的局部形状特征序列D⁽¹⁾进行细化，过程如下：

将D⁽¹⁾作为弱感知目标检测网络中的transformer解码器的首层输入形状特征序列，结合缺失部分中心点局部结构特征序列S和缺失部分中心点序列Y，由L层transformer解码器进行第二迭代运算以不断细化形状特征，其中第二迭代运算包括L次计算，L为正整数；第二迭代运算中的第k次计算过程如下：

弱感知目标检测网络中的transformer解码器的第k层的大小为N₂×C₂的输入形状特征序列D^(k)通过第二自注意力加权操作进行如式(3)所示的解码器第二自注意力权重计算，得到transformer解码器的第k层的大小为N₂×C₂的第二自注意力加权形状特征E^(k+1)，其中，N₂为E^(k+1)、D^(k)中点的个数，C₂为E^(k+1)、D^(k)的特征维度，N₂，k，C₂均为正整数：

E^(k+1)＝Self_Att(D^(k)),k＝1,...,L (3)

其中，

H₂是第二自注意力头的个数，大小均为C₂×(C₂/H₂)的

分别表示transformer解码器的第k层的第h个第二自注意力头的投影矩阵，C₂、(C₂/H₂)为投影矩阵

的维度，大小为C₂×C₂的

是transformer解码器的第k层的第二自注意力加权操作的输出线性投影矩阵，C₂为

的维度，C₂，H₂均为正整数；

将transformer解码器的第k层的输入形状特征序列D^(k)拼接至由步骤S1202示例中获取到的缺失部分中心点局部结构特征序列S中(即第一拼接操作)，以获取大小为N₂×C₄的加性特征Cat(D^(k),S)，并通过如式(4)所示的位置嵌入公式将由步骤S1202示例中获取到的缺失部分中心点序列Y嵌入至加性特征Cat(D^(k),S)中，得到transformer解码器的第k层的大小为N₂×C₂的混合特征R^(k)，其中，N₂是R^(k)、Cat(D^(k),S)中点的个数，C₂是R^(k)的特征维度，C₄表示加性特征Cat(D^(k),S)的特征维度，N₂，C₂，C₄均为正整数。

R^(k)＝Conv₂(Cat(D^(k),S)+Conv₁(Y)),k＝1,...,L (4)

其中，Cat代表第一拼接操作，Conv₁代表第一卷积操作，Conv₂代表第二卷积操作，Conv₁(Y)表示对缺失部分中心点序列Y的维度采用第一卷积操作进行转换，使得缺失部分中心点序列Y的维度与加性特征Cat(D^(k),S)的特征维度相等，得到大小为N₂×C₄的位置特征Y′，将Y′与加性特征Cat(D^(k),S)相加后使用第二卷积操作Conv₂进行特征维度变换得到R^(k)，N₂表示Y′中点的个数，C₄表示Y′的特征维度，N₂，C₄均为正整数。

将transformer解码器的第k层的第二自注意力加权形状特征E^(k+1)作为交叉注意力加权操作的query向量，并将transformer解码器的第k层的混合特征R^(k)作为交叉注意力加权操作的key向量和value向量，进行如式(5)所示的解码器交叉注意力计算，得到transformer解码器的第k层的大小为N₂×C₂的交叉注意力加权形状特征U^(k+1)，其中，N₂，C₂为U^(k+1)的特征维度，N₂，C₂均为正整数：

其中，H是注意力头的个数，大小均为C₂×(C₂/H)的

和

分别表示transformer解码器的第k层的第h个注意力头的第一投影矩阵、第二投影矩阵和第三投影矩阵，大小为C₂×C₂的

为transformer解码器的第k层的交叉注意力加权操作的输出线性投影矩阵，d是缩放因子，T表示矩阵转置操作，δ表示归一化操作，C₂是

和

的维度，(C₂/H)是

的维度，C₂，H，d均为正整数；

将transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)送至transformer解码器的第k层的第二前馈网络进行细化，如式(6)所示，得到transformer解码器的第k层的大小为N₂×C₂的输出形状特征序列D^(k+1)，其中，N₂为D^(k+1)中点的个数，C₂为D^(k+1)的特征维度，N₂，C₂均为正整数；

D^(k+1)＝U^(k+1)+FFN(U^(k+1)) (6)

其中，FFN表示对transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)进行细化的第二前馈网络；

将D^(k+1)作为transformer解码器的第k+1层的输入形状特征序列，继续进行迭代更新，直至第L层；

经过上述L层transformer解码器更新细化transformer解码器的首层输入形状特征序列D⁽¹⁾，获取到大小为N₂×C₂的解码器输出特征序列D^(L+1)，再通过第二多层感知器变换D^(L+1)的特征维度，生成弱感知目标缺失部分形状特征序列D_fine，其中，N₂为D^(L+1)中点的个数，C₂为D^(L+1)的特征维度，N₂，C₂均为正整数。

例如：将根据步骤S1203中示例所得的大小为128×384的局部形状特征序列D⁽¹⁾输入至弱感知目标检测网络中的三层transformer解码器中，结合由步骤S1202示例中获取到的缺失部分中心点局部结构特征序列S和缺失部分中心点序列Y，在transformer解码器的第一层中进行第二迭代运算中的第一次计算，得到transformer解码器的第一层的输出形状特征序列D⁽²⁾，即D⁽¹⁾首先通过第二自注意力加权操作得到transformer解码器的第一层的大小为128×384的第二自注意力加权形状特征E⁽²⁾，然后拼接transformer解码器的第一层的输入形状特征序列D⁽¹⁾与缺失部分中心点局部结构特征序列S得到加性特征，再使用第一卷积操作变换缺失部分中心点序列Y的维度得到Y′，将Y′与加性特征相加，再经过第二卷积操作得到大小为128×384的混合特征R⁽¹⁾，将第二自注意力加权形状特征E⁽²⁾与混合特征R⁽¹⁾进行交叉注意力加权操作，得到大小为128×384的交叉注意力加权形状特征U⁽²⁾，U⁽²⁾经过transformer解码器的第一层的第二前馈网络更新得到transformer解码器的第一层的大小为128×384的输出形状特征序列D⁽²⁾，D⁽²⁾作为transformer解码器的第二层的输入形状特征序列，结合缺失部分中心点局部结构特征序列S和缺失部分中心点序列Y，由transformer解码器的第二层进行第二迭代运算中的第二次计算，得到transformer解码器的第二层的大小为128×384的输出形状特征序列D⁽³⁾，将D⁽³⁾输入至transformer解码器的第三层中，结合缺失部分中心点局部结构特征序列S和缺失部分中心点序列Y，由transformer解码器的第三层进行第二迭代运算中的第三次计算，得到transformer解码器的第三层(最后一层)的大小为128×384的输出形状特征序列D⁽⁴⁾(即解码器输出特征序列)，然后通过第二多层感知器变换解码器输出特征序列D⁽⁴⁾的特征维度，生成大小为128×1024的弱感知目标缺失部分形状特征序列D_fine。

S1205、对于上述弱感知目标缺失部分形状特征序列，结合上述缺失部分中心点序列和上述候选目标点云数据，进行上述折叠操作获取弱感知目标完整点云数据；

示例性的，对于弱感知目标缺失部分形状特征序列D_fine，结合缺失部分中心点序列Y和上述候选目标点云数据Y_known，进行折叠操作获取大小为N₄×C_n的弱感知目标完整点云数据Y_completed，其中，N₄为Y_completed中点的个数，C_n为Y_completed中点的维度，N₄、C_n均为正整数。

在一些示例中，上述折叠操作包括第二拼接操作、第三多层感知器和第三拼接操作；上述步骤S1205具体可以包括：步骤S12051至步骤S12052；

S12051、将上述缺失部分中心点序列和上述弱感知目标缺失部分形状特征序列进行上述第二拼接操作，并对上述第二拼接操作的拼接结果使用上述第三多层感知器映射，以获取弱感知目标缺失部分点云数据；

S12052、将上述弱感知目标缺失部分点云数据和上述候选目标点云数据进行上述第三拼接操作以获取上述弱感知目标完整点云数据。

示例性的，将由步骤S1202示例中获取到的缺失部分中心点序列Y与由步骤S1204示例中获取到的弱感知目标缺失部分形状特征序列D_fine进行第二拼接操作得到的拼接结果输入至第三多层感知器，得到弱感知目标缺失部分点云数据Y_missing，大小为N₃×C_n，将Y_missing与由步骤S110示例中获取到的候选目标点云数据Y_known进行第三拼接操作后得到弱感知目标完整点云数据Y_completed，其中，N₃为Y_missing中点的个数，C_n为Y_missing中点的维度，N₃，C_n均为正整数。例如：拼接步骤S1202示例中获取到的大小为128×3的缺失部分中心点序列Y与由步骤S1204示例中获取到的大小为128×1024的弱感知目标缺失部分形状特征序列D_fine，得到大小为128×1027的拼接结果，拼接结果经过第三多层感知器映射得到大小为4096×3的弱感知目标缺失部分点云数据Y_missing，随后将弱感知目标缺失部分点云数据Y_missing与步骤S110示例中获取到的大小为2048×3的候选目标点云数据Y_known进行拼接，最终得到大小为6144×3的弱感知目标完整点云数据Y_completed。

S1206、对于上述弱感知目标完整点云数据，采用第二点云特征编码子网络进行上述特征提取操作，得到上述弱感知目标完整形状特征序列。

示例性的，对于由步骤S1205中的示例获取到的弱感知目标完整点云数据Y_completed，采用第二点云特征编码子网络PointNet++提取其形状特征，得到弱感知目标完整形状特征序列F_com。例如：根据步骤S1205中的示例获取到的大小为6144×3的弱感知目标完整点云数据Y_completed，采用第二点云特征编码子网络PointNet++提取形状特征得到大小为512×128的弱感知目标完整形状特征序列F_com。

上述步骤S130具体可以包括：步骤S1301至步骤S1307；

S1301、随机采集上述候选目标点云特征得到原始采样特征序列，并基于上述原始采样特征序列使用对应的神经网络操作得到原始特征序列；

S1302、将上述弱感知目标完整形状特征序列和上述原始特征序列进行第四拼接操作以获得拼接特征序列；

S1303、对上述拼接特征序列进行逐通道池化操作和逐点池化操作以分别获得逐点注意力特征序列和逐通道注意力特征序列；

S1304、对上述逐点注意力特征序列和上述逐通道注意力特征序列基于第一线性层和第二线性层分别进行线性变换后相乘得到注意力特征乘积，并标准化处理上述注意力特征乘积以获得整体注意力权重图；

S1305、将上述整体注意力权重图和上述原始特征序列相乘以重新分配权重，获得原始加权特征序列；

S1306、根据上述原始加权特征序列基于第三前馈网络获取加权特征序列；

S1307、对上述加权特征序列使用下采样操作得到几何特征，并使用相应的神经网络操作编码上述几何特征，得到上述弱感知目标全局特征。

示例性的，在由步骤S110获取到的弱感知目标完整点云数据Y_known中采样N₅个点，并在步骤S110获取到的候选目标点云特征F_known中提取出N₅个点对应的特征作为原始采样特征序列，随后对原始采样特征序列使用对应的神经网络操作得到大小为N₅×I₁的原始特征序列F_ori。拼接包含空间位置信息的原始特征序列F_ori及根据步骤S120获取到的弱感知目标完整形状特征序列F_com，得到拼接特征序列F_c，大小为N₅×I₂，N₅为F_ori、F_c对应的点的个数，I₁为F_ori的特征维度，I₂为F_c的特征维度，N₅，I₁，I₂均为正整数；

对拼接特征序列F_c分别进行逐通道池化操作和逐点池化操作，得到大小为N₅×B的逐点注意力特征序列F_p和大小为B×I₂的逐通道注意力特征序列F_g，F_g和F_p分别通过第一线性层和第二线性层变换维度后相乘得到注意力特征乘积，并对注意力特征乘积进行标准化处理得到大小为N₅×I₁的整体注意力权重图F_b，F_b的计算过程如式(7)所示，其中，N₅为F_p、F_b的维度，I₁为F_b的维度，I₂为F_g的特征维度，B为F_p、F_g的维度，N₅，B，I₁，I₂均为正整数；

F_b＝sigmoid(linear₂(F_p)×linear₁(F_g)) (7)

其中，sigmoid表示采用sigmoid函数进行标准化处理，Linear₁和Linear₂分别表示第一线性层和第二线性层；

将整体注意力权重图F_b与原始特征序列F_ori相乘以对F_ori的各点权重重新分配，得到大小为N₅×I₁的原始加权特征序列F_e，并使用第三前馈网络学习F_e中的注意力特征，得到大小为N₅×I₁的加权特征序列F_k，随后对加权特征序列F_k使用下采样操作和相应的神经网络操作，得到弱感知目标全局特征F_glo，其中，N₅为F_e、F_k中点的个数，I₁为F_e、F_k的特征维度，N₅，I₁均为正整数。

在一些实施方式中，对于根据步骤S110获取到的大小为2048×3的候选目标点云数据Y_known以及大小为2048×128的候选目标点云特征F_known，首先在候选目标点云数据Y_known中随机采集512个点，并提取对应的候选目标点云特征F_known得到原始采样特征序列，并对原始采样特征序列使用对应的神经网络操作得到大小为512×128的原始特征序列F_ori，同时，对于由步骤S120示例获取到的大小为512×128的弱感知目标完整形状特征序列F_com，拼接F_com与原始特征序列F_ori得到大小为512×256的拼接特征序列F_c，随后对F_c分别进行逐通道池化操作和逐点池化操作，得到大小为512×1的逐点注意力特征序列F_p和大小为1×256的逐通道注意力特征序列F_g，并将F_g和F_p通过式(7)计算得到大小为512×128的整体注意力权重图F_b，再将F_b与F_ori相乘，得到大小为512×128的原始加权特征序列F_e，并将F_e输入至第三前馈网络得到大小为512×128的加权特征序列F_k，再对加权特征序列F_k使用下采样操作和相应的神经网络操作，得到大小为1×512的弱感知目标全局特征F_glo。

在一些实施方式中，如图3所示，本申请提出的弱感知目标检测方法中的弱感知目标检测模型的主要框架分为四部分：初始候选数据生成模块、基于结构感知transformer的弱感知目标补全重构操作、注意力融合操作和弱感知目标检测结果生成模块，其中，初始候选数据生成模块如图2所示。为采用本申请的弱感知目标检测方法得到检测结果，采用3D标准数据集KITTI构建弱感知目标检测网络的训练样本集和待检测样本集，首先采用KITTI数据集中的训练集提供的3712个样本作为训练样本集，训练弱感知目标检测网络，学习生成弱感知目标检测模型。其次，采用KITTI数据集中的验证集提供的3769个待检测样本构成待检测样本集，根据弱感知目标检测模型对待检测样本集进行检测和评估，生成弱感知目标检测结果。根据场景中目标的稀疏残缺程度及弱感知程度，将待检测样本集中的样本分成“弱感知容易级别”、“弱感知中等级别”和“弱感知困难级别”三种难度级别，其中，弱感知困难级别样本场景上存在大量远距离尺寸较小、截断程度严重及形状残缺的弱感知目标。

通过实验比较本方法和基准方法可以验证本方法的有效性，图4为本方法与5种基准方法在待检测样本集中三种弱感知难度级别样本上的检测精度的对比示意图。由图4可知，本方法在具有大量弱感知目标的困难级别场景样本上取得了显著的检测性能，检测精度高于其他5种基准方法，证明了本方法能够精准检测定位弱感知目标；同时对于弱感知目标相对较少的弱感知简单级别和弱感知中等级别样本场景，本发明方法仍取得了最高的检测精度，证明了本方法的有效性和实用性。

图5显示了本发明提出的弱感知目标检测方法在KITTI待检测样本集上的检测效果示意图，对于图5中的每一组检测效果图，上图是检测结果对应的2D图像，下图是检测结果相应的3D点云表示。对图5的第一组图中的场景点云执行本发明提出的弱感知目标检测方法，检测得到了场景中的8个弱感知目标对应的目标检测框和“车辆”类别信息。对图5所示的另外三组中的场景点云数据执行本发明方法均可准确生成各弱感知目标对应的目标检测框和类别信息，有效完成弱感知目标检测。从图5可以看出，对于容易被忽略的距离较远的点云分布稀疏的弱感知目标以及某些只包含部分点云的形状残缺的弱感知车辆目标，执行本发明方法均可生成相应的准确的目标检测框和类别信息。

上述实验结果证明了本发明对于存在大量形状残缺的弱感知目标的复杂场景具有优异的检测性能，这是因为本发明提出的弱感知目标检测方法利用改进的transformer编码器和解码器以及注意力融合机制可有效查询到更为低层的目标结构信息，能够准确补全生成弱感知目标的完整几何形状信息并增强弱感知目标的整体空间几何特征，从而有效提高弱感知目标检测精度。当然，这里采用的KITTI训练样本集和用于评估的KITTI验证集仅为举例，实际中还可以通过其他数据库或者用户自身准备的点云数据进行训练和验证。

综上所述，本发明提供的弱感知目标检测方法有较高的理论价值，对于具有大量弱感知目标的不同类型的弱感知困难级别场景，本方法均能有效检测定位场景中的弱感知目标，取得优异的检测性能，检测精度明显高于其他基准方法，且本方法已通过软件实现，工程应用价值大。

请参阅图6，本发明还提出一种弱感知目标检测装置，包括：

第一获取单元21，用于获取训练样本集，输入至弱感知目标检测网络中，通过上述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据，其中，上述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征；

迭代运算单元22，用于基于上述候选目标点云数据利用上述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据上述弱感知目标缺失部分形状特征序列利用上述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列；

融合单元23，用于基于上述弱感知目标完整形状特征序列和上述候选目标点云特征进行上述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征；

第二获取单元24，用于基于上述弱感知目标全局特征进行上述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数，并基于上述置信度分数和上述残差参数计算损失值以调整上述弱感知目标检测网络的参数，生成弱感知目标检测模型；

生成单元25，用于利用上述弱感知目标检测模型对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。

如图7所示，本申请实施例还提供一种电子设备300，包括存储器310、处理器320及存储在存储器320上并可在处理器上运行的计算机程序311，处理器320执行计算机程序311时实现上述弱感知目标检测的任一方法的步骤。

由于本实施例所介绍的电子设备为实施本申请实施例中一种弱感知目标检测装置所采用的设备，故而基于本申请实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍，只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。

在具体实施过程中，该计算机程序311被处理器执行时可以实现图1对应的实施例中任一实施方式。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的弱感知目标检测方法的流程。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种弱感知目标检测方法，其特征在于，包括：

获取训练样本集，输入至弱感知目标检测网络中，通过所述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据，其中，所述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征；

基于所述候选目标点云数据利用所述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据所述弱感知目标缺失部分形状特征序列利用所述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列；

基于所述弱感知目标完整形状特征序列和所述候选目标点云特征进行所述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征；

基于所述弱感知目标全局特征进行所述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数，并基于所述置信度分数和所述残差参数计算损失值以调整所述弱感知目标检测网络的参数，生成弱感知目标检测模型；

利用所述弱感知目标检测模型对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。

2.如权利要求1所述的方法，其特征在于，所述迭代运算包括第一迭代运算和第二迭代运算，所述重构操作包括折叠操作和特征提取操作；

所述基于所述候选目标点云数据利用所述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据所述弱感知目标缺失部分形状特征序列利用所述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列，包括：

根据所述候选目标点云数据进行所述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列；

基于所述嵌入位置局部结构特征序列，利用所述transformer编码器进行所述第一迭代运算和维度变换操作，以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列；

对所述缺失部分中心点序列和所述缺失部分中心点局部结构特征序列执行所述弱感知目标检测网络中的第二嵌入操作得到局部形状特征序列；

根据所述局部形状特征序列、所述缺失部分中心点局部结构特征序列和所述缺失部分中心点序列，利用所述transformer解码器进行所述第二迭代运算和特征变换操作，获取所述弱感知目标缺失部分形状特征序列；

对于所述弱感知目标缺失部分形状特征序列，结合所述缺失部分中心点序列和所述候选目标点云数据，进行所述折叠操作获取弱感知目标完整点云数据；

对于所述弱感知目标完整点云数据，采用第二点云特征编码子网络进行所述特征提取操作，得到所述弱感知目标完整形状特征序列。

3.如权利要求2所述的方法，其特征在于，所述根据所述候选目标点云数据进行所述弱感知目标检测网络中的采样卷积操作和第一嵌入操作以获取嵌入位置局部结构特征序列，包括：

利用所述候选目标点云数据通过迭代最远采样方法获取中心点序列；

利用所述中心点序列基于图卷积网络提取相关特征序列；

对所述中心点序列和所述相关特征序列执行所述第一嵌入操作以获取所述嵌入位置局部结构特征序列。

4.如权利要求2所述的方法，其特征在于，所述维度变换操作包括最大池化操作和第一多层感知器；

所述基于所述嵌入位置局部结构特征序列，利用所述transformer编码器进行所述第一迭代运算和维度变换操作，以获取缺失部分中心点序列和缺失部分中心点局部结构特征序列，包括：

将所述嵌入位置局部结构特征序列作为所述transformer编码器的输入进行所述第一迭代运算以获取编码器输出特征序列，其中，所述第一迭代运算是基于第一自注意力加权操作和第一前馈网络进行编码的；

根据所述编码器输出特征序列利用所述最大池化操作和所述第一多层感知器变换特征维度，获取所述缺失部分中心点序列和所述缺失部分中心点局部结构特征序列。

5.如权利要求2所述的方法，其特征在于，所述第二迭代运算包括第二自注意力加权操作、交叉注意力加权操作和第二前馈网络；

所述根据所述局部形状特征序列、所述缺失部分中心点局部结构特征序列和所述缺失部分中心点序列，利用所述transformer解码器进行所述第二迭代运算和特征变换操作，获取所述弱感知目标缺失部分形状特征序列，包括：

将所述局部形状特征序列作为所述transformer解码器的首层输入形状特征序列D⁽¹⁾；

将所述transformer解码器的第k层的输入形状特征序列D^(k)进行所述第二自注意力加权操作得到所述transformer解码器的第k层对应的query向量E^(k+1)；

基于所述transformer解码器的第k层的输入形状特征序列D^(k)，所述缺失部分中心点局部结构特征序列和所述缺失部分中心点序列，通过下式计算得到所述transformer解码器的第k层的混合特征R^(k)：

R^(k)＝Conv₂(Cat(D^(k),S)+Conv₁(Y)),k＝1,...,L

其中，Cat代表第一拼接操作，Conv₁代表第一卷积操作，Conv₂代表第二卷积操作，Y表示所述缺失部分中心点序列，S表示所述缺失部分中心点局部结构特征序列，L表示所述transformer解码器的层数；

将所述混合特征R^(k)作为所述transformer解码器的第k层对应的key向量和value向量，结合所述transformer解码器的第k层对应的query向量E^(k+1)，通过下式进行所述交叉注意力加权操作得到所述transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)：

其中，H是注意力头的个数，

和

分别表示所述transformer解码器的第k层的第h个所述注意力头的第一投影矩阵、第二投影矩阵和第三投影矩阵，

为所述transformer解码器的第k层的交叉注意力加权操作的输出线性投影矩阵，d是缩放因子，T表示矩阵转置操作，δ表示归一化操作；

基于所述transformer解码器的第k层的交叉注意力加权形状特征U^(k+1)利用所述第二前馈网络获取所述transformer解码器的第k层的输出形状特征序列D^(k+1)；

基于所述transformer解码器的第k层的输出形状特征序列D^(k+1)通过所述transformer解码器的剩余(L-k)层迭代(L-k)次，得到所述transformer解码器的最后一层的输出形状特征序列D^(L+1)，作为解码器输出特征序列；

根据所述解码器输出特征序列通过第二多层感知器进行所述特征变换操作以获取所述弱感知目标缺失部分形状特征序列。

6.如权利要求2所述的方法，其特征在于，所述折叠操作包括第二拼接操作、第三多层感知器和第三拼接操作；

所述对于所述弱感知目标缺失部分形状特征序列，结合所述缺失部分中心点序列和所述候选目标点云数据，进行所述折叠操作获取弱感知目标完整点云数据，包括：

将所述缺失部分中心点序列和所述弱感知目标缺失部分形状特征序列进行所述第二拼接操作，并对所述第二拼接操作的拼接结果使用所述第三多层感知器映射，以获取弱感知目标缺失部分点云数据；

将所述弱感知目标缺失部分点云数据和所述候选目标点云数据进行所述第三拼接操作以获取所述弱感知目标完整点云数据。

7.如权利要求1所述的方法，其特征在于，所述基于所述弱感知目标完整形状特征序列和所述候选目标点云特征进行所述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征，包括：

随机采集所述候选目标点云特征得到原始采样特征序列，并基于所述原始采样特征序列使用对应的神经网络操作得到原始特征序列；

将所述弱感知目标完整形状特征序列和所述原始特征序列进行第四拼接操作以获得拼接特征序列；

对所述拼接特征序列进行逐通道池化操作和逐点池化操作以分别获得逐点注意力特征序列和逐通道注意力特征序列；

对所述逐点注意力特征序列和所述逐通道注意力特征序列基于第一线性层和第二线性层分别进行线性变换后相乘得到注意力特征乘积，并标准化处理所述注意力特征乘积以获得整体注意力权重图；

将所述整体注意力权重图和所述原始特征序列相乘以重新分配权重，获得原始加权特征序列；

根据所述原始加权特征序列基于第三前馈网络获取加权特征序列；

对所述加权特征序列使用下采样操作得到几何特征，并使用相应的神经网络操作编码所述几何特征，得到所述弱感知目标全局特征。

8.一种弱感知目标检测装置，其特征在于，包括：

第一获取单元，用于获取训练样本集，输入至弱感知目标检测网络中，通过所述弱感知目标检测网络中的第一点云特征编码子网络进行初步检测获取初始候选数据，其中，所述初始候选数据包括初始候选框、候选目标点云数据和候选目标点云特征；

迭代运算单元，用于基于所述候选目标点云数据利用所述弱感知目标检测网络中的transformer编码器和transformer解码器进行迭代运算得到弱感知目标缺失部分形状特征序列，根据所述弱感知目标缺失部分形状特征序列利用所述弱感知目标检测网络中的重构操作获取弱感知目标完整形状特征序列；

融合单元，用于基于所述弱感知目标完整形状特征序列和所述候选目标点云特征进行所述弱感知目标检测网络中的注意力融合操作得到弱感知目标全局特征；

第二获取单元，用于基于所述弱感知目标全局特征进行所述弱感知目标检测网络中的置信度计算和位置回归操作以获取弱感知目标的置信度分数和残差参数，并基于所述置信度分数和所述残差参数计算损失值以调整所述弱感知目标检测网络的参数，生成弱感知目标检测模型；

生成单元，用于利用所述弱感知目标检测模型对待检测样本集进行检测，生成弱感知目标检测框和弱感知目标类别信息，完成弱感知目标检测。

9.一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-7中任一项所述的弱感知目标检测方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的弱感知目标检测方法。

Images