CN115808685A - 一种基于相机与毫米波雷达融合的3d目标检测方法 - Google Patents

Abstract

本发明公开了一种基于相机与毫米波雷达融合的3D目标检测方法，基于图像信息与毫米波雷达点云信息融合的3D目标检测的低成本解决方案，相较相机与激光雷达的融合方式成本大幅压缩，基于图像、毫米波雷达点云信息实际工作中存在的问题进行预处理后，在数据层、特征层进行时序融合；在数据层中，采取条码化处理的点云方法，建立包含雷达数据的三通道图像，进行初级检测，在特征层中，通过截锥体关联的方式，进行二次回归。有益效果：基于本发明的3D目标检测效果，可符合在非极端天气条件下的L4级自动驾驶环境感知要求，且可以实现实时性检测要求，具有较好的系统稳定性和鲁棒性。

Description

一种基于相机与毫米波雷达融合的3D目标检测方法

技术领域

本发明涉及智能电动车辆感知技术领域，尤其涉及一种基于相机与毫米波雷达融合的3D目标检测方法。

背景技术

3D目标检测广泛应用于自动驾驶、智能电动车辆感知和增强现实等领域，其任务主要是对应用场景中感兴趣的物体进行检测。目前3D目标检测主要基于图像或点云数据应用一定的技术手段获取目标的大小、位置等。

经检索，公告号CN202110358124.7的中国专利，公开了一种3D目标检测系统及其3D目标检测方法，其提出了在特征学习阶段将二维RGB图像和三维点云的特征进行对齐融合，实现更有效的3D目标检测的方法，但基于相机及毫米波雷达在实际场景中时，依然存在固有缺陷。

基于毫米波雷达与相机融合的感知融合技术相比激光雷达与相机的融合技术，在当前技术水平阶段，具有成本更低廉、传感器布局简单，且在恶劣气候条件下感知效果更优的特点，在自动驾驶领域具有良好的发展前景。

本文提出了在数据层、特征层分别进行融合的方法，解决了单级融合过度依赖图像信息而导致3D目标检测精度不高的问题。

发明内容

本发明的目的在于克服相机与毫米波雷达单层次融合存在的过度依赖图像检测信息而导致检测精度不高的问题，提供了一种在数据层、特征层两次融合的3D目标检测方法，相比现有相机毫米波雷达融合的3D目标检测方法精度提升。

为了实现上述目的，本发明采用了如下技术方案：

一种基于相机与毫米波雷达融合的3D目标检测方法，具体步骤如下：

步骤1)建立多传感器融合空间模型；

步骤2)根据相机实际场景工作实际，建立自适应局部直方图均衡化处理的图像信息预处理流程；

步骤3)根据毫米雷达点云信息固有缺陷，建立基于毫米波雷达的野值过滤流程；而后基于条码化方法建立图像信息与毫米波雷达点云的数据级关联，实现数据层融合；

步骤4)以改进的加入注意力机制的DLA-34网络作为特征提取网络，生成热力图、2D边界框、深度、转角、偏差量等初级检测结果；

步骤5)建立基于截锥体的特征层融合方法，将初级检测结果与毫米波雷达点云相关联，进行二次回归，进一步提升检测精度。

进一步地，步骤1)建立多传感器融合空间模型，具体为：

S21：本文以自车雷达投影点为基准，建立雷达投影坐标系，原点为雷达中心点在地面上的投影，而后根据相机位置建立像素坐标系。

S22：分析毫米波雷达与相机传统联合标定过程可以看出，毫米波雷达与相机的联合标定过程实为两坐标系间建立映射关系，本方法考虑其过程为一个毫米波雷达坐标系的目标点与一个转移矩阵相乘形式求取像素坐标系中的点，简化整个标定过程，建立标定矩阵，建立多传感器融合空间模型，则简化后的标定过程可表示如下：

其中，

表示标定矩阵，其是一个3×3标定矩阵，x_ry_r表示雷达投影坐标系中坐标点，uv表示像素坐标系中的点，即上述方程可直接将雷达坐标转换为像素坐标。设

T_i＝[t_i1 t_i2 t_i3]'，U＝[u₁ u₂ … u_n]'V＝[v₁ v₂ … v_n]'，I_n×1＝[1 1 …1]'，则标定矩阵

中的6个参数可通过最小二乘法公式求解：

[T₁ ^Tp₁-u₁ T₁ ^Tp₂-u₂ … T₁ ^Tp_N-u_N]＝T₁ ^TP^T-U^T

后面

是其转置，因此：

则L(T₁)＝T₁ ^TP^TPT₁-2T₁ ^TP^TU+U^TU

故T₁＝(PP^T)^-1P^TU，同理T₂＝(PP^T)^-1P^TV、T₃＝(PP^T)^-1P^TI_n×1，则可得出标定矩阵

S23：根据实车中，毫米波雷达与相机安装位置，设置10组位置数据，7:3比例划分数据，随机建立标定数据和验证数据。按S21、S22步骤求解标定矩阵，建立空间融合模型。

进一步地，1所述的根据实际场景建立相机的自适应局部直方图均衡化处理流程，具体为：

S31：根据实际场景中，车辆在出隧道环境以及环境条件中明暗对比大的环境下，会出现局部曝光情况，导致出现视觉中拟检测目标盲区，建立图像信息预处理流程。本方法建立图像直方图阈值120作为判断条件，3通道直方图为255时像素数大于120时，出现局部曝光现象，易出现露检情况，需对原始图像进行预处理。

S32：本文采用局部直方图均值化处理。其原理可表示为设一幅图像的像元数为n，共有L个灰度级，n_k代表灰度级为r_k的像元的数目，则第k个灰度级出现的概率可表示为：

变换函数T(r)可改写为：

均衡化后各像素的灰度值可直接由原图像的直方图算出。

进一步地，所述的根据毫米波雷达固有缺陷，建立野值过滤流程，具体为：

S41：基于毫米波雷达野值多的实际，将毫米波雷达野值分类为空目标、无效目标、虚假目标；其中包含信息为0的目标，称之为空目标；本文算法主要运用于公路场景，为减少计算量，本文算法主要识别同车道车辆和左右两侧邻近车道的同向车辆，故需对场景外目标进行过滤，分别建立横向距离阈值与速度阈值：

|y|≤Y₀

-10m/s<v₁<25m/s

则虚假目标，是指由于毫米波雷达工作机制，会产生一些短时间内出现的不稳定干扰信号，这样的信号可能会在一帧内快速出现而后消失，如上文所提，可能并不是真实目标，所以需对短暂目标进行有效性判断，对虚假目标进行过滤剔除。其中v₁为前方车辆与本车的相对速度，y为本车与前方车辆的横向距离；Y₀为车道阈值，根据我国公路规范，公路标准宽度为3.75米，考虑本文检测目标以及为检测目标检测效果，经过实验论证，本方法选取Y₀＝10m，则超过阈值的为无效目标，由于毫米波雷达工作机制，会产生一些短时间内出现的不稳定干扰信号，这样的信号可能会在一帧内快速出现而后消失，此类定义为虚假目标；本文使用卡尔曼滤波目标跟踪框架实现先验帧与下一帧的数据关联，从而实现虚假目标的过滤。

S42：经对比实验，通过将一帧图像的前后3帧雷达联合融合到本方法的数据格式中，来增加雷达数据的密度。虽然这种方法也输入了数据噪声，因为在以前的时间步中检测到的运动对象与当前对象位置不一致，但通过后续具体实验可以得出，为了获得信息增益，可容忍此缺点。因为毫米波雷达探测没有提供高度的信息，这增加了融合数据类型的难度。本文检测的交通对象可以分为汽车、卡车、摩托车、自行车和行人，为解决毫米波雷达信息高度缺失的问题，实现图像信息与毫米波雷达的软联接，建立注意力机制，本方法使用点云条码化处理方法，将雷达探测的点云信息高度扩展为3米，覆盖此类目标类型的高度，实现相机像素与雷达数据相关联，实现传感器信息在输入前进行融合。同时雷达数据以1像素宽度映射到图像平面。其中如数据关联示意图所示,从而实现数据层融合。

进一步地，所述的建立特征提取网络，具体为：

S51：以DLA系列网络中的DLA-34作为骨干网络，其中图5展示为DLA网络框架示意图，本文构建DLA-34网络，每阶段通道数依次为16、32、64、128、256、512。其中模型图如图6所示，框中数字代表图像的步幅，本文从底层添加更多跳过连接，并将上采样阶段的每个卷积层升级为可变形卷积层。

S52：在DLA-34网络中加入通道空间注意力机制，经对照实验验证，本方法设计在骨干网络尾部，检测头前加入CBM、SAM空间通道注意力模块。网络结构示意图如5所示。其中CBM通道注意力模块如图7所示，其表达式为：

其中F为输入特征，经过并行的平均池化层和最大池化层后，得到两个多通道1×1维度特征图，而后，再将它们分别送入一个两层MLP网络，而后将MLP输出的特征进行张量内对应元素(element-wise)的相加，再经过激活操作，生成通道特征M_c，最后将M_c和输入特征做张量内对应元素相乘，作为通道注意力模块。

其中SAM空间注意力模块示意图如8所示，其表达式为其表达式为：

其中F为输入特征图，首先做一个基于通道的全局最大池化和全局平均池化，得到两个H×W×1的特征图，然后将这2个特征图基于通道做通道拼接，然后经过一个7×7卷积操作，降维为1个通道，即H×W×1。再经过激活函数生成空间注意力特征，最后将该特征与模块输入做乘法，得到最终生成特征。

S53：建立初级检测网络检测器，分别为关键点热力图、深度、3D尺寸、转向。其中关键点热力图建立建立focal损失函数：

N是图像中关键点数量，在实验中α＝2、β＝4，定义为超参数。为恢复由下采样而引起的误差，对每一个预测的关键点增加一个局部偏移量，偏移量建立L1损失函数，偏移量仅在预测关键点

生效。

设

为种类为C_k的物体k的边界框位置坐标。其中心点位于

每一个对象其尺寸

通过检测网络预测所有关键点

对尺寸建立与关键点偏差量相近的损失函数L1损失函数：

故热力图生成总的损失函数为：L_det＝L_k+λ_sizeL_size+λ_offL_off

对象的深度信息，按前文所提输出预测的深度做出变换，即

其中σ是sigmoid函数，训练时建立L1损失函数：

其中d_k是标注信息(gt)的绝对深度(以米为单位)。

对象的3D尺寸信息同深度类似，训练时建立L1损失函数：

其中γ_k是标注物体的高、宽、长(以米为单位)。

对象的方向信息，训练时建立L1损失函数：

其中c_i＝I_c(θ∈B_i)，a_i＝(sin(θ-m_i)，cos(θ-m_i))，m_i为预测3D目标框的中心。

进一步地，所述的建立特征层融合，进行二次回归进一步提升检测精度，具体为：

S61：首先建立特征层数据关联，在特征层，基于雷达探测和图像中的物体之间没有一对一的映射关系，且由于雷达检测的z轴维度不精确，映射的雷达检测可能最终超出其对应对象的2D边界框实际，运用截锥体关联方法。为解决高度不准确问题，在特征层将毫米波雷达点云扩展为垂直柱体，解决了高度信息浮动的问题；为解决雷达目标多检测关联问题，本文使用初级检测中生成的边界框(bboxing)及其回归的深度和目标尺寸来创建一个3D兴趣区域(3D RoI)截锥体，截锥体之外的任何点忽略。为消除多检测关联问题，在这个RoI内有多个毫米波雷达点云，本文将最近的点作为对应于这个对象的雷达检测，如图9所示。

S62：进行雷达特征提取，在雷达信号与其对应目标关联后，使用雷达信号中的深度和速度为图像创建互补特征。特别是，对于每一个与物体相关的雷达信号，会生成(d，v_x，v_y)以物体的2D边界框为中心的热力图通道。热力图的宽度和高度与对象的二维边界框成比例。热图值是标准化的物体深度d，也是在自车坐标系中径向速度(Vx和Vy)的X和Y分量：

其中i∈1，2，3是特征通道，M_i是规范化因子，f_i是(d，v_x，v_y)的特征值，

和

是第j个对象在图像上的中心点的x和y坐标，w^j和h^j是第j个对象的2D边界框的宽度和高度。如果两个对象具有重叠的热图区域，则深度值较小的对象占主导地位，因为只有最近的对象在图像中完全可见。

生成的热力图然后作为额外通道连接到图像特征。这些特征作为二次回归输入，重新估算对象的三维信息，以及速度和类别。与初级检测相比，经过特征融合后，有助于从雷达特征中学习更高层次的特征，最后一步是将生成值解码为3D边界框，3D边界框从初级检测器获得3D尺寸，并从二次回归中得到估计的深度、速度、转角和类别。

相比于现有技术，本发明的有益效果在于：

根据图像信息和毫米波雷达点云信息固有缺陷建立预处理流程，在数据层，以关联了毫米波雷达点云信息的图像作为输入，改进的加入注意力机制的DLA-34骨干网络作为特征提取网络，建立包含热力图、转角、深度的初级检测器，解决了原网络小远目标、模糊目标检测不准的问题；

在特征层，以初级检测出的3D边界框为3D ROI，建立截锥体的毫米波雷达数据关联方法，进行二次回归，进一步提升检测精度，从而建立起基于毫米波雷达与相机两个层次融合的3D目标检测网络，相比单层次融合，检测精度增高。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1是本发明所述的基于相机与毫米波雷达融合的3D目标检测方法的网络结构图；

图2是车辆坐标示意图；

图3是图像预处理流程；

图4是数据关联示意图；

图5是DLA网络框架示意图；

图6是DLA-34网络示意图；

图7是CBM通道注意力模块示意图；

图8是SAM空间注意力模块示意图；

图9截锥体数据关联示意图；

图10a和图10b是试验场景1可视化图；

图11a和图11b是试验场景2可视化图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。

详见附图1，本实施例提供了基于相机与毫米波雷达融合的3D目标检测方法，在数据级，以关联了毫米波雷达信息的图像作为输入，改进的加入注意力机制的DLA-34骨干网络作为特征提取网络，建立包含热力图、转角、深度的初级检测器，解决了原网络小远目标、模糊目标检测不准的问题；在特征级，以初级检测出的3D边界框为3D ROI，建立截锥体的毫米波雷达数据关联方法，进行二次回归，进一步提升检测精度，从而建立起基于毫米波雷达与相机两级融合的3D目标检测网络，提高3D目标检测精度，具体步骤如下：

步骤1)建立多传感器融合空间模型；

步骤2)根据相机实际场景工作实际，建立自适应局部直方图均衡化处理的图像信息预处理流程；

步骤3)根据毫米雷达点云信息固有缺陷，建立基于毫米波雷达的野值过滤流程；而后基于条码化方法建立图像信息与毫米波雷达点云的数据级关联，实现数据层融合；

步骤4)以改进的加入注意力机制的DLA-34网络作为特征提取网络，生成热力图、2D边界框、深度、转角、偏差量等初级检测结果；

步骤5)建立基于截锥体的特征层融合方法，将初级检测结果与毫米波雷达点云相关联，进行二次回归，进一步提升检测精度。

本实施例的优选方案是，步骤1)所述的多传感器融合空间模型，具体为：

S21：建立多传感器融合空间模型，则简化后的标定过程可表示如下：

其中，

表示标定矩阵，其是一个3×3标定矩阵，x_ry_r表示雷达投影坐标系中坐标点，uv表示像素坐标系中的点，即上述方程可直接将雷达坐标转换为像素坐标。

本实施例的优选方案是，步骤2)中，建立图像的自适应局部直方图均衡化处理的图像信息预处理流程，具体为：

S22：建立如图3处理流程，进行图像信息预处理。

本实施例的优选方案是，步骤3)中，所述基于毫米波雷达的野值过滤流程，建立数据关联，具体为：

S31：对毫米波雷达野值信息进行分类，区别为空目标、无效目标、虚假目标；

S32：空目标及无效目标根据阈值及设置条件进行过滤，虚假目标使用卡尔曼滤波目标跟踪框架实现先验帧与下一帧的数据关联，从而实现虚假目标的过滤。首先建立毫米波雷达检测目标的运动模型，即第k帧的运动状态可表示为：

p_k＝(x，y，Vx_k，Vy_k)

其中x，y分别为毫米波雷达在第k帧时的横向距离、纵向距离；Vx_k，Vy_k分别为毫米波雷达在第k帧时的横向速度、纵向速度。

则第k+1帧的运动状态可表达为：

在本文中，假设车辆运动均为匀速过程，则：

其中

为状态转移矩阵F_k。而在实际匀速过程中，由于路况、及车辆控制系统等情况易产生误差，本文定义外部造成的的系统误差w_k，而一般情况下假设w_k符合均值为0的高斯分布，则基于卡尔曼滤波，估计下一帧运动状况方程为：

在确定预测目标后，建立的关键是数据的互联关联问题。常用的方法是建立相关波门或确认区域的形成。相关波门是指以被跟踪目标的预测位置为中心，用来确定该目标的观测值可能出现范围的一块区域。相关波门是用来判断量测值是否源自目标的决策门限，落入相关波门的回波称为候选回波。本文主要使用矩形波门，建立数据关联，即落入到预测目标的矩形波门内的点，则为潜在目标存在点，否则则为虚假目标。通俗来说，即第k帧预测的第k+1帧的矩形波门内有毫米波雷达点存在，则该点为潜在目标存在点，反之为虚假目标。进而得到毫米波雷达有效点云信息。

S33：运用条码化处理方法，建立毫米波雷达数据与图像信息软关联，示意图如图4所示。

本实施例的优选方案是，步骤4)中，所述特征提取网络，具体为：

S41：特征提取网络输入为附加毫米波雷达点云信息的三通道图像：

I_I+R＝α×radar+(1-α)×image

经过实验，α＝0.6检测结果最佳，作为超参。

S42：初级特征提取网络为加入注意力机制的DLA-34骨干网络，建立热力图、方位角、3D尺寸等初级检测头，生成初级检测结果。

本实施例的优选方案是，步骤5)中，所述特征层融合进行二次回归，具体为：

S51：运用截锥体数据关联的方法建立特征层图像信息与毫米波雷达信息的关联，示意图如图9所示。

S52：进行雷达特征提取。

实施例

本发明基于nuscenes数据集进行仿真实验同时采取实车进行试验，进行基于本发明与原方法的对比实验验证。

本发明对多模态进行两个层次融合：数据级，以关联了毫米波雷达信息的图像作为输入，改进的加入注意力机制的DLA-34骨干网络作为特征提取网络，建立包含热力图、转角、深度的初级检测器，解决了原网络小远目标、模糊目标检测不准的问题；在特征级，以初级检测出的3D边界框为3D ROI，建立截锥体的毫米波雷达数据关联方法，进行二次回归，进一步提升检测精度，从而建立起基于毫米波雷达与相机两级融合的3D目标检测网络，提高3D目标检测精度。

一、仿真实验及实车试验场景

(1)仿真实验传感器参数：

(2)试验场景设置两种，分别为：

1)低速条件(10km/h)下内部园区环境，检测目标少、光线充足；

2)一定速度条件(30km/h)下，可见度较好的郊区公路场景。

二、试验结果

(1)仿真实验实验结果。以Centerfusion作为基准网络，为确保训练及测试数据相一致，用nuScenes v1.0-mini对Centerfusion重新进行训练及测试，测试集选用数据集中的“scene-0103”、“scene-0916”两个场景作为mini-test集，并与本文方法进行比较。下表中列出了对CenterNet(3d)、Centerfusion和本文两级融合方法进行3D目标检测性能的比较结果。可以看出，在mini集经过训练在mini-test集进行测试，可以看出，相比基准网络Centerfusion网络，检测分数(NDS)上升了近1.21％，除mATE指标外，其余评价3D目标检测的指标均高于Centerfusion及CenterNet(3D)，实现较好效果。

nuScenes v1.0-mini数据集中7类物体检测的平均精度结果如下表所示。由此可见，在测试集中，本文方法在巴士、行人、摩托车、自行车等的检测精度均高于Centerfusion检测结果。尤其是对于自行车的检测精度上，相比提升了近40％。

(2)场景1试验结果如图10所示，图10(a)、图10(b)依次为在简单园区环境中抽出的几个典型帧，Centerfusion和本文两级融合方法的3D目标检测可视化结果。从可视化效果及鸟瞰视角图来看，均能实现较好效果。但通过第一行第1图可以看出，相比Centerfusion网络，本文网络在3D目标检测中的尺寸误差情况有了一定提升改善，3D边界框明显更加贴合检测车辆的实际尺寸；通过第一行第2图和第二行第2图出现大部分遮挡及大部分截断的不利检测条件下，Centerfusion及本文方法均能检测出物体信息，但从鸟瞰视角可以看出，Centerfusion网络出现很大的平移误差，导致检测物体交错在一起，而本文方法确实现较好检测效果。综合来看，本文提出两级融合网络相较Centerfusion网络效果更佳。但也存在共性问题，就是在自行车检测物体交错摆放时，出现了漏检。

(3)场景2试验结果如图11所示。依次为在公路场景中抽取的几个典型帧可视化结果。相比来看，本文两级融合检测算法具有更佳的检测效果，漏检率、平移误差、尺寸误差等要优于Centerfusion算法。对比第一行第1图可以看出，在存在遮挡、重合情况下，本文明显漏检率降低，而Centerfusion方法漏检了行人和草丛中遮挡的车辆；对比第二行第1图及第2图可以看出，对于远距离的车辆目标，本文两级融合网络能实现更好的检测效果，尺寸误差以及检测情况优于Centerfusion，在两侧停放车辆的大部分遮挡的复杂检测场景下，本文方法的平移误差要低于Centerfusion算法，综上，在公路场景，相比Centerfusion网络，本文两级融合网络具有更好的鲁棒性。

上述参照实施例对相机与毫米波雷达融合的详细描述，是说明性的而不是限定性的，可按照所限定范围列举出若干个实施例，因此在不脱离本发明总体构思下的变化和修改，应属本发明的保护范围之内。

Claims (6)

1.一种基于相机与毫米波雷达融合的3D目标检测方法，其特征在于，包括以下步骤：

步骤1：建立相机毫米波雷达多传感器融合空间模型；

步骤2：根据相机实际场景工作实际，建立图像信息的自适应局部直方图均衡化处理的预处理流程；

步骤3：根据毫米雷达点云信息固有缺陷，建立基于毫米波雷达的野值过滤流程；而后采取基于条码化处理的方法建立图像信息与毫米波雷达点云的数据层关联；

步骤4：以改进的加入注意力机制的DLA-34网络作为特征提取网络，生成热力图、2D边界框、深度、转角、偏差量初级检测结果；

步骤5：建立基于截锥体的特征层融合方法，将初级检测结果与毫米波雷达点云相关联，进行二次回归，进一步提升检测精度。

2.根据权利要求1所述的基于相机与毫米波雷达融合的3D目标检测方法，其特征在于，在步骤1中，建立多传感器融合空间模型的具体步骤为：

S21：以实车雷达投影点为基准，建立雷达投影坐标系，原点为雷达中心点在地面上的投影，而后根据相机位置建立像素坐标系；

S22：简化整个标定过程，建立标定矩阵，建立多传感器融合空间模型；

S23：根据实车实际场景中，毫米波雷达与相机安装位置，设置10组位置数据，7:3比例划分数据，随机建立标定数据和验证数据，按S21、S22步骤求解标定矩阵，建立空间融合模型。

3.根据权利要求2所述的基于相机与毫米波雷达融合的3D目标检测方法，其特征在于，所述的根据实际场景建立相机的自适应局部直方图均衡化处理流程的具体步骤为：

S31：建立图像信息预处理；建立图像直方图阈值120作为判断条件，3通道直方图为255时像素数大于120时，出现局部曝光现象，易出现露检情况，需对原始图像进行预处理；

S32：采用局部直方图均值化处理，均衡化后各像素的灰度值直接由原图像的直方图算出。

4.根据权利要求3所述的基于相机与毫米波雷达融合的3D目标检测方法，其特征在于，所述的根据毫米波雷达固有缺陷，建立野值过滤流程步骤具体为：

S41：基于毫米波雷达野值多的实际，将毫米波雷达野值分类为空目标、无效目标、虚假目标，其中包含信息为0的目标，称之为空目标；

S42：通过将一帧图像的前后3帧雷达联合融合到数据格式中，来增加雷达数据的密度。

5.根据权利要求4所述的基于相机与毫米波雷达融合的3D目标检测方法，其特征在于，所述的建立特征提取网络的步骤具体为：

S51：以DLA系列网络中的DLA-34作为骨干网络，其中，构建DLA-34网络时，每阶段通道数依次为16、32、64、128、256、512，从底层添加更多跳过连接，并将上采样阶段的每个卷积层升级为可变形卷积层；

S52：在DLA-34网络中加入通道空间注意力机制，在骨干网络尾部，检测头前加入CBM、SAM空间通道注意力模块，得到最终生成特征；

S53：建立初级检测网络检测器，分别为关键点热力图、深度、3D尺寸、转向。

6.根据权利要求5所述的基于相机与毫米波雷达融合的3D目标检测方法，其特征在于，所述的建立特征层融合，进行二次回归进一步提升检测精度，具体为：

S61：运用截锥体关联方法，建立特征层数据关联；

S62：进行雷达特征提取，在雷达信号与其对应目标关联后，使用雷达信号中的深度和速度为图像创建互补特征，生成的热力图然后作为额外通道连接到图像特征，将这些特征作为二次回归输入，重新估算对象的三维信息，以及速度和类别；

S63：最后将生成值解码为3D边界框，其中，3D边界框从初级检测器获得3D尺寸，并从二次回归中得到估计的深度、速度、转角和类别。

Images