CN113610044A - 基于自注意力机制的4d毫米波三维目标检测方法及系统 - Google Patents

基于自注意力机制的4d毫米波三维目标检测方法及系统 Download PDF

Info

Publication number
CN113610044A
CN113610044A CN202110955241.1A CN202110955241A CN113610044A CN 113610044 A CN113610044 A CN 113610044A CN 202110955241 A CN202110955241 A CN 202110955241A CN 113610044 A CN113610044 A CN 113610044A
Authority
CN
China
Prior art keywords
point cloud
millimeter wave
target detection
cloud data
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110955241.1A
Other languages
English (en)
Other versions
CN113610044B (zh
Inventor
张新钰
王力
李骏
徐保伟
胡晓梅
由智文
李志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110955241.1A priority Critical patent/CN113610044B/zh
Publication of CN113610044A publication Critical patent/CN113610044A/zh
Application granted granted Critical
Publication of CN113610044B publication Critical patent/CN113610044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于自注意力机制的4D毫米波三维目标检测方法，包括：实时采集4D毫米波雷达点云数据并进行预处理；将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；PRN检测头，用于对特征图进行目标检测，输出3D目标检测结果。

Description

基于自注意力机制的4D毫米波三维目标检测方法及系统
技术领域
本发明涉及自动驾驶领域，具体涉及基于自注意力机制的4D毫米波三维目标检测方法及系统。
背景技术
3D目标检测是自主驾驶感知系统中最具挑战性的问题之一，主要的传感器有RGB摄像头、激光雷达和毫米波雷达。传统相机可以显示较为细致的环境信息，拥有色彩信息和明显的物体轮廓，在目标检测中可以达到比较高的识别精度，但是缺少目标的深度信息，且检测结果易受环境光照变化影响；激光雷达(LiDAR)有较好的分辨率，可以较为准确地进行短距离物体测距,但其受天气影响较为严重，尤其能见度低的雨雪天气，探测精度迅速降低，因此在应对极端驾驶场景时具有一定局限性。毫米波雷达(RaDAR)恰好补足了激光雷达的劣势，毫米波在应对极端恶劣天气也具有良好的鲁棒性，探测精度不会因天气的变化而急速下降，同时价格较激光雷达更低，体积更加小巧轻盈，在自动驾驶车辆的传感器配置中具有较高性价比。
为了满足深度学习网络的输入格式，雷达数据被划分为网格或转换为鸟瞰图。然而，由于3D毫米波雷达数据没有垂直方向的信息，同时加上毫米波雷达点云的稀疏性，使得其在数据处理上具有一定挑战。而4D毫米波雷达具有一定的垂直方向分辨率，可以获得空间的点云信息。工业界和科学界都在积极使用4D毫米波雷达传感器提供物体的三维坐标，从而提升3D目标检测的精度和效果。4D毫米波雷达可以在极端的天气下工作，并且比传统的3D毫米波雷达具有更好的性能，可以全天候、全天时工作，可实现远距离感知与探测。以16线激光雷达为例，数据主要集中在0～70m的范围内，而4D毫米波在0～100m的范围内都会产生有效的数据，但由于传感器角度分辨较弱，远距离点云的垂直信息模糊。目前，基于激光雷达的端到端3D目标检测方法中,点云通常被转换为体素特征，或者直接从点云中提取特征。
4D毫米波雷达传感器属于新兴技术，且数据集较少。目前大部分的公开数据集中均使用3D毫米波数据，缺少垂直方向的信息，仅包含水平信息和速度信息。本发明利用4D毫米波数据的特点，选用Astyx数据集作为训练和测试集，其包含的4D毫米波雷达数据，可以进一步提升单模态毫米波数据在3D目标检测的效果。然而，通用的方法直接应用于4D毫米波雷达点云会造成局部特征在稀疏数据中的表现并不理想。
发明内容
本发明的目的在于克服上述技术缺陷，提出了一种基于自注意力机制的4DRaDAR三维物体检测网络RPFA-Net(RaDAR Pillar Feature Attention Network)，旨在调整毫米波数据的输入特征，通过自注意力机制提取点云的全局特征，提高网络对物体方向角的回归能力，进而提高3D目标检测效果。
为实现上述目的，本发明的实施例1提出了一种基于自注意力机制的4D毫米波三维目标检测方法，所述方法包括：
实时采集4D毫米波雷达点云数据，并进行预处理；
将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；所述三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；
所述鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；
所述立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；
所述CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；
所述PRN检测头，用于对特征图进行目标检测，输出三维目标检测结果。
进一步的，所述鸟瞰视图体素化模块的具体实现过程为：
对4D毫米波雷达点云数据进行映射，投影到水平坐标平面；
在水平坐标平面划分出的网格设立立柱，每个立柱内都存在点云数据点；每个点云数据点包含4个维度，即x、y、z、r；其中，前三个代表坐标系的三个方向，r代表物体的反射强度。
进一步的，所述立柱自注意力特征提取模块的具体实现过程包括：
步骤S1)对输入特征F进行取最大值运算，即找到最能代表立柱的特征，通过全连接层将特征维度扩展到64维：
F64＝Linear(fmax(F))
其中，fmax()是立柱的最大化运算，Linear()是全连接层；F64是64维特征矩阵；
步骤S2)将64维特征矩阵F64降至16维特征矩阵F16：
F16＝Conv(F64)
其中，Conv()是卷积层；
步骤S3)将转置得到的16维特征矩阵与原16维特征矩阵做矩阵乘法运算，之后对运算结果进行归一化，得到注意力权重矩阵Fw：
Fw＝Softmax((F16)TF16)
其中，Softmax()表示归一化函数；
步骤S4)将注意力权重矩阵Fw和64维特征矩阵F64阵相乘，然后减去F64，经过线性层、归一化层和激活函数后得到全局信息特征Ft：
Ft＝ReLU(BN(LN(FwF64-F64)))
其中，BN()和Relu()表示批量归一化层和激活函数；
步骤S5)将全局信息特征Ft与64维特征矩阵F64相加，得到最终的区域内点云特征矩阵Fout：
Fout＝Ft+F64
步骤S6)按照输入特征F和区域内点云特征矩阵Fout的具体位置，将F和Fout映射到水平坐标平面，形成一个BEV伪图像。
进一步的，所述方法还包括：对所述三维目标检测模型进行训练的步骤，具体包括：
根据KITTI数据集格式对Astyx数据集进行格式转换；
对Astyx数据集的4D毫米波雷达点云数据进行旋转压缩处理：
Figure BDA0003220215780000031
其中，x和z是4D毫米波雷达点云数据的源坐标，而xt和zt是4D毫米波雷达点云数据旋转压缩后的坐标；β＝0.1035倍；
将旋转压缩处理后的4D毫米波雷达点云数据作为训练集，对三维目标检测模型进行训练。
本发明的实施例2提出了一种基于自注意力机制的4D毫米波三维目标检测系统，所述系统包括：三维目标检测模型、数据预处理模块和目标检测模块；
所述数据预处理模块，用于实时采集4D毫米波雷达点云数据，并进行预处理；
所述目标检测模块，用于将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；所述三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；
所述鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；
所述立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；
所述CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；
所述PRN检测头，用于对特征图进行目标检测，输出三维目标检测结果。
进一步的，所述鸟瞰视图体素化模块的具体实现过程为：
对4D毫米波雷达点云数据进行映射，投影到水平坐标平面；
在水平坐标平面划分出的网格设立立柱，每个立柱内都存在点云数据点；每个点云数据点包含4个维度，即x、y、z、r；其中，前三个代表坐标系的三个方向，r代表物体的反射强度。
进一步的，所述立柱自注意力特征提取模块的具体实现过程包括：
步骤S1)对输入特征F进行取最大值运算，即找到最能代表立柱的特征，通过全连接层将特征维度扩展到64维：
F64＝Linear(fmax(F))
其中，fmax()是立柱的最大化运算，Linear()是全连接层；F64是64维特征矩阵；步骤S2)将64维特征矩阵F64降至16维特征矩阵F16：
F16＝Conv(F64)
其中，Conv()是卷积层；
步骤S3)将转置得到的16维特征矩阵与原16维特征矩阵做矩阵乘法运算，之后对运算结果进行归一化，得到注意力权重矩阵Fw：
Fw＝Softmax((F16)TF16)
其中，Softmax()表示归一化函数；
步骤S4)将注意力权重矩阵Fw和64维特征矩阵F64阵相乘，然后减去F64，经过线性层、归一化层和激活函数后得到全局信息特征Ft：
Ft＝ReLU(BN(LN(FwF64-F64)))
其中，BN()和Relu()表示批量归一化层和激活函数；
步骤S5)将全局信息特征Ft与64维特征矩阵F64相加，得到最终的区域内点云特征矩阵Fout：
Fout＝Ft+F64
步骤S6)按照输入特征F和区域内点云特征矩阵Fout的具体位置，将F和Fout映射到水平坐标平面，形成一个BEV伪图像。
进一步的，所述三维目标检测模型的训练步骤具体包括：
根据KITTI数据集格式对Astyx数据集进行格式转换；
对Astyx数据集的4D毫米波雷达点云数据进行旋转压缩处理：
Figure BDA0003220215780000051
其中，x和z是4D毫米波雷达点云数据的源坐标，而xt和zt是4D毫米波雷达点云数据旋转压缩后的坐标；β＝0.1035倍；
将旋转压缩处理后的4D毫米波雷达点云数据作为训练集，对三维目标检测模型进行训练。
本发明的优势在于：
本发明提出一种基于自注意力机制的4D毫米波三维目标检测方法，该方法基于自注意力机制的4D毫米波三维物体检测网络RPFA-Net，可以利用自注意力机制提取点云的全局特征，这些包含长距离信息的全局特征可以有效地提高网络对物体方向角的回归能力，提高三维目标检测精度。
附图说明
为了更清晰地介绍本发明，下面将对本发明中所使用的附图做简单地介绍，下面描述中的附图是本发明的一些实施例，对于本发明的一些实施例，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的三维目标检测模型的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
实施例1
本发明的实施例1提出了一种基于自注意力机制的4D毫米波三维目标检测方法，包括以下步骤：
步骤1)建立并训练三维目标检测模型；
步骤101)建立三维目标检测模型；
如图1所示，三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、2D CNN主干网络的PRN检测头；
鸟瞰视图体素化模块，用于在鸟瞰图(BEV)视角对4D毫米波雷达点云数据进行体素化操作，提取整个空间的特征信息F；
首先对4D毫米波雷达点云数据进行映射，投影到水平坐标平面并根据划分出的网格设立Pillar(立柱)，每个Pillar内都存在点云数据点。由于本发明使用的点云数据存在垂直方向的信息，所以共包含4个维度，即x、y、z、r；其中，前三个代表坐标系的三个方向，r代表物体的反射强度。点云在X,Y,Z方向范围分别为[0,99.84]、[-39.68,39.68]和[-3,1]。最后，点云被划分为624×496个体素。
立柱自注意力特征提取模块，用于在自注意力特征提取层RPFAlayer提取点云的特征，借鉴了自注意力Self-Attention的机制来提取点云全局特征；
首先对输入特征F进行取最大值运算，即找到最能代表Pillar的特征。然后，该特征被映射成Q、K和V三部分，并只对它们进行注意力计算。最后，将具有全局信息特征与原局部信息进行残差连接，进而提取区域内点云特征，具体实现步骤包括：
步骤S1)对输入特征F进行取最大值运算，即找到最能代表立柱的特征，通过全连接层将特征维度扩展到64维：
F64＝Linear(fmax(F))
其中，fmax()是立柱(Pillar)的最大化运算，Linear()是全连接层；F64是降维前的特征矩阵；
步骤S2)通过卷积运算降维，实现特征维度的转换，最终降至16维特征矩阵：
F16＝(F64)
F16是降维后的特征向量，Conv()是卷积层。降维主要是为了减少参数，提高计算效率。
步骤S3)将转置得到的16维特征矩阵与原16维特征矩阵做矩阵乘法运算，之后对结果归一化，得到注意力权重矩阵Fw：
Fw＝Softmax((F16)TF16)
Softmax()表示归一化函数。
步骤S4)将注意力权重矩阵Fw和64维特征矩F64阵相乘之后，减去F64，经过线性层、归一化层和激活函数后得到全局信息特征Ft：
Ft＝ReLU(BN(LN(FwF64-F64)))
BN()和Relu()表示批量归一化层和激活函数。
步骤S5)将Ft与F64相加，得到最终的区域内点云特征矩阵Fout：
Fout＝Ft+F64
步骤S6)使用体素特征F和Fout，按照其具体位置映射到水平坐标平面，形成一个BEV伪图像；
2D CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；
2D CNN网络是目前较为通用且高效的特征提取网络，对于不同尺度信息的特征提取效果显著。
PRN检测头，用于对特征图进行目标检测，完成3D目标检测的全流程，输出检测结果；
步骤102)对三维目标检测模型进行训练；
步骤102-1)根据标准且通用的KITTI数据集格式对Astyx数据集进行转换；
步骤102-2)基于数理统计规律对4D Radar数据进行旋转压缩处理；
首先，基于统计的方法，对每一帧中每个点的发散角进行统计，验证是否符合正态分布；如果是，则选择平均值来代表该帧中所有点的发散角；否则用最大值来代表它们；
计算发散角的平均值和标准差，然后计算其峰度和偏度：
Figure BDA0003220215780000071
Figure BDA0003220215780000072
Figure BDA0003220215780000073
Figure BDA0003220215780000074
其中，θi表示第i个发散角,n为发散角的个数，
Figure BDA0003220215780000082
表示平均值，S表示方差，Skewθ和Kurtθ表示偏度和峰度，θ为发散角统计量；
如果峰度和偏度都很小，就认为它们是正态分布。根据数理统计，发散角度约为96.5825，将角度压缩为原来的β＝0.1035倍；
采用上面计算的角度来调整点云的垂直平面坐标，即X和Z坐标：
Figure BDA0003220215780000081
x和z是4D毫米波雷达点云数据的源坐标，而xt和zt是4D毫米波雷达点云数据旋转压缩后的坐标；
步骤2)实时采集4D毫米波雷达点云数据，进行预处理；
步骤3)将预处理后的集4D毫米波雷达点云数据输入训练好的三维目标检测模型，输出目标检测结果。
实施例2
本发明的实施例2提出了一种基于自注意力机制的4D毫米波三维目标检测系统，系统包括：三维目标检测模型、数据预处理模块和目标检测模块；
数据预处理模块，用于实时采集4D毫米波雷达点云数据，并进行预处理；
目标检测模块，用于将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、2D CNN主干网络和PRN检测头；
鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；
立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；
2D CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；
PRN检测头，用于对特征图进行目标检测，输出三维目标检测结果。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于自注意力机制的4D毫米波三维目标检测方法，所述方法包括：
实时采集4D毫米波雷达点云数据并进行预处理；
将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；所述三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；
所述鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；
所述立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；
所述CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；
所述PRN检测头，用于对特征图进行目标检测，输出三维目标检测结果。
2.根据权利要求1所述的基于自注意力机制的4D毫米波三维目标检测方法，其特征在于，所述鸟瞰视图体素化模块的具体实现过程为：
对4D毫米波雷达点云数据进行映射，投影到水平坐标平面；
在水平坐标平面划分出的网格设立立柱，每个立柱内都存在点云数据点；每个点云数据点包含4个维度，即x、y、z、r；其中，前三个代表坐标系的三个方向，r代表物体的反射强度。
3.根据权利要求1所述的基于自注意力机制的4D毫米波三维目标检测方法，其特征在于，所述立柱自注意力特征提取模块的具体实现过程包括：
步骤S1)对输入特征F进行取最大值运算，即找到最能代表立柱的特征，通过全连接层将特征维度扩展到64维：
F64＝Linear(fmax(F))
其中，fmax()是立柱的最大化运算，Linear()是全连接层；F64是64维特征矩阵；
步骤S2)将64维特征矩阵F64降至16维特征矩阵F16：
F16＝Conv(F64)
其中，Conv()是卷积层；
步骤S3)将转置得到的16维特征矩阵与原16维特征矩阵做矩阵乘法运算，之后对运算结果进行归一化，得到注意力权重矩阵Fw：
Fw＝Softmax((F16)TF16)
其中，Softmax()表示归一化函数；
步骤S4)将注意力权重矩阵Fw和64维特征矩阵F64阵相乘，然后减去F64，经过线性层、归一化层和激活函数后得到全局信息特征Ft：
Ft＝ReLU(BN(LN(FwF64-F64)))
其中，BN()和Relu()表示批量归一化层和激活函数；
步骤S5)将全局信息特征Ft与64维特征矩阵F64相加，得到最终的区域内点云特征矩阵Fout：
Fout＝Ft+F64
步骤S6)按照输入特征F和区域内点云特征矩阵Fout的具体位置，将F和Fout映射到水平坐标平面，形成一个BEV伪图像。
4.根据权利要求1所述的基于自注意力机制的4D毫米波三维目标检测方法，其特征在于，所述方法还包括：对所述三维目标检测模型进行训练的步骤，具体包括：
根据KITTI数据集格式对Astyx数据集进行格式转换；
对Astyx数据集的4D毫米波雷达点云数据进行旋转压缩处理：
Figure FDA0003220215770000021
其中，x和z是4D毫米波雷达点云数据的源坐标，而xt和zt是4D毫米波雷达点云数据旋转压缩后的坐标；β＝0.1035倍；
将旋转压缩处理后的Astyx数据集的4D毫米波雷达点云数据作为训练集，对三维目标检测模型进行训练。
5.一种基于自注意力机制的4D毫米波三维目标检测系统，其特征在于，所述系统包括：三维目标检测模型、数据预处理模块和目标检测模块；
所述数据预处理模块，用于实时采集4D毫米波雷达点云数据并进行预处理；
所述目标检测模块，用于将预处理后的4D毫米波雷达点云数据输入预先训练好的三维目标检测模型，输出目标检测结果；所述三维目标检测模型包括：鸟瞰视图体素化模块、立柱自注意力特征提取模块、CNN主干网络和PRN检测头；
所述鸟瞰视图体素化模块，用于对4D毫米波雷达点云数据在鸟瞰图视角进行体素化操作，提取整个空间的特征信息F；
所述立柱自注意力特征提取模块，用于利用特征信息F，基于自注意力机制提取点云全局特征，生成一个BEV伪图像；
所述CNN主干网络，用于对BEV伪图像进行特征提取，输出特征图；
所述PRN检测头，用于对特征图进行目标检测，输出三维目标检测结果。
6.根据权利要求5所述的基于自注意力机制的4D毫米波三维目标检测系统，其特征在于，所述鸟瞰视图体素化模块的具体实现过程为：
对4D毫米波雷达点云数据进行映射，投影到水平坐标平面；
在水平坐标平面划分出的网格设立立柱，每个立柱内都存在点云数据点；每个点云数据点包含4个维度，即x、y、z、r；其中，前三个代表坐标系的三个方向，r代表物体的反射强度。
7.根据权利要求5所述的基于自注意力机制的4D毫米波三维目标检测系统，其特征在于，所述立柱自注意力特征提取模块的具体实现过程包括：
步骤S1)对输入特征F进行取最大值运算，即找到最能代表立柱的特征，通过全连接层将特征维度扩展到64维：
F64＝Linear(fmax(F))
其中，fmax()是立柱的最大化运算，Linear()是全连接层；F64是64维特征矩阵；
步骤S2)将64维特征矩阵F64降至16维特征矩阵F16：
F16＝Conv(F64)
其中，Conv()是卷积层；
步骤S3)将转置得到的16维特征矩阵与原16维特征矩阵做矩阵乘法运算，之后对运算结果进行归一化，得到注意力权重矩阵Fw：
Fw＝Softmax((F16)TF16)
其中，Softmax()表示归一化函数；
步骤S4)将注意力权重矩阵Fw和64维特征矩阵F64阵相乘，然后减去F64，经过线性层、归一化层和激活函数后得到全局信息特征Ft：
Ft＝ReLU(BN(LN(FwF64-F64)))
其中，BN()和Relu()表示批量归一化层和激活函数；
步骤S5)将全局信息特征Ft与64维特征矩阵F64相加，得到最终的区域内点云特征矩阵Fout：
Fout＝Ft+F64
步骤S6)按照输入特征F和区域内点云特征矩阵Fout的具体位置，将F和Fout映射到水平坐标平面，形成一个BEV伪图像。
8.根据权利要求5所述的基于自注意力机制的4D毫米波三维目标检测系统，其特征在于，所述三维目标检测模型的训练步骤具体包括：
根据KITTI数据集格式对Astyx数据集进行格式转换；
对Astyx数据集的4D毫米波雷达点云数据进行旋转压缩处理：
Figure FDA0003220215770000041
其中，x和z是4D毫米波雷达点云数据的源坐标，而xt和zt是4D毫米波雷达点云数据旋转压缩后的坐标；β＝0.1035倍；
将旋转压缩处理后的Astyx数据集的4D毫米波雷达点云数据作为训练集，对三维目标检测模型进行训练。
CN202110955241.1A 2021-08-19 2021-08-19 基于自注意力机制的4d毫米波三维目标检测方法及系统 Active CN113610044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110955241.1A CN113610044B (zh) 2021-08-19 2021-08-19 基于自注意力机制的4d毫米波三维目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110955241.1A CN113610044B (zh) 2021-08-19 2021-08-19 基于自注意力机制的4d毫米波三维目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN113610044A true CN113610044A (zh) 2021-11-05
CN113610044B CN113610044B (zh) 2022-02-15

Family

ID=78341298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110955241.1A Active CN113610044B (zh) 2021-08-19 2021-08-19 基于自注意力机制的4d毫米波三维目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113610044B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550163A (zh) * 2022-02-25 2022-05-27 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN115035545A (zh) * 2022-05-24 2022-09-09 北京深睿博联科技有限责任公司 一种基于改进自注意力机制的目标检测方法及装置
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115546519A (zh) * 2022-12-05 2022-12-30 深圳佑驾创新科技有限公司 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法
CN115685185A (zh) * 2022-12-30 2023-02-03 苏州尚同墨方智能科技有限公司 一种4d毫米波雷达与视觉融合感知方法
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116758517A (zh) * 2023-08-16 2023-09-15 之江实验室 基于多目图像的三维目标检测方法、装置和计算机设备
WO2023216460A1 (zh) * 2022-05-09 2023-11-16 合众新能源汽车股份有限公司 基于鸟瞰图的多视角3d目标检测方法、存储器及系统
CN117274749A (zh) * 2023-11-22 2023-12-22 电子科技大学 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN115035545B (zh) * 2022-05-24 2024-06-21 北京深睿博联科技有限责任公司 一种基于改进自注意力机制的目标检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统
WO2021008202A1 (zh) * 2019-07-16 2021-01-21 浙江大学 一种基于毫米波雷达点云特征的核支持向量机目标分类方法
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021008202A1 (zh) * 2019-07-16 2021-01-21 浙江大学 一种基于毫米波雷达点云特征的核支持向量机目标分类方法
CN111352112A (zh) * 2020-05-08 2020-06-30 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN112052860A (zh) * 2020-09-11 2020-12-08 中国人民解放军国防科技大学 一种三维目标检测方法及系统
CN113158763A (zh) * 2021-02-23 2021-07-23 清华大学 4d毫米波和激光点云多视角特征融合的三维目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李朝 等: "基于注意力的毫米波-激光雷达融合目标检测", 《计算机应用》 *
杨猛 等: "基于注意力的毫米波雷达与视觉融合方法", 《通信技术》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550163B (zh) * 2022-02-25 2023-02-03 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
CN114550163A (zh) * 2022-02-25 2022-05-27 清华大学 基于可变形注意力机制的成像毫米波三维目标检测方法
WO2023216460A1 (zh) * 2022-05-09 2023-11-16 合众新能源汽车股份有限公司 基于鸟瞰图的多视角3d目标检测方法、存储器及系统
CN115035545A (zh) * 2022-05-24 2022-09-09 北京深睿博联科技有限责任公司 一种基于改进自注意力机制的目标检测方法及装置
CN115035545B (zh) * 2022-05-24 2024-06-21 北京深睿博联科技有限责任公司 一种基于改进自注意力机制的目标检测方法及装置
CN115236674A (zh) * 2022-06-15 2022-10-25 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115236674B (zh) * 2022-06-15 2024-06-04 北京踏歌智行科技有限公司 一种基于4d毫米波雷达的矿区环境感知方法
CN115546519A (zh) * 2022-12-05 2022-12-30 深圳佑驾创新科技有限公司 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法
CN115546519B (zh) * 2022-12-05 2023-03-24 深圳佑驾创新科技有限公司 一种提取伪图像特征的图像和毫米波雷达目标的匹配方法
CN115685185A (zh) * 2022-12-30 2023-02-03 苏州尚同墨方智能科技有限公司 一种4d毫米波雷达与视觉融合感知方法
CN116363615B (zh) * 2023-03-27 2024-02-23 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116363615A (zh) * 2023-03-27 2023-06-30 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN116758517A (zh) * 2023-08-16 2023-09-15 之江实验室 基于多目图像的三维目标检测方法、装置和计算机设备
CN116758517B (zh) * 2023-08-16 2023-11-14 之江实验室 基于多目图像的三维目标检测方法、装置和计算机设备
CN117274749B (zh) * 2023-11-22 2024-01-23 电子科技大学 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN117274749A (zh) * 2023-11-22 2023-12-22 电子科技大学 一种基于4d毫米波雷达和图像的融合3d目标检测方法

Also Published As

Publication number Publication date
CN113610044B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN113610044B (zh) 基于自注意力机制的4d毫米波三维目标检测方法及系统
US11532151B2 (en) Vision-LiDAR fusion method and system based on deep canonical correlation analysis
CN111429514B (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN110570429B (zh) 一种基于三维点云的轻量级实时语义分割方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN107862293A (zh) 基于对抗生成网络的雷达生成彩色语义图像系统及方法
CN108681718B (zh) 一种无人机低空目标精准检测识别方法
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN112288667B (zh) 一种基于激光雷达与摄像头融合的三维目标检测方法
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN112163551A (zh) 基于图像处理和多维度感知的光伏电池板形变预测方法
CN112419333B (zh) 一种遥感影像自适应特征选择分割方法及系统
CN112613504A (zh) 一种声呐水下目标检测方法
CN114821536B (zh) 一种改进yolov5的无人驾驶拖拉机田间障碍物识别方法
CN115809986A (zh) 一种多传感器融合的输电走廊智能外破检测方法
CN115292913A (zh) 一种面向车路协同的路测感知仿真系统
CN114332796A (zh) 一种多传感器融合体素特征图生成方法及系统
CN113269147A (zh) 基于空间和形状的三维检测方法、系统、存储及处理装置
CN113112462A (zh) 一种轻量化车辆检测方法、系统及计算机可读介质
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN116630937A (zh) 一种多模态融合的3d目标检测方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant