CN116486396A - 一种基于4d毫米波雷达点云的3d目标检测方法 - Google Patents
一种基于4d毫米波雷达点云的3d目标检测方法 Download PDFInfo
- Publication number
- CN116486396A CN116486396A CN202310396423.9A CN202310396423A CN116486396A CN 116486396 A CN116486396 A CN 116486396A CN 202310396423 A CN202310396423 A CN 202310396423A CN 116486396 A CN116486396 A CN 116486396A
- Authority
- CN
- China
- Prior art keywords
- features
- sparse
- millimeter wave
- point cloud
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000000280 densification Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/418—Theoretical aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种基于4D毫米波雷达点云的3D目标检测方法，通过4D毫米波雷达点云增密模块和多尺度注意力特征提取模块解决当前4D毫米波雷达点云较为稀疏，缺少目标语义信息等问题。该方法包括对输入的4D毫米波雷达点云进行增密，然后将点云空间的体素中的点做特征平均，并将体素中的点送入3D骨干网络进行卷积处理，进而得到不同尺度不同高度下的3D特征，最后得到BEV的特征数据后进行特征提取，实现目标物体的3D框位置大小、分类、方向的预测。
Description
技术领域
本发明属于自动驾驶感知领域，具体涉及一种基于4D毫米波雷达点云的3D目标检测方法，尤其是涉及一种基于深度学习的4D毫米波雷达点云特征提取与目标检测技术。
背景技术
近年来，自动驾驶因其减轻驾驶员负担、提高行车安全的潜力而受到越来越多的关注。在现代自动驾驶系统中，感知系统是不可或缺的组成部分，旨在准确估计周围环境的状态，并为预测和规划提供可靠的观察结果。自动驾驶场景下的3D目标检测的主要任务是通过对不同传感器输入数据的处理,输出目标物体的类别和精确位置。一般来说用到的传感器主要有，激光雷达，毫米波雷达，摄像头等。
目前的3D目标检测算法的研究主要集中在lidar和camera和他们的融合方面，主要是因为lidar生成的点云能够提供目标物体的精确的位置，形状信息。然而激光雷达受限于其高昂的成本以及对雨、雾强光等恶劣天气条件影响大的原因，并不是一个很好的解决方案。基于摄像头所提供图片的2D目标检测的研究目前已经发展的较为成熟。但是摄像头仅仅能够提供2D平面的语义特征，对3D目标检测所需要的深度、方位等空间信息帮助很小，并且同激光雷达一样受光线和天气的影响大。传统低成本的毫米波Radar(x,y,v)对恶劣天气条件鲁棒性高，而且能够提供自动驾驶环境下重要的目标物体速度信息，但是受限于当时雷达技术水平的原因，传统的雷达角分辨率底且缺少高度信息其产生的点云十分稀疏，因此很少用作3D目标检测。新一代的4DRadar有望解决这个问题。
4D毫米波雷达的四个维度是距离，方位角、仰角和多普勒速度，通过公式转换可以将其转换到常用的3D坐标系下(x,y,z,v)表示。新一代的高分辨率4D毫米波成像雷达的出现弥补了传统毫米波雷达的低清晰度、缺少高度信息的短板，有着于激光雷达相似的点云输出能力。4D毫米波雷达与激光雷达相比，量产成本接近于传统毫米波雷达，并且受天气影响小，能够实现全天候安全、高速的运行，另外利用毫米波雷达的多普勒效应能够精确地估计目标的速度，方向。为此，对其开展深入研究具有非常重要的研究价值和应用前景。
发明内容
发明目的：本发明提供一种基于4D毫米波雷达的目标检测方法，使用4D毫米波雷达点云增密模块和多尺度注意力特征提取模块解决当前4D毫米波雷达点云较为稀疏，缺少目标语义信息等问题。
技术方案：一种基于4D毫米波雷达点云的3D目标检测方法，所述方法通过4D毫米波雷达点云增密模块和多尺度注意力特征提取模块进行4D毫米波雷达点云特征的提取，实现目标物体3D包围框的回归，包括如下步骤：
(1)输入的4D毫米波雷达点云进行增密操作，将每一个原始雷达点作为关键点，每一个关键点都有相应的三维位置向量vi和特征向量fi，对于每个关键点进行偏移处理，随后将关键点和原始点云进行相加，得到密集的4D毫米波雷达点云数据；
(2)用步骤(1)得到的点云数据将整个点云空间分为L*W*H的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征，并将体素中的点送入3D骨干网络；
(3)基于三维稀疏卷积对3D骨干网络进行3d稀疏特征的采样，包括基于SpatiallySparse Convolution执行步长以1、或2的整数倍进行采样，还包括在3d稀疏特征的融合处理上，将体素的特征采样划分为两个及以上的分支进行处理，最后将不同的分支下的3D稀疏特征转为体素下的3D特征，并在高度的维度上拼接，得到不同尺度不同高度下的3D特征；
(4)根据步骤(3)得到的3D特征利用SEattention中的Squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3D特征在高度的维度上相乘，包括对其中的部分特征进行增强，得到特征增强后的3D特征；
(5)将含有高度的3D特征压缩为2D的BEV特征，在获得BEV的特征数据后，对该特征在BEV的视角上进行特征提取、拼接，最后送入检测头；
(6)检测头RPN网络生成三个分支，分别对目标物体的3D框位置大小、分类、方向进行预测。
进一步的，步骤(1)对于关键点的处理包括如下具体步骤：
(11)对每个关键点的三维位置向量和特征向量执行偏移计算，得到新的特征向量f'i，计算表达式如下所示：
其中，ReLU为激活函数，Woffset为一个可学习的权重矩阵，N(i)为第i个关键点的相邻点云；
(12)计算经步骤(11)处理得到的新的关键点的位置向量v'i：
v′i＝vi+tanh(Walign[f′i])
其中，tanh为激活函数，Walign为一个可学习的权重矩阵，对点云空间中每一个关键点做偏移并与原始点云相加，得到密集的4D毫米波雷达点云数据。
步骤(3)所述的三维稀疏卷积包括Spatially Sparse Convolution和Submanifold Sparse Convolution两种方式。
更进一步的说，步骤(3)对于3D骨干网络包括采用3x3x3的三维稀疏卷积对网络进行下采样为1x,2x,4x,8x的3d稀疏特征，然后选择2x，4x,8x三个尺度的特征进行融合；
分支一：将2x特征先进行一次步长为2的Spatially Sparse Convolution下采样，接着分支一的特征再进行一次步长为1的稀疏卷积，获得尺度与4x相同稀疏特征；
分支二：将4x特征使用一次步长为1的稀疏卷积获得更为密集的稀疏特征；
分支三：使用Sparse Inverse Convolution上采样，得到与分支一和分支二二相同尺度的3d稀疏特征，然后将三个分支得到的3D稀疏特征转为体素下的3D特征，并将三者在高度的维度上拼接，得到不同尺度不同高度下的3D特征。
进一步的，步骤(5)具体是对特征图进行不同尺度的下采样，接着对不同尺度的进行多次卷积提取信息，然后再进行上采用后在通道维度进行拼接。
有益效果：与现有技术相比，本发明所提供的方法首先是对于4D毫米波雷达点云进行增密操作，然后在体素特征的提取上进行三维的稀疏卷积和压缩至二维空间进行处理，其中还进行了三维空间下稀疏特征的增强，不仅仅是4D毫米波雷达点云对于3D目标检测能力和质量的提升，还相比现有技术在精度和网络模型的运行效率上也有很大的提升，具有较佳的应用前景和应用意义。
附图说明
图1是实施例中本发明所述方法的实施流程图；
图2是本发明所述实施实现的目标网络模型结构图；
图3是对于实施例中系数点云增密模块的示意图；
图4是本发明中稀疏卷积示意图；
图5是实施例中的目标检测结果示意图。
具体实施方式
为详细的说明本发明所公开的技术方案，下面结合说明书附图做进一步的描述。
本发明提供的是一种基于4D毫米波雷达的目标检测方法，结合现有技术及本领域技术人员应的得知的技术基础，本发明的实施的执行步骤如下所示：
步骤1、对输入的4D毫米波雷达点云进行增密操作，如图3所示，首先将每一个原始雷达点作为关键点(图中★作为其中一个关键点用作说明)，每一个关键点都有相应的三维位置向量vi和特征向量fi。然后利用公式(1)得到新的特征向量f'i：
其中，ReLU为激活函数，Woffset为一个可学习的权重矩阵，N(i)为第i个关键点的相邻点云(使用球查询方法得到，即图三中球内的点云)。然后利用公式(2)得到新的关键点(图三中■点)的位置向量ν'i：
ν′i＝vi+tanh(Walign[f′i])
其中，tanh为激活函数，Walign为一个可学习的权重矩阵。对点云空间中每一个关键点做偏移并与原始点云相加，得到密集的4D毫米波雷达点云数据。
步骤2、利用步骤1得到的点云数据将整个点云空间分为L*W*H的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征。并将体素中的点送入3D骨干网络。
步骤3、采用一系列的3x3x3的三维稀疏卷积对网络进行下采样为1x,2x,4x,8x的3d稀疏特征。3DBackbone模块中主要用到的方法是3D稀疏卷积，
如图4所示稀疏卷积有两种一种是Spatially Sparse Convolution，住在这种卷积情况下，只要卷积核范围内覆盖一个非空体素，就可以计算出卷积结果。另一种是Submanifold Sparse Convolution，只有当卷积核的中心覆盖一个非空体素时，卷积输出才会被计算。在这种情况下输入体素的数量与输出体素相同。
考虑到平衡特征的精度和网络的运算效率，如图2，本发明对选择2x，4x,8x三个尺度的特征进行融合。分支一将2x特征先进行一次步长为2的Spatially SparseConvolution下采样，接着对这一分支的特征再进行一次步长为1的稀疏卷积，获得尺度与4x相同稀疏特征。
在此说明的是，因为4Dradar的点云非常稀疏，连续使用两次Spatially SparseConvolution不仅能够获得更大的感受野，同时能够得到更为密集的稀疏特征。对于分支二的4x特征本发明仅使用一次步长为1的稀疏卷积获得更为密集的稀疏特征。分支三则使用Sparse Inverse Convolution上采样，得到与分支一二相同尺度的3d稀疏特征，然后将三个分支得到的3D稀疏特征转为体素下的3D特征，并将三者在高度的维度上拼接。得到不同尺度不同高度下的3D特征。
对于当前的一阶段的3D目标检测算法来说，普遍是将含有高度的3D特征直接压缩为2D的BEV特征，这主要是因为在道路场景下几乎没有目标物体在高度上重叠，BEV基本无竖向遮挡的表示所有目标物体，但是在高度压缩的过程中会造成一些目标物体重要的高度信息损失。因此受到SENet与EPSANet的启发设计了一种多尺度下的注意力模块，对3D特征做不同尺度不同高度的注意力增强，减少高度压缩过程中特征损失。
步骤4、如图2所示，本模块首先利用SE attention中的Squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3D特征在高度的维度上相乘，对较重要高度上的特征进行增强，得到特征增强后的3D特征。
步骤5、在获得BEV的特征数据后，对该特征在BEV的视角上进行特征提取。首先对特征图进行不同尺度的下采样，接着对不同尺度的进行多次卷积提取信息，然后再进行上采用后在通道维度进行拼接。接着送入检测头
步骤6、检测头RPN网络生成三个分支，分别对目标物体的3D框位置大小、分类、方向进行预测。
经过实验，本发明方法具有出色的目标检测能力，如图5所示，可以精确的预测目标车辆的位置大小分类信息。
Claims (5)
1.一种基于4D毫米波雷达点云的3D目标检测方法，其特征在于：所述方法通过4D毫米波雷达点云增密模块和多尺度注意力特征提取模块进行4D毫米波雷达点云特征的提取，实现目标物体3D包围框的回归，包括如下步骤：
(1)输入的4D毫米波雷达点云进行增密操作，将每一个原始雷达点作为关键点，每一个关键点都有相应的三维位置向量vi和特征向量fi，对于每个关键点进行偏移处理，随后将关键点和原始点云进行相加，得到密集的4D毫米波雷达点云数据；
(2)用步骤(1)得到的点云数据将整个点云空间分为L*W*H的体素，然后对每个体素中的点做特征平均，得到每一个体素的特征，并将体素中的点送入3D骨干网络；
(3)基于三维稀疏卷积对3D骨干网络进行3d稀疏特征的采样，包括基于SpatiallySparse Convolution执行步长以1、或2的整数倍进行采样，还包括在3d稀疏特征的融合处理上，将体素的特征采样划分为两个及以上的分支进行处理，最后将不同的分支下的3D稀疏特征转为体素下的3D特征，并在高度的维度上拼接，得到不同尺度不同高度下的3D特征；
(4)根据步骤(3)得到的3D特征利用SE attention中的Squeeze and excitation操作，提取全局信息并生成权重向量，接着将权重向量与原始3D特征在高度的维度上相乘，包括对其中的部分特征进行增强，得到特征增强后的3D特征；
(5)将含有高度的3D特征压缩为2D的BEV特征，在获得BEV的特征数据后，对该特征在BEV的视角上进行特征提取、拼接，最后送入检测头；
(6)检测头RPN网络生成三个分支，分别对目标物体的3D框位置大小、分类、方向进行预测。
2.根据权利要求1所述的基于4D毫米波雷达点云的3D目标检测方法，其特征在于：步骤(1)对于关键点的处理包括如下具体步骤：
(11)对每个关键点的三维位置向量和特征向量执行偏移计算，得到新的特征向量f′i，计算表达式如下所示：
其中，ReLU为激活函数，Woffset为一个可学习的权重矩阵，N(i)为第i个关键点的相邻点云；
(12)计算经步骤(11)处理得到的新的关键点的位置向量ν'i：
v′i＝vi+tanh(Walign[f′i])
其中，tanh为激活函数，Walign为一个可学习的权重矩阵，对点云空间中每一个关键点做偏移并与原始点云相加，得到密集的4D毫米波雷达点云数据。
3.根据权利要求1所述的基于4D毫米波雷达点云的3D目标检测方法，其特征在于：步骤(3)所述的三维稀疏卷积包括Spatially Sparse Convolution和Submanifold SparseConvolution两种方式。
4.根据权利要求3所述的基于4D毫米波雷达点云的3D目标检测方法，其特征在于：对于3D骨干网络包括采用3x3x3的三维稀疏卷积对网络进行下采样为1x,2x,4x,8x的3d稀疏特征，然后选择2x，4x,8x三个尺度的特征进行融合；
分支一：将2x特征先进行一次步长为2的Spatially Sparse Convolution下采样，接着分支一的特征再进行一次步长为1的稀疏卷积，获得尺度与4x相同稀疏特征；
分支二：将4x特征使用一次步长为1的稀疏卷积获得更为密集的稀疏特征；
分支三：使用Sparse Inverse Convolution上采样，得到与分支一和分支二二相同尺度的3d稀疏特征，然后将三个分支得到的3D稀疏特征转为体素下的3D特征，并将三者在高度的维度上拼接，得到不同尺度不同高度下的3D特征。
5.根据权利要求1所述的基于4D毫米波雷达点云的3D目标检测方法，其特征在于：步骤(5)具体是对特征图进行不同尺度的下采样，接着对不同尺度的进行多次卷积提取信息，然后再进行上采用后在通道维度进行拼接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310396423.9A CN116486396A (zh) | 2023-04-14 | 2023-04-14 | 一种基于4d毫米波雷达点云的3d目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310396423.9A CN116486396A (zh) | 2023-04-14 | 2023-04-14 | 一种基于4d毫米波雷达点云的3d目标检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116486396A true CN116486396A (zh) | 2023-07-25 |
Family
ID=87213092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310396423.9A Pending CN116486396A (zh) | 2023-04-14 | 2023-04-14 | 一种基于4d毫米波雷达点云的3d目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486396A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665003A (zh) * | 2023-07-31 | 2023-08-29 | 安徽大学 | 一种基于特征交互与融合的点云三维目标检测方法和装置 |
| CN117274749A (zh) * | 2023-11-22 | 2023-12-22 | 电子科技大学 | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 |
-
2023
- 2023-04-14 CN CN202310396423.9A patent/CN116486396A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665003A (zh) * | 2023-07-31 | 2023-08-29 | 安徽大学 | 一种基于特征交互与融合的点云三维目标检测方法和装置 |
| CN116665003B (zh) * | 2023-07-31 | 2023-10-20 | 安徽大学 | 一种基于特征交互与融合的点云三维目标检测方法和装置 |
| CN117274749A (zh) * | 2023-11-22 | 2023-12-22 | 电子科技大学 | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 |
| CN117274749B (zh) * | 2023-11-22 | 2024-01-23 | 电子科技大学 | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11532151B2 (en) | Vision-LiDAR fusion method and system based on deep canonical correlation analysis | |
| CN113159151B (zh) | 面向自动驾驶的多传感器深度融合3d目标检测方法 | |
| CN116486396A (zh) | 一种基于4d毫米波雷达点云的3d目标检测方法 | |
| Tan et al. | 3-D object detection for multiframe 4-D automotive millimeter-wave radar point cloud | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测系统 | |
| CN111046781B (zh) | 一种基于三元注意力机制的鲁棒三维目标检测方法 | |
| CN111832655A (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
| Wang et al. | High dimensional frustum pointnet for 3d object detection from camera, lidar, and radar | |
| CN111681212B (zh) | 一种基于激光雷达点云数据的三维目标检测方法 | |
| CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
| Li et al. | A feature pyramid fusion detection algorithm based on radar and camera sensor | |
| CN115685185B (zh) | 一种4d毫米波雷达与视觉融合感知方法 | |
| CN113536920B (zh) | 一种半监督三维点云目标检测方法 | |
| CN110097047B (zh) | 一种基于深度学习采用单线激光雷达的车辆检测方法 | |
| CN113267761B (zh) | 激光雷达目标检测识别方法、系统及计算机可读存储介质 | |
| Wang et al. | Multi-modal and multi-scale fusion 3D object detection of 4D radar and LiDAR for autonomous driving | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN112668469A (zh) | 基于深度学习的多目标检测识别方法 | |
| CN116486368A (zh) | 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| EP4152274A1 (en) | System and method for predicting an occupancy probability of a point in an environment, and training method thereof | |
| CN113269147B (zh) | 基于空间和形状的三维检测方法、系统、存储及处理装置 | |
| CN117173399A (zh) | 一种跨模态交叉注意力机制的交通目标检测方法及系统 | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| CN118172560B (zh) | 一种融合多模态传感器的鸟瞰图语义分割预测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |