CN117746204B - 一种基于图像和毫米波雷达融合的概率目标检测方法 - Google Patents
一种基于图像和毫米波雷达融合的概率目标检测方法 Download PDFInfo
- Publication number
- CN117746204B CN117746204B CN202410184532.9A CN202410184532A CN117746204B CN 117746204 B CN117746204 B CN 117746204B CN 202410184532 A CN202410184532 A CN 202410184532A CN 117746204 B CN117746204 B CN 117746204B
- Authority
- CN
- China
- Prior art keywords
- millimeter wave
- wave radar
- fusion
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 104
- 230000004927 fusion Effects 0.000 title claims abstract description 53
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 24
- 238000000034 method Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008719 thickening Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 abstract description 7
- 238000011002 quantification Methods 0.000 abstract description 3
- 238000012795 verification Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 1
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明属于自动驾驶领域，具体为一种基于图像和毫米波雷达融合的概率目标检测方法。该方法包括:分别对预处理后毫米波雷达数据和图像数据进行特征提取，得到第一特征图和第二特征图；对第一特征图和第二特征图进行拼接后，使用融合特征模块进行特征融合，得到第一融合特征图；将第一融合特征图输入到基于全局注意力的Transformer模块中获取二次提取的图像特征；将二次提取的图像特征输入至概率目标检测网络中，预测出2D目标物体所在位置、类别及类概率、目标所在位置预测的不确定性值、类别及类概率的不确定性值。本发明能够在提供检测性能的同时，实现了自然环境影响下神经网络输入数据的不确定性量化。
Description
技术领域
本发明属于自动驾驶领域，具体为一种基于图像和毫米波雷达融合的概率目标检测方法。
背景技术
基于学习的雷达相机融合算法主要分为数据级融合、特征级融合和目标级融合三类。数据集级融合在2D目标检测中比较少见，代表方法有Yodar，是通过两个独立的神经网络处理相机和毫米波雷达的信息，并独立地输出2D检测框，最后融合两个独立神经网络的检测结果。特征级融合和目标级融合都是将毫米波雷达点当作主体，使用毫米波雷达点辅助以图像为主导的神经网络进行各项检测任务。这两种融方式中，特征级融合的更为常用。特征级融合是将毫米波雷达点投影至图像坐标系中，使用CNN提取图像和毫米波雷达点的特征图后，利用相乘、相加或通道融合的方式，融合图像和毫米波雷达点的特征图。
上述基于多传感或单传感的目标检测算法，其性能提升都依赖于大量训练数据和更加有效的算法框架，当其应用于恶劣环境中，即雨、雪、雾等数据量较少的场景中时，则易存在失效性问题，而现有技术中，对这类因数据较少导致的目标检测算法失效性问题解决方案较少。因此，如何提升恶劣环境下目标检测算法的检测性能、以及反馈目标检测算法的不确定性是当前亟待解决的问题。
发明内容
本发明的目的在于提供一种基于图像和毫米波雷达融合的概率目标检测方法，以实现恶劣环境下目标检测算法的检测性能提升、及神经网络输入数据的不确定性量化。
一种基于图像和毫米波雷达融合的概率目标检测方法，包括以下步骤：
步骤1、获取并预处理毫米波雷达数据和图像数据；
步骤2、使用两个同构异参的ResNet特征提取网络，分别对预处理后毫米波雷达数据和图像数据进行特征提取，得到第一特征图和第二特征图；第一特征图和第二特征图尺寸、通道数均相同；
步骤3、对第一特征图和第二特征图进行拼接后，使用融合特征模块进行特征融合，得到第一融合特征图；
步骤4、基于第一融合特征图，使用基于全局注意力的Transformer模块中获取二次提取的图像特征；
步骤5、将步骤4提取的图像特征输入至概率目标检测网络中，预测出2D目标物体所在位置、类别及类概率、目标所在位置预测的不确定性值、类别及类概率的不确定性值。
进一步的，所述步骤5的实现方法包括以下步骤：
5.1、构建概率目标检测网络；概率目标检测网络包括并行的分类检测结果预测模块、分类不确定性模块、回归检测结果预测模块、回归检测不确定性模块；分类检测结果预测模块和分类不确定性估计模块由单线性全连接网络构成，网络层数为一层，表示为；回归检测结果预测模块和回归检测不确定性预测模块采用多层感知机MLP结构，即由多层线性全连接层网络构成；
5.2、将步骤4提取的图像特征输入至回归检测结果预测模块进行训练学习，得到2D目标的边界框；
将步骤4提取的图像特征输入至回归检测不确定性模块进行训练学习，得到2D目标的边界框的方差；
将步骤4提取的图像特征输入至分类检测结果预测模块进行训练学习，得到2D目标的类别及类概率；
将步骤4提取的图像特征输入至分类不确定性预测模块进行训练学习, 得到2D目标的类概率的方差。
更进一步的，所述回归检测结果预测模块损失函数计算公式为：
；
其中，为回归检测结果预测模块的输出值；/>为边界框真值；
所述回归检测不确定性预测模块采用拟合高斯分布的损失函数进行训练，拟合高斯分布损失函数如下式所示：
；
其中， ，/>为回归方差，表示回归的不确定性；/>为回归检测结果预测模块的输出值，作为高斯分布均值；/>为经验值；
所述分类检测结果预测模块训练采用损失函数为交叉熵损失函数，交叉熵损失函数的表达式为：
；
所述分类不确定性预测模块训练采用的损失函数为交叉熵损失函数，且在输出结果中加入高斯拟合噪声，具体表达如下式所示：
；
其中，为分类检测结果预测模块输出值，作为高斯分布均值。
进一步的，所述步骤1中对毫米波雷达数据和图像数据的预处理包括：
a、按如下方法对毫米波雷达数据的预处理：
将获取的毫米波雷达数据坐标系转换至图像坐标系；
根据毫米波雷达点数据中毫米波雷达点与车辆的距离，对毫米波雷达进行增稠处理；
根据增稠处理后毫米波雷达数据中的横向速度信息vx、纵向速度信息vy及雷达散射截面rcs，生成与图像大小一致的毫米波雷达2D伪图像，以作为其中一个ResNet特征提取网络的输入；
b、对图像数据中的所有像素点归一化处理，以作为另一个ResNet特征提取网络的输入。
进一步的，所述ResNet特征提取网络为卷积神经网络ResNet50。
进一步的，所述融合特征模块采用1×1卷积-ReLU激活函数-1×1卷积结构。
进一步的，所述Transformer模块包括编码器和解码器模块，编码器输入为第一融合特征图，用于提取更深层次的特征信息，得到一个特征序列输入至解码器中；解码器根据输入的特征序列解码出目标物体所在位置和类别信息并将其输出。
本发明提供的一种基于图像和毫米波雷达融合的概率目标检测方法，对输入的毫米波雷达数据和图像数据进行特征融合后，使用Transformer模块提取一个序列特征输入至概率目标检测网络中，通过概率目标检测网络预测出2D目标物体所在位置、类别及类概率、目标所在位置预测的不确定性值、类别及类概率的不确定性值。实现了恶劣环境下，目标检测算法性能的提升和神经网络输入数据的不确定性量化。
与现有技术相比，本发明具有的有益效果是：
1）通过ResNet特征提取网络配合Transformer模块进行特征提取，有效地将稀疏的毫米波雷达信息和图像特征融合，使毫米波雷达信息在预测中充分发挥作用，补足了图像在恶劣环境下像素点表达信息不准确的缺点。
2）本发明的概率目标检测网络方法,使用的概率目标检测网络中，采用了两种不同的网络结构，其中分类检测结和分类不确定性估计模块采用单线性全连接网络构成，网络层数为一层；回归检测结果预测模块和回归检测不确定性预测模块采用多层感知机MLP结构，并在两个不确定性模块的训练过程中，引入拟合高斯分布实现对输入数据不确定性值的度量。
附图说明
图1是实施例提供的概率目标检测方法流程图；
图2是实施例概率目标检测网络结构图；
图3是实施例概率目标检测网络中的单线性全连接网络结构示意图；
图4是实施例概率目标检测网络中的三层全连接网络结构。
实施方式
下面结合附图和实施例详述本发明技术方案。
如图1所示，本实施例提供的一种基于图像和毫米波雷达融合的概率目标检测方法，包括以下步骤：
步骤1、获取毫米波雷达数据和图像数据。对图像数据中的所有像素点归一化处理，以作为另一个ResNet特征提取网络的输入。本实施例采用如下方法对毫米波雷达数据的进行预处理：
将获取的毫米波雷达数据坐标系转换至图像坐标系；
根据毫米波雷达点数据中毫米波雷达点与车辆的距离，对毫米波雷达进行增稠处理；
根据增稠处理后毫米波雷达数据中的横向速度信息vx、纵向速度信息vy及雷达散射截面rcs，生成与图像大小一致的毫米波雷达2D伪图像。
步骤2、使用两个同构异参的ResNet特征提取网络，两个同构异参的ResNet特征提取网络均为。其中一个ResNet特征提取网络用于对毫米波雷达2D伪图像进行特征提取，得到第一特征图；另外ResNet特征提取网络用于对所有像素点归一化处理后的图像数据进行特征提取，得到第二特征图。本实施例中两个同构异参的ResNet特征提取网络均采用卷积神经网络ResNet50作为其网络结构，得到的第一特征图和第二特征图尺寸、通道数均相同。
步骤3、对第一特征图和第二特征图进行拼接后，使用融合特征模块进行特征融合，得到第一融合特征图。融合特征模块采用1×1卷积-ReLU激活函数-1×1卷积结构。1×1卷积用于接收第一特征图和第二特征图，先对第一特征图和第二特征图融合拼接得到拼接特征图，再对拼接特征图上同一位置不同通道的像素点做加权相加操作，融合各通道特征后输出至relu激活函。relu激活函用于对融的各通道特征进行处理，以保留融合特征中大于0的数值。然后再使用一个1×1卷积对relu激活函输出的融合特征进行降维处理，使其通道数降为Transformer模块接受的256通道特征，从而得到第一融合特征图。
步骤4、基于第一融合特征图，使用基于全局注意力的Transformer模块中获取二次提取的图像特征。二次提取的图像特征为256维检测结果序列。Transformer模块包括编码器和解码器模块，编码器输入为第一融合特征图，用于提取更深层次的特征信息，得到一个特征序列输入至解码器中；解码器根据输入的特征序列解码出目标物体所在位置和类别信息并将其输出。
步骤5、按如下步骤预测出2D目标物体所在位置、类别及类概率、目标所在位置预测的不确定性值、类别及类概率的不确定性值：
5.1、构建概率目标检测网络；
概率目标检测网络结构如图2所示，包括并行的分类检测结果预测模块、分类不确定性模块、回归检测结果预测模块、回归检测不确定性模块。分类检测结果预测模块和分类不确定性估计模块结构如图3所示，由单线性全连接网络构成，网络层数为一层。回归检测结果预测模块和回归检测不确定性预测模块采用多层感知机MLP结构，如图4所示，由多层线性全连接层网络构成。
5.2、完成2D目标物体所在位置、类别及类概率、目标所在位置预测的不确定性值、类别及类概率的不确定性值预测。具体的：
将步骤4提取的图像特征输入至回归检测结果预测模块进行训练学习，得到2D目标的边界框。训练学习过程通过计算损失，更新网络参数。回归检测结果预测模块损失函数计算公式为：
；
其中，为回归检测结果预测模块的输出值；/>为边界框真值。
将步骤4提取的图像特征输入至回归检测不确定性模块进行训练学习，得到2D目标的边界框的方差。回归检测不确定性预测模块损失计算采用拟合高斯分布的损失函数，其推导过程如下：
设图2中回归检测结果预测模块输出的值为，/>，/>是表示边界框的集合，即边界框的中心点和边界框的宽高。假设回归检测结果预测模块服从高斯分布，/>作为高斯分布的均值，即：/>，其中，回归方差/>表示回归的不确定性，这种不确定性需从输入数据中学习出来。将衰减损失函数作为学习回归不确定性/>的损失函数，衰减损失原型函数如下所示：
由于回归方差是通过多层感知MLP学习，因此，无法避免学习0的值；由于边界框值在0-1范围内，所以对MLP输出值使用sigmoid函数，将回归方差也保持在0-1范围之内，同时使得/>，简化后的损失函数表示如下：
由于位置回归值，如果根据简化后的损失函数来训练方差学习和回归检测结果预测模块，则损失函数将具有负值，这不利于网络的反向传输。为防止损失函数计算负值，将经验值添加到损失函数/>中，得到回归检测不确定性模块的损失函数公式：
将步骤4提取的图像特征输入至分类检测结果预测模块进行训练学习，得到2D目标的类别及类概率。分类检测结果预测模块训练采用损失函数为交叉熵损失函数，交叉熵损失函数的表达式为：
将步骤4提取的图像特征输入至分类不确定性预测模块进行训练学习, 得到2D目标的类概率的方差。分类不确定性预测模块训练采用的损失函数为交叉熵损失函数，且在输出结果中加入高斯拟合噪声。本实施例分类不确定性预测模块训练损失函数的推导过程如下：
设图2中分类检测结果预测模块的输出值为，/>，/>是表示类别的集合，n表示总类别数。计算分类检测结果预测模块预测值的不确定性，根据贝叶斯网络理论，分类网络的输出服从高斯分布，/>作为高斯分布的均值，即：。其中，分类方差/>分别表示分类不确定性，该不确定性属于数据不确定性，从数据中学习获得。其网络结构表示为：/>，损失/>采用交叉熵损失函数表示:
。
下面对上述实施例提供的概率目标检测方法可行性和有效性进行实验验证：
采用数据集为NuScenes作为实验验证数据集。NuScenes数据集来源于波士顿和新加坡的驾驶交通场景，包含1000个驾驶场景、140万个图像和140万个毫米波雷达扫描数据。其图片数据由6个摄像头收集，包括车辆的前方、后方和两侧场景图像；Radar数据由5个Radar收集，Radar部署在车辆四角和正前方。
验证时，以NuScenes全场景车辆全方位视角数据作为训练集，按照14：3的比例，将NuScenes的850个场景中的其中700个场景划分为训练集，余下的150个场景划分为验证集。然后再将验证集按照车辆全方位、前方位、后方位视图制作成三个验证子集，车辆前方位视图验证集是NuScens-Front，简称NS-F，车辆后方位视图验证集是NuScenes-Back，简称NS-B，车辆全方位视图验证集是NuScenes-All，简称为NS-A。
本实施例为2D目标检测任务，因此，需将NuScenes中Ground Truth的3D边界框转换为2D边界框。使用预先训练好的卷积神经网络ResNet50分别从图像数据中提取出第一特征图、从毫米波雷达数据提取出第二特征图，随后对第一特征图和第二特征图进行拼接后，使用融合特征模块进行特征融合，得到第一融合特征图；然后将第一融合特征图加载至Transformer编解码器预训练权重，Transformer编解码器为已在coco数据集上，利用detr模型训练好的Transformer编解码器。本实施例设置训练轮数为50轮，卷积神经网络ResNet50学习率设置1e-5、余下所涉及的各网络学习率设置1e-4，整个网络学习率在训练到40轮时衰减9e-5。在图像和毫米波雷达点进行匹配时，采用1帧图像匹配该帧图像时间点周围3帧毫米波雷达扫描，并在数据预处理时将这3帧毫米波雷达扫描合成一帧。
实验的验证指标采用COCO数据集的验证指标，主要是Average Precision (AP)和mean Average Recall (AR)。AP评价指标按照集合交并比阈值分为三个，分别是：集合交并比阈值为0.75的AP75、集合交并比阈值为0.5的AP50、集合交并比阈值在[0.5,0.95]区间的 AP。AR评价指标按照目标物体的大小分为大目标的AR指标、中目标的AR指标、小目标的AR指标，因此AR评价指标设置为AR-small，AR-medium，AR-large。
实验结果如下表所示：
表1为在验证数据集NS-A,NS-F和NS-B上的检测结果
实验结果表明，本实施例的概率目标检测方法与基线方法相比，有效提升了检测精度，并实现了恶劣环境下神经网络输入数据的不确定性量化。
以上所述实施例仅描述了本发明的几种实施方式，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种基于图像和毫米波雷达融合的概率目标检测方法，其特征在于，包括以下步骤：
步骤1、获取并预处理毫米波雷达数据和图像数据；
a、按如下方法对毫米波雷达数据的预处理：
将获取的毫米波雷达数据坐标系转换至图像坐标系；
根据毫米波雷达点数据中毫米波雷达点与车辆的距离，对毫米波雷达进行增稠处理；
根据增稠处理后毫米波雷达数据中的横向速度信息vx、纵向速度信息vy及雷达散射截面rcs，生成与图像大小一致的毫米波雷达2D伪图像，以作为其中一个ResNet特征提取网络的输入；
b、对图像数据中的所有像素点归一化处理，以作为另一个ResNet特征提取网络的输入；
步骤2、使用两个同构异参的ResNet特征提取网络，分别对预处理后毫米波雷达数据和图像数据进行特征提取，得到第一特征图和第二特征图；第一特征图和第二特征图尺寸、通道数均相同；
步骤3、对第一特征图和第二特征图进行拼接后，使用融合特征模块进行特征融合，得到第一融合特征图；
步骤4、基于第一融合特征图，使用基于全局注意力的Transformer模块获取二次提取的图像特征；
步骤5、将步骤4提取的图像特征输入至概率目标检测网络中，预测出2D目标物体所在位置、类别及类概率、目标所在位置预测的不确定性值、类别及类概率的不确定性值。
2.根据权利要求1所述的一种基于图像和毫米波雷达融合的概率目标检测方法，其特征在于，所述步骤5的实现方法包括以下步骤：
5.1、构建概率目标检测网络；概率目标检测网络包括并行的分类检测结果预测模块、分类不确定性模块、回归检测结果预测模块、回归检测不确定性模块；分类检测结果预测模块和分类不确定性估计模块由单线性全连接网络构成；回归检测结果预测模块和回归检测不确定性预测模块采用多层感知机MLP结构，即由多层线性全连接层网络构成；
5.2、将步骤4提取的图像特征输入至回归检测结果预测模块进行训练学习，得到2D目标的边界框；
将步骤4提取的图像特征输入至回归检测不确定性模块进行训练学习，得到2D目标的边界框的方差；
将步骤4提取的图像特征输入至分类检测结果预测模块进行训练学习，得到2D目标的类别及类概率；
将步骤4提取的图像特征输入至分类不确定性预测模块进行训练学习，得到2D目标的类概率的方差。
3.根据权利要求2所述的一种基于图像和毫米波雷达融合的概率目标检测方法，其特征在于，所述回归检测结果预测模块损失函数计算公式为：
其中，bz为回归检测结果预测模块的输出值；为边界框真值；
所述回归检测不确定性预测模块采用拟合高斯分布的损失函数进行训练，拟合高斯分布损失函数如下式所示：
其中， 为回归方差，表示回归的不确定性；bz为回归检测结果预测模块的输出值，作为高斯分布均值；ε为经验值；
所述分类检测结果预测模块训练采用损失函数为交叉熵损失函数，交叉熵损失函数的表达式为：
其中，i表示类别集合中第i类，C表示目标检测任务中类别数，总共有C类，则i∈{0，1，2，…，C-1)；yi表示检测到的目标物体类别编号为i的真值标签，如果此目标物体为第i类，则yi＝1，否则为0，上述损失函数计算类别真值标签yi使用0-1编码；pi表示检测结果为第i类的置信度，取值范围为pi∈[0，1]；
所述分类不确定性预测模块训练采用的损失函数为交叉熵损失函数，且在输出结果中加入高斯拟合噪声，具体表达如下式所示：
其中，cz为分类检测结果预测模块输出值，作为高斯分布均值；ρ是服从于标准正态分布的随机数，在此计算中ρ取服从标准正态分布的随机数；/>回归不确定性估计模块输出的回归方差，作为高斯分布的方差。
4.根据权利要求1所述的一种基于图像和毫米波雷达融合的概率目标检测方法，其特征在于：所述ResNet特征提取网络为卷积神经网络ResNet50。
5.根据权利要求1所述的一种基于图像和毫米波雷达融合的概率目标检测方法，其特征在于：所述融合特征模块采用1×1卷积-ReLU激活函数-1×1卷积结构。
6.根据权利要求1所述的一种基于图像和毫米波雷达融合的概率目标检测方法，其特征在于：所述Transformer模块包括编码器和解码器模块，编码器输入为第一融合特征图，用于提取更深层次的特征信息，得到一个特征序列输入至解码器中；解码器根据输入的特征序列解码出目标物体所在位置和类别信息并将其输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410184532.9A CN117746204B (zh) | 2024-02-19 | 2024-02-19 | 一种基于图像和毫米波雷达融合的概率目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410184532.9A CN117746204B (zh) | 2024-02-19 | 2024-02-19 | 一种基于图像和毫米波雷达融合的概率目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117746204A CN117746204A (zh) | 2024-03-22 |
| CN117746204B true CN117746204B (zh) | 2024-05-07 |
Family
ID=90279982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410184532.9A Active CN117746204B (zh) | 2024-02-19 | 2024-02-19 | 一种基于图像和毫米波雷达融合的概率目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117746204B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205179A (zh) * | 2022-07-15 | 2022-10-18 | 小米汽车科技有限公司 | 图像融合的方法、装置、车辆及存储介质 |
| CN116310679A (zh) * | 2023-03-04 | 2023-06-23 | 西安电子科技大学青岛计算技术研究院 | 多传感器融合目标检测方法、系统、介质、设备及终端 |
| WO2023158642A1 (en) * | 2022-02-15 | 2023-08-24 | Waymo Llc | Camera-radar data fusion for efficient object detection |
| CN117274749A (zh) * | 2023-11-22 | 2023-12-22 | 电子科技大学 | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 |
| CN117314823A (zh) * | 2023-08-21 | 2023-12-29 | 电子科技大学 | 一种基于注意力机制的膝关节mri智能分析方法及装置 |
| WO2024001969A1 (zh) * | 2022-07-01 | 2024-01-04 | 华为技术有限公司 | 一种图像处理方法、装置、存储介质及计算机程序产品 |
-
2024
- 2024-02-19 CN CN202410184532.9A patent/CN117746204B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023158642A1 (en) * | 2022-02-15 | 2023-08-24 | Waymo Llc | Camera-radar data fusion for efficient object detection |
| WO2024001969A1 (zh) * | 2022-07-01 | 2024-01-04 | 华为技术有限公司 | 一种图像处理方法、装置、存储介质及计算机程序产品 |
| CN115205179A (zh) * | 2022-07-15 | 2022-10-18 | 小米汽车科技有限公司 | 图像融合的方法、装置、车辆及存储介质 |
| CN116310679A (zh) * | 2023-03-04 | 2023-06-23 | 西安电子科技大学青岛计算技术研究院 | 多传感器融合目标检测方法、系统、介质、设备及终端 |
| CN117314823A (zh) * | 2023-08-21 | 2023-12-29 | 电子科技大学 | 一种基于注意力机制的膝关节mri智能分析方法及装置 |
| CN117274749A (zh) * | 2023-11-22 | 2023-12-22 | 电子科技大学 | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| Koupai,AK等.Self-supervised multimodal fusion transformer for passive activity recognition.《IET Wireless sensor sensor systems》.2023,149-60. * |
| Pyramid Bayesian method for model uncertainty evaluation of semantic segmentation in autonomous driving;zhaoyang等;《Automotive innovation》;20220531;70-78 * |
| 基于多模态融合的自动驾驶感知及计算;张燕咏;张莎;张昱;吉建民;段逸凡;黄奕桐;彭杰;张宇翔;;计算机研究与发展;20200901(第09期);5-23 * |
| 自动驾驶场景下的单目图像目标感知研究;罗述杰;《中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑》;20220115;C035-572 * |
| 面向自动驾驶感知的快速不确定性估计方法;王潇等;《汽车工程学报》;20240126;1-9 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117746204A (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110472483B (zh) | 一种面向sar图像的小样本语义特征增强的方法及装置 | |
| CN114445430B (zh) | 轻量级多尺度特征融合的实时图像语义分割方法及系统 | |
| CN111832484A (zh) | 一种基于卷积感知哈希算法的回环检测方法 | |
| CN113378775B (zh) | 一种基于深度学习的视频阴影检测与消除方法 | |
| CN114581887B (zh) | 车道线的检测方法、装置、设备和计算机可读存储介质 | |
| CN112632311A (zh) | 一种基于深度学习的云层变化趋势预测方法 | |
| CN113312983A (zh) | 基于多模态数据融合的语义分割方法、系统、装置及介质 | |
| Li et al. | A feature pyramid fusion detection algorithm based on radar and camera sensor | |
| CN114372523A (zh) | 一种基于证据深度学习的双目匹配不确定性估计方法 | |
| CN112489072B (zh) | 一种车载视频感知信息传输负载优化方法及装置 | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN116129233A (zh) | 基于多模态融合感知的自动驾驶场景全景分割方法 | |
| CN113223044A (zh) | 一种结合特征聚合和注意力机制的红外视频目标检测方法 | |
| CN116434088A (zh) | 基于无人机航拍图像的车道线检测及车道辅助保持方法 | |
| CN114267025A (zh) | 基于高分辨率网络与轻量注意力机制的交通标志检测方法 | |
| CN116580322A (zh) | 一种地面背景下无人机红外小目标检测方法 | |
| CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
| Dechesne et al. | Bayesian deep learning with monte carlo dropout for qualification of semantic segmentation | |
| EP4152274A1 (en) | System and method for predicting an occupancy probability of a point in an environment, and training method thereof | |
| Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
| CN114218999A (zh) | 一种基于融合图像特征的毫米波雷达目标检测方法及系统 | |
| CN117746204B (zh) | 一种基于图像和毫米波雷达融合的概率目标检测方法 | |
| CN115984646B (zh) | 面向遥感跨卫星观测的分布式目标检测方法、装置和卫星 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN115984647B (zh) | 面向星群的遥感分布式协同推理方法、装置、介质和卫星 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |