CN115639536A - 基于多传感器融合的无人船感知目标检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于多传感器融合的无人船感知目标检测方法及装置，包括步骤：实时获取无人船的多传感器数据，多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；将多传感器数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果。本发明利用相机、毫米波雷达和激光雷达数据，进行特征提取后再进行融合特征检测，可以有效利用各传感器的数据特点提高无人船水面目标检测感知精度；而且当单个传感器出现故障性能下降时，能够利用其他传感器的数据实现目标检测，保证无人船航行的安全性和感知鲁棒性。此外，由于雷达的环境适应性强，本发明在夜晚、雨天场景和雾天场景等视觉容易干扰的场景也有更强的环境适应性和感知鲁棒性。

Description

基于多传感器融合的无人船感知目标检测方法及装置

技术领域

本发明涉及无人船环境感知方法技术领域，尤其涉及一种基于多传感器融合的无人船感知目标检测方法及装置。

背景技术

近些年来无人船受到广泛地关注并且逐渐运用于各项应用中，例如海洋研究、水面交通运输和水面垃圾清理等。无人船在执行水面自动驾驶任务时往往需要面对复杂水域场景进行目标检测。

随着深度学习技术的发展，基于相机图像的目标检测技术取得了优异的成果，但传统基于视觉的目标检测方法容易受到水面倒影、水面反光的干扰，并且由于远处的目标在图像中像素占比较小，使得基于视觉的目标检测方法对于远处的目标检测能力较弱。而毫米波雷达对于远处的目标有较好的检测能力，并且能够提供目标的多普勒速度信息和能量强度信息。但相较于相机而言，毫米波雷达包含的语义信息较弱，无法很好的区分目标类型。另外，激光雷达包含丰富的外观特征信息，可以精确地提供目标的深度信息，目前基于激光雷达与视觉融合的目标检测方法使用图像和激光雷达数据进行融合，虽然能提升目标检测精度，但是在远距离由于激光雷达点云密度的变化而经常出现漏检，并且在水面经常出现的雨雾天气下激光雷达产生大量噪点干扰目标检测系统结果，这对于无人船的环境感知模块是致命的。

因此，需要提出一种基于多传感器融合的无人船感知目标检测方法，充分发挥各自传感器的特点，最大限度地提升水面场景下目标检测系统的检测精度；且在诸如黑夜、雨雾天气等某个传感器性能下降的情况下，可以通过其他的传感器实现目标检测，从而提升检测系统的鲁棒性。

发明内容

本发明所要解决的技术问题在于提供一种可以提高无人船水面目标检测感知精度的基于多传感器融合的无人船感知目标检测方法及装置。

为解决上述技术问题，本发明采用如下所述的技术方案：

一种基于多传感器融合的无人船感知目标检测方法，其包括有步骤：实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果；训练所述多传感器融合检测模型包括有如下步骤：S10，获取无人船的多传感器原始数据D和标签真值G；S20，对多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L进行数据同步和数据预处理，得到用于模型输入的相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´；S30，将相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´输入至特征提取模型进行特征提取，将提取的特征进行特征融合检测得到模型预测结果Q；S40，基于模型预测结果Q和标签真值G计算模型损失值，根据模型损失值进行神经网络模型的反向传递，更新多传感器融合检测模型权重；重复执行步骤S20至步骤S40，并进行迭代更新，直至模型损失值小于迭代阈值时停止迭代得到训练好的多传感器融合检测模型。

一种基于多传感器融合的无人船感知目标检测装置包括有：

数据获取模块，用于实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；

感知检测模块，用于将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果；

以及用于训练所述多传感器融合检测模型的模型训练模块，该模型训练模块包括有：

数据获取单元，用于获取无人船的多传感器原始数据D和标签真值G；

数据预处理单元，用于对多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L进行数据同步和数据预处理，得到用于模型输入的相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´；

特征融合检测单元，用于将相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´输入至特征提取模型进行特征提取，将提取的特征进行特征融合检测得到模型预测结果Q；

模型权重更新单元，用于基于模型预测结果Q和标签真值G计算模型损失值，根据模型损失值进行神经网络模型的反向传递，更新多传感器融合检测模型权重；

迭代更新单元，用于控制数据预处理单元、特征融合检测单元及模型权重更新单元重复执行，并进行迭代更新，直至模型损失值达到迭代阈值时停止迭代得到训练好的多传感器融合检测模型。

本发明的有益技术效果在于：本发明利用相机、毫米波雷达和激光雷达数据，进行特征提取后再进行融合特征检测，可以有效利用各传感器的数据特点，最大限度地提高无人船水面目标检测感知精度；而且当单个传感器出现故障性能下降时，能够利用其他传感器的数据实现目标检测，保证无人船航行的安全性和感知鲁棒性。此外，由于雷达的环境适应性强，本发明在夜晚、雨天场景和雾天场景等视觉容易干扰的场景也有更强的环境适应性和感知鲁棒性。

附图说明

图1为本发明的基于多传感器融合的无人船感知目标检测方法的流程示意图；

图2为本发明的多传感器融合检测模型的训练过程示意图；

图3为本发明的多传感器数据同步与数据预处理的流程示意图；

图4为本发明的特征融合检测模块的结构示意图；

图5为本发明的多传感器融合检测模型实时推理过程图；

图6为本发明的基于多传感器融合的无人船感知目标检测装置的结构示意图。

具体实施方式

为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。

如图1所示，在本发明一个实施例中，基于多传感器融合的无人船感知目标检测方法包括有步骤：

S100，实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据。

S200，将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果。

其中，多传感器融合检测模型是基于无人船的多传感器原始数据及相应的训练标签训练得到的。

如图2所示，训练所述多传感器融合检测模型包括有如下步骤：

S10，获取无人船的多传感器原始数据D和标签真值G。

S20，对多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L进行数据同步和数据预处理，得到用于模型输入的相机图像数据 I´、毫米波雷达数据R´和激光雷达数据L´；

S30，将相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´输入至特征提取模型进行特征提取，将提取的特征进行特征融合检测得到模型预测结果Q。

S40，基于模型预测结果Q和标签真值G计算模型损失值，根据模型损失值进行神经网络模型的反向传递，更新多传感器融合检测模型权重。

重复执行步骤S20至步骤S40，并进行迭代更新，直至模型损失值小于迭代阈值时停止迭代得到训练好的多传感器融合检测模型。在完成一次训练迭代后，利用新的多传感器融合检测模型权重，再次执行步骤S20至步骤S40，获取下一时刻的数据进行下一次模型的训练迭代，如此循环，当模型损失值小于预定阈值时，终止训练，得到训练好的多传感器融合检测模型权重，完成多传感器融合检测模型的训练。

步骤S10进一步包括：

S11、对无人船搭载的相机、毫米波雷达、激光雷达及惯性测量单元进行外参标定并获取外参矩阵T。

无人船搭载有多种传感器，包括有一个或多个相机、多线激光雷达、若干个毫米波雷达以及惯性测量单元（IMU）等，通过外参标定算法对无人船搭载的相机、毫米波雷达、激光雷达及惯性测量单元进行外参标定，得到传感器安装外参矩阵T。

S12、以无人船的上电时刻位置X ₁为原点，以无人船前朝向为y轴正方向，无人船右朝向为x轴正方向建立无人船坐标系。

S13、获取无人船在不同水域场景下采集的传感器原始数据，传感器原始数据包括相机图像数据、毫米波雷达数据、激光雷达数据以及IMU数据。

在不同水域场景下，无人船以10Hz的采集频率采集传感器原始数据，对相机的摄像头进行图像ISP处理后得到相机图像数据，根据雷达数据协议解析得到激光雷达点云位置数据和毫米波雷达点云位置数据，通过卡尔曼滤波算法对IMU噪声进行过滤得到高精度IMU数据。

S14、获取无人船在相同水域场景下，不同天气、不同光线条件、不同季节下采集的传感器原始数据。

在相同水域场景下，无人船分别采集不同天气、不同光线条件、不同季节下的传感器原始数据，对相机的摄像头进行图像ISP处理后得到相机图像数据，根据雷达数据协议解析得到激光雷达点云位置数据和毫米波雷达点云位置数据，通过卡尔曼滤波算法对IMU噪声进行过滤得到高精度IMU数据。

S15、对获取的相机图像数据进行目标检测标注得到标签真值G。

对步骤S13和步骤S14获取的传感器原始数据汇聚后得到所述无人船的多传感器原始数据D，对多传感器原始数据D中的相机图像数据进行目标检测标注，并获取标签真值G。

如图3所示，步骤S20进一步包括数据同步和数据预处理步骤。

数据同步：

S21、基于多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L，通过最近邻时间戳计算获取最近邻时刻的相机图像数据I ₁、毫米波雷达数据R ₁和激光雷达数据L ₁。其中，相机图像数据I ₁为宽高为w、h的RGB格式图像，毫米波雷达数据R ₁为(n _1，6)的点云数据，激光雷达数据L ₁为(n _2，4)的点云数据，其中n ₁和n ₂为点云数量。

数据预处理：

S22、对相机图像数据I ₁进行图像亮度增强操作和去噪处理操作得到可用于模型输入的相机图像数据I´。其中，图像亮度增强用于平衡无人船在阴暗场景或者阳光直射场景下的图像亮度；去噪处理操作通过高斯去噪和雨雾去噪来降低图像干扰噪声。

S23、对毫米波雷达数据R ₁和激光雷达数据L ₁进行点云滤波，通过直通滤波算法DIRECT和密度滤波算法DBSCAN去除噪点，得到过滤后的毫米波雷达点云R ₂和激光雷达点云L ₂:

R ₂ =DBSCAN(DIRECT(R ₁ )) (2 - 1)

L ₂ =DBSCAN(DIRECT(L ₁ )) (2 - 2)

S24、对激光雷达点云L ₂进行体素滤波VOXEL降采样得到可用于模型输入的激光雷达数据L´：

L´=VOXEL(L ₂ ) (2 - 3)

S25、基于毫米波雷达点云R ₂及IMU数据中的俯仰数据计算新的毫米波雷达点云R´₂。

由于毫米波雷达在目标垂直高度观测误差较大，因此需要先将毫米波雷达点云的高度数据进行重新校准。输入毫米波雷达点云R ₂，根据IMU数据中的俯仰数据pitch计算新的毫米波雷达点云数据R´₂：

R´₂ =h ₀+tan(pitch)*R ₂ (2 - 4)

其中h ₀为毫米波雷达安装位置到水面的高度。

S26、利用步骤S11标定得到的外参矩阵T将校准后的毫米波雷达点云R´₂投影到图像平面与图像空间对齐，得到点云投影结果R ₃：

R ₃ =T*R´₂ (2 - 5)

S27、基于点云投影结果R ₃，根据雷达的点云距离，点云速度，点云能量进行高斯分布计算得到三通道点云灰度图像，将三通道点云灰度图像拼接得到毫米波雷达数据R´。

第一个通道为点云距离密度图R´（x _i ，y _i ，1），用于记录点云障碍信息:

其中，（x _i ，y _i ）为第i个点云投影位置，u为高斯核均值置为1，σ为高斯核方差置为30，n ₁为毫米波雷达点云的点云总数，r _i 为第i个点云（x _i ，y _i ，z _i ）的三维欧式距离：

第二个通道为点云速度密度图R´（x _i ，y _i ，2），用于记录点云速度信息:

其中，v _i 为第i个点云的多普勒速度。

第三个通道为点云能量密度图R´（x _i ，y _i ，3），用于记录点云能量信息:

其中，p _i 为第i个点云的能量强度。

将三通道点云灰度图像拼接得到毫米波雷达数据R´：

R´=R´（x _i ，y _i ，1）+R´（x _i ，y _i ，2）+R´（x _i ，y _i ，3） (2 - 10)

步骤S30进一步包括：

S31、将经过数据同步和数据预处理的相机图像数据I´输入至图像特征提取网络Image_Backbone进行特征提取得到图像数据特征F _I 。该图像特征提取网络Image_Backbone可以为基于残差网络结构的卷积神经网络，也可以为基于注意力机制的多头注意力神经网络:

F _I =Image_Backbone(I´) (3 - 1)

S32、将经过数据同步和数据预处理的毫米波雷达数据R´输入至毫米波雷达特征提取网络Radar_Backbone进行特征提取得到毫米波雷达数据特征F _R 。该毫米波雷达特征提取网络Radar_Backbone为用于捕获浅层雷达密度特征的浅层卷积神经网络:

F _R =Radar_Backbone(R´) (3 - 2)

S33、将经过数据同步和数据预处理的激光雷达数据L´输入至激光雷达特征提取网络Lidar_Backbone进行特征提取得到激光雷达数据特征F _L 。该激光雷达特征提取网络Lidar_Backbone可以为基于共享权重的点云提取网络，也可以为基于三维卷积的点云卷积网络:

F _L =Lidar_Backbone(L´) (3 - 3)

S34、将图像数据特征F _I 、毫米波雷达数据特征F _R 、激光雷达数据特征F _L 输入到特征融合检测模块Fusion_Head进行特征融合检测得到模型预测结果Q：

Q=Fusion_Head(F _I， F _R， F _L ) (3 - 4)

其中特征融合检测模块是基于注意力模块进行构建的，模型结构如图4所示。先将图像数据特征F _I 、毫米波雷达数据特征F _R 、激光雷达数据特征F _L 分别输入对应的自注意力模块进行处理，再通过共享全局注意力模块对经过自注意力模块处理后的图像数据特征F _I 、毫米波雷达数据特征F _R 、激光雷达数据特征F _L 进行特征融合，得到多传感器融合特征F _IRL ：

F _IRL =G ⁰ (S ¹ (F _I ))+G ⁰ (S ² (F _R ))+G ⁰ (S ³ (F _L )) (3 - 5)

其中，S ¹ _、 S ² _、 S ³ 为自注意力模块，G ⁰ 为共享全局注意力模块。

根据置信度阈值，对多传感器融合特征F _IRL 进行置信度预测Prediction，并对预测结果进行NMS非极大值抑制后得到模型预测结果Q。

Q=NMS(Prediction(F _IRL )) (3 - 6)

步骤S40进一步包括：

S41、基于模型预测结果Q的预测目标位置和标签真值G的实际目标位置，利用位置误差损失函数计算位置误差损失值L _loc 。该位置误差损失函数可以为IoU损失函数，也可以为DIoU损失函数。

其中，IoU为模型预测结果Q和标签真值G的交并比，p ² (Q,G)为模型预测结果Q和标签真值G中心点的欧氏距离，c ² 为模型预测结果Q和标签真值G的边框大小之和。

S42、基于模型预测结果Q的预测目标置信度和标签真值G的实际目标置信度，利用交叉熵函数CrossEntropy计算置信度损失值L _conf ：

L _conf =CrossEntropy(Q,G) (4 - 2)

S43、基于模型预测结果Q的预测目标分类和标签真值G的实际目标分类，利用交叉熵函数CrossEntropy计算分类损失值L _cls ：

L _cls =CrossEntropy(Q,G) (4 - 3)

S44、将位置误差损失值L _loc 、置信度损失值L _conf 及分类损失值L _cls 相加得到模型总损失L，将模型总损失L进行模型反向传播，更新多传感器融合检测模型权重。模型总损失L的计算公式为：

L=a ₁ *L _loc +a ₂ *L _conf +a ₃ *L _cls (4 - 4)

其中，a ₁、a ₂、a ₃为超参数。

如图5所示，在本发明实施例中，多传感器融合检测模型是由设置在远端的深度学习云服务器训练得到的，无人船在对水域场景进行目标检测前，需要从深度学习云服务器上获取训练好的多传感器融合检测模型权重，加载到无人船内存单元，无人船再执行步骤S100、步骤S200而实现目标检测。当然，在本发明的其他实施例中，多传感器融合检测模型也可以通过无人船进行训练。

S100，实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据。

无人船的传感器单元包括有一个或多个相机、多线激光雷达、若干个毫米波雷达以及惯性测量单元（IMU）等，通过对相机的摄像头进行图像ISP处理后得到相机图像数据，根据雷达数据协议解析得到激光雷达点云位置数据和毫米波雷达点云位置数据，通过卡尔曼滤波算法对IMU噪声进行过滤得到高精度IMU数据。

S200，将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果。

首先，将步骤S100获取的相机图像数据、毫米波雷达数据、激光雷达数据输入预处理单元中进行数据预处理，数据预处理过程可参考步骤S20中的数据预处理过程，这里不再赘述。

然后，将预处理后的相机图像数据、毫米波雷达数据、激光雷达数据输入至无人船计算单元中，无人船计算单元调用无人船内存单元中的多传感器融合检测模型进行推理，得到实时融合感知检测结果。

需要说明的是，无人船计算单元可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

如图6所示，在本发明一个实施例中，基于多传感器融合的无人船感知目标检测装置包括有数据获取模块10、感知检测模块20以及用于训练所述多传感器融合检测模型的模型训练模块30。

数据获取模块10，用于实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据。

感知检测模块20，用于将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果。

模型训练模块30包括有数据获取单元31、数据预处理单元32、特征融合检测单元33、模型权重更新单元34以及迭代更新单元35。

数据获取单元31，用于获取无人船的多传感器原始数据D和标签真值G；

数据预处理单元32，用于对多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L进行数据同步和数据预处理，得到用于模型输入的相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´；

特征融合检测单元，用于将相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´输入至特征提取模型进行特征提取，将提取的特征进行特征融合检测得到模型预测结果Q；

模型权重更新单元34，用于基于模型预测结果Q和标签真值G计算模型损失值，根据模型损失值进行神经网络模型的反向传递，更新多传感器融合检测模型权重；

迭代更新单元35，用于控制数据预处理单元32、特征融合检测单元33及模型权重更新单元34重复执行，并进行迭代更新，直至模型损失值达到迭代阈值时停止迭代得到训练好的多传感器融合检测模型。

以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (10)

1.一种基于多传感器融合的无人船感知目标检测方法，其特征在于，所述基于多传感器融合的无人船感知目标检测方法包括有步骤：

S100，实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；

S200，将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果；

训练所述多传感器融合检测模型包括有如下步骤：

S10，获取无人船的多传感器原始数据D和标签真值G；

S20，对多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L进行数据同步和数据预处理，得到用于模型输入的相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´；

S30，将相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´输入至特征提取模型进行特征提取，将提取的特征进行特征融合检测得到模型预测结果Q；

S40，基于模型预测结果Q和标签真值G计算模型损失值，根据模型损失值进行神经网络模型的反向传递，更新多传感器融合检测模型权重；

重复执行步骤S20至步骤S40，并进行迭代更新，直至模型损失值小于迭代阈值时停止迭代得到训练好的多传感器融合检测模型。

2.如权利要求1所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S10进一步包括：

对无人船搭载的相机、毫米波雷达、激光雷达及惯性测量单元进行外参标定并获取外参矩阵T；

以无人船的上电时刻位置为原点，以无人船前朝向为y轴正方向，无人船右朝向为x轴正方向建立无人船坐标系；

获取无人船在不同水域场景下采集的传感器原始数据，传感器原始数据包括相机图像数据、毫米波雷达数据、激光雷达数据以及IMU数据；

获取无人船在相同水域场景下，不同天气、不同光线条件、不同季节下采集的传感器原始数据；

对获取的相机图像数据进行目标检测标注得到标签真值G。

3.如权利要求2所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S20进一步包括：

基于多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L，通过最近邻时间戳计算获取最近邻时刻的相机图像数据I ₁、毫米波雷达数据R ₁和激光雷达数据L ₁；

对相机图像数据I ₁进行图像亮度增强操作和去噪处理操作得到相机图像数据I´；

对毫米波雷达数据R ₁和激光雷达数据L ₁进行点云滤波，通过直通滤波算法和密度滤波算法去除噪点，得到过滤后的毫米波雷达点云R ₂ 和激光雷达点云L ₂ ；

对激光雷达点云L ₂ 进行体素滤波降采样得到激光雷达数据L´；

基于毫米波雷达点云R ₂ 及IMU数据中的俯仰数据计算新的毫米波雷达点云R´₂；

利用外参矩阵T将毫米波雷达点云R´₂投影到图像平面与图像空间对齐，得到点云投影结果R ₃；

基于点云投影结果R ₃，根据雷达的点云距离，点云速度，点云能量进行高斯分布计算得到三通道点云灰度图像，将三通道点云灰度图像拼接得到毫米波雷达数据R´。

4.如权利要求3所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S30进一步包括：

将相机图像数据I´输入至图像特征提取网络进行特征提取得到图像数据特征F _I ；

将毫米波雷达数据R´输入至毫米波雷达特征提取网络进行特征提取得到毫米波雷达数据特征F _R ；

将激光雷达数据L´输入至激光雷达特征提取网络进行特征提取得到激光雷达数据特征F _L ；

将图像数据特征F _I 、毫米波雷达数据特征F _R 及激光雷达数据特征F _L 输入特征融合检测模块进行特征融合检测得到模型预测结果Q。

5.如权利要求4所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述特征融合检测模块基于注意力模块进行构建，所述将图像数据特征F _I 、毫米波雷达数据特征F _R 及激光雷达数据特征F _L 输入特征融合检测模块进行特征融合检测得到模型预测结果Q进一步包括：

将图像数据特征F _I 、毫米波雷达数据特征F _R 及激光雷达数据特征F _L 分别输入对应的自注意力模块进行处理；

通过共享全局注意力模块对经过自注意力模块处理后的图像数据特征F _I 、毫米波雷达数据特征F _R 及激光雷达数据特征F _L 进行特征融合，得到多传感器融合特征F _IRL ；

基于置信度阈值，对多传感器融合特征F _IRL 进行置信度预测，并对预测结果进行非极大值抑制后得到模型预测结果Q。

6.如权利要求4或5所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述图像特征提取网络为基于残差网络结构的卷积神经网络或者基于注意力机制的多头注意力神经网络；所述毫米波雷达特征提取网络为用于捕获浅层雷达密度特征的浅层卷积神经网络；所述激光雷达特征提取网络为基于共享权重的点云提取网络或者基于三维卷积的点云卷积网络。

7.如权利要求1所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S40进一步包括：

基于模型预测结果Q的预测目标位置和标签真值G的实际目标位置，利用位置误差损失函数计算位置误差损失值；

基于模型预测结果Q的预测目标置信度和标签真值G的实际目标置信度，利用交叉熵函数计算置信度损失值；

基于模型预测结果Q的预测目标分类和标签真值G的实际目标分类，利用交叉熵函数计算分类损失值；

将位置误差损失值、置信度损失值及分类损失值相加得到模型总损失，将模型总损失进行模型反向传播，更新多传感器融合检测模型权重。

8.如权利要求7所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述位置误差损失函数为IoU损失函数或者DIoU损失函数。

9.如权利要求1所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S200进一步包括：

对实时获取的相机图像数据、毫米波雷达数据、激光雷达数据进行数据预处理；

将经过数据预处理的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果。

10.一种基于多传感器融合的无人船感知目标检测装置，其特征在于，所述基于多传感器融合的无人船感知目标检测装置包括有：

数据获取模块，用于实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；

感知检测模块，用于将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果；

以及用于训练所述多传感器融合检测模型的模型训练模块，该模型训练模块包括有：

数据获取单元，用于获取无人船的多传感器原始数据D和标签真值G；

数据预处理单元，用于对多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L进行数据同步和数据预处理，得到用于模型输入的相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´；

特征融合检测单元，用于将相机图像数据I´、毫米波雷达数据R´和激光雷达数据L´输入至特征提取模型进行特征提取，将提取的特征进行特征融合检测得到模型预测结果Q；

模型权重更新单元，用于基于模型预测结果Q和标签真值G计算模型损失值，根据模型损失值进行神经网络模型的反向传递，更新多传感器融合检测模型权重；

迭代更新单元，用于控制数据预处理单元、特征融合检测单元及模型权重更新单元重复执行，并进行迭代更新，直至模型损失值达到迭代阈值时停止迭代得到训练好的多传感器融合检测模型。

Images