CN113963240B - 多源遥感图像融合目标综合检测方法 - Google Patents

Abstract

本发明公开的一种多源遥感图像融合目标综合检测方法，检测准确率和可靠性高。本发明通过下述技术方案实现：基于目标综合检测，输入配对的可见光和红外对地观测图像数据，构建可见光、红外单源和多源目标检测数据集，根据各个数据集的训练样本，分别构建可见光、红外单源和图像特征级融合的多源目标检测网络模型；多源目标检测网络模型提取不同源的互补特征进行交互学习，获得多尺度的多源融合特征，基于多尺度检测网络预测目标在图像中的位置和类别；将单源、多源测试数据集分别输入单源、多源目标检测模型，模型输出对应单源和多源的目标检测结果，根据目标关联的检测结果，决策级融合输出目标综合检测结果。

Description

多源遥感图像融合目标综合检测方法

技术领域

本发明涉及一种广泛应用于遥感、计算机视觉、图像处理等领域，尤其是应用于低空无人机、航空飞机、卫星等平台获取的遥感图像的目标检测方法。

背景技术

目标检测是计算机视觉领域一个基础和重要的关键技术，近些年受到了非常广泛的关注，已经被广泛应用于智能视频监控、智慧交通、机器人视觉导航、医学诊断、自动驾驶等多个行业中。目标检测的目的是在给定的一副图像中从背景里分离出感兴趣的目标，并确定感兴趣目标的位置和类别；近些年，基于遥感图像的目标检测也逐渐成为一个重要的技术研究领域，常用于多种对地观测场景中对车辆、船只、行人等目标的快速检测和跟踪。

传统的目标检测算法通常利用滑动窗口的方式寻找目标可能存在的区域，然后利用人工设计的特征从相应区域中提取图像的特征；常见的人工设计特征包括描述局部信息的尺度不变特征变换SIFT(Scale-invariant feature transform)特征和描述全局信息的方向梯度直方图HOG(Histogram of Oriented Gradient)特征等，最后利用分类器根据提取到的特征划分出目标和背景类别；但是这些方法提取的特征通常存在针对性不足、时间复杂度较高、特征鲁棒性较差等缺点，难以准确描述复杂多样的图像特征；针对人工设计特征的局限性，由于深度卷积神经网络可以自动地从图像中提取高层语义特征，具有更强的学习能力和鲁棒性，用于目标检测能获得更高的检测精度，目前基于深度卷积神经网络的目标检测方法已经成为了主流的目标检测技术手段。

由于可见光图像易于获取、图像分辨率较高、对比度较强、能够反映出更多的颜色和纹理等细节信息，可见光图像成为了目标检测方法中最常用的遥感数据源之一；但是，可见光图像的成像质量极易受到光照强度、天气等条件的影响，不具备24小时工作的能力，例如在夜晚、阴影、云雾遮挡等条件下，图像成像质量下降，难以获得有效的目标信息，影响目标检测的效果；在此情况下，可以使用红外传感器获取的红外图像作为观测数据源，红外传感器可以探测到人眼无法感知的红外波长，获得的红外图像的亮度值与物体的温度有关，通常亮度越高的区域代表该区域具有更高的温度；红外图像的获取不易受极端天气的影响，在夜晚、阴影、云雾遮挡等观测条件下，图像依然能够获取有效的目标信息，具备24小时工作能力。但是与可见光图像相比，红外图像的分辨率和对比度通常较低，纹理细节信息较少，在光线充足、无遮挡的良好观测条件下，可见光图像通常能获得更清晰、更丰富的目标信息。

因此，单一传感器获取的图像信息均具有各自的局限性和片面性,无法满足实际复杂场景条件下的目标检测要求，这是单源遥感图像目标识别技术广泛实用化的一大阻碍；如果能将多源图像数据进行融合，充分利用多源图像的关键信息和互补性，挖掘出新的有意义的信息，弥补单源图像信息的不足，从而提升目标检测的效果，这是目标检测中的一个研究热点和难点问题；目前，基于多源遥感图像融合的目标检测方法主要围绕三个层次进行图像信息的融合，包括像素级融合、特征级融合和决策级融合；基于像素级融合的目标检测通常是对多源原始图像的对应像素值进行处理和融合，得到融合后可视化的图像，再进行独立的目标检测操作；特征级融合将融合特征学习融入进目标检测框架中，对从多源图像中提取的特征进行处理和融合，基于融合后的特征表示进行检测；决策级融合通常是对单源图像各自的目标检测结果采用一定的规则和算法进行处理和融合；像素级融合对多源图像的像素对齐精度要求很高，细微的像素对齐误差都会明显影响融合和后续目标检测的结果；特征级融合和决策级融合对像素对齐误差的容忍度相对较高。

现阶段，虽然基于多源融合的深度学习目标检测方法开始涌现，但仍处于起步阶段，尚无通用的融合理论和方法，还面临很多问题和困难，主要体现在如下方面：

1)像素级融合的目标检测依赖精确的图像配准，多源图像精确自动配准仍是难题，在实际应用中,成像机理不同的多源遥感图像的精校正和图像间的配准十分复杂,难以确保其配准精度，继而影响目标检测结果；

2)特征级融合的目标检测通常直接对单源特征进行简单叠加等操作，再进行目标检测，缺乏对多源特征间互补关系的研究和挖掘，方法的适用范围和稳定性受到制约；

3)特征级融合的方法依赖于多源图像的成像质量，例如在某一源成像质量较差等极端情况下，特征级融合后的特征可能会弱化有效的其他源图像的特征，影响目标检测的结果。

因此，解决多源遥感图像融合过程中存在的上述问题，已成为本领域技术人员的重要课题之一。本发明讨论的多源数据包括但不仅限于可见光、红外图像。

发明内容

本发明针对复杂背景的光学遥感图像和现有技术存在的不足之处，提供一种能够提升复杂场景目标检测效果、更为智能、准确率和可靠性高的基于多源图像融合的目标综合检测方法。

为实现上述目的，本发明采用以下的技术方案：一种多源遥感图像融合目标综合检测方法，其特征在于包括如下步骤：

利用飞行器、卫星对地观测平台上搭载的可见光、红外传感器获得观测同一区域配对的可见光Image_VIS和红外图像Image_IR，基于单源检测、多源检测以及决策级融合的目标综合检测，输入一一配对的可见光和红外对地观测图像数据，进行图像分辨率统一和配准，同时对遥感图像上的目标进行标注，根据统一分辨率和配准后的图像以及标注信息，制作可见光、红外、可见光-红外图像对三种遥感单源和多源目标检测数据集，并划分训练集、验证集和测试集；基于深度神经网络，使用单源目标检测数据集的训练集样本，分别训练可见光和红外单源目标检测网络，根据可见光、红外单源和多源目标检测数据集的训练集样本，分别构建可见光、红外单源和多源图像特征级融合的多源目标检测网络模型，多源目标检测网络提取不同源的多尺度互补特征进行交互学习，对多个对应特征层获取的多源特征进行自适应加权，得到多尺度的多源融合特征；对于多尺度的多源融合特征图，多尺度检测网络运用卷积预测器进行处理，获得目标位置和类别的预测结果；将单源可见光数据、红外数据和多源可见光-红外数据对测试集数据分别输入可见光和红外单源目标检测模型、多源目标检测模型，模型分别输出可见光图像和红外图像单源目标检测结果和多源目标检测结果，将多源图像目标检测结果分别和可见光、红外单源图像目标检测结果进行目标关联，获得映射到对应可见光和红外图像上的关联结果，对可见光和红外图像上的关联结果进行决策级融合，得到最终的目标综合检测结果。

本发明相比于现有技术，具有如下有益效果：

本发明构建单源检测、多源检测以及决策级融合的目标综合检测方法，该方法获取可见光、红外多源遥感图像数据，对统一分辨率后的可见光和红外图像进行图像的配准处理，有助于后续多源遥感图像获取目标更为精确、全面的信息；相比于单一数据而言，本发明采用的多源遥感数据融合方法可以挖掘出地面目标的多维特征，同时保留单源数据的特性，弥补了单一来源数据难以适应多种复杂场景的不足，从而提高目标检测的准确率和可靠性。

本发明利用可见光和红外图片信息进行多层次的特征级融合，充分利用不同源数据的互补特征，对不同源的多个对应特征层获取的特征进行自适应加权得到多尺度的多源融合特征，基于卷积神经网络的单次多框检测器SSD(Single Shot MultiBox Detector)网络的检测模块对于每一种尺度的多源融合特征图，运用卷积预测器进行处理，预测输入图像中目标的类别以及目标所在图像中的位置；这种多源特征融合的方法能综合利用多源遥感图像可抽取的更具价值的信息,提升对多尺度目标的感知能力和提升复杂场景中典型目标的检测效果，相比像素级融合方法，多源特征融合方法对像素的对齐误差具有更高的容忍度。

本发明使用单源图像和多源图像、使用不同的算法框架分别构建单源和多源检测模型，获得可见光图像、红外图像的单源检测结果和多源特征融合的目标检测结果，实现集成学习的效果，保留单源图像的检测能力的同时结合多源图像特征级融合检测能力，提升在复杂背景下检测性能。

本发明将多源目标检测结果分别和可见光、红外单源检测进行关联，将关联结果进行决策级融合，最后采用决策级融合方法获得综合检测结果，结合了特征级融合和决策级融合方法的优点，构建了一个更有效的目标综合检测方法，提升在复杂背景、极端环境下检测方法的适应性和鲁棒性。

附图说明

图1是多源遥感图像融合目标综合检测方法流程图；

图2是多源目标检测网络示意图。

以下参照附图，进一步描述本发明的技术方案。

具体实施方式

参阅图1。根据本发明，利用飞行器、卫星对地观测平台上搭载的可见光、红外传感器获得观测同一区域配对的可见光Image_VIS和红外图像Image_IR，基于单源检测、多源检测以及决策级融合的目标综合检测，输入一一配对的可见光和红外对地观测图像数据，并进行图像分辨率统一和配准，同时对遥感图像上的目标进行标注，根据统一分辨率和配准后的图像以及标注信息，制作可见光、红外、可见光-红外图像对三种遥感单源和多源目标检测数据集，并划分训练集、验证集和测试集；基于深度神经网络，根据可见光、红外单源和多源目标检测数据集的训练集样本，分别构建可见光、红外单源检测网络模型和多源图像特征级融合的多源目标检测网络模型；多源目标检测网络模型提取不同源的多尺度互补特征进行交互学习，对多个对应特征层获取的特征进行自适应加权，得到多尺度的多源融合特征，根据多尺度的多源融合特征图，运用卷积预测器进行处理，基于SSD网络检测模块获得不同尺度下目标位置和类别的预测结果，采用非极大值抑制算法综合多尺度预测结果得到输出检测结果；将单源可见光数据、红外数据和多源可见光-红外数据对测试集数据分别输入可见光和红外单源目标检测模型、多源目标检测模型，获得可见光图像和红外图像单源目标检测结果和多源目标检测结果，然后将多源图像目标检测结果分别和可见光、红外单源图像目标检测结果进行目标关联，获得映射到对应可见光和红外图像上的关联结果，对可见光和红外图像上关联后的结果进行决策级融合，得到最终的目标综合检测结果。

在可选的实施例中，采用如下步骤：

步骤1：利用无人机、航空飞机、卫星等对地观测平台上搭载的可见光、红外传感器获得同一区域配对的可见光图像Image_VIS和红外图像Image_IR；通常可见光图像的图像分辨率高于红外图像。

步骤2：对可见光图像数据集和红外图像数据集中的图像对进行分辨率统一以及图像配准操作,获得统一分辨率和配准后的可见光和红外图像对；具体来说，由于可见光图像通常具有比红外图像更高的图像分辨率，多源检测数据集要求配对图像具有相同的尺寸。采用下采样技术将可见光图像变换到红外图像的分辨率，然后采用图像配准技术，获得可见光图像和红外图像间的同名点，图像配准算法通过计算映射矩阵，计算出映射后的图像，实现图片配准。

步骤3：分别对统一分辨率和配准后的可见光图像和红外图像中目标的位置和类别进行标注，目标框和类别共同构成图像的标签，可见光图像及相应的标签构成可见光单源目标检测数据集S1，红外图像及相应的标签构成红外单源目标检测数据集S2，可见光-红外图像对及相应的标签构成多源目标检测数据集S3，并将单源和多源数据集中对应样本划分成训练集、测试集和验证集。

步骤4：使用主流的基于深度神经网络的目标检测算法来构建单源目标检测模型，包括但不限于经典的目标检测算法YOLOv4(You Only Look Once version 4)、更快速区域卷积神经网络Faster R-CNN(Faster Region-based Convolutional Neural Networks)等模型，这里以目标检测算法YOLOv4为例子进行阐述；基于训练集数据训练目标检测网络YOLOv4，首先训练可见光图像的单源目标检测模型，输入可见光单源目标检测数据集S1中的训练图像和标注，根据验证集中表现确定模型最优参数，得到可见光单源检测模型Model_VIS；类似的，输入红外单源目标检测数据集S2中的训练图像和对应的标注信息，训练基于目标检测网络YOLOv4的红外图像单源目标检测模型，根据模型在验证集图像上的检测结果调整模型参数，获得红外单源检测模型Model_IR。

步骤5：使用多源目标检测数据集S3中的训练集样本训练多源目标检测网络模型Model_Multi。具体来说，多源目标检测网络模型如附图2所示。

参阅图2。多源目标检测网络模型主要包括互补特征提取网络和多尺度检测网络两个组成部分：互补特征提取网络中，可见光和红外图像的特征分别由两个基于残差网络的分支网络学习，每个分支由若干个串联的残差模块组成，在可见光和红外图像特征提取网络分支间设置互补特征交互学习模块，将若干互补特征学习模块嵌入到网络各分支的残差模块间，根据不同源数据特征间的差异，提取不同源间的互补特征，融入单源数据特征的学习，生成具有新的空间、高维特征的融合特征，获得比单一来源数据更全面的信息。

(1)互补特征提取网络：为了充分利用可见光和红外图像不同模态的信息，互补特征提取网络将残差网络作为特征提取基础框架，分别针对可见光和红外输入图像构建双通道特征提取层，提取可见光和红外图像由浅到深的多层次特征，在可见光和红外图像特征提取网络分支间设置互补特征交互学习模块，根据不同源数据特征间的差异，提取互补特征并丰富单源数据特征，逐渐获得具有另一源信息的多源融合特征。

从网络结构来说，可见光和红外图像的特征分别由两个基于残差网络的分支网络学习，两个网络通过互补特征学习模块学习多源互补特征；具体来说，以50层深度残差网络ResNet-50(Deep Residual Network)为例(也可以使用101层深度残差网络ResNet-101等其他特征提取网络)，可见光和红外图像通过两个残差网络构建顺次串联的若干个残差模块，并在可见光与红外图像网络分支中上并联互补特征学习模块，将互补特征学习模块嵌入到残差模块中，互补特征学习模块通过若干残差模块学习融合特征，按照一定规则进行运算处理，生成具有新的空间、高维特征的合成融合特征，获得比任何单一来源数据更多维的信息，以达到对目标和场景的综合、完整描述；可见光与红外图像分支通过残差模块输入特征T_VIS和T_IR，经过若干层嵌入互补特征学习模块的残差模块，获得由浅到深的融入了多源互补特征的可见光图像特征和红外图像特征；通过任意一个残差模块后，融合了互补特征的可见光和红外新特征分别为

和

式中，

T_VIS和T_IR分别代表可见光和红外网络分支中上一个残差模块层输出的特征，T_D代表可见光和红外特征的差值，B_VIS和B_IR分别代表可见光和红外网络分支中当前特征交互模块学习到的互补特征，G代表残差函数，

代表元素求和操作，⊙代表元素相乘操作，δ代表激活函数，P代表池化操作。

(2)多尺度检测网络：为了提升网络对不同尺度目标的检测性能，可见光和红外互补特征提取网络将间隔若干层的不同深度的特征图构成多尺度特征，对不同源的多个对应特征层获取的特征进行自适应加权得到多尺度的多源融合特征，输入多尺度检测网络中进行目标检测。

对于每一种尺度的多源融合特征图，基于卷积神经网络的单次多框检测器SSD(Single Shot MultiBox Detector)检测模块的多尺度检测网络运用卷积预测器，预测输入图像中目标的类别以及目标所在图像中的位置，然后综合在多个尺度特征图上获得的目标类别以及位置的预测信息，采用非极大值抑制算法，去除冗余的目标预测边界框，得到检测结果。

为了平衡目标检测中正负样本个数不均衡的问题，多源目标检测网络模型采用基于焦点权重(focal weight)的分类损失函数，采用如下计算公式计算分类损失函数L₁：

λ＞0和β＞0

目标框坐标偏移量的回归损失L₂使用经典目标检测算法Faster R-CNN(FasterRegion-based Convolutional Neural Networks)网络的回归损失

得到多源目标检测网络模型的损失函数为

其中，λ表示损失项平衡参数，q_i代表输入样本i为正类的概率，β表示可调焦参数，N⁺代表正样本集合，N^-代表负样本集合，R代表平滑L1范数损失(Smooth L1 Loss)函数，l_i是预测边界框的4个参数化坐标构成的向量，g_i是和正类候选框对应的真实目标框的4个参数化坐标，i∈N⁺代表回归损失只针对正类的候选框进行计算。

输入可见光-红外图像对数据集S3训练集中的图片和标注，多源检测网络根据上述的损失函数，采用自适应矩估计Adam(Adaptive Moment Estimation)优化器对网络进行训练，使损失函数值逐渐下降，当损失函数值稳定后，根据模型在验证集中的性能进行参数调整，获得多源检测网络模型Model_Multi。

步骤6：单源可见光检测模型Model_VIS、红外检测模型Model_IR和多源检测模型Model_Multi分别根据输入的单源可见光数据集S1、红外数据集S2和多源数据集S3的测试集图像，输出对应的可见光图像单源检测结果Pred_VIS、红外图像单源检测结果Pred_IR和多源检测结果Pred_Multi。

步骤7：基于上述多种检测结果，目标关联算法实现对多源目标检测结果分别与可见光、红外单源检测结果的目标关联，输出映射到对应可见光和红外图像上的关联结果，目标关联算法介绍如下：将交并比IoU(Intersection over Union)定义为两个预测目标框边界交集的面积与并集的面积的比值；以多源结果Pred_Multi和可见光单源检测结果Pred_VIS关联为例，以可见光图像上Pred_VIS检测结果为基准，依次遍历和计算Pred_Multi和Pred_VIS中的预测目标框之间的交并比IoU，以Pred_Multi中第j个预测目标框

为例，对Pred_VIS中所有与

的IoU值进行排序，若最大的IoU值大于设定阈值，则将最大的IoU值对应的多源预测目标框

和单源预测目标框

关联为同一目标，设定相同的ID号，计算两个目标框

和

坐标的均值并将其作为关联后目标框在可见光图像上的坐标值，并剔除可见光图像上原始单源目标框

若最大的IoU值小于设定阈值，将多源预测目标框

直接投影到可见光图像上，并赋予新的ID号；再继续对Pred_Multi中的第j+1个预测目标框

进行上述关联操作，直到遍历完Pred_Multi中所有预测目标框，得到映射到可见光图像上的多源和可见光单源检测关联结果Pred_VIS_Fus；多源和红外单源检测结果关联方法与上述相同，得到关联结果Pred_IR_Fus。

步骤8：根据关联后的检测结果Pred_VIS_Fus和Pred_IR_Fus，采用决策级融合算法得到目标综合检测结果；具体来说，以Pred_VIS_Fus结果为基准，决策级融合算法计算Pred_IR_Fus中每个预测目标框与Pred_VIS_Fus中的预测目标框两两之间的交并比，并对Pred_IR_Fus中的每个目标框相关的交并比值进行排序，例如对于与Pred_IR_Fus中的第i个预测目标框

相关的交并比，若存在大于设定阈值且最大交并比对应的两个目标框中至少存在一个目标框的置信度大于设定阈值，则计算两个目标框坐标的均值作为融合后目标框坐标，将融合后目标框加入决策级融合后的目标框集合Pred_Fus，并从Pred_VIS_Fus和Pred_IR_Fus中剔除相应的两个目标框；继续对Pred_IR_Fus中的第i+1个预测目标框重复上述操作，直到遍历完所有Pred_VIS_Fus的目标框后，剔除掉Pred_IR_Fus和Pred_VIS_Fus中置信度小于设定阈值的目标框，将剩余的目标框加入到融合后的检测目标框集合Pred_Fus中，得到目标综合检测后的最终输出结果。

Claims (8)

1.一种多源遥感图像融合目标综合检测方法，其特征在于包括如下步骤：

利用飞行器、卫星对地观测平台上搭载的可见光、红外传感器获得观测同一区域配对的可见光Image_VIS和红外图像Image_IR，基于单源检测、多源检测以及决策级融合的目标综合检测，输入一一配对的可见光和红外对地观测图像数据，进行图像分辨率统一和配准，同时对遥感图像上的目标进行标注，根据统一分辨率和配准后的图像以及标注信息，制作可见光、红外、可见光-红外图像对三种遥感单源和多源目标检测数据集，并划分训练集、验证集和测试集；基于深度神经网络，使用单源目标检测数据集的训练集样本，分别训练可见光和红外单源目标检测网络，根据可见光、红外单源和多源目标检测数据集的训练集样本，分别构建可见光、红外单源和多源图像特征级融合的多源目标检测网络模型，多源目标检测网络模型主要包括互补特征提取网络和多尺度检测网络两个组成部分；互补特征提取网络中，可见光和红外图像的特征分别由两个基于残差网络的分支网络学习，每个分支由若干个串联的残差模块组成，在可见光和红外图像特征提取网络分支间设置互补特征交互学习模块，将若干互补特征学习模块嵌入到网络各分支的残差模块间，根据不同源数据特征间的差异，提取不同源间的互补特征，融入单源数据特征的学习，生成具有新的空间、高维特征的融合特征，获得比单一来源数据更全面的信息；为了提升网络对不同尺度目标的检测性能，可见光和红外互补特征提取网络将间隔若干层的不同深度的特征图构成多尺度特征，对不同源的多个对应特征层获取的特征，进行自适应加权得到多尺度的多源融合特征，输入多尺度检测网络中进行目标检测；对于多尺度的多源融合特征图，多尺度检测网络运用卷积预测器进行处理，获得目标位置和类别的预测结果；将单源可见光数据、红外数据和多源可见光-红外数据对测试集数据分别输入可见光和红外单源目标检测模型、多源目标检测模型，模型分别输出可见光图像和红外图像单源目标检测结果和多源目标检测结果，将多源图像目标检测结果分别和可见光、红外单源图像目标检测结果进行目标关联，获得映射到对应可见光和红外图像上的关联结果，对可见光和红外图像上的关联结果进行决策级融合，得到最终的目标综合检测结果。

2.如权利要求1所述的多源遥感图像融合目标综合检测方法，其特征在于：采用下采样技术将可见光图像变换到红外图像的分辨率，然后采用图像配准技术，获得可见光图像和红外图像间的同名点，图像配准算法通过计算映射矩阵，计算出映射后的图像，实现图片配准；分别对统一分辨率和配准后的可见光图像和红外图像中目标的位置和类别进行标注，目标框和类别共同构成图像的标签，可见光图像及相应的标签构成可见光单源目标检测数据集S1，红外图像及相应的标签构成红外单源目标检测数据集S2，可见光-红外图像对及相应的标签构成多源目标检测数据集S3，并将单源和多源数据集中对应样本划分成训练集、测试集和验证集。

3.如权利要求1所述的多源遥感图像融合目标综合检测方法，其特征在于：基于深度神经网络的目标检测算法YOLOv4(You Only Look Once version 4)来构建单源目标检测模型，基于训练集数据训练目标检测网络YOLOv4，首先训练可见光图像的单源目标检测模型，输入可见光单源目标检测数据集S1中的训练图像和标注，根据验证集中表现确定模型最优参数，得到可见光单源检测模型Model_VIS；类似的，输入红外单源目标检测数据集S2中的训练图像和对应的标注信息，训练基于目标检测网络YOLOv4的红外图像单源目标检测模型，根据模型在验证集图像上的检测结果调整模型参数，获得红外单源检测模型Model_IR；使用多源目标检测数据集S3中的训练集样本训练多源目标检测网络模型Model_Multi，多源目标检测网络模型主要包括互补特征提取网络和多尺度检测网络两个组成部分。

4.如权利要求1所述的多源遥感图像融合目标综合检测方法，其特征在于：可见光与红外图像分支通过残差模块输入特征T_VIS和T_IR，经过若干层嵌入互补特征学习模块的残差模块，获得由浅到深的融入了多源互补特征的可见光图像特征和红外图像特征；通过任意一个残差模块后，融合了互补特征的可见光和红外新特征分别为

和

式中，

T_VIS和T_IR分别代表可见光和红外网络分支中上一个残差模块层输出的特征，T_D代表可见光和红外特征的差值，B_VIS和B_IR分别代表可见光和红外网络分支中当前特征交互模块学习到的互补特征，G代表残差函数，

代表元素求和操作，⊙代表元素相乘操作，δ代表激活函数，P代表池化操作。

5.如权利要求1所述的多源遥感图像融合目标综合检测方法，其特征在于：对于每一种尺度的多源融合特征图，基于卷积神经网络的单次多框检测器SSD(Single Shot MultiBoxDetector)检测模块的多尺度检测网络运用卷积预测器，预测输入图像中目标的类别以及目标所在图像中的位置，然后综合在多个尺度特征图上获得的目标类别以及位置的预测信息，采用非极大值抑制算法，去除冗余的目标预测边界框，得到检测结果。

6.如权利要求1所述的多源遥感图像融合目标综合检测方法，其特征在于：多源目标检测网络模型采用基于焦点权重(focal weight)的分类损失函数，采用如下计算公式计算分类损失函数L₁：

λ＞0和β＞0

目标框坐标偏移量的回归损失L₂使用经典目标检测算法Faster R-CNN(FasterRegion-based Convolutional Neural Networks)网络的回归损失

得到多源目标检测网络模型的损失函数为

其中，λ表示损失项平衡参数，q_i代表输入样本i为正类的概率，β表示可调焦参数，N⁺代表正样本集合，N^-代表负样本集合，R代表平滑L1范数损失(Smooth L1 Loss)函数，l_i是预测边界框的4个参数化坐标构成的向量，g_i是和正类候选框对应的真实目标框的4个参数化坐标，i∈N⁺代表回归损失只针对正类的候选框进行计算。

7.如权利要求6所述的多源遥感图像融合目标综合检测方法，其特征在于：输入可见光-红外图像对数据集S3训练集中的图片和标注，多源检测网络根据上述的损失函数，采用自适应矩估计Adam(Adaptive Moment Estimation)优化器对网络进行训练，使损失函数值逐渐下降，当损失函数值稳定后，根据模型在验证集中的性能进行参数调整，获得多源检测网络模型Model_Multi；单源可见光检测模型Model_VIS、红外检测模型Model_IR和多源检测模型Model_Multi分别根据输入的单源可见光数据集S1、红外数据集S2和多源数据集S3的测试集图像，输出对应的可见光图像单源检测结果Pred_VIS、红外图像单源检测结果Pred_IR和多源检测结果Pred_Multi；基于上述多种检测结果，目标关联算法实现对多源目标检测结果分别与可见光、红外单源检测结果的目标关联，输出映射到对应可见光和红外图像上的关联结果，目标关联算法的步骤是：将交并比IoU(Intersection over Union)定义为两个预测目标框边界交集的面积与并集的面积的比值；当多源结果Pred_Multi和可见光单源检测结果Pred_VIS关联时，以可见光图像上Pred_VIS检测结果为基准，依次遍历和计算Pred_Multi和Pred_VIS中的预测目标框之间的交并比IoU，对于Pred_Multi中第j个预测目标框

对Pred_VIS中所有与

的IoU值进行排序，若最大的IoU值大于设定阈值，则将最大的IoU值对应的多源预测目标框

和单源预测目标框

关联为同一目标，设定相同的ID号，计算两个目标框

和

坐标的均值并将其作为关联后目标框在可见光图像上的坐标值，并剔除可见光图像上原始单源目标框

若最大的IoU值小于设定阈值，将多源预测目标框

直接投影到可见光图像上，并赋予新的ID号；再继续对Pred_Multi中的第j+1个预测目标框

进行上述关联操作，直到遍历完Pred_Multi中所有预测目标框，得到映射到可见光图像上的多源和可见光单源检测关联结果Pred_VIS_Fus；多源和红外单源检测结果关联方法与上述相同，得到关联结果Pred_IR_Fus。

8.如权利要求7所述的多源遥感图像融合目标综合检测方法，其特征在于：根据关联后的检测结果Pred_VIS_Fus和Pred_IR_Fus，采用决策级融合算法得到目标综合检测结果；具体来说，以Pred_VIS_Fus结果为基准，决策级融合算法计算Pred_IR_Fus中每个预测目标框与Pred_VIS_Fus中的预测目标框两两之间的交并比，并对Pred_IR_Fus中的每个目标框相关的交并比值进行排序，对于与Pred_IR_Fus中的第i个预测目标框

相关的交并比，若存在大于设定阈值且最大交并比对应的两个目标框中至少存在一个目标框的置信度大于设定阈值，则计算两个目标框坐标的均值作为融合后目标框坐标，将融合后目标框加入决策级融合后的目标框集合Pred_Fus，并从Pred_VIS_Fus和Pred_IR_Fus中剔除相应的两个目标框；继续对Pred_IR_Fus中的第i+1个预测目标框重复上述操作，直到遍历完所有Pred_VIS_Fus的目标框后，剔除掉Pred_IR_Fus和Pred_VIS_Fus中置信度小于设定阈值的目标框，将剩余的目标框加入到融合后的检测目标框集合Pred_Fus中，得到目标综合检测后的最终输出结果。

Images