CN112132042A - 基于对抗域适应的sar图像目标检测方法 - Google Patents

Abstract

本发明提出了一种基于对抗域适应的SAR图像目标检测方法，用于解决现有技术在少样本任务中存在的检测精度低的问题，实现步骤为：获取源域数据集和目标域数据集；构建源域目标检测网络；对源域目标检测网络进行迭代训练；获取建议目标区域特征图；构建对抗域适应目标检测网络；对对抗域适应目标检测网络进行迭代训练；获取SAR图像的目标检测结果。本发明在目标检测网络的基础上，加入了对抗域适应模块，约束网络学习SAR图像和光学遥感图像的共有特征，实现了实例级的域适应，缓解了SAR数据量少引起的模型过拟合问题，有效提升了SAR图像目标检测性能。

Description

基于对抗域适应的SAR图像目标检测方法

技术领域

本发明属于雷达图像处理技术领域，涉及一种SAR图像自动目标识别方法，具体涉及一种基于对抗域适应的SAR图像目标检测方法，可用于SAR图像车辆目标检测。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种主动式的对地观测系统，具有全天候、全天时、分辨率高以及穿透力强等特点，因此SAR在环境监测、测绘、对地观测和军事侦察等方面的应用上具有独特的优势，可发挥其他遥感手段难以发挥的作用，因此SAR图像自动目标识别技术越来越受到各国的重视。SAR图像自动目标识别(AutomaticTarget Recognition，ATR)技术已成为处理海量SAR图像数据的关键技术，典型的SAR图像ATR系统通常分为检测、鉴别和识别三个阶段，检测阶段需要检测出可能存在目标的图像区域，鉴别和分类等后续处理将在检测阶段的结果中进行，检测阶段的性能将直接影响后续处理的精度和速度，因此，SAR图像目标检测技术具有很重要的研究价值。

现有的SAR图像目标检测方法可以分为非学习的目标检测算法和基于学习的目标检测算法两类。恒虚警率(Constant false alarm rate，CFAR)算法是一类传统的非学习的目标检测算法，双参数CFAR检测算法是一种改进的CFAR检测方法，也是一种像素级水平的目标检测算法，该方法假设背景杂波的统计分布模型是高斯分布，首先根据给定的虚警概率计算检测的门限值，然后计算待检测像素点的统计检测量，最后将统计检测量与检测门限值进行对比，如果大于门限值就被判定为目标像素点，否则被判定为杂波像素点，最终得到像素级水平的目标检测结果。双参数CFAR算法对图像中的每个像素进行相同操作，因此检测时间较长。同时，该算法需要根据图像中目标的先验信息设置固定尺寸的窗口，当图像中同一目标或不同目标尺寸相差较大时会导致该算法的检测性能下降。

随着深度学习的迅猛发展，基于学习的深度卷积神经网络在图像分割、目标检测和识别等领域取得了广泛并且成功地应用。2014年，Girshick等人成功将卷积神经网络运用在目标检测领域，提出了R-CNN算法，该算法首先采用Selective Search方法得到大约2000个不同尺寸的候选区域，再将这些区域归一化至固定尺寸，然后使用卷积神经网络提取候选区域的特征，采用多个SVM对特征分类，最后进行位置校准。2015年Ren等人提出了Faster R-CNN模型，使用建议区域提取网络(Region Proposal Network，RPN)取代了Selective Search算法完成候选区域的提取，再使用Fast R-CNN检测器在候选区域的基础上做精细检测，完成目标分类和边框回归。该模型将RPN融入Fast R-CNN网络中，实现了端到端的训练模型，极大提高了检测速度。申请公布号为CN106156744A，名称为“基于CFAR检测与深度学习的SAR目标检测方法”的专利申请，公开了一种SAR图像目标检测方法，该方法首先构建包含RPN和Fast R-CNN两个模块的目标检测模型Faster R-CNN，并利用带有标记的训练SAR图像分阶段迭代训练RPN和Fast R-CNN，最终获得训练好的目标检测模型；测试时首先使用CFAR检测算法提取检测切片，再使用训练好的模型对测试检测切片进行目标检测，最后将所有检测切片的目标检测结果在原始SAR图像相对的位置合并，得到测试SAR图像的检测结果。该方法利用了卷积神经网络强大的特征提取能力，取得了较高的目标检测精度。但是该方法依赖于大量的有标记的训练数据，当SAR图像训练数据较少时，容易引起深度模型过拟合的现象，从而降低目标检测精度，该方法在少样本SAR图像目标检测任务中目标检测精度较低。

发明内容

本发明的目的在于针对上述现有技术存在的不足，提出了一种基于对抗域适应的SAR图像目标检测方法，用于解决现有技术中存在的在SAR图像数据量较少时目标检测精度较低的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取源域数据集和目标域数据集：

(1a)对光学遥感图像数据集A＝{A_i|1≤i≤s}中的每幅光学遥感图像A_i进行裁剪，得到I_S幅大小为M×N的光学遥感子图像，每幅光学遥感子图像包含至少一个目标类别，每个目标类别包含至少一个目标，并对每幅光学遥感子图像进行目标边框标记，然后将I_S幅光学遥感子图像及其标签作为源域数据集，其中，s≥10，I_S≥3000；

(1b)对与光学遥感图像场景相似的SAR图像数据集B＝{B_j|1≤j≤t}中的每幅SAR图像B_j进行裁剪，得到I_T幅大小为M×N的SAR子图像，每幅SAR子图像包含至少一个目标类别，每个目标类别包含至少一个目标，并对每幅SAR子图像进行目标边框标记，然后将I_T幅SAR子图像及其标签作为目标域数据集，将半数以上的SAR子图像及其标签作为目标域训练数据集，将其余的SAR子图像及其标签作为目标域测试数据集，其中t≥5，I_T≥130，I_S＞＞I_T；

(2)构建源域目标检测网络Faster R-CNN：

构建包括顺次连接的特征提取网络、建议区域提取网络、感兴趣区域池化层和分类回归网络的源域目标检测网络Faster R-CNN，其中特征提取网络包含多个卷积层和多个池化层，建议区域提取网络包含多个卷积层，分类回归网络包含多个全连接层；源域目标检测网络Faster R-CNN的损失函数为L_Source：

其中,

表示建议区域提取网络的损失函数，

为分类回归网络的损失函数，

和

分别为建议区域提取网络对建议目标区域的分类交叉熵损失和边框回归损失，

和

分别为分类回归网络对目标的分类交叉熵损失和边框回归损失；

(3)对源域目标检测网络Faster R-CNN进行迭代训练：

(3a)初始化特征提取网络的权值为在ImageNet数据集上预训练好的VGG16模型的权值

随机初始化建议区域提取网络的权值为

随机初始化分类回归网络的权值为

初始化迭代次数为q_S，最大迭代次数为Q_S，Q_S≥50000，并令q_S＝0；

(3b)将源域数据集作为源域目标检测网络Faster R-CNN的输入进行目标检测，得到每幅光学遥感子图像中每个目标的类别和边框坐标的检测结果，并采用损失函数L_Source，通过检测结果以及每幅光学遥感子图像的标签计算源域目标检测网络Faster R-CNN的损失值

(3c)采用随机梯度下降法，并通过损失值

对特征提取网络的权值

建议区域提取网络的权值

和分类回归网络的权值

进行更新；

(3d)判断q_S＝Q_S是否成立，若是，得到训练好的权值为

的源域目标检测网络Faster R-CNN，否则，令q_S＝q_S+1，并执行步骤(3b)；

(4)获取建议目标区域特征图

将源域数据集作为训练好的源域目标检测网络Faster R-CNN的输入进行建议区域提取，得到I_S幅光学遥感子图像的建议目标区域特征图，并将I_S幅光学遥感子图像的建议目标区域特征图作为感兴趣区域池化层的输入进行裁剪和池化，得到I_S幅大小为m×n的光学遥感子图像的建议目标区域特征图

1≤p≤I_S；

(5)构建对抗域适应目标检测网络Faster R-CNN’：

构建包括顺次连接的特征提取网络、建议区域提取网络、感兴趣区域池化层、对抗域适应网络和分类回归网络的对抗域适应目标检测网络Faster R-CNN’，其中特征提取网络包含多个卷积层和多个池化层，建议区域提取网络包含多个卷积层，对抗域适应网络包含梯度反转层和多个卷积层，分类回归网络包含多个全连接层；对抗域适应目标检测网络Faster R-CNN’的损失函数为L_Target：

其中,

表示建议区域提取网络的损失函数，

表示分类回归网络的损失函数，

表示有监督目标检测损失函数，L_DA表示对抗域适应网络的损失函数，α和β分别表示

和L_DA的权重系数,

和

分别为建议区域提取网络对建议目标区域的分类交叉熵损失和边框回归损失，

和

分别为分类回归网络对目标的分类交叉熵损失和边框回归损失,

表示第p个源域样本的建议目标区域特征图，

为将第p个源域样本的域分类结果，

表示第q个源域样本的建议目标区域特征图，

为将第q个目标域样本的域分类结果，1和0分别表示源域样本的域标签和目标域样本的域标签；

(6)对对抗域适应目标检测网络Faster R-CNN’进行迭代训练：

(6a)初始化特征提取网络的权值为步骤(3)得到的训练好的源域目标检测网络Faster R-CNN的权值

随机初始化建议区域提取网络的权值为

对抗域适应网络的权值为θ_DA、分类回归网络的权值为

初始化迭代次数为q_T，最大迭代次数为Q_T，Q_T≥50000，并令q_T＝0；

(6b)对对抗域适应目标检测网络Faster R-CNN’的权值进行更新：

(6b1)将目标域训练数据集作为对抗域适应目标检测网络Faster R-CNN’的输入进行前向推理，特征提取网络对每幅SAR子图像进行特征提取，得到I_T幅SAR子图像的特征图；

(6b2)建议区域提取网络对每幅SAR子图像的特征图进行建议区域提取，得到I_T幅SAR子图像的建议目标区域特征图；感兴趣区域池化层对每幅SAR子图像的建议目标区域特征图进行裁剪和池化，得到I_T幅大小为m×n的建议目标区域特征图

1≤q≤I_T；

(6b3)抗域适应网络对步骤(4)得到的F_S和步骤(6b2)得到的F_T进行域分类，得到I_S+I_T幅建议目标区域特征图的域分类结果，并采用损失函数L_DA，通过域分类结果以及域标签计算对抗域适应网络的损失值

(6b4)分类回归网络对步骤(6b2)得到的F_T进行目标分类和边框坐标回归，得到I_T幅SAR子图像中每个目标的类别和边框坐标的检测结果，并采用有监督目标检测损失函数

通过检测结果以及每幅SAR子图像的标签计算有监督目标检测的损失值

(6b5)通过步骤(6b3)中得到的损失值

和步骤(6b4)得到的损失值

计算对抗域适应目标检测网络Faster R-CNN’的损失值

然后采用随机梯度下降法，并通过损失值

对特征提取网络的权值

建议区域提取网络的权值

对抗域适应网络的权值θ_DA和分类回归网络的权值

进行更新；

(6c)判断q_T＝Q_T是否成立，若是，得到训练好的对抗域适应目标检测网络FasterR-CNN’，否则，令q_T＝q_T+1，并执行步骤(6b)；

(7)获取SAR图像的目标检测结果：

将目标域测试数据集作为训练好的对抗域适应目标检测网络Faster R-CNN’的输入进行目标检测，得到I_T幅SAR图像中每个目标的类别和边框坐标。

本发明与现有技术相比，具有以下优点：

本发明利用与SAR图像场景相似的大规模光学遥感图像辅助SAR图像训练目标检测模型，在目标检测网络Faster R-CNN的基础上，加入一个基于对抗的域适应模块，通过一个判别器来约束SAR图像的建议目标区域特征相似于光学遥感图像的建议目标区域特征，使对抗域适应目标检测网络学习到SAR图像和光学遥感图像的共有特征，实现了实例级的域适应，缓解了SAR图像数据量少引起的模型过拟合问题。仿真结果表明，本发明与现有技术相比，SAR图像平均检测精度F1-score提高了2.74％。

附图说明

图1是本发明的实现流程图；

图2是本发明源域目标检测网络Faster R-CNN的目标检测实现流程图；

图3是本发明对抗域适应目标检测网络Faster R-CNN’的权值更新实现流程图；

图4是本发明仿真实验采用的原始光学遥感图像和原始SAR图像；

图5是本发明与现有技术的目标检测结果仿真对比图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)获取源域数据集和目标域数据集：

步骤1a)对光学遥感图像数据集A＝{A_i|1≤i≤s}中的每幅光学遥感图像A_i进行裁剪，得到I_S幅大小为M×N的光学遥感子图像，每幅光学遥感子图像包含至少一个目标类别，每个目标类别包含至少一个目标，并对每幅光学遥感子图像进行目标边框标记，然后将I_S幅光学遥感子图像及其标签作为源域数据集，其中，s≥10，I_S≥3000；本实施例中，s＝13，M＝300，N＝300,I_S＝3836；

步骤1b)对与光学遥感图像场景相似的SAR图像数据集B＝{B_j|1≤j≤t}中的每幅SAR图像B_j进行裁剪，得到I_T幅大小为M×N的SAR子图像，每幅SAR子图像包含至少一个目标类别，每个目标类别包含至少一个目标，并对每幅SAR子图像进行目标边框标记，然后将I_T幅SAR子图像及其标签作为目标域数据集，将半数以上的SAR子图像及其标签作为目标域训练数据集，将其余的SAR子图像及其标签作为目标域测试数据集，其中t≥5，I_T≥130，I_S＞＞I_T；本实施例中，t＝7，I_T＝143,训练数据集包含110幅SAR子图像，测试数据集包含33幅SAR子图像；

本实施例中源域数据集样本量应远大于目标域数据集样本量，以保证源域数据集能够充分训练源域目标检测网络Faster R-CNN，使源域目标检测网络Faster R-CNN提取的建议目标区域特征图更加准确，从而更有效地辅助SAR图像训练目标检测网络，提升SAR图像目标检测精度；

步骤2)构建源域目标检测网络Faster R-CNN：

构建包括顺次连接的特征提取网络、建议区域提取网络、感兴趣区域池化层和分类回归网络的源域目标检测网络Faster R-CNN，其中：

特征提取网络包含的卷积层和池化层的数量分别为13和4；特征提取网络的具体结构和参数为：第一卷积层→第二卷积层→最大池化层→第三卷积层→第四卷积层→最大池化层→第五卷积层→第六卷积层→第七卷积层→最大池化层→第八卷积层→第九卷积层→第十卷积层→最大池化层→第十一卷积层→第十二卷积层→第十三卷积层；卷积核大小均为3×3，卷积核步长均为1，填充方式均为等大填充，第一卷积层至第十三卷积层的卷积核数量分别为64、64、128、128、256、256、256、512、512、512、512、512、512；

特征提取网络是五组基础的卷积+relu+池化层提取图像的特征图，特征提取网络提取的特征图被共享用于建议区域提取网络和分类回归网络，是后续目标检测的关键之一，因此采用和VGG16模型结构相同的网络，以保证提取准确的图像特征以便后续进行目标检测；

建议区域提取网络的包含的卷积层的数量为2；建议区域提取网络的具体结构和参数为：第一卷积层→第二卷积层；第一卷积层的卷积核大小为3×3，卷积核数量为18，第二卷积层的卷积核大小为1×1，卷积核数量为36，第一卷积层和第二卷积层的卷积核步长均为1，填充方式均为等大填充；

建议区域提取网络通过卷积网络提取建议目标区域，和Selective Search方法相比，极大地提升了建议目标区域目标检测的速度和精度，从而有效提升目标检测精度；

感兴趣区域池化层包含一个最大池化层，感兴趣区域池化层对建议目标区域特征图进行裁剪和最大池化操作，以保证分类回归网络的输入是固定维度的特征图，实现目标分类和坐标回归；

分类回归网络包含的全连接层的数量为2；分类回归网络的具体结构和参数为：第一全连接层→第二全连接层；每个全连接层的节点数均为4096；分类回归网络通过全连接层和softmax计算每个建议目标区域的类别以及边框坐标；

源域目标检测网络Faster R-CNN的损失函数为L_Source：

其中,

表示建议区域提取网络的损失函数，

为分类回归网络的损失函数，

和

分别为建议区域提取网络对建议目标区域的分类交叉熵损失和边框回归损失，

和

分别为分类回归网络对目标的分类交叉熵损失和边框回归损失；

步骤3)对源域目标检测网络Faster R-CNN进行迭代训练：

步骤3a)初始化特征提取网络的权值为在ImageNet数据集上预训练好的VGG16模型的权值

随机初始化建议区域提取网络的权值为

随机初始化分类回归网络的权值为

初始化迭代次数为q_S，最大迭代次数为Q_S，Q_S≥50000，并令q_S＝0，本实施例中Q_S＝70000；

步骤3b)将源域数据集作为源域目标检测网络Faster R-CNN的输入进行目标检测，得到每幅光学遥感子图像中每个目标的类别和边框坐标的检测结果，并采用损失函数L_Source，通过检测结果以及每幅光学遥感子图像的标签计算源域目标检测网络Faster R-CNN的损失值

其中，将源域数据集作为源域目标检测网络Faster R-CNN的输入进行目标检测，实现过程如图2所示：

步骤3b1)将源域数据集作为源域目标检测网络Faster R-CNN的输入进行前向推理，特征提取网络对每幅光学遥感子图像进行特征提取，得到I_S幅光学遥感子图像的特征图；

步骤3b2)建议区域提取网络对每幅光学遥感子图像的特征图进行建议目标区域提取，得到I_S幅光学遥感子图像的建议目标区域特征图以及建议目标区域中每个目标的类别和边框坐标；

步骤3b3)感兴趣区域池化层对每幅光学遥感子图像的建议目标区域特征图进行裁剪和池化，得到I_S幅大小为m×n的建议目标区域特征图

本实施例中，m＝7，n＝7；

步骤3b4)分类回归网络将F_S映射至光学遥感子图像特征图，再对F_S进行目标分类和目标边框坐标回归，得到I_S幅光学遥感子图像中每个目标的类别和边框坐标；

步骤3c)采用随机梯度下降法，并通过损失值

对特征提取网络的权值

建议区域提取网络的权值

和分类回归网络的权值

进行更新，本实施例中，所有训练过程均使用Adam优化器；

步骤3d)判断q_S＝Q_S是否成立，若是，得到训练好的权值为

的源域目标检测网络Faster R-CNN，否则，令q_S＝q_S+1，并执行步骤3b)；

步骤4)获取建议目标区域特征图

将源域数据集作为训练好的源域目标检测网络Faster R-CNN的输入进行建议区域提取，得到I_S幅光学遥感子图像的建议目标区域特征图，并将I_S幅光学遥感子图像的建议目标区域特征图作为感兴趣区域池化层的输入进行裁剪和池化，得到I_S幅大小为m×n的光学遥感子图像的建议目标区域特征图

1≤p≤I_S；

步骤5)构建对抗域适应目标检测网络Faster R-CNN’：

构建包括顺次连接的特征提取网络、建议区域提取网络、感兴趣区域池化层、对抗域适应网络和分类回归网络的对抗域适应目标检测网络Faster R-CNN’，其中：特征提取网络、建议区域提取网络、感兴趣区域池化层和分类回归网络的结构和参数与步骤2)中所述的源域目标检测网络Faster R-CNN的各网络结构和参数相同；对抗域适应网络包含的卷积层的数量为4，其具体结构和参数为：梯度反转层→第一卷积层→第二卷积层→第三卷积层→第四卷积层；卷积核大小均为5×5，卷积核步长均为1，填充方式均为等大填充，第一卷积层、第二卷积层、第三卷积层和第四卷积层的卷积核数量分别为64、128、256和512；梯度反转层使得在反向传播过程中损失函数L_DA的值自动取反，在前向传播过程中实现恒等变换；

对抗域适应目标检测网络Faster R-CNN’的损失函数为L_Target：

其中,

表示建议区域提取网络的损失函数，

表示分类回归网络的损失函数，

表示有监督目标检测损失函数，L_DA表示对抗域适应网络的损失函数，α和β分别表示

和L_DA的权重系数,

和

分别为建议区域提取网络对建议目标区域的分类交叉熵损失和边框回归损失，

和

分别为分类回归网络对目标的分类交叉熵损失和边框回归损失,

表示第p个源域样本的建议目标区域特征图，

为将第p个源域样本的域分类结果，

表示第q个源域样本的建议目标区域特征图，

为将第q个目标域样本的域分类结果，1和0分别表示源域样本的域标签和目标域样本的域标签；

本实施例中，通过在目标检测网络Faster R-CNN中加入对抗域适应网络，约束SAR图像在感兴趣区域池化层的输出相似于光学遥感图像在源域目标检测网络Faster R-CNN的感兴趣区域池化层的输出，使对抗域适应目标检测网络Faster R-CNN’学习到SAR图像和光学遥感图像的共同特征，从而实现利用光学遥感图像辅助SAR图像训练对抗域适应目标检测网络Faster R-CNN’，缓解模型过拟合的现象；

步骤6)对对抗域适应目标检测网络Faster R-CNN’进行迭代训练：

步骤6a)初始化特征提取网络的权值为步骤3)得到的训练好的源域目标检测网络Faster R-CNN的权值

随机初始化建议区域提取网络的权值为

对抗域适应网络的权值为θ_DA、分类回归网络的权值为

初始化迭代次数为q_T，最大迭代次数为Q_T，并令q_T＝0，本实施例中，Q_T＝70000；

步骤6b)对对抗域适应目标检测网络Faster R-CNN’的权值进行更新，实现过程如图3所示。

步骤6b1)将目标域训练数据集作为对抗域适应目标检测网络Faster R-CNN’的输入进行前向推理，特征提取网络对每幅SAR子图像进行特征提取，得到I_T幅SAR子图像的特征图；

步骤6b2)建议区域提取网络对每幅SAR子图像的特征图进行建议区域提取，得到I_T幅SAR子图像的建议目标区域特征图；感兴趣区域池化层对每幅SAR子图像的建议目标区域特征图进行裁剪和池化，得到I_T幅大小为m×n的建议目标区域特征图

1≤q≤I_T；

步骤6b3)对抗域适应网络对步骤4)得到的F_S和步骤6b2)得到的F_T进行域分类，得到I_S+I_T幅建议目标区域特征图的域分类结果，并采用损失函数L_DA，通过域分类结果以及域标签计算对抗域适应网络的损失值

步骤6b4)分类回归网络对步骤6b2)得到的F_T进行目标分类和边框坐标回归，得到I_T幅SAR子图像中每个目标的类别和边框坐标的检测结果，并采用有监督目标检测损失函数

通过检测结果以及每幅SAR子图像的标签计算有监督目标检测的损失值

步骤6b5)通过步骤6b3)中得到的损失值

和步骤6b4)得到的损失值

计算对抗域适应目标检测网络Faster R-CNN’的损失值

然后采用随机梯度下降法，并通过损失值

对特征提取网络的权值

建议区域提取网络的权值

对抗域适应网络的权值θ_DA和分类回归网络的权值

进行更新；

步骤6c)判断q_T＝Q_T是否成立，若是，得到训练好的对抗域适应目标检测网络Faster R-CNN’，否则，令q_T＝q_T+1，并执行步骤6b)；

本实施例中构建的对抗域适应目标检测网络Faster R-CNN’，将特征提取网络、建议区域提取网络、感兴趣区域池化层、对抗域适应网络和分类回归网络整合到一个网络中，能够实现端到端的目标检测，对抗域适应网络的加入缓解了模型过拟合的问题，提升了对抗域适应目标检测网络Faster R-CNN’，从而在保证检测效率的前提下有效提升了SAR目标检测精度；

步骤7)获取SAR图像的目标检测结果：

将目标域测试数据集作为训练好的对抗域适应目标检测网络Faster R-CNN’的输入进行目标检测，得到I_T幅SAR图像中每个目标的类别和边框坐标，选择分类置信度大于T的检测结果，作为目标域测试图像的最终检测结果；T表示对检测结果的信任度，若设置较大，会漏掉一部分检测结果，若设置较小，会产生一些虚警，通过对数据和网络分析，本实施例中，T＝0.8。

下面结合仿真实验，对本发明的技术效果作以说明。

1、仿真条件和内容：

仿真的硬件平台为：处理器Intel Xeon CPU E5-2630 v4，处理器主频为2.20GHz，内存为128GB，显卡为NVIDIA GTX 1080Ti。操作系统为ubuntu 16.04 LTS。软件平台为TensorFlow，python2.7和Matlab R2014a。

仿真采用的光学遥感数据集是TorontoCity数据集，TorontoCity数据集覆盖了整个大多伦多地区，包含了各种类型的数据，例如汽车、飞机和无人机等，本实验采用的是该数据集中的汽车数据集，其中一幅TorontoCity原始图像参见图4(a)。

仿真采用的SAR图像数据集是MiniSAR实测数据集。MiniSAR实测数据集是美国Sandia国家实验室在2006年公开的SAR图像数据集，分辨率为0.1m×0.1m，都是场景复杂的地面图像，本实验将其中的车辆目标作为检测的目标，其中一幅MiniSAR原始图像参见图4(b)。

对本发明和现有的基于CFAR检测与深度学习的SAR目标检测方法在MiniSAR数据集上的目标检测结果和检测精度F1-score进行对比，结果分别如图5和表1所示。

2、仿真结果分析：

表1

参照图5，图5(a)为现有技术对MiniSAR图像的目标检测结果，图5(b)为本发明对MiniSAR图像的目标检测结果，通过图5(a)可以看出，图中大多数多目标车辆都能被检测到，但是存在较多的错误检测结果以及一些漏检的目标车辆，由图5(b)可以看出，图中大多数多目标车辆都能被检测到，检测结果中只有少量的漏检，这是因为目标车辆过于密集，检测难度较高，同时图中错误检测的数量也较少。由此说明，本发明方法性能优良，能够检测出绝大部分目标车辆，只有少量的错误检测和漏检，检测精度较高。

本发明采用F1-score定量评价不同方法的目标检测性能，F1-score定义如下：

precision和recall的定义分别为：

其中，TP是检测结果中的正确的目标个数，FP是错误的目标个数，FP是真实的目标个数。precision是检测精度，recall是召回率，F1-score是前两者之间的平衡指标，是评价性能的主要指标。表1给出的是MiniSAR数据集的测试图像的平均F1-score。由表1可以看出，本方法提出的基于对抗域适应的SAR图像目标检测方法相比于现有的基于CFAR检测与深度学习的SAR目标检测方法，F1-score提升了2.74％，说明本方法有效缓解了SAR图像数据量少引起的模型过拟合现象，从而提升了目标检测精度，因而具有重要的实际意义。

以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修改和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (6)

1.一种基于对抗域适应的SAR图像目标检测方法，其特征在于，包括如下步骤：

(1)获取源域数据集和目标域数据集：

(1a)对光学遥感图像数据集A＝{A_i|1≤i≤s}中的每幅光学遥感图像A_i进行裁剪，得到I_S幅大小为M×N的光学遥感子图像，每幅光学遥感子图像包含至少一个目标类别，每个目标类别包含至少一个目标，并对每幅光学遥感子图像进行目标边框标记，然后将I_S幅光学遥感子图像及其标签作为源域数据集，其中，s≥10，I_S≥3000；

(1b)对与光学遥感图像场景相似的SAR图像数据集B＝{B_j|1≤j≤t}中的每幅SAR图像B_j进行裁剪，得到I_T幅大小为M×N的SAR子图像，每幅SAR子图像包含至少一个目标类别，每个目标类别包含至少一个目标，并对每幅SAR子图像进行目标边框标记，然后将I_T幅SAR子图像及其标签作为目标域数据集，将半数以上的SAR子图像及其标签作为目标域训练数据集，将其余的SAR子图像及其标签作为目标域测试数据集，其中t≥5，I_T≥130，I_S＞＞I_T；

(2)构建源域目标检测网络Faster R-CNN：

构建包括顺次连接的特征提取网络、建议区域提取网络、感兴趣区域池化层和分类回归网络的源域目标检测网络Faster R-CNN，其中特征提取网络包含多个卷积层和多个池化层，建议区域提取网络包含多个卷积层，分类回归网络包含多个全连接层；源域目标检测网络Faster R-CNN的损失函数为L_Source：

其中,

表示建议区域提取网络的损失函数，

为分类回归网络的损失函数，

和

分别为建议区域提取网络对建议目标区域的分类交叉熵损失和边框回归损失，

和

分别为分类回归网络对目标的分类交叉熵损失和边框回归损失；

(3)对源域目标检测网络Faster R-CNN进行迭代训练：

(3a)初始化特征提取网络的权值为在ImageNet数据集上预训练好的VGG16模型的权值

随机初始化建议区域提取网络的权值为

随机初始化分类回归网络的权值为

初始化迭代次数为q_S，最大迭代次数为Q_S，Q_S≥50000，并令q_S＝0；

(3b)将源域数据集作为源域目标检测网络Faster R-CNN的输入进行目标检测，得到每幅光学遥感子图像中每个目标的类别和边框坐标的检测结果，并采用损失函数L_Source，通过检测结果以及每幅光学遥感子图像的标签计算源域目标检测网络Faster R-CNN的损失值

(3c)采用随机梯度下降法，并通过损失值

对特征提取网络的权值

建议区域提取网络的权值

和分类回归网络的权值

进行更新；

(3d)判断q_S＝Q_S是否成立，若是，得到训练好的权值为

的源域目标检测网络FasterR-CNN，否则，令q_S＝q_S+1，并执行步骤(3b)；

(4)获取建议目标区域特征图

将源域数据集作为训练好的源域目标检测网络Faster R-CNN的输入进行建议区域提取，得到I_S幅光学遥感子图像的建议目标区域特征图，并将I_S幅光学遥感子图像的建议目标区域特征图作为感兴趣区域池化层的输入进行裁剪和池化，得到I_S幅大小为m×n的光学遥感子图像的建议目标区域特征图

1≤p≤I_S；

(5)构建对抗域适应目标检测网络Faster R-CNN’：

构建包括顺次连接的特征提取网络、建议区域提取网络、感兴趣区域池化层、对抗域适应网络和分类回归网络的对抗域适应目标检测网络Faster R-CNN’，其中特征提取网络包含多个卷积层和多个池化层，建议区域提取网络包含多个卷积层，对抗域适应网络包含梯度反转层和多个卷积层，分类回归网络包含多个全连接层；对抗域适应目标检测网络Faster R-CNN’的损失函数为L_Target：

其中,

表示建议区域提取网络的损失函数，

表示分类回归网络的损失函数，

表示有监督目标检测损失函数，L_DA表示对抗域适应网络的损失函数，α和β分别表示

和L_DA的权重系数,

和

分别为建议区域提取网络对建议目标区域的分类交叉熵损失和边框回归损失，

和

分别为分类回归网络对目标的分类交叉熵损失和边框回归损失,

表示第p个源域样本的建议目标区域特征图，

为将第p个源域样本的域分类结果，

表示第q个源域样本的建议目标区域特征图，

为将第q个目标域样本的域分类结果，1和0分别表示源域样本的域标签和目标域样本的域标签；

(6)对对抗域适应目标检测网络Faster R-CNN’进行迭代训练：

(6a)初始化特征提取网络的权值为步骤(3)得到的训练好的源域目标检测网络FasterR-CNN的权值

随机初始化建议区域提取网络的权值为

对抗域适应网络的权值为θ_DA、分类回归网络的权值为

初始化迭代次数为q_T，最大迭代次数为Q_T，Q_T≥50000,并令q_T＝0；

(6b)对对抗域适应目标检测网络Faster R-CNN’的权值进行更新：

(6b1)将目标域训练数据集作为对抗域适应目标检测网络Faster R-CNN’的输入进行前向推理，特征提取网络对每幅SAR子图像进行特征提取，得到I_T幅SAR子图像的特征图；

(6b2)建议区域提取网络对每幅SAR子图像的特征图进行建议区域提取，得到I_T幅SAR子图像的建议目标区域特征图；感兴趣区域池化层对每幅SAR子图像的建议目标区域特征图进行裁剪和池化，得到I_T幅大小为m×n的建议目标区域特征图

1≤q≤I_T；

(6b3)抗域适应网络对步骤(4)得到的F_S和步骤(6b2)得到的F_T进行域分类，得到I_S+I_T幅建议目标区域特征图的域分类结果，并采用损失函数L_DA，通过域分类结果以及域标签计算对抗域适应网络的损失值

(6b4)分类回归网络对步骤(6b2)得到的F_T进行目标分类和边框坐标回归，得到I_T幅SAR子图像中每个目标的类别和边框坐标的检测结果，并采用有监督目标检测损失函数

通过检测结果以及每幅SAR子图像的标签计算有监督目标检测的损失值

(6b5)通过步骤(6b3)中得到的损失值

和步骤(6b4)得到的损失值

计算对抗域适应目标检测网络Faster R-CNN’的损失值

然后采用随机梯度下降法，并通过损失值

对特征提取网络的权值

建议区域提取网络的权值

对抗域适应网络的权值θ_DA和分类回归网络的权值

进行更新；

(6c)判断q_T＝Q_T是否成立，若是，得到训练好的对抗域适应目标检测网络Faster R-CNN’，否则，令q_T＝q_T+1，并执行步骤(6b)；

(7)获取SAR图像的目标检测结果：

将目标域测试数据集作为训练好的对抗域适应目标检测网络Faster R-CNN’的输入进行目标检测，得到I_T幅SAR图像中每个目标的类别和边框坐标。

2.根据权利要求1所述的基于对抗域适应的SAR图像目标检测方法，其特征在于，步骤(1)中所述的具有相似场景的源域数据集和目标域数据集，是指源域数据集和目标域数据集包含有同类目标。

3.根据权利要求1所述的基于对抗域适应的SAR图像目标检测方法，其特征在于，步骤(2)中所述的源域目标检测网络Faster R-CNN，其中，特征提取网络包含的卷积层和池化层的数量分别为13和4；建议区域提取网络的包含的卷积层的数量为2；分类回归网络包含的全连接层的数量为2，各网络的具体结构和参数分别为：

特征提取网络的具体结构和参数为：

第一卷积层→第二卷积层→最大池化层→第三卷积层→第四卷积层→最大池化层→第五卷积层→第六卷积层→第七卷积层→最大池化层→第八卷积层→第九卷积层→第十卷积层→最大池化层→第十一卷积层→第十二卷积层→第十三卷积层；卷积核大小均为3×3，卷积核步长均为1，填充方式均为等大填充，第一卷积层至第十三卷积层的卷积核数量分别为64、64、128、128、256、256、256、512、512、512、512、512、512；

建议区域提取网络的具体结构和参数为：第一卷积层→第二卷积层；第一卷积层的卷积核大小为3×3，卷积核数量为18，第二卷积层的卷积核大小为1×1，卷积核数量为36，第一卷积层和第二卷积层的卷积核步长均为1，填充方式均为等大填充；

感兴趣区域池化层包含一个最大池化层；

分类回归网络的具体结构和参数为：第一全连接层→第二全连接层；每个全连接层的节点数均为4096。

4.根据权利要求1所述的基于对抗域适应的SAR图像目标检测方法，其特征在于，步骤(3b)中所述的将源域数据集作为源域目标检测网络Faster R-CNN的输入进行目标检测，实现步骤为：

(3b1)将源域数据集作为源域目标检测网络Faster R-CNN的输入进行前向推理，特征提取网络对每幅光学遥感子图像进行特征提取，得到I_S幅光学遥感子图像的特征图；

(3b2)建议区域提取网络对每幅光学遥感子图像的特征图进行建议目标区域提取，得到I_S幅光学遥感子图像的建议目标区域特征图以及建议目标区域中每个目标的类别和边框坐标；

(3b3)感兴趣区域池化层对每幅光学遥感子图像的建议目标区域特征图进行裁剪和池化，得到I_S幅大小为m×n的建议目标区域特征图

(3b4)分类回归网络对F_S进行目标分类和目标边框坐标回归，得到I_S幅光学遥感子图像中每个目标的类别和边框坐标。

5.根据权利要求1所述的基于对抗域适应的SAR图像目标检测方法，其特征在于，步骤(3c)中所述的采用随机梯度下降法，并通过损失值

对特征提取网络的权值

建议区域提取网络的权值

和分类回归网络的权值

进行更新，更新公式分别为：

其中，

表示更新后的特征提取网络参数，

表示更新前的特征提取网络参数，

表示源域目标检测网络Faster R-CNN的参数梯度，α表示步长，

表示更新后的特征提取网络参数，

表示更新前的特征提取网络参数，

表示更新后的特征提取网络参数，

表示更新前的特征提取网络参数。

6.根据权利要求1所述的基于对抗域适应的SAR图像目标检测方法，其特征在于，步骤(5)中所述的对抗域适应目标检测网络Faster R-CNN’，其中，特征提取网络、建议区域提取网络、感兴趣区域池化层和分类回归网络的结构和参数与步骤(2)中所述的源域目标检测网络Faster R-CNN的各网络结构和参数相同；对抗域适应网络包含的卷积层的数量为4，其具体结构和参数为：

梯度反转层→第一卷积层→第二卷积层→第三卷积层→第四卷积层；卷积核大小均为5×5，卷积核步长均为1，填充方式均为等大填充，第一卷积层、第二卷积层、第三卷积层和第四卷积层的卷积核数量分别为64、128、256和512。

Images