CN109740549B - 基于半监督cnn的sar图像目标检测系统和方法 - Google Patents

Abstract

本发明公开了一种基于半监督CNN的SAR图像目标检测系统和方法，解决了现有技术对切片级标记的训练图像依赖程度高，及检测准确率低的问题。检测系统中增设的切片挑选模块和负包模块提供丰富的目标和杂波切片，候选切片保存模块将输入切片处理并保存为候选切片集，为网络提供充足的训练样本。目标检测方法实现是：生成训练、验证和测试数据集；设计并构建加入切片挑选模块和负包模块的半监督目标检测网络；对半监督目标检测网络训练及测试。本发明先使用少量切片级标记的图像训练网络，再使用迭代挑选候选切片训练网络。本发明对切片级标记的训练图像依赖程度低；在少量切片级标记图像的情况下具有较高准确率；应用于SAR图像目标检测。

Description

基于半监督CNN的SAR图像目标检测系统和方法

技术领域

本发明属于雷达图像处理技术领域，更进一步涉及合成孔径雷达(SAR，SyntheticAperture Radar)图像自动目标识别，具体是一种基于半监督卷积神经网络(CNN，Convolutional Neural Network)的SAR图像目标检测系统和方法，可以用于SAR图像车辆目标检测。

背景技术

合成孔径雷达具有全天候、全天时、分辨率高以及穿透力强等特点，成为目前对地观测和军事侦察的重要手段，合成孔径雷达图像自动目标识别受到越来越广泛的关注。

现有的SAR图像目标检测方法中，双参数CFAR检测算法是一种传统的SAR图像目标检测方法，该方法要求SAR图像中目标与背景杂波具有较高的对比度，并且假设背景杂波的统计分布模型是高斯分布。该算法首先根据给定的虚警概率计算检测阈值；然后计算待检测像素点的统计检测量；最后将统计检测量与检测阈值进行对比，如果大于阈值就被判定为目标像素点，否则被判定为杂波像素点，进而得到基于像素水平的检测结果。由于该算法需要对图像的每个像素点执行相同的操作，所以检测时间较长。该方法需要根据SAR图像目标的先验信息设置固定的窗口，当图像中目标的尺寸相差较大时，会导致该算法的检测性能下降。

20世纪后期，卷积神经网络就已经开始被成功应用，用于语音识别和文档阅读的神经网络取得了一定的成就。21世纪初，卷积神经网络已经开始被成功应用到图像检测、分割和识别等领域。在2012年的Image Net大规模视觉识别竞赛中，基于深度卷积神经网络的方法获得优异成绩，该方法的成功得益于计算机硬件的发展和新的神经网络算法设计，为计算机视觉领域带来巨大变革。目前，卷积神经网络在图像的目标检测中有大量的应用。

西安电子科技大学在其申请的专利文献“基于卷积神经网络的SAR图像目标检测方法”(专利申请号：CN201610561587.2，公开号：CN106228124A)中公开了一种SAR图像目标检测方法。该方法基于卷积神经网络设计目标检测网络，然后使用标记好的训练SAR图像训练目标检测网络，当训练收敛之后，使用训练好的模型对测试SAR图像进行测试，得到测试SAR图像的检测结果。该方法利用了卷积神经网络的特征提取能力和非线性映射能力，具有较好的性能。但是该方法需要大量切片级标记的SAR图像作为训练数据，对切片级标记的图像的依赖程度高，在一些切片标记数据获取困难的情况下，该方法对于SAR图像的检测性能较差。

发明内容

本发明的目的是针对上述现有技术存在的不足，提出了一种对于切片级标记的训练图像依赖程度低且检测准确率高的基于半监督卷积神经网络的SAR图像目标检测系统和方法。

本发明是一种基于半监督卷积神经网络的SAR图像目标检测系统，按照基于卷积神经网络的目标检测的处理顺序，依次包括有图像数据输入模块，切片提取网络模块，候选切片保存模块，鉴别网络模块，以及检测结果处理模块，其特征在于，还包括有切片挑选模块和负包模块，切片挑选模块对检测结果处理模块中的检测结果切片进行挑选，送入候选切片保存模块；负包模块获取杂波SAR子图像的杂波切片并送入候选切片保存模块。

本发明还是一种基于半监督卷积神经网络的SAR图像目标检测方法，在权利要求1-2所述的任一基于半监督卷积神经网络的SAR图像目标检测系统上实现，其特征在于，先使用少量切片级标记的图像训练目标检测网络，然后使用迭代挑选候选切片的方式对网络进行训练，包括如下步骤：

(1)生成训练数据集、验证数据集和辅助数据集：

(1.1)生成训练数据集：输入原始训练SAR图像，裁剪得到尺寸为M×N的含有目标的子图像，对其中少量的子图像进行目标边框标记，作为切片级标记的训练数据集；剩余的子图像不进行目标边框标记，作为图像级标记的训练数据集；另外对原始训练SAR图像裁剪得到一些不含目标的子图像，作为杂波子图像数据集；

(1.2)生成验证数据集：输入原始测试SAR图像，裁剪得到尺寸为M×N的含有目标的子图像，对子图像进行目标边框标记，作为验证数据集；

(1.3)生成辅助数据集：使用MSTAR 3类7型数据集作为预训练的数据集；对MSTAR数据集填充到尺寸为M×N，并进行目标边框标记，得到辅助数据集；

(2)设计并构建半监督目标检测网络：

设计并构建半监督目标检测网络，包括图像数据输入模块，切片提取网络模块，鉴别网络模块，候选切片保存模块，切片挑选模块，以及负包模块；切片提取网络模块对SAR子图像进行切片提取处理得到候选切片；鉴别网络模块对候选切片剔除杂波并得到检测结果；切片挑选模块对图像级标记的SAR子图像的检测结果进行挑选并得到候选切片；负包模块从杂波SAR子图像得到杂波切片；

(3)对半监督目标检测网络进行训练：

使用少量切片级标记的训练数据集和辅助数据集训练目标检测网络，得到训练好的模型；通过训练好的模型得到切片级标记的图像对应的候选切片和杂波子图像对应的杂波切片，并保存为候选切片集；将图像级标记的图像输入训练好的模型，挑选检测结果中置信度高于预先设定阈值的切片，将挑选的切片中与已有切片不重复的切片加入到候选切片集中，使用候选切片集再次训练鉴别网络；当鉴别网络训练收敛之后，再次进行切片挑选，并将不重复的切片再次加入到候选切片集中；多次迭代挑选切片并训练鉴别网络，当满足收敛条件时，训练完成，得到收敛的目标检测模型；

(4)对半监督目标检测网络进行测试：

(4.1)使用滑动窗口的方式，对原始测试SAR图像进行裁剪，得到大量子图像，将子图像输入到收敛的目标检测模型中，得到子图像的检测结果，按照子图像在原始测试SAR图像中的位置，将子图像的检测结果恢复到原始测试SAR图像上，得到原始测试SAR图像的初始检测结果；

(4.2)对初始检测结果，使用非极大值抑制方法，去除重复的检测结果；

(4.3)选择分类置信度大于T的检测结果，作为输入SAR图像的最终检测结果。

本发明对切片级标记的SAR图像数据的依赖程度低，检测准确率高。

本发明与现有技术相比具有以下优点：

对切片级标记的训练图像依赖程度低：由于本发明同时使用了切片级标记的SAR图像和图像级标记的SAR图像，只需要少量的切片级标记的SAR图像，克服了现有技术中需要大量切片级标记训练SAR图像的缺点，使得本发明对切片级标记训练图像的依赖程度低，减少了人工标记的工作量。

检测准确率高：由于本发明使用迭代挑选候选切片的方式对网络进行训练，迭代挑选候选切片可以为候选切片集提供丰富的目标切片和杂波切片，同时使用杂波模块获得杂波切片，也为候选切片集提供了更加丰富的杂波切片，使得网络具有更好的泛化性能，克服了现有技术准确率低的问题，使得本发明可以在拥有少量切片级标记的图像和大量图像级标记的图像的情况下能达到较高的准确率。

附图说明

图1是本发明的训练总体流程图；

图2是本发明中的切片保存模块的示意图；

图3是本发明中的切片提取网络模块的示意图；

图4是本发明中的鉴别网络模块的示意图；

图5是本发明半监督卷积神经网络的SAR图像目标检测方法的流程框图；

图6是本发明中使用的切片级标记的训练数据集的部分图像，其中图6(a)是训练数据集中的第一幅切片级标记的训练图像，图6(b)是训练数据集中的第二幅切片级标记的训练图像；

图7是本发明中使用的图像级标记的训练数据集的部分图像，其中图7(a)是训练数据集中的第一幅图像级标记的训练图像，图7(b)是训练数据集中的第二幅图像级标记的训练图像；

图8是本发明中使用的杂波子图像数据集的部分图像，其中图8(a)是训练数据集中的第一幅杂波子图像，图8(b)是第二幅杂波子图像；

图9是本发明实验中使用的一幅原始训练SAR图像；

图10是本发明实验的最终检测结果图，其中图10(a)是第一幅原始测试SAR图像的检测结果，图10(b)是第二幅原始测试SAR图像的检测结果。

具体实施方式

下面结合附图对本发明实现的具体步骤详细描述。

实施例1

合成孔径雷达SAR具有全天候、全天时、分辨率高以及穿透力强等特点，成为目前对地观测和军事侦察的重要手段，SAR图像目标检测是SAR图像处理中一种非常重要的应用，具有非常广阔的应用前景，受到越来越广泛的关注。目前SAR图像目标检测的方法主要有基于CFAR的检测方法和基于卷积神经网络的检测方法。在图像中目标的尺寸相差较大或者多个目标之间距离较近时，基于CFAR的检测方法的检测性能会显著下降。基于卷积神经网络的检测方法，需要大量切片级标记的SAR图像作为训练数据，对切片级标记的SAR图像的依赖程度高，在一些切片标记数据获取困难的情况下，对SAR图像的检测性能较差。本发明针对以上存在的不足与问题，经过研究与创新，首先提出一种基于半监督卷积神经网络的SAR图像目标检测系统，该检测系统按照基于卷积神经网络的目标检测的处理顺序，依次包括有图像数据输入模块，切片提取网络模块，候选切片保存模块，鉴别网络模块，以及检测结果处理模块。图像数据输入模块接收原始SAR图像，裁剪后将数据集中的SAR子图像送入切片提取网络模块。切片提取网络模块将SAR子图像进行切片提取并得到候选切片。鉴别网络模块对候选切片进一步剔除杂波并得到SAR子图像检测结果，SAR图像目标检测结果从检测结果处理模块输出。参见图1，本发明还包括有切片挑选模块和负包模块。本发明的切片挑选模块将检测结果处理模块中的图像级标记SAR子图像检测结果切片进行挑选，送入候选切片保存模块，并将挑选好的切片加入到候选切片集中。本发明的负包模块获取杂波SAR子图像的杂波切片并送入候选切片保存模块，也加入到到候选切片集中，负包模块对杂波切片的获取可以来自检测结果处理模块中的杂波SAR子图像检测结果的切片，也可以来自使用CFAR算法对杂波SAR子图像检测结果的切片。

本发明先使用少量切片级标记的SAR图像训练切片提取网络和鉴别网络，然后使用迭代挑选候选切片的方式对网络进行训练。本发明的切片挑选模块迭代挑选切片，可以为候选切片保存模块提供更加丰富的目标切片和杂波切片，同时负包模块也可以为切片保存模块提供丰富的杂波切片，候选切片保存模块中丰富的切片可以为网络提供充足的训练数据，从而提高网络的检测准确率，提升网络的总体性能。

实施例2

基于半监督卷积神经网络的SAR图像目标检测系统的总体构成同实施例1，本发明的图像数据输入模块将原始SAR训练图像裁剪并分类标记为切片级标记的SAR训练子图像和图像级标记的SAR训练子图像。参见图2，本发明的候选切片保存模块中分别设有切片级标记图像切片保存单元、负包切片保存单元和图像级标记图像切片保存单元。切片级标记图像切片保存单元将切片级标记的SAR子图像输入切片提取网络模块得到的切片直接保存为切片集A。负包切片保存单元将负包模块输出的切片直接保存为切片集B。图像级标记图像切片保存单元将切片挑选模块输出的切片中与已有切片不重复的切片迭代保存为切片集C，将切片保存为切片集C是迭代过程，每次迭代都将切片挑选模块输出的切片中不重复的切片保存为切片集C。最后将切片集A、切片集B和切片集C合并加入候选切片集，然后将候选切片集送入到鉴别网络模块中。

换一种说法描述，本发明的候选切片保存模块不仅需要将切片提取网络模块输出的切片保存为候选切片集，也需要将负包模块输出的切片加入到候选切片集中，还需要将切片挑选模块输出的切片中与已有切片不重复的切片加入到候选切片集中，将挑选切片加入到候选切片集是迭代过程，需要将每次切片挑选模块输出的切片都进行处理并加入到候选切片集中。最终将候选切片集输入到鉴别网络模块中。

本发明的图像数据输入模块将图像级标记的图像与切片级标记的图像分开使用，不仅利用了切片级标记的图像，而且有效地利用了大量的图像级标记的图像，提升了目标检测的性能。本发明的候选切片保存模块从负包模块和切片挑选模块获得大量丰富的切片，使用候选切片训练网络的泛化性能得到提高，克服了现有技术中需要大量切片级标记的训练SAR图像的缺点。本发明对切片级标记的SAR图像依赖程度低，减少了人工标记的工作量，同时本发明仅仅增加了少量的模块，就显著地提高了目标检测的性能。

实施例3

本发明还是一种基于半监督卷积神经网络的SAR图像目标检测方法，在上述的任一基于半监督卷积神经网络的SAR图像目标检测系统上实现，基于半监督卷积神经网络的SAR图像目标检测系统的总体构成同实施例1-2，参见图5，包括如下步骤：

(1)生成训练数据集、验证数据集和辅助数据集：

(1.1)生成训练数据集：输入原始训练SAR图像，裁剪得到尺寸为M×N的含有目标的子图像，允许尺寸有一定浮动，保证不会将某个目标截断。对其中少量的子图像进行目标边框标记，作为切片级标记的训练数据集；剩余的子图像不进行目标边框标记，作为图像级标记的训练数据集。本例中少量的切片级标记的子图像占全部含有目标的子图像的比例为30％，在实际中这个比例可以根据给定的具体原始数据进行调整。另外对原始训练SAR图像裁剪得到一些不含目标的子图像，裁剪的尺寸也为M×N，作为杂波子图像数据集。图像裁剪的尺寸主要考虑原始SAR图像中目标的尺寸，以及对网络计算量的要求；如果目标尺寸较大，为了保证裁剪的子图像中含有足够多的目标，M和N取较大的值；如果期望网络的计算量小，为了降低网络输入图像的尺寸，M和N取较小的值；本例中M＝350，N＝580，在实际中可以根据具体数据和要求进行调整。

(1.2)生成验证数据集：输入原始测试SAR图像，裁剪得到尺寸约为M×N的含有目标的子图像，也允许尺寸有一定浮动，保证不会将某个目标截断；对子图像进行目标边框标记，作为验证数据集。

(1.3)生成辅助数据集：使用MSTAR 3类7型数据集作为预训练的数据集。对MSTAR数据集填充到尺寸为M×N，并进行目标边框标记，得到辅助数据集。

(2)设计并构建半监督目标检测网络：

设计并构建半监督目标检测网络，参见图5，包括图像数据输入模块，切片提取网络模块，鉴别网络模块，候选切片保存模块，切片挑选模块，以及负包模块。图像数据输入模块对原始数据进行裁剪处理得到SAR子图像，并将SAR子图像输入给切片提取网络模块。切片提取网络模块对SAR子图像进行切片提取处理得到候选切片。鉴别网络模块对候选切片剔除杂波并得到检测结果。切片挑选模块对图像级标记的SAR子图像的检测结果进行挑选并得到候选切片。负包模块从杂波SAR子图像得到杂波切片。候选切片保存模块接收来自切片提取网络模块输出的候选切片，切片挑选模块输出的候选切片，以及负包模块输出的候选切片，合并保存加入候选切片集，然后将候选切片集送入鉴别网络模块。

(3)对半监督目标检测网络进行训练：

参见图5，使用少量切片级标记的训练数据集和辅助数据集训练目标检测网络，得到训练好的目标检测模型，包括切片提取网络模块和鉴别模型。通过训练好的模型得到切片级标记的图像对应的候选切片和杂波子图像对应的杂波切片，并保存为候选切片集。将图像级标记的图像输入训练好的目标检测模型，挑选检测结果中置信度高于预先设定阈值的切片，将挑选的切片中与已有切片不重复的切片加入到候选切片集中，使用候选切片集再次训练鉴别网络。当鉴别网络训练收敛之后，再次进行切片挑选，并将不重复的切片再次加入到候选切片集中。多次迭代挑选切片并训练鉴别网络，当满足收敛条件时，训练完成，得到收敛的目标检测模型。

(4)对半监督目标检测网络进行测试：

(4.1)使用滑动窗口的方式，对原始测试SAR图像进行裁剪，得到大量子图像，将子图像输入到收敛的目标检测模型中，得到子图像的检测结果，按照子图像在原始测试SAR图像中的位置，将子图像的检测结果恢复到原始测试SAR图像上，得到原始测试SAR图像的初始检测结果。

(4.2)对初始检测结果，使用非极大值抑制(NMS，Non-Maximum Suppression)方法，去除重复的检测结果。

(4.3)选择分类置信度大于T的检测结果，作为输入SAR图像的最终检测结果。T的设置主要考虑对检测结果的信任程度，如果设置的较大，会漏掉一部分检测结果；如果设置的较小，会引入一部分虚警目标。在本例中，通过合理分析数据和网络，将T设置为0.9。

本发明在切片级标记的训练图像少量的情况下，通过使用图像级标记的图像，迭代挑选样本和使用负包模块获取丰富切片的方式，显著地提高了检测的性能，同时在增加少量网络复杂度的情况下，减少了对切片级标记的图像的依赖程度，减少了人工标注的工作量。

实施例4

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-3，步骤(2)中所述的设计并构建半监督目标检测网络，具体包括有如下步骤：

(2.1)半监督目标检测网络，包括图像数据输入模块，切片提取网络模块，鉴别网络模块，候选切片保存模块，切片挑选模块，以及负包模块。

(2.2)设计切片提取网络Net_E：参见图3，包括输入层，卷积层，批归一化层，池化层，输出层。该网络的输入是SAR子图像，输出是其对应的候选切片，包括有分类结果和边框预测结果。目的是从输入图像中提取候选切片。

(2.3)设计鉴别网络Net_D：参见图4，包括输入层，卷积层，批归一化层，池化层，全连接层，输出层。该网络的输入是切片提取网络得到的候选切片，输出是最终检测结果，包括有分类结果和边框预测结果。目的是对候选切片剔除杂波，并得到最终检测结果。其中鉴别网络和切片提取网络的基础网络共享参数。

(2.4)设计切片挑选模块：目的是挑选置信度高的检测结果，并加入到切片集中。切片提取网络模块的输入是检测结果处理模块中图像级标记的SAR子图像的检测结果，输出是挑选好的切片，挑选的方法是选择置信度高于T_S的候选切片，候选切片包括目标切片和杂波切片。通过迭代挑选切片，可以得到丰富的候选切片，使用丰富的候选切片训练鉴别网络，可以提升网络的泛化性能。T_S的设置主要考虑对检测结果的信任程度，如果设置的较大，会漏掉一部分切片；如果设置的较小，会引入一部分其它类切片。在本例中，通过合理分析数据和网络，将T_S设置为0.95。

(2.5)设计负包模块：负包模块的输入是杂波SAR子图像，输出是子图像的杂波切片。杂波切片的获取方式是从检测结果处理模块中的杂波SAR子图像的切片得到，挑选杂波SAR子图像的检测结果的置信度分数最高的前K个杂波切片作为一幅杂波SAR子图像的杂波切片。K的选择主要考虑挑选出切片的数量与含有目标的训练图像中切片的数量的关系，目的是保证候选切片集中目标切片和杂波切片的比例均衡。在本例中通过分析两者数量关系，将K设置为512。负包模块的输出是所有杂波SAR子图像的杂波切片，构成杂波切片集，称为负包。负包模块为候选切片保存模块提供了更加丰富的杂波切片。负包模块可以提升候选切片集中杂波样本的完备性。

(2.6)设计候选切片保存模块：参见图2，分别设有切片级标记图像切片保存单元、负包切片保存单元和图像级标记图像切片保存单元。候选切片保存模块接收来自切片提取网络模块输出的切片，负包模块输出的切片，以及切片挑选模块输出的切片中与已有切片不重复的切片，将这三种切片合并加入候选切片集，并将候选切片集送入鉴别网络模块。候选切片保存模块可以结合不同模块输出的切片，保证了候选切片集中目标切片和杂波切片的多样性，最终可以提升网络的泛化性能。

本发明通过设计并构建半监督目标检测网络，通过切片保存模块获取大量丰富的切片，弥补切片级标记图像只提供了少量切片的缺陷。切片挑选模块和负包模块为切片保存模块提供大量丰富的切片。本发明可以同时利用切片级标记的SAR图像和图像级标记的SAR图像进行训练，克服了现有技术中仅能使用切片级标记的SAR图像进行训练的缺点，提升了目标检测的性能。

实施例5

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-4，步骤(2)中所述的设计并构建半监督目标检测网络，其中步骤(2.1)到(2.6)均同实施例4，但是步骤(2.5)和(2.6)还有其它的设计方法。

步骤(2.5)负包模块的另一种设计方法：使用CFAR算法，对杂波SAR子图像进行切片提取，得到大量杂波切片，构成杂波子图像对应的杂波切片集。因为杂波SAR图像只含有杂波，所以使用CFAR算法检测得到的切片全部都是杂波切片。通过设置不同尺寸的检测窗口，可以获取不同尺寸的杂波切片，从而提升杂波切片集中切片的数量和类型。该方法通过简单的CFAR算法从SAR杂波子图像中获取杂波切片，该方法的优点是简单易行，对计算机资源的占用量少，执行该方法的时间短，效率高，但是该方法获得的杂波切片的尺寸多样性仍然没有原始步骤(2.5)的方法获得的切片多样性强。

步骤(2.6)候选切片保存模块的另一种设计方法：参见图2，候选切片保存模块中的图像级图像切片保存单元和负包切片保存单元与步骤(2.6)中所叙述的相同，但是此模块中的切片级图像切片保存单元与步骤(2.6)叙述的不同。切片级图像切片保存单元首先接收来自切片挑选模块挑选的候选切片，然后将这些候选切片直接加入到候选切片集中，不与已有切片进行重复性比较，这样可以为候选切片集加入更加丰富的目标切片和杂波切片。在训练SAR图像的数量非常少的情况下，这种方法可以为鉴别网络的训练提供更加充足的训练切片，有利于提升鉴别网络的泛化性能，从而提升网络总体的性能。

实施例6

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-5，步骤(3)中所述的对半监督目标检测网络进行训练，见图5，包括有如下步骤：

(3.1)预训练基础网络：使用MSTAR 3类7型数据集对基础网络进行预训练，训练完成后得到收敛模型。先使用设计的目标检测网络的基础网络后面加上两个全连接层构成分类网络；然后使用MSTAR 3类7型数据训练分类网络，直到收敛；最后取出收敛模型中基础网络部分的参数，保存为收敛模型Net_M₀。

(3.2)训练目标检测网络：使用少量切片级标记的训练数据集和辅助数据集训练目标检测网络，使用Net_M₀模型对网络进行参数初始化，训练完成后得到目标检测模型Net₀，包括切片提取模型Net_E₀和鉴别模型Net_D₀。其中切片提取模型和鉴别模型的基础网络部分的参数是共享的。

(3.3)获取切片级标记图像的候选切片：通过目标检测模型Net₀得到切片级标记的图像对应的候选目标切片和杂波切片，记为切片集C₀。具体是将切片级标记的图像输入到目标检测模型Net₀中，将得到的检测结果中的目标切片和杂波切片保存为切片集C₀。

(3.4)获取杂波切片：将杂波子图像输入到目标检测模型Net₀中，获取杂波子图像对应的杂波切片，并加入到切片集C₀中。这一步是为了保证切片集中包含有丰富的杂波切片，使得后续鉴别网络更加具有泛化性能。

(3.5)接下来开始迭代挑选候选切片并更新候选切片集：候选切片包括候选目标切片和候选杂波切片，将每次挑选的候选切片都加入到切片集中，并使用切片集训练鉴别网络；初始迭代次数k＝1。

(3.6)更新候选切片集：将图像级标记的图像输入目标检测模型Net_k-1，预测并得到输入图像对应的目标切片和杂波切片，保留对应分类置信度大于T_S的切片，去掉其中与切片集C_k-1重复的切片，然后加入到切片集C_k-1中，更新后的切片集记为C_k。在本例中，通过合理分析数据和网络，将TS设置为0.93。当新切片所占的比例小于β_τ时，得到收敛的目标检测模型Net_opt＝Net_k，执行步骤(4)，否则继续下一步。β_τ的设置主要考虑对训练时间成本的要求，如果设置的比较小，会使得迭代挑选的样本的次数增大，在实际中会增大总体训练时间；如果设置的比较大，会使得迭代挑选样本的次数降低，减小训练总体时间，但是这样会导致训练不够充分，网络会在没有充分收敛的情况下停止训练。在本例中，通过合理分析数据并权衡以上优缺点，将β_τ设置为3％。

(3.7)使用更新的切片集训练鉴别网络：使用更新的切片集C_k，再次训练鉴别网络Net_D，得到鉴别模型Net_D_k。将检测模型Net_k-1中的鉴别模型替换为Net_D_k，此时切片提取模型的基础网络部分也随之被替换，得到新的检测模型Net_k。并使用验证数据集对目标检测模型Net_k进行验证，得到验证准确率。当训练时的准确率的变化率小于δ_τ时，得到收敛的目标检测模型Net_opt＝Net_k，执行步骤(4)，否则继续下一步；δ_τ的设置主要考虑对总体训练时间的要求，如果希望总体训练时间短，可以将δ_τ设置的较大，但是这种情况下网络会出现没有完全收敛的情况；如果对总体训练时间没有限制，可以将δ_τ设置的较小，保证网络完全收敛。在本例中，通过分析训练数据和网络结构，结合对训练时间的要求，将δ_τ设置为0.05％。

(3.8)更新迭代次数，k＝k+1。执行步骤(3.6)。

本发明在半监督目标检测网络的训练过程中，通过切片级标记的图像通过切片提取网络获得的候选目标切片和杂波切片，并加入到候选切片集中，可以获得大量信任度非常高的切片。通过切片挑选模块和负包模块获取大量的目标切片和杂波切片，可以弥补候选切片集中切片数量少的不足，获得含有丰富切片的候选切片集，使用含有丰富切片的候选切片集训练网络，可以提升网络的性能。在切片挑选模块中设置合理的挑选阈值，既能保证可以得到丰富的正确切片，也能降低错误切片被挑选到的可能性，为切片保存模块提供可信任程度高的切片，提升后续网络训练的性能。

实施例7

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-6，步骤(3.3)中所述的获取切片级标记的图像对应的候选目标切片，具体包括有如下步骤：

将切片级标记的图像输入到切片选择模型Net_E₀中，得到对应的候选切片，记为切片集C₀。将这些候选切片与真实标记的目标位置进行比对，计算重叠率IOU(Intersection over Union)。第i个切片的IOU计算方法如下：

其中C_0,i表示切片集中的第i个切片，C_GT,j表示真实标记的第j个切片，C_0,i∩C_GT,j表示切片C_0,i区域和切片C_GT,j区域的交集的面积IOU_τ2，C_0,i∪C_GT,j表示两个切片区域的并集的面积。将IOU大于等于IOU_τ1的切片标记为目标切片，将IOU小于IOU_τ1且大于的切片标记为杂波切片，得到所有候选切片的标签。两个阈值的设置主要考虑希望选取的目标切片和候选切片的数量，如果希望获取较多的目标切片，则将IOU_τ1设置为较小的数值；如果希望获取较多的杂波切片，则将IOU_τ2设置为较小的数值。在本例中，通过合理分析数据和网络以及对切片数量的要求，将IOU_τ1设置为0.45，将IOU_τ2设置为0。

本发明在获取切片级标记图像对应的切片的方法中，通过将切片提取网络的输出结果与真实标记的切片进行比对，并挑选出重叠率较高的切片作为目标切片，挑选重叠率较低的切片作为杂波切片。通过这种方法可以获得大量信任程度非常高的切片，相比于直接使用真实标记的切片，这种方法可以获取数量较多的目标切片，同时还能获得一些与目标有少量重叠的杂波切片。这种方法为候选切片集提供大量丰富有效的目标切片和杂波切片，提升了网络的性能。

实施例8

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-7，步骤(3.4)所述的获得杂波切片的具体方法为：

将杂波子图像输入到目标检测网络中，获取对应的检测结果，对每一幅子图像的检测结果中选择分数最高的前K个杂波切片作为该子图像的杂波切片。K的选择主要考虑挑选出切片的数量与含有目标的训练图像中切片的数量的关系，目的是保证候选切片集中目标切片和杂波切片的比例均衡。在本例中通过分析两者数量关系，将K设置为512。最终得到所有杂波子图像的杂波切片集，将杂波切片集称为负包，然后将负包加入到切片集C₀中。这一步的目的是获取充足的杂波切片，为鉴别网络提供完备的训练样本。

本发明通过将杂波子图像输入目标检测网络，得到检测得到的杂波切片，可以获得大量的尺寸大小不同的杂波切片，此种方法的优点是可以提升获取到的切片的尺寸多样性，在训练时多样性强的数据可以提升网络的泛化性能，最终可以提升网络的检测性能。

实施例9

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-8，步骤(3.6)中所述的更新候选切片集，具体包括如下步骤：

(3.6.1)将图像级标记的图像输入目标检测模型Net_k-1，预测得到图像级标记的图像对应的检测结果，检测结果包括每个目标切片和杂波切片的分类置信度和边框坐标。

(3.6.2)保留上一步检测结果中目标切片和杂波切片的分类置信度大于T_S的切片，记为切片集C′_k。T_S的设置主要考虑对检测结果的信任程度，如果设置的较大，会漏掉一部分切片；如果设置的较小，会引入一部分其它类切片。在本例中，通过合理分析数据和网络，将T_S设置为0.93。

(3.6.3)将切片集C′_k中与切片集C_k-1中重复的切片删除，得到切片集C″_k。然后将切片集C″_k加入到切片集C_k-1中，得到切片集C_k。删除重复切片的方法是：

计算切片集C′_k中的切片与切片集C_k-1中的所有切片的重叠率IOU的最大值，记为IOU_max。

第i个切片的IOU_max的计算方法为：

其中C′_k,i表示切片集中C′_k的第i个切片，C_k-1,j表示切片集C_k-1中的第j个切片，C′_k,j∩C_k-1,j表示切片C′_k,j区域和切片C_k-1,j区域的交集的面积，C′_k,j∪C_k-1,j表示两个切片区域的并集的面积。

得到每个切片的重叠率后，通过重叠率IOU_max判断该切片是否是重复的，如果IOU_max大于IOU_τ3，则认为该切片是重复的，应该删除掉。IOU_τ3的设置主要考虑对加入候选切片集的切片数量要求，如果要求加入的切片数量多，则将设置的较小IOU_τ3；如果希望加入的切片数量较少，则将IOU_τ3设置的较大。在本例中，通过考虑对切片数量的要求并合理分析数据，将IOU_τ3设置为0.8。

(3.6.4)计算切片集C″_k中的切片个数N_C′k，以及切片集C_k-1的切片个数

计算新切片所占的比例

如果β小于β_τ，则收敛的目标检测模型Net_opt＝Net_k，并执行步骤(4)，否则执行步骤(3.7)。β_τ的设置主要考虑对训练时间成本的要求，如果设置的比较小，会使得迭代挑选的样本的次数增大，在实际中会增大总体训练时间；如果设置的比较大，会使得迭代挑选样本的次数降低，减小训练总体时间，但是这样会导致训练的不够充分，网络会在没有充分收敛的情况下停止训练。在本例中，通过合理分析数据并权衡以上优缺点，将β_τ设置为0.5％。

本发明通过更新候选切片集的方法，能够不断将置信度高的目标切片和杂波加入到候选切片集中，从而不断提升候选切片集中切片的数量和丰富度。通过对切片挑选模块的挑选的切片进行去重复处理，提升了新加入的切片的多样性，从而提升候选切片集中切片的数量和丰富度，最终可以提升网络的检测性能。通过对新加入切片集的比例进行限制，为网络收敛提供一个新的判别准则，降低了网络训练的难度，提升网络训练的速度，提升网络的整体性能。

实施例10

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-9，步骤(3.7)中使用更新的切片集进行训练和验证，具体包括有如下步骤：

(3.7.1)使用更新的切片集C_k，再次训练鉴别网络Net_D：使用上次得到的收敛模型Net_D_k-1对鉴别网络进行参数初始化，当训练收敛之后，得到鉴别模型Net_D_k。将目标检测模型Net_k-1中的鉴别模型替换为Net_D_k，此时切片提取网络的基础网络也随之被替换，得到新的目标检测模型Net_k。

(3.7.2)使用验证数据集对目标检测模型Net_k进行验证：将验证图像输入到切片选择模型Net_E_k中，得到候选切片。对候选切片进行非极大值抑制，对非极大值抑制得到的切片挑选置信度高于0.5的切片，将挑选的切片输入到鉴别网络Net_D_k中，得到初步检测结果。将初始检测结果进行非极大值抑制，然后挑选置信度高于T的切片，得到验证图像的最终检测结果。T的设置主要考虑对检测结果的信任程度，如果设置的较大，会漏掉一部分检测结果；如果设置的较小，会引入一部分虚警目标。在本例中，通过合理分析数据和网络，将T设置为0.8。然后将最终检测结果与真实目标位置进行比对，根据比对结果计算验证准确率a_k。当训练时的验证准确率的变化率δ＝(a_k-a_k-1)/a_k-1小于δ_τ时，得到收敛的目标检测模型Net_opt＝Net_k，执行步骤(4)，否则执行步骤(3.8)。δ_τ的设置主要考虑对总体训练时间的要求，如果希望总体训练时间短，可以将δ_τ设置的较大，但是这种情况下网络会出现没有完全收敛的情况；如果对总体训练时间没有限制，可以将δ_τ设置的较小，保证网络完全收敛。在本例中，通过分析训练数据和网络结构，结合对训练时间的要求，将δ_τ设置为0.01％。

本发明通过使用更新的候选切片集对鉴别网络进行训练，在每次训练完成后都将新切片加入到候选切片集中，每次训练鉴别网络都能提升网络的性能，因此多次训练鉴别网络可以不断提升网络的性能。通过判断准确率的变化率，可以及时判断网络的收敛程度，最终得到收敛的目标检测模型。

下面给出一个更加具体详尽的例子对本发明进一步描述。

实施例11

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-10，本发明的检测方法，参见图5，主要包括生成数据、构建并设计网络、训练和测试四个步骤。

步骤1，生成训练数据集、验证数据集和辅助数据集。

(1.1)生成训练数据集：输入原始训练SAR图像，裁剪得到尺寸为M×N的含有目标的子图像，允许尺寸有一定浮动，保证不会将某个目标截断。对其中30％的子图像进行目标边框标记，作为切片级标记的训练数据集；剩余的子图像不进行目标边框标记，作为图像级标记的训练数据集；另外对原始训练SAR图像裁剪得到一些不含目标的子图像，作为杂波子图像数据集。本例中M＝300，N＝500，在实际中可以根据具体数据和要求进行调整。

(1.2)生成验证数据集：输入原始测试SAR图像，裁剪得到尺寸为M×N的含有目标的子图像，也允许尺寸有一定浮动，保证不会将某个目标截断；对子图像进行目标边框标记，作为验证数据集。

(1.3)使用MSTAR 3类7型数据集作为预训练的数据集。对MSTAR数据集填充到尺寸为M×N，并标记目标，得到辅助数据集。

步骤2，设计并构建半监督目标检测网络。

(2.1)半监督目标检测网络，包括图像数据输入模块，切片提取网络模块，鉴别网络模块，候选切片保存模块，切片挑选模块，以及负包模块。

(2.2)设计切片提取网络：参见图3，包括输入层，卷积层，批归一化层，池化层，输出层。该网络的输入是SAR子图像，输出是其对应的候选切片，包括有分类结果和边框预测结果。目的是从输入图像中提取候选切片。

(2.3)设计鉴别网络Net_D，参见图4，包括输入层，卷积层，批归一化层，池化层，全连接层，输出层等。该网络的输入是切片提取网络得到的候选切片，输出是最终检测结果，包括有分类结果和边框预测结果。目的是对候选切片进一步剔除杂波，并得到最终的检测结果。为了减少网络的参数量，鉴别网络和切片提取网络的基础网络共享参数。

(2.4)设计切片挑选模块，目的是挑选置信度高的检测结果，并加入到切片集中。切片提取网络模块的输入是检测结果处理模块中图像级标记的SAR子图像的检测结果，输出是挑选好的切片，挑选的方法是选择置信度高于T_S的候选切片，候选切片包括目标切片和杂波切片。在本例中，通过合理分析数据和网络，将T_S设置为0.925。通过迭代挑选切片，得到丰富的候选切片，使用丰富的候选切片训练鉴别网络，提升网络的泛化性能。

(2.5)设计负包模块：负包模块的输入是杂波SAR子图像，输出是子图像的杂波切片。杂波切片的获取方式是从检测结果处理模块中的杂波SAR子图像的切片得到，挑选杂波SAR子图像的检测结果的置信度分数最高的前K个杂波切片作为一幅杂波SAR子图像的杂波切片，本例中K＝512。负包模块的输出是所有杂波SAR子图像的杂波切片，构成杂波切片集，称为负包。负包模块为候选切片保存模块提供了更加丰富的杂波切片。负包模块可以提升候选切片集中杂波样本的完备性。

(2.6)设计候选切片保存模块：参见图2，分别设有切片级标记图像切片保存单元、负包切片保存单元和图像级标记图像切片保存单元。候选切片保存模块接收来自切片提取网络模块输出的切片，负包模块输出的切片，以及切片挑选模块输出的切片中与已有切片不重复的切片，将这三种切片合并加入候选切片集，并将候选切片集送入鉴别网络模块。候选切片保存模块可以结合不同模块输出的切片，保证了候选切片集中目标切片和杂波切片的多样性，最终可以提升网络的泛化性能。

步骤3，对半监督目标检测网络进行训练。

(3.1)参见图5，首先使用MSTAR分类数据集对基础网络进行预训练，使用该模型对后续网络进行参数初始化。

(3.2)用切片级标记的训练数据集和辅助数据集训练目标检测网络。使用交替训练切片提取网络和鉴别网络的方法进行训练，即先训练切片提取网络；然后使用网络得到的候选切片集训练鉴别网络；之后再次训练切片提取网络，并使用上一步的鉴别模型的基础网络进行参数初始化；最后使用得到的新的候选切片集训练鉴别网络，也使用上一步的切片提取模型的基础网络进行参数初始化。训练使用的优化算法是随机梯度下降法。当训练收敛之后，得到目标检测模型Net₀，包括切片提取模型Net_E₀和鉴别模型Net_D₀。

(3.3)将切片级标记的图像输入到切片选择模型Net_E₀中，得到对应的候选切片，记为切片集C₀。将这些候选切片与真实标记的目标位置进行比对，计算IOU。第i个切片的IOU计算方法如下：

其中C_0,i表示切片集中的第i个切片，C_GT,j表示真实标记的第j个切片，C_0,i∩C_GT,j表示切片C_0,i区域和切片C_GT,j区域的交集的面积，C_0,i∪C_GT,j表示两个切片区域的并集的面积。然后将IOU大于等于IOU_τ1的切片标记为目标切片，将IOU小于IOU_τ1且大于IOU_τ2的切片标记为杂波切片，得到所有候选切片的标签。在本例中，通过合理分析数据和网络以及对切片数量的要求，将IOU_τ1设置为0.5，将IOU_τ2设置为0.1。

(3.4)将杂波子图像输入到目标检测网络中，获取对应的检测结果，对每一幅子图像选择分数较高的前K个检测结果作为该子图像的杂波切片集，本例中K＝512。最终得到所有杂波子图像的杂波切片集，将这些杂波切片集称为负包，然后将负包加入到切片集C₀中。这一步的目的是获取充足的杂波切片，为后续鉴别网络提供充足的样本。

(3.5)接下来开始迭代挑选候选切片，将每次挑选的候选切片都加入到候选切片集中，并使用候选切片集训练鉴别网络。初始迭代次数k＝1。

(3.6)将图像级标记的图像输入目标检测模型Net_k-1，预测并得到输入图像对应的目标切片和杂波切片，加入候选切片集，具体步骤如下。

(3.6.1)将图像级标记的图像输入目标检测模型Net_k-1，预测得到图像级标记的图像对应的检测结果，检测结果包括每个目标切片和杂波切片的分类置信度和边框坐标。

(3.6.2)保留上一步检测结果中目标切片和杂波切片的分类置信度大于T_S的切片，记为切片集C′_k。在本例中，通过合理分析数据和网络，将TS设置为0.925。

(3.6.3)IOU_max将切片集C′_k中与切片集中重复的切片删除，得到切片集C″_k。然后将切片集C″_k加入到切片集C_k-1中，得到切片集C_k。删除重复切片的方法是：

计算切片集C′_k中的切片与切片集C_k-1中的所有切片的重叠率IOU的最大值，记为IOU_max。

第i个切片的IOU_max的计算方法为：

其中C′_k,i表示切片集中C′_k的第i个切片，C_k-1,j表示切片集C_k-1中的第j个切片，C′_k,j∩C_k-1,j表示切片C′_k,j区域和切片C_k-1,j区域的交集的面积，C′_k,j∪C_k-1,j表示两个切片区域的并集的面积。

得到每个切片的重叠率后，通过重叠率IOU_max判断该切片是否是重复的，如果大于IOU_τ3，则认为该切片是重复的，应该删除掉。在本例中，通过考虑对切片数量的要求并合理分析数据，将IOU_τ3设置为0.8。

(3.6.4)计算切片集C″_k中的切片个数

以及切片集C_k-1的切片个数

计算新切片所占的比例

如果β小于β_τ，则收敛的目标检测模型Net_opt＝Net_k，执行步骤4，对半监督目标检测网络进行测试。如果β大于等于β_τ，执行步骤(3.7)。在本例中，通过合理分析数据及对切片数量的要求，将β_τ设置为5％。

(3.7)使用更新的切片集训练鉴别网络，并更新目标检测网络的参数，然后对目标检测网络进行验证，具体步骤如下。

(3.7.1)使用更新的切片集C_k，再次训练鉴别网络Net_D。使用上次得到的收敛模型Net_D_k-1对鉴别网络进行参数初始化，当训练收敛之后，得到鉴别模型Net_D_k。将目标检测模型Net_k-1中的鉴别模型替换为Net_D_k，此时切片提取网络的基础网络也随之被替换，得到新的目标检测模型Net_k。

(3.7.2)使用验证数据集对目标检测模型Net_k进行验证：将验证图像输入到切片选择模型Net_E_k中，得到候选切片。对候选切片进行非极大值抑制，阈值为0.7。对非极大值抑制得到的切片挑选置信度高于0.5的切片。将挑选的切片输入到鉴别网络Net_D_k中，得到初步检测结果。将初始检测结果进行非极大值抑制，阈值为0.3，然后挑选置信度高于T的切片，得到验证图像的最终检测结果。在本例中，通过合理分析数据和网络性能，将T设置为0.7。将最终检测结果与真实目标位置进行比对，根据比对结果计算验证准确率a_k。当训练时的准确率的变化率δ＝(a_k-a_k-1)/a_k-1小于δ_τ时，得到收敛的目标检测模型Net_opt＝Net_k，执行步骤4，对半监督目标检测网络进行测试。否则，当训练时的准确率的变化率δ大于等于δ_τ时，执行步骤(3.8)。在本例中，通过分析训练数据和网络结构，结合对训练时间的要求，将δ_τ设置为0.01％。

(3.8)更新迭代次数，k＝k+1；返回执行步骤(3.6)，进行新一轮的训练，即在切片挑选模块中对切片进行挑选，然后在候选切片保存模块中对候选切片集更新，最后对鉴别网络进行训练。

步骤4，对半监督目标检测网络进行测试。

(4.1)采用滑动窗口的方式，对原始测试SAR图像进行裁剪，得到大量子图像。将子图像输入到收敛模型Net_opt中，得到子图像的初始检测结果。按照子图像在原始测试SAR图像中的位置，将子图像的检测结果恢复到原始测试SAR图像上，得到原始测试SAR图像的初始检测结果。

(4.2)使用非极大值抑制对初始检测结果去除重叠结果。

(4.3)选择分类置信度大于T的检测结果，作为最终的检测结果。在本例中，通过合理分析网络性能，将T设置为0.7。

由于本发明使用迭代挑选候选切片的方式对网络进行训练，克服了现有技术对切片级标注图像依赖程度高以及准确率低的问题，使得本发明可以在拥有少量切片级标记的图像和大量图像级标记的图像的情况下能达到较高的准确率。

下面结合实验对本发明的技术效果再做描述。

实施例12

基于半监督卷积神经网络的SAR图像目标检测系统和方法同实施例1-11。

实验条件

本发明的实验的硬件平台为：处理器Intel Xeon CPU E5-2630v4，处理器主频为2.20GHz，内存为128GB，显卡为NVIDIA GTX 1080Ti。操作系统为ubuntu16.04LTS。软件平台为caffe，python2.7和Matlab R2014a。

实验数据以及参数设置

实验采用的数据集是MiniSAR数据集。MiniSAR实测数据集是2006年由美国Sandia国家实验室公开的基于复杂场景的SAR图像实测数据。MiniSAR数据图像中有车辆目标，也包含复杂的背景，如：建筑物、草地、树木等，本实验将其中的车辆目标作为检测的目标，其中一幅MiniSAR原始图像参见图9。本实验从原始9幅SAR图像选择7幅作为训练图像，选择剩余2幅作为测试图像。对原始训练和测试SAR图像分别进行裁剪，得到尺寸为300×500的含有目标的子图像，允许尺寸有一定浮动，保证目标不被截断。最终得到40幅训练SAR子图像和16幅验证SAR子图像。对训练SAR子图像中少量的12幅的车辆目标进行目标边框标记，作为切片级标记的训练数据集，取2幅展示，参见图6，其中图6(a)是第一幅切片级标记的训练图像，图6(b)是第二幅切片级标记的训练图像。训练SAR子图像中剩余的28幅子图像不进行目标边框标记，作为图像级标记的训练数据集，参见图7，其中图7(a)是第一幅图像级标记的训练图像，图7(b)是第二幅图像级标记的训练图像。然后从原始训练图像中裁剪得到20幅尺寸为300×500的杂波子图像，作为杂波训练子图像集，参见图8，其中图8(a)是第一幅杂波子图像，图8(b)是第二幅杂波子图像。对16幅验证SAR子图像也进行目标边框标记，作为验证数据集。

采用滑动窗口的方式，对原始测试MiniSAR图像进行裁剪，窗口尺寸为300×500，得到大量有重复区域的子图像，作为测试SAR子图像。

实验中使用切片级标记的数据集进行初始训练的学习率为0.001，后续迭代挑选切片时的训练学习率为0.0001。单次训练的最大迭代次数为80000。

实验内容

方法A：使用本发明训练半监督目标检测网络，用待测试的SAR子图像对目标检测模型进行测试，得到方法A的检测结果。

方法B：使用切片级标记的训练子图像训练目标检测网络，具体检测方法可参照西安电子科技大学在申请的专利文献“基于卷积神经网络的SAR图像目标检测方法”。该方法只能利用切片级标记的训练子图像。用待测试的SAR子图像对目标检测模型进行测试，得到方法B的检测结果。

方法C：用传统的双参数CFAR检测方法对测试图像进行目标检测，双参数CFAR检测的具体操作参照2013年西安电子科技大学李礼的硕士毕业论文《SAR目标检测与鉴别算法研究及软件设计》中的第二章“SAR目标检测方法研究”。最终得到方法C的检测结果。

为了说明本发明的性能，对方法A和方法B分别做5次实验，每次实验的实验数据，从所有子图像中按比例随机划分切片级标记的子图像和图像级标记的子图像，其中少量的切片级标记的子图像的比例为30％，即为12幅子图像。

4.实验结果及分析

将每一幅子图像的检测结果按照其裁剪时在原始SAR图像中的位置，恢复到原始SAR图像上，作为原始SAR图像的最终检测结果。由于方法A的实验做了5次，5次实验的检测结果基本相同，将第1次实验的检测结果用图片的方式表示出来，参见图10，其中图10(a)是本发明得到的第一幅原始SAR图像的检测结果。图中绿色的矩形框表示正确的检测结果，红色的矩形框表示错误的检测结果，蓝色的矩形框表示漏检的车辆目标。通过图10(a)可以看出，图中右侧有大量车辆目标的区域，大部分的车辆都被能被检测到，只有少量的车辆目标没有被检测出来，可以看出在车辆目标比较密集的情况下，该方法能检测出绝大部分车辆目标。图中其他部分的车辆目标也基本都被检测到，只有少量的错误检测和漏检。因此图10(a)说明了本发明具有良好的检测性能。

图10(b)是本发明得到的第二幅原始SAR图像的检测结果。与图10(a)相同，图10(b)中绿色的矩形框表示正确的检测结果，红色的矩形框表示错误的检测结果，蓝色的矩形框表示漏检的车辆目标。通过图10(b)可以看出，图中左上角，右上角和右侧的车辆目标集中区域，大部分的车辆目标都能被检测到，只有少量的漏检，这是因为车辆目标过于密集，给检测带来了一定的难度，同时图中错误检测的数量也很少。因此图10(b)也说明本发明的检测性能优良。

通过precision，recall和F1-score定量评价不同方法的检测性能，定义如下：

其中TP是检测结果中的正确的目标个数，FP是错误的目标个数，NP是真实的目标个数。Precision是检测精度，recall是召回率，F1-score是前两者之间的平衡指标，是评价性能的主要指标。

表1.三种方法的检测结果

表1是三种方法的定量检测结果。方法A和方法B的检测结果分别是5次实验结果的平均值。通过表1可以看出，本发明的方法的Precision比方法B和方法C都高，显著地提高了检测的准确率，降低了检测虚警率，说明检测结果中正确目标的比例高，错误目标的比例低。本发明的检测Recall比方法B高，说明本发明漏警率较低，说明检测结果中正确目标的数量与真实目标的数量差距小。本发明的F1-socre也比方法B和方法C高，说明本发明的整体检测性能高。

综上，本发明提出的基于半监督卷积神经网络的目标检测方法的检测性能相比以上其它方法都更为优秀。本发明可以同时利用切片级标记的图像和图像级标记的图像对网络进行训练，对切片级标记的图像依赖程度低，对人工标记数据的需求量少，检测准确率高，具有良好的应用前景。

简而言之，本发明公开的基于半监督CNN的SAR图像目标检测系统和方法，主要解决了现有SAR图像目标检测方法对切片级标记的训练图像依赖程度高，以及检测准确率低的技术问题。本发明的检测系统中的切片挑选模块为网络训练提供丰富的候选目标切片和杂波切片，负包模块也为网络训练提供丰富的杂波切片，候选切片保存模块将切片提取网络模块提供的候选切片、切片挑选模块提供的切片和负包模块提供的切片处理并保存为候选切片集，可以为网络提供充足的训练样本。目标检测方法实现步骤是：(1)生成训练数据集、验证数据集和测试数据集；(2)设计并构建加入了切片挑选模块和负包模块的半监督目标检测网络；(3)对半监督目标检测网络进行训练；(4)对半监督目标检测网络进行测试。本发明首先使用少量切片级标记的图像训练目标检测网络，然后使用迭代挑选候选切片的方式对网络进行训练。本发明对切片级标记的训练图像依赖程度低，人工标记的工作量低；在拥有少量切片级标记的图像和大量图像级标记的图像的情况下能达到较高的准确率；可以应用于SAR图像车辆目标检测。

Claims (8)

1.一种基于半监督卷积神经网络的SAR图像目标检测方法，其特征在于，先使用少量切片级标记的图像训练目标检测网络，然后使用迭代挑选候选切片的方式对网络进行训练，包括如下步骤：

(1)生成训练数据集、验证数据集和辅助数据集：

(1.1)生成训练数据集：输入原始训练SAR图像，裁剪得到尺寸为M×N的含有目标的子图像；对其中少量的子图像进行目标边框标记，作为切片级标记的训练数据集；剩余的子图像不进行目标边框标记，作为图像级标记的训练数据集；另外对原始训练SAR图像裁剪得到一些不含目标的子图像，作为杂波子图像数据集；

(1.2)生成验证数据集：输入原始测试SAR图像，裁剪得到尺寸为M×N的含有目标的子图像；对子图像进行目标边框标记，作为验证数据集；

(1.3)生成辅助数据集：使用MSTAR 3类7型数据集作为预训练的数据集；对MSTAR数据集填充到尺寸为M×N，并进行目标边框标记，得到辅助数据集；

(2)设计并构建半监督目标检测网络：

设计并构建半监督目标检测网络，包括图像数据输入模块，切片提取网络模块，鉴别网络模块，候选切片保存模块，切片挑选模块，以及负包模块；切片提取网络模块对SAR子图像进行切片提取处理得到候选切片；鉴别网络模块对候选切片剔除杂波并得到检测结果；切片挑选模块对图像级标记的SAR子图像的检测结果进行挑选并得到候选切片；负包模块从杂波SAR子图像得到杂波切片；候选切片保存模块接收来自切片提取网络模块输出的候选切片，切片挑选模块输出的候选切片，以及负包模块输出的候选切片，合并保存加入候选切片集，然后将候选切片集送入鉴别网络模块；

(3)对半监督目标检测网络进行训练：

使用少量切片级标记的训练数据集和辅助数据集训练目标检测网络，得到训练好的模型；通过训练好的模型得到切片级标记的图像对应的候选切片和杂波子图像对应的杂波切片，并保存为候选切片集；将图像级标记的图像输入训练好的模型，挑选检测结果中置信度高于预先设定阈值的切片，将挑选的切片中与已有切片不重复的切片加入到候选切片集中，使用候选切片集再次训练鉴别网络；当鉴别网络训练收敛之后，再次进行切片挑选，并将不重复的切片再次加入到候选切片集中；多次迭代挑选切片并训练鉴别网络，当满足收敛条件时，训练完成，得到收敛的目标检测模型；

(4)对半监督目标检测网络进行测试：

(4.1)使用滑动窗口的方式，对原始测试SAR图像进行裁剪，得到大量子图像，将子图像输入到收敛的目标检测模型中，得到子图像的检测结果，按照子图像在原始测试SAR图像中的位置，将子图像的检测结果恢复到原始测试SAR图像上，得到原始测试SAR图像的初始检测结果；

(4.2)对初始检测结果，使用非极大值抑制方法，去除重复的检测结果；

(4.3)选择分类置信度大于T的检测结果，作为输入SAR图像的最终检测结果。

2.根据权利要求1所述的基于半监督卷积神经网络的SAR图像目标检测方法，其特征在于，步骤(2)中所述的设计并构建半监督目标检测网络，具体包括有如下步骤：

(2.1)半监督目标检测网络，包括图像数据输入模块，切片提取网络模块，鉴别网络模块，候选切片保存模块，切片挑选模块，以及负包模块；

(2.2)设计切片提取网络Net_E，包括输入层，卷积层，批归一化层，池化层，输出层；该网络的输入是SAR子图像，输出是其对应的候选切片；目的是从输入图像中提取候选切片；

(2.3)设计鉴别网络Net_D，包括输入层，卷积层，批归一化层，池化层，全连接层，输出层；该网络的输入是切片提取网络得到的候选切片，输出是最终检测结果；目的是对候选切片剔除杂波，并得到最终检测结果；其中鉴别网络和切片提取网络的基础网络共享参数；

(2.4)设计切片挑选模块，目的是挑选置信度高的检测结果，并加入到切片集中；切片提取网络模块的输入是检测结果处理模块中图像级标记的SAR子图像的检测结果，输出是挑选好的切片，挑选的方法是选择置信度高于T_S的候选切片，候选切片包括目标切片和杂波切片；

(2.5)设计负包模块：负包模块的输入是杂波SAR子图像，输出是子图像的杂波切片；杂波切片的获取方式是从检测结果处理模块中的杂波SAR子图像的切片得到，挑选杂波SAR子图像的检测结果的置信度分数最高的前K个杂波切片作为一幅杂波SAR子图像的杂波切片，负包模块的输出是所有杂波SAR子图像的杂波切片，构成杂波切片集，称为负包；

(2.6)设计候选切片保存模块：候选切片保存模块接收来自切片提取网络模块输出的切片，负包模块输出的切片，以及切片挑选模块输出的切片中与已有切片不重复的切片，将这三种切片合并加入候选切片集，并将候选切片集送入鉴别网络模块。

3.根据权利要求1所述的基于半监督卷积神经网络的SAR图像目标检测方法，其特征在于，步骤(3)中所述的对半监督目标检测网络进行训练，具体包括有如下步骤：

(3.1)使用MSTAR 3类7型数据集对基础网络进行预训练，训练完成后得到收敛模型Net_M₀；

(3.2)使用少量切片级标记的训练数据集和辅助数据集训练目标检测网络，使用Net_M₀模型对网络进行参数初始化，训练完成后得到目标检测模型Net₀，包括切片提取模型Net_E₀和鉴别模型Net_D₀；

(3.3)通过目标检测模型Net₀得到切片级标记的图像对应的候选目标切片和杂波切片，记为切片集C₀；

(3.4)将杂波子图像输入到目标检测模型Net₀中，获取杂波子图像对应的杂波切片，并加入到切片集C₀中；

(3.5)接下来开始迭代挑选候选切片，候选切片包括候选目标切片和候选杂波切片，将每次挑选的候选切片都加入到切片集中，并使用切片集训练鉴别网络；初始迭代次数k＝1；

(3.6)将图像级标记的图像输入目标检测模型Net_k-1，预测并得到输入图像对应的目标切片和杂波切片，保留对应分类置信度大于T_S的切片，去掉其中与切片集C_k-1重复的切片，然后加入到切片集C_k-1中，更新后的切片集记为C_k；当新切片所占的比例小于β_τ时，得到收敛的目标检测模型Net_opt＝Net_k，执行步骤(4)，否则继续下一步；

(3.7)使用更新的切片集C_k，再次训练鉴别网络Net_D，得到鉴别模型Net_D_k；将检测模型Net_k-1中的鉴别模型替换为Net_D_k，此时切片提取模型的基础网络部分也随之被替换，得到新的检测模型Net_k；并使用验证数据集对目标检测模型Net_k进行验证，得到验证准确率；当训练时准确率的变化率小于δ_τ时，得到收敛的目标检测模型Net_opt＝Net_k，执行步骤(4)，否则继续下一步；

(3.8)更新迭代次数，k＝k+1；执行步骤(3.6)。

4.根据权利要求3所述的基于半监督卷积神经网络的SAR图像目标检测方法，其特征在于：步骤(3.4)所述的获得杂波切片的具体方法为：将杂波子图像输入到目标检测网络中，获取对应的检测结果，对每一幅子图像的检测结果中选择分数最高的前K个杂波切片作为该子图像的杂波切片，最终得到所有杂波子图像的杂波切片集，将杂波切片集称为负包，然后将负包加入到切片集C₀中；这一步的目的是获取充足的杂波切片，为鉴别网络提供完备的训练样本。

5.根据权利要求3所述的基于半监督卷积神经网络的SAR图像目标检测方法，其特征在于：步骤(3.6)中的更新候选切片集，具体包括如下步骤：

(3.6.1)将图像级标记的图像输入目标检测模型Net_k-1，预测得到图像级标记的图像对应的检测结果，检测结果包括每个目标切片和杂波切片的分类置信度和边框坐标；

(3.6.2)保留上一步检测结果中目标切片和杂波切片的分类置信度大于T_S的切片，记为切片集C′_k；

(3.6.3)将切片集C′_k中与切片集C_k-1中重复的切片删除，得到切片集C″_k；然后将切片集C″_k加入到切片集C_k-1中，得到切片集C_k；删除重复切片的方法是：

计算切片集C′_k中的切片与切片集C_k-1中的所有切片的重叠率IOU的最大值，记为IOU_max；

第i个切片的IOU_max的计算方法为：

其中C′_k,i表示切片集中C′_k的第i个切片，C_k-1,j表示切片集C_k-1中的第j个切片，C′_k,i∩C_k-1,j表示切片C′_k,i区域和切片C_k-1,j区域的交集的面积，C′_k,i∪C_k-1,j表示两个切片区域的并集的面积；

得到每个切片的重叠率后，通过IOU_max判断该切片是否是重复的，如果IOU_max大于IOU_τ3，则认为该切片是重复的，应该删除掉；

(3.6.4)计算切片集C″_k中的切片个数

以及切片集C_k-1的切片个数

计算新切片所占的比例

如果β小于β_τ，则收敛的目标检测模型Net_opt＝Net_k，执行步骤(4)，否则执行步骤(3.7)。

6.根据权利要求3所述的基于半监督卷积神经网络的SAR图像目标检测方法，其特征在于：步骤(3.7)中使用更新的切片集进行训练和验证，具体包括有如下步骤：

(3.7.1)使用更新的切片集C_k，再次训练鉴别网络Net_D；使用上次得到的收敛模型Net_D_k-1对鉴别网络进行参数初始化，当训练收敛之后，得到鉴别模型Net_D_k；将目标检测模型Net_k-1中的鉴别模型替换为Net_D_k，此时切片提取网络的基础网络也随之被替换，得到新的目标检测模型Net_k；

(3.7.2)使用验证数据集对目标检测模型Net_k进行验证：将验证图像输入到切片选择模型Net_E_k中，得到候选切片；对候选切片进行非极大值抑制；对非极大值抑制得到的切片挑选置信度高于0.5的切片；将挑选的切片输入到鉴别网络Net_D_k中，得到初步检测结果；将初始检测结果进行非极大值抑制，然后挑选置信度高于T的切片，得到验证图像的最终检测结果；将最终检测结果与真实目标位置进行比对，根据比对结果计算验证准确率a_k；当训练时的准确率的变化率δ＝(a_k-a_k-1)/a_k-1小于δ_τ时，得到收敛的目标检测模型Net_opt＝Net_k，执行步骤(4)，否则执行步骤(3.8)。

7.一种基于半监督卷积神经网络的SAR图像目标检测系统，根据权利要求1-6所述的基于半监督卷积神经网络的SAR图像目标检测方法实现，按照基于卷积神经网络的目标检测的处理顺序，依次包括有图像数据输入模块，切片提取网络模块，候选切片保存模块，鉴别网络模块，以及检测结果处理模块；其特征在于，还包括有切片挑选模块和负包模块；切片挑选模块将检测结果处理模块中的检测结果切片进行挑选，送入候选切片保存模块；负包模块获取杂波SAR子图像的杂波切片并送入候选切片保存模块。

8.根据权利要求7所述的基于半监督卷积神经网络的SAR图像目标检测系统，其特征在于，所述图像数据输入模块将原始SAR图像分类并标记为切片级标记的SAR子图像和图像级标记的SAR子图像；所述候选切片保存模块中分别设有切片级标记图像切片保存单元、负包切片保存单元和图像级标记图像切片保存单元；切片级标记图像切片保存单元将切片级标记的SAR子图像输入切片提取网络模块得到的切片直接保存为切片集A；负包切片保存单元将负包模块输出的切片直接保存为切片集B；图像级标记图像切片保存单元将切片挑选模块输出的切片中与已有切片不重复的切片迭代保存为切片集C，每次迭代都将切片挑选模块输出的切片中不重复的切片保存为切片集C；最后将切片集A、切片集B和切片集C合并加入候选切片集，然后将候选切片集送入到鉴别网络模块中。

Images