CN108960190A - 基于fcn图像序列模型的sar视频目标检测方法 - Google Patents

Abstract

本发明公开了一种基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，主要解决现有技术中检测准确率较低以及目标检测过程复杂繁琐的问题。本发明的具体步骤如下：(1)搭建全卷积神经网络FCN；(2)选取训练样本和测试样本；(3)训练全卷积神经网络FCN模型；(4)计算测试样本中机动车辆目标的几何中心；(5)根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果。本发明能够充分利用了合成孔径雷达SAR视频的信息，提高了对合成孔径雷达SAR视频中机动车辆目标的检测准确率，并且提高了目标检测的效率。

Description

基于FCN图像序列模型的SAR视频目标检测方法

技术领域

本发明属于图像处理技术领域，更进一步涉及目标检测图像技术领域中的一种基于全卷积神经网络FCN(Fully Convolutional Networks)图像序列模型的合成孔径雷达SAR(Synthetic Aperture Radar)视频目标检测方法。本发明可用于从高分辨率机载合成孔径雷达SAR获取的道路信息视频中，实时检测公路上运动和静止的机动车辆包括货车、客车等地物目标。

背景技术

合成孔径雷达SAR图像在国防和民用方面起着不可替代的作用，由于与其它遥感成像系统和光学成像系统相比有很多差异，因此研究针对该类图像的特点的处理算法尤为重要。合成孔径雷达SAR图像中的目标检测是计算机视觉和图像处理等技术在合成孔径雷达SAR领域的重要应用和基本问题之一。随着合成孔径雷达SAR在成像技术方面的不断发展和进步，合成孔径雷达SAR视频系统应运而生，它能以每秒5帧以上的帧率获得高分辨率合成孔径雷达SAR图像，相应的应用范围和需求也在不断增加。美国桑迪国家实验室通过机载合成孔径雷达SAR平台飞过一个高速公路收费站以持续关注该地区的场景信息，获取了高分辨率机载合成孔径雷达SAR视频数据。对于高分辨率机载合成孔径雷达SAR视频目标检测的研究是非常有价值的，公路上的机动车辆目标的检测对于国防军事和生产生活实际都有着重要意义，例如对高速公路上行驶的机动车辆的监视，对交通运输的管理，以及对某些非法走私等违法犯罪活动的控制等。

中国科学院长春光学精密机械与物理研究所在其申请的专利文献“一种航拍视频的运动目标检测方法”(专利申请号：201711365258.1，公开号：108109163A)中公开了一种航拍视频的运动目标检测方法。该方法首先对输入视频序列进行图像匹配，得到背景补偿后的差分图像；然后对背景补偿后的差分图像进行能量累加，得到累加差分图像；再对累加差分图像进行形态学开运算处理，去除噪声并捕捉大致目标区域；最后进行边缘检测求得目标图像的边缘，并对目标区域进行标注。虽然该方法通过对输入视频序列进行图像匹配，提高了目标检测的精度，但是，该方法仍然存在的不足之处是，使用了背景补偿、去噪等繁琐的预处理过程，需要大量的时间进行运算，使得测试过程十分耗时，无法实现实时检测。

Ying Zhang等人在其发表的论文“A novel approach to moving targetsshadow detection in VideoSAR imagery sequence”(国际地学与遥感大会IGARSS(International Geoscience and Remote Sensing Symposium)德克萨斯国际会议论文2017年)中提出了一种VideoSAR动目标阴影检测方法。该方法首先将合成孔径雷达SAR视频分解为若干个由固定帧数的合成孔径雷达SAR图像组成的图像序列，然后对每一个图像序列进行基于尺度不变特征变换匹配算法SIFT(Scale Invariant Feature Transform)和随机抽样一致算法RANSAC(Random Sample Consensus)的图像配准，完成背景补偿，并通过高斯模型抑制相干斑噪声，然后使用非广延Tsallis灰度熵最大化的图像分割方法将所有序列图像二值化，最后通过三帧间差分法得到最后的检测结果。虽然该方法通过配准、去噪等预处理手段提高了目标检测的精度，并且使用帧差法检测出了合成孔径雷达SAR图像中的车辆阴影，但是，该方法仍然存在的不足之处是，由于合成孔径雷达SAR图像中正在移动的物体会出现多普勒频移现象，当车辆运动时，车辆反射的能量落在其他位置，但是沿着道路移动的阴影总是在车辆的实际物理位置，而当车辆停止时，车辆反射的能量覆盖在阴影的顶部，因此该方法可能会将道路上静止的机动车辆标记为背景，导致目标检测的精度降低。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法。

实现本发明的思路是，搭建由基础卷积层、步长为2的卷积层、转置卷积层组成的嵌套型全卷积神经网络FCN模型，利用该模型得到每个测试样本中所有像素点可能含有机动车辆特征信息的置信度，根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果。

本发明实现的具体步骤包括如下：

(1)搭建全卷积神经网络FCN：

搭建一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型；

(2)选取训练样本和测试样本：

(2a)从机载合成孔径雷达SAR上实时接收的合成孔径雷达SAR视频中，随机选取150帧含有机动车辆目标的合成孔径雷达SAR图像，作为训练样本，从剩余的合成孔径雷达SAR图像中选取6帧连续的合成孔径雷达SAR图像序列，作为测试样本；

(2b)对每个训练样本中的所有机动车辆进行标注，得到150张标注图；

(3)训练全卷积神经网络FCN模型：

将150个训练样本和150张标注图，分别输入到全卷积神经网络FCN中进行迭代训练，直至全卷积神经网络FCN的损失函数值小于10^-4，得到训练好的全卷积神经网络FCN；

(4)计算测试样本中机动车辆目标的几何中心：

(4a)将6个测试样本分别输入到训练好的全卷积神经网络FCN中，得到合成孔径雷达SAR图像序列的高维特征，将训练好的全卷积神经网络FCN的每个输出，分别作为每个测试样本中所有像素点可能含有机动车辆特征信息的置信度，得到每个测试样本的检测结果图；

(4b)将每个测试样本中相邻且置信度大于0.5的所有像素点合并为区域；

(4c)利用质心计算公式，分别计算每个检测结果图中每个区域的几何中心在平面坐标系中对应的坐标值；

(5)根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果：

(5a)将第6个测试样本中所有机动车辆目标的几何中心，在平面坐标系中对应的坐标值组成参照坐标值集；

(5b)将第1到第5个测试样本中所有机动车辆目标的几何中心，在平面坐标系中对应的坐标值组成对比坐标值集；

(5c)分别计算每个参照坐标值与对比坐标值集中的每个对比坐标值的欧式距离，将小于500的欧式距离的对比坐标数量小于3的参照坐标值舍弃；

(5d)将参照坐标值集中未被舍弃的参照坐标值作为合成孔径雷达SAR图像序列中的机动车辆目标在平面坐标系中对应的坐标值输出。

本发明与现有的技术相比具有以下优点：

第一，本发明由于搭建一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型，克服了现有技术中使用背景补偿、去噪等繁琐的预处理过程，使得目标检测过程十分耗时问题，使得本发明能够快速检测合成孔径雷达SAR视频中的机动车辆目标，降低了目标检测过程的耗时。

第二，本发明由于搭建一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型，克服了现有技术中检测步骤复杂繁琐，无法实现实时检测的问题，实现了对合成孔径雷达SAR视频中的机动车辆目标的实时检测。

第三，本发明由于使用步长为2的卷积层代替了传统全卷积神经网络的池化层进行下采样，将第七个基础卷积层的卷积核的感受野设置为27*27，并且根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果，克服了现有技术中由于合成孔径雷达SAR图像中正在移动的物体会出现多普勒频移现象，导致目标检测的精度降低的问题，使得本发明能够充分利用合成孔径雷达SAR视频的信息，提高了对合成孔径雷达SAR视频中机动车辆目标的检测的精度。

附图说明

图1是本发明的流程图；

图2是本发明仿真实验1的检测结果图；

图3是本发明仿真实验2的检测结果图。

具体实施方式

下面结合附图对本发明做进一步的详细描述。

参照附图1，对本发明的步骤做进一步的详细描述。

步骤1.搭建全卷积神经网络FCN。

搭建一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型。

所述的嵌套型全卷积神经网络FCN模型的结构依次为：输入层→第一个基础卷积层→第二个基础卷积层→第一个步长为2的卷积层→第三个基础卷积层→第四个基础卷积层→第二个步长为2的卷积层→第五个基础卷积层→第六个基础卷积层→第七个基础卷积层→第一个转置卷积层→第二个转置卷积层→第三个转置卷积层。

所述的基础网络各层的参数设置如下：

将输入层的特征映射图的总数设置为1；

将七个基础卷积层的特征映射图的总数依次设置为64、64、128、128、256、256、256个，每个基础卷积层的卷积核的尺度均设置为3*3个节点；

将第七个基础卷积层的卷积核的感受野设置为27*27；

将两个步长为2的卷积层的特征映射图的总数依次设置为128、256个，每个步长为2的卷积层的卷积核的尺度均设置为3*3个节点；

将三个转置卷积层的特征映射图的总数依次设置为128、64、1个，每个转置卷积层的转置卷积核的尺度均设置为5*5个节点。

所述的步长为2的卷积层的卷积核步长参数设置为[0,2,2,0]。

步骤2.选取训练样本和测试样本。

从机载合成孔径雷达SAR上实时接收的合成孔径雷达SAR视频中，随机选取150帧含有机动车辆目标的合成孔径雷达SAR图像，作为训练样本，从剩余的合成孔径雷达SAR图像中选取6帧连续的合成孔径雷达SAR图像序列，作为测试样本。

对每个训练样本中的所有机动车辆进行标注，得到150张标注图。

所述的对每个训练样本中的所有机动车辆进行标注的步骤如下：

第一步，创建一个与每个训练样本大小相同的全0二值图像；

第二步，将训练样本中每个包含机动车辆特征信息的像素在二值图像中对应位置的像素值赋值为1；

第三步，将标注后的二值图像作为训练样本的标注图输出。

步骤3.训练全卷积神经网络FCN模型。

将150个训练样本和150张标注图，分别输入到全卷积神经网络FCN中进行迭代训练，直至全卷积神经网络FCN的损失函数值小于10^-4，得到训练好的全卷积神经网络FCN。

所述的全卷积神经网络FCN的损失函数如下：

其中，L表示全卷积神经网络FCN的损失函数，w表示每张标注图的宽度，*表示相乘操作，h表示每张标注图的高度，∑表示求和操作，a表示训练样本的标注图矩阵G列的编号，b表示全卷积神经网络FCN的输出矩阵P列的编号，c表示训练样本的标注图矩阵G行的编号，d表示全卷积神经网络FCN的输出矩阵P行的编号，a与b的取值对应相等，c与d的取值对应相等。

步骤4.计算测试样本中机动车辆目标的几何中心。

将6个测试样本分别输入到训练好的全卷积神经网络FCN中，得到合成孔径雷达SAR图像序列的高维特征，将训练好的全卷积神经网络FCN的每个输出，分别作为每个测试样本中所有像素点可能含有机动车辆特征信息的置信度，得到每个测试样本的检测结果图。

将每个测试样本中所有相邻且置信度大于0.5像素点合并为区域。

利用质心计算公式，分别计算每个检测结果图中每个区域的几何中心在平面坐标系中对应的坐标。

所述的质心计算公式如下：

其中，C_i,j表示第i个检测结果图中第j个区域的几何中心在平面坐标系中对应的坐标，l_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的横坐标中最小的横坐标，r_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的横坐标中最大的横坐标，t_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的纵坐标中最小的纵坐标，b_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的纵坐标中最大的纵坐标。

步骤5.根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果。

将第6个测试样本中所有机动车辆目标的几何中心，在平面坐标系中对应的坐标值组成参照坐标值集。

将第1到第5个测试样本中所有机动车辆目标的几何中心，在平面坐标系中对应的坐标值组成对比坐标值集。

分别计算每个参照坐标值与对比坐标值集中的每个对比坐标值的欧式距离，将小于500的欧式距离的对比坐标数量小于3的参照坐标值舍弃。

所述的将小于500的欧式距离的对比坐标数量小于3的参照坐标值舍弃是指，对于每个参照坐标值，如果小于500的欧式距离的对比坐标数量小于3，则将该参照坐标值从参照坐标值集中删除；举例说明，若参照坐标值集中有3个参照坐标值，对比坐标值集中有5个对比坐标值，若参照坐标值集中的第一个参照坐标值到5个对比坐标值的欧式距离分别为100，200，600，700，800，则对于该参照坐标值，小于500的欧式距离的对比坐标数量为2，则将该参照坐标值从参照坐标值集中删除，参照坐标值集中剩余的参照坐标值为初始的参照坐标值集中的第二个和第三个参照坐标值。

将参照坐标值集中未被舍弃的参照坐标值作为合成孔径雷达SAR图像序列中的机动车辆目标在平面坐标系中对应的坐标值输出。

下面结合仿真实验对本发明的效果做进一步的说明：

1.仿真条件：

本发明的仿真实验是在主频3.4GHz的Intel(R)Core(TM)i5-7500CPU、核心频率1569-1784MHz的GTX1060-6GD5、内存为8GB的硬件环境和Tensorflow的软件环境下进行的。

2.仿真内容与结果分析：

采用本发明的方法，在上述仿真条件下，按照本发明的步骤进行了两次仿真实验。

本发明的仿真实验1搭建了一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型，选取训练样本和含有多个出现多普勒频移现象的运动车辆目标的测试样本，训练全卷积神经网络FCN模型，将测试样本依次输入到训练好的全卷积神经网络FCN中，全卷积神经网络FCN能够分析合成孔径雷达SAR图像序列中出现多普勒频移现象的运动车辆目标的高维特征，将训练好的全卷积神经网络FCN的每个输出，分别作为每个测试样本中所有像素点可能含有机动车辆特征信息的置信度，计算测试样本中机动车辆目标的几何中心，最后根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果如图2所示。

本发明的仿真实验2搭建了一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型，选取训练样本和含有多个静止车辆目标与多个出现多普勒频移现象的运动车辆目标的测试样本，训练全卷积神经网络FCN模型，将测试样本依次输入到训练好的全卷积神经网络FCN中，全卷积神经网络FCN能够分析合成孔径雷达SAR图像序列中静止车辆和出现多普勒频移现象的运动车辆目标的高维特征，将训练好的全卷积神经网络FCN的每个输出，分别作为每个测试样本中所有像素点可能含有机动车辆特征信息的置信度，计算测试样本中机动车辆目标的几何中心，最后根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果如图3所示。

图2和图3中的白色矩形框是用于标记测试样本中的机动车辆目标的矩形框。

从两次仿真实验得到的检测结果图中白色矩形框标记的机动车辆目标可以看出，本发明的方法能够准确地检测出合成孔径雷达SAR视频中的静止车辆目标和出现多普勒频移现象的运动车辆目标。

综上所述，本发明通过全卷积神经网络FCN图像序列模型对合成孔径雷达SAR视频进行目标检测，搭建一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型，根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果，充分利用了合成孔径雷达SAR视频的信息，提高了对合成孔径雷达SAR视频中机动车辆目标的检测精度，降低了目标检测过程的耗时，实现了对合成孔径雷达SAR视频中机动车辆目标的实时检测。

Claims (7)

1.一种基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，其特征在于，搭建由基础卷积层、步长为2的卷积层、转置卷积层组成的嵌套型全卷积神经网络FCN模型，利用该模型得到每个测试样本中所有像素点可能含有机动车辆特征信息的置信度，根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果；该方法的具体步骤包括如下：

(1)搭建全卷积神经网络FCN：

搭建一个由7层基础卷积层、2层步长为2的卷积层、3层转置卷积层组成的嵌套型全卷积神经网络FCN模型；

(2)选取训练样本和测试样本：

(2a)从机载合成孔径雷达SAR上实时接收的合成孔径雷达SAR视频中，随机选取150帧含有机动车辆目标的合成孔径雷达SAR图像，作为训练样本，从剩余的合成孔径雷达SAR图像中选取6帧连续的合成孔径雷达SAR图像序列，作为测试样本；

(2b)对每个训练样本中的所有机动车辆进行标注，得到150张标注图；

(3)训练全卷积神经网络FCN模型：

将150个训练样本和150张标注图，分别输入到全卷积神经网络FCN中进行迭代训练，直至全卷积神经网络FCN的损失函数值小于10^-4，得到训练好的全卷积神经网络FCN；

(4)计算测试样本中机动车辆目标的几何中心：

(4a)将6个测试样本分别输入到训练好的全卷积神经网络FCN中，得到合成孔径雷达SAR图像序列的高维特征，将训练好的全卷积神经网络FCN的每个输出，分别作为每个测试样本中所有像素点可能含有机动车辆特征信息的置信度，得到每个测试样本的检测结果图；

(4b)将每个测试样本中相邻且置信度大于0.5的所有像素点合并为区域；

(4c)利用质心计算公式，分别计算每个检测结果图中每个区域的几何中心在平面坐标系中对应的坐标值；

(5)根据所有测试样本中机动车辆目标的几何中心计算最终的检测结果：

(5a)将第6个测试样本中所有机动车辆目标的几何中心，在平面坐标系中对应的坐标值组成参照坐标值集；

(5b)将第1到第5个测试样本中所有机动车辆目标的几何中心，在平面坐标系中对应的坐标值组成对比坐标值集；

(5c)分别计算每个参照坐标值与对比坐标值集中的每个对比坐标值的欧式距离，将小于500的欧式距离的对比坐标数量小于3的参照坐标值舍弃；

(5d)将参照坐标值集中未被舍弃的参照坐标值作为合成孔径雷达SAR图像序列中的机动车辆目标在平面坐标系中对应的坐标值输出。

2.根据权利要求1所述的基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，其特征在于，步骤(1)中所述的嵌套型全卷积神经网络FCN模型的结构依次为：输入层→第一个基础卷积层→第二个基础卷积层→第一个步长为2的卷积层→第三个基础卷积层→第四个基础卷积层→第二个步长为2的卷积层→第五个基础卷积层→第六个基础卷积层→第七个基础卷积层→第一个转置卷积层→第二个转置卷积层→第三个转置卷积层。

3.根据权利要求1所述的基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，其特征在于，步骤(1)中所述的嵌套型全卷积神经网络FCN各层的参数设置如下：

将输入层的特征映射图的总数设置为1；

将七个基础卷积层的特征映射图的总数依次设置为64、64、128、128、256、256、256个，每个基础卷积层的卷积核的尺度均设置为3*3个节点；

将第七个基础卷积层的卷积核的感受野设置为27*27；

将两个步长为2的卷积层的特征映射图的总数依次设置为128、256个，每个步长为2的卷积层的卷积核的尺度均设置为3*3个节点；

将三个转置卷积层的特征映射图的总数依次设置为128、64、1个，每个转置卷积层的转置卷积核的尺度均设置为5*5个节点。

4.根据权利要求1所述的基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，其特征在于，步骤(1)中所述的步长为2的卷积层的卷积核步长参数设置为[0,2,2,0]。

5.根据权利要求1所述的基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，其特征在于，步骤(2b)中所述的对每个训练样本中的所有机动车辆进行标注的步骤如下：

第一步，创建一个与每个训练样本大小相同的全0二值图像；

第二步，将训练样本中每个包含机动车辆特征信息的像素在二值图像中对应位置的像素值赋值为1；

第三步，将标注后的二值图像作为训练样本的标注图输出。

6.根据权利要求1所述的基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，其特征在于，步骤(3)中所述的全卷积神经网络FCN的损失函数如下：

其中，L表示全卷积神经网络FCN的损失函数，w表示每张标注图的宽度，*表示相乘操作，h表示每张标注图的高度，∑表示求和操作，a表示训练样本的标注图矩阵G列的编号，b表示全卷积神经网络FCN的输出矩阵P列的编号，c表示训练样本的标注图矩阵G行的编号，d表示全卷积神经网络FCN的输出矩阵P行的编号，a与b的取值对应相等，c与d的取值对应相等。

7.根据权利要求1所述的基于全卷积神经网络FCN图像序列模型的合成孔径雷达SAR视频目标检测方法，其特征在于，步骤(4c)中所述的质心计算公式如下：

其中，C_i,j表示第i个检测结果图中第j个区域的几何中心在平面坐标系中对应的坐标，l_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的横坐标中最小的横坐标，r_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的横坐标中最大的横坐标，t_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的纵坐标中最小的纵坐标，b_i,j表示第i个检测结果图中第j个区域内所有点在平面坐标系中对应坐标的纵坐标中最大的纵坐标。