CN107169492B - 基于fcn-crf主从网络的极化sar目标检测方法 - Google Patents

Abstract

本发明公开了一种基于FCN‑CRF主从网络的极化SAR目标检测方法，输入待检测的极化SAR图像，对该极化SAR图像的极化相干矩阵T进行精致极化Lee滤波滤除相干噪声，得到滤波后的相干矩阵，其中，滤波后的相干矩阵中每个元素是一个3×3矩阵，相当于每个像素点有9维特征，本发明将图像块特征扩展成像素级特征，通过感兴趣区域像素点的匹配选出的训练样本相关程度更高，更加有效，感兴趣区域的像素点数量不足整个图块的50％的特征矩阵块，不再参与后续运算，极大程度降低了运算量，提高了检测效率；利用Lee滤波对原始极化SAR进行预处理，有效降低了相干斑噪声，提高图像的质量和检测性能；利用Yamaguchi分解得到的主要对应于城市建筑的螺旋散射分量，有效提取出极化SAR人造目标的特征，增加了人造目标的检测精度。

Description

基于FCN-CRF主从网络的极化SAR目标检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于FCN-CRF主从网络的极化SAR目标检测方法。

背景技术

极化SAR具有全天候、全天时、分辨率高、可侧视成像等优点，可以获取目标的精细特征和几何特征，随着极化SAR系统的推广，获得的全极化数据也越来越丰富，在军事和民用上对人造目标做出快速而准确的检测非常迫切。卷积网在图像特征提取方面的高效使用，使得其在解决极化SAR人造目标检测问题中具有重要的理论价值和广阔的应用前景。

传统的卷积网如CNN是将图像块作为输入进行训练和预测，来实现一个像素的类别检测任务，这样不仅增加了存储空间，而且计算效率低，并且图像块大小比整幅图小很多，导致部分特征缺失，从而限制检测性能。

2015年，针对CNN存在的问题，Jonathan Long等人提出了Fully ConvolutionalNetworks，简称FCN，该网络将类别检测任务由图像级别延伸到了像素级别，从而将感兴趣区域检测出来，但FCN检测结果不够精细，易忽略图像细节，且像素级的检测未能充分考虑空间邻域信息。

为了进一步增强图像的边缘约束，提高像素级别检测任务的的精度，就要对极化SAR数据，特别是人造目标的数据进行有效处理，对于检测模型也要有新的改进。

发明内容

本发明的目的在于提出一种基于Yamaguchi分解和FCN-CRF极化SAR影像人造目标检测方法，用于目标识别，提高人造目标的检测精度。

为实现上述目的，本发明提供了一种基于FCN-CRF主从网络的极化SAR目标检测方法，包括以下步骤：

1)输入待检测的极化SAR图像，对该极化SAR图像的极化相干矩阵T进行精致极化LEE 滤波滤除相干噪声，得到滤波后的相干矩阵，其中，滤波后的相干矩阵中每个元素是一个3×3 矩阵，相当于每个像素点有9维特征；

2)对步骤1)滤波后的相干矩阵进行Yamaguchi分解，得到表面散射、偶次散射、体散射以及螺旋散射功率，用分解得到的散射功率作为表征极化SAR人造目标的3维图像特征，构成基于像素点的特征矩阵F；

3)对步骤2)基于像素点的特征矩阵F进行切块处理，构成若干特征矩阵块F1作为样本数据集；

4)对待检测的极化SAR图像进行人造目标的人工标记，得到人工标记图，对人工标记图进行切块处理得到标记图块，切块处理与步骤3)中切块处理相同，并将标记图块与步骤3) 得到的样本数据集中每一特征矩阵块对应起来，标记图块中感兴趣区域的像素点数量超过整个标记图块的50％，则将标记图块对应的特征矩阵块保留下来，构成新样本数据集F2；

5)将步骤4)中得到的新样本数据集F2分割为训练数据集D和测试数据集T；

6)构造基于FCN-CRF主从网络的检测模型：

6a)选择一个由输入层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→Dropout层→卷积层→Dropout层→卷积层→上采样层(即反卷积：将因卷积操作而变小的特征图通过逆过程变回特征图原有的的大小)→Crop层(即裁剪)→Splitting层→CRF层→softmax分类器组成的19层深度神经网络；

6b)将CRF层嵌入全卷积模型中，实现FCN与CRF端到端的训练与检测，并对FCN的检测结果进行精细化处理，增强图像的边缘约束；

7)用步骤5)得到的训练数据集D对步骤6)构造的检测模型进行训练，得到训练好的模型；

8)利用步骤7)中训练好的模型对步骤5)得到的测试数据集T进行目标检测，得到测试数据集T中每个代表人造目标的像素点。

其中步骤1)中LEE滤波器的窗口大小为7×7。

其中步骤2)中对滤波后的相干矩阵进行Yamaguchi分解，步骤如下：

2a)首先给出待检测目标的协方差矩阵C为：

其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；

2b)将Yamaguchi提出的四种散射矩阵，表面散射S_surface、偶次散射S_do_uble、体散射S_vo_lume以及第四种螺旋体散射S_helix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：

其中α是一个复数，β是一个实数；

2c)然后将待检测目标的协方差矩阵C看成是四个散射分量协方差矩阵的加权合成：

<[C]>＝f_s<[C]>_surface+f_d<[C]>_double+f_v<[C]>_volume+f_h<[C]>_helix <6>

其中f_s、f_d、f_v和f_h分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；

2d)将<1>至<5>带入<6>得到方程组<7>：

其中，Im为图像；

2e)求解上述方程组，得到四个分量的散射功率以及总功率计算公式如下：

式中：P_s为表面散射功率、P_d为偶次散射功率、P_v为体散射功率以及P_h为螺旋散射功率；

2f)定义一个大小为M1×M2×3的矩阵F，将分解出的散射功率赋给矩阵F，得到基于像素点的特征矩阵F，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。

其中步骤5)包括以下步骤：

5a)从新样本数据集F2中随机选取数量为0.5％的特征矩阵块为训练数据集D；

5b)将新样本数据集F2中其余99.5％的特征矩阵块作为测试数据集T；

其中步骤6)中基于Yamaguchi分解和FCN-CRF极化SAR影像人造目标检测模型，参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第14层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第15层上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第16层Crop层，设置最终裁剪规格为128×128；

对于第17层Splitting层，设置blob分离数为2；

对于第18层CRF层，设置特征映射图数目为64；

对于第19层Softmax分类器，设置特征映射图数目为2。

其中步骤3)中，将特征矩阵F按照大小为128×128进行切块处理。

其中步骤3)中，对特征矩阵F进行128×128切块时，将每两个块之间的切割间隔定为20。

本发明包括如下步骤：

与现有技术相比，本发明至少具有以下有益效果：本发明将图像块特征扩展成像素级特征，通过感兴趣区域像素点的匹配选出的训练样本相关程度更高，更加有效，感兴趣区域的像素点数量不足整个图块的50％的特征矩阵块，不再参与后续运算，极大程度降低了运算量，提高了检测效率；

利用Lee滤波对原始极化SAR进行预处理，有效降低了相干斑噪声，提高图像的质量和检测性能；利用Yamaguchi分解得到的主要对应于城市建筑的螺旋散射分量，有效提取出极化SAR人造目标的特征，增加了人造目标的检测精度；

用于图像后处理的CRF(条件随机场)，其能量函数包括一个数据项和平滑项，数据项是基于每个像素属于各个类别的概率，平滑项是基于像素之间的灰度值差异和空间距离，传统的 CRF的平滑项只考虑相邻像素间的关联，而全连接的CRF能够考虑图像中任意两个像素之间的关联性，即图像的邻域信息，同时还提高了图像的细节检测精度，本发明利用FCN-CRF主从网络对极化SAR人造目标进行检测，实现了主网络FCN与从属网络CRF端到端的目标检测模型，由于模型的泛化性能好，使得在训练样本较少的情况下仍可以达到很高的分类精度。

而且，本发明步骤6)中构造的训练网络中每一步的池化步骤会对图像大小进行减半，将特征矩阵F按照大小为128×128进行切块处理，四步池化操作后的特征矩阵大小变为8×8，该大小的特征矩阵能够保证原128×128特征矩阵所涵盖的数据，使得检测效果最佳；同时，对特征矩阵F进行128×128切块时，将每两个块之间的切割间隔定为20，扩充足够的样本数据。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真使用的旧金山地区极化SAR数据经过Yamaguchi分解后的伪彩图；

图3是本发明仿真使用的旧金山地区极化SAR数据人造目标人工标记图；

图4是本发明仿真使用的旧金山地区极化SAR数据人造目标检测结果图。

具体实施方式

以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：

参照图1，本发明的具体实现步骤如下：

步骤1，输入待检测的极化SAR图像，获得滤波后的相干矩阵。

输入待检测极化SAR图像的相干矩阵；

用窗口大小为7×7的Lee滤波器对极化SAR图像的相干矩阵进行滤波，除去相干噪声，得到滤波后的相干矩阵，其中，滤波后的相干矩阵中每个元素是一个3×3矩阵，相当于每个像素点有9维特征。

步骤2，对滤波后的相干矩阵进行Yamaguchi分解，得到表面散射,偶次散射，体散射以及螺旋散射功率，用分解得到的散射功率作为表征极化SAR人造目标的3维图像特征，构成基于像素点的特征矩阵F。

2a)首先给出待检测目标的协方差矩阵C为：

其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；

2b)将Yamaguchi提出的四种散射矩阵，表面散射S_surface、偶次散射S_do_uble、体散射S_volume以及第四种螺旋体散射S_helix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：

其中α是一个复数，β是一个实数；

2c)然后将待检测目标的协方差矩阵C看成是四个散射分量协方差矩阵的加权合成：

<[C]>＝f_s<[C]>_surface+f_d<[C]>_double+f_v<[C]>_volume+f_h<[C]>_helix <6>

其中f_s、f_d、f_v和f_h分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；

2d)将<1>至<5>带入<6>得到方程组<7>：

其中，Im表示图像，Im为image的简写；

2e)求解方程组<7>，得到四个分量的散射功率以及总功率计算公式如下：

式中：P_s为表面散射功率、P_d为偶次散射功率、P_v为体散射功率以及P_h为螺旋散射功率；

2f)定义一个大小为M1×M2×3的矩阵F，将分解出的散射功率赋给矩阵F，得到基于像素点的特征矩阵F，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。

步骤3，将基于像素点的特征矩阵F按照大小为128×128，间隔为20切块处理，构成若干特征矩阵块F1作为样本数据集。

步骤4，对待检测的极化SAR图像进行人造目标的人工标记，得到人工标记图，对人工标记图进行切块处理得到标记图块，切块处理与步骤3)中切块处理相同，并将标记图块与步骤3)得到的样本数据集中每一特征矩阵块对应起来，标记图块中感兴趣区域的像素点数量超过整个标记图块的50％，则将标记图块对应的特征矩阵块保留下来，构成新样本数据集F2；

步骤5，将步骤4中得到的新样本数据集F2分割为训练数据集D和测试数据集T。

(5a)从新样本数据集F2中随机选取数量为0.5％的特征矩阵块为训练数据集D；

(5b)将新样本数据集F2中其余99.5％的特征矩阵块作为测试数据集T；

步骤6，构造基于FCN-CRF主从网络的检测模型。

(6a)选择一个由输入层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→Dropout层→卷积层→Dropout层→卷积层→上采样层(反卷积)→Crop 层(裁剪)→Splitting层→CRF层→softmax分类器组成的19层深度神经网络，每层的参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第14层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第15层上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第16层Crop层，设置最终裁剪规格为128×128；

对于第17层Splitting层，设置blob分离数为2；

对于第18层CRF层，设置特征映射图数目为64；

对于第19层Softmax分类器，设置特征映射图数目为2。

(6b)将CRF层嵌入全卷积模型中，实现FCN与CRF端到端的训练与检测，对FCN的检测结果进行精细化处理，从而增强图像的边缘约束；

步骤7，用步骤5得到的训练数据集D对步骤6构造的检测模型进行训练，得到训练好的模型；

将训练数据集D的特征矩阵作为目标检测模型的输入，训练数据集D中每个像素点，将属于人造目标的类别作为检测模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化目标检测模型的网络参数，得到训练好的目标检测模型，人工标记的正确类标如图3所示。

步骤8，利用步骤7中训练好的模型对步骤5得到的测试数据集T进行目标检测，得到测试数据集T中每个代表人造目标的像素点。

将测试数据集T的特征矩阵作为训练好的目标检测模型的输入，训练好的检测模型的输出为对测试数据集中每个人造目标像素点的标注。

本发明的效果可以通过以下仿真实验进一步说明：

仿真条件：

硬件平台为：Intel(R)Xeon(R)CPU E5-2630，2.40GHz*16，内存为64G。

软件平台为：Caffe。

仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，仿真图像如图2所示，图像大小为1800×1380，分辨率为10×5米，该图为RADARSAT_2系统于2008年获取的旧金山海湾地区极化SAR数据。即分别从极化SAR人造目标数据中随机选取0.5％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本，得到如图4的检测结果。

对比图3可以看出：检测结果的区域一致性较好，城区目标的边缘也非常清晰，且保持了细节信息。

再依次减少训练样本，使训练样本占样本总数的0.3％、0.1％，将本发明与全卷积神经网络的测试数据集检测精度进行对比，结果如表1所示：

表1

训练样本所占比例	全卷积神经网络	本发明
			0.5％	97.389％	97.442％
0.3％	96.929％	97.423％
			0.1％	90.906％	91.086％

从表1可见，训练样本占样本总数的0.5％、0.3％、0.1％时，本发明的测试数据集检测精度均高于全卷积神经网络。

综上，本发明通过Yamaguchi分解结合FCN-CRF主从网络对极化SAR人造目标进行检测，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的检测精度。

Claims (7)

1.基于FCN-CRF主从网络的极化SAR目标检测方法，其特征在于，包括以下步骤：

1)输入待检测的极化SAR图像，对该极化SAR图像的极化相干矩阵T进行精致极化LEE滤波滤除相干噪声，得到滤波后的相干矩阵，其中，滤波后的相干矩阵中每个元素是一个3×3矩阵，相当于每个像素点有9维特征；

2)对步骤1)滤波后的相干矩阵进行Yamaguchi分解，得到表面散射、偶次散射、体散射以及螺旋散射功率，用分解得到的散射功率作为表征极化SAR人造目标的3维图像特征，构成基于像素点的特征矩阵F；

3)对步骤2)基于像素点的特征矩阵F进行切块处理，构成若干特征矩阵块F1作为样本数据集；

4)对待检测的极化SAR图像进行人造目标的人工标记，得到人工标记图，对人工标记图进行切块处理得到标记图块，切块处理与步骤3)中切块处理相同，并将标记图块与步骤3)得到的样本数据集中每一特征矩阵块对应起来，标记图块中感兴趣区域的像素点数量超过整个标记图块的50％，则将标记图块对应的特征矩阵块保留下来，构建新样本数据集F2；

5)将步骤4)中得到的新样本数据集F2分割为训练数据集D和测试数据集T；

6)构造基于FCN-CRF主从网络的检测模型：

6a)选择一个由输入层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→池化层→卷积层→Dropout层→卷积层→Dropout层→卷积层→上采样层→Crop层→Splitting层→CRF层→softmax分类器组成的19层深度神经网络；

6b)将CRF层嵌入全卷积模型中，实现FCN与CRF端到端的训练与检测，并对FCN的检测结果进行精细化处理，增强图像的边缘约束；

7)用步骤5)得到的训练数据集D对步骤6)构造的检测模型进行训练，得到训练好的模型；

8)利用步骤7)中训练好的模型对步骤5)得到的测试数据集T进行目标检测，得到测试数据集T中每个代表人造目标的像素点。

2.根据权利要求1所述的基于FCN-CRF主从网络的极化SAR目标检测方法，其特征在于，其中步骤1)中LEE滤波器的窗口大小为7×7。

3.根据权利要求1所述的基于FCN-CRF主从网络的极化SAR目标检测方法，其特征在于，其中步骤2)中对滤波后的相干矩阵进行Yamaguchi分解，步骤如下：

2a)首先给出待检测目标的协方差矩阵C为：

其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；

2b)将Yamaguchi提出的四种散射矩阵，表面散射S_surface、偶次散射S_double、体散射S_volume以及第四种螺旋体散射S_helix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：

其中α是一个复数，β是一个实数；

2c)然后将待检测目标的协方差矩阵C看成是四个散射分量协方差矩阵的加权合成：

<[C]>＝f_s<[C]>_surface+f_d<[C]>_double+f_v<[C]>_volume+f_h<[C]>_helix <6>

其中f_s、f_d、f_v和f_h分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；

2d)将<1>至<5>带入<6>得到方程组<7>：

其中，Im为图像；

2e)求解方程组<7>，得到四个分量的散射功率以及总功率计算公式如下：

2f)定义一个大小为M1×M2×3的矩阵F，将分解出的散射功率赋给矩阵F，得到基于像素点的特征矩阵F，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。

4.根据权利要求1所述的基于FCN-CRF主从网络的极化SAR目标检测方法，其特征在于，其中步骤5)包括以下步骤：

5a)从新样本数据集F2中随机选取数量为0.5％的特征矩阵块为训练数据集D；

5b)将新样本数据集F2中其余99.5％的特征矩阵块作为测试数据集T。

5.根据权利要求1所述的基于FCN-CRF主从网络的极化SAR目标检测方法，其特征在于，其中步骤6)中基于Yamaguchi分解和FCN-CRF极化SAR影像人造目标检测模型，参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；

对于第3层池化层，设置下采样尺寸为2；

对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；

对于第5层池化层，设置下采样尺寸为2；

对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；

对于第7层池化层，设置下采样尺寸为2；

对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第9层池化层，设置下采样尺寸为2；

对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；

对于第11层Dropout层，设置稀疏系数为0.5；

对于第12层卷积层，设置特征映射图数目为128，卷积核大小1×1；

对于第13层Dropout层，设置稀疏系数为0.5；

对于第14层卷积层，设置特征映射图数目为2，卷积核大小1×1；

对于第15层上采样层，设置特征映射图数目为2，卷积核大小32×32；

对于第16层Crop层，设置最终裁剪规格为128×128；

对于第17层Splitting层，设置blob分离数为2；

对于第18层CRF层，设置特征映射图数目为64；

对于第19层Softmax分类器，设置特征映射图数目为2。

6.根据权利要求1所述的基于FCN-CRF主从网络的极化SAR目标检测方法，其特征在于，其中步骤3)中，将特征矩阵F按照大小为128×128进行切块处理。

7.根据权利要求6所述的基于FCN-CRF主从网络的极化SAR目标检测方法，其特征在于，其中步骤3)中，对特征矩阵F进行128×128切块时，将每两个块之间的切割间隔定为20。

Images