CN107392122B - 基于多极化特征和fcn-crf融合网络的极化sar影像目标检测方法 - Google Patents

基于多极化特征和fcn-crf融合网络的极化sar影像目标检测方法 Download PDF

Info

Publication number
CN107392122B
CN107392122B CN201710551718.3A CN201710551718A CN107392122B CN 107392122 B CN107392122 B CN 107392122B CN 201710551718 A CN201710551718 A CN 201710551718A CN 107392122 B CN107392122 B CN 107392122B
Authority
CN
China
Prior art keywords
layer
scattering
matrix
feature
crf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710551718.3A
Other languages
English (en)
Other versions
CN107392122A (zh
Inventor
焦李成
屈嵘
杨慧
张丹
杨淑媛
侯彪
马文萍
刘芳
尚荣华
张向荣
唐旭
马晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201710551718.3A priority Critical patent/CN107392122B/zh
Publication of CN107392122A publication Critical patent/CN107392122A/zh
Application granted granted Critical
Publication of CN107392122B publication Critical patent/CN107392122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于多极化特征和FCN‑CRF融合网络的极化SAR影像人造目标检测方法，主要解决现有技术对极化SAR人造目标检测精度低的问题，其方案是：输入待检测的极化SAR图像，对该极化SAR图像的极化相干矩阵T进行Lee滤波；对极化散射矩阵S进行Pauli分解，构成基于像素点的特征矩阵F1；对滤波后的相干矩阵T进行Yamaguchi分解，构成基于像素点的特征矩阵F2；本发明将基于多极化特征和FCN‑CRF的融合网络应用于极化SAR人造目标的检测上，提高了极化SAR图像人造目标的检测精度，可用于多目标的分类任务中。

Description

基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测 方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于卷积网络的极化SAR图像目标检测方法，可用于目标识别。
背景技术
极化SAR具有全天候、全天时、分辨率高、可侧视成像等优点，可以获取目标的精细特征和几何特征，随着极化SAR系统的推广，获得的全极化数据也越来越丰富，在军事和民用上对人造目标做出快速而准确的检测非常迫切。卷积网在图像特征提取方面的高效使用，使得其在解决极SAR人造目标检测问题中具有重要的理论价值和广阔的应用前景。
传统的卷积网如CNN是将图像块作为输入进行训练和预测，来实现一个像素的类别检测任务，这样不仅增加了存储空间，而且计算效率低，并且图像块大小比整幅图小很多，导致部分特征缺失，从而限制检测性能。
2015年，针对CNN存在的问题，Jonathan Long等人提出了Fully ConvolutionalNetworks，简称FCN，该网络将类别检测任务由图像级别延伸到了像素级别，从而将感兴趣区域检测出来，但FCN检测结果不够精细，易忽略图像细节，对于包含了多极化特征的人造目标不能够进行精准检测，且像素级的检测未能充分考虑空间邻域信息。
为了进一步增强图像的边缘约束，提高像素级别检测任务的的精度，有效提取多特征地物的数据特征，就要对极化SAR数据，特别是人造目标的数据进行有效处理，对于检测模型也要有新的改进。
发明内容
本发明的目的在于提出一种基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，以提高人造目标的检测精度。
为实现上述目的，本发明提供一种基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，包括以下步骤：
步骤1)，输入待检测的极化SAR图像，由该极化SAR图像的极化相干矩阵T求得极化散射矩阵S，并且对极化相干矩阵T进行精致极化Lee滤波滤除相干噪声，得到滤波后的相干矩阵T1，其中，滤波后的相干矩阵中每个元素是一个3×3矩阵，即每个像素点有9维特征；
步骤2)，对步骤1)中求得的极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射和体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F1；
步骤3)，对步骤1)中滤波后的相干矩阵T1进行Yamaguchi分解，得到奇次散射功率、偶次散射功率、体散射功率以及螺旋散射功率，用分解得到的功率参数作为表征极化SAR人造目标的4维图像特征，构成基于像素点的特征矩阵F2；
步骤4)，对步骤2)和步骤3)中的基于像素点的特征矩阵F1和F2进行切块处理，构成若干特征矩阵块F1_pauli和F2_yama作为两个样本数据集；
步骤5)，从步骤4)中由F1扩充出的数据集F1_pauli中，随机选取一定数量的特征矩阵块构成训练数据集P，余下的作为测试数据集P’；
步骤6)，从步骤4)中由F2扩充出的数据集F2_yama中，随机选取一定数量的特征矩阵块构成训练数据集Y，余下的作为测试数据集Y’；
步骤7)，构造基于FCN-CRF融合网络的检测模型：
7a)选择一个由[输入层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→Dropout层1]+[输入层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→Dropout层2]→级联层→卷积层→Dropout层→卷积层→上采样层→Crop层→Splitting层→CRF层→softmax分类器组成的20层深度融合神经网络；
7b)将从步骤5)和步骤6)中产生的训练数据集P和训练数据集Y提取出的人造目标特征数据分别送入输入层1与输入层2中，使得数据集P与数据集Y的特征被分别提取出来，一同送入级联层得到融合后的数据以及FCN(全卷积)融合模型；
7c)通过步骤7a)级联层后面的操作提取融合后的数据的特征，并将提取到的特征输入CRF层，然后进行FCN融合模型与CRF端到端的训练与检测，对FCN融合网络模型的检测结果进行精细化处理，增强图像的边缘约束；
步骤8)，用步骤5)得到的训练数据集P与步骤6)得到的训练数据集Y对步骤7)得到的检测模型进行训练，得到训练好的模型；
步骤9)，利用训练好的模型对步骤5)得到的测试数据集P’与步骤6)得到的测试数据集Y’进行目标检测，将测试数据集中每个代表人造目标的像素点检测出来。
2.其中步骤1)中LEE滤波器的窗口大小为7×7。
3.其中步骤2)的具体步骤如下：
2a)定义Pauli基{S1,S2,S3}的公式如下：
其中S1表示奇次散射，S2表示偶次散射，S3表示体散射；
2b)由Pauli分解定义得到如下等式：
其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；
2c)求解式<4>，代入式<1>求得的SHH、SVV、SHV，得到3个散射系数a、b、c：
2d)定义一个大小为M1×M2×3的矩阵F1，并将奇次散射系数a、偶次散射系数b、体散射系数c赋给矩阵F1，得到基于像素点的特征矩阵F1，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。
其中步骤3)的具体步骤如下：
3a)首先给出待检测目标的协方差矩阵C为：
其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；
3b)将Yamaguchi提出的四种散射矩阵，表面散射Ssurface、偶次散射Sdouble、体散射Svolume以及第四种螺旋体散射Shelix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：
其中α是一个复数，β是一个实数；
3c)然后将待检测目标的协方差矩阵C作为四个散射分量协方差矩阵的加权合成：
<|[C]|>＝fs<[C]>surface+fd〈[C]〉double+fv〈[C]〉volume+fh〈[C]〉helix <6>
其中fs、fd、fv和fh分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；
3d)将<1>至<5>带入<6>得到方程组<7>：
3e)求解方程组<7>，得到四个分量的散射功率以及总功率计算公式如下：
3f)定义一个大小为M1×M2×4的矩阵F2，将分解出的散射功率赋给矩阵F2，得到基于像素点的特征矩阵F2，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。
其中步骤4)中，将特征矩阵F1和F2按照大小为32×32进行切块处理。
其中步骤4)中，对特征矩阵F1和F2进行32×32切块时，将每两个块之间的切割间隔定为32。
步骤5)中，训练数据集P由随机选取数量为6％的特征矩阵块构成。
步骤6)中，训练数据集Y由随机选取数量为6％的特征矩阵块构成。
其中步骤7)构造的20层深度融合神经网络参数如下：
对于第1层输入层，设置特征映射图数目为3和4；
对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；
对于第3层池化层，设置下采样尺寸为2；
对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；
对于第5层池化层，设置下采样尺寸为2；
对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；
对于第7层池化层，设置下采样尺寸为2；
对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；
对于第9层池化层，设置下采样尺寸为2；
对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；
对于第11层Dropout层，设置稀疏系数为0.5；
对于第12层级联层，设置axis参数为1；
对于第13层卷积层，设置特征映射图数目为128，卷积核大小1×1；
对于第13层Dropout层，设置稀疏系数为0.5；
对于第15层卷积层，设置特征映射图数目为2，卷积核大小1×1；
对于第16层上采样层，设置特征映射图数目为2，卷积核大小32×32；
对于第17层Crop层，设置最终裁剪规格为32×32；
对于第18层Splitting层，设置blob分离数为2；
对于第19层CRF层，设置特征映射图数目为64；
对于第20层Softmax分类器，设置特征映射图数目为2。
与现有技术相比，本发明至少具有以下有益效果：
本发明将图像块特征扩展成像素级特征，降低了存储空间，提高了计算效率低；利用Lee滤波对原始极化SAR进行预处理，有效降低了相干斑噪声，提高图像的质量和检测性能；将Yamaguchi分解得到的主要对应于城市建筑的螺旋散射分量，与Pauli分解得到的散射分量通过融合网络的级联层进行特征融合，从而有效的提取出极化SAR人造目标的特征，增加了多极化特征的人造目标的检测精度；
用于图像后处理的CRF(条件随机场)，其能量函数包括一个数据项和平滑项，数据项是基于每个像素属于各个类别的概率，平滑项是基于像素之间的灰度值差异和空间距离，传统的CRF的平滑项只考虑相邻像素间的关联，而全连接的CRF能够考虑图像中任意两个像素之间的关联性，即图像的邻域信息，同时还提高了图像的细节检测精度，本发明利用FCN-CRF融合网络对极化SAR人造目标进行检测，实现了主融合网络FCN与从属网络CRF端到端的目标检测模型，由于模型的泛化性能好，使得在训练样本较少的情况下仍可以达到很高的分类精度。
而且，本发明步骤7)中构造的训练网络中每一步的池化步骤会对图像大小进行减半，将特征矩阵F1和F2按照大小为进行切块处理，四步池化操作后的特征矩阵大小变为，该大小的特征矩阵能够保证原特征矩阵所涵盖的数据，使得检测效果最佳；同时，对特征矩阵F1和F2进行切块时，将每两个块之间的切割间隔定为32，扩充足够的样本数据。
附图说明
图1是本发明的实现流程图；
图2是本发明仿真使用的旧金山地区极化SAR数据经过Pauli分解后的伪彩图；
图3是本发明仿真使用的旧金山地区极化SAR数据经过Yamaguchi分解后的伪彩图；
图4是本发明仿真使用的旧金山地区极化SAR数据人造目标人工标记图；
图5是本发明仿真使用的旧金山地区极化SAR数据人造目标检测结果图。
具体实施方式
以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：
参照图1，本发明的具体实现步骤如下：
步骤1，输入待检测的极化SAR图像，获得滤波后的相干矩阵。
输入待检测极化SAR图像；
由该极化SAR图像的极化相干矩阵T求得极化散射矩阵S，并且对该极化相干矩阵T进行精致极化Lee滤波滤除相干噪声，得到滤波后的相干矩阵，其中，滤波后的相干矩阵T1中每个元素是一个3×3矩阵，相当于每个像素点有9维特征,求解步骤如下：
(1a)已知待分类图像的极化相干矩阵T，由该极化相干矩阵T得到其对角线上的三个元素T11、T22、T33，即极化相干矩阵T第1行第1列的元素、极化相干矩阵T第2行第2列的元素、极化相干矩阵T第3行第3列的元素；
(1b)由T11、T22、T33，求出SHH、SVV、SHV：
其中，SHH为水平发射且水平接收的散射分量、SVV为垂直发射且垂直接收的散射分量、SHV为水平发射且垂直接收的散射分量；
(1c)根据步骤(1b)得到的SHH、SVV、SHV，组成极化散射矩阵S：
步骤2，对极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射、体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F1。
(2a)定义Pauli基{S1,S2,S3}的公式如下：
其中S1表示奇次散射，S2表示偶次散射，S3表示体散射；
(2b)由Pauli分解定义得到如下等式：
其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；
(2c)求解式<4>，代入式<1>求得的SHH、SVV、SHV，得到3个散射系数a、b、c：
(2d)定义一个大小为M1×M2×3的矩阵F1，并将奇次散射系数a、偶次散射系数b、体散射系数c赋给矩阵F1，得到基于像素点的特征矩阵F1，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。
步骤3，对滤波后的相干矩阵T1进行Yamaguchi分解，得到奇次散射、偶次散射、体散射以及螺旋散射功率，用这些分解得到的功率作为表征极化SAR人造目标的4维图像特征，构成基于像素点的特征矩阵F2。
3a)首先给出待检测目标的协方差矩阵C为：
其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；
3b)将Yamaguchi提出的四种散射矩阵，表面散射Ssurface、偶次散射Sdouble、体散射Svolume以及第四种螺旋体散射Shelix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：
其中α是一个复数，β是一个实数；
3c)然后将待检测目标的协方差矩阵C看成是四个散射分量协方差矩阵的加权合成：
<[C]>＝fs<[C]>surface+fd<[C]>double+fv<[C]>volume+fh<[C]>helix <6>
其中fs、fd、fv和fh分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；
3d)将<1>至<5>带入<6>得到方程组<7>：
3e)求解方程组<7>，得到四个分量的散射功率以及总功率计算公式如下：
3f)定义一个大小为M1×M2×3的矩阵F2，将分解出的散射功率赋给矩阵F2，得到基于像素点的特征矩阵F2，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。
步骤4，将F1和F2均按照大小为32×32，间隔为32切块处理，构成若干特征矩阵块F1_pauli和F2_yama作为样本数据。
步骤5，从步骤4中由F1扩充出的数据集F1_pauli中，随机选取一定数量的特征矩阵块构成训练数据集P,余下的作为测试数据集P’。
步骤6，从步骤4中由F2扩充出的数据集F2_yama中，随机选取一定数量的特征矩阵块构成训练数据集Y,余下的作为测试数据集Y’；
步骤7，构造基于FCN-CRF融合网络的检测模型。
(7a)选择一个由[输入层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→Dropout层1]+[输入层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→Dropout层2]→级联层→卷积层→Dropout层→卷积层→上采样层→Crop层→Splitting层→CRF层→softmax分类器组成的20层深度融合神经网络，每层的参数如下：
对于第1层输入层，设置特征映射图数目为3和4；
对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；
对于第3层池化层，设置下采样尺寸为2；
对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；
对于第5层池化层，设置下采样尺寸为2；
对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；
对于第7层池化层，设置下采样尺寸为2；
对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；
对于第9层池化层，设置下采样尺寸为2；
对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；
对于第11层Dropout层，设置稀疏系数为0.5；
对于第12层级联层，设置axis参数为1；
对于第13层卷积层，设置特征映射图数目为128，卷积核大小1×1；
对于第13层Dropout层，设置稀疏系数为0.5；
对于第15层卷积层，设置特征映射图数目为2，卷积核大小1×1；
对于第16层上采样层，设置特征映射图数目为2，卷积核大小32×32；
对于第17层Crop层，设置最终裁剪规格为32×32；
对于第18层Splitting层，设置blob分离数为2；
对于第19层CRF层，设置特征映射图数目为64；
对于第20层Softmax分类器，设置特征映射图数目为2。
7b)将从步骤5和步骤6中产生的训练数据集P和训练数据集Y提取出的人造目标特征数据通过网络中的特殊层结构cancat，即级联层，实现数据融合，从而构成FCN(全卷积)融合模型。
7c)进一步提取融合后的数据的特征，即步骤7a)级联层后面的操作，最后将CRF层嵌入步骤7b中提到的FCN融合模型中，实现FCN融合模型与CRF端到端的训练与检测，对FCN融合网络的检测结果进行精细化处理，增强图像的边缘约束；
步骤8，用步骤5和步骤6得到的训练数据集P和训练数据集Y对步骤7构造的检测模型进行训练，得到训练好的模型。
将训练数据集P和训练数据集Y的特征矩阵作为目标检测模型的输入，训练数据集P和Y中每个像素点，将属于人造目标的类别作为检测模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化目标检测模型的网络参数，得到训练好的目标检测模型，人工标记的正确类标如图4所示。
步骤9，利用步骤7中训练好的模型对待检测的极化SAR图像进行目标检测，得到极化SAR图像中每个代表人造目标的像素点。
将极化SAR图像的特征矩阵作为训练好的目标检测模型的输入，训练好的检测模型的输出为对极化SAR图像中每个人造目标像素点的标注。
本发明的效果可以通过以下仿真实验进一步说明：
仿真条件：
硬件平台为：Intel(R)Xeon(R)CPU E5-2630，2.40GHz*16，内存为64G。
软件平台为：Caffe。
仿真内容与结果：
用本发明方法在上述仿真条件下进行实验，仿真图像如图2和图3所示，图像大小为1800×1380，分辨率为10×5米，该图为RADARSAT_2系统于2008年获取的旧金山海湾地区极化SAR数据。即分别从极化SAR人造目标数据中随机选取6％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本，得到如图5的检测结果。从图5可以看出：检测结果的区域一致性较好，城区目标的边缘也非常清晰，且保持了细节信息，相比于图4中的人工标记图像，城区目标所在的像素点位置极为接近，由此得出该模型的检测精度很高。
再依次减少训练样本，使训练样本占样本总数的4％、2％，将本发明与Yamaguchi分解结合全卷积神经网络的测试数据集检测精度进行对比，结果如表1所示：
表1
从表1可见，训练样本占样本总数的6％、4％、2％时，本发明的测试数据检测精度均高于Pauli分解结合全卷积神经网络的检测结果。
综上，本发明通过多极化特征结合FCN-CRF融合网络对极化SAR人造目标检测，有效提高了图像特征的表达能力，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的检测精度。

Claims (9)

1.一种基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，包括以下步骤：
步骤1)，输入待检测的极化SAR图像，由该极化SAR图像的极化相干矩阵T求得极化散射矩阵S，并且对极化相干矩阵T进行精致极化Lee滤波滤除相干噪声，得到滤波后的相干矩阵T1，其中，滤波后的相干矩阵中每个元素是一个3×3矩阵，即每个像素点有9维特征；
步骤2)，对步骤1)中求得的极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射和体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F1；
步骤3)，对步骤1)中滤波后的相干矩阵T1进行Yamaguchi分解，得到奇次散射功率、偶次散射功率、体散射功率以及螺旋散射功率，用分解得到的功率参数作为表征极化SAR人造目标的4维图像特征，构成基于像素点的特征矩阵F2；
步骤4)，对步骤2)和步骤3)中的基于像素点的特征矩阵F1和F2进行切块处理，构成若干特征矩阵块F1_pauli和F2_yama作为两个样本数据集；
步骤5)，从步骤4)中由F1扩充出的数据集F1_pauli中，随机选取一定数量的特征矩阵块构成训练数据集P，余下的作为测试数据集P’；
步骤6)，从步骤4)中由F2扩充出的数据集F2_yama中，随机选取一定数量的特征矩阵块构成训练数据集Y，余下的作为测试数据集Y’；
步骤7)，构造基于FCN-CRF融合网络的检测模型：
7a)选择一个由[输入层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→池化层1→卷积层1→Dropout层1]+[输入层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→池化层2→卷积层2→Dropout层2]→级联层→卷积层→Dropout层→卷积层→上采样层→Crop层→Splitting层→CRF层→softmax分类器组成的20层深度融合神经网络；
7b)将从步骤5)和步骤6)中产生的训练数据集P和训练数据集Y提取出的人造目标特征数据分别送入输入层1与输入层2中，使得数据集P与数据集Y的特征被分别提取出来，一同送入级联层得到融合后的数据以及FCN(全卷积)融合模型；
7c)通过步骤7a)级联层后面的操作提取融合后的数据的特征，并将提取到的特征输入CRF层，然后进行FCN融合模型与CRF端到端的训练与检测，对FCN融合网络模型的检测结果进行精细化处理，增强图像的边缘约束；
步骤8)，用步骤5)得到的训练数据集P与步骤6)得到的训练数据集Y对步骤7)得到的检测模型进行训练，得到训练好的模型；
步骤9)，利用训练好的模型对步骤5)得到的测试数据集P’与步骤6)得到的测试数据集Y’进行目标检测，将测试数据集中每个代表人造目标的像素点检测出来。
2.根据权利要求1所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，其中步骤1)中Lee滤波器的窗口大小为7×7。
3.根据权利要求1所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，其中步骤2)的具体步骤如下：
2a)定义Pauli基{S1,S2,S3}的公式如下：
其中S1表示奇次散射，S2表示偶次散射，S3表示体散射；
2b)由Pauli分解定义得到如下等式：
其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；SHH为水平发射且水平接收的散射分量、SVV为垂直发射且垂直接收的散射分量、SHV为水平发射且垂直接收的散射分量；
2c)求解式<4>，代入式<1>求得的SHH、SVV、SHV，得到3个散射系数a、b、c：
2d)定义一个大小为M1×M2×3的矩阵F1，并将奇次散射系数a、偶次散射系数b、体散射系数c赋给矩阵F1，得到基于像素点的特征矩阵F1，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。
4.根据权利要求1所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，其中步骤3)的具体步骤如下：
3a)首先给出待检测目标的协方差矩阵C为：
其中S为极化散射矩阵，H、V分别表示发射与接受的水平和垂直方向；
3b)将Yamaguchi提出的四种散射矩阵，表面散射Ssurface、偶次散射Sdouble、体散射Svolume以及第四种螺旋体散射Shelix分别代入协方差矩阵C，可以推导出如下对应的四个协方差矩阵：
其中α是一个复数，β是一个实数；
3c)然后将待检测目标的协方差矩阵C作为四个散射分量协方差矩阵的加权合成：
<[C]>＝fs<[C]>surface+fd<[C]>double+fv<[C]>volume+fh<[C]>helix<6>
其中fs、fd、fv和fh分别为表面散射、偶次散射、体散射和螺旋体散射分量的系数；
3d)将<1>至<5>带入<6>得到方程组<7>：
3e)求解方程组<7>，得到四个分量的散射功率以及总功率计算公式如下：
3f)定义一个大小为M1×M2×4的矩阵F2，将分解出的散射功率赋给矩阵F2，得到基于像素点的特征矩阵F2，其中M1为待分类极化SAR图像的长，M2为待分类极化SAR图像的宽。
5.根据权利要求1所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，其中步骤4)中，将特征矩阵F1和F2按照大小为32×32进行切块处理。
6.根据权利要求5所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，其中步骤4)中，对特征矩阵F1和F2进行32×32切块时，将每两个块之间的切割间隔定为32。
7.根据权利要求1所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，步骤5)中，训练数据集P由随机选取数量为6％的特征矩阵块构成。
8.根据权利要求1所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，步骤6)中，训练数据集Y由随机选取数量为6％的特征矩阵块构成。
9.根据权利要求1所述的基于多极化特征和FCN-CRF融合网络的极化SAR影像目标检测方法，其特征在于，其中步骤7)构造的20层深度融合神经网络参数如下：
对于第1层输入层，设置特征映射图数目为3和4；
对于第2层卷积层，设置特征映射图数目为32，卷积核大小5×5；
对于第3层池化层，设置下采样尺寸为2；
对于第4层卷积层，设置特征映射图数目为64，卷积核大小5×5；
对于第5层池化层，设置下采样尺寸为2；
对于第6层卷积层，设置特征映射图数目为96，卷积核大小3×3；
对于第7层池化层，设置下采样尺寸为2；
对于第8层卷积层，设置特征映射图数目为128，卷积核大小3×3；
对于第9层池化层，设置下采样尺寸为2；
对于第10层卷积层，设置特征映射图数目为128，卷积核大小3×3；
对于第11层Dropout层，设置稀疏系数为0.5；
对于第12层级联层，设置axis参数为1；
对于第13层卷积层，设置特征映射图数目为128，卷积核大小1×1；
对于第13层Dropout层，设置稀疏系数为0.5；
对于第15层卷积层，设置特征映射图数目为2，卷积核大小1×1；
对于第16层上采样层，设置特征映射图数目为2，卷积核大小32×32；
对于第17层Crop层，设置最终裁剪规格为32×32；
对于第18层Splitting层，设置blob分离数为2；
对于第19层CRF层，设置特征映射图数目为64；
对于第20层Softmax分类器，设置特征映射图数目为2。
CN201710551718.3A 2017-07-07 2017-07-07 基于多极化特征和fcn-crf融合网络的极化sar影像目标检测方法 Active CN107392122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710551718.3A CN107392122B (zh) 2017-07-07 2017-07-07 基于多极化特征和fcn-crf融合网络的极化sar影像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710551718.3A CN107392122B (zh) 2017-07-07 2017-07-07 基于多极化特征和fcn-crf融合网络的极化sar影像目标检测方法

Publications (2)

Publication Number Publication Date
CN107392122A CN107392122A (zh) 2017-11-24
CN107392122B true CN107392122B (zh) 2019-12-31

Family

ID=60334388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710551718.3A Active CN107392122B (zh) 2017-07-07 2017-07-07 基于多极化特征和fcn-crf融合网络的极化sar影像目标检测方法

Country Status (1)

Country Link
CN (1) CN107392122B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993215A (zh) * 2017-11-27 2018-05-04 象辑知源（武汉）科技有限公司 一种天气雷达图像处理方法及系统
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法
CN108446716B (zh) * 2018-02-07 2019-09-10 武汉大学 基于FCN与稀疏-低秩子空间表示融合的PolSAR图像分类方法
CN109145870B (zh) * 2018-09-12 2021-06-25 中国农业大学 基于sar极化分解和卷积神经网络的两阶段盐碱地监测方法
CN109669184B (zh) * 2019-02-25 2021-04-20 电子科技大学 一种基于全卷积网络的合成孔径雷达方位模糊消除方法
CN110096994B (zh) * 2019-04-28 2021-07-23 西安电子科技大学 一种基于模糊标签语义先验的小样本PolSAR图像分类方法
CN110717876B (zh) * 2019-10-21 2022-08-02 中国人民解放军国防科技大学 一种sar图像相干斑滤波和目标检测一体化方法和装置
CN115410093B (zh) * 2022-08-31 2024-06-28 西安理工大学 基于双通道编码网络和条件随机场的遥感图像分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239384B1 (en) * 2014-10-21 2016-01-19 Sandia Corporation Terrain detection and classification using single polarization SAR
CN104463207B (zh) * 2014-12-05 2017-08-25 西安电子科技大学 知识自编码网络及其极化sar影像地物分类方法
US10235589B2 (en) * 2015-09-08 2019-03-19 The Johns Hopkins University Small maritime target detector
CN106407986B (zh) * 2016-08-29 2019-07-19 电子科技大学 一种基于深度模型的合成孔径雷达图像目标识别方法

Also Published As

Publication number Publication date
CN107392122A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107392122B (zh) 基于多极化特征和fcn-crf融合网络的极化sar影像目标检测方法
CN107169492B (zh) 基于fcn-crf主从网络的极化sar目标检测方法
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
Song et al. Spatiotemporal satellite image fusion using deep convolutional neural networks
Yang et al. Building extraction at scale using convolutional neural network: Mapping of the united states
CN109840553B (zh) 耕地作物类型的提取方法及系统、存储介质、电子设备
CN111274865A (zh) 一种基于全卷积神经网络的遥感图像云检测方法及装置
CN108510504B (zh) 图像分割方法和装置
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN111639587B (zh) 基于多尺度谱空卷积神经网络的高光谱图像分类方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN113313180B (zh) 一种基于深度对抗学习的遥感图像语义分割方法
Chen et al. SwinSTFM: Remote sensing spatiotemporal fusion using Swin transformer
CN110163213A (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN109344818B (zh) 一种基于深度卷积网络的光场显著目标检测方法
CN113436210B (zh) 一种融合上下文逐级采样的道路图像分割方法
CN116363526B (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
CN104680184A (zh) 基于深度rpca的极化sar地物分类方法
CN107688776A (zh) 一种城市水体提取方法
CN113486705A (zh) 一种洪水监测信息提取方法、装置、设备及存储介质
CN114943902A (zh) 基于多尺度特征感知网络的城市植被无人机遥感分类方法
CN106529472A (zh) 基于大尺度高分辨率高光谱图像的目标探测方法及装置
CN115862010A (zh) 一种基于语义分割模型的高分遥感影像水体提取方法
Ping et al. Applications of deep learning-based super-resolution for sea surface temperature reconstruction
CN114926826A (zh) 场景文本检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant