CN104517284B - 基于深度置信网的极化sar图像分割 - Google Patents

Abstract

本发明公开了一种基于深度置信网(DBN，deep belief network)的极化SAR图像分割方法，它将深度学习理论学习特征的优势应用于极化SAR图像分割问题。其分割过程为：对极化SAR数据进行精致Lee滤波；极化SAR相干矩阵T进行H/α分解得到其参数特征；分别从相关矩阵T的主对角线上的3个通道提取灰度共生矩阵，并计算对比度、相干、能量、逆差距4个特征；将上述特征和相干矩阵中的元素组合在一起去训练一个2层的DBN网络；将极化SAR数据输入到DBN网络中进行分类，并显示分类结果图。本发明结合了散射特征和灰度共生矩阵特征，具有保留信息完整的优点，并可以逐层的学习特征，可用于极化SAR图像目标识别。

Description

基于深度置信网的极化SAR图像分割

技术领域

本发明属于SAR(合成孔径雷达)图像处理领域，特别是一种涉及极化SAR图像分割的方法，可应用于目标识别和分类。

背景技术

合成孔径雷达(SAR)技术作为一个重要的工具被广泛地应用于军事探测、资源勘探、城市发展规划和海洋研究。与单极化SAR相比，极化SAR进行的是全极化测量，利用电磁波的矢量特性，能够全面获得目标散射特性信息。极化SAR的出现，大大拓宽了SAR的应用领域，人们能从极化SAR中提取更多关于地球物理的信息应用于各种民用领域和军事领域。随着越来越多的星载及机载的极化系统的使用，大量关于地物信息的极化数据得到收集及记录，因此利用这些丰富的极化数据中进行分类在遥感领域受到高度重视，已成为SAR图像分类的主要研究方向。

针对极化SAR图像的以上特点，经典极化SAR图像分类方法有无监督和有监督两大类：

在无监督极化SAR图像分类方法中，特征一般都是人为的手动选择的。最经典的无监督极化SAR方法是由Lee提出来的，他使用了由Cloude和Pottier提出的H/ɑ特征分解方法，其核心是对H/α平面进行划分，然后根据H/α值把各像素化为相应区域的类别，这样得到了初始分割，然后利用多视的极化SAR数据符合复Wishart分布的特性多次迭代得到最终的分类的结果。另一个比较著名的无监督方法是在2004年，结合Freeman分解和基于Wishart分布的ML分类器，Lee等人又提出了一种性能优良的极化分类方法。该方法的基本思想是先进行Freeman分解，把像素分成表面散射、偶次散射和体散射三类，然后分别对各类像素进行聚类和迭代分类。

与无监督分类方法相比，监督分类的优势在于它能够通过较为理想的训练样本获取更高的分类精度。目前全极化SAR数据监督分类方法主要有Kong等人提出的基于最大似然的分类方法、Lee提出的基于Wishart分布的最大似然分类方法。此外利用神经网络对极化SAR数据进行监督分类也是比较常用的方法。1991年，Pottier首次利用神经网络中的多层感知器对极化SAR图像进行分类。该方法采用后向传播算法对网络进行训练。2010年，土耳其伊兹密尔经济大学的Turker Ince基于径向基网络函数(RBF)的极化SAR图像分类方法。该方法利用相干矩阵特征、灰度共生矩阵的纹理特征以及H/α分解出来的出来的特征输入到径向基网络函数进行分类。

近年来提出的深度学习理论引起了诸多学者的关注。深度学习采用逐层贪婪的无监督训练方法，能够自动逐层的提取特征，解决了BP神经网络容易收敛到局部最优，计算复杂等缺点，并且在语音识别、自然语言处理、自然图像分类等领域显示了巨大的优势。

发明内容

本发明的目的在于利用深度学习方法在特征提取方面的优势，提出一种基于深度置信网(DBN，Deep Belief Networks)的极化SAR图像分割方法，提高了区域一致性，保证了图像分割信息的完整性，提高SAR图像分割的质量。

实现本发明目的的技术方案是：结合使用极化SAR图像的散射特征(相干矩阵元素和H/α分解的参数)和数字图像特征(灰度共生矩阵的参数)，保证了图像信息的完整性，充分挖掘图像中的纹理信息，构建出具有多个无监督模型(这里指RBM，限制玻尔兹曼机)组成的DBN模型，有效的克服了传统神经网络容易收敛到局部最优，计算复杂等缺陷。其具体实现过程如下：

(1)对待分割极化SAR图像的相干矩阵T进行精致Lee滤波；

(2)对滤波后的相干矩阵T进行H/α分解得到特征：

feature_Halpha＝{α,A,H,λ₁,λ₂,λ₃,span}

其中α为平均散射角,A为各向异性系数，H为散射熵，λ₁,λ₂,λ₃分解出来的3个特征值，span为功率值。各向异性系数A用于表征第二、三种散射机制的相对重要性。

(3)从相关矩阵T取主对角线上的三个元素依次得到3个通道的灰度图像im1、im2、im3，利用灰度共生矩阵提取纹理，分别得到对比度、相干、能量、逆差距共12个参数：

feature_GLCM＝{Con₁,Cor₁,Enr₁,Hom₁,Con₂,Cor₂,Enr₂,Hom₂,Con₃,Cor₃,Enr₃,Hom₃}

其中，Con表示灰度共生矩阵的对比度，Cor表示相干，Enr表示能量，Hom表示，下标数字1，2，3对应着灰度图像im1，im2和im3；

(4)将H/α分解参数特征feature_Halpha、灰度共生矩阵特征feature_GLCM和原始的T矩阵元素组合在一起，这样就得到极化SAR图像散射点的表示；

(5)将组合在一起的特征输入到两个叠在一起的受限玻尔兹曼机(RBM)进行预训练得到参数{W₁,b₁,W₂,b₂}；

其中W_i表示第i个RBM中节点连接的权值矩阵，b_i表示第i个RBM的节点的偏置，i＝1,2；

(6)将输入(极化SAR图像散射点的表示)在预训练得到的参数下投影得到最终的特征feature,然后输入到softmax分类器下训练softmax的参数θ；

(7)使用一些有标签的样本利用BP算法对整个网络进行反向微调得到最终的网络(DBN网络)参数P＝{Ws₁,bs₁,Ws₂,bs₂,θs}；

其中Ws_i,bs_i表示BP微调之后的网络中的权值和偏置，i＝1,2；θs为微调之后的softmax分类器的参数；

(8)将全部的极化SAR数据的表示(散射特征和灰度共生矩阵特征的组合)输入到最终的网络(即DBN网络)进行分类，并显示最终的分割的结果。

本发明利用原始极化SAR图像的相干矩阵元素、灰度共生矩阵(GLCM)的参数和H/α分解的参数作为极化SAR图像元素的表示，然后将这些元素的表示输入到DBN中再一次特征学习。本发明与现有的技术相比具有以下优点：

1、本发明由于使用极化SAR图像的散射特征(H/α分解参数和原始相干矩阵元素)，保持了极化SAR图像的散射特性，又结合使用了灰度共生矩阵的特征，能够对极化SAR图像纹理区域的方向性细节信息进行提取，保证了图像信息的完整性；

2、本发明使用了深度置信网的方法，对极化SAR的表示进行了再一次的学习，该方法能够自动分层次的提取特征；

3、仿真结果表明，本发明方法较传统的基于目标分解和Wishart迭代的方法能更有效的进行图像分割。

附图说明

图1是本发明的流程示意图；

图2是本发明在一幅San Francisco复杂地物极化SAR图像上的H/α分解仿真结果图；

图3是本发明在San Francisco的灰度图像im1的灰度共生矩阵仿真结果图；

图4是本发明在San Francisco的灰度图像im2的灰度共生矩阵仿真结果图；

图5是本发明在San Francisco的灰度图像im3的灰度共生矩阵仿真结果图；

图6是本发明对San Francisco极化SAR图像分3类的的仿真结果图。

具体实施方式

参照图1，本发明的具体实现步骤如下：

步骤一、对待分割极化SAR图像的相干矩阵T进行精致Lee滤波。

极化SAR数据一般是以相关矩阵的形式存储着，相关矩阵T定义如下：

其中T是一个厄米特矩阵即它的共轭转置矩阵等于它本身，且它的主对角线上元素t₁₁,t₂₂,t₃₃是实值。

我们对相干矩阵T使用窗口大小为7的精致Lee滤波,这能有效的减少斑点噪声的影响。其中精致Lee滤波是一种基于边缘检测的自适应进行图像斑点滤波方法。

步骤二、对滤波后的相干矩阵T进行H/α分解得到特征feature_Halpha＝{α,A,H,λ₁,λ₂,λ₃,span}。

H/α分解过程如下，根据特征值分解理论，每个点的相关矩阵T可以表示成如下形式：

T＝UΣ₃U^-1

其中Σ₃是一个3×3的实值对角矩阵，包含了相关矩阵T的特征值，U^-1表示U的转置。

其中∞>λ₁>λ₂>λ₃>0。

3×3的单位矩阵U包含了T的特征向量u_i(i＝1,2,3)，则

U＝[u₁ u₂ u₃]

其中特征向量u_i(i＝1,2,3)形式如下

我们定义熵H如下：

其中

其中p_i是每个特征值λ_i的概率，其表示了每个特征值相对于散射功率的重要性。熵表示了散射介质从各向同性散射到完全随机散射的一种随机程度。

散射功率的定义为

我们定义各向异性系数其表征第二、三种散射机制的相对重要性。

平均ɑ角定义为其表征目标的散射机制。

步骤三、依次对每个点的3×3相关矩阵T取主对角线上的三个元素t₁₁,t₂₂,t₃₃得到3个的灰度图像im1、im2、im3，利用灰度共生矩阵提取纹理，得到12个灰度共生矩阵特征feature_GLCM用来表征纹理信息。

这一步骤通过使用灰度共生矩阵(GLCM)来分别描述上述三个灰度图像im1、im2、im3各自相邻像素之间的关系。对于灰度图像im1、im2、im3中的每一个灰度图像，我们分别计算某个像素相邻距离d＝1在θ＝0°,45°,90°和135°四个方向的灰度共生矩阵，然后对四个灰度共生矩阵求平均得到GLCM，用这个平均的GLCM计算对比度Con、相干Cor、能量Enr和逆差距Hom。通过这个步骤我们得到了12个灰度共生矩阵特征feature_GLCM用来表征纹理信息。

步骤四、将H/α分解参数特征feature_Halpha、灰度共生矩阵特征feature_GLCM和原始的T矩阵元素组合在一起，这样就得到极化SAR数据的特征表示。

这里由于T矩阵是一个对称的复数矩阵，取T中上三角元素的模值跟角度代替复数值作为特征，将feature_Halpha、feature_GLCM和相干矩阵的元素拉成一个行向量作为最终的特征表示。

步骤五、将组合在一起的特征输入到两个叠在一起的受限玻尔兹曼机(RBM)进行预训练得到参数{W₁,b₁,W₂,b₂}

实现该步骤的具体过程如下：

(5a)我们从极化SAR数据中随机取无标签样本(优选地，每类取三千个)，根据上述前几个步骤提取特征，输入到第一层RBM中去训练，通过反复迭代训练出第一层RBM参数{W₁,b₁}，并得到第一层RBM的特征输出temp_feature1；

(5b)将第一层RBM的输出temp_feature1作为第二层RBM的输入进行训练第二层RBM，得到第二层RBM的网络参数{W₂,b₂}，并得到第二层RBM的特征表示temp_feature2；

步骤六、将步骤四中得到的极化SAR数据的特征表示在步骤五中进行预训练得到的参数下投影得到最终的特征temp_feature2，然后输入到softmax分类器下训练其参数θ；

将将步骤四中得到的极化SAR数据的特征表示在步骤五中进行预训练得到的参数下的投影特征temp_feature2输入到softmax分类器中，其中softmax函数如下：

通过梯度下降的方法可以得到softmax分类器参数θ。

步骤七、根据标准图，我们从极化SAR数据中随机选取有标签的样本数据利用BP算法对整个网络进行反向微调得到最终的网络参数P＝{Ws₁,bs₁,Ws₂,bs₂,θs}。

根据标准图，我们对于每类抽取三千个有标签样本数据，我们将上面步骤四、五、六预训练得到的参数{W₁,b₁}、{W₂,b₂}和θ去初始化一个相应的神经网络的参数，给定标签样本数据，通过计算该神经网络目标函数的误差及在各层的偏导数，逐层反向传播，多次迭代，最终得到整个神经网络(即DBN网络)的参数P＝{Ws₁,bs₁,Ws₂,bs₂,θs}。

步骤八、将极化SAR数据的组合特征表示输入到最终的DBN网络进行分类，并显示最终的分割的结果。

将待分割的极化SAR数据依次按照上述前五个步骤：滤波、散射特征和灰度共生矩阵特征的提取以及特征组合，将极化SAR数据的组合特征表示输入到已经训练好的DBN网络中分类，最后显示分类结果图。

本发明的效果可通过以下仿真进一步说明：

1仿真内容：应用本发明方法在L波段旧金山湾极化数据上，该数据是由NASA/JPL实验室AIRSAR系统获取，该数据经过四视处理，分辨率为10m，数据大小为900×1024像素。该区域主要包含山脉、海洋、植被和城区。本实验将其分割为海洋、植被和城区三类。

2仿真实验结果

旧金山湾极化数据的实验结果

用本方法以及基于Freeman分解的Wishart迭代方法对旧金山湾极化数据像进行分割，其效果比较如图6所示。其中图6(a)为旧金山湾极化数据Pauli分解的合成的伪彩色图像，该极化SAR图像纹理信息较为复杂，地物不均匀；图6(b)为基于Freeman分解的Wishart迭代方法对图6(a)进行分割得到的结果；图6(c)为本发明方法对图6(a)进行分割得到的结果。由图6(b)可见基于Freeman分解的Wishart迭代方法对于对主要的海面、植被及城区等划分结果十分良好，可以明显看出该方法对海面的划分结果十分良好，但由于Freeman分解无法解决像素混合散射机制的问题，因此对其中较小区域的划分不够理想。图6(c)为本发明的结果，克服了像素混合散射机制的问题，分类效果明显得到提高，对小区域的也有相应的划分，区域一致性较好，边缘清晰细节信息完整。相比之下，基于Freeman分解的Wishart迭代方法背景部分较凌乱区域轮廓辨析能力不好，且误分类块效应很明显。

Claims (4)

1.一种基于深度置信网的极化SAR图像分割方法，包括如下步骤：

(1)对待分割极化SAR图像的相干矩阵T进行精致Lee滤波；

(2)对滤波后的相干矩阵T进行H/α分解得到特征：

feature_Halpha＝{α,A,H,λ₁,λ₂,λ₃,span}

其中α为平均散射角，A为各向异性系数，H为散射熵，λ₁,λ₂,λ₃分解出来的3个特征值，span为功率值；

(3)从相干矩阵T取主对角线上的三个元素依次得到3个通道的灰度图像im1、im2和im3，利用灰度共生矩阵提取纹理，分别得到对比度、相干、能量和逆差距共12个参数：feature_GLCM＝{Con₁,Cor₁,Enr₁,Hom₁,Con₂,Cor₂,Enr₂,Hom₂,Con₃,Cor₃,Enr₃,Hom₃}其中Con表示灰度共生矩阵的对比度，Cor表示相干，Enr表示能量，Hom表示逆差距，下标数字1，2，3对应着灰度图像im1，im2和im3；

(4)将H/α分解参数特征feature_Halpha、灰度共生矩阵特征feature_GLCM和原始的T矩阵元素组合在一起，这样就得到极化SAR图像散射点的表示；

(5)将组合在一起的特征输入到两个叠在一起的受限玻尔兹曼机(RBM)进行预训练得到参数{W₁,b₁,W₂,b₂}；

其中W_i表示第i个RBM中节点连接的权值矩阵，b_i表示第i个RBM的节点的偏置，i＝1,2；

(6)将输入的极化SAR图像散射点的表示在预训练得到的参数下投影得到最终的特征feature,然后输入到softmax分类器下训练softmax的参数θ；

(7)使用一些有标签的样本利用BP算法对整个网络进行反向微调得到最终的网络参数P＝{Ws₁,bs₁,Ws₂,bs₂,θs}；

其中Ws_i,bs_i表示BP微调之后的网络中的权值和偏置，i＝1,2；θs为微调之后的softmax分类器的参数；

(8)将包括散射特征和灰度共生矩阵特征的组合的全部的极化SAR数据的表示输入到最终的网络进行分类，并显示最终的分割的结果。

2.根据权利要求1所述的图像分割方法，其中利用灰度共生矩阵提取纹理特征过程如下：依次对每个点的3×3相干矩阵T取主对角线上的三个元素得到3个的灰度图像im1、im2、和im3，利用灰度共生矩阵提取纹理，得到12个灰度共生矩阵特征feature_GLCM用来表征纹理信息。

3.根据权利要求1所述的图像分割方法，其中组合特征过程如下：将H/α分解参数特征feature_Halpha、灰度共生矩阵特征feature_GLCM和原始的T矩阵元素组合在一起，这样就得到极化SAR数据的特征表示。

4.根据权利要求1所述的图像分割方法，其中预训练两个RBM过程如下：

(5a)从极化SAR数据中随机取无标签样本，根据提取特征输入到第一层RBM中去训练，通过反复迭代训练出第一层RBM参数{W₁,b₁}，并得到第一层RBM的特征输出temp_feature1；

(5b)将第一层RBM的输出temp_feature1作为第二层RBM的输入进行训练第二层RBM，得到第二层RBM的网络参数{W₂,b₂}，并得到第二层RBM的特征表示temp_feature2。