CN105894013A - 基于cnn和smm的极化sar图像分类方法 - Google Patents

Abstract

本发明提出了一种基于CNN和SMM的极化SAR图像分类方法，用于解决现有极化SAR图像分类方法因存在图像空间邻域信息丢失而导致分类精度不高的问题，包括如下步骤：对极化SAR图像进行滤波；选取训练样本集合；提取样本特征；初始化卷积神经网络CNN；归一化样本特征，训练卷积神经网络CNN；提取feature map；输入feature map到SMM分类器中训练；利用训练好的SMM分类器进行极化SAR图像分类；输出分类结果，并计算分类精度。本发明直接考虑更能体现空间邻域信息的feature map，同时引入SMM分类器，明显地提高了极化SAR图像分类精度，可用于对极化SAR图像的地物分类和目标识别。

Description

基于CNN和SMM的极化SAR图像分类方法

技术领域

本发明属于图像处理技术领域，涉及一种极化SAR图像分类方法，具体涉及一种基于CNN和SMM的极化SAR图像分类方法，可用于对极化SAR图像的地物分类和目标识别。

背景技术

SAR是合成孔径雷达，具有全天候、全天时、分辨率高、可侧视成像等优点，极化SAR是一种高分辨主动式相干多通道合成孔径雷达，它是SAR的一个重要组成部分，具有多极化通道获取数据的特性，相比SAR能够更加丰富的表示信息。可广泛应用于军事、导航、农业、地理监视等诸多领域。在国际遥感领域极其重要，因此极化SAR图像分类已成为极化SAR信息处理的一个重要研究方向。

现有的极化SAR图像分类方法可以分为无监督分类和有监督分类。

无监督分类方法包括：无监督分类方法是指没有标准类标做为指导的分类方法，主要方法有Cloude等提出的H/α无监督分类，它是通过Cloude目标分解得到散射熵H和平均散射角α特征参数后，根据这两个参数的范围对目标进行八分类，这种方法分类边界固定导致区域的划分过于武断，且只利用H和α这两个参数，极化信息没有得到充分利用，导致分类准确度低；Lee等提出基于Cloude目标分解和Wishart分类器的H/α-Wishart无监督分类方法，它是在原始H/α分类基础上增加了Wishart迭代，弥补了H/α分类固定边界的缺陷，但这种方法不能很好的保持各类的极化散射特性；Lee等基于Freeman分解提出了一种极化SAR图像分类方法，它主要是根据Freeman分解获得平面散射功率、二面角散射功率和体散射功率的大小对极化数据进行划分，并对初始划分进行类别合并，最后再利用Wishart分类器重新划分，这种方法保持了各类的散射特性，但存在多类别的划分及合并，计算复杂度较高。

有监督分类方法包括：有监督分类方法是指有标准类标做为指导的分类方法，主要方法有Lee等提出的基于复Wishart分布的极化协方差矩阵监督分类方法，由于极化协方差矩阵C可以通过线性变换得到极化相干矩阵T，这样就得到Wishart分类器，这种方法要求C或T矩阵的概率密度分布函数服从复Wishart分布，对数据分布要求严格；Heermann等提出的基于后向传播神经网络的极化SAR图像分类方法，这种方法收敛速度慢，且容易陷入局部最优。最近，Jiao等人提出基于CNN和SVM的极化SAR图像分类方法，这种方法在卷积的时候虽然考虑到了图像的空间邻域信息，但是在全连接层将数据拉成一列，用SVM进行分类，造成了对空间结构有所破坏和丢失。因此，关于图像的空间邻域信息还需要进一步探索和利用。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于CNN和SMM的极化SAR图像分类方法，用于解决现有极化SAR图像分类方法因存在图像空间邻域信息丢失而导致分类精度不高的问题

为实现上述目的，本发明采取的技术方案，包括如下步骤：

步骤1，输入待分类的极化SAR图像，并对该图像进行精致极化Lee滤波，得到包含有极化相干矩阵T和极化协方差矩阵C的极化SAR图像；

步骤2，利用已标注的极化SAR图像的地物分布参考图中的类别信息，随机选择相同数量的各类别训练样本，得到训练样本集合；

步骤3，利用所述极化相干矩阵T和极化协方差矩阵C，提取所述训练样本集合的样本特征；

步骤4，初始化卷积神经网络CNN的相关参数；

步骤5，对所述样本特征进行归一化处理，并将经过归一化处理的样本特征输入到卷积神经网络CNN中进行特征训练；

步骤6，从经过特征训练的卷积神经网络CNN中提取feature map，作为空间邻域特征；

步骤7，将所述feature map输入到支持矩阵机SMM分类器中进行分类器训练，用于保持极化SAR图像的空间结构，防止空间邻域信息丢失；

步骤8，利用经过分类器训练得到的支持矩阵机SMM分类器进行极化SAR图像分类；

步骤9，输出经过分类的图像，并计算分类精度。

本发明与现有的技术相比，具有以下优点：

1.本发明实现特征提取时，由于采用从卷积神经网络CNN中提取feature map，作为空间邻域特征，与现有技术中采用的卷积神经网络CNN中的全连接层特征相比，具有避免了图像结构信息被破坏，能够更好的保持空间邻域信息，有利于图像分类精度的提高。

2.本发明实现分类时，由于采用将所述feature map输入到支持矩阵机SMM分类器中进行分类器训练，与现有技术中采用将全连接层特征输入到SVM分类器进行训练的方法相比，保持了原始图像的全局特征，有效地提高了分类精度。

附图说明

图1是本发明的流程框图；

图2是本发明仿真实验中采用的极化SAR图像；

图3是图2的地物分布参考图；

图4是对图2采用经典的Wishart分类器分类所得到的结果图；

图5是对图2采用经典的基于Cloude分解和Freeman分解，结合SVM分类的方法得到的结果图；

图6是本发明对图2分类得到的结果图。

具体实施方式

以下结合附图和具体实施例，对发明作进一步描述。

参照图1，本发明的具体实现步骤如下：

步骤1，输入待分类的极化SAR图像，并对该图像进行精致极化Lee滤波，得到包含有极化相干矩阵T和极化协方差矩阵C的极化SAR图像，通过如下步骤实现：

步骤1a，边缘检测及方向窗口选取：在待分类的极化SAR分类图像上，设置滤波窗口大小为7×7，按照像素空间位置，从左到右、从上到下将滤波窗口依次分解为九个子窗口，其中子窗口大小为3×3，子窗口之间有重叠，计算每个子窗口的均值，获得3×3大小的均值窗口；在均值窗口内，用四方向(水平，垂直，45度，135度)边缘模板进行检测以确定边缘方向，即将均值窗口分别与四个模板进行加权，对得到的加权结果求绝对值，选出所有绝对值中的最大值，将该最大值对应的方向作为边缘方向；在3×3的均值窗口内，比较边缘方向两侧的像素元素与中心像素(位于3×3均值窗口中心的那个像素)的邻近性，即均值窗口在边缘方向两侧的值减去中心像素的值，选取结果绝对值最小的一侧作为方向窗口(即其滤波同质区)；

步骤1b，权值参数计算及滤波处理：在方向窗口内，采用下式：

$b=\frac{\mathrm{var}\left(y\right)-\stackrel{\‾}{y}*{\mathrm{\σ}}_v^2}{(1+{\mathrm{\σ}}_v^2)*\mathrm{var}\left(y\right)}---\left(1\right)$

计算精致极化Lee滤波的滤波系数b，(1)式中的y表示方向窗口内极化SAR总功率图像的像素值，var(y)表示方向窗口内像素值的总功率方差，表示y的数学期望，σ_v表示相干斑噪声的标准差。由滤波系数b，根据下式

$\hat{Z}=\stackrel{\‾}{Z}+b(Z-\stackrel{\‾}{Z})---\left(2\right)$

计算滤波后中心像素的极化相干矩阵或极化协方差矩阵(2)式中的表示方向窗口内像素的极化相干矩阵或极化协方差矩阵的数学期望，Z表示中心像素的极化相干矩阵或极化协方差矩阵。

步骤2，利用已标注的极化SAR图像的地物分布参考图中的类别信息，随机选择相同数量的各类别训练样本，得到训练样本集合，通过如下步骤实现：

本发明中采样得到的每类样本数目为500个。

步骤3，利用所述极化相干矩阵T和极化协方差矩阵C，提取所述训练样本集合的样本特征，通过如下步骤实现：

步骤3a，极化相干矩阵T和极化协方差矩阵C具有丰富的相位和幅度信息，所以可提取维数为3×3的极化相干矩阵T的上三角位置的四个元素的模值，维数为3×3的极化协方差矩阵C的上三角位置的六个元素的实部和虚部(对角线元素虚部为0，不包括在内)，以及对角线元素之和得到功率span；

步骤3b，对极化相干矩阵T进行Cloude分解：

$T={\mathrm{UT}}_D{U}^H=\underset{i=1}{\overset{3}{\Σ}}{\mathrm{\λ}}_i{v}_i{v}_i^H---\left(3\right)$

其中，T_D＝diag{λ₁,λ₂,λ₃}，λ_i(i＝1,2,3)是极化相干矩阵的特征值，且λ₁≥λ₂≥λ₃，U＝[v₁,v₂,v₃]，v_i是与λ_i相对应的单位特征矢量，()^H表示这个矩阵的共轭转置；

接着，得到相应的特征：散射熵其中

平均散射角其中α_i为散射体的内部自由度，

反熵A＝(λ₂-λ₃)/(λ₂+λ₃)，极化相干矩阵T的特征值λ₁，λ₂，λ₃，继续作为每个像素点的原始特征。基于上述特征提取方法，每个像素点共22维原始特征[T₁₁,T₂₂,T₃₃,abs(T₁₂),abs(T₁₃),abs(T₂₃),C₁₁,C₂₂,C₃₃,real(C₁₂),imag(C₁₂),real(C₁₃),imag(C₁₃),real(C₂₃),imag(C₂₃),span,H,α,A,λ₁,λ₂,λ₃]；

步骤3c，首先，图像边界采用镜像对称进行填充，其次，考虑图像的空间邻域属性，所以本方法将每个像素点的四邻域的每个像素点的22维特征也都作为其特征，加上步骤2b)中得到的22维原始特征，每个像素点共提取了110维的原始特征。

步骤4，随机初始化卷积神经网络CNN的参数(W,b)。

步骤5，对所述样本特征进行归一化处理，并将经过归一化处理的样本特征输入到卷积神经网络CNN中进行特征训练，通过如下步骤实现：

步骤5a，计算目标函数关于第l层的神经元z^(l)的梯度，如下式：

${\mathrm{\δ}}^{\left(l\right)}\stackrel{\mathrm{\Δ}}{=}\frac{\∂J(W,b;x,y)}{\∂z^{\left(l\right)}}---\left(4\right)$

在卷积神经网络中，每一个卷积层后都接着一个子采样层，然后不断重复。因此我们需要分别来看卷积层和子采样层的梯度。

步骤5b，计算卷积层的梯度，我们假定卷积层为l层，子采样层为l+1层。因为子采样层是下采样操作，l+1层的一个神经元的误差δ对应于卷积层(上一层)的相应特征映射的一个区域。l层的第k个特征映射中的每个神经元都有一条边和l+1层的第k个特征映射中的一个神经元相连。根据链式法则，第l层的一个特征映射的误差项δ^(l,k)，只需要将l+1层对应特征映射的误差项δ^(l+1,k)进行上采样操作，再和l层特征的激活值偏导数逐元素相乘，再乘上权重w^(l+1,k)，就得到了δ^(l,k)。

第l层的第k个特征映射的误差项δ^(l,k)的具体推导过程如下：

${\mathrm{\δ}}^{(l,k)}\stackrel{\mathrm{\Δ}}{=}\frac{\∂J(W,b;X,y)}{\∂Z^{(l,k)}}---\left(4\right)$

在得到第l层的第k个特征映射的误差项δ^(l,k)，目标函数关于第l层的第k个特征映射神经元滤波器梯度

$\frac{\∂J(W,b;X,y)}{\∂W_{i,j}^{(l,k,p)}}=\underset{s=1}{\overset{w_t}{\Σ}}\underset{t=1}{\overset{h_t}{\Σ}}(X_{s-i+u,t-j+v}^{(l-1,p)}\·{\left({\mathrm{\δ}}^{(l,k)}\right)}_{s,t})---\left(5\right)$

目标函数关于第l层的第k个特征映射的偏置b^(l)的梯度可以写为：

$\frac{\∂J(W,b;X,y)}{\∂b^{(l,k)}}=\underset{i,j}{\Σ}{\left({\mathrm{\δ}}^{(l,k)}\right)}_{i,j}---\left(6\right)$

步骤5c，计算子采样层的梯度，我们假定子采样层为l层，l+1层为卷积层。因为子采样层是下采样操作，l+1层的一个神经元的误差项δ对应于卷积层(上一层)的相应特侦映射的一个区域。

$Z^{(l+1,k)}=\underset{T_{p,k}=1}{\underset{p,}{\Σ}}(W^{(l+1,k,p)}\⊗X^{(l,p)})+b^{(l+1,k)}---\left(7\right)$

第l层的第k个特征映射的误差项δ^(l,k)的具体推倒过程如下：

${\mathrm{\δ}}^{(l,k)}\stackrel{\mathrm{\Δ}}{=}\frac{\∂J(W,b;X,y)}{\∂Z^{(l,k)}}---\left(8\right)$

从而目标函数关于第l层的第k个特征映射的神经元滤波器的梯度可以写为：

$\frac{\∂J(W,b;X,y)}{\∂W_{i,j}^{(l,k,p)}}=\underset{i,j}{\Σ}down\left(X^{(l-1,k)}\right)\·{\left({\mathrm{\δ}}^{(l,k)}\right)}_{i,j}---\left(9\right)$

目标函数关于第l层的第k个特征映射的偏置b^(l)的梯度可以写为：

$\frac{\∂J(W,b;X,y)}{\∂b^{(l,k)}}=\underset{i,j}{\Σ}{\left({\mathrm{\δ}}^{(l,k)}\right)}_{i,j}---\left(10\right)$

步骤6，从经过特征训练的卷积神经网络CNN中提取最后一层feature map，作为空间邻域特征；

步骤7，将所述feature map输入到支持矩阵机SMM分类器中进行分类器训练，用于保持极化SAR图像的空间结构，防止空间邻域信息丢失，通过如下步骤实现：

支持矩阵机SMM是一种有效的监督分类器，具有良好的泛化能力；

7a，利用ADMM算法求解支持矩阵机SMM模型；

通过求解如下支持矩阵机SMM模型：

$\underset{W,b}{\arg \min }\frac{1}{2}tr\left(W^{T}W\right)+\mathrm{\τ}\left|\right|W|{|}_{*}+C\underset{i=1}{\overset{n}{\Σ}}{\{1-y_i\[tr\left(W^T{X}_i\right)+b\]\}}_{+}---\left(11\right)$

式中tr(·)表示矩阵的迹，τ，C为超参数。

支持矩阵机SMM模型的求解算法为ADMM算法；

7b，扩展支持矩阵机SMM分类器解决多分类问题。

对于多类的分类问题，可以在2类问题的基础上进行推广，其中具有代表性的2种算法为一对多算法和一对一算法，本发明采用的分类算法为一对一算法。

步骤8，利用训练好的支持矩阵机SMM分类器预测分类。

将待分类的极化SAR图像原始的测试数据归一化到[0.1,0.9]后，输入到已经训练的卷积神经网络CNN中，得到卷积神经网络CNN的feature map，将feature map输入到训练好的支持矩阵机SMM中对待分类的极化SAR图像进行分类，得到每个像素点的类别。

步骤9，输出图像并计算分类精度。

步骤9a，利用支持矩阵机SMM对图像分类得到的像素类别，将R(红色)、G(绿色)、B(蓝色)作为三基色，按照三基色上色法进行上色，得到上色后的极化SAR图像，然后将其输出；

步骤9b，将极化SAR图像得到的像素类别与真实地物类别进行比较，将类别一致的像素个数与全部像素个数的比值作为极化SAR图像的分类精度。

以下结合仿真实验对本发明的技术效果，做进一步说明：

1.实验条件

硬件平台为：Intel Core2Duo CPU E8400@3.00GHZ、6GB RAM；

软件平台为：MATLAB R2015a；

2.仿真内容

2.1采用Wishart分类器的对图2进行仿真，其结果如图4所示；

2.2采用基于Cloude分解和Freeman分解，结合SVM分类器对图2进行仿真，其结果如图5所示；

2.3采用本发明方法对图2进行仿真，其结果如图6所示。

3.实验结果分析

参照图4可以看出，分类效果虽然区域边缘划分相对平滑，有较多杂散点，而且存在严重的错分现象；

参照图5可以看出，能够有效的正确分类，但是杂散点较多，局部邻域信息保持不足；

参照图6可以看出，有更好的分类能力，能够较好的保持局部邻域信息；

为了验证本发明的技术效果，本发明和两种对比方法在仿真实验中得到的各类分类精度和总分类精度，如表1所示：

其中，Alg1表示Wishart分类器的方法，Alg2表示基于Cloude分解和Freeman分解提取特征，再利用SVM分类的方法，Alg3是本发明的方法。可以看出每类分类精度都高于两种对比方法，同时总分类精度明显地提高；

表1

综上所述，本发明提出的基于CNN和SMM的极化SAR图像分类方法能够明显地提高极化SAR图像分类精度，保持了局部邻域信息，提高了分类精度，而且可用于对各种极化SAR图像分类。

Claims (6)

1.一种基于CNN和SMM的极化SAR图像分类方法，包括如下步骤：

(1)输入待分类的极化SAR图像，并对该图像进行精致极化Lee滤波，得到包含有极化相干矩阵T和极化协方差矩阵C的极化SAR图像；

(2)利用已标注的极化SAR图像的地物分布参考图中的类别信息，随机选择相同数量的各类别训练样本，得到训练样本集合；

(3)利用所述极化相干矩阵T和极化协方差矩阵C，提取所述训练样本集合的样本特征；

(4)随机初始化卷积神经网络CNN的相关参数；

(5)对所述样本特征进行归一化处理，并将经过归一化处理的样本特征输入到卷积神经网络CNN中进行特征训练；

(6)从经过特征训练的卷积神经网络CNN中提取feature map，作为空间邻域特征；

(7)将所述feature map输入到支持矩阵机SMM分类器中进行分类器训练，用于保持极化SAR图像的空间结构，防止空间邻域信息丢失；

(8)利用经过所述分类器训练得到的支持矩阵机SMM分类器进行极化SAR图像分类；

(9)输出经过分类的图像，并计算分类精度。

2.根据权利要求书1所述的基于CNN和SMM的极化SAR图像分类方法，其特征在于，步骤(1)中所述的精致极化Lee滤波，按照如下步骤进行：

1a)设置待极化SAR图像的滤波窗口大小，得到多个均值窗口，选取每个均值窗口不同方向边缘模板，进行边缘检测，得到多个方向滤波窗口；

1b)在所述多个方向滤波窗口中，对待极化SAR图像进行去斑去噪处理，得到数据干净的极化相干矩阵T和极化协方差矩阵C。

3.根据权利要求书1所述的基于CNN和SMM的极化SAR图像分类方法，其特征在于，其中步骤(3)所述的提取样本特征，按照如下步骤进行：

3a)针对每个像素点的极化，提取极化相干矩阵T上三角位置元素的模值和极化协方差矩阵C的上三角位置的元素的实部和虚部，以及两个矩阵的对角线元素之和；

3b)对极化相干矩阵T进行Cloude分解；

3c)图像边界采用镜像对称进行填充，以每个像素点为中心选取固定大小的邻域作为样本特征。

4.根据权利要求书1所述的基于CNN和SMM的极化SAR图像分类方法，其特征在于，步骤(5)所述的CNN训练过程，按照如下步骤进行：

4a)计算卷积神经网络CNN目标函数的梯度；

4b)计算卷积神经网络CNN卷积层的梯度；

4c)计算卷积神经网络CNN子采样层的梯度。

5.根据权利要求书1所述的基于CNN和SMM的极化SAR图像分类方法，其特征在于，步骤(7)所述的训练支持矩阵机SMM分类器，按照如下步骤进行：

5a)利用ADMM算法求解支持矩阵机SMM模型；

5b)扩展支持矩阵机SMM分类器解决多分类问题。

6.根据权利要求书1所述的基于CNN和SMM的极化SAR图像分类方法，其特征在于，步骤(9)所述的输出图像及计算精度，按照如下步骤进行：

6a)输出极化SAR图像的分类效果图；

6b)计算极化SAR图像的分类精度。