CN107358192A

CN107358192A - 一种基于深度Curvelet残差网的极化SAR影像分类方法

Info

Publication number: CN107358192A
Application number: CN201710551722.XA
Authority: CN
Inventors: 焦李成; 屈嵘; 王美玲; 唐旭; 杨淑媛; 侯彪; 马文萍; 刘芳; 尚荣华; 张向荣; 张丹; 马晶晶
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2017-07-07
Filing date: 2017-07-07
Publication date: 2017-11-17

Abstract

本发明公开了一种基于多尺度深度残差网的极化SAR影像分类方法，主要解决现有的图像特征损失强烈使得分类精度低的问题，其方案是输入待分类的极化SAR图像，对极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射、体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F；本发明在深度残差网中加入多尺度Curvelet变换层更好的提取了极化SAR图像的尺度、位置和角度信息，更好的保留了图像中存在的边缘，有效去除极化SAR图像中的噪声，结合深度残差网可以完备学习特征的特性，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的分类精度，同时在视觉效果上也取得了更好的效果。

Description

一种基于深度Curvelet残差网的极化SAR影像分类方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于深度Curvelet残差网的极化SAR影像分类方法。

背景技术

合成孔径雷达是一种高分辨率成像雷达。由于微波具有穿透特性，不受光线强度的影响，因此具有全天时、全天候的工作能力。与其他传感器相比，它能呈现更多的细节，可以更好的区分临近目标的特性。作为一种重要的遥感图像获取手段，有着广泛的应用。极化合成孔径雷达极化SAR通过发射和接收极化雷达波来描述观察到的土地覆盖物和目标，可以得到更丰富的目标信息，在军事、农林业、海洋、水文学和地质学等方面具有广泛的应用和研究价值。相比于传统的单极化SAR，多极化SAR有利于提供更为丰富的目标信息，有利于确定和理解散射机制，提高目标检测和分类识别能力，因此极化SAR数据适合于图像解译。

极化SAR图像分类的关键是对极化SAR图像的目标特征提取，现有的基于散射特性的极化SAR图像目标特征提取方法，包括Cameron分解、Freeman分解，卷积神经网络等。

1996年，Cameron基于雷达目标的两个基本特性——互易性和对称性提出了Cameron分解方法，它将极化散射矩阵分解成对应于非互易、不对称以及对称散射体的部分。不同地物所包含的散射体类型不同，特别是人工地物和自然地物之间，这种差异更加明显。在检测人工目标和自然目标是特别有用。但是由于极化SAR图像的斑点噪声非常大，而Cameron分解又是基于单个像元的操作，因此所获得的结果不一定可靠。

2004年，Lee等人提出了一种基于Freeman分解的特征提取方法，该方法能够保持各类的极化散射特性，但分类结果易受Freeman分解性能的影响，对不同波段的极化数据该算法的普适性差。

1998年，YannLeCun提出LeNet-5卷积神经网络，采用局部感受野和权值共享的思路进行图像分类，提出一种新的特征提取的办法，但是这种方法仍然会造成特征损失而影响分类结果的问题。

这些特征提取方法会导致比较强烈的图像特征损失，因而对背景复杂的极化SAR图像难以得到较高的分类精度。

发明内容

本发明的目的在于针对上述问题，提出一种基于深度Curvelet残差网的极化SAR图像分类方法，以提高分类精度。

为了实现上述目的，本发明采用的技术方案是，一种基于深度Curvelet残差网的极化SAR影像分类方法，包括：

步骤1，输入待分类的极化SAR图像，对极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射、体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F；

步骤2，用特征矩阵F中每个元素取周围28×28的块代表原来的元素值，构成基于图像块的特征矩阵；

步骤3，用步骤2中得到的基于图像块的特征矩阵构造数据集D1；

步骤4，对数据集D1中像素块进行多尺度Curvelet变换，提取图像的尺度、位置和角度信息，进行归一化处理，得到训练数据集D；

步骤5，对步骤1得到的特征矩阵F做多尺度Curvelet变换并进行超像素处理，构造数据集T1；

步骤6，构造基于深度Curvelet残差网的分类模型：选择一个由输入层→Curvelet层→卷积层→残差块→残差块→残差块→残差块→残差块→归一化层→池化层→全连接softmax分类器组成的33层神经网络；

步骤7，用步骤4得到的训练数据集D对步骤6构建的分类模型进行训练，得到训练好的模型；

步骤8，将步骤5构造的数据集T1送入步骤7训练好的模型进行分类并得到整张图的预测类标矩阵T2。

步骤1的具体步骤如下：

1a)定义Pauli基{S₁,S₂,S₃}，公式如下：

其中S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

1b)由Pauli分解定义得到如下等式：

其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；

1c)求解式<2>，代入式<1>求得的SHH、SVV、SHV，得到3个散射系数a、b、c：

1d)定义一个大小为H×W×3的矩阵F，并将奇次散射系数a、偶次散射系数b和体散射系数c赋给矩阵F，得到基于像素点的特征矩阵F，其中H为待分类极化SAR图像的长，W为待分类极化SAR图像的宽。

步骤3中构造数据集D1的步骤如下：

3a)将极化SAR图像地物分为5类，以中心像素点类标作为图像块的类标，其周围28×28的块代表此像素点，分别存入对应类别A1、A2、A3、A4、A5当中；

3b)从上述A1、A2、A3、A4、A5中随机各选取5％的元素，生成5种对应不同类地物被选做训练数据集的图像块B1、B2、B3、B4、B5，其中B1为对应第1类地物中被选作训练数据集的中心像素点对应的图像块，B2为对应第2类地物中被选作训练数据集的中心像素点对应的图像块，B3为对应第3类地物中被选作训练数据集的中心像素点对应的图像块，其中B4为对应第4类地物中被选作训练数据集的中心像素点对应的图像块，B5为对应第5类地物中被选作训练数据集的中心像素点对应的图像块；图像块B1、B2、B3、B4和B5共同构成数据集D1。

步骤4的具体步骤如下：

4a)对数据集D1中的图像块进行Curvelet变换，得到每个子带的Curvelet变换系数；

4b)对步骤4a)中所得变换系数进行排序，设置重构系数比例为10％，后续系数置零；

4c)根据步骤4b)处理后的系数进行Curvelet逆变换得到各个图像块的特征矩阵；

4d)由步骤4c)得到的各图像块的特征矩阵构造训练数据集D。

其中步骤5的具体步骤如下：

5a)设定期望分割的超像素数目K，首先生成K个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完毕。；然后计算这K个超像素里所有像素点的平均向量值，重新迭代得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛，得到最终的K个聚类中心；

5b)计算每个像素块的大小，并对得到的像素块数值进行开方求得像素块边长；

5c)以步骤5b)得到的像素块边长重新划分原图，得到N个超像素块，N即为最终的超像素块个数，记录这些超像素块的中心像素点的位置；

5d)以步骤5c)得到的中心像素点为中心，取其周围28×28的块，得到一共N个图像块的数据集T1。

步骤5a)中，K＝80000；步骤5b)中，每个像素块的大小为(1800×1380)÷80000≈32，然后取最为接近的平方数为36，则像素块的边长约为6。

步骤6中基于深度Curvelet残差网的分类模型，参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层Curvelet层，设置重构系数比例为10％；

对于第3层卷积层，设置特征映射图数目为64；

对于第4层第一个残差块9层，设置特征映射图数目为64；

对于第5层第二个残差块3层，设置特征映射图数目为128，进行快捷连接；

对于第6层第三个残差块6层，设置特征映射图数目为128；

对于第7层第四个残差块3层，设置特征映射图数目为256，进行快捷连接；

对于第8层第五个残差块6层，设置特征映射图数目为256；

对于第9层归一化层，设置为批量归一化方式；

对于第10层池化层，设置特征映射图数目为256；

对于第11层全连接softmax分类器，设置特征映射图数目为6。

与现有技术相比，本发明至少具有以下有益效果：本发明在深度残差网络当中加入Curvelet变换层取得了较好的分类效果，更好的提取了极化SAR图像的尺度、位置和角度信息，加之Curvelet变换各向异性的特点更适合图像中的曲线或直线状边缘特征，符合生理学研究指出的最优图像表示方法应该具有的“多分辨、带通、具有方向性”三种特征；结合深度残差网本身的网络结构巧妙地从源头上杜绝了网络层数加深带来的采用BP算法反向传播时导致的梯度弥散的问题，故而深度残差网将图像的高级特征和初级特征结合可以得到更加完备的特性，结合Curvelet变换层增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的分类精度，同时在视觉效果上也取得了更好的效果。

附图说明

图1是本发明的实现流程图；

图2是本发明中对于待分类图像的人工标记图；

图3是本发明中对比实验的分类结果图；

图4是用本发明对于待分类图像的分类结果图。

具体实施方式

以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：

参照图1，本发明的具体实现步骤如下：

步骤1，对极化散射矩阵S进行Pauli分解，得到奇次散射、偶次散射、体散射系数，用这3个系数作为极化SAR图像的3维图像特征，构成基于像素点的特征矩阵F：

1a 定义Pauli基{S₁,S₂,S₃}的公式如下：

其中S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

1b 由Pauli分解定义得到如下等式：

其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；

1c 求解式<2>，代入式<1>求得的S_HH、S_VV、S_HV，得到3个散射系数a、b、c：

1d 定义一个大小为H×W×3的矩阵F，并将奇次散射系数a、偶次散射系数b、体散射系数c赋给矩阵F，得到基于像素点的特征矩阵F，其中H为待分类极化SAR图像的长，W为待分类极化SAR图像的宽。

步骤2，用特征矩阵F中每个元素取周围28×28的块代表原来的元素值，构成基于图像块的特征矩阵。

步骤3，用构造数据集D1：

3a 将极化SAR图像地物分为5类，以中心像素点类标作为图像块的类标，其周围28×28的块代表此像素点，分别存入对应类别A1、A2、A3、A4、A5当中；

3b 从上述A1、A2、A3、A4、A5中随机选取5％的元素，生成5种对应不同类地物被选做训练数据集的图像块B1、B2、B3、B4、B5、其中B1为对应第1类地物中被选作训练数据集的中心像素点对应的图像块，B2为对应第2类地物中被选作训练数据集的中心像素点对应的图像块，B3为对应第3类地物中被选作训练数据集的中心像素点对应的图像块，其中B4为对应第4类地物中被选作训练数据集的中心像素点对应的图像块，B5为对应第5类地物中被选作训练数据集的中心像素点对应的图像块。

步骤4，对数据集D1中像素块进行多尺度Curvelet变换，提取图像的尺度、位置、角度信息，进行归一化处理，得到训练数据集D：

4a 对D1中的图像块进行Curvelet变换，得到每个子带的Curvelet变换系数；

4b 对变换得到的系数进行排序，因为Curvelet变换中较大的系数对应较强的边缘，较小的系数对应噪声，设置重构系数比例为10％，后续系数置零；

4c 进行Curvelet逆变换得到特征矩阵；

4d 构造训练数据集D；

步骤5，对F做多尺度Curvelet变换并进行超像素处理，构造数据集T1：

5a 设定期望分割的超像素数目k＝80000，首先生成K个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完毕。然后计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛；

5b 计算每个像素块的大小为(1800×1380)÷80000≈32，然后取最为接近的平方数此处为36，则像素块的边长约为6；

5c 以边长为6重新划分原图，则有(1800×1380)÷36＝69000个超像素块，这就是最终的超像素块个数，记录这些超像素块的中心像素点的位置；

5d 以5c得到的中心像素点为中心，取其周围28×28的块，得到一共69000个图像块的数据集T1。

步骤6，构造基于深度Curvelet残差网的分类模型：

6a 选择一个由输入层→Curvelet层→卷积层→残差块→残差块→残差块→残差块→残差块→归一化层→池化层→全连接softmax分类器组成的33层神经网络；

6b 随机初始化的滤波器，得到基于深度Curvelet残差网分类模型为：输入层→Curvelet层→卷积层→残差块→残差块→残差块→残差块→残差块→归一化层→池化层→全连接softmax分类器这33层结构，每层的参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层Curvelet层，设置重构系数比例为10％；

对于第3层卷积层，设置特征映射图数目为64；

对于第4层第一个残差块9层，设置特征映射图数目为64；

对于第6层第三个残差块6层，设置特征映射图数目为128；

对于第8层第五个残差块6层，设置特征映射图数目为256；

对于第9层归一化层，设置为批量归一化方式；

对于第10层池化层，设置特征映射图数目为256；

对于第11层全连接softmax分类器，设置特征映射图数目为6。

步骤7，用训练数据集对分类模型进行训练，得到训练好的分类模型。

将训练数据集D作为分类模型的输入，训练数据集D中每个图像块的类别作为分类模型的输出，通过求解上述类别与人工标记的正确类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型，人工标记的正确类标如图2所示。

步骤8，将数据集T1送入训练好的模型进行分类并得到整张图的预测类标矩阵T2。

将数据集T1输入训练好的分类模型，训练好的分类模型的输出为对整张图中每个像素点进行分类得到的分类类别。

步骤9，计算准确率。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

硬件平台为：HPZ840

软件平台为：Tensorflow。

2.仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，即分别从极化SAR数据的每个类别中随机选取5％有标记的像素点作为训练样本，其余有标记的像素点作为测试样本，得到如图3的分类结果。

从图3可以看出：分类结果的区域一致性较好，不同区域划分后的边缘也非常清晰，且保持了细节信息。

再依次减少训练样本，使训练样本占样本总数的3％、2％，将本发明与深度残差网络的测试数据集分类精度进行对比，结果如表1所示：

表1

训练样本所占比例	深度残差网络	本发明
			5％	96.685％	97.325％
3％	95.429％	96.926％
			2％	95.213％	96.283％

从表1可见，训练样本占样本总数的5％、3％、2％时，本发明的测试数据集分类精度均高于深度残差网的分类精度。

图4是用本发明对于待分类图像的分类结果图，可以看到经过Curvelet变换提取极化SAR图像的尺度、位置和角度信息，并结合深度残差网可相对完备的学习图像特征的能力，得到了良好的分类结果，同时在视觉效果上也取得了更好的效果。

综上，本发明加入多尺度Curvelet变换层更好的提取了极化SAR图像的尺度、位置和角度信息，更好的保留了图像中存在的边缘，有效去除极化SAR图像中的噪声，结合深度残差网可以学习完备特征的特性，增强了模型的泛化能力，使得在训练样本较少的情况下仍可以达到很高的分类精度，同时在视觉效果上也取得了更好的效果。

Claims

1.一种基于深度Curvelet残差网的极化SAR影像分类方法，其特征在于，包括：

2.根据权利要求1所述的基于深度Curvelet残差网的极化SAR影像分类方法，其特征在于，步骤1的具体步骤如下：

1a)定义Pauli基{S₁,S₂,S₃}，公式如下：

其中S₁表示奇次散射，S₂表示偶次散射，S₃表示体散射；

1b)由Pauli分解定义得到如下等式：

其中a为奇次散射系数，b为偶次散射系数，c为体散射系数；

3.根据权利要求1所述的基于深度Curvelet残差网的极化SAR影像分类方法，其特征在于，步骤3中构造数据集D1的步骤如下：

4.根据权利要求1所述的基于深度Curvelet残差网的极化SAR影像分类方法，其特征在于，步骤4的具体步骤如下：

4d)由步骤4c)得到的各图像块的特征矩阵构造训练数据集D。

5.根据权利要求1所述的基深度Curvelet残差网的极化SAR影像分类方法，其特征在于，其中步骤5的具体步骤如下：

5a)设定期望分割的超像素数目K，首先生成K个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完毕；然后计算这K个超像素里所有像素点的平均向量值，重新迭代得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛，得到最终的K个聚类中心；

6.根据权利要求1所述的基于深度Curvelet残差网的极化SAR图像分类方法，其特征在于，步骤5a)中，K＝80000；步骤5b)中，每个像素块的大小为(1800×1380)÷80000≈32，然后取最为接近的平方数为36，则像素块的边长约为6。

7.根据权利要求1所述的基于深度Curvelet残差网的极化SAR图像分类方法，其特征在于，步骤6中基于深度Curvelet残差网的分类模型，参数如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层Curvelet层，设置重构系数比例为10％；

对于第3层卷积层，设置特征映射图数目为64；

对于第4层第一个残差块9层，设置特征映射图数目为64；

对于第6层第三个残差块6层，设置特征映射图数目为128；

对于第8层第五个残差块6层，设置特征映射图数目为256；

对于第9层归一化层，设置为批量归一化方式；

对于第10层池化层，设置特征映射图数目为256；

对于第11层全连接softmax分类器，设置特征映射图数目为6。