CN111325158A - 一种基于cnn和rfc的集成学习的极化sar图像分类方法 - Google Patents

Abstract

本发明公开了一种基于CNN和RFC的集成学习的极化SAR图像分类方法，主要解决现有极化SAR图像分类方法分类精度不高的问题。实现步骤为：根据滤波后的极化SAR图像，提取T矩阵和Cloude分解特征为原始特征；随机选取1％有标记样本作为训练样本，记作TrainPixel，并用其对RFC模型进行训练；提取极化SAR图像中每个像素点的21×21的邻域块，并将其作为CNN的输入特征，记作F2；从F2中选取对应于TrainPixel的邻域块作为CNN的训练样本，训练CNN模型；基于CNN模型对整张图像的分类结果，使用信息熵得到极化SAR图像的边界区域，边界区域和非边界区域分别使用RFC和CNN进行分类。本发明使用CNN和RFC集成学习方法，综合利用两种方法的优势，在极化SAR图像的边界区域以及非边界区域都能得到好的分类结果。

Description

一种基于CNN和RFC的集成学习的极化SAR图像分类方法

技术领域

本发明属于图像处理技术领域，主要涉及一种极化SAR图像分类方法，具体说是一种基于CNN和RFC的集成学习方法用于的极化SAR图像分类，可用于对极化SAR图像的地物分类和目标识别。

背景技术

极化SAR图像分类是遥感处理领域的一种非常重要的应用。极化SAR不受时间和天气影响，并且包含丰富的极化信息，所以极化SAR已经被成功应用于农业、军事、地质勘探、城市规划以及海洋监测等多个领域。数年间，海量极化SAR数据投入应用。因此，极化SAR图像分类得到了大量学者的关注，大量极化SAR图像分类方法被提出。

极化SAR图像分类方法可以分为基于散射特性的分类方法、基于统计特性的分类方法以及基于机器学习的分类方法。基于散射特性的分类方法通常是根据物理含义，有时也会为了得到更好的分类结果与其他特性相结合，但是此类算法需要进行严格的分析与推导，提高了极化SAR数据的处理门槛，限制了此类方法的进一步发展；基于统计特性的分类方法通常是基于Wishart分布，但是计算Wishart需要花费较长时间，并且只基于一种分布不利于得到好的分类结果，因此不利于用此类算法去处理极化SAR图像分类问题；基于机器学习的分类算法往往是只利用一种方法去处理极化SAR图像分类问题，由于极化SAR数据的复杂特性，只利用一种机器学习方法很难获得理想的极化SAR图像分类结果，例如CNN在极化SAR图像分类中取得了不错的分类结果，但是由于CNN需要将像素点的邻域作为模型输入以获得该像素点的分类结果，因此CNN在图像边界区域分类结果并不理想，RFC在极化SAR图像分类中也获取了不错的分类结果，但是RFC并没有获取图像的空间信息，因此RFC的整体分类结果并没有CNN好，但是在图像边界区域比CNN的分类结果要好。

发明内容

本发明的目的在于针对上述问题，提出了一种基于CNN和RFC的集成学习的极化SAR图像分类方法，集合多分类器的优良特性，得到更好的分类结果。

为实现上述目的，本发明采用的技术方案包含如下步骤：

一种基于CNN和RFC的集成学习的极化SAR图像分类方法，包括如下步骤：

步骤1，根据滤波后待分类的极化SAR图像，获取极化相干矩阵T和Cloude分解特征；

步骤2，将步骤1获取的极化相干矩阵T和Cloude分解特征设置为个像素点的原始特征，记作F1，其维度为15，并将其每个元素归一化到[0，1]；

步骤3，从极化SAR图像的有标记样本中随机选取1％作为训练样本，记作TrainPixel；

步骤4，使用步骤3得到的训练样本训练RFC模型，待模型训练完成后，对整幅极化SAR图像进行分类，并将分类结果记作ResultRFC；

步骤5，对于CNN模型，从极化SAR图像中的每个像素点取21×21的邻域块，将邻域块中所有像素点的特征都设置为此像素点的输入特征，记作F2，其维度为21×21×15；

步骤6，基于步骤3获取的TrainPixel，将步骤5获取的F2中对应于TrainPixel中的像素点的邻域块作为CNN模型的训练样本，训练CNN模型，待模型训练完成后，对整幅极化SAR图像进行分类，并将分类结果记作ResultCNN；

步骤7，根据步骤6得到的ResultCNN，得到整幅极化SAR图像的类别边界区域，记作Boundary，对于剩余区域记作Non-Boundary；

步骤8，对于步骤7得到的极化SAR图像的Boundary区域，使用步骤4得到的ResultRFC的分类结果，对于步骤7得到的极化SAR图像的Non-Boundary区域，使用步骤6得到的ResultCNN的分类结果，并将最终极化SAR图像的分类结果记作Result。

其中，步骤1按照如下步骤进行：

1a)提取每个像素点的极化相干矩阵T，以3×3矩阵形式表示为

1b)提取1a)中得到的T矩阵的对角元素T₁₁,T₂₂,T₃₃，并提取1a)中得到矩阵的T₁₂,T₁₃,T₂₃的实部与虚部，记作[T₁₁,T₂₂,T₃₃,Re(T₁₂),Re(T₁₃),Re(T₂₃),Im(T₁₂),Im(T₁₃),Im(T₂₃)]，其中Re(T_ij)和Im(T_ij)分别代表T_ij的实部与虚部；

1c)根据特征分解模型，1a)中得到的T矩阵分解为：

其中，

与λ_i(i＝1,2,3)分别表示T矩阵的特征向量矩阵与特征值；

1d)根据Cloude分解模型，基于公式<2>得到的T矩阵的特征向量矩阵与特征值，熵H、平均散射角α和各向异性参数A分别表示为：

其中，

代表特征向量

的首个元素，提取Cloude分解特征，记作[H,A,α,λ₁,λ₂,λ₃]。

1e)将1b)与1d)得到的特征合到一起，记作[T₁₁,T₂₂,T₃₃,Re(T₁₂),Re(T₁₃),Re(T₂₃),Im(T₁₂),Im(T₁₃),Im(T₂₃),H,A,α,λ₁,λ₂,λ₃]。

其中，步骤4所述的RFC模型表示为：

h(x,θ_k),k＝1,2,…,n <4>

其中，n为正整数，x代表输入数据，k代表第k棵决策树，θ_k代表第k棵决策树的参数向量，每棵决策树都会对x的进行分类，并且每棵决策树都会对x的最终分类结果投出平等一票，x的最终类别为得票数最多的类别。

其中，步骤5所述的CNN模型的结构为8层，表示为：

输入层—>卷积层—>池化层—>卷积层—>池化层—>卷积层—>全连接层—>Softmax分类层，各层的维度分别为：21×21×15、18×18×30、9×9×30、6×6×60、3×3×60、1×1×120、84、N，其中N代表类别数目。

其中，步骤7所述的信息熵表示为：

其中，N表示类别数目，j代表第j类，p(j)代表将x分为第j类的概率，H(x)大于预设阈值，则x位于边界区域，否则，x位于非边界区域。

本发明与现有技术相比具有如下优点：

1、本发明在对极化SAR图像数据进行分类时，使用极化相干矩阵和Cloude分解作为分类特征，可以有效地提高分类结果。

2、本发明使用CNN进行极化SAR图像分类，可以有效利用图像的空间信息，有助于得到好的分类结果。

3、本发明使用RFC进行极化SAR图像分类，RFC是一种简单有效的分类模型，有助于得到好的分类结果。

4、本发明使用CNN和RFC的集成学习方法，可以综合利用CNN和RFC的优势，在极化SAR图像的边界区域以及非边界区域都可以得到好的分类结果。

附图说明

图1是本发明的实现流程图；

图2是本发明仿真时用的中国Xi’an渭河地区图像；

图3是使用本发明对图2进行分类的仿真效果图；

图4是本发明仿真时用的德国Oberpfaffenhofen地区图像；

图5是使用本发明对图4进行分类的仿真效果图。

具体实施方式

以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：

参照图1，本发明的具体实现步骤如下：

步骤1，输入滤波后的极化SAR图像，获取极化相干矩阵T和Cloude分解特征。具体步骤如下：

1a)提取每个像素点的极化相干矩阵T，以3×3矩阵形式表示为

1b)提取1a)中得到的T矩阵的对角元素T₁₁,T₂₂,T₃₃，并提取1a)中得到矩阵的T₁₂,T₁₃,T₂₃的实部与虚部，记作[T₁₁,T₂₂,T₃₃,Re(T₁₂),Re(T₁₃),Re(T₂₃),Im(T₁₂),Im(T₁₃),Im(T₂₃)]，其中Re(T_ij)和Im(T_ij)分别代表T_ij的实部与虚部；

1c)根据特征分解模型，1a)中得到的T矩阵分解为：

其中，

与λ_i(i＝1,2,3)分别表示T矩阵的特征向量矩阵与特征值；

1d)根据Cloude分解模型，基于公式<2>得到的T矩阵的特征向量矩阵与特征值，熵H、平均散射角α和各向异性参数A分别表示为：

其中，

代表特征向量

的首个元素，提取Cloude分解特征，记作[H,A,α,λ₁,λ₂,λ₃]。

1e)将1b)与1d)得到的特征合到一起，记作[T₁₁,T₂₂,T₃₃,Re(T₁₂),Re(T₁₃),Re(T₂₃),Im(T₁₂),Im(T₁₃),Im(T₂₃),H,A,α,λ₁,λ₂,λ₃]。

步骤2，将步骤1获取的极化相干矩阵T和Cloude分解特征设置为个像素点的原始特征，记作F1，其维度为15，并将其每个元素归一化到[0，1]。

步骤3，从极化SAR图像的有标记样本中随机选取1％作为训练样本，记作TrainPixel；

步骤4，使用步骤3得到的训练样本训练RFC模型，所述的RFC模型可以表示为：

h(x,θ_k),k＝1,2,…,n <4>

其中，x代表输入数据，k代表第k棵决策树，θ_k代表第k棵决策树的参数向量，每棵决策树都会对x的进行分类，并且每棵决策树都会对x的最终分类结果投出平等一票，x的最终类别为得票数最多的类别。

待模型训练完成后，对整幅极化SAR图像进行分类，并将分类结果记作ResultRFC；

步骤5，对于CNN模型，从极化SAR中的每个像素点取21×21的邻域块，将邻域块中所有像素点的特征都设置为此像素点的输入特征，记作F2，其维度为21×21×15；

步骤6，基于步骤3获取的TrainPixel，将步骤5获取的F2中对应于TrainPixel中的像素点的邻域块作为CNN模型的训练样本，训练CNN模型，CNN模型的结构为8层，表示为：

输入层—>卷积层—>池化层—>卷积层—>池化层—>卷积层—>全连接层—>Softmax分类层，各层的维度分别为：21×21×15、18×18×30、9×9×30、6×6×60、3×3×60、1×1×120、84、N，其中N代表类别数目。

待模型训练完成后，对整幅极化SAR图像进行分类，并将分类结果记作ResultCNN；

步骤7，根据步骤6得到的ResultCNN，通过信息熵的方式获取极化SAR图像的类别边界区域，信息熵可以表示为：

其中，N表示类别数目，j代表第j类，p(j)代表将x分为第j类的概率，H(x)大于预设阈值，则x位于边界区域，否则，x位于非边界区域，得到极化SAR图像的类别边界区域，记作Boundary，对于剩余区域记作Non-Boundary。

步骤8，对于步骤7得到的极化SAR图像的Boundary区域，使用步骤4得到的ResultRFC的分类结果，对于步骤7得到的极化SAR图像的Non-Boundary区域，使用步骤6得到的ResultCNN的分类结果，并将最终极化SAR图像的分类结果记作Result。

本发明的效果可以通过以下仿真实验进一步说明：

1、实验条件与方法

硬件平台为：Intel(R)Xeon(R)CPU E5606@2.13GHZ、8.00GB RAM；

软件平台为：Tensorflow 1.15；

实验方法：分别为RFC、CNN以及本发明方法。

2、仿真内容与结果

实验一，将图2所示的中国Xi’an渭河地区图像作为测试图像，用RFC、CNN以及本发明方法对图2进行分类仿真，分类结果见图3，其中，图3(a)是基于RFC的分类结果，图3(b)是基于CNN的分类结果，图3(c)是本发明方法得到的边界区域，图3(d)是本发明的分类结果。从图3可以看出，本发明方法成功找到了Xi’an渭河地区图像的边界区域，相比于RFC，本发明方法在非边界区域的分类结果更好，相比于CNN，本发明方法在边界区域的分类结果更好。表1给出了Xi’an渭河地区图像分类正确率，其中OA代表总体分类正确率，Kappa代表Kappa系数，可以看到本发明方法确实得到了更高的分类正确率以及Kappa系数。

表1 Xi’an渭河地区图像分类正确率

方法	Water	Grass	Building	OA	Kappa
						RFC	0.8846	0.9074	0.8910	0.8982	0.8316
CNN	0.8692	0.9089	0.9393	0.9137	0.8577
						RFC-CNN	0.8780	0.9236	0.9370	0.9215	0.8702

实验二，将图2所示的德国Oberpfaffenhofen地区图像作为测试图像，用RFC、CNN以及本发明方法对图4进行分类仿真，分类结果见图5，其中，图5(a)是基于RFC的分类结果，图5(b)是基于CNN的分类结果，图5(c)是本发明方法得到的边界区域，图5(d)是本发明的分类结果。从图5可以看出，本发明方法成功找到了德国Oberpfaffenhofen地区图像的边界区域，相比于RFC和CNN，本发明方法在图像边界区域和非边界区域都得到了好的分类结果。表2给出了德国Oberpfaffenhofen地区图像的分类正确率以及Kappa系数，从表2可以看到本发明方法确实得到了比RFC和CNN更高的分类正确率以及Kappa系数。

表2德国Oberpfaffenhofen地区图像分类正确率

方法	Built-up Areas	Wood Land	Open Areas	OA	Kappa
						RFC	0.8386	0.8786	0.9708	0.9201	0.8638
CNN	0.8528	0.9460	0.9610	0.9313	0.8833
						RFC-CNN	0.8745	0.9338	0.9677	0.9381	0.8947

Claims (5)

1.一种基于CNN和RFC的集成学习的极化SAR图像分类方法，其特征在于，包括如下步骤：

步骤1，根据滤波后的极化SAR图像，获取极化相干矩阵T和Cloude分解特征；

步骤2，将步骤1获取的极化相干矩阵T和Cloude分解特征设置为个像素点的原始特征，记作F1，其维度为15，并将其每个元素归一化到[0，1]；

步骤3，从极化SAR图像的有标记样本中随机选取1％作为训练样本，记作TrainPixel；

步骤4，使用步骤3得到的训练样本训练RFC模型，待模型训练完成后，对整幅极化SAR图像进行分类，并将分类结果记作ResultRFC；

步骤5，对于CNN模型，从极化SAR图像中的每个像素点取21×21的邻域块，将邻域块中所有像素点的特征都设置为此像素点的输入特征，记作F2，其维度为21×21×15；

步骤6，基于步骤3获取的TrainPixel，将步骤5获取的F2中对应于TrainPixel中的像素点的邻域块作为CNN模型的训练样本，训练CNN模型，待模型训练完成后，对整幅极化SAR图像进行分类，并将分类结果记作ResultCNN；

步骤7，根据步骤6得到的ResultCNN，得到整幅极化SAR图像的类别边界区域，记作Boundary，对于剩余区域记作Non-Boundary；

步骤8，对于步骤7得到的极化SAR图像的Boundary区域，使用步骤4得到的ResultRFC的分类结果，对于步骤7得到的极化SAR图像的Non-Boundary区域，使用步骤6得到的ResultCNN的分类结果，并将最终极化SAR图像的分类结果记作Result。

2.根据权利要求1所述的一种基于CNN和RFC的集成学习的极化SAR图像分类方法，其特征在于，步骤1按照如下步骤进行：

1a)提取每个像素点的极化相干矩阵T，以3×3矩阵形式表示为

1b)提取1a)中得到的T矩阵的对角元素T₁₁,T₂₂,T₃₃，并提取1a)中得到矩阵的T₁₂,T₁₃,T₂₃的实部与虚部，记作[T₁₁,T₂₂,T₃₃,Re(T₁₂),Re(T₁₃),Re(T₂₃),Im(T₁₂),Im(T₁₃),Im(T₂₃)]，其中Re(T_ij)和Im(T_ij)分别代表T_ij的实部与虚部；

1c)根据特征分解模型，1a)中得到的T矩阵分解为：

其中，

与λ_i(i＝1,2,3)分别表示T矩阵的特征向量矩阵与特征值；

1d)根据Cloude分解模型，基于公式<2>得到的T矩阵的特征向量矩阵与特征值，熵H、平均散射角α和各向异性参数A分别表示为：

其中，

代表特征向量

的首个元素，提取Cloude分解特征，记作[H,A,α,λ₁,λ₂,λ₃]。

1e)将1b)与1d)得到的特征合到一起，记作[T₁₁,T₂₂,T₃₃,Re(T₁₂),Re(T₁₃),Re(T₂₃),Im(T₁₂),Im(T₁₃),Im(T₂₃),H,A,α,λ₁,λ₂,λ₃]。

3.根据权利要求1所述的一种基于CNN和RFC的集成学习的极化SAR图像分类方法，其特征在于，步骤4所述的RFC模型表示为：

h(x,θ_k),k＝1,2,…,n <4>

其中，n为正整数，x代表输入数据，k代表第k棵决策树，θ_k代表第k棵决策树的参数向量，每棵决策树都会对x的进行分类，并且每棵决策树都会对x的最终分类结果投出平等一票，x的最终类别为得票数最多的类别。

4.根据权利要求1所述的一种基于CNN和RFC的集成学习的极化SAR图像分类方法，其特征在于，步骤5所述的CNN模型的结构为8层，表示为：

输入层—>卷积层—>池化层—>卷积层—>池化层—>卷积层—>全连接层—>Softmax分类层，各层的维度分别为：21×21×15、18×18×30、9×9×30、6×6×60、3×3×60、1×1×120、84、N，其中N代表类别数目。

5.根据权利要求1所述的一种基于CNN和RFC的集成学习的极化SAR图像分类方法，其特征在于，步骤7所述的信息熵表示为：

其中，N表示类别数目，j代表第j类，p(j)代表将x分为第j类的概率，H(x)大于预设阈值，则x位于边界区域，否则，x位于非边界区域。

Images