CN107563422A - 一种基于半监督卷积神经网络的极化sar分类方法 - Google Patents

Abstract

本发明公开了一种基于半监督卷积神经网络的极化SAR分类方法，首先输入图像数据，超像素分割；提取训练样本和测试样本；采用近邻保持和稀疏滤波的深度学习网络NDSFN对卷积神经网络的参数进行无监督预训练，得到所需的滤波器集合；通过卷积操作得到特征图；通过下采样对特征图进行模糊；根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置得到新的特征图；利用Softmax分类器对训练样本进行图像分类；采用少量标记样本进行微调，得到极化SAR地物分类，本发明通过构建新颖的半监督卷积神经网络SNCNN模型，有效解决了传统的有监督卷积神经网络对有标记样本的需求较大的问题。

Description

一种基于半监督卷积神经网络的极化SAR分类方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于半监督卷积神经网络的极化SAR分类方法，可用于环境监测、地球资源勘测和军事系统等。

背景技术

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。在极化SAR图像分类领域，机器学习已经有了许多突破性的进展，例如Wishart maximumlikelihood(WML)，支持矢量机(support vector machines，SVM)等方法。

常见的机器学习方法大都运用人工提取特征的方法，费时费力，且不一定能够取得令人满意的特征。深度学习是机器学习研究中的一个新的领域，它是一种模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。对于极化SAR图像分类，深度学习网络能够自主地从极化SAR数据中学习到更为抽象的高层表示属性或者特征，学习到的特征可以更有效地运用到地物分类、环境监测等研究。

卷积神经网络是一种经典的深度学习网络模型。它有着自己独特的局部感受野、权值共享以及下采样等结构，可以有效地减少网络的整体参数数量，极大的方便了网络参数的调节。卷积神经网络可以将图像以二维矩阵的形式直接输入到网络进行运算，对于多维的图像块，只需要提供多个输入通道，这样的特点使得其在图像处理领域有着突出的优势。我们不需要对待输入的图像数据进行过多的前期处理，保留了图像的空间结构也降低了人工重建数据的复杂度。卷积神经网络能够自主地对训练数据进行特征提取，作为一种有效的特征提取方法在分类器的作用下可以取得了不错的研究结果，卷积神经网络有着出色的范化能力，已经在多个领域得到了广泛的应用。

极化SAR地物分类在在环境监测、地球资源勘测、军事系统等领域有着广泛的应用前景。考虑到卷积神经网络在图像分类中有着明显的优势，我们将传统的卷积神经网络应用于极化SAR地物分类，但是传统的卷积神经网络是一种有监督的分类模型，需要大量的有标记样本对网络参数进行调节，才能得到性能较为稳定的网络，当标签样本较少时，网络会因为训练不够充分而导致较差的分类精度。不同于人脸、手写体等图像数据，极化SAR数据的每个像素代表一个样本点，所以在提取样本时需要进行特殊的操作。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于半监督卷积神经网络的极化SAR分类方法，提高地物分类正确率，解决了传统的有监督卷积神经网络对有标记样本的需求较大，在拥有较低标签数据时分类精度不高的技术问题。

本发明采用以下技术方案：

一种基于半监督卷积神经网络的极化SAR分类方法，首先输入图像数据，超像素分割；提取训练样本和测试样本；采用近邻保持和稀疏滤波的深度学习网络NDSFN对卷积神经网络的参数进行无监督预训练，得到所需的滤波器集合；通过卷积操作得到特征图；通过下采样对特征图进行模糊；根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置得到新的特征图；利用Softmax分类器对训练样本进行图像分类；采用少量标记样本进行微调，得到极化SAR地物分类。

优选的，包括以下步骤：

S1、输入待分类的极化SAR图像数据，由极化SAR图像的相干矩阵T并结合极化SAR的Pauli分解图生成样本X；

S2、训练样本和测试样本，从样本X中随机提取出L个训练样本X_l，M个测试样本X_m，其中，L+M＝N，根据所有样本的类别信息，每类随机选取1％的样本作为训练样本，其余的为测试样本；

S3、将训练样本数据输入到稀疏滤波与近邻保持构成的深度学习网络NDSFN中，得到训练好的权重W，然后将W变换为卷积神经网络卷积层所需的滤波器集合；

S4、通过卷积操作得到特征图；

S5、通过下采样对特征图进行模糊；

S6、根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置，重复步骤S3、S4和S5，得到新的特征图；

S7、将步骤S6中得到的特征图转变为一维向量，作为全连接层的输入，利用Softmax分类器对训练样本进行图像分类；

S8、利用少量有标签样本，根据最终的分类结果与标签之间的差异，通过BP算法对卷积神经网络进行微调，更新参数，直至损失函数收敛到合适的值，网络的训练结束；

S9、根据测试样本中心像素点的超像素块和邻域的交集来确定测试样本，其余部分用零值填充，对中心像素点的类别信息进行预测并计算分类精度。

优选的，步骤S1具体为：

S101、利用超像素分割方法SLIC对极化SAR的Pauli分解图像进行超像素分割，将图像分割为一个个不规则的超像素块，处在同一个超像素块中的像素点通常具有相似的纹理、颜色等特征，对图像像素进行局部的聚类；

S102、以某个像素点为中心，在其周围取a×b大小的窗口，窗口的大小即为输入到卷积神经网络的图像块的大小，如果该窗口中的其它像素点与中心像素点在同一个超像素块中，则保留该像素点，否则，去掉该像素点并用中心像素点的Wishart近邻样本来填充，近邻样本不足时用零值填充；

S103、结合极化SAR的Pauli分解图上的每一个窗口的位置取极化SAR图像的极化相干矩阵T上对应位置的上三角位置的6个元素的模值作为输入到卷积神经网络的样本的原始数据，即生成样本N是样本的总个数，x_i表示第i个样本，x_i维为a×b×6的三维数据块。

优选的，步骤S3具体为：

S301、训练样本矩阵为利用MATLAB软件中的reshape函数将训练集样本每一通道上大小为a×b的样本矩阵转化为向量形式，即训练样本为其中x_i∈R(a×b)×6；

S302、将经过上述处理的训练样本按通道送入稀疏滤波与近邻保持构成的深度学习网络NDSFN中学习相应卷积层滤波器参数，其中需要保持稀疏滤波的输出维数与卷积层的节点数相同，假设卷积层的节点数为p，则稀疏滤波通过训练得到的连接权重W大小m²×p，可以将W分解为p个m×m的矩阵，每个矩阵代表一个卷积核也就是滤波器。

优选的，步骤S4具体为：

S401、卷积神经网络的输入数据是大小为a×b×c的图像块，c表示维度,a和b分别表示图像块的长和宽；

S402、将步骤S3预训练出卷积层滤波器参数用于卷积层，将训练样本送入卷积层，设卷积层的滤波器大小为m×n，卷积层的节点数为p，则卷积层的输出数据大小为：

(a-m+1)×(b-n+1)×p

在卷积层，一个卷积层输出节点对应一个特征图，p就代表输出的特征图数量，(a-m+1)×(b-n+1)表示特征图的大小，经过卷积核的卷积运算以及激活函数的共同作用，可以得到该卷积层的第j个通道的输出：

其中，M_j表示用于计算的输入样本子集，x_i是输入样本子集的第i个样本，k_ij为卷积核矩阵，也就是滤波器，*表示卷积运算，b_j为特征图的偏置，f(·)为激活函数。

优选的，步骤S5具体为：对于下采样层，是在数据进过卷积层之后，进行的子采样操作，下采样层不会改变卷积层所得特征图的数量，但是每个特征图的尺寸都会等比例缩小，第k层下采样层的输出可以表示为：

其中，为下采样的权重系数，为下采样层的偏置项，down(·)为下采样函数。

优选的，步骤S6具体为：

S601、以上一层下采样层的所得特征图作为输入数据，同样地需要先对每一通道的数据拉成向量，根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置；

S602、重复步骤S3、S4和S5，即经过NDSFN学习第二个卷积层的滤波器参数，并将输入数据送入第二个卷积层和第二个采样层而得到新的特征图。

优选的，步骤S7具体为：

S701、将训练样本x_j输入到经过预训练的卷积神经网络中，学习到最终的特征θ_j，j＝1,2,...,L；

S702、将S701中学习到的最终特征送到Softmax分类器中进行类别预测：

Softmax分类器的输出是y∈R^P×1，P表示为类别数，测试样本x_j的预测类别可以表示为：

y＝argmaxθ_j

其中，θ_j是样本x_j的预测类别置信度向量，y是置信度最大的元素所对应的类别。

优选的，步骤S8具体为：

结合步骤S7中Softmax分类器对训练样本的分类结果和训练样本对应的标签样本，对卷积神经网络的参数进行微调，有如下目标函数：

其中，是均方误差项，是权重衰减项，权重衰减项的目的在于减少权重的幅度，防止过拟合，y_i表示训练样本x_i对应的类别标签，h(x_i)是将训练样本x_i经过整个卷积神经网络后学习到的特征再送到Softmax分类器中得到的输出结果，β＝3e-3为权重衰减参数。

优选的，步骤S9具体为：

S901、将测试样本x_j输入到已经构建好的卷积神经网络中，学习到最终的特征θ_j，j＝1,2,...,M；

S902、将S901中学习到的最终特征送到Softmax分类器中进行类别预测：

Softmax分类器的输出是y∈R^P×1，P表示为类别数，测试样本x_j的预测类别可以表示为：

y＝argmaxθ_j

其中，θ_j是样本x_j的预测类别置信度向量，y是置信度最大的元素所对应的类别。

与现有技术相比，本发明至少具有以下有益效果：

本发明由于采用了超像素分割的方法，首先将超像素方法和近邻关系用于输入样本数据的预处理，利用了极化SAR数据的空间信息和卷积神经网络在图像处理上的优势，充分减少了对标签样本的依赖和网络训练的时间复杂度；其次提出了基于稀疏滤波和近邻保持的深度学习网络的预训练方法，有效地取代传统的随机初始化滤波器参数方法，提高卷积神经网络的预训练效率，同时避免了传统神经网络在标记样本较少时训练不充分，卷积核优化困难等情况，减少了训练样本的个数，通过借助少量的训练样本在极化SAR图像地物分类中取得了较高的分类精度，可用于环境监测、地球资源勘测和军事系统等应用。

进一步的，利用经典的超像素分割方法SLIC对极化SAR图像进行超像素分割，将图像分割为一个个不规则的超像素块，然后以某个像素点为中心，在其周围取规定大小的窗口，该窗口中的其它像素点与中心像素点在同一个超像素块中，则保留；否则，去掉该像素点并用中心像素点的Wishart近邻样本来填充(近邻样本不足时用零值填充)，没有根据有标记样本去人工地选择都为同类样本的图像块，避免了在只有少量有标记样本的情况下，样本选择困难、网络训练不充分的情况。

进一步的，利用超像素方法得到的图像块有较大概率都为同一类像素点组成，有Wishart近邻关系的两个像素点大概率为同一类，减少了非同类像素点的干扰。

进一步的，卷积神经网络的卷积操作体现了权值共享和平移不变形的特点，解决了传统神经网络参数过多的问题，减少参数学习的复杂度，提高了网络的训练速度。

进一步的，卷积神经网络的下采样操作，有效地降低特征维度，减少输出时关于平移和形变造成的影响，同时防止了过拟合。

进一步的，采用了半监督学习的方法，在预训练的过程中利用少量有标签样本，根据分类结果与标签之间的差异，通过BP算法对卷积神经网络进行微调，更新参数，直至损失函数收敛到合适的值，得到参数更加优化的卷积神经网络，从而提高卷积神经网络的性能，因此在极化SAR图像地物分类中取得了较高的分类精度。

综上所述，本发明通过构建新颖的半监督卷积神经网络(SNCNN)模型，有效解决了传统的有监督卷积神经网络对有标记样本的需求较大的问题。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的实现流程示意图；

图2为卷积神经网络结构图；

图3为对极化SAR地物仿真图像的实验结果图，其中，(a)是极化SAR仿真图的Pauli分解图，(b)是仿真图的标签图，(c)是采用对比方法CNN的分类结果图，(d)是采用对比方法WDBN的分类结果图，(e)是采用对比方法NPDNN的分类结果图，(f)是采用对比方法NDSFN的分类结果图，(g)是采用对比方法SDMLN的分类结果图，(h)是采用本发明方法的分类结果图；

图4为对荷兰Flevoland地区子图的实验结果图，其中，(a)是荷兰Flevoland地区子图的极化SAR的Pauli分解图，(b)是荷兰Flevoland地区子图的标签图，(c)是采用对比方法CNN的分类结果图，(d)是采用对比方法WDBN的分类结果图，(e)是采用对比方法NPDNN的分类结果图，(f)是采用对比方法NDSFN的分类结果图，(g)是采用对比方法SDMLN的分类结果图，(h)是采用本发明方法的分类结果图。

具体实施方式

本发明提供了一种基于半监督卷积神经网络的极化SAR分类方法，输入图像数据，超像素分割；提取训练样本和测试样本；采用近邻保持和稀疏滤波的深度学习网络NDSFN对卷积神经网络的参数进行无监督预训练，得到所需的滤波器集合；通过卷积操作得到特征图；通过下采样对特征图进行模糊；根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置得到新的特征图；利用Softmax分类器对训练样本进行图像分类；采用少量标记样本进行微调，较少标签样本需求的同时，提高了极化SAR地物分类精度。

请参阅图1，本发明基于半监督卷积神经网络的极化SAR分类方法的具体步骤如下：

S1、输入待分类的极化SAR图像数据，即极化SAR的Pauli分解图，极化SAR图像的相干矩阵T，根据极化SAR图像的地物分布信息得到标签矩阵Y，同一种地物无论分布如何，在标签矩阵中由同样的类别标号表示，不能确定类别的地物分布在标签矩阵中用0表示，由极化SAR图像的相干矩阵T并结合极化SAR的Pauli分解图生成样本N是样本的总个数，x_i表示第i个样本。

S101、首先利用经典的超像素分割方法SLIC对极化SAR的Pauli分解图像进行超像素分割，将图像分割为一个个不规则的超像素块，处在同一个超像素块中的像素点通常具有相似的纹理、颜色等特征，对图像像素进行局部的聚类；

S102、以某个像素点为中心，在其周围取a×b大小的窗口，窗口的大小即为输入到卷积神经网络的图像块的大小，如果该窗口中的其它像素点与中心像素点在同一个超像素块中，则保留该像素点，否则，去掉该像素点并用中心像素点的Wishart近邻样本来填充，近邻样本不足时用零值填充；

S103、结合极化SAR的Pauli分解图上的每一个窗口的位置取极化SAR图像的极化相干矩阵T上对应位置的上三角位置的6个元素的模值作为输入到卷积神经网络的样本的原始数据，即生成样本N是样本的总个数，x_i表示第i个样本，x_i维为a×b×6的三维数据块；

S2、训练样本和测试样本，从样本随机提取出L个训练样本M个测试样本其中L+M＝N，根据所有样本的类别信息，每类随机选取1％的样本作为训练样本，其余的为测试样本。

S3、无监督预训练，将训练样本数据输入到稀疏滤波与近邻保持构成的深度学习网络NDSFN中，得到训练好的权重W，然后将W变换为卷积神经网络卷积层所需的滤波器集合。

S301、训练样本矩阵为利用MATLAB软件中的reshape函数将训练集样本每一通道上大小为a×b的样本矩阵转化为向量形式，即训练样本为其中x_i∈R(a×b)×6；

S302、将经过上述处理的训练样本为按通道送入稀疏滤波与近邻保持构成的深度学习网络NDSFN中学习相应卷积层滤波器参数，其中需要保持稀疏滤波的输出维数与卷积层的节点数相同，假设卷积层的节点数为p，则稀疏滤波通过训练得到的连接权重W大小m²×p，可以将W分解为p个m×m的矩阵，每个矩阵代表一个卷积核也就是滤波器。

利用基于稀疏滤波和近邻保持的非监督预训练方法，利用稀疏滤波和近邻保持构成的深度学习网络NDSFN共同对卷积神经网络进行预训练，得到含有训练样本信息滤波器集合。这样学习得到的滤波器可以有效地取代传统的随机初始化滤波器，提高卷积神经网络的预训练效率，同时避免了传统神经网络在标记样本较少时训练不充分，卷积核优化困难等情况。

S4、通过卷积操作得到特征图。

S401、卷积神经网络的输入数据是大小为a×b×c的图像块，c表示维度,a和b分别表示图像块的长和宽。

S402、步骤S3已预训练出卷积层滤波器参数，将训练样本送入卷积层，设卷积层的滤波器大小为m×n，卷积层的节点数为p，则卷积层的输出数据大小为：(a-m+1)×(b-n+1)×p。

在卷积层，一个卷积层输出节点对应一个特征图，p就代表输出的特征图数量，(a-m+1)×(b-n+1)表示特征图的大小，经过卷积核的卷积运算以及激活函数的共同作用，可以得到该卷积层的第j个通道的输出：

其中，M_j表示用于计算的输入样本子集，x_i是输入样本子集的第i个样本，k_ij为卷积核矩阵，也就是滤波器，*表示卷积运算，b_j为特征图的偏置，f(·)为激活函数。

卷积神经网络的卷积操作体现了权值共享和平移不变形的特点，解决了传统神经网络参数过多的问题，减少参数学习的复杂度，提高了网络的训练速度。

S5、通过下采样对特征图进行模糊。

对于下采样层，是在数据进过卷积层之后，进行的子采样操作，下采样层不会改变卷积层所得特征图的数量，但是每个特征图的尺寸都会等比例缩小，第k层下采样层的输出可以表示为：

其中，为下采样的权重系数，为下采样层的偏置项，down(·)为下采样函数。

常见的下采样方法有：平均池化、随机池化、最大池化、重叠池化等。

卷积神经网络的下采样操作，有效地降低特征维度，减少输出时关于平移和形变造成的影响，同时防止了过拟合。

S6、根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置，重复步骤S3、S4和S5，得到新的特征图。

S601、以上一层下采样层的所得特征图作为输入数据，同样地需要先对每一通道的数据拉成向量，根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置；

S602、重复步骤S3、S4和S5，即经过NDSFN学习第二个卷积层的滤波器参数，并将输入数据送入第二个卷积层和第二个采样层而得到新的特征图。

同样的，利用基于稀疏滤波和近邻保持的非监督预训练方法，利用稀疏滤波和近邻保持共同对卷积神经网络进行预训练，得到含有训练样本信息滤波器集合。这样学习得到的滤波器可以有效地取代传统的随机初始化滤波器，提高卷积神经网络的预训练效率，同时避免了传统神经网络在标记样本较少时训练不充分，卷积核优化困难等情况。

S7、将步骤S6中得到的特征图转变为一维向量，作为全连接层的输入，利用Softmax分类器对训练样本进行图像分类。

S701、将训练样本x_j输入到经过预训练的卷积神经网络中，学习到最终的特征θ_j，j＝1,2,...,L；

S702、将S701中学习到的最终特征送到Softmax分类器中进行类别预测：

Softmax分类器的输出是y∈R^P×1，P表示为类别数，测试样本x_j的预测类别可以表示为：

y＝argmaxθ_j

其中，θ_j是样本x_j的预测类别置信度向量，y是置信度最大的元素所对应的类别。

S8、利用少量有标签样本，根据最终的分类结果与标签之间的差异，通过BP算法对卷积神经网络进行微调，更新参数，直至损失函数收敛到合适的值，网络的训练结束。

结合步骤S7中Softmax分类器对训练样本的分类结果和训练样本对应的标签样本，对卷积神经网络的参数进行微调，有如下目标函数：

其中，是均方误差项，是权重衰减项，权重衰减项的目的在于减少权重的幅度，防止过拟合，y_i表示训练样本x_i对应的类别标签，h(x_i)是将训练样本x_i经过整个卷积神经网络后学习到的特征再送到Softmax分类器中得到的输出结果，β＝3e-3为权重衰减参数。

S9、输入测试样本，测试样本同样根据其中心像素点的超像素块和邻域的交集来确定(其余部分用零值填充)，对中心像素点的类别信息进行预测并计算分类精度。

S901、将测试样本x_j输入到已经构建好的卷积神经网络中，学习到最终的特征θ_j，j＝1,2,...,M；

S902、将S901中学习到的最终特征送到Softmax分类器中进行类别预测：

Softmax分类器的输出是y∈R^P×1，P表示为类别数，测试样本x_j的预测类别可以表示为：

y＝argmaxθ_j

其中,θ_j是样本x_j的预测类别置信度向量，y是置信度最大的元素所对应的类别。

实施例1

输入待分类的极化SAR地物仿真数据,参见图3(a)，输入极化SAR的Pauli分解图和极化SAR图像的相干矩阵T，根据极化SAR图像的地物分布信息得到标签矩阵Y，参见图3(b)，图3(b)就是由标签矩阵Y直接生成的图像，图像中不同的色块代表不同的地物，同一种地物的分布在标签矩阵中由同样的类别标号表示，不能确定类别的地物分布在标签矩阵中用0表示，由极化SAR图像的相干矩阵T并结合极化SAR的Pauli分解图生成样本N是样本的总个数，x_i表示第i个样本。

其中，将样本数据按照其各自所在的类别，按照1:99的比例随机提取为训练样本和测试样本，每类的测试样本占该类总数的1％。

输出待分类的极化SAR图像的分类接骨拼图和分类精度，根据训练样本和步骤S9中已预测出类别的测试样本，输出待分类的极化SAR图像的最终分类结果并计算本次分类的精度。

先利用分类器预测的样本类别，对应到极化SAR图像上的每个像素点，将红色、绿色、蓝色作为三基色，按照三基色上色法为每个像素点上色，输出结果图，参见图3(h)。

最后将分类器预测的类别标号与测试样本真实的类别标号进行对比，得出实验的分类正确率。

1.实验条件

硬件平台为：Intel(R)Core(TM)i5-2410M CPU@2.30GHz、RAM 4.00GB；

软件平台为：MATLAB R2016b；

实验选用120×150的极化SAR地物仿真图像进行测试，类别数为9，标记为C_i,i＝1,2,...,9。实验中，每类随机选取1％的样本作为训练样本，其余的为测试样本。

2.实验内容与结果

本发明结合Softmax分类器对极化SAR地物仿真图进行分类，在同样实验设置的前提下与其它深度学习方法进行比较，其中CNN为卷积神经网络，图3(c)是由CNN对图3(a)进行分类的结果图；实验中还采用了基于Wishart RBM的深度信念网络WDBN，图3(d)用WDBN方法对图3(a)进行分类的结果图；图3(e)是NPDNN近邻保持深度神经网络对图3(a)进行分类的结果图；图3(f)是NDSFN近邻保持与深度稀疏滤波网络对图3(a)进行分类的结果图；图3(g)是基于半监督大边界近邻学习的深度网络SDMLN对图3(a)进行分类的结果图；SNCNN为本发明方法。表1为上述6种方法分别得到的极化SAR地物仿真图像的地物分类精度和总体分类精度。

表1、各种方法在仿真图上的地物分类精度(％)和总体分类精度(％)

从表1中可以看出，在训练样本均为1％的情况下，对于极化SAR地物仿真图上的实验，本发明与现有的深度学习方法相比具有较高的分类精度。参见仿真实验结果图3，本发明具有更高的可视性。

实施例2

1.实验条件

硬件平台为：Intel(R)Core(TM)i5-2410M CPU@2.30GHz、RAM 4.00GB；

软件平台为：MATLAB R2016b；

实验选用300×270的荷兰Flevoland地区的部分极化SAR地物真实数据上进行测试，类别数为6，分别为Bare soil、Potato、Beet、Pea、Wheat和Barley。实验中，每类随机选取1％的样本作为训练样本，其余的为测试样本。

2.实验内容与结果

本发明结合Softmax分类器对极化SAR地物真实数据进行分类，在同样实验设置的前提下与其它深度学习方法进行比较，其中CNN为卷积神经网络，图4(c)是由CNN对图4(a)进行分类的结果图；实验中还采用了基于Wishart RBM的深度信念网络WDBN，图4(d)用WDBN方法对图4(a)进行分类的结果图；图4(e)是NPDNN近邻保持深度神经网络对图4(a)进行分类的结果图；图4(f)是NDSFN近邻保持与深度稀疏滤波网络对图4(a)进行分类的结果图；图4(g)是基于半监督大边界近邻学习的深度网络SDMLN对图4(a)进行分类的结果图；SNCNN为本发明方法。表2为上述6种方法分别得到的极化SAR地物真实数据的地物分类精度和总体分类精度。

表2各种方法在极化SAR地物真实数据上的地物分类精度(％)和总体分类精度(％)

从表2中可以看出，在训练样本均为1％的情况下，对于极化SAR地物真实数据上的实验，再一次验证了本章提出的方法SNCNN有比同类算法更为优秀的极化SAR分类能力。而98.87％的分类正确率也说明了该方法的可行性。并且从图4可以看出SNCNN的分类结果具有更好的可视性，相比于其它方法的错分点凌乱分布，本章方法的错分点主要集中在边界，所以对SNCNN的边界部分进行相应的处理可能得到更好的分类结果。

综上所述，本发明提出的基于半监督卷积神经网络的极化SAR分类方法解决了传统的有监督卷积神经网络对有标记样本的需求较大的问题，将超像素方法和近邻关系用于输入样本数据的处理，充分利用了卷积神经网络的图像处理优势，且减少了对标签样本的需求，能够有效提高极化SAR图像的分类精度，而且在训练样本较少的情况下也能得到较高的分类精度。

本发明通过构建新颖的半监督卷积神经网络(SNCNN)模型，有效解决了传统的有监督卷积神经网络对有标记样本的需求较大的问题。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，首先输入图像数据，超像素分割；提取训练样本和测试样本；采用近邻保持和稀疏滤波的深度学习网络NDSFN对卷积神经网络的参数进行无监督预训练，得到所需的滤波器集合；通过卷积操作得到特征图；通过下采样对特征图进行模糊；根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置得到新的特征图；利用Softmax分类器对训练样本进行图像分类；采用少量标记样本进行微调，得到极化SAR地物分类。

2.根据权利要求1所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，包括以下步骤：

S1、输入待分类的极化SAR图像数据，由极化SAR图像的相干矩阵T并结合极化SAR的Pauli分解图生成样本X；

S2、训练样本和测试样本，从样本X中随机提取出L个训练样本X_l，M个测试样本X_m，其中，L+M＝N，根据所有样本的类别信息，每类随机选取1％的样本作为训练样本，其余的为测试样本；

S3、将训练样本数据输入到稀疏滤波与近邻保持构成的深度学习网络NDSFN中，得到训练好的权重W，然后将W变换为卷积神经网络卷积层所需的滤波器集合；

S4、通过卷积操作得到特征图；

S5、通过下采样对特征图进行模糊；

S6、根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置，重复步骤S3、S4和S5，得到新的特征图；

S7、将步骤S6中得到的特征图转变为一维向量，作为全连接层的输入，利用Softmax分类器对训练样本进行图像分类；

S8、利用少量有标签样本，根据最终的分类结果与标签之间的差异，通过BP算法对卷积神经网络进行微调，更新参数，直至损失函数收敛到合适的值，网络的训练结束；

S9、根据测试样本中心像素点的超像素块和邻域的交集来确定测试样本，其余部分用零值填充，对中心像素点的类别信息进行预测并计算分类精度。

3.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S1具体为：

S101、利用超像素分割方法SLIC对极化SAR的Pauli分解图像进行超像素分割，将图像分割为一个个不规则的超像素块，处在同一个超像素块中的像素点通常具有相似的纹理、颜色等特征，对图像像素进行局部的聚类；

S102、以某个像素点为中心，在其周围取a×b大小的窗口，窗口的大小即为输入到卷积神经网络的图像块的大小，如果该窗口中的其它像素点与中心像素点在同一个超像素块中，则保留该像素点，否则，去掉该像素点并用中心像素点的Wishart近邻样本来填充，近邻样本不足时用零值填充；

S103、结合极化SAR的Pauli分解图上的每一个窗口的位置取极化SAR图像的极化相干矩阵T上对应位置的上三角位置的6个元素的模值作为输入到卷积神经网络的样本的原始数据，即生成样本N是样本的总个数，x_i表示第i个样本，x_i维为a×b×6的三维数据块。

4.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S3具体为：

S301、训练样本矩阵为利用MATLAB软件中的reshape函数将训练集样本每一通道上大小为a×b的样本矩阵转化为向量形式，即训练样本为其中x_i∈R(a×b)×6；

S302、将经过上述处理的训练样本按通道送入稀疏滤波与近邻保持构成的深度学习网络NDSFN中学习相应卷积层滤波器参数，其中需要保持稀疏滤波的输出维数与卷积层的节点数相同，假设卷积层的节点数为p，则稀疏滤波通过训练得到的连接权重W大小m²×p，可以将W分解为p个m×m的矩阵，每个矩阵代表一个卷积核也就是滤波器。

5.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S4具体为：

S401、卷积神经网络的输入数据是大小为a×b×c的图像块，c表示维度,a和b分别表示图像块的长和宽；

S402、将步骤S3预训练出卷积层滤波器参数用于卷积层，将训练样本送入卷积层，设卷积层的滤波器大小为m×n，卷积层的节点数为p，则卷积层的输出数据大小为：

(a-m+1)×(b-n+1)×p

在卷积层，一个卷积层输出节点对应一个特征图，p就代表输出的特征图数量，(a-m+1)×(b-n+1)表示特征图的大小，经过卷积核的卷积运算以及激活函数的共同作用，可以得到该卷积层的第j个通道的输出：

<mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <msub> <mi>M</mi> <mi>j</mi> </msub> </mrow> </munder> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>*</mo> <msub> <mi>k</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>+</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow>

其中，M_j表示用于计算的输入样本子集，x_i是输入样本子集的第i个样本，k_ij为卷积核矩阵，也就是滤波器，*表示卷积运算，b_j为特征图的偏置，f(·)为激活函数。

6.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S5具体为：对于下采样层，是在数据进过卷积层之后，进行的子采样操作，下采样层不会改变卷积层所得特征图的数量，但是每个特征图的尺寸都会等比例缩小，第k层下采样层的输出可以表示为：

<mrow> <msubsup> <mi>x</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <msubsup> <mi>&amp;alpha;</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mi>d</mi> <mi>o</mi> <mi>w</mi> <mi>n</mi> <mo>(</mo> <msubsup> <mi>x</mi> <mi>j</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>k</mi> </msubsup> <mo>)</mo> </mrow> </mrow>

其中，为下采样的权重系数，为下采样层的偏置项，down(·)为下采样函数。

7.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S6具体为：

S601、以上一层下采样层的所得特征图作为输入数据，同样地需要先对每一通道的数据拉成向量，根据第二个卷积层的滤波器尺寸调整NDSFN的参数设置；

S602、重复步骤S3、S4和S5，即经过NDSFN学习第二个卷积层的滤波器参数，并将输入数据送入第二个卷积层和第二个采样层而得到新的特征图。

8.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S7具体为：

S701、将训练样本x_j输入到经过预训练的卷积神经网络中，学习到最终的特征θ_j，j＝1,2,...,L；

S702、将S701中学习到的最终特征送到Softmax分类器中进行类别预测：

Softmax分类器的输出是y∈R^P×1，P表示为类别数，测试样本x_j的预测类别可以表示为：

y＝argmaxθ_j

其中，θ_j是样本x_j的预测类别置信度向量，y是置信度最大的元素所对应的类别。

9.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S8具体为：

结合步骤S7中Softmax分类器对训练样本的分类结果和训练样本对应的标签样本，对卷积神经网络的参数进行微调，有如下目标函数：

<mrow> <mi>L</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>min</mi> <mi>m</mi> <mi>i</mi> <mi>z</mi> <mi>e</mi> </mrow> <mi>W</mi> </munder> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>h</mi> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>)</mo> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mi>&amp;beta;</mi> <mn>2</mn> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msub> <mi>W</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>,</mo> </mrow>

其中，是均方误差项，是权重衰减项，权重衰减项的目的在于减少权重的幅度，防止过拟合，y_i表示训练样本x_i对应的类别标签，h(x_i)是将训练样本x_i经过整个卷积神经网络后学习到的特征再送到Softmax分类器中得到的输出结果，β＝3e-3为权重衰减参数。

10.根据权利要求2所述的一种基于半监督卷积神经网络的极化SAR分类方法，其特征在于，步骤S9具体为：

S901、将测试样本x_j输入到已经构建好的卷积神经网络中，学习到最终的特征θ_j，j＝1,2,...,M；

S902、将S901中学习到的最终特征送到Softmax分类器中进行类别预测：

Softmax分类器的输出是y∈R^P×1，P表示为类别数，测试样本x_j的预测类别可以表示为：

y＝argmaxθ_j

其中，θ_j是样本x_j的预测类别置信度向量，y是置信度最大的元素所对应的类别。