CN106203510A

CN106203510A - 一种基于形态学特征和字典学习的高光谱图像分类方法

Info

Publication number: CN106203510A
Application number: CN201610544083.XA
Authority: CN
Inventors: 杨育彬; 王喆正
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2016-07-11
Filing date: 2016-07-11
Publication date: 2016-12-07

Abstract

本发明公开了一种基于形态学特征和字典学习的高光谱图像分类方法，包含如下步骤：高光谱图像形态学特征提取；字典学习过程；特征编码；图像分类。本发明应用在高光谱图像分类领域，本发明充分考虑了高光谱图像中的空间信息结构关系，并且基于空间关系信息构建高层语义映射，获得能够较好保持特征空间结构信息的高层语义编码用以高光谱图像分类任务，消除了高光谱图像高层语义与底层特征之间的“语义鸿沟”问题，在高光谱图像分类上有着显著的效果，因此本发明具有较高的使用价值。

Description

一种基于形态学特征和字典学习的高光谱图像分类方法

技术领域

本发明属于图像分类领域，尤其涉及一种基于形态学特征和字典学习的高光谱图像分类方法。

背景技术

随着遥感技术和计算机技术的发展，高光谱遥感图像已经渗入到社会、经济的各个领域。同时，高光谱图像的数量也日趋增长，如何组织图像、对高光谱图像进行分类任务，就成为了遥感信息技术领域中一项重要的研究课题。由于高光谱图像有着维数高、样本少的特点，而传统高光谱图像分类方法仅考虑了光谱特性而忽略了图像中的空间特性，加之图像的数字化存储与人类语义理解之间存在天然的“语义鸿沟”问题，高效可靠的高光谱图像分类依然充满挑战。数学形态学是一种被广泛用于图像处理领域的方法，在遥感图像领域中，数学形态学应用在描述高光谱图像中地物的轮廓以及空间关系上。扩展形态学剖面(Extended Morphological Profile,EMP)是一种基于数学形态学的多层分析方法，对于高光谱图像能够很好的的提取其空间信息，保留图像中的空间几何结构特性。由于数学形态学是一种经典的非线性空间信息处理技术，能从复杂的信息中将有意义的形状分量提取出来，因而能够较好的符合遥感地物分类的特性。大量研究表明，类似于EMP这样的多尺度计算和处理，是有效地从高光谱图像中提取空间信息的方法。而同时，近年来，在自然语言处理(Nature Language Processing,NLP)上取得了巨大成功的词袋(Bag of Word,BoW)已经成功的应用于自然图像的分类中。词袋模型是一种鲁棒性的表示方法，能够很好的表示出高光谱图像的空间信息以及有效的消弭底层特征与高层语义之间的“语义鸿沟”。在词袋模型中，需要学习一个过完备的有判别力的字典，字典中的每一项都对应数据中一部分感兴趣的信号，称之为视觉单词(Visual Word)。字典在词袋模型中起着关键性作用，直观上视觉单词之间有着高度的相关性，某些视觉单词在分类中可能属于同一类别，而某些视觉单词的出现频率也影响着其他视觉单词的出现频率。基于词袋模型的图像分类框架主要由以下三步组成：(1)对图像进行底层特征的抽取；(2)通过对底层特征分析学习一个过完备的字典；(3)利用字典对底层特征进行编码以获取更有判别力的特征用以分类任务。

发明内容

发明目的：本发明为了解决现有技术中的问题，提出了基于形态学特征和字典学习的高光谱图像分类方法。

发明内容：本发明公开了一种基于形态学特征和字典学习的高光谱图像分类方法，包含如下步骤：

对含有待分类像素点的高光谱图像进行以下步骤1～步骤3的处理；

步骤1，对高光谱图像提取形态学特征作为底层形态学特征：输入含有待分类像素点的高光谱图像I，对高光谱图像I的每个像素利用数学形态学方法计算该像素的形态学特征F；

步骤2，对获得的底层形态学特征，利用k-均值无监督聚类方法学习一个过完备的字典；

步骤3，利用学习到的字典对高光谱图像I的每一个像素点的底层形态学特征进行编码，获得编码特征；

步骤4，对高光谱图像I中的编码特征进行采样并分类，有标签的的像素点数据作为训练数据集，无标签的像素点数据作为待分类数据集。对于AVIRIS Indian Pines数据集来说，本发明中选择1000个像素点作为训练数据集，其余19336个像素点作为待分类数据集；对于HYDICEWashington DC MALL数据集而言，本发明中选择777个像素点作为训练数据集，其余19204个像素点作为待分类数据集；

步骤5，将训练数据集中的像素点数据的编码特征表示使用支持向量机建立分类模型(即得到支持向量机中的参数权重向量值和偏移向量值)；

步骤6，利用分类模型对待分类数据集中的像素点数据进行分类，得到像素点对应的分类类标，完成图像分类任务。

其中，步骤1包括如下步骤：

步骤1-1，输入含有待分类像素点的高光谱图像I，采用核主成分分析方法将高光谱图像I分析，并提取前d个主成分，获得以主成分为数据的d张图像[I₁,...,I_d]，其中，I_d表示第d张成分图像，d在本发明中优选13。

步骤1-2，对每一个成分图像I_i,i＝1,2,...d，定义n种大小的滑动窗口，称为结构元素，其中n在本发明中优选为5，通过如下公式计算每一个成分图像I_i的形态学剖面特征MP(I_i)：

其中，表示成分图像I_i的第k个开形态学剖面特征，开形态学剖面是利用不同大小的结构元素对同一幅成分图像使用开运算获得的，就是开运算操作，其中R是指实数域，它是一系列膨胀操作接腐蚀操作的结果。膨胀和腐蚀操作是数学形态学中最基本的两种操作。

类似的，表示成分图像I_i的第k个闭形态学剖面特征，闭形态学剖面是利用不同大小的结构元素对同一幅成分图像使用闭运算获得的，为闭运算操作，它与开运算相反，是由一系列腐蚀运算接膨胀运算后得到。

步骤1-3，将每一个成分图像中计算得到的形态学剖面特征顺序排列就得到该高光谱图像的扩展形态学特征F：

F＝EMP(I)＝{MP(I₁),...,MP(I_d)}，其中EMP(I)是指对图像I利用扩展形态学剖面算法提取的特征，即扩展形态学特征F。

步骤2包括：

由步骤1得到高光谱图像I中每一个像素点所对应的底层扩展形态学特征的维度是d(2n+1)维，假设高光谱图像I包含M个像素点，则对这d(2n+1)×M维数据利用k均值聚类方法，将M个像素点数据聚成K₁个类，每个类都表示一个视觉单词，而每个像素点的特征都用这些视觉单词中的数个线性表示，这K₁个类的类中心是一个d(2n+1)维的向量，将这些类中心向量顺序排列就得到学习到的字典D。其中K₁在本发明中优选512。

步骤3包括：

通过如下目标函数计算得到编码特征c：

\begin{matrix} s . t . & 1^{T} c_{j} = 1, &ForAll; j \end{matrix},

其中算子表示计算满足后面式子中最小的c，j为遍历下标，c_j表示第j个编码特征，j取值为1～M，λ是权重参数，在本发明中优选为0.1，s.t.是使得…满足…的意思。F＝[f₁,...,f_j,...f_N]，⊙记录了元素之间的点乘，s_j表示第j个扩展形态学特征f_j和字典D中第j个编码基的距离，通过如下公式计算：

是

| | f_{j} - c_{p} | |_{2}^{2} < γ, j = 1, 2, ..., | \overset{&OverBar;}{ζ_{j}} |, p = 1, 2, ..., K_{1},

是指第p个视觉单词中所包含的特征点个数，c_p表示第p个编码特征，其中对于每个扩展形态学特征在计算距离时选取最近邻的l个视觉单词对其进行编码，γ为参数，在本发明中优选为0.75。根据目标函数固定了扩展形态学特征和字典D获得最终的编码特征c。

步骤4中包括：对高光谱图像编码特征按列进行排列，以每列的K₁维编码表示一个像素点的特征，将所有M个K₁维编码特征按地图像素序列进行标记，对应地构造出一个标签map，并将有标签的像素点数据与待标签的像素点数据分离，有标签的的像素点数据作为训练数据集，无标签的像素点数据作为待分类数据集。

步骤5包括：

以训练数据集中的像素点数据的编码特征为输入，利用标准的线性支持向量机对分类任务进行建模。即将步骤4获得的高光谱图像的编码特征向量按像素点排列，对每类地物的高光谱图像编码特征，随机选择一定数量的特征作为训练数据，在本发明中，在AVIRISIndian Pines以及HYDICE Washington DC Mall数据集上分别选择1000个样本和777个样本作为训练数据，其余的特征作为待分类数据。

步骤6包括：对于待分类数据集中的像素点数据的编码特征，利用步骤5中得到的模型对其进行分类，给予该像素点类标，完成分类任务。

本发明是为了解决现有高光谱图像分类方法中，忽略了高光谱图像中丰富的空间信息以及图像底层编码与高层语义之间固有的“语义鸿沟”问题而提出的新型字典学习框架。本发明具有以下特征：首先，对高光谱图像数据提取数学形态学特征作为富含空间信息的底层特征。然后，使用k均值方法聚类生成过完备的字典。最后，使用局部约束线性编码对底层特征进行编码，以获得能够较好保持特征空间结构信息的高层语义编码，同时也消除了图像底层特征与图像高层语义之间的“语义鸿沟”。实验结果表明该方法能够获得更加有判别力的语义特征，获得较好的分类效果。本发明可用于高光谱图像分类方面的任务。

本发明提出了一种基于字典学习的扩展形态学剖面编码方法应用于高光谱图像分类上。指出现有的高光谱图像分类框架没有充分考虑到图像空间信息以及图像高层语义与底层特征的“语义鸿沟”问题。为此设计一种利用字典学习同时考虑上述两个问题的分类框架。首先，利用扩展形态学剖面提取高光谱图像中的形态学特征以利用空间信息；然后，基于提取的底层特征利用k-均值算法学习一个过完备的字典；最后，利用局部约束线性编码基于学习到的字典对底层特征进行编码，获得富含空间信息的高层表示。使用得到的编码作为特征用分类器分类，实验结果表明与传统的高光谱图像分类方法相比，本发明提出的方法能够提高分类的准确率，获得较好的分类效果。

有益效果：本发明应用在高光谱图像分类领域，在高光谱图像特征表示上，本发明提取高光谱图像中丰富的空间信息，同时能够消除图像底层特征与高层语义之间的“语义鸿沟”，在高光谱图像分类上有着显著的效果，因此基于形态学特征和字典学习的高光谱图像分类方法具有较高的使用价值。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明流程图。

图2为Indian Pines数据集真值图。

图3为Indian Pines数据集分类结果示意图。

图4为不同汇合策略在分类准确率上的比较图。

具体实施方式

如图1所示，本发明公开了一种基于形态学特征和字典学习的高光谱图像分类方法，包含如下步骤：

步骤1，对高光谱图像提取形态学特征作为底层特征：对高光谱图像I的每个像素利用数学形态学方法计算该像素的形态学特征F；

步骤3，利用学习到的字典对高光谱图像I的每一个像素的底层形态学特征进行编码，获得编码特征；

步骤4，对高光谱图像I中的编码特征进行采样：随机以每类地物对应的一定数量有标签的的像素作为训练数据集，无标签的数据作为待分类数据集；

步骤5，将训练数据的编码特征表示使用支持向量机进行建模；

步骤6，利用分类模型对待分类数据进行分类。

步骤1对高光谱图像提取底层形态学特征具体包括如下步骤：

首先利用核主成分分析方法将高光谱图像I分析，并提取前d个主成分，获得以主成分为数据的d张图像[I₁,...,I_d]。其中d在本发明中优选13。

对每一个成分图像I_i,i＝1,2,...d，定义n种大小的滑动窗口，称为结构元素，其中n在本发明中优选。计算每一个成分图像的形态学剖面MP(I_i)：

其中是开形态学剖面特征，开形态学剖面是利用不同大小的结构元素对同一幅成分图像使用开运算获得的，就是开运算操作，其中R是指实数域，它是一系列膨胀操作接腐蚀操作的结果。膨胀和腐蚀操作是数学形态学中最基本的两种操作。

类似的，是闭形态学剖面特征，它是利用不同大小的结构元素对同一幅成分图像使用闭运算获得的，即是闭运算操作，它与开运算相反，是由一系列腐蚀运算接膨胀运算后得到。

将每一个成分图像中计算得到的形态学剖面特征顺序排列就得到该高光谱图像的扩展形态学特征F：

F＝EMP(I)＝{MP(I₁),...,MP(I_d)}，其中EMP(I)是指对图像I利用扩展形态学剖面算法提取的特征，也即扩展形态学特州F。

步骤2的字典学习包括：

由步骤1可知，对于高光谱图像I，它每一个像素点所对应的底层扩展形态学特征的维度是d(2n+1)维，假设高光谱图像I包含M个像素点，则对这d(2n+1)×M维数据利用k均值聚类方法，将M个数据聚成K个类，每个类都表示一个视觉单词，而每个像素点的特征都可以用这些视觉单词中的数个线性表示。这K个类的类中心是一个d(2n+1)维的向量，将这些类中心向量顺序排列就得到学习到的字典D。其中K在本发明中优选512。

步骤3的编码阶段包括：

对于步骤1得到扩展形态学特征F和步骤2得到的字典D，根据局部限制线性编码的目标函数利用D对特征F进行编码，以获得需要的编码c：

\begin{matrix} s . t . & 1^{T} c_{j} = 1, &ForAll; j \end{matrix},

其中F＝[f₁,...,f_j,...f_N]，⊙记录了元素之间的点乘，s_j是f和字典D中第j个编码基的距离：

是指第p个视觉单词中所包含的特征点个数。

根据目标函数固定了f和D能够获得最终的编码特征c。

其中对于每个特征f在计算距离是选取最近邻的l个视觉单词对其进行编码。

步骤5的采样阶段包括：

将步骤4获得的高光谱图像的编码特征向量按像素点排列，对每类地物的高光谱图像编码特征，随机选择一定数量的特征作为训练数据，在本发明中，在AVIRIS IndianPines以及HYDICE Washington DC Mall数据集上分别选择1000个样本和777个样本作为训练数据，其余的特征作为待分类数据。

步骤6的建模阶段包括：

对于训练数据的所有像素点对应的编码特征，对其使用线性支持向量机进行建模。

步骤7的分类阶段包括：

对于待分类的像素点的编码特征，利用步骤6中所得到的模型对这些向量进行分类判定，以获得最终的分类结果。

实施例1

本实施例包括以下部分：

1、提取高光谱图像底层特征：

F＝EMP(I)＝{MP(I₁),...,MP(I_d)}

2、字典学习：

对于高光谱图像I，它每一个像素点所对应的底层扩展形态学特征的维度是d(2n+1)维，假设高光谱图像I包含M个像素点，则对这d(2n+1)×M维数据利用k均值聚类方法，将M个数据聚成K个类，每个类都表示一个视觉单词，而每个像素点的特征都可以用这些视觉单词中的数个线性表示。这K个类的类中心是一个d(2n+1)维的向量，将这些类中心向量顺序排列就得到学习到的字典D。其中K在本实例中优选512。

3、特征编码：

在编码阶段，对于一个学习到的的字典，可以使用局部约束线性编码(LLC)算法对得到的底层特征进行编码。LLC编码方式是一种集合了硬编码(VQ)和软编码(SC)优点的编码方式。首先，学习硬编码可以看作是一种广义的零阶局域方法。然后，LLC也可以看做是一种局部性的稀疏编码。受生物视觉系统的启发，研究人员认为人的视觉总是关注少数个特点，因此稀疏特征对于特征学习是有效的。然而并没有理论分析说明为什么稀疏性对高维特征空间的学习是有效的。前人研究说明了一个良好的一阶非线性函数能够使得编码是局部性的，从而导致编码的结果是稀疏的。这也说明了局部性比稀疏性更为本质，而稀疏性只是局部性的一种结果而已。基于此，LLC应该是更适合于特征编码的算法。如此，则可以通过优化下式来求解编码：

\begin{matrix} s . t . & 1^{T} c_{j} = 1, &ForAll; j \end{matrix}

其中F＝[f₁,...,f_j,...f_N]，⊙记录了元素之间的点乘，s_j是f和字典D中第j个编码基的距离，其描述两者之间的相似比例：

是指第p个视觉单词中所包含的特征点个数。

根据目标函数固定了f和D能够获得最终的编码特征c。

4、训练集采样：

将高光谱图像的编码特征向量按像素点排列，对每类地物的高光谱图像编码特征，随机选择一定数量的特征作为训练数据，在本实例中，在AVIRIS Indian Pines数据集上分别选择1000个样本作为训练数据，其余的特征作为待分类数据。

5、进行建模：

对于训练数据的所有像素点对应的编码特征，使用线性支持向量机(Supportvector machine，SVM)对数据进行建模。

6、图像分类：

对于待分类的高光谱图像的编码特征，利用所得到的模型对这些特征进行分类判定，使得模型对该高光谱图像中的每一个待分类的像素点都有一个类的定性，从而获得最终的分类结果。

实施例2

图2为来源为Indian Pines数据集的图像真值表，其纵横坐标为该高光谱图像所对应物理空间像素点，每个像素点约代表20平方米的真实地理空间大小。图3为用本发明方法在Indian Pines上的分类效果图，与真值表对比可知本发明方法在绝大部分像素点的分类结果均正确，仅有少量像素点会有分类误差产生。(由于附图均为灰度图，因此图2和图3)图4为使用不同的参数l在Indian Pines数据上获得的分类准确率，其中纵坐标为分类准确率，横坐标为发明中l的取值个数。可以看到，随着l的增长，分类准确率也随之上升，但上升的速率随着l的不断攀升而减弱。当l的取值大于250(即将近一半的字典维数)时，分类准确率的上升就非常的缓慢了。但是，计算的时间复杂度则一直增大。为了平衡时间复杂的开销，在本发明中优选250为最佳参数选择。

本发明提供了一种基于形态学特征和字典学习的高光谱图像分类方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims

1.一种基于形态学特征和字典学习的高光谱图像分类方法，其特征在于，包含以下步骤：

步骤4，对高光谱图像I中的编码特征进行采样并分类，有标签的像素点数据作为训练数据集，无标签的像素点数据作为待分类数据集；

步骤5，将训练数据集中的像素点数据的编码特征表示使用支持向量机建立分类模型；

2.根据权利要求1所述的方法，其特征在于，步骤1包括如下步骤：

步骤1-1，输入含有待分类像素点的高光谱图像I，采用核主成分分析方法对高光谱图像I分析，并提取前d个主成分，获得以主成分为数据的d张图像[I₁,...,I_d]，其中，I_d表示第d张成分图像；

步骤1-2，对每一个成分图像I_i,i＝1,2,...d，定义n种大小的滑动窗口，称为结构元素，通过如下公式计算每一个成分图像I_i的形态学剖面特征MP(I_i)：

其中，表示成分图像I_i的第k个开形态学剖面特征，开形态学剖面是利用不同大小的结构元素对同一幅成分图像使用开运算获得的，为开运算操作，其中R是指实数域，

表示成分图像I_i的第k个闭形态学剖面特征，闭形态学剖面是利用不同大小的结构元素对同一幅成分图像使用闭运算获得的，为闭运算操作；

步骤1-3，将每一个成分图像中计算得到的形态学剖面特征顺序排列得到该高光谱图像的扩展形态学特征F：

3.根据权利要求2所述的方法，其特征在于，步骤2包括：由步骤1得到高光谱图像I中每一个像素点所对应的底层扩展形态学特征的维度是d(2n+1)维，假设高光谱图像I包含M个像素点，则对这d(2n+1)×M维数据利用聚类方法将M个像素点数据聚成K₁个类，每个类都表示一个视觉单词，而每个像素点的特征都用这些视觉单词中的数个线性表示，这K₁个类的类中心是一个d(2n+1)维的向量，将这些类中心向量顺序排列就得到学习到的字典D。

4.根据权利要求3所述的方法，其特征在于，步骤3包括：通过如下目标函数计算得到编码特征c：

\begin{matrix} s . t . & 1^{T} c_{j} = 1, &ForAll; j \end{matrix}

其中算子表示计算满足后面式子中最小的c，j为遍历下标，c_j表示第j个编码特征，j取值为1～M，λ是权重参数，F＝[f₁,...,f_j,...f_N]，⊙记录了元素之间的点乘，s_j是表示第j个扩展形态学特征f_j和字典D中第j个编码基的距离，通过如下公式计算：

s_{j} = \exp (\frac{| | f_{j} - c_{p} | |_{2}^{2}}{γ}),

| | f_{j} - c_{p} | |_{2}^{2} < γ, j = 1, 2, ..., | \overset{&OverBar;}{ζ_{j}} |, p = 1, 2, ..., K_{1},

是指第p个视觉单词中所包含的特征点个数，c_p表示第p个编码特征，其中对于每个扩展形态学特征在计算距离时选取最近邻的l个视觉单词对其进行编码，γ为参数，根据目标函数固定了扩展形态学特征和字典D获得最终的编码特征c。

5.根据权利要求4所述的方法，其特征在于，步骤4中包括：对高光谱图像编码特征按列进行排列，以每列的K₁维编码表示一个像素点的特征，将所有M个K₁维编码特征按地图像素序列进行标记，对应地构造出一个标签map，并将有标签的像素点数据与待标签的像素点数据分离，有标签的的像素点数据作为训练数据集，无标签的像素点数据作为待分类数据集。

6.根据权利要求5所述的方法，其特征在于，步骤5包括：以训练数据集中的像素点数据的编码特征为输入，利用标准的线性支持向量机对分类任务进行建模。

7.根据权利要求6所述的方法，其特征在于，步骤6包括：对于待分类数据集中的像素点数据的编码特征，利用步骤5中得到的模型对其进行分类，给予该像素点类标，完成分类任务。