CN101840569A - 基于迁移学习的投影寻踪高光谱图像分割方法 - Google Patents

Abstract

本发明公开了一种基于迁移学习的投影寻踪高光谱图像分割方法，它属于图像处理技术领域，其技术要点是：利用高光谱图像数据的多波段特性，将每一波段看作是一幅灰度图像，针对每一幅图像进行分析和研究；利用不同波段的图像相似但不相同的特性，将迁移学习引入投影寻踪聚类算法中；通过地物标记图获取源域图像数据的标签，利用已知的标签知识，对目标域的无标签图像数据进行指导，获得最优投影方向和最优子空间，从而提高分割精度。本发明具有利用已有先验知识，提高分割精度的优点，可用于军事侦察手段以及民用和工业领域。

Description

基于迁移学习的投影寻踪高光谱图像分割方法

技术领域

本发明属于图像处理技术领域，涉及高光谱图像分割，可用于军事侦察手段以及民用和工业领域。

背景技术

高光谱遥感是遥感领域在20世纪80年代起最重要的发展之一，至90年代已成为国际遥感技术研究领域的热门课题，也是今后几十年内的遥感的前沿技术。高光谱遥感技术利用成像光谱仪以纳米级的光谱分辨率，以几十或几百个波段同时对地表物成像，能够获得地物的连续光谱信息，实现了地物空间信息、辐射信息、光谱信息的同步获取，具有“图谱合一”的特性。高光谱图像有许多波段，每一波段都可以被看作是一幅灰度图像，可以针对每一幅图像进行单独分析和研究，且每个波段的图像相似但不相同，它的这种特性为迁移学习的引入奠定了基础。在传统的高光谱图像分割中有采用K均值聚类算法和其他聚类算法，但采用K均值聚类算法对单幅图像或多波段图像直接进行分割，其分割精度往往不高，而采用其它聚类算法对单幅图像或多波段图像直接进行分割，其分割精度较K均值聚类算法虽有所提高，但不能充分利用已有的先验知识，其分割精度仍然不高。

发明内容

本发明目的在于克服上述已有技术的缺点，提出了一种基于迁移学习的投影寻踪高光谱图像分割方法，以在已有先验知识的指导下，实现对图像灰度数据进行分割，提高图像分割精度。

为实现上述目的，本发明的高光谱图像分割方法，包括如下步骤：

(1)对原始高光谱图像截取局部进行分割，并将截取的高光谱图像灰度定义为X_n×m，其中，n表示样本的个数，在截取的高光谱图像中表示为像素点个数，m表示样本的维数，在截取的高光谱图像中表示为高光谱图像的波段个数；

(2)选取截取的高光谱图像的m₁个波段作为无标签的目标域数据X_U，在未选定的波段中随机选取m₂个波段作为源域数据X_L，并通过地物标记图获得源域数据的标签Y_L，其中m₁＝m₂；

(3)对目标域数据X_U和源域数据X_L进行归一化，得到归一化后的目标域数据X′_U和源域数据X′_L，并设定标签迭代次数g；

(4)将归一化后的目标域数据X′_U，随机投影到一个低维子空间U，并对该子空间U进行K均值聚类，获得一个初始标签Y_U；

(5)根据获得的初始标签Y_U和已知的源域数据标签Y_L确定初始的源域和目标域数据的类别，按照构建的如下公式计算迁移线性判别分析投影指标：

$I^{\′}\left(a\right)=\left\{\begin{array}{cc}1-\frac{\left|a^T{S}_{w}a\right|}{\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|}& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|\≠0\\ 0& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|=0\end{array}\right.$

其中，a为投影方向；

S_w为类内散度，

其中X_ij为X中任意一个数据，X为归一化后的目标域数据X′_U和源域数据X′_L的总和，是初始的源域和目标域数据类别中各类的均值，即

n_i为第i类中像素点的个数；

S_t为总散度且S_t＝S_b+S_w，S_b为类间散度，

是X的总均值，即

其中，n为总的像素点的个数且

c为类别数；

λ为参数；

其中I为单位对角矩阵，D为对角矩阵且满足D_ii＝d_i，d_i是顶点i的度且满足

N为目标域数据和源域数据的个体总数，M为邻接矩阵，定义为：

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}\exp (-{\left|\right|X_{\mathrm{ij}}-X_{\mathrm{ij}}^{\′}\left|\right|}^2/{\mathrm{\σ}}^2)& (X_{\mathrm{ij}},X_{\mathrm{ij}}^{\′})\∈E\\ 0& (X_{\mathrm{ij}},X_{\mathrm{ij}}^{\′})\∉E\end{array}\right.$

其中X_ij，X′_ij为X中任意的数据，σ为参数，E为设定的X_ij和X′_ij间的相互关系，M_ij为M中任意元素；

(6)通过免疫克隆算法优化迁移线性判别分析投影指标，获得最优的投影方向；

(7)将归一化后的目标域数据X′_U，投影到最优的投影方向，获得最优的子空间U′；

(8)对子空间U′进行K均值聚类，获得新的标签Y′_U；

(9)将新的标签Y′_U作为初始标签Y_U，返回步骤(5)进行迭代，经过数次迭代后，若获得新标签Y′_U在迭代过程中达到收敛，输出收敛的标签Y″_U，若在迭代g次后没有收敛，则输出最后获得的标签Y′_U；

(10)将收敛的标签Y″_U或最后获得的标签Y′_U与输入图像的像素对应，输出图像分割结果。

本发明与现有的技术相比具有以下优点：

1.本发明由于采用高光谱图像波段间迁移，根据地物标记图获得源域数据的标签信息，通过有标签的源域数据指导无标签的目标域数据，因而可获得最优的投影方向；

2.本发明由于构造了迁移线性判别分析投影指标，该指标将有标签的源域数据和无标签的目标域数据联系起来，充分利用了先验标签知识，提高了分割精度。

仿真结果表明，本发明较K均值聚类和线性判别分析投影指标的投影寻踪聚类分割精度有一定的提高。

附图说明

图1是本发明的高光谱图像分割方法流程图；

图2是本发明采用的AVIRIS高光谱图像截取区域示意图；

图3是本发明采用的AVIRIS高光谱图像截取区域标准分割图；

图4是采用K均值聚类对AVIRIS高光谱图像截取区域进行分割的结果图；

图5是采用线性判别分析投影指标的投影寻踪聚类对AVIRIS高光谱图像截取区域进行分割的结果图；

图6是采用本发明的方法对AVIRIS高光谱图像截取区域进行分割的结果图。

具体实施方式

参照图1，本发明的基于迁移学习的投影寻踪高光谱图像分割方法，包括如下步骤：

步骤1：对原始高光谱图像截取局部进行截取，并获得对应的图像灰度数据。

1a)输入原始的AVIRIS高光谱图像，其大小为145×145；

1b)对原始的AVIRIS高光谱图像局部进行截取，图2(a)为截取的区域1的示意图，图2(b)为截取的区域2的示意图，图2(c)为截取的区域3、区域4、区域5和区域6的示意图；

1c)将截取图像与灰度信息对应，获得相应区域的图像灰度数据X_n×m，其中，n表示样本的个数，在截取的高光谱图像中表示为像素点个数，m表示样本的维数，在截取的高光谱图像中表示为高光谱图像的波段个数。

步骤2：选取目标域数据和源域数据。

2a)选取截取的高光谱图像区域的m₁个波段的图像灰度数据作为无标签的目标域数据X_U；

2b)在未选定的波段中随机选取m₂个波段的图像灰度数据作为源域数据X_L并通过地物标记图获得标签Y_L，其中m₁＝m₂。

步骤3：对目标域数据X_U和源域数据X_L进行归一化，得到归一化后的目标域数据X′_U和源域数据X′_L，并设定标签迭代次数g。

3a)对目标域数据X_U采用下式进行归一化：

X′_U＝(X_U-X_Umin)/(X_Umax-X_Umin)

其中X_Umax和X_Umin分别为每个维数的最大最小值，X′_U为归一化后的目标域数据；

3b)对源域数据X_L采用下式进行归一化：

X′_L＝(X_L-X_Lmin)/(X_Lmax-X_Lmin)

其中X_Lmax和X_Lmin分别为每个维数的最大最小值，X′_L为归一化后的源域数据；

3c)设定标签迭代次数g为10次。

步骤4：将归一化后的目标域数据X′_U，随机投影到一个低维子空间U，并对该子空间U进行K均值聚类，获得一个初始标签Y_U。

4a)对归一化后的目标域数据X′_U采用下式进行随机投影：

U＝a_rX′_U

其中a_r是随机产生的投影方向；

4b)对随机投影后获得的低维子空间U，采用下式进行K均值聚类：

$\min J_K=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}{\left|\right|x_j-m_i\left|\right|}^2$

其中，J_K是K类随机投影后获得的低维子空间U中像素特征的类内散度，K是类别的个数，x_j是第k类的像素，m_i是第k类像素的均值，n_i每一类中像素的个数；

4c)分别计算每个像素到m_i的欧式距离，在保证J_K最小的前提小，将具有最小欧式距离的类别数赋予像素的标签，获得一个初始标签Y_U。

步骤5：根据获得的初始标签Y_U和已知的源域数据标签Y_L确定初始的源域和目标域数据类别，计算迁移线性判别分析投影指标。

5a)将归一化后的目标域数据X′_U和源域数据X′_L看作一个整体数据X；

5b)根据初始的源域和目标域数据类别，采用下式计算类间散度S_b、类内散度S_w和总散度S_t：

$S_b=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}{n}_i({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X}){({\stackrel{\‾}{X}}_i-\stackrel{\‾}{X})}^T$

$S_w=\underset{i=1}{\overset{c}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}(X_{\mathrm{ij}}-\stackrel{\‾}{X}){(X_{\mathrm{ij}}-\stackrel{\‾}{X})}^T$

S_t＝S_b+S_w

其中

是初始的源域和目标域数据类别的均值且n_i为第i类中像素点的个数，X_ij为X中任意一个数据，

是X的总均值且

n为总的像素点的个数且

c为类别数；

5c)计算X的邻接矩阵M：

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}\exp (-{\left|\right|X_{\mathrm{ij}}-X_{\mathrm{ij}}^{\′}\left|\right|}^2/{\mathrm{\σ}}^2)& (X_{\mathrm{ij}},X_{\mathrm{ij}}^{\′})\∈E\\ 0& (X_{\mathrm{ij}},X_{\mathrm{ij}}^{\′})\∉E\end{array}\right.$

其中X_ij，X′_ij为X中任意的数据，σ为参数，E为设定的X_ij和X′_ij间的相互关系，M_ij为M中任意元素；

5d)对邻接矩阵M进行规则化，获得规则化后的邻接矩阵L且

其中I为单位对角矩阵，D为对角矩阵满足D_ii＝d_i，d_i是顶点i的度且满足

N为目标域数据和源域数据的个体总数；

5e)构建正则项λXLX^T，建立有标签的源域数据与无标签的目标域数据间的关系，并在线性判别分析投影指标：

的基础上，将

正则项λXLX^T引入到总散度S_t中，构建出迁移线性判别分析投影指标：

$I^{\′}\left(a\right)=\left\{\begin{array}{cc}1-\frac{\left|a^T{S}_{w}a\right|}{\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|}& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|\≠0\\ 0& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|=0\end{array}\right.$

其中λ为设定的参数，a为初始种群A中任意个体；

5f)计算迁移线性判别分析投影指标I′(a)。

步骤6：通过免疫克隆算法优化迁移线性判别分析投影指标，获得最优的投影方向。

6a)设定进化代数gn为500，种群大小P为10，变异概率P_m为0.9，克隆规模n_c为2；

6b)根据种群大小P，随机产生初始种群A大小为m₁×P，其中m₁为数据维数，即为选取的波段数；

6c)根据设定的克隆规模n_c，采用下式对初始种群进行克隆操作：

$T_c^C\left(a\right)=[a,a_1,a_2,...,a_{n_c}]$

其中，T_c ^C表示克隆算子，a为初始种群A中任意一个个体，

分别为对a进行规模为n_c的克隆操作后的克隆个体，对初始种群A中的每个个体进行克隆操作，获得克隆后的种群A_c；

6d)根据设定的变异概率p_m，采用下式对克隆后种群A_c中变异的个体进行变异操作：

β′＝β·exp(τ′N(0，1)+τN(0，1))

s′＝s+β′N(0，1)

其中，T_m ^C表示变异算子，s为概率p_m选择出的变异个体，s′为选择出的变异个体对应的变异后个体，τ和τ′分别为

和β和β′为设定参数，N(0，1)是满足均值为0，方差为1正态随机变量，对克隆后种群A_c中所有变异个体完成变异操作，没有变异的个体保持不变，获得变异后的种群A_m；

6e)比较变异后的种群A_m中个体适应度与初始种群A中对应原始的个体适应度，若

则选择T_m ^c(a)为新的种群A′，否则选择a为新的种群A′，其中，f(·)为适应度函数，T_s ^C表示选择算子，T_m ^c(a)为种群A_m中个体，a为对应的初始种群A中个体，比较种群A_m与初始种群A中对应所有个体适应度，选出适应度较大的个体为新的种群A′；

6f)将新的种群A′作为初始种群A，返回步骤5，按照设定的进化代数gn进行迭代；

6h)在进化代数gn中，若每一代的最大适应度函数值收敛，则终止迭代，输出最大适应度函数值。

步骤7：将归一化后的目标域数据X′_U，采用下式投影到最优的投影方向，获得最优的子空间U′：

U′＝a′X′_U

其中a′是通过免疫克隆算法选择的最优的投影方向。

步骤8：对投影后获得的低维子空间U′进行K均值聚类，获得新的标签Y′_U。

8a)对投影后获得的低维子空间U′，采用下式进行K均值聚类：

${\min J}_K=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n_i}{\mathrm{\Σ}}}{\left|\right|x_j-m_i\left|\right|}^2$

其中，J_K是K类低维子空间U′中像素特征的类内散度，K是类别的个数，x_j是第k类的像素，m_i是第k类像素的均值，n_i每一类中像素的个数；

8b)分别计算每个像素到m_i的欧式距离，在保证J_K最小的前提小，将具有最小欧式距离的类别数赋予像素的标签，获得新的标签Y′_U。

步骤9：将新的标签Y′_U作为初始标签Y_U，返回步骤5进行迭代，经过多次迭代后，若获得新标签Y″_U在迭代过程中达到收敛，输出收敛的标签Y″_U，若在设定的迭代次数g后没有收敛，则输出最后获得的标签Y′_U；

步骤10：将收敛的标签Y″_U或最后获得的标签Y′_U与输入图像的像素对应，输出图像分割结果。

本发明的效果可以通过以下对高光谱图像分割进一步说明：

1、仿真条件

本发明的仿真在windows XP，SPI，CPU Pentium(R)4，基本频率2.4GHZ，软件平台为Matlab7.0.1上运行。仿真选用的图像是截取的AVIRIS高光谱图像的局部区域，如图2所示，其中图2(a)为截取的区域1的示意图，图2(b)为截取的区域2的示意图，图2(c)为截取的区域3、区域4、区域5和区域6的示意图。

2、仿真内容

(1)用现有的K均值聚类方法分别对图2中的截取区域进行图像分割。仿真结果如图4所示。其中，图4(a)是对图2(a)中区域1的分割结果图，图4(b)是对图2(b)中区域2的分割结果图，图4(c)是对图2(c)中区域3的分割结果图，图4(d)是对图2(c)中区域4的分割结果图，图4(e)是对图2(c)中区域5的分割结果图，图4(f)是对图2(c)中区域6的分割结果图；

(2)采用线性判别分析投影指标的投影寻踪聚类算法分别对图2中的截取区域进行图像分割。仿真结果如图5所示。其中，图5(a)是对图2(a)中区域1的分割结果图，图5(b)是对图2(b)中区域2的分割结果图，图5(c)是对图2(c)中区域3的分割结果图，图5(d)是对图2(c)中区域4的分割结果图，图5(e)是对图2(c)中区域5的分割结果图，，图5(f)是对图2(c)中区域6的分割结果图；

(3)采用本发明方法分别对图2中的截取区域进行图像分割。仿真结果如图6所示。其中，图6(a)是对图2(a)中区域1的分割结果图，图6(b)是对图2(b)中区域2的分割结果图，图6(c)是对图2(c)中区域3的分割结果图，图6(d)是对图2(c)中区域4的分割结果图，图6(e)是对图2(c)中区域5的分割结果图，图6(f)是对图2(c)中区域6的分割结果图。

3、仿真结果分析

由图4，图5和图6的对应分割结果比较可以看出，本发明的分割结果就有较少的杂点，分割精度较高。

分别将图4(a)，图5(a)，图6(a)与图3(a)的标准分割，图4(b)，图5(b)，图6(b)与图3(b)的标准分割，图4(c)，图5(c)，图6(c)与图3(c)的标准分割，图4(d)，图5(d)，图6(d)与图3(d)的标准分割，图4(e)，图5(e)，图6(e)与图3(e)的标准分割，图4(f)，图5(f)，图6(f)与图3(f)的标准分割进行比较，统计分割结果的错分率，如表1所示：

表1  高光谱图像分割错分率统计结果(％)

从表1的错分率统计结果也可以看出，本发明具有分割精度高的优点。

该实例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述实施例。

Claims (2)

1.一种基于迁移学习的投影寻踪高光谱图像分割方法，包括如下步骤：

(1)对原始高光谱图像截取局部进行分割，并将截取的高光谱图像灰度定义为X_n×m，其中，n表示样本的个数，在截取的高光谱图像中表示为像素点个数，m表示样本的维数，在截取的高光谱图像中表示为高光谱图像的波段个数；

(2)选取截取的高光谱图像的m₁个波段作为无标签的目标域数据X_U，在未选定的波段中随机选取m₂个波段作为源域数据X_L，并通过地物标记图获得源域数据的标签Y_L，其中m₁＝m₂；

(3)对目标域数据X_U和源域数据X_L进行归一化，得到归一化后的目标域数据X′_U和源域数据X′_L，并设定标签迭代次数g；

(4)将归一化后的目标域数据X′_U，随机投影到一个低维子空间U，并对该子空间U进行K均值聚类，获得一个初始标签Y_U；

(5)根据获得的初始标签Y_U和已知的源域数据标签Y_L确定初始的源域和目标域数据的类别，按照构建的如下公式计算迁移线性判别分析投影指标：

$I^{\′}\left(a\right)=\left\{\begin{array}{cc}1-\frac{\left|a^T{S}_{w}a\right|}{\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|}& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|\≠0\\ 0& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|=0\end{array}\right.$

其中，a为投影方向；

S_w为类内散度，

其中X_ij为X中任意一个数据，

X为归一化后的目标域数据X′_U和源域数据X′_L的总和，

是初始的源域和目标域数据类别中各类的均值，即

n_i为第i类中像素点的个数；

S_t为总散度且S_t＝S_b+S_w，S_b为类间散度，

是X的总均值，即

其中，n为总的像素点的个数且

c为类别数；

λ为参数；

其中I为单位对角矩阵，D为对角矩阵且满足D_ii＝d_i，d_i是顶点i的度且满足

N为目标域数据和源域数据的个体总数，M为邻接矩阵，定义为：

$M_{\mathrm{ij}}=\left\{\begin{array}{cc}\exp (-{\left|\right|X_{\mathrm{ij}}-X_{\mathrm{ij}}^{\′}\left|\right|}^2/{\mathrm{\σ}}^2)& (X_{\mathrm{ij}},X_{\mathrm{ij}}^{\′})\∈E\\ 0& (X_{\mathrm{ij}},X_{\mathrm{ij}}^{\′})\∉E\end{array}\right.$

其中X_ij，X′_ij为X中任意的数据，σ为参数，E为设定的X_ij和X′_ij间的相互关系，M_ijM中任意元素；

(6)通过免疫克隆算法优化迁移线性判别分析投影指标，获得最优的投影方向；

(7)将归一化后的目标域数据X′_U，投影到最优的投影方向，获得最优的子空间U′；

(8)对子空间U′进行K均值聚类，获得新的标签Y′_U；

(9)将新的标签Y′_U作为初始标签Y_U，返回步骤(5)进行迭代，经过数次迭代后，若获得新标签Y′_U在迭代过程中达到收敛，输出收敛的标签Y″_U，若在迭代g次后没有收敛，则输出最后获得的标签Y′_U；

(10)将收敛的标签Y″_U或最后获得的标签Y′_U与输入图像的像素对应，输出图像分割结果。

2.根据权利要求书1所述的高光谱图像分割方法，其中步骤(5)中的计算迁移线性判别分析投影指标公式，按如下步骤构建：

2a)将归一化后的目标域数据X′_U和源域数据X′_L看作一个整体数据X，求X的邻接矩阵M；

2b)对邻接矩阵M进行规则化，获得规则化后的邻接矩阵L；

2c)构建正则项λXLX^T，建立有标签的源域数据与无标签的目标域数据间的关系；

2d)在线性判别分析投影指标：

$I\left(a\right)=\left\{\begin{array}{cc}1-\frac{\left|a^T{S}_{w}a\right|}{\left|a^T{S}_{t}a\right|}& \mathrm{for}\left|a^T{S}_{t}a\right|\≠0\\ 0& \mathrm{for}\left|a^T{S}_{t}a\right|=0\end{array}\right.$

的基础上，将正则项λXLX^T引入到总散度S_t中，构建出迁移线性判别分析投影指标：

$I^{\′}\left(a\right)=\left\{\begin{array}{cc}1-\frac{\left|a^T{S}_{w}a\right|}{\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|}& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|\≠0\\ \text{0}& \mathrm{for}\left|a^T(S_t+\mathrm{\λ}{\mathrm{XLX}}^T)a\right|=0\end{array}\right.$

Images