CN101794396B - 基于迁移网络学习的遥感图像目标识别系统及方法 - Google Patents

Abstract

本发明公开了一种基于迁移网络学习的遥感图像目标识别系统及方法，主要解决现有方法对当有标签的遥感图像数据很少时识别正确率较低和图像标签的获取困难且花费昂贵的问题。整个系统包括：图像特征提取模块，迁移网络分类器学习系统生成模块和迁移网络分类器学习系统学习模块。其中，图像特征提取模块，对图像完成特征提取；迁移网络分类器学习系统生成模块，对输入的样本数据采用引入迁移学习的网络集成学习算法进行训练，得到迁移网络分类器学习系统；迁移网络分类器学习系统学习模块，对新的样本图像特征完成分类识别。本发明具有能够利用已有其他资源提高对遥感图像目标的识别正确率，无需重新搜集数据的优点，可用于遥感图像的目标识别。

Description

基于迁移网络学习的遥感图像目标识别系统及方法

技术领域

本发明属于图像处理技术领域，具体涉及一种遥感图像目标识别系统，可用于遥感图像的目标识别。

背景技术

近年来，随着机器学习的发展，基于单个分类器的学习系统已不能满足用户的需求，集成学习称为机器学习中的一个研究热点。集成技术利用基学习器的多个版本来解决同一个问题，可以显著地提高学习系统的泛化能力，其中要求各基分类器之间独立且具有差异性，并已应用于遥感图像目标识别中。

2005年，王世军等人将Boosting算法引入分类器网络中，将分类器网络与分类器集成并用，提出了网络集成学习算法NB，通过各节点分类器之间的通信和协作得到具有更强泛化能力的分类器系统。在现实生活中存在大量其它的数据，这些数据域与目标数据相关但又不同于目标数据，其中部分数据被期望用于指导新的问题。但是基于传统的机器学习方法的目标识别方法，要求训练数据和测试数据独立同分布，因此存在如下缺点：

1、当有标签的图像数据很少时，识别正确率就会较低；

2、如果要提高识别正确率，图像及其标签的获取和收集不仅困难而且花费昂贵；

3、不能够利用现有的其它可用资源来提高识别正确率。

发明内容

本发明的目的在于克服上述遥感图像目标识别系统及方法存在的缺点，将迁移学习引入网络集成学习算法NB中，提出了一种基于迁移网络学习的遥感图像目标识别系统及方法，以利用现有与目标数据相关的数据指导正确率较低图像目标的学习，从而提高其分类正确率。

为实现上述目的，本发明的遥感图像目标识别系统及方法，包括：

1、一种基于迁移网络学习的遥感图像目标识别系统，包括：

图像特征提取模块，对输入图像进行特征提取，对输入的源域和目标域中有标签图像集提取的特征结果传至迁移网络分类器学习系统生成模块，对目标域中无标签图像提取的特征结果传至迁移网络分类器学习系统学习模块；

迁移网络分类器学习系统生成模块，对输入的源域和目标域有标签的图像特征采用迁移学习的网络集成学习算法进行训练，得到迁移网络分类器学习系统；

迁移网络分类器学习系统学习模块，对需要测试的图像进行特征提取，将得到的特征输入至迁移网络分类器学习系统中进行学习，输出最终的识别结果。

2.一种基于迁移网络学习的遥感图像目标识别方法，包括如下步骤：

(1)输入源域图像数据集和目标域有标签图像数据集，并对其提取特征；

(2)将提取到的特征输入目标域有标签的样本集TR_S和源域样本集TR_D组成训练样本集Z，其中，TR_S与TR_D中的样本数目分别为l_S和l_D；设置含有K₂个节点的网络拓扑结构，输入采样率ρ和训练轮数T，采用迁移学习的网络集成学习算法，通过如下步骤训练生成迁移网络分类器学习系统：

2a)将训练样本集Z分别分布在各节点上，作为各节点的训练样本，初始化各节点训练样本的权重；

2b)对各节点训练样本集Z进行有放回的加权采样，获得各节点的训练子集T_k，t，利用各节点上的核匹配追踪学习机迁移模型TLKMPLM对T_k，t进行训练，得到各节点的基分类器C_k，t，用各节点的基分类器C_k，t对训练样本集Z进行分类，得到分类结果，其中t为当前训练轮数；

2c)根据对训练样本集Z的分类结果计算各节点上目标域样本的加权错误率：

${\mathrm{\ϵ}}_{k,l}=\underset{x_i\∈T{R}_S}{\mathrm{\Σ}}{w}_{k,t}\left(x_i\right)I[y_i\≠h_{k,t}\left(x_i\right)]$

其中，w_k，t(x_i)为样本x_i的权重，y_i为样本x_i的已知标签，h_k，t(x_i)为C_k，t对样本x_i的分类结果；

2d)根据加权错误率ε_k，t，计算t轮时各基分类器的权重：

${\mathrm{\α}}_{k,t}=0.5\×\log \left(\frac{1-{\mathrm{\ϵ}}_{k,t}}{{\mathrm{\ϵ}}_{k,t}}\right);$

2e)更新源域迁移样本和目标域样本的权重，当t＜T时，转步骤(2b)，当t＝T时，结束训练，得到由所有基分类器C_k，t(k＝1，2，…，K，t＝1，2，…，T)组成的迁移网络分类器学习系统；

(3)输入目标域无标签图像x进行特征提取，将其图像特征传入至生成的迁移网络分类器学习系统中进行分类，得到分类结果：

$H_{K,T}=\underset{y\∈Y}{\arg \max }\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\left({\mathrm{\α}}_{k,t}\right[h_{k,t}\left(x_i\right)=y]+\underset{n}{\mathrm{\Σ}}{\mathrm{\α}}_{n,t}[h_{n,t}\left(x_i\right)=y\left]\right)$

其中，Y为样本标签组成的集合，n为网络拓扑结构中与k节点相连的节点，α_n，t为t轮时n节点上基分类器的权重，h_n，t(x_i)为t轮时n节点上基分类器对样本x_i的分类结果；

(4)将H_K，T作为最终的分类结果输出。

本发明与现有的技术相比具有以下优点：

1)本发明由于引入迁移学习，能够利用已有的与测试集相关的其它数据指导分类正确率较低的数据的学习，无需重新搜集数据；

2)本发明由于采用引入迁移学习的网络集成学习算法，生成的迁移网络分类器学习系统具有较高的正确识别率；

3)本发明由于基分类器使用迁移模型，生成的迁移网络分类器学习系统具有较高的正确识别率；

本发明是基于网络的遥感图像识别系统，可用于各种复杂网络环境中。仿真结果表明，对实测飞机SAR图像数据集，采用本发明的基于迁移网络学习的目标识别方法较引入迁移学习前正确识别率可提高10％-15％。

附图说明

图1为本发明基于迁移网络学习的遥感图像目标识别系统示意图；

图2为本发明的基于迁移网络学习的遥感图像目标识别方法流程图；

图3为目标域样本图像；

图4为源域样本图像。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

参照图1，本发明基于迁移网络学习的遥感图像目标识别系统，主要由输入源域图像和目标域有标签图像、输入目标域无标签图像、图像特征提取模块、迁移网络分类器学习系统生成模块、迁移网络分类器学习系统学习模块和分类结果组成，其中：

图像特征提取模块，对输入图像进行特征提取，对输入的源域和目标域中有标签图像集提取的特征结果传至迁移网络分类器学习系统生成模块，对目标域中无标签图像提取的特征结果传至迁移网络分类器学习系统学习模块；

迁移网络分类器学习系统生成模块，对输入的源域和目标域有标签的图像特征采用引入迁移学习的网络集成学习算法进行训练，得到迁移网络分类器学习系统；

迁移网络分类器学习系统学习模块，对需要测试的图像进行特征提取，将得到的特征输入至迁移网络分类器学习系统中进行学习，输出最终的识别结果。

参照图2，本发明的遥感图像目标识别方法，包括如下步骤：

步骤1：输入源域图像数据集和目标域有标签图像数据集，将输入的图像数据集进行3层Wavelet、Brushlet和Contourlet变换，然后提取子图中的能量作为特征。

步骤2：将提取到的特征输到入目标域有标签样本集TR_S和源域样本集TR_D，组成训练样本集Z，并设置含有K₂个节点的网络拓扑结构，输入采样率ρ和训练轮数T，其中，TR_S与TR_D中的样本数目分别为l_S和l_D。

步骤3：采用引入迁移学习的网络集成学习算法生成迁移网络分类器学习系统。

3a)将训练样本集Z分别分布在网络各节点上，作为各节点的训练样本，初始化各节点训练样本的权重；

3b)对各节点训练样本集Z进行有放回的加权采样，获得各节点的训练子集T_k，t，利用各节点上的核匹配追踪学习机迁移模型TLKMPLM对T_k，t进行训练：

首先，根据T_k，t中各样本的值计算核匹配追踪学习机迁移模型TLKMPLM的逼近值：

$f_i=\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{\mathrm{\β}}_k{\mathrm{\α}}_k{g}_k+{\mathrm{\β}}_i{\mathrm{\α}}_i{g}_i$

其中，

α_k为g_k的系数，g_k＝K(·，x_k)为基函数，

α_i为g_i的系数，g_i为对应样本x_i的基函数；

其次，根据T_k，t中所有样本的逼近值得到核匹配追踪学习机迁移模型TLKMPLM的决策函数：

$f_N=\mathrm{sgn}\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i{\mathrm{\α}}_i{g}_i\right)=\mathrm{sgn}\left(\underset{i\∈\left\{\mathrm{sp}\right\}}{\mathrm{\Σ}}{\mathrm{\β}}_i{\mathrm{\α}}_{i}K(\·,x_i)\right)$

其中，N为T_k，t中样本的个数，sp为支持向量。

3c)通过训练得到各节点的基分类器C_k，t，用各节点的基分类器C_k，t对训练样本集Z进行分类，得到对Z的分类结果，其中t为当前训练轮数；

3d)根据对Z的分类结果计算各节点上目标域样本的加权错误率：

${\mathrm{\ϵ}}_{k,t}=\underset{x_i\∈{\mathrm{TR}}_S}{\mathrm{\Σ}}{w}_{k,t}\left(x_i\right)I[y_i\≠h_{k,t}\left(x_i\right)]$

其中，w_k，t(x_i)为样本x_i的权重，y_i为样本x_i的已知标签，h_k，t(x_i)为C_k，t对样本x_i的分类结果；

3e)根据ε_k，t，计算各基分类器的权重：

${\mathrm{\α}}_{k,t}=0.5\×\log \left(\frac{1-{\mathrm{\ϵ}}_{k,t}}{{\mathrm{\ϵ}}_{k,t}}\right);$

3f)计算目标域样本的权重更新参数为

和源域迁移样本的权重更新参数

3g)更新源域迁移样本和目标域样本的权重：

$w_{k,t+1}\left(x_i\right)=\left\{\begin{array}{cc}\frac{w_{k,t}\left(x_i\right)\·{{\mathrm{\β}}_{k,t}}^{{\mathrm{\λ}}_{k,t}\left(x_i\right)}}{Z_{k,t}},& x_i\∈{\mathrm{TR}}_S\\ \frac{w_{k,t}\left(x_i\right)\·{{\mathrm{\γ}}_k}^{-{\mathrm{\λ}}_{k,t}\left(x_i\right)}}{Z_{k,t}},& x_i\∈{\mathrm{TR}}_D\end{array}\right.$

其中，

${\mathrm{\λ}}_{k,t}\left(i\right)=-2{\mathrm{\α}}_{k,t}(I(y\left(x_i\right)\≠h_{k,t}\left(x_i\right))-1/2)-2\underset{n}{\mathrm{\Σ}}{\mathrm{\α}}_{n,t}(I(y\left(x_i\right)\≠h_{n,t}\left(x_i\right))-1/2)$

$Z_{k,t}=\underset{x_i\∈{\mathrm{TR}}_S}{\mathrm{\Σ}}{w}_{k,t}\left(x_i\right)\·{{\mathrm{\β}}_{k,t}}^{{\mathrm{\λ}}_{k,t}\left(x_i\right)}+\underset{x_i\∈{\mathrm{TR}}_D}{\mathrm{\Σ}}{w}_{k,t}\left(x_i\right)\·{{\mathrm{\γ}}_k}^{-{\mathrm{\λ}}_{k,t}\left(x_i\right)}$

其中，y(x_i)为样本x_i的已知标签，h_k，t(x_i)为C_k，t对样本x_i的分类结果，且h_k，t(x_i)∈Y，n为节点k的近邻节点的标号；

当t＜T时，转步骤(2b)，当t＝T时，结束训练，得到由所有基分类器C_k，t(k＝1，2，…，K，t＝1，2，…，T)组成的迁移网络分类器学习系统，

步骤4：输入目标域无标签图像x，对其进行与步骤1相同的特征提取，将其图像特征传入至生成的迁移网络分类器学习系统中进行分类，得到分类结果：

$H_{K,T}=\underset{y\∈Y}{\arg \max }\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\left({\mathrm{\α}}_{k,t}\right[h_{k,t}\left(x_i\right)=y]+\underset{n}{\mathrm{\Σ}}{\mathrm{\α}}_{n,t}[h_{n,t}\left(x_i\right)=y\left]\right)$

其中，Y为样本标签组成的集合，n为网络拓扑结构中与k节点相连的节点，α_n，t为t轮时n节点上基分类器的权重，h_n，t(x_i)为t轮时n节点上基分类器对样本x_i的分类结果；

步骤5：将H_K，T作为最终的分类结果输出。

本发明的效果可以通过以下仿真数据进一步说明：

1、仿真条件

本发明的仿真在Windows XP，SPI，CPU Pentium(R)4，基本频率2.4GHZ，软件平台为VC++6.0运行。

图3为目标域样本图像，其中，(a)为A类有标签样本，(b)为B类有标签样本，(c)为A类无标签样本，(d)为B类无标签样本；图4为源域样本图像，其中，(a)为C类样本，(b)为D类样本。

仿真选用包含A类和B类两类飞机图像的数据集作为目标域数据，并使用与目标域相似的C类和D类飞机图像数据作为源域数据，其中，目标域的训练样本为完整的飞机图像，如图3中(a)和(b)；测试样本为有残缺或遮挡的飞机图像，如图3中(c)和(d)；源域数据为另外两类完整的飞机图像，如图4。源域样本和目标域样本的分布情况如表1所示。

表1 源域与目标域样本分布情况

实验中，首先将图像进行3层Wavelet、Brushlet和Contourlet变换，然后提取子图中的能量作为特征。由于C类样本与A类相似，D类样本与B类相似，因此使用C类样本指导A类样本学习，D类样本指导B类样本学习。在实验中，选用的网络结构为包含20个节点、度数为10的规则网络结构，采样率ρ＝0.5，训练轮数T＝10。采用引入迁移学习的网络集成学习算法TNL进行分类识别，在三种特征下的TNL和NB的对比实验结果如表2所示，其中NB的基分类器为核匹配追踪学习机KMPLM，TNL的基分类器分别为核匹配追踪学习机KMPLM和核匹配追踪学习机迁移模型TLKMPLM。

表2 基于TNL和NB的目标识别的对比实验结果(％)

实验结果表明，在三个特征空间中，本发明基于TNL的正确识别率高于现有基于NB算法下的结果，这表明，采用提出的迁移网络学习算法可以实现源域数据到目标域数据的知识迁移。由TNL中基分类器模型分别选用和TLKMPLM时的结果可看出，在该数据集上，TNL中使用TLKMPLM作为基分类器时的性能明显优于选用KMPLM的性能。

上述整个图像目标识别过程，均通过计算机程序实现其功能，完成对网络行为的检测。

该实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于上述实施例。

Claims (1)

1.一种基于迁移网络学习的遥感图像目标识别方法，包括如下步骤：

(1)输入源域图像数据集和目标域有标签图像数据集，并对其提取特征；

(2)将提取到的特征输入目标域有标签的样本集TR_S和源域样本集TR_D组成训练样本集Z，其中，TR_S与TR_D中的样本数目分别为l_S和l_D；设置含有K₂个节点的网络拓扑结构，输入采样率ρ和训练轮数T，采用迁移学习的网络集成学习算法，通过如下步骤训练生成迁移网络分类器学习系统：

2a)将训练样本集Z分别分布在各节点上，作为各节点的训练样本，初始化各节点训练样本的权重；

2b)对各节点训练样本集Z进行有放回的加权采样，获得各节点的训练子集T_k，t，利用各节点上的核匹配追踪学习机迁移模型TLKMPLM对T_k，t进行训练，得到各节点的基分类器C_k，t，用各节点的基分类器C_k，t对训练样本集Z进行分类，得到分类结果，其中t为当前训练轮数；

所述的利用各节点上的核匹配追踪学习机迁移模型TLKMPLM对T_k，t进行训练，按如下步骤进行：

2b1)根据T_k，t中各样本的值计算核匹配追踪学习机迁移模型TLKMPLM中样本x_i的逼近值：

$f_i=\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{\mathrm{\β}}_k{\mathrm{\α}}_k{g}_k+{\mathrm{\β}}_i{\mathrm{\α}}_i{g}_i$

其中，

α_k为g_k的系数，g_k＝K(·，x_k)为基函数，

α_i为g_i的系数，g_i为对应样本x_i的基函数；

2b2)根据T_k，t中所有样本的逼近值得到核匹配追踪学习机迁移模型TLKMPLM的决策函数：

$f_N=\mathrm{sgn}\left(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\β}}_i{\mathrm{\α}}_i{g}_i\right)=\mathrm{sgn}\left(\underset{i\∈\left\{\mathrm{sp}\right\}}{\mathrm{\Σ}}{\mathrm{\β}}_i{\mathrm{\α}}_{i}K(\·,x_i)\right)$

其中，N为T_k，t中样本的个数，sp为支持向量；

2c)根据对训练样本集Z的分类结果计算各节点上目标域样本的加权错误率：

${\mathrm{\ϵ}}_{k,t}=\underset{x_i\∈T{R}_S}{\mathrm{\Σ}}{w}_{k,t}\left(x_i\right)I[y_i\≠h_{k,t}\left(x_i\right)]$

其中，w_k，t(x_i)为样本x_i的权重，y_i为样本x_i的已知标签，h_k，t(x_i)为C_k，t对样本x_i的分类结果；

2d)根据加权错误率ε_k，t，计算t轮时各基分类器的权重：

${\mathrm{\α}}_{k,t}=0.5\×\log \left(\frac{1-{\mathrm{\ϵ}}_{k,t}}{{\mathrm{\ϵ}}_{k,t}}\right);$

2e)更新源域迁移样本和目标域样本的权重，当t＜T时，转步骤2b)，当t＝T时，结束训练，得到由所有基分类器C_k，t(k＝1，2，…，K，t＝1，2，…，T)组成的迁移网络分类器学习系统：

首先，计算目标域样本的权重更新参数为

和源域迁移样本的权重更新参数 ${\mathrm{\γ}}_k=\frac{1}{1+\sqrt{2\ln (l_D/T)}};$

其次，更新节点k处样本x_i的权重w_k，t(x_i)，得到更新后权重w_k，t+1(x_i)：

$w_{k,t+1}\left(x_i\right)=\left\{\begin{array}{cc}\frac{w_{k,t}\left(x_i\right)\·{{\mathrm{\β}}_{k,t}}^{{\mathrm{\λ}}_{k,t}\left(x_i\right)}}{Z_{k,t}},& x_i\∈{\mathrm{TR}}_S\\ \frac{w_{k,t}\left(x_i\right)\·{{\mathrm{\γ}}_k}^{-{\mathrm{\λ}}_{k,t}\left(x_i\right)}}{Z_{k,t}},& x_i\∈{\mathrm{TR}}_D\end{array}\right.$

其中， ${\mathrm{\λ}}_{k,t}\left(i\right)=-2{\mathrm{\α}}_{k,t}(I(y\left(x_i\right)\≠h_{k,t}\left(x_i\right))-1/2)-2\underset{n}{\mathrm{\Σ}}{\mathrm{\α}}_{n,t}(I(y\left(x_i\right)\≠h_{n,t}\left(x_i\right))-1/2)$

$Z_{k,t}=\underset{x_i\∈{\mathrm{TR}}_S}{\mathrm{\Σ}}{w}_{k,t}\left(x_i\right)\·{{\mathrm{\β}}_{k,t}}^{{\mathrm{\λ}}_{k,t}\left(x_i\right)}+\underset{x_i\∈{\mathrm{TR}}_D}{\mathrm{\Σ}}{w}_{k,t}\left(x_i\right)\·{{\mathrm{\γ}}_k}^{-{\mathrm{\λ}}_{k,t}\left(x_i\right)}$

其中，y(x_i)为样本x_i的已知标签，h_k，t(x_i)为C_k，t对样本x_i的分类结果，且h_k，t(x_i)∈Y。

(3)输入目标域无标签图像x进行特征提取，将其图像特征传入至生成的迁移网络分类器学习系统中进行分类，得到分类结果：

$H_{K,T}=\underset{y\∈Y}{\arg \max }\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}\left({\mathrm{\α}}_{k,t}\right[h_{k,t}\left(x_i\right)=y]+\underset{n}{\mathrm{\Σ}}{\mathrm{\α}}_{n,t}[h_{n,t}\left(x_i\right)=y\left]\right)$

其中，Y为样本标签组成的集合，n为网络拓扑结构中与k节点相连的节点，α_n，t为t轮时n节点上基分类器的权重，h_n，t(x_i)为t轮时n节点上基分类器对样本x_i的分类结果；

(4)将H_K，T作为最终的分类结果输出。

Images