CN110210545A - 基于迁移学习的红外遥感水体分类器构建方法 - Google Patents

Abstract

本发明公开了一种基于迁移学习的红外遥感水体分类器构建方法。首先，构建带标签的可见光遥感图像（源域）样本集，以及无标签的红外遥感图像（目标域）样本集；其次，提取可见光源域样本的局部二值模式特征，结合标签训练支持向量机分类器，对红外目标域样本进行初始分类，得到红外样本的伪标签，用以模拟出目标域样本的概率分布；然后，基于迁移学习理论，以最小化源域和目标域的分布差异距离为目标，将源域和目标域的特征数据映射到同一个子空间中，并通过修正目标域样本的伪标签不断优化特征映射矩阵；最后，在子空间中，利用优化后的特征映射矩阵，将源域特征数据进行变换，并基于变换后的源域特征数据及其标签，训练出最终红外遥感水体分类器。

Description

基于迁移学习的红外遥感水体分类器构建方法

技术领域

本发明涉及一种基于迁移学习的红外遥感水体分类器构建方法，属于图像处理领域。

背景技术

水资源是人类生存必不可少的重要资源，实时、准确地获取水体信息对水资源的有效管理和合理利用有着重大意义。随着卫星遥感技术的发展，通过传感器能够获取大量的可见光、红外等遥感水体图像。然而，红外遥感水体图像大多没有标注标签。

现有技术中公开了一些非水体类的红外图像识别分类方法。例如，专利号为201610479981.1的中国发明专利公开了一种利用样本特征学习分类的红外弱小目标检测方法。首先，从灰度分布、边缘、信息熵和能量四方面对样本分析，提取出拟合残差、中心周围对比度、边缘拟合圆半径、边缘拟合圆圆心偏移量、边缘拟合圆圆心距方差、基准信息熵对比度和纹理能量对比度等特征；然后，通过包裹式选择、前向搜索方式，将受试者工作特性曲线下方的面积作为评价指标，从所有特征中选出最优特征子集；随后，提取正负样本的最优特征子集训练支持向量机分类器，进行监督学习；最后，通过对图像进行高帽变换预处理得到候选目标，并通过分类器甄别筛选得到最终检测结果。此方法前提假设己从实际红外图像中获得足够多带标签的正负样本，但实际上有标签的红外图像样本十分稀少。此外，申请号为201710953733.0的中国发明专利申请公开了一种变电站复杂背景红外图像中设备的识别分类方法。通过图像处理器采用改进的区域生长分割算法对图像进行图像分割处理，并采用形态学的方法对分割得到的图像进行修复和完善；然后，对变电站设备红外图像进行特征提取；最后，对图像进行特征进行分类识别，并输出分类识别结果。此方法通过对红外图像的预处理提高训练特征的可用性，但仍需大量红外标注样本作为分类器的训练集，无法有效解决样本稀少的问题。因此，无法借鉴现有技术对无标签的红外遥感水体图像进行识别分类。

虽然红外遥感水体图像大多没有标注标签，但是带标签的可见光遥感图像水体样本充足。在此基础上，本申请期望提出一种方法，该方法能够基于迁移学习理论，通过将已知的可见光水体图像知识，迁移到红外水体图像领域中，来实现对红外遥感水体的有效分类。

但是以这种方式构建红外遥感图像水体分类识别器，存在的难点主要表现在：(1)有标签的红外遥感图像水体样本数量稀少，无法学习得到有效的分类器；(2)如何缩小可见光图像空间样本与红外图像空间样本的特征分布差异，使得通过可见光图像样本训练的分类器在红外图像领域得到有效应用。

发明内容

本发明的目的在于提供一种基于迁移学习的红外遥感水体分类器构建方法，以解决现有技术中存在的上述问题。

为实现上述目的，本发明采用如下技术方案：

一种基于迁移学习的红外遥感水体分类器构建方法，其特征在于，包括以下步骤：

S1，构建可见光源域样本集和红外目标域样本集，并对可见光源域样本集制作标签集，得到源域样本的标签集；

S2，提取可见光源域样本集中每个样本的LBP特征，得到源域的特征数据集，结合源域样本的标签集，训练SVM分类器，得到初始分类器；

S3，提取红外目标域样本集中每个样本的LBP特征，得到目标域的特征数据集，输入至初始分类器，得到目标域样本的伪标签集，其中伪标签表示算法过程中可被修正的目标样本预测标签，非最终预测标签；

S4，基于迁移学习理论，以最小化源域和目标域的边缘概率分布和条件概率分布差异距离为目标，结合目标域样本的伪标签集求解一个变换矩阵，使得源域和目标域的特征数据集在同一子空间上的映射特征数据的概率分布差异尽可能小；

S5，通过修正目标域样本的伪标签集不断优化所述变换矩阵，得到优化的特征映射矩阵；

S6，利用优化的特征映射矩阵，将源域的特征数据映射至所述子空间内，得到变换后的源域特征数据，结合源域样本标签集，训练得到最终红外遥感水体分类器。

进一步的，步骤S1中，构建可见光源域样本集和红外目标域样本集并对可见光源域样本集制作标签集的具体方法为：

(1.1)给定一个大幅面可见光遥感水陆场景图像，对其进行不重叠分区，设其分为n个区域(每块区域大小均相同)，p_k表示第k个区域，所有分区构成可见光源域的样本集；

(1.2)给定一个大幅面红外遥感水陆场景图像，对其进行不重叠分区，设其分为m个区域，每块区域大小均相同且与可见光源域样本集中每个区域大小相同，q_k表示第k个区域，所有分区构成红外目标域的样本集；

(1.3)对可见光源域样本集中的每个样本区域p_k，人工进行标注样本类别，若该区域一半以上为水体区域，则标注为水体的正样本；反之，则标注为非水体的负样本。

其中，所述n为1600，所述m为1024，所述可见光源域样本集和红外目标域样本集中每个样本区域大小均为64×64。

进一步的，步骤S2中，提取可见光源域样本集中每个样本的LBP 特征的具体方法为：

设r为区域p_k中的某一点，则该点的LBP值为：

其中，g_r为点r的灰度值，i为点r邻域顺时针方向的第i个像素点， I表示邻域的总像素数，g_i为第i个像素点的灰度值，S(·)表示符号函数：

对区域p_k中的所有点按照上述方式计算LBP值，然后将它们整合为一个向量，该向量即为该样本区域的LBP特征向量。

进一步的，步骤S3中，提取红外目标域样本集中每个样本的LBP 特征的方法与提取可见光源域样本集中每个样本的LBP特征的方法相同。

进一步的，步骤S4中，求解变换矩阵的具体方法为：

(4.1)待求解的变换矩阵，以A表示，其能够使经过变换后的源域特征数据的边缘分布P(A^Tx_s)和经过变换后的目标域特征数据的边缘分布P(A^Tx_t)之间的距离、经过变换后的源域特征数据的条件分布 P(y_s|A^Tx_s)和经过变换后的目标域特征数据的条件分布P(y_t|A^Tx_t)之间的距离能够尽可能地接近，其中，x为特征向量，y为标签，x_s∈X_s， x_t∈X_t，y_s∈Y_s，y_t∈Y_t，X_s为源域的特征数据集，X_t为目标域的特征数据集，Y_s为源域样本的标签集，Y_t为目标域样本的真实标签集，A^Tx 表示变换矩阵A转置后左乘特征向量x；

为了适配所述源域特征数据的边缘分布P(A^Tx_s)和目标域特征数据的边缘分布P(A^Tx_t)，采用MMD衡量源域特征数据分布与目标域特征数据分布之间的距离：

其中，n和m分别表示源域和目标域的样本个数，表示X_s中第j个特征数据，表示X_t中第j个特征数据；

(4.2)适配条件分布时，通过目标域样本的伪标签集来近似真实标签集Y_t，模拟出目标域特征数据的条件概率分布，则源域与目标域中相同类别之间的MMD距离表示为：

其中，c＝1,2,...,C表示类别，由于样本仅有水体及非水体两类，因此C＝2；n_c和m_c分别表示源域和目标域中来自第c类的样本个数，是源域中属于第c类样本的特征数据集合，是目标域中属于第 c类样本的特征数据集合；

(4.3)综合边缘分布和条件分布的适配，得到一个总的优化目标：

其中，tr(·)表示求矩阵的迹，是正则项，A^TX表示变换矩阵A转置后左乘特征矩阵X，M_c是一个MMD矩阵，形式如下：

其中，x_a表示所属样本空间中的第a个特征向量，x_b表示所属样本空间中的第b个特征向量；

(4.4)通过对优化目标的求解，得到变换矩阵A。

进一步的，步骤S5中，通过修正目标域样本的伪标签集不断优化所述变换矩阵的具体方法如下：

(5.1)所述变换矩阵以A表示，将源域的特征数据通过变换矩阵A映射到子空间中，得到变换后的源域特征数据集，结合源域样本标签集，训练生成伪标签修正分类器f₀；

(5.2)将目标域的特征数据通过变换矩阵A映射到子空间中，得到变换后的目标域特征数据集，将其输入分类器f₀，得到新的标签集若其中为目标域样本的伪标签集，则此时的A为优化的特征映射矩阵，若用新的标签集更新伪标签集返回步骤S4，利用新的伪标签集重新求解变换矩阵A，通过新的变换矩阵A执行步骤(5.1)得到新的修正分类器f₁，将通过新的变换矩阵A变换后的目标域特征数据输入分类器f₁，得到新的标签集并与伪标签集比较，依此类推，通过不断修正伪标签集优化变换矩阵A，直至新的标签集与前一次的伪标签集相同，此时的变换矩阵A即为优化的特征映射矩阵。

相比于现有技术，本发明具有以下有益技术效果：

(1)实现了从可见光图像领域到红外图像领域知识的迁移，有效弥补了传统的水体分类器构建方法因红外遥感图像领域训练样本过少而无法训练出有效的分类器的缺点；

(2)缩小了可见光图像空间样本与红外图像空间样本的特征分布差异，使得通过可见光图像样本训练的分类器在红外图像领域得到有效应用。

附图说明

图1为本发明的基于迁移学习的红外遥感水体分类器构建方法的流程示意图。

图2为点r邻域顺时针方向的第i个像素点与点r的位置关系图。

具体实施方式

下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种基于迁移学习的红外遥感水体分类器构建方法，包括如下步骤：

(1)构建可见光源域样本集和红外目标域样本集，这两个样本集分别包括水体的正样本和非水体的负样本，同时对源域的样本集制作标签集Y_s；

(1.1)给定一个大幅面可见光遥感水陆场景图像，设其大小为 2560×2560，对其进行不重叠分区，设其分为1600个区域(每块区域大小均为64×64)，p_k表示第k个区域，所有分区构成源域的样本集；

(1.2)给定一个大幅面红外遥感水陆场景图像，设其大小为 2048×2048，对其进行不重叠分区，设其分为1024个区域(每块区域大小均为64×64)，q_k表示第k个区域，所有分区构成目标域的样本集；

(1.3)对步骤(1.1)中每一个样本区域p_k，人工进行标注样本类别，若该区域一半以上为水体区域，则标注为水体的正样本，标签 y_k＝1；反之，则标注为非水体的负样本，标签y_k＝0。

(2)提取步骤(1)可见光源域样本集中每个样本的LBP特征，得到源域的特征数据集X_s，结合对应的标签集Y_s，训练支持向量机 (Support Vector Machine，SVM)分类器，得到初始分类器F₀；

(2.1)对步骤(1.1)中源域的每一个样本，提取其LBP特征，制作源域样本的LBP特征数据集X_s，矩阵X_s大小为1600×256。LBP 是一种用来描述图像局部特征的算子，具有灰度不变性。

设r为区域p_k中的某一点，则该点的LBP值为：

其中，g_r为点r的灰度值，i为点r邻域顺时针方向的第i个像素点， I表示邻域的总像素数，g_i为第i个像素点的灰度值，其中i和点r的 位置关系如图2所示，S(·)表示符号函数：

对区域p_k中的所有点按照上述方式计算LBP值，然后将它们整合为一个向量，该向量即为该样本区域的LBP特征向量。

(2.2)利用步骤(2.1)中提取的LBP特征数据集X_s和所对应的标签集Y_s，训练得到初始分类器F₀。

(3)提取步骤(1)红外目标域样本集中每个样本的LBP特征，得到目标域的特征数据集X_t，输入步骤(2)中的初始分类器F₀，得到目标域样本对应的伪标签集

(3.1)对步骤(1.3)中目标域的每一个样本，提取其LBP特征，制作目标域样本的LBP特征数据集X_t，矩阵X_t大小为1024×256；

(3.2)将提取的特征数据集X_t输入初始分类器F₀，得到目标域样本的伪标签集

(4)基于迁移学习理论，以最小化源域和目标域的边缘概率分布和条件概率分布差异距离为目标，求解一个变换矩阵A，使得源域和目标域特征数据集在子空间上的映射特征数据A^TX_s和A^TX_t的概率分布差异尽可能小；

(4.1)待求解的变换矩阵A，能够使经过变换后的源域特征数据的边缘分布P(A^Tx_s)和目标域特征数据的边缘分布P(A^Tx_t)、源域特征数据的条件分布P(y_s|A^Tx_s)和目标域特征数据的条件分布 P(y_t|A^Tx_t)之间的距离能够尽可能地接近。其中，x为特征向量，y为标签，x_s∈X_s，x_t∈X_t，y_s∈Y_s，y_t∈Y_t，Y_t为目标域样本的真实标签集，A^Tx表示变换矩阵A转置后左乘特征向量x，A^TX表示变换矩阵A 转置后左乘特征矩阵X；

为了适配源域特征数据的边缘分布P(A^Tx_s)和目标域特征数据的边缘分布P(A^Tx_t)，这里采用最大均值差异(Maximum mean discrepancy，MMD)衡量源域特征数据分布与目标域特征数据分布之间的距离：

其中，n和m分别表示源域和目标域的样本个数，本文中， n＝1600，m＝1024；表示X_s中第j个特征数据，表示X_t中第j 个特征数据；

(4.2)适配条件分布时，因目标域样本标签未知，无法得到准确的条件概率P(y_t|A^Tx_t)，通过步骤(3.2)得到的目标域样本伪标签集来近似真实标签集Y_t，模拟出目标域特征数据的条件概率分布，则源域与目标域中相同类别之间的MMD距离表示为：

其中，c表示类别，c＝1,2,...,C，n_c和m_c分别表示源域和目标域中来自第c类的样本个数，本文中仅有水体及非水体两类，即C＝2；是源域中属于第c类样本的特征数据集合，是目标域中属于第 c类样本的特征数据集合；

(4.3)综合边缘分布和条件分布的适配，得到一个总的优化目标：

其中，tr(·)表示求矩阵的迹，是正则项，M_c是一个MMD 矩阵，形式如下：

其中，x_a表示所属样本空间中的第a个特征向量，x_b表示所属样本空间中的第b个特征向量；

最终，通过对优化目标的求解，得到变换矩阵A。

(5)经过变换后的源域特征数据A^TX_s，结合标签集Y_s，在子空间中训练一个伪标签修正分类器f₀；

将源域的特征数据通过变换矩阵A映射到子空间中，利用变换后的特征数据集A^TX_s和所对应的标签集Y_s，学习生成伪标签修正分类器 f₀。

(6)将变换后的目标域特征A^TX_t输入分类器f₀，得到新的标签集若则此时的A为优化的特征映射矩阵；若用新的标签集更新伪标签集返回步骤(4)利用新的伪标签集重新求解变换矩阵A，不断修正伪标签，直至新的标签集与伪标签集相同，此时得到优化的特征映射矩阵A_best；

(6.1)将变换后的目标域特征数据A^TX_t输入分类器f₀，得到新的标签集若则此时的A为优化的特征映射矩阵；若用新的标签集更新伪标签集即返回步骤(4) 利用新的伪标签集重新求解变换矩阵A；

(6.2)根据步骤(6.1)中的新变换矩阵A，执行步骤(5)得到修正分类器f₁，将变换后的目标域特征数据A^TX_t输入分类器f₁，得到新的标签集并与伪标签集比较，依此类推，通过不断修正伪标签优化映射矩阵；

(6.3)当新的标签集与前一次的伪标签集相同，停止修正，此时的变换矩阵A即为优化特征映射矩阵A_best。

(7)通过步骤(6)中得到的优化的特征映射矩阵A_best，将源域的特征映射至子空间内，得到特征数据结合标签集Y_s，训练最终红外遥感水体分类器F。

(7.1)通过步骤(6)中得到的优化特征映射矩阵A_best，将源域的特征数据映射至子空间内，得到特征数据

(7.2)利用步骤(7.1)中特征数据和所对应的标签集Y_s，学习得到最终红外遥感水体分类器F。

以上已以较佳实施例公布了本发明，然其并非用以限制本发明，凡采取等同替换或等效变换的方案所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种基于迁移学习的红外遥感水体分类器构建方法，其特征在于，包括以下步骤：

构建可见光源域样本集和红外目标域样本集，并对可见光源域样本集制作标签集，得到源域样本的标签集；

提取可见光源域样本集中每个样本的LBP特征，得到源域的特征数据集，结合源域样本的标签集，训练SVM分类器，得到初始分类器；

提取红外目标域样本集中每个样本的LBP特征，得到目标域的特征数据集，输入至初始分类器，得到目标域样本的伪标签集；

基于迁移学习理论，以最小化源域和目标域的边缘概率分布和条件概率分布差异距离为目标，结合目标域样本的伪标签集求解一个变换矩阵，使得源域和目标域的特征数据集在同一子空间上的映射特征数据的概率分布差异尽可能小；

通过修正目标域样本的伪标签集不断优化所述变换矩阵，得到优化的特征映射矩阵；

利用优化的特征映射矩阵，将源域的特征数据映射至所述子空间内，得到变换后的源域特征数据，结合源域样本标签集，训练得到最终红外遥感水体分类器。

2.根据权利要求1所述的基于迁移学习的红外遥感水体分类器构建方法，其特征在于，构建可见光源域样本集和红外目标域样本集并对可见光源域样本集制作标签集的具体方法为：

给定一个大幅面可见光遥感水陆场景图像，对其进行不重叠分区获得n个样本区域，每个区域大小均相同，所述n个样本区域构成可见光源域样本集；

给定一个大幅面红外遥感水陆场景图像，对其进行不重叠分区获得m个样本区域，每个区域大小均相同且与可见光源域样本集中每个样本区域大小相同，所述m个样本区域构成红外目标域样本集；

对可见光源域样本集中的每个样本区域，人工进行标注样本类别，若该区域一半以上为水体区域，则标注为水体的正样本；反之，则标注为非水体的负样本。

3.根据权利要求2所述的基于迁移学习的红外遥感水体分类器构建方法，其特征在于，所述n为1600，所述m为1024，所述可见光源域样本集和红外目标域样本集中每个样本区域大小均为64×64。

4.根据权利要求2所述的基于迁移学习的红外遥感水体分类器构建方法，其特征在于，提取可见光源域样本集或红外目标域样本集中每个样本的LBP特征的具体方法为：

设r为可见光源域样本集或红外目标域样本集中某个样本区域内的某一点，则该点的LBP值为：

其中，g_r为点r的灰度值，i为点r邻域顺时针方向的第i个像素点，I表示邻域的总像素数，g_i为第i个像素点的灰度值，S(·)表示符号函数：

对该样本区域中的所有点按照上述方式计算LBP值，然后将它们整合为一个向量，该向量即为该样本区域的LBP特征向量。

5.根据权利要求2所述的基于迁移学习的红外遥感水体分类器构建方法，其特征在于，求解变换矩阵的具体方法为：

(1)待求解的变换矩阵，以A表示，其能够使经过变换后的源域特征数据的边缘分布P(A^Tx_s)和经过变换后的目标域特征数据的边缘分布P(A^Tx_t)之间的距离、经过变换后的源域特征数据的条件分布P(y_s|A^Tx_s)和经过变换后的目标域特征数据的条件分布P(y_t|A^Tx_t)之间的距离能够尽可能地接近，其中，x为特征向量，y为标签，x_s∈X_s，x_t∈X_t，y_s∈Y_s，y_t∈Y_t，X_s为源域的特征数据集，X_t为目标域的特征数据集，Y_s为源域样本的标签集，Y_t为目标域样本的真实标签集，A^Tx表示变换矩阵A转置后左乘特征向量x；

为了适配所述源域特征数据的边缘分布P(A^Tx_s)和目标域特征数据的边缘分布P(A^Tx_t)，采用MMD衡量源域特征数据分布与目标域特征数据分布之间的距离：

其中，n和m分别表示源域和目标域的样本个数，表示X_s中第j个特征数据，表示X_t中第j个特征数据；

(2)适配条件分布时，通过目标域样本的伪标签集来近似真实标签集Y_t，模拟出目标域特征数据的条件概率分布，则源域与目标域中相同类别之间的MMD距离表示为：

其中，c表示类别，c＝1,2,...,C，由于样本仅有水体及非水体两类，因此C＝2；n_c和m_c分别表示源域和目标域中来自第c类的样本个数，是源域中属于第c类样本的特征数据集合，是目标域中属于第c类样本的特征数据集合；

(3)综合边缘分布和条件分布的适配，得到一个总的优化目标：

其中，tr(·)表示求矩阵的迹，是正则项，A^TX表示变换矩阵A转置后左乘特征矩阵X，M_c是一个MMD矩阵，形式如下：

其中，x_a表示所属样本空间中的第a个特征向量，x_b表示所属样本空间中的第b个特征向量；

(4)通过对优化目标的求解，得到变换矩阵A。

6.根据权利要求1所述的基于迁移学习的红外遥感水体分类器构建方法，其特征在于，通过修正目标域样本的伪标签集不断优化所述变换矩阵的具体方法如下：

(1)所述变换矩阵以A表示，将源域的特征数据通过变换矩阵A映射到子空间中，得到变换后的源域特征数据集，结合源域样本标签集，训练生成伪标签修正分类器f₀；

(2)将目标域的特征数据通过变换矩阵A映射到子空间中，得到变换后的目标域特征数据集，将其输入分类器f₀，得到新的标签集若其中为目标域样本的伪标签集，则此时的A为优化的特征映射矩阵，若用新的标签集更新伪标签集返回变换矩阵求解步骤中，利用新的伪标签集重新求解变换矩阵A，通过新的变换矩阵A执行步骤(1)得到新的修正分类器f₁，将通过新的变换矩阵A变换后的目标域特征数据输入分类器f₁，得到新的标签集并与伪标签集比较，依此类推，通过不断修正伪标签集优化变换矩阵A，直至新的标签集与前一次的伪标签集相同，此时的变换矩阵A即为优化的特征映射矩阵。