CN110363071A - 一种协同主动学习和直推式支持向量机的海冰检测方法 - Google Patents

Abstract

本发明公开了一种协同主动学习和直推式支持向量机的海冰检测方法，涉及遥感海冰检测领域，解决了对海冰遥感图像标注耗时、图像中大量无标签样本包含有丰富信息却难以充分利用的弊端，其技术方案要点是通过协同主动学习和直推式支持向量机的方法能够查找可靠的标签样本，利用未标签样本中包含的丰富的信息量，并且减少样本的冗余，来建立分类模型，本发明的一种协同主动学习和直推式支持向量机的海冰检测方法，能够提高分类模型的性能，而且能够减少人工标记的工作量。

Description

一种协同主动学习和直推式支持向量机的海冰检测方法

技术领域

本发明涉及遥感海冰检测，特别涉及一种协同主动学习和直推式 支持向量机的海冰检测方法。

背景技术

海冰已成为高纬度地区最突出的海洋灾害之一。对于海冰灾害的 防灾减灾及灾害评估研究，需要及时地获取海冰的外缘线、类别分布 等详细信息。传统的目测和器测等海冰检测方法难以有效检测并获得 大范围海冰的密集度、类别分布等丰富翔实的信息。遥感技术能够提 供全天候、大面积、准确的海冰遥感图像信息，现已被广泛应用于海 冰检测中，成为一种高效的检测海冰的方法。现有的海冰检测方法包 括：

1)从分类采用的特征判据来看，阈值分割法主要通过确定易于 区分海冰与海水的光谱参数(如波段差和比)，通过阈值分割的方式 区分海冰和海水的边缘线或计算海冰密集度，该方法的精度较低，不 易获取更加详细的海冰类别信息。

2)从训练样本为依据来看，非监督分类和监督分类方法的研究 主要集中在选取几个不同的波段组合，采用非监督或监督分类的方式 进行海冰分类，非监督分类方法不需要先验知识，方法容易实现，但 分类精度往往有所欠缺；监督分类策略可以达到较好的效果，但是要 求具有一定数量的标记样本，否则容易导致Hush现象，尤其是针对 高维特征数据。

发明内容

本发明的目的是提供一种协同主动学习和直推式支持向量机的 海冰检测方法，能够提高分类模型的性能，而且能够减少人工标记的 工作量。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种协同主动学习和直推式支持向量机的海冰检测方法，包括有 以下步骤：

S1、读取遥感海冰图像数据获取样本，并用光谱特征项向量表示 每个样本，对样本集合归一化到0至1之间；根据像素点的海冰类别 标记样本的海冰类别，从样本中按比例随机选取若干样本并标记作为 初始的标签训练样本集L，样本中剩余作为未标签样本集U；并利用 网格参数寻优方法确定支持向量机SVM的惩罚参数C和径向基核参 数γ；

S2、初始化网络参数，包括：维度、拓扑结构、迭代学习次数、 神经元距离函数、初始邻域值；并利用标签训练样本集L中所有的标 记样本训练SOM神经网络；

S3、初始化定义伪标签样本集TSVM未标签训练样本集 未标签样本侯选集用标签训练样本集L、伪标签样本集 P与TSVM未标签训练样本集S共同训练TSVM分类器；

S4、TSVM分类器通过半监督学习采样策略Q2从未标签样本集 U中查询一定数量的样本并更新TSVM未标签训练样本集S和 未标签样本集U：更新未标签样本候选集CP： CP＝CP∪S，并用TSVM分类器对CP中的样本预测得到对应的结果label₂；

S5、根据预测得到相应的label₂标签集中的每类标签的数量设置 TSVM训练过程中的参数N⁺，参数N⁺表示TSVM未标签训练样本集S中正类样本的数量；用标签训练样本集L、伪标签样本集P、TSVM 未标签训练样本集S和参数N⁺更新训练TSVM分类器；

S6、经过训练的TSVM分类器结合BvSB、SOM神经网络和 ECBD准则通过主动学习采样策略Q1从未标签样本集U中查找一定 数量的样本进行标注，更新标签训练样本集L和未标签样本集U：

S7、用更新后的标签训练样本集L训练SVM分类器，并用SVM 分类器对未标签样本候选集CP中的样本预测得到对应的结果label₁；

S8、对预测分类结果label₁及label₂经一致性验证得到伪标签样 本集P，P＝{X_i|label₁(X_i)＝＝label₂(X_i),X_i∈CP}；

S9、对未标签样本集U进行判断，在时或者达到给定的迭 代次数时停止；反之返回S4。

作为优选，S4中半监督学习采样策略Q2具体过程如下：

A1、根据TSVM分类器和公式C(x)＝f₁(x)-f₂(x)、公式H＝ {x|x∈U,0≤C(x)≤2}从未标签样本集U中选出前t个C(x)的最大 值并且在分类器的分类面之间的样本组成集合J；其中：x代表未标签 样本；f₁(x)和f₂(x)是样本x的最大和次大决策函数值；通过给定的 C(x)选取信息量高的半标签样本，并且C(x)的值越接近2表示样本 的分布越靠近分类边缘的附近，样本更能够优化分类超平面；

A2、从集合J中选出相应的C(x)的值最大的样本x_up，并将x_up作为所选一定数量的样本集合中的第一个样本，

A3、对于集合J中的每个样本x，根据核余弦相似性准则计算样 本x和集合中样本x_i最大的核余弦角值选择 所有最大核余弦角值中的最小值所对应的样本x作为x_up，即： 核余弦相似性准则表示如下：

式中，k(x,x_i)是SVM核函数，选取径向基核函数作为SVM的 核函数；

A4、将选出来的样本x_up加入集合中，直到 中的样本数量等于预设值。

作为优选，S2中在网络训练阶段的收敛处，通过使用权重向量 来计算输出层中每个神经元到其相邻神经元的平均近邻距离；神经元 w_k的平均近邻距离用来表示：

其中，表示输出层中的神经元k的r阶邻域范围内的神经元集 合。

作为优选，S6中主动学习采样策略Q1具体过程如下：

B1、通过TSVM分类器和BvSB准则从未标签样本集U中选出 一批不确定性最高并且映射到SOM神经网络不同神经元上的样本；

B2、从所选的样本中选择平均近邻距离最大的部分样本；

B3、利用ECBD差异性准则从部分样本中选择一些处于核空间 聚类中心的样本组成集合进行标注。

综上所述，本发明具有以下有益效果：

主动学习和半监督学习的协同，能够充分利用未标签样本中包含 的大量信息，在标签训练样本较少的情况下，快速提高分类模型的效 果，并得到更好的分类精度结果；主动学习的过程从样本低密度区域 查询信息量丰富并且具有显著差异性的样本进行标注，更有效地提升 了监督分类器的性能；半监督学习过程能充分利用未标签样本包含的 信息并且去掉未标签样本中的冗余样本来提升TSVM分类器的分类 效果；通过两者的协同验证机制来保证TSVM分类器的性能有效提 升，最终达到快速获取较优的遥感海冰分类模型的效果；应用于多光 谱和高光谱等大范围遥感海冰数据时，在得到更好分类结果的同时， 更加节约人力物力成本。

附图说明

图1为本发明的框图；

图2为本发明的流程图；

图3为巴芬湾数据CATSVM与AL方法总体分类精度对比图；

图4为巴芬湾数据CATSVM方法和其他AL+SSL方法的总体分类 精度对比图；

图5包括巴芬湾海域原始高光谱图像(a)、landsat-8验证数据 类别图(b)、CATSVM算法的分类结果图(c)、海冰类别图例(d)。

具体实施方式

以下结合附图对本发明作进一步详细说明。

本实施例公开的一种协同主动学习和直推式支持向量机的海冰 检测方法，如图1及图2所示，包括有以下步骤：

S1、读取遥感海冰图像数据获取样本，并用光谱特征项向量表示 每个样本，对样本集合归一化到0至1之间；根据像素点的海冰类别 标记样本的海冰类别，从样本中按比例随机选取若干样本并标记作为 初始的标签训练样本集L，样本中剩余作为未标签样本集U；并利用 网格参数寻优方法确定支持向量机SVM的惩罚参数C和径向基核参 数γ。

S2、初始化网络参数，包括：维度、拓扑结构、迭代学习次数、 神经元距离函数、初始邻域值；并利用标签训练样本集L中所有的标 记样本训练SOM神经网络；在网络训练阶段的收敛处，通过使用权 重向量来计算输出层中每个神经元到其相邻神经元的平均近邻距离； 神经元w_k的平均近邻距离用来表示：

其中，表示输出层中的神经元k的r阶邻域范围内的神经元集 合。

S3、初始化定义伪标签样本集TSVM未标签训练样本集 未标签样本侯选集用标签训练样本集L、伪标签样本集 P与TSVM未标签训练样本集S共同训练TSVM分类器。

S4、TSVM分类器通过半监督学习采样策略Q2从未标签样本集 U中查询一定数量的样本并更新TSVM未标签训练样本集S和 未标签样本集U：更新未标签样本候选集CP： CP＝CP∪S，并用TSVM分类器对CP中的样本预测得到对应的结果label₂。

半监督学习采样策略Q2具体过程如下：

A1、根据TSVM分类器和公式C(x)＝f₁(x)-f₂(x)、公式H＝ {x|x∈U,0≤C(x)≤2}从未标签样本集U中选出前t个C(x)的最大 值并且在分类器的分类面之间的样本组成集合J；其中：x代表未标签 样本；f₁(x)和f₂(x)是样本x的最大和次大决策函数值；通过给定的 C(x)选取信息量高的半标签样本，并且C(x)的值越接近2表示样本 的分布越靠近分类边缘的附近，样本更能够优化分类超平面；

A2、从集合J中选出相应的C(x)的值最大的样本x_up，并将x_up作为所选一定数量的样本集合中的第一个样本，

A3、对于集合J中的每个样本x，根据核余弦相似性准则计算样 本x和集合中样本x_i最大的核余弦角值选择 所有最大核余弦角值中的最小值所对应的样本x作为x_up，即： 核余弦相似性准则表示如下：

式中，k(x,x_i)是SVM核函数，选取径向基核函数作为SVM的 核函数；

A4、将选出来的样本x_up加入集合中，直到 中的样本数量等于预设值。

S5、根据预测得到相应的label₂标签集中的每类标签的数量设置 TSVM训练过程中的参数N⁺，参数N⁺表示TSVM未标签训练样本集 S中正类样本即属于该类标签的数量；用标签训练样本集L、伪标签样 本集P、TSVM未标签训练样本集S和参数N⁺更新训练TSVM分类器。

S6、经过训练的TSVM分类器结合BvSB、SOM神经网络和 ECBD准则通过主动学习采样策略Q1从未标签样本集U中查找一定 数量的样本进行标注，更新标签训练样本集L和未标签样本集U：

主动学习采样策略Q1具体过程如下：

B1、通过TSVM分类器和BvSB准则从未标签样本集U中选出 一批不确定性最高并且映射到SOM神经网络不同神经元上的样本；

B2、从所选的样本中选择平均近邻距离最大的部分样本；

B3、利用ECBD差异性准则从部分样本中选择一些处于核空间 聚类中心的样本组成集合进行标注。

BvSB准则根据未标签样本x_i属于各个类别的概率，计算最大概 率p(y_Best|x_i)和次大概率p(y_Second-Best|x_i)的差值，并选择差值较小 的一批样本，即为不确定性最高的样本，作为主动学习的样本，选出 来的样本具有丰富的信息量，该方法可以表示如下：

BvSB＝argmin(p(y_Best|x_i)-p(y_Second-Best|x_i))

ECBD聚类算法可以利用径向基核函数(radial basis function,RBF) 将m个样本映射到高维的特征空间中，并将样本划分成h个聚类，选 择每个聚类中心的样本作为最具差异性和代表性的样本，ECBD算法 具体描述如下：

在特征空间中，m个样本(x₁,x₂,...,x_m)划分成k(k<m)个聚类 (C₁,C₂,...,C_k)。并随机获取每个聚类的中心(ρ₁,ρ₂,...,ρ_k)。当处于核 空间时，样本与样本的欧氏距离为：

核空间的聚类中心为

其中|C_k|为当前聚类中样本的数量，其中 δ(x_i,C_k)为指示函数：

为核空间中的指示函数。和之间的距离表示为：

其中，

对每个聚类C_k，分别以当前聚类中的每个样本为中心，计算该聚 类中其余样本到该中心的欧式距离，并且求距离之和，将和最小的样 本选为该聚类新的的中心样本：

S7、用更新后的标签训练样本集L训练SVM分类器，并用SVM 分类器对未标签样本候选集CP中的样本预测得到对应的结果label₁。

S8、对预测分类结果label₁及label₂经一致性验证得到伪标签样 本集P，P＝{X_i|label₁(X_i)＝＝label₂(X_i),X_i∈CP}。

S9、对未标签样本集U进行判断，在时或者达到给定的迭 代次数时停止；反之返回S4。

为对本发明做进一步说明，现举一实验实例：

1)数据描述

实验数据为2014年4月12日格陵兰岛附近巴芬湾海域的 Hyperion EO-1高光谱影像，左上角经纬度为79°51′27″W，74° 16′16″N，右下角经纬度为79°29′20″W，73°57′5″N。实验 数据经过系统几何校正、投影配准以及地形校正，图像级别为L1Gst 级，波段光谱范围为356～2578nm，总共包含242个波段，空间分辨 率是30m，光谱分辨率达到纳米级。

2)实验设置

实验过程中，每个波段的像素值被归一化到[0,1]之间，在算法运 行开始前，将随机地从活动池里每个类别的样中选择3个样本人工加 以标注，构成初始标签训练样本集L。通过采样策略Q₁查询的样本数 量h₂设为12，h₁设为6，q₁设为3。通过采样策略Q₂查询加入到TSVM 未标签训练样本集S中的样本数量h设为12，q₂设为6，并根据分类 器对S中样本的预测标签结果，设置TSVM训练过程中需要的正类 样本的数量N⁺。

SVM分类器和TSVM分类器使用RBF核函数，其中通过网格参 数寻优的方法在{2-10,2-9,...,29,210}范围内确定径向基核参数γ，在 {2-5,2-4,...,29,210}的范围内确定惩罚参数C，并利用五折交叉验证 选取性能较好的参数组合γ和C。实验中，基于所设置的神经元的数 量足够多于可获得的标签样本的类别，SOM神经网络输出层的神经 元数量设置为25*25，拓扑结构为六角形栅格，网络迭代学习4000次， 神经元距离函数设置为‘linkdist’。网络的初始邻域值设为20，并且 随着网络迭代学习到第4000次的时候逐渐减少到1。

3)实例结果

如图3所示，是在相同数量的标签训练样本条件下，CATSVM 方法和经典的主动学习方法进行10次实验的平均分类精度结果对比 图。从该图中我们可以看出，四种主动学习方法都可以从少量标签样 本中，查询有代表性的样本通过人工标注加入训练集从而提高分类精 度。但是由于不同主动学习方法的采样策略不同，选取出的样本信息 量和代表性不同，因此它们的分类性能也存在差异。BVSB和ENTROPY算法都是经典的主动学习算法，但是其分类效果并不理想， 最终的分类精度分别是73.38％和76.17％；BVSB-ECBD和MCLU-ECBD算法收敛速度较慢，可以达到87.14％和89.73％的分类精度。

如图4所示，是在相同数量的标签训练样本条件下CATSVM方 法和其他主动学习与半监督学习相结合方法的分类精度结果对比图。 从图中我们可以看出，CATSVM方法相对于其他结合方法具有明显 的优势，该方法所得精度结果迭代到第5次就基本收敛，并且随着迭 代次数的增加，精度十分稳定。CASSL方法收敛速度相对较慢，在迭 代到第10次时才达到收敛，并且在之后的迭代过程中，精度也会略 有波动；BVSB-ECBD-TSVM因为缺乏验证机制导致加入一些错误的 伪标签样本，从而导致最终的分类精度偏低，从图4中我们也可以看 出BVSB-ECBD-TSVM方法得到的精度结果在迭代到12次时才达到 收敛，并且最终的精度结果比CATSVM的方法低了1％左右； AL+LCR_MD SSL方法利用标签变化率选择相对确定的样本进行标 注，但是从这些相对确定的样本中选择出来的类中心样本并不一定能 影响当前分类器的分类面，并且有可能添加标签错误的样本影响分类 器的性能，因此该方法收敛相对较慢，精度结果相对较差，最终的精 度只有87.45％。

主动学习和半监督学习协同方法，在主动学习过程中采用了基于 不确定性和差异性的采样策略，确保选择既有信息量又有代表性的有 价值样本；在半监督学习选择伪标签样本时，通过半监督学习采样策 略，选择了对当前SVM分类器的分类面产生重要影响的未标签样本， 既具有一定的信息量，又去掉了大量冗余样本；在两者协同中，通过 主动学习分类结果和半监督分类结果的一致性验证过程保证了所加 入伪标签样本的正确性，所以相对其他的结合方法该协同方法可以完 成更快地收敛，并获得更高的分类精度，适用于海冰遥感图像分类。 图4的实验结果验证了该方法的优势。

为了更清晰地展示CATSVM方法对海冰分类的效果，本文对格 陵兰岛巴芬湾海域进行海冰分类实验。如图5，图5(a)是该海域高 光谱图像部分范围通过波段159、194、208组成的海冰图像；图5(b) 是Landsat-8数据采用标准的SVM分类器获得的海冰分类结果图，并作为评估分类性能的基准图。图5(c)是基于本文建议的方法获得 的高光谱海冰图像分类结果。表1是CATSVM方法与四种主动学习 方法和其他AL+SSL方法的Kappa系数对比。从表中我们可以看出， AL+SSL方法的的Kappa系数整体上高于单独采用AL方法，而本发 明所提CATSVM方法的Kappa系数高于其他所有方法，也就是说 CATSVM方法得到的分类结果与基准图像具有更高的一致性，进一 步验证了该方法的有效性。

表1CATSVM方法和其他方法的最终Kappa系数结果

本实验中海冰分类的总体分类精度可达90.003％，最终的Kappa 系数为0.6966。该结果表明本文建议的方法通过协同主动学习和半监 督学习方法，充分利用了两者的优势，可以获得较好的分类效果，有 效用于遥感海冰图像分类。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制， 本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出 没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专 利法的保护。

Claims (4)

1.一种协同主动学习和直推式支持向量机的海冰检测方法，其特征是，包括有以下步骤：

S1、读取遥感海冰图像数据获取样本，并用光谱特征项向量表示每个样本，对样本集合归一化到0至1之间；根据像素点的海冰类别标记样本的海冰类别，从样本中按比例随机选取若干样本并标记作为初始的标签训练样本集L，样本中剩余作为未标签样本集U；并利用网格参数寻优方法确定支持向量机SVM的惩罚参数C和径向基核参数γ；

S2、初始化网络参数，包括：维度、拓扑结构、迭代学习次数、神经元距离函数、初始邻域值；并利用标签训练样本集L中所有的标记样本训练SOM神经网络；

S3、初始化定义伪标签样本集TSVM未标签训练样本集未标签样本侯选集用标签训练样本集L、伪标签样本集P与TSVM未标签训练样本集S共同训练TSVM分类器；

S4、TSVM分类器通过半监督学习采样策略Q2从未标签样本集U中查询一定数量的样本并更新TSVM未标签训练样本集S和未标签样本集U：更新未标签样本候选集CP：CP＝CP∪S，并用TSVM分类器对CP中的样本预测得到对应的结果label₂；

S5、根据预测得到相应的label₂标签集中的每类标签的数量设置TSVM训练过程中的参数N⁺，参数N⁺表示TSVM未标签训练样本集S中正类样本的数量；用标签训练样本集L、伪标签样本集P、TSVM未标签训练样本集S和参数N⁺更新训练TSVM分类器；

S6、经过训练的TSVM分类器结合BvSB、SOM神经网络和ECBD准则通过主动学习采样策略Q1从未标签样本集U中查找一定数量的样本进行标注，更新标签训练样本集L和未标签样本集U：

S7、用更新后的标签训练样本集L训练SVM分类器，并用SVM分类器对未标签样本候选集CP中的样本预测得到对应的结果label₁；

S8、对预测分类结果label₁及label₂经一致性验证得到伪标签样本集P，P＝{X_i|label₁(X_i)＝＝label₂(X_i),X_i∈CP}；

S9、对未标签样本集U进行判断，在时或者达到给定的迭代次数时停止；反之返回S4。

2.根据权利要求1所述的协同主动学习和直推式支持向量机的海冰检测方法，其特征是，S4中半监督学习采样策略Q2具体过程如下：

A1、根据TSVM分类器和公式C(x)＝f₁(x)-f₂(x)、公式H＝{x|x∈U,0≤C(x)≤2}从未标签样本集U中选出前t个C(x)的最大值并且在分类器的分类面之间的样本组成集合J；其中：x代表未标签样本；f₁(x)和f₂(x)是样本x的最大和次大决策函数值；通过给定的C(x)选取信息量高的半标签样本，并且C(x)的值越接近2表示样本的分布越靠近分类边缘的附近，样本更能够优化分类超平面；

A2、从集合J中选出相应的C(x)的值最大的样本x_up，并将x_up作为所选一定数量的样本集合中的第一个样本，

A3、对于集合J中的每个样本x，根据核余弦相似性准则计算样本x和集合中样本x_i最大的核余弦角值选择所有最大核余弦角值中的最小值所对应的样本x作为x_up，即： 核余弦相似性准则表示如下：

式中，k(x,x_i)是SVM核函数，选取径向基核函数作为SVM的核函数；

A4、将选出来的样本x_up加入集合中，直到中的样本数量等于预设值。

3.根据权利要求1所述的协同主动学习和直推式支持向量机的海冰检测方法，其特征是：S2中在网络训练阶段的收敛处，通过使用权重向量来计算输出层中每个神经元到其相邻神经元的平均近邻距离；神经元w_k的平均近邻距离用来表示：

其中，表示输出层中的神经元k的r阶邻域范围内的神经元集合。

4.根据权利要求3所述的协同主动学习和直推式支持向量机的海冰检测方法，其特征是，S6中主动学习采样策略Q1具体过程如下：

B1、通过TSVM分类器和BvSB准则从未标签样本集U中选出一批不确定性最高并且映射到SOM神经网络不同神经元上的样本；

B2、从所选的样本中选择平均近邻距离最大的部分样本；

B3、利用ECBD差异性准则从部分样本中选择一些处于核空间聚类中心的样本组成集合进行标注。