CN109934304B - 一种基于超限隐特征模型的盲领域图像样本分类方法 - Google Patents

Abstract

本发明公开了一种基于超限隐特征模型的盲领域图像样本分类方法，该方法采用了跨领域数据生成与增广策略，高效地降低不同数据领域之间的偏差。具体地说，超限隐特征模型将ELM和ELM‑AE(基于ELM的自编码器)纳入统一的优化模型，继承了ELM和ELM‑AE的优点，并且可以在保护原始数据信息的情况下得到良好的图像分类和图像重建效果，具有图像分类能力和图像重建能力，且能够更好地揭示原始图像数据和高级语义之间的潜在关系，减少信息丢失，提高图像分类精度。本发明利用超限隐特征模型解决盲领域适配问题，融合跨领域知识，有效降低不同领域数据之间的领域偏差，提高了盲领域数据分类准确率。

Description

一种基于超限隐特征模型的盲领域图像样本分类方法

技术领域

本发明涉及图像分类和智能优化技术领域，更具体地说，涉及一种基于超 限隐特征模型的盲领域图像样本分类方法。

背景技术

在计算机视觉领域，人们往往采集来自多个领域的数据，在分布上存在差 异。传统机器学习方法假设训练集和测试集服从相同的分布，该假设在现实中 往往难以得到满足，跨领域图像识别是目前计算机视觉领域研究热点，领域适 配是解决跨领域图像识别问题，它是迁移学习的研究内容之一，侧重于解决特 征空间一致、类别空间一致，仅特征分布不一致的问题。

领域适配的基本方法主要包括两类，一类是特征表达层面的领域适配，这 类方法从不同领域数据特征之间的联系出发，研究如何利用特征表达上的交集 来解决特征分布不一致的问题，通过特征变换的方式实现源领域和目标领域知 识的互相迁移，或者将源领域和目标领域的数据变换到统一的特征空间中，典 型算法有采样测地线流(SampleGeodesic Flow,SGF)、测地线流式核方法 (Geodesic Flow Kernel,GFK)、隐稀疏领域迁移(Latent Sparse Domain Transfer,LSDT以及子空间对齐(Subspace Alignment,SA)等。第二类是分 类器层面的领域适配，这类方法假设在源领域构建的分类模型，其参数经过调整能够适用于目标领域的分类任务，这类方法的核心在于构建参数共享的模型， 提高源领域模型在目标领域的泛化能力，代表性算法包括自适应支持向量机(Adaptive SupportVector Machine,ASVM)、领域适配机(Domain Adaptation Machine,DAM)、自适应多核学习(Adaptive Multiple Kernel,AMK)以及 超限领域适配(Extreme Domain Adaptation,EDA)等。从目标领域有无标签 信息这一角度，领域适配主要分为两类：半监督领域适配和无监督领域适配。 现有的半监督及无监督领域适配方法适用于存在较多的目标领域数据可用于 模型训练时的场景。当目标领域数据量严重不足时，现有领域适配模型的性能 将大打折扣。因此，亟待研究盲领域适配问题。

发明内容

为解决上述技术问题，本发明提供一种基于超限隐特征模型的盲领域图像 样本分类方法。

为实现上述目的，本发明所采用的具体技术方案如下：

一种基于超限隐特征模型的盲领域图像样本分类方法，包括如下步骤：

S1：源领域超限隐特征模型训练阶段，获取用于进行模型训练的源领域图 像数据矩阵X_source、相应的标签矩阵T_source，以及超限学习机的隐藏节点根据 所述图像数据矩阵X_source输出的隐含层输出矩阵H_source；

S2：根据超限学习机和基于超限学习机的自编码器，为源领域超限隐特征 模型设置图像数据输入通道、图像分类输出通道以及图像输出重建通道；

S3：基于X_source、T_source以及H_source建立所述图像分类输出通道和所述图 像输出重建通道的联合超限隐特征优化模型；

S4：利用交错方向法对所述联合超限隐特征优化模型的模型参数进行更新， 得到所述图像分类输出通道和所述图像输出重建通道的优化模型参数；

S5：根据所述优化模型参数构建所述源领域超限隐特征模型；

S6:目标领域图像样本适配阶段，将待识别的目标领域图像数据矩阵输入 所述源领域超限隐特征模型的图像数据输入通道，并从所述源领域超限隐特征 模型的图像输出重建通道得到原始目标领域图像样本在源领域的重建生成样 本矩阵；

S7：将所述目标领域图像数据矩阵与所述重建生成样本矩阵进行融合得到 原始目标领域图像样本的增广样本矩阵；

S8：将所述增广样本矩阵输入所述源领域超限隐特征模型的图像数据输入 通道，并从所述源领域超限隐特征模型的图像分类输出通道得到对应的分类结 果。

可选的，所述原始目标领域图像样本的增广样本矩阵为z_target＝x_target+ x′_target，其中，z_target表示增广样本矩阵，x_target表示输入所述图像数据输入通 道的目标领域图像数据矩阵，x′_target表示所述源领域超限隐特征模型根据所述 目标领域图像数据矩阵从所述图像输出重建通道输出的重建生成样本矩阵。

可选的，所述源领域超限隐特征模型的图像输出重建通道的输出 为:x′_target＝h_target Q^TP；

所述源领域超限隐特征模型的图像分类输出通道的输出为：t_target＝ h′_targetQ^TR；

其中，h_target表示源领域超限隐特征模型输入通道输入的目标领域图像数 据矩阵x_target的隐含层输出向量，h′_target表示源领域超限隐特征模型输入通道 输入的增广样本矩阵z_target的隐含层输出向量，Q表示源领域隐特征变换矩阵， R表示源领域数据分类矩阵，P表示源领域数据重建矩阵，t_target表示目标领域 图像数据矩阵x_target的预测标签向量。

可选的，所述联合超限隐特征优化模型为：

s.t.X_source＝H_source Q^TP+E,Q^TR＝β,P^TP＝I；

其中，α、λ以及γ表示惩罚参数，E表示误差矩阵，β表示输出权重矩阵，

表示矩阵Frobenius范数的平方，即矩阵元素的平方和。

可选的，步骤S4中引入辅助变量得到联合超限隐特征优化学习模型的增 广拉格朗日函数模型，所述增广拉格朗日函数模型为：

s.t.P^TP＝I；

其中，μ表示惩罚参数，Y₁和Y₂表示拉格朗日乘子，<·>表示矩阵的内积运 算；

步骤S4中基于所述增广拉格朗日函数模型利用交错方向法依次更新β、P、 Q、R、E、Y₁、Y₂以及μ，直到收敛时停止优化，并将当前确定的Q和R作为 所述源领域图像分类输出通道的优化模型参数，将当前确定的Q和P作为所述 源领域图像输出重建通道的优化模型参数。

本发明提供出了一种基于超限隐特征模型的盲领域图像样本分类方法，超 限隐特征模型将超限学习机与基于超限学习机的自编码器纳入一个联合学习 模型中，能够更好地揭示原始图像数据和高级语义之间的潜在关系，减少信息 丢失，提高图像分类精度并具备优异的图像数据重建能力，基于超限隐特征模 型进行盲领域样本的生成与增广，降低领域偏差，提高了盲领域适配图像分类 精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本实施例提供的基于超限隐特征模型的盲领域图像样本分类方法 的流程示意图；

图2为本实施例提供的超限隐特征模型的网络构架图。

具体实施方式

为了使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合 附图及具体实施例进行详细描述，应当理解，此处所描述的具体实施例仅仅用 以解释本发明，并不用于限定本发明。

本实施例提供了一种基于超限隐特征模型的盲领域图像样本分类方法，请 参见图1所示，包括如下步骤：

S1：源领域超限隐特征模型训练阶段，获取用于进行模型训练的源领域图 像数据矩阵、相应的标签矩阵，以及超限学习机的隐藏节点根据该图像数据矩 阵输出的隐含层输出矩阵。

具体的，获取用于进行源领域模型训练的图像数据集，也即源领域图像数 据矩阵

样本数为N，维度为d， 隐含层输入权值向量w_i和隐层节点偏移量b_i，进行随机赋值，其大小范围是[-1,+1]，将训练样本集输入输入层，隐含层节点数为L。得到隐含层输出矩 阵

其中第j个样 本的隐含层输出为

i取1,2…L,G(·)为激活函数， 可选Sigmoid函数作为激活函数。X_source对应的标签矩阵为

C为源领域训练数据集的类别数量。

S2：根据超限学习机和基于超限学习机的自编码器，为超限隐特征学习模 型设置图像数据输入通道、图像分类输出通道以及图像输出重建通道。

S3：基于X_source、T_source以及H_source建立图像分类输出通道和图像输出重 建通道的联合超限隐特征优化模型。

本实施例中建立的联合超限隐特征优化模型为：

s.t.X_source＝H_source Q^TP+E,Q^TR＝β,P^TP＝I；

其中，α、λ以及γ表示惩罚参数，E表示误差矩阵，β表示输出权重矩阵，

表示矩阵Frobenius范数的平方，即矩阵元素的平方和，Q表示源领域隐 特征变换矩阵，R表示源领域数据分类矩阵，P表示源领域数据重建矩阵。

S4：利用交错方向法对联合超限隐特征优化模型的模型参数进行更新，得 到超限隐特征模型的图像分类输出通道和图像输出重建通道的优化模型参数。

可选的，步骤S4中可以引入辅助变量得到联合超限隐特征优化模型的增 广拉格朗日函数模型，增广拉格朗日函数模型为：

s.t.P^TP＝I

其中，α、λ以及C表示模型平衡参数，为正实数，μ表示惩罚参数，Y₁和 Y₂表示拉格朗日乘子，

表示矩阵Frobenius范数的平方,即矩阵元素的平 方和，<·>表示矩阵内积运算，E表示误差矩阵；

步骤S4中可以基于增广拉格朗日函数模型利用交错方向法依次更新β、P、 Q、R、E、Y₁、Y₂以及μ，直到收敛时停止优化，并将当前确定的Q和R作为 源领域图像分类输出通道的优化模型参数，将当前确定的Q和P作为源领域图 像输出重建通道的优化模型参数。

具体的，步骤S4中可以通过以下步骤依次更新β、P、Q、R、E、Y₁、Y₂以 及μ：

应当说明的是，下述

都是在上述

的基础上，通过 优化一个变量而固定其他变量得到的。

优化步骤1：其他变量固定，以常量处理。通过解决下述公式更新矩阵β；

对β求导数，令

得到：

优化步骤2：其他变量固定，以常量处理。通过解决下述公式更新矩阵P；

令

得

P＝UV^T

其中U和V由对B^TA做奇异值分解得到，即UΣV^T＝SVD(B^TA)

优化步骤3：其他变量固定，以常量处理。通过解决下述公式更新矩阵Q；

令

对Q求导，令

得到

(αI+μRR^T)Q+μQH^TH＝μ(RN^T+PM^TH)

这一问题为经典的Sylvester方程问题，通过现有的优化工具包予以求解。

优化步骤4：其他变量固定，以常量处理。通过解决下述公式更新矩阵R；

对R求导数，令

得到：

R＝(I+μQQ^T)^-1(μQβ-QY₂)

优化步骤5：其他变量固定，以常量处理。通过解决下述公式更新矩阵E；

对E求导数，令

得到，

优化步骤6：对β,P,Q,R,E依次更新完毕后，对Y₁、Y₂和μ进行更新，通过 下述公式：

其中ρ≥1，ρ表示惩罚参数调节因子，迭代运行上述步骤，直到收敛时更 新优化停止，得到最终的Q、P、R。

本实施例的收敛条件可以是判断迭代次数是否达到预设次数阈值，如是， 则停止优化。

S5：根据上述步骤得到的优化模型参数构建源领域超限隐特征学习模型。

S6:目标领域图像样本适配阶段，将待识别的目标领域图像数据矩阵输入 源领域超限隐特征模型的图像数据输入通道，并从源领域超限隐特征模型的图 像输出重建通道得到原始目标领域图像样本在源领域的重建生成样本矩阵。

本实施例中源领域超限隐特征模型的图像输出重建通道的输出 为:x′_target＝h_target Q^TP；源领域超限隐特征模型的图像分类输出通道的输出 为：t_target＝h′_target Q^TR；其中，h_target表示源领域超限隐特征模型输入通道输 入的目标领域图像数据矩阵x_target的隐含层输出向量，h′_target表示源领域超限 隐特征模型输入通道输入的增广样本矩阵z_target的隐含层输出向量，Q表示源 领域隐特征变换矩阵，R表示源领域数据分类矩阵，P表示源领域数据重建矩 阵，t_target表示目标领域图像数据矩阵x_target的预测标签向量，x_target表示输入所述图像数据输入通道的目标领域图像数据矩阵，x′_target表示所述源领域超限 隐特征模型根据所述目标领域图像数据矩阵从所述图像输出重建通道输出的 重建生成样本矩阵。

S7：将目标领域图像数据矩阵与该重建生成样本矩阵进行融合得到原始目 标领域图像样本的增广样本矩阵。

原始目标领域图像样本的增广样本矩阵为z_target＝x_target+x′_target，z_target表示增广样本矩阵。

S8：将增广样本矩阵输入源领域超限隐特征模型的图像数据输入通道，并 从源领域超限隐特征模型的图像分类输出通道得到对应的分类结果。

基于超限隐特征模型的盲领域图像样本分类方法，架构如图2所示，包含 一个输入层、两个输出层、隐含层和隐特征层HQ^T，共用一个输入通道和两个 输出通道。之后通过联合学习，对网络参数进行更新优化。

本实施例所提供的方法以超限隐特征模型为基础，设计盲领域样本生成与 增广策略，降低了领域偏差，提高了跨领域图像识别的准确率。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述 的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本 领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保 护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (2)

1.一种基于超限隐特征模型的盲领域图像样本分类方法，其特征在于，包括如下步骤：

S1：源领域超限隐特征模型训练阶段，获取用于进行模型训练的源领域图像数据矩阵X_source、相应的标签矩阵T_source，以及超限学习机的隐藏节点根据所述图像数据矩阵X_source输出的隐含层输出矩阵H_source；

S2：根据超限学习机和基于超限学习机的自编码器，为源领域超限隐特征模型设置图像数据输入通道、图像分类输出通道以及图像输出重建通道；

S3：基于X_source、T_source以及H_source建立所述图像分类输出通道和所述图像输出重建通道的联合超限隐特征优化模型；

S4：利用交错方向法对所述联合超限隐特征优化模型的模型参数进行更新，得到所述图像分类输出通道和所述图像输出重建通道的优化模型参数；

S5：根据所述优化模型参数构建所述源领域超限隐特征模型；

S6:目标领域图像样本适配阶段，将待识别的目标领域图像数据矩阵输入所述源领域超限隐特征模型的图像数据输入通道，并从所述源领域超限隐特征模型的图像输出重建通道得到原始目标领域图像样本在源领域的重建生成样本矩阵；

S7：将所述目标领域图像数据矩阵与所述重建生成样本矩阵进行融合得到原始目标领域图像样本的增广样本矩阵；

S8：将所述增广样本矩阵输入所述源领域超限隐特征模型的图像数据输入通道，并从所述源领域超限隐特征模型的图像分类输出通道得到对应的分类结果；

所述原始目标领域图像样本的增广样本矩阵为z_target＝x_target+x′_target，其中，z_target表示增广样本矩阵，x_target表示输入所述图像数据输入通道的目标领域图像数据矩阵，x′_target表示所述源领域超限隐特征模型根据所述目标领域图像数据矩阵从所述图像输出重建通道输出的重建生成样本矩阵；

所述源领域超限隐特征模型的图像输出重建通道的输出为:x′_target＝h_targetQ^TP；

所述源领域超限隐特征模型的图像分类输出通道的输出为：t_target＝h′_targetQ^TR；

其中，h_target表示源领域超限隐特征模型输入通道输入的目标领域图像数据矩阵x_target的隐含层输出向量，h′_target表示源领域超限隐特征模型输入通道输入的增广样本矩阵z_target的隐含层输出向量，Q表示源领域隐特征变换矩阵，R表示源领域数据分类矩阵，P表示源领域数据重建矩阵，t_target表示目标领域图像数据矩阵x_target的预测标签向量；

所述联合超限隐特征优化模型为：

s.t.X_source＝H_sourceQ^TP+E,Q^TR＝β,P^TP＝I；

其中，α、λ以及γ表示惩罚参数，E表示误差矩阵，β表示输出权重矩阵，

表示矩阵Frobenius范数的平方，即矩阵元素的平方和。

2.如权利要求1所述的基于超限隐特征模型的盲领域图像样本分类方法，其特征在于，步骤S4中引入辅助变量得到联合超限隐特征优化学习模型的增广拉格朗日函数模型，所述增广拉格朗日函数模型为：

s.t.P^TP＝I；

其中，μ表示惩罚参数，Y₁和Y₂表示拉格朗日乘子，<·>表示矩阵的内积运算；

步骤S4中基于所述增广拉格朗日函数模型利用交错方向法依次更新β、P、Q、R、E、Y₁、Y₂以及μ，直到收敛时停止优化，并将当前确定的Q和R作为所述源领域图像分类输出通道的优化模型参数，将当前确定的Q和P作为所述源领域图像输出重建通道的优化模型参数。

Images