CN110705591A

CN110705591A - 一种基于最优子空间学习的异构迁移学习方法

Info

Publication number: CN110705591A
Application number: CN201910825981.6A
Authority: CN
Inventors: 吴庆耀; 闫玉光; 毕朝阳
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2019-03-09
Filing date: 2019-09-03
Publication date: 2020-01-17

Abstract

本发明公开了一种基于最优子空间的异构迁移学习方法。所述方法包括：从数据库中取出用于异构迁移学习的源域和目标域数据；基于典型关联分析和多分类损失函数构建模型，使得目标函数表现为既能找出两个域最关联的特征映射子空间，又能使该特征空间中的特征具有强分类能力；对目标函数进行等价转化，以简化模型；对简化后的模型进行处理，使用交替方向乘子法将整个模型的优化问题分为三个子问题，求解得到三个子问题中参数变量的更新解；最后对整个问题进行迭代更新以收敛到最优。该方法较好的结合了知识迁移能力以及模型分类能力两个特点，并能较好的用于困难的异构迁移学习场景，在实际场景的应用中有很强的分类学习和数据标注能力。

Description

一种基于最优子空间学习的异构迁移学习方法

技术领域

本发明涉及异构迁移学习和半监督迁移学习领域,具体涉及一种基于最优子空间学习的异构迁移学习方法。

背景技术

近年来，人工智能技术迅猛发展，在多种实地应用场景下起到了很强的作用。人工智能技术的核心是其算法的学习以及预测。然而，随着实际应用场景的多样性和复杂性的增加。传统人工智能算法的短板越来越突出。这主要是由于传统人工智能算法是假设所学习的数据是服从同一分布的，只有服从这样的假设才能够表现出良好的结果。然而，实际应用中由于不同时间不同地域等各种原因造成数据往往是不完全服从同一分布的，这就需要迁移学习技术把学习到的知识从源域应用到目标域。一类比较困难且很有价值的实际问题是源域和目标域不仅分布有差异，且其数据的特征也不相同，这就是异构的迁移学习问题。目前有不少的研究者关注到这个问题，但有效解决该问题的方法非常有限。比如文字与图片两种数据，其特征不同即表现形式不同，但他们的实际意义可能相同，如何学习到一个领域的知识并能够去对另外一个领域的数据进行预测，具有极强的研究价值和实际意义。

发明内容

本发明的目的是提供一种基于最优子空间学习的异构迁移学习方法，克服现有技术存在的不足。

本发明的目的可以采取以下技术方案实现。

一种基于最优子空间学习的异构迁移学习方法，包括以下步骤：

S1：从数据库中获取用于迁移学习的源域和目标域数据，并基于典型关联分析方法(CCA)构建目标函数为最优子空间与分类学习相结合的模型；

S2：将已得到的模型进行合理地等价转化，使问题求解得到简化，并初始化模型参数，设定惩罚系数、平衡系数超参数；

S3：根据提出的模型得到目标域中未标记数据的假类标，并对模型的参数进行迭代优化以更新模型与假类标；

S4：重复步骤S2中的算法直到算法收敛，得到最终的模型，使用最终的模型对所有未标记的目标域数据进行预测。

作为一种具体的实施方案，步骤S1中，所述获取数据及构建模型的步骤为：

S11：从数据库中取出数据，分为源域和目标域数据，其中源域数据

表示为：

此处S代表源域，n_S为数据个数，y_S,i∈{1,...,K}为类别空间，数据维度为d_S；目标域数据仅有少量有类别标记，其中已标记的数据表示为

L代表目标域的有标记样本空间，n_L为该空间数据个数，y_L,i∈{1,...,K}为类别空间；未标记数据表示为

U代表目标域的无标记样本空间,n_U为该空间数据个数；目标域数据维度均为d_T，两个域的类别空间一致，即两个域数据所属的可能类别相同；

S12：基于典型关联分析方法，找出两个域最关联的特征映射子空间，即从源域和目标域中分别选出n个数据映射到领域共享空间d_C中，使得两个域的数据相关性最大，典型关联分析方法的目标函数表示为：

其中X_S和X_T分别为在源域

和有标注目标域中取得的样本矩阵，维度分别为d_S×n和d_T×n，I为单位矩阵，P和Q分别为源域数据和目标域数据的特征映射矩阵，由于优化问题常表示为最小化，典型关联分析方法的目标函数可转化为：

其中

指矩阵的Frobenius范数的平方。

S13：利用步骤S12中获得的映射矩阵P，将已标记的目标数据的特征进行维度扩充。对于第i个有标注目标域数据样本x_L,i，用上标～表示其维度扩充后的数据形式,即

维度为d_C+d_T，利用扩充后的数据构建相应的交叉熵损失模型，其损失为：

其中K是类别总数，w_k与w_yL,i是模型参数。

类似地，可以将无标记的目标域数据也进行维度扩充

扩充后的未标注目标域数据可以通过上述交叉熵损失模型进行获得预测类标

同样地，利用该模型获得无标记目标域样本的损失：

S14：将典型关联分析方法的目标函数与所求得的交叉熵分类损失函数加权相加，使得模型学习到的特征映射子空间能够实现两个域最相关且在目标域上分类能力最强的目标，

这里w是分类模型的参数，C为惩罚系数，γ为平衡系数，是人为设定的超参数。

得到的目标函数存在非凸优化和正交约束，不能直接求解，需进行合理等价转化。

作为一种具体的实施方案，步骤S2中，所述合理转化模型的方法为：

S21：分别求得源域和目标域数据矩阵的奇异值分解矩阵，求解公式如下：

其中，随有标注目标域样本矩阵的分解，U_T,1对应非零奇异值的左奇异向量、U_T,2为对应零奇异值的左奇异向量，Σ_T是非零奇异值、V_T是右奇异向量；U_S,1、

Σ_S分别为源域样本的的左、右奇异向量和奇异值。

S22：使两个分解后的右奇异矩阵相乘并对所得到的矩阵进行奇异值分解，求解公式如下：

其中Z₁、

Σ分别是相乘矩阵做奇异值分解得到的左、右奇异向量和奇异值。

S23：将S12步骤中通过最小化目标函数获得的两个特征映射矩阵P、Q用奇异值分解后的矩阵进行表示：

P＝A_TΘ+B_TΦ_T

Q＝A_SΘ+B_SΦ_S

其中有

其中:为MATLAB风格的切片，Θ为正交矩阵，Φ_S和Φ_T为任意矩阵；

分别为Σ_T、Σ_S的逆矩阵。

S24：由P和Q得到的等价变换可以得到模型目标函数的合理转化为

s.t.Θ^TΘ＝I

作为一种具体的实施方案，其特征在于步骤S3中，所述迭代优化方法如下：

S31：将模型的目标函数进行预处理，构建一个矩阵其中

目标函数等价为

S32：使用交替方向乘子法(ADMM)进行处理，增广拉格朗日乘子式为

其中Δ是对偶向量，ρ是惩罚系数；

S33：ADMM的更新分为三个子问题，分别为三组参数向量的更新

其中子问题(1)可以用拟牛顿法LBFGS及MATLAB中的minfunc工具包进行求解，子问题(3)可直接求解，子问题(2)的求解用SVD分解得到UΣV^T＝Θ+Δ，将SVD分解得到的左右奇异向量相乘UV^T即为子问题(2)的解。

本发明从数据库中取出用于异构迁移学习的源域和目标域数据，其中目标域数据仅有少量样本被标记。基于典型关联分析和多分类损失函数构建模型，使得目标函数表现为既能找出两个域最关联的特征映射子空间，又能使该特征空间中的特征具有强分类能力。由于目标函数非常复杂难以优化，对其进行等价转化，以简化模型。对简化后的模型进行处理，使用交替方向乘子法将整个模型的优化问题分为三个子问题，分别用拟牛顿法、奇异值分解方法等逐一求解得到三个子问题中参数变量的更新解。最后对整个问题进行迭代更新以收敛到最优。该方法较好的结合了知识迁移能力以及模型分类能力两个特点，并能较好的用于困难的异构迁移学习场景，在实际场景的应用中有很强的分类学习和数据标注能力。

与现有技术相比，本发明具有如下优点和技术效果：

本发明是利用典型关联分析的思想，选出源域和目标域之间最关联的映射特征扩充到目标域数据上，并把关联性目标和分类辨别性目标结合起来，能够对异构的源域和目标域起到迁移知识的同时，提升目标分类学习准确率的的作用。

附图说明

图1为本发明实施例的一种基于最优子空间学习的异构迁移学习方法的流程图。

图2为本发明实施例的构建模型的流程图。

图3为本发明实施例中发明方法和常见分类及迁移分类学习方法的性能比对图。

具体实施方式

下面结合实施例及附图对本发明做进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例是一种基于最优子空间学习的异构迁移学习，利用源域图片对目标域图片进行分类的方法，本实施例包括以下步骤：

S1：从数据库中获取用于迁移学习的源域和目标域数据，并基于典型关联分析方法构建目标函数为最优子空间与分类学习相结合的模型，在本实施例中，源域样本和目标域样本都是图像数据。图片本身并不可以直接应用于算法学习之中，首先需要对这些样本进行特征的提取。源域样本数量足够，可以使用模型学习的方式自动得到便于分类的图像特征，本实施例中使用DeCAF神经网络进行学习提取；目标域样本的数量不足，不能训练出好的特征提取器，只能采用人工特征提取模式。本例中使用加速稳健特征(SURF)方法提取目标域图像的特征；如图2所示，本实施例1中的源域和目标域数据虽然均为图片，但是由于特征提取方法不同，它们的特征空间也不同，因此两个域是异构的。

如图2所示，所述获取源域和目标域数据及构建模型的步骤为：

表示为：

此处S代表源域，在本实施例中，源域是有标注的图片，n_S为数据个数，y_S,i∈{1,...,K}为类别空间，经过DeCAF神经网络模型特征提取后，源域样本的数据维度为d_S；目标域数字图片仅有少量有类别标记，其中已标记的数据表示为

L代表目标域的有标记样本空间，n_L为该空间数据个数，y_L,i∈{1,...,K}为类别空间；未标记的图片表示为

U代表目标域的无标记样本空间,n_U为该空间数据个数；目标域采用加速稳健特征SURF进行特征提取，数据维度均为d_T，两个域的类别空间一致，即两个域数据所属的可能类别相同；

其中X_S和X_T分别为在源域

和有标注目标域

中取得的样本矩阵，维度分别为d_S×n和d_T×n，I为单位矩阵，P和Q分别为源域数据和目标域数据的特征映射矩阵，由于优化问题常表示为最小化，典型关联分析方法的目标函数可转化为：

其中

指矩阵的Frobenius范数的平方。

S13：利用步骤S12中获得的映射矩阵P，将已标记的目标数据的特征进行维度扩充。对于第i个有标注目标域图片数据样本x_L,i，用上标～表示其维度扩充后的数据形式,即

其中K是类别总数，w_k与w_yL,i是模型参数。

类似地，可以将无标记的目标域数据也进行维度扩充

扩充后的未标注目标域数据

可以通过上述交叉熵损失模型进行获得预测类标

同样地，利用该模型获得无标记目标域样本的损失：

所述合理转化模型的具体方法为：

Σ_S分别为源域样本的的左、右奇异向量和奇异值。

其中Z₁、

P＝A_TΘ+B_TΦ_T

Q＝A_SΘ+B_SΦ_S

其中有

其中:为MATLAB风格的切片，Θ为正交矩阵，Φ_S和Φ_T为任意矩阵；分别为Σ_T、Σ_S的逆矩阵。

s.t.Θ^TΘ＝I

所述迭代优化方法如下：

S31：将模型的目标函数进行预处理，构建一个矩阵

其中

目标函数等价为

其中Δ是对偶向量，ρ是惩罚系数；

S33：ADMM的更新分为三个子问题，分别为三组参数向量的更新

通过对上述优化方法进行迭代更新至收敛，模型能成功学习到从源域图片到目标域图片的特征映射子空间。该空间包含两个域最相关且在目标域上分类能力最强的目标，因此该模型能够对目标域未标注图片进行分类。如图3所示，在目标域只有三个有标注样本的前提下，采用标注样本直接学习分类器(图3中SVM分类器、Softmax分类器)，准确率较低。采用本专利所提出方法，利用异构源域信息辅助目标域图片分类，相对其他常用迁移学习方法(典型关联分析CCA+Softmax、半监督异构特征增强算法SHFA与跨域地标选择算法CDLS)，也能得到较高的平均准确率提升。因此，本发明能够有效利用源域的图片及其标注信息，将知识迁移到目标领域当中，以获得更好的分类实效。

以上所述，仅为本发明优选的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方法及其发明专利构思加以等同替换或改变，都属于本发明的保护范围。