CN110263151B - 一种面向多视角多标签数据的隐语义学习方法 - Google Patents

Abstract

本发明提供了一种面向多视角多标签数据的隐语义学习方法，包括：读取多视角多标签数据作为预处理器的输入，然后进行数据预处理，并将预处理结果输入到训练器中，学习得到隐语义子空间和训练后的模型。预测未标注多视角数据的标签时，将未标注的多视角数据进行预处理，然后输入到训练好的模型中预测得到多标签类别。本发明中提出了一种融合多个视角信息的学习和多标签分类方法，将输入特征和输出多标签映射到共同的潜在语义子空间中。该方法能够处理高维稀疏数据所带来的维数灾难问题，同时融合多视角信息对多标签数据进行分类。

Description

一种面向多视角多标签数据的隐语义学习方法

技术领域

本发明一般涉及网络中的矩阵分析、正交约束方法及最优化方法，更具体地, 涉及一种面向多视角多标签数据的隐语义学习方法。

背景技术

近年来，以大数据、物联网、人工智能、5G为核心特征的数字化浪潮正席卷全球，由此带来了各个领域的海量数据。因此针对图像领域的分类问题、视频概念的自动标注一直受到学术界和工业界热切关注。而随着音乐数据库的规模和数量的增长，情感检索音乐已成为移动设备的歌曲选择、音乐推荐系统、电视广播节目和音乐治疗等各种应用的重要任务。多视角多标签学习在这些场景都是需要的，因为现实中很多数据并不是来自单一信息源，也不仅仅只有单一的标签，多视角多标签学习有很多实际应用需求例如：对文章的主题分类可以用于个性化推荐，对视频进行标注以及用于音乐个性化推荐系统，融合多视角和多标签数据有利于提高分类任务的准确性。

对于多视角多标签数据的融合，主要存在以下几个难点：

1.数据高维稀疏。任务中的数据往往分布在一个高维稀疏空间中，不太方便处理，维度太高导致采用的分类模型的复杂度也相应增高，最终导致分类模型容易过拟合。

2.多视角数据的融合。普遍认为不同视角之间信息是互补的，通过融合不同视角的数据可以提升学习效果，现有的方法效果并不是很理想，如何有效地融合多视角信息成为了急需解决的问题。

3.隐语义空间的学习。隐语义空间学习的主要问题，就是如何将特征从高维空间压缩到低维空间，需要保留什么样的信息，设定什么样的准则。

多视角多标签学习的基本目标就是解决上述信息处理存在的困难。然而，现有的方法中，还没有一个有效的方法能够高效地解决以上的问题。目前提出了有监督的LSI特征映射方法进行多标签分类，该方法通过将文本信息融合标签信息映射到低维隐语义子空间，然后再用线性SVM分类器分别对每个标签进行分类，这种方法有考虑到标签之间的相关性，然而没有考虑到多视角数据。另有人提出通过学习多视角间的互补属性，得到一个低维的平滑嵌入，但是这种方法缺失了多标签信息。最后目前提出一种基于矩阵分解的多视角多标签学习方法，学习多视角的共同表示，然而这种方法没有考虑到高维稀疏数据。综上，现有的机器学习学习方法的主要局限性就是没办法融合多视角多标签信息学习得到低维隐语义空间。

发明内容

为了克服现有技术不能有效融合多视角多标签信息学习得到低维隐语义空间的缺陷，本发明提出一种面向多视角多标签数据的隐语义学习方法。

为解决上述技术问题，本发明采用的技术方案是：

一种面向多视角多标签数据的隐语义空间学习方法，包括以下步骤：

S1.读取多视角多标签数据进行预处理，预处理部分去除文本数据的停用词并通过关键词权重计算算法(TF-IDF)将数据向量化，将预处理得到的特征向量化结果作为方法的输入；

S2.构建面向多视角多标签数据的隐语义学习模型；

S3.模型训练，通过交替方向乘子法(ADMM)和bregman迭代将带约束的隐语义空间学习问题转换成无约束的多组变量交替求解的子问题，并且通过奇异值分解更新隐语义空间；

S4.将迭代得到的W矩阵和C矩阵用于对新输入的多视角数据的预测。

优选的，所述的S2包括以下步骤：基于将数据映射到低维空间最小化重构误差的原理，构建融合不同视角和特点的分类器，同时结合多标签的相关性，构建面向多视角多标签数据的隐语义学习模型。

优选的，所述的隐语义学习模型如下：

γ＝1...Γ

其中，定义Γ为视角个数，γ＝1,...,Γ是相应的视角，X＝[X₁,...,X_Γ]是输入不同视角的特征矩阵，αγ是不同视角对应的权重系数，V为隐语义空间，I为单位矩阵，同时令W＝[W₁,...,W_Γ]为各个视角对应的权重矩阵，Y为输入特征矩阵对应的多标签矩阵，当标签为正时Y的元素值取值为1，标签为负时Y的元素值取值为-1；A＝[A₁,...,A_Γ]表示为每个视角到隐语义空间的转换矩阵，C表示为多标签到隐语义空间的转换矩阵。

优选的，所述的S3包括以下步骤：

S31.学习模块通过交替方向乘子法(ADMM)和迭代推导得到迭代解析式：

其中，对偶变量B使得原始问题可以被分解成子问题，采用交替优化的方式，将优化问题的求解变成较小的局部子问题求解，将局部子问题的解以协同的方式，用于恢复原始大尺度的优化问题的解；其中I为单位矩阵，r为正则化系数，n 为矩阵的行数，m为矩阵的列数，k表示第k次迭代，Γ为视角个数，γ,γ'＝1,...,Γ是相应的视角，

为左奇异值矩阵、

为右奇异值矩阵、

为单位矩阵；

S32.对矩阵A，C，W和对偶变量B进行初始化；

S33.按照上述迭代解析式2-4交替更新包括W_γ,A_γ,C在内的不同视角的投影转换矩阵；

S34.融合多视角数据和对偶变量B，并对Z矩阵进行奇异值分解,得到的左奇异值矩阵

右奇异值矩阵

和单位矩阵

S35.利用步骤S34中奇异值分解得到的左奇异值矩阵

和右奇异值矩阵

重构得到隐语义空间V；

S36.更新对偶变量B_k；

S37.重复执行以上步骤S33到步骤S36直到方法收敛。

优选的，所述的S4包括以下内容：

针对未标注的新样本

输入，根据步骤S3中得到的 W＝[W₁,...,W_Γ]和C计算：

为预测得到的多标签数据，大于0的元素则为属于该类别，小于0的则不属于此类别。

与现有技术相比，本发明技术方案的有益效果是：

1)本发明融合了多视角多标签数据；2)能够处理学习高维稀疏的数据；3) 能够学习得到数据潜在的语义空间。克服了之前方法存在的不足与局限性。而且学习到的隐语义空间是低维度的，解决了多视角多标签学习中存在的问题：高维度、高度稀疏。隐语义空间融合了多视角信息的互补性，从而解决了多视角互补性的问题。

附图说明

图1为实施方式中面向多视角多标签数据的隐语义学习方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，仅用于示例性说明，不能理解为对本专利的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本发明实施提供一种融合多视角多标签信息的隐语义空间学习方法，包括：

读取多视角多标签信息，然后学习多视角信息的投影矩阵，本发明涉及多个视角的学习，含有多组需要更新的变量，同时模型中对于学习得到的隐语义空间带有正交约束，因而引入交替方向乘子法和bregman迭代来进行优化求解。ADMM 采用分解坐标法的方式，将优化问题的求解变成较小的局部子问题求解，然后这些局部子问题的解以协同的方式，用于恢复原始大尺度的优化问题的解。对于每一个视角相关的变量更新至误差小于某一阈值时停止更新。之后学习得到隐语义空间，引入bregman迭代对隐语义空间的正交约束进行优化求解。然后对通过 bregman迭代得到的更新变量进行奇异值分解来生成最后的隐语义空间。对于学习得到的隐语义空间，做预测时我们可以通过将原始高维稀疏数据映射到隐语义空间中，再通过其他机器学习方法如线性支持向量机进行学习，或者可以直接通过矩阵分析的方式直接得到预测标签。

实施例2

本实施例提供的融合多视角多标签信息的隐语义空间学习方法与实施例1 相同，仅对方法中的各个步骤进行进一步限定。

步骤S1：数据预处理，读取多视角多标签数据进行预处理，预处理部分去除文本数据的停用词并通过TF-IDF算法将数据向量化，将预处理得到的特征向量化结果作为方法的输入；

步骤S2：构建面向多视角多标签数据的隐语义学习模型；基于将数据映射到低维空间最小化重构误差保留尽可能多的信息的原理，构建了融合不同视角和特点的分类器，同时结合多标签的相关性，本发明优化如下带约束目标函数：

γ＝1...Γ

在上述模型(1)中，定义Γ为视角个数，γ＝1,...,Γ是相应的视角， X＝[X₁,...,X_Γ]是输入不同视角的特征矩阵，α_γ是不同视角对应的权重系数，V 为隐语义空间，I为单位矩阵，同时令W＝[W₁,...,W_Γ]为各个视角对应的权重矩阵。Y为输入特征矩阵对应的多标签矩阵，当标签为正时Y的元素值取值为1，标签为负时Y的元素值取值为-1。A＝[A₁,...,A_Γ]表示为每个视角到隐语义空间的转换矩阵，C表示为多标签到隐语义空间的转换矩阵。

步骤S3：通过交替方向乘子法和bregman迭代将带约束的隐语义空间学习问题转换成无约束的多组变量交替求解的子问题，并且通过奇异值分解更新隐语义空间；

采用交替优化的方式，将优化问题的求解变成较小的局部子问题求解，将局部子问题的解以协同的方式，用于恢复原始大尺度的优化问题的解，I为单位矩阵，r为正则化系数，n为矩阵的行数，m为矩阵的列数，k表示第k次迭代，Γ为视角个数，γ,γ'＝1,...,Γ是相应的视角，

为左奇异值矩阵、

为右奇异值矩阵、

为单位矩阵；

S32.对矩阵A，C，W和对偶变量B进行初始化；

S33.按照上述迭代解析式2-4交替更新包括W_γ,A_γ,C在内的不同视角的投影转换矩阵；

S34.融合多视角数据和对偶变量B，并对Z矩阵进行奇异值分解,得到的左奇异值矩阵

右奇异值矩阵

和单位矩阵

S35.利用步骤S34中奇异值分解得到的左奇异值矩阵

和右奇异值矩阵

重构得到隐语义空间V；

S36.更新对偶变量B_k；

S37.重复执行以上步骤S33到步骤S36直到方法收敛。

步骤S4：模型预测

针对未标注的新样本

输入，由步骤S3中得到的W＝[W₁,...,W_Γ] 和C计算：

为预测得到的多标签数据，大于0的元素则为属于该类别，小于0的则不属于此类别。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种面向多视角多标签数据的隐语义空间学习方法，其特征在于，包括以下步骤：

S1.读取多视角多标签数据进行预处理，预处理部分去除文本数据的停用词并通过关键词权重计算算法将数据向量化，将预处理得到的特征向量化结果作为方法的输入；

S2.构建面向多视角多标签数据的隐语义学习模型；

所述的隐语义学习模型如下：

γ＝1...Γ

其中，定义Γ为视角个数，γ＝1,...,Γ是相应的视角，X＝[X₁,...,X_Γ]是输入不同视角的特征矩阵，α_γ是不同视角对应的权重系数，V为隐语义空间，I为单位矩阵，同时令W＝[W₁,...,W_Γ]为各个视角对应的权重矩阵，Y为输入特征矩阵对应的多标签矩阵，当标签为正时Y的元素值取值为1，标签为负时Y的元素值取值为-1；A＝[A₁,...,A_Γ]表示为每个视角到隐语义空间的转换矩阵，C表示为多标签到隐语义空间的转换矩阵；

S3.进行模型训练：通过交替方向乘子法和bregman迭代将带约束的隐语义空间学习问题转换成无约束的多组变量交替求解的子问题，并且通过奇异值分解更新隐语义空间，得到模型迭代后的矩阵；具体的步骤包括：

S31.学习模块通过交替方向乘子法和迭代推导得到迭代解析式：

其中，对偶变量B使得原始问题可以被分解成子问题，采用交替优化的方式，将优化问题的求解变成较小的局部子问题求解，将局部子问题的解以协同的方式，用于恢复原始大尺度的优化问题的解；其中I为单位矩阵，r为正则化系数，n为矩阵的行数，m为矩阵的列数，k表示第k次迭代，Γ为视角个数，γ和γ'是相应的视角，其取值为1,...,Γ，

为左奇异值矩阵、

为右奇异值矩阵、

为单位矩阵；

S32.对矩阵A，C，W和对偶变量B进行初始化；

S33.按照上述迭代解析式2-4交替更新包括W_γ,A_γ,C在内的不同视角的投影转换矩阵；

S34.融合多视角数据和对偶变量B，并对Z矩阵进行奇异值分解,得到的左奇异值矩阵

右奇异值矩阵

和单位矩阵

S35.利用步骤S34中奇异值分解得到的左奇异值矩阵

和右奇异值矩阵

重构得到隐语义空间V；

S36.更新对偶变量B_k；

S37.重复执行以上步骤S33到步骤S36直到方法收敛；

S4.将模型迭代得到的矩阵用于对新输入的多视角多标签数据的预测。

2.根据权利要求1所述的面向多视角多标签数据的隐语义空间学习方法，其特征在于，所述的S2包括以下步骤：基于将数据映射到低维空间最小化重构误差的原理，构建融合不同视角和特点的分类器，同时结合多标签的相关性，构建面向多视角多标签数据的隐语义学习模型。

3.根据权利要求1所述的面向多视角多标签数据的隐语义空间学习方法，其特征在于，所述的S4包括以下内容：

针对未标注的新样本

输入，根据步骤S3中得到的W＝[W₁,...,W_Γ]和C计算：

为预测得到的多标签数据，大于0的元素则为属于此类别，小于0的则不属于此类别。

Images