CN109919324B

CN109919324B - 基于标签比例学习的迁移学习分类方法、系统及设备

Info

Publication number: CN109919324B
Application number: CN201910171706.7A
Authority: CN
Inventors: 汪槐沛; 肖燕珊; 刘波; 梁飞; 苌征; 尹子键; 郝志峰
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-03-07
Filing date: 2019-03-07
Publication date: 2023-07-25
Anticipated expiration: 2039-03-07
Also published as: CN109919324A

Abstract

本申请公开了一种基于标签比例学习的迁移学习分类方法、系统及设备和介质，方法包括：获取两个具有预设关联关系的标签比例数据集，从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；利用预设训练算法对原任务数据集和目标任务数据集进行训练，并利用迁移学习将原任务对应的知识迁移至目标任务，构建得到目标分类函数；利用目标分类函数对待识别实例的标签进行预测；其中，待识别实例包括：文本、图像。本申请首先确定原任务数据集和目标任务数据集，将原任务知识迁移至目标任务，以利用原任务的知识帮助目标任务构建目标分类函数，也即，本申请能将迁移学习与标签比例学习结合，有效地提高了分类精度。

Description

基于标签比例学习的迁移学习分类方法、系统及设备

技术领域

本申请涉及数据挖掘技术领域，更具体地说，涉及一种基于标签比例学习的迁移学习分类方法、系统及一种电子设备和一种计算机可读存储介质。

背景技术

标签比例学习(Learning with Label Proportions)与监督学习、半监督学习、非监督学习不同，是一种包学习问题，在标签比例学习问题中，每个样本被分到不同的包中，但只有每个包中的某类样本所占的比例信息是已知的，学习的主要目的是通过训练模型得到包中每个样本的标签，因为不需要知道获取的样本中每个样本的标签，因此在实际应用中发挥了重要的作用。例如：在商业银行基金客户数据中并未标记具体某个客户是否为重要客户，但通常情况下基金客户管理者根据以往的管理经验可以估计出所有的基金客户中重要客户所占的比例，可以利用仅有的这个比例去挖掘和识别基金客户中重要客户，这对于有效解决隐私保护下的重要基金客户识别问题提供了一种新途径，具有明显的现实意义及实践价值。

近年来，迁移学习(Transfer Learning)已经引起了广泛的关注和研究，它是运用已存有的知识对不同但相关领域问题进行求解的新的一种机器学习方法。如图1a、图1b所示，图1a中传统机器学习试图从一开始就学习和训练每一个任务，而图1b迁移学习则试图将原任务中(Source task)的知识迁移到目标任务(Target task)。

关于标签比例学习已经做了很多工作，目前的标签比例学习方法，如MeanMap方法、Alter-∝SVM方法还有Conv-∝SVM方法，以上算法均将标签比例学习视为单一任务，不能解决迁移学习问题，可能会造成分类效果不理想。

因此，如何解决上述问题是本领域技术人员需要重点关注的。

发明内容

本申请的目的在于提供一种基于标签比例学习的迁移学习分类方法、系统及一种电子设备和一种计算机可读存储介质，有效地提高了分类精度。

为实现上述目的，本申请提供了一种基于标签比例学习的迁移学习分类方法，包括：

获取两个具有预设关联关系的标签比例数据集，并从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；

利用预设训练算法对所述原任务数据集和所述目标任务数据集进行训练，并利用迁移学习将所述原任务对应的知识迁移至所述目标任务，构建得到所述目标任务对应的目标分类函数；

利用所述目标分类函数对待识别实例的标签进行预测；其中，所述待识别实例包括：文本、图像。

可选的，所述利用预设训练算法对所述原任务数据集和所述目标任务数据集进行训练，并利用迁移学习将所述原任务对应的知识迁移至所述目标任务，构建得到所述目标任务对应的目标分类函数，包括：

分别确定所述原任务数据集和所述目标任务数据集中包的个数以及包中正示例的比例；

基于所述个数和所述比例，利用SVR算法对所述原任务数据集和所述目标任务数据集进行训练，并将所述知识迁移至所述目标任务，构建得到所述目标分类函数。

可选的，所述基于所述个数和所述比例，利用SVR算法对所述原任务数据集和所述目标任务数据集进行训练，并利用迁移学习将所述原任务对应的知识迁移至所述目标任务，构建得到所述目标分类函数，包括：

基于第一公式确定特殊参数和公共参数；其中，所述第一公式为：

约束条件为：

其中，w₀为所述公共参数；v₁、v₂为所述特殊参数；λ₁，λ₂＞0为用来控制原任务和目标任务的比重的参数；C₁和C₂为边缘与经验损失的权衡参数；t₁为所述原任务数据集中包的个数；t₂为所述目标任务数据集中包的个数；ξ为松弛变量；为关于所述松弛变量ξ的凸损失函数；x_i、y_i分别为包的第i个示例及其标签；ε为最大可容忍损失；p为所述比例；B_i ^s为所述原任务数据集；B_m ^t为所述目标任务数据集；

利用所述特殊参数和所述公共参数确定所述目标分类函数为：f(x)＝sign(<w₂，x＞+b₂)；

其中，b₂为偏差。

可选的，所述基于第一公式确定特殊参数和公共参数，包括：

通过引入增广拉格朗日乘子，利用所述第一公式得到第二公式；其中，所述第二公式为：

其中，为拉格朗日乘子，/>

根据所述第二公式确定所述增广拉格朗日乘子，并利用所述第三公式确定所述特殊参数和所述公共参数；其中，所述第三公式为：

w₂＝w₀+v₂。

可选的，所述从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集之后，还包括：

对所述原任务数据集和所述目标任务数据集进行滤波、去噪的预处理操作。

为实现上述目的，本申请提供了一种基于标签比例学习的迁移学习分类系统，包括：

数据获取模块，用于获取两个具有预设关联关系的标签比例数据集，并确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；

函数构建模块，用于利用预设训练算法对所述原任务数据集和所述目标任务数据集进行训练，并利用迁移学习将所述原任务对应的知识迁移至所述目标任务，构建得到所述目标任务对应的目标分类函数；

标签预测模块，用于利用所述目标分类函数对待识别实例的标签进行预测；其中，所述待识别实例包括：文本、图像。

可选的，所述函数构建模块，包括：

确定单元，用于分别确定所述原任务数据集和所述目标任务数据集中包的个数以及包中正示例的比例；

数据训练单元，用于基于所述个数和所述比例，利用SVR算法对所述原任务数据集和所述目标任务数据集进行训练，并将所述知识迁移至所述目标任务，构建得到所述目标分类函数。

可选的，还包括：

数据预处理模块，用于在从所述标签比例数据集中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集之后，对所述原任务数据集和所述目标任务数据集进行滤波、去噪的预处理操作。

为实现上述目的，本申请提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如前述公开的任一种基于标签比例学习的迁移学习分类方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述公开的任一种基于标签比例学习的迁移学习分类方法的步骤。

通过以上方案可知，本申请提供的一种基于标签比例学习的迁移学习分类方法，包括：获取两个具有预设关联关系的标签比例数据集，并从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；利用预设训练算法对所述原任务数据集和所述目标任务数据集进行训练，并利用迁移学习将所述原任务对应的知识迁移至所述目标任务，构建得到所述目标任务对应的目标分类函数；利用所述目标分类函数对待识别实例的标签进行预测；其中，所述待识别实例包括：文本、图像。本申请首先确定原任务数据集和目标任务数据集，进一步将原任务的知识迁移至目标任务，以利用原任务的知识帮助目标任务构建最终的目标分类函数，也即，本申请能够将迁移学习与标签比例学习结合，从而有效地提高了分类精度。

本申请还公开了一种基于标签比例学习的迁移学习分类系统及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a、图1b为现有技术中迁移学习的示意图；

图2为本申请实施例公开的一种基于标签比例学习的迁移学习分类方法的流程图；

图3为本申请实施例公开的另一种基于标签比例学习的迁移学习分类方法中函数训练过程的流程图；

图4为本申请实施例公开的又一种基于标签比例学习的迁移学习分类方法的流程图；

图5为本申请实施例公开的一种基于标签比例学习的迁移学习分类系统的结构图；

图6为本申请实施例公开的一种电子设备的结构图；

图7为本申请实施例公开的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，关于标签比例学习已经做了很多工作，目前的标签比例学习方法，如MeanMap方法、Alter-∝SVM方法还有Conv-∝SVM方法，以上算法均将标签比例学习视为单一任务，不能解决迁移学习问题，可能会造成分类效果不理想。

因此，本申请实施例公开了一种基于标签比例学习的迁移学习分类方法，有效地提高了分类精度。

参见图2，本申请实施例公开的一种基于标签比例学习的迁移学习分类方法的流程图，如图2所示，包括：

S101：获取两个具有预设关联关系的标签比例数据集，并从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；

本步骤中，获取两个具有预设关联关系的标签比例数据集，预设关联关系具体可以为一定的相关性。进一步从标签比例数据集中确定原任务和目标任务分别对应的原任务数据集和目标任务数据集。

S102：利用预设训练算法对原任务数据集和目标任务数据集进行训练，并利用迁移学习将原任务对应的知识迁移至目标任务，构建得到目标任务对应的目标分类函数；

本实施例中，利用预设训练算法基于原任务的知识在目标任务数据集上进行训练，并利用算法获取原任务数据集对应的知识，基于迁移学习将原任务知识迁移至目标任务，其中，知识可以为原任务数据集的数据特征，或原任务对应的分类器的发展趋势等信息。

由于原任务数据集和目标任务数据集具有相关性，因此可利用原任务的知识帮助目标任务构建对应的分类函数，从而利用最终得到的分类函数预设待识别实例的标签。

S103：利用目标分类函数对待识别实例的标签进行预测；其中，待识别实例包括：文本、图像。

可以理解的是，本实施例最终确定的分类函数可以用于解决各类实际问题中，例如，文本处理，可以根据web网页内容类型进行分类，或根据邮件内容过滤垃圾邮件等，图像处理：可以对图片进行分类并添加标签。

本申请实施例公开了另一种基于标签比例学习的迁移学习分类方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图3，本申请实施例提供的另一种基于标签比例学习的迁移学习分类方法中函数训练过程的流程图，如图3所示，包括：

S201：分别确定原任务数据集和目标任务数据集中包的个数以及包中正示例的比例；

本步骤中，首先确定数据集中包的个数，以及包中正示例的比例。假设现有一个原任务S的数据集其中t₁表示该数据集中包的个数，表示包中正示例的比例。同样的，也有一个目标任务T的数据集/>其中t₂表示该任务数据集中包的个数。具体地，可采用B_i和P_i分别表示数据集的第i个包和包中正示例的比例，用x_i和y_i表示包的第i个示例及其标签。对于数据集D＝{x₁，x₂，...，x_n}我们以下形式给出：

S202：基于包的个数以及包中正示例的比例，利用SVR算法对原任务数据集和目标任务数据集进行训练，并利用迁移学习将原任务对应的知识迁移至目标任务，构建得到目标任务对应的目标分类函数。

进一步地，利用SVR算法进行函数的训练，具体的训练过程如下：

步骤1，基于第一公式确定特殊参数和公共参数；其中，所述第一公式为：

约束条件为：

其中，w₀为所述公共参数；v₁、v₂为所述特殊参数；λ₁，λ₂＞0为用来控制原任务和目标任务的比重的参数；C₁和C₂为边缘与经验损失的权衡参数；t₁为所述原任务数据集中包的个数；t₂为所述目标任务数据集中包的个数；ξ为松弛变量；为关于所述松弛变量ξ的凸损失函数；ε为最大可容忍损失；/>p为所述比例；B_i ^s为所述原任务数据集；B_m ^t为所述目标任务数据集；

本实施例中，由于通过第一公式无法直接解出特殊参数和公共参数，通过引入增广拉格朗日乘子，利用所述第一公式得到第二公式；其中，所述第二公式为：

其中，为拉格朗日乘子，/>

进一步地，根据第二公式求解确定所述增广拉格朗日乘子，并利用第三公式确定特殊参数和公共参数；其中，第三公式为：

w₂＝w₀+v₂。

步骤2，利用所述特殊参数和所述公共参数确定所述目标分类函数为：f(x)＝sign(＜w₂，x＞+b₂)；

其中，b₂为偏差。

本申请实施例公开了又一种基于标签比例学习的迁移学习分类方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图4，本申请实施例提供的又一种基于标签比例学习的迁移学习分类方法的流程图，如图4所示，包括：

S301：获取两个具有预设关联关系的标签比例数据集，并从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；

S302：对原任务数据集和目标任务数据集进行滤波、去噪的预处理操作；

可以理解的是，本实施例在函数的学习训练之前，没有忽略数据集中存在的噪声，而是对原任务数据集和目标任务数据集进行相应的滤波、去噪预处理操作，具体可以使用损失函数来实现去噪的目的。

S303：利用预设训练算法对原任务数据集和目标任务数据集进行训练，并利用迁移学习将原任务对应的知识迁移至目标任务，构建得到目标任务对应的目标分类函数；

S304：利用目标分类函数对待识别实例的标签进行预测；其中，待识别实例包括：文本、图像。

下面以具体的实验对本申请公开的基于标签比例学习的迁移学习分类方法进行验证，实验采用的数据集为20Newsgroups和Reuters-21578数据集。20Newsgroups数据集是用于文本分类、文本挖据和信息检索研究的国际标准数据集之一。数据集收集了大约20,000左右的新闻组文档，均匀分为20个不同主题的新闻组集合，每种类别的新闻包含1000篇文章。有一些新闻之间是相关的，比如Sci.elec vs.Sci.med；有一些新闻是不相关的，比如Sci.crypt vs.Alt.atheism。Reuters-21578数据集包含路透社新闻文章，该语料共有5个分类体系，每个类别包含不同的子类别。对于以上文本数据集我们需要重新组织为适用于数据标签比例的数据集，如表1所示。为了充分比较本申请公开的方法和其它数据标签比例分类方法的分类性能，还对本申请公开的方法和其它分类方法进行了性能对比。以分类准确率为标准，具体实验结果可参见下表2所示。

本申请公开的方法为TP-LLP，从表2可看出，本申请公开的TP-LLP方法分类准确率比其他标签比例学习方法(Mean Map，InvCal和Alter-SVM)的分类准确度都高。

表1

(接上表)

Dataset ID	Source Task	Size	Attributes	Target task	Size	Attributes
							Dataset 4	People(1)	1800	240	People(2)	600	240
Dataset 5	Orgs(1)	1800	240	Orgs(2)	600	240
							Dataset 6	People(1)	1800	240	Places(1)	600	240

表2

Dataset ID	Mean Map	InvCal	Alter-SVM	TP-LLP
					Dataset 1	63.14	64.95	73.57	76.36
Dataset 2	66.42	69.73	68.34	75.32
					Dataset 3	62.33	65.37	68.43	72.11
Dataset 4	75.46	76.25	76.12	80.72
					Dataset 5	73.21	73.82	75.31	82.39
Dataset 6	70.47	75.74	77.51	79.31

下面对本申请实施例提供的一种基于标签比例学习的迁移学习分类系统进行介绍，下文描述的一种基于标签比例学习的迁移学习分类系统与上文描述的一种基于标签比例学习的迁移学习分类方法可以相互参照。

参见图5，本申请实施例提供的一种基于标签比例学习的迁移学习分类系统的结构图，如图5所示，包括：

数据获取模块100，用于获取两个具有预设关联关系的标签比例数据集，并从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；

函数构建模块200，用于利用预设训练算法对所述原任务数据集和所述目标任务数据集进行训练，并利用迁移学习将所述原任务对应的知识迁移至所述目标任务，构建得到所述目标任务对应的目标分类函数；

标签预测模块300，用于利用所述目标分类函数对待识别实例的标签进行预测；其中，所述待识别实例包括：文本、图像。

进一步地，本申请提供的基于标签比例学习的迁移学习分类系统中的函数构建模块可以包括：

进一步地，本申请提供的基于标签比例学习的迁移学习分类系统还可以包括：

本申请还提供了一种电子设备，参见图6，本申请实施例提供的一种电子设备的结构图，如图6所示，包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时可以实现上述公开的任一种基于标签比例学习的迁移学习分类方法的步骤。

具体的，存储器11包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令，该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器12在一些实施例中可以是一中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，为电子设备提供计算和控制能力。

在上述实施例的基础上，作为优选实施方式，参见图7，所述电子设备还包括：

输入接口13，与处理器12相连，用于获取外部导入的计算机程序、参数和指令，经处理器12控制保存至存储器11中。该输入接口13可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。

显示单元14，与处理器12相连，用于显示处理器12处理的数据以及用于显示可视化的用户界面。该显示单元14可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。

网络端口15，与处理器12相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。

图7仅示出了具有组件11-15的电子设备，本领域技术人员可以理解的是，图7示出的结构并不构成对电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述公开的任一种基于标签比例学习的迁移学习分类方法的步骤。

本申请首先确定原任务数据集和目标任务数据集，进一步将原任务的知识迁移至目标任务，以利用原任务的知识帮助目标任务构建最终的目标分类函数，也即，本申请能够将迁移学习与标签比例学习结合，从而有效地提高了分类精度。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种基于标签比例学习的迁移学习分类方法，其特征在于，包括：

利用所述目标分类函数对待识别实例的标签进行预测；其中，所述待识别实例包括：文本、图像；

所述利用预设训练算法对所述原任务数据集和所述目标任务数据集进行训练，并利用迁移学习将所述原任务对应的知识迁移至所述目标任务，构建得到所述目标任务对应的目标分类函数，包括：

2.根据权利要求1所述的迁移学习分类方法，其特征在于，所述从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集之后，还包括：

3.一种基于标签比例学习的迁移学习分类系统，其特征在于，包括：

数据获取模块，用于获取两个具有预设关联关系的标签比例数据集，并从中确定原任务对应的原任务数据集和目标任务对应的目标任务数据集；

标签预测模块，用于利用所述目标分类函数对待识别实例的标签进行预测；其中，所述待识别实例包括：文本、图像；

4.根据权利要求3所述的迁移学习分类系统，其特征在于，还包括：

5.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述基于标签比例学习的迁移学习分类方法的步骤。

6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述基于标签比例学习的迁移学习分类方法的步骤。