CN110414624A - 基于多任务学习的分类模型构建方法及装置 - Google Patents
基于多任务学习的分类模型构建方法及装置 Download PDFInfo
- Publication number
- CN110414624A CN110414624A CN201910721477.1A CN201910721477A CN110414624A CN 110414624 A CN110414624 A CN 110414624A CN 201910721477 A CN201910721477 A CN 201910721477A CN 110414624 A CN110414624 A CN 110414624A
- Authority
- CN
- China
- Prior art keywords
- task
- disaggregated model
- equation
- data group
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于多任务学习的分类模型构建方法,包括:获取目标任务的训练数据组,以及与目标任务对应的各个关联任务的训练数据组;每个训练数据组包含关键特征数据集合及非关键特征数据集合;关键特征集合中包含该训练数据组所属任务的各个关键任务特征,非关键特征集合包含该训练数据组所述任务的各个非关键任务特征;依据目标任务的训练数据组及各个关联任务的训练数据组构建分类模型。应用本发明提供的基于多任务学习的分类模型构建方法,能够应用目标任务及关联任务的关键任务特征数据及非关键特征数据构建分类模型,提高训练样本的利用率,进而能有效的提升分类模型的分类准确率。
Description
技术领域
本发明涉及机器学习领域,特别涉及一种基于多任务学习的分类模型构建方法及装置。
背景技术
随着信息技术的发展,机器学习越来越广泛的应用在各个领域中,例如图像识别、肌电信号识别、脑电信号识别、文本识别及语音识别等等,有助于提高人们的工作效率及生活质量,对人们的生活产生了天翻地覆的影响。传统的机器学习中,存在单任务学习方法,即专注于从一项任务中学习,以构建模型;而基于单任务的模型构建分类器识别精度往往不高。
现有技术中,为了避免单任务学习的分类器识别精度不高的问题,会采用多任务学习的方法进行模型构建。与单任务学习相比,多任务学习可以更好地利用各个关联的任务中包含的关联信息来帮助构建分类模型,使得分类模型具有较好的分类性能,然而,经本发明人研究发现,在多任务学习中,构建分类模型时,往往会受到训练样本不足的影响,使得分类模型的分类效果受到限制。
发明内容
本发明所要解决的技术问题是提供一种基于多任务学习的分类模型构建方法,能够应用目标任务及关联任务的关键任务特征数据及非关键特征数据构建分类模型,提高训练样本的利用率,进而能有效的提升分类模型的分类准确率。
本发明还提供了一种基于多任务学习的分类模型构建装置,用以保证上述方法在实际中的实现及应用。
一种基于多任务学习的分类模型构建方法,包括:
当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征;
确定与所述目标任务相对应的待训练分类模型函数;
基于预先设置的约束条件及所述待训练分类模型函数,得到目标方程;
应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;
基于所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。
上述的方法,可选的,所述当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,包括:
解析所述分类模型构建指令,得到与所述分类模型构建指令对应的指令信息;
基于所述指令信息遍历预先设置的数据存储区域,以获取与所述分类模型构建指令对应的预先存储的训练数据集。
上述的方法,可选的,所述应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程,包括:
获取预先设置的各个拉格朗日乘子;
将所述拉格朗日乘子代入至所述目标方程中,以得到与所述目标方程对应的拉格朗日方程;
对所述拉格朗日方程中的各个参数进行求导,以得到各个所述参数的代数式;
将各个所述代数式代入至所述目标方程中,得到与所述目标方程对应的对偶方程。
上述的方法,可选的,所述基于所述训练数据集对所述对偶方程进行求解,得到所述目标任务对应的分类模型,包括:
依次将各个任务的训练数据组包含的第一特征集合及第二特征集合,输入至所述对偶方程中,以得到各个目标方程的各个参数值;
将已确定参数值的目标方程封装为与所述目标任务对应的分类模型。
上述的方法,可选的,还包括:
应用所述分类模型对所述训练数据集进行分类,以得到所述分类模型的分类准确率;
将所述分类准确率与预先设置的分类准确率阈值进行比较,若所述分类准确率小于预设的分类准确率阈值,则应用所述训练数据集对所述分类模型进行训练。
一种基于多任务学习的分类模型构建装置,包括:
获取单元,用于当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征;
确定单元,用于确定与所述目标任务相对应的待训练分类模型函数;
第一生成单元,用于依据预先设置的约束条件及所述待训练分类模型函数,得到目标方程;
第二生成单元,应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;
第三生成单元,用于依据所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。
上述的装置,可选的,所述获取单元,包括:
解析子单元,用于解析所述分类模型构建指令,得到与所述分类模型构建指令对应的指令信息;
第一获取子单元,用于依据所述指令信息遍历预先设置的数据存储区域,以获取与所述分类模型构建指令对应的预先存储的训练数据集。
上述的装置,可选的,所述第二生成单元,包括:
第二获取子单元,用于获取预先设置的各个拉格朗日乘子;
第一运算子单元,用于将所述拉格朗日乘子代入至所述目标方程中,以得到与所述目标方程对应的拉格朗日方程;
第二运算子单元,用于对所述拉格朗日方程中的各个参数进行求导,以得到各个所述参数的代数式;
第三运算子单元,用于将各个所述代数式代入至所述目标方程中,得到与所述目标方程对应的对偶方程。
上述的装置,可选的,所述第三生成单元,包括:
输入子单元,用于依次将各个任务的训练数据组包含的第一特征集合及第二特征集合,输入至所述对偶方程中,以得到各个目标方程的各个参数值;
确定子单元,用于将已确定参数值的目标方程封装为与所述目标任务对应的分类模型。
上述的装置,可选的,还包括:
分类单元,应用所述分类模型对所述训练数据集进行分类,以得到所述分类模型的分类准确率;
比较单元,用于将所述分类准确率与预先设置的分类准确率阈值进行比较,若所述分类准确率小于预设的分类准确率阈值,则应用所述训练数据集对所述分类模型进行训练。
与现有技术相比,本发明包括以下优点:
本发明提供了一种基于多任务学习的分类模型构建方法,包括:
当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征;确定与所述目标任务相对应的待训练分类模型函数;基于预先设置的约束条件及所述待训练分类模型函数,得到目标方程;应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;基于所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。能够应用目标任务及关联任务的关键任务特征数据及非关键特征数据构建分类模型,提高训练样本的利用率,进而能有效的提升分类模型的分类准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于多任务学习的分类模型构建方法的方法流程图;
图2为本发明提供的一种基于多任务学习的分类模型构建方法的又一方法流程图;
图3为本发明提供的一种基于多任务学习的分类模型构建方法的又一方法流程图;
图4为本发明提供的一种基于多任务学习的分类模型构建装置的结构示意图;
图5为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明可用于众多通用或专用的计算装置环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、包括以上任何装置或设备的分布式计算环境等等。
本发明实施例提供了一种基于多任务学习的分类模型构建方法,该方法可以应用在多种系统平台,其执行主体可以为计算机终端或各种移动设备的处理器,所述方法的方法流程图如图1所示,具体包括:
S101:当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集。
本发明实施例提供的方法中,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征。
本发明实施例提供的方法中,非关键任务特征集合可以为该训练数据所述任务对应的Universum数据,即为不属于与该任务的标签数据。
本发明实施例提供的方法中,目标任务具有多个与其存在关联关系的关联任务。各个任务对应的关键特征数据集合存在关联关系,各个任务对应的各个非关键任务特征不存在关联关系。
本发明实施例提供的方法中,该非关键任务特征可以为不与该训练数据组所属任务关联的特征数据,但可作为分类模型的先验知识。
S102:确定与所述目标任务相对应的待训练分类模型函数。
本发明实施例提供的方法中,该待训练分类模型函数中存在一个或多个待求解参数。该待训练分类模型函数可以技术人员预先设置的。
S103:基于预先设置的约束条件及所述待训练分类模型函数,得到目标方程。
本发明实施例提供的方法中,应用该约束条件对待训练分类模型函数进行约束,可以得到与待分类模型函数对应的目标方程。
S104:应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程。
本发明实施例提供的方法中,应用拉格朗日乘法将目标方程转换为对偶方程。
S105:基于所述训练数据集对所述对偶方程进行求解,得到所述目标任务对应的分类模型。
本发明实施例提供的方法中,通过应用训练数据集对该对偶方程进行求解,可以得到对偶方程中各个待求解参数的参数值,将各个参数值代回原目标方程中可得到该目标任务对应的分类模型。
本发明实施例提供的方法中,可以应用该分类模型对文本数据进行分类。
本发明实施例提供的基于多任务学习的分类模型构建方法,包括:当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征。确定与所述目标任务相对应的待训练分类模型函数;基于预先设置的约束条件及所述待训练分类模型函数,得到目标方程;应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;基于所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。能够应用目标任务及关联任务的关键任务特征数据及非关键特征数据构建分类模型,提高训练样本的利用率,进而能有效的提升分类模型的分类准确率。
本发明实施例提供的方法中,基于上述的实施过程,具体的,当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集的过程,如图2所述,可以包括:
S201:解析所述分类模型构建指令,得到与所述分类模型构建指令对应的指令信息。
本发明实施例提供的方法中,获取到分类模型构建指令时,对该分类模型构建指令进行解析,可以得到该分类模型构建指令对应的指令信息。该指令信息中包含训练数据集的标识。
S202:基于所述指令信息遍历预先设置的数据存储区域,以获取与所述分类模型构建指令对应的预先存储的训练数据集。
本发明实施例提供的方法中,该数据存储区域可以存储一个或多个数据训练集,基于指令信息中的训练集标识,可在该数据存储区域中得到与该分类模型构建指令对应的训练数据集。
本发明实施例提供的方法中,该存储区域中的可以包含 20Newsgroups数据集,Reuters-21578数据集,Web-KB数据集。其中 20Newsgroups数据集包含20个主要类别,每个类别有1000个样本; Reuters-21578数据集是从Reuter新闻线文章中收集,分为五个大类别,每个类别包括多个子类别或数据;Web-KB数据集包含从各大学的计算机科学系收集的网络页面,其中有8282页,分为7类。
本发明实施例提供的方法中,基于上述的实施过程,具体的,应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程,如图3所述,可以包括:
S301:获取预先设置的各个拉格朗日乘子。
本发明实施例提供的方法中,各个拉格朗日乘子为技术人员预先设置的。
S302:将所述拉格朗日乘子代入至所述目标方程中,以得到与所述目标方程对应的拉格朗日方程。
本发明实施例提供的方法中,目标方程可以为:
其中,0,ξit是松弛变量,用于测量每个最终模型对数据的分类的误差;C,D是惩罚参数;T是任务的总数量,U是各个任务对应的非关键任务特征数据的数量,m是每个任务对应的松弛变量的数量;ψut是标记的非关键任务特征数据集合的松弛变量,ψ*ut表示未标记的非关键任务特征数据集合的松弛变量。
本发明实施例提供的方法中,与所述目标方程对应的拉格朗日方程可以为:
其中,αit,βit,γit,θit,Ωit,ηit为拉格朗日乘子。
S303:对所述目标方程中的各个参数进行求导,以得到所述目标方程的各个参数的代数式。
本发明实施例提供的方法中,对分别参数ω0,vt,ξit,ψut,ψ* ut进行一次求导,得到各个参数的代数式,具体如下:
S304:将各个所述代数式代入至所述所述拉格朗日方程中,得到与所述目标方程对应的对偶方程。
本发明实施例提供的方法中,该对偶方程可以为:
s.t.0≤αit≤C,0≤βit≤D,0≤γit≤D
其中,α,β,γ为拉格朗日乘子,α同时也是支持向量;
为核函数,其中δ是狄拉克函数,s,t=1,2,…,T。
本发明实施例提供的方法中,基于上述的实施过程,具体的,基于所述训练数据集对所述对偶方程进行求解,得到所述目标任务对应的分类模型,包括:
依次将各个任务的训练数据组包含的第一特征集合及第二特征集合,输入至所述对偶方程中,以得到各个目标方程的各个参数值;
将已确定参数值的目标方程封装为与所述目标任务对应的分类模型。
本发明实施例提供的方法中,基于上述的实施过程,具体的,还包括:
应用所述分类模型对所述训练数据集进行分类,以得到所述分类模型的分类准确率;
将所述分类准确率与预先设置的分类准确率阈值进行比较,若所述分类准确率小于预设的分类准确率阈值,则应用所述训练数据集对所述分类模型进行训练。
本发明实施例提供的方法中,在构建分类模型过程中,确可以确定目标任务及与目标任务存在关联关系的各个关联任务,获取每个任务的关键任务特征集合Si={xi1,xi2,xi3,…,xin}。然后对于第i个任务,并获取每个任务的非关键任务特征集合Sui={xui1,xui2,xui3,…,xuin},该非关键任务特征集合为universum数据集。将f(x)=wt·x作为每个任务的分类器,其中wt是该任务的最终解,wt=w0+vt,w0是代表一个平均解,当各个任务之间相似程度越来越高时vt就会变小,它是一个相似程度的关联系数。结合上述定义,再利用SVM作为分类器进行模型的构建,确定与目标任务对应的待训练分类模型函数:
yit(ω0+vt)·xit≥1-ξit
(w0+vt)xut≥-δ-ψut
其中,λ1和λ2是正正则化参数;ξit是松弛变量,用于测量每个最终模型对数据的分类的误差;ψut是标记的universum数据的松弛变量,ψ *ut表示未标记的universum数据的松弛变量。这些参数优化了具有universum数据特征的分类器结构。
在待训练分类模型函数中,由于wt=w0+vt,令则可得到:
结合待训练分类模型函数及约束条件我们就得到目标任务对应的目标方程:
yit(ω0+vt)·xit≥1-ξit
(w0+vt)xut≥-δ-ψut
上述各个具体的实现方式,及各个实现方式的衍生过程,均在本发明保护范围内。
与图1所述的方法相对应,本发明实施例还提供了一种基于多任务学习的分类模型构建装置,用于对图1中方法的具体实现,本发明实施例提供的基于多任务学习的分类模型构建装置可以应用计算机终端或各种移动设备中,其结构示意图如图4所示,具体包括:
获取单元401,用于当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征。
确定单元402,用于确定与所述目标任务相对应的待训练分类模型函数;
第一生成单元403,用于依据预先设置的约束条件及所述待训练分类模型函数,得到目标方程;
第二生成单元404,应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;
第三生成单元405,用于依据所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。
本发明实施例提供的基于多任务学习的分类模型构建装置,所述获取单元401,包括:
解析子单元,用于解析所述分类模型构建指令,得到与所述分类模型构建指令对应的指令信息;
第一获取子单元,用于依据所述指令信息遍历预先设置的数据存储区域,以获取与所述分类模型构建指令对应的预先存储的训练数据集。
本发明实施例提供的基于多任务学习的分类模型构建装置,所述第二生成单元404,包括:
第二获取子单元,用于获取预先设置的各个拉格朗日乘子;
第一运算子单元,用于将所述拉格朗日乘子代入至所述目标方程中,以得到与所述目标方程对应的拉格朗日方程;
第二运算子单元,用于对所述拉格朗日方程中的各个参数进行求导,以得到各个所述参数的代数式;
第三运算子单元,用于将各个所述代数式代入至所述目标方程中,得到与所述目标方程对应的对偶方程。
本发明实施例提供的基于多任务学习的分类模型构建装置,所述第三生成单元405,包括:
输入子单元,用于依次将各个任务的训练数据组包含的第一特征集合及第二特征集合,输入至所述对偶方程中,以得到各个目标方程的各个参数值;
确定子单元,用于将已确定参数值的目标方程封装为与所述目标任务对应的分类模型。
本发明实施例提供的基于多任务学习的分类模型构建装置,还包括:
分类单元,应用所述分类模型对所述训练数据集进行分类,以得到所述分类模型的分类准确率;
比较单元,用于将所述分类准确率与预先设置的分类准确率阈值进行比较,若所述分类准确率小于预设的分类准确率阈值,则应用所述训练数据集对所述分类模型进行训练。
本发明实施例提供的基于多任务学习的分类模型构建装置,通过接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征。确定与所述目标任务相对应的待训练分类模型函数;基于预先设置的约束条件及所述待训练分类模型函数,得到目标方程;应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;基于所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。能够应用目标任务及关联任务的关键任务特征数据及非关键特征数据构建分类模型,提高训练样本的利用率,进而能有效的提升分类模型的分类准确率。
本发明实施例还提供了一种电子设备,其结构示意图如图5所示,具体包括存储器501,以及一个或者一个以上的指令502,其中一个或者一个以上指令502存储于存储器501中,且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作:
当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征。
确定与所述目标任务相对应的待训练分类模型函数;
基于预先设置的约束条件及所述待训练分类模型函数,得到目标方程;
应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;
基于所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种基于多任务学习的分类模型构建方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于多任务学习的分类模型构建方法,其特征在于,包括:
当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征;
确定与所述目标任务相对应的待训练分类模型函数;
基于预先设置的约束条件及所述待训练分类模型函数,得到目标方程;
应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;
基于所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。
2.根据权利要求1所述的方法,其特征在于,当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,包括:
解析所述分类模型构建指令,得到与所述分类模型构建指令对应的指令信息;
基于所述指令信息遍历预先设置的数据存储区域,以获取与所述分类模型构建指令对应的预先存储的训练数据集。
3.根据权利要求1所述的方法,其特征在于,应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程,包括:
获取预先设置的各个拉格朗日乘子;
将所述拉格朗日乘子代入至所述目标方程中,以得到与所述目标方程对应的拉格朗日方程;
对所述拉格朗日方程中的各个参数进行求导,以得到各个所述参数的代数式;
将各个所述代数式代入至所述目标方程中,得到与所述目标方程对应的对偶方程。
4.根据权利要求1所述的方法,其特征在于,基于所述训练数据集对所述对偶方程进行求解,得到所述目标任务对应的分类模型,包括:
依次将各个任务的训练数据组包含的第一特征集合及第二特征集合,输入至所述对偶方程中,以得到各个目标方程的各个参数值;
将已确定参数值的目标方程封装为与所述目标任务对应的分类模型。
5.根据权利要求1所述的方法,其特征在于,还包括:
应用所述分类模型对所述训练数据集进行分类,以得到所述分类模型的分类准确率;
将所述分类准确率与预先设置的分类准确率阈值进行比较,若所述分类准确率小于预设的分类准确率阈值,则应用所述训练数据集对所述分类模型进行训练。
6.一种基于多任务学习的分类模型构建装置,其特征在于,包括:
获取单元,用于当接收到对目标任务的分类模型构建指令时,获取与所述分类模型构建指令对应的训练数据集,所述训练数据集包含所述目标任务的训练数据组,以及与所述目标任务对应的各个关联任务的训练数据组;每个所述训练数据组包含关键特征数据集合及非关键特征数据集合;所述关键特征集合中包含该训练数据组所属任务的各个关键任务特征,所述非关键特征集合包含该训练数据组所述任务的各个非关键任务特征;
确定单元,用于确定与所述目标任务相对应的待训练分类模型函数;
第一生成单元,用于依据预先设置的约束条件及所述待训练分类模型函数,得到目标方程;
第二生成单元,应用拉格朗日乘法对所述目标方程进行计算,得到与所述目标方程对应的对偶方程;
第三生成单元,用于依据所述训练数据集对所述对偶方程进行求解,以得到所述目标任务对应的分类模型。
7.根据权利要求6所述的装置,其特征在于,所述获取单元,包括:
解析子单元,用于解析所述分类模型构建指令,得到与所述分类模型构建指令对应的指令信息;
第一获取子单元,用于依据所述指令信息遍历预先设置的数据存储区域,以获取与所述分类模型构建指令对应的预先存储的训练数据集。
8.根据权利要求6所述的装置,其特征在于,所述第二生成单元,包括:
第二获取子单元,用于获取预先设置的各个拉格朗日乘子;
第一运算子单元,用于将所述拉格朗日乘子代入至所述目标方程中,以得到与所述目标方程对应的拉格朗日方程;
第二运算子单元,用于对所述拉格朗日方程中的各个参数进行求导,以得到各个所述参数的代数式;
第三运算子单元,用于将各个所述代数式代入至所述目标方程中,得到与所述目标方程对应的对偶方程。
9.根据权利要求6所述的装置,其特征在于,所述第三生成单元,包括:
输入子单元,用于依次将各个任务的训练数据组包含的第一特征集合及第二特征集合,输入至所述对偶方程中,以得到各个目标方程的各个参数值;
确定子单元,用于将已确定参数值的目标方程封装为与所述目标任务对应的分类模型。
10.根据权利要求6所述的装置,其特征在于,还包括:
分类单元,应用所述分类模型对所述训练数据集进行分类,以得到所述分类模型的分类准确率;
比较单元,用于将所述分类准确率与预先设置的分类准确率阈值进行比较,若所述分类准确率小于预设的分类准确率阈值,则应用所述训练数据集对所述分类模型进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910721477.1A CN110414624A (zh) | 2019-08-06 | 2019-08-06 | 基于多任务学习的分类模型构建方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910721477.1A CN110414624A (zh) | 2019-08-06 | 2019-08-06 | 基于多任务学习的分类模型构建方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110414624A true CN110414624A (zh) | 2019-11-05 |
Family
ID=68366204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910721477.1A Pending CN110414624A (zh) | 2019-08-06 | 2019-08-06 | 基于多任务学习的分类模型构建方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110414624A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400377A (zh) * | 2020-04-27 | 2020-07-10 | 新智数字科技有限公司 | 一种目标数据集的确定方法及装置 |
CN111881968A (zh) * | 2020-07-22 | 2020-11-03 | 平安科技(深圳)有限公司 | 多任务分类方法、装置及相关设备 |
CN111881966A (zh) * | 2020-07-20 | 2020-11-03 | 北京市商汤科技开发有限公司 | 神经网络训练方法、装置、设备和存储介质 |
CN112766490A (zh) * | 2021-01-13 | 2021-05-07 | 深圳前海微众银行股份有限公司 | 特征变量学习方法、装置、设备及计算机可读存储介质 |
CN112766490B (zh) * | 2021-01-13 | 2024-05-24 | 深圳前海微众银行股份有限公司 | 特征变量学习方法、装置、设备及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678580A (zh) * | 2013-12-07 | 2014-03-26 | 浙江大学 | 一种用于文本分类的多任务机器学习方法及其装置 |
CN105260356A (zh) * | 2015-10-10 | 2016-01-20 | 西安交通大学 | 基于多任务学习的中文交互文本情感与话题识别方法 |
CN106295697A (zh) * | 2016-08-10 | 2017-01-04 | 广东工业大学 | 一种基于半监督的迁移学习分类方法 |
CN107392256A (zh) * | 2017-07-31 | 2017-11-24 | 广东工业大学 | 一种图像识别方法及系统 |
CN109063743A (zh) * | 2018-07-06 | 2018-12-21 | 云南大学 | 基于半监督多任务学习的医疗数据分类模型的构建方法 |
CN109344872A (zh) * | 2018-08-31 | 2019-02-15 | 昆明理工大学 | 一种少数民族服装图像的识别方法 |
CN109960808A (zh) * | 2019-03-26 | 2019-07-02 | 广东工业大学 | 一种文本识别方法、装置、设备及计算机可读存储介质 |
-
2019
- 2019-08-06 CN CN201910721477.1A patent/CN110414624A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678580A (zh) * | 2013-12-07 | 2014-03-26 | 浙江大学 | 一种用于文本分类的多任务机器学习方法及其装置 |
CN105260356A (zh) * | 2015-10-10 | 2016-01-20 | 西安交通大学 | 基于多任务学习的中文交互文本情感与话题识别方法 |
CN106295697A (zh) * | 2016-08-10 | 2017-01-04 | 广东工业大学 | 一种基于半监督的迁移学习分类方法 |
CN107392256A (zh) * | 2017-07-31 | 2017-11-24 | 广东工业大学 | 一种图像识别方法及系统 |
CN109063743A (zh) * | 2018-07-06 | 2018-12-21 | 云南大学 | 基于半监督多任务学习的医疗数据分类模型的构建方法 |
CN109344872A (zh) * | 2018-08-31 | 2019-02-15 | 昆明理工大学 | 一种少数民族服装图像的识别方法 |
CN109960808A (zh) * | 2019-03-26 | 2019-07-02 | 广东工业大学 | 一种文本识别方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
CHIEN-LIANG LIU ET AL: "Semi-Supervised Text Classification With Universum Learning", 《IEEE TRANSACTIONS ON CYBERNETICS》 * |
佟乐: "添加 Universum 数据双支持向量机", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400377A (zh) * | 2020-04-27 | 2020-07-10 | 新智数字科技有限公司 | 一种目标数据集的确定方法及装置 |
CN111400377B (zh) * | 2020-04-27 | 2023-09-08 | 新奥新智科技有限公司 | 一种目标数据集的确定方法及装置 |
CN111881966A (zh) * | 2020-07-20 | 2020-11-03 | 北京市商汤科技开发有限公司 | 神经网络训练方法、装置、设备和存储介质 |
CN111881968A (zh) * | 2020-07-22 | 2020-11-03 | 平安科技(深圳)有限公司 | 多任务分类方法、装置及相关设备 |
CN111881968B (zh) * | 2020-07-22 | 2024-04-09 | 平安科技(深圳)有限公司 | 多任务分类方法、装置及相关设备 |
CN112766490A (zh) * | 2021-01-13 | 2021-05-07 | 深圳前海微众银行股份有限公司 | 特征变量学习方法、装置、设备及计算机可读存储介质 |
CN112766490B (zh) * | 2021-01-13 | 2024-05-24 | 深圳前海微众银行股份有限公司 | 特征变量学习方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106940679A (zh) | 数据处理方法及装置 | |
US20220121906A1 (en) | Task-aware neural network architecture search | |
CN110781294A (zh) | 训练语料库细化和增量更新 | |
CN110414624A (zh) | 基于多任务学习的分类模型构建方法及装置 | |
US20210350234A1 (en) | Techniques to detect fusible operators with machine learning | |
CN110347840A (zh) | 投诉文本类别的预测方法、系统、设备和存储介质 | |
CN110196848A (zh) | 一种面向公共资源交易数据的清洗去重方法及其系统 | |
CN109636212B (zh) | 作业实际运行时间的预测方法 | |
CN111340226B (zh) | 一种量化神经网络模型的训练及测试方法、装置及设备 | |
CN106354616A (zh) | 监测应用执行性能的方法、装置及高性能计算系统 | |
CN115130711A (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
CN110866119A (zh) | 一种文章质量的确定方法、装置、电子设备及存储介质 | |
CN111563158A (zh) | 文本排序方法、排序装置、服务器和计算机可读存储介质 | |
CN114880449B (zh) | 智能问答的答复生成方法、装置、电子设备及存储介质 | |
Buriboev et al. | Application of fuzzy logic for problems of evaluating states of a computing system | |
CN103207804A (zh) | 基于集群作业日志的MapReduce负载模拟方法 | |
CN113506023A (zh) | 工作行为数据分析方法、装置、设备及存储介质 | |
CN111767720B (zh) | 一种标题生成方法、计算机及可读存储介质 | |
CN103336726B (zh) | 检测Linux系统中多任务冲突的方法与装置 | |
CN110414621B (zh) | 基于多示例学习的分类器构建方法及装置 | |
CN116820714A (zh) | 一种算力设备的调度方法、装置、设备和存储介质 | |
CN109726824A (zh) | 训练模型的迁移学习方法及终端设备 | |
Hu et al. | An attention-mechanism-based traffic flow prediction scheme for smart city | |
CN112182211B (zh) | 文本分类方法及装置 | |
CN105787101B (zh) | 一种信息处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191105 |
|
RJ01 | Rejection of invention patent application after publication |