CN114020879A - 多源跨领域的文本情感分类网络的训练方法 - Google Patents

Abstract

本发明提供了一种多源跨领域的文本情感分类网络的训练方法，该方法包括：将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征；利用多组源域私有特征和一组共享特征训练初始鉴别网络得到域识别网络，将目标域样本输入多个源域私有特征提取网络得到多组第一私有特征；利用源域拼接特征训练初始分类网络得到情感分类网络；根据第一标签和第二标签的差异训练目标域私有特征提取网络得到目标域的文本情感分类网络。上述多源跨领域的文本情感分类网络的训练方法通过机器学习和深度学习的文本情感分类任务，解决目标域中的标签不足的问题。

Description

多源跨领域的文本情感分类网络的训练方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种多源跨领域的文本情感分类网络的训练方法、多源跨领域的文本情感分类模型、计算机可读介质以及计算机设备。

背景技术

近年来，随着诸多在线评论网站、微博、微信和论坛社区等网络媒体的蓬勃发展，网络上呈现出海量蕴含着丰富情感信息的主观性文本数据。文本的大幅增加为现有的深度学习模型提供了丰富的数据支持，深度学习在情感分析的各项任务中取得了很好的效果。而通过深度学习挖掘出这些文本中的情感信息，可以对学术界和企业都有非常重要的研究意义和应用价值。

在面对特定领域的情感分类任务时，往往缺乏大量的带标签数据，而标注需要消耗大量的人力物力，有时还需要语言学专家的支持，已有的研究已经积累了部分领域的带标签情感数据，完全丢弃这些数据是十分可惜的。因此，将现有的深度学习模型用于特定的领域文本情感分类任务中的基本思路之一就是有效利用其他领域的带标签数据，以摆脱对该领域标注样本的过度依赖，提升模型的泛化能力。然而，在现实情况中，不同领域的分布可能存在很大差异，所以在源领域训练的分类起很难直接用于目标领域的情感分类任务，往往需要执行特定的情感迁移策略，且不同领域之间可能存在不同领域通用的情感特征，可以作为领域迁移的桥梁，从而使得情感迁移成为可能。跨领域文本情感分类作为自然语言处理任务中的重要问题之一，一直都是学术界和企业界关注的研究热点和难点问题，现有情感迁移策略中，按照目标领域中是否有含有带标签数据分为直推式和归纳式情感迁移方法，或者按照不同的情感迁移策略可以分为实例迁移、特征迁移、模型迁移等方法，或者按照可用源域的个数，可分为单源和多源跨领域的文本情感分类网络的训练方法。从单个源领域迁移情感信息时，当源领域和目标领域的特征分布有明显不同时，适应性表现会显著下降；在存在多个源领域数据集的前提下，多源迁移学习方法提取的迁移知识已经不再局限于单个源领域，而是来自于多个源领域。大部分多源跨领域情感分类研究主要专注于目标领域数据样本稀缺问题和如何利用多个源领域数据，多采用基于实例迁移或者参数迁移的方法。但因为源域与目标域的种类不同，导致跨域迁移的知识在目标域的使用效果并不尽如人意。

因此，如何从多个源域中学习跨域知识并将相应的知识迁移到目标域是亟需解决的问题。

发明内容

本发明提供一种多源跨领域的文本情感分类网络的训练方法，可以实现从多个源域中学习跨域知识并迁移到目标域的深度学习方法，令目标域快速、准确的获得多个情感标签。

第一方面，本发明实施例提供一种多源跨领域的文本情感分类网络的训练方法，该多源跨领域的文本情感分类网络的训练方法包括：

一种多源跨领域的文本情感分类网络的训练方法，该多源跨领域的文本情感分类网络的训练方法包括：

将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征，源域样本带有情感标签，多个特征提取网络包括多个源域私有特征提取网络和一个共享特征提取网络；

利用多组源域私有特征和一组共享特征训练初始鉴别网络得到域识别网络，利用源域拼接特征训练初始分类网络得到情感分类网络，其中，源域拼接特征是由源域私有特征和共享特征拼接后得到的，域识别网络可以识别源域样本属于哪个源域以及无法识别目标域样本属于哪个领域，多个源域以及一个目标域都是从多个领域中选取的；

将目标域样本输入多个源域私有特征提取网络得到多组第一私有特征；

将目标域样本输入目标域私有特征提取网络得到一组第二私有特征；

将多组第一私有特征输入域识别网络得到目标域样本和多个源域之间的关系系数；

将第一拼接特征输入情感分类网络得到多个候选第一标签，并根据多个候选第一标签和关系系数得到第一标签，第一拼接特征是由第一私有特征和共享特征拼接后得到的；

将第二拼接特征输入情感分类网络得到第二标签，第二拼接特征是由第二私有特征和共享特征拼接后得到的；

根据第一标签和第二标签的差异训练目标域私有特征提取网络得到目标域的文本情感分类网络。

第二方面，本发明实施例提供一种多源跨领域的文本情感分类模型，该多源跨领域的文本情感分类模型包括：

第一特征提取模块：将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征，源域样本带有情感标签，多个特征提取网络包括多个源域私有特征提取网络和一个共享特征提取网络；

域识别网络和情感分类网络训练模块：利用多组源域私有特征和一组共享特征训练初始鉴别网络得到域识别网络，利用源域拼接特征训练初始分类网络得到情感分类网络，其中，源域拼接特征是由源域私有特征和共享特征拼接后得到的，域识别网络可以识别源域样本属于哪个源域以及无法识别目标域样本属于哪个领域，多个源域以及一个目标域都是从多个领域中选取的；

第二特征提取模块：将目标域样本输入多个源域私有特征提取网络得到多组第一私有特征；将目标域样本输入目标域私有特征提取网络得到一组第二私有特征；

关系系数计算模块：将多组第一私有特征输入域识别网络得到目标域样本和多个源域之间的关系系数；

标签标注模块：将第一拼接特征输入情感分类网络得到多个候选第一标签，并根据多个候选第一标签和关系系数得到第一标签，第一拼接特征是由第一私有特征和共享特征拼接后得到的；将第二拼接特征输入情感分类网络得到第二标签，第二拼接特征是由第二私有特征和共享特征拼接后得到的；

文本情感分类网络训练模块：根据第一标签和第二标签的差异训练目标域私有特征提取网络得到目标域的文本情感分类网络。

第三方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有能够被处理器加载并执行的多源跨领域的文本情感分类网络的训练方法的程序指令。

第四方面，本发明实施例提供一种计算机设备，该计算机设备包括：

存储器，用于存储程序指令；

处理器，用于执行程序指令以使计算机设备实现多源跨领域的文本情感分类网络的训练方法。

上述多源跨领域的文本情感分类网络的训练方法通过有效地分离出所有源域的共享特征和私有特征，并通过一个域鉴别器网络建立目标域中每一个样本与所有源域之间的关系，然后将此关系作为多教师知识蒸馏模型的权重帮助目标领域特征提取网络的训练。同时，在训练的过程中，不断积累高置信度的目标域样本加入训练集，来进一步提高分类的准确性，令目标域快速、准确的获得多个情感标签，从而效缓解目标领域带标签数据不足的问题，具有非常重要的研究价值和现实意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的流程图。

图2为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第一子流程图。

图3为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第二子流程图。

图4为本发明第一实施例提供的多源跨领域的文本情感分类模型的结构示意图。

图5为本发明第实施例提供的多源跨领域的文本情感分类网络的训练方法的第一网络结构示意图。

图6为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第二网络结构示意图。

图7为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第三网络结构示意图。

图8为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第四网络结构示意图。

图9为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第五网络结构示意图。

图10为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第六网络结构示意图。

图11为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第七网络结构示意图。

图12为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第八网络结构示意图。

图13为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第九网络结构示意图。

图14为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的第十网络结构示意图。

图15为本发明第一实施例提供的多计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请结合参看图1，其为本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法的流程图。其中,本发明第一实施例提供的多源跨领域的文本情感分类网络的训练方法具体包括下面步骤。

步骤S101，将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征，源域样本带有情感标签，多个特征提取网络包括多个源域私有特征提取网络和一个共享特征提取网络。请结合参看图5-图6。在本实施例中，以购物软件中不同种类的商品的评论作为样本。具体的，源域样本A_i包括水杯的评论A₁、电脑的评论A₂和苹果的评论A_n；目标域B样本为手机的评论。将经过预处理的水杯的评论A₁输入源域私有特征提取网络E_p1得到源域私有特征Z_p1；将经过预处理的电脑的评论A₂、输入源域私有特征提取网络E_p2得到源域私有特征Z_p2；将经过预处理的苹果的评论A_n输入源域私有特征提取网络E_pn得到源域私有特征Z_pn；将经过预处理的水杯的评论A₁、电脑的评论A₂、苹果的评论A_n和手机的的评论B输入对应的共享特征提取网络E_s得到共享特征Z_s。特征提取网络可以为AlexNet、VGG、Overfeat、或者Resnet等具有特征提取功能的深度学习神经网络。

在本实施例中，对于商品的评论样本的预处理具体包括将水杯的评论A₁、电脑的评论A₂、苹果的评论A_n和手机的的评论B中已有标签的情感维度统一为只有正向和负向的二维情感标签。例如，水杯评论：中，“杯子好用”、“杯子方便携带”、“杯子防烫效果好”等具有正向意义的词汇统一转化为正向情感；“杯子炸了”、“杯子防烫效果不好”等具有负面意义的词汇统一转化为负面情感。然后利用Word2vec将水杯的评论A₁、电脑的评论A₂、苹果的评论A_n和手机的的评论B中的文本转化为词向量。Word2vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。Word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。词向量（Word embedding），又叫Word嵌入式自然语言处理（Natural LanguageProcessing，NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。具体地，将源域样本A_i和目标域样本B中的文本通过Word2vec转化为词向量。其中，词向量（Word embedding），又叫Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。进一步地，可参照步骤S1011-步骤S1012。

步骤S102，利用多组源域私有特征和一组共享特征训练初始鉴别网络得到域识别网络，利用源域拼接特征训练初始分类网络得到情感分类网络，其中，源域拼接特征是由源域私有特征和共享特征拼接后得到的，域识别网络可以识别源域样本属于哪个源域以及无法识别目标域样本属于哪个领域，多个源域以及一个目标域都是从多个领域中选取的。请结合参看图7-图8。在本实施例中，利用共享特征Z_s、源域私有特征Z_p1、源域私有特征Z_p2以及源域私有特征Z_pn训练初始分类网络（图未示）得到情感分类网络D；利用源域拼接特征Z_ps1、利用源域拼接特征Z_ps2以及利用源域拼接特征Z_psn训练初始分类网络（图未示）得到情感分类网络C。

具体地，域识别网络D可以识别出源域样本来自哪一个源域，无法识别出目标域样本来自哪一个领域。“苹果好吃”这条评论，输入域识别网络D中会得到它来自苹果的评论样本A_n。“电脑好用”这条评论，输入域识别网络D中不能得到该评论出现在哪个领域的结果。情感分类网络C用于分辨该条评论是正向情感还是负向情感，“苹果好吃”这条评论出入情感分类网络C得到该评论为正向情感，“电脑好用”这条评论输入情感分类网络C得到该评论为正向情感。

域识别网络D和情感分类网络C在训练过程中得到的关于样本的损失值反向传输至水杯的评论的源域私有特征提取网络E_p1、电脑的评论的源域私有特征提取网络E_p2、苹果的评论的源域私有特征提取网络E_pn和共享特征网络E_s完善相应的特征提取网络，从而更好地训练域识别网络D和情感分类网络C。进一步地，可参照步骤S1021-步骤S1022。

步骤S103，将目标域样本输入多个源域私有特征提取网络得到多组第一私有特征。在本实施例中，请结合参看图9，手机的目标域样本B输入源域私有特征提取网络E_p1得到第一私有特征Z_b1；手机的目标域样本B输入源域私有特征提取网络E_p2得到第一私有特征Z_b2；手机的目标域样本B输入源域私有特征提取网络E_pn得到第一私有特征Z_bn。

步骤S104，将目标域样本输入目标域私有特征提取网络得到一组第二私有特征。在本实施例中，请结合参看图10，手机的目标域样本B输入目标域私有特征提取网络E_B得到第二私有特征Z_B。

步骤S105，将多组第一私有特征输入域识别网络得到目标域样本和多个源域之间的关系系数。在本实施例中，请结合参看图11，将第一私有特征Z_b1输入域识别网络D中得到关系系数w₁。将第一私有特征Z_b2输入域识别网络D中得到关系系数w₂。将第一私有特征Z_bn输入域识别网络D中得到关系系数w_n。

具体地，将电脑的评论中，“屏幕清晰”这条评论输入域识别网络D得到将“屏幕清晰”这条评论分别与每个源域之间的关系为（10%，80%，10%），w₁=（10%，80%，10%）。在本实施例中数值仅作为示例，不做为限定。

步骤S106，将第一拼接特征输入情感分类网络得到多个候选第一标签，并根据多个候选第一标签和关系系数得到第一标签，第一拼接特征是由第一私有特征和共享特征拼接后得到的。在本实施例中，请结合参看图12、图14，将第一拼接特征Z_bs1输入情感分类网络C得到候选第一标签c₁，将第一拼接特征Z_bs2输入情感分类网络C得到候选第一标签c₂，将第一拼接特征Z_bsn输入情感分类网络C得到候选第一标签c_n。根据多个候选第一标签c_i和关系系数得到第一标签Y₁，Y₁=w₁*c₁+w₂*c₂+......+w_n*c_n。其中，第一拼接特征Z_bs1是由第一私有特征Z_b1和共享特征Z_s拼接后得到的。

步骤S107，将第二拼接特征输入情感分类网络得到第二标签；第二拼接特征是由第二私有特征和共享特征拼接后得到的。在本实施例中，请结合参看图13，第二拼接特征Z_Bs输入情感分类网络C得到第二标签Y₂。

步骤S108，根据第一标签和第二标签的差异训练目标域私有特征提取网络得到目标域的文本情感分类网络。具体地，判断第一标签Y₁和第二标签Y₂之间的差异置信度是否大于预设值。在本实施例中所述置信度为0.98。在本实施例中数值仅作为示例，不做为限定。当置信度大于预设值时，将目标域样本的第一标签Y₁和第二标签Y₂的差异反向传播。当置信度小于预设值时，删除第一标签Y₁。

上述实施例中，利用域识别网络D和情感分类网络C在训练过程中得到的关于样本的损失值反向传输至水杯的评论的源域私有特征提取网络E_p1、电脑的评论的源域私有特征提取网络E_p2、苹果的评论的源域私有特征提取网络E_pn和共享特征提取网络E_s完善相应的特征网络，从而更好地训练域识别网络D和情感分类网络C从而得到具有对应功能的深度学习网络，利用损失值的方向传播不断更新深度学习网络使得网络具有更加准确的识别性。本方案利用多个源域之间的现有的情感分类标签训练出一个具有辨别目标域的评论情感的深度学习网络，有效的将现有情感相关的知识转移到对应的目标领域，快速获得用户对于目标领域的评论的情感态度，为对应的产品提供相应的营销策略调整。

请结合参看图2，其为本发明第一实施例提供的步骤S101的子步骤流程图。步骤S101，将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征。具体包括下面步骤。

步骤S1011，将多个源域中的源域样本分别输入多个源域私有特征提取网络得到多组与源域相关的源域私有特征。

步骤S1012，将多个源域中的源域样本和目标域中的目标域样本输入共享特征提取网络得到一组共享特征。

请结合参看图3，其为本发明第一实施例提供的步骤S102的子步骤流程图。步骤S102，该利用多组源域私有特征和一组共享特征训练初始鉴别网络得到域识别网络。具体包括下面步骤。

步骤S1021，利用初始鉴别网络的第一损失值训练初始鉴别网络的域识别能力。在本实施例中，第一损失值的计算公式为：

Loss₁ = L（D（Z_s），A）+L（D（Z_p），A）

其中，Loss₁为第一损失值， L（D（Z_s），A）为目标域损失值，L（D（Z_p），A）为源域损失值，D（Z_s）为共享特征损失值，Z_s为共享特征，A为源域样本，D（Z_p）为源域私有特征损失值，Z_p为源域私有特征。

步骤S1022，利用初始鉴别网络的第二损失值训练初始鉴别网络的对抗能力。

在本实施例中，第二损失值的计算公式为：

Loss₂ = - L（D（Z_s），A）

其中，Loss₂为第二损失值，L（D（Z_s），A）为目标域损失值，D（Z_s）为共享特征损失值，Z_s为共享特征，A为源域样本。

本发明第二实施例提供的多源跨领域的文本情感分类网络的训练方法。第二实施例提供的多源跨领域的文本情感分类网络的训练方法与第一实施例提供的多源跨领域的文本情感分类网络的训练方法的差异在于在将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征之前之前，第二实施例提供的多源跨领域的文本情感分类网络的训练方法还包括将多个源域中的源域样本带有的情感标签转化为正向情感标签和负向情感标签。

在另一些可行的实施例中，多个源域中的源域样本和目标域中的目标域样本带有的情感标签转化为正向情感标签和负向情感标签。

本发明第三实施例提供的多源跨领域的文本情感分类网络的训练方法。第三实施例提供的多源跨领域的文本情感分类网络的训练方法与第一实施例提供的多源跨领域的文本情感分类网络的训练方法的差异在于在将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征之前，第三实施例提供的多源跨领域的文本情感分类网络的训练方法还包括将多个源域中的源域样本和目标域中的目标域样本的文本转化为词向量。

具体地，将源域样本A_i和目标域样本B中的文本转化为词向量。在本实施例中，利用Word2vec将源域样本A_i和目标域样本B中的文本转化为词向量。Word2vec是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。Word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。词向量（Word embedding），又叫Word嵌入式自然语言处理（NaturalLanguage Processing，NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。具体地，将源域样本A_i和目标域样本B中的文本通过Word2vec转化为词向量。

请结合参看图4，其为本发明第第一实施例提供的多源跨领域的文本情感分类模型的结构示意图。其中，多源跨领域的文本情感分类模型400包括：第一特征提取模块401、域识别网络和情感分类网络训练模块402、第二特征提取模块403、关系系数计算模块404、标签标注模块405和文本情感分类网络训练模块406。

第一特征提取模块401：将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征，源域样本带有情感标签，多个特征提取网络包括多个源域私有特征提取网络和一个共享特征提取网络；

域识别网络和情感分类网络训练模块402：利用多组源域私有特征和一组共享特征训练初始鉴别网络得到域识别网络，利用源域拼接特征训练初始分类网络得到情感分类网络，其中，源域拼接特征是由源域私有特征和共享特征拼接后得到的，域识别网络可以识别源域样本属于哪个源域以及无法识别目标域样本属于哪个领域，多个源域以及一个目标域都是从多个领域中选取的；

第二特征提取模块403：将目标域样本输入多个源域私有特征提取网络得到多组第一私有特征；将目标域样本输入目标域私有特征提取网络得到一组第二私有特征；

关系系数计算模块404：将多组第一私有特征输入域识别网络得到目标域样本和多个源域之间的关系系数；

标签标注模块405：将第一拼接特征输入情感分类网络得到多个候选第一标签，并根据多个候选第一标签和关系系数得到第一标签，第一拼接特征是由第一私有特征和共享特征拼接后得到的；将第二拼接特征输入情感分类网络得到第二标签；第二拼接特征是由第二私有特征和共享特征拼接后得到的；

文本情感分类网络训练模块406：根据第一标签和第二标签的差异训练目标域私有特征提取网络得到目标域的文本情感分类网络。

本发明还提供了一种计算机可读存储介质。计算机可读存储介质上存储有能够被处理器加载并执行的上述的多源跨领域的文本情感分类网络的训练方法的程序指令。该计算机可读存储介质包括若干指令用以使得一台计算机 设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、流动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序指令的介质。由于计算机可读存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再赘述。

本发明还提供一种计算机设备900，计算机设备900至少包括，存储器901和处理器902。存储器901用于存储多源跨领域的文本情感分类网络的训练方法的程序指令。处理器902，用于执行程序指令以使计算机设备实现上述的多源跨领域的文本情感分类网络的训练方法。请结合参看图9，其为本发明第一实施例提供的计算机设备900的内部结构示意图。

其中，存储器901至少包括一种类型的计算机可读存储介质，该计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器901在一些实施例中可以是计算机设备900的内部存储单元，例如计算机设备900的硬盘。存储器901在另一些实施例中也可以是计算机设备900的外部存储设备，例如计算机设备900上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字卡（Secure Digital, SD），闪存卡（Flash Card）等。进一步地，存储器901还可以既包括计算机设备900的内部存储单元也包括外部存储设备。存储器901不仅可以用于存储安装于计算机设备900的应用软件及各类数据，例如多源跨领域的文本情感分类网络的训练方法的程序指令等，还可以用于暂时地存储已经输出或者将要输出的数据，例如多源跨领域的文本情感分类网络的训练方法执行产生的数据等。

处理器902在一些实施例中可以是中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器901中存储的程序指令或处理数据。具体地，处理器902执行多源跨领域的文本情感分类网络的训练方法的程序指令以控制计算机设备900实现多源跨领域的文本情感分类网络的训练方法。

进一步地，计算机设备900还可以包括总线903可以是外设部件互连标准总线(peripheral component interconnect，简称PCI)或扩展工业标准结构总线(extendedindustry standard architecture，简称EISA)等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

进一步地，计算机设备900还可以包括显示组件904。显示组件904可以是LED（Light Emitting Diode，发光二极管）显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示组件904也可以适当的称为显示装置或显示单元，用于显示在计算机设备900中处理的信息以及用于显示可视化的用户界面。

进一步地，计算机设备900还可以包括通信组件905，通信组件905可选的可以包括有线通信组件和/或无线通信组件（如WI-FI通信组件、蓝牙通信组件等），通常用于在计算机设备900与其他计算机设备之间建立通信连接。

图9仅示出了具有组件901-905以及实现多源跨领域的文本情感分类网络的训练方法的程序指令的计算机设备900，本领域技术人员可以理解的是，图9示出的结构并不构成对计算机设备900的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。由于计算机设备900采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。

该多源跨领域的文本情感分类网络的训练方法包括一个或多个程序指令。在设备上加载和执行该程序指令时，全部或部分地产生按照本发明实施例的流程或功能。该设备可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该程序指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，该程序指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的多源跨领域的文本情感分类网络的训练方法实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件 可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。

Claims (10)

1.一种多源跨领域的文本情感分类网络的训练方法，其特征在于，所述多源跨领域的文本情感分类网络的训练方法包括：

将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征，所述源域样本带有情感标签，所述多个特征提取网络包括多个源域私有特征提取网络和一个共享特征提取网络；

利用多组源域私有特征和所述一组共享特征训练初始鉴别网络得到域识别网络，利用源域拼接特征训练初始分类网络得到情感分类网络，其中，所述源域拼接特征是由源域私有特征和共享特征拼接后得到的，所述域识别网络可以识别源域样本属于哪个源域以及无法识别目标域样本属于哪个领域，所述多个源域以及一个目标域都是从多个领域中选取的；

将所述目标域样本输入所述多个源域私有特征提取网络得到多组第一私有特征；

将所述目标域样本输入目标域私有特征提取网络得到一组第二私有特征；

将所述多组第一私有特征输入所述域识别网络得到所述目标域样本和所述多个源域之间的关系系数；

将第一拼接特征输入所述情感分类网络得到多个候选第一标签，并根据所述多个候选第一标签和所述关系系数得到第一标签，所述第一拼接特征是由第一私有特征和共享特征拼接后得到的；

将第二拼接特征输入所述情感分类网络得到第二标签，所述第二拼接特征是由所述第二私有特征和共享特征拼接后得到的；

根据所述第一标签和所述第二标签的差异训练所述目标域私有特征提取网络得到目标域的文本情感分类网络。

2.如权利要求1所述的多源跨领域的文本情感分类网络的训练方法，其特征在于，将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征，具体包括：

将多个源域中的源域样本分别输入多个源域私有特征提取网络得到多组与源域相关的源域私有特征；

将多个源域中的源域样本和目标域中的目标域样本输入共享特征提取网络得到一组共享特征。

3.如权利要求1所述的多源跨领域的文本情感分类网络的训练方法，其特征在于，利用多组源域私有特征和所述一组共享特征训练初始鉴别网络得到域识别网络，具体包括：

利用所述初始鉴别网络的第一损失值训练所述初始鉴别网络的域识别能力；

利用所述初始鉴别网络的第二损失值训练所述初始鉴别网络的对抗能力。

4.如权利要求3所述的多源跨领域的文本情感分类网络的训练方法，其特征在于，所述第一损失值的计算公式为：

Loss₁ = L（D（Z_s），A）+L（D（Z_p），A）

其中，Loss₁为第一损失值， L（D（Z_s），A）为目标域损失值，L（D（Z_p），A）为源域损失值，D（Z_s）为共享特征损失值，Z_s为共享特征，A为源域样本，D（Z_p）为源域私有特征损失值，Z_p为源域私有特征。

5.如权利要求3所述的多源跨领域的文本情感分类网络的训练方法，其特征在于，所述第二损失值的计算公式为：

Loss₂ = - L（D（Z_s），A）

其中，Loss₂为第二损失值，L（D（Z_s），A）为目标域损失值，D（Z_s）为共享特征损失值，Z_s为共享特征，A为源域样本。

6.如权利要求1所述的多源跨领域的文本情感分类网络的训练方法，其特征在于，在将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征之前，还包括：

将多个源域中的源域样本带有的情感标签转化为正向情感标签和负向情感标签。

7.如权利要求1所述的多源跨领域的文本情感分类网络的训练方法，其特征在于，在将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征之前，还包括：

将多个源域中的源域样本和目标域中的目标域样本的文本转化为词向量。

8.一种多源跨领域的文本情感分类模型，其特征在于，所述多源跨领域的文本情感分类模型包括：

第一特征提取模块：将多个源域中的源域样本和目标域中的目标域样本分别输入多个特征提取网络得到多组与源域相关的源域私有特征和一组共享特征，所述源域样本带有情感标签，所述多个特征提取网络包括多个源域私有特征提取网络和一个共享特征提取网络；

域识别网络和情感分类网络训练模块：利用多组源域私有特征和所述一组共享特征训练初始鉴别网络得到域识别网络，利用源域拼接特征训练初始分类网络得到情感分类网络，其中，所述源域拼接特征是由源域私有特征和共享特征拼接后得到的，所述域识别网络可以识别源域样本属于哪个源域以及无法识别目标域样本属于哪个领域，所述多个源域以及一个目标域都是从多个领域中选取的；

第二特征提取模块：将所述目标域样本输入所述多个源域私有特征提取网络得到多组第一私有特征；将所述目标域样本输入目标域私有特征提取网络得到一组第二私有特征；

关系系数计算模块：将所述多组第一私有特征输入所述域识别网络得到所述目标域样本和所述多个源域之间的关系系数；

标签标注模块：将第一拼接特征输入所述情感分类网络得到多个候选第一标签，并根据所述多个候选第一标签和所述关系系数得到第一标签，所述第一拼接特征是由第一私有特征和共享特征拼接后得到的；将第二拼接特征输入所述情感分类网络得到第二标签，所述第二拼接特征是由所述第二私有特征和共享特征拼接后得到的；

文本情感分类网络训练模块：根据所述第一标签和所述第二标签的差异训练所述目标域私有特征提取网络得到目标域的文本情感分类网络。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有能够被处理器加载并执行的如权利要求1~6任意一项所述的多源跨领域的文本情感分类网络的训练方法的程序指令。

10.一种计算机设备，其特征在于，所述计算机设备包括：

存储器，用于存储程序指令；以及

处理器，用于执行所述程序指令以使所述计算机设备实现如权利要求1~6任意一项所述的多源跨领域的文本情感分类网络的训练方法。

Images