CN113779249B - 跨领域文本情感分类方法、装置、存储介质以及电子设备 - Google Patents

跨领域文本情感分类方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN113779249B
CN113779249B CN202111016262.3A CN202111016262A CN113779249B CN 113779249 B CN113779249 B CN 113779249B CN 202111016262 A CN202111016262 A CN 202111016262A CN 113779249 B CN113779249 B CN 113779249B
Authority
CN
China
Prior art keywords
text
domain
representation
source
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111016262.3A
Other languages
English (en)
Other versions
CN113779249A (zh
Inventor
杨驰
薛云
周波
陈建颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202111016262.3A priority Critical patent/CN113779249B/zh
Publication of CN113779249A publication Critical patent/CN113779249A/zh
Application granted granted Critical
Publication of CN113779249B publication Critical patent/CN113779249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种跨领域文本情感分类方法、装置、存储介质以及电子设备，该方法包括：获取目标领域文本以及标注有情感类别标签的源领域文本，建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块，通过相互学习和对抗网络学习对模型进行训练，将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果，通过采用单词层级和句子层级的层次结构逐步提取文本的语义通道特征，通过双向门控循环单元提取浅层语义信息，然后用图注意力获得句法依赖关系，提取文本的句法通道特征，从而提高了跨领域文本情感分类的准确度。

Description

跨领域文本情感分类方法、装置、存储介质以及电子设备
技术领域
本发明涉及自然语言处理技术领域，特别是涉及一种跨领域情感分类方法、装置、存储介质以及电子设备。
背景技术
训练一个良好的情感分类器需要大量的标记数据，然而在实践中仍然有许多领域存在大量未标记的数据，为不同的领域动态地标注足够的训练数据通常是困难且昂贵的。可能在现有的领域(称为源领域)中有足够的标记数据，但是在新的领域(称为目标领域)中很少或没有标记数据，从而激发了跨领域情感分类的研究，它从有丰富标记的源领域数据中学习来指导目标领域数据的训练，对缺乏标记的目标领域研究有着重要价值。
然而，由于不同领域的文本句法结构复杂，语义信息多样的特点，现有的跨领域文本情感分类方法，对于目标领域的文本情感分类的准确度不高。
发明内容
基于此，本发明的目的在于，提供一种跨领域文本情感分类方法、装置、存储介质以及电子设备，其具有提高跨领域文本情感分类准确度的优点。
根据本申请实施例的第一方面，提供一种跨领域文本情感分类方法，包括如下步骤：
获取目标领域文本以及标注有情感类别标签的源领域文本；
建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块；
将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示；所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示；
将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示；所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示；
将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型；
将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。
根据本申请实施例的第二方面，提供一种跨领域文本情感分类装置，包括：
文本获取模块，用于获取目标领域文本以及标注有情感类别标签的源领域文本；
模型建立模块，用于建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块；
第一双通道特征提取模块，用于将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示；所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示；
第二双通道特征提取模块，用于将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示；所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示；
模型训练模块，用于将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型；
结果获得模块，用于将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述任意一项所述的跨领域文本情感分类方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的跨领域文本情感分类方法。
本申请实施例通过获取目标领域文本以及标注有情感类别标签的源领域文本，建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块。将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示，所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示。将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示，所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示。将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型。将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。本发明通过采用单词层级和句子层级的层次结构逐步提取文本的语义通道特征，通过双向门控循环单元提取浅层语义信息，然后用图注意力获得句法依赖关系，提取文本的句法通道特征，从而提高了跨领域文本情感分类的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明跨领域文本情感分类方法的流程示意图；
图2为本发明跨领域文本情感分类方法中S30的流程示意图；
图3为本发明跨领域文本情感分类方法中S40的流程示意图；
图4为本发明跨领域文本情感分类方法中S50的流程示意图；
图5为本发明跨领域文本情感分类装置的结构框图；
图6为本发明跨领域文本情感分类装置第一双通道特征提取模块53的结构框图；
图7为本发明跨领域文本情感分类装置模型训练模块55的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，本发明实施例提供一种跨领域文本情感分类方法，包括的步骤如下：
S10.获取目标领域文本以及标注有情感类别标签的源领域文本。
领域被定义为具有相似主题文本的集合，例如对书籍、电影和笔记本电脑产品的评论，或者关于经济、军事、文化和体育等主题的文本，领域被记为D。源领域文本被定义为辅助的任务，是一些带情感类别标签的文本，记为Ds，目标领域文本为待进行情感分类的文本，是一些不带情感类别标签的文本，记为Dt。
在本申请实施例中，有ns条来自源领域的标注有情感类别标签文本，表示为
Figure BDA0003239958660000061
其中，
Figure BDA0003239958660000062
表示第i条源领域文本，s表示源领域文本的上标，
Figure BDA0003239958660000063
表示标注的第i条源领域文本的情感类别标签，以及nt条目标领域的无标签文本，表示为
Figure BDA0003239958660000064
其中，
Figure BDA0003239958660000065
表示第i条目标领域文本，t表示目标领域文本的上标。
S20.建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块。
在本申请实施例中，所述第一双通道特征提取模块和所述第二双通道特征提取模块用于对源领域文本和目标领域文本进行特征提取，得到特征表示。所述第一领域适应模块和所述第二领域适应模块用于对所述特征表示进行领域不变特征学习以及充分利用目标领域文本的信息。
S30.将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示；所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示。
语义分析是分析句子各个语言单位之间的语义关联，并将语义关联以依存结构呈现。句法分析是通过分析语言单位内成分之间的依存关系揭示其句法结构，识别句子中的“主谓宾”、“定状补”这些语法成分，并强调分析词汇之间的关系。在本申请实施例中，第一语义通道表示是文本经过第一双通道特征提取模块进行特征提取，提取文本中的语义信息，获得的语义特征表示。第一句法通道表示是文本经过第一双通道特征提取模块进行特征提取，提取文本中的句法信息，获得的句法特征表示。
S40.将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示；所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示。
在本申请实施例中，第二语义通道表示是文本经过第二双通道特征提取模块进行特征提取，提取文本中的语义信息，获得的语义特征表示。第二句法通道表示是文本经过第二双通道特征提取模块进行特征提取，提取文本中的句法信息，获得的句法特征表示。
S50.将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型。
情感分类器采用softmax分类函数进行情感分类，标签探测器也采用softmax分类函数，但带有自身的可学习网络权重参数。领域分类器旨在学习跨领域情感特征表示，其中输入是源领域文本和目标领域文本。具体地，利用源领域和目标领域的所有文本进行领域分类，预测文本的领域标签。训练过程的目标是最小化分类误差，即尽可能准确地区分两个领域。梯度反转层(Gradient Reverse Layer，简称GRL)被用于领域适应问题中，在正向传播时传递权值不变，在反向传播时，神经元权值增量符号取反，即与目标函数方向切好相反达到对抗的目的。
在本申请实施例中，所述第一领域适应模块包括第一情感分类器、第一梯度反转层和第一领域鉴别器、以及第一标签探测器。所述第二领域适应模块包括第二情感分类器、第二梯度反转层和第二领域鉴别器、以及第二标签探测器。为了学习领域分类器无法区分领域的共同特征，增加了梯度反转层来反转训练过程中的梯度方向，从而可以得到领域共享和情感敏感的不变性特征。为了充分充分利用目标领域文本的信息，将第一的标签探测器与第二情感分类器进行相互学习，将第二的标签探测器与第一情感分类器进行相互学习，从而提高跨领域文本情感分类的准确度。
S60.将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。
基于训练好的所述跨领域文本情感分类模型，得到了一个性能良好的情感分类器，以预测待进行情感分类的目标领域文本的情感极性。
应用本发明实施例，通过获取目标领域文本以及标注有情感类别标签的源领域文本，建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块。将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示，所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示。将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示，所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示。将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型。将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。本发明通过采用单词层级和句子层级的层次结构逐步提取文本的语义通道特征，通过双向门控循环单元提取浅层语义信息，然后用图注意力获得句法依赖关系，提取文本的句法通道特征，从而提高了跨领域文本情感分类的准确度。
在一个可选的实施例中，所述第一双通道特征提取模块包括第一语义提取模块和第一句法提取模块；所述第一语义提取模块包括依次连接的第一双向门控循环单元、第一软注意力机制模型、第二双向门控循环单元以及第一卷积神经网络注意模型；所述第一句法提取模块包括依次连接的第三双向门控循环单元、第一图注意力机制模型以及第二卷积神经网络注意模型。
其中，双向门控循环单元是为了解决长期记忆和反向传播中的梯度等问题提出的循环神经网络(Recurrent Neural Network,简称RNN)的变体模型，引入了重置门和更新门，修改了RNN中隐藏状态的计算方式。软注意力机制模型是指在选择信息的时候，不是从N个信息中只选择1个，而是计算N个输入信息的加权平均，再输入到神经网络中计算。卷积神经网络(Convolutional Neural Networks,简称CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。通过对卷积神经网络提取的特征进行平均和注意力加权，可获得卷积神经网络注意模型。图注意力机制模型(Graph Attention Network，简称GAT)采用了注意力机制，可以为不同节点分配不同权重，训练时依赖于成对的相邻节点，而不依赖具体的网络结构。请参阅图2，所述步骤S30，包括S301～S310，具体如下：
S301.将所述源领域文本输入至所述第一双向门控循环单元进行编码，获得第一隐藏层状态表示。
若每个源领域文本包括m个句子，每个句子中有n个单词，则每个源领域文本经过word2vec的词向量表示为
Figure BDA0003239958660000091
将所述词向量输入至第一双向门控循环单元Bi-GRU，得到第一隐藏层状态表示
Figure BDA0003239958660000092
i∈{1，…，n}，j∈{1，…，m}，所述第一隐藏层状态表示为含有上下文语义信息的单词表示。
S302.将所述第一隐藏层状态表示输入至所述第一软注意力机制模型，获得所述源领域文本中每个单词的注意力权重。
由于句子中每个单词对句子的情感信息的贡献是不一样的，引入软注意力机制模型来得到每个单词的注意力权重，获得所述每个单词的注意力权重的公式为：
Figure BDA0003239958660000101
其中，vw、Ww，和bw均为所述软注意力机制模型的网络权重参数，
Figure BDA0003239958660000102
是vw的转置，αij是第i个单词在第j个句子中的注意力权重。
S303.根据所述第一隐藏层状态表示和所述每个单词的注意力权重，获得句子的特征表示。
将所述第一隐藏层状态表示
Figure BDA0003239958660000103
和所述每个单词的注意力权重αij进行加权求和，获得句子的特征表示，获得所述句子的特征表示的公式为：
Figure BDA0003239958660000104
其中，
Figure BDA0003239958660000105
是所述源领域文本中第j个句子的特征表示。
S304.将所述句子的特征表示输入至所述第二双向门控循环单元进行编码，获得句子的隐藏层状态表示。
同样的，双向门控循环单元也用于编码句子的特征表示，将所述句子的特征表示输入至所述第二双向门控循环单元进行编码，得到句子的隐藏层状态表示
Figure BDA0003239958660000106
S305.将所述句子的隐藏层状态表示输入至所述第一卷积神经网络注意模型，获得所述源领域文本中每个句子的注意力权重。
由于相邻句子之间存在更多的关系，因此，在相邻句子局部相关的基础上，通过卷积神经网络注意模型来确定每个句子的注意力权重。获得所述源领域文本中每个句子的注意力权重的公式为：
Figure BDA0003239958660000111
Figure BDA0003239958660000112
Figure BDA0003239958660000113
Figure BDA0003239958660000114
其中，q是所述卷积神经网络注意模型的窗口，如果j+q-1＞m，则用零向量作为滑动窗口进行填充，[，]表示拼接操作。所述卷积神经网络注意模型有l个卷积滤波器，ft为第t个卷积滤波器，ο表示卷积操作，σ表示非线性激活函数ReLU，bt是所述第t个卷积滤波器的网络权重参数，αtj表示第j个句子在第t个卷积滤波器的输出结果，αj表示第j个句子的l个卷积滤波器的输出结果的平均值，对所述平均值进行归一化处理，得到第j个句子的注意力权重α’j。
S306.根据所述句子的隐藏层状态表示和所述每个句子的注意力权重，获得所述源领域文本的第一语义通道表示。
将所述句子的隐藏层状态表示和所述每个句子的注意力权重进行加权求和，获得所述源领域文本的第一语义通道表示dc，获得所述源领域文本的第一语义通道表示的公式为：
Figure BDA0003239958660000115
S307.将所述源领域文本输入至所述第三双向门控循环单元进行编码，获得第二隐藏层状态表示。
考虑到不同句子的单词间也存在句法依赖关系，将整个源领域文本当成一个长句子，则每个源领域文本中有nd个单词(其中nd＝m*n)，源领域文本经过word2vec的词向量表示为
Figure BDA0003239958660000121
将所述词向量输入至所述第三双向门控循环单元进行编码，获得第二隐藏层状态表示
Figure BDA0003239958660000122
i∈{1，...，nd}。
S308.将所述第二隐藏层状态表示输入至所述第一图注意力机制模型进行句法依存关系提取，获得所述源领域文本的状态向量。
在图注意力机制模型中，若第i个节点的第l层的输出被定义为
Figure BDA0003239958660000123
其中
Figure BDA0003239958660000124
表示第i个节点的初始状态，即
Figure BDA0003239958660000125
由于图注意力机制只对直接邻居节点的信息进行编码，第l层图注意力机制模型的节点只能受到l步内其他邻居节点的影响。其中，更新第l层中第i个节点的特征，以获得其第l+1层的节点特征的公式为：
Figure BDA0003239958660000126
Figure BDA0003239958660000127
Figure BDA0003239958660000128
Figure BDA0003239958660000129
其中，
Figure BDA00032399586600001210
是可训练的线性变换权重矩阵，
Figure BDA00032399586600001211
是线性变换后的第i个节点特征，al是可学习的权重向量。||表示拼接操作，
Figure BDA0003239958660000131
是第i个节点和第j个节点之间的原始注意力得分，N(i)为所有与节点i相邻的节点集合，
Figure BDA0003239958660000132
是经过归一化的注意力权重，σ是非线性激活函数ReLU。经过L层GAT，得到第i个节点的最终状态向量
Figure BDA0003239958660000133
将经过所述图注意力机制模型的nd个节点拼接，得到所述源领域文本的状态向量
Figure BDA0003239958660000134
S309.将所述源领域文本的状态向量输入至所述第二卷积神经网络注意模型进行特征提取，获得所述源领域文本的第一句法通道表示。
将所述源领域文本的状态向量gL输入至所述第二卷积神经网络注意模型进行特征提取，获得所述源领域文本的第一句法通道表示ds，由于所述第二卷积神经网络注意模型和步骤S305中的所述第一卷积神经网络注意模型结构相同，只是模型的网络权重参数不同，因此获得所述源领域文本的第一句法通道表示ds的过程不再赘述。
S310.将所述源领域文本的第一语义通道表示和所述源领域文本的第一句法通道表示拼接，获得所述源领域文本的第一特征表示。
将所述源领域文本的第一语义通道表示和所述源领域文本的第一句法通道表示拼接，获得所述源领域文本的第一特征表示
Figure BDA0003239958660000135
其中，
Figure BDA0003239958660000136
表示拼接。同时，对于获得所述目标领域文本的第一特征表示与获得所述源领域文本的第一特征表示的过程一样，不再赘述。
在一个可选的实施例中，所述第二双通道特征提取模块包括第二语义提取模块和第二句法提取模块，所述第二语义提取模块包括依次连接的第四双向门控循环单元、第二软注意力机制模型、第五双向门控循环单元以及第三卷积神经网络注意模型，所述第二句法提取模块包括依次连接的第六双向门控循环单元、第二图注意力机制模型以及第四卷积神经网络注意模型。请参阅图3，所述步骤S40，包括S401～S410，具体如下：
S401.将所述源领域文本输入至所述第四双向门控循环单元进行编码，获得第三隐藏层状态表示；
S402.将所述第三隐藏层状态表示输入至所述第二软注意力机制模型，获得所述源领域文本中每个单词的注意力权重；
S403.根据所述第三隐藏层状态表示和所述每个单词的注意力权重，获得句子的特征表示；
S404.将所述句子的特征表示输入至所述第五双向门控循环单元进行编码，获得句子的隐藏层状态表示；
S405.将所述句子的隐藏层状态表示输入至所述第三卷积神经网络注意模型，获得所述源领域文本中每个句子的注意力权重；
S406.根据所述句子的隐藏层状态表示和所述每个句子的注意力权重，获得所述源领域文本的第二语义通道表示；
S407.将所述源领域文本输入至所述第六双向门控循环单元进行编码，获得第四隐藏层状态表示；
S408.将所述第四隐藏层状态表示输入至所述第二图注意力机制模型进行句法依存关系提取，获得所述源领域文本的状态向量；
S409.将所述源领域文本的状态向量输入至所述第四卷积神经网络模型进行特征提取，获得所述源领域文本的第二句法通道表示；
S410.将所述源领域文本的第二语义通道表示和所述源领域文本的第二句法通道表示拼接，获得所述源领域文本的第二特征表示。
在本申请实施例中，由于所述第二双通道特征提取模块与所述第一双通道特征提取模块结构相同，只是网络权重参数设置不同，因此，获得所述源领域文本的第二特征表示与获得所述源领域文本的第一特征表示的过程一样，不再赘述。同时，对于获得所述目标领域文本的第二特征表示与获得所述源领域文本的第二特征表示的过程一样，不再赘述。
在一个可选的实施例中，请参阅图4，所述步骤S50，包括S501～S510，具体如下：
S501.将所述源领域文本的第一特征表示输入至所述第一情感分类器，得到源领域文本情感类别第一预测值。
其中，若所述源领域文本的第一特征表示为
Figure BDA0003239958660000151
将所述源领域文本的第一特征表示输入至所述第一情感分类器，得到所述源领域文本情感类别第一预测值为
Figure BDA0003239958660000152
WC1和bC1为所述第一情感分类器的可训练的网络权重参数。
S502.将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示分别输入至所述第一梯度反转层和所述第一领域鉴别器，获得所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果；其中，通过所述第一梯度反转层将所述第一领域鉴别器作为对抗网络学习中的判别器，使所述第一领域鉴别器无法判别文本的领域来源，以提取领域不变特征。
其中，若所述目标领域文本的第一特征表示为
Figure BDA0003239958660000153
将所述源领域文本的第一特征表示
Figure BDA0003239958660000154
和所述目标领域文本的第一特征表示
Figure BDA0003239958660000155
分别输入至所述第一梯度反转层和所述第一领域鉴别器，获得所述源领域文本的领域第一鉴别结果
Figure BDA0003239958660000156
和所述目标领域文本的领域第一鉴别结果
Figure BDA0003239958660000157
公式为：
Figure BDA0003239958660000158
Figure BDA0003239958660000159
Figure BDA00032399586600001510
Figure BDA00032399586600001511
其中，Wd1和bd1为所述第一领域鉴别器的可训练的网络权重参数。
S503.将所述目标领域文本的第一特征表示输入至所述第一情感分类器，获得目标领域文本情感类别第一预测值，将所述目标领域的文本的第二特征表示输入至所述第二标签探测器，获得所述目标领域文本情感类别第二伪标签。
其中，若所述目标领域的文本的第二特征表示为
Figure BDA0003239958660000161
则所述目标领域文本情感类别第一预测值为
Figure BDA0003239958660000162
所述目标领域文本情感类别第二伪标签为
Figure BDA0003239958660000163
Wp2和bp2为所述第二标签探测器的可训练的网络权重参数。
S504.将所述源领域文本的第二特征表示输入至所述第二情感分类器，得到源领域文本情感类别第二预测值。
其中，若所述源领域文本的第二特征表示为
Figure BDA0003239958660000164
所述源领域文本情感类别第二预测值为
Figure BDA0003239958660000165
WC2和bC2为所述第二情感分类器的可训练的网络权重参数。
S505.将所述源领域文本的第二特征表示和所述目标领域文本的第二特征表示分别输入至所述第二梯度反转层和所述第二领域鉴别器，获得所述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果；其中，通过所述第二梯度反转层将所述第二领域鉴别器作为对抗网络学习中的判别器，使所述第二领域鉴别器无法判别文本的领域来源，以提取领域不变特征。
将所述源领域文本的第二特征表示
Figure BDA0003239958660000166
和所述目标领域文本的第二特征表示
Figure BDA0003239958660000167
分别输入至所述第二梯度反转层和所述第二领域鉴别器，获得所述源领域文本的领域第二鉴别结果
Figure BDA0003239958660000168
和所述目标领域文本的领域第二鉴别结果
Figure BDA0003239958660000169
公式为：
Figure BDA00032399586600001610
Figure BDA0003239958660000171
Figure BDA0003239958660000172
Figure BDA0003239958660000173
其中，Wd2和bd2为所述第二领域鉴别器的可训练的网络权重参数。
S506.将所述目标领域文本的第二特征表示输入至所述第二情感分类器，获得目标领域文本情感类别第二预测值，并所述目标领域的文本的第一特征表示输入至所述第一标签探测器，获得所述目标领域文本情感类别第一伪标签。
其中，所述目标领域文本情感类别第二预测值为
Figure BDA0003239958660000174
所述目标领域文本情感类别第一伪标签为
Figure BDA0003239958660000175
Wp1和bp1为所述第一标签探测器的可训练的网络权重参数。
S507.根据所述源领域文本情感类别第一预测值、所述源领域文本情感类别第二预测值和源领域文本情感类别标签，最小化所述第一情感分类器和所述第二情感分类器的情感分类损失函数。
其中，所述第一情感分类器的情感分类损失函数为：
Figure BDA0003239958660000176
Figure BDA0003239958660000177
为标注的所述源领域文本的第一情感类别标签。
所述第二情感分类器的情感分类损失函数为：
Figure BDA0003239958660000178
Figure BDA0003239958660000179
为标注的所述源领域文本的第二情感类别标签，在本申请实施例中，
Figure BDA00032399586600001710
和
Figure BDA00032399586600001711
是相同的标签值。
S508.根据所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果，述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果，最小化所述第一领域鉴别器和所述第二领域鉴别器的对抗网络学习损失函数。
其中，所述第一领域鉴别器的对抗网络学习损失函数为:
Figure BDA0003239958660000181
所述第二领域鉴别器的对抗网络学习损失函数为:
Figure BDA0003239958660000182
S509.根据目标领域文本情感类别第一预测值和所述目标领域文本情感类别第二伪标签，根据目标领域文本情感类别第二预测值和所述目标领域文本情感类别第一伪标签，最小化所述第一标签探测器和所述第二标签探测器的相互学习损失函数。
其中，所述第一标签探测器的相互学习损失函数为：
Figure BDA0003239958660000183
所述第二标签探测器的相互学习损失函数为：
Figure BDA0003239958660000184
S510.对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化，获得训练好的跨领域文本情感分类模型。
根据所述情感分类损失函数、对抗网络学习损失函数和相互学习损失函数，建立跨领域文本情感分类模型的总损失函数，通过最小化所述总损失函数，对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化，获得训练好的跨领域文本情感分类模型。
在一个可选的实施例中，所述跨领域文本情感分类模型的损失函数包括第一目标损失函数和第二目标损失函数，通过最小化所述第一目标损失函数和所述第二目标损失函数，对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化，所述第一目标损失函数为：
LG1＝Lcls1+λMLdom1+λDLml2
所述第二目标损失函数为：
LG2＝Lcls2+λMLdom2+λDLml1
其中，λM和λD为超参数。
相应于上述方法实施例，请参阅图5，本发明实施例提供一种跨领域文本情感分类装置5，包括：
文本获取模块51，用于获取目标领域文本以及标注有情感类别标签的源领域文本；
模型建立模块52，用于建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块；
第一双通道特征提取模块53，用于将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示；所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示；
第二双通道特征提取模块54，用于将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示；所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示；
模型训练模块55，用于将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型；
结果获得模块56，用于将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。
可选的，请参阅图6，所述第一双通道特征提取模块53，包括：
第一文本编码单元5301，用于将所述源领域文本输入至所述第一双向门控循环单元进行编码，获得第一隐藏层状态表示；
单词注意力权重获得单元5302，用于将所述第一隐藏层状态表示输入至所述第一软注意力机制模型，获得所述源领域文本中每个单词的注意力权重；
句子特征表示获得单元5303，用于根据所述第一隐藏层状态表示和所述每个单词的注意力权重，获得句子的特征表示；
句子特征表示编码单元5304，用于将所述句子的特征表示输入至所述第二双向门控循环单元进行编码，获得句子的隐藏层状态表示；
句子注意力权重获得单元5305，用于将所述句子的隐藏层状态表示输入至所述第一卷积神经网络注意模型，获得所述源领域文本中每个句子的注意力权重；
语义通道表示获得单元5306，用于根据所述句子的隐藏层状态表示和所述每个句子的注意力权重，获得所述源领域文本的第一语义通道表示；
第二文本编码单元5307，用于将所述源领域文本输入至所述第三双向门控循环单元进行编码，获得第二隐藏层状态表示；
状态向量获得单元5308，用于将所述第二隐藏层状态表示输入至所述第一图注意力机制模型进行句法依存关系提取，获得所述源领域文本的状态向量；
句法通道表示获得单元5309，用于将所述源领域文本的状态向量输入至所述第二卷积神经网络注意模型进行特征提取，获得所述源领域文本的第一句法通道表示；
特征表示获得单元5310，用于将所述源领域文本的第一语义通道表示和所述源领域文本的第一句法通道表示拼接，获得所述源领域文本的第一特征表示。
可选的，请参阅图7，所述模型训练模块55，包括：
特征表示第一输入单元5501，用于将所述源领域文本的第一特征表示输入至所述第一情感分类器，得到源领域文本情感类别第一预测值；
领域第一鉴别结果获得单元5502，用于将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示分别输入至所述第一梯度反转层和所述第一领域鉴别器，获得所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果；其中，通过所述第一梯度反转层将所述第一领域鉴别器作为对抗网络学习中的判别器，使所述第一领域鉴别器无法判别文本的领域来源，以提取领域不变特征；
预测值和伪标签第一获得单元5503，用于将所述目标领域文本的第一特征表示输入至所述第一情感分类器，获得目标领域文本情感类别第一预测值，将所述目标领域的文本的第二特征表示输入至所述第二标签探测器，获得所述目标领域文本情感类别第二伪标签；
特征表示第二输入单元5504，用于将所述源领域文本的第二特征表示输入至所述第二情感分类器，得到源领域文本情感类别第二预测值；
领域第二鉴别结果获得单元5505，用于将所述源领域文本的第二特征表示和所述目标领域文本的第二特征表示分别输入至所述第二梯度反转层和所述第二领域鉴别器，获得所述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果；其中，通过所述第二梯度反转层将所述第二领域鉴别器作为对抗网络学习中的判别器，使所述第二领域鉴别器无法判别文本的领域来源，以提取领域不变特征；
预测值和伪标签第二获得单元5506，用于将所述目标领域文本的第二特征表示输入至所述第二情感分类器，获得目标领域文本情感类别第二预测值，并所述目标领域的文本的第一特征表示输入至所述第一标签探测器，获得所述目标领域文本情感类别第一伪标签；
第一最小化单元5507，用于根据所述源领域文本情感类别第一预测值、所述源领域文本情感类别第二预测值和源领域文本情感类别标签，最小化所述第一情感分类器和所述第二情感分类器的情感分类损失函数；
第二最小化单元5508，用于根据所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果，所述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果，最小化所述第一领域鉴别器和所述第二领域鉴别器的对抗网络学习损失函数；
第三最小化单元5509，用于根据目标领域文本情感类别第一预测值和所述目标领域文本情感类别第二伪标签，根据目标领域文本情感类别第二预测值和所述目标领域文本情感类别第一伪标签，最小化所述第一标签探测器和所述第二标签探测器的相互学习损失函数；
参数优化单元5510，用于对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化，获得训练好的跨领域文本情感分类模型。
应用本发明实施例，通过获取目标领域文本以及标注有情感类别标签的源领域文本，建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块。将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示，所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示。将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示，所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示。将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型。将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。本发明通过采用单词层级和句子层级的层次结构逐步提取文本的语义通道特征，通过双向门控循环单元提取浅层语义信息，然后用图注意力获得句法依赖关系，提取文本的句法通道特征，从而提高了跨领域文本情感分类的准确度。
本申请还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的方法步骤。
本申请还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述实施例的方法步骤。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。

Claims (5)

1.一种跨领域文本情感分类方法，其特征在于，包括：
获取目标领域文本以及标注有情感类别标签的源领域文本；
建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块；所述第一双通道特征提取模块包括第一语义提取模块和第一句法提取模块；所述第一语义提取模块包括依次连接的第一双向门控循环单元、第一软注意力机制模型、第二双向门控循环单元以及第一卷积神经网络注意模型；所述第一句法提取模块包括依次连接的第三双向门控循环单元、第一图注意力机制模型以及第二卷积神经网络注意模型；所述第二双通道特征提取模块包括第二语义提取模块和第二句法提取模块；所述第二语义提取模块包括依次连接的第四双向门控循环单元、第二软注意力机制模型、第五双向门控循环单元以及第三卷积神经网络注意模型；所述第二句法提取模块包括依次连接的第六双向门控循环单元、第二图注意力机制模型以及第四卷积神经网络注意模型；所述第一领域适应模块包括第一情感分类器、第一梯度反转层和第一领域鉴别器、以及第一标签探测器；所述第二领域适应模块包括第二情感分类器、第二梯度反转层和第二领域鉴别器、以及第二标签探测器；
将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示；所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示；其中，将所述源领域文本输入至所述第一双向门控循环单元进行编码，获得第一隐藏层状态表示；将所述第一隐藏层状态表示输入至所述第一软注意力机制模型，获得所述源领域文本中每个单词的注意力权重；根据所述第一隐藏层状态表示和所述每个单词的注意力权重，获得句子的特征表示；将所述句子的特征表示输入至所述第二双向门控循环单元进行编码，获得句子的隐藏层状态表示；将所述句子的隐藏层状态表示输入至所述第一卷积神经网络注意模型，获得所述源领域文本中每个句子的注意力权重；根据所述句子的隐藏层状态表示和所述每个句子的注意力权重，获得所述源领域文本的第一语义通道表示；将所述源领域文本输入至所述第三双向门控循环单元进行编码，获得第二隐藏层状态表示；将所述第二隐藏层状态表示输入至所述第一图注意力机制模型进行句法依存关系提取，获得所述源领域文本的状态向量；将所述源领域文本的状态向量输入至所述第二卷积神经网络注意模型进行特征提取，获得所述源领域文本的第一句法通道表示；将所述源领域文本的第一语义通道表示和所述源领域文本的第一句法通道表示拼接，获得所述源领域文本的第一特征表示；
将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示；所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示；其中，将所述源领域文本输入至所述第四双向门控循环单元进行编码，获得第三隐藏层状态表示；将所述第三隐藏层状态表示输入至所述第二软注意力机制模型，获得所述源领域文本中每个单词的注意力权重；根据所述第三隐藏层状态表示和所述每个单词的注意力权重，获得句子的特征表示；将所述句子的特征表示输入至所述第五双向门控循环单元进行编码，获得句子的隐藏层状态表示；将所述句子的隐藏层状态表示输入至所述第三卷积神经网络注意模型，获得所述源领域文本中每个句子的注意力权重；根据所述句子的隐藏层状态表示和所述每个句子的注意力权重，获得所述源领域文本的第二语义通道表示；将所述源领域文本输入至所述第六双向门控循环单元进行编码，获得第四隐藏层状态表示；将所述第四隐藏层状态表示输入至所述第二图注意力机制模型进行句法依存关系提取，获得所述源领域文本的状态向量；将所述源领域文本的状态向量输入至所述第四卷积神经网络模型进行特征提取，获得所述源领域文本的第二句法通道表示；将所述源领域文本的第二语义通道表示和所述源领域文本的第二句法通道表示拼接，获得所述源领域文本的第二特征表示；
将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型；其中，将所述源领域文本的第一特征表示输入至所述第一情感分类器，得到源领域文本情感类别第一预测值；将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示分别输入至所述第一梯度反转层和所述第一领域鉴别器，获得所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果；其中，通过所述第一梯度反转层将所述第一领域鉴别器作为对抗网络学习中的判别器，使所述第一领域鉴别器无法判别文本的领域来源，以提取领域不变特征；将所述目标领域文本的第一特征表示输入至所述第一情感分类器，获得目标领域文本情感类别第一预测值，将所述目标领域的文本的第二特征表示输入至所述第二标签探测器，获得所述目标领域文本情感类别第二伪标签；将所述源领域文本的第二特征表示输入至所述第二情感分类器，得到源领域文本情感类别第二预测值；将所述源领域文本的第二特征表示和所述目标领域文本的第二特征表示分别输入至所述第二梯度反转层和所述第二领域鉴别器，获得所述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果；其中，通过所述第二梯度反转层将所述第二领域鉴别器作为对抗网络学习中的判别器，使所述第二领域鉴别器无法判别文本的领域来源，以提取领域不变特征；将所述目标领域文本的第二特征表示输入至所述第二情感分类器，获得目标领域文本情感类别第二预测值，并所述目标领域的文本的第一特征表示输入至所述第一标签探测器，获得所述目标领域文本情感类别第一伪标签；根据所述源领域文本情感类别第一预测值、所述源领域文本情感类别的第二预测值和源领域文本情感类别标签，最小化所述第一情感分类器和所述第二情感分类器的情感分类损失函数；根据所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果，述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果，最小化所述第一领域鉴别器和所述第二领域鉴别器的对抗网络学习损失函数；根据目标领域文本情感类别第一预测值和所述目标领域文本情感类别第二伪标签，根据目标领域文本情感类别第二预测值和所述目标领域文本情感类别第一伪标签，最小化所述第一标签探测器和所述第二标签探测器的相互学习损失函数；对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化，获得训练好的跨领域文本情感分类模型；
将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。
2.根据权利要求1所述的跨领域文本情感分类方法，其特征在于，所述跨领域文本情感分类模型的损失函数包括第一目标损失函数和第二目标损失函数，通过最小化所述第一目标损失函数和所述第二目标损失函数，对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化，所述第一目标损失函数为：
LG1＝Lcls1+λMLdom1+λDLml2
其中，λM和λD为超参数，
Figure FDA0003603397210000041
Lcls1为所述第一情感分类器的情感分类损失函数，
Figure FDA0003603397210000042
为标注的所述源领域文本的第一情感类别标签，
Figure FDA0003603397210000044
为所述源领域文本情感类别第一预测值，
Figure FDA0003603397210000043
为所述源领域文本的第一特征表示；其中，
Figure FDA0003603397210000051
Ldom1为所述第一领域鉴别器的对抗网络学习损失函数，
Figure FDA0003603397210000055
为所述源领域文本的领域第一鉴别结果，
Figure FDA0003603397210000056
为所述目标领域文本的领域第一鉴别结果；其中，
Figure FDA0003603397210000052
Lml2为所述第二标签探测器的相互学习损失函数，
Figure FDA0003603397210000058
为所述目标领域文本的第一特征表示，
Figure FDA0003603397210000057
为所述目标领域文本的第二特征表示，
Figure FDA0003603397210000059
为所述目标领域文本情感类别第一预测值，
Figure FDA00036033972100000510
为所述目标领域文本情感类别第二伪标签；
所述第二目标损失函数为：
LG2＝Lcls2+λMLdom2+λDLml1
其中，
Figure FDA0003603397210000053
Lcls2为第二情感分类器的情感分类损失函数，
Figure FDA00036033972100000512
为标注的所述源领域文本的第二情感类别标签，
Figure FDA00036033972100000511
为所述源领域文本情感类别第二预测值，
Figure FDA00036033972100000513
为所述源领域文本的第二特征表示；其中，
Figure FDA0003603397210000054
Ldom2为所述第二领域鉴别器的对抗网络学习损失函数，
Figure FDA00036033972100000514
为所述源领域文本的领域第二鉴别结果，
Figure FDA00036033972100000515
为所述目标领域文本的领域第二鉴别结果；其中，
Figure FDA0003603397210000061
Lml1为所述第一标签探测器的相互学习损失函数，
Figure FDA0003603397210000062
为所述目标领域文本情感类别第二预测值，
Figure FDA0003603397210000063
为所述目标领域文本情感类别第一伪标签。
3.一种跨领域文本情感分类装置，其特征在于，包括：
文本获取模块，用于获取目标领域文本以及标注有情感类别标签的源领域文本；
模型建立模块，用于建立跨领域文本情感分类模型，所述模型包括第一双通道特征提取模块、第二双通道特征提取模块、第一领域适应模块和第二领域适应模块；所述第一双通道特征提取模块包括第一语义提取模块和第一句法提取模块；所述第一语义提取模块包括依次连接的第一双向门控循环单元、第一软注意力机制模型、第二双向门控循环单元以及第一卷积神经网络注意模型；所述第一句法提取模块包括依次连接的第三双向门控循环单元、第一图注意力机制模型以及第二卷积神经网络注意模型；所述第二双通道特征提取模块包括第二语义提取模块和第二句法提取模块；所述第二语义提取模块包括依次连接的第四双向门控循环单元、第二软注意力机制模型、第五双向门控循环单元以及第三卷积神经网络注意模型；所述第二句法提取模块包括依次连接的第六双向门控循环单元、第二图注意力机制模型以及第四卷积神经网络注意模型；所述第一领域适应模块包括第一情感分类器、第一梯度反转层和第一领域鉴别器、以及第一标签探测器；所述第二领域适应模块包括第二情感分类器、第二梯度反转层和第二领域鉴别器、以及第二标签探测器；
第一双通道特征提取模块，用于将所述源领域文本和所述目标领域文本并行输入至所述第一双通道特征提取模块进行特征提取，获得所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示；所述第一特征表示包括拼接的第一语义通道表示和第一句法通道表示；其中，将所述源领域文本输入至所述第一双向门控循环单元进行编码，获得第一隐藏层状态表示；将所述第一隐藏层状态表示输入至所述第一软注意力机制模型，获得所述源领域文本中每个单词的注意力权重；根据所述第一隐藏层状态表示和所述每个单词的注意力权重，获得句子的特征表示；将所述句子的特征表示输入至所述第二双向门控循环单元进行编码，获得句子的隐藏层状态表示；将所述句子的隐藏层状态表示输入至所述第一卷积神经网络注意模型，获得所述源领域文本中每个句子的注意力权重；根据所述句子的隐藏层状态表示和所述每个句子的注意力权重，获得所述源领域文本的第一语义通道表示；将所述源领域文本输入至所述第三双向门控循环单元进行编码，获得第二隐藏层状态表示；将所述第二隐藏层状态表示输入至所述第一图注意力机制模型进行句法依存关系提取，获得所述源领域文本的状态向量；将所述源领域文本的状态向量输入至所述第二卷积神经网络注意模型进行特征提取，获得所述源领域文本的第一句法通道表示；将所述源领域文本的第一语义通道表示和所述源领域文本的第一句法通道表示拼接，获得所述源领域文本的第一特征表示；
第二双通道特征提取模块，用于将所述源领域文本和所述目标领域文本并行输入至所述第二双通道特征提取模块进行特征提取，获得所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示；所述第二特征表示包括拼接的第二语义通道表示和第二句法通道表示；其中，将所述源领域文本输入至所述第四双向门控循环单元进行编码，获得第三隐藏层状态表示；将所述第三隐藏层状态表示输入至所述第二软注意力机制模型，获得所述源领域文本中每个单词的注意力权重；根据所述第三隐藏层状态表示和所述每个单词的注意力权重，获得句子的特征表示；将所述句子的特征表示输入至所述第五双向门控循环单元进行编码，获得句子的隐藏层状态表示；将所述句子的隐藏层状态表示输入至所述第三卷积神经网络注意模型，获得所述源领域文本中每个句子的注意力权重；根据所述句子的隐藏层状态表示和所述每个句子的注意力权重，获得所述源领域文本的第二语义通道表示；将所述源领域文本输入至所述第六双向门控循环单元进行编码，获得第四隐藏层状态表示；将所述第四隐藏层状态表示输入至所述第二图注意力机制模型进行句法依存关系提取，获得所述源领域文本的状态向量；将所述源领域文本的状态向量输入至所述第四卷积神经网络模型进行特征提取，获得所述源领域文本的第二句法通道表示；将所述源领域文本的第二语义通道表示和所述源领域文本的第二句法通道表示拼接，获得所述源领域文本的第二特征表示；
模型训练模块，用于将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示输入至所述第一领域适应模块，将所述源领域文本的第二特征表示和所述目标领域的文本的第二特征表示输入至所述第二领域适应模块，通过相互学习和对抗网络学习对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块进行训练，以提取所述目标领域的文本与所述源领域的文本的不变领域特征，获得训练好的跨领域文本情感分类模型；其中，将所述源领域文本的第一特征表示输入至所述第一情感分类器，得到源领域文本情感类别第一预测值；将所述源领域文本的第一特征表示和所述目标领域文本的第一特征表示分别输入至所述第一梯度反转层和所述第一领域鉴别器，获得所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果；其中，通过所述第一梯度反转层将所述第一领域鉴别器作为对抗网络学习中的判别器，使所述第一领域鉴别器无法判别文本的领域来源，以提取领域不变特征；将所述目标领域文本的第一特征表示输入至所述第一情感分类器，获得目标领域文本情感类别第一预测值，将所述目标领域的文本的第二特征表示输入至所述第二标签探测器，获得所述目标领域文本情感类别第二伪标签；将所述源领域文本的第二特征表示输入至所述第二情感分类器，得到源领域文本情感类别第二预测值；将所述源领域文本的第二特征表示和所述目标领域文本的第二特征表示分别输入至所述第二梯度反转层和所述第二领域鉴别器，获得所述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果；其中，通过所述第二梯度反转层将所述第二领域鉴别器作为对抗网络学习中的判别器，使所述第二领域鉴别器无法判别文本的领域来源，以提取领域不变特征；将所述目标领域文本的第二特征表示输入至所述第二情感分类器，获得目标领域文本情感类别第二预测值，并所述目标领域的文本的第一特征表示输入至所述第一标签探测器，获得所述目标领域文本情感类别第一伪标签；根据所述源领域文本情感类别第一预测值、所述源领域文本情感类别的第二预测值和源领域文本情感类别标签，最小化所述第一情感分类器和所述第二情感分类器的情感分类损失函数；根据所述源领域文本的领域第一鉴别结果和所述目标领域文本的领域第一鉴别结果，述源领域文本的领域第二鉴别结果和所述目标领域文本的领域第二鉴别结果，最小化所述第一领域鉴别器和所述第二领域鉴别器的对抗网络学习损失函数；根据目标领域文本情感类别第一预测值和所述目标领域文本情感类别第二伪标签，根据目标领域文本情感类别第二预测值和所述目标领域文本情感类别第一伪标签，最小化所述第一标签探测器和所述第二标签探测器的相互学习损失函数；对所述第一双通道特征提取模块、所述第二双通道特征提取模块、所述第一领域适应模块和所述第二领域适应模块中的网络参数进行优化，获得训练好的跨领域文本情感分类模型；
结果获得模块，用于将待进行情感分类的目标领域文本输入至训练好的所述跨领域文本情感分类模型中，获得情感分类结果。
4.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至2中任意一项所述的跨领域文本情感分类方法。
5.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至2中任意一项所述的跨领域文本情感分类方法。
CN202111016262.3A 2021-08-31 2021-08-31 跨领域文本情感分类方法、装置、存储介质以及电子设备 Active CN113779249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016262.3A CN113779249B (zh) 2021-08-31 2021-08-31 跨领域文本情感分类方法、装置、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016262.3A CN113779249B (zh) 2021-08-31 2021-08-31 跨领域文本情感分类方法、装置、存储介质以及电子设备

Publications (2)

Publication Number Publication Date
CN113779249A CN113779249A (zh) 2021-12-10
CN113779249B true CN113779249B (zh) 2022-08-16

Family

ID=78840500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016262.3A Active CN113779249B (zh) 2021-08-31 2021-08-31 跨领域文本情感分类方法、装置、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN113779249B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114647724B (zh) * 2022-02-22 2024-07-19 广东外语外贸大学 一种基于MPNet、Bi-LSTM和宽度学习的多源跨领域情绪分类方法
CN115712726B (zh) * 2022-11-08 2023-09-12 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308318A (zh) * 2018-08-14 2019-02-05 深圳大学 跨领域文本情感分类模型的训练方法、装置、设备及介质
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109783644A (zh) * 2019-01-18 2019-05-21 福州大学 一种基于文本表示学习的跨领域情感分类系统及方法
CN110851601A (zh) * 2019-11-08 2020-02-28 福州大学 基于分层注意力机制的跨领域情感分类系统及方法
CN110874411A (zh) * 2019-11-20 2020-03-10 福州大学 一种基于注意力机制融合的跨领域情感分类系统
CN111522956A (zh) * 2020-05-08 2020-08-11 河南理工大学 基于双通道和层次化注意力网络的文本情感分类方法
CN112883741A (zh) * 2021-04-29 2021-06-01 华南师范大学 基于双通道图神经网络的特定目标情感分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253597A1 (en) * 2015-02-27 2016-09-01 Xerox Corporation Content-aware domain adaptation for cross-domain classification
CN108363753B (zh) * 2018-01-30 2020-05-19 南京邮电大学 评论文本情感分类模型训练与情感分类方法、装置及设备
US10817668B2 (en) * 2018-11-26 2020-10-27 Sap Se Adaptive semi-supervised learning for cross-domain sentiment classification
US11023870B2 (en) * 2019-10-16 2021-06-01 Capital One Services, Llc Computer-based systems configured to provide a portal for migrating one or more existing relationships from one entity to another entity and methods of use thereof
CN110704715B (zh) * 2019-10-18 2022-05-17 南京航空航天大学 一种网络霸凌的检测方法及系统
CN113065344A (zh) * 2021-03-24 2021-07-02 大连理工大学 一种基于迁移学习和注意力机制的跨语料库情感识别方法
CN113239189A (zh) * 2021-04-22 2021-08-10 北京物资学院 一种文本情感领域分类的方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308318A (zh) * 2018-08-14 2019-02-05 深圳大学 跨领域文本情感分类模型的训练方法、装置、设备及介质
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN109783644A (zh) * 2019-01-18 2019-05-21 福州大学 一种基于文本表示学习的跨领域情感分类系统及方法
CN110851601A (zh) * 2019-11-08 2020-02-28 福州大学 基于分层注意力机制的跨领域情感分类系统及方法
CN110874411A (zh) * 2019-11-20 2020-03-10 福州大学 一种基于注意力机制融合的跨领域情感分类系统
CN111522956A (zh) * 2020-05-08 2020-08-11 河南理工大学 基于双通道和层次化注意力网络的文本情感分类方法
CN112883741A (zh) * 2021-04-29 2021-06-01 华南师范大学 基于双通道图神经网络的特定目标情感分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing;Jianfei Yu等;《 Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing》;20160131;第236-246页 *
基于域对抗网络和BERT的跨领域文本情感分析;蔡国永等;《山东大学学报》;20200229;第50卷(第1期);第1-8页 *
采用生成对抗网络的金融文本情感分类方法;沈翠芝;《福州大学学报》;20191231;第47卷(第6期);第740-745页 *

Also Published As

Publication number Publication date
CN113779249A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
Xie et al. Representation learning of knowledge graphs with entity descriptions
CN108628823A (zh) 结合注意力机制和多任务协同训练的命名实体识别方法
CN107590127B (zh) 一种题库知识点自动标注方法及系统
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
CN111460157B (zh) 用于多领域文本分类的循环卷积多任务学习方法
CN110222178A (zh) 文本情感分类方法、装置、电子设备及可读存储介质
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
CN113779249B (zh) 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN109325231A (zh) 一种多任务模型生成词向量的方法
CN110390397A (zh) 一种文本蕴含识别方法及装置
CN113704460B (zh) 一种文本分类方法、装置、电子设备和存储介质
Wang et al. Exploiting topic-based adversarial neural network for cross-domain keyphrase extraction
CN111738007A (zh) 一种基于序列生成对抗网络的中文命名实体识别数据增强算法
CN109145304A (zh) 一种基于字的中文观点要素情感分析方法
Mrhar et al. A Bayesian CNN-LSTM model for sentiment analysis in massive open online courses MOOCs
CN111222318A (zh) 基于双通道双向lstm-crf网络的触发词识别方法
CN116452895B (zh) 基于多模态对称增强的小样本图像分类方法、装置及介质
CN114417851A (zh) 一种基于关键词加权信息的情感分析方法
CN114357167B (zh) 基于Bi-LSTM-GCN的多标签文本分类方法和系统
Khan et al. Towards achieving machine comprehension using deep learning on non-GPU machines
Jouis et al. Anchors vs attention: Comparing XAI on a real-life use case
CN112560440A (zh) 一种基于深度学习的面向方面级情感分析的句法依赖方法
CN116842955A (zh) 一种基于多特征提取的医学实体关系方法
CN111368524A (zh) 一种基于自注意力双向gru和svm的微博观点句识别方法
CN114692615B (zh) 一种针对小语种的小样本意图识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant