CN113722439A - 基于对抗性类别对齐网络的跨领域情感分类方法及系统 - Google Patents

基于对抗性类别对齐网络的跨领域情感分类方法及系统 Download PDF

Info

Publication number
CN113722439A
CN113722439A CN202111016540.5A CN202111016540A CN113722439A CN 113722439 A CN113722439 A CN 113722439A CN 202111016540 A CN202111016540 A CN 202111016540A CN 113722439 A CN113722439 A CN 113722439A
Authority
CN
China
Prior art keywords
domain
knowledge
text
alignment
classifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111016540.5A
Other languages
English (en)
Other versions
CN113722439B (zh
Inventor
廖祥文
郭星宇
朱雨航
曾梦美
蔡鸿杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202111016540.5A priority Critical patent/CN113722439B/zh
Publication of CN113722439A publication Critical patent/CN113722439A/zh
Application granted granted Critical
Publication of CN113722439B publication Critical patent/CN113722439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于对抗性类别对齐网络的跨领域情感分类方法，包括以下步骤：从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；对融合的文本特征向量进行分类预测，实现情感类别的输出。该方法及系统有利于提高跨领域文本情感分类的准确性。

Description

基于对抗性类别对齐网络的跨领域情感分类方法及系统
技术领域
本发明属于文本分类预测技术领域，具体涉及一种基于对抗性类别对齐网络的跨领域情感分类方法及系统。
背景技术
跨领域文本情感分类，旨在通过迁移学习，利用源领域已标注文本来提高目标领域未标注文本情感分类性能。
目前对跨领域文本情感分类的相关研究主要可以分为三类：(1)基于实例加权的跨领域文本情感分类方法，通过在训练过程中赋予与目标领域相似样本更高的权重以此来降低源领域和目标领域之间的分布差异，但此方法在迁移过程不可避免的会产生负面迁移的问题，反而会降低目标领域情感分类性能；(2)基于特征选择的跨领域文本情感分类方法，通过对源领域和目标领域之间枢轴特征和非枢轴特征建立关系，构建一个领域共享的特征表示空间，但该方法常常使用词袋模型和N-gram特征来对文本向量化，未能充分考虑文本上下文关系以及局部关键语义特征；(3)基于特征表示学习的跨领域文本情感分类方法，通过训练网络模型参数，学习适应于源领域和目标领域的文本特征表示，此类方法通常使用领域对抗网络(DANN)、分层注意网络(HATN)、端到端对抗记忆网络(AMN)等。但此类方法并未充分考虑目标领域样本情感分类的决策边界，无法生成更具有区分性的特征。
发明内容
本发明的目的在于提供一种基于对抗性类别对齐网络的跨领域情感分类方法及系统，该方法及系统有利于提高跨领域文本情感分类的准确性。
为实现上述目的，本发明采用的技术方案是：一种基于对抗性类别对齐网络的跨领域情感分类方法，包括以下步骤：
从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；
对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；
融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；
基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；
对融合的文本特征向量进行分类预测，实现情感类别的输出。
进一步地，采用关系图卷积网络R-GCN从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，具体为：
首先从数据集中所有领域的训练文档中提取出所有唯一的名词、形容词和副词的集合，以此集合为种子来过滤原始知识图
Figure BDA0003240029690000021
来建立基于所有领域的知识子图
Figure BDA0003240029690000022
然后训练一个图形自动编码器模型来进行链接预测；所述图形自动编码器模型以来自图
Figure BDA0003240029690000023
中边
Figure BDA0003240029690000024
的不完整边
Figure BDA0003240029690000025
作为输入，输出边(c1,r,c2)的可能性得分；所述图形自动编码器模型包括一个R-GCN编码器和一个DistMut评分模型；所述R-GCN编码器在给定知识图的局部区域中学习域聚合特征向量；
所述R-GCN编码器的计算公式如下：
Figure BDA0003240029690000026
Figure BDA0003240029690000027
其中，gi为初始图特征向量，
Figure BDA0003240029690000028
为域聚合特征向量，
Figure BDA0003240029690000029
表示知识图中的在关系
Figure BDA00032400296900000210
下的节点i，ci,r是一个归一化常数，预先设置使得
Figure BDA00032400296900000211
Figure BDA00032400296900000212
均为可变化的学习参数；
所述DistMut评分模型用于计算三元组(ci,r,cj)的得分：
Figure BDA00032400296900000213
其中，σ是logistic函数，
Figure BDA00032400296900000214
是图节点ci,cj的域聚合特征向量，每个关系
Figure BDA00032400296900000215
还与一个对角矩阵
Figure BDA00032400296900000216
相关联；
所述图形自动编码器模型预训练所使用标准的交叉熵损失函数如下：
Figure BDA00032400296900000217
其中，y表示图节点ci,cj是否有链接，有为1，没有为0。
进一步地，对历史上下文信息进行编码，生成具有上下文信息的原始句子特征，具体为：
首先利用词袋模型将句子矢量化，再利用双向LSTM对历史上下文进行编码；
所述双向LSTM的计算公式如下：
Figure BDA0003240029690000031
Figure BDA0003240029690000032
Figure BDA0003240029690000033
其中，t时刻第一层，即顺时间循环层的隐藏状态
Figure BDA0003240029690000034
取决于前一时刻的隐藏状态
Figure BDA0003240029690000035
和输入值xt；第二层，即逆时间循环层的隐藏状态也取决于前一时刻的隐藏状态和输入值x；U(1)，W(1)，b(1)，U(2)，W(2)，b(2)都是可训练参数。
进一步地，融合外部知识生成的文本相关的常识知识特征和原始句子特征，具体为：
定义外部知识生成的文本相关的常识知识特征向量
Figure BDA0003240029690000036
和原始句子向量
Figure BDA0003240029690000037
对常识知识特征和原始句子通过以下公式进行融合：
Figure BDA0003240029690000038
Figure BDA0003240029690000039
其中，
Figure BDA00032400296900000310
表示领域i的第j个句子的常识知识特征，
Figure BDA00032400296900000311
表示领域i的第j个句子的原始句子特征；
Figure BDA00032400296900000312
bg均为可训练权重，
Figure BDA00032400296900000313
经过sigmoid后得到一个权重gj，
Figure BDA00032400296900000314
分别于gj和1-gj进行点积再拼接得到最终的融合向量uj。
进一步地，基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐，具体为：
构建对抗性类别对齐网络模型，所述模型先在训练阶段使得源领域和目标领域进行全局边缘对齐，再进行类别级别的对齐；
所述模型包括一个域共享编码器G，两个分类器F1，F2；
分类器的情感分类目标函数如下：
Figure BDA0003240029690000041
Figure BDA0003240029690000042
Figure BDA0003240029690000043
其中，
Figure BDA0003240029690000044
为样本
Figure BDA0003240029690000045
经过域共享编码器G，再经过分类器F1后得到的
Figure BDA0003240029690000046
的情感分类概率，
Figure BDA0003240029690000047
为样本
Figure BDA0003240029690000048
经过域共享编码器G，再经过分类器F2后得到的
Figure BDA0003240029690000049
的情感分类概率；
Figure BDA00032400296900000410
表示样本原有的情感标签，积极情感为1，消极情感为0；ns表示训练集样本总数；K表示n分类任务；
所述模型采用KL散度来评估源领域和目标领域的数据特征分布差异，当两个领域数据分布差异越大，KL散度越大，因此通过最小化KL散度和情感分类损失来使得源领域和目标领域达到全局边缘对齐；KL散度的计算公式如下：
Figure BDA00032400296900000411
Figure BDA00032400296900000412
Figure BDA00032400296900000413
其中，||·||1表示L1范数，gs表示源领域特征分布，gt表示目标领域特征分布；
第一步，训练G，F1，F2，得到全局边缘对齐；
所述模型定义了两个分类器概率输出之间的差异，其公式如下：
Figure BDA00032400296900000414
Figure BDA00032400296900000415
其中，d(p1(y|x),p2(y|x))为二分类平均绝对差值，当i＝1时，
Figure BDA00032400296900000416
表示分类器F1对样本x预测为消极标签的概率，
Figure BDA00032400296900000417
表示分类器F2对样本x预测为消极标签的概率；当i＝2时，
Figure BDA00032400296900000418
表示分类器F1对样本x预测为积极标签的概率，
Figure BDA00032400296900000419
表示分类器F2对样本x预测为积极标签的概率
第二步，固定G，调整F1，F2，通过最大化预测偏差来调整分类器参数，来定位到决策边界附近的特征；其目标函数如下：
Figure BDA0003240029690000051
第三步，固定F1，F2，调整G，生成更好的特征使得第二步中定位到的特征远离决策边界，其目标函数为：
Figure BDA0003240029690000052
通过不断重复上述对抗过程，实现两个领域的类别级对齐，使得特征提取网络生成领域适应的文本特征表示；
整个模型的优化策略如下：
(1)通过最小化情感分类误差和边缘分布差异实现领域的全局边缘对齐，其损失函数如下：
L1＝Lcls+λ1Lkl
(2)固定特征提取网络G的参数不变，增大F1，F2的差异，从而定位到具有歧义的特征，其损失函数如下：
L2＝Lcls-λ2Ldis
(3)固定分类器F1，F2参数不变，减小分类器F1，F2的差异，优化域共享编码器G的参数，使特征尽可能远离决策边界，其损失函数为：
L3＝Lcls+λ3Ldis。
进一步地，在测试过程只使用F1分类器来进行情感分类，采用softmax函数，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：
y＝softmax(W。ha+b。)
其中，Wo为分类器的权重参数，bo为分类器的偏置项。
本发明还提供了一种基于对抗性类别对齐网络的跨领域情感分类系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
进一步地，该系统进一步包括：
外部知识模块，用于从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；
编码器模块，用于对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；
动态融合模块，用于融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；
对抗性类别对齐网络模块，用于基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；以及
情感类别输出模块，用于对融合的文本特征向量进行分类预测，实现情感类别的输出。
与现有技术相比，本发明具有以下有益效果：提供了一种基于对抗性类别对齐网络的跨领域情感分类方法及系统，该方法能够编码文档的历史上下文信息，生成具有上下文信息的文档特征向量，并利用RGCN从外部知识库中获取有用的外部知识信息，随后二者信息融合生成特定文档的特征向量再将融合的向量送入对抗性类别对齐网络，最终对于融合的特征向量进行分类预测。该方法相较于传统的方法，有效融合了外部知识，且在全局边缘对齐的先验条件下，进行类别级别的对齐，提高了跨领域文本情感分类的准确性。
附图说明
图1是本发明实施例的实现流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例提供了一种基于对抗性类别对齐网络的跨领域情感分类方法，包括以下步骤：
S1、采用关系图卷积网络R-GCN从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；具体为：
首先从数据集中所有领域的训练文档中提取出所有唯一的名词、形容词和副词的集合，以此集合为种子来过滤原始知识图
Figure BDA0003240029690000071
来建立基于所有领域的知识子图
Figure BDA0003240029690000072
然后训练一个图形自动编码器模型来进行链接预测。所述图形自动编码器模型以来自图
Figure BDA0003240029690000073
中边ε'的不完整边
Figure BDA0003240029690000074
作为输入，输出边(c1,r,c2)的可能性得分。所述图形自动编码器模型包括一个R-GCN编码器和一个DistMut评分模型。所述R-GCN编码器在给定知识图的局部区域中学习域聚合特征向量。
所述R-GCN编码器的计算公式如下：
Figure BDA0003240029690000075
Figure BDA0003240029690000076
其中，gi为初始图特征向量，
Figure BDA0003240029690000077
为域聚合特征向量，
Figure BDA0003240029690000078
表示知识图中的在关系
Figure BDA0003240029690000079
下的节点i，cir是一个归一化常数，预先设置使得
Figure BDA00032400296900000710
Figure BDA00032400296900000711
均为可变化的学习参数。
所述DistMut评分模型用于计算三元组(ci,r,cj)的得分：
Figure BDA00032400296900000712
其中，σ是logistic函数，
Figure BDA00032400296900000713
是图节点ci,cj的域聚合特征向量，每个关系
Figure BDA00032400296900000714
还与一个对角矩阵
Figure BDA00032400296900000715
相关联。
所述图形自动编码器模型预训练所使用标准交叉熵损失函数如下：
Figure BDA00032400296900000716
其中，y表示图节点ci,cj是否有链接，有为1，没有为0。
S2、对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；具体为：
首先利用词袋模型将句子矢量化，再利用双向LSTM对历史上下文进行编码。双向LSTM不仅能利用到过去的信息，还能捕捉到后续的信息，可以更好地利用上下文的信息。
所述双向LSTM的计算公式如下：
Figure BDA0003240029690000081
Figure BDA0003240029690000082
Figure BDA0003240029690000083
其中，t时刻第一层，即顺时间循环层的隐藏状态
Figure BDA0003240029690000084
取决于前一时刻的隐藏状态
Figure BDA0003240029690000085
和输入值xt；第二层，即逆时间循环层的隐藏状态也取决于前一时刻的隐藏状态和输入值x；U(1)，W(1)，b(1)，U(2)，W(2)，b(2)都是可训练参数。
S3、融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；具体为：
定义外部知识生成的文本相关的常识知识特征向量
Figure BDA0003240029690000086
和原始句子向量
Figure BDA0003240029690000087
对常识知识特征和原始句子通过以下公式进行融合：
Figure BDA0003240029690000088
Figure BDA0003240029690000089
其中，
Figure BDA00032400296900000810
表示领域i的第j个句子的常识知识特征，
Figure BDA00032400296900000811
表示领域i的第j个句子的原始句子特征；
Figure BDA00032400296900000812
bg均为可训练权重，
Figure BDA00032400296900000813
经过sigmoid后得到一个权重gj，
Figure BDA00032400296900000814
分别于gj和1-gj进行点积再拼接得到最终的融合向量uj。
S4、基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；具体为：
构建对抗性类别对齐网络模型，所述模型先在训练阶段使得源领域和目标领域进行全局边缘对齐，再进行类别级别的对齐。
所述模型包括一个域共享编码器G，两个分类器F1，F2。
分类器的情感分类目标函数如下：
Figure BDA0003240029690000091
Figure BDA0003240029690000092
Figure BDA0003240029690000093
其中，
Figure BDA0003240029690000094
为样本
Figure BDA0003240029690000095
经过域共享编码器G，再经过分类器F1后得到的
Figure BDA0003240029690000096
的情感分类概率，
Figure BDA0003240029690000097
为样本
Figure BDA0003240029690000098
经过域共享编码器G，再经过分类器F2后得到的
Figure BDA0003240029690000099
的情感分类概率；
Figure BDA00032400296900000910
表示样本原有的情感标签，积极情感为1，消极情感为0；ns表示训练集样本总数；K表示n分类任务，此处取值为2。
所述模型采用KL散度来评估源领域和目标领域的数据特征分布差异，当两个领域数据分布差异越大，KL散度越大，因此通过最小化KL散度和情感分类损失来使得源领域和目标领域达到全局边缘对齐；KL散度的计算公式如下：
Figure BDA00032400296900000911
Figure BDA00032400296900000912
Figure BDA00032400296900000913
其中，||·||1表示L1范数，gs表示源领域特征分布，gt表示目标领域特征分布。
第一步，训练G，F1，F2，得到全局边缘对齐；这一步降低了两个领域之间的距离，但在决策边界附近产生了模糊的目标特征。
所述模型定义了两个分类器概率输出之间的差异，其公式如下：
Figure BDA00032400296900000914
Figure BDA00032400296900000915
其中，d(p1(y|x),p2(y|x))为二分类平均绝对差值，当i＝1时，
Figure BDA00032400296900000916
表示分类器F1对样本x预测为消极标签的概率，
Figure BDA00032400296900000917
表示分类器F2对样本x预测为消极标签的概率；当i＝2时，
Figure BDA0003240029690000101
表示分类器F1对样本x预测为积极标签的概率，
Figure BDA0003240029690000102
表示分类器F2对样本x预测为积极标签的概率
第二步，固定G，调整F1，F2，通过最大化预测偏差来调整分类器参数，来定位到决策边界附近的特征；其目标函数如下：
Figure BDA0003240029690000103
第三步，固定F1，F2，调整G，生成更好的特征使得第二步中定位到的特征远离决策边界，其目标函数为：
Figure BDA0003240029690000104
通过不断重复上述对抗过程，实现两个领域的类别级对齐，使得特征提取网络生成领域适应的文本特征表示。
整个模型的优化策略如下：
(1)通过最小化情感分类误差和边缘分布差异实现领域的全局边缘对齐，其损失函数如下：
L1＝Lcls+λ1Lkl
(2)固定特征提取网络G的参数不变，增大F1，F2的差异，从而定位到具有歧义的特征，其损失函数如下：
L2＝Lcls-λ2Ldis
(3)固定分类器F1，F2参数不变，减小分类器F1，F2的差异，优化域共享编码器G的参数，使特征尽可能远离决策边界，其损失函数为：
L3＝Lcls+λ3Ldis。
在模型的训练阶段，根据信息的前向传播和误差的后向传播将不断地对他们进行调整，逐步优化目标函数。
S5、对融合的文本特征向量进行分类预测，实现情感类别的输出。
在测试过程只使用F1分类器来进行情感分类，采用softmax函数，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：
y＝softmax(Woha+bo)
其中，Wo为分类器的权重参数，bo为分类器的偏置项。
本实施例还提供了一种基于对抗性类别对齐网络的跨领域情感分类系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。该系统进一步包括：
外部知识模块，用于从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；
编码器模块，用于对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；
动态融合模块，用于融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；
对抗性类别对齐网络模块，用于基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；以及
情感类别输出模块，用于对融合的文本特征向量进行分类预测，实现情感类别的输出。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.一种基于对抗性类别对齐网络的跨领域情感分类方法，其特征在于，包括以下步骤：
从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；
对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；
融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；
基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；
对融合的文本特征向量进行分类预测，实现情感类别的输出。
2.根据权利要求1所述的基于对抗性类别对齐网络的跨领域情感分类方法，其特征在于，采用关系图卷积网络R-GCN从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，具体为：
首先从数据集中所有领域的训练文档中提取出所有唯一的名词、形容词和副词的集合，以此集合为种子来过滤原始知识图
Figure FDA0003240029680000011
来建立基于所有领域的知识子图
Figure FDA0003240029680000012
然后训练一个图形自动编码器模型来进行链接预测；所述图形自动编码器模型以来自图
Figure FDA0003240029680000013
中边ε′的不完整边
Figure FDA0003240029680000014
作为输入，输出边(c1，r，c2)的可能性得分；所述图形自动编码器模型包括一个R-GCN编码器和一个DistMut评分模型；所述R-GCN编码器在给定知识图的局部区域中学习域聚合特征向量；
所述R-GCN编码器的计算公式如下：
Figure FDA0003240029680000015
Figure FDA0003240029680000016
其中，gi为初始图特征向量，
Figure FDA0003240029680000017
为域聚合特征向量，
Figure FDA0003240029680000018
表示知识图中的在关系
Figure FDA0003240029680000019
下的节点i，ci，r是一个归一化常数，预先设置使得
Figure FDA00032400296800000110
均为可变化的学习参数；
所述DistMut评分模型用于计算三元组(ci，r，cj)的得分：
Figure FDA0003240029680000021
其中，σ是logistic函数，
Figure FDA0003240029680000022
是图节点ci，cj的域聚合特征向量，每个关系
Figure FDA0003240029680000023
还与一个对角矩阵
Figure FDA0003240029680000024
相关联；
所述图形自动编码器模型预训练所使用标准交叉熵损失函数如下：
Figure FDA0003240029680000025
其中，y表示图节点ci，cj是否有链接，有为1，没有为0。
3.根据权利要求1所述的基于对抗性类别对齐网络的跨领域情感分类方法，其特征在于，对历史上下文信息进行编码，生成具有上下文信息的原始句子特征，具体为：
首先利用词袋模型将句子矢量化，再利用双向LSTM对历史上下文进行编码；
所述双向LSTM的计算公式如下：
Figure FDA0003240029680000026
Figure FDA0003240029680000027
Figure FDA0003240029680000028
其中，t时刻第一层，即顺时间循环层的隐藏状态
Figure FDA0003240029680000029
取决于前一时刻的隐藏状态
Figure FDA00032400296800000210
和输入值xt；第二层，即逆时间循环层的隐藏状态也取决于前一时刻的隐藏状态和输入值x；U(1)，W(1)，b(1)，U(2)，W(2)，b(2)都是可训练参数。
4.根据权利要求1所述的基于对抗性类别对齐网络的跨领域情感分类方法，其特征在于，融合外部知识生成的文本相关的常识知识特征和原始句子特征，具体为：
定义外部知识生成的文本相关的常识知识特征向量
Figure FDA00032400296800000211
和原始句子向量
Figure FDA00032400296800000212
对常识知识特征和原始句子通过以下公式进行融合：
Figure FDA00032400296800000213
Figure FDA00032400296800000214
其中，
Figure FDA00032400296800000215
表示领域i的第j个句子的常识知识特征，
Figure FDA00032400296800000216
表示领域i的第j个句子的原始句子特征；
Figure FDA00032400296800000217
bg均为可训练权重，
Figure FDA00032400296800000218
经过sigmoid后得到一个权重gj，
Figure FDA0003240029680000031
分别于gj和1-gj进行点积再拼接得到最终的融合向量uj。
5.根据权利要求1所述的基于对抗性类别对齐网络的跨领域情感分类方法，其特征在于，基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐，具体为：
构建对抗性类别对齐网络模型，所述模型先在训练阶段使得源领域和目标领域进行全局边缘对齐，再进行类别级别的对齐；
所述模型包括一个域共享编码器G，两个分类器F1，F2；
分类器的情感分类目标函数如下：
Figure FDA0003240029680000032
Figure FDA0003240029680000033
其中，
Figure FDA0003240029680000034
为样本
Figure FDA0003240029680000035
经过域共享编码器G，再经过分类器F1后得到的
Figure FDA0003240029680000036
的情感分类概率，
Figure FDA0003240029680000037
为样本
Figure FDA0003240029680000038
经过域共享编码器G，再经过分类器F2后得到的
Figure FDA0003240029680000039
的情感分类概率；
Figure FDA00032400296800000310
表示样本原有的情感标签，积极情感为1，消极情感为0；ns表示训练集样本总数；K表示n分类任务；
所述模型采用KL散度来评估源领域和目标领域的数据特征分布差异，当两个领域数据分布差异越大，KL散度越大，因此通过最小化KL散度和情感分类损失来使得源领域和目标领域达到全局边缘对齐；KL散度的计算公式如下：
Figure FDA00032400296800000311
Figure FDA00032400296800000312
Figure FDA00032400296800000313
其中，||·||1表示L1范数，gs表示源领域特征分布，gt表示目标领域特征分布；
第一步，训练G，F1，F2，得到全局边缘对齐；
所述模型定义了两个分类器概率输出之间的差异，其公式如下：
Figure FDA0003240029680000041
Figure FDA0003240029680000042
其中，d(p1(y|x)，p2(y|x))为二分类平均绝对差值，当i＝1时，
Figure FDA0003240029680000043
表示分类器F1对样本x预测为消极标签的概率，
Figure FDA0003240029680000044
表示分类器F2对样本x预测为消极标签的概率；当i＝2时，
Figure FDA0003240029680000045
表示分类器F1对样本x预测为积极标签的概率，
Figure FDA0003240029680000046
表示分类器F2对样本x预测为积极标签的概率
第二步，固定G，调整F1，F2，通过最大化预测偏差来调整分类器参数，来定位到决策边界附近的特征；其目标函数如下：
Figure FDA0003240029680000047
第三步，固定F1，F2，调整G，生成更好的特征使得第二步中定位到的特征远离决策边界，其目标函数为：
Figure FDA0003240029680000048
通过不断重复上述对抗过程，实现两个领域的类别级对齐，使得特征提取网络生成领域适应的文本特征表示；
整个模型的优化策略如下：
(1)通过最小化情感分类误差和边缘分布差异实现领域的全局边缘对齐，其损失函数如下：
L1＝Lcls+λ1Lkl
(2)固定特征提取网络G的参数不变，增大F1，F2的差异，从而定位到具有歧义的特征，其损失函数如下：
L2＝Lcls-λ2Ldis
(3)固定分类器F1，F2参数不变，减小分类器F1，F2的差异，优化域共享编码器G的参数，使特征尽可能远离决策边界，其损失函数为：
L3＝Lcls+λ3Ldis。
6.根据权利要求5所述的基于对抗性类别对齐网络的跨领域情感分类方法，其特征在于，在测试过程只使用F1分类器来进行情感分类，采用softmax函数，将概率最大的类别作为对应文本表示的情感类别预测值，计算公式如下：
y＝softmax(Woha+bo)
其中，Wo为分类器的权重参数，bo为分类器的偏置项。
7.一种基于对抗性类别对齐网络的跨领域情感分类系统，其特征在于，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现如权利要求1-6所述的方法步骤。
8.根据权利要求7所述的基于对抗性类别对齐网络的跨领域情感分类系统，其特征在于，该系统进一步包括：
外部知识模块，用于从常识库中提取相关领域的知识，生成与文本相关的常识知识特征，来增强文本的语义；
编码器模块，用于对历史上下文信息进行编码，生成具有上下文信息的原始句子特征；
动态融合模块，用于融合外部知识生成的文本相关的常识知识特征和原始句子特征，生成兼具特异性和泛化性的文本表示；
对抗性类别对齐网络模块，用于基于对抗性类别对齐网络，在全局边缘对齐的先验条件下，进行类别级别的对齐；以及
情感类别输出模块，用于对融合的文本特征向量进行分类预测，实现情感类别的输出。
CN202111016540.5A 2021-08-31 2021-08-31 基于对抗性类别对齐网络的跨领域情感分类方法及系统 Active CN113722439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111016540.5A CN113722439B (zh) 2021-08-31 2021-08-31 基于对抗性类别对齐网络的跨领域情感分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111016540.5A CN113722439B (zh) 2021-08-31 2021-08-31 基于对抗性类别对齐网络的跨领域情感分类方法及系统

Publications (2)

Publication Number Publication Date
CN113722439A true CN113722439A (zh) 2021-11-30
CN113722439B CN113722439B (zh) 2024-01-09

Family

ID=78680151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111016540.5A Active CN113722439B (zh) 2021-08-31 2021-08-31 基于对抗性类别对齐网络的跨领域情感分类方法及系统

Country Status (1)

Country Link
CN (1) CN113722439B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法
CN115080688A (zh) * 2022-06-13 2022-09-20 华南理工大学 一种少样本跨领域情感分析方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
WO2019174422A1 (zh) * 2018-03-16 2019-09-19 北京国双科技有限公司 实体关联关系的分析方法及相关装置
CN110874411A (zh) * 2019-11-20 2020-03-10 福州大学 一种基于注意力机制融合的跨领域情感分类系统
CN112508077A (zh) * 2020-12-02 2021-03-16 齐鲁工业大学 一种基于多模态特征融合的社交媒体情感分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092596A (zh) * 2017-04-24 2017-08-25 重庆邮电大学 基于attention CNNs和CCR的文本情感分析方法
WO2019174422A1 (zh) * 2018-03-16 2019-09-19 北京国双科技有限公司 实体关联关系的分析方法及相关装置
CN109492099A (zh) * 2018-10-28 2019-03-19 北京工业大学 一种基于领域对抗自适应的跨领域文本情感分类方法
CN110874411A (zh) * 2019-11-20 2020-03-10 福州大学 一种基于注意力机制融合的跨领域情感分类系统
CN112508077A (zh) * 2020-12-02 2021-03-16 齐鲁工业大学 一种基于多模态特征融合的社交媒体情感分析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖祥文等: "《基于知识图谱与循环注意力网络的视角级情感分析》", 模式识别与人工智能, vol. 33, no. 6, pages 479 - 487 *
陈榕: "《基于神经网络和领域自适应的文本分类算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 1 - 52 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511737A (zh) * 2022-01-24 2022-05-17 北京建筑大学 图像识别域泛化模型的训练方法
CN114511737B (zh) * 2022-01-24 2022-09-09 北京建筑大学 图像识别域泛化模型的训练方法
CN115080688A (zh) * 2022-06-13 2022-09-20 华南理工大学 一种少样本跨领域情感分析方法及装置
CN115080688B (zh) * 2022-06-13 2024-06-04 华南理工大学 一种少样本跨领域情感分析方法及装置

Also Published As

Publication number Publication date
CN113722439B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN109753566B (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110188358B (zh) 自然语言处理模型的训练方法及装置
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
Yao et al. Bi-directional LSTM recurrent neural network for Chinese word segmentation
CN110008338B (zh) 一种融合gan和迁移学习的电商评价情感分析方法
CN111460157A (zh) 用于多领域文本分类的循环卷积多任务学习方法
CN113722439B (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
CN112199505B (zh) 一种基于特征表示学习的跨领域情感分类方法及系统
CN113515632A (zh) 基于图路径知识萃取的文本分类方法
CN115204143B (zh) 一种基于prompt的文本相似度计算方法及系统
CN113157919A (zh) 语句文本方面级情感分类方法及系统
CN111813939A (zh) 一种基于表征增强与融合的文本分类方法
CN117494051A (zh) 一种分类处理的方法、模型训练的方法以及相关装置
CN114996464A (zh) 一种利用有序信息的文本分级方法及装置
CN111259147A (zh) 基于自适应注意力机制的句子级情感预测方法及系统
CN113486143A (zh) 一种基于多层级文本表示及模型融合的用户画像生成方法
Lima et al. A grammar-based GP approach applied to the design of deep neural networks
CN116402025A (zh) 断句方法、生成方法、训练装置、设备及介质
US20240037335A1 (en) Methods, systems, and media for bi-modal generation of natural languages and neural architectures
Wang et al. Gated hierarchical LSTMs for target-based sentiment analysis
Golzari et al. Question classification in question answering system using combination of ensemble classification and feature selection
CN114548117A (zh) 一种基于bert语义增强的因果关系抽取方法
Hsu et al. An interpretable generative adversarial approach to classification of latent entity relations in unstructured sentences
CN114780725A (zh) 一种基于深度聚类的文本分类算法
CN114997155A (zh) 一种基于表格检索和实体图推理的事实验证方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant