CN113722439A - 基于对抗性类别对齐网络的跨领域情感分类方法及系统 - Google Patents
基于对抗性类别对齐网络的跨领域情感分类方法及系统 Download PDFInfo
- Publication number
- CN113722439A CN113722439A CN202111016540.5A CN202111016540A CN113722439A CN 113722439 A CN113722439 A CN 113722439A CN 202111016540 A CN202111016540 A CN 202111016540A CN 113722439 A CN113722439 A CN 113722439A
- Authority
- CN
- China
- Prior art keywords
- domain
- knowledge
- text
- alignment
- classifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008485 antagonism Effects 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000002457 bidirectional effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 3
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于对抗性类别对齐网络的跨领域情感分类方法,包括以下步骤:从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,来增强文本的语义;对历史上下文信息进行编码,生成具有上下文信息的原始句子特征;融合外部知识生成的文本相关的常识知识特征和原始句子特征,生成兼具特异性和泛化性的文本表示;基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐;对融合的文本特征向量进行分类预测,实现情感类别的输出。该方法及系统有利于提高跨领域文本情感分类的准确性。
Description
技术领域
本发明属于文本分类预测技术领域,具体涉及一种基于对抗性类别对齐网络的跨领域情感分类方法及系统。
背景技术
跨领域文本情感分类,旨在通过迁移学习,利用源领域已标注文本来提高目标领域未标注文本情感分类性能。
目前对跨领域文本情感分类的相关研究主要可以分为三类:(1)基于实例加权的跨领域文本情感分类方法,通过在训练过程中赋予与目标领域相似样本更高的权重以此来降低源领域和目标领域之间的分布差异,但此方法在迁移过程不可避免的会产生负面迁移的问题,反而会降低目标领域情感分类性能;(2)基于特征选择的跨领域文本情感分类方法,通过对源领域和目标领域之间枢轴特征和非枢轴特征建立关系,构建一个领域共享的特征表示空间,但该方法常常使用词袋模型和N-gram特征来对文本向量化,未能充分考虑文本上下文关系以及局部关键语义特征;(3)基于特征表示学习的跨领域文本情感分类方法,通过训练网络模型参数,学习适应于源领域和目标领域的文本特征表示,此类方法通常使用领域对抗网络(DANN)、分层注意网络(HATN)、端到端对抗记忆网络(AMN)等。但此类方法并未充分考虑目标领域样本情感分类的决策边界,无法生成更具有区分性的特征。
发明内容
本发明的目的在于提供一种基于对抗性类别对齐网络的跨领域情感分类方法及系统,该方法及系统有利于提高跨领域文本情感分类的准确性。
为实现上述目的,本发明采用的技术方案是:一种基于对抗性类别对齐网络的跨领域情感分类方法,包括以下步骤:
从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,来增强文本的语义;
对历史上下文信息进行编码,生成具有上下文信息的原始句子特征;
融合外部知识生成的文本相关的常识知识特征和原始句子特征,生成兼具特异性和泛化性的文本表示;
基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐;
对融合的文本特征向量进行分类预测,实现情感类别的输出。
进一步地,采用关系图卷积网络R-GCN从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,具体为:
然后训练一个图形自动编码器模型来进行链接预测;所述图形自动编码器模型以来自图中边的不完整边作为输入,输出边(c1,r,c2)的可能性得分;所述图形自动编码器模型包括一个R-GCN编码器和一个DistMut评分模型;所述R-GCN编码器在给定知识图的局部区域中学习域聚合特征向量;
所述R-GCN编码器的计算公式如下:
所述DistMut评分模型用于计算三元组(ci,r,cj)的得分:
所述图形自动编码器模型预训练所使用标准的交叉熵损失函数如下:
其中,y表示图节点ci,cj是否有链接,有为1,没有为0。
进一步地,对历史上下文信息进行编码,生成具有上下文信息的原始句子特征,具体为:
首先利用词袋模型将句子矢量化,再利用双向LSTM对历史上下文进行编码;
所述双向LSTM的计算公式如下:
其中,t时刻第一层,即顺时间循环层的隐藏状态取决于前一时刻的隐藏状态和输入值xt;第二层,即逆时间循环层的隐藏状态也取决于前一时刻的隐藏状态和输入值x;U(1),W(1),b(1),U(2),W(2),b(2)都是可训练参数。
进一步地,融合外部知识生成的文本相关的常识知识特征和原始句子特征,具体为:
对常识知识特征和原始句子通过以下公式进行融合:
进一步地,基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐,具体为:
构建对抗性类别对齐网络模型,所述模型先在训练阶段使得源领域和目标领域进行全局边缘对齐,再进行类别级别的对齐;
所述模型包括一个域共享编码器G,两个分类器F1,F2;
分类器的情感分类目标函数如下:
其中,为样本经过域共享编码器G,再经过分类器F1后得到的的情感分类概率,为样本经过域共享编码器G,再经过分类器F2后得到的的情感分类概率;表示样本原有的情感标签,积极情感为1,消极情感为0;ns表示训练集样本总数;K表示n分类任务;
所述模型采用KL散度来评估源领域和目标领域的数据特征分布差异,当两个领域数据分布差异越大,KL散度越大,因此通过最小化KL散度和情感分类损失来使得源领域和目标领域达到全局边缘对齐;KL散度的计算公式如下:
其中,||·||1表示L1范数,gs表示源领域特征分布,gt表示目标领域特征分布;
第一步,训练G,F1,F2,得到全局边缘对齐;
所述模型定义了两个分类器概率输出之间的差异,其公式如下:
其中,d(p1(y|x),p2(y|x))为二分类平均绝对差值,当i=1时,表示分类器F1对样本x预测为消极标签的概率,表示分类器F2对样本x预测为消极标签的概率;当i=2时,表示分类器F1对样本x预测为积极标签的概率,表示分类器F2对样本x预测为积极标签的概率
第二步,固定G,调整F1,F2,通过最大化预测偏差来调整分类器参数,来定位到决策边界附近的特征;其目标函数如下:
第三步,固定F1,F2,调整G,生成更好的特征使得第二步中定位到的特征远离决策边界,其目标函数为:
通过不断重复上述对抗过程,实现两个领域的类别级对齐,使得特征提取网络生成领域适应的文本特征表示;
整个模型的优化策略如下:
(1)通过最小化情感分类误差和边缘分布差异实现领域的全局边缘对齐,其损失函数如下:
L1=Lcls+λ1Lkl
(2)固定特征提取网络G的参数不变,增大F1,F2的差异,从而定位到具有歧义的特征,其损失函数如下:
L2=Lcls-λ2Ldis
(3)固定分类器F1,F2参数不变,减小分类器F1,F2的差异,优化域共享编码器G的参数,使特征尽可能远离决策边界,其损失函数为:
L3=Lcls+λ3Ldis。
进一步地,在测试过程只使用F1分类器来进行情感分类,采用softmax函数,将概率最大的类别作为对应文本表示的情感类别预测值,计算公式如下:
y=softmax(W。ha+b。)
其中,Wo为分类器的权重参数,bo为分类器的偏置项。
本发明还提供了一种基于对抗性类别对齐网络的跨领域情感分类系统,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现上述的方法步骤。
进一步地,该系统进一步包括:
外部知识模块,用于从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,来增强文本的语义;
编码器模块,用于对历史上下文信息进行编码,生成具有上下文信息的原始句子特征;
动态融合模块,用于融合外部知识生成的文本相关的常识知识特征和原始句子特征,生成兼具特异性和泛化性的文本表示;
对抗性类别对齐网络模块,用于基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐;以及
情感类别输出模块,用于对融合的文本特征向量进行分类预测,实现情感类别的输出。
与现有技术相比,本发明具有以下有益效果:提供了一种基于对抗性类别对齐网络的跨领域情感分类方法及系统,该方法能够编码文档的历史上下文信息,生成具有上下文信息的文档特征向量,并利用RGCN从外部知识库中获取有用的外部知识信息,随后二者信息融合生成特定文档的特征向量再将融合的向量送入对抗性类别对齐网络,最终对于融合的特征向量进行分类预测。该方法相较于传统的方法,有效融合了外部知识,且在全局边缘对齐的先验条件下,进行类别级别的对齐,提高了跨领域文本情感分类的准确性。
附图说明
图1是本发明实施例的实现流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于对抗性类别对齐网络的跨领域情感分类方法,包括以下步骤:
S1、采用关系图卷积网络R-GCN从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,来增强文本的语义;具体为:
然后训练一个图形自动编码器模型来进行链接预测。所述图形自动编码器模型以来自图中边ε'的不完整边作为输入,输出边(c1,r,c2)的可能性得分。所述图形自动编码器模型包括一个R-GCN编码器和一个DistMut评分模型。所述R-GCN编码器在给定知识图的局部区域中学习域聚合特征向量。
所述R-GCN编码器的计算公式如下:
所述DistMut评分模型用于计算三元组(ci,r,cj)的得分:
所述图形自动编码器模型预训练所使用标准交叉熵损失函数如下:
其中,y表示图节点ci,cj是否有链接,有为1,没有为0。
S2、对历史上下文信息进行编码,生成具有上下文信息的原始句子特征;具体为:
首先利用词袋模型将句子矢量化,再利用双向LSTM对历史上下文进行编码。双向LSTM不仅能利用到过去的信息,还能捕捉到后续的信息,可以更好地利用上下文的信息。
所述双向LSTM的计算公式如下:
其中,t时刻第一层,即顺时间循环层的隐藏状态取决于前一时刻的隐藏状态和输入值xt;第二层,即逆时间循环层的隐藏状态也取决于前一时刻的隐藏状态和输入值x;U(1),W(1),b(1),U(2),W(2),b(2)都是可训练参数。
S3、融合外部知识生成的文本相关的常识知识特征和原始句子特征,生成兼具特异性和泛化性的文本表示;具体为:
对常识知识特征和原始句子通过以下公式进行融合:
S4、基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐;具体为:
构建对抗性类别对齐网络模型,所述模型先在训练阶段使得源领域和目标领域进行全局边缘对齐,再进行类别级别的对齐。
所述模型包括一个域共享编码器G,两个分类器F1,F2。
分类器的情感分类目标函数如下:
其中,为样本经过域共享编码器G,再经过分类器F1后得到的的情感分类概率,为样本经过域共享编码器G,再经过分类器F2后得到的的情感分类概率;表示样本原有的情感标签,积极情感为1,消极情感为0;ns表示训练集样本总数;K表示n分类任务,此处取值为2。
所述模型采用KL散度来评估源领域和目标领域的数据特征分布差异,当两个领域数据分布差异越大,KL散度越大,因此通过最小化KL散度和情感分类损失来使得源领域和目标领域达到全局边缘对齐;KL散度的计算公式如下:
其中,||·||1表示L1范数,gs表示源领域特征分布,gt表示目标领域特征分布。
第一步,训练G,F1,F2,得到全局边缘对齐;这一步降低了两个领域之间的距离,但在决策边界附近产生了模糊的目标特征。
所述模型定义了两个分类器概率输出之间的差异,其公式如下:
其中,d(p1(y|x),p2(y|x))为二分类平均绝对差值,当i=1时,表示分类器F1对样本x预测为消极标签的概率,表示分类器F2对样本x预测为消极标签的概率;当i=2时,表示分类器F1对样本x预测为积极标签的概率,表示分类器F2对样本x预测为积极标签的概率
第二步,固定G,调整F1,F2,通过最大化预测偏差来调整分类器参数,来定位到决策边界附近的特征;其目标函数如下:
第三步,固定F1,F2,调整G,生成更好的特征使得第二步中定位到的特征远离决策边界,其目标函数为:
通过不断重复上述对抗过程,实现两个领域的类别级对齐,使得特征提取网络生成领域适应的文本特征表示。
整个模型的优化策略如下:
(1)通过最小化情感分类误差和边缘分布差异实现领域的全局边缘对齐,其损失函数如下:
L1=Lcls+λ1Lkl
(2)固定特征提取网络G的参数不变,增大F1,F2的差异,从而定位到具有歧义的特征,其损失函数如下:
L2=Lcls-λ2Ldis
(3)固定分类器F1,F2参数不变,减小分类器F1,F2的差异,优化域共享编码器G的参数,使特征尽可能远离决策边界,其损失函数为:
L3=Lcls+λ3Ldis。
在模型的训练阶段,根据信息的前向传播和误差的后向传播将不断地对他们进行调整,逐步优化目标函数。
S5、对融合的文本特征向量进行分类预测,实现情感类别的输出。
在测试过程只使用F1分类器来进行情感分类,采用softmax函数,将概率最大的类别作为对应文本表示的情感类别预测值,计算公式如下:
y=softmax(Woha+bo)
其中,Wo为分类器的权重参数,bo为分类器的偏置项。
本实施例还提供了一种基于对抗性类别对齐网络的跨领域情感分类系统,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现上述的方法步骤。该系统进一步包括:
外部知识模块,用于从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,来增强文本的语义;
编码器模块,用于对历史上下文信息进行编码,生成具有上下文信息的原始句子特征;
动态融合模块,用于融合外部知识生成的文本相关的常识知识特征和原始句子特征,生成兼具特异性和泛化性的文本表示;
对抗性类别对齐网络模块,用于基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐;以及
情感类别输出模块,用于对融合的文本特征向量进行分类预测,实现情感类别的输出。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (8)
1.一种基于对抗性类别对齐网络的跨领域情感分类方法,其特征在于,包括以下步骤:
从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,来增强文本的语义;
对历史上下文信息进行编码,生成具有上下文信息的原始句子特征;
融合外部知识生成的文本相关的常识知识特征和原始句子特征,生成兼具特异性和泛化性的文本表示;
基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐;
对融合的文本特征向量进行分类预测,实现情感类别的输出。
2.根据权利要求1所述的基于对抗性类别对齐网络的跨领域情感分类方法,其特征在于,采用关系图卷积网络R-GCN从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,具体为:
然后训练一个图形自动编码器模型来进行链接预测;所述图形自动编码器模型以来自图中边ε′的不完整边作为输入,输出边(c1,r,c2)的可能性得分;所述图形自动编码器模型包括一个R-GCN编码器和一个DistMut评分模型;所述R-GCN编码器在给定知识图的局部区域中学习域聚合特征向量;
所述R-GCN编码器的计算公式如下:
所述DistMut评分模型用于计算三元组(ci,r,cj)的得分:
所述图形自动编码器模型预训练所使用标准交叉熵损失函数如下:
其中,y表示图节点ci,cj是否有链接,有为1,没有为0。
5.根据权利要求1所述的基于对抗性类别对齐网络的跨领域情感分类方法,其特征在于,基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐,具体为:
构建对抗性类别对齐网络模型,所述模型先在训练阶段使得源领域和目标领域进行全局边缘对齐,再进行类别级别的对齐;
所述模型包括一个域共享编码器G,两个分类器F1,F2;
分类器的情感分类目标函数如下:
其中,为样本经过域共享编码器G,再经过分类器F1后得到的的情感分类概率,为样本经过域共享编码器G,再经过分类器F2后得到的的情感分类概率;表示样本原有的情感标签,积极情感为1,消极情感为0;ns表示训练集样本总数;K表示n分类任务;
所述模型采用KL散度来评估源领域和目标领域的数据特征分布差异,当两个领域数据分布差异越大,KL散度越大,因此通过最小化KL散度和情感分类损失来使得源领域和目标领域达到全局边缘对齐;KL散度的计算公式如下:
其中,||·||1表示L1范数,gs表示源领域特征分布,gt表示目标领域特征分布;
第一步,训练G,F1,F2,得到全局边缘对齐;
所述模型定义了两个分类器概率输出之间的差异,其公式如下:
其中,d(p1(y|x),p2(y|x))为二分类平均绝对差值,当i=1时,表示分类器F1对样本x预测为消极标签的概率,表示分类器F2对样本x预测为消极标签的概率;当i=2时,表示分类器F1对样本x预测为积极标签的概率,表示分类器F2对样本x预测为积极标签的概率
第二步,固定G,调整F1,F2,通过最大化预测偏差来调整分类器参数,来定位到决策边界附近的特征;其目标函数如下:
第三步,固定F1,F2,调整G,生成更好的特征使得第二步中定位到的特征远离决策边界,其目标函数为:
通过不断重复上述对抗过程,实现两个领域的类别级对齐,使得特征提取网络生成领域适应的文本特征表示;
整个模型的优化策略如下:
(1)通过最小化情感分类误差和边缘分布差异实现领域的全局边缘对齐,其损失函数如下:
L1=Lcls+λ1Lkl
(2)固定特征提取网络G的参数不变,增大F1,F2的差异,从而定位到具有歧义的特征,其损失函数如下:
L2=Lcls-λ2Ldis
(3)固定分类器F1,F2参数不变,减小分类器F1,F2的差异,优化域共享编码器G的参数,使特征尽可能远离决策边界,其损失函数为:
L3=Lcls+λ3Ldis。
6.根据权利要求5所述的基于对抗性类别对齐网络的跨领域情感分类方法,其特征在于,在测试过程只使用F1分类器来进行情感分类,采用softmax函数,将概率最大的类别作为对应文本表示的情感类别预测值,计算公式如下:
y=softmax(Woha+bo)
其中,Wo为分类器的权重参数,bo为分类器的偏置项。
7.一种基于对抗性类别对齐网络的跨领域情感分类系统,其特征在于,包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令,当处理器运行该计算机程序指令时,能够实现如权利要求1-6所述的方法步骤。
8.根据权利要求7所述的基于对抗性类别对齐网络的跨领域情感分类系统,其特征在于,该系统进一步包括:
外部知识模块,用于从常识库中提取相关领域的知识,生成与文本相关的常识知识特征,来增强文本的语义;
编码器模块,用于对历史上下文信息进行编码,生成具有上下文信息的原始句子特征;
动态融合模块,用于融合外部知识生成的文本相关的常识知识特征和原始句子特征,生成兼具特异性和泛化性的文本表示;
对抗性类别对齐网络模块,用于基于对抗性类别对齐网络,在全局边缘对齐的先验条件下,进行类别级别的对齐;以及
情感类别输出模块,用于对融合的文本特征向量进行分类预测,实现情感类别的输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016540.5A CN113722439B (zh) | 2021-08-31 | 2021-08-31 | 基于对抗性类别对齐网络的跨领域情感分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111016540.5A CN113722439B (zh) | 2021-08-31 | 2021-08-31 | 基于对抗性类别对齐网络的跨领域情感分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113722439A true CN113722439A (zh) | 2021-11-30 |
CN113722439B CN113722439B (zh) | 2024-01-09 |
Family
ID=78680151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111016540.5A Active CN113722439B (zh) | 2021-08-31 | 2021-08-31 | 基于对抗性类别对齐网络的跨领域情感分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113722439B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511737A (zh) * | 2022-01-24 | 2022-05-17 | 北京建筑大学 | 图像识别域泛化模型的训练方法 |
CN115080688A (zh) * | 2022-06-13 | 2022-09-20 | 华南理工大学 | 一种少样本跨领域情感分析方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107092596A (zh) * | 2017-04-24 | 2017-08-25 | 重庆邮电大学 | 基于attention CNNs和CCR的文本情感分析方法 |
CN109492099A (zh) * | 2018-10-28 | 2019-03-19 | 北京工业大学 | 一种基于领域对抗自适应的跨领域文本情感分类方法 |
WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
CN110874411A (zh) * | 2019-11-20 | 2020-03-10 | 福州大学 | 一种基于注意力机制融合的跨领域情感分类系统 |
CN112508077A (zh) * | 2020-12-02 | 2021-03-16 | 齐鲁工业大学 | 一种基于多模态特征融合的社交媒体情感分析方法及系统 |
-
2021
- 2021-08-31 CN CN202111016540.5A patent/CN113722439B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107092596A (zh) * | 2017-04-24 | 2017-08-25 | 重庆邮电大学 | 基于attention CNNs和CCR的文本情感分析方法 |
WO2019174422A1 (zh) * | 2018-03-16 | 2019-09-19 | 北京国双科技有限公司 | 实体关联关系的分析方法及相关装置 |
CN109492099A (zh) * | 2018-10-28 | 2019-03-19 | 北京工业大学 | 一种基于领域对抗自适应的跨领域文本情感分类方法 |
CN110874411A (zh) * | 2019-11-20 | 2020-03-10 | 福州大学 | 一种基于注意力机制融合的跨领域情感分类系统 |
CN112508077A (zh) * | 2020-12-02 | 2021-03-16 | 齐鲁工业大学 | 一种基于多模态特征融合的社交媒体情感分析方法及系统 |
Non-Patent Citations (2)
Title |
---|
廖祥文等: "《基于知识图谱与循环注意力网络的视角级情感分析》", 模式识别与人工智能, vol. 33, no. 6, pages 479 - 487 * |
陈榕: "《基于神经网络和领域自适应的文本分类算法研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 1 - 52 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511737A (zh) * | 2022-01-24 | 2022-05-17 | 北京建筑大学 | 图像识别域泛化模型的训练方法 |
CN114511737B (zh) * | 2022-01-24 | 2022-09-09 | 北京建筑大学 | 图像识别域泛化模型的训练方法 |
CN115080688A (zh) * | 2022-06-13 | 2022-09-20 | 华南理工大学 | 一种少样本跨领域情感分析方法及装置 |
CN115080688B (zh) * | 2022-06-13 | 2024-06-04 | 华南理工大学 | 一种少样本跨领域情感分析方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113722439B (zh) | 2024-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109753566B (zh) | 基于卷积神经网络的跨领域情感分析的模型训练方法 | |
CN110188358B (zh) | 自然语言处理模型的训练方法及装置 | |
CN108984724B (zh) | 利用高维表示提高特定属性情感分类准确率方法 | |
CN110008338B (zh) | 一种融合gan和迁移学习的电商评价情感分析方法 | |
Yao et al. | Bi-directional LSTM recurrent neural network for Chinese word segmentation | |
CN105393264A (zh) | 人机交互学习中的交互区段提取 | |
CN113515632A (zh) | 基于图路径知识萃取的文本分类方法 | |
CN113722439B (zh) | 基于对抗性类别对齐网络的跨领域情感分类方法及系统 | |
CN112199505B (zh) | 一种基于特征表示学习的跨领域情感分类方法及系统 | |
CN115422369B (zh) | 基于改进TextRank的知识图谱补全方法和装置 | |
CN113157919A (zh) | 语句文本方面级情感分类方法及系统 | |
US20240037335A1 (en) | Methods, systems, and media for bi-modal generation of natural languages and neural architectures | |
CN111813939A (zh) | 一种基于表征增强与融合的文本分类方法 | |
CN117494051A (zh) | 一种分类处理的方法、模型训练的方法以及相关装置 | |
CN105678340B (zh) | 一种基于增强型栈式自动编码器的自动图像标注方法 | |
CN111259147A (zh) | 基于自适应注意力机制的句子级情感预测方法及系统 | |
CN112463935B (zh) | 一种带有强泛化知识选择的开放域对话生成方法及系统 | |
Lima et al. | A grammar-based GP approach applied to the design of deep neural networks | |
Wang et al. | Gated hierarchical LSTMs for target-based sentiment analysis | |
Golzari et al. | Question classification in question answering system using combination of ensemble classification and feature selection | |
CN114548117A (zh) | 一种基于bert语义增强的因果关系抽取方法 | |
Hsu et al. | An interpretable generative adversarial approach to classification of latent entity relations in unstructured sentences | |
CN114780725A (zh) | 一种基于深度聚类的文本分类算法 | |
CN114997155A (zh) | 一种基于表格检索和实体图推理的事实验证方法与装置 | |
Liu et al. | Generalized few-shot classification with knowledge graph |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |