CN114997175A - 一种基于领域对抗训练的情感分析方法 - Google Patents
一种基于领域对抗训练的情感分析方法 Download PDFInfo
- Publication number
- CN114997175A CN114997175A CN202210529801.1A CN202210529801A CN114997175A CN 114997175 A CN114997175 A CN 114997175A CN 202210529801 A CN202210529801 A CN 202210529801A CN 114997175 A CN114997175 A CN 114997175A
- Authority
- CN
- China
- Prior art keywords
- sequence
- word
- network
- domain data
- input character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 46
- 230000008451 emotion Effects 0.000 title claims abstract description 37
- 238000004458 analytical method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 14
- 239000003550 marker Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 230000007246 mechanism Effects 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 239000002699 waste material Substances 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于领域对抗训练的情感分析方法，属于自然语言处理技术领域。本发明所述方法主要包括以下步骤：数据预处理与文本表示，构建对抗训练网络，设定对抗网络的初始参数并迭代更新，利用完成训练的网络对目标域数据中的所有输入文字序列进行序列标注。本发明所述方法利用领域对抗训练达到了模型跨域学习的目标，采用半监督的学习方式，通过为目标域无标记数据设置伪标签，使得教师网络与学生网络的学习能力趋于一致，从而提高模型对共享特征的提取能力。本发明所述方法利用语义距离动态加权和注意力机制相结合的方式，提高模型对领域特有特征的提取能力，最终使得模型在跨域场景下能达到良好的细粒度情感分类效果。
Description
技术领域
本发明属于自然语言处理技术领域，具体涉及一种基于领域对抗训练的情感分析方法。
背景技术
随着互联网进程的推进，社交软件和线上媒体成为了重要的信息承载平台，积累了大量文本数据。充分挖掘和分析文本数据背后的情感倾向在舆情监督、电子商务、行为判别等多种领域发挥着至关重要的作用，能为决策提供指导性意见。随着信息技术的发展和应用场景的多元化，各种交叉复合型领域层出不穷。然而，新兴领域往往伴随着数据匮乏的问题，缺乏足够的标记数据使得深度学习模型无法发挥出最大效能。人工标注数据的方法不仅浪费大量的人力资源和时间成本，而且需要各环节的紧密配合，显得不够灵活和便捷。因此，利用现有领域的标注数据实现资源的最大化利用显得尤为关键。
根据分析对象的层级，情感分析方法可分为粗粒度情感分析方法和细粒度情感分析方法。粗粒度情感分析方法旨在根据篇章级别的文本信息判定整个文本的情感极性，分析不够细致且资源浪费率较高。细粒度情感分析方法则是根据输入文本中具体涉及的方面词判定对应的情感极性，因此会得到更为全面的分析结果。但是，由于粗粒度情感分析方法中可供参考的资源更为丰富，现有大多数跨领域情感分析方法是基于粗粒度完成的，对于基于细粒度的跨域情感分析的研究不足。领域对抗训练是一种迁移学习思想，基于对抗训练的神经网络一般包含特征提取器、领域分类器和任务分类器三个部分，特征提取器和领域分类器因为目标相反而导致整体网络会进行最小-最大化(min-max)博弈，由此提取出领域共享特征，实现知识迁移。然而，由于只将目标域的未标记数据用于领域分类，造成了一定程度的资源浪费，因此急需新方法解决上述问题。
发明内容
本发明的目的是针对现有技术对语义特征提取不充分和未对目标域数据进行最大化利用的技术问题，提供一种基于领域对抗训练的情感分析方法。
本发明所提出的技术问题是这样解决的：
一种基于领域对抗训练的情感分析方法，包括以下步骤：
S1：数据预处理与文本表示
源域数据和目标域数据分别作为输入文字序列集合，将输入文字序列集合中的每个输入文字序列拆分为上文部分、方面词部分和下文部分，对每个部分执行分词操作和词嵌入操作，获取词向量表示；
S2：构建对抗训练网络
构建对抗训练网络，对抗训练网络包括教师网络、学生网络和领域分类器；教师网络和学生网络的结构相同，均为依次连接的特征提取器和序列标注器，分别对输入数据进行特征提取和序列标注；领域分类器对输入数据进行领域鉴别；
S3：设定教师网络的初始参数
和学生网络的初始参数
令当前迭代次数Iter＝1；
S4：将源域数据及进行预处理后的词向量表示输入至学生网络的特征提取器，获取源域数据的特征；将源域数据的特征输入至学生网络的序列标注器，获取源域数据中各词对应的序列分类概率分布和标注符号；将源域数据的特征输入至领域分类器，获取源域数据的领域类别标签；
将目标域数据及进行预处理后的词向量表示输入至学生网络的特征提取器，获取学生网络提取的目标域数据的特征，并输入至学生网络的序列标注器，获取学生网络预测的目标域数据中各词对应的序列分类概率分布和标注符号；将目标域数据的特征输入至领域分类器，获取目标域数据的领域类别标签；
将目标域数据及进行预处理后的词向量表示输入至教师网络的特征提取器，获取教师网络提取的目标域数据的特征，并输入至教师网络的序列标注器，获取教师网络预测的目标域数据中各词对应的序列分类概率分布和标注符号，教师网络预测的目标域数据中各词对应的标注符号作为伪标签；
S5：根据教师网络输出的序列分类概率分布设定掩码矩阵Mpq进行过滤；
S6：计算学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse；
S7：通过优化Llabel和Lmse更新学生网络中序列标注器的参数，通过优化Ldom更新领域分类器的参数，通过最小化三者之和L更新学生网络中特征提取器的参数；更新后的学生网络参数
为更新后学生网络中序列标注器的参数与更新后学生网络中特征提取器的参数的组合；
S8：利用学生网络参数
的指数移动均值更新教师网络参数
S9：判断两次迭代之间的L值的差值是否小于设定精度阈值，若否，令当前迭代次数Iter＝Iter+1，返回执行S4，若是，完成训练，记录当前教师网络参数；
S10：利用完成训练的教师网络对目标域数据中的所有输入文字序列进行序列标注。
进一步的，S1的具体过程为：
S1.1：对于每个输入文字序列，根据方面词的位置将输入文字序列拆分为上文部分、方面词部分和下文部分，上文部分为位于方面词左边的部分序列，下文部分为位于方面词右边的部分序列；
S1.2：分别对上文部分、方面词部分和下文部分进行分词，得到各部分对应的词元；
S1.3：对各部分对应的词元分别进行词嵌入操作，生成各部分对应的词向量表示。
进一步的，对抗训练网络中，特征提取器包含依次连接的语义动态加权层、BiLSTM网络和注意力层；特征提取器对输入文字序列及预处理后的词向量表示进行处理的具体过程为：
步骤1：语义动态加权层解析输入文字序列对应的依存句法树，计算上文部分和下文部分在依存句法树中对应的节点与方面词节点间的语义相对距离：
其中，SRDi表示第i个节点与方面词节点间的语义相对距离，pa表示依存句法树中方面词节点的中心位置，m表示方面词的序列长度，| |表示取绝对值，
表示向下取整；
步骤2：语义动态加权层根据语义相对距离生成不同的权重来表示上文部分和下文部分中各词对于情感判别的重要程度，第i个节点对应词的权重wi为：
其中，I表示全为1的向量，维度与第i个节点对应词的词向量维度相同；α为设定的语义相对距离阈值，N表示输入文字序列的序列长度；
语义动态加权层使用权重wi对上文部分和下文部分的词向量表示进行动态加权；
步骤3：将动态加权后的上文部分的词向量表示、方面词的词向量表示和动态加权后的下文部分的词向量分别输入BiLSTM网络中，获取上文部分、方面词部分和下文部分的语义相关性特征；
步骤4：注意力层首先将上文部分、方面词部分和下文部分的语义相关性特征两两组合，得到三个组合，然后对于每个组合执行以下步骤：
构造当前组合中两者的相关性矩阵M：
M＝σ(H1H2 T)
其中，σ表示激活函数，H1和H2分别表示当前组合中的两部分的语义相关性特征，上标T表示转置；
对M分别按列和行执行softmax操作，得到H2相对于H1中各个词的相关性权重ω1和H1相对于H2中各个词的相关性权重ω2，使用ω1和ω2分别对H1H2 T和H2H1 T加权，得到H2相对于H1的相关性表示V1和H1相对于H2的相关性表示V2；
对V1和V2再次执行softmax操作，得到H1和H2对应的注意力权重a1和a2，使用a1和a2分别对H1和H2加权，得到融合注意力的特征；
将三个组合对应的融合注意力的特征进行拼接，得到输入文字序列对应的特征。
进一步的，对抗训练网络中，序列标注器为第一分类网络，分类网络由全连接层和softmax函数构成；输入文字序列对应的特征输入至第一分类网络，得到输入文字序列的标注符号；
输入文字序列对应的特征输入至第一分类网络，得到序列分类概率分布：
yj＝softmax(WyXj+by)
其中，yj表示输入文字序列中第j个词的序列分类概率，Wy和by分别表示第一分类网络中全连接层的权重矩阵和偏置项；softmax表示softmax函数，Xj表示输入文字序列中第j个词对应的特征；
通过序列分类概率确定输入文字序列中各词对应的标注符号，标注符号将同时指示当前词是否为方面词以及方面词的情感极性。
进一步的，对抗训练网络中，领域分类器为依次连接的梯度反转层和第二分类网络，输入文字序列对应的特征输入至领域分类器，得到领域类别标签：
其中，
表示当前输入文字序列对应的预测领域类别标签，Wdc和bdc分别表示第二分类网络中全连接层的权重矩阵和偏置项，Rλ表示梯度反转层函数，X表示输入文字序列对应的特征。
进一步的，S5中，掩码矩阵Mpq为：
其中，max表示取最大值，
代表教师网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的序列分类概率分布；
则表示目标域数据中第p个输入文字序列中的第q个词的伪标签；将伪标签集合按照伪标签是否指示为方面词分为两个伪标签子集，αl'表示伪标签子集yl'的置信度阈值，l'＝1,2。
进一步的，S6中，学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse分别为：
其中，1≤n≤Ns，Ns为源域数据中输入文字序列数目；1≤p≤Nt，Nt为目标域数据的输入文字序列数目；TWn表示源域数据中第n个输入文字序列的词总数；lnk为源域数据中第n个输入文字序列第k个词对应的标注符号；
为学生网络中的序列标注器计算出源域数据中第n个输入文字序列第k个词的概率分布；1≤l≤Ns+Nt，
表示领域分类器预测的源域数据和目标域数据中第l个输入文字序列的预测领域类别标签，dl表示源域数据和目标域数据中第l个输入文字序列的真实领域类别标签；1≤q≤TWp，TWp表示目标域数据中第p个输入文字序列中的词总数；
表示学生网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的概率分布；|| ||2表示求二范数平方。
进一步的，S7中，三者之和L表示为：
L＝Llabel+λdomLdom+λmseLmse
其中，λdom和λmse是控制Ldom和Lmse相对平衡的超参数。
进一步的，S8中，利用学生网络参数
的指数移动均值更新教师网络参数
其中，μ为调整系数。
本发明的有益效果是：
本发明所述方法利用领域对抗训练达到了模型跨域学习的目标，采用半监督的学习方式，通过为目标域无标记数据设置伪标签，使得教师网络与学生网络的学习能力趋于一致，从而提高模型对共享特征的提取能力。此外，本发明所述方法利用语义距离动态加权和注意力机制相结合的方式，提高模型对领域特有特征的提取能力，最终使得模型在跨域场景下能达到良好的细粒度情感分类效果。
附图说明
图1为本发明所述方法中对抗训练网络的结构示意图；
图2为本发明所述方法中特征提取器的结构示意图；
图3为本发明所述方法中领域分类器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行进一步的说明。
本实施例提供一种基于领域对抗训练的情感分析方法，包括以下步骤：
S1：数据预处理与文本表示
源域数据和目标域数据分别作为输入文字序列集合，源域数据为带有标注符号的数据，目标域数据不带有标注符号；
将输入文字序列集合中的每个输入文字序列拆分为上文部分、方面词部分和下文部分，针对每个部分执行分词操作和词嵌入操作，获取词向量表示；
S1的具体过程为：
S1.1：对于每个输入文字序列，根据方面词的位置将输入文字序列拆分为上文部分、方面词部分和下文部分，上文部分为位于方面词左边的部分序列，下文部分为位于方面词右边的部分序列；
S1.2：分别对上文部分、方面词部分和下文部分进行分词，得到各部分对应的词元；
S1.3：对各部分对应的词元分别进行词嵌入操作，生成各部分对应的词向量表示。
S2：构建对抗训练网络
构建对抗训练网络，其结构示意图如图1所示，对抗训练网络包括教师网络、学生网络和领域分类器；教师网络和学生网络的结构相同，均为依次连接的特征提取器和序列标注器，分别对输入数据进行特征提取和序列标注；领域分类器对输入数据进行领域鉴别；
对抗训练网络中，特征提取器的结构示意图如图2所示，包含依次连接的语义动态加权层、BiLSTM网络和注意力层；基于语义相对距离对上下文部分进行动态加权，使用BiLSTM网络提取加权后各部分的语义信息，结合注意力机制提取词级别的交互信息；
特征提取器对输入文字序列及预处理后的词向量表示进行处理的具体过程为：
步骤1：语义动态加权层解析输入文字序列对应的依存句法树，衡量依存句法树中各个节点之间的语义相关性，计算上文部分和下文部分在依存句法树中对应的节点与方面词节点间的语义相对距离：
其中，SRDi表示第i个节点与方面词节点间的语义相对距离，pa表示依存句法树中方面词节点的中心位置，m表示方面词的序列长度，| |表示取绝对值，
表示向下取整；
步骤2：为了削弱与情感判别无关的词带来的负面影响，语义动态加权层需要对上文部分和下文部分进行处理，即根据语义相对距离生成不同的权重来表示上文部分和下文部分中各词对于情感判别的重要程度，第i个节点对应词的权重wi为：
其中，I表示全为1的向量，维度与第i个节点对应词的词向量维度相同；α为设定的语义相对距离阈值，N表示输入文字序列的序列长度；
语义动态加权层使用权重wi对上文部分和下文部分的词向量表示进行动态加权；
步骤3：为了同时获取输入文字序列的前向信息和后向信息，融合更丰富的语义特征，将动态加权后的上文部分的词向量表示、方面词的词向量表示和动态加权后的下文部分的词向量分别输入BiLSTM网络中，获取上文部分、方面词部分和下文部分的语义相关性特征；
步骤4：注意力层首先将上文部分、方面词部分和下文部分的语义相关性特征两两组合，得到三个组合，然后对于每个组合执行以下步骤：
构造当前组合中两者的相关性矩阵M：
M＝σ(H1H2 T)
其中，σ表示激活函数，H1和H2分别表示当前组合中的两部分的语义相关性特征，上标T表示转置；
对M分别按列和行执行softmax操作，得到H2相对于H1中各个词的相关性权重ω1和H1相对于H2中各个词的相关性权重ω2，使用ω1和ω2分别对H1H2 T和H2H1 T加权，得到H2相对于H1的相关性表示V1和H1相对于H2的相关性表示V2；
对V1和V2再次执行softmax操作，得到H1和H2对应的注意力权重a1和a2，使用a1和a2分别对H1和H2加权，得到融合注意力的特征；
将三个组合对应的融合注意力的特征进行拼接，得到输入文字序列对应的特征。
对抗训练网络中，序列标注器为第一分类网络，分类网络由全连接层和softmax函数构成；输入文字序列对应的特征输入至第一分类网络，得到输入文字序列的标注符号；
输入文字序列对应的特征输入至第一分类网络，得到序列分类概率分布：
yj＝softmax(WyXj+by)
其中，yj表示输入文字序列中第j个词的序列分类概率，Wy和by分别表示第一分类网络中全连接层的权重矩阵和偏置项；softmax表示softmax函数，Xj表示输入文字序列中第j个词对应的特征；
通过序列分类概率确定输入文字序列中各词对应的标注符号，标注符号将同时指示当前词是否为方面词以及方面词的情感极性(若当前词为方面词)。
对抗训练网络中，领域分类器的结构示意图如图3所示，为依次连接的梯度反转层和第二分类网络，输入文字序列对应的特征输入至领域分类器，对输入文字序列进行领域鉴别；
输入文字序列对应的特征输入至领域分类器，得到领域类别标签：
其中，
表示当前输入文字序列对应的预测领域类别标签，Wdc和bdc分别表示第二分类网络中全连接层的权重矩阵和偏置项，Rλ表示梯度反转层函数，X表示输入文字序列对应的特征。
S3：设定教师网络的初始参数
和学生网络的初始参数
令当前迭代次数Iter＝1，开始迭代；
S4：将源域数据及进行预处理后的词向量表示输入至学生网络的特征提取器，获取源域数据的特征；将源域数据的特征输入至学生网络的序列标注器，获取源域数据中各词对应的标注符号；将源域数据的特征输入至领域分类器，获取源域数据的领域类别标签；
将目标域数据及进行预处理后的词向量表示输入至学生网络的特征提取器，获取学生网络提取的目标域数据的特征，并输入至学生网络的序列标注器，获取学生网络预测的目标域数据中各词对应的标注符号；将目标域数据的特征输入至领域分类器，获取目标域数据的领域类别标签；
将目标域数据及进行预处理后的词向量表示输入至教师网络的特征提取器，获取教师网络提取的目标域数据的特征，并输入至教师网络的序列标注器，获取教师网络预测的目标域数据中各词对应的标注符号作为伪标签；
S5：根据教师网络输出的序列分类概率分布与置信度阈值的比较结果设计掩码矩阵Mpq进行过滤：
其中，max表示取最大值，
代表教师网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的序列分类概率分布；
则表示目标域数据中第p个输入文字序列中的第q个词的伪标签；将伪标签集合按照伪标签是否指示为方面词分为两个伪标签子集，αl'表示伪标签子集yl'的置信度阈值，l'＝1,2。
为了合理地设置伪标签，避免标注符号分布不均衡导致模型偏向于预测占比大的标注符号，可从解决数据分布不平衡的角度出发，根据教师网络输出的序列分类概率分布对教师网络生成的伪标签集进行子集划分。
S6：在前向传播阶段，计算学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse：
其中，1≤n≤Ns，Ns为源域数据中输入文字序列数目；1≤p≤Nt，Nt为目标域数据的输入文字序列数目；TWn表示源域数据中第n个输入文字序列的词总数；lnk为源域数据中第n个输入文字序列第k个词对应的标注符号；
为学生网络中的序列标注器计算出源域数据中第n个输入文字序列第k个词的概率分布；1≤l≤Ns+Nt，
表示领域分类器预测的源域数据和目标域数据中第l个输入文字序列的预测领域类别标签，dl表示源域数据和目标域数据中第l个输入文字序列的真实领域类别标签；1≤q≤TWp，TWp表示目标域数据中第p个输入文字序列中的词总数；
表示学生网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的概率分布；|| ||2表示求二范数平方。
S7：在反向传播阶段，通过优化Llabel和Lmse更新学生网络中序列标注器的参数，通过优化Ldom更新领域分类器的参数，通过最小化三者之和L更新学生网络中特征提取器的参数：
L＝Llabel+λdomLdom+λmseLmse
其中，λdom和λmse是控制Ldom和Lmse相对平衡的超参数；
更新后的学生网络参数
为更新后学生网络中序列标注器的参数与更新后学生网络中特征提取器的参数的组合；
S8：利用学生网络参数
的指数移动均值更新教师网络参数
其中，μ为调整系数；
S9：判断两次迭代之间的L值的差值是否小于设定精度阈值，若否，令当前迭代次数Iter＝Iter+1，返回执行S4，若是，完成训练，记录当前教师网络参数。
S10：利用完成训练的教师网络对目标域数据中的所有输入文字序列进行序列标注。
表1不同模型在基准数据集上的跨域细粒度情感分析性能(％)
本实施例中，在被广泛用于评测模型跨域细粒度情感分类效果的包含Restaurant(R)、Laptop(L)、Device(D)和Service(S)四个领域的公开数据集上进行测试，共构建10组迁移对以表示10个迁移任务。训练过程中，本方法所提模型DATM(Domain-AdversarialTraining based Model)使用Adam算法进行优化，学习率设置为1e-3。所有权重矩阵和偏置项从均匀分布U(-0.01,0.01)中随机抽样以初始化。其他参数手动调整以获得最佳性能。本发明所提方法与其他基线方法的对比试验结果如表1所示。最终结果显示，本方法在大多数迁移对上均拥有最优效果，平均微F1分数相较于目前最先进基线方法之一的AD-SAL取得了0.64％的增益效果，相较于先进基线方法Hier-Joint和RNSCN取得了11.56％和9.36％的增益效果，超出传统基线方法TCRF约20％。综上所述，本发明方法可在由细粒度情感分析数据集构成的迁移任务中，实现更好的跨域分析效果，并且可以扩展至资源更丰富的粗粒度情感分析任务，具有良好的应用前景。
Claims (9)
1.一种基于领域对抗训练的情感分析方法，其特征在于，包括以下步骤：
S1：数据预处理与文本表示
源域数据和目标域数据分别作为输入文字序列集合，将输入文字序列集合中的每个输入文字序列拆分为上文部分、方面词部分和下文部分，对每个部分执行分词操作和词嵌入操作，获取词向量表示；
S2：构建对抗训练网络
构建对抗训练网络，对抗训练网络包括教师网络、学生网络和领域分类器；教师网络和学生网络的结构相同，均为依次连接的特征提取器和序列标注器，分别对输入数据进行特征提取和序列标注；领域分类器对输入数据进行领域鉴别；
S3：设定教师网络的初始参数
和学生网络的初始参数
令当前迭代次数Iter＝1；
S4：将源域数据及进行预处理后的词向量表示输入至学生网络的特征提取器，获取源域数据的特征；将源域数据的特征输入至学生网络的序列标注器，获取源域数据中各词对应的序列分类概率分布和标注符号；将源域数据的特征输入至领域分类器，获取源域数据的领域类别标签；
将目标域数据及进行预处理后的词向量表示输入至学生网络的特征提取器，获取学生网络提取的目标域数据的特征，并输入至学生网络的序列标注器，获取学生网络预测的目标域数据中各词对应的序列分类概率分布和标注符号；将目标域数据的特征输入至领域分类器，获取目标域数据的领域类别标签；
将目标域数据及进行预处理后的词向量表示输入至教师网络的特征提取器，获取教师网络提取的目标域数据的特征，并输入至教师网络的序列标注器，获取教师网络预测的目标域数据中各词对应的序列分类概率分布和标注符号，教师网络预测的目标域数据中各词对应的标注符号作为伪标签；
S5：根据教师网络输出的序列分类概率分布设定掩码矩阵Mpq进行过滤；
S6：计算学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse；
S7：通过优化Llabel和Lmse更新学生网络中序列标注器的参数，通过优化Ldom更新领域分类器的参数，通过最小化三者之和L更新学生网络中特征提取器的参数；更新后的学生网络参数
为更新后学生网络中序列标注器的参数与更新后学生网络中特征提取器的参数的组合；
S8：利用学生网络参数
的指数移动均值更新教师网络参数
S9：判断两次迭代之间的L值的差值是否小于设定精度阈值，若否，令当前迭代次数Iter＝Iter+1，返回执行S4，若是，完成训练，记录当前教师网络参数；
S10：利用完成训练的教师网络对目标域数据中的所有输入文字序列进行序列标注。
2.根据权利要求1所述的基于领域对抗训练的情感分析方法，其特征在于，S1的具体过程为：
S1.1：对于每个输入文字序列，根据方面词的位置将输入文字序列拆分为上文部分、方面词部分和下文部分，上文部分为位于方面词左边的部分序列，下文部分为位于方面词右边的部分序列；
S1.2：分别对上文部分、方面词部分和下文部分进行分词，得到各部分对应的词元；
S1.3：对各部分对应的词元分别进行词嵌入操作，生成各部分对应的词向量表示。
3.根据权利要求2所述的基于领域对抗训练的情感分析方法，其特征在于，对抗训练网络中，特征提取器包含依次连接的语义动态加权层、BiLSTM网络和注意力层；特征提取器对输入文字序列及预处理后的词向量表示进行处理的具体过程为：
步骤1：语义动态加权层解析输入文字序列对应的依存句法树，计算上文部分和下文部分在依存句法树中对应的节点与方面词节点间的语义相对距离：
其中，SRDi表示第i个节点与方面词节点间的语义相对距离，pa表示依存句法树中方面词节点的中心位置，m表示方面词的序列长度，| |表示取绝对值，
表示向下取整；
步骤2：语义动态加权层根据语义相对距离生成不同的权重来表示上文部分和下文部分中各词对于情感判别的重要程度，第i个节点对应词的权重wi为：
其中，I表示全为1的向量，维度与第i个节点对应词的词向量维度相同；α为设定的语义相对距离阈值，N表示输入文字序列的序列长度；
语义动态加权层使用权重wi对上文部分和下文部分的词向量表示进行动态加权；
步骤3：将动态加权后的上文部分的词向量表示、方面词的词向量表示和动态加权后的下文部分的词向量分别输入BiLSTM网络中，获取上文部分、方面词部分和下文部分的语义相关性特征；
步骤4：注意力层首先将上文部分、方面词部分和下文部分的语义相关性特征两两组合，得到三个组合，然后对于每个组合执行以下步骤：
构造当前组合中两者的相关性矩阵M：
M＝σ(H1H2 T)
其中，σ表示激活函数，H1和H2分别表示当前组合中的两部分的语义相关性特征，上标T表示转置；
对M分别按列和行执行softmax操作，得到H2相对于H1中各个词的相关性权重ω1和H1相对于H2中各个词的相关性权重ω2，使用ω1和ω2分别对H1H2 T和H2H1 T加权，得到H2相对于H1的相关性表示V1和H1相对于H2的相关性表示V2；
对V1和V2再次执行softmax操作，得到H1和H2对应的注意力权重a1和a2，使用a1和a2分别对H1和H2加权，得到融合注意力的特征；
将三个组合对应的融合注意力的特征进行拼接，得到输入文字序列对应的特征。
4.根据权利要求3所述的基于领域对抗训练的情感分析方法，其特征在于，对抗训练网络中，序列标注器为第一分类网络，分类网络由全连接层和softmax函数构成；输入文字序列对应的特征输入至第一分类网络，得到输入文字序列的标注符号；
输入文字序列对应的特征输入至第一分类网络，得到序列分类概率分布：
yj＝softmax(WyXj+by)
其中，yj表示输入文字序列中第j个词的序列分类概率，Wy和by分别表示第一分类网络中全连接层的权重矩阵和偏置项；softmax表示softmax函数，Xj表示输入文字序列中第j个词对应的特征；
通过序列分类概率确定输入文字序列中各词对应的标注符号，标注符号将同时指示当前词是否为方面词以及方面词的情感极性。
5.根据权利要求4所述的基于领域对抗训练的情感分析方法，其特征在于，对抗训练网络中，领域分类器为依次连接的梯度反转层和第二分类网络，输入文字序列对应的特征输入至领域分类器，得到领域类别标签：
其中，
表示当前输入文字序列对应的预测领域类别标签，Wdc和bdc分别表示第二分类网络中全连接层的权重矩阵和偏置项，Rλ表示梯度反转层函数，X表示输入文字序列对应的特征。
6.根据权利要求5所述的基于领域对抗训练的情感分析方法，其特征在于，S5中，掩码矩阵Mpq为：
其中，max表示取最大值，
代表教师网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的序列分类概率分布；
则表示目标域数据中第p个输入文字序列中的第q个词的伪标签；将伪标签集合按照伪标签是否指示为方面词分为两个伪标签子集，αl′表示伪标签子集yl′的置信度阈值，l′＝1，2。
7.根据权利要求6所述的基于领域对抗训练的情感分析方法，其特征在于，S6中，学生网络的序列标注损失函数Llabel、领域分类器的交叉熵损失函数Ldom和基于伪标签修正的一致性损失函数Lmse分别为：
其中，1≤n≤Ns，Ns为源域数据中输入文字序列数目；1≤p≤Nt，Nt为目标域数据的输入文字序列数目；TWn表示源域数据中第n个输入文字序列的词总数；lnk为源域数据中第n个输入文字序列第k个词对应的标注符号；
为学生网络中的序列标注器计算出源域数据中第n个输入文字序列第k个词的概率分布；1≤l≤Ns+Nt，
表示领域分类器预测的源域数据和目标域数据中第l个输入文字序列的预测领域类别标签，dl表示源域数据和目标域数据中第l个输入文字序列的真实领域类别标签；1≤q≤TWp，TWp表示目标域数据中第p个输入文字序列中的词总数；
表示学生网络中的序列标注器计算出目标域数据中第p个输入文字序列中的第q个词的概率分布；|| ||2表示求二范数平方。
8.根据权利要求7所述的基于领域对抗训练的情感分析方法，其特征在于，S7中，三者之和L表示为：
L＝Llabel+λdomLdom+λmseLmse
其中，λdom和λmse是控制Ldom和Lmse相对平衡的超参数。
9.根据权利要求8所述的基于领域对抗训练的情感分析方法，其特征在于，S8中，利用学生网络参数
的指数移动均值更新教师网络参数
其中，μ为调整系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210529801.1A CN114997175A (zh) | 2022-05-16 | 2022-05-16 | 一种基于领域对抗训练的情感分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210529801.1A CN114997175A (zh) | 2022-05-16 | 2022-05-16 | 一种基于领域对抗训练的情感分析方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114997175A true CN114997175A (zh) | 2022-09-02 |
Family
ID=83028113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210529801.1A Pending CN114997175A (zh) | 2022-05-16 | 2022-05-16 | 一种基于领域对抗训练的情感分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114997175A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935188A (zh) * | 2023-09-15 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 模型训练方法、图像识别方法、装置、设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2018100325A4 (en) * | 2018-03-15 | 2018-04-26 | Nian, Xilai MR | A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks |
| CN108681574A (zh) * | 2018-05-07 | 2018-10-19 | 中国科学院合肥物质科学研究院 | 一种基于文本摘要的非事实类问答答案选择方法及系统 |
| CN111275713A (zh) * | 2020-02-03 | 2020-06-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
| CN111914912A (zh) * | 2020-07-16 | 2020-11-10 | 天津大学 | 一种基于孪生条件对抗网络的跨域多视目标识别方法 |
| CN114186063A (zh) * | 2021-12-14 | 2022-03-15 | 合肥工业大学 | 跨域文本情绪分类模型的训练方法和分类方法 |
| CN114239546A (zh) * | 2021-11-30 | 2022-03-25 | 南京大学 | 一种基于语法树剪枝的翻译机测试方法 |
| CN114359564A (zh) * | 2021-12-06 | 2022-04-15 | 腾讯科技（上海）有限公司 | 图像识别方法、装置、计算机设备、存储介质和产品 |
-
2022
- 2022-05-16 CN CN202210529801.1A patent/CN114997175A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2018100325A4 (en) * | 2018-03-15 | 2018-04-26 | Nian, Xilai MR | A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks |
| CN108681574A (zh) * | 2018-05-07 | 2018-10-19 | 中国科学院合肥物质科学研究院 | 一种基于文本摘要的非事实类问答答案选择方法及系统 |
| CN111275713A (zh) * | 2020-02-03 | 2020-06-12 | 武汉大学 | 一种基于对抗自集成网络的跨域语义分割方法 |
| CN111914912A (zh) * | 2020-07-16 | 2020-11-10 | 天津大学 | 一种基于孪生条件对抗网络的跨域多视目标识别方法 |
| CN114239546A (zh) * | 2021-11-30 | 2022-03-25 | 南京大学 | 一种基于语法树剪枝的翻译机测试方法 |
| CN114359564A (zh) * | 2021-12-06 | 2022-04-15 | 腾讯科技（上海）有限公司 | 图像识别方法、装置、计算机设备、存储介质和产品 |
| CN114186063A (zh) * | 2021-12-14 | 2022-03-15 | 合肥工业大学 | 跨域文本情绪分类模型的训练方法和分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| LIU JIAN等: "Adversarial training based multi-source unsupervised domain adaptation for sentiment analysis", 《PROCEEDINGS OF THE AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》, vol. 34, no. 5, 3 April 2020 (2020-04-03), pages 1 - 6 * |
| 李德玉等: "跨领域文本情感分类研究进展", 《软件学报》, vol. 31, no. 6, 8 June 2020 (2020-06-08), pages 1723 - 1746 * |
| 潘多: "基于深度学习的跨域细粒度情感分析", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2023 (2023-01-15), pages 138 - 3953 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935188A (zh) * | 2023-09-15 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 模型训练方法、图像识别方法、装置、设备及介质 |
| CN116935188B (zh) * | 2023-09-15 | 2023-12-26 | 腾讯科技（深圳）有限公司 | 模型训练方法、图像识别方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334705B (zh) | 一种结合全局和局部信息的场景文本图像的语种识别方法 | |
| CN108984526B (zh) | 一种基于深度学习的文档主题向量抽取方法 | |
| CN109376242B (zh) | 基于循环神经网络变体和卷积神经网络的文本分类方法 | |
| CN112528676B (zh) | 文档级别的事件论元抽取方法 | |
| CN108446271B (zh) | 基于汉字部件特征的卷积神经网络的文本情感分析方法 | |
| CN111414461B (zh) | 一种融合知识库与用户建模的智能问答方法及系统 | |
| CN111444340A (zh) | 文本分类和推荐方法、装置、设备及存储介质 | |
| CN112800229B (zh) | 基于知识图嵌入的涉案领域的半监督方面级情感分析方法 | |
| CN111984791B (zh) | 一种基于注意力机制的长文分类方法 | |
| CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN114722805B (zh) | 基于大小导师知识蒸馏的少样本情感分类方法 | |
| CN113988079A (zh) | 一种面向低数据的动态增强多跳文本阅读识别处理方法 | |
| CN110569355B (zh) | 一种基于词块的观点目标抽取和目标情感分类联合方法及系统 | |
| CN112364743A (zh) | 一种基于半监督学习和弹幕分析的视频分类方法 | |
| CN115270797A (zh) | 一种基于自训练半监督学习的文本实体抽取方法及系统 | |
| CN109670169B (zh) | 一种基于特征提取的深度学习情感分类方法 | |
| CN114997175A (zh) | 一种基于领域对抗训练的情感分析方法 | |
| CN110222737A (zh) | 一种基于长短时记忆网络的搜索引擎用户满意度评估方法 | |
| CN109409529A (zh) | 一种事件认知分析方法、系统及存储介质 | |
| CN113486143A (zh) | 一种基于多层级文本表示及模型融合的用户画像生成方法 | |
| Pavitra et al. | Weakly supervised sentiment analysis using joint sentiment topic detection with bigrams | |
| CN115062123A (zh) | 一种对话生成系统的知识库问答对生成方法 | |
| CN115658885A (zh) | 文本智能标注方法、系统、智能终端及存储介质 | |
| CN115600595A (zh) | 一种实体关系抽取方法、系统、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |