CN113268592A - 基于多层次交互注意力机制的短文本对象情感分类方法 - Google Patents

基于多层次交互注意力机制的短文本对象情感分类方法 Download PDF

Info

Publication number
CN113268592A
CN113268592A CN202110491951.3A CN202110491951A CN113268592A CN 113268592 A CN113268592 A CN 113268592A CN 202110491951 A CN202110491951 A CN 202110491951A CN 113268592 A CN113268592 A CN 113268592A
Authority
CN
China
Prior art keywords
text
grained
coarse
fused
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110491951.3A
Other languages
English (en)
Other versions
CN113268592B (zh
Inventor
王嫄
熊聪聪
汤凌燕
杨巨成
赵婷婷
陈亚瑞
潘旭冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhishu Zhiyuan Information Technology Co.,Ltd.
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN202110491951.3A priority Critical patent/CN113268592B/zh
Publication of CN113268592A publication Critical patent/CN113268592A/zh
Application granted granted Critical
Publication of CN113268592B publication Critical patent/CN113268592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于多层次交互注意力机制的短文本对象情感分类方法，该方法包括数据预处理、词嵌入处理、浅层注意力交互、自注意力计算、深层注意力交互以及情感预测分类等步骤。该方法在文本内部特征的学习和利用上，设计了多层交互注意力机制，注意力机制能够筛选对分类有效的上下文信息，有利于对文本内部潜在的多种特征进行选择性学习，多交互方式则有利于多特征的融合，后续得到的情感预测和分类结果更加精确、可靠。

Description

基于多层次交互注意力机制的短文本对象情感分类方法
技术领域
本发明涉及文本情感分类技术领域，更具体的说是涉及一种基于多层次交互注意力机制的短文本对象情感分类方法。
背景技术
目前，随着WEB2.0时代的到来，互联网中涌现出大量带有用户主观情感的、内容短小且语义信息丰富的短文本，这些海量数据是用户意识和观点的综合呈现和重要体现。目前对象级情感分类方法分为基于统计和规则的传统方法和深度学习方法，传统方法是通过手工构建特征工程提取文本特征，再结合机器学习分类器进行情感分类，深度学习方法则是基于深度神经网络自动学习文本内部情感语义特征进行情感分类。国内对象级文本情感分类的研究大多采用深度学习方法，且已经得到广泛应用。
对象级情感分类较粗粒度的篇章级或句子级情感分类，能提供更细致和全面的情感信息。例如，给定一个评论句“餐厅的三文鱼很美味，但服务员很不友好。”，句中对于两个对象“三文鱼”和“服务员”表达的情感倾向分别为积极和消极，对象级情感分类的关键是获取高效的面向对象的文本情感语义表示。大多数深度学习方法基于递归神经网络和注意力机制，采用单任务学习网络结构，但该类方法学习得到的文本内部特征十分有限，且较为单一；另外，单交互的特征学习方式不够精确、深刻，导致情感分类效果并不理想。
因此，如何提供一种更加精确、可靠的短文本对象情感分类方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于多层次交互注意力机制的短文本对象情感分类方法，有效解决了现有的对象级情感分类方法在深度学习阶段学习得到的文本内部特征十分有限且较为单一，单交互的特征学习方式不够精确、深刻的问题。
为了实现上述目的，本发明采用如下技术方案：
一种基于多层次交互注意力机制的短文本对象情感分类方法，该方法包括以下步骤：
数据预处理：对短文本数据进行预处理，得到输入序列；
词嵌入处理：利用预训练的词向量，构建所述输入序列的词嵌入矩阵；
浅层注意力交互：对所述输入序列进行上下文语义编码，并利用浅层交互注意力机制获取面向对象的文本语义表示向量；
自注意力计算：将上下文语义编码结果经多个并行自注意力机制学习粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量，并根据学习得到的粗粒度类别特征进行对象类别检测；
深层注意力交互：采用深层交互注意力机制计算所述融入粗粒度类别特征的文本语义表示向量与所述面向对象的文本语义表示向量之间的语义关联度，得到融合粗粒度类别特征的面向细粒度对象的文本语义表示向量；
情感预测分类：将所述上下文编码结果与所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量经平均池化和串联处理，得到融合表示向量，并根据所述融合表示向量进行对象级情感预测和分类。
进一步地，所述词嵌入处理步骤，具体包括：
获取所述输入序列中的单个文本和单个对象；
预先训练BERT词向量，分别将所述单个文本和所述单个对象匹配到所述BERT词向量上，得到文本词嵌入矩阵和对象词嵌入矩阵。
进一步地，所述浅层注意力交互步骤，具体包括：
通过长短时记忆网络对输入序列进行上下文语义编码，得到文本上下文表示和对象上下文表示，其编码计算公式为：
Figure BDA0003052714870000031
其中，θBiLSTM表示BiLSTM层中的参数，concat(·,·)表示串联操作，xi是词嵌入矩阵中第i个元素，hi是经BiLSTM得到的隐层输出表示；
通过浅层交互注意力机制对文本和对象进行情感语义关联度计算，对文本进行进一步编码，其编码计算公式为：
Figure BDA0003052714870000032
其中，ua，
Figure BDA0003052714870000033
均表示权重参数，T表示转置操作，H是文本上下文表示，Ht是对象上下文表示，eL是单位矩阵，
Figure BDA0003052714870000034
表示padding操作，α表示面向对象的文本注意力分布；
得到面向对象的文本语义表示向量，即：
Figure BDA0003052714870000035
其中，
Figure BDA0003052714870000036
均表示权重参数，h1、hL分别表示文本上下文表示向量中的首尾两个元素，αl表示文本中第l个词的上下文注意力权重，hl表示文本中第l个词的隐层输出表示，最终计算得到面向对象的文本语义表示向量rt。
进一步地，所述自注意力计算步骤，具体包括：
采用多个并行的自注意力机制学习上下文语义编码结果中文本上下文表示内隐含的粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量，即：
Figure BDA0003052714870000041
其中，
Figure BDA0003052714870000042
是融入粗粒度类别特征的文本语义表示向量，rt是面向对象的文本语义表示向量，
Figure BDA0003052714870000043
表示权重参数，
Figure BDA0003052714870000044
表示偏置参数，最终计算得到r是融合粗粒度类别特征的面向细粒度对象的文本语义表示向量；
采用多个并行的全连接层和sigmoid函数进行多类别标签预测，其计算公式如下：
Figure BDA0003052714870000045
其中，wj是权重参数，bj是偏置参数，第j个全连接层用于预测当前输入文本中是否存在第j个类别。
进一步地，所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量，计算公式为：
Figure BDA0003052714870000046
其中，r融合粗粒度类别特征的面向细粒度对象的文本语义表示向量，
Figure BDA0003052714870000047
表示融入粗粒度类别特征的文本语义表示向量，rt表示面向对象的文本语义表示向量，
Figure BDA0003052714870000048
表示权重参数，
Figure BDA0003052714870000049
表示偏置参数。
进一步地，所述情感预测分类步骤，具体包括：
将所述上下文编码结果与所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量经平均池化后再串联，得到融合表示向量，所述融合表示向量为：
Figure BDA00030527148700000410
其中，Havg是文本上下文表示H经平均池化得到的，
Figure BDA00030527148700000411
是对象上下文表示，由Ht经平均池化得到的，r是融合粗粒度类别特征的面向细粒度对象的文本语义表示向量，最终计算得到融合表示向量
Figure BDA00030527148700000412
采用一个全连接层和softmax函数进行情感预测和分类，计算公式为：
Figure BDA0003052714870000051
其中，
Figure BDA0003052714870000052
表示预测结果是第c类感情的概率，
Figure BDA0003052714870000053
表示融合表示向量，
Figure BDA0003052714870000054
是权重参数，
Figure BDA0003052714870000055
是偏置。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于多层次交互注意力机制的短文本对象情感分类方法，该方法在文本内部特征的学习和利用上，设计了多层交互注意力机制，注意力机制能够筛选对分类有效的上下文信息，有利于对文本内部潜在的多种特征进行选择性学习，多交互方式则有利于多特征的融合，后续得到的情感预测和分类结果更加精确、可靠。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于多层次交互注意力机制的短文本对象情感分类方法的整体流程示意图；
图2为本发明实施例中基于多层次交互注意力机制的短文本对象情感分类方法的算法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1和图2，本发明实施例公开了一种基于多层次交互注意力机制的短文本对象情感分类方法，该方法包括以下步骤：
S1：数据预处理：对短文本数据进行预处理，包括分词、数据标注等，得到输入序列。
在短文本数据选择方面，本实施例使用的是SemEval2014 Task4、SemEval2015Task12和SemEval2016 Task5中的Restaurant数据集。
S2：词嵌入处理：利用BERT预训练模型，将输入序列的每个单词匹配到预训练的词向量上，构建输入序列的词嵌入矩阵，作为整个预先构建的情感分类模型的输入。
具体地，输入序列包括文本S＝{w1，w2，...，wL}和对象词T＝{wi+1，wi+2，...，wi+M}分别映射为词向量
Figure BDA0003052714870000064
和
Figure BDA0003052714870000065
，其中dbert表示向量维度大小，L和M分别是文本和对象的词序列单词个数，
Figure BDA0003052714870000061
本实施例采用的是预训练好的BERT词向量，将每个单词匹配到预训练的词向量上，从而将输入的文本和对象映射至低维向量空间，假设输出的情感标签数为C，预定义的类别标签数为N。
S3：浅层注意力交互：对输入序列进行上下文语义编码，并利用浅层交互注意力机制获取面向对象的文本语义表示向量。
该步骤具体包括：
S31：利用Bi-LSTM(即双向长短时记忆网络)对词嵌入矩阵进行全局语义编码，得到文本上下文表示H＝{h1，h2，...，hL}和对象上下文表示
Figure BDA0003052714870000062
编码计算公式如下：
Figure BDA0003052714870000063
其中，θBiLSTM是BiLSTM层中的参数，concat(·,·)表示串联操作，xi是词嵌入矩阵中第i个元素，hi是经BiLSTM得到的隐层输出表示；
S32：采用浅层交互注意力机制对文本和对象进行情感语义关联度计算，对文本进行进一步编码，编码计算公式如下：
Figure BDA0003052714870000071
Figure BDA0003052714870000072
其中，ua，
Figure BDA0003052714870000073
均为权重参数。
S4：自注意力计算：将上下文语义编码结果经多个并行自注意力机制学习粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量，并根据学习得到的粗粒度类别特征进行对象类别检测。
该步骤具体包括：
S41:基于S31中获取的文本上下文语义编码，经N个并行的自注意力机制学习粗粒度的类别特征，得到N个融合类别特征的文本语义表示矩阵，其计算公式如下：
Figure BDA0003052714870000074
其中，
Figure BDA0003052714870000075
均为权重参数，
Figure BDA0003052714870000076
是偏置参数；
S42:采用N个并行的全连接层和sigmoid函数进行文本中对象多类别标签预测，其计算公式如下：
Figure BDA0003052714870000077
其中，wj是权重参数，bj是偏置参数，第j个全连接层用于预测当前输入文本中是否存在第j个类别。
该步骤最后计算得到的
Figure BDA0003052714870000078
用于后续的最小化二元交叉熵损失函数的计算。
上述S42中，经N个并行的全连接层和sigmoid函数进行粗粒度对象类别检测，与文本真实所含类别标签组比较，计算出预测误差，对情感分类模型的参数进行多次训练。对于N的取值，本实施例中SemEval2014数据集的N为5，SemEval2015和SemEval2016数据集的N为13。
S5：深层注意力交互：采用深层交互注意力机制计算融入粗粒度类别特征的文本语义表示向量与面向对象的文本语义表示向量之间的语义关联度，得到融合粗粒度类别特征的面向细粒度对象的文本语义表示向量。
本实施例采用所设计的深层交互注意力机制计算融入了类别特征的文本rACD与面向对象的文本rt之间的语义关联度，得到融合了粗粒度类别特征的面向细粒度对象的文本语义表示向量，计算过程如下：
Figure BDA0003052714870000081
其中，
Figure BDA0003052714870000082
是权重参数，
Figure BDA0003052714870000083
是偏置参数。
S6：情感预测分类：将上下文编码结果与融合粗粒度类别特征的面向细粒度对象的文本语义表示向量经平均池化和串联处理，得到融合表示向量，并根据融合表示向量进行对象级情感预测和分类。
将S31中得到的H和Ht，以及S5中得到的r经过平均池化再串联，得到融合表示向量
Figure BDA0003052714870000089
再采用一个全连接层和softmax函数进行情感分类，计算过程如下：
Figure BDA0003052714870000084
Figure BDA0003052714870000085
其中，
Figure BDA0003052714870000086
是权重参数，
Figure BDA0003052714870000087
是偏置，
Figure BDA0003052714870000088
表示预测结果是第c类情感的概率。
上述计算得到的预测结果，与真实情感标签比较，计算得到交叉熵损失。
然后最小化交叉熵损失函数，迭代优化网络参数。具体地，多分类预测的最小化交叉熵损失函数表示为：
Figure BDA0003052714870000091
这里C表示情感标签数，本实施例中C取3，分别为积极、中性、消极，最终取C个类别的交叉熵损失的平均值，
Figure BDA0003052714870000092
表示预测结果是第c类情感的概率。
多标签预测的最小化二元交叉熵损失熵函数表示为：
Figure BDA0003052714870000093
这里N表示类别标签数，最终对N个类别的交叉熵损失求均值。通过Adam不断迭代，调整网络参数；
重复S2至S6，直至收敛，对相应的测试集固定模型参数后进行测试，记录实验结果，最后取测试结果最好的模型参数，用于新输入序列S‘的情感分析。
在实际应用过程中，整个方法可以通过图2所示的算法流程在计算机上实现。
综上所述，本实施例公开的上述基于多层次交互注意力机制的短文本对象情感分类方法，对短文本数据进行预处理后，利用预训练模型将输入的文本和对象映射至低维向量空间，使得初始文本表示具有一定的上下文信息；然后结合不同的交互注意力机制学习文本和对象序列中不同的语义特征；再设计多层交互结构，实现深层次特征的学习；然后再利用深度学习流行的池化和串联拼接技术融合习得的多种文本语义特征；最后经过情感分类器输出预测结果与对应真实情感标签进行比较计算误差，迭代更新网络参数直至收敛，固定参数，然后对给定新输入文本序列进行预测。
该方法不仅考虑粗粒度类别特征对细粒度对象级情感分类的影响，还区分了类别特征与上下文特征和对象自身特征，该方法基于多任务学习网络结构，结合多交互注意力机制学习文本内多种语义特征，实现多特征的融合，最终得到的情感分类结果更加精确、可靠。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，包括：
数据预处理：对短文本数据进行预处理，得到输入序列；
词嵌入处理：利用预训练的词向量，构建所述输入序列的词嵌入矩阵；
浅层注意力交互：对所述输入序列进行上下文语义编码，并利用浅层交互注意力机制获取面向对象的文本语义表示向量；
自注意力计算：将上下文语义编码结果经多个并行自注意力机制学习粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量，并根据学习得到的粗粒度类别特征进行对象类别检测；
深层注意力交互：采用深层交互注意力机制计算所述融入粗粒度类别特征的文本语义表示向量与所述面向对象的文本语义表示向量之间的语义关联度，得到融合粗粒度类别特征的面向细粒度对象的文本语义表示向量；
情感预测分类：将所述上下文编码结果与所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量经平均池化和串联处理，得到融合表示向量，并根据所述融合表示向量进行对象级情感预测和分类。
2.根据权利要求1所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述词嵌入处理步骤，具体包括：
获取所述输入序列中的单个文本和单个对象；
预先训练BERT词向量，分别将所述单个文本和所述单个对象匹配到所述BERT词向量上，得到文本词嵌入矩阵和对象词嵌入矩阵。
3.根据权利要求1所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述浅层注意力交互步骤，具体包括：
通过长短时记忆网络对输入序列进行上下文语义编码，得到文本上下文表示和对象上下文表示；
通过浅层交互注意力机制对文本和对象进行情感语义关联度计算，对文本进行进一步编码，得到面向对象的文本语义表示向量。
4.根据权利要求3所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述上下文语义编码的编码计算公式为：
Figure FDA0003052714860000021
其中，θBiLSTM表示BiLSTM层中的参数，concat(·,·)表示串联操作，xi是词嵌入矩阵中第i个元素，hi是经BiLSTM得到的隐层输出表示；
所述对文本进行进一步编码，编码计算公式为：
Figure FDA0003052714860000022
其中，ua，
Figure FDA0003052714860000023
均表示权重参数，T表示转置操作，H是文本上下文表示，Ht是对象上下文表示，eL是单位矩阵，
Figure FDA0003052714860000024
表示padding操作，α表示面向对象的文本注意力分布；
所述面向对象的文本语义表示向量为：
Figure FDA0003052714860000025
其中，
Figure FDA0003052714860000026
均表示权重参数，h1、hL分别表示文本上下文表示向量中的首尾两个元素，αl表示文本中第l个词的上下文注意力权重，hl表示文本中第l个词的隐层输出表示，最终计算得到面向对象的文本语义表示向量rt。
5.根据权利要求1所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述自注意力计算步骤，具体包括：
采用多个并行的自注意力机制学习上下文语义编码结果中文本上下文表示内隐含的粗粒度类别特征，获得融入粗粒度类别特征的文本语义表示向量；
采用多个并行的全连接层和sigmoid函数进行多类别标签预测。
6.根据权利要求5所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述融入粗粒度类别特征的文本语义表示向量为：
Figure FDA0003052714860000031
其中，
Figure FDA0003052714860000032
表示融入粗粒度类别特征的文本语义表示向量，H表示文本上下文表示，
Figure FDA0003052714860000033
均表示权重参数，T表示转置操作，
Figure FDA0003052714860000034
表示偏置参数。
7.根据权利要求1所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量，计算公式为：
Figure FDA0003052714860000035
其中，
Figure FDA0003052714860000036
是融入粗粒度类别特征的文本语义表示向量，rt是面向对象的文本语义表示向量，
Figure FDA0003052714860000037
表示权重参数，
Figure FDA0003052714860000038
表示偏置参数，最终计算得到r是融合粗粒度类别特征的面向细粒度对象的文本语义表示向量。
8.根据权利要求1所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述情感预测分类步骤，具体包括：
将所述上下文编码结果与所述融合粗粒度类别特征的面向细粒度对象的文本语义表示向量经平均池化后再串联，得到融合表示向量；
采用一个全连接层和softmax函数进行情感预测和分类。
9.根据权利要求8所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述融合表示向量为：
Figure FDA0003052714860000039
其中，Havg是文本上下文表示H经平均池化得到的，
Figure FDA00030527148600000310
是对象上下文表示，由Ht经平均池化得到，r是融合粗粒度类别特征的面向细粒度对象的文本语义表示向量，最终计算得到融合表示向量
Figure FDA00030527148600000311
10.根据权利要求8所述的一种基于多层次交互注意力机制的短文本对象情感分类方法，其特征在于，所述情感预测和分类，计算公式为：
Figure FDA0003052714860000041
其中，
Figure FDA0003052714860000042
表示预测结果是第c类感情的概率，
Figure FDA0003052714860000043
表示融合表示向量，
Figure FDA0003052714860000044
是权重参数，
Figure FDA0003052714860000045
是偏置。
CN202110491951.3A 2021-05-06 2021-05-06 基于多层次交互注意力机制的短文本对象情感分类方法 Active CN113268592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110491951.3A CN113268592B (zh) 2021-05-06 2021-05-06 基于多层次交互注意力机制的短文本对象情感分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110491951.3A CN113268592B (zh) 2021-05-06 2021-05-06 基于多层次交互注意力机制的短文本对象情感分类方法

Publications (2)

Publication Number Publication Date
CN113268592A true CN113268592A (zh) 2021-08-17
CN113268592B CN113268592B (zh) 2022-08-05

Family

ID=77229980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110491951.3A Active CN113268592B (zh) 2021-05-06 2021-05-06 基于多层次交互注意力机制的短文本对象情感分类方法

Country Status (1)

Country Link
CN (1) CN113268592B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656560A (zh) * 2021-10-19 2021-11-16 腾讯科技（深圳）有限公司 情感类别的预测方法和装置、存储介质及电子设备
CN115599921A (zh) * 2022-11-28 2023-01-13 腾讯科技（深圳）有限公司（Cn） 文本分类、文本分类模型训练方法、装置和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733651A (zh) * 2018-05-17 2018-11-02 新华网股份有限公司 表情符号预测方法及模型构建方法、装置、终端
CN108984724A (zh) * 2018-07-10 2018-12-11 凯尔博特信息科技（昆山）有限公司 利用高维表示提高特定属性情感分类准确率方法
CN109543722A (zh) * 2018-11-05 2019-03-29 中山大学 一种基于情感分析模型的情感趋势预测方法
CN110287320A (zh) * 2019-06-25 2019-09-27 北京工业大学 一种结合注意力机制的深度学习多分类情感分析模型
CN110390017A (zh) * 2019-07-25 2019-10-29 中国民航大学 基于注意力门控卷积网络的目标情感分析方法及系统
CN111414476A (zh) * 2020-03-06 2020-07-14 哈尔滨工业大学 一种基于多任务学习的属性级情感分析方法
CN111522908A (zh) * 2020-04-09 2020-08-11 国网上海市电力公司 一种基于BiGRU和注意力机制的多标签文本分类方法
CN111666406A (zh) * 2020-04-13 2020-09-15 天津科技大学 基于自注意力的单词和标签联合的短文本分类预测方法
CN111858944A (zh) * 2020-07-31 2020-10-30 电子科技大学 一种基于注意力机制的实体方面级情感分析方法
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置
CN112199504A (zh) * 2020-10-30 2021-01-08 福州大学 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统
CN112256876A (zh) * 2020-10-26 2021-01-22 南京工业大学 基于多记忆注意力网络的方面级情感分类模型
CN112329474A (zh) * 2020-11-02 2021-02-05 山东师范大学 融合注意力的方面级用户评论文本情感分析方法及系统
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733651A (zh) * 2018-05-17 2018-11-02 新华网股份有限公司 表情符号预测方法及模型构建方法、装置、终端
CN108984724A (zh) * 2018-07-10 2018-12-11 凯尔博特信息科技（昆山）有限公司 利用高维表示提高特定属性情感分类准确率方法
CN109543722A (zh) * 2018-11-05 2019-03-29 中山大学 一种基于情感分析模型的情感趋势预测方法
CN110287320A (zh) * 2019-06-25 2019-09-27 北京工业大学 一种结合注意力机制的深度学习多分类情感分析模型
CN110390017A (zh) * 2019-07-25 2019-10-29 中国民航大学 基于注意力门控卷积网络的目标情感分析方法及系统
CN111414476A (zh) * 2020-03-06 2020-07-14 哈尔滨工业大学 一种基于多任务学习的属性级情感分析方法
CN111522908A (zh) * 2020-04-09 2020-08-11 国网上海市电力公司 一种基于BiGRU和注意力机制的多标签文本分类方法
CN111666406A (zh) * 2020-04-13 2020-09-15 天津科技大学 基于自注意力的单词和标签联合的短文本分类预测方法
CN111858944A (zh) * 2020-07-31 2020-10-30 电子科技大学 一种基于注意力机制的实体方面级情感分析方法
CN111881260A (zh) * 2020-07-31 2020-11-03 安徽农业大学 基于方面注意力和卷积记忆神经网络情感分析方法及装置
CN112256876A (zh) * 2020-10-26 2021-01-22 南京工业大学 基于多记忆注意力网络的方面级情感分类模型
CN112199504A (zh) * 2020-10-30 2021-01-08 福州大学 一种融合外部知识与交互注意力机制的视角级文本情感分类方法及系统
CN112329474A (zh) * 2020-11-02 2021-02-05 山东师范大学 融合注意力的方面级用户评论文本情感分析方法及系统
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656560A (zh) * 2021-10-19 2021-11-16 腾讯科技（深圳）有限公司 情感类别的预测方法和装置、存储介质及电子设备
CN115599921A (zh) * 2022-11-28 2023-01-13 腾讯科技（深圳）有限公司（Cn） 文本分类、文本分类模型训练方法、装置和存储介质

Also Published As

Publication number Publication date
CN113268592B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
WO2021223323A1 (zh) 一种中文视觉词汇表构建的图像内容自动描述方法
CN110245229B (zh) 一种基于数据增强的深度学习主题情感分类方法
CN110019812B (zh) 一种用户自生产内容检测方法和系统
CN112199956B (zh) 一种基于深度表示学习的实体情感分析方法
CN109753566A (zh) 基于卷积神经网络的跨领域情感分析的模型训练方法
CN111680159B (zh) 数据处理方法、装置及电子设备
CN110866542B (zh) 一种基于特征可控融合的深度表示学习方法
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN113268592B (zh) 基于多层次交互注意力机制的短文本对象情感分类方法
CN112732916A (zh) 一种基于bert的多特征融合模糊文本分类模型
CN113987187A (zh) 基于多标签嵌入的舆情文本分类方法、系统、终端及介质
CN114936623A (zh) 一种融合多模态数据的方面级情感分析方法
CN115221325A (zh) 一种基于标签语义学习和注意力调整机制的文本分类方法
CN112597296A (zh) 一种基于计划机制和知识图谱引导的摘要生成方法
CN112800225B (zh) 一种微博评论情绪分类方法和系统
CN112364168A (zh) 一种基于多属性信息融合的舆情分类方法
CN113657115A (zh) 一种基于讽刺识别和细粒度特征融合的多模态蒙古文情感分析方法
CN112651940A (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN114648031A (zh) 基于双向lstm和多头注意力机制的文本方面级情感识别方法
CN114925205B (zh) 基于对比学习的gcn-gru文本分类方法
CN112131345A (zh) 文本质量的识别方法、装置、设备及存储介质
CN113704392A (zh) 文本中实体关系的抽取方法、装置、设备及存储介质
CN113378919B (zh) 融合视觉常识和增强多层全局特征的图像描述生成方法
CN113535949B (zh) 基于图片和句子的多模态联合事件检测方法
CN117216617A (zh) 文本分类模型训练方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231203

Address after: Room 3A09, Building E, No. 33 Dongqi Road, Dongshan Street, Jiangning District, Nanjing City, Jiangsu Province, 211100

Patentee after: Nanjing Zhishu Zhiyuan Information Technology Co.,Ltd.

Address before: No.9, 13th Street, Tianjin Economic and Technological Development Zone, Binhai New Area, Tianjin 300457

Patentee before: TIANJIN University OF SCIENCE AND TECHNOLOGY