CN110826336A - 一种情感分类方法、系统、存储介质及设备 - Google Patents

一种情感分类方法、系统、存储介质及设备 Download PDF

Info

Publication number
CN110826336A
CN110826336A CN201910882343.8A CN201910882343A CN110826336A CN 110826336 A CN110826336 A CN 110826336A CN 201910882343 A CN201910882343 A CN 201910882343A CN 110826336 A CN110826336 A CN 110826336A
Authority
CN
China
Prior art keywords
information
context
target word
vector
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910882343.8A
Other languages
English (en)
Other versions
CN110826336B (zh
Inventor
龚子寒
王家乾
薛云
胡晓晖
陈秉良
杨驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN JINHUI RONGZHI TECHNOLOGY Co.,Ltd.
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201910882343.8A priority Critical patent/CN110826336B/zh
Publication of CN110826336A publication Critical patent/CN110826336A/zh
Application granted granted Critical
Publication of CN110826336B publication Critical patent/CN110826336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种情感分类方法、系统、存储介质及设备，通过对上下文使用位置词向量和多头自注意力进行编码，对目标词使用双向门控循环单元和多头自注意力进行编码，充分提取了长短距离句子的语义信息和位置信息，同时通过将上下文语义信息和目标词语义信息交互拼接进行低阶融合，利用胶囊网络在低阶融合基础上进行位置编码，再利用多头交互注意力机制将低阶融合后的信息进行高阶融合，将高阶融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示。相对于现有技术，本发明实现了上下文语义信息和目标词语义信息、位置信息的充分融合，提高情感分类准确性和效率。

Description

一种情感分类方法、系统、存储介质及设备
技术领域
本发明涉及自然语言处理领域，尤其是涉及一种情感分类方法、系统、存储介质及设备。
背景技术
近年来，随着互联网的广泛应用和电子商务的快速发展，网络评论的情感分类在电子商务、信息安全及舆情监控方面表现出巨大的应用需求。特定目标情感分类(Aspect-based Sentiment Analysis，ABSA)作为文本情感分类领域中的一项细粒度情感分类任务，其主要目标是判断句子在不同目标下对应的情感倾向(积极、消极和中性)。例如：Thismobile phone is beautiful in appearance but expensive in price，就特定目标appearance而言，情感极性是积极的；而对于特定目标price，其情感极性却是消极的。
随着深度学习的发展，循环神经网络RNNs和标准注意力机制被广泛应用于自动学习上下文和目标词的语义特征，同时捕捉在特定目标下上下文中相关的情感特征词，解决了传统使用人工特征提取的缺陷。尽管这些方法能较好地解决特定目标情感分类任务，但仍面临着三方面的挑战：(1)对句子语义信息编码时，RNNs的每一个输出状态都依赖于上层状态的输出，在语义建模时可能丢失长距离的情感信息词和对输入数据不能进行并行计算等问题。同时标准注意力机制中由于权重值分布的过于分散，容易引入过量噪声，难以准确提取足够的上下文情感信息。(2)对句子语义信息编码时，大部分方法忽略了目标词的位置信息对上下文句法结构的重要性，位置词向量的引入仅能浅层解决每个词的位置信息，不能对整个上下文的句法结果进行动态的更新重构。(3)对上下文和目标词的信息融合时，大部分基于简单拼接或线性相乘的组合方式可能丢失了部分原始信息，不能充分融合两者信息；且仅考虑了特定目标对于上下文句子不同成分的影响，忽略了上下文句子对目标实体的影响。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供一种提高特定目标情感分类任务时的效率和准确性的情感分类方法、系统、存储介质及设备。
一种情感分类方法，包括以下步骤：
获取用户评论数据中的目标词、上下文及所述上下文与目标词之间的相对位置，将所述目标词、上下文及所述上下文与目标词之间的相对位置映射到向量空间，获得上下文词向量、目标词向量和位置词向量；
将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；
将所述上下文语义信息进行平均池化后与所述目标词语义信息进行交互拼接，得到第一目标词融合信息；将所述目标词语义信息进行平均池化后与所述上下文语义信息进行交互拼接，得到第一上下文融合信息；
将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息；
利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
将所述目标特征表示输入Softmax函数中，获取情感分类结果。
相对于现有技术，通过对上下文使用位置词向量和多头自注意力进行编码，对目标词使用双向门控循环单元和多头自注意力进行编码，充分提取了长短距离句子的语义信息和位置信息，同时通过将上下文语义信息和目标词语义信息交互拼接进行低阶融合，利用胶囊网络在低阶融合基础上进行位置编码，再利用多头交互注意力机制将低阶融合后的信息进行高阶融合，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示，本发明实现了上下文语义信息和目标词语义信息、位置信息的充分融合，提高情感分类准确性和效率。
在本发明一个实施例中，将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息的步骤包括：
将目标词向量输入双向门控循环单元，所述双向门控循环单元包括前向门控循环单元和后向门控循环单元，利用前向门控循环单元得到前门隐藏层表示
Figure BDA0002206255140000021
利用后向门控循环单元得到后门隐藏层表示
Figure BDA0002206255140000022
将所述前门隐藏层表示和所述后门隐藏层表示拼接，得到最终隐藏层表示
Figure BDA0002206255140000023
其中，
Figure BDA0002206255140000024
i表示第i个隐藏层表示，m为隐藏层表示的个数；
基于多头自注意力机制对所述隐藏层表示进行语义编码，按照以下方式获得目标词语义信息st：
st＝MultiHead(ht,ht,ht)
其中，
Figure BDA0002206255140000031
为隐藏层表示，MultiHead为多头注意力机制函数；
将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息的步骤包括：
将所述上下文词向量与位置词向量进行拼接，获得拼接后的词向量[wc,pc]；
其中，wc为上下文词向量，pc为位置词向量；
基于多头自注意力机制对所述拼接后的词向量进行语义编码，按照以下方式获得上下文语义信息sc：
sc＝MultiHead([wc,pc],[wc,pc],[wc,pc])
其中，MultiHead为多头注意力机制函数。
在本发明一个实施例中，将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息的步骤包括：
将底层胶囊的输入值
Figure BDA0002206255140000032
乘以参数共享矩阵Wj得到底层胶囊输出值
Figure BDA0002206255140000033
设定动态路由算法迭代更新的耦合系数为cij，则：
Figure BDA0002206255140000034
Figure BDA0002206255140000035
其中，cij为耦合系数，bij为权重值，bij初始化值设为0；
将得到的底层胶囊输出值
Figure BDA0002206255140000036
和耦合系数cij按照以下方式加权求和得到输出向量sj：
Figure BDA0002206255140000037
其中，sj即上层胶囊的输入向量；
将上层胶囊的输入向量sj压缩转化为合适长度的输出向量
Figure BDA0002206255140000038
使得
Figure BDA0002206255140000039
的长度不超过1，并且保持
Figure BDA00022062551400000310
和sj同方向：
Figure BDA0002206255140000041
其中，squashing()为设定的非线性激活函数，epsilon()＝[0,1]为常量值，e-4为放大向量sj的范数，sj/||sj||表示向量sj的单位化；
利用和
Figure BDA0002206255140000043
的相关性来迭代更新参数bij，如下式所示：
Figure BDA0002206255140000044
Figure BDA0002206255140000045
其中，
Figure BDA0002206255140000046
和相似性越高，点积值越大即bij越大，
Figure BDA0002206255140000048
为中间变量。本发明结合胶囊网络能够获取单词的位置、语义信息和句法结构等更丰富信息的能力，提出新的动态路由机制来对句子位置信息进行准确提取，从而使得上下文和目标词间的信息能够充分融合。
在本发明一个实施例中，所述利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示的步骤包括：
按照以下方式将所述目标词位置编码信息和上下文位置编码信息进行融合，获得第二融合信息：
k＝MultiHead(uc,ut,ut)
其中，k为第二融合信息，uc为上下文位置编码信息，ut为目标词位置编码信息，MultiHead为多头注意力机制函数；
将所述第二融合信息平均池化，得到平均池化的第二融合信息：
Figure BDA0002206255140000049
其中，kavg为平均池化的第二融合信息，n为第二融合信息中词的个数；
将所述平均池化的第二融合信息与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
Figure BDA00022062551400000410
其中，cavg为平均池化后的上下文语义信息，tavg为平均池化后的目标词语义信息，
Figure BDA00022062551400000411
为目标特征表示。本发明通过引入多头交互注意力机制对上下文与目标词进行深层次信息融合，再与原始语义特征拼接后得到最终的特征表示，以提高情感分类的准确性。
本发明还提供了一种情感分类系统，包括：
词向量获取模块，用于获取用户评论数据中的目标词、上下文及所述上下文与目标词之间的相对位置，将所述目标词、上下文及所述上下文与目标词之间的相对位置映射到向量空间，获得上下文词向量、目标词向量和位置词向量；
语义信息获取模块，用于将所述目标词向量输入双向门控循环单元，获取所述目标词向量的隐藏层表示，基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；
拼接模块，用于将所述上下文语义信息平均池化后与所述目标词语义信息进行交互拼接，得到第一目标词融合信息；将所述目标词语义信息平均池化后与所述上下文语义信息进行交互拼接，得到第一上下文融合信息；
位置信息编码模块，用于将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息；
特征表示获取模块，用于利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
情感分类模块，用于将所述目标特征表示输入Softmax函数中进行分类，获取情感分类结果。
在本发明一个实施例中，所述语义信息获取模块包括：
目标词语义信息获取单元，用于将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；所述目标词语义信息获取单元包括：
隐藏层表示获取单元，用于将目标词向量输入双向门控循环单元，所述双向门控循环单元包括前向门控循环单元和后向门控循环单元，利用前向门控循环单元得到前门隐藏层表示
Figure BDA0002206255140000051
利用后向门控循环单元得到后门隐藏层表示
Figure BDA0002206255140000052
将所述前门隐藏层表示和所述后门隐藏层表示拼接，得到最终隐藏层表示
其中，i表示第i个隐藏层表示，m为隐藏层表示的个数；
目标词语义编码单元，用于基于多头自注意力机制对所述隐藏层表示进行语义编码，按照以下方式获得目标词语义信息st：
st＝MultiHead(ht,ht,ht)
其中，
Figure BDA0002206255140000062
为隐藏层表示，MultiHead为多头注意力机制函数；
上下文语义信息获取单元，用于将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；所述上下文语义信息获取单元包括：
拼接单元，用于将所述上下文词向量与位置词向量进行拼接，获得拼接后的词向量[wc,pc]；
其中，wc为上下文词向量，pc为位置词向量；
上下文语义编码单元，用于基于多头自注意力机制对所述拼接后的词向量进行语义编码，按照以下方式获得上下文语义信息sc：
sc＝MultiHead([wc,pc],[wc,pc],[wc,pc])。
在本发明一个实施例中，所述位置信息编码模块包括：
耦合系数计算单元，用于将底层胶囊的输入值
Figure BDA0002206255140000063
乘以参数共享矩阵Wj得到底层胶囊输出值
Figure BDA0002206255140000064
设定动态路由算法迭代更新的耦合系数为cij，则：
Figure BDA0002206255140000065
Figure BDA0002206255140000066
其中，cij为耦合系数，bij为权重值，bij初始化值设为0；
输出向量计算单元，用于将得到的底层胶囊输出值
Figure BDA0002206255140000067
和耦合系数cij按照以下方式加权求和得到输出向量sj：
Figure BDA0002206255140000068
其中，sj为上层胶囊的输入向量；
压缩单元，用于将sj压缩转化为合适长度的输出向量
Figure BDA0002206255140000069
使得
Figure BDA00022062551400000610
的长度不超过1，并且保持
Figure BDA0002206255140000071
和sj同方向：
Figure BDA0002206255140000072
其中，squashing()为设定的非线性激活函数，epsilon()＝[0,1]为常量值，e-4为放大向量sj的范数，sj/||sj||表示向量sj的单位化；
参数更新单元，用于利用
Figure BDA0002206255140000073
和
Figure BDA0002206255140000074
的相关性来迭代更新参数bij，如下式所示：
Figure BDA0002206255140000076
其中，
Figure BDA0002206255140000077
和
Figure BDA0002206255140000078
相似性越高，点积值越大即bij越大，
Figure BDA0002206255140000079
为中间变量。
在本发明一个实施例中，所述特征表示获取模块包括：
第二信息融合单元，用于按照以下方式将所述目标词位置编码信息和上下文位置编码信息进行融合，获得第二融合信息：
k＝MultiHead(uc,ut,ut)
其中，k为第二融合信息，uc为上下文位置编码信息，ut为目标词位置编码信息，MultiHead为多头注意力机制函数；
池化单元，用于将所述第二融合信息平均池化，得到平均池化的第二融合信息：
Figure BDA00022062551400000710
其中，kavg为平均池化的第二融合信息，n为第二融合信息中词的个数；
目标特征表示获取单元，用于将所述平均池化的第二融合信息与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
Figure BDA00022062551400000711
其中，cavg为平均池化后的上下文语义信息，tavg为平均池化后的目标词语义信息，
Figure BDA00022062551400000712
为目标特征表示。
本发明还提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的情感分类方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的情感分类方法的步骤。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1是本发明实施例中一种情感分类系统的流程图；
图2是本发明实施例中情感分类方法步骤S2的流程图；
图3是本发明实施例中情感分类方法步骤S20的流程图
图4是本发明实施例中情感分类方法步骤S21的流程图；
图5是本发明实施例中情感分类方法步骤S4的流程图；
图6是本发明实施例中情感分类方法步骤S5的流程图；
图7是本发明实施例中情感分类系统的结构示意图；
图8是本发明实施例中语义信息获取模块2的结构示意图；
图9是本发明实施例中目标词语义信息获取单元20的结构示意图；
图10是本发明实施例中上下文语义信息获取单元21的结构示意图；
图11是本发明实施例中位置信息编码模块4的结构示意图；
图12是本发明实施例中特征表示获取模块5的结构示意图；
图13是本发明实施例中利用三个数据集进行实验验证时，在6个不同head下准确率的实验结果图；
图14是本发明实施例中利用三个数据集进行实验验证时，在11个不同压缩函数值下准确率的实验结果图。
具体实施方式
实施例
请参阅图1，本发明提供了一种情感分类方法，所述情感分类方法为基于混合多头注意力和胶囊网络的特定目标情感分类方法(Hybrid Multi-Head Attention BasedCapsule Networks Model,HMAC)，包括以下步骤：
步骤S1：获取用户评论数据中的目标词、上下文及所述上下文与目标词之间的相对位置，将所述目标词、上下文及所述上下文与目标词之间的相对位置映射到向量空间，获得上下文词向量、目标词向量和位置词向量；其中，所述Glove模型为常用的词向量训练模型，其通过构建词的共现矩阵，基于共现矩阵对词进行向量化表示。通过利用预训练的Glove模型将每个单词映射到一个低维实值向量中，每个词都可以从共现矩阵
Figure BDA0002206255140000091
中得到一个向量
Figure BDA0002206255140000092
其中dw表示词向量的维度，|v|表示词的个数，本步骤中通过查找词嵌入矩阵，分别得到上下文词向量
Figure BDA0002206255140000093
和目标词向量
Figure BDA0002206255140000094
其中，m、n分别为所述上下文词向量和目标词向量词的个数，对于所述上下文与目标词之间的相对位置，根据上下文每个词与目标词之间的相对偏移量查找随机初始化的位置矩阵
Figure BDA0002206255140000095
从位置矩阵
Figure BDA0002206255140000096
得到一个位置词向量
Figure BDA0002206255140000097
其中dp表示位置词向量的维度，|vp|表示上下文每个词和目标词之间可能相对位置的个数，从而得到上下文的位置词向量
Figure BDA0002206255140000098
其中第i个词与目标之间相对偏移量的计算如下所示：
Figure BDA0002206255140000099
其中j表示目标第一个词的索引，m表示目标的长度，n表示句子的长度。
在一个实施例中，在获取用户评论数据中的目标词、上下文及所述上下文与目标词之间的相对位置的步骤之前，还包括以下步骤：
获取带有特定目标和情感标签的用户评论数据，对所述用户评论数据进行包括但不限于去除空白行、去除重复行、去除特殊标点和还原缩写单词的预处理。
步骤S2：将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；
其中，注意力机制通过增大重要信息的权重系数，使模型关注到更重要的部分，从而可以提高分类的准确率，定义如下所示：
Figure BDA00022062551400000910
其中Q表示Query，K表示Key，V表示Value，因子
Figure BDA00022062551400000911
起调节作用使得内积不至于太大。而多头注意力机制(Multi-Head Attention,MHA)是注意力机制的完善，是一种能够并行处理不同位置不同表示子空间信息的注意力机制。首先将Q，K，V通过参数矩阵进行映射，然后重复进行多次注意力机制，并将结果拼接起来，具体计算公式如下：
headi＝Attention(QWi Q,KWi K,VWi V)
MultiHead(Q,K,V)＝Concat(head1,...,headh)
多头自注意力机制(Multi-Head Self Attention,MHSA)是MHA的特殊情况，即输入Q＝K＝V。使用MHSA进行语义编码，寻找序列内部的关联，更好的保留原始句子语义信息，具体计算公式如下：
MHAself＝MultiHead(X,X,X)
具体地，如图2所示，所述步骤S2包括以下步骤：
步骤S20:将目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；如图3所示，步骤S20具体包括：
步骤S201:使用双向门控循环单元(GRU)先对目标词向量wt进行初始的特征提取。所述双向门控循环单元包括前向门控循环单元和后向门控循环单元，利用前向门控循环单元得到前门隐藏层表示利用后向门控循环单元得到后门隐藏层表示
Figure BDA0002206255140000102
将所述前门隐藏层表示和所述后门隐藏层表示进行拼接，得到最终隐藏层表示
Figure BDA0002206255140000103
其中，
Figure BDA0002206255140000104
dh表示隐藏层的维度，i表示第i个隐藏层表示，m为隐藏层表示的个数；
步骤S202:基于多头自注意力机制对所述隐藏层表示进行语义编码，按照以下方式获得目标词语义信息
Figure BDA0002206255140000105
st＝MultiHead(ht,ht,ht)
其中，
Figure BDA0002206255140000106
为隐藏层表示，ds表示多头自注意力机制的维度，MultiHead为多头注意力机制函数；
步骤S21:所述将上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；如图4所示，步骤S21具体包括：
步骤S211:将所述上下文词向量wc和位置词向量pc进行拼接,获得拼接后的词向量[wc,pc]；
步骤S212:基于多头自注意力机制对上下文进行语义编码，按照以下方式获得上下文语义信息
Figure BDA0002206255140000107
sc＝MultiHead([wc,pc],[wc,pc],[wc,pc])
其中，wc为上下文词向量，pc为位置词向量，ds表示多头自注意力机制的维度。
步骤S3：将所述上下文语义信息进行平均池化后与所述目标词语义信息进行交互拼接，得到第一目标词融合信息；具体地，先对上下文语义信息sc取平均池化得到cavg；cavg再与上下文st每个词进行拼接线性激活得到第一目标词融合信息，所述第一目标词融合信息即为目标词部分低阶融合信息df表示第一目标词融合信息融合的维度，如下式所示：
Figure BDA0002206255140000112
ft＝tanh(Wt·[st,cavg])
其中，Wt是一个权重矩阵，cavg表示平均池化后的上下文语义信息，n为上下文语义信息中词的个数。
将所述目标词语义信息进行平均池化后与所述上下文语义信息进行交互拼接，得到第一上下文融合信息；具体地，先对目标词语义信息st取平均池化得到tavg；tavg再与上下文sc每个词进行拼接线性激活得到第一上下文融合信息，所述第一上下文融合信息即为上下文部分低阶融合信息
Figure BDA0002206255140000113
df表示第一上下文融合信息融合的维度，如下式所示：
Figure BDA0002206255140000114
fc＝tanh(Wc·[sc,tavg])
其中，Wc是一个权重矩阵，tavg表示平均池化后的目标词语义信息，m表示目标词语义中词的个数。
步骤S4：所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息。
其中，所述胶囊网络模型分为底层胶囊和上层胶囊，每个胶囊代表不同的属性。上层胶囊的输出是由底层胶囊和相对应的权重矩阵共同决定的，底层胶囊的输入
Figure BDA0002206255140000115
即初阶信息融合后的向量fc或ft，然后
Figure BDA0002206255140000116
通过动态路由算法的更新方式计算得到上层胶囊的输出
Figure BDA0002206255140000117
如图5所示，将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息的步骤包括：
步骤S401：将底层胶囊的输入值
Figure BDA0002206255140000121
乘以参数共享矩阵Wj得到底层胶囊输出值设定动态路由算法迭代更新的耦合系数为cij，则：
Figure BDA0002206255140000124
其中，cij为耦合系数，bij为权重值，bij初始化值设为0；
步骤S402：将得到的底层胶囊输出值
Figure BDA0002206255140000125
和耦合系数cij按照以下方式加权求和得到输出向量sj：
Figure BDA0002206255140000126
其中，sj即上层胶囊的输入向量；
步骤S403：将sj压缩转化为合适长度的输出向量
Figure BDA0002206255140000127
使得
Figure BDA0002206255140000128
的长度不超过1，并且保持
Figure BDA0002206255140000129
和sj同方向；胶囊网络的核心思想是用向量sj的模长来对比特征的强弱程度即显著性，因此在步骤S403中设定一个新的非线性激活函数squashing()将上层胶囊的输入向量sj压缩转化为合适长度的输出向量
Figure BDA00022062551400001210
使得的长度不超过1，并且保持
Figure BDA00022062551400001212
和sj同方向：
Figure BDA00022062551400001213
其中，squashing()为设定的非线性激活函数，epsilon()＝[0,1]为常量值，e-4为放大向量sj的范数，sj/||sj||表示向量sj的单位化；
步骤S404：利用
Figure BDA00022062551400001220
和
Figure BDA00022062551400001214
的相关性来迭代更新参数bij，如下式所示：
Figure BDA00022062551400001215
Figure BDA00022062551400001216
其中，
Figure BDA00022062551400001217
为中间变量，
Figure BDA00022062551400001218
和相似性越高，点积值越大即bij越大，底层胶囊与上层胶囊连接的可能性越大；反之，连接可能性则越小，因此权重的大小则可表示对底层胶囊识别的概率。
步骤S5：利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；其中，所述目标词位置编码信息和上下文位置编码信息表示经胶囊网络位置编码后的上下文和目标词，所述多头交互注意力机制(Multi-Head Interactive Attention,MHIA)是多头注意力在K＝V条件下的一般形式。其具体计算如下所示：
MHAinter＝MultiHead(Q,K,K)
因此，在本步骤中，针对经胶囊网络位置编码后的uc和ut通过多头交互注意力机制实现目标词位置编码信息和上下文位置编码信息的高阶信息融合，如图6所示，包括以下步骤：
步骤S501：按照以下方式将所述目标词位置编码信息和上下文位置编码信息进行融合，获得第二融合信息其中，dk表示多头交互注意力机制的维度：
k＝MultiHead(uc,ut,ut)
其中，k为高阶融合后的第二融合信息，uc为上下文位置编码信息，ut为目标词位置编码信息，MultiHead为多头注意力机制函数；
步骤S502：对所述第二融合信息进行平均池化，得到平均池化的第二融合信息kavg；
Figure BDA0002206255140000132
其中，kavg为平均池化的第二融合信息，n为第二融合信息中词的个数；
步骤S503：为了保留原始信息，将所述平均池化的第二融合信息kavg与平均池化后的上下文语义信息cavg和平均池化后的目标词语义信息tavg拼接，形成了最终的目标特征表示
Figure BDA0002206255140000133
Figure BDA0002206255140000134
其中，cavg为平均池化后的上下文语义信息，tavg为平均池化后的目标词语义信息，为目标特征表示。本发明通过引入多头交互注意力机制对上下文与目标词进行深层次信息融合，再与原始语义特征拼接后得到最终的特征表示，以提高情感分类的准确性。
步骤S6：将所述目标特征表示输入Softmax函数中，获取情感分类结果。
如图7所示，本发明还提供了一种情感分类系统，包括：
词向量获取模块1，用于获取用户评论数据中的目标词、上下文及所述上下文与目标词之间的相对位置，将所述目标词、上下文及所述上下文与目标词之间的相对位置映射到向量空间，获得上下文词向量、目标词向量和位置词向量；
语义信息获取模块2，用于将所述目标词向量输入双向门控循环单元，获取所述目标词向量的隐藏层表示，基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；
如图8所示，在本发明一个实施例中，所述语义信息获取模块2包括：
目标词语义信息获取单元20，用于将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；如图9所示，所述目标词语义信息获取单元20包括：
隐藏层表示获取单元201，用于将目标词向量输入双向门控循环单元，所述双向门控循环单元包括前向门控循环单元和后向门控循环单元，利用前向门控循环单元得到前门隐藏层表示
Figure BDA0002206255140000141
利用后向门控循环单元得到后门隐藏层表示将所述前门隐藏层表示和所述后门隐藏层表示拼接，得到最终隐藏层表示
Figure BDA0002206255140000143
其中，
Figure BDA0002206255140000144
i表示第i个隐藏层表示，m为隐藏层表示的个数；
目标词语义编码单元202，用于基于多头自注意力机制对所述隐藏层表示进行语义编码，按照以下方式获得目标词语义信息st：
st＝MultiHead(ht,ht,ht)
其中，
Figure BDA0002206255140000145
为隐藏层表示，MultiHead为多头注意力机制函数；
上下文语义信息获取单元21，用于将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；如图10所示，所述上下文语义信息获取单元21包括：
拼接单元211，用于将所述上下文词向量与位置词向量进行拼接，获得拼接后的词向量[wc,pc]；其中，wc为上下文词向量，pc为位置词向量；
上下文语义编码单元212，用于基于多头自注意力机制对所述拼接后的词向量进行语义编码，按照以下方式获得上下文语义信息sc：：
sc＝MultiHead([wc,pc],[wc,pc],[wc,pc])
拼接模块3，用于将所述上下文语义信息平均池化后与所述目标词语义信息进行交互拼接，得到第一目标词融合信息；将所述目标词语义信息平均池化后与所述上下文语义信息进行交互拼接，得到第一上下文融合信息；
位置信息编码模块4，用于将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息；
如图11所示，所述位置信息编码模块4包括：
耦合系数计算单元401，用于将底层胶囊的输入值
Figure BDA0002206255140000151
乘以参数共享矩阵Wj得到底层胶囊的输出值
Figure BDA0002206255140000152
设定动态路由算法迭代更新的耦合系数为cij，则：
Figure BDA0002206255140000153
Figure BDA0002206255140000154
其中，cij为耦合系数，bij为权重值，bij初始化值设为0；
输出向量计算单元402，用于将得到的底层胶囊输出值和耦合系数cij按照以下方式加权求和得到上层胶囊的输入向量sj：
Figure BDA0002206255140000156
其中，sj为上层胶囊的输入向量；
压缩单元403，用于将sj压缩转化为合适长度的输出向量
Figure BDA0002206255140000157
使得
Figure BDA0002206255140000158
的长度不超过1，并且保持和sj同方向：
Figure BDA00022062551400001510
其中，squashing()为设定的非线性激活函数，epsilon()＝[0,1]为常量值，e-4为放大向量sj的范数，sj/||sj||表示向量sj的单位化；
参数更新单元404，用于利用
Figure BDA00022062551400001511
和
Figure BDA00022062551400001512
的相关性来迭代更新参数bij，如下式所示：
Figure BDA00022062551400001513
Figure BDA00022062551400001514
其中，
Figure BDA00022062551400001515
和
Figure BDA00022062551400001516
相似性越高，点积值越大即bij越大，
Figure BDA00022062551400001517
为中间变量。
特征表示获取模块5，用于利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
在本发明一个实施例中，如图12所示，所述特征表示获取模块5包括：
第二信息融合单元501，用于按照以下方式将所述目标词位置编码信息和上下文位置编码信息进行融合，获得第二融合信息：
k＝MultiHead(uc,ut,ut)
其中，k为第二融合信息，uc为上下文位置编码信息，ut为目标词位置编码信息，MultiHead为多头注意力机制函数；
池化单元502，用于将所述第二融合信息平均池化，得到平均池化的第二融合信息：
Figure BDA0002206255140000161
其中，kavg为平均池化的第二融合信息，n为第二融合信息中词的个数；
目标特征表示获取单元503，用于将所述平均池化的第二融合信息与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
Figure BDA0002206255140000162
其中，cavg为平均池化后的上下文语义信息，tavg为平均池化后的目标词语义信息，为目标特征表示。
情感分类模块6，用于将所述目标特征表示输入Softmax函数中进行分类，获取情感分类结果。
在一个优选的实施例中，所述情感分类系统还包括：预处理模块，用于获取带有特定目标和情感标签的用户评论数据，对所述用户评论数据进行包括但不限于去除空白行、去除重复行、去除特殊标点和还原缩写单词的预处理。
本发明还提供了一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述任意一项所述的情感分类方法的步骤。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本发明还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的情感分类方法的步骤。
本实施例中，利用三个公开的数据集对本发明所述情感分类方法形成的情感分类模型的分类效果进行了实验验证：
所述三个公开的数据集分别是国际评测SemEval 2014Task4数据集(由Restaurant餐厅和Laptop笔记本电脑评论数据组成)和Dong等人爬取并公布的ACL14Twitter数据集。所述数据集中每条评论由句子和目标及其对应的情感极性共同组成，旨在判断给定目标下句子的情感极性(在本实施例中仅考虑积极、中性和消极三类)，数据集的情感极性统计描述见表1。采用预训练好的Glove词向量对上下文句子和目标词进行初始化，向量维度选取d＝300，所有不在词向量词典中的单词都初始化为零向量，隐藏层大小设置设为300，位置向量嵌入矩阵维度设为50。同时，本发明中情感分类模型使用深度学习框架Keras实现，在模型训练中所有权重矩阵元素的随机初始化均服从glorot均匀分布，采用RMSprop作为模型的优化器，对应的学习率设置为0.001，批量大小设为128，Dropout设为0.5。
表1数据集情感极性统计表
Figure BDA0002206255140000171
使用目前文本情感分类领域常用的评价指标：平均分类准确率(AverageAccuracy)和F1值(macro_F1 measure)作为本实施例的评价指标，平均分类准确率的计算公式如下式所示：
Figure BDA0002206255140000172
上式中，TP(True Positive)表示分类模型正确预测的积极样本数，TN(TrueNegative)表示分类模型正确预测的消极样本数，FP(False Positive)表示分类模型错误预测的积极样本数，FN(False Negative)表示分类模型错误预测的消极样本数。
F1值的计算公式如下式所示：
Figure BDA0002206255140000181
Figure BDA0002206255140000182
Figure BDA0002206255140000183
为了验证本发明的有效性，本发明在实验方案中设置了两组对比实验，第一组针对多头注意力中head的个数对多头注意力机制MHA的影响；第二组针对胶囊网络中Squashing不同压缩值对模型的影响，本发明在保持其它参数不变的情况下，使用控制变量法进行实验，具体流程如下：
由于多头注意力中涉及多个head的注意力，因此，我们在Laptop，Restaurant和Twitter数据集上分别测试了本发明所述情感分类模型HMAC在参数head＝{1,2,3,4,5,6}的性能，评价指标为准确率(Accuracy)，实验结果如图13所示。可以明显的观测到：(1)当head＝3时，在三个数据集下分别能得到最高的准确率(71.97％，80.45％，73.98％)，表明多个head通常能获得较好的性能，尤其是head等于3时；(2)当head较小时(如1或2)性能则较差，这表明上下文表示不足以包含重要的情感特征；(3)相反，head数越大并不一定能获得更好的性能，如在Laptop中head为6的性能不如head＝4的模型好，这是因为随着层数的增加，模型参数的增加，使得模型难以训练和泛化。因此，本发明多头注意力机制head数在3个数据集上的实验均设为3。
由于胶囊网络自身结构涉及到的压缩函数Squashing是其提出的主要核心思想和机制，本发明实验探索了不同压缩值对输入胶囊向量sj模长压缩的影响，在三个数据集上分别测试了HMAC的性能，评价指标为准确率，实验结果如图14所示。可以观测到：(1)当压缩函数值为e-4时，同等实验环境下模型在三个数据集上分别能得到最高的准确率(Twitter＝71.53％，Restaurant＝79.78％，Laptop＝73.98％)，表明当压缩函数值趋近0时性能较好；(2)当压缩函数值过小为0时，其性能会出现明显的下降，分别比最优值下降(1.59％,2.15％,3.13％)；(3)当压缩函数值在(0,1)间时，其性能都有不同程度的下降；(4)当取Hinton原始的压缩函数值1时，其性能整体差于其它压缩值，说明全局压缩不一定是最佳的方式。因此，本发明对胶囊网络的压缩函数值取值为e-4。
表2实验结果：
同时，为了全面的评估本发明情感分类的性能，本实施例中选择了12个典型Baseline模型进行比较，采用准确率(Accuracy)和F1值(macro-F1 measure)作为对比实验的评价标准，实验结果对比情况如上表，从表2中可以看出：
(1)本发明相比于传统机器学习方法性能较好。表中Kiritchenko提出的Feature-based SVM模型是一种在依赖大量人工特征提取的基础上使用支持向量机进行分类来提升模型整体性能，在Twitter，Restaurant，Laptop三个数据集上分别得到了63.40％，80.16％和70.49％的准确率。本发明相比于机器学习方法分别高出了9.29％，0.29％和3.49％。说明深度学习的方法适合用于特定目标情感分析的研究之中。
(2)本发明对目标词短文本部分采用双向GRU进行语义学习相比于标准RNNs性能较好。表中TD-LSTM在考虑了目标信息基础上再使用LSTM进行语义特征学习，整体性能略高于标准的单层LSTM网络，表明了目标信息对提高分类精度起到了重要的作用。特别的我们发现，双向GRU达到了很好的性能，在Restaurant和Laptop上准确率分别达到了80.27％和73.35％，分别比TD-LSTM高出4.9％和5.1％。说明双向GRU适用于对短文本进行初步的语义特征提取。
(3)本发明使用多头注意力机制语义编码的方法相比标准多注意力机制的方法性能较好。表中MemNet通过多个hops来简单线性组合不同注意力，提取出上下文中重要情感词，其在三个数据集上的准确率和F1值分别为(68.50％,66.91％),(78.16％,65.83％),(70.33％,64.09％)，均远低于本发明模型的性能。此外，RAM通过双向LSTM的记忆功能和使用门控循环单元网络方式来组合多个注意力的情感向量的方式来增强MemNet模型，其准确率和F1值分别为(68.50％,66.91％),(78.16％,65.83％),(70.33％,64.09％)，整体性能均优于MemNet模型。而本发明在Twitter和Restaurant上分别比RAM高(3.33％,3.63％)和(0.22％,0.82％)，在Laptop上低(0.51％,2.34％)，说明本发明在大数据集上的拟合能获得更好的效果。因此，本发明的多头自注意力方法适合对上下文长距离句子进行语义信息编码。
(4)本发明提出的两阶信息交互融合方法相比于简单交互或拼接的方法性能较好。表中ATAE-LSTM通过对上下文的输入拼接目标词和引入注意力机制的方式，来增强目标词对整个上下文情感词提取的影响，其在Restaurant和Laptop上准确率分别达到了77.20％和68.88％。IAN模型在ATAE-LSTM基础上同时考虑上下文和目标词之间的相互影响，并设计了交互注意力的信息融合方式，在两个数据集上分别实现了78.60％和72.10％的准确率，比ATAE-LSTM高1.40％和3.22％。本发明提出的低阶交互拼接和高阶多头交互注意力的信息融合方式性能均高于二者，说明本发明的信息融合方式适用于目标情感分类研究。
(5)本发明基于胶囊网络的位置信息编码方法相比基于标准句法分析的方法性能较好。表中LSTM+SynATT在对目标词表示进行重构后，在注意力机制模型上融入了依存句法分析来挖掘句子的句法信息，其在Restaurant和Laptop上准确率达到了80.45％和72.57％，性能略差于本文模型。此外，CNN-MemNet和Mul-AT-CNN基于CNN的深度学习方法也取得较好的性能。因此本发明基于胶囊网络的位置编码方法适用于目标情感分类研究。
因此，与现有技术相比，本发明具有如下优点和技术效果：
(1)对句子语义信息编码时，现有技术往往采用循环神经网络RNNs和标准注意力机制来自动学习上下文和目标词的语义特征。循环神经网络的每一个输出状态都依赖于上层状态的输出，在语义建模时可能丢失长距离的情感信息词和对输入数据不能进行并行计算等问题。同时标准注意力机制中由于权重值分布的过于分散，容易引入过量噪声，难以准确提取足够的上下文情感信息。本发明结合循环神经网络对短距离句子序列信息提取和多头自注意力机制对长距离句子并行语义信息编码的优点，提出了对上下文长句子采用多头自注意力进行语义编码，对目标词短句子使用双向门控循环单元和多头自注意力进行语义编码，充分提取了长短距离句子的语义和情感信息；
(2)对句子语义信息编码时，现有技术往往忽略了目标词的位置信息对上下文句法结构的重要性，位置词向量的引入仅能浅层解决每个词的位置信息，不能对整个上下文的句法结果进行动态的更新重构。本发明一方面在语义编码时引入位置词向量对句子的位置信息进行浅层提取；另一方面结合胶囊网络能够获取单词的位置、语义信息和句法结构等更丰富信息的能力，提出新的动态路由机制来对句子位置信息进行准确提取，从而使得上下文和目标词间的信息能够充分融合。
(3)对上下文和目标词的信息融合时，现有技术仅仅基于简单拼接或线性相乘的组合方式来融合两者信息，且仅考虑目标词对于上下文句子不同成分的影响，忽略了上下文句子对目标词的影响。本发明提出了两阶信息融合的方法，低阶融合中对两者语义编码后的信息进行交互拼接，从而作为胶囊网络的输入来深层次提取丰富的语义和句法位置信息；高阶融合中对得到的语义和位置编码信息使用多头交互注意力的方式进行融合，从而使得最终的特征表达充分考虑了目标和句子的紧密联系。
本发明通过对上下文使用位置词向量和多头自注意力进行编码，对目标词使用双向门控循环单元和多头自注意力进行编码，充分提取了长短距离句子的语义信息和位置信息，同时通过将上下文语义信息和目标词语义信息交互拼接进行低阶融合，利用胶囊网络在低阶融合基础上进行位置编码，再利用多头交互注意力机制将低阶融合后的信息进行高阶融合，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示，实现上下文语义信息和目标词语义信息、位置信息的充分融合，提高情感分类准确性和效率。本发明能够准确挖掘出电商评论语句中特定目标的情感倾向，适用于各种领域的电商网络评论情感分类。一方面可以帮助消费者快速总结物品的评价信息，另一方面也能够帮助商家更加充分地了解消费者的意见，从而制定合适的市场策略，具有极大的实用价值。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (10)

1.一种情感分类方法，其特征在于：包括以下步骤：
获取用户评论数据中的目标词、上下文及所述上下文与目标词之间的相对位置，将所述目标词、上下文及所述上下文与目标词之间的相对位置映射到向量空间，获得上下文词向量、目标词向量和位置词向量；
将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；
将所述上下文语义信息进行平均池化后与所述目标词语义信息进行交互拼接，得到第一目标词融合信息；将所述目标词语义信息进行平均池化后与所述上下文语义信息进行交互拼接，得到第一上下文融合信息；
将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息；
利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
将所述目标特征表示输入Softmax函数中，获取情感分类结果。
2.根据权利要求1所述的情感分类方法，其特征在于：将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息的步骤包括：
将目标词向量输入双向门控循环单元，所述双向门控循环单元包括前向门控循环单元和后向门控循环单元，利用前向门控循环单元得到前门隐藏层表示
Figure FDA0002206255130000011
利用后向门控循环单元得到后门隐藏层表示将所述前门隐藏层表示和所述后门隐藏层表示拼接，得到最终隐藏层表示
Figure FDA0002206255130000013
其中，i表示第i个隐藏层表示，m为隐藏层表示的个数；
基于多头自注意力机制对所述隐藏层表示进行语义编码，按照以下方式获得目标词语义信息st：
st＝MultiHead(ht,ht,ht)
其中，
Figure FDA0002206255130000021
为隐藏层表示，MultiHead为多头注意力机制函数；
将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息的步骤包括：
将所述上下文词向量与位置词向量进行拼接，获得拼接后的词向量[wc,pc]；
其中，wc为上下文词向量，pc为位置词向量；
基于多头自注意力机制对所述拼接后的词向量进行语义编码，按照以下方式获得上下文语义信息sc：
sc＝MultiHead([wc,pc],[wc,pc],[wc,pc])
其中，MultiHead为多头注意力机制函数。
3.根据权利要求1所述的情感分类方法，其特征在于：将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息的步骤包括：
将底层胶囊的输入值乘以参数共享矩阵得到底层胶囊输出值
Figure FDA0002206255130000022
设定动态路由算法迭代更新的耦合系数为cij，则：
Figure FDA0002206255130000024
其中，cij为耦合系数，bij为权重值，bij初始化值设为0，
Figure FDA0002206255130000025
为底层胶囊的输入值，Wj为参数共享矩阵，
Figure FDA0002206255130000026
为底层胶囊输出值；
将得到的底层胶囊输出值
Figure FDA0002206255130000027
和耦合系数cij按照以下方式加权求和得到输出向量sj：
Figure FDA0002206255130000028
其中，sj即上层胶囊的输入向量；
将上层胶囊的输入向量sj压缩转化为合适长度的输出向量
Figure FDA0002206255130000029
使得
Figure FDA00022062551300000210
的长度不超过1，并且保持
Figure FDA00022062551300000211
和sj同方向：
Figure FDA0002206255130000031
其中，squashing()为设定的非线性激活函数，epsilon()＝[0,1]为常量值，e-4为放大向量sj的范数，sj/||sj||表示向量sj的单位化；
利用和的相关性来迭代更新参数bij，如下式所示：
Figure FDA0002206255130000034
Figure FDA0002206255130000035
其中，
Figure FDA0002206255130000036
和
Figure FDA0002206255130000037
相似性越高，点积值越大即bij越大，
Figure FDA00022062551300000312
为中间变量。
4.根据权利要求1所述的情感分类方法，其特征在于：所述利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示的步骤包括：
按照以下方式将所述目标词位置编码信息和上下文位置编码信息进行融合，获得第二融合信息：
k＝MultiHead(uc,ut,ut)
其中，k为第二融合信息，uc为上下文位置编码信息，ut为目标词位置编码信息，MultiHead为多头注意力机制函数；
将所述第二融合信息平均池化，得到平均池化的第二融合信息：
Figure FDA0002206255130000039
其中，kavg为平均池化的第二融合信息，n为第二融合信息中词的个数；
将所述平均池化的第二融合信息与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
Figure FDA00022062551300000310
其中，cavg为平均池化后的上下文语义信息，tavg为平均池化后的目标词语义信息，
Figure FDA00022062551300000311
为目标特征表示。
5.一种情感分类系统，其特征在于：包括：
词向量获取模块，用于获取用户评论数据中的目标词、上下文及所述上下文与目标词之间的相对位置，将所述目标词、上下文及所述上下文与目标词之间的相对位置映射到向量空间，获得上下文词向量、目标词向量和位置词向量；
语义信息获取模块，用于将所述目标词向量输入双向门控循环单元，获取所述目标词向量的隐藏层表示，基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；
拼接模块，用于将所述上下文语义信息平均池化后与所述目标词语义信息进行交互拼接，得到第一目标词融合信息；将所述目标词语义信息平均池化后与所述上下文语义信息进行交互拼接，得到第一上下文融合信息；
位置信息编码模块，用于将所述第一目标词融合信息和第一上下文融合信息作为胶囊网络的底层胶囊输入值，利用动态路由算法迭代更新所述胶囊网络底层胶囊与上层胶囊之间的耦合系数，利用所述耦合系数对底层胶囊的输出值进行加权求和得到目标词位置编码信息和上下文位置编码信息；
特征表示获取模块，用于利用多头交互注意力机制将所述目标词位置编码信息和上下文位置编码信息进行融合获得第二融合信息，将所述第二融合信息平均池化后与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
情感分类模块，用于将所述目标特征表示输入Softmax函数中进行分类，获取情感分类结果。
6.根据权利要求5所述的情感分类系统，其特征在于：所述语义信息获取模块包括：
目标词语义信息获取单元，用于将所述目标词向量输入双向门控循环单元，获得所述目标词向量的隐藏层表示；基于多头自注意力机制对所述隐藏层表示进行语义编码，获得目标词语义信息；所述目标词语义信息获取单元包括：
隐藏层表示获取单元，用于将目标词向量输入双向门控循环单元，所述双向门控循环单元包括前向门控循环单元和后向门控循环单元，利用前向门控循环单元得到前门隐藏层表示
Figure FDA0002206255130000041
利用后向门控循环单元得到后门隐藏层表示
Figure FDA0002206255130000042
将所述前门隐藏层表示和所述后门隐藏层表示拼接，得到最终隐藏层表示
其中，
Figure FDA0002206255130000044
i表示第i个隐藏层表示，m为隐藏层表示的个数；
目标词语义编码单元，用于基于多头自注意力机制对所述隐藏层表示进行语义编码，按照以下方式获得目标词语义信息st：
st＝MultiHead(ht,ht,ht)
其中，
Figure FDA0002206255130000051
为隐藏层表示，MultiHead为多头注意力机制函数；
上下文语义信息获取单元，用于将所述上下文词向量与位置词向量进行拼接，基于多头自注意力机制对所述拼接后的词向量进行语义编码，获得上下文语义信息；所述上下文语义信息获取单元包括：
拼接单元，用于将所述上下文词向量与位置词向量进行拼接，获得拼接后的词向量[wc,pc]；
其中，wc为上下文词向量，pc为位置词向量；
上下文语义编码单元，用于基于多头自注意力机制对所述拼接后的词向量进行语义编码，按照以下方式获得上下文语义信息sc：
sc＝MultiHead([wc,pc],[wc,pc],[wc,pc])
其中，MultiHead为多头注意力机制函数。
7.根据权利要求5所述的情感分类系统，其特征在于：所述位置信息编码模块包括：
耦合系数计算单元，用于将底层胶囊的输入值
Figure FDA0002206255130000052
乘以参数共享矩阵Wj得到底层胶囊输出值
Figure FDA0002206255130000053
设定动态路由算法迭代更新的耦合系数为cij，则：
Figure FDA0002206255130000054
Figure FDA0002206255130000055
其中，cij为耦合系数，bij为权重值，bij初始化值设为0；
输出向量计算单元，用于将得到的底层胶囊输出值
Figure FDA0002206255130000056
和耦合系数cij按照以下方式加权求和得到输出向量sj：
Figure FDA0002206255130000057
其中，sj为上层胶囊的输入向量；
压缩单元，用于将sj压缩转化为合适长度的输出向量
Figure FDA0002206255130000058
使得
Figure FDA0002206255130000059
的长度不超过1，并且保持和sj同方向：
Figure FDA0002206255130000061
其中，squashing()为设定的非线性激活函数，epsilon()＝[0,1]为常量值，e-4为放大向量sj的范数，sj/||sj||表示向量sj的单位化；
参数更新单元，用于利用
Figure FDA0002206255130000062
和
Figure FDA0002206255130000063
的相关性来迭代更新参数bij，如下式所示：
Figure FDA0002206255130000064
Figure FDA0002206255130000065
其中，
Figure FDA0002206255130000066
和
Figure FDA0002206255130000067
相似性越高，点积值越大即bij越大，
Figure FDA00022062551300000612
为中间变量。
8.根据权利要求5所述的情感分类系统，其特征在于：所述特征表示获取模块包括：
第二信息融合单元，用于按照以下方式将所述目标词位置编码信息和上下文位置编码信息进行融合，获得第二融合信息：
k＝MultiHead(uc,ut,ut)
其中，k为第二融合信息，uc为上下文位置编码信息，ut为目标词位置编码信息，MultiHead为多头注意力机制函数；
池化单元，用于将所述第二融合信息平均池化，得到平均池化的第二融合信息：
Figure FDA0002206255130000069
其中，kavg为平均池化的第二融合信息，n为第二融合信息中词的个数；
目标特征表示获取单元，用于将所述平均池化的第二融合信息与所述平均池化后的目标词语义信息和平均池化后的上下文语义信息进行拼接，获得目标特征表示；
Figure FDA00022062551300000610
其中，cavg为平均池化后的上下文语义信息，tavg为平均池化后的目标词语义信息，
Figure FDA00022062551300000611
为目标特征表示。
9.一种计算机可读存储介质，其上储存有计算机程序，其特征在于：该计算机程序被处理器执行时实现如权利要求1-4任意一项所述的情感分类方法的步骤。
10.一种计算机设备，其特征在于：包括存储器、处理器以及存储在所述存储器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4中任意一项所述的情感分类方法的步骤。
CN201910882343.8A 2019-09-18 2019-09-18 一种情感分类方法、系统、存储介质及设备 Active CN110826336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910882343.8A CN110826336B (zh) 2019-09-18 2019-09-18 一种情感分类方法、系统、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910882343.8A CN110826336B (zh) 2019-09-18 2019-09-18 一种情感分类方法、系统、存储介质及设备

Publications (2)

Publication Number Publication Date
CN110826336A true CN110826336A (zh) 2020-02-21
CN110826336B CN110826336B (zh) 2020-11-06

Family

ID=69548020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910882343.8A Active CN110826336B (zh) 2019-09-18 2019-09-18 一种情感分类方法、系统、存储介质及设备

Country Status (1)

Country Link
CN (1) CN110826336B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339255A (zh) * 2020-02-26 2020-06-26 腾讯科技（深圳）有限公司 目标情感分析的方法、模型训练方法、介质和设备
CN111506700A (zh) * 2020-03-24 2020-08-07 杭州电子科技大学 基于上下文感知嵌入的细粒度情感分析方法
CN111522917A (zh) * 2020-04-21 2020-08-11 京东数字科技控股有限公司 对话情感检测方法及装置、存储介质、电子设备
CN111680154A (zh) * 2020-04-13 2020-09-18 华东师范大学 一种基于深度学习的评论文本属性级情感分析方法
CN111680159A (zh) * 2020-06-11 2020-09-18 华东交通大学 数据处理方法、装置及电子设备
CN111767729A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 文本分类方法、装置、设备以及存储介质
CN112131383A (zh) * 2020-08-26 2020-12-25 华南师范大学 特定目标的情感极性分类方法
CN112214601A (zh) * 2020-10-21 2021-01-12 厦门市美亚柏科信息股份有限公司 一种社交短文本情感分类方法、装置及存储介质
CN112565128A (zh) * 2020-11-28 2021-03-26 西北工业大学 基于混合神经网络的无线电信号调制识别网络及实现方法
CN112559680A (zh) * 2020-12-01 2021-03-26 合肥工业大学 基于多层次特征提取的文本分类方法、模型及存储介质
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112686034A (zh) * 2021-03-22 2021-04-20 华南师范大学 一种情感分类方法、装置及设备
CN112800875A (zh) * 2021-01-14 2021-05-14 北京理工大学 一种混合特征融合和决策融合的多模态情感识别方法
CN112800225A (zh) * 2021-01-28 2021-05-14 南京邮电大学 一种微博评论情绪分类方法和系统
CN112801219A (zh) * 2021-03-22 2021-05-14 华南师范大学 一种多模态情感分类方法、装置及设备
CN112818105A (zh) * 2021-02-05 2021-05-18 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
CN112860907A (zh) * 2021-04-27 2021-05-28 华南师范大学 一种情感分类方法及设备
CN112883167A (zh) * 2021-03-18 2021-06-01 江西师范大学 基于层次化自制力机制胶囊网络的文本情感分类模型
CN113204675A (zh) * 2021-07-07 2021-08-03 成都考拉悠然科技有限公司 一种基于跨模态物体推理网络的跨模态视频时刻检索方法
CN113449085A (zh) * 2021-09-02 2021-09-28 华南师范大学 多模态情感分类方法、装置以及电子设备
CN113469479A (zh) * 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 合同风险预测方法和装置
CN113486673A (zh) * 2021-07-29 2021-10-08 刘德喜 基于目标语义与位置融合的方面意见词抽取方法
CN113641822A (zh) * 2021-08-11 2021-11-12 哈尔滨工业大学 一种基于图神经网络的细粒度情感分类方法
US11194972B1 (en) 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN113779192A (zh) * 2021-08-23 2021-12-10 河海大学 一种基于带标签约束的双向动态路由的文本分类算法
CN114118200A (zh) * 2021-09-24 2022-03-01 杭州电子科技大学 一种基于注意力引导双向胶囊网络的多模态情感分类方法
CN115392260A (zh) * 2022-10-31 2022-11-25 暨南大学 一种面向特定目标的社交媒体推文情感分析方法
CN115712726A (zh) * 2022-11-08 2023-02-24 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN117590944A (zh) * 2023-11-28 2024-02-23 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241283A (zh) * 2018-08-08 2019-01-18 广东工业大学 一种基于多角度胶囊网络的文本分类方法
CN109408823A (zh) * 2018-10-31 2019-03-01 华南师范大学 一种基于多通道模型的特定目标情感分析方法
CN109558487A (zh) * 2018-11-06 2019-04-02 华南师范大学 基于层次性多注意力网络的文档分类方法
CN109753567A (zh) * 2019-01-31 2019-05-14 安徽大学 一种结合标题与正文注意力机制的文本分类方法
CN109948158A (zh) * 2019-03-15 2019-06-28 南京邮电大学 基于环境元嵌入和深度学习的情感倾向性分析方法
CN110008339A (zh) * 2019-03-22 2019-07-12 武汉大学 一种用于目标情感分类的深度记忆网络模型及其分类方法
CN110069778A (zh) * 2019-04-18 2019-07-30 东华大学 中文融入嵌入词位置感知的商品情感分析方法
CN110083682A (zh) * 2019-04-19 2019-08-02 西安交通大学 一种基于多轮注意力机制的机器阅读理解答案获取方法
CN110232122A (zh) * 2019-05-15 2019-09-13 上海海事大学 一种基于文本纠错与神经网络的中文问句分类方法
CN110245229A (zh) * 2019-04-30 2019-09-17 中山大学 一种基于数据增强的深度学习主题情感分类方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241283A (zh) * 2018-08-08 2019-01-18 广东工业大学 一种基于多角度胶囊网络的文本分类方法
CN109408823A (zh) * 2018-10-31 2019-03-01 华南师范大学 一种基于多通道模型的特定目标情感分析方法
CN109558487A (zh) * 2018-11-06 2019-04-02 华南师范大学 基于层次性多注意力网络的文档分类方法
CN109753567A (zh) * 2019-01-31 2019-05-14 安徽大学 一种结合标题与正文注意力机制的文本分类方法
CN109948158A (zh) * 2019-03-15 2019-06-28 南京邮电大学 基于环境元嵌入和深度学习的情感倾向性分析方法
CN110008339A (zh) * 2019-03-22 2019-07-12 武汉大学 一种用于目标情感分类的深度记忆网络模型及其分类方法
CN110069778A (zh) * 2019-04-18 2019-07-30 东华大学 中文融入嵌入词位置感知的商品情感分析方法
CN110083682A (zh) * 2019-04-19 2019-08-02 西安交通大学 一种基于多轮注意力机制的机器阅读理解答案获取方法
CN110245229A (zh) * 2019-04-30 2019-09-17 中山大学 一种基于数据增强的深度学习主题情感分类方法
CN110232122A (zh) * 2019-05-15 2019-09-13 上海海事大学 一种基于文本纠错与神经网络的中文问句分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尹良亮等: "基于注意力机制和BGRU网络的文本情感分析方法研究", 《无线互联科技》 *
黄佳锋等: "面向中文网络评论情感分类的集成学习框架", 《中文信息学报》 *

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339255B (zh) * 2020-02-26 2023-04-18 腾讯科技（深圳）有限公司 目标情感分析的方法、模型训练方法、介质和设备
CN111339255A (zh) * 2020-02-26 2020-06-26 腾讯科技（深圳）有限公司 目标情感分析的方法、模型训练方法、介质和设备
CN111506700B (zh) * 2020-03-24 2021-01-19 杭州电子科技大学 基于上下文感知嵌入的细粒度情感分析方法
CN111506700A (zh) * 2020-03-24 2020-08-07 杭州电子科技大学 基于上下文感知嵌入的细粒度情感分析方法
CN113469479A (zh) * 2020-03-31 2021-10-01 阿里巴巴集团控股有限公司 合同风险预测方法和装置
CN111680154A (zh) * 2020-04-13 2020-09-18 华东师范大学 一种基于深度学习的评论文本属性级情感分析方法
CN111680154B (zh) * 2020-04-13 2023-06-27 华东师范大学 一种基于深度学习的评论文本属性级情感分析方法
CN111522917A (zh) * 2020-04-21 2020-08-11 京东数字科技控股有限公司 对话情感检测方法及装置、存储介质、电子设备
CN111680159B (zh) * 2020-06-11 2023-08-29 华东交通大学 数据处理方法、装置及电子设备
CN111680159A (zh) * 2020-06-11 2020-09-18 华东交通大学 数据处理方法、装置及电子设备
CN111767729A (zh) * 2020-06-30 2020-10-13 北京百度网讯科技有限公司 文本分类方法、装置、设备以及存储介质
CN111767729B (zh) * 2020-06-30 2024-01-09 北京百度网讯科技有限公司 文本分类方法、装置、设备以及存储介质
CN112131383B (zh) * 2020-08-26 2021-05-18 华南师范大学 特定目标的情感极性分类方法
CN112131383A (zh) * 2020-08-26 2020-12-25 华南师范大学 特定目标的情感极性分类方法
CN112214601A (zh) * 2020-10-21 2021-01-12 厦门市美亚柏科信息股份有限公司 一种社交短文本情感分类方法、装置及存储介质
CN112214601B (zh) * 2020-10-21 2022-06-10 厦门市美亚柏科信息股份有限公司 一种社交短文本情感分类方法、装置及存储介质
CN112565128A (zh) * 2020-11-28 2021-03-26 西北工业大学 基于混合神经网络的无线电信号调制识别网络及实现方法
CN112559680A (zh) * 2020-12-01 2021-03-26 合肥工业大学 基于多层次特征提取的文本分类方法、模型及存储介质
CN112559680B (zh) * 2020-12-01 2022-10-04 合肥工业大学 基于多层次特征提取的文本分类方法、模型及存储介质
CN112579778A (zh) * 2020-12-23 2021-03-30 重庆邮电大学 基于多层次的特征注意力的方面级情感分类方法
CN112800875A (zh) * 2021-01-14 2021-05-14 北京理工大学 一种混合特征融合和决策融合的多模态情感识别方法
CN112800225A (zh) * 2021-01-28 2021-05-14 南京邮电大学 一种微博评论情绪分类方法和系统
CN112800225B (zh) * 2021-01-28 2022-09-16 南京邮电大学 一种微博评论情绪分类方法和系统
CN112818105A (zh) * 2021-02-05 2021-05-18 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
CN112818105B (zh) * 2021-02-05 2021-12-07 江苏实达迪美数据处理有限公司 一种融合上下文信息的多轮对话方法及系统
US11194972B1 (en) 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
CN112883167A (zh) * 2021-03-18 2021-06-01 江西师范大学 基于层次化自制力机制胶囊网络的文本情感分类模型
CN112801219B (zh) * 2021-03-22 2021-06-18 华南师范大学 一种多模态情感分类方法、装置及设备
CN112801219A (zh) * 2021-03-22 2021-05-14 华南师范大学 一种多模态情感分类方法、装置及设备
CN112686034A (zh) * 2021-03-22 2021-04-20 华南师范大学 一种情感分类方法、装置及设备
CN112860907B (zh) * 2021-04-27 2021-06-29 华南师范大学 一种情感分类方法及设备
CN112860907A (zh) * 2021-04-27 2021-05-28 华南师范大学 一种情感分类方法及设备
CN113204675A (zh) * 2021-07-07 2021-08-03 成都考拉悠然科技有限公司 一种基于跨模态物体推理网络的跨模态视频时刻检索方法
CN113204675B (zh) * 2021-07-07 2021-09-21 成都考拉悠然科技有限公司 一种基于跨模态物体推理网络的跨模态视频时刻检索方法
CN113486673B (zh) * 2021-07-29 2022-10-25 刘德喜 基于目标语义与位置融合的方面意见词抽取方法
CN113486673A (zh) * 2021-07-29 2021-10-08 刘德喜 基于目标语义与位置融合的方面意见词抽取方法
CN113641822A (zh) * 2021-08-11 2021-11-12 哈尔滨工业大学 一种基于图神经网络的细粒度情感分类方法
CN113641822B (zh) * 2021-08-11 2022-05-24 哈尔滨工业大学 一种基于图神经网络的细粒度情感分类方法
CN113779192A (zh) * 2021-08-23 2021-12-10 河海大学 一种基于带标签约束的双向动态路由的文本分类算法
CN113449085A (zh) * 2021-09-02 2021-09-28 华南师范大学 多模态情感分类方法、装置以及电子设备
CN113449085B (zh) * 2021-09-02 2021-11-26 华南师范大学 多模态情感分类方法、装置以及电子设备
CN114118200A (zh) * 2021-09-24 2022-03-01 杭州电子科技大学 一种基于注意力引导双向胶囊网络的多模态情感分类方法
CN115392260A (zh) * 2022-10-31 2022-11-25 暨南大学 一种面向特定目标的社交媒体推文情感分析方法
CN115712726A (zh) * 2022-11-08 2023-02-24 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN115712726B (zh) * 2022-11-08 2023-09-12 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备
CN117590944A (zh) * 2023-11-28 2024-02-23 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统

Also Published As

Publication number Publication date
CN110826336B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110826336B (zh) 一种情感分类方法、系统、存储介质及设备
CN111581395B (zh) 一种基于深度学习的模型融合三元组表示学习系统及方法
CN107133213B (zh) 一种基于算法的文本摘要自动提取方法与系统
CN108932342A (zh) 一种语义匹配的方法、模型的学习方法及服务器
CN110619044B (zh) 一种情感分析方法、系统、存储介质及设备
CN111291556B (zh) 基于实体义项的字和词特征融合的中文实体关系抽取方法
Shi et al. Deep adaptively-enhanced hashing with discriminative similarity guidance for unsupervised cross-modal retrieval
CN113095415B (zh) 一种基于多模态注意力机制的跨模态哈希方法及系统
Yu et al. Attention-based LSTM, GRU and CNN for short text classification
CN111858940B (zh) 一种基于多头注意力的法律案例相似度计算方法及系统
Zhang et al. Cross-domain recommendation with semantic correlation in tagging systems
Onan SRL-ACO: A text augmentation framework based on semantic role labeling and ant colony optimization
CN111259153B (zh) 一种完全注意力机制的属性级情感分析方法
CN108536735B (zh) 基于多通道自编码器的多模态词汇表示方法与系统
Yuan et al. One-shot learning for fine-grained relation extraction via convolutional siamese neural network
CN114218922A (zh) 一种基于双通道图卷积网络的方面情感分析方法
CN115860006A (zh) 一种基于语义句法的方面级情感预测方法及装置
Qiu et al. Chinese Microblog Sentiment Detection Based on CNN‐BiGRU and Multihead Attention Mechanism
CN116680407A (zh) 一种知识图谱的构建方法及装置
CN116361438A (zh) 基于文本-知识扩展图协同推理网络的问答方法及系统
CN116227594A (zh) 面向多源数据的医疗行业高可信度知识图谱的构建方法
CN114492458A (zh) 一种基于多头注意力和词共现的方面级情感分析方法
Liu et al. A Novel Knowledge Base Question Answering Model Based on Knowledge Representation and Recurrent Convolutional Neural Network
Zhang et al. Text Similarity Measurement Method Based on BiLSTM-SECapsNet Model
Xu et al. Cross-media retrieval based on pseudo-label learning and semantic consistency algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Gong Zihan

Inventor after: Xue Yun

Inventor after: Wang Jiaqian

Inventor after: Hu Xiaohui

Inventor after: Chen Bingliang

Inventor after: Yang Chi

Inventor before: Gong Zihan

Inventor before: Wang Jiaqian

Inventor before: Xue Yun

Inventor before: Hu Xiaohui

Inventor before: Chen Bingliang

Inventor before: Yang Chi

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210114

Address after: 116000 unit 07, 09th floor, 537 Huangpu Road, Dalian hi tech Industrial Park, Liaoning Province

Patentee after: DALIAN JINHUI RONGZHI TECHNOLOGY Co.,Ltd.

Address before: School of physics and telecommunication engineering, South China Normal University, No. 378, Waihuan West Road, Panyu District, Guangzhou City, Guangdong Province, 510006

Patentee before: SOUTH CHINA NORMAL University

TR01 Transfer of patent right