CN113255367B - 情感分析方法、装置、设备以及存储介质 - Google Patents

情感分析方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN113255367B
CN113255367B CN202110629557.1A CN202110629557A CN113255367B CN 113255367 B CN113255367 B CN 113255367B CN 202110629557 A CN202110629557 A CN 202110629557A CN 113255367 B CN113255367 B CN 113255367B
Authority
CN
China
Prior art keywords
hidden
representation
word
attribute word
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110629557.1A
Other languages
English (en)
Other versions
CN113255367A (zh
Inventor
陈昭伟
薛云
陈锦鹏
蔡倩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110629557.1A priority Critical patent/CN113255367B/zh
Publication of CN113255367A publication Critical patent/CN113255367A/zh
Application granted granted Critical
Publication of CN113255367B publication Critical patent/CN113255367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及一种情感分析方法、装置、设备以及存储介质。方法包括：获取目标语句对应的上下文隐藏向量以及属性词对应的属性词隐藏向量；根据属性词隐藏向量、上下文隐藏向量、训练好的图卷积网络、训练好的属性词的门机制模型以及预设的属性词的屏蔽操作，生成第一隐藏表示；根据第一隐藏表示、属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示；根据上下文隐藏向量、属性词隐藏向量、协同注意力机制以及自注意力机制，生成第三隐藏表示；将第二隐藏表示以及第三隐藏表示进行拼接，获得情感特征表示；根据情感特征表示，生成情感分析结果。本申请具有提高情感分析的准确性的优点。

Description

情感分析方法、装置、设备以及存储介质
技术领域
本申请涉及自然语言处理技术领域，特别是涉及一种情感分析方法、装置、设备以及存储介质。
背景技术
属性级情感分析是自然语言处理（Natural Language Processing，NLP）中的重要任务，其目的在于检测带观点的评论句子中针对某个属性的情感极性。
目前，可以通过将图神经网络(如图卷积网络)对语句的句法依存树进行运算，缩短属性词和上下文词之间的距离并利用它们间的句法依赖关系来获得情感分析结果，
然而，发明人在研究过程中发现，一方面，基于句法依存树的图卷积模型，其特征提取过程中的表示向量并不是为了属性词特制的，这可以会导致得到的表示向量并非最优，从而引入与任务无关的噪声，另一方面，偏口语化的评论句子因为含有不规则的句法结构，特征提取也会引入噪声，降低了情感分析结果的准确性。因此，如何提高情感分析的准确性是一个需要解决的技术问题。
发明内容
基于此，本申请的目的在于，提供一种情感分析方法、装置、设备以及存储介质，其具有提高情感分析的准确性的优点。
根据本申请实施例的第一方面，提供一种情感分析方法，所述情感分析方法包括：
获取目标语句以及所述目标语句中的属性词；
将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；
根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；
根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；
根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；
将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；
根据所述情感特征表示，生成情感分析结果。
根据本申请实施例的第二方面，提供一种情感分析装置，所述情感分析装置包括：
获取模块，用于获取目标语句以及所述目标语句中的属性词；
输入模块，用于将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；
第一生成模块，用于根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；
第二生成模块，用于根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；
第三生成模块，用于根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；
拼接模块，用于将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；
第四生成模块，用于根据所述情感特征表示，生成情感分析结果。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行任意一项所述的情感分析方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现任意一项所述的情感分析方法。
本发明中，可以通过属性词的门机制模型，去除与属性词不相关的信息，针对属性词的屏蔽操作可以用于进一步获取面向属性词的特征，有利于所述第一隐藏表示包含更针对于属性词的句法信息，通过注意力机制学习属性词语义信息与上下文语义信息的交互过程，生成的所述第二隐藏表示能够学习到更针对属性词的上下文句法语义信息，在一定程度上能够减少不规则句法信息带来的噪声，通过引入含有上下文原始语义信息的所述上下文隐藏向量，并通过注意力机制增强上下文和属性词的交互作用获得的所述第三隐藏表示，能够进一步降低噪声对检测结果的影响，从而提高了情感分析的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本申请。
附图说明
图1为本申请一个实施例提供的一种情感分析方法的流程图；
图2为本申请一个实施例提供的情感分析装置的结构示意图；
图3为本申请一个实施例提供的一种电子设备的结构示意框图；
图4为本发明一个实施例提供的情感分析模型的整体结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非目标句子清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
实施例一：
请参阅图1，图1为本发明实施例提供的一种情感分析方法的流程图，可以应用在电子设备中，包括如下步骤：
S101：获取目标语句以及所述目标语句中的属性词。
本发明实施例中，假设含有n个词语的所述目标语句
Figure 654198DEST_PATH_IMAGE001
，以及所述目标语句中含有m个词 的属性词
Figure 595478DEST_PATH_IMAGE002
，其中，
Figure 270173DEST_PATH_IMAGE003
表示属性词的开始标记。将每个词映射到 高纬的词向量空间中，得到词嵌入矩阵
Figure 983438DEST_PATH_IMAGE004
，其中，
Figure 616545DEST_PATH_IMAGE005
表示词语的数量，
Figure 123750DEST_PATH_IMAGE006
表示词 嵌入的维度，
Figure 54666DEST_PATH_IMAGE007
表示实数矩阵。根据词嵌入矩阵，可以获得所述目标语句对应的向量表示和 所述属性词的对应的向量表示。
S102：将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量。
其中，所述门控循环神经网络（Gated Recurrent Unit，GRU）是长短期记忆网络（Long short-term memory，LSTM）的一种变体，具有更加简单的结构、更少的参数以及更好的收敛性。
其中，所述上下文隐藏向量为
Figure 635820DEST_PATH_IMAGE008
， 所述属性词隐藏向量
Figure 423516DEST_PATH_IMAGE009
，
Figure 418017DEST_PATH_IMAGE010
表示所述门控循环神经网络在t 时刻的隐藏层输出，
Figure 700094DEST_PATH_IMAGE011
表示所述门控循环神经网络隐藏层的输出维度。
S103：根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息。
可选的，所述根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示包括如下步骤：
S1031：根据所述目标语句中每个词语与所述属性词的距离，确定所述目标语句中每个词语的位置权重；
S1032：将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算，获得图卷积网络的隐藏层输出，其中，确定所述图卷积网络的隐藏层输出的公式如下：
Figure 588284DEST_PATH_IMAGE012
Figure 563193DEST_PATH_IMAGE013
Figure 779411DEST_PATH_IMAGE014
其中，
Figure 875234DEST_PATH_IMAGE016
和
Figure 430980DEST_PATH_IMAGE018
都是一个标识，用来标识一个词语或者一个节点，词语与节点一一对 应，
Figure 560479DEST_PATH_IMAGE019
表示词语
Figure 139359DEST_PATH_IMAGE018
的位置权重，所述图卷积网络包括多个子层，
Figure 12506DEST_PATH_IMAGE020
表示所述图卷积网络第
Figure 750655DEST_PATH_IMAGE021
层的节点
Figure 67367DEST_PATH_IMAGE023
的隐藏表示，
Figure 179548DEST_PATH_IMAGE024
是第
Figure 544802DEST_PATH_IMAGE025
层的节点
Figure 61758DEST_PATH_IMAGE023
的隐藏表示与位置权重
Figure 877267DEST_PATH_IMAGE019
的衰减表 示，
Figure 430740DEST_PATH_IMAGE026
表示节点
Figure 911268DEST_PATH_IMAGE027
在所述图卷积网络第
Figure 358430DEST_PATH_IMAGE029
层的隐藏表示，
Figure 485786DEST_PATH_IMAGE030
是所述图卷积网络第
Figure 41401DEST_PATH_IMAGE029
层线性变 化权重矩阵，
Figure 545195DEST_PATH_IMAGE031
表示所述图卷积网络第
Figure 299393DEST_PATH_IMAGE033
层的偏置项，
Figure 925547DEST_PATH_IMAGE034
表示激活函数，
Figure 250349DEST_PATH_IMAGE035
表示节点
Figure 75610DEST_PATH_IMAGE036
的度，
Figure 107151DEST_PATH_IMAGE037
表示邻接矩阵中词语
Figure 356736DEST_PATH_IMAGE039
与词语
Figure 231151DEST_PATH_IMAGE023
对应的值，邻接矩阵的对角线值为1，若存在从词语
Figure 607905DEST_PATH_IMAGE039
到词 语
Figure 8800DEST_PATH_IMAGE040
的边，则
Figure 180018DEST_PATH_IMAGE041
且
Figure 541729DEST_PATH_IMAGE042
，否则
Figure 705863DEST_PATH_IMAGE043
且
Figure 711996DEST_PATH_IMAGE044
，
Figure 40734DEST_PATH_IMAGE046
表示节点
Figure 827425DEST_PATH_IMAGE048
在所述图卷积网络第
Figure 264091DEST_PATH_IMAGE049
层更新过程中的中间状态，
Figure 187048DEST_PATH_IMAGE050
是一种激活函数；
S1033：根据所述属性词隐藏向量和所述属性词的门机制模型，对所述图卷积网络的隐藏层输出进行调整，获得门机制调整表示；其中，获得所述门机制调整表示的公式为：
Figure 27965DEST_PATH_IMAGE051
Figure 285640DEST_PATH_IMAGE052
其中，
Figure 479992DEST_PATH_IMAGE053
表示激活函数，
Figure 506722DEST_PATH_IMAGE054
是所述属性词隐藏向量；
Figure 190645DEST_PATH_IMAGE055
是权重矩阵，
Figure 672966DEST_PATH_IMAGE056
是偏置项，
Figure 467747DEST_PATH_IMAGE058
表示逐点相乘，
Figure 693192DEST_PATH_IMAGE059
表示图卷积基于属性词的门向量，
Figure 734966DEST_PATH_IMAGE060
是所述门机制调整表示；
S1034：根据所述属性词的屏蔽操作，对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽，获得属性词屏蔽表示；
S1035：根据所述属性词屏蔽表示以及所述上下文隐藏向量，生成所述第一隐藏表示，其中，生成所述第一隐藏表示的公式为：
Figure 311441DEST_PATH_IMAGE061
Figure 644333DEST_PATH_IMAGE062
Figure 645656DEST_PATH_IMAGE064
Figure 671381DEST_PATH_IMAGE065
其中，
Figure 125365DEST_PATH_IMAGE066
是注意力权重，
Figure 730790DEST_PATH_IMAGE067
是归一化后的注意力权重，
Figure 323970DEST_PATH_IMAGE069
表示向量的转置，
Figure 848492DEST_PATH_IMAGE070
是所 述门机制调整表示
Figure 806084DEST_PATH_IMAGE060
的值，
Figure 933308DEST_PATH_IMAGE071
是所述属性词屏蔽表示，
Figure 394377DEST_PATH_IMAGE072
为最终得到的所述第一隐藏表 示，
Figure 276751DEST_PATH_IMAGE073
为所述图卷积网络中第
Figure 518376DEST_PATH_IMAGE075
个节点的第一隐藏表示，
Figure 996762DEST_PATH_IMAGE076
，
Figure 92763DEST_PATH_IMAGE078
是所述目标 语句的长度。
在该可选的实施方式中，为了使生成的所述第一隐藏表示能够包含所述目标语句的句法信息，可以在数据的预处理阶段，使用句法依存树生成工具生成关于所述目标语句的句法依存树，再通过邻接矩阵生成工具将所述句法依存树转换为所述邻接矩阵，将所述邻接矩阵参与进所述图卷积网络的卷积运算中。
其中，由于图卷积网络生成的隐藏层状态是在不知道属性词的情况下计算的，这 可能会在生成的隐藏层输出中保留与属性词不相关的或混淆特定目标情感分析的信息（例 如，一个句子中，含有2个情感极性不同的属性词）。为了调整图卷积网络的隐藏层输出，使 得隐藏层输出更集中于属性词，可以在图卷积网络的每一层的卷积运算中，使用所述属性 词的门机制模型，通过逐点相乘的方法应用到图卷积网络第
Figure 568875DEST_PATH_IMAGE080
层的隐藏层输出中，从而生成 微调后的隐藏层输出，即所述门机制调整表示。更进一步的，为了从特定目标情感分析的角 度去提取含有句法信息的上下文特征，可以通过对属性词的屏蔽操作，对所述门机制调整 表示中的非属性词隐藏层状态进行屏蔽，获得属性词屏蔽表示，从而进一步获取面向属性 词的特征，图卷积网络共有
Figure 487677DEST_PATH_IMAGE082
层，在第
Figure 769754DEST_PATH_IMAGE082
层中，屏蔽掉非属性词的隐藏层状态向量，并保持属 性词隐藏层状态向量不变，得到属性词屏蔽表示
Figure 533310DEST_PATH_IMAGE083
:
Figure 491908DEST_PATH_IMAGE084
Figure 849071DEST_PATH_IMAGE085
获得的所述属性词屏蔽表示包含有句法依赖关系和长距离的多词关系等信息。
其中，基于所述属性词屏蔽表示，可以从上下文隐藏向量中，检索出与属性词语义相关的重要特征，并相应地为每个词语设置注意力权重，最终得到含有句法信息的所述第一隐藏表示。
其中，词语与节点一一对应，所述目标语句具有n个词语，则对应有n个节点，节点的不同阶段的表现形式不同，一开始是词嵌入矩阵中的词嵌入向量，后面是隐藏层输出即隐藏表示，然后到图卷积网络的输出等。
可选的，所述根据所述目标语句中每个词与所述属性词的距离，确定所述目标语句中每个词语的位置权重的方式具体为：
获取所述目标语句中的每个词语与所述属性词的距离；
根据所述距离以及预设的位置权重公式，确定所述词语的位置权重，其中，所述预设的位置权重公式如下：
Figure 918527DEST_PATH_IMAGE086
其中，
Figure 474273DEST_PATH_IMAGE087
为第
Figure 338193DEST_PATH_IMAGE087
个词语的标识，
Figure 713811DEST_PATH_IMAGE088
表示所述目标语句的长度，
Figure 589887DEST_PATH_IMAGE089
是所述属性词 的开始标记，
Figure 328036DEST_PATH_IMAGE090
表示所述属性词的长度，
Figure 379169DEST_PATH_IMAGE091
表示取的词语在所述属性词前面。
Figure 694613DEST_PATH_IMAGE092
表示取的词语是所述属性词，
Figure 122183DEST_PATH_IMAGE093
表示取的词在所 述属性词后面，
Figure 714838DEST_PATH_IMAGE095
是超参数。
在该可选的实施方式中，所述预设的位置权重公式是一个高阶的位置衰减函数，可以通过超参数来对调节位置衰减函数对距离的敏感度，所述词语的位置权重能够使体现所述目标语句中词语的位置信息。
S104：根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息。
可选的，所述根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示包括如下步骤：
S1041：根据所述第一隐藏表示以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习，获得上下文和所述属性词之间的第一注意力机制权重矩阵，其中，获得所述第一注意力机制权重矩阵的公式如下：
Figure 186140DEST_PATH_IMAGE096
其中，
Figure 801929DEST_PATH_IMAGE097
是可训练的参数矩阵，
Figure 954561DEST_PATH_IMAGE098
表示实数，
Figure 339406DEST_PATH_IMAGE099
表示所述图卷积网络 的输出维度，
Figure 60238DEST_PATH_IMAGE100
表示维度为
Figure 392083DEST_PATH_IMAGE101
的实数矩阵，
Figure 364718DEST_PATH_IMAGE102
为偏置项，
Figure 666386DEST_PATH_IMAGE103
表示维度 为
Figure 745070DEST_PATH_IMAGE105
的实数矩阵，
Figure 273134DEST_PATH_IMAGE106
表示所述属性词的长度，
Figure 829886DEST_PATH_IMAGE088
表示所述目标语句的长度，
Figure 517219DEST_PATH_IMAGE054
是所述属 性词隐藏向量，
Figure 455220DEST_PATH_IMAGE107
是所述第一隐藏表示，
Figure 516585DEST_PATH_IMAGE108
是激活函数，
Figure 955657DEST_PATH_IMAGE109
表示向量的转置；
S1042：根据所述第一注意力机制权重矩阵，确定注意力上下文表示，其中，获得所述注意力上下文表示的公式如下：
Figure 169601DEST_PATH_IMAGE110
其中，
Figure 530699DEST_PATH_IMAGE111
为可训练的参数矩阵，
Figure 157990DEST_PATH_IMAGE112
为可训练的参数矩 阵，
Figure 807277DEST_PATH_IMAGE113
为偏置项，
Figure 328257DEST_PATH_IMAGE115
表示维度为
Figure 404797DEST_PATH_IMAGE116
的实数矩阵，
Figure 519384DEST_PATH_IMAGE117
为激活函数；
S1043：根据所述注意力上下文表示以及所述自注意力机制，确定上下文注意力机制权重，其中，获得所述上下文注意力机制权重的公式如下：
Figure 956050DEST_PATH_IMAGE118
其中，
Figure 144586DEST_PATH_IMAGE119
为可训练的参数向量，
Figure 110137DEST_PATH_IMAGE120
表示维度为
Figure 446441DEST_PATH_IMAGE121
的实数矩阵，
Figure 703110DEST_PATH_IMAGE122
为偏置 项；
S1044：根据所述上下文注意力机制权重以及所述注意力上下文表示，生成所述第二隐藏表示，其中，生成所述第二隐藏表示的公式如下：
Figure 936032DEST_PATH_IMAGE123
其中，
Figure 619954DEST_PATH_IMAGE124
为所述第二隐藏表示，所述注意力上下文表示
Figure 177975DEST_PATH_IMAGE125
包括所述图卷积网络 中多个节点的注意力上下文表示，
Figure 690865DEST_PATH_IMAGE126
为所述图卷积网络中第
Figure 588413DEST_PATH_IMAGE087
个节点的注意力上下文表 示。
在该可选的实施方式中，为了进一步利用所述属性词的信息并增强所述目标语句与所述属性词之间的交互作用，可以通过协同注意力机制的交互式学习来确认所述目标语句和所述属性词之间的第一注意力机制权重矩阵，然后根据所述第一注意力机制权重矩阵进一步确定所述注意力上下文表示；进一步地，可以使用自注意力机制对所述目标语句的上下文信息进行凝练，通过自注意力机制得到上下文注意力机制权重，然后加权求和得到所述第二隐藏表示。
S105：根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息。
可选的，所述根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示包括如下步骤：
S1051：根据所述上下文隐藏向量以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习生成第二注意力机制权重矩阵，其中，生成所述第二注意力机制权重矩阵的公式如下：
Figure 505554DEST_PATH_IMAGE127
其中，
Figure 3400DEST_PATH_IMAGE128
是可训练的参数矩阵，
Figure 539555DEST_PATH_IMAGE098
表示实数，
Figure 540878DEST_PATH_IMAGE099
表示所述图卷积网络 的输出维度，
Figure 894499DEST_PATH_IMAGE100
表示维度为
Figure 568057DEST_PATH_IMAGE129
的实数矩阵，
Figure 691258DEST_PATH_IMAGE130
为偏置项，
Figure 563399DEST_PATH_IMAGE103
表示维 度为
Figure 87921DEST_PATH_IMAGE132
的实数矩阵，
Figure 232464DEST_PATH_IMAGE133
表示所述属性词的长度，
Figure 438317DEST_PATH_IMAGE088
表示所述目标语句的长度，
Figure 148653DEST_PATH_IMAGE134
是激活 函数，
Figure 250601DEST_PATH_IMAGE135
表示向量的转置；
S1052：根据所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量以及所述自注意力机制，生成所述第三隐藏表示，其中，生成所述第三隐藏表示的公式如下：
Figure 23385DEST_PATH_IMAGE136
Figure 954301DEST_PATH_IMAGE137
Figure 535455DEST_PATH_IMAGE138
其中，
Figure 401780DEST_PATH_IMAGE139
以及
Figure 320582DEST_PATH_IMAGE140
均为可训练的参数矩阵，
Figure 805921DEST_PATH_IMAGE141
为 可训练的参数向量，
Figure 756428DEST_PATH_IMAGE142
以及
Figure 528075DEST_PATH_IMAGE143
均为偏置项，
Figure 947555DEST_PATH_IMAGE144
为激活函数，
Figure 220273DEST_PATH_IMAGE145
为进一步确认的所述目标语 句的上下文表示，
Figure 103916DEST_PATH_IMAGE147
为自注意力权重，
Figure 718568DEST_PATH_IMAGE054
是所述属性词隐藏向量，
Figure 609032DEST_PATH_IMAGE148
为所述第三隐藏表示，
Figure 436174DEST_PATH_IMAGE149
为所述图卷积网络中的第
Figure 98624DEST_PATH_IMAGE087
个节点的进一步确认的所述目标语句的上下文表示。
在该可选的实施方式中，可以使用协同注意力机制，用以增强所述上下文隐藏向量与所述属性词隐藏向量之间的交互作用，通过协同注意力机制的交互式学习所述上下文隐藏向量与所述属性词隐藏向量之间的所述第二注意力机制权重矩阵；进一步地，使用自注意力机制对交互后的语义信息（交互后的语义信息包括所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量）进行凝练，得到所述第三隐藏表示，由于所述上下文隐藏向量中保留了含有所述目标语句原始的语义信息，可以降低不规则语句的句法信息带来的噪声的影响。
S106：将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示。
其中，所述情感特征表示为：
Figure 743232DEST_PATH_IMAGE150
，所述拼接为向量拼接。
S107：根据所述情感特征表示，生成情感分析结果。
可选的，所述根据所述情感特征表示，生成情感分析结果包括如下步骤：
S1071：将所述情感特征表示输入至预设的输出层中，获得归一化后的所有情感类别的输出概率分布，其中，获得所述归一化后的所有情感类别的输出概率分布的公式如下：
Figure 809408DEST_PATH_IMAGE151
Figure 486246DEST_PATH_IMAGE152
其中，
Figure 78901DEST_PATH_IMAGE153
表示未进行归一化的所有情感类别的输出概率分布，
Figure 566515DEST_PATH_IMAGE154
是可学习 的权重，
Figure 103675DEST_PATH_IMAGE098
表示实数，
Figure 69357DEST_PATH_IMAGE155
表示维度为
Figure 703470DEST_PATH_IMAGE156
的实数矩阵，
Figure 689880DEST_PATH_IMAGE157
是偏置项，
Figure 527386DEST_PATH_IMAGE158
表示维度为
Figure 486639DEST_PATH_IMAGE159
的实数矩阵，
Figure 460412DEST_PATH_IMAGE160
是一种激活函数，
Figure 539095DEST_PATH_IMAGE161
表示归一化后的所述所有情感类别的输出概率分 布，
Figure 926214DEST_PATH_IMAGE159
表示所有情感类别；
S1072：根据所述归一化后的所有情感类别的输出概率分布，确定与所述情感特征表示对应的情感分析结果。
在该可选的实施方式中，可以根据所述输出概率分布确定所述情感特征表示对应的情感类别，即确定所述情感分析结果，假设所述输出概率分布为情感类别A的输出概率为50%、情感类别B的输出概率为30%、情感类别C的输出概率为20%，可以通过取输出概率最大的情感类别A，为所述情感特征对应的情感类别。
可选的，所述门控循环神经网络、所述图卷积网络、所述属性词的门机制模型以及所述输出层构成情感分析模型，所述情感分析模型进行训练的损失函数为交叉熵损失函数，其中，所述交叉熵损失函数的公式如下：
Figure 499278DEST_PATH_IMAGE162
其中，
Figure 45666DEST_PATH_IMAGE163
为第
Figure 45983DEST_PATH_IMAGE164
个训练样本的下标，
Figure 841769DEST_PATH_IMAGE166
为第
Figure 15262DEST_PATH_IMAGE168
个情感类别的下标；
Figure 963626DEST_PATH_IMAGE169
为训练样本的属 性词的情感类别的真实分布，
Figure 387042DEST_PATH_IMAGE170
为所述情感分析模型对所述训练样本的属性词的情感类别 的预测分布，
Figure 420857DEST_PATH_IMAGE171
表示所有情感类别，
Figure 522674DEST_PATH_IMAGE172
表示所有可训练参数，
Figure 856703DEST_PATH_IMAGE173
为正则化的参数。
Figure 526719DEST_PATH_IMAGE174
表示 所述所有可训练参数的2范数。
可见，本方法实施例中，可以通过属性词的门机制模型，去除与属性词不相关的信息，针对属性词的屏蔽操作可以用于进一步获取面向属性词的特征，有利于所述第一隐藏表示包含更针对于属性词的句法信息，通过注意力机制学习属性词语义信息与上下文语义信息的交互过程，生成的所述第二隐藏表示能够学习到更针对属性词的上下文句法语义信息，在一定程度上能够减少不规则句法信息带来的噪声，通过引入含有上下文原始语义信息的所述上下文隐藏向量，并通过注意力机制增强上下文和属性词的交互作用获得的所述第三隐藏表示，能够进一步降低噪声对检测结果的影响，从而提高了情感分析的准确性。
请参阅图4，图4为本发明一个实施例提供的情感分析模型的整体结构示意图，所述情感分析模型对应本申请实施例中所提出的情感分析方法。该模型通过获取目标语句以及所述目标语句中的属性词；将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；根据所述情感特征表示，生成情感分析结果。该模型能够提高情感分析的准确性。
下面将对本申请实施例提出的情感分析方法进行实验论证，论证过程如下：
针对本发明方法进行实验论证，具体包括：
1）实验语料：
选用五个数据集：TWITTER（推特数据集），REST14（2014年餐厅数据集），LAP14（笔记本电脑数据集），REST15（2015年餐厅数据集），REST16（2016年餐厅数据集）。数据集分为训练数据和测试数据，并且数据集中每个句子都包含了一个标注的属性词和属性词的情感极性。表格1显示了五个数据集的统计数据
表格 1：实验数据集统计
Figure 31519DEST_PATH_IMAGE175
2）实验参数设定：使用300维度的Glove预训练的词向量去初始化所有的模型。模型中所有的参数矩阵均采用均匀分布进行初始化，模型中偏置都初始化为0。学习率为0.001，正则化为，batch-size（每次训练选择的批量）为16或32，GCN（Graph ConvolutionalNetwork，图卷积神经网络）的层数为1，2，3，4，位置衰减指数γ=1，2，3，以上可变参数的最后确定，以模型在数据集上的最佳效果为准。模型优化方法使用Adam（Adaptive momentestimation，自适应矩估计）优化器。
3)模型对比：为了能够有效的评估模型的效果，本发明模型(情感分析模型)将会和如下基线模型（模型1：SVM、模型2：LSTM、模型3：MemNet、模型4：AOA、模型5：IAN、模型6：TNet-LF、模型7：ASGCN-DT、模型8：ASGCN-DG、模型9：CAN）进行对比。基线模型主要分为两类，建模过程中主要使用注意力机制的模型和在建模过程中利用句法信息的模型。实验结果如下：
表格2：实验结果
Figure 687759DEST_PATH_IMAGE176
表格2分别显示了本发明一个实施例提供的情感分析模型（Ours）与其他基线模型在五个数据集上的表现，主要指标为准确率和宏观综合值（F1值），宏观综合值是衡量模型精确度的一种指标，其中最好的实验结果通过加粗表示。本发明提出的情感分析模型，在TWITTER以外的数据集上，优于所有的比较模型。在TWITTER数据集上，与CAN相比，实验结果稍显逊色。本发明提出的情感分析模型无人工特征提取，并且在Twitter，lap14和restaurant14数据集上，相比依赖于人工特征提取的SVM的准确率分别提高了10.15%，6.47%和2.25%。由于结合了句法信息，比起没有考虑句法信息的模型，例如LSTM,AOA,IAN，本发明提出的情感分析模型取得了更好的效果。尽管IAN，CAN通过交互式学习提高了上下文和目标词的交互程度，但除了CAN在TWITTER数据集上的准确率略优于本发明情感分析模型外，本发明取得的实验结果均优于上述模型。在Twitter数据集上，本发明提出的情感分析模型效果略差于CAN，一个可能的原因在于，TWITTER数据集偏向口语化，含有不符合句法的句子，使用基于句法信息的模型，可能会引入不利于情感分类的噪声，从而影响模型的效果，同时，在该数据集上，本发明提出的模型优于使用句法信息的ASGCN（ASGCN-DT、ASGCN-DG）模型，说明本发明保留的原始语义信息，能在一定程度上，减轻句法噪声带来的影响。
4)消融实验：
表格 3：数据集消融研究的结果
Figure 125562DEST_PATH_IMAGE177
通过移除不同模块获得不同模型变体，分别在五个数据集上得到相应的实验结果，如表格3所示。
宏观综合值（F1值）是衡量模型精确度的一种指标，在表格3中的“情感分析模型（移除基于属性词的门机制）”中，由于移除了基于属性词的门机制，除Twitter的F1值，其余数据集的准确率和F1值均有所降低。实验结果表明，基于属性词的门机制有利于图卷积学习到更针对于属性词的句法信息，从而提高模型的性能。
在表格3中的“情感分析模型（移除基于上下文句法语义学习和属性词语义信息的协同注意力机制）”,由于去除了上下文句法语义信息和属性词语义信息的交互式学习过程，实验数据集的所有准确率和大多数F1值均有所下降。实验结果表明：通过与属性词语义信息的交互式学习过程，能学习到更针对属性词的句法语义信息，从而提高模型的性能。
在表格3中的“情感分析模型（移除基于上下文语义信息和属性词语义信息的协同注意力机制）”，由于去除了上下文语义信息和属性词语义信息的交互式学习过程，所有实验数据集的准确率和F1值均有所下降，其中，Twitter数据集性能下降更为明显，我们推测，句法不规则的Twitter数据集对语义信息更加敏感。实验结果表明，基于上下文语义信息和属性词语义信息的协同注意力网络对特定目标情感分析任务是有帮助的，它能够在一定程度上，缓解不规则句法信息带来的噪声。
实施例二：
本实施例提供一种情感分析装置，可以用于执行本申请实施例一的情感分析方法。对于本实施例中未披露的细节，请参照本申请的实施例一。
请参阅图2，图2是本申请实施例公开的一种情感分析装置的结构示意图。所述的情感分析装置可以运行于电子设备中。如图2所示，该情感分析装置包括：
获取模块201，用于获取目标语句以及所述目标语句中的属性词。
输入模块202，用于将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量。
第一生成模块203，用于根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息。
第二生成模块204，用于根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息。
第三生成模块205，用于根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息。
拼接模块206，用于将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示。
第四生成模块207，用于根据所述情感特征表示，生成情感分析结果。
可选的，所述第一生成模块203根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示的方式具体为：
根据所述目标语句中每个词语与所述属性词的距离，确定所述目标语句中每个词语的位置权重；
将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算，获得图卷积网络的隐藏层输出，其中，确定所述图卷积网络的隐藏层输出的公式如下：
Figure 966479DEST_PATH_IMAGE012
Figure 912570DEST_PATH_IMAGE178
Figure 179294DEST_PATH_IMAGE179
其中，
Figure 550233DEST_PATH_IMAGE087
和
Figure 234155DEST_PATH_IMAGE023
都是一个标识，用来标识一个词语或者一个节点，词语与节点一一对 应，
Figure 182388DEST_PATH_IMAGE180
表示词语
Figure 711590DEST_PATH_IMAGE023
的位置权重，所述图卷积网络包括多个子层，
Figure 123985DEST_PATH_IMAGE020
表示所述图卷积网络第
Figure 306705DEST_PATH_IMAGE021
层的节点
Figure 24125DEST_PATH_IMAGE023
的隐藏表示，
Figure 809548DEST_PATH_IMAGE024
是第
Figure 827182DEST_PATH_IMAGE025
层的节点
Figure 915224DEST_PATH_IMAGE023
的隐藏表示与位置权重
Figure 372138DEST_PATH_IMAGE180
的衰减表 示，
Figure 774300DEST_PATH_IMAGE181
表示节点
Figure 833392DEST_PATH_IMAGE182
在所述图卷积网络第
Figure 561176DEST_PATH_IMAGE029
层的隐藏表示，
Figure 705719DEST_PATH_IMAGE030
是所述图卷积网络第
Figure 911572DEST_PATH_IMAGE029
层线性 变化权重矩阵，
Figure 621908DEST_PATH_IMAGE031
表示所述图卷积网络第
Figure 51752DEST_PATH_IMAGE033
层的偏置项，
Figure 496640DEST_PATH_IMAGE034
表示激活函数，
Figure 227223DEST_PATH_IMAGE183
表示节点
Figure 746061DEST_PATH_IMAGE087
的 度，
Figure 799336DEST_PATH_IMAGE184
表示邻接矩阵中词语
Figure 200362DEST_PATH_IMAGE039
与词语
Figure 810334DEST_PATH_IMAGE023
对应的值，邻接矩阵的对角线值为1，若存在从词语
Figure 495263DEST_PATH_IMAGE039
到词语
Figure 407855DEST_PATH_IMAGE023
的边，则
Figure 811023DEST_PATH_IMAGE185
且
Figure 959108DEST_PATH_IMAGE186
，否则
Figure 514854DEST_PATH_IMAGE043
且
Figure 850545DEST_PATH_IMAGE044
，
Figure 819638DEST_PATH_IMAGE187
表示节点
Figure 709097DEST_PATH_IMAGE163
在所述图卷积网 络第
Figure 306300DEST_PATH_IMAGE049
层更新过程中的中间状态，
Figure 623012DEST_PATH_IMAGE189
是一种激活函数；
根据所述属性词隐藏向量和所述属性词的门机制模型，对所述图卷积网络的隐藏层输出进行调整，获得门机制调整表示；其中，获得所述门机制调整表示的公式为：
Figure 813822DEST_PATH_IMAGE051
Figure 693922DEST_PATH_IMAGE190
其中，
Figure 224261DEST_PATH_IMAGE053
表示激活函数，
Figure 508611DEST_PATH_IMAGE054
是所述属性词隐藏向量；
Figure 576930DEST_PATH_IMAGE191
是权重矩阵，
Figure 542612DEST_PATH_IMAGE056
是偏置项，
Figure 179655DEST_PATH_IMAGE192
表示逐点相乘，
Figure 900486DEST_PATH_IMAGE059
表示图卷积基于属性词的门向量，
Figure 737992DEST_PATH_IMAGE193
是所述门机制调整表示；
根据所述属性词的屏蔽操作，对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽，获得属性词屏蔽表示；
根据所述属性词屏蔽表示以及所述上下文隐藏向量，生成所述第一隐藏表示，其中，生成所述第一隐藏表示的公式为：
Figure DEST_PATH_IMAGE194
Figure 225474DEST_PATH_IMAGE062
Figure 730405DEST_PATH_IMAGE195
Figure 12350DEST_PATH_IMAGE065
其中，
Figure 602732DEST_PATH_IMAGE196
是注意力权重，
Figure 100002_DEST_PATH_IMAGE197
是归一化后的注意力权重,
Figure 893904DEST_PATH_IMAGE198
表示向量的转置，
Figure 100002_DEST_PATH_IMAGE199
是所 述门机制调整表示
Figure 646484DEST_PATH_IMAGE060
的值，
Figure 974697DEST_PATH_IMAGE200
是所述属性词屏蔽表示，
Figure 786796DEST_PATH_IMAGE072
为最终得到的所述第一隐藏表 示，
Figure 84922DEST_PATH_IMAGE073
为所述图卷积网络中第
Figure 298865DEST_PATH_IMAGE201
个节点的第一隐藏表示，
Figure DEST_PATH_IMAGE202
，
Figure 188193DEST_PATH_IMAGE088
是所述目标语 句的长度。
可选的，所述第一生成模块203根据所述目标语句中每个词与所述属性词的距离，确定所述目标语句中每个词语的位置权重的方式具体为：
获取所述目标语句中的每个词语与所述属性词的距离；
根据所述距离以及预设的位置权重公式，确定所述词语的位置权重，其中，所述预设的位置权重公式如下：
Figure 487587DEST_PATH_IMAGE203
其中，
Figure 464771DEST_PATH_IMAGE087
为第
Figure 985751DEST_PATH_IMAGE087
个词语的标识，
Figure 327870DEST_PATH_IMAGE088
表示所述目标语句的长度，
Figure 176878DEST_PATH_IMAGE089
是所述属性词 的开始标记，
Figure 147632DEST_PATH_IMAGE090
表示所述属性词的长度，
Figure 8272DEST_PATH_IMAGE091
表示取的词语在所述属性词前面。
Figure 849189DEST_PATH_IMAGE204
表示取的词语是所述属性词，
Figure 372443DEST_PATH_IMAGE205
表示取的词在所 述属性词后面，
Figure 566795DEST_PATH_IMAGE095
是超参数。
可选的，所述第二生成模块204根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示的方式具体为：
根据所述第一隐藏表示以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习，获得上下文和所述属性词之间的第一注意力机制权重矩阵，其中，获得所述第一注意力机制权重矩阵的公式如下：
Figure 937734DEST_PATH_IMAGE096
其中，
Figure 605344DEST_PATH_IMAGE097
是可训练的参数矩阵，
Figure 101048DEST_PATH_IMAGE098
表示实数，
Figure 879517DEST_PATH_IMAGE099
表示所述图卷积网络 的输出维度，
Figure 511486DEST_PATH_IMAGE100
表示维度为
Figure 290611DEST_PATH_IMAGE129
的实数矩阵，
Figure 335927DEST_PATH_IMAGE102
为偏置项，
Figure 183666DEST_PATH_IMAGE103
表示维度 为
Figure 138984DEST_PATH_IMAGE105
的实数矩阵，
Figure 413977DEST_PATH_IMAGE106
表示所述属性词的长度，
Figure 946589DEST_PATH_IMAGE088
表示所述目标语句的长度，
Figure 348752DEST_PATH_IMAGE054
是所述属 性词隐藏向量，
Figure 673423DEST_PATH_IMAGE107
是所述第一隐藏表示，
Figure 932366DEST_PATH_IMAGE108
是激活函数，
Figure 889957DEST_PATH_IMAGE109
表示向量的转置；
根据所述第一注意力机制权重矩阵，确定注意力上下文表示，其中，获得所述注意力上下文表示的公式如下：
Figure 996674DEST_PATH_IMAGE110
其中，
Figure 51218DEST_PATH_IMAGE111
为可训练的参数矩阵,
Figure 684325DEST_PATH_IMAGE206
为可训练的参数矩 阵，
Figure 316163DEST_PATH_IMAGE207
为偏置项，
Figure 794549DEST_PATH_IMAGE115
表示维度为
Figure 969178DEST_PATH_IMAGE208
的实数矩阵，
Figure 694558DEST_PATH_IMAGE117
为激活函数；
根据所述注意力上下文表示以及所述自注意力机制，确定上下文注意力机制权重，其中，获得所述上下文注意力机制权重的公式如下：
Figure 626742DEST_PATH_IMAGE209
其中，
Figure 971135DEST_PATH_IMAGE210
为可训练的参数向量，
Figure 921643DEST_PATH_IMAGE211
表示维度为
Figure 99814DEST_PATH_IMAGE212
的实数矩阵，
Figure 316032DEST_PATH_IMAGE122
为偏置 项；
根据所述上下文注意力机制权重以及所述注意力上下文表示，生成所述第二隐藏表示，其中，生成所述第二隐藏表示的公式如下：
Figure 857259DEST_PATH_IMAGE123
其中，
Figure 413006DEST_PATH_IMAGE124
为所述第二隐藏表示，所述注意力上下文表示
Figure 621133DEST_PATH_IMAGE125
包括所述图卷积网络 中多个节点的注意力上下文表示，
Figure 511597DEST_PATH_IMAGE126
为所述图卷积网络中第
Figure 73160DEST_PATH_IMAGE087
个节点的注意力上下文表 示。
可选的，所述第三生成模块205根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示的方式具体为：
根据所述上下文隐藏向量以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习生成第二注意力机制权重矩阵，其中，生成所述第二注意力机制权重矩阵的公式如下：
Figure 998259DEST_PATH_IMAGE127
其中，
Figure 642867DEST_PATH_IMAGE128
是可训练的参数矩阵，
Figure 709044DEST_PATH_IMAGE098
表示实数，
Figure 385881DEST_PATH_IMAGE121
表示所述图卷积网络 的输出维度，
Figure 978537DEST_PATH_IMAGE100
表示维度为
Figure 403833DEST_PATH_IMAGE129
的实数矩阵，
Figure 271819DEST_PATH_IMAGE130
为偏置项，
Figure 565398DEST_PATH_IMAGE103
表示维 度为
Figure 950242DEST_PATH_IMAGE132
的实数矩阵，
Figure 795708DEST_PATH_IMAGE133
表示所述属性词的长度，
Figure 961110DEST_PATH_IMAGE088
表示所述目标语句的长度，
Figure 730483DEST_PATH_IMAGE134
是激活 函数，
Figure 687943DEST_PATH_IMAGE135
表示向量的转置；
根据所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量以及所述自注意力机制，生成所述第三隐藏表示，其中，生成所述第三隐藏表示的公式如下：
Figure 314097DEST_PATH_IMAGE136
Figure 904478DEST_PATH_IMAGE213
Figure 664492DEST_PATH_IMAGE138
其中，
Figure 100002_DEST_PATH_IMAGE214
以及
Figure 289509DEST_PATH_IMAGE215
均为可训练的参数矩阵，
Figure 479706DEST_PATH_IMAGE216
为 可训练的参数向量，
Figure DEST_PATH_IMAGE217
以及
Figure 557384DEST_PATH_IMAGE143
均为偏置项，
Figure 183406DEST_PATH_IMAGE144
为激活函数，
Figure 459666DEST_PATH_IMAGE218
为进一步确认的所述目标语 句的上下文表示，
Figure 958781DEST_PATH_IMAGE220
为自注意力权重，
Figure 507443DEST_PATH_IMAGE054
是所述属性词隐藏向量，
Figure 359992DEST_PATH_IMAGE221
为所述第三隐藏表示，
Figure 680640DEST_PATH_IMAGE222
为所述图卷积网络中的第
Figure 85076DEST_PATH_IMAGE087
个节点的进一步确认的所述目标语句的上下文表示。
可选的，所述第四生成模块207根据所述情感特征表示，生成情感分析结果的方式具体为：
将所述情感特征表示输入至预设的输出层中，获得归一化后的所有情感类别的输出概率分布，其中，获得所述归一化后的所有情感类别的输出概率分布的公式如下：
Figure 75029DEST_PATH_IMAGE151
Figure 777275DEST_PATH_IMAGE152
其中，
Figure 28127DEST_PATH_IMAGE223
表示未进行归一化的所有情感类别的输出概率分布，
Figure 541148DEST_PATH_IMAGE154
是可学习 的权重，
Figure 267665DEST_PATH_IMAGE098
表示实数，
Figure 586651DEST_PATH_IMAGE155
表示维度为
Figure 629693DEST_PATH_IMAGE224
的实数矩阵，
Figure 500566DEST_PATH_IMAGE157
是偏置项，
Figure 996269DEST_PATH_IMAGE158
表示维度为
Figure 118946DEST_PATH_IMAGE159
的实数矩阵，
Figure 268692DEST_PATH_IMAGE160
是一种激活函数，
Figure 61199DEST_PATH_IMAGE161
表示归一化后的所述所有情感类别的输出概率分 布，
Figure 637674DEST_PATH_IMAGE159
表示所有情感类别；
根据所述归一化后的所有情感类别的输出概率分布，确定与所述情感特征表示对应的情感分析结果。
实施例三：
本实施例提供一种电子设备，可以用于执行本申请实施例一的情感分析方法的全部或部分步骤。对于本实施例中未披露的细节，请参照本申请的实施例一。
请参阅图3，图3为本申请实施例提供的电子设备的结构示意图。所述电子设备900可以但不限于是各种服务器、个人计算机、笔记本电脑、智能手机、平板电脑等设备的一个或多个的组合。
在本申请较佳实施例中，所述电子设备900包括存储器901、至少一个处理器902、至少一条通信总线903及收发器904。
本领域技术人员应该了解，图3示出的电子设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备900还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备900是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备900还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述电子设备900仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器901中存储有计算机程序，所述计算机程序被所述至少一个处理器902执行时实现如所述实施例一的情感分析方法中的全部或者部分步骤。所述存储器901包括只读存储器（Read-Only Memory，ROM）、可编程只读存储器（ProgrammableRead-Only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read-OnlyMemory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子擦除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中，所述至少一个处理器902是所述电子设备900的控制核心（Control Unit），利用各种接口和线路连接整个电子设备900的各个部件，通过运行或执行存储在所述存储器901内的程序或者模块，以及调用存储在所述存储器901内的数据，以执行电子设备900的各种功能和处理数据。例如，所述至少一个处理器902执行所述存储器中存储的计算机程序时实现本申请实施例中所述的情感分析方法的全部或者部分步骤；或者实现情感分析装置的全部或者部分功能。所述至少一个处理器902可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（CentralProcessing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线903被设置为实现所述存储器901以及所述至少一个处理器902等之间的连接通信。
所述电子设备900还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
实施例四：
本实施例提供一种计算机可读存储介质，其上储存有计算机程序，所述指令适于由处理器加载并执行本申请实施例一的情感分析方法，具体执行过程可以参见实施例一的具体说明，在此不进行赘述。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种情感分析方法，其特征在于，所述情感分析方法包括：
获取目标语句以及所述目标语句中的属性词；
将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；
根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；
根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；
根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；
将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；
根据所述情感特征表示，生成情感分析结果；
所述根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示包括：根据所述目标语句中每个词语与所述属性词的距离，确定所述目标语句中每个词语的位置权重；
将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算，获得图卷积网络的隐藏层输出，其中，确定所述图卷积网络的隐藏层输出的公式如下：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE010
都是一个标识，用来标识一个词语或者一个节点，词语与节点一一对应，
Figure DEST_PATH_IMAGE012
表示词语
Figure 476437DEST_PATH_IMAGE010
的位置权重，所述图卷积网络包括多个子层，
Figure DEST_PATH_IMAGE014
表示所述图卷积网络第
Figure DEST_PATH_IMAGE016
层的节点
Figure 562553DEST_PATH_IMAGE010
的隐藏表示，
Figure DEST_PATH_IMAGE018
是第
Figure DEST_PATH_IMAGE019
层的节点
Figure 499547DEST_PATH_IMAGE010
的隐藏表示与位置权重
Figure DEST_PATH_IMAGE020
的衰减表示，
Figure DEST_PATH_IMAGE022
是所述目标语句的长度，
Figure DEST_PATH_IMAGE024
表示节点
Figure DEST_PATH_IMAGE026
在所述图卷积网络第
Figure DEST_PATH_IMAGE028
层的隐藏表示，
Figure DEST_PATH_IMAGE030
是所述图卷积网络第
Figure 989697DEST_PATH_IMAGE028
层线性变化权重矩阵，
Figure DEST_PATH_IMAGE032
表示所述图卷积网络第
Figure DEST_PATH_IMAGE034
层的偏置项，
Figure DEST_PATH_IMAGE036
表示激活函数，
Figure DEST_PATH_IMAGE038
表示节点
Figure 820381DEST_PATH_IMAGE008
的度，
Figure DEST_PATH_IMAGE040
表示邻接矩阵中词语
Figure DEST_PATH_IMAGE041
与词语
Figure 534521DEST_PATH_IMAGE010
对应的值，邻接矩阵的对角线值为1，若存在从词语
Figure 332713DEST_PATH_IMAGE041
到词语
Figure 328351DEST_PATH_IMAGE010
的边，则
Figure DEST_PATH_IMAGE043
且
Figure DEST_PATH_IMAGE045
，否则
Figure DEST_PATH_IMAGE047
且
Figure DEST_PATH_IMAGE049
，
Figure DEST_PATH_IMAGE051
表示节点
Figure DEST_PATH_IMAGE052
在所述图卷积网络第
Figure DEST_PATH_IMAGE053
层更新过程中的中间状态，
Figure DEST_PATH_IMAGE055
是一种激活函数；
根据所述属性词隐藏向量和所述属性词的门机制模型，对所述图卷积网络的隐藏层输出进行调整，获得门机制调整表示；其中，获得所述门机制调整表示的公式为：
Figure DEST_PATH_IMAGE057
Figure DEST_PATH_IMAGE059
其中，
Figure DEST_PATH_IMAGE061
表示激活函数，
Figure DEST_PATH_IMAGE063
是所述属性词隐藏向量；
Figure DEST_PATH_IMAGE065
是权重矩阵，
Figure DEST_PATH_IMAGE067
是偏置项，
Figure DEST_PATH_IMAGE069
表示逐点相乘，
Figure DEST_PATH_IMAGE071
表示图卷积基于属性词的门向量，
Figure DEST_PATH_IMAGE073
是所述门机制调整表示；
根据所述属性词的屏蔽操作，对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽，获得属性词屏蔽表示；
根据所述属性词屏蔽表示以及所述上下文隐藏向量，生成所述第一隐藏表示，其中，生成所述第一隐藏表示的公式为：
Figure DEST_PATH_IMAGE075
Figure DEST_PATH_IMAGE077
Figure DEST_PATH_IMAGE079
Figure DEST_PATH_IMAGE081
其中，是注意力权重，是所述目标语句的长度；表示所述属性词的长度； 是所述属性词的开始标记，是归一化后的注意力权重，表示向量的转置，是所述门 机制调整表示的值，是所述属性词屏蔽表示，为最终得到的所述第一隐藏表示，为所述图卷积网络中第个节点的第一隐藏表示，
Figure DEST_PATH_IMAGE105
，是所述目标 语句的长度。
2.根据权利要求1所述的情感分析方法，其特征在于，所述根据所述目标语句中每个词与所述属性词的距离，确定所述目标语句中每个词语的位置权重包括：
获取所述目标语句中的每个词语与所述属性词的距离；
根据所述距离以及预设的位置权重公式，确定所述词语的位置权重，其中，所述预设的位置权重公式如下：
Figure DEST_PATH_IMAGE108
其中，
Figure 820731DEST_PATH_IMAGE008
为第
Figure 345253DEST_PATH_IMAGE008
个词语的标识，
Figure DEST_PATH_IMAGE109
表示所述目标语句的长度，
Figure DEST_PATH_IMAGE087A
是所述属性词的开始标记，
Figure DEST_PATH_IMAGE110
表示所述属性词的长度，
Figure DEST_PATH_IMAGE112
表示取的词语在所述属性词前面，
Figure DEST_PATH_IMAGE114
表示取的词语是所述属性词，
Figure DEST_PATH_IMAGE116
表示取的词在所述属性词后面，
Figure DEST_PATH_IMAGE118
是超参数。
3.根据权利要求1所述的情感分析方法，其特征在于，所述根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示包括：
根据所述第一隐藏表示以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习，获得上下文和所述属性词之间的第一注意力机制权重矩阵，其中，获得所述第一注意力机制权重矩阵的公式如下：
Figure DEST_PATH_IMAGE120
其中，是可训练的参数矩阵，表示实数，表示所述图卷积网络的输 出维度，表示维度为的实数矩阵，
Figure DEST_PATH_IMAGE132
为偏置项，表示维度 为的实数矩阵，表示所述属性词的长度，表示所述目标语句的长度，是所述属 性词隐藏向量，是所述第一隐藏表示，是激活函数，表示向量的转置；
根据所述第一注意力机制权重矩阵，确定注意力上下文表示，其中，获得所述注意力上下文表示的公式如下：
Figure DEST_PATH_IMAGE146
其中，
Figure DEST_PATH_IMAGE148
为可训练的参数矩阵，
Figure DEST_PATH_IMAGE150
为可训练的参数矩阵，
Figure DEST_PATH_IMAGE152
为偏置项，
Figure DEST_PATH_IMAGE154
表示维度为
Figure DEST_PATH_IMAGE156
的实数矩阵，
Figure DEST_PATH_IMAGE158
为激活函数；
根据所述注意力上下文表示以及所述自注意力机制，确定上下文注意力机制权重，其中，获得所述上下文注意力机制权重的公式如下：
Figure DEST_PATH_IMAGE160
其中，
Figure DEST_PATH_IMAGE162
为可训练的参数向量，
Figure DEST_PATH_IMAGE164
表示维度为
Figure DEST_PATH_IMAGE165
的实数矩阵，
Figure DEST_PATH_IMAGE167
为偏置项；
根据所述上下文注意力机制权重以及所述注意力上下文表示，生成所述第二隐藏表示，其中，生成所述第二隐藏表示的公式如下：
Figure DEST_PATH_IMAGE169
其中，
Figure DEST_PATH_IMAGE171
为所述第二隐藏表示，所述注意力上下文表示
Figure DEST_PATH_IMAGE173
包括所述图卷积网络中多个节点的注意力上下文表示，
Figure DEST_PATH_IMAGE175
为所述图卷积网络中第
Figure 607835DEST_PATH_IMAGE008
个节点的注意力上下文表示，
Figure DEST_PATH_IMAGE022AA
是所述目标语句的长度。
4.根据权利要求1所述的情感分析方法，其特征在于，所述根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示包括：
根据所述上下文隐藏向量以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习生成第二注意力机制权重矩阵，其中，生成所述第二注意力机制权重矩阵的公式如下：
Figure DEST_PATH_IMAGE177
其中，
Figure DEST_PATH_IMAGE179
是可训练的参数矩阵，
Figure DEST_PATH_IMAGE124A
表示实数，
Figure 180155DEST_PATH_IMAGE165
表示所述图卷积网络的输出维度，
Figure DEST_PATH_IMAGE128A
表示维度为
Figure DEST_PATH_IMAGE180
的实数矩阵，
Figure DEST_PATH_IMAGE182
为偏置项，
Figure DEST_PATH_IMAGE134A
表示维度为
Figure DEST_PATH_IMAGE183
的实数矩阵，
Figure DEST_PATH_IMAGE184
表示所述属性词的长度，
Figure DEST_PATH_IMAGE109AA
表示所述目标语句的长度，
Figure DEST_PATH_IMAGE186
是激活函数，
Figure DEST_PATH_IMAGE187
表示向量的转置；
根据所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量以及所述自注意力机制，生成所述第三隐藏表示，其中，生成所述第三隐藏表示的公式如下：
Figure DEST_PATH_IMAGE189
Figure DEST_PATH_IMAGE191
Figure DEST_PATH_IMAGE193
其中，
Figure DEST_PATH_IMAGE195
以及
Figure DEST_PATH_IMAGE197
均为可训练的参数矩阵，
Figure DEST_PATH_IMAGE199
为可训练的参数向量，
Figure DEST_PATH_IMAGE201
以及
Figure DEST_PATH_IMAGE203
均为偏置项，
Figure DEST_PATH_IMAGE205
为激活函数，
Figure DEST_PATH_IMAGE207
为进一步确认的所述目标语句的上下文表示，
Figure DEST_PATH_IMAGE209
为自注意力权重，
Figure DEST_PATH_IMAGE210
是所述属性词隐藏向量，
Figure DEST_PATH_IMAGE212
为所述第三隐藏表示，
Figure DEST_PATH_IMAGE214
为所述图卷积网络中的第
Figure 375380DEST_PATH_IMAGE008
个节点的进一步确认的所述目标语句的上下文表示。
5.根据权利要求1所述的情感分析方法，其特征在于，所述根据所述情感特征表示，生成情感分析结果包括：
将所述情感特征表示输入至预设的输出层中，获得归一化后的所有情感类别的输出概率分布，其中，获得所述归一化后的所有情感类别的输出概率分布的公式如下：
Figure DEST_PATH_IMAGE216
Figure DEST_PATH_IMAGE218
其中，
Figure DEST_PATH_IMAGE220
表示未进行归一化的所有情感类别的输出概率分布，
Figure DEST_PATH_IMAGE222
是可学习的权重，
Figure DEST_PATH_IMAGE223
表示实数，
Figure DEST_PATH_IMAGE225
表示维度为
Figure DEST_PATH_IMAGE227
的实数矩阵，
Figure DEST_PATH_IMAGE229
是偏置项，
Figure DEST_PATH_IMAGE231
表示维度为
Figure DEST_PATH_IMAGE233
的实数矩阵，
Figure DEST_PATH_IMAGE235
是一种激活函数，
Figure DEST_PATH_IMAGE237
表示归一化后的所述所有情感类别的输出概率分布，
Figure 774262DEST_PATH_IMAGE233
表示所有情感类别的类别数量；
根据所述归一化后的所有情感类别的输出概率分布，确定与所述情感特征表示对应的情感分析结果。
6.一种情感分析装置，其特征在于，所述情感分析装置包括：
获取模块，用于获取目标语句以及所述目标语句中的属性词；
输入模块，用于将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；
第一生成模块，用于根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；
第二生成模块，用于根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；
第三生成模块，用于根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；
拼接模块，用于将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；
第四生成模块，用于根据所述情感特征表示，生成情感分析结果；
所述第一生成模块根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示的方式为： 根据所述目标语句中每个词语与所述属性词的距离，确定所述目标语句中每个词语的位置权重；
将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算，获得图卷积网络的隐藏层输出，其中，确定所述图卷积网络的隐藏层输出的公式如下：
Figure DEST_PATH_IMAGE238
Figure DEST_PATH_IMAGE239
Figure DEST_PATH_IMAGE006A
其中，
Figure 534539DEST_PATH_IMAGE008
和
Figure 974748DEST_PATH_IMAGE010
都是一个标识，用来标识一个词语或者一个节点，词语与节点一一对应，
Figure DEST_PATH_IMAGE240
表示词语
Figure 139275DEST_PATH_IMAGE010
的位置权重，所述图卷积网络包括多个子层，
Figure DEST_PATH_IMAGE014A
表示所述图卷积网络第
Figure 727251DEST_PATH_IMAGE016
层的节点
Figure 337224DEST_PATH_IMAGE010
的隐藏表示，
Figure DEST_PATH_IMAGE018A
是第
Figure 918423DEST_PATH_IMAGE019
层的节点
Figure 221228DEST_PATH_IMAGE010
的隐藏表示与位置权重
Figure DEST_PATH_IMAGE012A
的衰减表示，
Figure DEST_PATH_IMAGE022AAA
是所述目标语句的长度，
Figure DEST_PATH_IMAGE241
表示节点
Figure 391441DEST_PATH_IMAGE026
在所述图卷积网络第
Figure 805105DEST_PATH_IMAGE028
层的隐藏表示，
Figure DEST_PATH_IMAGE030A
是所述图卷积网络第
Figure 751064DEST_PATH_IMAGE028
层线性变化权重矩阵，
Figure DEST_PATH_IMAGE032A
表示所述图卷积网络第
Figure 552667DEST_PATH_IMAGE034
层的偏置项，
Figure 23225DEST_PATH_IMAGE036
表示激活函数，
Figure DEST_PATH_IMAGE038A
表示节点
Figure 37317DEST_PATH_IMAGE008
的度，
Figure DEST_PATH_IMAGE040A
表示邻接矩阵中词语
Figure 103362DEST_PATH_IMAGE041
与词语
Figure 747970DEST_PATH_IMAGE010
对应的值，邻接矩阵的对角线值为1，若存在从词语
Figure 705824DEST_PATH_IMAGE041
到词语
Figure 461290DEST_PATH_IMAGE010
的边，则
Figure DEST_PATH_IMAGE242
且
Figure DEST_PATH_IMAGE243
，否则
Figure DEST_PATH_IMAGE047A
且
Figure DEST_PATH_IMAGE049A
，
Figure DEST_PATH_IMAGE245
表示节点
Figure 866995DEST_PATH_IMAGE052
在所述图卷积网络第
Figure 682504DEST_PATH_IMAGE053
层更新过程中的中间状态，
Figure DEST_PATH_IMAGE246
是一种激活函数；
根据所述属性词隐藏向量和所述属性词的门机制模型，对所述图卷积网络的隐藏层输出进行调整，获得门机制调整表示；其中，获得所述门机制调整表示的公式为：
Figure DEST_PATH_IMAGE247
Figure DEST_PATH_IMAGE059A
其中，
Figure DEST_PATH_IMAGE248
表示激活函数，
Figure 111343DEST_PATH_IMAGE063
是所述属性词隐藏向量；
Figure DEST_PATH_IMAGE065A
是权重矩阵，
Figure DEST_PATH_IMAGE067A
是偏置项，
Figure DEST_PATH_IMAGE249
表示逐点相乘，
Figure DEST_PATH_IMAGE071A
表示图卷积基于属性词的门向量，
Figure DEST_PATH_IMAGE095A
是所述门机制调整表示；
根据所述属性词的屏蔽操作，对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽，获得属性词屏蔽表示；
根据所述属性词屏蔽表示以及所述上下文隐藏向量，生成所述第一隐藏表示，其中，生成所述第一隐藏表示的公式为：
Figure DEST_PATH_IMAGE250
Figure DEST_PATH_IMAGE251
Figure DEST_PATH_IMAGE079A
Figure DEST_PATH_IMAGE252
其中，是注意力权重，是归一化后的注意力权重，表示向量的转置，是所述门 机制调整表示的值，是所述属性词屏蔽表示，为最终得到的所述第一隐藏表示， 为所述图卷积网络中第个节点的第一隐藏表示，
Figure DEST_PATH_IMAGE261
，是所述目标语句的 长度；表示所述属性词的长度；是所述属性词的开始标记。
7.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至5中任意一项所述的情感分析方法。
8.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的情感分析方法。
CN202110629557.1A 2021-06-07 2021-06-07 情感分析方法、装置、设备以及存储介质 Active CN113255367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110629557.1A CN113255367B (zh) 2021-06-07 2021-06-07 情感分析方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110629557.1A CN113255367B (zh) 2021-06-07 2021-06-07 情感分析方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN113255367A CN113255367A (zh) 2021-08-13
CN113255367B true CN113255367B (zh) 2021-11-05

Family

ID=77186625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110629557.1A Active CN113255367B (zh) 2021-06-07 2021-06-07 情感分析方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN113255367B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901790B (zh) * 2021-09-13 2024-09-17 北京中科凡语科技有限公司 文本信息分析方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619123A (zh) * 2019-09-19 2019-12-27 电子科技大学 一种机器阅读理解方法
CN112800776A (zh) * 2021-03-10 2021-05-14 湖北工业大学 双向gru关系抽取数据处理方法、系统、终端、介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619044B (zh) * 2019-08-16 2020-12-08 华南师范大学 一种情感分析方法、系统、存储介质及设备
CN111400494B (zh) * 2020-03-16 2023-07-07 江南大学 一种基于GCN-Attention的情感分析方法
CN111782838B (zh) * 2020-06-30 2024-04-05 北京百度网讯科技有限公司 图像问答方法、装置、计算机设备和介质
CN112131383B (zh) * 2020-08-26 2021-05-18 华南师范大学 特定目标的情感极性分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619123A (zh) * 2019-09-19 2019-12-27 电子科技大学 一种机器阅读理解方法
CN112800776A (zh) * 2021-03-10 2021-05-14 湖北工业大学 双向gru关系抽取数据处理方法、系统、终端、介质

Also Published As

Publication number Publication date
CN113255367A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110832499B (zh) 通过稀疏时间池化网络的弱监督动作定位
CN111897964B (zh) 文本分类模型训练方法、装置、设备及存储介质
JP6860070B2 (ja) 分析装置、ログの分析方法及び分析プログラム
US20210049298A1 (en) Privacy preserving machine learning model training
US11901047B2 (en) Medical visual question answering
WO2019083519A1 (en) NATURAL LANGUAGE PROCESSING USING A N-GRAM MACHINE
JP2017090912A (ja) ニューラルネットワークトレーニング装置及び方法と、音声認識装置及び方法
CN107220232A (zh) 基于人工智能的关键词提取方法及装置、设备与可读介质
WO2018093926A1 (en) Semi-supervised training of neural networks
CN113033215B (zh) 情感检测方法、装置、设备以及存储介质
CN108228758A (zh) 一种文本分类方法及装置
CN104428750A (zh) 代码片段的泛化和/或特化
CN108369664A (zh) 调整神经网络的大小
CN109783644A (zh) 一种基于文本表示学习的跨领域情感分类系统及方法
CN111062442B (zh) 解释业务处理模型的业务处理结果的方法和装置
CN113255367B (zh) 情感分析方法、装置、设备以及存储介质
CN113095072B (zh) 文本处理方法及装置
WO2023034304A2 (en) Intent-based suggestion of phrases in a text editor
CN115222443A (zh) 客户群体划分方法、装置、设备及存储介质
CN110427317A (zh) 一种相关值确定方法及装置
CN113705792A (zh) 基于深度学习模型的个性化推荐方法、装置、设备及介质
CN114373098B (zh) 一种图像分类方法、装置、计算机设备及存储介质
WO2023110182A1 (en) Extracting explanations from attention-based models
JP2022151502A (ja) プログラム、情報処理装置、及び方法
CN113704452A (zh) 基于Bert模型的数据推荐方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant