CN113688212B - 句子情感分析方法、装置以及设备 - Google Patents

句子情感分析方法、装置以及设备 Download PDF

Info

Publication number
CN113688212B
CN113688212B CN202111251339.5A CN202111251339A CN113688212B CN 113688212 B CN113688212 B CN 113688212B CN 202111251339 A CN202111251339 A CN 202111251339A CN 113688212 B CN113688212 B CN 113688212B
Authority
CN
China
Prior art keywords
text
common sense
vector
detected
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111251339.5A
Other languages
English (en)
Other versions
CN113688212A (zh
Inventor
卢国钧
薛云
蔡倩华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202111251339.5A priority Critical patent/CN113688212B/zh
Publication of CN113688212A publication Critical patent/CN113688212A/zh
Application granted granted Critical
Publication of CN113688212B publication Critical patent/CN113688212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种句子情感分析方法、装置、设备以及存储介质，该方法包括：获取待测文本以及与所述待测文本相对应的常识文本，通过词嵌入模型，获取待测文本的句子向量以及常识文本的句子向量；通过双向LSTM神经网络，得到待测文本以及常识文本的隐藏层向量，通过依存句法树，获取待测文本的注意力权重向量，通过神经网络模型，获取位置信息特征、常识信息特征以及句法信息特征，对所述信息特征进行拼接融合，得到待测文本的情感分析结果。与现有技术相比，本申请获取的特征表达不仅考虑了待测文本的上下文信息，还能够引用常识文本，更好地对待测文本进行情感分析，提升了情感分析的准确性。

Description

句子情感分析方法、装置以及设备
技术领域
本发明涉及数据分析领域，特别涉及一种句子情感分析方法、装置、设备以及存储介质。
背景技术
如今，人们可以随时通过社交网站、博客或电商平台发表评论以表达他们对各种服务或产品的想法，这些在线评论影响着未来消费者的购买决策，同时也正成为衡量企业质量的重要的标准。为了给企业带来更高的收益，一个更为有效的情感分析方法也越来越被视为一项至关重要的任务。
目前的技术方案，通过采用计算模型分析文本语句中关于某一特定的主题、服务、或产品的观点是正面的、中性的、还是负面的，有针对性对用户的情感进行分析。其中一个重要的解决方案是细粒度情感分类（Aspect-level sentiment classification，ALSC），即利用计算模型分析文本语句中关于某一特定的主题、服务、或产品的观点是正面的、中性的、还是负面的。然而现有的技术方案仅仅关注于在线评论的文本语句的上下文信息，无法准确地对文本语句进行准确的情感分析，降低了文本语句的情感分析效率。
发明内容
基于此，本发明提供一种句子情感分析方法、装置、设备以及存储介质，不仅考虑了待测文本的上下文信息，还能够引用常识文本，更加全面地对待测文本进行情感分析，提升了情感分析的准确性。该技术方法如下：
第一方面，本申请实施例提供了一种句子情感分析方法，包括以下步骤：
获取待测文本以及与所述待测文本相对应的常识文本，其中，所述待测文本包括若干个句子，所述句子中包括若干个方面词；
将所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量；
根据所述常识文本、待测文本的词向量以及所述词嵌入模型，获取所述常识文本的句子向量；
将所述待测文本的句子向量输入至第一双向LSTM网络中，获取所述待测文本的隐藏层向量；
将所述常识文本的句子向量输入至第二双向LSTM网络中，获取所述常识文本的隐藏层向量；
根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意 力算法，获取位置信息特征，其中，所述位置联合注意力算法包括
Figure 986721DEST_PATH_IMAGE001
，具体如下：
Figure 638282DEST_PATH_IMAGE002
式中，
Figure 886861DEST_PATH_IMAGE003
为所述待测文本的隐藏层向量序列，
Figure 141125DEST_PATH_IMAGE004
为所述
Figure 689918DEST_PATH_IMAGE005
的子序列的均 值；
Figure 981222DEST_PATH_IMAGE006
为所述待测文本的隐藏层向量；
Figure 841731DEST_PATH_IMAGE007
为所述待测文本的位置嵌入向量；
Figure 775052DEST_PATH_IMAGE008
为第i个 方面词在所述多头自注意力机制模型的第t个注意力头提取得到的第一嵌入向量；
Figure 538871DEST_PATH_IMAGE009
为第 i个方面词在所述多头自注意力机制模型的第t个注意力头提取得到的第二嵌入向量；
Figure 1076DEST_PATH_IMAGE010
为关于所述位置信息特征的第一层感知机的权重参数，
Figure 489826DEST_PATH_IMAGE011
为关于所述位置信息特征的第 一层感知机的偏置参数；
Figure 85892DEST_PATH_IMAGE012
为关于所述位置信息特征的第二层感知机的权重参数，
Figure 78119DEST_PATH_IMAGE013
为 关于所述位置信息特征的第二层感知机的偏置参数；
Figure 242384DEST_PATH_IMAGE014
为第i个方面词在所述多头自注意 力机制模型的第t个注意力头得到的权重参数；
Figure 343064DEST_PATH_IMAGE015
为所述待测文本的位置信息向量；
Figure 352609DEST_PATH_IMAGE016
为 非线性激活函数；
Figure 730500DEST_PATH_IMAGE017
为所述位置信息特征；
Figure 800088DEST_PATH_IMAGE018
为所述多头自注意力机制模型 关于位置信息特征的并行模块数量；
Figure 122485DEST_PATH_IMAGE019
为所述多头自注意力机制模型关于位置信息 特征的不同注意力头的单层感知机的权重参数；
根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征， 其中，所述常识联合注意力算法包括
Figure 935720DEST_PATH_IMAGE020
，具体如下：
Figure 168118DEST_PATH_IMAGE021
式中，
Figure 297355DEST_PATH_IMAGE022
为关于所述常识信息特征的第一层感知机的权重参数，
Figure 716835DEST_PATH_IMAGE023
为关于所 述常识信息特征的第一层感知机的偏置参数；
Figure 333761DEST_PATH_IMAGE024
为关于所述常识信息特征的第二层感知 机的权重参数，
Figure 545299DEST_PATH_IMAGE025
为关于所述常识信息特征的偏置参数；
Figure 222268DEST_PATH_IMAGE026
为第i个方面词在所述多头 自注意力机制模型的第t个注意力头得到的常识信息特征的权重参数；
Figure 394624DEST_PATH_IMAGE027
为所述常识文 本的隐藏层向量；
Figure 408716DEST_PATH_IMAGE028
为所述常识文本信息向量；μ为所述常识文本的近似分布
Figure 615706DEST_PATH_IMAGE029
的均值；
Figure 463577DEST_PATH_IMAGE030
为所述常识文本的近似分布
Figure 982283DEST_PATH_IMAGE029
的方差；
Figure 941011DEST_PATH_IMAGE031
为关于所述均值μ的权重参数，
Figure 736929DEST_PATH_IMAGE032
为关于所述 均值μ的偏置参数；z为所述常识文本的变分瓶颈参数；
Figure 755701DEST_PATH_IMAGE033
为非线性激活函数；
Figure 528747DEST_PATH_IMAGE034
为关于 所述方差
Figure 291167DEST_PATH_IMAGE035
的权重参数，
Figure 941591DEST_PATH_IMAGE036
为关于所述方差
Figure 990318DEST_PATH_IMAGE037
的偏置参数；
Figure 624562DEST_PATH_IMAGE038
为所述常识信息特 征；
Figure 925093DEST_PATH_IMAGE039
为所述常识文本的权重参数；
Figure 820237DEST_PATH_IMAGE040
为所述常识文本的偏置参数；
获取依存句法树，根据所述待测文本以及依存句法树，获取与所述待测文本相对应的依存句法图；
根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中 的句法联合注意力算法，获取句法信息特征，其中，所述句法联合注意力算法包括
Figure 915232DEST_PATH_IMAGE041
， 具体如下：
Figure 36772DEST_PATH_IMAGE042
式中，
Figure 140994DEST_PATH_IMAGE043
为所述依存句法图中第i个句法关系在所述多头自注意力机制模型的第t个注意力头提取到的注意力值；
Figure 156540DEST_PATH_IMAGE045
为所述依存句法图中第i个句法关系，
Figure 30879DEST_PATH_IMAGE046
为关于所述 句法信息特征的第一层感知机的权重参数，
Figure 775981DEST_PATH_IMAGE047
为关于所述句法信息特征的第一层感知机 的偏置参数；
Figure 478358DEST_PATH_IMAGE048
为关于所述句法信息特征的第二层感知机的权重参数，
Figure 167965DEST_PATH_IMAGE049
为关于所述句 法信息特征的第二层感知机的偏置参数；
Figure 613990DEST_PATH_IMAGE050
为第i个句法关系在所述多头自注意力机制模 型的第t个注意力头提取到的注意力权重；
Figure 213599DEST_PATH_IMAGE051
为所述待测文本的句法信息向量；
Figure 86877DEST_PATH_IMAGE052
为 所述多头自注意力机制模型的并行模块数量，
Figure 263780DEST_PATH_IMAGE053
为所述多头自注意力机制模型关于句 法信息特征的不同注意力头的单层感知机的权重参数；
Figure 247917DEST_PATH_IMAGE054
为所述常识信息特征；
将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型，对所述信息特征进行拼接融合，获取融合信息特征，将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果。
第二方面，本申请实施例提供了一种句子情感分析的装置，包括：
文本获取模块，用于获取待测文本以及与所述待测文本相对应的常识文本，其中，所述待测文本包括若干个句子，所述句子中包括若干个方面词；
第一句子向量获取模块，用于将所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量；
第二句子向量获取模块，用于根据所述常识文本、待测文本的词向量以及所述词嵌入模型，获取所述常识文本的句子向量；
第一隐藏层向量获取模块，用于将所述待测文本的句子向量输入至第一双向LSTM网络中，获取所述待测文本的隐藏层向量；
第二隐藏层向量获取模块，用于将所述常识文本的句子向量输入至第二双向LSTM网络中，获取所述常识文本的隐藏层向量；
位置信息特征获取模块，用于根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法，获取位置信息特征；
常识信息特征获取模块，用于根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征；
依存句法图获取模块，用于获取依存句法树，根据所述待测文本以及依存句法树，获取与所述待测文本相对应的依存句法图；
句法信息特征获取模块，用于根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中的句法联合注意力算法，获取句法信息特征；
情感分析结果获取模块，用于将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型，对所述信息特征进行拼接融合，获取融合信息特征，将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果。
第三方面，本申请实施例提供了一种设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述的句子情感分析方法的步骤。
第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的句子情感分析方法的步骤。
在本实施例中，提供一种句子情感分析方法、装置、设备以及存储介质，不仅考虑了待测文本的上下文信息，还能够引用与待测文本中方面词相对应的常识文本，并通过构建待测文本的依存句法图，更加全面地对待测文本进行情感分析，提升了情感分析的准确性以及效率。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本申请一个实施例提供的句子情感分析方法的流程示意图；
图2为本申请一个实施例提供的句子情感分析方法中S2的流程示意图；
图3为本申请一个实施例提供的句子情感分析方法中S3的流程示意图；
图4为本申请一个实施例提供的句子情感分析方法中S6的流程示意图；
图5为本申请一个实施例提供的句子情感分析方法中S7的流程示意图；
图6为本申请另一个实施例提供的句子情感分析方法中S7的流程示意图；
图7为本申请一个实施例提供的句子情感分析方法中S8的流程示意图；
图8为本申请一个实施例提供的句子情感分析方法中S9的流程示意图；
图9为本申请一个实施例提供的句子情感分析装置的结构示意图；
图10为本申请一个实施例提供的设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1，图1为本申请一个实施例提供的句子情感分析方法的流程示意图，包括如下步骤：
S1：获取待测文本以及与所述待测文本相对应的常识文本，其中，所述待测文本包括若干个句子，所述句子中包括若干个方面词。
本申请的句子情感分析方法的执行主体为句子情感分析的分析设备（以下简称分析设备）。
在一个可选的实施例中，分析设备可以是一台计算机设备，可以是服务器，或多台计算机设备联合而成的服务器机群。
所述待测文本以及常识文本分别由若干个句子组成，所述句子中包括若干个方面词，其中所述方面词为句子中所描述的某一实体，可以是名词。
分析设备可以获取用户输入的待测文本以及常识文本，也可以通过在预设的数据库中，获取待测文本以及相应的常识文本。
S2：将所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量。
所述词嵌入模型可以采用BERT（Bidirectional Encoder Representation fromTransformers）模型，也可以采用GloVe模型，用于获取待测文本的句子向量以及常识文本的句子向量。
在本实施例中，分析设备采用GloVe模型作为词嵌入模型，通过将用户输入的所述待测文本输入至词嵌入模型，分别获取待测文本的方面词的词向量、位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量。
请参阅图2，图2为本申请一个实施例提供的句子情感分析方法中S2的流程示意图，包括步骤S201~S203，具体如下：
S201：根据所述待测文本以及词嵌入模型，构建所述待测文本的嵌入空间，获取所述待测文本的词向量。
在本实施例中，分析设备采用GloVe模型作为词嵌入模型，分析设备将待测文本输入至GloVe模型中，获得所述GloVe模型输出的嵌入空间PE：
Figure 967611DEST_PATH_IMAGE055
其中，所述
Figure 136424DEST_PATH_IMAGE056
是所述嵌入空间PE的维度，
Figure 675990DEST_PATH_IMAGE057
是所述待测文本中最大的句子 长度。
分析设备利用词嵌入模型构建的嵌入空间PE，将所述待测文本的句子中每个方面词转换为所述待测文本的词向量，其中，所述待测文本的词向量为：
Figure 463817DEST_PATH_IMAGE058
式中，
Figure 664117DEST_PATH_IMAGE059
为所述待测文本的第l个方面词的词向量。
Figure 879197DEST_PATH_IMAGE060
为s中的子序列，其中，所述子序列为：
Figure 906059DEST_PATH_IMAGE061
S202：根据所述待测文本的嵌入空间以及位置索引序列算法，获取所述待测文本的位置嵌入向量。
所述位置索引序列算法为：
Figure 356632DEST_PATH_IMAGE062
式中，
Figure 785340DEST_PATH_IMAGE063
为所述待测文本的方面词的起始索引；
Figure 171322DEST_PATH_IMAGE064
为所述待测文本的方面 词的结束索引，
Figure 810113DEST_PATH_IMAGE065
为所述嵌入空间PE的索引；
在本实施例中，分析设备根据所述位置索引序列算法，对所述待测文本的句子以及方面词的相对位置关系进行建模，获取所述待测文本的位置嵌入向量，其中，获取所述待测文本的位置嵌入向量的表达式为：
Figure 939743DEST_PATH_IMAGE066
S203：将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量。
分析设备将获取的所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量，其中，所述待测文本的句子向量为：
Figure 222957DEST_PATH_IMAGE067
S3：根据所述常识文本、待测文本的词向量以及所述词嵌入模型中的嵌入划分算法，获取所述常识文本的句子向量。
请参阅图3，图3为本申请一个实施例提供的句子情感分析方法中S3的流程示意图，包括步骤S301~S303，具体如下：
S301：根据所述常识文本以及词嵌入模型，构建所述常识文本的嵌入空间。
分析设备将所述常识文本输入至所述GloVe模型，获得所述GloVe模型输出的嵌入空间KSE：
Figure 45420DEST_PATH_IMAGE068
其中，所述
Figure 905928DEST_PATH_IMAGE069
是所述嵌入空间KSE的维度，
Figure 839249DEST_PATH_IMAGE070
是所述常识文本中方面词的查询结 果数量的最大值。
S302：根据所述常识文本的嵌入空间、以及嵌入划分算法，获取所述常识文本的位置嵌入向量。
由于一个待测文本对应多个常识文本，在查询与所述待测文本中的方面词相关联的常识文本时，为了区别所述常识文本之间的不同，需要对所述常识文本进行划分。
在本实施例中，分析设备利用嵌入划分算法对所述常识文本进行划分，获取所述常识文本的位置嵌入向量，其中，所述嵌入划分算法为：
Figure 976969DEST_PATH_IMAGE071
式中，
Figure 593502DEST_PATH_IMAGE072
为所述嵌入空间KSE的索引，n为所述常识文本的序列数。
S303：将所述待测文本的词向量以及所述常识文本的位置嵌入向量进行拼接，获取所述常识文本的句子向量。
划分完毕后，将所述待测文本的词向量与对应的常识文本的位置嵌入向量进行拼接，获取所述常识文本的句子向量，其中，所述常识文本的句子向量的表达式为：
Figure 816673DEST_PATH_IMAGE073
S4：将所述待测文本的句子向量输入至第一双向BiLSTM网络中，获取所述待测文本的隐藏层向量。
所述双向BiLSTM（Bi-directional Long Short-Term Memory）网络为循环神经网络结构，是由前向LSTM与后向LSTM组合而成。所述BiLSTM网络在自然语言处理任务中都常被用来建模上下文信息。
在本实施例中，分析设备将所述待测文本句子向量输入至第一双向BiLSTM网络中，获取所述待测文本的隐藏层向量，具体如下：
Figure 288106DEST_PATH_IMAGE074
式中，
Figure 670546DEST_PATH_IMAGE075
为所述待测文本的第i个方面词利用第一双向BiLSTM网络获取到的隐藏 层向量，
Figure 834811DEST_PATH_IMAGE076
为所述第一双向BiLSTM网络的参数，
Figure 545278DEST_PATH_IMAGE077
为所述待测文本的隐藏层向 量序列，
Figure 679456DEST_PATH_IMAGE078
为所述
Figure 57347DEST_PATH_IMAGE077
中的子序列，
Figure 126935DEST_PATH_IMAGE079
为所述
Figure 590277DEST_PATH_IMAGE080
的子序列的均值，其中，所述子序 列为：
Figure 262567DEST_PATH_IMAGE081
取所述
Figure 494965DEST_PATH_IMAGE078
的均值
Figure 735453DEST_PATH_IMAGE079
作为本实施例的所述待测文本的隐藏层向量。
S5：将所述常识文本的句子向量输入至第二双向LSTM网络中，获取所述常识文本的隐藏层向量。
在本实施例中，分析设备将所述常识文本句子向量输入至第二双向BiLSTM网络中，获取所述常识文本的隐藏层向量，具体如下：
Figure 46611DEST_PATH_IMAGE082
式中，
Figure 663538DEST_PATH_IMAGE027
为所述常识文本的第i个方面词利用第二双向BiLSTM网络获取到的隐藏 层向量，
Figure 750442DEST_PATH_IMAGE083
为所述第二双向BiLSTM网络的参数。
S6：根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法，获取位置信息特征。
所述多头自注意力机制模型包括位置联合注意力算法，所述位置联合注意力算法用于对所述待测文本的上下文信息进行分析，在本实施例中，分析设备根据所述待测文本的隐藏层向量以及位置联合注意力算法，获取所述待测文本的位置信息向量；根据所述位置信息向量以及多头自注意力机制模型中的位置联合注意力算法，获取位置信息特征。
请参阅图4，图4为本申请一个实施例提供的句子情感分析方法中S6的流程示意图，包括步骤S601~S602，具体如下：
S601：根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法，获取所述待测文本的位置信息向量。
所述位置联合注意力算法包括函数
Figure 552045DEST_PATH_IMAGE084
，具体如下：
Figure 458821DEST_PATH_IMAGE085
式中，
Figure 613859DEST_PATH_IMAGE086
为第i个方面词在所述多头自注意力机制模型的第t个注意力头提取得 到的第一嵌入向量；
Figure 945483DEST_PATH_IMAGE009
为第i个方面词在所述多头自注意力机制模型的第t个注意力头提 取得到的第二嵌入向量；
Figure 527774DEST_PATH_IMAGE010
为关于所述位置信息特征的第一层感知机的权重参数，
Figure 187426DEST_PATH_IMAGE087
为 关于所述位置信息特征的第一层感知机的偏置参数；
Figure 146154DEST_PATH_IMAGE012
为关于所述位置信息特征的第二 层感知机的权重参数，
Figure 66706DEST_PATH_IMAGE088
为关于所述位置信息特征的第二层感知机的偏置参数；
Figure 85477DEST_PATH_IMAGE014
为第i 个方面词在所述多头自注意力机制模型的第t个注意力头得到的权重参数；
Figure 232425DEST_PATH_IMAGE089
为所述待测 文本的位置信息向量；
Figure 86855DEST_PATH_IMAGE090
为非线性激活函数；
在本实施例中，分析设备将所述待测文本的隐藏层向量输入至多头自注意力机制 模型中，根据所述位置联合注意力算法以及相应的参数，获取所述待测文本的位置信息向 量
Figure 2859DEST_PATH_IMAGE089
。
S602：根据所述待测文本的位置信息向量以及位置联合注意力算法，获取位置信息特征。
所述位置联合注意力算法包括函数
Figure 192531DEST_PATH_IMAGE091
，具体如下：
Figure 951409DEST_PATH_IMAGE092
式中，
Figure 251940DEST_PATH_IMAGE093
为所述位置信息特征；
Figure 756871DEST_PATH_IMAGE094
为所述多头自注意力机制模型关 于位置信息特征的并行模块数量；
Figure 242079DEST_PATH_IMAGE019
为所述多头自注意力机制模型关于位置信息特征 的不同注意力头的单层感知机的权重参数；
在本实施例中，分析设备将所述待测文本的位置信息向量输入至所述位置联合注 意力算法中，根据函数
Figure 363619DEST_PATH_IMAGE095
，获取位置信息特征。
S7：根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征。
在本实施例中，分析设备根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征。
请参阅图5，图5为本申请一个实施例提供的句子情感分析方法中S7的流程示意图，包括步骤S701~S703，具体如下：
S701：根据所述常识文本的隐藏层向量以及多头自注意力机制模型中常识联合注意力算法，获取所述常识文本的常识信息向量。
所述多头自注意力机制模型还包括常识联合注意力算法，所述常识联合注意力算法用于对所述常识文本的上下文信息进行分析，在本实施例中，分析设备根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取所述常识文本的常识信息向量。
所述常识联合注意力算法包括函数
Figure 202262DEST_PATH_IMAGE096
，具体如下：
Figure 951912DEST_PATH_IMAGE097
式中，
Figure 483387DEST_PATH_IMAGE022
为关于所述常识信息特征的第一层感知机的权重参数，
Figure 826644DEST_PATH_IMAGE023
为关于所 述常识信息特征的第一层感知机的偏置参数；
Figure 734557DEST_PATH_IMAGE098
为关于所述常识信息特征的第二层感知 机的权重参数，
Figure 105758DEST_PATH_IMAGE099
为关于所述常识信息特征的偏置参数；
Figure 542555DEST_PATH_IMAGE100
为第i个方面词在所述多头 自注意力机制模型的第t个注意力头得到的常识信息特征的权重参数；
在本实施例中，分析设备将所述常识文本的隐藏层向量
Figure 373108DEST_PATH_IMAGE027
输入至多头自注意力 机制模型中，获取所述常识文本的常识信息向量
Figure 678188DEST_PATH_IMAGE028
。
S702：根据所述常识文本的常识信息以及常识联合注意力算法，获取所述常识文本的信息瓶颈特征。
所述常识联合注意力算法包括函数
Figure 543375DEST_PATH_IMAGE101
，具体如下：
Figure 416654DEST_PATH_IMAGE102
式中，μ为所述常识文本的近似分布
Figure 593557DEST_PATH_IMAGE029
的均值；
Figure 577693DEST_PATH_IMAGE103
为所述常识文本的近似分布
Figure 297388DEST_PATH_IMAGE029
的方差；
Figure 341567DEST_PATH_IMAGE031
为关于所述均值μ的权重参数，
Figure 271346DEST_PATH_IMAGE032
为关于所述均值μ的偏置参数；z为所述常识 文本的变分瓶颈参数；
Figure 59173DEST_PATH_IMAGE033
为非线性激活函数；
Figure 367795DEST_PATH_IMAGE034
为关于所述方差
Figure 206045DEST_PATH_IMAGE104
的权重参数，
Figure 232906DEST_PATH_IMAGE036
为关 于所述方差
Figure 558846DEST_PATH_IMAGE103
的偏置参数；
Figure 112187DEST_PATH_IMAGE105
为在近似分布
Figure 498169DEST_PATH_IMAGE029
中进行采样的随机向量；
Figure 277906DEST_PATH_IMAGE106
为点乘符号；
在本实施例中，分析设备将所述常识文本的隐藏层向量输入至所述常识联合注意 力算法中，根据相应的感知机参数，获取获取所述常识文本的信息瓶颈特征μ、
Figure 407536DEST_PATH_IMAGE104
以及z。
S703：根据所述常识文本的信息瓶颈特征以及常识联合注意力算法，获取所述常识文本的常识信息特征。
所述常识联合注意力算法还包括函数
Figure 80963DEST_PATH_IMAGE107
，具体如下：
Figure 529524DEST_PATH_IMAGE108
式中，
Figure 265399DEST_PATH_IMAGE038
为所述常识信息特征；
Figure 933140DEST_PATH_IMAGE109
为所述常识文本的权重参数；
Figure 461074DEST_PATH_IMAGE110
为所 述常识文本的偏置参数；
在本实施例中，分析设备将所述常识文本的信息瓶颈特征输入至所述常识联合注意力算法中，获取所述常识文本的常识信息特征。
请参阅图6，图6为本申请另一个实施例提供的句子情感分析方法中S7的流程示意图，还包括步骤S704~S705，具体如下：
S704：根据所述常识文本的常识信息向量、信息瓶颈特征以及变分瓶颈算法，获取所述常识文本的常识信息向量的评价参数。
其中，所述变分瓶颈算法为：
Figure 188858DEST_PATH_IMAGE111
式中，
Figure 412029DEST_PATH_IMAGE112
为评价参数；
Figure 273675DEST_PATH_IMAGE113
为所述变分瓶颈算法的强度参数；
Figure 531481DEST_PATH_IMAGE114
为期望函数；KL 为相对熵函数；
Figure 430167DEST_PATH_IMAGE115
为所述近似分布
Figure 265267DEST_PATH_IMAGE029
的先验概率；
Figure 540391DEST_PATH_IMAGE116
为所述近似分布
Figure 652703DEST_PATH_IMAGE029
的近似估 计；
在本实施例中，分析设备将所述常识文本的常识信息向量、信息瓶颈特征以及输入至变分瓶颈算法，根据预设的先验概率以及近似估计概率，获取所述常识文本的隐藏层向量的评价参数。
S705：根据所述常识文本的常识信息向量的评价参数，对所述常识文本的意见词信息进行评价。
在本实施例中，分析设备对所述常识文本的常识信息向量的评价参数进行分析，所述评价参数的值越小，则表示所述神经网络模型输出的常识文本的常识信息向量的结果越好。
S8：获取所述待测文本相对应的依存句法树，根据所述待测文本、依存句法树以及所述多头自注意力机制模型，获取所述待测文本的句法信息向量。
在本实施例中，分析设备获取所述待测文本相对应的依存句法树，根据所述待测文本以及依存句法树，获取所述待测文本的权重向量，将所述待测文本的权重向量输入至所述多头自注意力机制模型中，获取所述多头自注意力机制模型输出的所述待测文本的句法信息向量。
请参阅图7，图7为本申请一个实施例提供的句子情感分析方法中S8的流程示意图，包括步骤S801~S802，具体如下：
S801：获取依存句法树，将所述待测文本的方面词设置在所述依存句法树的根节点上，其中，所述依存句法树包括子节点与根节点，所述子节点与所述根节点直接连接。
依存句法树为将句子分析成一棵依存句法树，描述出各个词语之间的依存关系。
在本实施例中，分析设备将所述待测文本的方面词设置在所述依存句法树的根节点上，当所述待测文本包括多个方面词，将所述待测文本的方面词分别单独设置在各个根节点上。
S802：获取所述子节点与根节点的距离，根据所述距离以及预设的距离阈值，去除所述距离大于距离阈值的子节点与根节点的连接关系，获取与所述待测文本相对应的依存句法图。
在本实施例中，分析设备获取所述子节点与根节点的距离，根据所述距离以及预设的距离阈值，去除所述距离大于距离阈值的子节点与根节点的连接关系，获取与所述待测文本相对应的依存句法图。
在一个可选的实施例中，当距离阈值设定为3个距离值时，所述子节点与根节点的距离值大于3时，舍弃所述根节点与该子节点的连接关系，当所述子节点与根节点的距离值小于或等于3时，舍弃所述根节点与该子节点的连接关系，获取与所述待测文本相对应的依存句法图。
S9：根据所述依存句法图、待测文本的隐藏层向量以及多头自注意力机制模型中的句法联合注意力算法，获取句法信息特征。
所述多头自注意力机制模型还包括句法联合注意力算法，所述句法联合注意力算法用于对所述待测文本的句子中的信息进行分析，在本实施例中，分析设备根据所述依存句法图以及所述多头自注意力机制模型中的句法联合注意力算法，获取所述待测文本的句法信息向量，根据所述句法信息向量以及待测文本的隐藏层向量以及多头自注意力机制模型中的句法联合注意力算法，获取句法信息特征。
请参阅图8，图8为本申请一个实施例提供的句子情感分析方法中S9的流程示意图，包括步骤S901~S902，具体如下：
S901：根据所述依存句法图以及所述多头自注意力机制模型中的句法联合注意力算法，获取所述待测文本的句法信息向量。
所述句法信息计算算法包括函数
Figure 987870DEST_PATH_IMAGE117
，具体如下：
Figure 566660DEST_PATH_IMAGE118
式中，
Figure 645475DEST_PATH_IMAGE043
为所述依存句法图中第i个句法关系在所述多头自注意力机制模型的第t个注意力头提取到的注意力值；
Figure 242995DEST_PATH_IMAGE045
为所述依存句法图中第i个句法关系，
Figure 544981DEST_PATH_IMAGE046
为关于所述 句法信息特征的第一层感知机的权重参数，
Figure 756519DEST_PATH_IMAGE120
为关于所述句法信息特征的第一层感知机 的偏置参数；
Figure 167909DEST_PATH_IMAGE121
为关于所述句法信息特征的第二层感知机的权重参数，
Figure 74685DEST_PATH_IMAGE122
为关于所述句 法信息特征的第二层感知机的偏置参数；
Figure 619936DEST_PATH_IMAGE050
为第i个句法关系在所述多头自注意力机制模 型的第t个注意力头提取到的注意力权重；
Figure 561347DEST_PATH_IMAGE123
为所述待测文本的句法信息向量；
在本实施例中，分析设备根据所述依存句法图、相关参数，获得所述待测文本的句法信息向量。
S902：根据所述待测文本的句法信息以及多头自注意力机制模型中的句法联合注意力算法，获取所述句法信息特征。
所述句法联合注意力算法还包括函数
Figure 409217DEST_PATH_IMAGE124
，具体如下：
Figure 429388DEST_PATH_IMAGE125
式中，
Figure 388117DEST_PATH_IMAGE126
为所述常识信息特征；
Figure 449614DEST_PATH_IMAGE127
为所述多头自注意力机制模型的并 行模块数量；
Figure 468385DEST_PATH_IMAGE128
为所述多头自注意力机制模型关于句法信息特征的不同注意力头的 单层感知机的权重参数；
在本实施例中，分析设备将所述待测文本的句法信息输入至所述多头自注意力机 制模型中的句法联合注意力算法中，根据函数
Figure 474387DEST_PATH_IMAGE124
，获得所述神经网络模型输出的所述待 测文本的句法信息特征。
S10：将所述位置信息特征、句法信息特征、常识信息特征进行拼接融合，获取融合信息特征，将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果。
在本实施例中，分析设备将所述位置信息特征、句法信息特征、常识信息特征进行拼接融合，获取融合信息特征，其中，所述融合信息特征的表达式为：
Figure 971228DEST_PATH_IMAGE129
式中，
Figure 887231DEST_PATH_IMAGE130
为所述融合信息特征；
将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果，所述情感分析结果的表达式为：
Figure 201538DEST_PATH_IMAGE131
式中，
Figure 835782DEST_PATH_IMAGE132
为所述情感分类结果，
Figure 870734DEST_PATH_IMAGE133
为所述Softmax分类网络的感知机的权重参数，
Figure 765877DEST_PATH_IMAGE134
为所述Softmax分类网络的感知机的偏置参数。
请参阅图9，图9为本申请一个实施例提供的句子情感分析装置的结构示意图，该装置可以通过软件、硬件或两者的结合实现句子情感分析方法的全部或一部分，该装置9包括：
文本获取模块90，用于获取待测文本以及与所述待测文本相对应的常识文本，其中，所述待测文本包括若干个句子，所述句子中包括若干个方面词；
第一句子向量获取模块91，用于将所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量；
第二句子向量获取模块92，用于根据所述常识文本、待测文本的词向量以及所述词嵌入模型，获取所述常识文本的句子向量；
第一隐藏层向量获取模块93，用于将所述待测文本的句子向量输入至第一双向LSTM网络中，获取所述待测文本的隐藏层向量；
第二隐藏层向量获取模块94，用于将所述常识文本的句子向量输入至第二双向LSTM网络中，获取所述常识文本的隐藏层向量；
位置信息特征获取模块95，用于根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法，获取位置信息特征；
常识信息特征获取模块96，用于根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征；
依存句法图获取模块97，用于获取依存句法树，根据所述待测文本以及依存句法树，获取与所述待测文本相对应的依存句法图；
句法信息特征获取模块98，用于根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中的句法联合注意力算法，获取句法信息特征；
情感分析结果获取模块99，用于将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型，对所述信息特征进行拼接融合，获取融合信息特征，将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果。
在本申请的实施例中，通过文本获取模块，获取待测文本以及与所述待测文本相对应的常识文本，其中，所述待测文本包括若干个句子，所述句子中包括若干个方面词；通过第一句子向量获取模块所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量；通过第二句子向量获取模块，根据所述常识文本、待测文本的词向量以及所述词嵌入模型，获取所述常识文本的句子向量；通过第一隐藏层向量获取模块，将所述待测文本的句子向量输入至第一双向LSTM网络中，获取所述待测文本的隐藏层向量；通过第二隐藏层向量获取模块，将所述常识文本的句子向量输入至第二双向LSTM网络中，获取所述常识文本的隐藏层向量；通过位置信息特征获取模块根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法，获取位置信息特征；通过常识信息特征获取模块根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征；通过依存句法图获取模块，获取依存句法树，根据所述待测文本以及依存句法树，获取与所述待测文本相对应的依存句法图，通过句法信息特征获取模块，根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中的句法联合注意力算法，获取句法信息特征；通过情感分析结果获取模块，将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型，对所述信息特征进行拼接融合，获取融合信息特征，将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果。不仅考虑了待测文本的上下文信息，还能够引用与待测文本中方面词相对应的常识文本，并通过构建待测文本的依存句法图，更加全面地对待测文本进行情感分析，提升了情感分析的准确性以及效率。
请参考图10，图10为本申请一个实施例提供的设备的结构示意图，设备10包括：处理器101、存储器102以及存储在存储器102上并可在处理器101上运行的计算机程序103；计算机设备可以存储有多条指令，指令适用于由处理器101加载并执行上述图1至图8所述实施例的方法步骤，具体执行过程可以参见图1至图8所述实施例的具体说明，在此不进行赘述。
其中，处理器101可以包括一个或多个处理核心。处理器101利用各种接口和线路连接服务器内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储器102内的数据，执行句子情感分析装置9的各种功能和处理数据，可选的，处理器101可以采用数字信号处理（Digital Signal Processing,DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programble LogicArray，PLA）中的至少一个硬件形式来实现。处理器101可集成中央处理器101（CentralProcessing Unit，CPU）、图像处理器101（Graphics Processing Unit，GPU）和调制解调器等中的一个或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器101中，单独通过一块芯片进行实现。
其中，存储器102可以包括随机存储器102（Random Access Memory，RAM），也可以包括只读存储器102（Read-Only Memory）。可选的，该存储器102包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控指令等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器102可选的还可以是至少一个位于远离前述处理器101的存储装置。
本申请实施例还提供了一种存储介质，所述存储介质可以存储有多条指令，所述指令适用于由处理器加载并执行所示实施例一至实施例三的方法步骤，具体执行过程可以参见所示图1至图5所述实施例的具体说明，在此不进行赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (8)

1.一种句子情感分析方法，其特征在于，包括步骤：
获取待测文本以及与所述待测文本相对应的常识文本，其中，所述待测文本包括若干个句子，所述句子中包括若干个方面词；
将所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量；
根据所述常识文本、待测文本的词向量以及所述词嵌入模型，获取所述常识文本的句子向量；
将所述待测文本的句子向量输入至第一双向LSTM网络中，获取所述待测文本的隐藏层向量；
将所述常识文本的句子向量输入至第二双向LSTM网络中，获取所述常识文本的隐藏层向量；
根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算 法，获取位置信息特征，其中，所述位置联合注意力算法包括
Figure 531659DEST_PATH_IMAGE001
，具体如下：
Figure 322897DEST_PATH_IMAGE002
式中，
Figure 729608DEST_PATH_IMAGE003
为所述待测文本的隐藏层向量序列，
Figure 788437DEST_PATH_IMAGE004
为所述
Figure 153560DEST_PATH_IMAGE005
的子序列的均值；
Figure 432094DEST_PATH_IMAGE006
为所述待测文本的隐藏层向量；
Figure 580179DEST_PATH_IMAGE007
为所述待测文本的位置嵌入向量；
Figure 496444DEST_PATH_IMAGE008
为第i个方面词 在所述多头自注意力机制模型的第t个注意力头提取得到的第一嵌入向量；
Figure 298047DEST_PATH_IMAGE009
为第i个方 面词在所述多头自注意力机制模型的第t个注意力头提取得到的第二嵌入向量；
Figure 532719DEST_PATH_IMAGE010
为关于 所述位置信息特征的第一层感知机的权重参数，
Figure 514189DEST_PATH_IMAGE011
为关于所述位置信息特征的第一层感 知机的偏置参数；
Figure 314654DEST_PATH_IMAGE012
为关于所述位置信息特征的第二层感知机的权重参数，
Figure 224841DEST_PATH_IMAGE013
为关于所 述位置信息特征的第二层感知机的偏置参数；
Figure 415651DEST_PATH_IMAGE014
为第i个方面词在所述多头自注意力机制 模型的第t个注意力头得到的权重参数；
Figure 702276DEST_PATH_IMAGE015
为所述待测文本的位置信息向量；
Figure 858713DEST_PATH_IMAGE016
为非线性 激活函数；
Figure 408643DEST_PATH_IMAGE017
为所述位置信息特征；
Figure 149066DEST_PATH_IMAGE018
为所述多头自注意力机制模型关于位 置信息特征的并行模块数量；
Figure 442644DEST_PATH_IMAGE019
为所述多头自注意力机制模型关于位置信息特征的 不同注意力头的单层感知机的权重参数；
根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征，其中， 所述常识联合注意力算法包括
Figure 155385DEST_PATH_IMAGE020
，具体如下：
Figure 876217DEST_PATH_IMAGE021
式中，
Figure 805733DEST_PATH_IMAGE022
为关于所述常识信息特征的第一层感知机的权重参数，
Figure 699740DEST_PATH_IMAGE023
为关于所述常识 信息特征的第一层感知机的偏置参数；
Figure 1408DEST_PATH_IMAGE024
为关于所述常识信息特征的第二层感知机的权 重参数，
Figure 158720DEST_PATH_IMAGE025
为关于所述常识信息特征的偏置参数；
Figure 873735DEST_PATH_IMAGE026
为第i个方面词在所述多头自注意 力机制模型的第t个注意力头得到的常识信息特征的权重参数；
Figure 243537DEST_PATH_IMAGE027
为所述常识文本的隐 藏层向量；
Figure 432335DEST_PATH_IMAGE028
为所述常识文本的常识信息向量；μ为所述常识文本的近似分布
Figure 557286DEST_PATH_IMAGE029
的均值；
Figure 431701DEST_PATH_IMAGE030
为所述常识文本的近似分布
Figure 933089DEST_PATH_IMAGE029
的方差；
Figure 209350DEST_PATH_IMAGE031
为关于所述均值μ的权重参数，
Figure 27175DEST_PATH_IMAGE032
为关于所 述均值μ的偏置参数；z为所述常识文本的变分瓶颈参数；
Figure 388886DEST_PATH_IMAGE033
为在近似分布
Figure 366069DEST_PATH_IMAGE034
中进行采样的 随机向量；
Figure 824732DEST_PATH_IMAGE035
为点乘符号；
Figure 494748DEST_PATH_IMAGE036
为非线性激活函数；
Figure 343755DEST_PATH_IMAGE037
为关于所述方差
Figure 124629DEST_PATH_IMAGE038
的权重参数，
Figure 939264DEST_PATH_IMAGE039
为关于所述方差
Figure 311339DEST_PATH_IMAGE040
的偏置参数；
Figure 913222DEST_PATH_IMAGE041
为所述常识信息特征；
Figure 232208DEST_PATH_IMAGE042
为所述常识文本的权 重参数；
Figure 399884DEST_PATH_IMAGE043
为所述常识文本的偏置参数；
获取依存句法树，根据所述待测文本以及依存句法树，获取与所述待测文本相对应的依存句法图；
根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中的句 法联合注意力算法，获取句法信息特征，其中，所述句法联合注意力算法包括
Figure 644658DEST_PATH_IMAGE044
，具体 如下：
Figure 468258DEST_PATH_IMAGE045
式中，
Figure 653252DEST_PATH_IMAGE046
为所述依存句法图中第i个句法关系在所述多头自注意力机制模型的第t个注 意力头提取到的注意力值；
Figure 613117DEST_PATH_IMAGE047
为所述依存句法图中第i个句法关系，
Figure 592575DEST_PATH_IMAGE048
为关于所述句法 信息特征的第一层感知机的权重参数，
Figure 903470DEST_PATH_IMAGE049
为关于所述句法信息特征的第一层感知机的偏 置参数；
Figure 128041DEST_PATH_IMAGE050
为关于所述句法信息特征的第二层感知机的权重参数，
Figure 942413DEST_PATH_IMAGE051
为关于所述句法 信息特征的第二层感知机的偏置参数；
Figure 358351DEST_PATH_IMAGE052
为第i个句法关系在所述多头自注意力机制模型 的第t个注意力头提取到的注意力权重；
Figure 890963DEST_PATH_IMAGE053
为所述待测文本的句法信息向量；
Figure 152180DEST_PATH_IMAGE054
为所 述多头自注意力机制模型的并行模块数量，
Figure 585173DEST_PATH_IMAGE055
为所述多头自注意力机制模型关于句法 信息特征的不同注意力头的单层感知机的权重参数；
Figure 375275DEST_PATH_IMAGE056
为所述常识信息特征；
将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型，对所述位置信息特征、句法信息特征以及常识信息特征进行拼接融合，获取融合信息特征，将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果。
2.根据权利要求1所述的句子情感分析方法，其特征在于，所述将所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量，包括步骤：
根据所述待测文本以及词嵌入模型，构建所述待测文本的嵌入空间，获取所述待测文本的词向量；
根据所述待测文本的嵌入空间以及位置索引序列算法，获取所述待测文本的位置嵌入向量，其中所述位置索引序列算法为：
Figure 191921DEST_PATH_IMAGE057
式中，
Figure 460091DEST_PATH_IMAGE058
为所述待测文本的方面词的起始索引；
Figure 311373DEST_PATH_IMAGE059
为所述待测文本的方面词的 结束索引，
Figure 741217DEST_PATH_IMAGE060
为所述嵌入空间的索引；
将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量。
3.根据权利要求1所述的句子情感分析方法，其特征在于，所述根据所述常识文本、待测文本的词向量以及所述词嵌入模型，获取所述常识文本的句子向量，包括步骤：
根据所述常识文本以及词嵌入模型，构建所述常识文本的嵌入空间；
根据所述常识文本的嵌入空间、以及嵌入划分算法，获取所述常识文本的位置嵌入向量，其中，所述嵌入划分算法为：
Figure 546624DEST_PATH_IMAGE061
式中，
Figure 149644DEST_PATH_IMAGE062
为所述常识文本的嵌入空间的索引，n为所述常识文本的序列数；
将所述待测文本的词向量以及所述常识文本的位置嵌入向量进行拼接，获取所述常识文本的句子向量。
4.根据权利要求1所述的句子情感分析方法，其特征在于，所述根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征，包括步骤：
根据所述常识文本的常识信息、信息瓶颈特征以及变分瓶颈算法，获取所述常识文本的常识信息的评价参数，其中，所述变分瓶颈算法为：
Figure 589853DEST_PATH_IMAGE063
式中，
Figure 518494DEST_PATH_IMAGE064
为评价参数；
Figure 542689DEST_PATH_IMAGE065
为所述变分瓶颈算法的强度参数；
Figure 152662DEST_PATH_IMAGE066
为期望函数；KL为相 对熵函数；
Figure 978535DEST_PATH_IMAGE067
为所述近似分布
Figure 546920DEST_PATH_IMAGE068
的先验概率；
Figure 28717DEST_PATH_IMAGE069
为所述近似分布
Figure 740583DEST_PATH_IMAGE068
的近似估计；
根据所述常识文本的常识信息的评价参数，对所述常识文本的常识信息进行评价。
5.根据权利要求1所述的句子情感分析方法，其特征在于：所述获取依存句法树，根据所述待测文本以及依存句法树，获取与所述待测文本相对应的依存句法图，包括步骤：
获取依存句法树，将所述待测文本的方面词设置在所述依存句法树的根节点上，其中，所述依存句法树包括子节点与根节点，所述子节点与所述根节点直接连接；
获取所述子节点与根节点的距离，根据所述距离以及预设的距离阈值，去除所述距离大于距离阈值的子节点与根节点的连接关系，获取与所述待测文本相对应的依存句法图。
6.一种句子情感分析的装置，其特征在于，包括：
文本获取模块，用于获取待测文本以及与所述待测文本相对应的常识文本，其中，所述待测文本包括若干个句子，所述句子中包括若干个方面词；
第一句子向量获取模块，用于将所述待测文本输入至词嵌入模型，获取待测文本的方面词的词向量以及位置嵌入向量，将所述待测文本的词向量以及位置嵌入向量进行拼接，获取所述待测文本的句子向量；
第二句子向量获取模块，用于根据所述常识文本、待测文本的词向量以及所述词嵌入模型，获取所述常识文本的句子向量；
第一隐藏层向量获取模块，用于将所述待测文本的句子向量输入至第一双向LSTM网络中，获取所述待测文本的隐藏层向量；
第二隐藏层向量获取模块，用于将所述常识文本的句子向量输入至第二双向LSTM网络中，获取所述常识文本的隐藏层向量；
位置信息特征获取模块，用于根据所述待测文本的隐藏层向量以及多头自注意力机制模型中的位置联合注意力算法，获取位置信息特征；
常识信息特征获取模块，用于根据所述常识文本的隐藏层向量以及常识联合注意力算法，获取常识信息特征；
依存句法图获取模块，用于获取依存句法树，根据所述待测文本以及依存句法树，获取与所述待测文本相对应的依存句法图；
句法信息特征获取模块，用于根据所述依存句法图、待测文本的隐藏层向量以及所述多头自注意力机制模型中的句法联合注意力算法，获取句法信息特征；
情感分析结果获取模块，用于将所述位置信息特征、句法信息特征、常识信息特征输入至所述多头自注意力机制模型，对所述位置信息特征、句法信息特征以及常识信息特征进行拼接融合，获取融合信息特征，将所述融合信息特征输入至Softmax分类网络中，获取所述待测文本的情感分析结果。
7.一种设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的句子情感分析方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的句子情感分析方法的步骤。
CN202111251339.5A 2021-10-27 2021-10-27 句子情感分析方法、装置以及设备 Active CN113688212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251339.5A CN113688212B (zh) 2021-10-27 2021-10-27 句子情感分析方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251339.5A CN113688212B (zh) 2021-10-27 2021-10-27 句子情感分析方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN113688212A CN113688212A (zh) 2021-11-23
CN113688212B true CN113688212B (zh) 2022-02-08

Family

ID=78588207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251339.5A Active CN113688212B (zh) 2021-10-27 2021-10-27 句子情感分析方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN113688212B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114547312B (zh) * 2022-04-07 2022-08-16 华南师范大学 基于常识知识图谱的情感分析方法、装置以及设备
CN115687617B (zh) * 2022-10-14 2023-10-27 荣耀终端有限公司 一种数据处理方法和数据处理装置
CN115906863B (zh) * 2022-10-25 2023-09-12 华南师范大学 基于对比学习的情感分析方法、装置、设备以及存储介质
CN115712726B (zh) * 2022-11-08 2023-09-12 华南师范大学 基于双词嵌入的情感分析方法、装置以及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633007B1 (en) * 2016-03-24 2017-04-25 Xerox Corporation Loose term-centric representation for term classification in aspect-based sentiment analysis
WO2018213763A1 (en) * 2017-05-19 2018-11-22 Salesforce.Com, Inc. Natural language processing using context-specific word vectors
WO2019071599A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc PROVIDING AN ANSWER IN A SESSION
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN112528672A (zh) * 2020-12-14 2021-03-19 北京邮电大学 一种基于图卷积神经网络的方面级情感分析方法及装置
CN113435211A (zh) * 2021-07-19 2021-09-24 北京理工大学 一种结合外部知识的文本隐式情感分析方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533208B2 (en) * 2009-09-28 2013-09-10 Ebay Inc. System and method for topic extraction and opinion mining
US20130124545A1 (en) * 2011-11-15 2013-05-16 Business Objects Software Limited System and method implementing a text analysis repository
WO2017124116A1 (en) * 2016-01-15 2017-07-20 Bao Sheng Searching, supplementing and navigating media
US20180053107A1 (en) * 2016-08-19 2018-02-22 Sap Se Aspect-based sentiment analysis
US11216722B2 (en) * 2016-12-31 2022-01-04 Intel Corporation Hardware accelerator template and design framework for implementing recurrent neural networks
CN112001186A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种利用图卷积神经网络和中文句法的情感分类方法
CN113378545B (zh) * 2021-06-08 2022-02-11 北京邮电大学 一种方面级情感分析方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633007B1 (en) * 2016-03-24 2017-04-25 Xerox Corporation Loose term-centric representation for term classification in aspect-based sentiment analysis
WO2018213763A1 (en) * 2017-05-19 2018-11-22 Salesforce.Com, Inc. Natural language processing using context-specific word vectors
WO2019071599A1 (en) * 2017-10-13 2019-04-18 Microsoft Technology Licensing, Llc PROVIDING AN ANSWER IN A SESSION
CN111259142A (zh) * 2020-01-14 2020-06-09 华南师范大学 基于注意力编码和图卷积网络的特定目标情感分类方法
CN112528672A (zh) * 2020-12-14 2021-03-19 北京邮电大学 一种基于图卷积神经网络的方面级情感分析方法及装置
CN113435211A (zh) * 2021-07-19 2021-09-24 北京理工大学 一种结合外部知识的文本隐式情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bilateral-brain-like Semantic and Syntactic;Jinpeng Chen et al;《2021 International Joint Conference on Neural Networks (IJCNN)》;20210920;全文 *

Also Published As

Publication number Publication date
CN113688212A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113688212B (zh) 句子情感分析方法、装置以及设备
US11574116B2 (en) Apparatus and method for providing summarized information using an artificial intelligence model
US11907675B2 (en) Generating training datasets for training neural networks
CN115204183B (zh) 基于知识增强的双通道情感分析方法、装置以及设备
CN115699109A (zh) 使用多模态融合框架来处理承载有图像的电子文档
US20180068009A1 (en) Point-in-time dependent identification for offering interactive services in a user web journey
CN110555469A (zh) 处理交互序列数据的方法及装置
CN112801219A (zh) 一种多模态情感分类方法、装置及设备
CN110580489B (zh) 一种数据对象的分类系统、方法以及设备
US10198497B2 (en) Search term clustering
CN110858226A (zh) 对话管理方法和装置
CN113989476A (zh) 对象识别方法及电子设备
CN112948575A (zh) 文本数据处理方法、装置和计算机可读存储介质
CN111783427B (zh) 用于训练模型与输出信息的方法、装置、设备及存储介质
CN115168592A (zh) 基于方面类别的语句情感分析方法、装置以及设备
CN116703506A (zh) 一种基于多特征融合的电商商品推荐方法及系统
CN115905524B (zh) 融合句法和语义信息的情感分析方法、装置以及设备
CN114547312B (zh) 基于常识知识图谱的情感分析方法、装置以及设备
CN115906863B (zh) 基于对比学习的情感分析方法、装置、设备以及存储介质
CN115905518B (zh) 基于知识图谱的情感分类方法、装置、设备以及存储介质
CN111274382A (zh) 文本分类方法、装置、设备及存储介质
CN113989562A (zh) 模型训练、图像分类方法和装置
CN109800438B (zh) 用于生成信息的方法和装置
CN111831818A (zh) 文本信息识别方法、装置及存储介质
KR102262285B1 (ko) 사용자 리뷰 분석에 기반한 사용자 사이의 취향 유사도 산출 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant