CN115712726B - 基于双词嵌入的情感分析方法、装置以及设备 - Google Patents

基于双词嵌入的情感分析方法、装置以及设备 Download PDF

Info

Publication number
CN115712726B
CN115712726B CN202211389296.1A CN202211389296A CN115712726B CN 115712726 B CN115712726 B CN 115712726B CN 202211389296 A CN202211389296 A CN 202211389296A CN 115712726 B CN115712726 B CN 115712726B
Authority
CN
China
Prior art keywords
words
vectors
attention
sentence
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211389296.1A
Other languages
English (en)
Other versions
CN115712726A (zh
Inventor
陆子豪
胡晓晖
薛云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202211389296.1A priority Critical patent/CN115712726B/zh
Publication of CN115712726A publication Critical patent/CN115712726A/zh
Application granted granted Critical
Publication of CN115712726B publication Critical patent/CN115712726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本发明涉及情感分析领域，特别涉及一种基于双词嵌入的情感分析方法、装置、设备以及存储介质，获得待测语句的双词嵌入向量以及双词嵌入向量进行拼接处理后的词嵌入向量，并采用双通道进行特征提取，以获得语义特征信息和句法特征信息，同时采用交互注意力方法，分别将双词嵌入向量和双词嵌入向量进行拼接处理后的词嵌入向量进行交互，以获得注意力交互信息，使词嵌入信息得到弥补，结合语义特征信息、句法特征信息以及注意力交互信息，能够更加全面地对语句进行情感分析，提高情感分析的精准性以及效率。

Description

基于双词嵌入的情感分析方法、装置以及设备
技术领域
本发明涉及情感分析领域，特别涉及一种基于双词嵌入的情感分析方法、装置、设备以及存储介质。
背景技术
情感分类作为自然语言处理中的重要任务之一，文本情感分类是预测文本中不同情感极性的任务。目前难题是分析出文本最重要的情感词，进行情感分类。文本中语义信息可以很好帮助我们进行情感分类。另一方面，图神经网络在句法依赖树上，提取句法依赖关系已成为主流趋势。目前，利用双向长短期记忆网络(Bi-LSTM)对树的节点(单词)进行初始化，再通过堆叠GCN进一步增强提取句法特征嵌入，但是这些方法都没有很好的解决依赖树本身存在的噪声和不稳定性，并且过于依赖单一信息建模，而忽略了多元信息的重要性，从而无法准确地对语句进行准确的情感分析。
发明内容
基于此，本发明提供一种基于双词嵌入的情感分析方法、装置、设备以及存储介质，获得待测语句的双词嵌入向量以及双词嵌入向量进行拼接处理后的词嵌入向量，并采用双通道进行特征提取，以获得语义特征信息和句法特征信息，同时采用交互注意力方法，分别将双词嵌入向量和双词嵌入向量进行拼接处理后的词嵌入向量进行交互，以获得注意力交互信息，使词嵌入信息得到弥补，结合语义特征信息、句法特征信息以及注意力交互信息，能够更加全面地对语句进行情感分析，提高情感分析的精准性以及效率。
该技术方法如下：
第一方面，本申请实施例提供了一种基于双词嵌入的情感分析方法，包括以下步骤：
获取待测语句以及预设的情感分析模型，其中，所述待测语句包括若干个单词，所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、句子编码模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块；
将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量；
将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中进行特征提取，获取所述待测语句的若干个单词的语义特征向量；
获取所述待测语句的邻接矩阵，所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量，所述位置关联向量用于指示节点对应的单词彼此的位置关系，将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中进行特征提取，获取所述待测语句的若干个单词的句法特征向量；
将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量；
将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。
第二方面，本申请实施例提供了一种基于双词嵌入的情感分析装置，包括：
获取模块，用于获取待测语句以及预设的情感分析模型，其中，所述待测语句包括若干个单词，所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、句子编码模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块；
词嵌入向量计算模块，用于将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量；
语义特征提取模块，用于将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中进行特征提取，获取所述待测语句的若干个单词的语义特征向量；
句法特征提取模块，用于获取所述待测语句的邻接矩阵，所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量，所述位置关联向量用于指示节点对应的单词彼此的位置关系，将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中进行特征提取，获取所述待测语句的若干个单词的句法特征向量；
注意力交互模块，用于将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量；
情感分析模块，用于将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。
第三方面，本申请实施例提供了一种计算机设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述计算机程序被所述处理器执行时实现如第一方面所述的基于双词嵌入的情感分析方法的步骤。
第四方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于双词嵌入的情感分析方法的步骤。
在本实施例中，提供一种基于双词嵌入的情感分析方法、装置、设备以及存储介质，获得待测语句的双词嵌入向量以及双词嵌入向量进行拼接处理后的词嵌入向量，并采用双通道进行特征提取，以获得语义特征信息和句法特征信息，同时采用交互注意力方法，分别将双词嵌入向量和双词嵌入向量进行拼接处理后的词嵌入向量进行交互，以获得注意力交互信息，使词嵌入信息得到弥补，结合语义特征信息、句法特征信息以及注意力交互信息，能够更加全面地对语句进行情感分析，提高情感分析的精准性以及效率。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本申请第一实施例提供的基于双词嵌入的情感分析方法的流程示意图；
图2为本申请第一实施例提供的基于双词嵌入的情感分析方法中S3的流程示意图；
图3为本申请第一实施例提供的基于双词嵌入的情感分析方法中S4的流程示意图；
图4为本申请第一实施例提供的基于双词嵌入的情感分析方法中S5的流程示意图；
图5为本申请第一实施例提供的基于双词嵌入的情感分析方法中S6的流程示意图；
图6为本申请第二实施例提供的基于双词嵌入的情感分析方法的流程示意图；
图7为本申请第三实施例提供的基于双词嵌入的情感分析方法的流程示意图；
图8为本申请第四实施例提供的基于双词嵌入的情感分析装置的结构示意图；
图9为本申请第五实施例提供的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1，图1为本申请第一实施例提供的基于双词嵌入的情感分析方法的流程示意图，包括如下步骤：
S1：获取待测语句以及预设的情感分析模型。
本申请的基于双词嵌入的情感分析方法的执行主体为基于双词嵌入的情感分析方法的分析设备(以下简称分析设备)。
在一个可选的实施例中，分析设备可以是一台计算机设备，可以是服务器，或多台计算机设备联合而成的服务器机群。
在本实施例中，分析设备获取待测语句以及预设的情感分析模型，具体地，分析设备可以获取用户输入的待测语句，也可以从预设的数据库中，获取相应的待测语句，其中，所述待测语句包括若干个单词，所述待测语句的句子表达式为：
S＝{w1，w2，...wi，...wn}
式中，S为所述待测语句的句子表达式，i为单词的位置索引，n为所述待测语句的单词数目，wi为所述待测语句的第i个单词的向量表示。
所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、句子编码模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块。
S2：将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量。
所述第一词嵌入模块以及第二词嵌入模块可以将单词的所有可能含义表示为单个向量表示，用于提取上下文相关的词向量表示，为了避免单独采用一个词嵌入模块进行词嵌入向量的提取，导致的部分信息丢失的情况，在本实施例中，分析设备将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量。
具体地，所述第一词嵌入模块为BERT词嵌入模型，所述第二词嵌入模块为Word2vec词嵌入模型。分析设备将所述待测语句分别输入至预设的BERT词嵌入模型以及Word2vec词嵌入模型中，分别获得BERT词嵌入模型输出的所述待测语句的若干个单词的第一词嵌入向量，以及Word2vec词嵌入模型输出的所述待测语句的若干个单词的第二词嵌入向量。
S3：将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中进行特征提取，获取所述待测语句的若干个单词的语义特征向量。
在本实施例中，分析设备将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中进行特征提取，获取所述待测语句的若干个单词的语义特征向量。
所述语义特征提取模块包括第一双向门控循环单元，请参阅图2，图2为本申请第一实施例提供的基于双词嵌入的情感分析方法中S3的流程示意图，包括步骤S31～S32，具体如下：
S31：将所述待测语句的若干个单词的第一词嵌入向量输入至所述第一双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第一隐藏层向量；
双向门控循环单元(Bi-GRU)，是由两个方向相反的单向门控循环单元(GRU)组成，具有学习长期依赖关系的能力，能够将词嵌入向量转化为隐藏层向量。
在本实施例中，分析设备将所述待测语句的若干个单词的第一词嵌入向量输入至所述第一双向门控循环单元中进行转换处理，将若干个单词的第一词嵌入向量转化为相应的隐藏层向量，获得所述待测语句的若干个单词的第一隐藏层向量。
S32：根据所述待测语句的若干个单词的第一隐藏层向量以及预设的第一注意力系数计算算法，获得所述若干个单词的第一注意力系数。
所述第一注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第一注意力系数，tanh()为双曲函数，W1为第一权重参数，/>为第i个单词的第一词嵌入向量，b1为第一偏置参数。
由于待测语句中不同单词对于情感的影响是不同的，即语句中不同单词表达了不同的语义信息。而注意力机制可以根据得到的注意力系数去关注到对语句的情感有重要作用的单词，在本实施例中，分析设备根据所述待测语句的若干个单词的第一隐藏层向量以及预设的第一注意力系数计算算法，获得所述若干个单词的第一注意力系数。
S33：根据所述待测语句的若干个单词的第一隐藏层向量、第一注意力系数以及预设的语义特征计算算法，获得所述若干个单词的语义特征向量，并对所述若干个单词的初始语义特征向量进行滤波处理以及池化处理，获得所述若干个单词的语义特征向量。
在本实施例中，分析设备根据所述待测语句的若干个单词的第一隐藏层向量、第一注意力系数以及预设的初始语义特征计算算法，获得所述若干个单词的初始语义特征向量，其中，所述语义特征计算算法为：
式中，为第i个单词的初始语义特征向量。
分析设备对所述若干个单词的初始语义特征向量进行滤波处理以及池化处理，获得所述若干个单词的语义特征向量，具体地，所述语义特征提取模块还包括文本卷积神经网络，所述文本卷积神经网络包括连接的卷积层以及池化层。分析设备将所述若干个单词的初始语义特征向量输入至预设的文本卷积神经网络的卷积层中，对所述若干个单词的初始语义特征向量进行滤波处理，获得所述若干个单词的滤波处理后的语义特征向量，具体如下：
式中，为第i个单词的滤波处理后的语义特征向量，F()为非线性函数，例如Relu函数，wcnn为可训练权重参数，ο为卷积操作，bcnn为可训练偏置参数。
根据所述池化层，对所述若干个单词的池化处理后的语义特征向量进行池化处理，获得所述若干个单词的语义特征向量，具体如下：
式中，为第i个单词的语义特征向量，dropout()为防止过拟合函数，Maxpooling()为池化函数。
S4：获取所述待测语句的邻接矩阵，所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量，所述位置关联向量用于指示节点对应的单词彼此的位置关系，将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中进行特征提取，获取所述待测语句的若干个单词的句法特征向量。
在本实施例中，分析设备构建初始依存句法树，所述依存句法树包括若干个节点，将所述待测语句的若干个单词分别设置于所述节点上，构建所述待测语句的依存句法树。
分析设备获取所述依存句法树中若干个节点之间对应的单词的位置关联信息，具体地，分析设备可以通过设置尺寸为c的窗口，并用窗口扫描所述待测语句，若窗口内两个单词共同出现，将所述两个单词的位置关联向量增加1，若不共同出现，将所述两个单词的位置关联向量增加为0，从而获取若干个节点对应的单词彼此的位置关联向量，构建所述待测语句的邻接矩阵。
分析设备将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中进行特征提取，获取所述待测语句的若干个单词的句法特征向量。
所述句法特征提取模块为多层图注意网络单元、第二双向门控循环单元以及注意力单元，所述多层图注意网络包括若干个图注意力网络层，请参阅图3，图3为本申请第一实施例提供的基于双词嵌入的情感分析方法中S4的流程示意图，包括步骤S41～S44，具体如下：
S41：将所述待测语句的若干个单词的第二词嵌入向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第二隐藏层向量；
在本实施例中，分析设备将所述待测语句的若干个单词的第二词嵌入向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第二隐藏层向量。
S42：将所述若干个单词的第二隐藏层向量作为所述多层图注意网络单元的首层的输入节点信息，根据所述若干个节点之间对应的单词的位置关联向量以及预设的状态特征向量计算算法，获取所述多层图注意网络单元最后一层输出的若干个单词的状态特征向量。
所述状态特征向量计算算法为：
式中，LeakyReLU( )为非线性激活函数；为在所述第l个图注意力网络层，第x个节点和第y个节点之间的单词的注意力得分数据，al为预设的可训练权重向量，||表示为拼接操作，/>为第二权重参数，/>为第l层的第x个节点对应的单词的状态特征向量，oxy为第x个节点和第y个节点之间的单词的位置关联向量，/>为归一化处理后，在所述第l个图注意力网络层，第x个节点和第y个节点之间的注意力权重参数，q为节点的索引，N(q)为所有与节点q相邻的节点集合，σ()为非线性激活函数，N(x)为所有与节点x相邻的节点集合。
多层图注意网络单元为GAT(GRAPH ATTENTION NETWORKS)，是一种通过层叠方式构建的多层图注意力网络，在本实施例中，分析设备将所述若干个单词的第二隐藏层向量作为所述多层图注意网络单元的首层的输入节点信息，即为第i个单词的第二隐藏层向量，根据所述若干个节点之间对应的单词的位置关联向量以及预设的状态特征向量计算算法，获取所述多层图注意网络单元最后一层输出的若干个单词的状态特征向量。
S43：将所述若干个单词的状态特征向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第三隐藏层向量，将所述若干个单词的第三隐藏层向量输入至所述注意力单元，根据预设的第二注意力系数计算算法，获得所述若干个单词的第二注意力系数。
在本实施例中，分析设备将所述若干个单词的状态特征向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第三隐藏层向量，具体如下：
式中，为第i个单词的第三隐藏层向量。
为了衡量语句中每个单词对语句的情感信息的贡献，分析设备将所述待测语句的若干个单词的第三隐藏层向量输入至所述注意力单元中，根据预设的第二注意力系数计算算法，获得所述若干个单词的第二注意力系数，其中，所述第二注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第二注意力系数，tanh()为双曲函数，Ww为第三权重参数，/>为第i个单词的第三隐藏层向量，bw为第二偏置参数；
S44：根据所述若干个单词的第三隐藏层向量、第二注意力系数以及预设的句法特征计算算法，获得所述若干个单词的句法特征向量。
所述句法特征计算算法为：
式中，为第i个单词的句法特征向量。
在本实施例中，分析设备根据所述待测语句的若干个单词的第三隐藏层向量、第二注意力系数以及预设的句法特征计算算法，获得所述若干个单词的句法特征向量。
S5：将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量。
在本实施例中，分析设备将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量。
所述注意力交互模块还包括第三双向门控循环单元，请参阅图4，图4为本申请第一实施例提供的基于双词嵌入的情感分析方法中S5的流程示意图，包括步骤S51～S56，具体如下：
S51：将所述待测语句的若干个单词的拼接词向量输入至所述第三双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第四隐藏层向量。
在本实施例中，分析设备将所述待测语句的若干个单词的拼接词向量输入至所述第三双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第四隐藏层向量，其中，所述第四隐藏层向量为：
式中，hcommon为第i个单词的拼接词向量。
在一个可选的实施例中，分析设备对所述待测语句的若干个单词的第四隐藏层向量进行最大池化处理，获取最大池化处理后所述待测语句的若干个单词的第四隐藏层向量以提高对语句的情感分析的准确性。
S52：根据所述待测语句的若干个单词的语义特征向量、第四隐藏层向量以及预设的第三注意力系数计算算法，获得所述若干个单词的第三注意力系数。
所述第三注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第三注意力系数，tanh()为双曲函数，WiB为第四权重参数，/>为第i个单词的第四隐藏层向量，biB为第三偏置参数。
在本实施例中，分析设备根据所述待测语句的若干个单词的语义特征向量、第四隐藏层向量以及预设的第三注意力系数计算算法，获得所述若干个单词的第三注意力系数。
S53：根据所述待测语句的若干个单词的句法特征向量、第四隐藏层向量以及预设的第四注意力系数计算算法，获得所述若干个单词的第四注意力系数。
所述第四注意力系数计算算法为：
式中，为第i个单词的第四注意力系数，WiW为第五权重参数，biW为第四偏置参数。
在本实施例中，分析设备根据所述待测语句的若干个单词的句法特征向量、第四隐藏层向量以及预设的第四注意力系数计算算法，获得所述若干个单词的第四注意力系数。
S54：根据所述待测语句的若干个单词的语义特征向量、第三注意力系数以及预设的语义交互特征计算算法，获得所述若干个单词的语义交互特征向量。
所述语义交互计算算法为：
式中，DB为所述语义交互特征表示；
在本实施例中，分析设备根据所述待测语句的若干个单词的语义特征向量、第三注意力系数以及预设的语义交互特征计算算法，获得所述若干个单词的语义交互特征向量。
S55：根据所述待测语句的若干个单词的句法特征向量、第四注意力系数以及预设的句法交互特征计算算法，获得所述若干个单词的句法交互特征向量。
所述句法交互计算算法为：
式中，DW为句法交互特征表示。
分析设备根据所述待测语句的若干个单词的句法特征向量、第四注意力系数以及预设的句法交互特征计算算法，获得所述若干个单词的句法交互特征向量。
S56：将所述待测语句的若干个单词的语义交互特征向量以及句法交互特征向量进行拼接处理，获取所述待测语句的若干个单词的注意力交互特征向量。
在本实施例中，分析设备将所述待测语句的若干个单词的语义交互特征向量以及句法交互特征向量进行拼接处理，获取所述待测语句的若干个单词的注意力交互特征向量，其中，所述注意力交互特征表示的表达式为：
d＝[DB,DW]
式中，d为所述待测语句的注意力交互特征表示。
S6：将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。
在本实施例中，分析设备将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。
请参阅图5，图5为本申请第一实施例提供的基于双词嵌入的情感分析方法中S6的流程示意图，包括步骤S61～S62，具体如下：
S61：根据所述待测语句的若干个单词的注意力交互特征向量，构建所述待测语句的注意力交互特征表示，根据所述待测语句的注意力交互特征表示以及预设的预测情感极性向量计算算法，获取所述待测语句的预测情感极性向量。
所述情感极性向量计算算法为：
y＝softmax(Wyd+by)
式中，y为所述预测情感极性向量，softmax()为归一化函数，Wy为第六权重参数，by为第五偏置参数，d为所述待测语句的注意力交互特征表示。
在本实施例中，分析设备根据所述待测语句的若干个单词的注意力交互特征向量，构建所述待测语句的注意力交互特征表示，根据所述待测语句的注意力交互特征表示以及预设的预测情感极性向量计算算法，获取所述待测语句的预测情感极性向量。
S62：根据所述预测情感极性向量，获取概率最大的维度对应的情感极性，作为所述待测语句的情感分析结果。
在本实施例中，分析设备根据所述预测情感极性向量，获取概率最大的维度对应的情感极性，作为所述待测语句的情感分析结果。具体地，当计算得到y＝[y1，y2，y3，y4，y5]＝[0.1，0.5，0.1，0.2，0.1]，概率最大为y2，其概率最大的维度对应的情感极性作为所述待测语句的情感分析结果。
在一个可选的实施例中，所述情感分析模型还包括领域预测模块，具体地，所述领域预测模块采用领域鉴别器，用于检测所述待测语句来自源领域或者来自目标领域的概率，请参阅图6，图6为本申请第二实施例提供的基于双词嵌入的情感分析方法的流程示意图，还包括步骤S7，具体如下：
S7：将所述待测语句的注意力交互特征表示输入至所述领域预测模块，获取所述待测语句的领域特征表示，根据所述待测语句的领域特征表示以及预设的领域标签预测算法，获取所述待测语句的预测领域标签。
在本实施例中，分析设备将所述待测语句的注意力交互特征表示输入至所述领域预测模块，获取所述待测语句的领域特征表示，具体如下：
式中，为所述待测语句的领域特征表示，G()为梯度翻转函数(GRL)，能够反转训练过程中的梯度方向。
分析设备根据所述待测语句的领域特征表示以及预设的领域标签预测算法，获取所述待测语句的预测领域标签，其中，所述领域标签预测算法为：
式中，yd为所述预测领域标签，Wy为第七权重参数，by为第六偏置参数，为所述待测语句的领域特征表示。
请参阅图7，图7为本申请第三实施例提供的基于双词嵌入的情感分析方法的流程示意图，还包括步骤：训练所述情感分析模型，所述训练所述情感分析模型，包括步骤S81～S86，具体如下：
S81：获取训练语句集、情感标签集以及领域标签集。
在本实施例中，分析设备可以获取用户输入的获取训练语句集、情感标签集以及领域标签集，也可以在预设的数据库中获取训练语句集、情感标签集以及领域标签集，其中，所述训练语句集中包括若干个训练语句，所述训练语句包括若干个单词，所述情感标签集包括若干个训练语句的真实情感极性向量，所述领域标签集包括若干个训练语句的真实领域标签。
S82：将所述训练语句集输入至待训练的情感分析模型中，获得所述若干个训练语句的预测情感极性向量，以及所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数、第四注意力系数。
在本实施例中，分析设备将所述训练语句集输入至待训练的情感分析模型中，获得所述若干个训练语句的预测情感极性向量，以及所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数、第四注意力系数。
S83：根据所述若干个训练语句的预测情感极性向量以及真实情感极性向量，构建第一损失函数。
所述第一损失函数为：
Lsen＝-(y′ln y+(1-y′)ln(1-y))
式中，Lsen为所述第一损失函数，y′为所述真实情感极性向量。
在本实施例中，分析设备根据所述若干个训练语句的预测情感极性向量以及真实情感极性向量，构建第一损失函数。
S84：根据所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数以及第四注意力系数，构建第二损失函数。
所述第二损失函数为：
式中，Lemb为所述第一损失函数，KL()为散度函数。
在本实施例中，分析设备根据所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数以及第四注意力系数，构建第二损失函数。
S85：根据所述若干个训练语句的预测领域标签以及真实领域标签，构建第三损失函数。
所述第三损失函数为：
Ldom＝-(y′d ln yd+(1-y′d)ln(1-yd))
式中，Ldom为所述第三损失函数，y′d为所述真实领域标签。
在本实施例中，分析设备根据所述若干个训练语句的预测领域标签以及真实领域标签，构建第三损失函数。
S86：根据所述第一损失函数、第二损失函数以及第三损失函数，构建所述待训练的情感分析模型的总损失函数，进行优化训练，获得训练好的情感分析模型。
所述总损失函数为：
Ltotal＝Lsen+Ldom+λLemb
式中，Ltotal为所述总损失函数，λ为超参数。
在本实施例中，分析设备根据所述第一损失函数、第二损失函数以及第三损失函数，构建所述待训练的情感分析模型的总损失函数，进行优化训练，获得训练好的情感分析模型。
请参阅图8，图8为本申请第四实施例提供的基于双词嵌入的情感分析装置的结构示意图，该装置可以通过软件、硬件或两者的结合实现基于双词嵌入的情感分析方法的全部或一部分，该装置8包括：
获取模块81，用于获取待测语句以及预设的情感分析模型，其中，所述待测语句包括若干个单词，所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、句子编码模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块；
词嵌入向量计算模块82，用于将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量；
语义特征提取模块83，用于将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中进行特征提取，获取所述待测语句的若干个单词的语义特征向量；
句法特征提取模块84，用于获取所述待测语句的邻接矩阵，其中，所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量，所述位置关联向量用于指示节点对应的单词彼此的位置关系，将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中进行特征提取，获取所述待测语句的若干个单词的句法特征向量；
注意力交互模块85，用于将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量；
情感分析模块86，用于将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。
在本申请的实施例中，通过获取模块，获取待测语句以及预设的情感分析模型，其中，所述待测语句包括若干个单词，所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、句子编码模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块；通过词嵌入向量计算模块，将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量；通过语义特征提取模块，将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中进行特征提取，获取所述待测语句的若干个单词的语义特征向量；通过句法特征提取模块，获取所述待测语句的邻接矩阵，其中，所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量，所述位置关联向量用于指示节点对应的单词彼此的位置关系，将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中进行特征提取，获取所述待测语句的若干个单词的句法特征向量；通过注意力交互模块，将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量；通过情感分析模块，将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。获得待测语句的双词嵌入向量以及双词嵌入向量进行拼接处理后的词嵌入向量，并采用双通道进行特征提取，以获得语义特征信息和句法特征信息，同时采用交互注意力方法，分别将双词嵌入向量和双词嵌入向量进行拼接处理后的词嵌入向量进行交互，以获得注意力交互信息，使词嵌入信息得到弥补，结合语义特征信息、句法特征信息以及注意力交互信息，能够更加全面地对语句进行情感分析，提高情感分析的精准性以及效率。
请参考图9，图9为本申请第五实施例提供的计算机设备的结构示意图，计算机设备9包括：处理器91、存储器92以及存储在存储器92上并可在处理器91上运行的计算机程序93；计算机设备可以存储有多条指令，指令适用于由处理器91加载并执行上述第一、第二以及第三实施例的方法步骤，具体执行过程可以参见所述第一、第二以及第三实施例的具体说明，在此不进行赘述。
其中，处理器91可以包括一个或多个处理核心。处理器91利用各种接口和线路连接服务器内的各个部分，通过运行或执行存储在存储器92内的指令、程序、代码集或指令集，以及调用存储器92内的数据，执行基于双词嵌入的情感分析装置8的各种功能和处理数据，可选的，处理器91可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrambleLogic Array，PLA)中的至少一个硬件形式来实现。处理器91可集成中央处理器91(CentralProcessing Unit，CPU)、图像处理器91(Graphics Processing Unit，GPU)和调制解调器等中的一个或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器91中，单独通过一块芯片进行实现。
其中，存储器92可以包括随机存储器92(Random Access Memory，RAM)，也可以包括只读存储器92(Read-Only Memory)。可选的，该存储器92包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器92可用于存储指令、程序、代码、代码集或指令集。存储器92可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器92可选的还可以是至少一个位于远离前述处理器91的存储装置。
本申请实施例还提供了一种存储介质，所述存储介质可以存储有多条指令，所述指令适用于由处理器加载并执行所示实施例一至实施例三的方法步骤，具体执行过程可以参见所示所述第一、第二以及第三实施例的具体说明，在此不进行赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式，如果对本发明的各种改动或变形不脱离本发明的精神和范围，倘若这些改动和变形属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变形。

Claims (8)

1.一种基于双词嵌入的情感分析方法，其特征在于，包括以下步骤：
获取待测语句以及预设的情感分析模型，其中，所述待测语句包括若干个单词，所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块；
将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量；
将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中，所述语义特征提取模块还包括第一双向门控循环单元，将所述待测语句的若干个单词的第一词嵌入向量输入至所述第一双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第一隐藏层向量；
根据所述待测语句的若干个单词的第一隐藏层向量以及预设的第一注意力系数计算算法，获得所述若干个单词的第一注意力系数，其中，所述第一注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第一注意力系数，tanh()为双曲函数，W1为第一权重参数，/>为第i个单词的第一隐藏层向量，b1为第一偏置参数；
根据所述待测语句的若干个单词的第一隐藏层向量、第一注意力系数以及预设的语义特征计算算法，获得所述若干个单词的初始语义特征向量，并对所述若干个单词的初始语义特征向量进行滤波处理以及池化处理，获得所述若干个单词的语义特征向量，其中，所述语义特征计算算法为：
式中，为第i个单词的初始语义特征向量；
获取所述待测语句的邻接矩阵，所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量，所述位置关联向量用于指示节点对应的单词彼此的位置关系；
将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中，所述句法特征提取模块为多层图注意网络单元、第二双向门控循环单元以及注意力单元，所述多层图注意网络包括若干个图注意力网络层，将所述待测语句的若干个单词的第二词嵌入向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第二隐藏层向量；
将所述若干个单词的第二隐藏层向量作为所述多层图注意网络单元的首层的输入节点信息，根据所述若干个节点之间对应的单词的位置关联向量以及预设的状态特征向量计算算法，获取所述多层图注意网络单元最后一层输出的若干个单词的状态特征向量，其中，所述状态特征向量计算算法为：
式中，LeakyReLU ( )为非线性激活函数；为在所述第l个图注意力网络层，第x个节点和第y个节点之间的单词的注意力得分数据，al为预设的可训练权重向量，||表示为拼接操作，/>为第二权重参数，/>为第l层的第x个节点对应的单词的状态特征向量，oxy为第x个节点和第y个节点之间的单词的位置关联向量，/>为归一化处理后，在所述第l个图注意力网络层，第x个节点和第y个节点之间的注意力权重参数，q为节点的索引，N(q)为所有与节点q相邻的节点集合，σ()为非线性激活函数，N(x)为所有与节点x相邻的节点集合；
将所述若干个单词的状态特征向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第三隐藏层向量，将所述若干个单词的第三隐藏层向量输入至所述注意力单元，根据预设的第二注意力系数计算算法，获得所述若干个单词的第二注意力系数，其中，所述第二注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第二注意力系数，tanh()为双曲函数，Ww为第三权重参数，/>为第i个单词的第三隐藏层向量，bw为第二偏置参数；
根据所述若干个单词的第三隐藏层向量、第二注意力系数以及预设的句法特征计算算法，获得所述若干个单词的句法特征向量，其中，所述句法特征计算算法为：
式中，为第i个单词的句法特征向量；
将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量；
将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。
2.根据权利要求1所述的基于双词嵌入的情感分析方法，其特征在于：所述注意力交互模块还包括第三双向门控循环单元；
所述将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量，包括步骤：
将所述待测语句的若干个单词的拼接词向量输入至所述第三双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第四隐藏层向量；
根据所述待测语句的若干个单词的语义特征向量、第四隐藏层向量以及预设的第三注意力系数计算算法，获得所述若干个单词的第三注意力系数，其中，所述第三注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第三注意力系数，tanh()为双曲函数，WiB为第四权重参数，/>为第i个单词的第四隐藏层向量，biB为第三偏置参数，/>为第i个单词的语义特征向量；
根据所述待测语句的若干个单词的句法特征向量、第四隐藏层向量以及预设的第四注意力系数计算算法，获得所述若干个单词的第四注意力系数，其中，所述第四注意力系数计算算法为：
式中，为第i个单词的第四注意力系数，WiW为第五权重参数，biW为第四偏置参数；
根据所述待测语句的若干个单词的语义特征向量、第三注意力系数以及预设的语义交互特征计算算法，获得所述若干个单词的语义交互特征向量，其中，所述语义交互计算算法为：
式中，DB为所述语义交互特征表示；
根据所述待测语句的若干个单词的句法特征向量、第四注意力系数以及预设的句法交互特征计算算法，获得所述若干个单词的句法交互特征向量，其中，所述句法交互计算算法为：
式中，DW为句法交互特征表示；
将所述待测语句的若干个单词的语义交互特征向量以及句法交互特征向量进行拼接处理，获取所述待测语句的若干个单词的注意力交互特征向量。
3.根据权利要求1所述的基于双词嵌入的情感分析方法，其特征在于，所述将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果，包括步骤：
根据所述待测语句的若干个单词的注意力交互特征向量，构建所述待测语句的注意力交互特征表示，根据所述待测语句的注意力交互特征表示以及预设的预测情感极性向量计算算法，获取所述待测语句的预测情感极性向量，其中，所述情感极性向量计算算法为：
y＝softmax(Wyd+by)
式中，y为所述预测情感极性向量，softmax()为归一化函数，Wy为第六权重参数，by为第五偏置参数，d为所述待测语句的注意力交互特征表示；
根据所述预测情感极性向量，获取概率最大的维度对应的情感极性，作为所述待测语句的情感分析结果。
4.根据权利要求3所述的基于双词嵌入的情感分析方法，其特征在于：所述情感分析模型还包括领域预测模块，还包括步骤：
将所述待测语句的注意力交互特征表示输入至所述领域预测模块，获取所述待测语句的领域特征表示，根据所述待测语句的领域特征表示以及预设的领域标签预测算法，获取所述待测语句的预测领域标签，其中，所述领域标签预测算法为：
式中，yd为所述预测领域标签，Wy为第七权重参数，by为第六偏置参数，为所述待测语句的领域特征表示。
5.根据权利要求4所述的基于双词嵌入的情感分析方法，其特征在于，还包括步骤：训练所述情感分析模型，所述训练所述情感分析模型，包括步骤：
获取训练语句集、情感标签集以及领域标签集，其中，所述训练语句集中包括若干个训练语句，所述训练语句包括若干个单词，所述情感标签集包括若干个训练语句的真实情感极性向量，所述领域标签集包括若干个训练语句的真实领域标签；
将所述训练语句集输入至待训练的情感分析模型中，获得所述若干个训练语句的预测情感极性向量，以及所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数、第四注意力系数，根据所述若干个训练语句的预测情感极性向量以及真实情感极性向量，构建第一损失函数，其中，所述第一损失函数为：
Lsen＝-(y′lny+(1-y′)ln(1-y))
式中，Lsen为所述第一损失函数，y′为所述真实情感极性向量；
根据所述若干个训练语句的若干个单词的第一注意力系数、第二注意力系数、第三注意力系数以及第四注意力系数，构建第二损失函数，其中，所述第二损失函数为：
式中，Lemb为所述第二损失函数，KL()为散度函数；
根据所述若干个训练语句的预测领域标签以及真实领域标签，构建第三损失函数，其中，所述第三损失函数为：
Ldom＝-(y′dlnyd+(1-y′d)ln(1-yd))
式中，Ldom为所述第三损失函数，y′d为所述真实领域标签；
根据所述第一损失函数、第二损失函数以及第三损失函数，构建所述待训练的情感分析模型的总损失函数，进行优化训练，获得训练好的情感分析模型，其中，所述总损失函数为：
Ltotal＝Lsen+Ldom+λLemb
式中，Ltotal为所述总损失函数，λ为超参数。
6.一种基于双词嵌入的情感分析装置，其特征在于，包括：
获取模块，用于获取待测语句以及预设的情感分析模型，其中，所述待测语句包括若干个单词，所述情感分析模型包括第一词嵌入模块、第二词嵌入模块、句子编码模块、语义特征提取模块、句法特征提取模块、注意力交互模块以及情感分析模块；
词嵌入向量计算模块，用于将所述待测语句分别输入至所述第一词嵌入模块以及第二词嵌入模块中，获取所述待测语句的若干个单词的第一词嵌入向量以及第二词嵌入向量，并将所述若干个单词的第一词嵌入向量以及第二词嵌入向量进行拼接，获得若干个单词的拼接词向量；
语义特征提取模块，用于将所述待测语句的若干个单词的第一词嵌入向量输入至所述语义特征提取模块中，所述语义特征提取模块还包括第一双向门控循环单元，将所述待测语句的若干个单词的第一词嵌入向量输入至所述第一双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第一隐藏层向量；
根据所述待测语句的若干个单词的第一隐藏层向量以及预设的第一注意力系数计算算法，获得所述若干个单词的第一注意力系数，其中，所述第一注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第一注意力系数，tanh()为双曲函数，W1为第一权重参数，/>为第i个单词的第一隐藏层向量，b1为第一偏置参数；
根据所述待测语句的若干个单词的第一隐藏层向量、第一注意力系数以及预设的语义特征计算算法，获得所述若干个单词的初始语义特征向量，并对所述若干个单词的初始语义特征向量进行滤波处理以及池化处理，获得所述若干个单词的语义特征向量，其中，所述语义特征计算算法为：
式中，为第i个单词的初始语义特征向量；
句法特征提取模块，用于获取所述待测语句的邻接矩阵，所述邻接矩阵包括若干个节点对应的单词彼此的位置关联向量，所述位置关联向量用于指示节点对应的单词彼此的位置关系；
将所述待测语句的若干个单词的第二词嵌入向量以及邻接矩阵输入至所述句法特征提取模块中，所述句法特征提取模块为多层图注意网络单元、第二双向门控循环单元以及注意力单元，所述多层图注意网络包括若干个图注意力网络层，将所述待测语句的若干个单词的第二词嵌入向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第二隐藏层向量；
将所述若干个单词的第二隐藏层向量作为所述多层图注意网络单元的首层的输入节点信息，根据所述若干个节点之间对应的单词的位置关联向量以及预设的状态特征向量计算算法，获取所述多层图注意网络单元最后一层输出的若干个单词的状态特征向量，其中，所述状态特征向量计算算法为：
式中，LeakyReLU( )为非线性激活函数；为在所述第l个图注意力网络层，第x个节点和第y个节点之间的单词的注意力得分数据，al为预设的可训练权重向量，||表示为拼接操作，/>为第二权重参数，/>为第l层的第x个节点对应的单词的状态特征向量，oxy为第x个节点和第y个节点之间的单词的位置关联向量，/>为归一化处理后，在所述第l个图注意力网络层，第x个节点和第y个节点之间的注意力权重参数，q为节点的索引，N(q)为所有与节点q相邻的节点集合，σ()为非线性激活函数，N(x)为所有与节点x相邻的节点集合；
将所述若干个单词的状态特征向量输入至所述第二双向门控循环单元中进行转换处理，获得所述待测语句的若干个单词的第三隐藏层向量，将所述若干个单词的第三隐藏层向量输入至所述注意力单元，根据预设的第二注意力系数计算算法，获得所述若干个单词的第二注意力系数，其中，所述第二注意力系数计算算法为：
式中，i为单词的位置索引，n为所述待测语句的单词数目，为第i个单词的第二注意力系数，tanh()为双曲函数，Ww为第三权重参数，/>为第i个单词的第三隐藏层向量，bw为第二偏置参数；
根据所述若干个单词的第三隐藏层向量、第二注意力系数以及预设的句法特征计算算法，获得所述若干个单词的句法特征向量，其中，所述句法特征计算算法为：
式中，为第i个单词的句法特征向量；
注意力交互模块，用于将所述待测语句的若干个单词的语义特征向量、句法特征向量以及拼接词向量输入至所述注意力交互模块中进行注意力交互处理，获取所述待测语句的若干个单词的注意力交互特征向量；
情感分析模块，用于将所述待测语句的若干个单词的注意力交互特征向量输入至所述情感分析模块中进行情感分析，获取所述待测语句的预测情感极性，作为所述待测语句的情感分析结果。
7.一种计算机设备，其特征在于，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的基于双词嵌入的情感分析方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的基于双词嵌入的情感分析方法的步骤。
CN202211389296.1A 2022-11-08 2022-11-08 基于双词嵌入的情感分析方法、装置以及设备 Active CN115712726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211389296.1A CN115712726B (zh) 2022-11-08 2022-11-08 基于双词嵌入的情感分析方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211389296.1A CN115712726B (zh) 2022-11-08 2022-11-08 基于双词嵌入的情感分析方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN115712726A CN115712726A (zh) 2023-02-24
CN115712726B true CN115712726B (zh) 2023-09-12

Family

ID=85232477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211389296.1A Active CN115712726B (zh) 2022-11-08 2022-11-08 基于双词嵌入的情感分析方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN115712726B (zh)

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备
CN111428004A (zh) * 2020-03-26 2020-07-17 辽宁工程技术大学 一种融合辅助信息与层级自注意力循环神经网络方面的情感分析方法
CN111783474A (zh) * 2020-07-16 2020-10-16 厦门市美亚柏科信息股份有限公司 一种评论文本观点信息处理方法、装置及存储介质
CN111859978A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于深度学习的情感文本生成方法
CN112001186A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种利用图卷积神经网络和中文句法的情感分类方法
CN112001187A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种基于中文句法和图卷积神经网络的情感分类系统
CN112417157A (zh) * 2020-12-15 2021-02-26 华南师范大学 一种基于深度学习网络的文本属性词的情感分类方法
CN112560503A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 融合深度特征和时序模型的语义情感分析方法
CN112883741A (zh) * 2021-04-29 2021-06-01 华南师范大学 基于双通道图神经网络的特定目标情感分类方法
CN112966074A (zh) * 2021-05-17 2021-06-15 华南师范大学 一种情感分析方法、装置、电子设备以及存储介质
CN113254637A (zh) * 2021-05-07 2021-08-13 山东师范大学 一种融合语法的方面级文本情感分类方法及系统
CN113449110A (zh) * 2021-08-30 2021-09-28 华南师范大学 情感分类方法、装置、存储介质及计算机设备
CN113688212A (zh) * 2021-10-27 2021-11-23 华南师范大学 句子情感分析方法、装置以及设备
CN113761941A (zh) * 2021-11-09 2021-12-07 华南师范大学 一种文本情感分析方法
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN114528398A (zh) * 2022-01-12 2022-05-24 山东师范大学 一种基于交互双重图卷积网络的情感预测方法及系统
EP4009219A1 (en) * 2020-12-02 2022-06-08 Fujitsu Limited Analysis of natural language text in document using hierarchical graph
CN114676704A (zh) * 2022-05-30 2022-06-28 华南师范大学 句子情感分析方法、装置、设备以及存储介质
CN114676695A (zh) * 2022-05-30 2022-06-28 华南师范大学 基于情感分析的文本语句处理方法、装置以及设备
CN114881042A (zh) * 2022-06-02 2022-08-09 电子科技大学 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN115033700A (zh) * 2022-08-10 2022-09-09 华南师范大学 基于相互学习网络的跨领域情感分析方法、装置以及设备
CN115048938A (zh) * 2022-06-13 2022-09-13 华南师范大学 基于语义和句法双通道的语句情感分析方法以及装置
CN115168592A (zh) * 2022-08-30 2022-10-11 华南师范大学 基于方面类别的语句情感分析方法、装置以及设备
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备
WO2022221719A2 (en) * 2021-04-16 2022-10-20 Strong Force Vcn Portfolio 2019, Llc Systems, methods, kits, and apparatuses for digital product network systems and biology-based value chain networks
CN115269828A (zh) * 2022-05-11 2022-11-01 上海任意门科技有限公司 用于生成评论回复的方法、设备和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720346B2 (en) * 2020-10-02 2023-08-08 International Business Machines Corporation Semantic code retrieval using graph matching

Patent Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826336A (zh) * 2019-09-18 2020-02-21 华南师范大学 一种情感分类方法、系统、存储介质及设备
CN111428004A (zh) * 2020-03-26 2020-07-17 辽宁工程技术大学 一种融合辅助信息与层级自注意力循环神经网络方面的情感分析方法
CN111859978A (zh) * 2020-06-11 2020-10-30 南京邮电大学 一种基于深度学习的情感文本生成方法
CN111783474A (zh) * 2020-07-16 2020-10-16 厦门市美亚柏科信息股份有限公司 一种评论文本观点信息处理方法、装置及存储介质
CN112001186A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种利用图卷积神经网络和中文句法的情感分类方法
CN112001187A (zh) * 2020-08-26 2020-11-27 重庆理工大学 一种基于中文句法和图卷积神经网络的情感分类系统
EP4009219A1 (en) * 2020-12-02 2022-06-08 Fujitsu Limited Analysis of natural language text in document using hierarchical graph
CN112417157A (zh) * 2020-12-15 2021-02-26 华南师范大学 一种基于深度学习网络的文本属性词的情感分类方法
CN112560503A (zh) * 2021-02-19 2021-03-26 中国科学院自动化研究所 融合深度特征和时序模型的语义情感分析方法
US11194972B1 (en) * 2021-02-19 2021-12-07 Institute Of Automation, Chinese Academy Of Sciences Semantic sentiment analysis method fusing in-depth features and time sequence models
WO2022221719A2 (en) * 2021-04-16 2022-10-20 Strong Force Vcn Portfolio 2019, Llc Systems, methods, kits, and apparatuses for digital product network systems and biology-based value chain networks
CN112883741A (zh) * 2021-04-29 2021-06-01 华南师范大学 基于双通道图神经网络的特定目标情感分类方法
CN113254637A (zh) * 2021-05-07 2021-08-13 山东师范大学 一种融合语法的方面级文本情感分类方法及系统
CN112966074A (zh) * 2021-05-17 2021-06-15 华南师范大学 一种情感分析方法、装置、电子设备以及存储介质
CN113449110A (zh) * 2021-08-30 2021-09-28 华南师范大学 情感分类方法、装置、存储介质及计算机设备
CN113779249A (zh) * 2021-08-31 2021-12-10 华南师范大学 跨领域文本情感分类方法、装置、存储介质以及电子设备
CN113688212A (zh) * 2021-10-27 2021-11-23 华南师范大学 句子情感分析方法、装置以及设备
CN113761941A (zh) * 2021-11-09 2021-12-07 华南师范大学 一种文本情感分析方法
CN114528398A (zh) * 2022-01-12 2022-05-24 山东师范大学 一种基于交互双重图卷积网络的情感预测方法及系统
CN115269828A (zh) * 2022-05-11 2022-11-01 上海任意门科技有限公司 用于生成评论回复的方法、设备和介质
CN114676704A (zh) * 2022-05-30 2022-06-28 华南师范大学 句子情感分析方法、装置、设备以及存储介质
CN114676695A (zh) * 2022-05-30 2022-06-28 华南师范大学 基于情感分析的文本语句处理方法、装置以及设备
CN114881042A (zh) * 2022-06-02 2022-08-09 电子科技大学 基于图卷积网络融合句法依存与词性的中文情感分析方法
CN115048938A (zh) * 2022-06-13 2022-09-13 华南师范大学 基于语义和句法双通道的语句情感分析方法以及装置
CN115033700A (zh) * 2022-08-10 2022-09-09 华南师范大学 基于相互学习网络的跨领域情感分析方法、装置以及设备
CN115168592A (zh) * 2022-08-30 2022-10-11 华南师范大学 基于方面类别的语句情感分析方法、装置以及设备
CN115204183A (zh) * 2022-09-19 2022-10-18 华南师范大学 基于知识增强的双通道情感分析方法、装置以及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的细粒度文本情感分类方法研究;韩健;《中国优秀硕士学位论文全文数据库 信息科技》;I138-152 *

Also Published As

Publication number Publication date
CN115712726A (zh) 2023-02-24

Similar Documents

Publication Publication Date Title
CN106980683B (zh) 基于深度学习的博客文本摘要生成方法
CN114676704B (zh) 句子情感分析方法、装置、设备以及存储介质
CN115587597B (zh) 基于子句级关系图的方面词的情感分析方法以及装置
CN111368656A (zh) 一种视频内容描述方法和视频内容描述装置
CN115048938A (zh) 基于语义和句法双通道的语句情感分析方法以及装置
CN110399547B (zh) 用于更新模型参数的方法、装置、设备和存储介质
CN115168592B (zh) 基于方面类别的语句情感分析方法、装置以及设备
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN116541492A (zh) 一种数据处理方法及相关设备
CN114492451B (zh) 文本匹配方法、装置、电子设备及计算机可读存储介质
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
JP7081454B2 (ja) 処理装置、処理方法、及び処理プログラム
CN115905524B (zh) 融合句法和语义信息的情感分析方法、装置以及设备
CN111445545B (zh) 一种文本转贴图方法、装置、存储介质及电子设备
CN116258145B (zh) 多模态命名实体识别方法、装置、设备以及存储介质
CN115906863B (zh) 基于对比学习的情感分析方法、装置、设备以及存储介质
CN115906861B (zh) 基于交互方面信息融合的语句情感分析方法以及装置
CN115712726B (zh) 基于双词嵌入的情感分析方法、装置以及设备
CN114547312B (zh) 基于常识知识图谱的情感分析方法、装置以及设备
CN115659951A (zh) 基于标签嵌入的语句情感分析方法、装置以及设备
CN115033700A (zh) 基于相互学习网络的跨领域情感分析方法、装置以及设备
CN115827878A (zh) 语句情感分析方法、装置以及设备
CN110032716A (zh) 文字编码方法和装置、可读存储介质及电子设备
CN115017321A (zh) 一种知识点预测方法、装置、存储介质以及计算机设备
JP7081455B2 (ja) 学習装置、学習方法、及び学習プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant