CN115048938A - 基于语义和句法双通道的语句情感分析方法以及装置 - Google Patents
基于语义和句法双通道的语句情感分析方法以及装置 Download PDFInfo
- Publication number
- CN115048938A CN115048938A CN202210662347.7A CN202210662347A CN115048938A CN 115048938 A CN115048938 A CN 115048938A CN 202210662347 A CN202210662347 A CN 202210662347A CN 115048938 A CN115048938 A CN 115048938A
- Authority
- CN
- China
- Prior art keywords
- sentence
- representation
- semantic
- word
- syntactic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/253—Grammatical analysis; Style critique
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及情感分析领域,特别涉及一种基于语义和句法双通道的语句情感分析方法,方法包括:获得待测语句的句子表示,其中,待测语句包括若干个句子;将待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得待测语句的词嵌入表示;将待测语句的词嵌入表示以及句子表示输入至神经网络模型中的语义通道,获得待测语句的语义特征表示;将待测语句的词嵌入表示以及句子表示输入至神经网络模型中的句法通道,获得待测语句的句法特征表示;将待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至神经网络模型的分类模块中,获取神经网络模型的分类模块输出的情感分析结果。
Description
技术领域
本发明涉及情感分析领域,特别涉及是一种基于语义和句法双通道的语句情感分析方法、装置、设备以及存储介质。
背景技术
文本方面级情感分析任务(ABSA)是预测同一句子中不同方面词不同情感极性的细粒度任务。主要难题是如何构建方面词和情感之间的强依赖关系。最近,图神经网络在句法依赖树上提取句法依赖关系已成为主流趋势。
目前,利用双向长短期记忆网络(Bi-LSTM)对树的节点(单词)进行初始化,再通过堆叠GCN进一步增强提取句法特征嵌入,但是这些方法都没有很好的解决依赖树本身存在的噪声和不稳定性,并且过于依赖单一信息建模,而忽略了多元信息的重要性,从而无法准确地对语句进行准确的情感分析。
发明内容
基于此,本发明的目的在于,提供一种基于语义和句法双通道的语句情感分析方法、装置、设备以及存储介质,利用句法和语义双通道同时考虑句法和语义信息,提高了全局信息的提取,避免引入过多无关的噪声,更加全面地对语句进行情感分析,从而提高语句的情感分析的准确性以及稳定性。
第一方面,本申请实施例提供了一种基于语义和句法双通道的语句情感分析方法,包括以下步骤:
获取待测语句的句子表示以及预设的神经网络模型;其中,所述待测语句包括若干个句子,句子包括若干个单词,所述单词包括方面词以及上下文单词;所述预设的神经网络模型包括依次连接的句子编码模块、语义通道、句法通道以及分类模块;
将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得所述待测语句的词嵌入表示,其中,所述词嵌入表示包括各个单词对应的词嵌入向量;
将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示;
将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示;
将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。
第二方面,本申请实施例提供了一种基于语义和句法双通道的语句情感分析装置,包括:
获取模块,用于获取待测语句的句子表示以及预设的神经网络模型;其中,所述待测语句包括若干个句子,句子包括若干个单词,所述单词包括方面词以及上下文单词;所述预设的神经网络模型包括依次连接的句子编码模块、语义通道、句法通道以及分类模块;
词嵌入模块,用于将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得所述待测语句的词嵌入表示,其中,所述词嵌入表示包括各个单词对应的词嵌入向量;
语义特征模块,用于将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示;
句法特征模块,用于将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示;
情感分析模块,用于将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。
第三方面,本申请实施例提供了一种计算机设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述计算机程序被所述处理器执行时实现如第一方面所述基于语义和句法双通道的语句情感分析方法的步骤。
第四方面,本申请实施例提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的基于语义和句法双通道的语句情感分析方法的步骤。
在本申请实施例中,提供一种基于语义和句法双通道的语句情感分析方法、装置、设备以及存储介质,利用句法和语义双通道同时考虑句法和语义信息,提高了全局信息的提取,避免引入过多无关的噪声,更加全面地对语句进行情感分析,从而提高语句的情感分析的准确性以及稳定性。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法的流程示意图;
图2为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S3的流程示意图;
图3为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S301的流程示意图;
图4为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S302的流程示意图;
图5为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S4的流程示意图;
图6为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S401的流程示意图;
图7为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S402的流程示意图;
图8为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S5的流程示意图;
图9为本申请一个实施例提供的基于语义和句法双通道的语句情感分析装置的结构示意图;
图10为本申请一个实施例提供的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
请参阅图1,图1为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法的流程示意图,所述方法包括如下步骤:
S1:获得待测语句的句子表示以及预设的神经网络模型。
所述基于语义和句法双通道的语句情感分析方法的执行主体为基于语义和句法双通道的语句情感分析方法的分析设备(以下简称分析设备),在一个可选的实施例中,所述分析设备可以是一台计算机设备可以是服务器,或是多台计算机设备联合而成的服务器机群。
所述待测语句包括若干个单词,所述单词为句子中所描述的某一实体,可以是名词、形容词等等;所述单词包括上下文单词以及方面词。
在本实施例中,分析设备可以获得用户输入的获得待测语句的句子表示以及预设的神经网络模型,所述神经网络模型采用DSS层次模型,该DSS层次模型包括依次连接的句子编码模块、语义通道、句法通道以及分类模块;
其中,所述待测语句的句子表示为:
S={w1,w2,...,wa+1,...,wa+m,...,wn}
式中,S为所述待测语句的句子表示,包含了n个上下文单词对应的向量wn和由m个方面词组成的方面词对应的向量wa+m。
在一个可选的实施例中,为了更好地对待测语句中的单词进行词嵌入处理,分析设备根据预设的查找嵌入表,对所述待测语句的句子表示中各个单词对应的向量进行降维处理,获得降维处理后的待测语句的句子表示。
S2:将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得所述待测语句的词嵌入表示。
所述词嵌入表示包括各个单词对应的词嵌入向量。
句子编码模块可以采用BERT(Bidirectional Encoder Representation fromTransformers)模型,也可以采用GloVe模型,用于对待测语句的单词进行词嵌入处理。
在本实施例中,分析设备将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,使用BERT模型对待测语句进行编码,获得所述待测语句的各个单词对应的词嵌入表示,其中,所述词嵌入表示为:
H={h1,h2,...,hn}=BERT({w1,w2,...,wn})
式中,H为所述待测语句的词嵌入表示,包括各个单词对应的词嵌入表示hn。
S3:将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示。
所述语义通道为一种语义特征编码器,在本实施例中,分析设备将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示。
在一个可选的实施例中,所述语义通道包括依次连接的语义整体特征计算模块以及语义局部特征计算模块,请参阅图2,图2为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S3的流程示意图,包括步骤S301~S303,具体如下:
S301:将所述待测语句的词嵌入表示输入至所述语义通道中的语义整体特征计算模块中,获得所述待测语句的语义整体特征表示。
在本实施例中,分析设备将所述待测语句的词嵌入表示输入至所述语义通道中的语义整体特征计算模块中,获取所述待测语句的语义整体特征表示。
S302:将所述待测语句的句子表入至所述语义通道中的语义局部特征计算模块中,获得所述待测语句的语义局部特征表示。
在本实施例中,分析设备将所述待测语句的句子表入至所述语义通道中的语义局部特征计算模块中,获得所述待测语句的语义局部特征表示。
S303:将所述待测语句的词嵌入表示、语义整体特征表示、语义局部特征表示进行多层残差连接处理,获得所述待测语句的语义特征表示。
在本实施例中,分析设备根据预设的残差计算公式,将所述待测语句的词嵌入表示、语义整体特征表示、语义局部特征表示进行多层残差连接处理,获得所述待测语句的语义特征表示,具体如下:
在一个可选的实施例中,所述语义整体特征计算模块包括依次连接的映射模块、多头自注意力模块以及逐词卷积模块,请参阅图3,图3为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S301的流程示意图,包括步骤S3011~S3013,具体如下:
S3011:将所述待测语句的词嵌入表示中各个单词对应的词嵌入向量输入至所述映射模块中,获得所述映射模块输出的若干个等维度的子空间。
所述子空间包括第一子空间以及第二子空间,其中,所述第一子空间为:
所述第二子空间为:
在本实施例中,分析设备将所述待测语句的词嵌入表示中各个单词对应的词嵌入向量输入至所述映射模块中,获得所述映射模块输出的若干个等维度的子空间。
S3012:将所述子空间输入至所述多头自注意力模块,根据预设的隐藏层计算算法,获得所述多头自注意力模块输出的各个子空间对应的隐藏层表示。
在一个可选的实施例中,分析设备可以采用MultiHeadSA模型作为所述多头自注意力模块,分析设备将所述子空间输入至所述多头自注意力模块,根据预设的隐藏层计算算法,获得所述多头自注意力模块输出的各个子空间对应的隐藏层表示,其中,所述隐藏层计算算法为:
S3013:将所述隐藏层表示输入至所述逐词卷积模块,根据预设的逐词卷积算法,获得所述逐词卷积模块输出的隐状态参数,作为所述待测语句的语义整体特征表示。
在一个可选的实施例中,分析设备可以采用TWC模型作为所述逐词卷积模块,分析设备将所述隐藏层表示输入至所述逐词卷积模块,根据预设的逐词卷积算法,获得所述逐词卷积模块输出的隐状态参数,作为所述待测语句的语义整体特征表示,其中,所述逐词卷积算法为:
请参阅图4,图4为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S302的流程示意图,包括步骤S3021~S3023,具体如下:
S3021:获取所述方面词以及上下文单词在所述待测语句的句子表示中的位置坐标,根据所述语义局部特征计算模块中的语义相对距离计算算法,获得各个方面词与每个上下文单词之间的语义相对距离。
所述语义相对距离计算算法为:
式中,SRDi为第i个方面词对应的语义相对距离,Pi为所述上下文单词在所述待测语句的句子表示中的位置坐标,Pa为所述方面词在所述待测语句的句子表示中的位置坐标,lenasp为由所述方面词对应的向量组成的序列的长度;
在本实施例中,分析设备获取所述方面词以及上下文单词在所述待测语句的句子表示中的位置坐标,根据所述语义局部特征计算模块中的语义相对距离计算算法,获得各个方面词与每个上下文单词之间的语义相对距离。
S3022:根据所述语义相对距离以及预设的语义距离阈值,获得各个方面词与每个上下文单词之间的第一注意力向量,构建所述方面词对应的第一注意力矩阵。
在本实施例中,分析设备根据所述语义相对距离以及预设的语义距离阈值,获得各个方面词与每个上下文单词之间的第一注意力向量,构建所述方面词对应的第一注意力矩阵,具体如下:
式中,为所述第一注意力向量,αsem为所述语义距离阈值,Msem为所述第一注意力矩阵;分别为全零向量和全一向量;dh为上下文单词的向量的隐层维度。通过零向量掩盖远距离的无关信息,用以进一步提取语义局部特征表示,加强上下文单词和方面词之间的联系。
S3023:根据所述第一注意力矩阵、各个子空间对应的隐藏层表示以及所述语义局部特征计算模块中的第一元素点积算法,获取所述语义局部特征计算模块输出的所述待测语句的语义局部特征表示。
所述第一元素点积算法为:
在本实施例中,分析设备根据所述第一注意力矩阵、各个子空间对应的隐藏层表示以及所述语义局部特征计算模块中的第一元素点积算法,获取所述语义局部特征计算模块输出的所述待测语句的语义局部特征表示。
S4:将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示。
在本实施例中,分析设备将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示。
在一个可选的实施例中,所述句法通道包括依次连接的句法整体特征计算模块以及句法局部特征计算模块,请参阅图5,图5为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S4的流程示意图,包括步骤S401~S403,具体如下:
S401:将所述待测语句的词嵌入表示输入至所述句法通道中的句法整体特征计算模块中,获得所述待测语句的句法整体特征表示。
在一个可选的实施例中,分析设备采用多头图卷积模块作为所述句法整体特征计算模块,并将所述待测语句的词嵌入表示输入至所述句法通道中的句法整体特征计算模块中,获得所述待测语句的句法整体特征表示。
S402:将所述待测语句的句子表示输入至所述句法通道中的句法局部特征计算模块中,获得所述待测语句的句法局部特征表示。
在本实施例中,分析设备将所述待测语句的句子表示输入至所述句法通道中的句法局部特征计算模块中,获得所述待测语句的句法局部特征表示。
S403:将所述待测语句的词嵌入表示、句法整体特征表示、句法局部特征表示进行多层残差连接处理,获得所述待测语句的句法特征表示。
在本实施例中,分析设备将所述待测语句的词嵌入表示、句法整体特征表示、句法局部特征表示进行多层残差连接处理,获得所述待测语句的句法特征表示,具体如下:
请参阅图6,图6为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S401的流程示意图,包括步骤S4011~S4014,具体如下:
S4011:获取所述待测语句的依赖边信息,根据所述依赖边信息,构建所述待测语句的依赖边矩阵。
所述依赖边信息体现为所述待测语句中单词与单词之间的具有依赖关系。
在本实施例中,分析设备根据依赖信息中的依赖边信息,构建待测语句的依赖边矩阵,其中,依赖边矩阵为:
A={ai,j}n×n
式中,A为依赖边矩阵,ai,j为依赖边特征表示,ai,j=1代表依赖边信息为单词与单词之间的具有依赖关系,ai,j=0代表依赖边信息为单词与单词之间的不具有依赖关系。
S4012:将所述待测语句的词嵌入表示以及所述依赖边矩阵输入至所述句法整体特征计算模块中,并将所述待测语句的词嵌入表示作为所述句法整体特征计算模块的第一层输入节点信息,根据预设的输入节点算法,获得所述句法整体特征计算模块各层对应的输入节点信息。
所述输入节点算法为:
在本实施例中,分析设备将所述待测语句的词嵌入表示以及所述依赖边矩阵输入至所述句法整体特征计算模块中,并将所述待测语句的词嵌入表示作为所述句法整体特征计算模块的第一层输入节点信息,根据预设的输入节点算法,获得所述句法整体特征计算模块各层对应的输入节点信息。
S4013:根据预设的节点更新算法,对所述句法整体特征计算模块各层对应的输入节点信息进行更新,获得更新后的所述句法整体特征计算模块各层对应的输入节点信息。
所述节点更新算法为:
在本实施例中,分析设备根据预设的节点更新算法,对所述句法整体特征计算模块各层对应的输入节点信息进行更新,获得更新后的所述句法整体特征计算模块各层对应的输入节点信息。
S4014:根据预设的拼接算法,将所述更新后的句法整体特征计算模块各层对应的输入节点信息进行拼接,获得所述句法整体特征计算模块输出的隐状态参数,作为所述待测语句的句法整体特征表示。
所述拼接算法为:
在本实施例中,分析设备根据预设的拼接算法,将所述更新后的句法整体特征计算模块各层对应的输入节点信息进行拼接,获得所述句法整体特征计算模块输出的隐状态参数,作为所述待测语句的句法整体特征表示。
请参阅图7,图7为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S402的流程示意图,包括步骤S4021~S4023,具体如下:
S4021:获得依存句法树,并将所述待测语句的方面词设置在所述依存句法树的根节点上,所述待测语句的上下文单词设置在所述依存句法树的子节点上。
依存句法树为将句子分析成一棵依存句法树,描述出各个词语之间的依存关系,所述依存句法树包括若干个根节点与子节点,所述根节点与所述子节点直接连接;
在本实施例中,分析设备获得依存句法树,并将所述待测语句的方面词设置在所述依存句法树的根节点上,所述待测语句的上下文单词设置在所述依存句法树的子节点上。
S4022:根据所述待测语句相对应的依存句法图中各个根节点与子节点的距离,获得各个根节点对应的方面词与各个上下文单词的句法相对距离,根据所述句法相对距离以及预设的句法距离阈值,获得各个方面词与每个上下文单词之间的第二注意力向量,构建所述方面词对应的第二注意力矩阵。
在本实施例中,分析设备根据所述待测语句相对应的依存句法图,获取所述依存句法图中各个根节点与子节点的距离,作为所述各个方面词与各个上下文单词的句法相对距离,具体如下:
式中,SDDi为第i个方面词对应的句法相对距离,aspm为第m个方面词对应的根节点,token为上下文单词对应的子节点。
根据所述句法相对距离以及预设的句法距离阈值,获得各个方面词与每个上下文单词之间的第二注意力向量,构建所述方面词对应的第二注意力矩阵,具体如下:
S4023:根据所述第二注意力矩阵、所述句法整体特征计算模块各层对应的输入节点信息以及所述句法局部特征注意机制中的第二元素点积算法,获取所述句法局部特征注意机制输出的所述待测语句的句法局部特征表示。
所述第二元素点积算法为:
在本实施例中,分析设备根据所述第二注意力矩阵、所述句法整体特征计算模块各层对应的输入节点信息以及所述句法局部特征注意机制中的第二元素点积算法,获取所述句法局部特征注意机制输出的所述待测语句的句法局部特征表示。
S5:将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。
在本实施例中,分析设备将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。
在一个可选的实施例中,所述分类模块包括池化层以及激活层,请参阅图8,图8为本申请一个实施例提供的基于语义和句法双通道的语句情感分析方法中S5的流程示意图,包括步骤S501~S502,具体如下:
S501:将所述待测语句的语义特征表示以及句法特征表示输入至所述分类模块中的池化层,进行平均池化处理,获得平均池化处理后的语义特征表示以及句法特征表示。
在本实施例中,分析设备将所述待测语句的语义特征表示以及句法特征表示输入至所述分类模块中的池化层,进行平均池化处理,具体如下:
Oavg_sem=MeanPool(Osem_final)
Oavg_syn=MeanPool(Osyn_final)
式中,Oavg_sem为所述平均池化处理后的语义特征表示,Oavg_syn为所述平均池化处理后的句法特征表示,MeanPool()为平均池化函数。
S502:将所述待测语句的词嵌入表示、平均池化处理后的语义特征表示以及句法特征表示进行拼接,获取情感特征表示,将所述情感特征表示输入至所述分类模块中的分类层,根据预设的情感分析算法,获得情感分类极性概率分布向量,根据所述情感分类极性概率分布向量,获得概率最大的维度对应的情感极性,将所述情感极性作为所述待测语句的情感分析结果。
在本实施例中,分析设备将所述待测语句的词嵌入表示、平均池化处理后的语义特征表示以及句法特征表示进行拼接,获取情感特征表示,将所述情感特征表示输入至所述分类模块中的分类层,根据预设的情感分析算法,获得情感分类极性概率分布向量,其中,所述情感分析算法为:
根据所述情感分类极性概率分布向量,获得概率最大的维度对应的情感极性,作为待测文本数据集的情感分析结果,其中,所述情感极性包括积极、中性以及消极,具体地,当计算得到u=[u积极,u消极,u中性]=[0.1,0.7,0.2],概率最大为u消极,其概率最大的维度对应的情感极性为消极,作为待测文本数据集的情感分析结果。
请参考图9,图9为本申请一个实施例提供的基于语义和句法双通道的语句情感分析装置的结构示意图,该装置可以通过软件、硬件或两者的结合实现基于语义和句法双通道的语句情感分析装置的全部或一部分,该装置9包括:
获取模块91,用于获取待测语句的句子表示以及预设的神经网络模型;其中,所述待测语句包括若干个句子,句子包括若干个单词,所述单词包括方面词以及上下文单词;所述预设的神经网络模型包括依次连接的句子编码模块、语义通道、句法通道以及分类模块;
词嵌入模块92,用于将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得所述待测语句的词嵌入表示,其中,所述词嵌入表示包括各个单词对应的词嵌入向量;
语义特征模块93,用于将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示;
句法特征模块94,用于将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示;
情感分析模块95,用于将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。
在本实施例中,通过获取模块,获取待测语句的句子表示以及预设的神经网络模型;其中,所述待测语句包括若干个句子,句子包括若干个单词,所述单词包括方面词以及上下文单词;所述预设的神经网络模型包括依次连接的句子编码模块、语义通道、句法通道以及分类模块;通过词嵌入模块,将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得所述待测语句的词嵌入表示,其中,所述词嵌入表示包括各个单词对应的词嵌入向量;通过语义特征模块,将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示;通过句法特征模块,将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示;通过情感分析模块,将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。利用句法和语义双通道同时考虑句法和语义信息,提高了全局信息的提取,避免引入过多无关的噪声,更加全面地对语句进行情感分析,从而提高语句的情感分析的准确性以及稳定性。
请参考图10,图10为本申请一个实施例提供的计算机设备的结构示意图,计算机设备10包括:处理器101、存储器102以及存储在存储器102上并可在处理器101上运行的计算机程序103;计算机设备可以存储有多条指令,指令适用于由处理器101加载并执行上述图一至图七的方法步骤,具体执行过程可以参见图一至图七的具体说明,在此不进行赘述。
其中,处理器101可以包括一个或多个处理核心。处理器101利用各种接口和线路连接服务器内的各个部分,通过运行或执行存储在存储器102内的指令、程序、代码集或指令集,以及调用存储器102内的数据,执行基于语义和句法双通道的语句情感分析装置9的各种功能和处理数据,可选的,处理器101可以采用数字信号处理(Digital SignalProcessing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programble Logic Array,PLA)中的至少一个硬件形式来实现。处理器101可集成中央处理器101(Central Processing Unit,CPU)、图像处理器101(Graphics ProcessingUnit,GPU)和调制解调器等中的一个或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器101中,单独通过一块芯片进行实现。
其中,存储器102可以包括随机存储器102(Random Access Memory,RAM),也可以包括只读存储器102(Read-Only Memory)。可选的,该存储器102包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器102可选的还可以是至少一个位于远离前述处理器101的存储装置。
本申请实施例还提供了一种存储介质,所述存储介质可以存储有多条指令,所述指令适用于由处理器加载并执行上述图一至图七的方法步骤,具体执行过程可以参见图一至图七的具体说明,在此不进行赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束算法。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明并不局限于上述实施方式,如果对本发明的各种改动或变形不脱离本发明的精神和范围,倘若这些改动和变形属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变形。
Claims (10)
1.一种基于语义和句法双通道的语句情感分析方法,其特征在于,包括以下步骤:
获取待测语句的句子表示以及预设的神经网络模型;其中,所述待测语句包括若干个句子,句子包括若干个单词,所述单词包括方面词以及上下文单词;所述预设的神经网络模型包括依次连接的句子编码模块、语义通道、句法通道以及分类模块;
将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得所述待测语句的词嵌入表示,其中,所述词嵌入表示包括各个单词对应的词嵌入向量;
将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示;
将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示;
将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。
2.根据权利要求1所述的基于语义和句法双通道的语句情感分析方法,其特征在于:所述语义通道包括依次连接的语义整体特征计算模块以及语义局部特征计算模块;
所述将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示,包括步骤:
将所述待测语句的词嵌入表示输入至所述语义通道中的语义整体特征计算模块中,获得所述待测语句的语义整体特征表示;
将所述待测语句的句子表示输入至所述语义通道中的语义局部特征计算模块中,获得所述待测语句的语义局部特征表示;
将所述待测语句的词嵌入表示、语义整体特征表示、语义局部特征表示进行多层残差连接处理,获得所述待测语句的语义特征表示。
3.根据权利要求2所述的基于语义和句法双通道的语句情感分析方法,其特征在于:
所述语义整体特征计算模块包括依次连接的映射模块、多头自注意力模块以及逐词卷积模块;
所述将所述待测语句的词嵌入表示输入至所述语义通道中的语义整体特征计算模块中,获得所述待测语句的语义整体特征表示,包括步骤:
将所述待测语句的词嵌入表示中各个单词对应的词嵌入向量输入至所述映射模块中,获得所述映射模块输出的若干个等维度的子空间,其中,所述子空间包括第一子空间以及第二子空间,其中,所述第一子空间为:
所述第二子空间为:
将所述子空间输入至所述多头自注意力模块,根据预设的隐藏层计算算法,获得所述多头自注意力模块输出的各个子空间对应的隐藏层表示,其中,所述隐藏层计算算法为:
将所述隐藏层表示输入至所述逐词卷积模块,根据预设的逐词卷积算法,获得所述逐词卷积模块输出的隐状态参数,作为所述待测语句的语义整体特征表示,其中,所述逐词卷积算法为:
4.根据权利要求3所述的基于语义和句法双通道的语句情感分析方法,其特征在于,所述将所述待测语句的句子表示输入至所述语义通道中的语义局部特征计算模块中,获得所述待测语句的语义局部特征表示,包括步骤:
获取所述方面词以及上下文单词在所述待测语句的句子表示中的位置坐标,根据所述语义局部特征计算模块中的语义相对距离计算算法,获得各个方面词与每个上下文单词之间的语义相对距离,其中,所述语义相对距离计算算法为:
式中,SRDi为第i个方面词对应的语义相对距离,Pi为所述上下文单词在所述待测语句的句子表示中的位置坐标,Pa为所述方面词在所述待测语句的句子表示中的位置坐标,lenasp为由所述方面词对应的向量组成的序列的长度;
根据所述语义相对距离以及预设的语义距离阈值,获得各个方面词与每个上下文单词之间的第一注意力向量,构建所述方面词对应的第一注意力矩阵;
根据所述第一注意力矩阵、各个子空间对应的隐藏层表示以及所述语义局部特征计算模块中的第一元素点积算法,获取所述语义局部特征计算模块输出的所述待测语句的语义局部特征表示,其中,所述第一元素点积算法为:
5.根据权利要求1所述的基于语义和句法双通道的语句情感分析方法,其特征在于:
所述句法通道包括依次连接的句法整体特征计算模块以及句法局部特征计算模块;
所述将所述待测语句的词嵌入表示、所述根节点与子节点的距离输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示,包括步骤:
将所述待测语句的词嵌入表示输入至所述句法通道中的句法整体特征计算模块中,获得所述待测语句的句法整体特征表示;
将所述待测语句的句子表示输入至所述句法通道中的句法局部特征计算模块中,获得所述待测语句的句法局部特征表示;
将所述待测语句的词嵌入表示、句法整体特征表示、句法局部特征表示进行多层残差连接处理,获得所述待测语句的句法特征表示。
6.根据权利要求5所述的基于语义和句法双通道的语句情感分析方法,其特征在于,所述将所述待测语句的词嵌入表示输入至所述句法通道中的句法整体特征计算模块中,获得所述待测语句的句法整体特征表示,包括步骤:
获取所述待测语句的依赖边信息;所述依赖边信息为单词与单词之间的具有依赖连接关系;根据所述依赖边信息,构建所述待测语句的依赖边矩阵;
将所述待测语句的词嵌入表示以及所述依赖边矩阵输入至所述句法整体特征计算模块中,并将所述待测语句的词嵌入表示作为所述句法整体特征计算模块的第一层输入节点信息,根据预设的输入节点算法,获得所述句法整体特征计算模块各层对应的输入节点信息,其中,所述输入节点算法为:
根据预设的节点更新算法,对所述句法整体特征计算模块各层对应的输入节点信息进行更新,获得更新后的所述句法整体特征计算模块各层对应的输入节点信息,其中,所述节点更新算法为:
根据预设的拼接算法,将所述更新后的句法整体特征计算模块各层对应的输入节点信息进行拼接,获得所述句法整体特征计算模块各层输出的隐状态参数,并将所述多头自注意力模块的最后一层卷积层输出的隐状态参数作为所述待测语句的句法整体特征表示,其中,所述拼接算法为:
7.根据权利要求6所述的基于语义和句法双通道的语句情感分析方法,其特征在于:所述将所述待测语句的句子表示输入至所述句法通道中的句法局部特征计算模块中,获得所述待测语句的句法局部特征表示,包括步骤:
获得依存句法树,并将所述待测语句的方面词设置在所述依存句法树的根节点上,所述待测语句的上下文单词设置在所述依存句法树的子节点上,其中,所述依存句法树包括若干个根节点与子节点,所述根节点与所述子节点直接连接;
根据所述待测语句相对应的依存句法图中各个根节点与子节点的距离,获得各个根节点对应的方面词与各个上下文单词的句法相对距离,根据所述句法相对距离以及预设的句法距离阈值,获得各个方面词与每个上下文单词之间的第二注意力向量,构建所述方面词对应的第二注意力矩阵;
根据所述第二注意力矩阵、所述句法整体特征计算模块各层对应的输入节点信息以及所述句法局部特征注意机制中的第二元素点积算法,获取所述句法局部特征注意机制输出的所述待测语句的句法局部特征表示,其中,所述第二元素点积算法为:
8.根据权利要求1所述的基于语义和句法双通道的语句情感分析方法,其特征在于:所述分类模块包括依次连接的池化层以及激活层;
所述将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果,包括步骤:
将所述待测语句的语义特征表示以及句法特征表示输入至所述分类模块中的池化层,进行平均池化处理,获得平均池化处理后的语义特征表示以及句法特征表示;
将所述待测语句的词嵌入表示、平均池化处理后的语义特征表示以及句法特征表示进行拼接,获取情感特征表示,将所述情感特征表示输入至所述分类模块中的分类层,根据预设的情感分析算法,获得情感分类极性概率分布向量,根据所述情感分类极性概率分布向量,获得概率最大的维度对应的情感极性,将所述情感极性作为所述待测语句的情感分析结果,其中,所述情感分析算法为:
9.一种基于语义和句法双通道的语句情感分析装置,其特征在于,包括:
获取模块,用于获取待测语句的句子表示以及预设的神经网络模型;其中,所述待测语句包括若干个句子,句子包括若干个单词,所述单词包括方面词以及上下文单词;所述预设的神经网络模型包括依次连接的句子编码模块、语义通道、句法通道以及分类模块;
词嵌入模块,用于将所述待测语句的句子表示输入至预设的神经网络模型中的句子编码模块,获得所述待测语句的词嵌入表示,其中,所述词嵌入表示包括各个单词对应的词嵌入向量;
语义特征模块,用于将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的语义通道,获得所述待测语句的语义特征表示;
句法特征模块,用于将所述待测语句的词嵌入表示以及句子表示输入至所述神经网络模型中的句法通道,获得所述待测语句的句法特征表示;
情感分析模块,用于将所述待测语句的词嵌入表示、语义特征表示以及句法特征表示输入至所述神经网络模型的分类模块中,获取所述神经网络模型的分类模块输出的情感分析结果。
10.一种计算机设备,其特征在于,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于语义和句法双通道的语句情感分析方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210662347.7A CN115048938A (zh) | 2022-06-13 | 2022-06-13 | 基于语义和句法双通道的语句情感分析方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210662347.7A CN115048938A (zh) | 2022-06-13 | 2022-06-13 | 基于语义和句法双通道的语句情感分析方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115048938A true CN115048938A (zh) | 2022-09-13 |
Family
ID=83161240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210662347.7A Pending CN115048938A (zh) | 2022-06-13 | 2022-06-13 | 基于语义和句法双通道的语句情感分析方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115048938A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115204183A (zh) * | 2022-09-19 | 2022-10-18 | 华南师范大学 | 基于知识增强的双通道情感分析方法、装置以及设备 |
CN115659951A (zh) * | 2022-12-26 | 2023-01-31 | 华南师范大学 | 基于标签嵌入的语句情感分析方法、装置以及设备 |
CN115712726A (zh) * | 2022-11-08 | 2023-02-24 | 华南师范大学 | 基于双词嵌入的情感分析方法、装置以及设备 |
CN115906861A (zh) * | 2022-10-21 | 2023-04-04 | 华南师范大学 | 基于交互方面信息融合的语句情感分析方法以及装置 |
CN115905518A (zh) * | 2022-10-17 | 2023-04-04 | 华南师范大学 | 基于知识图谱的情感分类方法、装置、设备以及存储介质 |
-
2022
- 2022-06-13 CN CN202210662347.7A patent/CN115048938A/zh active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115204183A (zh) * | 2022-09-19 | 2022-10-18 | 华南师范大学 | 基于知识增强的双通道情感分析方法、装置以及设备 |
CN115204183B (zh) * | 2022-09-19 | 2022-12-27 | 华南师范大学 | 基于知识增强的双通道情感分析方法、装置以及设备 |
CN115905518A (zh) * | 2022-10-17 | 2023-04-04 | 华南师范大学 | 基于知识图谱的情感分类方法、装置、设备以及存储介质 |
CN115905518B (zh) * | 2022-10-17 | 2023-10-20 | 华南师范大学 | 基于知识图谱的情感分类方法、装置、设备以及存储介质 |
CN115906861A (zh) * | 2022-10-21 | 2023-04-04 | 华南师范大学 | 基于交互方面信息融合的语句情感分析方法以及装置 |
CN115906861B (zh) * | 2022-10-21 | 2023-09-26 | 华南师范大学 | 基于交互方面信息融合的语句情感分析方法以及装置 |
CN115712726A (zh) * | 2022-11-08 | 2023-02-24 | 华南师范大学 | 基于双词嵌入的情感分析方法、装置以及设备 |
CN115712726B (zh) * | 2022-11-08 | 2023-09-12 | 华南师范大学 | 基于双词嵌入的情感分析方法、装置以及设备 |
CN115659951A (zh) * | 2022-12-26 | 2023-01-31 | 华南师范大学 | 基于标签嵌入的语句情感分析方法、装置以及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115048938A (zh) | 基于语义和句法双通道的语句情感分析方法以及装置 | |
CN109582956B (zh) | 应用于句子嵌入的文本表示方法和装置 | |
US10943068B2 (en) | N-ary relation prediction over text spans | |
CN114676704B (zh) | 句子情感分析方法、装置、设备以及存储介质 | |
US20130325756A1 (en) | Graph-based framework for multi-task multi-view learning | |
CN109740167B (zh) | 用于生成信息的方法和装置 | |
CN115204183B (zh) | 基于知识增强的双通道情感分析方法、装置以及设备 | |
CN114386528B (zh) | 模型的训练方法和装置、计算机设备、存储介质 | |
CN107391682B (zh) | 知识验证方法、知识验证设备以及存储介质 | |
CN113688212B (zh) | 句子情感分析方法、装置以及设备 | |
CN111461301A (zh) | 序列化数据处理方法和装置、文本处理方法和装置 | |
CN115587597B (zh) | 基于子句级关系图的方面词的情感分析方法以及装置 | |
CN110245310A (zh) | 一种对象的行为分析方法、装置及存储介质 | |
CN111488742A (zh) | 用于翻译的方法和装置 | |
CN111178082A (zh) | 一种句向量生成方法、装置及电子设备 | |
CN115906863B (zh) | 基于对比学习的情感分析方法、装置、设备以及存储介质 | |
CN115906861B (zh) | 基于交互方面信息融合的语句情感分析方法以及装置 | |
CN114547312B (zh) | 基于常识知识图谱的情感分析方法、装置以及设备 | |
CN116680401A (zh) | 文档处理方法、文档处理装置、设备及存储介质 | |
CN116168403A (zh) | 医疗数据分类模型训练方法、分类方法、装置及相关介质 | |
CN115905524A (zh) | 融合句法和语义信息的情感分析方法、装置以及设备 | |
CN113704471B (zh) | 语句的分类方法、装置、设备和存储介质 | |
CN115795025A (zh) | 一种摘要生成方法及其相关设备 | |
JP2020139914A (ja) | 物質構造分析装置、方法及びプログラム | |
CN115033700A (zh) | 基于相互学习网络的跨领域情感分析方法、装置以及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |