CN113254592A - 基于门机制的多级注意力模型的评论方面检测方法及系统 - Google Patents
基于门机制的多级注意力模型的评论方面检测方法及系统 Download PDFInfo
- Publication number
- CN113254592A CN113254592A CN202110669829.0A CN202110669829A CN113254592A CN 113254592 A CN113254592 A CN 113254592A CN 202110669829 A CN202110669829 A CN 202110669829A CN 113254592 A CN113254592 A CN 113254592A
- Authority
- CN
- China
- Prior art keywords
- sentence
- matrix
- vector
- hidden state
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 20
- 239000013598 vector Substances 0.000 claims abstract description 138
- 239000011159 matrix material Substances 0.000 claims abstract description 114
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 12
- 238000002156 mixing Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 7
- 125000004432 carbon atom Chemical group C* 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 5
- 239000013604 expression vector Substances 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 235000005206 Hibiscus Nutrition 0.000 description 1
- 235000007185 Hibiscus lunariifolius Nutrition 0.000 description 1
- 244000284380 Hibiscus rosa sinensis Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000015122 lemonade Nutrition 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种基于门机制的多级注意力模型的评论方面检测方法及系统,待处理的句子转换为嵌入词形式的词向量矩阵后使用双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态,并根据隐藏状态得到整个句子的隐藏状态向量矩阵作为该句子的编码;根据该隐藏状态向量矩阵计算对应的句子级自注意特征矩阵;计算各个时间步相对于最后一个时间步的权重,并根据该权重和隐藏状态计算得到对应的词级自注意特征向量;对句子级自注意特征矩阵进行拉伸操作并通过全连接层得到句子级自注意力特征向量,通过一个门机制混合句级注意力的向量和词级注意力的向量后根据得到的向量分析句子的方面类别概率,确定句子的方面类别。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种基于门机制的多级注意力模型的评论方面检测方法及系统。
背景技术
近年来,情感分析和意见挖掘已成为学术界和行业的热门领域。该领域的挑战之一是为评论中的各个方面分配标签,称为评论方面类别检测(ACD)。例如,一句评论“这家饭店的服务员的态度真好”可以被指定为“服务”方面类别或标签。而一句话“这家饭店的食物很一般,但是环境还是非常不错的”可以分配两个标签,即“环境”和“食品”。方面类别检测任务可以帮助公司从客户那里获得更详尽的意见和建议,从而改善自身公司的产品或服务。以前对ACD的研究分为两类:(1)基于词典的方法和(2)基于机器学习的方法。基于词典的方法不需要标记的数据集,但是需要某些设计好的规则,并且该方法不能很好地处理包含许多隐式语义的句子。基于机器学习的方法,比如SVM,神经网络模型在ACD任务中取得了很好的效果。
例如,有的方法引入了深度学习模型中的注意力机制来识别评论中的关键字。他们使用LSTM的最后一个时间步长(或所有时间步长的平均值)的输出作为整个句子的表示向量,然后计算每个时间步长与最后一个时间步长(或所有时间步长的平均值)之间的相似度来分别获得句子中词的注意力权重。但是,在ACD任务中,一个句子可能描述多个方面类别,而且可能比平时更长。因此,对这些长句子进行编码会导致LSTM的长期记忆负担。另外,使用最后一个时间步长或平均值可能会导致语义信息的丢失,因此使该方法在较长的句子中表现不佳。例如,一句长评论:“我午休时间到了这个很棒的小地方,店里有很棒的炸玉米饼和芙蓉柠檬水。”这个句子的前半部分描述了氛围方面,在后半部分描述了饮食方面。我们发现词级别自我注意力模型可以正确识别食物方面,但无法识别环境方面。又比如,还有的方法提出了一种句子级的自我注意力机制来应对长期记忆负担的挑战。这种方法可以增强模型处理多方面长句子的能力。然而这种方法在处理短句子时,句子级别的注意力有时不能像词级别的注意力那样有效。例如,有人评论说“我受不了这个地方”,针对这种评论我们试验了这种方法,发现句子级别的注意力模型无法正确预测“环境”方面。
因此,需要提供一种方案以提高评论方面类别检测结果的准确性。
发明内容
本发明的目的在于提供一种基于门机制的多级注意力模型的评论方面检测方法及系统,用以实现提高评论方面类别检测结果的准确性的技术效果。
第一方面,本发明提供了一种基于门机制的多级注意力模型的评论方面检测方法,包括:
S1.获取待处理的句子并将该句子转换为嵌入词形式的词向量矩阵;
S2.通过双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态h t ,并根据每个时间步的隐藏状态h t 得到整个句子的隐藏状态向量矩阵H,作为该句子的编码;
S3.根据所述隐藏状态向量矩阵H计算各个方面中每个单词的概率分布,得到对应的句子级自注意力权重矩阵A,并根据所述句子级自注意力权重矩阵A和所述隐藏状态向量矩阵H计算得到对应的句子级自注意特征矩阵M;
S4. 计算各个时间步相对于最后一个时间步的权重a t ,并根据所述权重a t 和所述隐藏状态h t 计算得到对应的词级自注意特征向量v w ;
S5. 对所述句子级自注意特征矩阵M进行拉伸操作,然后送入第一全连接层得到句子级自注意力特征向量v s ;根据所述词级自注意特征向量v w 和所述句子级自注意力特征向量v s ,将两个向量通过门机制融合后得到最终表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。
进一步地,所述S2包括:
S23. 将所有时间步的隐藏状态h t 进行整合,得到整个句子的隐藏状态向量矩阵H。
进一步地,所述S3的实现方式为:
M=AH
上式中,Softmax表示Softmax函数;tanh表示双曲正切函数;W a1是大小为d×2u的权重矩阵;W a2是大小为r×d的权重矩阵;d表示矩阵维度;H T 表示隐藏状态向量矩阵H的转置矩阵;句子级自注意力权重矩阵A是一个大小为r×n的矩阵;句子级自注意特征矩阵M∈Rr ×2u ,r和u表示超参数,R表示实数矩阵;n表示每个句子中嵌入词的总数。
进一步地,所述S4的实现方式为:
上式中,n表示每个句子中嵌入词的总数;h t 表示句子中第t个时间步的隐藏状态;h l 表示句子中最后一个时间步的隐藏状态;W a3表示句子中第t个时间步的权重映射矩阵;W a4表示句子中最后一个时间步的权重映射矩阵;score(.)表示权重评分函数。
进一步地,所述S5的实现方式为:
上式中,flatten(.)表示拉伸操作函数;W f 和b f 表示第一全连接层的学习参数;G表示门函数,用于计算两个向量v s , v w 按照何等比例融合;W g1表示句子级自注意力特征向量v s 的权重矩阵;W g2表示词级自注意特征向量v w 的权重矩阵;p表示句子的方面类别概率;z表示最终表示向量;W c 和b c 表示第二全连接层的学习参数。
进一步地,所述方法还包括通过目标函数L1对方面类别的预测结果进行优化:
式中,N表示用于进行优化的小批量数据集mini-batch的大小,y i m 表示小批量数据集mini-batch中句子的真实方面类别标签;p i m 表示小批量数据集mini-batch中句子的预测方面类别标签。
第二方面,本发明提供了一种基于门机制的多级注意力模型的评论方面检测系统,,包括:
获取模块,用于获取待处理的句子并将该句子转换为嵌入词形式的词向量矩阵;
句子编码模块,用于通过双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态h t ,并根据每个时间步的隐藏状态h t 得到整个句子的隐藏状态向量矩阵H作为该句子的编码;
句子级自注意分析模块,用于根据所述隐藏状态向量矩阵H计算各个方面中每个单词的概率分布,得到对应的句子级自注意力权重矩阵A,并根据所述句子级自注意力权重矩阵A和所述隐藏状态向量矩阵H计算得到对应的句子级自注意特征矩阵M;
词级自注意分析模块,计算各个时间步相对于最后一个时间步的权重a t ,并根据所述权重a t 和所述隐藏状态h t 计算得到对应的词级自注意特征向量v w ;
句子方面类别分析模块,用于对所述句子级自注意特征矩阵M进行拉伸操作,然后送入第一全连接层得到句子级自注意力特征向量v s ;根据所述词级自注意特征向量v w 和所述句子级自注意力特征向量v s ,将两个向量通过门机制融合后得到最终表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。
本发明能够实现的有益效果是:本发明先将待处理的句子转换为嵌入词形式的词向量矩阵;其次,使用双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态,并根据该隐藏状态得到整个句子的隐藏状态向量矩阵作为该句子的编码;再次,根据该隐藏状态向量矩阵计算对应的句子级自注意特征矩阵;然后,计算各个时间步相对于最后一个时间步的权重a t ,并根据该权重a t 和隐藏状态h t 计算得到对应的词级自注意特征向量v w ;最后,对句子级自注意特征矩阵M进行拉伸操作并通过一个全连接层得到句子级自注意力特征向量v s ,根据该句子级自注意力特征向量v s 和词级自注意特征向量v w 再结合门机制计算得到最终表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。通过上述过程中的句子级自注意力特征向量v s 和词级自注意特征向量v w 联合进行评论方面类别检测,提高了评论方面类别检测结果的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种基于门机制的多级注意力模型的评论方面检测方法的总体流程示意图;
图2为本发明实施例提供的一种基于门机制的多级注意力模型的评论方面检测系统的拓扑结构示意图。
图标:10-方面类别检测系统;100-获取模块;200-句子编码模块;300-句子级自注意分析模块;400-词级自注意分析模块;500-句子方面类别分析模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
请参看图1,图1为本发明实施例提供的一种基于门机制的多级注意力模型的评论方面检测方法的总体流程示意图。
在一种实施方式中,本发明实施例提供了一种基于门机制的多级注意力模型的评论方面检测,其具体内容如下所述。
S1.获取待处理的句子并将该句子转换为嵌入词形式的词向量矩阵。
具体地,句子由嵌入词的形式组成的词向量矩阵可以表示为:
其中,x t 表示句子中的第t个嵌入词;矩阵S为实数矩阵,且S∈Rn×d,n表示嵌入词的总数,d为嵌入词的向量维度,R表示实数。
S2.通过双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态h t ,并根据每个时间步的隐藏状态h t 得到整个句子的隐藏状态向量矩阵H,作为该句子的编码。
在一种实施方式中,S2具体包括以下步骤:
S23. 将所有时间步的隐藏状态h t 进行整合,得到整个句子的隐藏状态向量矩阵H。
在一种实施方式中,可以将各个隐藏状态h t 整合为一个n×2u的隐藏状态向量矩阵H:
S3.根据所述隐藏状态向量矩阵H计算各个方面中每个单词的概率分布,得到对应的句子级自注意力权重矩阵A,并根据所述句子级自注意力权重矩阵A和所述隐藏状态向量矩阵H计算得到对应的句子级自注意特征矩阵M。
在一种实施方式中,S3的实现方式为:
M=AH
上式中,Softmax表示Softmax函数;tanh表示双曲正切函数;W a1是大小为d×2u的权重矩阵;W a2是大小为r×d的权重矩阵;d表示矩阵维度;H T 表示隐藏状态向量矩阵H的转置矩阵;句子级自注意力权重矩阵A是一个大小为r×n的矩阵;句子级自注意特征矩阵M∈Rr ×2u ,r和u表示超参数,R表示实数矩阵;n表示每个句子中嵌入词的总数。
S4. 计算各个时间步相对于最后一个时间步的权重a t ,并根据所述权重a t 和所述隐藏状态h t 计算得到对应的词级自注意特征向量v w 。
在一种实施方式中,S4的实现方式为:
上式中,n表示每个句子中嵌入词的总数;h t 表示句子中第t个时间步的隐藏状态;h l 表示句子中最后一个时间步的隐藏状态;W a3表示句子中第t个时间步的权重映射矩阵;W a4表示句子中最后一个时间步的权重映射矩阵;score(.)表示权重评分函数。
S5. 对所述句子级自注意特征矩阵M进行拉伸操作,然后送入第一全连接层得到句子级自注意力特征向量v s ;根据所述词级自注意特征向量v w 和所述句子级自注意力特征向量v s ,将两个向量通过门机制融合后得到最终表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。
在一种实施方式中,所述S5的实现方式为:
上式中,flatten(.)表示拉伸操作函数;W f 和b f 表示第一全连接层的学习参数;G表示门函数,用于计算两个向量v s , v w 按照何等比例融合;W g1表示句子级自注意力特征向量v s 的权重矩阵;W g2表示词级自注意特征向量v w 的权重矩阵;p表示句子的方面类别概率;z表示最终表示向量;W c 和b c 表示第二全连接层的学习参数。
在上述实现过程中,先将待处理的句子转换为嵌入词形式的词向量矩阵;其次,使用双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态,并根据该隐藏状态得到整个句子的隐藏状态向量矩阵作为该句子的编码;再次,根据该隐藏状态向量矩阵计算对应的句子级自注意特征矩阵;然后,计算各个时间步相对于最后一个时间步的权重a t ,并根据该权重a t 和隐藏状态h t 计算得到对应的词级自注意特征向量v w ;最后,对句子级自注意特征矩阵M进行拉伸操作并通过一个全连接层得到句子级自注意力特征向量v s ,根据该句子级自注意力特征向量v s 和词级自注意特征向量v w 再结合门机制计算得到最终表示向量表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。通过上述过程中的句子级自注意力特征向量v s 和词级自注意特征向量v w 联合进行评论方面类别检测,提高了评论方面类别检测结果的准确性。
在上述方法的基础之上,本发明提供的方面类别检测方法还包括:
通过目标函数L1对方面类别的预测结果进行优化:
式中,N表示用于进行优化的小批量数据集mini-batch的大小,y i m 表示小批量数据集mini-batch中句子的真实方面类别标签;p i m 表示小批量数据集mini-batch中句子的预测方面类别标签。
通过上述实施方式,可以进一步提高预测结果的准确性。
请参看图2,图2为本发明实施例提供的一种基于门机制的多级注意力模型的评论方面检测系统的拓扑结构示意图。
在一种实施方式中,本发明实施例还提供了一种基于门机制的多级注意力模型的评论方面检测系统10,包括:
获取模块100,用于获取待处理的句子并将该句子转换为嵌入词形式的词向量矩阵;
句子编码模块200,用于通过双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态h t ,并根据每个时间步的隐藏状态h t 得到整个句子的隐藏状态向量矩阵H作为该句子的编码;
句子级自注意分析模块300,用于根据所述隐藏状态向量矩阵H计算各个方面中每个单词的概率分布,得到对应的句子级自注意力权重矩阵A,并根据所述句子级自注意力权重矩阵A和所述隐藏状态向量矩阵H计算得到对应的句子级自注意特征矩阵M;
词级自注意分析模块400,用于计算各个时间步相对于最后一个时间步的权重a t ,并根据所述权重a t 和所述隐藏状态h t 计算得到对应的词级自注意特征向量v w ;
句子方面类别分析模块500,对所述句子级自注意特征矩阵M进行拉伸操作,然后送入第一全连接层得到句子级自注意力特征向量v s ;根据所述词级自注意特征向量v w 和所述句子级自注意力特征向量v s ,将两个向量通过门机制融合后得到最终表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。
在一种实施方式中,本发明实施例还可以提供一种电子设备,该电子设备包括存储器和处理器;所述存储器用于存储计算机程序;所述处理器用于执行所述计算机程序以实现上述的方法步骤。
综上所述,本发明实施例提供一种基于门机制的多级注意力模型的评论方面检测方法及系统,通过上述过程中的句子级自注意力特征向量v s 和词级自注意特征向量v w 再结合门机制计算得到最终表示向量进行评论方面类别检测,提高了评论方面类别检测结果的准确性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于门机制的多级注意力模型的评论方面检测方法,其特征在于,包括:
S1.获取待处理的句子并将该句子转换为嵌入词形式的词向量矩阵;
S2.通过双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态h t ,并根据每个时间步的隐藏状态h t 得到整个句子的隐藏状态向量矩阵H,作为该句子的编码;
S3.根据所述隐藏状态向量矩阵H计算各个方面中每个单词的概率分布,得到对应的句子级自注意力权重矩阵A,并根据所述句子级自注意力权重矩阵A和所述隐藏状态向量矩阵H计算得到对应的句子级自注意特征矩阵M;
S4. 计算各个时间步相对于最后一个时间步的权重a t ,并根据所述权重a t 和所述隐藏状态h t 计算得到对应的词级自注意特征向量v w ;
S5. 对所述句子级自注意特征矩阵M进行拉伸操作,然后送入第一全连接层得到句子级自注意力特征向量v s ;根据所述词级自注意特征向量v w 和所述句子级自注意力特征向量v s ,将两个向量通过门机制融合后得到最终表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。
7.一种基于门机制的多级注意力模型的评论方面检测系统,其特征在于,包括:
获取模块,用于获取待处理的句子并将该句子转换为嵌入词形式的词向量矩阵;
句子编码模块,用于通过双向LSTM神经网络对所述词向量矩阵中的各个词向量进行处理,得到每个时间步的隐藏状态h t ,并根据每个时间步的隐藏状态h t 得到整个句子的隐藏状态向量矩阵H作为该句子的编码;
句子级自注意分析模块,用于根据所述隐藏状态向量矩阵H计算各个方面中每个单词的概率分布,得到对应的句子级自注意力权重矩阵A,并根据所述句子级自注意力权重矩阵A和所述隐藏状态向量矩阵H计算得到对应的句子级自注意特征矩阵M;
词级自注意分析模块,用于计算各个时间步相对于最后一个时间步的权重a t ,并根据所述权重a t 和所述隐藏状态h t 计算得到对应的词级自注意特征向量v w ;
句子方面类别分析模块,用于对所述句子级自注意特征矩阵M进行拉伸操作,然后送入第一全连接层得到句子级自注意力特征向量v s ;根据所述词级自注意特征向量v w 和所述句子级自注意力特征向量v s ,将两个向量通过门机制融合后得到最终表示向量z,并将所述最终表示向量z送入第二全连接层得到句子的方面类别概率,确定句子的方面类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110669829.0A CN113254592B (zh) | 2021-06-17 | 2021-06-17 | 基于门机制的多级注意力模型的评论方面检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110669829.0A CN113254592B (zh) | 2021-06-17 | 2021-06-17 | 基于门机制的多级注意力模型的评论方面检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113254592A true CN113254592A (zh) | 2021-08-13 |
CN113254592B CN113254592B (zh) | 2021-10-22 |
Family
ID=77188324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110669829.0A Active CN113254592B (zh) | 2021-06-17 | 2021-06-17 | 基于门机制的多级注意力模型的评论方面检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113254592B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641798A (zh) * | 2021-10-12 | 2021-11-12 | 成都晓多科技有限公司 | 一种针对商家的扰乱性评论的识别方法及系统 |
CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
CN115329775A (zh) * | 2022-10-14 | 2022-11-11 | 成都晓多科技有限公司 | 一种语句中方面类别及情感极性联合识别的方法及系统 |
CN117997605A (zh) * | 2024-01-16 | 2024-05-07 | 中山大学 | 一种网络异常检测方法、装置、设备和介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180349359A1 (en) * | 2017-05-19 | 2018-12-06 | salesforce.com,inc. | Natural language processing using a neural network |
CN109101584A (zh) * | 2018-07-23 | 2018-12-28 | 湖南大学 | 一种将深度学习与数学分析相结合的句子分类改进方法 |
CN109145112A (zh) * | 2018-08-06 | 2019-01-04 | 北京航空航天大学 | 一种基于全局信息注意力机制的商品评论分类方法 |
CN110069778A (zh) * | 2019-04-18 | 2019-07-30 | 东华大学 | 中文融入嵌入词位置感知的商品情感分析方法 |
CN110347831A (zh) * | 2019-06-28 | 2019-10-18 | 西安理工大学 | 基于自注意力机制的情感分类方法 |
CN110765240A (zh) * | 2019-10-31 | 2020-02-07 | 中国科学技术大学 | 多相关句子对的语义匹配评估方法 |
CN111813895A (zh) * | 2020-08-07 | 2020-10-23 | 深圳职业技术学院 | 一种基于层次注意力机制和门机制的属性级别情感分析方法 |
CN111985205A (zh) * | 2020-08-05 | 2020-11-24 | 重庆大学 | 一种方面级情感分类模型 |
CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
US20210042603A1 (en) * | 2018-09-04 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and storage medium for generating network representation for neural network |
-
2021
- 2021-06-17 CN CN202110669829.0A patent/CN113254592B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180349359A1 (en) * | 2017-05-19 | 2018-12-06 | salesforce.com,inc. | Natural language processing using a neural network |
CN109101584A (zh) * | 2018-07-23 | 2018-12-28 | 湖南大学 | 一种将深度学习与数学分析相结合的句子分类改进方法 |
CN109145112A (zh) * | 2018-08-06 | 2019-01-04 | 北京航空航天大学 | 一种基于全局信息注意力机制的商品评论分类方法 |
US20210042603A1 (en) * | 2018-09-04 | 2021-02-11 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and storage medium for generating network representation for neural network |
CN110069778A (zh) * | 2019-04-18 | 2019-07-30 | 东华大学 | 中文融入嵌入词位置感知的商品情感分析方法 |
CN110347831A (zh) * | 2019-06-28 | 2019-10-18 | 西安理工大学 | 基于自注意力机制的情感分类方法 |
CN110765240A (zh) * | 2019-10-31 | 2020-02-07 | 中国科学技术大学 | 多相关句子对的语义匹配评估方法 |
CN111985205A (zh) * | 2020-08-05 | 2020-11-24 | 重庆大学 | 一种方面级情感分类模型 |
CN111813895A (zh) * | 2020-08-07 | 2020-10-23 | 深圳职业技术学院 | 一种基于层次注意力机制和门机制的属性级别情感分析方法 |
CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
Non-Patent Citations (6)
Title |
---|
JUN XIE 等: ""Self-Attention-Based BiLSTM Model for Short Text Fine-Grained Sentiment Classification"", 《HTTPS://IEEEXPLORE.IEEE.ORG/DOCUMENT/8922599》 * |
XUEMEI BAI 等: ""Text classification based on LSTM and attention"", 《2018 THIRTEENTH INTERNATIONAL CONFERENCE ON DIGITAL INFORMATION MANAGEMENT (ICDIM)》 * |
何馨宇: ""基于文本挖掘的生物事件抽取关键问题研究"", 《中国优秀博士学位论文全文数据库 信息科技辑》 * |
余柳红: ""基于深度文本特征表示的文本分类和命名实体识别方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
杜昌顺: ""面向细分领域的舆情情感分析关键技术研究"", 《中国优秀博士学位论文全文数据库 信息科技辑》 * |
武高博 等: ""基于层次模型和注意力机制的文本分类算法"", 《中文信息学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113641798A (zh) * | 2021-10-12 | 2021-11-12 | 成都晓多科技有限公司 | 一种针对商家的扰乱性评论的识别方法及系统 |
CN113641798B (zh) * | 2021-10-12 | 2022-02-08 | 成都晓多科技有限公司 | 一种针对商家的扰乱性评论的识别方法及系统 |
CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
CN115329775A (zh) * | 2022-10-14 | 2022-11-11 | 成都晓多科技有限公司 | 一种语句中方面类别及情感极性联合识别的方法及系统 |
CN115329775B (zh) * | 2022-10-14 | 2023-03-24 | 成都晓多科技有限公司 | 一种语句中方面类别及情感极性联合识别的方法及系统 |
CN117997605A (zh) * | 2024-01-16 | 2024-05-07 | 中山大学 | 一种网络异常检测方法、装置、设备和介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113254592B (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113254592B (zh) | 基于门机制的多级注意力模型的评论方面检测方法及系统 | |
US11631007B2 (en) | Method and device for text-enhanced knowledge graph joint representation learning | |
CN110309306B (zh) | 一种基于wsd层级记忆网络的文档建模分类方法 | |
Luo et al. | Online learning of interpretable word embeddings | |
JP5031206B2 (ja) | 指数モデルの適合 | |
CN111506714A (zh) | 基于知识图嵌入的问题回答 | |
CN110647620B (zh) | 一种基于置信超平面和词典信息的知识图谱表示学习方法 | |
US10678769B2 (en) | Artificial intelligence system and method for auto-naming customer tree nodes in a data structure | |
CN112256866B (zh) | 一种基于深度学习的文本细粒度情感分析算法 | |
US11636308B2 (en) | Differentiable set to increase the memory capacity of recurrent neural net works | |
CN111222330B (zh) | 一种中文事件的检测方法和系统 | |
US20220269939A1 (en) | Graph-based labeling rule augmentation for weakly supervised training of machine-learning-based named entity recognition | |
KR102379660B1 (ko) | 딥러닝 기반 의미역 분석을 활용하는 방법 | |
CN111753082A (zh) | 基于评论数据的文本分类方法及装置、设备和介质 | |
CN111695024A (zh) | 对象评估值的预测方法及系统、推荐方法及系统 | |
CN113792148B (zh) | 一种基于序列到序列的评论方面类别检测方法及系统 | |
CN114398488A (zh) | 一种基于注意力机制的bilstm多标签文本分类方法 | |
CN108875024B (zh) | 文本分类方法、系统、可读存储介质及电子设备 | |
CN113076758A (zh) | 一种面向任务型对话的多域请求式意图识别方法 | |
WO2023116572A1 (zh) | 一种词句生成方法及相关设备 | |
CN116956228A (zh) | 一种技术交易平台的文本挖掘方法 | |
JP2010272004A (ja) | 判別装置及び判別方法、並びにコンピューター・プログラム | |
CN116151258A (zh) | 文本消岐方法、电子设备、存储介质 | |
CN111666410B (zh) | 商品用户评论文本的情感分类方法及系统 | |
CN114595324A (zh) | 电网业务数据分域的方法、装置、终端和非暂时性存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |