CN116644759A - 语句中方面类别及其语义极性的提取方法和系统 - Google Patents
语句中方面类别及其语义极性的提取方法和系统 Download PDFInfo
- Publication number
- CN116644759A CN116644759A CN202310884009.2A CN202310884009A CN116644759A CN 116644759 A CN116644759 A CN 116644759A CN 202310884009 A CN202310884009 A CN 202310884009A CN 116644759 A CN116644759 A CN 116644759A
- Authority
- CN
- China
- Prior art keywords
- time step
- semantic
- current time
- category
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 239000013598 vector Substances 0.000 claims abstract description 95
- 239000013604 expression vector Substances 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 abstract description 16
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 230000008451 emotion Effects 0.000 description 10
- 230000006872 improvement Effects 0.000 description 8
- 230000007935 neutral effect Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明属于属于自然语言处理技术领域，公开了一种语句中方面类别及其语义极性的提取方法及系统，该方法包括：输出表示向量；获取当前时间步的方面类别注意力评分，获取当前时间步的方面类别注意力权重；获取待提取语句的权重结合向量；获取当前时间步的隐状态；预测当前词语为某个方面类别的概率，以及与该方面类别相关的词语并配对；获取当前时间步的语义极性注意力评分标量，获取当前时间步的语义极性注意力权重；通过词语的表示向量预测该词语的语义极性；预测方面类别为某个方面语义极性的概率。本发明通过覆盖机制能够减少预测类别语义对的漏识率，通过分层生成机制确保不同的方面类别以及该方面类别对应语义词都被正确的识别到。
Description
技术领域
本发明属于自然语言处理技术领域，尤其涉及一种语句中方面类别及其语义极性的提取方法和系统。
背景技术
方面类别语义分析(ACSA)是一种提取语句中方面类别和以及方面类别相关的语义极性的方法。
在方面类别语义分析任务中，常常需要进行以下几个步骤：
方面类别提取：使用文本分析技术识别出文本中描述方面的词语。这些词语可以是事先定义好的方面词汇，也可以通过训练模型从大量标注数据中自动学习得到。
语义极性分析：对于每个识别出的方面，进一步进行情感分析，确定与该方面相关的情感极性（如正面、负面、中性）。可以使用情感词典、情感分类器等方法对文本进行情感分析。
方面类别语义分析在许多应用领域都有广泛的应用，如产品评论分析、社交媒体分析等。
所谓方面类别是用于描述文本中不同方面或主题的一组预定义词汇或关键词。它们用于将文本按照方面进行分类和分析。方面类别可以是特定领域的词汇，也可以是通用的词汇。例如:
餐饮：菜品、口味、服务、环境、价格等。
酒店：房间、位置、设施、服务、价格等。
电子产品：外观、性能、功能、价格、耐用性等。
旅游：景点、交通、导游、住宿、美食等。
电影：剧情、演技、音效、视效、评价等。
汽车：外观、性能、操控、油耗、价格等。
所谓语义极性是指词语或语句表达的情感或情绪倾向，即词语或语句的情感色彩。它描述了词语或语句所传达的感觉、态度或情绪的正负或中性属性。语义极性通常被划分为正面、负面或中性三种类别，用于表示词语或语句的情感倾向。
例如"这部电影太精彩了！"，这个句子表达了积极的情感和评价，对电影的描述是积极的。因此，可以认为"精彩"这个词语具有正面的语义极性。
又例如"昨天我遇到了一个非常糟糕的事情。"，这个句子表达了负面的情感和评价，对遇到的事情的描述是不好的。因此，可以认为"糟糕"这个词语具有负面的语义极性。
再例如"这是一本介绍基础知识的教材。"这个句子表达了中性的态度和评价，对教材的描述是中性的。因此，可以认为"介绍"这个词语具有中性的语义极性。
通过对词语或语句的语义极性进行判断和分析，可以更好地理解和表达情感、观点和态度。在自然语言处理中，语义极性的识别和分析常用于情感分析文本分类等任务中。
现有的方面类别语义分析研究分为两种：pipeline方法和联合识别方法，但是这两种方法有一下三点不足：第一就是当一个数据集中包含多个类别对的时候，需要训练更多的分类器，这些分类器都是独立的，在训练的时候费时费力；同时这些分类器很难捕捉类别语义对之间的联系，从而使得分类器对方面类别的识别出现识别错误或者漏掉的问题；第二，如何减少方面类别语义分析中的漏识率问题，即正确地识别出一个句子中的所有类别语义对。第三，通常来讲，不同的方面类别应该对应于相关的意义词，而这些方面类别的极性应该是这些语义词极性的集合，而现有方法中无法通过提取语义词极性的集合，使得提取出来的方面类别的极性与实际有所差别。
发明内容
有鉴于此，本发明提供一种语句中方面类别及其语义极性的提取方法和系统，旨在解决上述现有技术中存在的不足之处。
为解决以上技术问题，本发明的技术方案为采用一种语句中方面类别及其语义极性的提取方法，包括：
通过编码器对待提取的语句进行编码，输出该语句中每个词语的表示向量；
通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量，并利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重；
通过当前时间步的注意力权重获取待提取语句的权重结合向量，并通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态；
通过当前时间步的隐状态以及权重结合向量预测当前时间步为某个方面类别的概率；
通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量，并利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重；
通过词语的表示向量预测该词语的语义极性；
聚集所有相关词语的语义极性预测方面类别为某个方面语义极性的概率。
作为一种改进， 所述通过编码器对待提取的语句进行编码的方法包括：
利用BERT模型作为编码器对待提取的语句进行编码，并输出表示向量；其中，/>为待提取的语句的表示向量矩阵，/>~/>为词语的表示向量，/>、/>为特殊词（<CLS><SEP>）的隐状态；
利用公式
计算解码器的初始隐状态，其中为初始隐状态，/>随机初始化的特殊隐状态，和/>是待学习的参数。
作为一种进一步的改进，所述通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量的方法包括：
利用公式
计算当前时间步的方面类别注意力评分标量，其中为当前时间步的方面类别注意力评分标量，/>为解码器上一时间步的隐状态，/>为词语在上一时间步的覆盖值，/>为词语的表示向量，/>、/>、/>、/>、/>均为权重矩阵；
所述利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重的方法包括：
利用公式
计算当前时间步的方面类别注意力权重，其中，为当前步的方面类别注意力权重，/>为当前时间步的方面类别注意力评分标量。
作为另一种更进一步的改进，词语在上一时间步的覆盖值的获取方法包括：
利用公式
计算覆盖参数；其中，为覆盖参数，/>为词语的表示向量，/>、/>均为权重矩阵；
利用公式
计算词语在上一时间步的覆盖值；其中，为词语在上一时间步的覆盖值，/>为覆盖参数，/>为词语的注意力权重。
作为一种改进，所述通过当前时间步的注意力权重获取待提取语句的权重结合向量的方法包括：
利用公式
计算待提取语句的权重结合向量，其中为权重结合向量，/>为当前步的方面类别注意力权重，/>为词语的表示向量；
所述通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态包括：
利用公式
计算编码器当前时间步的隐状态，其中，为当前时间步的隐状，/>为上一时间步的隐状态，/>为上一时间步词语方面类别的嵌入向量。
作为一种改进，所述通过当前时间步的隐状态以及权重结合向量预测当前词语为某个方面类别的概率的方法包括：
利用公式
来估算当前时间步为某个方面类别的概率，其中为词语为某个方面类别的概率，/>为上一时间步词语方面类别的嵌入向量，/>为编码器当前时间步的隐状态，/>为待提取语句的权重结合向量，/>为预测的上一时间步的方面类别，/>为之前所有时间步的方面类别，/>和/>是待学习的参数。
作为一种改进，通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量的方法包括：
利用公式
计算当前时间步的语义极性注意力评分标量，其中为当前时间步的语义极性注意力评分标量，/>为当前时间步词语方面类别的嵌入向量，/>为词语的表示向量，/>、/>、/>、/>为权重矩阵；
所述利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重的方法包括：
利用公式
计算当前时间步的语义极性注意力权重，其中，为当前时间步的语义极性注意力权重，/>为当前时间步的语义极性注意力评分标量。
作为一种改进，所述通过词语的表示向量预测该词语的语义极性的方法包括：
利用公式
估算词语的语义极性，其中为语义极性，/>为词语的表示向量,/>为权重矩阵，为偏置。
作为一种改进，所述聚集所有相关词语的语义极性预测方面类别为某个语义极性的概率的方法包括：
利用公式
估算方面类别为某个语义极性的概率，其中，为某个语义极性的概率，为词语的语义极性，/>为当前时间步的语义极性注意力权重。
本发明还提供一种语句中方面类别及其语义极性的提取系统，包括：
编码模块，用于通过编码器对待提取的语句进行编码，输出该语句中每个词语的表示向量；
方面类别注意力权重获取模块，用于通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量，并利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重；
隐状态获取模块，用于通过当前时间步的注意力权重获取待提取语句的权重结合向量，并通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态；
方面类别的概率预测模块，用于通过当前时间步的隐状态以及权重结合向量预测当前时间步为某个方面类别的概率；
语义极性注意力权重获取模块，用于通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量，并利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重；
词语语义极性预测模块，通过词语的表示向量预测该词语的语义极性；
方面类别语义极性预测模块，用于聚集所有相关词语的语义极性预测方面类别为某个方面语义极性的概率。
本发明的有益之处在于：
本发明提出了一种基于覆盖机制和分层生成机制的模型来应对现有技术中的三个不足之处。首先，覆盖机制能够减少预测类别语义对的漏识率，并且无需训练多个分类模型，使得整个方案更加简化；其次，层次结构生成机制能够确保不同的方面类别以及该方面类别对应语义词都被正确的识别到；再次，本发明将每个方面类别对应的所有语义词进行聚集，通过对相关所有语义词的极性进行预测，从而正确的识别出语句中每个方面类别的极性。
附图说明
图1为本发明的流程图。
图2为本发明的结构原理图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施方式对本发明作进一步的详细说明。
如图1所示，本发明提供了一种语句中方面类别及其语义极性的提取方法，其原理可概述为：
定义方面类别集以及语义极性集/>，假设一个句子/>包含/>个词/>，本发明的任务就是识别所有的方面类别-方面语义极性对/>。这里/>是第/>个预测的方面类别-方面语义极性对。这样，本发明的任务就是要找到一个最合适的序列对/>，使得条件概率/>最大化。
其具体步骤包括：
S1通过编码器对待提取的语句进行编码，输出该语句中每个词语的表示向量。
例如一条评价语句是由/>个词语组成，那么句子可以表示为序列，其中/>表示句子中的第/>个词语。
本实施例中，使用BERT模型来对这个句子进行编码并输出表示向量，其中，/>为待提取的语句的表示向量矩阵，/>~/>为词语的表示向量，/>、/>为随机初始化的特殊隐状态，用于放在句子的最前面和最后面表示开始和结束。
另外，由于解码器在解码的时候需要应用上一时间步的隐状态，因此最开始需要利用公式
计算解码器的初始隐状态，其中为初始隐状态，/>随机初始化的特殊隐状态，和/>是待学习的参数。
S2使用GRU模型作为解码器进行解码。GRU（Gated Recurrent Unit）是一种循环神经网络（RNN）的变体，主要用于处理序列数据，能够在模型中引入记忆和长期依赖的能力。它通过门控机制来控制信息的流动和记忆的更新，从而可以更好地捕捉序列数据中的上下文依赖关系。本步骤具体又包括：
S21通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量，并利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重。
覆盖值（Coverage Value）是指在方面类别语义分析中引入的一种机制，用于解决漏识率的问题。它记录了句子中被前一时间步覆盖的部分，以便解码器在下一步注意力机制中考虑并增加对这些被覆盖的部分的关注程度或权重。
例如"这家餐厅的菜品很好吃，但是服务有些冷漠。"假设我们的方面类别包括"菜品"和"服务"。在进行解码的过程中，首先会考虑到第一个方面类别"菜品"，解码器根据注意力机制给予每个词汇相应的权重。假设解码器在第一次注意力计算时，认为"菜品"这个词汇在注意力分布中的权重相对较小。
但是，由于引入了覆盖机制，解码器会考虑前一阶段关注较少的部分，也就是前一步骤中被覆盖的部分。假设在之前的解码步骤中，已经关注了"这家餐厅的"这个词汇。这个信息会被记录在覆盖值中。
然后在下一步的注意力计算中，覆盖值会被考虑进来，使得解码器对被覆盖的部分增加注意力权重。所以，下一次解码器计算注意力时，"菜品"这个词汇可能会获得更高的注意力权重，因为它之前被关注相对较少。
这样的机制可以提高对句子中所有方面类别的识别准确率，减少漏识率问题，同时增加对之前没有充分关注的部分的关注度，提高解码的效果。
本步骤具体包括：
S211所述通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量的方法包括：
利用公式
计算当前时间步的方面类别方面类别注意力评分标量，其中为当前时间步的方面类别方面类别注意力评分标量，/>为解码器上一时间步的隐状态，/>为词语在上一时间步的覆盖值，/>为词语的表示向量，/>、/>、/>、/>、/>均为权重矩阵。
其中，词语在上一时间步的覆盖值的获取方法包括：
S2111利用公式
计算覆盖参数；其中，为覆盖参数，/>为词语的表示向量，/>、/>均为权重矩阵；
S2112利用公式
计算词语在上一时间步的覆盖值；其中，为词语在上一时间步的覆盖值，/>为覆盖参数，/>为词语的注意力权重。
是一个重要的参数,当/>较高时，1//>就非常低，这种覆盖机制使得解码器的注意力在不同的时间步能够在不同的词之间分散，而不是重复地关注相同的词。因此，通过覆盖机制，模型可以更加准确地生成方面类别。
S212所述利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重的方法包括：
利用公式
计算当前时间步的方面类别注意力权重，其中，为当前步的方面类别注意力权重，/>为当前时间步的方面类别方面类别注意力评分标量。
S22通过当前时间步的注意力权重获取待提取语句的权重结合向量，并通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态，具体包括：
S221所述通过当前时间步的注意力权重获取待提取语句的权重结合向量的方法包括：
利用公式
计算待提取语句的权重结合向量，其中为权重结合向量，/>为当前步的方面类别注意力权重，/>为词语的表示向量；
S222所述通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态包括：
利用公式
计算编码器当前时间步的隐状态，其中，为当前时间步的隐状，/>为上一时间步的隐状态，/>为上一时间步词语方面类别的嵌入向量。
S23通过当前时间步的隐状态以及权重结合向量预测当前时间步为某个方面类别的概率，具体包括：
利用公式
来估算当前时间步为某个方面类别的概率，其中为词语为某个方面类别的概率，/>为上一时间步词语方面类别的嵌入向量，/>为编码器当前时间步的隐状态，/>为待提取语句的权重结合向量，/>为预测的上一时间步的方面类别，/>为之前所有时间步的方面类别，/>和/>是待学习的参数。
通过上述步骤，对于一条评价语句例如“菜品美味，环境温馨且宽敞”，可识别出方面类别“菜品”和“环境”。同时，通过注意力机制，与菜品相关的词语美味，以及与环境相关的词语温馨和宽敞也被识别出来，并形成方面类别-语义词对即菜品-美味、环境-温馨、环境-宽敞。
由于不同的方面类别应该对应不同的语义词，而方面类别的的极性也应该是这些语义词的极性的集合。因此为了正确的找到语句中的方面类别以及相应的语义词，本发明采用的分层生成机制，即先识别是语句中的方面类别，然后找到与方面类别对应的语义词从而形成类别-语义对，最后通过聚集与方面类别相关的语义词，通过分析这些语义词的极性，从而获得方面类别的极性。
S24通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量，并利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重，具体包括：
S241通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量的方法包括：
利用公式
计算当前时间步的语义极性注意力评分标量，其中为当前时间步的语义极性注意力评分标量，/>为当前时间步词语方面类别的嵌入向量，/>为词语的表示向量，/>、/>、/>、/>为权重矩阵；
S242所述利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重的方法包括：
利用公式
计算当前时间步的语义极性注意力权重，其中，为当前时间步的语义极性注意力权重，/>为当前时间步的语义极性注意力评分标量。
S25通过词语的表示向量预测该词语的语义极性，具体包括：
利用公式
估算词语的语义极性，其中为语义极性即正面、负面、中性中的一种，/>为词语的表示向量,/>为权重矩阵，/>为偏置。
例如一个词语“美味”，可以通过本步骤的方法获得其语义极性“正面”。
S26聚集所有相关词语的语义极性预测方面类别为某个语义极性的概率，具体包括：
利用公式
估算方面类别为某个语义极性的概率，其中，为某个语义极性的概率，为词语的语义极性，/>为当前时间步的语义极性注意力权重。
沿用上述例子“菜品美味，环境温馨且宽敞”，环境对应了两个词语温馨和宽敞。因此对于环境来说，其极性应当综合考虑到温馨和宽敞两个词语的极性。通过步骤S25的方法可以获得温馨和宽敞的语义极性均为正面，因此方面类别环境的极性同样也为正面。
最后，评价语句“菜品美味，环境温馨且宽敞”通过本发明提供的方法进行分析，输出的结果为（菜品，正面）、（环境、正面）。
S3对模型进行优化。
本发明中采用多任务学习方法来训练模型。首先，最小化目标方面类别的负对数似然函数，定义如下：
其中为输入句子，/>为待学习的参数，/>是每条语句的方面类别数量，/>为训练样本数。
同样，定义方面类别极性的负似然函数：
最后最小化两个似然函数：
即可优化模型。
如图2所示，本发明还提供了一种语句中方面类别及其语义极性的提取系统，包括：
编码模块，用于通过编码器对待提取的语句进行编码，输出该语句中每个词语的表示向量；
方面类别注意力权重获取模块，用于通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量，并利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重；
隐状态获取模块，用于通过当前时间步的注意力权重获取待提取语句的权重结合向量，并通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态；
方面类别的概率预测模块，用于通过当前时间步的隐状态以及权重结合向量预测当前时间步为某个方面类别的概率；
语义极性注意力权重获取模块，用于通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量，并利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重；
词语语义极性预测模块，通过词语的表示向量预测该词语的语义极性；
方面类别语义极性预测模块，用于聚集所有相关词语的语义极性预测方面类别为某个方面语义极性的概率。
以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种语句中方面类别及其语义极性的提取方法，其特征在于包括：
通过编码器对提取的语句进行编码，输出该语句中每个词语的表示向量；
通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量，并利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重；
通过当前时间步的注意力权重获取待提取语句的权重结合向量，并通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态；
通过当前时间步的隐状态以及权重结合向量预测当前时间步为某个方面类别的概率；
通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量，并利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重；
通过词语的表示向量预测该词语的语义极性；
聚集所有与方面类别相关词语的语义极性预测方面类别为某个方面语义极性的概率。
2.根据权利要求1所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
所述通过编码器对待提取的语句进行编码的方法包括：
利用BERT模型作为编码器对待提取的语句进行编码，并输出表示向量；其中，/>为待提取的语句的表示向量矩阵，/>~/>为词语的表示向量，/>、/>为特殊词的隐状态；
利用公式
计算解码器的初始隐状态，其中为初始隐状态，/>随机初始化的特殊隐状态，/>和/>是待学习的参数。
3.根据权利要求1所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
所述通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量的方法包括：
利用公式
计算当前时间步的方面类别注意力评分标量，其中为当前时间步的方面类别方面类别注意力评分标量，/>为解码器上一时间步的隐状态，/>为词语在上一时间步的覆盖值，/>为词语的表示向量，/>、/>、/>、/>、/>均为权重矩阵；
所述利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重的方法包括：
利用公式
计算当前时间步的方面类别注意力权重，其中，为当前步的方面类别注意力权重，为当前时间步的方面类别注意力评分标量。
4.根据权利要求3所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
词语在上一时间步的覆盖值的获取方法包括：
利用公式
计算覆盖参数；其中，为覆盖参数，/>为词语的表示向量，/>、/>均为权重矩阵；
利用公式
计算词语在上一时间步的覆盖值；其中，为词语在上一时间步的覆盖值，/>为覆盖参数，/>为词语的注意力权重。
5.根据权利要求1所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
所述通过当前时间步的注意力权重获取待提取语句的权重结合向量的方法包括：
利用公式
计算待提取语句的权重结合向量，其中为权重结合向量，/>为当前步的方面类别注意力权重，/>为词语的表示向量；
所述通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态包括：
利用公式
计算编码器当前时间步的隐状态，其中， 为当前时间步的隐状，/>为上一时间步的隐状态，/>为上一时间步词语方面类别的嵌入向量。
6.根据权利要求1所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
所述通过当前时间步的隐状态以及权重结合向量预测当前时间步为某个方面类别的概率的方法包括：
利用公式
来估算当前时间步为某个方面类别的概率，其中为词语为某个方面类别的概率，/>为上一时间步词语方面类别的嵌入向量，/>为编码器当前时间步的隐状态，/>为待提取语句的权重结合向量，/>为预测的上一时间步的方面类别，/>为之前所有时间步的方面类别，/>和/>是待学习的参数。
7.根据权利要求1所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量的方法包括：
利用公式
计算当前时间步的语义极性注意力评分标量，其中为当前时间步的语义极性注意力评分标量，/>为当前时间步词语方面类别的嵌入向量，/>为词语的表示向量，/>、/>、/>、/>为权重矩阵；
所述利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重的方法包括：
利用公式
计算当前时间步的语义极性注意力权重，其中，为当前时间步的语义极性注意力权重，/>为当前时间步的语义极性注意力评分标量。
8.根据权利要求1所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
所述通过词语的表示向量预测该词语的语义极性的方法包括：
利用公式
估算词语的语义极性，其中为语义极性，/>为词语的表示向量,/>为权重矩阵，/>为偏置。
9.根据权利要求1所述的一种语句中方面类别及其语义极性的提取方法，其特征在于，
所述聚集所有与方面类别相关词语的语义极性预测方面类别为某个语义极性的概率的方法包括：
利用公式
估算方面类别为某个语义极性的概率，其中，为某个语义极性的概率，/>为词语的语义极性，/>为当前时间步的语义极性注意力权重。
10.一种语句中方面类别及其语义极性的提取系统，其特征在于包括：
编码模块，用于通过编码器对待提取的语句进行编码，输出该语句中每个词语的表示向量；
方面类别注意力权重获取模块，用于通过解码器上一时间步的隐状态获以及词语在上一时间步覆盖值获取当前时间步的方面类别注意力评分标量，并利用当前时间步的方面类别注意力评分标量获取当前时间步的方面类别注意力权重；
隐状态获取模块，用于通过当前时间步的注意力权重获取待提取语句的权重结合向量，并通过权重结合向量、上一时间步词语方面类别的嵌入向量以及解码器上一时间步的隐状态获取当前时间步的隐状态；
方面类别的概率预测模块，用于通过当前时间步的隐状态以及权重结合向量预测当前时间步为某个方面类别的概率；
语义极性注意力权重获取模块，用于通过词语方面类别的嵌入向量获取当前时间步的语义极性注意力评分标量，并利用当前时间步的语义极性注意力评分标量获取当前时间步的语义极性注意力权重；
词语语义极性预测模块，通过词语的表示向量预测该词语的语义极性；
方面类别语义极性预测模块，用于聚集所有相关词语的语义极性预测方面类别为某个方面语义极性的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884009.2A CN116644759B (zh) | 2023-07-19 | 2023-07-19 | 语句中方面类别及其语义极性的提取方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884009.2A CN116644759B (zh) | 2023-07-19 | 2023-07-19 | 语句中方面类别及其语义极性的提取方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116644759A true CN116644759A (zh) | 2023-08-25 |
| CN116644759B CN116644759B (zh) | 2023-10-03 |
Family
ID=87615661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310884009.2A Active CN116644759B (zh) | 2023-07-19 | 2023-07-19 | 语句中方面类别及其语义极性的提取方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116644759B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117786092A (zh) * | 2024-02-27 | 2024-03-29 | 成都晓多科技有限公司 | 一种商品评论关键短语提取方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881260A (zh) * | 2020-07-31 | 2020-11-03 | 安徽农业大学 | 基于方面注意力和卷积记忆神经网络情感分析方法及装置 |
| US20210089936A1 (en) * | 2019-09-24 | 2021-03-25 | International Business Machines Corporation | Opinion snippet detection for aspect-based sentiment analysis |
| CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
| CN114065848A (zh) * | 2021-11-08 | 2022-02-18 | 大连大学 | 一种基于预训练情感嵌入的中文方面级别情感分类方法 |
| CN114722142A (zh) * | 2022-01-28 | 2022-07-08 | 大连民族大学 | 一种基于多任务学习的方面情感分析模型 |
| CN114781390A (zh) * | 2022-03-17 | 2022-07-22 | 北京邮电大学 | 一种方面级情感分析方法及装置 |
| KR20220142050A (ko) * | 2021-04-14 | 2022-10-21 | 건국대학교 산학협력단 | 문장 중요도에 기반한 문서 수준의 감성 분류 방법 및 장치 |
| US20220366145A1 (en) * | 2021-05-17 | 2022-11-17 | Salesforce.Com, Inc. | Generative language model for few-shot aspect-based sentiment analysis |
| CN115374283A (zh) * | 2022-09-29 | 2022-11-22 | 大连大学 | 一种基于双图注意力网络的方面类别情感分类方法 |
| CN116205222A (zh) * | 2023-05-06 | 2023-06-02 | 南京邮电大学 | 一种基于多通道注意力融合的方面级情感分析系统及方法 |
-
2023
- 2023-07-19 CN CN202310884009.2A patent/CN116644759B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210089936A1 (en) * | 2019-09-24 | 2021-03-25 | International Business Machines Corporation | Opinion snippet detection for aspect-based sentiment analysis |
| CN111881260A (zh) * | 2020-07-31 | 2020-11-03 | 安徽农业大学 | 基于方面注意力和卷积记忆神经网络情感分析方法及装置 |
| KR20220142050A (ko) * | 2021-04-14 | 2022-10-21 | 건국대학교 산학협력단 | 문장 중요도에 기반한 문서 수준의 감성 분류 방법 및 장치 |
| US20220366145A1 (en) * | 2021-05-17 | 2022-11-17 | Salesforce.Com, Inc. | Generative language model for few-shot aspect-based sentiment analysis |
| CN114065848A (zh) * | 2021-11-08 | 2022-02-18 | 大连大学 | 一种基于预训练情感嵌入的中文方面级别情感分类方法 |
| CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
| CN114722142A (zh) * | 2022-01-28 | 2022-07-08 | 大连民族大学 | 一种基于多任务学习的方面情感分析模型 |
| CN114781390A (zh) * | 2022-03-17 | 2022-07-22 | 北京邮电大学 | 一种方面级情感分析方法及装置 |
| CN115374283A (zh) * | 2022-09-29 | 2022-11-22 | 大连大学 | 一种基于双图注意力网络的方面类别情感分类方法 |
| CN116205222A (zh) * | 2023-05-06 | 2023-06-02 | 南京邮电大学 | 一种基于多通道注意力融合的方面级情感分析系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 袁逸飞 等: "基于ＢＥＲＴ 和交互注意力的方面级情感分类模型", 《智能计算机与应用》, vol. 13, no. 3, pages 46 - 50 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117786092A (zh) * | 2024-02-27 | 2024-03-29 | 成都晓多科技有限公司 | 一种商品评论关键短语提取方法及系统 |
| CN117786092B (zh) * | 2024-02-27 | 2024-05-14 | 成都晓多科技有限公司 | 一种商品评论关键短语提取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116644759B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109933664B (zh) | 一种基于情感词嵌入的细粒度情绪分析改进方法 | |
| CN109753566A (zh) | 基于卷积神经网络的跨领域情感分析的模型训练方法 | |
| CN112650886B (zh) | 基于跨模态动态卷积网络的跨模态视频时刻检索方法 | |
| CN112861541A (zh) | 一种基于多特征融合的商品评论情感分析方法 | |
| CN116644759B (zh) | 语句中方面类别及其语义极性的提取方法和系统 | |
| CN115221325A (zh) | 一种基于标签语义学习和注意力调整机制的文本分类方法 | |
| CN112256866A (zh) | 一种基于深度学习的文本细粒度情感分析方法 | |
| CN112100375A (zh) | 文本信息生成方法、装置、存储介质及设备 | |
| CN112364168A (zh) | 一种基于多属性信息融合的舆情分类方法 | |
| CN111368082A (zh) | 一种基于层次网络的领域自适应词嵌入的情感分析方法 | |
| CN116975776A (zh) | 一种基于张量和互信息的多模态数据融合方法和设备 | |
| CN116205222A (zh) | 一种基于多通道注意力融合的方面级情感分析系统及方法 | |
| CN112948710A (zh) | 基于图神经网络的朋辈教育推荐方法、系统和存储介质 | |
| CN111339440B (zh) | 面向新闻文本基于层级状态神经网络的社会情绪排序方法 | |
| CN113094502A (zh) | 一种多粒度外卖用户评论情感分析方法 | |
| CN116245110A (zh) | 基于图注意力网络的多维度信息融合用户立场检测方法 | |
| CN113934835B (zh) | 结合关键词和语义理解表征的检索式回复对话方法及系统 | |
| CN115374789A (zh) | 基于预训练模型bert的多粒度融合方面级情感分析方法 | |
| CN112015760B (zh) | 基于候选答案集重排序的自动问答方法、装置和存储介质 | |
| Deng et al. | Boosting semi-supervised learning with Contrastive Complementary Labeling | |
| CN116757195B (zh) | 一种基于提示学习的隐性情感识别方法 | |
| CN117216617A (zh) | 文本分类模型训练方法、装置、计算机设备和存储介质 | |
| CN115659990A (zh) | 烟草情感分析方法、装置及介质 | |
| CN115309894A (zh) | 一种基于对抗训练和tf-idf的文本情感分类方法及装置 | |
| CN115186085A (zh) | 回复内容处理方法以及媒体内容互动内容的交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |