CN113191160A - 一种知识感知的情感分析方法 - Google Patents

Abstract

本发明提供了一种知识感知的情感分析方法，属于人工智能领域，包括：收集自然语言解释e_i，并利用语义解析器将收集的自然语言解释e_i生成一系列候选标签函数；将候选标签函数输入到过滤器组中进行过滤，剔除超过设定阈值的候选标签函数；将剩余的候选标签函数应用于未标注的样本实例，并生成标注矩阵，将标注矩阵传递给标注聚合器，所述标注聚合器将标注矩阵中存在潜在冲突和重叠的标注集成到每个样本中生成新的标注；利用生成的新的标注对情感分类器判别模型进行训练，根据所述情感分类器判别模型进行情感分析。该方法在解决公开情感分析数据集的标注数据稀缺性和类别不平衡问题方面具有潜在的效率和有效性。

Description

一种知识感知的情感分析方法

技术领域

本发明属于人工智能领域，具体涉及一种知识感知的情感分析方法。

背景技术

情感分析是舆情分析的关键，它可以为人们提供有价值的情感倾向。现有的情感分析方法依赖于从用户生成的内容中寻找情感元素。然而，为什么一个信息产生某种情感的原因在以前的作品中并没有很好地探索或利用。

情感分析是自然语言处理中的一项重要任务，也是一些流行的下游任务的核心，如舆情分析。这项任务的重点是预测一个给定输入句子的情感信息。然而，以前的工作通常需要大量的标记数据，这限制了它们在数据标注昂贵的情况下的应用。

提供监督的传统方法是通过人为生成的标签。例如，如果你说一句话，“不管怎样，食物不错，价格合适，他们的酒单不错”，标注员应该标注为“积极”。然而，标签并没有提供关于如何做出决定的信息。一种信息更丰富的方法是让注释器能够用自然语言解释他们的决定，这样注释就可以推广到其他示例。

在上面的例子中，一种解释可以是“积极的，因为词语‘食物’出现在‘非常好’之前，词语‘价格出现在词语‘合理之前，在两个词语中，这可以概括为“价格合理的美味食物”。自然语言解释显示了提供额外监督的有效性，特别是在低资源环境下。此外，可以很容易地从人类注释人员那里收集它们，而无需显著增加注释工作。

然而，由于人类语言的复杂性，利用自然语言解释作为监督是具有挑战性的。首先，文本数据的结构不是很好，因此必须将解释解析为逻辑形式，以便机器能够更好地利用它们。此外，语言变体是普遍存在的，这使得很难概括出一个自然语言解释来匹配语义等价但单词用法不同的句子。当前面的例子解释进行精确匹配时，它可能无法给句子标注“合理的价格”或“好面包”。

在用自然语言解释训练分类器方面已经做了一些尝试。之前的作品依赖于识别相关的输入部分，包括标记特征，突出文本中的基本原理短语，或者标记图像中的相关区域。然而，某些类型的信息不能简单地归因于注释输入的某一部分，例如缺少一个单词或至少两个单词。因此，自然语言解释的泛化能力尚未得到充分的探索。综上所述，一个好的数据注释方法应该满足一下两点：1)能够将注释泛化到语义相似的实例(超出词干、词性等)；2)对注释中的不确定性进行建模。

因此，本身提出一种知识感知的情感分析方法。

发明内容

为了克服上述现有技术存在的不足，为了应对这一挑战，本发明提出了一个用于情感分析的自然语言解释框架，该框架为每个新的情感标签提供足够的领域知识来生成额外的标记数据。基于规则的语义解析器将这些解释转换为程序化标记函数，为任意数量的未标记情感信息生成噪声标签，以训练情感分析分类器。

本发明提出SANLE框架，通过语义解析器对数据集进行自然语言解释作为外部知识，并将知识嵌入作为输入，与词嵌入共同训练情感分析模型。SANLE框架通过自然语言解释将未标记数据转换为带有噪声标记的训练集。SANLE三个关键组件组成：语义解析器、标签过滤器和标签聚合器。语义解析器将自然语言解释转换成一系列表示标记函数的逻辑形式。标签过滤器删除一些可能超过所需阈值的不正确的标签函数。其余的标记功能应用于未标记的实例，以生成标记矩阵。这个标记矩阵被传递给标记聚合器，该聚合器将这些潜在冲突和重叠的标记集成到每个示例的一个标记中生成新的标注。生成的新的标注用于训练任何判别模型。

为了实现上述目的，本发明提供如下技术方案：

一种知识感知的情感分析方法，包括以下步骤：

步骤1、收集自然语言解释e_i，并利用语义解析器将收集的自然语言解释e_i生成一系列候选标签函数；

步骤2、将候选标签函数输入到过滤器组中进行过滤，剔除超过设定阈值的候选标签函数；

步骤3、将剩余的候选标签函数应用于未标注的样本实例，并生成标注矩阵，将标注矩阵传递给标注聚合器，所述标注聚合器将标注矩阵中存在潜在冲突和重叠的标注集成到每个样本的标注中，生成新的标注；

步骤4、利用生成的新的标注对情感分类器判别模型进行训练，根据所述情感分类器判别模型进行情感分析。

优选地，所述步骤1中为情感分析语料提供多个自然语言解释e_i，基于语义解析器CCG的语义分析方法将自然语言解释e_i解析为一系列候选标签函数。

优选地，所述情感分类器判别模型为BiLSTM+Attention网络。

优选地，所述步骤1具体包括以下步骤：

步骤1.1、编码一个领域词典，将每个单词映射到它的语法和逻辑谓词，对于每个自然语言解释e_i，语义解析器基于CCG生成多个逻辑形式；

步骤1.2、使用特征向量φ(f)∈R^d，其中每个元素计算特定CCG组合子的应用程序数，具体为：

给出自然语言解释e_i，由θ∈R^d参数化的语义解析器在所有可能的逻辑形式

上输出概率分布；逻辑形式的概率计算如下：

为了学习θ，最大化给定e_i的概率y_i，这是通过边缘化所有逻辑形式来计算的匹配x_i；形式上，目标损失函数定义如下：

当使用基于梯度的方法导出最优θ*时，e_i的解析结果被定义为：

f_i＝arg max f(P_θ*(f|e_i))。

优选地，所述步骤3和4的具体操作如下：

如果通过过滤器组的m标签函数被用于n实例，标签聚合器执行一个函数f:{-1,0,1}^m×n→[0,1]^m；

利用数据编程来建模真实标签之间的关系，标签函数输出一个因子图；进一步，给定潜在标签Y∈{-1,1}ⁿ，和观察中标签矩阵Λ∈{-1，0，1}，其中Λ_i,j＝LF_i(x_j)，将标签倾向和准确性定义为两种因素:

因此，对于与给定数据点x_j，有关的因素φ_j(Λ,Y)∈R^m定义为：

其中

为权向量，Z_w为归一化常数；

为了在不确定真标记Y的情况下确定这个模型，使用感知到的标签λ，最小化负对数边际为：

利用随机梯度下降SGD和吉布斯抽样推断并利用边缘

作为概率对情感分类器判别模型进行训练，根据所述情感分类器判别模型进行情感分析。

本发明提供的知识感知的情感分析方法具有以下有益效果：

1.在基于深度学习的社交媒体情感分析中，本发明解决了标签数据有限和类别不平衡的挑战；

2.利用语义解析器将自然语言解释输出为一个可执行的逻辑形式，上述方法采用神经网络模块体系结构概括各种形式的行为标签数据实例和积累与软逻辑结果，大大增加了覆盖每个语句解释；

3.本发明采用基于注意的BiLSTM+Attention网络对外部知识进行注入的方法进行情感分类，当在输入的词向量中附加方向向量时，该模型可以参与句子的不同部分；结果表明，知识的注意机制是有效的；本发明在情感分析任务上的实验表明，该方法利用自然语言解释作为外部知识共同训练分类器，比基准方法具有优势；

4.语义增强数据在解决公开情感分析数据集的标注数据稀缺性和类别不平衡问题方面具有潜在的效率和有效性。

附图说明

为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的知识感知的情感分析方法的流程图；

图2为BiLSTM+Attention网络的结构图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方案并能予以实施，下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

本发明提供了一种知识感知的情感分析方法，通过语义分析器生成数据集的自然语言解释，以此作为外部知识，并将知识嵌入作为输入，与词嵌入共同训练情感分析模型。SANLE框架将自然语言解释和未标记的数据转换为带有噪声标记的训练集。SANLE框架包括三个关键组件：语义解析器、过滤器和标签聚合器。语义解析器将自然语言解释交换为一系列表示标签函数的逻辑形式，过滤器可能删除一些不正确的标签功能，其余的标签功能被用于未标签实例，以生成标签矩阵。这个标签矩阵被传递到标签聚合器，标签聚合器将这些可能冲突和重叠的标签集成到每个示例的一个标签中生成新的标注，所得到的新的标注被用来训练任何判别模型。

具体如图1所示，该方法包括以下步骤：

步骤1、收集自然语言解释e_i，并利用语义解析器将收集的自然语言解释e_i生成一系列候选标签函数；

具体的，步骤1中为情感分析语料提供多个自然语言解释e_i，基于语义解析器CCG的语义分析方法将自然语言解释e_i解析为一系列候选标签函数。步骤1具体包括以下步骤：

步骤1.1、编码一个领域词典，将每个单词映射到它的语法和逻辑谓词，对于每个自然语言解释e_i，语义解析器基于CCG生成多个逻辑形式；

步骤1.2、为了从这些可能的形式中识别正确的逻辑形式，使用特征向量φ(f)∈R^d，其中每个元素计算特定CCG组合子的应用程序数，具体为：

给出自然语言解释e_i，由θ∈R^d参数化的语义解析器在所有可能的逻辑形式

上输出概率分布；逻辑形式的概率计算如下：

为了学习θ，最大化给定e_i的概率y_i，这是通过边缘化所有逻辑形式来计算的匹配x_i；形式上，目标损失函数定义如下：

当使用基于梯度的方法导出最优θ*时，e_i的解析结果被定义为：

f_i＝arg max f(P_θ*(f|e_i))。

步骤2、将候选标签函数输入到过滤器组中进行过滤，剔除超过设定阈值的候选标签函数；

过滤器组输入是由语义解析器生成的一系列候选标签函数。过滤器组的目标是放弃一些错误的标签函数，而不要求额外的标签。它包括语义过滤器和语用过滤器。每个解释e_i都是在特定的标记实例(x_i,y_i)的情况下收集的。

语义过滤器验证随其对应实例而变化的，最后，在所有其他过滤器类似地解释的所有语言中，本发明只保留最特定的(最低覆盖率)标签函数，这防止多个相关标签函数在单个实例中占主导地位。

步骤3、将剩余的候选标签函数应用于未标注的样本实例，并生成标注矩阵，将标注矩阵传递给标注聚合器，所述标注聚合器将标注矩阵中存在潜在冲突和重叠的标注集成到每个样本的标注中，生成新的标注；

步骤4、利用生成的新的标注对情感分类器判别模型进行训练，根据所述情感分类器判别模型进行情感分析。本实施例中，情感分类器判别模型为BiLSTM+Attention网络，图2为BiLSTM+Attention网络的结构图。

进一步地，本实施例中，步骤3和4的具体操作如下：

如果通过过滤器组的m标签函数被用于n实例，标签聚合器执行一个函数f:{-1,0,1}^m×n→[0,1]^m；

本发明利用数据编程来建模真实标签之间的关系，标签函数输出一个因子图；进一步，给定潜在标签Y∈{-1,1}ⁿ，和观察中标签矩阵Λ∈{-1，0，1}，其中Λ_i,_j＝LF_i(x_j)，本发明将标签倾向和准确性定义为两种因素:

因此，对于与给定数据点x_j，有关的因素φ_j(Λ,Y)∈R^m定义为：

其中

为权向量，Z_w为归一化常数；

为了在不确定真标记Y的情况下确定这个模型，使用感知到的标签λ，本发明最小化负对数边际为：

利用随机梯度下降SGD和吉布斯抽样推断并利用边缘

作为概率对情感分类器判别模型进行训练，根据所述情感分类器判别模型进行情感分析。

本发明的判别模型是一个基于注意机制的Bi-LSTM网络的情感分类框架。标准的LSTM无法检测出面向层面情感分类的重要部分，而注意机制能够捕捉到响应给定面向的句子的关键部分。当上述步骤生成的外部知识与输入句子共同训练一个情感分析框架。

本发明提出的知识感知的情感分析方法在给定原始语料库和一组语料的基础上，利用基于组合范畴语法(CCG)的语义分析器将语料解析为机器可操作的逻辑形式。与以往的工作不同，本发明使用神经模块网络对谓词进行泛化，并将标注过程从精确匹配转变为模糊匹配，从而“软化”标注过程。在滤除不正确的语义解释函数后，在许多未标记的例子上执行正确的标注函数，生成一个弱监督的大型训练数据集。将自然语言解释生成的注释作为外部知识，共同训练情感分析分类器。这些建议的核心思想是学习知识嵌入，让知识参与到注意力权重的计算中。当提供不同的知识片段时，所提出的模型可以集中在句子的不同部分，从而在情感分析分类中具有更强的竞争力。

本发明在许多情感分析任务上进行了实验。实验结果表明，SANLE优于各种基准算法。

本发明在两个公开情感分析数据集上进行了大量的实验，证明了本发明的模型的有效性。

实验及结果分析

第一、数据集

本发明在方便级情感分析数据集上实验，预测给定句子的情感。例如，“The sweetlassi was excellent as was the lamb chettinad and the garlic naan but therasamalai was forgettable”，这句话的情感是正面的，解释可能是“was”这个词后直接跟“excellent”。对于这个任务，本发明使用两个客户评论数据集：Restaurant(餐厅)和Laptop(笔记本电脑)，这是Semeval2014-Task4的一部分。数据集由客户评论组成，每条评论包含一个方面和一个相应的极性列表。本发明的目的是识别句子的情感。实验数据集信息如表3-1所示。

表3-1 SemEval-2014 Task 4数据集的情感分类统计

第二、实验参数

为了达到理想的分类效果，本发明反复实验，调整模型的超参数。通过最小化交叉熵来选择实验参数。LSTM单元的大小设置为100，偏移量设置为0.5，以防止过度拟合。模型采用小批量128和Adam优化算法。在实验中，当模型训练迭代次数为20次时，准确率达到最佳。

第三、实验结果及分析

表3-2列出了所有情感分析模型的准确率、召回率和F1得分。基线模型结果直接参考以往研究。在低资源环境中，本发明提出的SANLE模型始终优于所有基线模型。

表3-2情感分析实验结果

本发明还发现了以下结果：(1)将逻辑形式直接应用于未标记的数据会导致性能低下。该方法精度高，召回率低；(2)与下游分类器基线相比，SANLE获得了最好的F1评分，验证了SANLE扩展规则覆盖的有效性，为分类器训练提供了有用的信息；(3)半监督方法的结果并不理想，这可能归因于D_a和D_u的基础数据分布的差异。

以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。

Claims (5)

1.一种知识感知的情感分析方法，其特征在于，包括以下步骤：

步骤1、收集自然语言解释e_i，并利用语义解析器将收集的自然语言解释e_i生成一系列候选标签函数；

步骤2、将候选标签函数输入到过滤器组中进行过滤，剔除超过设定阈值的候选标签函数；

步骤3、将剩余的候选标签函数应用于未标注的样本实例，并生成标注矩阵，将标注矩阵传递给标注聚合器，所述标注聚合器将标注矩阵中存在潜在冲突和重叠的标注集成到每个样本中，生成新的标注；

步骤4、利用生成的新的标注对情感分类器判别模型进行训练，根据所述情感分类器判别模型进行情感分析。

2.根据权利要求1所述的知识感知的情感分析方法，其特征在于，所述步骤1中为情感分析语料提供多个自然语言解释e_i，基于语义解析器CCG的语义分析方法将自然语言解释e_i解析为一系列候选标签函数。

3.根据权利要求1所述的知识感知的情感分析方法，其特征在于，所述情感分类器判别模型为BiLSTM+Attention网络。

4.根据权利要求3所述的知识感知的情感分析方法，其特征在于，所述步骤1具体包括以下步骤：

步骤1.1、编码一个领域词典，将每个单词映射到它的语法和逻辑谓词，对于每个自然语言解释e_i，语义解析器基于CCG生成多个逻辑形式；

步骤1.2、使用特征向量φ(f)∈R^d，其中每个元素计算特定CCG组合子的应用程序数，具体为：

给出自然语言解释e_i，由θ∈R^d参数化的语义解析器在所有可能的逻辑形式

上输出概率分布；逻辑形式的概率计算如下：

为了学习θ，最大化给定e_i的概率y_i，这是通过边缘化所有逻辑形式来计算的匹配x_i；形式上，目标损失函数定义如下：

当使用基于梯度的方法导出最优θ*时，e_i的解析结果被定义为：

5.根据权利要求4所述的知识感知的情感分析方法，其特征在于，所述步骤3和4的具体操作如下：

如果通过过滤器组的m标签函数被用于n实例，标签聚合器执行一个函数f:{-1,0,1}^m×n→[0,1]^m；

利用数据编程来建模真实标签之间的关系，标签函数输出一个因子图；进一步，给定潜在标签Y∈{-1,1}ⁿ，和观察中标签矩阵Λ∈{-1，0，1}，其中Λ_i,j＝LF_i(x_j)，将标签倾向和准确性定义为两种因素:

因此，对于与给定数据点x_j，有关的因素φ_j(Λ,Y)∈R^m定义为：

其中

为权向量，Z_w为归一化常数；

为了在不确定真标记Y的情况下确定这个模型，使用感知到的标签λ，最小化负对数边际为：

利用随机梯度下降SGD和吉布斯抽样推断并利用边缘

作为概率对情感分类器判别模型进行训练，根据所述情感分类器判别模型进行情感分析。

Images