CN113535889A - 一种评论分析方法及装置 - Google Patents

Abstract

本发明公开了一种评论分析方法，包括：获取评论文本，评论文本包括至少一个用于表示评论对象的主体词以及至少一个用于描述评论对象的情感词；将评论文本输入预设的联合序列标注模型，以便联合序列标注模型输出评论文本中每个字的标签；根据标签，确定评论文本中的主体词以及各主体词所对应的情感词和情感倾向。本发明一并公开了相应的评论分析装置、计算设备和可读存储介质。

Description

一种评论分析方法及装置

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种评论分析方法及装置。

背景技术

随着各类电商平台的蓬勃发展，消费者可以简单、便捷地通过网络来发表 评论，以表达自己对于某个产品或某项服务的评价观点。在一些场景中，商家 或平台希望从消费者的评论中挖掘出有用的信息，以便于对其产品或服务进 行全方位的分析以及有针对性的改进。

早期的评论分析方法是通过分类器给出一段评论的整体情感倾向(例如 正面、负面或中立)，但这种方法得到的分析结果不够细致。当一段评论包括 多个产品(例如某次餐厅用餐的多道菜品)或一个产品的多个方面(例如服装 产品的剪裁、面料、款式等方面)时，难以分析出消费者针对某个产品或对产 品某个方面的细致评价。

另一种评论分析方法是，通过基于实体的情感分析方法来从评论中提取 出主体词-情感倾向-情感词的三元组，以对产品或服务进行全方位的分析。例 如，从“这家店的牛排煎的比较嫩，但沙拉有点不新鲜”这一评论中提取出“牛 排-正面-嫩”和“沙拉-负面-不新鲜”两个三元组，从而表明消费者给牛排正 面评价，并且给沙拉负面评价。但是，现有的方案通常采用分阶段的方式来提 取出评论中的三元组，在第一阶段中，采用标注模型来标注出所有的主体词、 主体词的情感倾向以及情感词；在第二阶段中，枚举出所有主体词、情感倾向 和情感词的组合，通过分类器来判断哪些是有效的三元组。这种分阶段的三元 组提取方式割裂了主体词、情感词、情感倾向三元之间的语义和语境联系，没 有考虑三者之间的相互影响，导致评论分析结果不够准确。

因此，需要提供一种更准确的评论分析方法。

发明内容

为此，本发明提供一种评论分析方法及装置，以力图解决或至少缓解上面 存在的问题。

根据本发明的第一个方面，提供一种评论分析方法，包括：获取评论文本， 评论文本包括至少一个用于表示评论对象的主体词以及至少一个用于描述评 论对象的情感词；将评论文本输入预设的联合序列标注模型，以便联合序列标 注模型输出评论文本中每个字的标签；根据标签，确定评论文本中的主体词以 及各主体词所对应的情感词和情感倾向。

根据本发明的第二个方面，提供一种评论分析装置，包括：评论获取模块， 适于获取评论文本，评论文本包括至少一个用于表示评论对象的主体词以及 至少一个用于描述评论对象的情感词；标签标注模块，适于将评论文本输入预 设的联合序列标注模型，以便联合序列标注模型输出评论文本中每个字的标 签；情感分析模块，适于根据标签，确定评论文本中的主体词以及各主体词所 对应的情感词和情感倾向。

根据本发明的第三个方面，提供一种计算设备，至少一个处理器和存储有 程序指令的存储器；当该程序指令被处理器读取并执行时，使得计算设备执行 上述评论分析方法。

根据本发明的第四个方面，提供一种存储有程序指令的可读存储介质，当 该程序指令被计算设备读取并执行时，使得计算设备执行上述评论分析方法。

根据本发明的评论分析方案，预先训练联合序列标注模型，该模型以整条 评论文本为输入，输出该评论文本的标签序列，即，输出评论文本中每个字的 标签。本发明中的标签能够标注出各个字的词性(是属于主体词还是情感词)、 主体词与情感词的对应关系以及相应的情感倾向，从而根据该标签，即可确定 评论文本中的主体词以及各主体词所对应的情感词和情感倾向，提取出评论 文本中的主体词-情感词-情感倾向的三元组。

基于本发明的联合序列标注模型，可以一次性地提取出评论文本中的主 体词-情感词-情感倾向的三元组，避免了因分阶段提取所造成的语境、语义信 息丢失，提高了评论分析结果的准确性。

进一步地，本发明的联合序列标注模型是一种基于实体的标注模型，其所 标注出的标签包括实体词开始、实体词内部、实体词结束、实体词外部、单独 构成实体词五种，并且，实体词开始标签和单独构成实体词标签具有关联词起 始位置、关联词终止位置以及情感倾向属性。实体词的类型可以由本领域技术 人员指定。当实体词被指定为主体词时，则关联词为情感词；当实体词被指定 为情感词时，则关联词为主体词。

通过为实体词开始标签和单独构成实体词标签添加关联词起始位置、关 联词终止位置以及情感倾向属性，本发明的联合序列标注模型可以一并输出 实体词与关联词的对应关系以及相应的情感倾向，提高了评论分析结果的准 确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技 术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目 的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说 明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有 方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读 下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。 遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了本发明一个实施例的计算机系统9100的示意图；

图2示出了根据本发明一个实施例的机器学习模型9120的一种深度神经 网络的示意图；

图3A～3D示出了根据本发明四个实施例评论文本标签的示意图；

图4示出了根据本发明一个实施例的联合序列标注模型400的结构图；

图5示出了根据本发明一个实施例的评论分析方法500的流程图；

图6示出了根据本发明的采用联合序列标注模型的评论分析方法与采用 其他模型的评论分析方法的性能指标的对比图；

图7示出了结合本发明的基于主体词的模型JET^t和基于情感词的模型JET^o的预测效果的对比图；

图8示出了本发明的评论分析方法的分析效果的示意图；

图9示出了根据本发明一个实施例的计算设备600的示意图；

图10示出了根据本发明一个实施例的评论分析装置700的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示 了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应 被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解 本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

针对现有技术中存在的问题，本发明提供一种评论分析方案，用于准确地 提取出评论文本中的主体词-情感词-情感倾向的三元组，即提取出评论文本中 的主体词以及各主体词所对应的情感词和情感倾向。

本发明的评论分析方法通过训练并应用联合序列标注模型来实现。图1示 出了用于训练以及应用联合序列标注模型的计算机系统9100的示意图。如图 1所示，系统9100包括通过网络9180通信连接的用户计算设备9110、服务 器计算系统9130和训练计算系统9150。

用户计算设备9110可以是任何类型的计算设备，包括但不限于例如个人 计算设备(例如，膝上型或者桌面型计算机)、移动计算设备(智能电话或平板电 脑)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备、边缘计算设 备或任何其他类型的计算设备。用户计算设备9110可以作为端智能设备部署 在用户现场处，并与用户进行交互而处理用户输入。

用户计算设备9110可以存储或包括一个或多个机器学习模型9120。机器 学习模型9120可以被设计用于执行各种任务，诸如图像分类、目标检测、语 音识别、机器翻译、内容过滤等等。机器学习模型9120可以是诸如神经网络 (例如，深度神经网络)或者包括非线性模型和/或线性模型在内的其他类型的 机器学习模型。机器学习模型9120的示例包括但不限于各类深度神经网络 (DNN)，如前馈神经网络、递归神经网络(RNN，例如，长短期记忆递归神经 网络(LSTM)、包括或者不包括注意力机制(attention)的转换器神经网络(Transformer))、卷积神经网络(CNN)或其他形式的神经网络。机器学习 模型9120可以包括一个机器学习模型，或者可以是多个机器学习模型的组合。

图2中示出了根据一些实施方式而作为机器学习模型9120的一种神经网 络。神经网络具有分层架构，每一网络层具有一个或多个处理节点(称为神经 元或滤波器)，用于处理。在深度神经网络中，前一层执行处理后的输出是下 一层的输入，其中架构中的第一层接收网络输入用于处理，而最后一层的输出 被提供为网络输出。如图2所示，机器学习模型9120包括网络层9122、9124、 9126等，其中网络层9122接收网络输入，网络层9126提供网络输出。

在深度神经网络中，网络内的主要处理操作是交织的线性和非线性变换。 这些处理分布在各个处理节点。图2还示出了模型9120中的一个节点9121 的放大视图。节点9121接收多个输入值a1、a2、a3等等，并且基于相应处理 参数(诸如权重w1、w2、w3等)对输入值进行处理，以生成输出z。节点9121 可以被设计为利用一个激活函数来处理输入，这可以被表示为：

z＝σ(w^Tα+b) (1)

其中α表示节点9121的输入向量(其中包括元素a1、a2、a3等)；w表示 节点9121所使用的处理参数中的权重向量(其中包括元素w1、w2、w3等)， 每个权重用于加权相应的输入；b表示节点9121所使用的处理参数中的偏置 向量(其中包括元素b1、b2、b3等)，每个偏置用于偏置相应的输入和加权的 结果；σ()表示节点9121所使用的激活函数，激活函数可以是线性函数、非线 性函数。神经网络中常用的激活函数包括sigmoid函数、ReLu函数、tanh函 数、maxout函数等等。节点9121的输出也可以被称为激活值。取决于网络设 计，每一网络层的输出(即激活值)可以被提供给下一层的一个、多个或全部节 点作为输入。

机器学习模型9120中的每个网络层可以包括一个或多个节点9121，当以 网络层为单位来查看机器学习模型9120中的处理时，每个网络层的处理也可 以被类似表示为公式(1)的形式，此时α表示网络层的输入向量，而w表示网 络层的权重。

应当理解，图2示出的机器学习模型的架构以及其中的网络层和处理节 点的数目均是示意性的。在不同的应用中，根据需要，机器学习模型可以被设 计为具有其他架构。

继续参考图1，在一些实现方式中，用户计算设备9110可以通过网络9180 从服务器计算系统130接收机器学习模型9120，存储在用户计算设备的存储 器中并由在用户计算设备中的应用来使用或者实现。

在另一些实现方式中，用户计算设备9110可以调用在服务器计算系统 9130中存储和实现的机器学习模块9140。例如，机器学习模型9140可以由 服务器计算系统9130实现为Web服务的一部分，从而用户计算设备9110可 以例如通过网络9180并根据客户端-服务器关系来调用作为Web服务实现 的机器学习模型9140。因此，可以在用户计算设备9110处使用的机器学习模 型包括在用户计算设备9110处存储和实现的机器学习模型9120和/或在服务 器计算系统9130处存储和实现的机器学习模型9140。

用户计算设备9110还可以包括接收用户输入的一个或多个用户输入组件 9122。例如，用户输入组件9122可以是对用户输入对象(例如，手指或指示笔) 的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可用于实现虚 拟键盘。其他示例用户输入组件包括麦克风、传统键盘、摄像头或用户可以通 过其提供用户输入的其他设备。

服务器计算系统9130可以包括一个或多个服务器计算设备。在服务器计 算系统9130包括多个服务器计算设备的情况下，这些服务器计算设备可以根 据顺序计算架构、并行计算架构或其一些组合来操作。

如上所述，服务器计算系统9130可以存储或包括一个或多个机器学习模 型9140。类似于机器学习模型9120，机器学习模型9140可以被设计用于执 行各种任务，诸如图像分类、目标检测、语音识别、机器翻译、内容过滤等等。 模型9140可以包括各种机器学习模型。示例的机器学习模型包括神经网络或 其他多层非线性模型。示例神经网络包括前馈神经网络、深度神经网络、递归 神经网络和卷积神经网络。

用户计算设备9110和/或服务器计算系统9130可以经由与通过网络9180 通信地耦接的训练计算系统9150的交互来训练模型9120和/或9140。训练计 算系统9150可以与服务器计算系统9130分离，或者可以是服务器计算系统 9130的一部分。

类似于服务器计算系统9130，训练计算系统9150可以包括一个或多个服 务器计算设备或以其他方式由一个或多个服务器计算设备实现。

训练计算系统9150可以包括模型训练器9160，其使用诸如例如误差的反 向传播的各种训练或学习技术训练存储在用户计算设备9110和/或服务器计 算系统9130处的机器学习模型9120和/或9140。在一些实现方式中，执行误 差的反向传播可以包括执行通过时间截断的反向传播(truncated backpropagation through time)。模型训练器9160可以执行多种泛化技术(例如， 权重衰减、丢失等)以改进正在训练的模型的泛化能力。

具体地，模型训练器9160可以基于训练数据9162的集合来训练机器学 习模型9120和/或9140。训练数据9162可以包括多个不同的训练数据集合， 每个训练数据集合例如分别有助于训练机器学习模型9120和/或9140执行多 个不同的任务。例如，训练数据集合包括有助于机器学习模型9120和/或9140 执行对象检测、对象识别、对象分割、图像分类和/或其他任务的数据集。

在一些实现方式中，如果用户已经明确同意，则训练示例可以由用户计算 设备9110提供。因此，在这样的实现方式中，提供给用户计算设备9110的模 型9120可以由训练计算系统9150在从用户计算设备9110接收的特定于用户 的数据上训练。在一些情况下，该过程可以被称为个性化模型。

另外，在一些实现方式中，模型训练器9160可以对在服务器计算系统9130 中的机器学习模型9140进行修改以获得适于在用户计算设备9110中使用的 机器学习模型9120。这些修改例如包括减少模型中的各种参数数量、以更小 的精度来存储参数值等，以使得训练后的机器学习模型9120和/或9140适于 考虑到服务器计算系统9130和用户计算设备9110的不同处理性能来运行。

模型训练器9160包括用于提供所期望的功能性的计算机逻辑。模型训练 器9160可以用控制通用处理器的硬件、固件和/或软件来实现。例如，在一些 实现方式中，模型训练器9160包括存储在存储设备上、加载到存储器中并由 一个或多个处理器执行的程序文件。在其他实现方式中，模型训练器9160包 括一个或多个计算机可执行指令的集合，其存储在诸如RAM、硬盘或光学或 磁性介质的有形计算机可读存储介质中。在一些实现方式中，模型训练器9160 可以跨多个不同的设备复制和/或分布。

网络9180可以是任何类型的通信网络，诸如局域网(例如，内联网)、广 域网(例如，因特网)或其一些组合，并且可以包括任何数量的有线或无线链路。 通常，通过网络9180的通信可以经由任何类型的有线和/或无线连接，使用各 种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、 XML和JSON)和/或保护方案(例如，VPN、HTTPS、SSL)来承载。

在本发明的实施例中，训练计算系统9150可以训练生成本发明的联合序 列标注模型9144。模型9144以评论文本为输入，输出该评论文本中每个字的 标签，即，输出评论文本所对应的标签序列。训练生成的联合序列标注模型 9144可以部署于服务器计算系统9130中。

模型9144可以由服务器计算系统9130实现为Web服务的一部分，从而 用户计算设备9110可以例如通过网络9180并根据客户端-服务器关系来调用 作为Web服务实现的联合序列标注模型9144。具体地，用户可以通过用户计 算设备9110向服务器计算系统9130发起评论分析请求，并指定待分析的评 论文本。服务器计算系统9130响应于该请求，调用联合序列标注模型9144， 将待分析的评论文本输入模型9144，模型9144将输出评论文本中每个字的标 签，即输出评论文本的标签序列。根据模型9144输出的标签序列，即可确定 评论文本中的三元组，即主体词、情感词、情感倾向的三元组。最后，服务器 计算系统9130可以将提取出的三元组返回给用户计算设备9110。

在本发明的另一些实施例中，训练计算系统9150训练生成本发明的联合 序列标注模型9144可以经过一定的修改，例如对模型参数值进行量化(即以 更小的精度，例如8位整型，来存储参数值)，将修改后的模型部署于用户计 算设备9110中。如图1所示，将部署于用户计算设备9110中的联合序列标 注模型记为联合序列标注模型9124。本领域技术人员可以理解，部署于服务 器计算系统9130中的联合序列标注模型9144与部署于用户计算设备9110中 的联合序列标注模型9124具有相同的功能。用户可以在用户计算设备9110 中调用联合序列标注模型9124，将评论文本输入该模型，该模型将输出评论 文本中每个字的标签，即输出评论文本的标签序列。根据模型9124输出的标 签序列，即可确定评论文本中的三元组，即主体词、情感词、情感倾向的三元 组。

本发明的联合序列标注模型以已标注了标签的评论文本作为训练样本训 练生成。

根据一种实施例，本发明的联合序列标注模型采用基于实体的标注方法， 即，本发明的标签从实体词的角度来定义。其中，实体词指的是文本中具有特 定意义或属于特定类别的词，例如人名、地名、日期等。根据一种实施例，本 发明的标签包括以下五种类型：

实体词开始

表示当前字为实体词的起始字，其中，下标i、j分 别表示关联词起始位置(即关联词的起始字到当前实体词的距离)和关联词终 止位置(即关联词的终止字到当前实体词的距离)，上标p表示情感倾向(正 面、负面或中立)；

实体词内部(I)，表示当前字位于实体词的内部；

实体词结束(E)，表示当前字为实体词的终止字；

实体词外部(O)，表示当前字位于实体词的外部；

单独构成实体词

表示当前字单独构成一个实体词，其中，下标 i、j分别表示关联词起始位置(即关联词的起始字到当前实体词的距离)和关 联词终止位置(即关联词的终止字到当前实体词的距离)，上标p表示情感倾 向(正面、负面或中立)。

在本发明的实施例中，实体词的类型可以由本领域技术人员指定。当实体 词被指定为用于表示评论对象的主体词时，关联词为用于评价评论主体的情 感词；反之，当实体词被指定为情感词时，则关联词为主体词。

根据一种实施例，将主体词作为实体词时，标签包括以下五种类型：

主体词开始

表示当前字为主体词的起始字，其中，下标i、j分 别表示情感词起始位置(即情感词的起始字到当前主体词的距离)和情感词终 止位置(即情感词的终止字到当前主体词的距离)，上标p表示情感倾向(正 面、负面或中立)；

主体词内部(I)，表示当前字位于主体词的内部；

主体词结束(E)，表示当前字为主体词的终止字；

主体词外部(O)，表示当前字位于主体词的外部；

单独构成主体词

表示当前字单独构成一个主体词，其中，下标 i、j分别表示情感词起始位置(即情感词的起始字到当前主体词的距离)和情 感词终止位置(即情感词的终止字到当前主体词的距离)，上标p表示情感倾 向(正面、负面或中立)。

图3A、3B示出了将主体词作为实体词的评论文本的标签标注结果。

如图3A所示，在“牛排煎得比较嫩但沙拉有点不新鲜”这一评论文本中， 牛排、沙拉为评论对象，即主体词，相应地，评论文本中的其他字均位于主体 词的外部，因而其他字的标签均为主体词外部(O)。

主体词牛排包括两个字，其起始字为“牛”，因此“牛”字的标签为主体 词开始(B)。牛排这一主体词的情感词为“嫩”，该情感词仅包含一个字， 其位于“牛”的后面，并且与“牛”字的距离为6，因此情感词起始位置和情 感词终止位置均为6，即i＝j＝6。并且，牛排、嫩表达的是正面(+)的情感倾 向，即p＝+。综上，“牛”字的标签为主体词开始

主体词牛排的终止字 为“排”，因此“排”字的标签为主体词结束(E)。

类似地，主体词沙拉包括两个字，其起始字为“沙”。主体词沙拉的情感 词“不新鲜”的起始字“不”为“沙”右侧的第4个字，终止字“鲜”为“沙” 后面的第6个字，并且沙拉、不新鲜表达的是负面(-)的情感倾向，因此， “沙”字的标签为主体词开始

主体词沙拉的终止字为“拉”，因此“拉” 字的标签为主体词结束(E)。

图3B示出了英文评论文本的标签标注结果。如图3B所示，在评论文本 “food wasso so but excited to see many vegan options”这一评论文本中，food、 veganoptions为评论对象，即主体词，相应地，评论文本中的其他字(即单词) 均位于主体词的外部，因而其他字的标签均为主体词外部(O)。

主体词food仅包括一个字，因此其标签为单独构成主体词(S)。food的 情感词soso为food后面的第2、第3个字，并且其情感倾向为中立(o)， 因此food的标签为

主体词vegan options包括两个字，其情感词excited位于vegan前面且与 vegan的距离为4，表达的是正面(+)的情感倾向，因此vegan的标签为

options为主体词的终止字，其标签为主体词结束(E)。

根据另一种实施例，将情感词作为实体词时，标签包括以下五种类型：

情感词开始

表示当前字为情感词的起始字，其中，下标i、j分 别表示主体词起始位置(即主体词的起始字到当前情感词的距离)和主体词终 止位置(即主体词的终止字到当前情感词的距离)，上标p表示情感倾向(正 面、负面或中立)；

情感词内部(I)，表示当前字位于情感词的内部；

情感词结束(E)，表示当前字为情感词的终止字；

情感词外部(O)，表示当前字位于情感词的外部；

单独构成情感词

表示当前字单独构成一个情感词，其中，下标 i、j分别表示主体词起始位置(即主体词的起始字到当前情感词的距离)和主 体词终止位置(即主体词的终止字到当前情感词的距离)，上标p表示情感倾 向(正面、负面或中立)。

图3C、3D示出了将情感词作为实体词的评论文本的标签标注结果。

如图3C所示，在“牛排煎得比较嫩但沙拉有点不新鲜”这一评论文本中， 嫩、不新鲜为情感词，相应地，评论文本中的其他字均位于情感词的外部，因 而其他字的标签均为情感词外部(O)。

情感词“嫩”仅包括一个字，其对应的主体词“牛排”位于“嫩”的前面， 到“嫩”的距离分别为6、5，并且表达的是正面(+)的情感倾向，因此“嫩” 的标签为单独构成情感词

情感词“不新鲜”包括三个字，三个字的标签分别为情感词开始(B)、 情感词内部(I)、情感词结束(E)。该情感词对应的主体词“沙拉”位于“不” 的前面，到“不”的距离分别为4、3，并且表达的是负面(-)的情感倾向， 因此“不”的标签为情感词开始

图3D示出了英文评论文本的标签标注结果。如图3D所示，在评论文本 “food wasso so but excited to see many vegan options”这一评论文本中，so so、 excited为情感词，相应地，评论文本中的其他字(即单词)均位于情感词的外 部，因而其他字的标签均为情感词外部(O)。

情感词so so包括两个字，二者标签分别为情感词开始(B)和情感词结 束(E)。该情感词对应的主体词food位于第一个so的前面，到第一个so的 距离为2，并且表达的是中立(o)的情感倾向，因此第一个so的标签为情感 词开始

情感词excited仅包括一个字，因此其标签为单独构成情感词(S)。该情 感词对应的主体词vegan options为excited后面的第4、第5个字，并且表达 的是正面(+)的情感倾向，因此excited的标签为单独构成情感词

应当指出，本发明的联合序列标注模型以已标注了标签的评论文本作为 训练样本训练生成。参见上文，将实体词设置为不同类型的词将得到不同的标 签标注结果，例如，在图3A和3C所示的实施例中，实体词分别设置为主体 词、情感词，这导致图3A和图3C的标注结果不同。因此，以主体词为实体 词对评论文本进行标注所生成的训练样本，与以情感词为实体词对评论文本 进行标注所生成的训练样本不同，相应地，这两类样本可以训练生成两种联合 序列标注模型。在本发明的实施例中，将采用以主体词为实体词对评论文本进行标注所生成的训练样本，训练生成的联合序列标注模型记为基于主体词的 模型JET^t；将采用以情感词为实体词对评论文本进行标注所生成的训练样本， 训练生成的联合序列标注模型记为基于情感词的模型JET^o。

在本发明的实施例中，可以采用这两种模型中的任意一种来进行评论分 析，以提取出评论文本中的主体词-情感词-情感倾向三元组。本领域技术人员 可以理解，这两种模型的结构、功能相同，均可用于提取评论文本中的主体词 -情感词-情感倾向三元组，二者的区别仅在于训练得到的模型参数值不同。为 了提高提取出的三元组的准确性，可以对两种模型的输出结果进行综合。

图4示出了根据本发明一个实施例的联合序列标注模型400的结构图。 图4中的阴影部分表示模型前向计算过程中生成的中间数据。如图4所示， 模型400包括编码模块410、分值计算模块420和解码模块430。

编码模块410适于生成评论文本中每个字的隐向量。根据一种实施例， 编码模块410包括字向量提取模块412和隐向量提取模块414。

字向量提取模块412适于生成评论文本中每个字的字向量。例如，评论 文本为由n个字所组成的字序列{x₁，x₂，……，x_n}，将评论文本输入字向 量提取模块412，字向量提取模块412输出每个字的字向量，即输出字向量序 列{e₁，e₂，……，e_n}。字向量提取模块412例如可以实现为GloVe模型、 word2vec模型等，但不限于此。

隐向量生成模块414适于以字向量提取模块412输出的字向量序列为输 入，生成每个字的隐向量。根据一种实施例，隐向量生成模块414可以实现为 双向的长短时记忆网络(Bi-LSTM)，Bi-LSTM网络可以生成每个字的前向 隐向量和后向隐向量，并将前向隐向量和后向隐向量拼接形成对应字的隐向 量。例如，将第i个字的隐向量记为h_i，前向隐向量记为

后向隐向量记为

则有

其中，分号(；)表示向量拼接操作。

基于各个字的隐向量，可以进一步计算出关联词组的隐向量

其中a、b的值在训练过程中在[i-M，0)或(0,i+M]的范围 内动态调整，M为预设的主体词与情感词的最大距离。

分值计算模块420适于对编码模块410输出的隐向量进行计算，以确定 每个字属于各标签的综合分值。

根据一种实施例，分值计算模块420进一步包括标签分值计算模块411、 倾向分值计算模块412、情感词分值计算模块413、匹配度分值计算模块414 以及综合分值计算模块415。

标签分值计算模块411适于根据每个字的隐向量h_i来计算每个字属于各 标签的标签分值。标签分值计算模块411输出的标签分值是一个五维向量， 向量中的每一个元素表示当前字属于BIESO中的相应标签的分值。标签分值 越大，当前字属于该标签的概率越大。

标签分值计算模块411例如可以实现为线性神经网络f_t，该网络以字的隐 向量h_i为输入，输出该字属于各标签的标签分值f_t(h_i)。线性神经网络f_t的权 重和偏置是待训练的模型参数。

倾向分值计算模块412适于根据每个字的隐向量h_i及其关联词组的隐向 量g_a,b来计算每个字的情感倾向分值，其中，关联词组的隐向量为关联词组的 起始字a到终止字b的隐向量，即有

倾向分值计算模块 412输出的情感倾向分值是一个三维向量，向量中的三个元素分别表示当前字 的情感倾向为正面、中立、负面的分值。分值越大，当前字属于该情感倾向的 概率越大。

倾向分值计算模块412例如可以实现为线性神经网络f_s，该网络以字的隐 向量h_i及其关联词组的隐向量g_a,b为输入，输出该字属于各标签的标签分值

(其中，i+j＝a，i+k＝b)。线性神经网络f_s的权重和偏置是待训 练的模型参数。

情感词分值计算模块413适于根据每个字的关联词组的隐向量g_a,b来计 算该关联词组是情感词的分值。匹配度分值计算模块413输出的是一个数， 该数可以表示当前关联词组为情感词的分值。分值越大，当前关联词组为情感 词的概率越大。

情感词分值计算模块413例如可以实现为线性神经网络f_o，该网络以关 联词组的隐向量g_a,b为输入，输出该关联词组是情感词的分值f_o(g_i+j,i+k)(其 中，i+j＝a，i+k＝b)。线性神经网络f_o的权重和偏置是待训练的模型参数。

匹配度分值计算模块414适于根据关联词组到当前字的距离来计算该关 联词组是当前字的情感词的分值。匹配度分值计算模块414输出的是一个数， 其值越大，表示当前关联词组是当前字的情感词的概率越大。

匹配度分值计算模块414例如可以实现为线性神经网络f_r，该网络以关联 词组的起始字、终止字到当前字的距离j、k为输入，输出该关联词组是情感 词的分值f_r(j,k)。线性神经网络f_o的权重和偏置是待训练的模型参数。

综合分值计算模块415适于将标签分值计算模块411、倾向分值计算模块 412、情感词分值计算模块413、匹配度分值计算模块414所计算出的分值相 加，以确定每个字属于各标签的综合分值。

应当指出，对于某一个字，标签分值计算模块411、倾向分值计算模块412、 情感词分值计算模块413、匹配度分值计算模块414计算出的四个分值分别为 五维向量、三维向量、单一数值、单一数值，综合分值计算模块415是将这四 个分值的组合进行枚举，即，取出五维向量中的任意一个元素、三维向量中的 任意一个元素与两个单一数值相加。因此，针对一个字，综合分值计算模块 415会计算得出15个综合分值。

解码模块430适于根据每个字对于各标签、各情感方向的综合分值，确 定使评论文本的综合分值最大的标签序列，并根据标签序列来确定每个字的 标签。

根据一种实施例，解码模块430采用维特比(Viterbi)算法来确定使评论 文本的综合分值最大的标签序列。该标签序列中的每一个标签即为评论文本 中相应字的标签。

训练好的联合序列标注模型可以用于进行评论分析。图5示出了根据本 发明一个实施例的评论分析方法500的流程图。方法500使用了训练好的联 合序列标注模型，用于提取评论文本中的主体词-情感词-情感倾向三元组。方 法500例如可以在用户计算设备(例如前述用户计算设备9110)或服务器计 算系统(例如前述服务器计算系统9130)中执行。如图5所示，方法500始 于步骤S510。

在步骤S510中，获取评论文本，评论文本包括至少一个用于表示评论对 象的主体词以及至少一个用于描述评论对象的情感词。

评论文本是由消费者针对产品或服务所表达的评价、观点，其中通常包括 一个或多个评论对象，即包括一个或多个主体词。评论对象例如可以是产品、 服务或产品、服务的某些方面。情感词用于描述评论对象，即用于表达消费者 对于评论对象的观点。

评论文本通常包括至少一个主体词以及至少一个情感词。方法500是为 了确定评论文本中的主体词、情感词的位置，以及主体词-情感词-情感倾向的 对应关系，从而从评论文本中挖掘出有用信息，以便商家对其产品或服务进行 全方位的分析以及有针对性的改进。

在步骤S520中，将评论文本输入预设的联合序列标注模型，以便联合序 列标注模型输出评论文本中每个字的标签，即输出评论文本的标签序列。

参考上文，标签例如可以包括主体词开始(B)、主体词内部(I)、主体 词结束(E)、主体词外部(O)、单独构成主体词(S)五种。其中，主体词 开始标签B和单独构成主体词标签S具有情感词起始位置i、情感词终止位置 j以及情感倾向p三个属性。基于这种标签的预设的联合序列标注模型为基于 主体词的模型，即JET^t。

又例如，标签也可以包括情感词开始(B)、情感词内部(I)、情感词结 束(E)、情感词外部(O)、单独构成情感词(S)五种。其中，情感词开始 标签B和单独构成情感词标签S具有主体词起始位置i、主体词终止位置j以 及情感倾向p三个属性。基于这种标签的预设的联合序列标注模型为基于情 感词的模型，即JET^o。

联合序列标注模型的具体结构可以参考图4以及相应的文字描述，此处 不再赘述。

在步骤S530中，根据步骤S520所得到的标签，确定评论文本中的主体 词以及各主体词所对应的情感词和情感倾向。由于在本发明的标签标注方式 中，不仅标注了各个字的词性，即各个字是否属于主体词/情感词，还标注了 相应的情感词/主体词的位置和情感倾向，因此，根据步骤S520所得到的各个 字的标签，可以确定评论文本中的主体词以及各主体词所对应的情感词和情 感倾向，提取出评论文本中的主体词-情感词-情感倾向的三元组。

本发明在四个标准公开数据集14Rest、14Lap、15Rest、16Rest上测试了 本发明的联合序列标注模型在不同情况下的表现，其中M代表主体词与情感 词之间的最大距离，JET^t代表基于主体词的模型，JET^o代表基于情感词的模 型，这两种模型在所有数据集上的表现均超过现有的其他模型(CMLA+模型、 RINANTE+模型、Li-unified-R模型、以及Peng等人在2019年发表的文章 Knowing what,how and why:A near complete solution foraspect-based sentiment analysis中所给出的二阶段模型)，各模型的性能指标如图6所示。图6中的 P表示精确率(Precision)，R表示召回率(Recall)，F1表示F1-Score，有 F1＝2PR/(P+R)。

前文提及，基于主体词的模型JET^t和基于情感词的模型JET^o可以eke以 单独使用，也可以将二者的输出结果进行组合，以达到更好的预测结果，使提 取出的三元组更加准确、全面。图7示出了在四个标准公开数据集14Rest、 14Lap、15Rest、16Rest上，单独使用以及组合使用模型JET^t、JET^o的F1值。 其中，M表示主体词与情感词之间的最大距离，JET^o→t表示将JET^o的输出结 果融入JET^t，即，组合两模型的输出结果，当二者的输出结果冲突时，以JET^t的输出结果为准；JET^t→o表示将JET^t的输出结果融入JET^o，即组合两模型的 输出结果，当二者的输出结果冲突时，以JET^o的输出结果为准。如图7所示， 组合使用两模型可以达到更好的预测效果。

图8示出了本发明的评论分析方法的分析效果与现有分析方法的效果对 比图。图8中，Gold表示标注的三元组，即真实的三元组。Peng et al.(2019) 为采用Peng等人于2019年发表的文章中的方法所识别出的三元组，JET^t、 JET^o为采用本发明的方法所识别出的三元组。由图8可见，JET^o输出的三元 组与真实值完全相同；JET^t漏识别了评论文本“foodis fresh and hot ready to eat”中的“food-hot-+”这一三元组；而Peng et al.(2019)在对两个评论文本的 识别中均发生了错误，对于评论文本“food is fresh and hotready to eat”识别 错了情感词，对于评论文本“with a quaint bar and good food”识别错了主体词 和情感词的对应关系。由图8可见，本发明的方法相较于现有方法的准确率更高(由于现有方法没有完全考虑三元组之间的相互影响，导致其在预测情感 词的时候出现不准确的情况)。

本发明的评论分析方法在计算设备中执行。计算设备例如可以实现为前 述用户计算设备9110、服务器计算系统9130。

图9示出了根据本发明一个实施例的计算设备600的示意图。如图9所 示，计算设备600包括至少一个处理器610和存储有程序指令的存储器620。 其中，存储器620中存储有评论分析装置700，装置700中包括用于执行本发 明的评论分析方法500的程序指令。当该程序指令被处理器610读取并执行 时，使得计算设备600执行本发明的评论分析方法500。

图10示出了根据本发明一个实施例的评论分析装置700的示意图。如图 7所示，装置700包括评论获取模块710、标签标注模块720以及情感分析模 块730。

评论获取模块710适于获取评论文本，评论文本包括至少一个用于表示 评论对象的主体词以及至少一个用于描述评论对象的情感词。评论获取模块 710的具体功能和处理逻辑可以参考上文中步骤S510的相关描述，此处不再 赘述。

标签标注模块720适于将评论文本输入预设的联合序列标注模型，以便 联合序列标注模型输出评论文本中每个字的标签。标签标注模块720的具体 功能和处理逻辑可以参考上文中步骤S520的相关描述，此处不再赘述。

情感分析模块730适于根据标签，确定评论文本中的主体词以及各主体 词所对应的情感词和情感倾向。情感分析模块730的具体功能和处理逻辑可 以参考上文中步骤S530的相关描述，此处不再赘述。

本发明还提供一种存储有程序指令的可读存储介质，当程序指令被计算 设备读取并执行时，使得计算设备执行本发明的评论分析方法500。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而， 本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌 入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可 读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之 类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、 处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少 一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码； 处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发 明的评论分析方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存 储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通 信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读 指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的 任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或 者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上 面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对 任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明 的内容，并且上面对特定语言所做的描述是为了披露本发明的优选实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发 明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详 细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或 多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一 起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法 解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明 确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发 明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式 的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作 为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单 元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位 在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合 为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自 适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以 把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可 以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者 单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随 的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设 备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权 利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的 替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它 实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合 意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要 求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或 者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于 实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元 素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用 于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第 三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗 示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式 的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技 术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施 例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的 而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离 所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来 说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开 是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (13)

1.一种评论分析方法，包括：

获取评论文本，所述评论文本包括至少一个用于表示评论对象的主体词以及至少一个用于描述评论对象的情感词；

将所述评论文本输入预设的联合序列标注模型，以便所述联合序列标注模型输出所述评论文本中每个字的标签；

根据所述标签，确定所述评论文本中的主体词以及各主体词所对应的情感词和情感倾向。

2.如权利要求1所述的方法，其中，所述标签包括：

主体词开始、主体词内部、主体词结束、主体词外部、单独构成主体词；

其中，所述主体词开始标签和单独构成主体词标签具有情感词起始位置、情感词终止位置以及情感倾向属性，所述情感词起始位置表示情感词的起始字到当前主体词的距离，所述情感词终止位置表示情感词的终止字到当前主体词的距离。

3.如权利要求1所述的方法，其中，所述标签包括：

情感词开始、情感词内部、情感词结束、情感词外部、单独构成情感词；

其中，所述情感词开始标签和单独构成情感词标签具有主体词起始位置、主体词终止位置以及情感倾向属性，所述主体词起始位置表示主体词的起始字到当前情感词的距离，所述主体词终止位置表示主体词的终止字到当前情感词的距离。

4.如权利要求1-3中任一项所述的方法，其中，所述联合序列标注模型以已标注了标签的评论文本作为训练样本训练生成。

5.如权利要求1-4中任一项所述的方法，其中，所述联合序列标注模型包括编码模块、分值计算模块和解码模块，

所述编码模块适于生成所述评论文本中每个字的隐向量；

所述分值计算模块适于对所述隐向量进行计算，以确定每个字属于各标签、各情感倾向的综合分值；

所述解码模块适于根据每个字对于各标签、各情感方向的综合分值，确定使所述评论文本的综合分值最大的标签序列，并根据所述标签序列来确定每个字的标签。

6.如权利要求5所述的方法，其中，所述编码模块包括字向量提取模块和隐向量生成模块，

所述字向量提取模块适于生成所述评论文本中每个字的字向量；

所述隐向量生成模块适于以所述字向量提取模块输出的字向量序列为输入，生成每个字的隐向量。

7.如权利要求6所述的方法，其中，所述隐向量生成模块为双向的长短时记忆网络，相应地，每个字的隐向量包括前向隐向量和后向隐向量。

8.如权利要求5所述的方法，其中，所述分值计算模块包括：

标签分值计算模块，适于根据每个字的隐向量来计算每个字属于各标签的标签分值；

倾向分值计算模块，适于根据每个字的隐向量及其关联词组的隐向量来计算每个字的情感倾向分值，其中，所述关联词组的隐向量为关联词组的起始字到终止字的隐向量；

情感词分值计算模块，适于根据每个字的关联词组的隐向量来计算该关联词组是情感词的分值；

匹配度分值计算模块，适于根据关联词组到当前字的距离来计算该关联词组是当前字的情感词的分值；以及

综合分值计算模块，适于将所述标签分值计算模块、倾向分值计算模块、情感词分值计算模块、匹配度分值计算模块所计算出的分值相加，以确定每个字属于各标签、各情感倾向的综合分值。

9.如权利要求5或8所述的方法，其中，所述标签分值计算模块、倾向分值计算模块、情感词分值计算模块、匹配度分值计算模块为线性神经网络。

10.如权利要求5所述的方法，其中，所述解码模块适于采用维特比算法来确定使所述评论文本的综合分值最大的标签序列。

11.一种评论分析装置，包括：

评论获取模块，适于获取评论文本，所述评论文本包括至少一个用于表示评论对象的主体词以及至少一个用于描述评论对象的情感词；

标签标注模块，适于将所述评论文本输入预设的联合序列标注模型，以便所述联合序列标注模型输出所述评论文本中每个字的标签；

情感分析模块，适于根据所述标签，确定所述评论文本中的主体词以及各主体词所对应的情感词和情感倾向。

12.一种计算设备，包括：

至少一个处理器和存储有程序指令的存储器；

当所述程序指令被所述处理器读取并执行时，使得所述计算设备执行如权利要求1-10中任一项所述的评论分析方法。

13.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-10中任一项所述的评论分析方法。

Images