CN114297384A - 评论文本分析方法、模型训练方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种评论文本分析方法、模型训练方法、装置、设备及介质，应用于数据处理领域，所述方法包括：获取针对目标对象的评论文本；通过M个情感分类模型分别对评论文本进行情感分类预测，得到评论文本的M个子情感分类结果；基于投票机制处理所述M个子情感分类结果，得到评论文本的情感类别。通过本发明技术方案可以提高对于目标对象的评论文本的情感分析准确性。

Description

评论文本分析方法、模型训练方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种评论文本分析方法、模型训练方法、装置、设备及介质。

背景技术

对于游戏产品来说，例如流行较广的MMORPG(Massive Multiplayer OnlineRole-Playing Game，大型角色扮演类网游)或卡牌类游戏，对游戏用户在游戏过程的讨论内容进行情感分析，能够有助于了解游戏用户对于游戏的满意程度，继而有利于对游戏的版本内容进行及时、准确的调整。相关技术是通过单一的模型对文本进行情感倾向预测，由于游戏用户多种多样，因此游戏过程中的讨论内容较为复杂，单一模型无法应对聊天内容的情感复杂性，导致情感分析准确性较低。

发明内容

本发明实施例提供了一种评论文本分析方法、模型训练方法、装置、设备及介质，能够有效地改善上述问题。

第一方面，本发明实施例一种评论文本分析方法，包括：获取针对目标对象的评论文本；通过M个情感分类模型分别对所述评论文本进行情感分类预测，得到所述评论文本的M个子情感分类结果，其中，所述M个情感分类模型是由M个不同的样本数据子集一一对应训练而成，M为大于2的整数；基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别。

可选地，所述M个情感分类模型是基于同一原始模型训练而成，所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个情感标签；所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：将所述M个情感分类模型中输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到每种情感标签各自对应的加和结果；对比不同种情感标签对应的加和结果，确定出所述评论文本的情感类别。

可选地，所述M个情感分类模型包括基于原始模型不同划分的多个模型分组，每一模型分组对应相同的原始模型，且所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个情感标签；所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：针对每个模型分组，将组内输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到组内投票结果；将每个模型分组的组内投票结果以及投票权重进行加权和计算，得到所述评论文本的情感类别。

可选地，所述M个情感分类模型是基于同一原始模型训练而成，且所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个子情感概率；所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：根据所述M个情感分类模型各自的投票权重与所述M个子情感概率进行加权和计算，得到所述评论文本的情感概率；根据所述情感概率，确定所述评论文本的情感类别。

可选地，所述M个情感分类模型包括基于原始模型不同划分的多个模型分组，每一模型分组对应相同的原始模型，且所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个子情感概率；所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：针对每个模型分组，根据组内各个情感分类模型的投票权重与子情感概率进行加权和计算，得到所述评论文本的组内情感判定结果，并根据所述组内情感判定结果，确定所述评论文本的组内投票结果；将每个模型分组的组内投票结果以及投票权重进行加权和计算，得到所述评论文本的情感类别。

可选地，所述获取针对目标对象的评论文本，包括：在针对所述目标对象的评论满足预设的触发条件时，获取针对所述目标对象的评论文本集，所述评论文本集包括针对所述目标对象的多条评论文本，所述触发条件包括频率条件和/或数量条件。

可选地，还包括：基于所述评论文本集中各条评论文本的情感类别，确定所述目标对象的用户满意度。

可选地，在得到所述评论文本的M个子情感分类结果之后，还包括：

针对所述评论文本的M个情感分类结果进行核验，形成针对所述评论文本的核验记录，所述核验记录用于表征所述M个情感分类模型对所述评论文本的情感分类结果是否正确；根据多条评论文本对应的核验记录，形成核验数据集。

可选地，在所述形成核验数据集之后，还包括：分别将所述M个情感分类模型作为目标分类模型；基于所述核验数据集对所述目标分类模型进行评估，得到所述目标分类模型的历史误判值；采用与所述历史误判值对应的更新方式，对所述目标分类模型和/或所述目标分类模型的投票权重进行更新。

可选地，所述方法还包括训练得到所述M个情感分类模型的步骤：根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，所述历史数据集包括游戏用户的历史评论文本；利用所述K个不同的样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型，其中，所述K个情感分类模型基于同一原始模型或者包括多种不同原始模型训练而成；从所述K个情感分类模型中，筛选出所述M个情感分类模型，其中，所述M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

可选地，所述根据获取的历史数据集构建K个不同的样本数据子集，包括：对所述历史数据集进行数据预处理，得到原始样本数据集，所述原始样本数据集中不同标签的训练样本满足第一样本比例；基于所述第一样本比例和第二样本比例，确定每种标签的训练样本的采样方式，所述第二样本比例为样本数据子集中不同标签的训练样本满足的比例；基于确定出的采样方式，针对所述原始样本数据集执行采样，得到K个不同的样本数据子集。

可选地，在得到所述评论文本的情感类别之后，还包括：如果所述评论文本的情感类别不正确，则对所述评论文本的情感类别进行修正，形成修正样本；累积多个修正样本，形成目标样本量的修正样本数据集；将所述修正样本数据集添加至所述原始样本数据集，形成新的样本数据集；根据所述新的样本数据集对所述M个情感分类模型进行再训练，以更新所述M个情感分类模型。

第二方面，本发明实施例提供了一种文本分析模型训练方法，其特征在于，包括：根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，所述历史数据集包括用户的历史评论文本；利用所述K个不同的样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型，其中，所述K个情感分类模型基于同一原始模型或者包括多种不同原始模型训练而成；从所述K个情感分类模型中，筛选出M个情感分类模型，其中，所述M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

第三方面，本发明实施例提供了一种评论文本分析装置，包括：文本获取单元，用于获取针对目标对象的评论文本；分类预测单元，用于通过M个情感分类模型分别对所述评论文本进行情感分类预测，得到所述评论文本的M个子情感分类结果，其中，所述M个情感分类模型是由M个不同的样本数据子集一一对应训练而成，M为大于2的整数；投票单元，用于基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别。

第四方面，本发明实施例提供了一种文本分析模型训练装置，包括：构建单元，用于根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，所述历史数据集包括游戏用户的历史评论文本；训练执行单元，用于利用所述K个不同的样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型，其中，所述K个情感分类模型基于同一原始模型或者包括多种不同原始模型训练而成；模型筛选单元，用于从所述K个情感分类模型中，筛选出M个情感分类模型，其中，所述M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

第五方面，本发明实施例提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面任一实施方式所述方法的步骤。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一实施方式所述方法的步骤。

本发明实施例利用M个情感分类模型分别对目标对象的评论文本进行情感分类预测，得到评论文本的M个子情感分类结果，基于投票机制处理M个子情感分类结果，以得到评论文本的情感类别。由于预测同一评论文本所使用的M个情感分类模型是由M个不同的样本数据子集一一对应训练而成的，因此，实现了M个情感分类模型的训练数据差异化，从而M个情感分类模型能够有效应对不同评论文本的情感复杂性，可以避免单一模型学习偏差而导致的情感分析不准的问题，进而能够提高对于目标对象的评论文本的情感分析准确性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本说明书实施例中评论文本分析方法的流程示意图；

图2示出了本说明书实施例中文本分析模型训练方法的流程示意图；

图3示出了本说明书实施例中评论文本分析方法的分析架构示意图；

图4示出了本说明书实施例中评论文本分析装置的模块框图；

图5示出了本说明书实施例中文本分析模型训练装置的模块框图；

图6示出了本说明书实施例中电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

参见图1和图3所示，本发明实施例提供了一种评论文本分析方法，包括如下步骤S101～S103：

S101:获取针对目标对象的评论文本。

其中，目标对象可以是游戏场景下的某款游戏产品，或者是某款游戏产品的某个游戏版本、游戏副本、游戏道具、游戏活动或者游戏装备。所述评论文本可以来自于第三方游戏讨论平台、游戏聊天频道、游戏直播平台等不同渠道，本发明并不对此加以限制。

应当理解的是，可以通过与游戏聊天频道的数据流对接，并实时从游戏聊天频道的数据流获取游戏用户针对目标对象的评论文本。其中，一条评论文本就是一个游戏用户一次发言的文本内容。在具体实施过程中，分布式发布订阅消息系统对接游戏聊天频道的数据流，通过分布式发布订阅消息系统从游戏聊天频道订阅原始聊天消息，对订阅的原始聊天信息进行预处理，得到针对目标对象的评论文本。

其中，对原始聊天消息进行预处理，可以包括：对原始聊天消息进行清洗，以去除原始聊天消息中的停用词、特殊符号等等；对清洗后的评论文本进行转码为目标格式；并从转换为目标格式后的评论文本中剔除无法识别的内容，从而得到可以投放至M个情感分类模型的评论文本。

在一些实施方式下，在将一条评论文本投放至M个情感分类模型之前，还包括：判断该条评论文本的字数是否在预设字数范围内；如果在预设字数范围内，则投放至M个情感分类模型；否则，舍弃该条评论文本或者通过单独训练的短文本分类模型对该条评论文本进行情感分类预测。

例如，预设字数范围可以为：50个字以上。则如果评论文本低于50个字，则需要通过单独训练的短文本分类模型进行情感分类预测。

S102、通过M个情感分类模型分别对评论文本进行情感分类预测，得到评论文本的M个子情感分类结果，其中，M个情感分类模型是由M个不同的样本数据子集一一对应训练而成，M为大于2的整数。

可以理解的是，为了提高对评论文本的分析效率，在获得到针对目标对象的评论文本之后，同步投放至M个情感分类模型，通过M个情感分类模型同步对评论文本进行情感分类预测，以得到针对评论文本的M个子情感分类结果，并通过数据库的方式进行存储M个子情感分类结果。

本发明实施例中所用的M个情感分类模型可以基于同一原始模型训练而成，也可以基于多种不同原始模型训练而成。训练得到的M个情感分类模型相互独立，且M个情感分类模块可输出的情感类别设置相同。比如：M个情感分类模型可输出的情感类别均设置为：1、积极；2、中性；3、消极。

S103、基于投票机制处理M个子情感分类结果，得到评论文本的情感类别。

步骤S103是在M个情感分类模型中每个模型均得到对应的子情感分类结果之后，再从数据库中获取针对评论文本的M个子情感分类结果，基于投票机制处理M个子情感分类结果，得到评论文本的情感类别。

应当理解的是，在针对目标对象的评论满足预设的触发条件时，获取针对目标对象的评论文本集，评论文本集包括针对目标对象的多条评论文本，触发条件包括频率条件和/或数量条件。

其中，针对目标对象的评论满足数量条件，可以是：针对目标对象的评论文本条数达到预设条数阈值。举例来讲，以目标对象为某个游戏道具为例，从在游戏产品中添加游戏道具开始，持续收集不同游戏用户针对该游戏道具的评论文本，直至针对该游戏道具的评论文本条数达到1万条。

其中，针对目标对象的评论满足频率条件，可以是：在任意一段时间内针对目标对象的评论频率高于预设频率阈值。

应当理解的是，触发条件还可以设置为时间条件。预先设定一数据收集时长，获取这一数据收集时长内针对目标对象的评论文本。以一游戏装备为例，可以是在游戏产品中添加该游戏装备的一个月结束时，获取针对目标对象的评论文本集。

从而，在评论文本集中每条评论文本都分别通过步骤S101～S103得到对应的情感类别之后，基于评论文本集中各条评论文本的情感类别，确定目标对象的用户满意度，从而，能够及时得到游戏用户对于游戏内容的满意程度，也就能够有效的帮助运营人员进行决策，有利于运营和游戏研发人员对版本内容进行及时的调整。

具体的，可以将评论文本集属于积极类别的评论文本条数相对于评论文本集的文本总条数的占比值，作为对目标对象的用户满意度。或者将评论文本集中属于积极类别和中性类别的评论文本条数相对于评论文本集的文本总条数的占比值，作为对目标对象的用户满意度。

在一些实施方式下，M个子情感分类结果，可以包括由M个情感分类模型针对同一条评论文本对应输出的M个情感标签。基于此，对应的一种硬投票方式为：

直接将M个情感标签中输出最多的一种情感标签作为目标对象的情感类别。举例来讲，M＝5，即通过5个情感分类模型对同一评论文本进行情感分类预测，对应输出5个情感标签：积极；积极；中性；积极；消极。则将输出最多的一种情感标签为“积极”确定为评论文本的情感类别。

为了提高对评论文本进行情感分类预测的准确性，可以根据M个情感分类模型各自的投票权重以及M个子情感分类结果进行加权投票计算，得到评论文本的情感类别。

其中，如果M个子情感分类结果包括由M个情感分类模型针对同一条评论文本对应输出的M个情感标签，则可以通过如下任意一种软投票方式来实现加权投票计算，得到评论文本的情感类别：

一、如果M个情感分类模型是基于同一原始模型训练而成，可以采用一种软投票方式：将M个情感分类模型中输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到每种情感标签各自对应的加和结果；对比不同种情感标签对应的加和结果，确定出评论文本的情感类别。其中，可以将不同种情感标签对应的加和结果中，最大加和结果所对应的情感标签，作为评论文本的情感类别。

举例来讲，M＝5，即通过5个情感分类模型对同一条评论文本进行情感分类预测，对应输出5个情感标签依次为：积极；积极；中性；积极；消极。并且，这5个情感分类模型的投票权重依次为：0.3、0.3、0.4、0.2、0.1，则对输出“积极”标签的各个情感分类模型的投票权重进行加和计算，得到的加和结果为：0.3+0.3+0.2＝0.8；对输出“中性”标签的各个情感分类模型的投票权重进行加和计算，得到加和结果为0.4；对输出“消极”标签的各个情感分类模型的投票权重进行加和计算，得到加和结果为0.1。通过对比各个加和结果可以确定评论文本的情感类别为“积极”。

进一步的，当存在两个或更多个相同的加和结果时，则将中性类别作为评论文本的情感类别，由此可以减小情感分类预测的偏差程度。

二、如果M个情感分类模型包括基于不同原始模型划分的多个模型分组，每一模型分组对应相同的原始模型。则采用另一种软投票方式：针对每个模型分组，将组内输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到针对评论文本的组内投票结果；将每个模型分组的组内投票结果以及投票权重计算加权和，得到评论文本的情感类别。

应当理解的是，组内投票结果可以是：组内每种情感标签各自的投票权重加权和：

举例来讲，M＝10，假设10个情感分类模型的投票权重依次为：0.1、0.3、0.4、0.2、0.1、0.3、0.3、0.2、0.2、0.1。情感分类模型1～5属于一个模型分组V1，对应投票权重为0.6；情感分类模型6～10属于另一个模型分组V2，对应投票权重为0.4。则通过这10个情感分类模型对同一条评论文本进行情感分类预测，对应输出10个情感标签依次为：积极；积极；中性；积极；消极；消极；消极；中性；积极；消极。得到模型分组V1的组内投票结果：积极：0.1+0.3+0.2＝0.6；中性：0.4；消极：0.1；同样的，模型分组V2的组内投票结果为：积极：0.2；中性：0.2；消极：0.3+0.3+0.1＝0.7。

接着，将模型分组V1、V2的组内投票结果以及投票权重进行加权和计算，得到组间投票结果为：积极：0.6*0.6+0.2*0.4＝0.44；中性：0.4*0.6+0.2*0.4＝0.32；消极：0.1*0.6+0.7*0.4＝0.34；通过对比组间投票结果中不同标签对应的加权和，得到评论文本的情感类别为“积极”。

应当理解的是，每个模型分组的组内投票结果还可以是：对比组内每种情感标签各自的投票权重加权和所确定出的情感标签；基于上述举例继续说明，模型分组V1的组内投票结果为“积极”；模型分组V2的组内投票结果为“消极”；通过对比模型分组V1与V2的投票权重，将投票权重更大的模型分组V1所确定出的情感标签“积极”作为组间投票结果，即得到了评论文本的情感类别为“积极”。

其中，如果M个子情感分类结果包括由M个情感分类模型针对同一评论文本对应输出的M个子情感概率。则可以通过如下任意一种软投票方式来实现加权投票计算，得到评论文本的情感类别：

一、如果M个情感分类模型是基于同一原始模型训练而成，采用一种软投票方式为：根据M个情感分类模型各自的投票权重与M个子情感概率计算加权和，得到评论文本的情感概率；根据情感概率确定该条评论文本的情感类别。

具体而言，每个情感分类模型输出的子情感概率中包括每种情感类别的概率。针对每种情感类别，将每个子情感分类模型输出该种情感类别的概率以及该子情感分类模型的投票权重进行加权和计算，得到该种情感类别的概率加权平均值；对比每种情感类别的概率加权平均值，以选择出最大概率加权平均值对应的情感类别作为评论文本的情感类别。

举例来讲，M＝3，即三个情感分类模型(A、B、C)针对某一条评论文本产生的情感分类结果分别如下：情感分类模型A(投票权重W1)输出的情感概率结果为：积极类别的概率80％；中性类别的概率10％；消极类别的概率10％；情感分类模型B(投票权重W2)输出的情感概率结果为：积极类别的概率60％；中性类别的概率20％；消极类别的概率20％；情感分类模型C(投票权重W3)输出的情感概率结果为：积极类别的概率50％；中性类别的概率40％；消极类别的概率10％。

接着，根据情感分类模型A、B、C各自的投票权重以及对应输出的情感概率计算出最终的情感判定结果，其中，计算出的每个情感类别的概率加权平均值如下：积极类别的概率加权平均值为：80％*W1+60％*W2+50％*W3；中性类别的概率加权平均值为：10％*W1+20％*W2+40％*W3；消极类别的概率加权平均值为：10％*W1+20％*W2+10％*W3。

再接着，对比各个情感类别的概率加权平均值，以得到最大概率加权平均值。进一步的，如果存在两个或更多个相同的概率加权平均值，则确定评论文本的情感类别为中性类别，由此可以减小情感分析偏差程度。

二、如果M个情感分类模型包括基于不同原始模型划分的多个模型分组，每一模型分组对应相同的原始模型，则可以采用另一种软投票方式：针对每个模型分组，根据组内各个情感分类模型的投票权重与子情感概率进行加权和计算，得到评论文本的组内情感判定结果，并根据组内情感判定结果，确定评论文本的组内投票结果；将每个模型分组的组内投票结果以及投票权重计算加权和，得到评论文本的情感类别。

在该软投票方式下，针对评论文本的组内投票结果，具体形式可以为：评论文本在组内的情感判定结果，或者是基于评论文本在组内的情感判定结果进一步确定出的，该评论文本在组内的情感类别。而基于不同形式的组内投票结果，具体的投票过程均可以参考前述几种实施方式的描述，为了说明书的简洁，在此不再赘述。

在本发明实施例中，M个情感分类模型初始的投票权重可以是在模型训练过程中，利用测试样本集对M个情感分类模型进行测试所得到的预测准确率进行计算。具体的，可以按照以下公式获得每个情感分类模型初始的投票权重：

其中，Acci为测试第i个情感分类模型所得到的预测准确率，W_i为第i个情感分类模型初始的投票权重。

举例来讲，M＝3，其中，情感分类模型A的预测准确率是80％，情感分类模型B的预测准确率是90％，情感分类模型C的预测准确率是85％。那么A、B、C初始的投票权重分别为:W1＝0.8/(0.8+0.85+0.90)＝0.31；W2＝0.85/2.55＝0.33；W3＝0.9/2.55＝0.35。

进一步的，由于游戏的版本内容、道具以及装备等等会持续更新，游戏用户讨论的内容也会日新月异，为了提高对评论文本的情感分类预测准确性，M个情感分类模型和/或其中每个情感分类模型各自的投票权重不是恒定不变的，而是动态更新的，从而有效的逐步放大对于评论文本判断更为准确的情感分类模型对决策结果的影响权重。

在具体实施过程中，针对评论文本的M个情感分类结果进行核验，形成针对评论文本的核验记录，核验记录用于表征M个情感分类模型对评论文本的情感分类结果是否正确；根据多条评论文本对应的核验记录，形成核验数据集。具体来讲，以某一条评论文本i为例，针对该条评论文本i的M个情感分类结果进行核验，形成针对该条评论文本i的核验记录，核验记录用于表征M个情感分类模型各自对该条评论文本i的情感分类结果是否正确。通过重复上述方式不断累积，可以得到针对多条评论文本的核验记录。

在得到核验数据集之后，分别将M个情感分类模型作为目标分类模型；基于核验数据集对目标分类模型进行评估，得到目标分类模型的历史误判值；采用与历史误判值对应的更新方式，对目标分类模型和/或目标分类模型的投票权重进行更新。

在一些实施方式下，可以根据预设频率不断获取新的核验数据集，并每次基于新的核验数据集对目标分类模型进行评估，从而周期性判断是否对目标分类模型和/或目标分类模型的投票权重进行更新。而在每次判断出需要对目标分类模型和/或目标分类模型的投票权重进行更新时，则根据当前次评估得到的历史误判值对目标分类模型和/或目标分类模型的投票权重进行更新。

需要说明的是，历史误判值的大小决定了是仅仅更新投票权重，还是对目标分类模型及其投票权重一并进行更新。应当理解的是，本发明实施例中的历史误判值可以为：对目标分类模型评估所得到的在一定历史时段内的历史误判率或者历史误判次数。具体以历史误判值采用历史误判率为例进行说明：如果目标分类模型的历史误判率大于预设的第一误判阈值，则调低目标分类模型的投票权重，否则，可以保持目标分类模型的投票权重不变。进一步的，如果目标分类模型的历史误判率大于预设的第二误判阈值，则对目标分类模型以及对应的投票权重进行同时更新，其中，第二误判阈值大于第一误判阈值，从而实现了投票权重的两级调整，调整更精细化。

其中，历史误判率根据目标分类模型对多条评论文本的情感分类结果是否正确所决定的：历史误判率＝当前周期内误判评论文本的条数/当前周期内预测评论文本的总条数。比如，在当前周期内，目标分类模型对1000条评论文本进行了情感分类预测，其中，200条评论文本的情感分类结果为误判，则目标分类模型的历史误判率为20％。

例如，第一误判阈值可以为10％，第二误判阈值可以为30％，如果目标分类模型的历史误判率大于10％但小于30％，则对目标分类模型的投票权重进行调低，如果目标分类模型的历史误判率大于30％，则对目标分类模型及其投票权重进行更新。

其中，在调低目标分类模型的投票权重时，一种实施方式可以是：以一固定调低幅度对目标分类模型的投票权重进行调低；另一种实施方式为：根据历史误判率确定对应的权重调低幅度，根据确定的权重调低幅度对目标分类模型的投票权重进行调低，其中，历史误判率越大，对应的权重调低幅度越大。具体而言，可以从多个误判率区间中，确定出历史误判率所在的目标误判率区间；确定与该目标误判率区间映射的目标调低幅度，并以目标调低幅度对目标分类模型的投票权重进行调低。

可以理解的是，通过上述任意实施方式对目标分类模型的投票权重进行调低，虽然其余M-1情感分类模型的投票权重保持不变，相当于变相提高了其余M-1情感分类模型的投票权重。

其中，对目标分类模型及其投票权重进行更新，可以有多种实施方式：

比如，可以抛弃目标分类模型(例如，权重降低到0或者小于预定数值时)，并继续使用剩余M-1个情感分类模型对后续获取的评论文本进行情感分类预测。或者以一个新的情感分类模型取代目标分类模型，并且赋予该新的情感分类模型一个初始的投票权重，其中，新的情感分类模型可以是采用新的样本数据集的对原始模型进行训练而成，从而，新的情感分类模型更适应当下的评论文本。

进一步的，在步骤S102中所用的M个情感分类模型可以是预先训练的，参考图2和图3所示，本发明实施例可以通过如下步骤S201～S203获取M个情感分类模型：

首先，执行步骤S201：根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数。

历史数据集包括游戏用户的历史评论文本。具体的，历史数据集中包括从至少一种渠道获取的一定数量的历史评论文本，其中，历史评论文本是游戏用户对于各种游戏内容的历史评论，可以从Apple Store、SensorTower以及Discord频道中的一种或者多种渠道获取到。对每个历史评论文本添加标签数据，形成训练样本。历史数据集中还可以包括其他训练样本：是预先已经添加标签数据的twitter用户发言内容。

在步骤S201中，对历史数据集进行数据预处理得到原始样本数据集，其中，原始样本数据集中不同标签的训练样本满足第一样本比例；基于第一样本比例和第二样本比例，确定每种标签的训练样本的采样方式，第二样本比例为样本数据子集中不同标签的训练样本满足的比例；基于确定出的采样方式，针对原始样本数据集执行采样，得到K个不同的样本数据子集。

需要说明的是，原始样本数据集中每个训练样本包括历史评论文本以及与该历史评论文本对应的标签数据。

具体的，通过分别针对历史数据集中每个历史评论文本以及对应的标签数据进行数据预处理，得到包括多个训练样本的原始样本数据集。其中，针对历史数据集中每个历史评论文本以及对应的标签数据进行的预处理，包括：对历史评论文本以及对应的标签数据进行数据清洗后转换为目标格式，其中，通过数据清洗去除历史评论文本和标签数据中的特殊符号和停用词；再剔除其中无法识别的消息文本内容和标签数据。

一般而言，原始样本数据集中的训练样本包括正样本(标签数据为积极的训练样本)、中性样本以及负样本(标签数据为消极的训练样本)。正样本占比较大，会明显多于负样本和中性样本，如此这样的第一样本比例表明原始样本数据集中各种标签的训练样本比例明显失衡，不利于训练出准确度高的情感分类模型。因此，基于第一样本比例和预设的第二样本比例，确定每种标签的训练样本的采样方式，并基于确定出的采样方式，针对原始样本数据集执行K轮采样，得到K个不同的样本数据子集，从而，可以使形成的K个样本数据子集中样本比例不再失衡。

具体而言，针对正样本，需要采用下采样方式从原始样本数据集中进行采样，而针对中性样本和负样本，则需要采用上采样方式从原始样本数据集中采样，使样本数据子集中的正样本、中性样本以及负样本的比例满足第二样本比例。相对于第一样本比例，提高了负样本(消极)和中性样本的比例。

为了比较好的兼顾训练速度和训练出的情感分类模型的预测准确率，第二样本比例可以是：正样本、中性样本以及负样本比例为3:1:1，以很好的兼顾训练速度和训练出的情感分类模型的准确率。

在得到K个样本数据子集之后，执行步骤S202：利用K个样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型。

在本发明实施例中，K个情感分类模型可以是基于同一原始模型或者多种不同原始模型训练而成。具体的，原始模型可以为已预训练的Bert模型，比如，可以为已预训练的Bert-base-cased模型、Bert-base-uncased模型、distilbert-base-cased模型或者distilbert-base-cased-distilled-sqad模型。

由于利用K个不同的样本数据子集一一对应的训练出K个情感分类模型，因此，K个情感分类模型是差异化训练的结果。

在得到K个情感分类模型之后，执行步骤S203：从K个情感分类模型中筛选出M个情感分类模型，其中，M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

具体的，如果是基于同一原始模型训练而成的K个情感分类模型，可以根据K个情感分类模型的预测准确率从高至低筛选出M个情感分类模型。举例来讲，同时训练出K个情感分类模型之后，保留其中预测准确率超过80％的M个情感分类模型，M>＝3。

具体的，如果基于多种不同原始模型训练而成的K个情感分类模型，从基于同一原始模型训练而成的各个情感分类模型中，根据预测准确率的从高至低筛选出至少两个情感模型。

在本发明实施例中，由于K个情感分类模型在训练时所接收到的训练样本是不同的，构建的特征空间就是不同的，在这样不同的前提下，在训练后得到的K个情感分类模型学习到了一些差异化的特征。在获得到这样差异化的训练结果后，再通过预测准确率筛除不符合要求的模型，相比较采用全量训练数据来进行训练出K个情感分类模型，情感分析预测准确性更高，因为K个原始模型如果在训练时接收到的训练样本是相同的，在输入的初始参数相同的情况下，采用全量训练数据训练K个原始模型有概率生成大体相同的特征空间，最终投票的结果有可能形成相对集中的情况，就失去了投票的意义。因此相对于将全量训练数据同时引入，本发明实施例中M个情感分类模型能在限定的语义范围内获得更好的情感分类预测效果。

同时由于每个模型训练所用的样本数量缩减了，单个模型的训练时间可以大幅度缩减，在限定时间内可以进行多轮迭代以获得更好的模型训练效果。在并行训练K个情感分类模型的情况下，整体训练完成的时间由最后完成的模型决定。

同时，由于游戏用户讨论的内容日新月异，游戏的版本内容、道具以及装备等等也会持续更新，新的语义主体层出不穷。还可以通过引入纠错机制产生修正样本，并利用修正样本实现M个情感分类模型的再训练，保证情感分类模型的持续学习和更新：

具体的，可以在每次积累修正样本达到目标样本量时，就触发一次对M个情感分类模型的再训练，从而会不断的扩充修正样本，扩大模型的学习范畴，使得模型具备了可持续学习的能力，以应对游戏版本更新和用户讨论热点的不断更新。

在具体实施过程中，对M个情感分析模型的再训练，可以采用离线全量训练方式进行，也可以采用在线增量训练的方式进行。

其中，采用离线全量训练方式进行，包括：如果得到的评论文本的情感类别不正确，则对评论文本的情感类别进行修正，形成修正样本；累积多个修正样本，形成目标样本量的修正样本数据集；将修正样本数据集添加至原始样本数据集，形成新的样本数据集；根据新的样本数据集对M个情感分类模型进行再训练，以更新M个情感分类模型。

具体的，目标样本量是与基于投票机制得到情感类别的准确率相关，当投票机制得到情感类别的准确率超过80％但是低于90％时，可以每累积超过5000条修正样本就触发一次对M个情感分析模型的再训练。当基于投票机制得到情感类别的准确率超过90％时，则累积至修正样本的条数达到原始样本数据集中样本量的5％时就触发一次对M个情感分析模型的再训练。因为样本量的提升对于M个情感分类模型都会产生正向效果，更多的训练样本和测试数据会使得模型的稳定性以及泛化能力更强。

第二方面，本发明实施例提供了一种评论文本分析装置40，参见图4所示，包括：

文本获取单元401，用于获取针对目标对象的评论文本；

分类预测单元402，用于通过M个情感分类模型分别对评论文本进行情感分类预测，得到评论文本的M个子情感分类结果，其中，M个情感分类模型是由M个不同的样本数据子集一一对应训练而成，M为大于2的整数；

投票单元403，用于基于投票机制处理M个子情感分类结果，得到评论文本的情感类别。

在一些实施方式下，M个情感分类模型是基于同一原始模型训练而成，M个子情感分类结果包括由M个情感分类模型对应输出的M个情感标签；投票单元403包括：

第一投票子单元，用于将M个情感分类模型中输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到每种情感标签各自对应的加和结果；

第一对比子单元，用于对比不同种情感标签对应的加和结果，确定出评论文本的情感类别。

在一些实施方式下，M个情感分类模型包括基于原始模型不同划分的多个模型分组，每一模型分组对应相同的原始模型，且M个子情感分类结果包括由M个情感分类模型对应输出的M个情感标签；投票单元403包括：

第一组内投票子单元，用于针对每个模型分组，将组内输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到组内投票结果；

第一组间投票子单元，用于将每个模型分组的组内投票结果以及投票权重进行加权和计算，得到评论文本的情感类别。

在一些实施方式下，M个情感分类模型是基于同一原始模型训练而成，且M个子情感分类结果包括由M个情感分类模型对应输出的M个子情感概率；投票单元403包括：

第二投票子单元，用于根据M个情感分类模型各自的投票权重与M个子情感概率进行加权和计算，得到评论文本的情感概率；

第二对比子单元，根据情感概率，确定评论文本的情感类别。

在一些实施方式下，M个情感分类模型包括基于原始模型不同划分的多个模型分组，每一模型分组对应相同的原始模型，且M个子情感分类结果包括由M个情感分类模型对应输出的M个子情感概率；投票单元403包括：

第二组内投票子单元，用于针对每个模型分组，根据组内各个情感分类模型的投票权重与子情感概率进行加权和计算，得到评论文本的组内情感判定结果，并根据组内情感判定结果，确定评论文本的组内投票结果；

第二组间投票子单元，用于将每个模型分组的组内投票结果以及投票权重进行加权和计算，得到评论文本的情感类别。

在一些实施方式下，文本获取单元401，具体用于：

在针对目标对象的评论满足预设的触发条件时，获取针对目标对象的评论文本集，评论文本集包括针对目标对象的多条评论文本，触发条件包括频率条件和/或数量条件。

在一些实施方式下，还包括：

满意度确定子单元，用于基于评论文本集中各条评论文本的情感类别，确定目标对象的用户满意度。

在一些实施方式下，还包括：

核验子单元，用于针对评论文本的M个情感分类结果进行核验，形成针对评论文本的核验记录，核验记录用于表征M个情感分类模型对评论文本的情感分类结果是否正确；

数据收集单元，用于根据多条评论文本对应的核验记录，形成核验数据集。

在一些实施方式下，还包括：

模型评估单元，用于分别将M个情感分类模型作为目标分类模型，基于核验数据集对目标分类模型进行评估，得到目标分类模型的历史误判值；

模型更新单元，用于采用与历史误判值对应的更新方式，对目标分类模型和/或目标分类模型的投票权重进行更新。

在一些实施方式下，还包括：

构建单元，用于根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，历史数据集包括游戏用户的历史评论文本；

训练执行单元，用于利用K个不同的样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型，其中，K个情感分类模型基于同一原始模型或者包括多种不同原始模型训练而成；

模型筛选单元，用于从K个情感分类模型中，筛选出M个情感分类模型，其中，M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

在一些实施方式下，数据构建单元具体用于：

对历史数据集进行数据预处理，得到原始样本数据集，原始样本数据集中不同标签的训练样本满足第一样本比例；

基于第一样本比例和第二样本比例，确定每种标签的训练样本的采样方式，第二样本比例为样本数据子集中不同标签的训练样本满足的比例；

基于确定出的采样方式，针对原始样本数据集执行采样，得到K个不同的样本数据子集。

在一些实施方式下，还包括：

样本修正单元，用于如果评论文本的情感类别不正确，则对评论文本的情感类别进行修正，形成修正样本；

样本累积单元，用于累积多个修正样本，形成目标样本量的修正样本数据集；

样本添加单元，用于将修正样本数据集添加至原始样本数据集，形成新的样本数据集；

模型再训练单元，用于根据新的样本数据集对M个情感分类模型进行再训练，以更新M个情感分类模型。

基于同一发明构思，本发明实施例提供了一种文本分析模型训练装置50，参见图5所示，包括：

构建单元501，用于根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，历史数据集包括游戏用户的历史评论文本；

训练执行单元502，用于利用K个不同的样本数据子集一一对应的对K个原始模型进行训练，得到K个情感分类模型，其中，K个情感分类模型基于同一原始模型或者包括多种不同原始模型训练而成；

模型筛选单元503，用于从K个情感分类模型中，筛选出所M个情感分类模型，其中，M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

关于上述实施例中的装置，其中各个功能单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一发明构思，本说明书实施例还提供了一种电子设备，包括处理器和存储器，存储器耦接到所述处理器，存储器存储指令，当指令由所述处理器执行时使所述电子设备执行上述评论文本分析方法或者文本分析模型训练方法。

图6是本说明书实施例中电子设备为服务器时的结构示意图。该服务器1900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)1922(例如，一个或一个以上处理器)和存储器1932，一个或一个以上存储应用程序1942或数据1944的存储介质1930(例如一个或一个以上海量存储设备)。其中，存储器1932和存储介质1930可以是短暂存储或持久存储。存储在存储介质1930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1922可以设置为与存储介质1930通信，在服务器1900上执行存储介质1930中的一系列指令操作。

服务器1900还可以包括一个或一个以上电源1926，一个或一个以上有线或无线网络接口1950，一个或一个以上输入输出接口1958，一个或一个以上键盘1956，和/或，一个或一个以上操作系统1941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1932，上述指令可由电子设备的处理器执行以完成上述第一方面提供的评论文本分析方法或者文本分析模型训练方法，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制，以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种评论文本分析方法，其特征在于，包括：

获取针对目标对象的评论文本；

通过M个情感分类模型分别对所述评论文本进行情感分类预测，得到所述评论文本的M个子情感分类结果，其中，所述M个情感分类模型是由M个不同的样本数据子集一一对应训练而成，M为大于2的整数；

基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别。

2.如权利要求1所述的方法，其特征在于，所述M个情感分类模型是基于同一原始模型训练而成，所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个情感标签；所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：

将所述M个情感分类模型中输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到每种情感标签各自对应的加和结果；

对比不同种情感标签对应的加和结果，确定出所述评论文本的情感类别。

3.如权利要求1所述的方法，其特征在于，所述M个情感分类模型包括基于原始模型不同划分的多个模型分组，每一模型分组对应相同的原始模型，且所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个情感标签；

所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：

针对每个模型分组，将组内输出同一种情感标签的各个情感分类模型的投票权重进行加和计算，得到组内投票结果；

将每个模型分组的组内投票结果以及投票权重进行加权和计算，得到所述评论文本的情感类别。

4.如权利要求1所述的方法，其特征在于，所述M个情感分类模型是基于同一原始模型训练而成，且所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个子情感概率；所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：

根据所述M个情感分类模型各自的投票权重与所述M个子情感概率进行加权和计算，得到所述评论文本的情感概率；

根据所述情感概率，确定所述评论文本的情感类别。

5.如权利要求1所述的方法，其特征在于，所述M个情感分类模型包括基于原始模型不同划分的多个模型分组，每一模型分组对应相同的原始模型，且所述M个子情感分类结果包括由所述M个情感分类模型对应输出的M个子情感概率；

所述基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别，包括：

针对每个模型分组，根据组内各个情感分类模型的投票权重与子情感概率进行加权和计算，得到所述评论文本的组内情感判定结果，并根据所述组内情感判定结果，确定所述评论文本的组内投票结果；

将每个模型分组的组内投票结果以及投票权重进行加权和计算，得到所述评论文本的情感类别。

6.如权利要求1所述的方法，其特征在于，在得到所述评论文本的M个子情感分类结果之后，还包括：

针对所述评论文本的M个情感分类结果进行核验，形成针对所述评论文本的核验记录，所述核验记录用于表征所述M个情感分类模型对所述评论文本的情感分类结果是否正确；

根据多条评论文本对应的核验记录，形成核验数据集。

7.如权利要求6所述的方法，其特征在于，在所述形成核验数据集之后，还包括：

分别将所述M个情感分类模型作为目标分类模型；

基于所述核验数据集对所述目标分类模型进行评估，得到所述目标分类模型的历史误判值；

采用与所述历史误判值对应的更新方式，对所述目标分类模型和/或所述目标分类模型的投票权重进行更新。

8.如权利要求1-7中任一所述的方法，其特征在于，所述方法还包括训练得到所述M个情感分类模型的步骤：

根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，所述历史数据集包括游戏用户的历史评论文本；

利用所述K个不同的样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型，其中，所述K个情感分类模型属于同一原始模型或者多种不同原始模型训练而成；

从所述K个情感分类模型中，筛选出所述M个情感分类模型，其中，所述M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

9.如权利要求8所述的方法，其特征在于，所述根据获取的历史数据集构建K个不同的样本数据子集，包括：

对所述历史数据集进行数据预处理，得到原始样本数据集，所述原始样本数据集中不同标签的训练样本满足第一样本比例；

基于所述第一样本比例和第二样本比例，确定每种标签的训练样本的采样方式，所述第二样本比例为样本数据子集中不同标签的训练样本满足的比例；

基于确定出的采样方式，针对所述原始样本数据集执行采样，得到K个不同的样本数据子集。

10.一种文本分析模型训练方法，其特征在于，包括：

根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，所述历史数据集包括用户的历史评论文本；

利用所述K个不同的样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型，其中，所述K个情感分类模型基于同一原始模型或者多种不同原始模型训练而成；

从所述K个情感分类模型中，筛选出M个情感分类模型，其中，所述M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

11.一种评论文本分析装置，其特征在于，包括：

文本获取单元，用于获取针对目标对象的评论文本；

分类预测单元，用于通过M个情感分类模型分别对所述评论文本进行情感分类预测，得到所述评论文本的M个子情感分类结果，其中，所述M个情感分类模型是由M个不同的样本数据子集一一对应训练而成，M为大于2的整数；

投票单元，用于基于投票机制处理所述M个子情感分类结果，得到所述评论文本的情感类别。

12.一种文本分析模型训练装置，其特征在于，包括：

构建单元，用于根据获取的历史数据集构建K个不同的样本数据子集，K为大于或等于M的整数，其中，所述历史数据集包括游戏用户的历史评论文本；

训练执行单元，用于利用所述K个不同的样本数据子集一一对应的对原始模型进行训练，得到K个情感分类模型，其中，所述K个情感分类模型基于同一原始模型或者多种不同原始模型训练而成；

模型筛选单元，用于从K个情感分类模型中，筛选出M个情感分类模型，其中，所述M个情感分类模型包括基于原始模型不同划分的至少一个模型分组，每个模型分组包括基于同一原始模型训练而成的至少两个情感分类模型。

13.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-9中任一项所述方法的步骤。

14.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-9中任一项所述方法的步骤。

Images