CN108021565B - 一种基于对话的用户满意度的分析方法及装置 - Google Patents

Abstract

本发明公开了一种基于语言层的用户满意度分析方法及装置，其中，所述方法包括：确定分类器集合中的每一第一分类器对应的训练数据；根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。

Description

一种基于对话的用户满意度的分析方法及装置

技术领域

本发明涉及人工智能领域，尤其涉及一种基于语言层的用户满意度的分析方法及装置。

背景技术

追求用户满意成为现代企业质量管理的重要课题。用户满意度分析可以使企业清晰地知道其提供的服务和业务的不足之处。在微博和商品评论语料上进行的情感检测，进而判定用户满意度的研究已有一些，大致可以分为有监督方法和无监督方法。

有监督的方法主要依靠机器学习中的统计模型（如：支持向量机（Support VectorMachine，SVM）、最大熵（MaxEnt）、贝叶斯（Bayes）等）进行训练和预测，统计模型从大量训练语料中学习到类别特征，进而对测试样本进行特征识别及预测。它将情绪检测的任务当成机器学习中的分类任务，选取词汉语语言模型（N-gram）特征，使用空间向量模型表示文本，实验中采用爬山算法（Hill-Climbing）等方法进行特征选择，选取表现最好的特征组合。无监督方法首先需要根据经验知识建立人工情感词典，其包含如“表扬”等正面情感词和“投诉”等负面情感词。通过情感词匹配和简单的投票判定用户满意度。与有监督方法相比，此方法不需要额外的训练数据，实现起来相对简单，但预测结果准确率和召回率都低于有监督的方法。

呼叫中心每天会产生大量的客服对话，欲从中获取用户满意度信息，如果仅仅依赖人工处理，耗时耗力，非常低效。目前针对中文客服对话数据实现用户满意度自动分析的技术还很少。

对话满意度自动评价可以通过用户的情绪检测来实现，用户的主观情绪（生气和中性）直接反映了用户对此次呼叫体验的满意与否。而与判断用户评论的满意度相比，一方面对话时间较长，包含的用户情感信息更多，另一方面随着客服和用户间的沟通，用户的情感可能会发生变化，导致对话包含的满意度信息更复杂。

现在很多方法还是参考用户评论的满意度的方法，进行对话的自动满意度分析，缺乏对呼叫中心长对话特点的特殊处理。

由于呼叫中心客服人员礼貌的服务和客户良好的素质，在每天产生的大量客服对话中，用户反馈为不满意的对话数量很少，其和满意对话数量的比例约为1:20甚至更少。而现有的情感检测系统大多基于类别平衡数据，即使针对不平衡数据，处理也相对简单，只是根据不满意数据的数量简单选取一定比例的满意数据，造成大量的满意数据闲置，利用率较低。

发明内容

有鉴于此，本发明实施例期望提供一种基于语言层的用户满意度分析方法及装置，解决了现有技术方案中针对不平衡数据，处理过程简单，造成大量的数据闲置，利用率低的问题，实现了针对不同的分类器采用合适的训练数据，提高数据的利用率，达到完善系统性能的目的。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供一种基于语言层的用户满意度分析方法，所述方法包括：

确定分类器集合中的每一第一分类器对应的训练数据；

根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；

将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；

根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；

将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。

第二方面，本发明实施例提供一种基于语言层的用户满意度分析装置，所述装置包括：

第一确定模块，用于确定分类器集合中的每一第一分类器对应的训练数据；

第二确定模块，用于根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；

第一输入模块，用于将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；

第三确定模块，用于根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；

第二输入模块，用于将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。

本发明实施例公开了一种基于语言层的用户满意度分析方法及装置，所述方法包括：确定分类器集合中的每一第一分类器对应的训练数据；根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。在本发明实施例中，分类器集合中有至少两个分类器，并且对分类器集合中的不同分类器使用不同的训练数据，如此，解决了现有技术方案中针对不平衡数据，处理过程简单，造成大量的数据闲置，利用率低的问题，实现了针对不同的分类器采用合适的训练数据，提高数据的利用率，达到完善系统性能的目的。

附图说明

图1为本发明实施例一基于语言层的用户满意度分析方法的实现流程示意图；

图2为本发明实施例二基于语言层的用户满意度分析方法的实现流程示意图

图3-1为本发明实施例三基于语言层的用户满意度分析方法的系统框图；

图3-2为本发明实施例三自动情感词典的扩充流程示意图；

图3-3为本发明实施例三情感分类流程示意图；

图3-4为本发明实施例三以TF-IDF作为统计特征的支持向量机模型得到的PR曲线的基线；

图3-5为本发明实施例三使用现有技术进行用户度满意分析及使用本发明实施例提供方法进行用户满意度分析的PR曲线对比图；

图4为本发明实施例四基于语言层的用户满意度分析装置的组成结构示意图。

具体实施方式

实施例一

为了解决背景技术中存在的技术问题，本发明实施例提供一种基于语言层的用户满意度分析方法，应用于计算设备，图1为本发明实施例一基于语言层的用户满意度分析方法的实现流程示意图，如图1所示，所述方法包括：

步骤S101，确定分类器集合中的每一第一分类器对应的训练数据；

这里，所述分类器集合中至少有两个第一分类器，以实现通过多个分类器得出相应的分类模型，进而对测试数据的预测结果进行综合决策。所述分类器集合至少包括支持向量机分类器、最大熵分类或贝叶斯分类器。

对应地，当所述第一分类器为支持向量机分类器时，训练数据中的第一数据与第二数据之比大于2.7:1而小于3.3:1；其中，所述第一数据为用户满意度标签为满意的数据，所述第二数据为用户满意度标签为不满意的数据；当所述第一分类器为最大熵分类器时，训练数据中的第一数据与第二数据之比大于1.7:1而小于2.3:1；当所述第一分类器为贝叶斯分类器时，训练数据中的第一数据与第二数据之比大于0.7:1而小于1.3:1。

由于现实呼叫中心客服对话中满意的数据量远远大于不满意数据量，为避免预测结果全部为多类的情况，在训练模型时应尽量将两类语料平衡到分类器的可控范围，即增加数据的采样率又保证分类器的性能。经正负样本比例寻优试验确定，较合适的不满意和满意比例的采样策略是：支持向量机为1:3；最大熵为1:2；贝叶斯为1:1。

因为现有技术中的技术方案没有针对不平衡数据提出合适的策略，在本发明实施例中，针对呼叫中心客服对话中不满意数据和满意数据数量严重偏斜的问题，采用了数据按比例采样和多模型同时预测，并对各模型的正负样本比例进行寻优训练，最终达到提高满意数据的利用率和提升系统的准确率的目的。

步骤S102，根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；

这里，将所述每一训练数据进行分词；根据每一训练数据中的每个分词确定所述第一特征集中的每一第一特征的权重值；将所述第一特征的权重值归一化，得到所述每一训练数据的第一特征向量。

具体的，根据每一训练数据中的每个分词确定所述第一特征集中的每一第一特征的权重值可以根据每个分词的词频确定，也可以根据TF-IDF算法确定。

步骤S103，将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；

这里，当第一分类器为支持向量机分类器时，支持向量机中的特征表示为“特征词：权重”组成的向量形式，权重由词频-逆向文件频率（Term Frequency–InverseDocument Frequency，TF-IDF）值表示。TF-IDF的主要思想是：如果某个词在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力。支持向量机将样本表示成一个点映射到空间中，进而找到一个最佳的分界面将不同类别的样本进行划分。在训练过程中，基于本实施例数据最优的核函数类型是径向基函数（RadialBasis Function，RBF）函数。另，在一定范围内遍历寻优确定损失函数C和核函数中的gamma函数值G，函数C在本发明实施例中的范围（0.03125,32768），而函数G的取值范围为（2,0.00024），遍历寻优中参数值均以4为梯度增加。此外，调节支持向量机中的参数W来缓解不平衡数据对分类结果的影响，设置为正负样本的比例3。

当第一分类器为最大熵分类器时，最大熵原理不同于支持向量机，原则是要保留全部的不确定性，将风险降到最小。用于最大熵分类的特征文本为特征词串联形式，每个样本特征表示成形如“类别标签，特征词1，特征词2，特征词3……”，在本发明实施例的训练过程中可使用100次迭代。

当第一分类器为贝叶斯分类器时，对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。对于特定样本，综合里面的词汇出现在各类的概率，取最大者为预测类别。

步骤S104，根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；

步骤S105，将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。

这里，首先将多个训练数据输入到多个第一分类器进行训练，得出分类模型，将测试数据的第二特征向量分别输入到得出的分类模型中，得到每一个第一分类器对应的预测结果。可以提高数据的利用率，并且能有效利用不同模型间的预测原理综合提高系统的性能。

在本发明实施例中，确定分类器集合中的每一第一分类器对应的训练数据；根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。在本发明实施例中，分类器集合中有至少两个分类器，并且对分类器集合中的不同分类器使用不同的训练数据，如此，解决了现有技术方案中针对不平衡数据，处理过程简单，造成大量的数据闲置，利用率低的问题，实现了针对不同的分类器采用合适的训练数据，提高数据的利用率，达到完善系统性能的目的。

实施例二

本发明实施例提供一种基于语言层的用户满意度分析方法，应用于基于语言层的用户满意度分析装置，图2为本发明实施例二基于语言层的用户满意度分析方法的实现流程示意图，如图2所示，所述方法包括：

步骤S201，确定分类器集合中的每一第一分类器对应的训练数据；

步骤S202，根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；

这里，在步骤S202之前，需要预先形成第一特征集，其中所述形成第一特征集的步骤包括：

第一步，确定所述训练数据中的否定词和否定对象；其中，所述否定对象为所述否定词之后的第一个动词；

第二步，确定第一词典；其中，所述第一词典中包含人工挑选出的具有情感色彩的分词；

第三步，将所述训练数据进行分词，将出现次数高于预设值的分词确定为第一分词；

第四步，根据所述第一分词在所述第一数据中的第一互信息和所述第一分词在第二数据中的第二互信息，确定第二词典；

这里，分别计算所述每一第一分词在所述第一数据中的第一互信息和在所述第二数据中的第二互信息；将所述每一第一分词的第一互信息与所述第二互信息之间的差值的绝对值从大到小进行排序，得到第一分词序列；将所述第一分词序列的前N个分词确定为第二词典的分词，其中，N为预先设定的自然数。或者，将所述每一第一分词的第一互信息与所述第二互信息之间的差值的绝对值从小到大进行排序，得到第二分词序列；将所述第二分词序列的后N个分词确定为第二词典的分词，其中，N为预先设定的自然数。

第五步，根据所述否定词和所述否定对象构成的分词、所述第一词典的分词和所述第二词典的分词形成第二特征集；

第六步，将所述第二特征集中的出现在语料库中的次数超过预设次数的分词形成第一特征集；其中，所述语料库至少包括训练数据与测试数据。

现有技术的有监督方法中的统计模型的特征选取比较单一，只选取了词N-gram特征。忽略了情感词、停用词、礼貌用语、否定词、词性标注、对话长度等能反映用户情感的特征。在本发明实施例中，第一特征集中的特征更加全面，文本的特征表示不仅有N-gram特征，还加入了人工情感词典和基于语料库自动扩充的情感词典、否定词，对话长度等特征。

步骤S203，将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；

步骤S204，根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；

步骤S205，将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。

步骤S206，根据每一所述第一分类器对应的所述预测结果确定第三特征向量；

这里，将每一所述第一分类器对应的所述预测结果形成一个多维特征向量，每一个测试数据中的样本可表示成形如“类别标签 支持向量机预测结果 最大熵预测结果 贝叶斯预测结果”的第二特征向量的特征表示形式。

步骤S207，将所述第三特征向量输入预先设定的第二分类器，得到输出结果；

这里，所述第二分类器可以但不限于是支持向量机分类器、最大熵分类器或贝叶斯分类器。在本发明其他实施例中，第二分类器采用了支持向量机分类器。

步骤S208，将所述输出结果输入到预先建立的线性评估模型进行分析，确定测试数据的满意度分析结果；

这里，所述步骤S208具体包括：将所述输出结果输入到预先建立的线性评估模型，得到所述测试数据的得分；判断所述得分是否大于预先设定的阈值；如果所述得分大于预先设定的阈值，则确定所述测试数据的满意度分析结果为满意；如果所述得分不大于所述阈值，则确定所述测试数据的满意度分析结果为不满意。

在所述步骤S208之前，还需要预先建立线性评估模型，其中建立线性评估模型的步骤包括：

第一步，确定用户输入的一个以上的语言规则和所述每一语言规则的权值；

第二步，根据所述语言规则查询所述训练数据，得到查询结果；

第三步，根据所述语言规则的权值和所述查询结果，建立线性评估模型。

步骤S209，输出所述测试数据的满意度分析结果。

有监督的方法主要依靠基于情感语料的统计模型进行训练和预测，对于呼叫中心大量情感隐晦的对话识别度不高。无监督方法基于经验建立的人工情感词典，缺点显而易见，情感词规模有限，而且负面情感词汇的“负面”极性并不是绝对的，会随着语境有所变动，仅仅通过匹配投票给出满意度结果，结果太过绝对和武断，灵活性低，预测的结果也往往不尽人意。而用词简单，结构松散，对话较长，用户情绪内容有一定的变化，是呼叫中心口语对话的特点，在本发明实施例中，将不同分类模型中输出的测试数据的预测结果再形成第二特征向量，再送入一个分类器中进行综合决策，并将综合决策的结果在基于无监督方法预先形成的线性评估模型上进行修订，有效结合了有监督方法和无监督方法的优势，可以更准确的评估用户满意度。

实施例三

本发明实施例先提供一种基于语言层的用户满意度分析方法，本发明实施例提供的方法是针对呼叫中心客服对话特定领域制定的情感检测系统，针对呼叫中心的长对话口语化，用户情绪的隐蔽性，过程波动性，最终确定性等特点，提出有效解决方法，最终能更有效地运作在呼叫中心的客服口语对话数据上。利用本发明实施例提供的方法可以完成自然语言处理领域内的对话情感分类任务，能够自动地对呼叫中心对话的用户满意度进行满意和不满意的二分类评估，方便企业获悉用户对其服务或业务满意程度，进而改进自身的业务和服务。为了更好地理解本方法的系统流程，图3-1为本发明实施例三基于语言层的用户满意度分析方法的系统框图。如图3-1所示，本方法的系统流程包括：

S311，构建特征集；

具体地，在对语料库中的样本进行分词、否定词处理等预处理后，首先需要完成自动情感词典的扩充流程，图3-2为本发明实施例三自动情感词典的扩充流程示意图，所述扩充流程如图3-2所示。

自动情感词典的扩充流程包括：步骤S321，将标有用户满意度标签的语料输入到基于语料库的自动扩充算法中；步骤S322，输出自动情感词典。

这里，将自动情感词典中的情感词结合人工情感词、词N-gram、停用词，对话长度等特征构建特征集，根据构建的特征集将输入的客服对话文本转换成第二特征向量。

步骤S312，将第二特征向量输入到不同的分类器构成的分类器集合中，得到预测结果；

由于不满意的数据量很少，在固定不满意数据的基础上，分别选取不同的满意数据与之按照一定的搭配比例形成三组训练数据，分别送入支持向量机、最大熵和贝叶斯三个分类器进行训练。而不同分类器根据实验在训练集寻优确定不同的不满意样本和满意样本的比例。一方面是为了提高满意数据的使用率，另一方面可利用多模型之间不同的预测原理，吸取各家之长，有效提高召回率。

步骤S313，将每个分类器输出的预测结果形成第二特征向量，再次使用支持向量机的方法进行融合，得到输出结果；

步骤S314，将所述输出结果送入语言规则模块进行模型后处理。

这里，语言规则模块有效地利用了呼叫中心对话中用户最后确定的情感和用户使用的礼貌用语等特征，能有效完善统计模型预测结果。最终基于统计模型和语言规则进行综合决策，并输出该段客服对话的情感得分。最终的输出的结果是情感得分的连续值，可自行设置阈值进行筛选。

图3-3为本发明实施例三情感分类流程示意图，如图3-3所示，所述流程包括：

步骤S331，将测试数据和训练数据分别输入到分类器中进行特征提取、训练及预测结果融合，得到输出结果；

步骤S332，将所述输出结果输入到语言规则模块进行情感监测，得到情感得分；

步骤S333，将所述情感得分按照预先设置的阈值进行筛选，得到所述测试数据的满意度分析结果。

下面详细介绍本发明实施例基于语言层的用户满意度分析方法的具体实现过程，所述方法具体的实现过程包括：

第一步、数据分配。

由于现实呼叫中心客服对话中满意的数据量远远大于不满意数据量，为避免预测结果全部为多类的情况，在训练模型时应尽量将两类语料平衡到分类器的可控范围，即增加数据的采样率又保证分类器的性能。经正负样本比例寻优试验确定，较合适的不满意和满意比例的采样策略是：支持向量机为1:3；最大熵为1:2；贝叶斯为1:1。测试集中的不满意对满意的比例尽量按照现实数据的比例，目的是让系统的性能更加真实地反映呼叫中心真实的用户满意度反馈。

第二步、数据预处理。

在分词后进行否定词处理。当否定词（如“不”、“没有”）出现在句子中时，句子的语义倾向多半会发生反向变化。否定词否定的对象主要是其后的第一个动词。本提案将否定词和否定对象结合为新特征，送入分类器。

第三步、人工情感词典建立。

人工根据经验挑出极性强烈的带有感情色彩的词汇，属于显性情感词。

在现有技术中，无监督的方法中使用的人工建立的情感词典规模有限，没有针对特定客服语料领域的情感词，特别是隐性负面情感词汇。如客户在提到“质量”一词时，大多时候带有不满意的情绪，而在人们经验中，它往往不带情感色彩，属于中性词汇。所以在本发明实施例中，可以基于语料库构建自动情感词典，对人工情感词典进行补充。

第四步、基于大规模语料库自动构建情感词典。

具体地，第四步包括以下几个步骤：1）正面/负面情感语料库的建立：将训练集中的满意文本和不满意文本分开来分别形成正面语料库和负面语料库。并将两个语料库相加形成合并语料库。2）候选情感词选取：对合并语料库进行分词，将所有出现频率高于3的词作为候选情感词。3）情感词确立：计算候选情感词分别在正面语料库和负面语料库的互信息。4）互信息越大，代表其对类别越有区分能力，将互信息差值按绝对值大小排列，选取前500词加入情感词典。自动扩充的情感词典即含有显性情感词也含有隐性情感词，是人工情感词典的有效补充，也更加适合呼叫中心的客服对话文本。

第五步、特征提取。

将词N-gram、人工情感词、自动情感词、否定词，对话长度等特征组成特征集，而后根据其出现在语料库中的频率进行选取，选取出现频率大于3的特征保留。针对训练数据测试数据，通过查找特征集，将对话文本转成空间向量形式的特征。

第六步、训练。

将准备好的训练数据特征向量，依次送入支持向量机、最大熵和贝叶斯三个分类器中，分别训练分类模型。

支持向量机分类器中的特征表示为“特征词：权重”组成的向量形式，权重由TF-IDF值表示。TF-IDF的主要思想是：如果某个词在一篇文章中出现的频率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力。支持向量机将样本表示成一个点映射到空间中，进而找到一个最佳的分界面将不同类别的样本进行划分。在训练过程中，基于本案数据最优的核函数类型是RBF函数。另在一定范围内遍历寻优确定损失函数C和核函数中的gamma函数值G，函数C在本案中的范围（0.03125,32768），而函数G的取值范围为（2,0.00024），遍历寻优中参数值均以4为梯度增加。此外，调节支持向量机中的参数W来缓解不平衡数据对分类结果的影响，设置为正负样本的比例3。

最大熵分类器原理不同于支持向量机分类器，原则是要保留全部的不确定性，将风险降到最小。用于最大熵分类的特征文本为特征词串联形式，每个样本特征表示成形如“类别标签 特征词1 特征词2 特征词3……”，在训练过程中使用100次迭代。

朴素贝叶斯分类器的思想基础是：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。对于特定样本，综合里面的词汇出现在各类的概率，取最大者为预测类别。

第七步、测试。

保留三个分类器训练得出的最优模型，最优标准为在开发集上的最优F值。测试数据同样经历预处理，特征提取、特征文本表示等过程，依赖训练好的分类模型，得到预测标签。

第八步、统计模型结果融合。

本发明实施例中采用三个统计模型同时预测并进行融合的策略，不仅能提高满意数据的采样率，而且能有效利用不同模型间的预测原理提高综合系统的召回率。将三个模型预测的结果作为一个三维特征，每一个样本可表示成形如“类别标签 支持向量机预测结果 最大熵预测结果 贝叶斯预测结果”的特征表示形式再次送入到一个支持向量机分类器，对结果进行综合决策。在开发集上训练模型，在测试集上进行综合决策。

第九步、有监督方法和无监督方法结合策略。

针对客服对话言语之特点制定的语言规则可以作为统计模型的有效补充。特别是长对话的后半部用户的情绪对结果起决定性作用，而用户使用的礼貌用语如“多谢多谢”，是用户情绪的直接体现，对系统的判断起着很重要的作用。将每条语言规则量化成二值特征，并赋予权值，在训练集上形成简单的线性评估模型，在开发集上对统计模型的预测结果进行修订。此方法能有效吸收有监督方法和无监督方法的优势。

在本发明实施例中，将有监督方法和无监督方法有效结合在一起。以统计模型预测结果为基线，针对口语对话之特点指定语言规则对统计模型结果进行后处理，达到了提高预测准确率。

图3-4为以TF-IDF作为统计特征的支持向量机模型得到的PR曲线的基线。

传统用于预测客服中心客户满意度的模型一般使用1：1正负例进行训练，训练特征使用文本对话分词后的词的TF-IDF作为统计特征。

本方法以SVM算法为例，建立基线系统作为对比。另外衡量算法的性能可根据精确率召回率（Precision Recall，PR）曲线确定，PR曲线由精确率（Precision，P）和召回率（Recall，R）构成，且P和R的调和平均数

。F1值最高的点代表性能最好。

在使用本发明提出的自动情感词、时长等特征和传统的特征融合在一起以后，再利用多模型寻优比例组合，最后使用SVM融合三个模型得到的PR曲线如图3-5中的351所示，352代表新特征送入SVM单模型得到的PR曲线。由此可见本发明明显提高了精确度。

在本发明实施例中，针对呼叫中心的客服对话之特点，定制情感检测系统，并将此得出的情绪结果作为线索用于用户满意度自动分析。其中系统采用了多信息融合技术，形成多层次的分析结果的融合，预测的结果更能反映用户的满意度。

基于多角度的信息融合，将多个模块有效地集成并协调地运行在一个预测系统中，而不是某个单一的模块实现。包括情感词典的融合即人工情感词典和基于大规模语料库自动扩充的情感词典的串联；特征的融合即将人工情感词、自动情感词与词N-gram特征、否定词、停用词，对话长度等特征结合；多个模型的预测结果的有效结合；有监督的统计方法和无监督的语言规则方法互补集成。多层次的模型融合的方法弥补各层模型结果的缺陷，最大限度准确预测用户满意度。实验结果显示每一个模块都对综合系统的性能做出了一定的贡献。这样的预测结果更加全面地反映了情感检测的目的，即更准确地反映了用户的满意度体验。

实施例四

本发明实施例提供一种基于语言层的用户满意度分析装置，图4为本发明实施例四基于语言层的用户满意度分析装置的组成结构示意图，如图4所示，所述装置400包括：第一确定模块401、第二确定模块402、第一输入模块403、第三确定模块404、第二输入模块405、第四确定模块406、第三输入模块407、分析模块408、输出模块409，其中：

所述第一确定模块401，用于确定分类器集合中的每一第一分类器对应的训练数据；

所述第二确定模块402，用于根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；

这里，所述装置还包括：第五确定模块，用于确定所述训练数据中的否定词和否定对象；其中，所述否定对象为所述否定词之后的第一个动词；

第六确定模块，用于确定第一词典；其中，所述第一词典中包含人工挑选出的具有情感色彩的分词；

第七确定模块，用于将所述训练数据进行分词，将出现次数高于预设值的分词确定为第一分词；

第八确定模块，用于根据所述第一分词在所述第一数据中的第一互信息和所述第一分词在第二数据中的第二互信息，确定第二词典；

具体的，所述第八确定模块进一步包括：计算单元，用于分别计算所述每一第一分词在所述第一数据中的第一互信息和在所述第二数据中的第二互信息；第一排序单元，用于将所述每一第一分词的第一互信息与所述第二互信息之间的差值的绝对值从大到小进行排序，得到第一分词序列；第一确定单元，用于将所述第一分词序列的前N个分词确定为第二词典的分词，其中，N为预先设定的自然数；第二排序单元，用于将所述每一第一分词的第一互信息与所述第二互信息之间的差值的绝对值从小到大进行排序，得到第二分词序列；第二确定单元，用于将所述第二分词序列的后N个分词确定为第二词典的分词，其中，N为预先设定的自然数。

第一形成模块，用于根据所述否定词和所述否定对象构成的分词、所述第一词典的分词和所述第二词典的分词形成第二特征集；

第二形成模块，用于将所述第二特征集中的出现在语料库中的次数超过预设次数的分词形成第一特征集；其中，所述语料库至少包括训练数据与测试数据。

所述第一输入模块403，用于将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；

所述第三确定模块404，用于根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；

所述第二输入模块405，用于将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果。

所述第四确定模块406，用于根据每一所述第一分类器对应的所述预测结果确定第三特征向量；

所述第三输入模块407，用于将所述第三特征向量输入预先设定的第二分类器，得到输出结果；

所述分析模块408，用于将所述输出结果输入到预先建立的线性评估模型进行分析，确定测试数据的满意度分析结果；

这里，所述分析模块408进一步包括：输入单元，用于将所述输出结果输入到预先建立的线性评估模型，得到所述测试数据的得分；判断单元，用于判断所述得分是否大于预先设定的阈值；第一确定单元，用于如果所述得分大于预先设定的阈值，则确定所述测试数据的满意度分析结果为满意；第二确定单元，用于如果所述得分不大于所述阈值，则确定所述测试数据的满意度分析结果为不满意。

所述装置还包括：第九确定模块，用于确定用户输入的一个以上的语言规则和所述每一语言规则的权值；查询模块，用于根据所述语言规则查询所述训练数据，得到查询结果；建立模块，用于根据所述语言规则的权值和所述查询结果，建立线性评估模型。

所述输出模块409，用于输出所述测试数据的满意度分析结果。

这里需要指出的是：以上基于语言层的用户满意度分析装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明基于语言层的用户满意度分析装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于对话的用户满意度分析方法，其特征在于，所述方法包括：

确定分类器集合中的每一第一分类器对应的训练数据，所述分类器集合至少包括支持向量机分类器、最大熵分类或贝叶斯分类器；对应地，当所述第一分类器为支持向量机分类器时，训练数据中的第一数据与第二数据之比大于2.7:1而小于3.3:1；其中，所述第一数据为用户满意度标签为满意的数据，所述第二数据为用户满意度标签为不满意的数据；当所述第一分类器为最大熵分类器时，训练数据中的第一数据与第二数据之比大于1.7:1而小于2.3:1；当所述第一分类器为贝叶斯分类器时，训练数据中的第一数据与第二数据之比大于0.7:1而小于1.3:1；

根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；

将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；

根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；

将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果；

根据每一所述第一分类器对应的所述预测结果确定第三特征向量；

将所述第三特征向量输入预先设定的第二分类器，得到输出结果；

将所述输出结果输入到预先建立的线性评估模型进行分析，确定测试数据的满意度分析结果；

输出所述测试数据的满意度分析结果。

2.根据权利要求1中所述的方法，其特征在于，在所述根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量之前，所述方法还包括：

确定所述训练数据中的否定词和否定对象；其中，所述否定对象为所述否定词之后的第一个动词；

确定第一词典；其中，所述第一词典中包含人工挑选出的具有情感色彩的分词；

将所述训练数据进行分词，将出现次数高于预设值的分词确定为第一分词；

根据所述第一分词在所述第一数据中的第一互信息和所述第一分词在第二数据中的第二互信息，确定第二词典；

根据所述否定词和所述否定对象构成的分词、所述第一词典的分词和所述第二词典的分词形成第二特征集；

将所述第二特征集中的出现在语料库中的次数超过预设次数的分词形成第一特征集；其中，所述语料库至少包括训练数据与测试数据。

3.根据权利要求2中所述的方法，其特征在于，所述根据所述第一分词在所述第一数据中的第一互信息和所述第一分词在第二数据中的第二互信息，确定第二词典，包括：

分别计算所述每一第一分词在所述第一数据中的第一互信息和在所述第二数据中的第二互信息；

将所述每一第一分词的第一互信息与所述第二互信息之间的差值的绝对值从大到小进行排序，得到第一分词序列；

将所述第一分词序列的前N个分词确定为第二词典的分词，其中，N为预先设定的自然数。

4.根据权利要求3中所述的方法，其特征在于，所述方法还包括：

将所述每一第一分词的第一互信息与所述第二互信息之间的差值的绝对值从小到大进行排序，得到第二分词序列；

将所述第二分词序列的后N个分词确定为第二词典的分词，其中，N为预先设定的自然数。

5.根据权利要求1或2中所述的方法，其特征在于，在所述将所述输出结果输入到预先建立的线性评估模型进行分析，确定测试数据的满意度分析结果之前，所述方法还包括：

确定用户输入的一个以上的语言规则和所述每一语言规则的权值；

根据所述语言规则查询所述训练数据，得到查询结果；

根据所述语言规则的权值和所述查询结果，建立线性评估模型。

6.根据权利要求1或2中所述的方法，其特征在于，所述将所述输出结果输入到预先建立的线性评估模型进行分析，确定测试数据的满意度分析结果包括：

将所述输出结果输入到预先建立的线性评估模型，得到所述测试数据的得分；

判断所述得分是否大于预先设定的阈值；

如果所述得分大于预先设定的阈值，则确定所述测试数据的满意度分析结果为满意；

如果所述得分不大于所述阈值，则确定所述测试数据的满意度分析结果为不满意。

7.一种基于对话的用户满意度分析装置，其特征在于，所述装置包括：

第一确定模块，用于确定分类器集合中的每一第一分类器对应的训练数据，所述分类器集合至少包括支持向量机分类器、最大熵分类或贝叶斯分类器；对应地，当所述第一分类器为支持向量机分类器时，训练数据中的第一数据与第二数据之比大于2.7:1而小于3.3:1；其中，所述第一数据为用户满意度标签为满意的数据，所述第二数据为用户满意度标签为不满意的数据；当所述第一分类器为最大熵分类器时，训练数据中的第一数据与第二数据之比大于1.7:1而小于2.3:1；当所述第一分类器为贝叶斯分类器时，训练数据中的第一数据与第二数据之比大于0.7:1而小于1.3:1；

第二确定模块，用于根据每一训练数据和预先形成的第一特征集，确定所述每一训练数据的第一特征向量；

第一输入模块，用于将所述每一训练数据的第一特征向量输入对应的第一分类器，得到对应的分类模型；

第三确定模块，用于根据测试数据和所述第一特征集，确定所述测试数据的第二特征向量；

第二输入模块，用于将所述第二特征向量分别输入每一所述第一分类器对应的分类模型，得到每一所述第一分类器对应的预测结果；

第四确定模块，用于根据每一所述第一分类器对应的所述预测结果确定第三特征向量；

第三输入模块，用于将所述第三特征向量输入预先设定的第二分类器，得到输出结果；

分析模块，用于将所述输出结果输入到预先建立的线性评估模型进行分析，确定测试数据的满意度分析结果；

输出模块，用于输出所述测试数据的满意度分析结果。

Images