CN110287319A - 基于情感分析技术的学生评教文本分析方法 - Google Patents

Abstract

本发明公开了一种基于情感分析技术的学生评教文本分析方法，包括：1、对学生评教文本进行断句，得到多个短句；建立期望词集；2、建立评教语料集合，并对集合中的每条评教语料标注情感极性类别；评教语料集合和类别标注构成训练样本；采用构建的训练样本训练snowNLP分类器；3、对断句后的每一个短句进行情感极性分类，分为积极情感和消极情感两类；4、分别对分类为积极和消极的短句进行词性标注、去停用词处理、抽取观点词；将抽取出的观点词按照在原短句中出现的顺序排序，得到观点短句；5、对观点短句进行聚类，得到分析结果。该方法通过对学生评教文本进行分析处理，能够解决建议性意见语句分类错误的缺陷。

Description

基于情感分析技术的学生评教文本分析方法

技术领域

本发明属于自然语言处理技术中的情感分析技术，具体为应用情感分析技术对学生评教文本进行分析。

背景技术

情感分析(Sentiment Analysis)又称为意见挖掘，是文本挖掘和计算语言学的应用，是从文本中识别信息，对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程,包括情感极性分类、评论摘要生成、情感标签抽取、观点聚类等。

目前，国内外的学者就情感分析已经做出了大量的努力并取得了显著的成就，也已有不少研究工作将情感分析应用于学生评教文本中，如：

谭征等人采用基于潜在语义分析的方法对文本向量降维，并用支持向量机的分类方法对目标文本进行分类，得到每一条主观评价的情感倾向；分析了特征选择、特征抽取方法、降维维数、词性、训练集合与测试集合样本的比例等几方面对分类的影响，找到了较好的中文评教文本分类模型，但其不足在于对类似“讲课很有意思，不过需要加强课堂纪律的维持”的建议性意见语句没有进行特殊处理，而该类语句正是极性分类中最容易判断失误的类型；

范宇辰等人采用词典匹配法结合情感词库进行分析统计得出情感分值实现中文评教文本的分类；其不足来源于词典匹配法的局限性，即无法根据语意表达的丰富性做出应对，再加上词库的有限以及新奇词汇层出不穷使得分类精度不比机器学习；

罗玉萍等人采用基于词性的情感词抽取方法和基于表达式的情感分析方法并提出了基于阈值的自动摘要方法：利用语义分析技术对学生留言进行情感挖掘，建立基于知网的情感词库，并设置词的极性权重，以3GWS工具进行分词与词性标注，对留言的情感褒贬程度进行计算，形成教师的评价摘要；基于表达式的情感分析方法对于类似“这个老师太喜欢为难学生了”这类既包含正情感词又包含负情感词的语句容易判断失误，并且不是所有的语句中都包含情感词；

章彦星等人提出了基于特征的用户评论自动摘要方法，通过频繁项集挖掘算法抽取评论中的名词来形成商品特征并根据特征将评论分类，最后从中抽取句子形成摘要，但其忽略了评论中的隐形特征，并且在所有的名词中有很多并不属于商品特征，即杂质太多，这些都会导致评论分类错误以及损失率太大等问题。

发明内容

发明目的：本发明旨在提供一种基于情感分析技术的学生评教文本分析方法，该方法通过对学生评教文本进行分析处理，能够解决建议性意见语句分类错误的缺陷。

技术方案：本发明采用如下技术方案：

基于情感分析技术的学生评教文本分析方法，包括步骤：

(1)对学生评教文本进行断句，得到多个短句；建立期望词集；

(2)建立评教语料集合，并对集合中的每条评教语料标注情感极性类别，所述情感极性类别包括积极和消极两类；评教语料集合和类别标注构成训练样本；采用构建的训练样本训练snowNLP分类器；

(3)对断句后的每一个短句进行情感极性分类，分为积极情感和消极情感两类；所述情感极性分类包括步骤：

(3.1)对短句分词，找出情感词、程度副词以及否定词；检测分词后的结果是否包括期望词集中的词，如果包括，分类结果为消极；如果不包括期望词集中的词，检测是否获取到情感词；

(3.2)如果获取到情感词，根据情感词典，计算获取到的每个情感词的得分；如果获取到的所有情感词得分均大于0，分类结果为积极；

如果获取到的所有情感词得分均小于0，分类结果为消极；

(3.3)如果没有获取到情感词，或者获取到的情感词中既有得分大于0的词也有得分小于0的词，采用训练好的snowNLP分类器对待分类短句进行情感极性分类；

(4)分别对分类为积极和消极的短句进行词性标注、去停用词处理、抽取观点词；将抽取出的观点词按照在原短句中出现的顺序排序，得到观点短句；

(5)对观点短句进行聚类，得到分析结果。

所述情感词典包括知网中文情感词典和/或大连理工大学的中文情感词汇本体库。

所述步骤5中对观点短句进行聚类，包括步骤：

(5.1)每个观点短句作为单独的类别，遍历每一个观点短句，采用基于同义词词林的词语相似度算法计算任意两个观点短句的相似度；如果相似度为1，则所述两个观点短句合并为同一类；

(5.2)对步骤5.1类别合并后的每一类中随机选择一个观点短句，将选中的观点短句文本转化为n维词向量，计算任意两个词向量之间的杰卡德距离，构成二维矩阵；采用DBSCAN聚类算法对杰卡德距离小于邻域密度阈值的词向量归为一类，将词向量在步骤5.1中对应的类别合并，得到最终的聚类结果。

述步骤4中采用jieba分词进行词性标注。

抽取的观点词包括：名词、形容词、副动词、专有名词、形式动词、数词、时间词、名形词、地名、名词性惯用语、副词、状态词、副形词、名词性语素、

动词性惯用语、动词、习用语、名动词、形容词性语素、动词性语素、成语、方位词、人名、不及物动词、形容词性惯用语。

还包括对分析结果进行可视化显示，优选地，本发明采用词云图来进行可视化显示。

有益效果：与现有技术相比，本发明公开的基于情感分析技术的学生评教文本分析方法具有以下优点：1、采用基于情感词典和机器学习相结合的情感极性分类方法，解决了建议性意见语句分类错误的缺陷，提高了分类效果；2、在观点聚类中个，采用杰卡德距离结合基于同义词词林的词语相似度算法的聚类方法，提高了聚类的准确度。

附图说明

图1为本发明公开的基于情感分析技术的学生评教文本分析方法的流程图；

图2为本发明中情感极性分类的流程图；

图3为实施例中半径参数-轮廓系数关系曲线图；

图4为可视化显示的词云图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，本发明公开了一种基于情感分析技术的学生评教文本分析方法，包括步骤：

步骤1、对学生评教文本进行断句，得到多个短句；建立期望词集；

学生评教文本大部分为短句，并且逗号与逗号之间的句子较为独立，甚至前后出现了转折，同时表达清晰、直接，基本不存在复杂的句子。如某条评教文本为：

备课充分，讲解清晰，课堂秩序好，建议活跃课堂气氛，吸引更多学生的注意力。讲课很流利，备课充分，但PPT有改进空间，可以突出重点，语速可以慢些。态度认真，授课思路清晰，但启发性教学有待提高，与学生教学互动不够。精神饱满，课前准备充分，概念清楚，思路清晰，内容娴熟，重点突出，建议能进一步理论联系实际。讲课激情不够，不能吸引学生的注意力，对课程中内容分析深度不够，论述过于平铺直书。讲课很有特色，语言丰富流利，对课程内容熟悉，概念精准，重点突出。

因此将条评教文本按逗号和句号分隔开单独进行情感分析，保证了出现转折的句子也能被较好地分类，即按照逗号或句号进行断句，得到多个短句，后面的步骤对每个短句单独分析处理。

文本中包含大量建议性语句，如“希望活跃课堂气氛”等，不包含任何负面的词语却属于负情感倾向，因此容易判断失误，其中大部分包含“希望”“建议”“但”“加强”“尽量”等期望词语，因此建立包含期望词的期望词集以便后续对建议性语句进行单独处理，本发明中的期望词集中包含的词语有：建议，希望，但，有待，不足，今后，加强，进一步，应，如果，会更，如，更佳，再，未，要，增加，过于，加大，偏，无法，缺少，不要，欠缺，多增加，没，不突出，缺乏，减少，不够，差，不能，改进，一些，尽量，太，注意，没有，一点，不足之处。

步骤2、建立评教语料集合，并对集合中的每条评教语料标注情感极性类别，所述情感极性类别包括积极和消极两类；评教语料集合和类别标注构成训练样本；采用构建的训练样本训练snowNLP分类器；

本发明采集包含专家和同行评语，以及学生评语在内的大量语料，并对采集的语料人工标注情感极性类别，语料与类别标注构成训练样本，采用构建的训练样本训练snowNLP分类器，得到基于机器学习的情感极性类别分类器。本发明中，情感极性类别包括积极和消极两类。

步骤3、对断句后的每一个短句进行情感极性分类，分为积极情感和消极情感两类；如图2所示，所述情感极性分类包括步骤：

(3.1)对短句分词，找出情感词、程度副词以及否定词；检测分词后的结果是否包括期望词集中的词，如果包括，分类结果为消极；如果不包括期望词集中的词，检测是否获取到情感词；本发明中采用jieba分词来实现分词。

(3.2)如果获取到情感词，根据情感词典，计算获取到的每个情感词的得分；如果获取到的所有情感词得分均大于0，分类结果为积极；

本发明中情感词典包括知网中文情感词典和/或大连理工大学的中文情感词汇本体库；

如果获取到的所有情感词得分均小于0，分类结果为消极；

(3.3)如果没有获取到情感词，或者获取到的情感词中既有得分大于0的词也有得分小于0的词，采用训练好的snowNLP分类器对待分类短句进行情感极性分类；

分类结果如下所示：

积极positive:

讲课认真 讲课很细心 答疑时认真 关心学生 老师上课认真负责 讲的很清楚老师很仔细！语言简略 老师很负责 能有效维护课堂秩序 关注学生上课效率 老师非常耐心 细心 老师善良热情 课余时间关心同学 学习 老师讲课很认真 课设指导到位 教课有创新性 老师上课认真 能认真回答学生问题 老师给我们讲解知识很细致 思路清晰 老师真的很认真！老师很负责 老师上课认真 时刻关心学生 老师善良热情 讲课认真负责 资料详细 条理清晰 细致入微 对深奥的物理现象解释的通俗易懂 并且见解独到深入 学识渊博

消极negative:

讲的枯燥无味 没有生动性 加强与学生们的互动 可以与同学更多交流 建议下次分成小班 内容充实一点 有点无聊 课堂氛围不太活跃 尽量别拖堂就更好了 普通话不标准 与学生的交流不够 建议多点现实的展示 老师上课可以更幽默一些 希望课堂上说话能够标准一点 就是有拖堂和提前上课的问题 希望重点更突出一点 太啰嗦了 重点不突出 理论再多一点 上课可以更加有起伏一些 希望逻辑性更强一点

步骤4、分别对分类为积极和消极的短句进行词性标注、去停用词处理、抽取观点词；将抽取出的观点词按照在原短句中出现的顺序排序，得到观点短句；

本发明中采用jieba分词进行词性标注。

传统的基于词性的观点抽取方法中一般是抽取名词n、动词v和形容词a三类词性，名词、动词、形容词中又分成很多类，比如名词中又分成名词n，人名nr，汉语姓氏nr1，汉语名字nr2，地名ns，机构团体名nt，其它专名nz，名词性惯用语nl等，如果仅仅抽取名词n，则会发现有很多重要的词被遗漏；同时由于基于词性的观点抽取大多是词语的简单堆砌，在语法和语义上存在较大缺陷且容易造成文本主题的缺失和偏移，再加上词性标注本身也会出现错误，因此经过多轮的实验，最终确定了需要抽取的词性如表1所示。

表1抽取的观点词的词性

名词n	形容词a	副动词vd	其它专名nz	形式动词vx
					数词m	时间词t	名形词an	地名ns	名词性惯用语nl
副词d	状态词z	副形词ad	名词性语素ng	动词性惯用语vl
					动词v	习用语l	名动词vn	形容词性语素ag	动词性语素vg
成语i	方位词f	人名nr	不及物动词vi	形容词性惯用语al

对分类结果抽取的观点词，形成的观点短句如下所示：

积极positive:

讲课认真 讲课细心 答疑时认真 关心 上课认真负责 讲清楚 仔细 语言简略负责 有效维护课堂秩序 关注学生上课效率 耐心 细心 善良 热情 课余时间关心学习讲课认真 指导到位 教课创新性 上课认真 认真回答 讲解知识细致 思路清晰 认真 负责 上课认真 时刻关心 善良 热情 讲课认真负责 资料详细 条理清晰 细致入微 解释通俗易懂 见解独到深入 学识渊博

消极negative:

讲枯燥无味 没有生动性 加强互动 更多交流 内容充实一点 有点无聊 课堂氛围不太活跃 别拖堂更好 普通话不标准 交流不够 多点现实展示 更幽默一些 说话标准一点 拖堂提前上课 重点更突出一点 太啰嗦重点不突出 理论多一点 上课更加起伏一些逻辑性更强一点

步骤5、对观点短句进行聚类，得到分析结果；

观点抽取之后有很多表达相同观点甚至描述一模一样的语句，此时需要通过聚类的手段将相同的观点聚成一类以达到消重的目的，包括步骤：

(5.1)每个观点短句作为单独的类别，遍历每一个观点短句，采用基于同义词词林的词语相似度算法计算任意两个观点短句的相似度；如果相似度为1，则所述两个观点短句合并为同一类；

(5.2)对步骤5.1类别合并后的每一类中随机选择一个观点短句，将选中的观点短句文本转化为n维词向量，计算任意两个词向量之间的杰卡德距离，构成二维矩阵；

(5.3)确定DBSCAN聚类算法领域密度阈值和半径参数，采用DBSCAN聚类算法对步骤5.2得到的二维矩阵进行聚类，对杰卡德距离小于邻域密度阈值的词向量归为一类，将词向量在步骤5.1中对应的类别合并，得到最终的聚类结果。

因为聚类的目的是为了消除表达了相同观点的评论，本实施例中将领域密度阈值设为2。由于半径参数的确定无规律可循，而半径参数会影响到聚类结果。本实施设置多个半径参数的预选值，分别采用每一个预选值进行DBSCAN聚类，聚类结束后计算聚类结果的轮廓系数，将轮廓系数最大的聚类结果作为最终的聚类结果。

轮廓系数的计算式为：

其中，向量i属于簇C，a(i)＝mean(d(i,j)|i,j∈C,i≠j)，d(i,j)为向量i和j的距离，mean(·)为求平均值运算符；D(i,C′)为向量到簇C′中所有点的平均距离，

轮廓系数的值是介于[-1,1]，越趋近于1代表内聚度和分离度都相对较优。因此采用轮廓系数来评价聚类的结果，本实施例中，通过调整半径参数得到半径参数-轮廓系数关系曲线如图3，再从中选取使得轮廓系数最大的半径。

步骤6、还包括对分析结果进行可视化显示。采用词云图来进行可视化显示。

为了较直观地显示评教文本分析结果，本发明采用词云图的形式来对分析结果进行可视化显示。

所有学生对某位老师的评教文本进行分析后，将得到的所有观点短句进行聚类，将积极类别的观点短句和消极类别的观点短句分别显示在两个词云图上，如图4所示，其中图4-(a)积极观点短句的词云图，图4-(b)为消极观点短句的词云图。每个观点短句的大小由其所属的类中包含的观点短句数量决定，由此能够直观地显示出优点和不足，同时也能够反映出大部分学生的观点。

本实施例中，情感极性分类步骤对比了3中分类方法，包括SVM分类、SnowNLP分类以及本发明所采用的情感词典结合SnowNLP分类。在使用同样的正负训练集以及测试集的情况下，从精确度、准确度、召回率、f1四个指标对比三种分类方法的分类效果，如表2所示。

表2三种分类方法的分类效果对比

从表2中可以看出，本发明采用的分类方法相较于传统的单一方法在各个指标上均有较大幅度的提高，取得了较好的分类效果。

本发明中，对观点短句聚类采用了基于同义词词林的词语相似度算法与杰卡德距离相结合的文本距离计算方法。本实施例中，对比了文本距离的计算的3种方法，包括：word2vec结合余弦距离公式的计算方法、杰卡德距离、杰卡德距离结合基于同义词词林的词语相似度算法。

word2vec结合余弦距离公式：使用前面的训练集用于训练word2vec得到词向量模型，将词向量求平均得到文本的词向量，再利用余弦公式求得文本相似度，1-文本相似度即可得到文本距离；

杰卡德距离：利用one-hot Representation将文本转化成n维布尔向量，文本中的每个词是一个维度，出现词的位置为1，其余为0，向量的长度就是词的个数，结合杰卡德距离公式得到文本距离，即比较两个向量中的每个维度，用具有不同数字的维度占所有维度的比例来衡量两个文本的距离。；

杰卡德距离结合基于同义词词林的词语相似度算法：在计算杰卡德距离的基础上进一步结合基于同义词词林的词语相似度算法，当两个词的相似度为1时就认为这两个词为同一个词，在此基础上进行文本向量化。

对比结果如表3所示：

表3

从中可以看出，本系统采用的杰卡德距离结合基于同义词词林的词语相似度算法的文本距离计算方法相较于传统的方法有了更高的准确度。

Claims (7)

1.基于情感分析技术的学生评教文本分析方法，其特征在于，包括步骤：

(1)对学生评教文本进行断句，得到多个短句；建立期望词集；

(2)建立评教语料集合，并对集合中的每条评教语料标注情感极性类别，所述情感极性类别包括积极和消极两类；评教语料集合和类别标注构成训练样本；采用构建的训练样本训练snowNLP分类器；

(3)对断句后的每一个短句进行情感极性分类，分为积极情感和消极情感两类；所述情感极性分类包括步骤：

(3.1)对短句分词，找出情感词、程度副词以及否定词；检测分词后的结果是否包括期望词集中的词，如果包括，分类结果为消极；如果不包括期望词集中的词，检测是否获取到情感词；

(3.2)如果获取到情感词，根据情感词典，计算获取到的每个情感词的得分；如果获取到的所有情感词得分均大于0，分类结果为积极；

如果获取到的所有情感词得分均小于0，分类结果为消极；

(3.3)如果没有获取到情感词，或者获取到的情感词中既有得分大于0的词也有得分小于0的词，采用训练好的snowNLP分类器对待分类短句进行情感极性分类；

(4)分别对分类为积极和消极的短句进行词性标注、去停用词处理、抽取观点词；将抽取出的观点词按照在原短句中出现的顺序排序，得到观点短句；

(5)对观点短句进行聚类，得到分析结果。

2.根据权利要求1所述的基于情感分析技术的学生评教文本分析方法，其特征在于，所述情感词典包括知网中文情感词典和/或大连理工大学的中文情感词汇本体库。

3.根据权利要求1所述的基于情感分析技术的学生评教文本分析方法，其特征在于，所述步骤5中对观点短句进行聚类，包括步骤：

(5.1)每个观点短句作为单独的类别，遍历每一个观点短句，采用基于同义词词林的词语相似度算法计算任意两个观点短句的相似度；如果相似度为1，则所述两个观点短句合并为同一类；

(5.2)对步骤5.1类别合并后的每一类中随机选择一个观点短句，将选中的观点短句文本转化为n维词向量，计算任意两个词向量之间的杰卡德距离，构成二维矩阵；采用DBSCAN聚类算法对杰卡德距离小于邻域密度阈值的词向量归为一类，将词向量在步骤5.1中对应的类别合并，得到最终的聚类结果。

4.根据权利要求1所述的基于情感分析技术的学生评教文本分析方法，其特征在于，所述步骤4中采用jieba分词进行词性标注。

5.根据权利要求1所述的基于情感分析技术的学生评教文本分析方法，其特征在于，抽取的观点词包括：名词、形容词、副动词、专有名词、形式动词、数词、时间词、名形词、地名、名词性惯用语、副词、状态词、副形词、名词性语素、动词性惯用语、动词、习用语、名动词、形容词性语素、动词性语素、成语、方位词、人名、不及物动词、形容词性惯用语。

6.根据权利要求1所述的基于情感分析技术的学生评教文本分析方法，其特征在于，还包括对分析结果进行可视化显示。

7.根据权利要求6所述的基于情感分析技术的学生评教文本分析方法，其特征在于，采用词云图来进行可视化显示。