CN117407527A - 一种教育领域舆情大数据分类方法 - Google Patents

Abstract

本发明属于自然语言处理技术领域，具体涉及一种教育领域舆情大数据分类方法；包括：获取教育领域舆情文本并对其进行舆情类别和情感类别标注，得到教育领域舆情数据集；采用继续预训练的编码模型对教育领域舆情数据集进行编码，得到舆情文本向量；从舆情文本向量中提取舆情文本特征向量；对舆情文本特征向量和舆情文本向量进行处理，得到舆情类别第一概率矩阵和情感类别第一概率矩阵；构建提示模板和选择题模板并采用多任务学习得到舆情类别第二概率矩阵和情感类别第二概率矩阵；融合舆情类别第一概率矩阵和第二概率矩阵得到舆情分类结果，融合情感类别第一概率矩阵和第二概率矩阵得到情感分类结果；本发明可提高分类精确度，有助于舆情控制。

Description

一种教育领域舆情大数据分类方法

技术领域

本发明属于自然语言处理技术领域，具体涉及一种教育领域舆情大数据分类方法。

背景技术

随着社交媒体的兴起，人们可以自由地在媒体上传播自己的思想和对事务的看法。教育是国之根本，教育领域一直是人们关注的重点，教育事件也通常会引起人们的广泛讨论和传播。师生作为教育领域中的主要载体，在社交媒体上非常的活跃，和互联网有着较强的粘性，这导致教育领域舆情有传播速度快、影响人员多、影响范围广等特点。学校和相关部门作为教育领域的主要责任人，应该积极掌握和教育领域相关的言论情感倾向，对可能出现的舆情事件做出干预和预案以便及时控制舆情的发展，有利于学校氛围的和谐和稳定以及利民政策的良好发展。

现有的舆情分类方法中，存在着标注成本大、标注耗时多的缺点，并且没有考虑到社交媒体上文本数据本身的特点，造成分类精度差、效率低等问题。

发明内容

针对现有技术存在的不足，本发明提出了一种教育领域舆情大数据分类方法，该方法包括：

S1：获取教育领域的舆情文本并对其进行舆情类别标注和情感类别标注，得到教育领域舆情数据集；

S2：采用继续预训练的编码模型对教育领域舆情数据集进行编码，得到舆情文本向量；编码模型继续预训练过程中集成了绝对旋转位置编码方式的注意力机制；

S3：采用首尾重要性循环神经网络从舆情文本向量中提取舆情文本特征向量；舆情文本特征向量包括尾部侧重特征和首部侧重特征；

S4：融合舆情文本特征向量和舆情文本向量，得到最终特征向量；采用两个不同的分类器对最终特征向量进行处理，得到舆情类别第一概率矩阵和情感类别第一概率矩阵；

S5：根据教育领域的舆情文本构建提示模板和选择题模板；根据提示模板和选择题模板，采用多任务学习得到舆情类别第二概率矩阵和情感类别第二概率矩阵；

S6：融合舆情类别第一概率矩阵和第二概率矩阵得到舆情分类结果，融合情感类别第一概率矩阵和第二概率矩阵得到情感分类结果。

优选的，进行教育领域舆情类别标注时，标注类别包括教育政策、教育考核、教育资源、教务管理、师德师风、教学质量、学术研究、校园安全、校园文化和高校就业10个类别；进行情感类别标注时，标注类别包括不满、反对、愤怒、担忧、满意、支持、喜欢和认可8个类别。

优选的，所述绝对旋转位置编码方式的注意力机制表示为：

其中，self-attenrion_mn表示位置m的token和位置n的token的注意力分数，softmax表示softmax归一化函数；ω表示注意力超参数，q_m表示第m个token对应的词向量集成绝对旋转位置信息之后的query向量，k_n表示第n个token对应的词向量集成绝对旋转位置信息之后的key向量，v_n表示第n个token对应的词向量集成绝对位置信息之后的value向量，d_k表示key向量的维度。

进一步的，向量q_m、k_n和v_n的计算公式分别为：

q_m＝W_q(x_m+sin(m/10000^i/d))e^imθ

k_n＝W_k(x_n+cos(n/10000^i/d))e^inθ

v_n＝W_v(x_n+cos(n/10000^i/d))

其中，W_q，W_k，W_v分别表示随机初始化的第一、第二、第三线性变换矩阵，x_m、x_n分别表示文本序列第m、n个位置上的token对应的词向量，i表示token向量维度上的第i个位置，θ表示辐角主值，d表示词嵌入的维度。

优选的，提取舆情文本特征向量的过程包括：

S31：将舆情文本向量按照原始顺序送入首尾重要性循环神经网络中得到尾部侧重特征ch_order；

S32：将舆情文本向量按照原始顺序的逆顺序送入首尾重要性循环神经网络中得到首部侧重特征ch_reverse。

优选的，所述首尾重要性循环神经网络表示为：

o_t＝relu(V*s_t)

其中，s_t表示隐藏层第t步的状态，tanh表示tanh激活函数，U表示输入层连接矩阵，x_t表示第t步的输入向量，W表示权重矩阵，s_t-1表示上一时刻隐藏层的状态，表示包含x_t的词的数量，n_word表示文档中词的数量，sum_text表示文档的总数，/>表示包含x_t的文档的总数，o_t表示第t步的输出，relu表示relu激活函数，V表示输出层的连接矩阵。

优选的，融合舆情文本特征向量和舆情文本向量的过程包括：

拼接舆情文本向量、尾部侧重特征和首部侧重特征；得到全面特征向量；

采用线性层对全面特征向量进行降维处理，得到最终特征向量。

优选的，所述分类器由线性层、激活层和softmax层组成。

优选的，多任务学习的损失函数为：

其中，loss表示训练总损失，表示第一遮蔽位置的类别数量，y_m表示当前样本真实标签是否为m，p_m表示当前样本属于m的预测概率，/>表示第二遮蔽位置的类别数量，y_n表示当前样本真实标签是否为n，p_n表示当前样本属于n的预测概率，ω′表示权重系数，n_choice表示选择题任务的类别数目，α_t表示多任务学习超参数列表，h表示当前样本真实类别的one-hot向量，p_t表示输出概率分布，γ表示多任务学习超参数。

本发明的有益效果为：

1.在公开数据集上继续预训练编码模型，可以在保证分类效果的同时减少新数据的标注成本；

2.提出的绝对旋转位置编码方式，结合了绝对位置编码和旋转位置编码的优点，在文本嵌入的时候可以携带更多有用的位置信息；

3.提出的首尾重要性循环神经网络，考虑到了互联网上文本存在的前后文本携带信息量更多的特点，提高特征向量中携带的有效信息，提高分类精确度；

4.采用加权的损失函数同时完成提示学习和选择题学习，更加全面的利用标注数据，提升分类的精确度。

附图说明

图1为本发明中教育领域舆情大数据分类方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种教育领域舆情大数据分类方法，如图1所示，所述方法包括以下内容：

S1：获取教育领域的舆情文本并对其进行舆情类别标注和情感类别标注，得到教育领域舆情数据集。

获取教育领域的舆情文本，可从各大主流社交媒体平台搜集与教育领域相关的舆情文本，舆情文本包括文章的标题、表情符号、关键字、涉及到的所有的评论等；对教育领域的舆情文本进行舆情类别标注和情感类别标注。

优选的，进行教育领域舆情类别标注时，标注类别包括教育政策、教育考核、教育资源、教务管理、师德师风、教学质量、学术研究、校园安全、校园文化、高校就业10个类别。进行情感类别标注时，标注类别包括不满、反对、愤怒、担忧、满意、支持、喜欢、认可8个类别。

S2：采用继续预训练的编码模型对教育领域舆情数据集进行编码，得到舆情文本向量；编码模型继续预训练过程中集成了绝对旋转位置编码方式的注意力机制。

使用预训练编码模型的权重初始化编码模型参数，编码模型继续预训练过程中集成了绝对旋转位置编码方式的注意力机制，其在weibo数据集上完成继续预训练得到编码模型M，使用M对教育领域舆情数据集进行编码得到相应的舆情文本向量；

本发明预训练任务使用mac-bert(修改了MLM任务的基于Transformers的双向编码表示模型)的随机掩码预训练任务(MLM，Masked Language Modeling，随机遮蔽语言建模)。weibo数据集是公开情感分类数据集，包含10w条新浪微博正负向的评论，采用weibo数据集对编码模型进行继续预训练。

绝对旋转位置编码方式的注意力机制表示为：

其中，self-attention_mn表示位置m的token和位置n的token的注意力分数，m，n表示文本序列中的第m个和第n个token的位置；softmax表示softmax归一化函数；ω表示注意力超参数，q_m表示第m个token对应的词向量集成绝对旋转位置信息之后的query向量，k_n表示第n个token对应的词向量集成绝对旋转位置信息之后的key向量，v_n表示第n个token对应的词向量集成绝对位置信息之后的value向量，d_k表示key向量的维度。

优选的，绝对旋转位置编码方式的注意力机制中，向量q_m、k_n和v_n的计算公式分别为：

q_m＝W_q(x_m+sin(m/10000^i/d))e^imθ

k_n＝W_k(x_n+cos(n/10000^i/d))e^inθ

v_n＝W_v(x_n+cos(n/10000^i/d))

其中，W_q，W_k，W_v分别表示随机初始化的第一、第二、第三线性变换矩阵，x_m、x_n分别表示文本序列第m、n个位置上的token对应的词向量，i表示token向量维度上的第i个位置，θ表示辐角主值，d表示词嵌入的维度。

通过预训练的基于绝对旋转位置编码注意力机制的编码模型对教育领域舆情数据集进行编码，得到舆情文本向量。

S3：采用首尾重要性循环神经网络从舆情文本向量中提取舆情文本特征向量；舆情文本特征向量包括尾部侧重特征和首部侧重特征。

首尾重要性循环神经网络表示为：

o_t＝relu(V*s_t)

其中，s_t表示隐藏层第t步的状态，tanh表示tanh激活函数，U表示输入层连接矩阵，x_t表示第t步的输入向量，W表示权重矩阵，s_t-1表示上一时刻隐藏层的状态，表示包含x_t的词的数量，n_word表示文档中词的数量，sum_text表示文档的总数，/>表示包含x_t的文档的总数，o_t表示第t步的输出，relu表示relu激活函数，V表示输出层的连接矩阵。

提取舆情文本特征向量的过程包括：

S31：将舆情文本向量按照原始顺序送入首尾重要性循环神经网络中得到尾部侧重特征ch_order；

S32：将舆情文本向量按照原始顺序的逆顺序送入首尾重要性循环神经网络中得到首部侧重特征ch_reverse。

S4：融合舆情文本特征向量和舆情文本向量，得到最终特征向量；采用两个不同的分类器对最终特征向量进行处理，得到舆情类别第一概率矩阵和情感类别第一概率矩阵。

融合舆情文本特征向量和舆情文本向量的过程包括：

拼接舆情文本向量、尾部侧重特征ch_order和首部侧重特征ch_reverse；得到全面特征向量；

采用线性层对全面特征向量进行降维处理，得到最终特征向量。

采用两个不同的分类器对最终特征向量进行处理，得到舆情类别第一概率矩阵和情感类别第一概率矩阵。其中，两个分类器结构相似，均由线性层、激活层和softmax层组成，但它们具有不同的线性层参数，以适应舆情分类和情感分类两个分类任务。

S5：根据教育领域的舆情文本构建提示模板和选择题模板；根据提示模板和选择题模板，采用多任务学习得到舆情类别第二概率矩阵和情感类别第二概率矩阵。

构建提示模板和选择题模板的过程包括：

S51：对当前文本构造提示学习模板为：[这属于[MASK₁]事件][当前文本][情感倾向是[MASK₂]]；

S52：对当前文本构造选择题模板为：[当前文本][描述的是教育相关的哪方面的事件？作者的态度是？]；

S53：假设当前的舆情类别有[c_1,c₂,c₃,……],情感类别有[b_1,b₂,b₃,……]，则选择题目答案构成为[[c₁,b_1,],[c_1,b₂],[c_1,b₃],……]。

采用多任务学习得到舆情类别第二概率矩阵和情感类别第二概率矩阵的过程包括：

使用预训练模型BERT-base(Bidirectional Encoder Representation fromTransformers)初始化模型；根据提示学习模板和选择题模板，使用多任务损失函数对两个任务同时进行训练，两个任务共享一套模型参数；

舆情类别第二概率矩阵表示为：

其中，p_x表示MASK₁被识别为x的概率，choice表示选择题选项集合，s表示选择题预测的概率矩阵，i表示选择题的第一个选项结果，j表示选择题的第二个选项结果，s_[i,j]表示选择题预测的第一个选项为i，第二个选项为j的概率。

情感类别第二概率矩阵表示为：

其中，e_x表示MASK₂被识别为x的概率。

多任务学习的训练过程中，其损失函数为：

其中，loss表示训练总损失，表示第一遮蔽位置的类别数量，y_m表示当前样本真实标签是否为m，p_m表示当前样本属于m的预测概率，/>表示第二遮蔽位置的类别数量，y_n表示当前样本真实标签是否为n，p_n表示当前样本属于n的预测概率，ω′表示权重系数，n_choice表示选择题任务的类别数目，α_t表示多任务学习超参数列表，h表示当前样本真实类别的one-hot向量，p_t表示输出概率分布，γ表示多任务学习超参数。

S6：融合舆情类别第一概率矩阵和第二概率矩阵得到舆情分类结果，融合情感类别第一概率矩阵和第二概率矩阵得到情感分类结果。

融合舆情类别第一概率矩阵和舆情类别第二概率矩阵，得到教育领域舆情文本的舆情分类结果，融合情感类别第一概率矩阵和情感类别第二概率矩阵，得到教育领域舆情文本的情感分类结果。优选的，融合的方式可为线性加权。

综上所述，本发明在公开数据集上完成编码模型的继续预训练，科学有效地将社交媒体的信息融进预训练模型中，减小了微调需要的数据集的量级，节省了许多标注时间和成本。提出了绝对旋转位置编码，融合了绝对位置和相对位置，可以让文本嵌入时携带的位置信息更加的精确，强化了模型对文本的表达能力。利用首尾重要性循环神经网络，让提取特征时更加的注意首部和尾部的关键信息，十分适用于社交媒体上的文本分类。联合提示学习和选择题学习，在有限的微调样本中发掘更多的文本信息，提高分类的精确度。

本发明通过对教育领域舆情文本的准确分类，可以在标注数据少的情况下完成精确的教育领域舆情文本分类，有利于学校和相关部门提前掌握舆情发展情况，及时作出响应，有利于管理教育领域的意识形态也有利于政策的良好发展，可为大众建设更加和谐美好的线上环境。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种教育领域舆情大数据分类方法，其特征在于，包括：

S1：获取教育领域的舆情文本并对其进行舆情类别标注和情感类别标注，得到教育领域舆情数据集；

S2：采用继续预训练的编码模型对教育领域舆情数据集进行编码，得到舆情文本向量；编码模型继续预训练过程中集成了绝对旋转位置编码方式的注意力机制；

S3：采用首尾重要性循环神经网络从舆情文本向量中提取舆情文本特征向量；舆情文本特征向量包括尾部侧重特征和首部侧重特征；

S4：融合舆情文本特征向量和舆情文本向量，得到最终特征向量；采用两个不同的分类器对最终特征向量进行处理，得到舆情类别第一概率矩阵和情感类别第一概率矩阵；

S5：根据教育领域的舆情文本构建提示模板和选择题模板；根据提示模板和选择题模板，采用多任务学习得到舆情类别第二概率矩阵和情感类别第二概率矩阵；

S6：融合舆情类别第一概率矩阵和第二概率矩阵得到舆情分类结果，融合情感类别第一概率矩阵和第二概率矩阵得到情感分类结果。

2.根据权利要求1所述的一种教育领域舆情大数据分类方法，其特征在于，进行教育领域舆情类别标注时，标注类别包括教育政策、教育考核、教育资源、教务管理、师德师风、教学质量、学术研究、校园安全、校园文化和高校就业10个类别；进行情感类别标注时，标注类别包括不满、反对、愤怒、担忧、满意、支持、喜欢和认可8个类别。

3.根据权利要求1所述的一种教育领域舆情大数据分类方法，其特征在于，所述绝对旋转位置编码方式的注意力机制表示为：

其中，self-attention_mn表示位置m的token和位置n的token的注意力分数，softmax表示softmax归一化函数；ω表示注意力超参数，q_m表示第m个token对应的词向量集成绝对旋转位置信息之后的query向量，k_n表示第n个token对应的词向量集成绝对旋转位置信息之后的key向量，v_n表示第n个token对应的词向量集成绝对位置信息之后的value向量，d_k表示key向量的维度。

4.根据权利要求3所述的一种教育领域舆情大数据分类方法，其特征在于，向量q_m、k_n和v_n的计算公式分别为：

q_m＝W_q(x_m+sin(m/10000^i/d))e^imθ

k_n＝W_k(x_n+cos(n/10000^i/d))e^inθ

v_n＝W_v(x_n+cos(n/10000^i/d))

其中，W_q，W_k，W_v分别表示随机初始化的第一、第二、第三线性变换矩阵，x_m、x_n分别表示文本序列第m、n个位置上的token对应的词向量，i表示token向量维度上的第i个位置，θ表示辐角主值，d表示词嵌入的维度。

5.根据权利要求1所述的一种教育领域舆情大数据分类方法，其特征在于，提取舆情文本特征向量的过程包括：

S31：将舆情文本向量按照原始顺序送入首尾重要性循环神经网络中得到尾部侧重特征ch_order；

S32：将舆情文本向量按照原始顺序的逆顺序送入首尾重要性循环神经网络中得到首部侧重特征ch_reverse。

6.根据权利要求1所述的一种教育领域舆情大数据分类方法，其特征在于，所述首尾重要性循环神经网络表示为：

o_t＝relu(V*s_t)

其中，s_t表示隐藏层第t步的状态，tanh表示tanh激活函数，U表示输入层连接矩阵，x_t表示第t步的输入向量，W表示权重矩阵，s_t-1表示上一时刻隐藏层的状态，表示包含x_t的词的数量，n_word表示文档中词的数量，sum_text表示文档的总数，/>表示包含x_t的文档的总数，o_t表示第t步的输出，relu表示relu激活函数，V表示输出层的连接矩阵。

7.根据权利要求1所述的一种教育领域舆情大数据分类方法，其特征在于，融合舆情文本特征向量和舆情文本向量的过程包括：

拼接舆情文本向量、尾部侧重特征和首部侧重特征；得到全面特征向量；

采用线性层对全面特征向量进行降维处理，得到最终特征向量。

8.根据权利要求1所述的一种教育领域舆情大数据分类方法，其特征在于，所述分类器由线性层、激活层和softmax层组成。

9.根据权利要求1所述的一种教育领域舆情大数据分类方法，其特征在于，多任务学习的损失函数为：

其中，loss表示训练总损失，表示第一遮蔽位置的类别数量，y_m表示当前样本真实标签是否为m，p_m表示当前样本属于m的预测概率，/>表示第二遮蔽位置的类别数量，y_n表示当前样本真实标签是否为n，p_n表示当前样本属于n的预测概率，ω′表示权重系数，n_choice表示选择题任务的类别数目，α_t表示多任务学习超参数列表，h表示当前样本真实类别的one-hot向量，p_t表示输出概率分布，γ表示多任务学习超参数。