CN115080731A - 评语语段生成方法、装置、电子设备和存储介质 - Google Patents
评语语段生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115080731A CN115080731A CN202110280828.7A CN202110280828A CN115080731A CN 115080731 A CN115080731 A CN 115080731A CN 202110280828 A CN202110280828 A CN 202110280828A CN 115080731 A CN115080731 A CN 115080731A
- Authority
- CN
- China
- Prior art keywords
- comment
- vector
- item
- probability
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000012634 fragment Substances 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 250
- 239000011159 matrix material Substances 0.000 claims description 56
- 238000005070 sampling Methods 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 29
- 230000005764 inhibitory process Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000009827 uniform distribution Methods 0.000 claims description 7
- 230000000873 masking effect Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 abstract description 6
- 230000007704 transition Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请涉及一种评语语段生成方法、装置、电子设备和存储介质。所述方法包括：获取点评项；所述点评项包含文本信息；通过对所述文本信息进行分类，得到所述点评项对应的点评类别；根据所述点评类别对所述点评项进行排序，得到点评项序列；通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。采用本方法能够将若干无序的点评项按点评类别进行排序，直接通过语段生成模型，自动生成一段逻辑通顺的评语语段，无需人工添加句子之间的过渡词，提高了评语语段的生成效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种评语语段生成方法、装置、电子设备和存储介质。
背景技术
评语是点评人根据点评对象在一段时间内的表现而撰写的评价，随着计算机技术的发展，根据点评项自动生成评语，能够减少点评人评语编辑的工作量，例如，当老师对学生的学习情况进行点评时，只需输入点评项“作业认真完成”，就可以自动生成逻辑通顺的评语句子“每次作业都能够认真完成”。
点评项的输入通常是无序的，目前的评语生成方法是先对若干无序的点评项进行分类，然后将各个类别的点评项分别输入评语生成模型，生成相应的评语句子，再将各个评语句子合并成一段评语语段，通过上述方法生成的评语语段通常存在句子之间语义不连贯的问题，对于该问题，现有的解决办法是通过人工方式在句子之间添加过渡词。
然而，通过人工方式在评语句子之间添加过渡词，需要耗费较多的人力成本，而且评语语段的生成效率较低。
因此，目前评语语段生成方法存在生成效率较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种评语语段生成方法、装置、电子设备和存储介质。
第一方面，提供了一种评语语段生成方法，所述方法包括：
获取点评项；所述点评项包含文本信息；
通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
根据所述点评类别对所述点评项进行排序，得到点评项序列；
通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
在另一个实施例中，所述通过对所述文本信息进行分类，得到所述点评项对应的点评类别，包括：
将所述点评项输入文本分类器，得到所述点评项的概率向量；所述概率向量用于表征所述点评项属于各个所述点评类别的概率；
将所述概率向量转换为独热向量；所述独热向量用于表征所述点评项对应的点评类别。
在另一个实施例中，所述将所述概率向量转换为独热向量，包括：
根据概率向量维度对所述概率向量进行采样，得到采样向量；所述采样向量中的各个元素服从均匀分布；
根据预设的映射关系，通过所述采样向量确定概率向量噪声；
将所述概率向量与所述概率向量噪声相加，得到概率噪声向量；
对所述概率噪声向量进行归一化，得到归一化概率噪声向量；
通过对向量差值进行反向传播抑制，并叠加所述归一化概率噪声向量，得到所述独热向量；所述向量差值为所述归一化概率噪声向量的采样值与所述归一化概率噪声向量的差值。
在另一个实施例中，所述根据所述点评类别对所述点评项进行排序，得到点评项序列，包括：
获取点评项向量和所述点评项对应的独热向量；所述点评项向量为所述点评项的向量表示；
根据所述点评项向量生成点评项矩阵，以及，根据所述独热向量生成独热矩阵；
通过对所述点评项矩阵和所述独热矩阵进行矩阵运算，得到点评项三维张量；
通过对所述点评项三维张量进行维度交换，得到交换后三维张量；
通过对所述交换后三维张量中的两个维度进行拼接，得到拼接后二维矩阵；
通过去除所述拼接后二维矩阵中的零向量，得到所述点评项序列。
在另一个实施例中，所述方法还包括：
获取点评项序列样本和所述点评项序列样本对应的评语语段；
对所述点评项序列样本对应的评语语段进行掩码，得到掩码后评语语段；
根据所述点评项序列样本和所述掩码后评语语段，对待训练的语段生成模型进行训练；
当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型。
在另一个实施例中，所述当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型，包括：
获取文本分类器损失，以及，获取语段生成模型损失；
通过对所述文本分类器损失和所述语段生成模型损失进行加权求和，得到评语语段生成损失；
当所述评语语段生成损失符合预设的损失条件时，将所述训练后的语段生成模型作为所述预训练的语段生成模型。
在另一个实施例中，所述获取文本分类器损失，包括：
获取点评项样本和所述点评项样本对应的点评类别；
通过将所述点评项样本输入所述文本分类器，得到所述点评项样本属于各个点评类别的概率；
根据所述点评项样本属于各个点评类别的概率和所述点评类别，得到所述文本分类器损失。
第二方面，提供了一种评语语段生成装置，所述装置包括：
获取模块，用于获取点评项；所述点评项包含文本信息；
分类模块，用于通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
排序模块，用于根据所述点评类别对所述点评项进行排序，得到点评项序列；
评语语段生成模块，用于通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
第三方面，提供了一种电子设备，包括：存储器、一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如下操作：
获取点评项；所述点评项包含文本信息；
通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
根据所述点评类别对所述点评项进行排序，得到点评项序列；
通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取点评项；所述点评项包含文本信息；
通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
根据所述点评类别对所述点评项进行排序，得到点评项序列；
通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
上述评语语段生成方法、装置、电子设备和存储介质，通过获取点评项，对文本信息进行分类得到点评项对应的点评类别，根据点评类别对点评项进行排序得到点评项序列，通过预训练的语段生成模型对点评项序列进行预测，生成点评项对应的评语语段，可以将若干无序的点评项按点评类别进行排序，直接输入语段生成模型，自动生成一段逻辑通顺的评语语段，无需人工添加句子之间的过渡词，提高了评语语段生成的效率。
而且，本申请实施例的语段生成模型直接对点评项序列进行预测，无需将各个类别的点评项分别输入评语生成模型生成相应的评语句子，也无需对评语句子进行合并，降低了评语语段生成的复杂度。
附图说明
图1是本申请实施例一提供的一种评语语段生成方法的流程图；
图2是一个对点评项进行分类的示意图；
图3是一个对点评项进行排序的示意图；
图4是本申请实施例二提供的一种评语语段生成方法的流程图；
图5是一个端到端的评语生成网络的示意图；
图6是本申请实施例三提供的一种评语语段生成装置的结构示意图；
图7是本申请实施例四提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的评语语段生成方法，可以应用于终端或服务器。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
实施例一
图1是本申请实施例一提供的一种评语语段生成方法的流程图。具体的，参考图1，本申请实施例一的评语语段生成方法，具体包括：
步骤S110，获取点评项；所述点评项包含文本信息。
其中，点评项可以为点评人输入的评语关键词。文本信息可以为评语关键词的文字内容。
具体实现中，点评人可以根据点评对象在一段时间内的表现手动输入至少一个评语关键词作为点评项，也可以从预设的评语关键词集合中选取至少一个评语关键词作为点评项，还可以采用手动输入和从集合中选取相结合的方式，例如，点评人在从评语关键词集合中选取至少一个评语关键词后，若认为集合中的现有关键词无法对点评对象进行充分点评，可以再手动输入若干评语关键词。
需要说明的是，可以设计一个端到端的评语生成网络，评语生成网络可以自动依次实现点评项的获取、分类、排序和评语语段生成，用户只需输入学生的所有点评项，评语生成网络就可以自动生成一段逻辑通顺的评语语段，具备较高的评语语段生成效率。而且，点评项的获取、分类、排序和评语语段生成各阶段可以相互作用，促使生成更好的评语语段。
步骤S120，通过对所述文本信息进行分类，得到所述点评项对应的点评类别。
其中，点评类别可以为分类后，点评项所属的类别。
具体实现中，可以将至少一个点评项输入文本分类器，文本分类器可以根据文本信息对点评项进行分类，确定点评项所属的点评类别。
其中，文本分类器可以通过对textcnn(Text-Convolutional Neural Networks，基于卷积神经网络的文本分类模型)、textrnn(Text-Recurrent Neural Networks，基于递归神经网络的文本分类模型)或BERT(Bidirectional Encoder Representations fromTransformers，双向编码器表征)模型进行训练得到。
优选地，可以采用textcnn模型，以使文本分类器具备较高的分类效率。
需要说明的是，可以用任意神经网络相关的分类模型来替代textcnn模型。
实际应用中，可以预先设置若干点评类别，在将点评项输入文本分类器后，可以得到点评项对应的概率向量，概率向量中的各个元素表征点评项属于各个点评类别的概率，将概率向量转换为one hot向量(独热向量)，可以根据one hot向量确定点评项所述的点评类别。
例如，可以预先设置3个点评类别“学业水平”、“思想品德”、“综合素养”，分别对应one hot向量[1,0,0]T、[0,1,0]T、[0,0,1]T。在获取到点评项“注意力集中”后，将其输入文本分类器，可以得到“注意力集中”对应的概率向量为[0.7,0.1,0.2]T，表示该点评项属于“学业水平”的概率为0.7，属于“思想品德”的概率为0.1，属于“综合素养”的概率为0.2，通过在3个概率值中选取最大值，将最大值对应的向量元素确定为1，其他向量元素确定为0，可以将概率向量转换为one hot向量[1,0,0]T，即“注意力集中”属于“学业水平”。
需要说明的是，在将概率向量转换为one hot向量的过程中，需要对概率向量进行采样操作，采样过程不可微，从而导致难以确定一个具体公式来生成one hot向量，进而无法生成一个端到端的评语生成网络来自动生成评语语段。为了解决该问题，本申请采用Gumbel Softmax方法，将采样过程剥离计算图，使评语生成网络的分类过程可微。
Gumbel Softmax方法可以具体包括：
1、设通过文本分类器得到m维概率向量V，使用均值为0，方差为1的均匀分布对V进行采样，得到α＝[α1,…,αm]；
2、通过G＝-log(-logα)计算得到G；
3、将概率向量V和采样处理后的向量G相加得到新的向量
其中，
4、通过softmax函数得到采样概率值
公式可以为
其中，i＝1,…,m，τ为调节因子，τ越大，生成的分布越平滑，τ越小，生成的分布越接近离散的one hot分布。
为了使最终得到的one hot向量可以用来表示类别，可以对
按最大概率采样得到采样值
用采样值
与
做差值得到向量差值，使用z()函数抑制向量差值的反向传播，并叠加可反向传播的
得到one hot向量y，公式可以为
其中，
为将
按最大概率采样得到的one hot向量，即采样值，z()函数表示对该部分网络参数不进行梯度更新，具体的，z()函数可以采用pytorch中的detach()函数。通过进行反向传播抑制，可以使评语生成网络中参数
不变，只对参数
进行调整，从而确保下一步使用的结果为one hot向量
而反向传播时仍对
进行求导。
图2是一个对点评项进行分类的示意图。如图所示，存在3个点评类别“学业水平”、“思想品德”、“综合素养”，将点评项“注意力集中”、“眼操认真”、“小小书法家”、“学习认真”、“遵守纪律”输入文本分类器，文本分类器可以根据点评项的文本信息进行分类，得到各个点评项的点评类别分别为“学业水平”、“思想品德”、“综合素养”、“学业水平”、“思想品德”。
步骤S130，根据所述点评类别对所述点评项进行排序，得到点评项序列。
具体实现中，可以将表征点评类别的one hot向量与点评项进行矩阵运算，根据矩阵运算的结果得到点评项的排序，按照点评项的排序得到点评项序列。
图3是一个对点评项进行排序的示意图。如图所示，点评项的原始顺序为“注意力集中”、“眼操认真”、“小小书法家”、“学习认真”、“遵守纪律”，输入文本分类器后，得到相应的点评类别分别为“学业水平”、“思想品德”、“综合素养”、“学业水平”、“思想品德”，获取各个点评项的向量表示，以及各个点评类别的one hot向量，通过对点评项向量和one hot向量进行矩阵运算，可以根据矩阵运算的结果对点评项进行排序，得到点评项序列“注意力集中”、“学习认真”、“眼操认真”、“遵守纪律”、“小小书法家”，其中，“注意力集中”和“学习认真”属于“学业水平”，为第一个类别，排在第1、2位；“眼操认真”和“遵守纪律”属于“思想品德”，为第二个类别，排在第3、4位；“小小书法家”属于“综合素养”，为第三个类别，排在第5位。
实际应用中，可以设m表示点评项个数，n表示点评类别个数，d表示点评项的向量维度，取m＝4，n＝3，d＝6，点评项的向量表征组成的矩阵可以为
对点评项进行分类，得到的one hot向量组成的矩阵可以为
对x和y进行矩阵相乘，得到三维张量D∈Rm×n×d，具体的
其中，以
为例，计算过程为
对三维张量Dsample的第一维和第二维进行维度交换，得到
对D′sample的第一维和第二维进行拼接，得到二维矩阵，然后去除二维矩阵中的零向量，可以得到排序后的点评项序列
例如，老师对于某个学生进行点评，输入“遵守学校纪律”、“上课认真听讲”、“唱歌跳舞很棒”、“积极回答问题”，对应的点评向量分别为x1,x2,x3,x4，点评类别分别为“思想品德”、“学业水平”、“综合素养”、“学业水平”。排序后得到点评序列x2,x4,x1,x3，对应“上课认真听讲”、“积极回答问题”、“遵守学校纪律”、“唱歌跳舞很棒”，其中，“上课认真听讲”和“积极回答问题”属于“学业水平”，为第一个类别；“遵守学校纪律”属于“思想品德”，为第二个类别；“唱歌跳舞很棒”属于“综合素养”，为第三个类别。
步骤S140，通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
具体实现中，可以预训练一个语段生成模型，将点评项序列输入语段生成模型，输出一段评语语段。
实际应用中，语段生成模型可以为unilm(
pre-trained Language Model，统一预训练语言模型)，使用点评项序列样本及其对应的评语语段对unilm模型进行训练，训练过程中对评语语段进行部分掩码，将点评项序列及其掩码处理后的评语进行拼接，并在点评项序列和掩码处理后的评语之间使用分隔符进行区分。通过将训练目标设置为预测被掩码部分的内容，当unilm模型收敛时，可以得到语段生成模型。
需要说明的是，可以用任意基于seq2seq框架的生成模型来替代unilm模型。
在使用训练好的语段生成模型对点评项序列进行预测时，可以采用beam search(集束搜索)解码得到评语语段，beam search可以在广度优先基础上进行搜索空间的优化，减少内存消耗，加速搜索过程。
本申请实施例提供的技术方案，通过获取点评项，对文本信息进行分类得到点评项对应的点评类别，根据点评类别对点评项进行排序得到点评项序列，通过预训练的语段生成模型对点评项序列进行预测，生成点评项对应的评语语段，可以将若干无序的点评项按点评类别进行排序，直接输入语段生成模型，自动生成一段逻辑通顺的评语语段，无需人工添加句子之间的过渡词，提高了评语语段生成的效率。
而且，本申请实施例的语段生成模型直接对点评项序列进行预测，无需将各个类别的点评项分别输入评语生成模型生成相应的评语句子，也无需对评语句子进行合并，降低了评语语段生成的复杂度。
实施例二
图4是本申请实施例二提供的一种评语语段生成方法的流程图。具体的，参考图4，本申请实施例二的评语语段生成方法，具体包括：
步骤S210，获取点评项序列样本和所述点评项序列样本对应的评语语段；对所述点评项序列样本对应的评语语段进行掩码，得到掩码后评语语段；根据所述点评项序列样本和所述掩码后评语语段，对待训练的语段生成模型进行训练；当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型。
其中，点评项序列样本可以为至少一个点评项序列组成的样本集合。
其中，点评项序列样本对应的评语语段可以为至少一个评语语段组成的集合，每个评语语段可以为根据点评项序列样本生成的一段逻辑通顺的评语。
具体实现中，可以人工生成点评项序列样本及其对应的评语语段，在对语段生成模型进行训练过程中，可以获取至少一个点评项序列及其对应的评语语段作为训练样本，对各个评语语段进行部分掩码，得到掩码后评语语段，将点评项序列及其掩码后评语语段进行拼接，并在点评项序列和掩码后评语语段之间添加分隔符进行区分，得到拼接内容，使用拼接内容对语段生成模型进行训练，训练目标可以为对评语语段中的掩码部分进行预测，当语段生成模型收敛时，可以得到预训练的语段生成模型。
根据本申请实施例的技术方案，通过获取点评项序列样本和点评项序列样本对应的评语语段，对点评项序列样本对应的评语语段进行掩码得到掩码后评语语段，可以遮挡评语语段中的部分内容，使训练出的语段生成模型具备学习能力，根据点评项序列样本和掩码后评语语段对待训练的语段生成模型进行训练，当训练后的语段生成模型满足预设的训练条件时得到预训练的语段生成模型，可以使训练出的语段生成模型能够对句子之间的过渡进行隐式地学习，保证句子之间的语义连贯性，从而由若干有序的点评项生成一段逻辑通顺的评语语段。
可选地，所述当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型，包括：
获取文本分类器损失，以及，获取语段生成模型损失；通过对所述文本分类器损失和所述语段生成模型损失进行加权求和，得到评语语段生成损失；当所述评语语段生成损失符合预设的损失条件时，将所述训练后的语段生成模型作为所述预训练的语段生成模型。
其中，文本分类器损失可以为通过文本分类器对点评项进行分类的损失值。
其中，语段生成模型损失可以为通过语段生成模型由点评项序列生成评语语段的损失值。
具体实现中，文本分类器损失的计算公式可以为
其中，N表示对文本分类器进行训练的点评项样本数，M表示对文本分类器可以确定的类别数，yic表示样本i是否属于类别c，若是，则yic＝1，否则，若否，则yic＝0，pic表示预测样本i为类别c的概率。
语段生成模型损失的计算公式可以为
其中，N表示对语段生成模型进行训练的点评项序列样本数，C表示点评项序列，xit表示第i个样本第t个时刻的评语语段内容，xi,＜t表示第i个样本t时刻之前的所有评语语段内容，xit∈Mask表示只对被掩码掉的评语语段内容进行预测。
通过对文本分类器损失和语段生成模型损失加权求和，进行联合学习，可以得到评语生成网络的损失值为
L＝λL1+(1-)L2。
其中，λ可以为一个超参数，由于评语语段生成场景下，文本分类任务相比于语段生成任务会相对简单，可以设定λ＝0.25。
根据评语语段生成损失L对评语生成网络中文本分类器和语段生成模型的各个参数进行调整，可以得到符合要求的评语生成网络。例如，可以通过迭代方法对文本分类器和语段生成模型中的各个参数进行调整，即在一次评语语段生成后计算L，根据L对文本分类器和语段生成模型的各个参数进行调整，生成新的评语生成网络，利用新的评语生成网络再次进行评语语段生成，得到新的L，上述过程中评语语段生成损失L可以不断降低，重复上述过程，当L不再降低(两次相邻迭代之间L的差值小于一定阈值)时，可以得到符合要求的文本分类器和语段生成模型。
根据本申请实施例的技术方案，通过获取文本分类器损失和语段生成模型损失，对文本分类器损失和语段生成模型损失进行加权求和得到评语语段生成损失，可以得到文本分类器和语段生成模型对评语生成网络的影响，当评语语段生成损失符合预设的损失条件时将训练后的语段生成模型作为预训练的语段生成模型，可以根据评语语段生成损失设计符合要求的语段生成模型，提高语段生成模型对评语语段预测的准确性。
而且，通过将文本分类器损失和语段生成模型损失反馈给包含文本分类器和语段生成模型的评语生成网络，可以使评语生成网络各部分相互关联，起到互相促进的作用，提高评语生成网络对评语语段进行预测的准确性。
可选地，所述获取文本分类器损失，包括：
获取点评项样本和所述点评项样本对应的点评类别；通过将所述点评项样本输入所述文本分类器，得到所述点评项样本属于各个点评类别的概率；根据所述点评项样本属于各个点评类别的概率和所述点评类别，得到所述文本分类器损失。
具体实现中，可以人工生成点评项样本及其对应的点评类别，在计算文本分类器损失过程中，可以预先设置若干点评类别，将点评项样本输入文本分类器，通过文本分类器确定点评项样本属于各个点评类别的概率，根据预设的映射关系，可以通过点评项样本属于各个点评类别的概率和点评项样本的点评类别，计算得到文本分类器损失。
实际应用中，文本分类器损失的计算公式可以为
其中，N表示对文本分类器进行训练的点评项样本数，M表示对文本分类器可以确定的类别数，yic表示样本i是否属于类别c(点评项样本对应的点评类别)，若是，则yic＝1，否则，若否，则yic＝0，pic表示预测样本i为类别c的概率(点评项样本属于点评类别的概率)。
根据本申请实施例的技术方案，通过获取点评项样本和点评项样本对应的点评类别，将点评项样本输入文本分类器得到点评项样本属于各个点评类别的概率，根据点评项样本属于各个点评类别的概率和点评类别，得到文本分类器损失，可以得到文本分类器对评语生成网络的影响，进而根据文本分类器损失对评语生成网络进行调整，提高评语语段预测的准确性。
步骤S220，获取点评项；所述点评项包含文本信息。
具体实现中，点评人可以根据点评对象在一段时间内的表现手动输入至少一个评语关键词作为点评项，也可以从预设的评语关键词集合中选取至少一个评语关键词作为点评项，还可以采用手动输入和从集合中选取相结合的方式，例如，点评人在从评语关键词集合中选取至少一个评语关键词后，若认为集合中的现有关键词无法对点评对象进行充分点评，可以再手动输入若干评语关键词。
步骤S230，通过对所述文本信息进行分类，得到所述点评项对应的点评类别。
可选地，所述步骤S230，包括：
将所述点评项输入文本分类器，得到所述点评项的概率向量；所述概率向量用于表征所述点评项属于各个所述点评类别的概率；将所述概率向量转换为独热向量；所述独热向量用于表征所述点评项对应的点评类别。
其中，概率向量可以为表征点评项属于各个点评类别的概率的向量，概率向量的维度可以为点评类别的个数，概率向量中的各个元素可以为点评项属于各个点评类别的概率。
其中，独热向量可以为由0和1组成的向量，其中，0表示点评项不属于对应的点评类别，1表示点评项属于对应的点评类别。
具体实现中，可以预先设置若干点评类别，将点评项输入文本分类器，得到点评项对应的概率向量，概率向量中的各个元素表征点评项属于各个点评类别的概率，将概率向量转换为one hot向量，可以根据one hot向量确定点评项所述的点评类别。
根据本申请实施例的技术方案，通过将点评项输入文本分类器得到点评项的概率向量，并将概率向量转换为独热向量，可以自动确定点评项所属的点评类别，提高点评项分类的效率，进而提高评语语段生成的效率。
可选地，所述将所述概率向量转换为独热向量，包括：
根据概率向量维度对所述概率向量进行采样，得到采样向量；所述采样向量中的各个元素服从均匀分布；根据预设的映射关系，通过所述采样向量确定概率向量噪声；将所述概率向量与所述概率向量噪声相加，得到概率噪声向量；对所述概率噪声向量进行归一化，得到归一化概率噪声向量；通过对向量差值进行反向传播抑制，并叠加所述归一化概率噪声向量，得到所述独热向量；所述向量差值为所述归一化概率噪声向量的采样值与所述归一化概率噪声向量的差值。
具体实现中，在将概率向量转换为one hot向量的过程中，需要对概率向量进行采样操作，采样过程不可微，从而导致难以确定一个具体公式来生成one hot向量，进而无法生成一个端到端的评语生成网络来自动生成评语语段。对于该问题，可以采用下述过程将概率向量转换为独热向量：
1、设通过文本分类器得到m维概率向量V，使用均值为0，方差为1的均匀分布对V进行采样，得到采样向量α＝[α1,…,αm]；
2、通过映射关系G＝-log(-logα)计算得到概率向量噪声G；
3、将概率向量V和概率向量噪声G相加得到概率噪声向量
其中，
4、通过softmax函数对概率噪声向量
进行归一化，得到归一化概率噪声向量
公式可以为
其中，i＝1,…,m，τ为调节因子，τ越大，生成的分布越平滑，τ越小，生成的分布越接近离散的one hot分布。
为了使最终得到的one hot向量可以用来表示类别，可以对
按最大概率采样得到采样值
用采样值
与
做差值得到向量差值，使用z()函数抑制向量差值的反向传播，并叠加可反向传播的
得到one hot向量y，公式可以为
其中，
为将
按最大概率采样得到的one hot向量，即采样值，z()函数表示对该部分网络参数不进行梯度更新，具体的，z()函数可以采用pytorch中的detach()函数。通过进行反向传播抑制，可以使评语生成网络中参数
不变，只对参数
进行调整，从而确保下一步使用的结果为one hot向量
而反向传播时仍对
进行求导。
根据本申请实施例的技术方案，通过根据概率向量维度对概率向量进行采样得到采样向量，根据预设的映射关系通过采样向量确定概率向量噪声，将概率向量与概率向量噪声相加得到概率噪声向量，对概率噪声向量进行归一化得到归一化概率噪声向量，通过对向量差值进行反向传播抑制，并叠加归一化概率噪声向量得到独热向量，可以将采样过程剥离出计算图，保证评语生成网络的梯度可以反向传播，有效解决对文本分类器输出进行采样导致的离散问题，确保能够构建一个端到端的评语生成网络来自动生成评语语段，提高评语语段生成效率。
步骤S240，根据所述点评类别对所述点评项进行排序，得到点评项序列。
可选地，所述步骤S240，包括：
获取点评项向量和所述点评项对应的独热向量；所述点评项向量为所述点评项的向量表示；根据所述点评项向量生成点评项矩阵，以及，根据所述独热向量生成独热矩阵；通过对所述点评项矩阵和所述独热矩阵进行矩阵运算，得到点评项三维张量；通过对所述点评项三维张量进行维度交换，得到交换后三维张量；通过对所述交换后三维张量中的两个维度进行拼接，得到拼接后二维矩阵；通过去除所述拼接后二维矩阵中的零向量，得到所述点评项序列。
具体实现中，可以设m表示点评项个数，n表示点评类别个数，d表示点评项的向量维度，取m＝4，n＝3，d＝6，点评项向量可以为x1,x2,x3,x4，点评项向量组成的点评项矩阵可以为
对点评项进行分类，得到相应的one hot向量y1,y2,y3,y4，one hot向量组成的onehot矩阵可以为
对x和y进行矩阵相乘运算，得到点评项三维张量D∈Rm×n×d，具体的
其中，以
为例，计算过程为
对点评项三维张量Dsample的第一维和第二维进行维度交换，得到交换后三维张量
对D′sample的第一维和第二维进行拼接，得到拼接后二维矩阵，然后去除拼接后二维矩阵中的零向量，可以得到排序后的点评项序列
根据本申请实施例的技术方案，通过获取点评项向量和点评项对应的独热向量，根据点评项向量生成点评项矩阵，根据独热向量生成独热矩阵，对点评项矩阵和独热矩阵进行矩阵运算得到点评项三维张量，并进行维度交换、拼接和去除零向量，得到点评项序列，可以通过矩阵运算对无序的点评项进行排序，按点评类别生成有序的点评项序列，保证评语生成网络的梯度可以反向传播，确保能够构建一个端到端的评语生成网络来自动生成评语语段，提高评语语段生成效率。
而且，通过将有序的点评项序列输入语段生成模型，可以降低语段生成的学习难度，提高对语段生成模型进行训练的效率。
步骤S250，通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
具体实现中，可以预训练一个语段生成模型，将点评项序列输入语段生成模型，输出一段评语语段。
实际应用中，语段生成模型可以为unilm(
pre-trained Language Model，统一预训练语言模型)，使用点评项序列样本及其对应的评语语段对unilm模型进行训练，训练过程中对评语语段进行部分掩码，将点评项序列及其掩码处理后的评语进行拼接，并在点评项序列和掩码处理后的评语之间使用分隔符进行区分。通过将训练目标设置为预测被掩码部分的内容，当unilm模型收敛时，可以得到语段生成模型。
需要说明的是，可以用任意基于seq2seq框架的生成模型来替代unilm模型。
在使用训练好的语段生成模型对点评项序列进行预测时，可以采用beam search(集束搜索)解码得到评语语段，beam search可以在广度优先基础上进行搜索空间的优化，减少内存消耗，加速搜索过程。
为了便于本领域技术人员深入理解本申请实施例，以下将结合一个具体示例进行说明。
图5是一个端到端的评语生成网络的示意图。以老师对学生进行点评为例，老师根据学生在一段时间内的表现，给出一组无序的点评项“注意力集中”、“眼操认真”、“小小书法家”、“学习认真”、“遵守纪律”，如果直接将无序的点评项输入生成器，很大概率会得到通顺程度和逻辑性比较差的一段评语，因此先输入分类器，得到点评项对应的类别分别为“学业水平”、“思想品德”、“综合素养”、“学业水平”、“思想品德”，分类过程中可以使用GumbelSoftmax方法解决对分类结果采样过程不可微的问题。然后根据点评项的向量表征和相应类别的one hot向量进行矩阵运算，对类别进行排序，顺序为“注意力集中”、“学习认真”、“眼操认真”、“遵守纪律”、“小小书法家”，其中“注意力集中”和“学习认真”属于“学业水平”，为第一个类别；“眼操认真”和“遵守纪律”属于“思想品德”，为第二个类别；“小小书法家”属于“综合素养”，为第三个类别。通过将排序后的点评项输入生成器，可以生成一段完整的评语结果，例如，可以生成“你是一个聪明活泼的孩子，上课注意力集中，学习态度认真。同时你能遵守课间纪律，认真做眼操，还积极参加课外活动，获得了小小书法家的称号。”。上述评语生成网络为端到端的形式，可以隐式地对无序的点评项按类别进行排序，降低生成器的学习难度，生成一段逻辑通顺且语义连贯的评语，同时，生成器的梯度可以传导到分类器中，以促进更好的分类效果，而更好的分类效果又能促进生成器生成更符合要求的评语。
应该理解的是，虽然图1和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
实施例三
图6是本申请实施例三提供的一种评语语段生成装置的结构示意图。参考图6，本实施例提供的评语语段生成装置具体包括：获取模块310、分类模块320、排序模块330和评语语段生成模块340，其中：
获取模块310，用于获取点评项；所述点评项包含文本信息；
分类模块320，用于通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
排序模块330，用于根据所述点评类别对所述点评项进行排序，得到点评项序列；
评语语段生成模块340，用于通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
本申请实施例提供的技术方案，通过获取点评项，对文本信息进行分类得到点评项对应的点评类别，根据点评类别对点评项进行排序得到点评项序列，通过预训练的语段生成模型对点评项序列进行预测，生成点评项对应的评语语段，可以将若干无序的点评项按点评类别进行排序，直接输入语段生成模型，自动生成一段逻辑通顺的评语语段，无需人工添加句子之间的过渡词，提高了评语语段生成的效率。
而且，本申请实施例的语段生成模型直接对点评项序列进行预测，无需将各个类别的点评项分别输入评语生成模型生成相应的评语句子，也无需对评语句子进行合并，降低了评语语段生成的复杂度。
在另一个实施例中，所述分类模块320，包括：
分类模块，用于将所述点评项输入文本分类器，得到所述点评项的概率向量；所述概率向量用于表征所述点评项属于各个所述点评类别的概率；
向量转换模块，用于将所述概率向量转换为独热向量；所述独热向量用于表征所述点评项对应的点评类别。
在另一个实施例中，所述向量转换模块，具体用于：
根据概率向量维度对所述概率向量进行采样，得到采样向量；所述采样向量中的各个元素服从均匀分布；
根据预设的映射关系，通过所述采样向量确定概率向量噪声；
将所述概率向量与所述概率向量噪声相加，得到概率噪声向量；
对所述概率噪声向量进行归一化，得到归一化概率噪声向量；
通过对向量差值进行反向传播抑制，并叠加所述归一化概率噪声向量，得到所述独热向量；所述向量差值为所述归一化概率噪声向量的采样值与所述归一化概率噪声向量的差值。
在另一个实施例中，所述排序模块330，具体用于：
获取点评项向量和所述点评项对应的独热向量；所述点评项向量为所述点评项的向量表示；
根据所述点评项向量生成点评项矩阵，以及，根据所述独热向量生成独热矩阵；
通过对所述点评项矩阵和所述独热矩阵进行矩阵运算，得到点评项三维张量；
通过对所述点评项三维张量进行维度交换，得到交换后三维张量；
通过对所述交换后三维张量中的两个维度进行拼接，得到拼接后二维矩阵；
通过去除所述拼接后二维矩阵中的零向量，得到所述点评项序列。
在另一个实施例中，所述评语语段生成装置，还包括：
样本获取模块，用于获取点评项序列样本和所述点评项序列样本对应的评语语段；
掩码模块，用于对所述点评项序列样本对应的评语语段进行掩码，得到掩码后评语语段；
训练模块，用于根据所述点评项序列样本和所述掩码后评语语段，对待训练的语段生成模型进行训练；
模型生成模块，用于当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型。
在另一个实施例中，所述模型生成模块，包括：
损失获取模块，用于获取文本分类器损失，以及，获取语段生成模型损失；
评语语段生成损失计算模块，用于通过对所述文本分类器损失和所述语段生成模型损失进行加权求和，得到评语语段生成损失；
模型生成子模块，用于当所述评语语段生成损失符合预设的损失条件时，将所述训练后的语段生成模型作为所述预训练的语段生成模型。
在另一个实施例中，所述损失获取模块，具体用于：
获取点评项样本和所述点评项样本对应的点评类别；
通过将所述点评项样本输入所述文本分类器，得到所述点评项样本属于各个点评类别的概率；
根据所述点评项样本属于各个点评类别的概率和所述点评类别，得到所述文本分类器损失。
上述提供的评语语段生成装置可用于执行上述任意实施例提供的评语语段生成方法，具备相应的功能和有益效果。
关于评语语段生成装置的具体限定可以参见上文中对于评语语段生成方法的限定，在此不再赘述。上述评语语段生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
实施例四
图7是本申请实施例四提供的一种电子设备的结构示意图。如图中所示，该电子设备包括：处理器40、存储器41、具有触摸功能的显示屏42、输入装置43、输出装置44以及通信装置45。该电子设备中处理器40的数量可以是一个或者多个，图中以一个处理器40为例。该电子设备中存储器41的数量可以是一个或者多个，图中以一个存储器41为例。该电子设备的处理器40、存储器41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接，图中以通过总线连接为例。实施例中，电子设备可以是电脑，手机，平板，投影仪或交互智能平板等。实施例中，以电子设备为交互智能平板为例，进行描述。
存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的评语语段生成方法对应的程序指令/模块。存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
显示屏42为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。可选的，当显示屏42为红外屏时，其还包括红外触摸框，该红外触摸框设置在显示屏42的四周，其还可以用于接收红外信号，并将该红外信号发送至处理器40或者其他设备。
通信装置45，用于与其他设备建立通信连接，其可以是有线通信装置和/或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的评语语段生成方法。
具体的，实施例中，处理器40执行存储器41中存储的一个或多个程序时，具体实现如下操作：
获取点评项；所述点评项包含文本信息；
通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
根据所述点评类别对所述点评项进行排序，得到点评项序列；
通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
将所述点评项输入文本分类器，得到所述点评项的概率向量；所述概率向量用于表征所述点评项属于各个所述点评类别的概率；
将所述概率向量转换为独热向量；所述独热向量用于表征所述点评项对应的点评类别。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
根据概率向量维度对所述概率向量进行采样，得到采样向量；所述采样向量中的各个元素服从均匀分布；
根据预设的映射关系，通过所述采样向量确定概率向量噪声；
将所述概率向量与所述概率向量噪声相加，得到概率噪声向量；
对所述概率噪声向量进行归一化，得到归一化概率噪声向量；
通过对向量差值进行反向传播抑制，并叠加所述归一化概率噪声向量，得到所述独热向量；所述向量差值为所述归一化概率噪声向量的采样值与所述归一化概率噪声向量的差值。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
获取点评项向量和所述点评项对应的独热向量；所述点评项向量为所述点评项的向量表示；
根据所述点评项向量生成点评项矩阵，以及，根据所述独热向量生成独热矩阵；
通过对所述点评项矩阵和所述独热矩阵进行矩阵运算，得到点评项三维张量；
通过对所述点评项三维张量进行维度交换，得到交换后三维张量；
通过对所述交换后三维张量中的两个维度进行拼接，得到拼接后二维矩阵；
通过去除所述拼接后二维矩阵中的零向量，得到所述点评项序列。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
获取点评项序列样本和所述点评项序列样本对应的评语语段；
对所述点评项序列样本对应的评语语段进行掩码，得到掩码后评语语段；
根据所述点评项序列样本和所述掩码后评语语段，对待训练的语段生成模型进行训练；
当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
获取文本分类器损失，以及，获取语段生成模型损失；
通过对所述文本分类器损失和所述语段生成模型损失进行加权求和，得到评语语段生成损失；
当所述评语语段生成损失符合预设的损失条件时，将所述训练后的语段生成模型作为所述预训练的语段生成模型。
在上述实施例的基础上，一个或多个处理器40还实现如下操作：
获取点评项样本和所述点评项样本对应的点评类别；
通过将所述点评项样本输入所述文本分类器，得到所述点评项样本属于各个点评类别的概率；
根据所述点评项样本属于各个点评类别的概率和所述点评类别，得到所述文本分类器损失。
实施例五
本申请实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种评语语段生成方法，包括：
获取点评项；所述点评项包含文本信息；
通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
根据所述点评类别对所述点评项进行排序，得到点评项序列；
通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的评语语段生成方法的操作，还可以执行本申请任意实施例所提供的评语语段生成方法中的相关操作，且具备相应的功能和有益效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种评语语段生成方法，其特征在于，所述方法包括：
获取点评项；所述点评项包含文本信息；
通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
根据所述点评类别对所述点评项进行排序，得到点评项序列；
通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
2.根据权利要求1所述的方法，其特征在于，所述通过对所述文本信息进行分类，得到所述点评项对应的点评类别，包括：
将所述点评项输入文本分类器，得到所述点评项的概率向量；所述概率向量用于表征所述点评项属于各个所述点评类别的概率；
将所述概率向量转换为独热向量；所述独热向量用于表征所述点评项对应的点评类别。
3.根据权利要求2所述的方法，其特征在于，所述将所述概率向量转换为独热向量，包括：
根据概率向量维度对所述概率向量进行采样，得到采样向量；所述采样向量中的各个元素服从均匀分布；
根据预设的映射关系，通过所述采样向量确定概率向量噪声；
将所述概率向量与所述概率向量噪声相加，得到概率噪声向量；
对所述概率噪声向量进行归一化，得到归一化概率噪声向量；
通过对向量差值进行反向传播抑制，并叠加所述归一化概率噪声向量，得到所述独热向量；所述向量差值为所述归一化概率噪声向量的采样值与所述归一化概率噪声向量的差值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述点评类别对所述点评项进行排序，得到点评项序列，包括：
获取点评项向量和所述点评项对应的独热向量；所述点评项向量为所述点评项的向量表示；
根据所述点评项向量生成点评项矩阵，以及，根据所述独热向量生成独热矩阵；
通过对所述点评项矩阵和所述独热矩阵进行矩阵运算，得到点评项三维张量；
通过对所述点评项三维张量进行维度交换，得到交换后三维张量；
通过对所述交换后三维张量中的两个维度进行拼接，得到拼接后二维矩阵；
通过去除所述拼接后二维矩阵中的零向量，得到所述点评项序列。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取点评项序列样本和所述点评项序列样本对应的评语语段；
对所述点评项序列样本对应的评语语段进行掩码，得到掩码后评语语段；
根据所述点评项序列样本和所述掩码后评语语段，对待训练的语段生成模型进行训练；
当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型。
6.根据权利要求5所述的方法，其特征在于，所述当训练后的语段生成模型满足预设的训练条件时，得到所述预训练的语段生成模型，包括：
获取文本分类器损失，以及，获取语段生成模型损失；
通过对所述文本分类器损失和所述语段生成模型损失进行加权求和，得到评语语段生成损失；
当所述评语语段生成损失符合预设的损失条件时，将所述训练后的语段生成模型作为所述预训练的语段生成模型。
7.根据权利要求6所述的方法，其特征在于，所述获取文本分类器损失，包括：
获取点评项样本和所述点评项样本对应的点评类别；
通过将所述点评项样本输入所述文本分类器，得到所述点评项样本属于各个点评类别的概率；
根据所述点评项样本属于各个点评类别的概率和所述点评类别，得到所述文本分类器损失。
8.一种评语语段生成装置，其特征在于，所述装置包括：
获取模块，用于获取点评项；所述点评项包含文本信息；
分类模块，用于通过对所述文本信息进行分类，得到所述点评项对应的点评类别；
排序模块，用于根据所述点评类别对所述点评项进行排序，得到点评项序列；
评语语段生成模块，用于通过预训练的语段生成模型对所述点评项序列进行预测，生成所述点评项对应的评语语段。
9.一种电子设备，其特征在于，包括：存储器、一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器执行如权利要求1-7中任一所述的评语语段生成方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的评语语段生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280828.7A CN115080731A (zh) | 2021-03-16 | 2021-03-16 | 评语语段生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110280828.7A CN115080731A (zh) | 2021-03-16 | 2021-03-16 | 评语语段生成方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115080731A true CN115080731A (zh) | 2022-09-20 |
Family
ID=83245540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110280828.7A Pending CN115080731A (zh) | 2021-03-16 | 2021-03-16 | 评语语段生成方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115080731A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117692676A (zh) * | 2023-12-08 | 2024-03-12 | 广东创意热店互联网科技有限公司 | 一种基于人工智能技术的视频快速剪辑方法 |
-
2021
- 2021-03-16 CN CN202110280828.7A patent/CN115080731A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117692676A (zh) * | 2023-12-08 | 2024-03-12 | 广东创意热店互联网科技有限公司 | 一种基于人工智能技术的视频快速剪辑方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Deep learning for aspect-based sentiment analysis | |
| CN111241311B (zh) | 媒体信息推荐方法、装置、电子设备及存储介质 | |
| CN110717017B (zh) | 一种处理语料的方法 | |
| CN110442718B (zh) | 语句处理方法、装置及服务器和存储介质 | |
| CN111666416B (zh) | 用于生成语义匹配模型的方法和装置 | |
| CN117149989B (zh) | 大语言模型训练方法、文本处理方法及装置 | |
| CN113761153B (zh) | 基于图片的问答处理方法、装置、可读介质及电子设备 | |
| CN112307336B (zh) | 热点资讯挖掘与预览方法、装置、计算机设备及存储介质 | |
| CN110852047A (zh) | 一种文本配乐方法、装置、以及计算机存储介质 | |
| CN111859144B (zh) | 一种资源推荐方法、装置、设备及存储介质 | |
| CN113392640A (zh) | 一种标题确定方法、装置、设备及存储介质 | |
| CN112115971A (zh) | 一种基于异质学术网络进行学者画像的方法及系统 | |
| CN115114974A (zh) | 一种模型蒸馏方法、装置、计算机设备和存储介质 | |
| CN112862021B (zh) | 一种内容标注方法和相关装置 | |
| Ma | Realization of artificial intelligence interactive system for advertising education in the era of 5G integrated media | |
| CN115080731A (zh) | 评语语段生成方法、装置、电子设备和存储介质 | |
| CN117391497A (zh) | 一种新闻稿件质量主客观评分一致性评价方法及系统 | |
| CN111401525A (zh) | 一种基于深度学习的适应性学习系统和方法 | |
| CN117216617A (zh) | 文本分类模型训练方法、装置、计算机设备和存储介质 | |
| CN112182179B (zh) | 实体问答处理方法、装置、电子设备和存储介质 | |
| Zhao et al. | [Retracted] A Multimodal Model for College English Teaching Using Text and Image Feature Extraction | |
| CN110472140B (zh) | 对象词推荐方法、装置及电子设备 | |
| Zhang | Sharing of teaching resources for English majors based on ubiquitous learning resource sharing platform and neural network | |
| Luo et al. | Dagkt: Difficulty and attempts boosted graph-based knowledge tracing | |
| Wang et al. | MOOC resources recommendation based on heterogeneous information network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |