CN115879444A - 文本内容的评价方法、装置、电子设备及存储介质 - Google Patents

文本内容的评价方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115879444A
CN115879444A CN202211689676.7A CN202211689676A CN115879444A CN 115879444 A CN115879444 A CN 115879444A CN 202211689676 A CN202211689676 A CN 202211689676A CN 115879444 A CN115879444 A CN 115879444A
Authority
CN
China
Prior art keywords
text
evaluation
target
fusion
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211689676.7A
Other languages
English (en)
Inventor
郭冬杰
竺博
王士进
汪洋
盛志超
魏思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202211689676.7A priority Critical patent/CN115879444A/zh
Publication of CN115879444A publication Critical patent/CN115879444A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)

Abstract

本发明实施例提供一种文本内容的评价方法、装置、电子设备及存储介质，该方法包括：获取待评价文本；将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到。本发明实施例提供的文本内容的评价方法、装置、电子设备及存储介质可以提高融合评价模型的准确性，进而可以提高文本评价结果的精确度。

Description

文本内容的评价方法、装置、电子设备及存储介质
技术领域
本发明涉及文本处理技术领域，尤其涉及一种文本内容的评价方法、装置、电子设备及存储介质。
背景技术
在某些应用领域，需要对文本进行评价，比如，在教育领域，通常需要对学生的作文进行评分等。由于在批改学生作文时，评价人员可能会关注多个文本评价维度，比如需要找出作文中的拼写错误及语法错误、识别亮点句式以及细节描写手法等相关内容。
为了实现上述目的，现有技术中通常会将多个文本评价任务各自对应的训练数据随机打乱，并输入至融合评价模型中，以训练出具备多任务文本评价能力的模型，从而实现对文本进行自动评价的目的，其中，不同的文本评价任务对应不同的评价维度。
然而，在上述文本评价过程中，不同文本评价任务的训练数据的样本量往往也不一样，这会导致融合评价模型在进行文本评价时，会过于关注训练数据的样本量多的任务，而忽略了训练数据的样本量少的任务，从而降低了融合评价模型的准确性，使得文本评价的结果不够精确。
发明内容
本发明提供一种文本内容的评价方法、装置、电子设备及存储介质，用以解决现有技术中由于不同任务的训练数据的样本量不一致而导致的融合评价模型的准确性不高，使得文本评价结果不够精确的缺陷，实现了提高融合评价模型的准确性，进而提高文本评价结果的精确度的目的。
本发明提供一种文本内容的评价方法，包括：
获取待评价文本；
将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到。
根据本发明提供的一种文本内容的评价方法，所述将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，包括：
将所述待评价文本输入所述融合评价模型中，得到所述待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果；
基于所述待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果，确定所述待评价文本在至少两个文本评价维度的评价结果。
根据本发明提供的一种文本内容的评价方法，所述基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练，得到所述融合评价模型，包括：
将所述第一文本样本输入所述初始融合评价模型中，得到所述第一文本样本的标注序列，所述标注序列中包括所述第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果；
将所述第一文本样本对应的至少两个目标评价结果作为所述第一文本样本的标签信息，并基于所述第一文本样本的标签信息和对应的标注序列，对所述初始融合评价模型进行迭代训练，得到所述融合评价模型。
根据本发明提供的一种文本内容的评价方法，所述基于所述第一文本样本的标签信息和对应的标注序列，对所述初始融合评价模型进行迭代训练，得到所述融合评价模型，包括：
基于所述第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果，确定所述第一文本样本的第二预测评价结果；
基于所述第一文本样本的标签信息和第二预测评价结果，确定所述第一文本样本的损失信息；
基于所述第一文本样本的损失信息，对所述初始融合评价模型进行迭代训练，得到所述融合评价模型。
根据本发明提供的一种文本内容的评价方法，各类所述内容评价模型中包括至少两个目标内容评价模型；
所述第一文本样本对应的至少两个目标评价结果为基于如下方式得到：
针对各类内容评价模型，将所述第一文本样本分别输入所述内容评价模型对应的至少两个目标内容评价模型中，得到所述第一文本样本对应的至少两个初始评价结果；
基于所述第一文本样本对应的至少两个初始评价结果，确定所述第一文本样本对应的所述目标评价结果。
根据本发明提供的一种文本内容的评价方法，所述目标内容评价模型的数量为至少三个；
所述基于所述第一文本样本对应的至少两个初始评价结果，确定所述第一文本样本对应的所述目标评价结果，包括：
将所述第一文本样本对应的至少三个初始评价结果中，占比最高的初始评价结果，确定为所述第一文本样本对应的所述目标评价结果。
根据本发明提供的一种文本内容的评价方法，所述方法还包括：
获取多个有标注信息的第二文本样本，每个所述第二文本样本的标注信息为基于目标文本评价维度对所述第二文本样本进行评价后得到的，所述目标文本评价维度为所述至少两个文本评价维度中的任意一个；
基于各所述第二文本样本和对应的所述标注信息，对初始内容评价模型进行迭代训练，得到与所述目标文本评价维度对应的内容评价模型。
本发明还提供一种文本内容的评价装置，包括：
获取模块，用于获取待评价文本；
输入模块，用于将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述文本内容的评价方法。
本发明还提供一种电子设备，包括显示屏，还包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序中的融合评价模型，对待评价文本进行处理，得到至少两个文本评价维度的评价结果；
所述显示屏用于显示所述评价结果；
其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到的。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述文本内容的评价方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述文本内容的评价方法。
本发明提供的文本内容的评价方法、装置、电子设备及存储介质，由于融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，其中，至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到的。由此，在基于第一文本样本以及第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练的过程中，可以将同一个第一文本样本对应的至少两个文本评价维度的目标评价结果作为标签对初始融合评价模型进行迭代训练，这样，可以使得不同文本评价维度所对应的第一文本样本的数量之间的差值较小，由此避免了在对融合评价模型进行训练时，不同文本评价维度对应的文本评价任务的训练数据样本量差别较大而导致的融合评价模型不准确的问题，提高了融合评价模型的准确性，进而将获取的待评价文本输入到更为准确的融合评价模型中后，可以得到更为精确的文本评价结果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术中从多个文本评价维度对文本进行评价的示意图；
图2是本发明实施例提供的文本内容的评价方法的流程示意图之一；
图3是本发明实施例提供的目标评价结果的生成示意图之一；
图4是本发明实施例提供的第一文本样本的序列标注示意图；
图5是本发明实施例提供的文本内容的评价方法的流程示意图之二；
图6是本发明实施例提供的目标评价结果的生成示意图之二；
图7是本发明实施例提供的内容评价模型的训练示意图；
图8是本发明实施例提供的目标内容评价模型的训练示意图；
图9是本发明实施例提供的文本内容的评价装置的结构示意图；
图10是本发明提供的电子设备的结构示意图之一；
图11是本发明提供的电子设备的结构示意图之二。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在文本评价中采用最多的当属人工评价，即组织评价人员直接对文本内容进行评价。但在某些时候，待评价的文本的数量往往会有很多，比如老师需要对成百上千个学生的作文进行评分，这会导致人工评价的人工成本和时间成本较高。因此，现有技术中通常会从多个文本评价维度来训练不同文本评价模型，从而完成文本的自动评价。其中，多个文本评价维度例如可以包括：纠正文本中的拼写错误或语法错误、识别文本中使用定语从句、状语从句、同位语从句等复杂句式的句子、识别文本中的心理描写、动作描写或者人物描写等具有细节描写的句子。
其中，对于拼写及语法纠错任务，其目标是找到文本中有拼写错误或语法错误的位置，并将错误纠正，该任务可以认为是一个序列标注任务；复杂句式和具有细节描写句子的识别任务，可以认为是句子分类任务。
具体地，可以采用如图1所示的方式，实现上述三类文本评价任务。其中，图1为现有技术中从多个文本评价维度对文本进行评价的示意图，如图1所示，对于第一种拼写及语法纠错任务，现有技术中采用GECToR(Grammatical Error Correction:Tag，Not Rewrite，语法纠错)模型，该模型定义了5000个纠错标签，其中大部分是将纠错后单词直接作为标签进行输出，如将“hapy”修改为“happy”的标签就是“$REPLACE_happy”。另外，还有一些特殊的标签是把一些错误进行了归类，如将“book”修改为“books”和“friend”修改为“friends”的标签均是“$TRANSFORM_AGREEMENT_PLURAL”，其代表了名词单数修改为复数这一类纠错方法。在模型结构上，GECToR可以是各类预训练语言模型，如BERT(Bidirectional EncoderRepresentation from Transformers，基于变压器的双向编码器表示)、RoBERTa(RobustlyOptimized BERT Pretraining Approach，强力优化的BERT方法)和XLNET等等。然后，在经过上述预训练模型得到各个单词的隐层表示后，再连接一个全连接层，以输出该单词的预测标签。
另外，由于后两种任务均属于句子分类任务。因此，通常的做法是利用BERT等预训练模型对文本进行编码，再取[CLS]位置的隐层表示后，再连接一个全连接层，以输出该位置的预测标签。
通过上述不同的任务，仅能实现单一文本评价维度的评价，使得文本评价的准确性较低，且无法应用于上述作文批改场景中。为此，现有技术中提出了一种模型融合的方式，即将多个文本评价任务各自对应的训练数据随机打乱输入模型中，以训练出可以同时处理多个文本评价任务的模型，从而实现了从多个文本评价维度进行文本评价的目的。
然而，在上述模型的训练过程中，不同文本评价任务的样本量通常不一样，这导致训练出的模型往往过于关注样本量多的任务，而忽略了样本量少的任务，从而使得该模型在样本量少的任务上评价效果较差，即文本评价不够准确。另外，上述方法是通过有标注的样本进行训练，由于需要对大量的样本进行标注，因此，会导致模型训练的效率较低。
基于此，本发明实施例提出了一种文本内容的评价方法，该方法中的融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入多个内容评价模型中得到的。由此，在基于第一文本样本以及第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练的过程中，可以将同一个第一文本样本对应的至少两个文本评价维度的目标评价结果作为标签对初始融合评价模型进行迭代训练，这样，可以使得不同文本评价维度所对应的第一文本样本的数量之间的差值较小，由此避免了在对融合评价模型进行训练时，不同文本评价维度对应的文本评价任务的训练数据样本量差别较大而导致的融合评价模型不准确的问题，提高了融合评价模型的准确性，进而可以将获取的待评价文本输入到更为准确的融合评价模型中，得到更为精确的文本评价结果。
下面结合图2-图8对本发明实施例提供的文本内容的评价方法进行描述，该方法可应用在文本评价场景中，尤其是应用在对学生作文、或者文章批改的场景中，其中，上述文本可以是中文、英文，或者其他语种的文本等。执行该方法的主体可以是手机、电脑、计算机等电子设备，也可以是其他任何可以进行模型训练的装置。
图2为本发明实施例提供的文本内容的评价方法的流程示意图之一，如图2所示，该方法包括：
步骤201：获取待评价文本。
其中，待评价文本可以是中文，也可以是英文，还可以是其他语种，对于待评价文本的具体形式，本发明实施例不做具体限制。
具体地，可以通过网络爬虫搜集、文本扫描装置扫描或者摄像机拍照的方式获取待评价文本。
步骤202：将待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果。
其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到的。
具体地，不同的文本评价维度可理解为在不同评判标准下，对第一文本样本进行的不同评价，如是否有拼写错误、是否有复杂句式以及是否有细节描写为三个不同的文本评价维度。
示例性的，图3为本发明实施例提供的目标评价结果的生成示意图之一，如图3所示，将上述获取的无标注信息的第一文本样本输入n类内容评价模型中，如图3中的任务1内容评价模型、任务2内容评价模型……任务n内容评价模型，其中，每类内容评价模型对应不同的文本评价维度，例如，任务1内容评价模型可以是语法纠错模型、任务2内容评价模型可以是亮点句式查询模型、任务3内容评价模型可以是细节描述语句查询模型等等。
将各第一文本样本分别输入图3中的多个内容评价模型中后，即可得到各第一文本样本对应的n个不同目标评价结果，如任务1目标评价结果、任务2目标评价结果……任务n目标评价结果。
进一步地，在获取到各第一文本样本对应的至少两个目标评价结果后，基于该第一文本样本以及各第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练，得到融合评价模型，该融合评价模型用于对待评价文本从至少两个文本评价维度进行评价。
其中，初始融合评价模型可以是经过预训练的现有融合评价模型，也可以是未经过训练的融合评价模型。
具体地，在获取到第一文本样本对应的至少两个目标评价结果后，可以将所有的第一文本样本作为初始融合评价模型的训练数据，将每个第一文本样本对应的至少两个目标评价结果进行合并，作为标签信息，对初始融合评价模型进行有监督学习，通过迭代训练的方式更新初始融合评价模型，直至满足收敛条件，将最终得到的初始融合评价模型作为融合评价模型。
值得注意的是，将得到的每个第一文本样本对应的至少两个目标评价结果进行合并，可以理解为将至少两个目标评价结果进行叠加。例如，对于“I am hapy that youcome”这一第一文本样本，其对应的目标评价结果包括：存在拼写错误、是宾语从句、是心理描写。可以将这三个目标评价结果进行叠加作为“I am hapy that you come”的标签。由于至少两个目标评价结果是基于至少两个文本评价维度得到的，因此，针对不同的文本评价维度，对应的第一文本样本的数量之间的差值小于预设值，也即样本数量差别不大。
本发明实施例提供的文本内容的评价方法中的融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到的。由此，在基于第一文本样本以及第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练的过程中，可以将同一个第一文本样本对应的至少两个文本评价维度的目标评价结果作为标签对初始融合评价模型进行迭代训练，这样，可以使得不同文本评价维度所对应的第一文本样本的数量之间的差值较小，由此避免了在对融合评价模型进行训练时，不同文本评价维度对应的文本评价任务的训练数据样本量差别较大而导致的融合评价模型不准确的问题，提高了融合评价模型的准确性，进而可以将获取的待评价文本输入到更为准确的融合评价模型中，得到更为精确的文本评价结果。
在一种可能的实现方式中，在将待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果时，可以采取如下方式进行：将待评价文本输入融合评价模型中，得到待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果；基于待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果，确定待评价文本在至少两个文本评价维度的评价结果。
其中，待评价文本中各个元素表示在待评价文本中的各个句子。
具体地，在待评价文本输入融合评价模型后，将会预测出待评价文本中每个句子的位置标记，例如Bi代表第i个句子的句首，Ei代表第i个句子的句尾，Ii代表第i个句子的句中；另外，融合评价模型还会预测出该待评价文本中各个句子对应的至少两个文本评价维度的目标预测评价结果，例如第i个句子既是动作描写也是心理描写。
基于此，在预测出该待评价文本中各个句子的位置标记以及至少两个文本评价维度的目标预测评价结果后，可以基于该待评价文本中各个句子的位置标记以及各个句子对应的至少两个文本评价维度的目标预测评价结果，进一步确定出整个待评价文本在至少两个文本评价维度的评价结果。
应理解，不同的待评价文本中具有至少两个文本评价维度的句子的数量分布也是不同的，例如待评价文本A中既是动作描写也是心理描写的句子数量为5，而待评价文本B中既是动作描写也是心理描写的句子数量为3。由此可知，在其他评价方面相同的情况下，待评价文本A的得分将会更高。
在本实施例中，通过将待评价文本输入融合评价模型中，得到待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果，以再基于待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果，得到待评价文本中至少两个文本评价维度的元素的数量分布，进而可以确定出更为准确的待评价文本的至少两个文本评价维度的评价结果，由此提高了待评价文本的文本评价结果的精确度。
进一步地，需要进行说明的是，在现有技术中，对于不同的文本评价任务，现有技术中需要设计不同的损失函数，以便在后续的多任务训练中，对不同文本评价任务损失函数的权重进行调和。举例来说，假设三个任务的损失函数loss分别为l1，l2和l3，则最终的损失函数loss为λ1l1+λ2l2+λ3l3，而具体权重λ1，λ2和λ3该如何取值，目前并未有具体的实现方式。通常的做法是网格遍历，也即遍历所有可能性，找到效果最好的组合，这种方式模型的训练效率较低。
为了解决这一问题，在本发明实施例中，在基于多个无标注信息的第一文本样本以及各第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练，得到融合评价模型时，可以将第一文本样本输入初始融合评价模型中，得到第一文本样本的标注序列，标注序列中包括第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果；将第一文本样本对应的至少两个目标评价结果作为第一文本样本的标签信息，并基于第一文本样本的标签信息和对应的标注序列，对初始融合评价模型进行迭代训练，得到融合评价模型。
具体地，图4为本发明实施例提供的第一文本样本的序列标注示意图，在本实施例中，可以将属于序列标注任务的语法纠错任务和句子分类任务统一为序列标注任务。如图4所示，语法纠错任务为预测每个单词是否有错，例如：纠错模型识别到“hapy”应该修改为“happy”，这是一个词汇拼写错误。而细节描写和亮点句式识别任务均是句子分类任务，这类任务通常的做法是取出BERT[CLS]位置的表示，并后接全连接网络，然后进行分类。在本实施例中，可以将任务形式进行转化，可以抽取整个句子的序列标注任务。具体地，将第一文本样本输入初始融合评价模型之后，初始融合评价模型将输出第一文本样本的标注序列，该标注序列中包括第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果，其中，各个元素的位置标记可以理解为B、E或I，B表示句首位置、E表示句尾位置，I表示句子中间位置等。第一预测评价结果包括是否存在拼写或者语法错误，是否是复杂句式或者是否是细节描写等。应理解，通过上述序列标注任务得到的第一预测评价结果为针对第一文本样本中的每个元素的。
举例来说，将第一文本样本输入初始融合评价模型后，将会预测出句首元素的位置标记是B，且第一预测评价结果为动作描写，句尾元素的位置标记是E，且第一预测评价结果为动作描写，句子中间元素的位置标记是I，且第一预测评价结果为动作描写。也即，在抽取整个句子的序列标注任务后，如果一个句子是动作描写，可以将这个句子从句首到句尾的整个内容都标记为动作描写。
在得到标注序列后，可以将第一文本样本对应的至少两个目标评价结果作为第一文本样本的标签信息，从而与初始融合模型预测的预测结果确定损失信息，以基于该损失信息对初始融合评价模型进行迭代训练，在满足收敛条件时，将得到的初始融合评价模型作为融合评价模型。
在本实施例中，由于将第一文本样本对应的多个文本评价任务可以统一为序列标注任务，这样在训练过程中，就不需要进行不同损失函数的权重超参的确定，因而可以极大的提高融合评价模型的训练效率。
进一步地，由于前述得到的第一预测评价结果与第一文本样本中各个元素对应，而在实际的实现过程中，在对初始融合评价模型进行训练时，需要得到针对第一文本样本的预测结果，因此，在对初始融合评价模型进行迭代训练时，可以基于第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果，确定第一文本样本的第二预测评价结果，并基于第一文本样本的标签信息和第二预测评价结果，确定第一文本样本的损失信息，从而基于第一文本样本的损失信息，对初始融合评价模型进行迭代训练，得到融合评价模型。
其中，由于在进行序列标注时，会标注第一文本样本中的各个元素的位置标记以及各文本评价维度的第一预测评价结果，因此，可以基于各个元素的位置标记，确定出完整的句子，并基于该句子中各元素的第一预测评价结果，确定该句子的预测评价结果，从而可以确定出第一文本样本的第二预测结果。例如，在进行序列标注后，若第一文本样本的句首元素对应的第一预测评价结果为动作描写，句尾元素对应的第一预测评价结果为动作描写，句子中间元素对应的第一预测评价结果为动作描写，则可以确定出该第一文本样本的第二预测评价结果为动作描写的概率。
在将上述第一文本样本对应的多个文本评价任务统一为序列标注任务后，可以采用如下公式(1)所示的统一的损失函数。示例性的，可以采用Sigmoid交叉熵损失函数(Sigmoid Cross Entropy Loss)来计算该第一文本样本的损失信息Loss。
Loss＝-y*log(sigmoid(x))-(1-y)*log(1-sigmoid(x)) (1)
其中，y表示第一文本样本的标签信息，sigmoid(x)表示第一文本样本的第二预测结果，也即第一文本样本属于该标签的概率。
在此基础上，可以通过上述公式(1)计算出的第一文本样本的损失信息Loss，对初始融合评价模型进行迭代训练，即使用反向传播算法对初始融合评价模型中的参数进行权值更新，以此来降低该第一文本样本的损失信息Loss，直至损失信息小于某一预设的损失阈值，或者训练得到的模型收敛，从而得到最终的融合评价模型。
在本实施例中，通过将第一文本样本对应的多个文本评价任务统一为序列标注任务，这样，可以使得多个文本评价任务的损失函数形式可以统一，从而避免了对不同文本评价任务的损失函数的权重调和，即无需对不同损失函数的权重超参进行设计。因此，减少了不必要的计算过程和变量引入，由此不仅可以提高融合评价模型的准确性，而且可以提高融合评价模型的训练效率。
图5为本发明实施例提供的文本内容的评价方法的流程示意图之二，本实施例在上述各实施例的基础上，对每类内容评价模型中包括至少两个目标内容评价模型时，如何得到第一文本样本对应的至少两个目标评价结果的具体实现过程进行详细说明。如图5所示，该方法包括：
步骤501：获取多个无标注信息的第一文本样本。
其中，步骤501与步骤201的实现过程类似，具体可以参照步骤201中的相关描述，此处不再赘述。
步骤502：针对各类内容评价模型，将第一文本样本分别输入内容评价模型对应的至少两个目标内容评价模型中，得到第一文本样本对应的至少两个初始评价结果。
应理解，采用多个目标内容评价模型得到的预测结果要比采用单个目标内容评价模型得到的预测结果效果更好。因此，为了提高目标评价结果的准确性，各类内容评价模型中可以包括至少两个目标内容评价模型。
其中，各类内容评价模型中包括的至少两个目标内容评价模型可以是相同的模型结构，也可以是不同的模型结构。在实际应用中，无论至少两个目标内容评价模型的结构是否相同，但是通常均会设置为统一序列标注模型。在至少两个目标内容评价模型的结构确定的情况下，可以通过如下方式在训练数据相同的情况下得到不同的模型：替换随机种子，在不同的随机种子下，模型参数的初始化值不同，这样，最终训练好的内容评价模型也不同。另外，还可以通过替换不同的预训练模型的方式，除BERT外，还可以选择使用RoBERTa、XLNET和DeBERTa(Decoding-enhanced BERT with disentangled Attention，注意力分散的增强解码的BERT)等模型结构。
示例性的，图6为本发明实施例提供的目标评价结果的生成示意图之二，如图6所示，假设有三类内容评价模型，其中，任务1内容评价模型包括任务1目标内容评价模型1、任务1目标内容评价模型2和任务1目标内容评价模型3，任务2内容评价模型和任务3内容评价模型类似。将无标注信息的第一文本样本输入至各类内容评价模型对应的三个目标内容评价模型中后，可以得到每个目标内容评价模型输出的初始评价结果。例如，如任务1目标内容评价模型1输出任务1初始评价结果1、任务1目标内容评价模型2输出任务1初始评价结果2、任务1目标内容评价模型3输出任务1初始评价结果3等。
步骤503：基于第一文本样本对应的至少两个初始评价结果，确定第一文本样本对应的目标评价结果。
具体地，在针对各类内容评价模型，得到第一文本样本对应的至少两个初始评价结果后，可以依据预设的筛选规则，对该类内容评价模型对应的至少两个初始评价结果进行筛选，从而得到第一文本样本对应的目标评价结果。在具体的实现过程中，可以通过投票或者加权等方式确定目标评价结果。
在一种可能的实现方式中，在目标内容评价模型的数量为至少三个，在基于第一文本样本对应的至少两个初始评价结果，确定第一文本样本对应的目标评价结果时，可以将第一文本样本对应的至少三个初始评价结果中，占比最高的初始评价结果，确定为第一文本样本对应的目标评价结果。
示例性的，以图6中任务1为例，针对多个无标注信息的第一文本样本，将第一文本样本输入至任务1对应的三个目标内容评价模型后，可以得到第一文本样本对应的三个初始评价结果。将这三个初始评价结果中占比最高的初始评价结果(两个相同评价结果)作为第一文本样本对应的目标评价结果，即采用了少数服从多数(投票)的思想，将第一文本样本的多个初始评价结果进行了融合。
具体地，n个初始评价结果中若有至少n-1个初始评价结果一致，则保留这n-1个模型预测出的同一初始评价结果，并将其作为第一文本样本的目标评价结果。举例来说，假设图6中三个任务1目标内容评价模型对“I am hapy that you come.”这一第一文本样本的初始评价结果分别是：hapy->happy、hapy->happy和hapy->good。可见，在三个初始评价结果中，存在两个初始评价结果是一致的，此时，则认为该第一文本样本的初始评价结果是准确的，也即将hapy->happy作为目标评价结果，而将其他的初始评价结果进行舍弃或者剔除。
同样地，继续参照图6，在任务2和任务3上，第一文本样本也都经过三个目标内容评价模型的评价，各得到三个初始评价结果，并通过投票的方式确定出任务2和任务3各自的目标评价结果。这样，在任意一个无标注信息的第一文本样本上，都可以获取到3个任务的目标评价结果，以便应用于后续的融合评价模型的训练当中。例如，假设以第一文本样本为“I am hapy that you come”为例，任务1对应的目标评价结果是“hapy->happy”；而任务2的目标评价结果是“宾语从句”；任务3的目标评价结果是“心理描写”。基于此，可以将获取到的三个目标评价结果进行合并，以得到第一文本样本的标签信息为“hapy-happy”、“宾语从句”和“心理描写”。
上述方式与有标注的训练数据的区别在于：有标注的训练数据中各个文本样本通常只有一个任务的标注信息，而经过上述多个目标内容评价模型评价后的每个第一文本样本，都将有所有任务的标注信息，即前述第一文本样本的标签信息。
在本实施例中，在各类内容评价模型中目标评价模型的数量为至少三个的情况下，第一文本样本在面对不同文本评价任务时，均可以得到至少三个初始评价结果，以将占比最高的初始评价结果作为第一文本样本对应的目标评价结果。这样，可以使得作为第一文本样本的标签信息的目标评价结果更加准确，可以提高融合评价模型的准确性，从而提高了文本评价的精确度。
步骤504：基于多个无标注信息的第一文本样本以及各第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练，得到融合评价模型，融合评价模型用于对待评价文本从至少两个文本评价维度进行评价。
其中，步骤504与步骤202的实现过程类似，具体可以参照步骤202中的相关描述，此处不再赘述。
本实施例提供的文本内容评价模型的训练方法中，在各类内容评价模型中目标内容评价模型的数量为至少两个的情况下，使得第一文本样本在面对每个文本评价任务时，都可以得到至少两个初始评价结果，以便可以在至少两个的初始评价结果中挑选出更加准确的初始评价结果，并将其作为第一文本样本的目标评价结果。这样，可以使得作为第一文本样本的标签信息的目标评价结果更为准确，提高了融合评价模型的准确性。
进一步地，上述各实施例中提及的内容评价模型，可以通过如下方式训练得到：获取多个有标注信息的第二文本样本，每个第二文本样本的标注信息为基于目标文本评价维度对第二文本样本进行评价后得到的，目标文本评价维度为至少两个文本评价维度中的任意一个；基于各第二文本样本和对应的标注信息，对初始内容评价模型进行迭代训练，得到与目标文本评价维度对应的内容评价模型。
示例性的，图7为本发明实施例提供的内容评价模型的训练示意图，如图7所示，在通过不同目标文本评价维度对第二文本样本进行评价后，可以得到不同标注信息的第二文本样本，通过对这些不同标注信息的第二文本样本进行分类，可以得到同一文本评价任务的标注信息所对应的第二文本样本，即图7中所示的任务1所对应的第二文本样本、任务2所对应的第二文本样本以及任务3所对应的第二文本样，并基于各同一文本评价任务的第二文本样本和对应的标注信息，对初始内容评价模型进行迭代训练，即通过反向传播(BackPropagation，BP)算法来更新模型中的参数权重，从而获得与该文本评价任务相对应的内容评价模型。例如，可以采用任务1所对应的第二文本样本对任务1对应的初始内容评价模型进行迭代训练，得到任务1对应的内容评价模型，对于任务2和任务3对应的内容评价模型的训练过程与任务1类似，此处不再赘述。
需要进行说明的是，上述不同的任务可以对应不同的文本评价维度，如任务1对应文本评价维度1，例如是否存在拼写错误，任务2对应文本评价维度2，例如是否存在复杂句式，任务3对应文本评价维度3，例如是否存在细节描写的句式等等。
在本实施例中，通过包括有标注信息的第二文本样本，以及对应的标注信息，对初始内容评价模型进行迭代训练，得到更加准确的与目标文本评价维度对应的内容评价模型。这样，在后续采用内容评价模型确定第一文本样本的目标评价结果时，可以提高目标评价结果的准确度，从而为后续获得更加准确的融合评价模型提供了基础。
进一步地，在上述实施例的基础上，为了提高后续得到的目标评价结果的准确度，初始内容评价模型中可以包括至少三个模型，在基于第二文本样本和对应的标注信息，对初始内容评价模型进行迭代训练时，可以得到与目标文本评价维度对应的至少三个目标内容评价模型。
其中，各类初始内容评价模型中的目标内容评价模型可以是相同的模型结构，也可以是不同的模型结构，对此不做具体限制。
示例性的，图8为本发明实施例提供的目标内容评价模型的训练示意图，如8所示，对获取的第二文本样本进行标注、分类，得到不同文本评价任务对应的第二文本样本后，可以基于同一文本评价任务对应的第二文本样本，对同一文本评价任务的三个初始目标内容评价模型进行迭代训练，以得到各类文本评价任务的三个目标内容评价模型。其中，迭代训练的方式与上述实施例中的迭代训练的方式相同，此处不再赘述。
在本实施例中，通过将各类初始内容评价模型中初始目标内容评价模型的数量设置为至少三个，使得第二文本样本在面对同一个文本评价任务时，可以基于至少三个目标内容评价模型，输出至少三个初始评价结果，从而可以基于至少三个初始评价结果确定目标评价结果。这样，可以提高目标评价结果的准确性，为融合评价模型的训练提供了基础，实现了更高准确率的文本评价。
下面对本发明实施例提供的文本内容的评价装置进行描述，下文描述的文本内容的评价装置与上文描述的文本内容的评价方法可相互对应参照。
图9为本发明实施例提供的文本内容的评价装置的结构示意图，如图9所示，该装置包括：
获取模块901，用于获取待评价文本；
输入模块902，用于将待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各第一文本样本输入至少两类内容评价模型中得到。
本发明实施例提供的文本内容的评价装置中的融合评价模型为基于获取模块901获取到的多个无标注信息的第一文本样本以及各。第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各第一文本样本通过输入模块902输入至少两类内容评价模型中得到的。由此，在基于第一文本样本以及第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练的过程中，可以将同一个第一文本样本对应的至少两个文本评价维度的目标评价结果作为标签对初始融合评价模型进行迭代训练，这样，可以使得不同文本评价维度所对应的第一文本样本的数量之间的差值较小，由此避免了在对融合评价模型进行训练时，不同文本评价维度对应的文本评价任务的训练数据样本量差别较大而导致的融合评价模型不准确的问题，提高了融合评价模型的准确性，进而可以将获取的待评价文本输入更为准确的融合评价模型中，得到更为精确的文本评价结果。
可选地，所述输入模块902，具体用于：
将待评价文本输入融合评价模型中，得到待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果；
基于待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果，确定待评价文本在至少两个文本评价维度的评价结果。
可选地，所述输入模块902，还用于将第一文本样本输入初始融合评价模型中，得到第一文本样本的标注序列，标注序列中包括第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果；
训练模块，用于将第一文本样本对应的至少两个目标评价结果作为第一文本样本的标签信息，并基于第一文本样本的标签信息和对应的标注序列，对初始融合评价模型进行迭代训练，得到融合评价模型。
可选地，所述训练模块，具体用于：
基于第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果，确定第一文本样本的第二预测评价结果；
基于第一文本样本的标签信息和第二预测评价结果，确定第一文本样本的损失信息；
基于第一文本样本的损失信息，对初始融合评价模型进行迭代训练，得到融合评价模型。
可选地，各类内容评价模型中包括至少两个目标内容评价模型；所述输入模块902，具体用于
针对各类内容评价模型，将第一文本样本分别输入内容评价模型对应的至少两个目标内容评价模型中，得到第一文本样本对应的至少两个初始评价结果；
基于第一文本样本对应的至少两个初始评价结果，确定第一文本样本对应的目标评价结果。
可选地，目标内容评价模型的数量为至少三个；
所述输入模块902包括：
确定单元，用于将第一文本样本对应的至少三个初始评价结果中，占比最高的初始评价结果，确定为第一文本样本对应的目标评价结果。
可选地，所述获取模块901，还用于获取多个有标注信息的第二文本样本，每个第二文本样本的标注信息为基于目标文本评价维度对第二文本样本进行评价后得到的，目标文本评价维度为至少两个文本评价维度中的任意一个；
所述训练模块，还用于基于各第二文本样本和对应的标注信息，对初始内容评价模型进行迭代训练，得到与目标文本评价维度对应的内容评价模型。
本实施例的装置，可以用于执行文本内容的评价装置侧方法实施例中任一实施例的方法，其具体实现过程与技术效果与文本内容的评价装置侧方法实施例中类似，具体可以参见文本内容的评价装置侧方法实施例中的详细介绍，此处不再赘述。
图10示例了一种电子设备的实体结构示意图之一，如图10所示，该电子设备可以包括：处理器(processor)1001、通信接口(Communications Interface)1002、存储器(memory)1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信。处理器1001可以调用存储器1003中的逻辑指令，以执行文本内容的评价方法，该方法包括：获取待评价文本；将待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各第一文本样本输入至少两类内容评价模型中得到的。
此外，上述的存储器1003中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
图11示例了一种电子设备的实体结构示意图之二，如图11所示，该电子设备可以包括：处理器(processor)1101、通信接口(Communications Interface)1102、存储器(memory)1103和通信总线1104，还包括显示屏1105，其中，处理器1101、通信接口1102、存储器1103、显示屏1105通过通信总线1104完成相互间的通信。显示屏1105用于显示评价结果，处理器1101可以调用存储器1103中的逻辑指令，以执行所述计算机程序中的融合评价模型，对待评价文本进行处理，得到至少两个文本评价维度的评价结果；其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到的。
此外，上述的存储器1103中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的文本内容的评价方法，该方法包括：获取待评价文本；将待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各第一文本样本输入至少两类内容评价模型中得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的文本内容的评价方法，该方法包括：获取待评价文本；将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各第一文本样本输入至少两类内容评价模型中得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种文本内容的评价方法，其特征在于，包括：
获取待评价文本；
将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到的。
2.根据权利要求1所述的文本内容的评价方法，其特征在于，所述将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，包括：
将所述待评价文本输入所述融合评价模型中，得到所述待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果；
基于所述待评价文本中各个元素的位置标记和至少两个文本评价维度的目标预测评价结果，确定所述待评价文本在至少两个文本评价维度的评价结果。
3.根据权利要求1所述的文本内容的评价方法，其特征在于，所述基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练，得到所述融合评价模型，包括：
将所述第一文本样本输入所述初始融合评价模型中，得到所述第一文本样本的标注序列，所述标注序列中包括所述第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果；
将所述第一文本样本对应的至少两个目标评价结果作为所述第一文本样本的标签信息，并基于所述第一文本样本的标签信息和对应的标注序列，对所述初始融合评价模型进行迭代训练，得到所述融合评价模型。
4.根据权利要求3所述的文本内容的评价方法，其特征在于，所述基于所述第一文本样本的标签信息和对应的标注序列，对所述初始融合评价模型进行迭代训练，得到所述融合评价模型，包括：
基于所述第一文本样本中各个元素的位置标记和至少两个文本评价维度的第一预测评价结果，确定所述第一文本样本的第二预测评价结果；
基于所述第一文本样本的标签信息和第二预测评价结果，确定所述第一文本样本的损失信息；
基于所述第一文本样本的损失信息，对所述初始融合评价模型进行迭代训练，得到所述融合评价模型。
5.根据权利要求1-4任一项所述的文本内容的评价方法，其特征在于，各类所述内容评价模型中包括至少两个目标内容评价模型；
所述第一文本样本对应的至少两个目标评价结果为基于如下方式得到：
针对各类内容评价模型，将所述第一文本样本分别输入所述内容评价模型对应的至少两个目标内容评价模型中，得到所述第一文本样本对应的至少两个初始评价结果；
基于所述第一文本样本对应的至少两个初始评价结果，确定所述第一文本样本对应的所述目标评价结果。
6.根据权利要求5所述的文本内容的评价方法，其特征在于，所述目标内容评价模型的数量为至少三个；
所述基于所述第一文本样本对应的至少两个初始评价结果，确定所述第一文本样本对应的所述目标评价结果，包括：
将所述第一文本样本对应的至少三个初始评价结果中，占比最高的初始评价结果，确定为所述第一文本样本对应的所述目标评价结果。
7.根据权利要求1-4任一项所述的文本内容的评价方法，其特征在于，所述方法还包括：
获取多个有标注信息的第二文本样本，每个所述第二文本样本的标注信息为基于目标文本评价维度对所述第二文本样本进行评价后得到的，所述目标文本评价维度为所述至少两个文本评价维度中的任意一个；
基于各所述第二文本样本和对应的所述标注信息，对初始内容评价模型进行迭代训练，得到与所述目标文本评价维度对应的内容评价模型。
8.一种文本内容的评价装置，其特征在于，包括：
获取模块，用于获取待评价文本；
输入模块，用于将所述待评价文本输入融合评价模型中，得到至少两个文本评价维度的评价结果，其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述文本内容的评价方法。
10.一种电子设备，包括显示屏，还包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序中的融合评价模型，对待评价文本进行处理，得到至少两个文本评价维度的评价结果；
所述显示屏用于显示所述评价结果；
其中，所述融合评价模型为基于多个无标注信息的第一文本样本以及各所述第一文本样本对应的至少两个目标评价结果，对初始融合评价模型进行迭代训练后得到的，所述至少两个目标评价结果为将各所述第一文本样本输入至少两类内容评价模型中得到的。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述文本内容的评价方法。
CN202211689676.7A 2022-12-27 2022-12-27 文本内容的评价方法、装置、电子设备及存储介质 Pending CN115879444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211689676.7A CN115879444A (zh) 2022-12-27 2022-12-27 文本内容的评价方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211689676.7A CN115879444A (zh) 2022-12-27 2022-12-27 文本内容的评价方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115879444A true CN115879444A (zh) 2023-03-31

Family

ID=85754822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211689676.7A Pending CN115879444A (zh) 2022-12-27 2022-12-27 文本内容的评价方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115879444A (zh)

Similar Documents

Publication Publication Date Title
CN109471915B (zh) 一种文本评价方法、装置、设备以及可读存储介质
CN110852087A (zh) 中文纠错方法和装置、存储介质及电子装置
CN112070138B (zh) 多标签混合分类模型的构建方法、新闻分类方法及系统
CN110825875A (zh) 文本实体类型识别方法、装置、电子设备和存储介质
CN110222330B (zh) 语义识别方法及装置、存储介质、计算机设备
CN106778878B (zh) 一种人物关系分类方法及装置
CN111339260A (zh) 一种基于bert和qa思想的细粒度情感分析方法
CN114510570A (zh) 基于小样本语料的意图分类方法、装置及计算机设备
CN112420205A (zh) 实体识别模型生成方法、装置及计算机可读存储介质
CN110968725A (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN110765241B (zh) 推荐题的超纲检测方法、装置、电子设备和存储介质
CN115640200A (zh) 对话系统的评估方法、装置、电子设备及存储介质
CN107783958B (zh) 一种目标语句识别方法及装置
CN115270728A (zh) 会议记录处理方法、装置、设备及存储介质
CN118378148A (zh) 多标签分类模型的训练方法、多标签分类方法及相关装置
CN117709317A (zh) 报表文件的处理方法、装置及电子设备
CN113569112A (zh) 基于题目的辅导策略提供方法、系统、装置及介质
CN113705207A (zh) 语法错误识别方法及装置
CN111813941A (zh) 结合rpa和ai的文本分类方法、装置、设备及介质
CN112084788A (zh) 一种影像字幕隐式情感倾向自动标注方法及系统
CN113434630B (zh) 客服服务评估方法、装置、终端设备及介质
CN115841156A (zh) 一种平面几何题的解答方法、装置、存储介质及设备
CN115879444A (zh) 文本内容的评价方法、装置、电子设备及存储介质
CN115455143A (zh) 一种文献处理方法及装置
CN114357964A (zh) 主观题评分方法、模型的训练方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination