CN113392638A - 文本评估方法、装置、设备及介质 - Google Patents

文本评估方法、装置、设备及介质 Download PDF

Info

Publication number
CN113392638A
CN113392638A CN202110652038.7A CN202110652038A CN113392638A CN 113392638 A CN113392638 A CN 113392638A CN 202110652038 A CN202110652038 A CN 202110652038A CN 113392638 A CN113392638 A CN 113392638A
Authority
CN
China
Prior art keywords
probability value
character
target
text
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110652038.7A
Other languages
English (en)
Other versions
CN113392638B (zh
Inventor
许士亭
贾培磊
许国伟
丁文彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century TAL Education Technology Co Ltd
Original Assignee
Beijing Century TAL Education Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Century TAL Education Technology Co Ltd filed Critical Beijing Century TAL Education Technology Co Ltd
Priority to CN202110652038.7A priority Critical patent/CN113392638B/zh
Publication of CN113392638A publication Critical patent/CN113392638A/zh
Application granted granted Critical
Publication of CN113392638B publication Critical patent/CN113392638B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本公开实施例涉及文本评估方法、装置、设备及介质，其中该方法包括：获取目标问题以及待评估的目标文本；基于目标问题和目标文本进行字符编码处理，得到字符向量序列；基于字符向量序列，利用预训练的概率预测模型，获得概率值，其中，该概率值用于表征目标文本包括有与目标问题相对应的应答内容的概率；基于概率值，对目标文本进行评估。上述方式无需人工分析即能够自动判别出文本是否针对目标问题进行回应，并基于此对文本进行评估，在节约人工成本的基础上也进一步提升了文本评估效率。

Description

文本评估方法、装置、设备及介质
技术领域
本公开涉及信息处理技术领域，尤其涉及文本评估方法、装置、设备及介质。
背景技术
在一些场合中通常需要评估文本质量，评估的关键准则之一在于判断该文本是否对指定问题进行回应，也即，判断该文本中是否包含有针对指定问题的回答内容，该判断过程主要依赖于人工分析。
诸如，要点类的作文题目通常会包含一个或多个要点问题，学生在作文中需要对这些要点问题进行回应，老师则需要花费大量时间去分析学生作文，判断学生作文是否回答了要点题目，以此进行作文质量评估。
然而，上述人工评估方式费时费力，效率低下，而且所需人工成本较高。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了文本评估方法、装置、设备及介质。
根据本公开实施例的一方面，提供了一种文本评估方法，所述方法包括：获取目标问题以及待评估的目标文本；基于所述目标问题和所述目标文本进行字符编码处理，得到字符向量序列；基于所述字符向量序列，利用预训练的概率预测模型，获得概率值，其中，所述概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的概率；基于所述概率值，对所述目标文本进行评估。
根据本公开实施例的另一方面，提供了一种文本评估装置，包括：获取模块，用于获取目标问题以及待评估的目标文本；编码模块，用于基于所述目标问题和所述目标文本进行字符编码处理，得到问题字符向量序列和文本字符向量序列；概率预测模块，用于基于所述字符向量序列，利用预训练的概率预测模型，获得概率值，其中，所述概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的概率；评估模块，用于基于所述概率值，对所述目标文本进行评估。
根据本公开实施例的另一方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的文本评估方法。
根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的文本评估方法。
根据本公开实施例的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现本公开实施例提供的文本评估方法。
本公开实施例提供的上述技术方案，能够获取目标问题以及待评估的目标文本，并基于目标问题和目标文本进行字符编码处理，得到字符向量序列，进而基于该字符向量序列，利用预先训练得到的概率预测模型获得用于表征目标文本包括有目标问题对应的应答内容的概率值，之后则可以基于该概率值对目标文本进行评估。上述方式无需人工分析即能够自动判别出文本是否针对目标问题进行回应，并基于此对文本进行评估，在节约人工成本的基础上也进一步提升了文本评估效率。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种文本评估方法的流程示意图；
图2为本公开实施例提供的一种回应检测模型的结构示意图；
图3为本公开实施例提供的另一种回应检测模型的结构示意图；
图4为本公开实施例提供的一种文本评估装置的结构示意图；
图5为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
考虑到相关技术中大多需要人工判别文本中是否针对问题进行回应，人工成本较高而且效率低下，尤其对于教育领域而言，教师经常需要针对诸如简答题、要点类作文等各种形式的问答题进行评分，通过查找学生的作答记录中是否包含有与问题相应的回答内容，来判断学生的作答记录是否针对问题进行回应，从而针对学生的作答记录进行评分。这种方式非常浪费老师时间和精力，而且效率低下，学生等待评估反馈的时间也较长。为改善此问题，本公开实施例提供了一种文本评估方法、装置、设备及介质，能够自动评估文本中是否针对问题进行回应，在此基础上，还可以进一步标记出文本中的应答内容，且本公开实施例对文本语言不进行限制，诸如该文本可以为中文文本、英文文本、德语文本等各种语言的文本，为便于理解，本公开实施例详细说明如下。
首先，本公开实施例提供了一种文本评估方法，图1为本公开实施例提供的一种文本评估方法的流程示意图，该方法可以由文本评估装置执行，其中该装置可以采用软件和/或硬件实现，一般可集成在电子设备中。如图1所示，该方法主要包括如下步骤S102～步骤S108：
步骤S102，获取目标问题以及待评估的目标文本。
目标问题和待评估的目标文本可以是由用户通过指定接口上传给执行文本评估方法的电子设备的，也可以是执行文本评估方法的电子设备按照指定途径下载得到的，获取方式在此不进行限制。此外，目标问题与目标文本的语言形式相同，可以是中文、英文等各种语言形式，在此不进行限制。诸如，该目标文本可以是英文作文，目标问题为包含有要点问题的英文题目。要点问题诸如可以是“解释为什么电视台选择你们学校”、“说明这个节目什么时候在电视上播放”、“解释你为什么需要调整时间”、“建议一个在周二见面的新时间”等。
步骤S104，基于目标问题和目标文本进行字符编码处理，得到字符向量序列。
示例性地，可以将目标问题和目标文本以字符形式(token)进行编码，得到字符向量序列。应当注意的是，本公开实施例中统一以“字符”进行说明，作为句子的最小划分单元。在实际应用中，还可以用“单词”、“字码”、“字词”等等描述方式进行等同说明，在此不进行限制。
在一些实施方式中，上述字符向量序列可以包括目标文本相应的文本字符向量序列和目标问题相应的问题字符向量序列，示例性地，可参照如下三种方式实现：(1)在进行字符编码处理时，可以对目标问题和目标文本分别进行字符编码处理，得到独立的问题字符向量序列和文本字符向量序列，将独立的问题字符向量序列和文本字符向量序列均作为步骤S104最后得到的字符向量序列；(2)先将目标问题和目标文本进行拼接，对拼接成的字符串进行字符编码处理，得到包含有问题字符向量序列和文本字符向量序列的整条字符向量序列，将包含有问题字符向量序列和文本字符向量序列的整条字符向量序列作为步骤S104最后得到的字符向量序列；(3)先对目标问题和目标文本分别进行字符编码处理，得到独立的问题字符向量序列和文本字符向量序列，然后再按照预设方式对问题字符向量序列和文本字符向量序列进行拼接，将拼接后的字符向量序列作为步骤S104最后得到的字符向量序列。实际应用中，可以根据需求选用上述三种方式中的任一种，当然以上三种仅为示例性说明，还可以采用其它方式表达字符特征向量，在此不进行限定。另外，还可以在进行字符编码处理之前，先对目标问题和目标文本进行预处理，诸如冗余词删除处理、字符拆分处理等，以便降低概率预测模型的处理难度。
步骤S106，基于字符向量序列，利用预训练的概率预测模型，获得概率值，其中，该概率值用于表征目标文本包括有与目标问题相对应的应答内容的概率。也即，将字符向量序列输入至预先训练得到的概率预测模型，通过概率预测模型得到目标文本包括有与目标问题相对应的应答内容的概率值。
该概率预测模型是通过训练集对神经网络模型进行训练得到，诸如，该训练集中包含文本样本以及与文本样本关联的问题样本，且该文本样本携带有其是否针对问题样本进行应答的结论标签，和/或，该文本样本携带有针对问题样本进行应答的内容的起始字符标签和结束字符标签，也即该文本样本标注有应答内容的具体位置。训练得到的概率预测模型能够输出符合预期的判别结果，具体而言，能够在字符特征层面上对上述字符向量序列进行分析，得到目标文本包括有与目标问题相对应的应答内容的概率；在一种实施方式中，该概率预测模型能够优先识别出字符向量序列中的文本字符向量序列，并对文本字符向量序列进行分析，判别文本字符向量序列中是否包含有与问题字符向量序列相匹配的内容的概率值，将该概率值作为目标文本包括有与目标问题相对应的应答内容的概率；在另一些实施方式中，该概率预测模型能够直接对整条字符向量序列进行分析，判别字符向量序列中是否包含有与目标问题相对应的内容的初始概率值，并进一步从字符向量序列中提取出预测得到的与目标问题相对应的内容，如果该内容属于目标文本(也即，该内容属于文本字符向量序列)，则将该初始概率值作为目标文本包括有与目标问题相对应的应答内容的概率值。
步骤S108，基于概率值，对目标文本进行评估。
在一些实施方式中，可以仅根据概率值评估目标文本是否应答目标问题。
在另一些实施方式中，可以根据概率值首先判别目标文本是否包括有与目标问题相对应的应答内容，进一步根据判别结果对目标文本进行质量评估。
示例性地，可以比较概率值与预设阈值的大小，如果概率值大于预设阈值，则确定目标文本针对目标问题进行应答，如果概率值不大于预设阈值，则确定目标文本未针对目标问题进行应答；进而根据判断结果对目标文本进行质量评估，示例性地，该质量评估方式可以是对目标文本进行评分，诸如，如果判别出目标文本针对目标问题进行应答，则可赋予相应分值。
本公开实施例提供的上述方式无需人工分析即能够自动判别出文本是否针对目标问题进行回应，并基于此对文本进行评估，在节约人工成本的基础上也进一步提升了文本评估效率。
为了简化概率预测模型的结构，降低概率预测模型的预测难度，在一些实施方式中，基于目标问题和目标文本进行字符编码处理，得到字符向量序列时，可以参照如下(1)至(2)实现：
(1)对目标问题进行预处理；其中，预处理包括：人称代词转换处理和/或去除冗余词处理。诸如，将人称代词“你(you)”转换为“我 (I)”，去除“何时(when)”、“怎么(how)”、“何地(where)”等疑问词(或提问引导词)，以及除了疑问词之外的其它类型的冗余词，比如设置疑问词之前的动词去除，诸如题目为“解释你何时上学”，而“解释”作为“何时”之前的动词，被认为是冗余词，则可将其去除。最终将题目转换为“我上学”。这种对题目进行预处理的方式，主要目的在于让应答者(诸如学生)的回答视角与问题视角一致，从而有效降低概率预测模型在后续从目标文本中查找与目标问题相对应的内容的难度，简化概率预测模型的实现方式。
(2)通过编码器对预处理后的目标问题和目标文本进行字符编码处理，得到字符向量序列。编码器可以对预处理后的目标问题以及目标文本以字符形式进行编码，其中，编码器可以采用诸如BERT (Bidirectional Encoder Representations fromTransformers，基于转换器的双向编码表征)等编码器实现，或者采用诸如ELECTRA(Efficiently Learning an Encoder that Classifies Token ReplacementsAccurately)模型实现，在此对编码器的实现方式不进行限制。
在一些实施方式中，可以将预处理后的目标问题和目标文本以字符 (token)形式进行拼接，在拼接时，可采用诸如[sep]等特殊单词作为拼接词，以便编码器可以基于拼接词来区分哪部分字符属于目标问题，哪部分字符属于目标文本；另外，假设拼接时，目标问题的字符排在目标文本的字符之前，则可以在目标问题的起始字符前添加诸如[cls] 等特殊单词作为起始标识符，然后采用编码器直接对拼接后的字符进行编码，得到包含有问题字符向量序列和文本字符向量序列的整个字符向量序列。
通过上述方式，便于概率预测模型以字符层面来比对目标问题和目标文本，并分析目标文本中是否包含有与目标问题相对应的内容。
在一些实施方式中，概率预测模型包括第一概率预测模型和/或第二概率预测模型；以下分别进行阐述：
(一)第一概率预测模型
在概率预测模型包括第一概率预测模型的情况下，前述步骤S104 (基于字符向量序列，利用概率预测模型，获得概率值)可以参照如下方式实现：基于字符向量序列，利用第一概率预测模型，获得第一概率值，其中，第一概率值用于表征目标文本包括有与目标问题相对应的应答内容的细测概率。
也即，第一概率预测模型主要用于获得目标文本包括有与目标问题相对应的应答内容的细测概率。该细测概率即为第一概率预测模型针对字符向量序列进行精细预测所得的概率值，具体实现时，可利用第一概率预测模型对字符向量序列中的每个字符向量都进行分析预测，示例性地，分析该字符向量作为应答内容的起始字符的可能性以及作为应答内容的结束字符的可能性。为便于理解，以下给出了利用第一概率预测模型获得第一概率值的实施方式：
在一些实施方式中，能够针对字符向量序列中的每个字符向量，利用第一概率预测模型，获取该字符向量的起始概率值和结束概率值，其中，起始概率值用于表征该字符向量作为应答内容的起始字符的概率，结束概率值用于表征该字符向量作为应答内容的结束字符的概率；最后基于起始概率值和结束概率值，获取第一概率值。
在一些实施方式中，第一概率预测模型可以包含两个全连接网络 FFN1和FFN2，FFN1用于计算每个字符向量的起始概率值，FFN2用于计算每个字符向量的结束概率值。进一步的，FFN1和FFN2可以分别与softmax函数层相接，通过FFN1与softmax函数层计算得到每个字符向量的起始概率值，通过FFN2与softmax函数层计算得到每个字符向量的结束概率值。
在已知每个字符向量的起始概率值和结束概率值之后，为了便于对字符向量序列中是否包含有与目标问题相应的内容进行整体分析，可以使字符向量序列中的字符向量构成多个字符向量串组，每个字符向量串组包括连续排列的至少两个字符向量。
为便于理解，简单示例说明如下：假设字符向量序列包括20个字符，分别为字符1、字符2、字符3、字符4……字符20；则从字符1 开始，字符1和字符2可构成一个字符向量串组，字符1、字符2和字符3可构成一个字符向量串组，字符1、字符2、字符3和字符4可构成一个字符向量串组，依次类推，字符1、字符2一直到字符20都可以组成一个字符向量串组；另外，字符2和字符3可构成一个字符向量串组，字符2、字符3和字符4可构成一个字符向量串组，依次类推；字符3和字符4可构成一个字符向量串组，字符3、字符4和字符5 可构成一个字符向量串组，依次类推；按照以上排列组合的方式可以得到多个字符向量串组。
在字符向量序列中的字符向量构成多个字符向量串组，每个字符向量串组包括连续排列的至少两个字符向量的基础上，执行基于起始概率值和结束概率值，获取第一概率值的步骤时，可以参照如下步骤1～步骤3实现：
步骤1，对于每个字符向量串组，获取该字符向量串组包括的至少两个字符向量中第一个字符向量的起始概率值以及最后一个字符向量的结束概率值。
步骤2，将第一个字符向量的起始概率值以及最后一个字符向量的结束概率值的和值作为该字符向量串组的应答概率值。可以理解的是，字符向量串组的应答概率值与第一个字符向量的起始概率值以及最后一个字符向量的结束概率值直接相关；该字符向量串组的第一个字符向量的起始概率值越高，说明该第一个字符向量是应答内容的起始字符的可能性越高，该字符向量串组的最后一个字符向量的结束概率值越高，说明最后一个字符向量是应答内容的结束字符的可能性越高，相应的，起始概率值与结束概率值的和值(即应答概率值)越高，说明该字符向量串组是应答内容的可能性就越高。
步骤3，基于每个字符向量串组的应答概率值，确定第一概率值。在一种实施方式中，可以从所有字符向量串组的应答概率值中选取出最大应答概率值，将最大应答概率值作为第一概率值。
在已知每个字符向量串组的应答概率值的基础上，本公开实施例提供的文本评估方法还可以包括如下步骤3.1至步骤3.2：
步骤3.1，基于每个字符向量串组的应答概率值，确定具有最大应答概率值的目标字符向量串组；
步骤3.2，将所述目标字符向量串组对应的内容作为与所述目标问题相对应的应答内容。
应答概率值最大的目标字符向量串组即为最有可能与目标问题相应的内容(也即与目标问题匹配的内容，或者，针对目标问题进行回应的内容)，但是匹配程度可取决于第一概率值。也即，第一概率值越大，目标字符向量串组对应的内容越有可能是目标问题相对应的应答内容。
换言之，上述步骤1和步骤3也可以按照如下公式执行，来得到第一概率值为
Figure BDA0003111969800000101
其中，字符向量串组可表示为(token_k,token_l)，k,l表示token(字符向量)在输入序列中的位置，且有k<l，ד为输入至第一概率预测模型的所有字符总数，
Figure BDA0003111969800000102
表示第k个字符向量作为应答内容的起始字符的起始概率，
Figure BDA0003111969800000103
表示第l个字符向量作为应答内容的结束字符的结束概率，
Figure BDA0003111969800000104
则为字符向量串组的应答概率值，然后选择应答概率值最大的字符向量串组作为目标字符向量串组，最大的应答概率值作为第一概率预测模型输出的第一概率值。
其中，第一概率预测模型按照如下步骤训练得到：
获取第一训练样本集，第一训练样本集包括第一文本样本以及与第一文本样本关联的第一问题样本；其中，第一文本样本上携带有第一问题样本的应答内容的起始字符标签和结束字符标签；
采用第一训练样本集对预设的第一神经网络模型进行训练，得到第一概率预测模型。也即，通过在训练样本中标注应答内容的真实起点和真实终点，来对神经网络模型进行训练，使得训练好的第一概率预测模型能够较为准确的识别出应答内容的起始点和结束点，具体而言，第一概率预测模型也是通过预测每个字符向量的起始概率值和结束概率值，基于每个字符向量的起始概率值和结束概率值综合判别目标文本包括有与目标问题相对应的应答内容的第一概率值。
(二)第二概率预测模型
在概率预测模型包括第二概率预测模型的情况下，前述步骤S104 (基于字符向量序列，利用概率预测模型，获得概率值)可以参照如下方式实现：基于字符向量序列，利用第二概率预测模型，获得第二概率值，其中，第二概率值用于表征目标文本包括有与目标问题相对应的应答内容的粗测概率。其中，第二概率预测模型可以采用诸如全连接网络FFN(Feed Forward Neural Network，前馈神经网络)实现。
也即，第二概率预测模型主要用于获得目标文本包括有与目标问题相对应的应答内容的粗测概率。该粗测概率即为第二概率预测模型针对字符向量序列进行粗略预测所得的概率值。其中，第二概率预测模型按照如下步骤训练得到：
获取第二训练样本集，第二训练样本集包括第二文本样本以及与第二文本样本关联的第二问题样本；其中，第二文本样本携带有其是否针对第二问题样本进行应答的结论标签；
采用第二训练样本集对预设的第二神经网络模型进行训练，得到第二概率预测模型。实际上，第二神经网络模型的训练方式类似于二分类训练，在二分类中，神经网络模型输出的值通常是以概率形式表征，因而可以将输出概率作为上述第二概率值。当训练结束后，得到的第二概率预测模型能够较为准确的输出符合预期的概率值。
基于以上关于第一概率预测模型和第二概率预测模型的论述，在实际应用中，概率预测模型可以有如下三种实施方式：
实施方式一，概率预测模型仅包括第一概率预测模型。此时概率预测模型输出的概率值即为第一概率值，基于概率值判断目标文本是否应答目标问题时，可以判断第一概率值是否大于第一预设阈值，如果是，确定目标文本应答目标问题。
实施方式二，概率预测模型仅包括第二概率预测模型。此时概率预测模型输出的概率值即为第二概率值，基于概率值判断目标文本是否应答目标问题时，可以判断第二概率值是否大于第二预设阈值，如果是，确定目标文本应答目标问题。
实施方式三，概率预测模型既包括第一概率预测模型又包括第二概率预测模型。此时概率预测模型输出的概率值与第一概率值和第二概率值共同相关，一种实施方式中，概率预测模型输出的概率值为第一概率值和第二概率值的加权值；基于概率值判断目标文本是否应答目标问题时，可以判断第一概率值和第二概率值的加权值是否大于第三预设阈值，如果是，确定目标文本应答目标问题。诸如，预先设置第一概率值和第二概率值各自的权重系数，然后通过加权方式得到第一概率值和第二概率值的加权值。
实际应用中，上述第一预设阈值、第二预设阈值和第三预设阈值可以自行设定，彼此之间可以相同也可以不相同，在此不进行限定。
也即，利用预训练的概率预测模型获得的概率值可以为以下中的一种：第一概率值、第二概率值、第一概率值和第二概率值的加权值；此时，前述步骤S108(基于概率值，对目标文本进行评估)可以参照如下步骤执行：响应于确定概率值大于预设概率阈值，确定目标文本应答目标问题。可以理解的是，如果上述概率值为第一概率值，则预设概率阈值对应为上述第一预设阈值，如果上述概率值为第二概率值，则预设概率阈值对应为上述第二预设阈值，如果上述概率值为第一概率值和第二概率值的加权值，则预设概率阈值对应为上述第三预设阈值。实际应用中，可以对预设概率阈值自行设置，在此不进行限制。
进一步，为了更为清楚的为用户展示待评估文本中针对目标问题进行应答的内容，上述方法还包括：响应于确定目标文本应答目标问题，在目标文本中标识出与目标问题相对应的应答内容。示例性地，如果确定目标文本应答目标问题，在目标文本中标识出目标字符向量串组对应的内容，将标识出的内容作为目标文本中包含的针对目标问题的应答内容。诸如，以高亮方式标识目标文本中包含的针对目标问题的应答内容。此外，在对目标问题进行人称代词转换等处理的情况下，当利用第一概率预测模型针对整个字符向量序列中的每个字符向量进行处理时，为了进一步确保文本评估的准确性，还可以对目标字符向量串组进行验证，判别最终得到的目标字符向量串组是否属于文本字符向量序列的内容(也可以理解为，是否属于目标文本内容)，如果是，则确定目标字符向量串组对应的内容即为目标文本包括的与目标问题相对应的应答内容。验证的目的在于排除第一概率预测模型将问题字符向量序列的内容本身作为与目标问题相对应的应答内容的特殊情况。
应当注意的是，如果给定的目标问题有多个，则需逐一判别目标文本是否针对每个目标问题进行回应，也即，一次性输入给上述概率预测模型的仅是一个目标问题以及全部目标文本。
基于本公开实施例提供的以上文本评估方法的核心构思，本公开实施例进一步提供了如下针对文本评估方法的具体实施示例，具体阐述如下：
实施示例一：
在该本实施示例中，简单提供了一种回应检测模型，参见图2所示的一种回应检测模型的结构示意图，该回应检测模型包括依次连接的编码模块、预测模块和判别模块。
其中，编码模块中主要包括编码器，首先需要将目标文本和目标题目输入至编码器中，输入至编码器的目标问题可以是经过冗余词删除等预处理后的，然后由编码器分别对目标问题和目标文本进行编码处理，输出字符向量序列；预测模块包括第一概率预测模型和第二概率预测模型，第一概率预测模型输出的第一概率值和第二概率预测模型输出的第二概率值共同输入至判别模块，判别模块主要包括加权计算层和阈值比较层，其中，加权计算层用于计算第一概率值和第二概率值的加权值，阈值比较层用于比较加权值与预设阈值，最终基于比较结果得到目标文本是否包含目标题目的应答内容的判别结果。诸如，如果比较结果指示加权值大于或等于预设阈值，则得到目标文本包含目标题目的应答内容的判别结果；如果比较结果指示加权值小于预设阈值，则得到目标文本不包含目标题目的应答内容的判别结果。
实施示例二：
在该实施示例中给出了一个更为具体的应用场景以及模型结构，假设检测学生作文中是否有针对作文题目中的要点类问题进行回应，首先将问题进行预处理，将问题中的特定词汇(诸如冗余单词、提问引导词)等删除，并将人称代词进行转换，得到处理后的问题，然后将处理后的问题与学生作文进行拼接，得到拼接后的整条字符串，也即，问题和学生作文是结合在一起的。如图所示，采用[cls]作为起始标识符，采用[sep]作为问题字符串与作文字符串之间的拼接标识符，其中，
Figure BDA0003111969800000141
至
Figure BDA0003111969800000142
为问题字符串，
Figure BDA0003111969800000143
至
Figure BDA0003111969800000144
为作文字符串。通过起始标识符和拼接标识符，可以使模型清楚的获知哪部分属于问题，哪部分属于作文。在一些实施方式中，如果要点类问题有多个，则需要分别将要点类问题与学生作文进行拼接(学生作文一次仅与一个要点类问题拼接)，然后再输入至回应检测模型，以检测学生作文是否对拼接的要点类问题进行回应。在检测完毕后可再将学生作文与另外的要点类问题进行拼接，并再次输入至回应检测模型进行检测，如此操作，直至回应检测模型检测出学生作文是否针对所有要点类问题进行回应。
本实施示例二中提供了另一种回应检测模型，参见图3所示的另一种回应检测模型的结构示意图，该回应检测模型主要包括编码器、答案范围预测模块和响应验证模块。
其中，编码器的输入是要点类问题以及学生作文的拼接tokens(又可称为拼接字符串)，通过对拼接字符串进行向量转换，输出是包含有问题字符向量序列和作文字符向量序列(即前述文本字符向量序列) 的一整条字符向量序列HL。如图3所示，编码器可采用ELECTRA模型实现。
答案范围预测模块的输入是字符向量序列HL，输出是每个字符向量响应该要点问题的起始概率和结束概率；其中，答案范围预测模块包含有两个FFN，FFN1网络层(startposition FFN)通过与一个softmax 函数层连接，用于预测每个字符向量响应该要点问题的起始概率； FFN2网络层(start position FFN)通过与一个softmax连接，用于预测每个字符向量响应该问题的结束概率。
响应验证模块的输入是编码器及答案范围预测模块的输出结果，内部计算两个分数，分别为分数1(score1)和分数2(score2)，基于分数1和分数2判断字符向量序列是否包含有该问题的回应内容，并输出判断结果。其中，响应验证模块包含FFN3网络层、搜索算法和FFN4 网络层，FFN3网络层的输入为字符向量序列HL，输出为分数2(也即前述第二概率值)，搜索算法的输入为答案范围预测模块输出的每个字符向量响应该问题的起点概率(响应起点概率)和结束概率(响应结束概率)，输出为分数1(也即前述第一概率值)以及回应内容最可能的起始位置和结束位置。FFN4网络层的输入为分数1和分数2，通过对其进行加权计算得到最终得分(final_score)，并将最终得分(也即前述第一概率值和第二概率值的加权值)与预设分数阈值(也即前述预设概率阈值)进行比较，如果最终得分>预设分数阈值，则响应验证模块输出的判断结果为字符向量序列包含有该问题的回应内容，否则不包含。
其中，搜索算法主要是确定每个可能的字符向量串组token pair (token_k,token_l)的概率，然后选择概率最大的目标字符向量串组作为最有可能的回应内容。
Figure BDA0003111969800000151
进一步，由于回应检测模型的输入是问题及作文的拼接字符串，考虑到在某些实施方式中，模型中的答案范围预测模块可能是对拼接字符串中的所有字符向量(包含问题字符向量)一起处理，诸如针对所有字符向量均计算了起始概率和结束概率，因而有可能将问题字符向量的内容作为了应答内容，在此情况下，如果响应验证模块输出的结论为学生作文回应该要点问题，则进一步判断回应内容是否位于作文区域(也即概率最大的目标字符串组是否属于作文字符向量序列)，以排除回应检测模型将要点问题中的内容作为回应内容的情况。
应当注意的是，本公开实施例提供的上述实施示例一和实施示例二中的回应检测模型的模型结构仅是示意性说明，模型所包含的多个模块可以灵活划分，诸如，在实施示例一中的回应检测模型，将第一概率预测模型和第二概率预测模型均划分为预测模块，而在实施示例二中的回应检测模型，则将第二概率预测模型(FFN3网络层)划分为答案范围预测模块，而将第一概率预测模型(FFN1网络层和FFN2网络层)划分为响应验证模块。
综上所述，本公开实施例提供的文本评估方法，无需人工分析即能够自动评估文本中是否针对问题进行回应，在此基础上，还可以进一步标记出文本中的应答内容，并基于此对文本进行评估，在节约人工成本的基础上也进一步提升了文本评估效率。
对应于前述文本评估方法，本公开实施例提供了一种文本评估装置，图4为本公开实施例提供的一种文本评估装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在电子设备中，如图4所示，文本评估装置400包括如下模块：
获取模块402，用于获取目标问题以及待评估的目标文本；
编码模块404，用于基于目标问题和目标文本进行字符编码处理，得到字符向量序列；
概率预测模块406，用于基于字符向量序列，利用预训练的概率预测模型，获得概率值，其中，概率值用于表征目标文本包括有与目标问题相对应的应答内容的概率；
评估模块408，用于基于概率值，对目标文本进行评估。
本公开实施例提供的上述装置无需人工分析即能够自动判别出文本是否针对目标问题进行回应，并基于此对文本进行评估，在节约人工成本的基础上也进一步提升了文本评估效率。
在一些实施方式中，所述概率预测模型包括第一概率预测模型，上述概率预测模块406具体用于：基于所述字符向量序列，利用所述第一概率预测模型，获得第一概率值，其中，所述第一概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的细测概率。
在一些实施方式中，所述概率预测模型包括第二概率预测模型，并且其中，上述概率预测模块406具体用于：基于所述字符向量序列，利用所述第二概率预测模型，获得第二概率值，其中，所述第二概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的粗测概率。
在一些实施方式中，上述概率预测模块406具体用于：针对所述字符向量序列中的每个字符向量，利用所述第一概率预测模型，获取该字符向量的起始概率值和结束概率值，其中，所述起始概率值用于表征该字符向量作为所述应答内容的起始字符的概率，所述结束概率值用于表征该字符向量作为所述应答内容的结束字符的概率；基于所述起始概率值和所述结束概率值，获取所述第一概率值。
在一些实施方式中，所述字符向量序列中的字符向量构成多个字符向量串组，每个字符向量串组包括连续排列的至少两个字符向量，上述概率预测模块406具体用于：针对每个字符向量串组，获取该字符向量串组包括的至少两个字符向量中第一个字符向量的起始概率值以及最后一个字符向量的结束概率值；将所述第一个字符向量的起始概率值以及所述最后一个字符向量的结束概率值的和值作为该字符向量串组的应答概率值；基于每个字符向量串组的应答概率值，确定所述第一概率值。
在一些实施方式中，上述装置还包括：应答内容确定模块，用于：基于每个所述字符向量串组的应答概率值，确定具有最大应答概率值的目标字符向量串组；将所述目标字符向量串组对应的内容作为与所述目标问题相对应的应答内容。
在一些实施方式中，所述概率值为以下中的一种：所述第一概率值、所述第二概率值、所述第一概率值和所述第二概率值的加权值；上述评估模块408具体用于：响应于确定所述概率值大于预设概率阈值，确定所述目标文本应答所述目标问题。
在一些实施方式中，上述装置还包括：内容标识模块，用于响应于确定所述目标文本应答所述目标问题，在所述目标文本中标识出与所述目标问题相对应的应答内容。
在一些实施方式中，上述装置还包括第一概率预测模型训练模块，用于：获取第一训练样本集，所述第一训练样本集包括第一文本样本以及与所述第一文本样本关联的第一问题样本；其中，所述第一文本样本上携带有所述第一问题样本的应答内容的起始字符标签和结束字符标签；采用所述第一训练样本集对预设的第一神经网络模型进行训练，得到第一概率预测模型。
在一些实施方式中，上述装置还包括第二概率预测模型训练模块，用于：获取第二训练样本集，所述第二训练样本集包括第二文本样本以及与所述第二文本样本关联的第二问题样本；其中，所述第二文本样本携带有其是否针对所述第二问题样本进行应答的结论标签；采用所述第二训练样本集对预设的第二神经网络模型进行训练，得到第二概率预测模型。
在一些实施方式中，上述编码模块404用于：对所述目标问题进行预处理；其中，所述预处理包括：人称代词转换处理和/或去除冗余词处理；通过编码器对预处理后的所述目标问题和所述目标文本进行字符编码处理，得到字符向量序列。
本公开实施例所提供的文本评估装置可执行本公开任意实施例所提供的文本评估方法，具备执行方法相应的功能模块和有益效果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置实施例的具体工作过程，可以参考方法实施例中的对应过程，在此不再赘述。
本公开实施例还提供了一种电子设备，该电子设备包括：处理器；用于存储处理器可执行指令的存储器；处理器，用于从存储器中读取可执行指令，并执行指令以实现上述任一文本评估方法。
图5为本公开实施例提供的一种电子设备的结构示意图。如图5 所示，电子设备500包括一个或多个处理器501和存储器502。
处理器501可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备 500中的其他组件以执行期望的功能。
存储器502可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器501可以运行所述程序指令，以实现上文所述的本公开的实施例的文本评估方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备500还可以包括：输入装置503和输出装置505，这些组件通过总线系统和/或其他形式的连接机构(未示出) 互连。
此外，该输入装置503还可以包括例如键盘、鼠标等等。
该输出装置504可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置504可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图5中仅示出了该电子设备500中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备500还可以包括任何其他适当的组件。
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的文本评估方法。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本公开实施例所提供的文本评估方法。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开实施例中的文本评估方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种文本评估方法，包括：
获取目标问题以及待评估的目标文本；
基于所述目标问题和所述目标文本进行字符编码处理，得到字符向量序列；
基于所述字符向量序列，利用预训练的概率预测模型，获得概率值，其中，所述概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的概率；
基于所述概率值，对所述目标文本进行评估。
2.根据权利要求1所述的方法，其中，所述概率预测模型包括第一概率预测模型，
并且其中，所述基于所述字符向量序列，利用预训练的概率预测模型，获得概率值包括：
基于所述字符向量序列，利用所述第一概率预测模型，获得第一概率值，其中，所述第一概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的细测概率。
3.根据权利要求2所述的方法，其中，所述概率预测模型包括第二概率预测模型，
并且其中，所述基于所述字符向量序列，利用预训练的概率预测模型，获得概率值包括：
基于所述字符向量序列，利用所述第二概率预测模型，获得第二概率值，其中，所述第二概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的粗测概率。
4.根据权利要求2或3所述的方法，其中，所述基于所述字符向量序列，利用所述第一概率预测模型，获得第一概率值包括：
针对所述字符向量序列中的每个字符向量，利用所述第一概率预测模型，获取该字符向量的起始概率值和结束概率值，其中，所述起始概率值用于表征该字符向量作为所述应答内容的起始字符的概率，所述结束概率值用于表征该字符向量作为所述应答内容的结束字符的概率；
基于所述起始概率值和所述结束概率值，获取所述第一概率值。
5.根据权利要求4所述的方法，其中，所述字符向量序列中的字符向量构成多个字符向量串组，每个字符向量串组包括连续排列的至少两个字符向量，
并且其中，所述基于所述字符向量序列，利用所述第一概率预测模型，获得第一概率值包括：
针对每个字符向量串组，获取该字符向量串组包括的至少两个字符向量中第一个字符向量的起始概率值以及最后一个字符向量的结束概率值；
将所述第一个字符向量的起始概率值以及所述最后一个字符向量的结束概率值的和值作为该字符向量串组的应答概率值；
基于每个字符向量串组的应答概率值，确定所述第一概率值。
6.根据权利要求5所述的方法，还包括：
基于每个所述字符向量串组的应答概率值，确定具有最大应答概率值的目标字符向量串组；
将所述目标字符向量串组对应的内容作为与所述目标问题相对应的应答内容。
7.根据权利要求3所述的方法，其中，所述概率值为以下中的一种：所述第一概率值、所述第二概率值、所述第一概率值和所述第二概率值的加权值；
并且其中，所述基于所述概率值，对所述目标文本进行评估的步骤包括：
响应于确定所述概率值大于预设概率阈值，确定所述目标文本应答所述目标问题。
8.根据权利要求7所述的方法，还包括：
响应于确定所述目标文本应答所述目标问题，在所述目标文本中标识出与所述目标问题相对应的应答内容。
9.根据权利要求2所述的方法，其特征在于，所述第一概率预测模型按照如下步骤训练得到：
获取第一训练样本集，所述第一训练样本集包括第一文本样本以及与所述第一文本样本关联的第一问题样本，其中，所述第一文本样本上携带有所述第一问题样本的应答内容的起始字符标签和结束字符标签；以及
采用所述第一训练样本集对预设的第一神经网络模型进行训练，得到第一概率预测模型。
10.根据权利要求3所述的方法，其特征在于，所述第二概率预测模型按照如下步骤训练得到：
获取第二训练样本集，所述第二训练样本集包括第二文本样本以及与所述第二文本样本关联的第二问题样本，其中，所述第二文本样本携带有其是否针对所述第二问题样本进行应答的结论标签；
采用所述第二训练样本集对预设的第二神经网络模型进行训练，得到第二概率预测模型。
11.根据权利要求1至3中任一项所述的方法，其中，所述基于所述目标问题和所述目标文本进行字符编码处理，得到字符向量序列包括：
对所述目标问题进行预处理，其中，所述预处理包括：人称代词转换处理和/或去除冗余词处理；以及
通过编码器对预处理后的所述目标问题和所述目标文本进行字符编码处理，得到字符向量序列。
12.一种文本评估装置，其特征在于，包括：
获取模块，用于获取目标问题以及待评估的目标文本；
编码模块，用于基于所述目标问题和所述目标文本进行字符编码处理，得到问题字符向量序列和文本字符向量序列；
概率预测模块，用于基于所述字符向量序列，利用预训练的概率预测模型，获得概率值，其中，所述概率值用于表征所述目标文本包括有与所述目标问题相对应的应答内容的概率；
评估模块，用于基于所述概率值，对所述目标文本进行评估。
13.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11中任一所述的文本评估方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11中任一所述的文本评估方法。
15.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-11中任一项所述的文本评估方法。
CN202110652038.7A 2021-06-11 2021-06-11 文本评估方法、装置、设备及介质 Active CN113392638B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110652038.7A CN113392638B (zh) 2021-06-11 2021-06-11 文本评估方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110652038.7A CN113392638B (zh) 2021-06-11 2021-06-11 文本评估方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113392638A true CN113392638A (zh) 2021-09-14
CN113392638B CN113392638B (zh) 2024-08-23

Family

ID=77620535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110652038.7A Active CN113392638B (zh) 2021-06-11 2021-06-11 文本评估方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113392638B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116705058A (zh) * 2023-08-04 2023-09-05 贝壳找房(北京)科技有限公司 多模语音任务的处理方法、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646088A (zh) * 2013-12-13 2014-03-19 合肥工业大学 基于CRFs和SVM的产品评论细粒度情感要素提取
CN110688411A (zh) * 2019-09-25 2020-01-14 北京地平线机器人技术研发有限公司 一种文本识别方法及装置
CN110781663A (zh) * 2019-10-28 2020-02-11 北京金山数字娱乐科技有限公司 文本分析模型的训练方法及装置、文本分析方法及装置
CN112328777A (zh) * 2021-01-05 2021-02-05 北京金山数字娱乐科技有限公司 一种答案检测方法及装置
CN112417885A (zh) * 2020-11-17 2021-02-26 平安科技（深圳）有限公司 基于人工智能的答案生成方法、装置、计算机设备及介质
CN112434510A (zh) * 2020-11-24 2021-03-02 北京字节跳动网络技术有限公司 一种信息处理方法、装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646088A (zh) * 2013-12-13 2014-03-19 合肥工业大学 基于CRFs和SVM的产品评论细粒度情感要素提取
CN110688411A (zh) * 2019-09-25 2020-01-14 北京地平线机器人技术研发有限公司 一种文本识别方法及装置
CN110781663A (zh) * 2019-10-28 2020-02-11 北京金山数字娱乐科技有限公司 文本分析模型的训练方法及装置、文本分析方法及装置
CN112417885A (zh) * 2020-11-17 2021-02-26 平安科技（深圳）有限公司 基于人工智能的答案生成方法、装置、计算机设备及介质
CN112434510A (zh) * 2020-11-24 2021-03-02 北京字节跳动网络技术有限公司 一种信息处理方法、装置、电子设备和存储介质
CN112328777A (zh) * 2021-01-05 2021-02-05 北京金山数字娱乐科技有限公司 一种答案检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHUOSHENG ZHANG: "Retrospective Reader for Machine Reading Comprehension", 《THE THIRTY-FIFTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE》, 18 May 2021 (2021-05-18), pages 14503 - 14514 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116705058A (zh) * 2023-08-04 2023-09-05 贝壳找房(北京)科技有限公司 多模语音任务的处理方法、电子设备及可读存储介质
CN116705058B (zh) * 2023-08-04 2023-10-27 贝壳找房(北京)科技有限公司 多模语音任务的处理方法、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN113392638B (zh) 2024-08-23

Similar Documents

Publication Publication Date Title
US11403680B2 (en) Method, apparatus for evaluating review, device and storage medium
CN110196901B (zh) 对话系统的构建方法、装置、计算机设备和存储介质
US20230069935A1 (en) Dialog system answering method based on sentence paraphrase recognition
CN110413746A (zh) 对用户问题进行意图识别的方法及装置
CN111259625A (zh) 意图识别方法、装置、设备及计算机可读存储介质
CN112487139B (zh) 基于文本的自动出题方法、装置及计算机设备
CN111753545A (zh) 嵌套实体识别方法、装置、电子设备和存储介质
CN111382573A (zh) 用于答案质量评估的方法、装置、设备和存储介质
CN110245232B (zh) 文本分类方法、装置、介质和计算设备
CN115599901B (zh) 基于语义提示的机器问答方法、装置、设备及存储介质
CN112100377B (zh) 文本分类方法、装置、计算机设备和存储介质
CN111079432A (zh) 文本检测方法、装置、电子设备及存储介质
EP3832485A1 (en) Question answering systems
CN112084769B (zh) 依存句法模型优化方法、装置、设备及可读存储介质
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN112395887A (zh) 对话应答方法、装置、计算机设备和存储介质
CN111708870A (zh) 基于深度神经网络的问答方法、装置及存储介质
CN113392638B (zh) 文本评估方法、装置、设备及介质
CN117556057A (zh) 知识问答方法、向量数据库构建方法及装置
CN113012685B (zh) 音频识别方法、装置、电子设备及存储介质
CN113705207A (zh) 语法错误识别方法及装置
US8666987B2 (en) Apparatus and method for processing documents to extract expressions and descriptions
CN111539207A (zh) 文本识别方法、文本识别装置、存储介质和电子设备
CN115759085A (zh) 基于提示模型的信息预测方法、装置、电子设备及介质
CN115017886A (zh) 文本匹配方法、文本匹配装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant