CN110765241A

CN110765241A - 推荐题的超纲检测方法、装置、电子设备和存储介质

Info

Publication number: CN110765241A
Application number: CN201911061783.3A
Authority: CN
Inventors: 丁亮; 魏思; 王士进; 付瑞吉; 沙晶
Original assignee: iFlytek Co Ltd
Current assignee: iFlytek Co Ltd
Priority date: 2019-11-01
Filing date: 2019-11-01
Publication date: 2020-02-07
Anticipated expiration: 2039-11-01
Also published as: CN110765241B

Abstract

本发明实施例提供一种推荐题的超纲检测方法、装置、电子设备和存储介质，其中方法包括：确定原题文本，原题文本对应的推荐题文本，以及待检测教材版本；将原题文本、推荐题文本以及待检测教材版本输入至超纲检测模型，得到超纲检测模型输出的超纲检测结果；其中，超纲检测模型用于基于注意力机制分析原题文本和推荐题文本分别与待检测教材版本下各章节的相关性，并基于相关性确定超纲检测结果。本发明实施例提供的方法、装置、电子设备和存储介质，解决了推题引擎的超纲问题，且超纲检测无需人工标注，简便高效，成本低廉，准确度高。

Description

推荐题的超纲检测方法、装置、电子设备和存储介质

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种推荐题的超纲检测方法、装置、电子设备和存储介质。

背景技术

在现代化教育领域，推题引擎用于根据学生作业或考试中未掌握的题型，结合知识图谱应用挖掘出薄弱知识点，针对性地推荐相关相似题，从而避免学生盲目寻题或者漫无目的的题海战术。

然而，题库的存储来源广，试题多受地区及教材版本影响。各个教材版本的章节设置不一、不同地区的教材版本选择不同，以及教学顺序的差距，均会导致推题引擎推荐的试题出现超纲的问题。推荐试题超纲，会浪费学生的学习时间，引发学生的消极情绪。

发明内容

本发明实施例提供一种推荐题的超纲检测方法、装置、电子设备和存储介质，用以解决现有的推题引擎推荐题存在超纲的问题。

第一方面，本发明实施例提供一种推荐题的超纲检测方法，包括：

确定原题文本，所述原题文本对应的推荐题文本，以及待检测教材版本；

将所述原题文本、所述推荐题文本以及所述待检测教材版本输入至超纲检测模型，得到所述超纲检测模型输出的超纲检测结果；

其中，所述超纲检测模型是基于样本原题文本、所述样本原题文本对应的样本推荐题文本，所述样本推荐题文本的超纲标记，以及各教材版本下的章节对应的文本训练得到的，所述超纲检测模型用于基于注意力机制分析所述原题文本和所述推荐题文本分别与所述待检测教材版本下各章节的相关性，并基于所述相关性确定所述超纲检测结果。

优选地，所述超纲检测模型包括隐层表示层、注意力交互层以及超纲决策层；

对应地，所述将所述原题文本、所述推荐题文本以及所述待检测教材版本输入至超纲检测模型，得到所述超纲检测模型输出的超纲检测结果，具体包括：

将所述原题文本中每一分词的词向量和所述推荐题文本中每一分词的词向量输入至所述隐层表示层，得到所述隐层表示层输出的所述原题文本的隐层向量表示，以及所述推荐题文本的隐层向量表示；

将所述原题文本的隐层向量表示，所述推荐题文本的隐层向量表示，以及所述待检测教材版本输入至所述注意力交互层，得到所述注意力交互层输出的注意力交互特征向量；

将所述注意力交互特征向量输入至所述超纲决策层，得到所述超纲决策层输出的所述超纲检测结果。

优选地，所述注意力交互层包括注意力计算层和特征交互层；

对应地，所述将所述原题文本的隐层向量表示，所述推荐题文本的隐层向量表示，以及所述待检测教材版本输入至所述注意力交互层，得到所述注意力交互层输出的注意力交互特征向量，具体包括：

将所述原题文本的隐层向量表示，所述推荐题文本的隐层向量表示，以及所述待检测教材版本输入至所述注意力计算层，得到所述注意力计算层输出的所述原题文本与所述待检测教材版本的原题相关性分布特征，以及所述推荐题文本与所述待检测教材版本的推荐题相关性分布特征；

将所述原题相关性分布特征，以及所述推荐题相关性分布特征输入至所述特征交互层，得到所述特征交互层输出的注意力交互特征向量。

优选地，所述将所述原题相关性分布特征，以及所述推荐题相关性分布特征输入至所述特征交互层，得到所述特征交互层输出的注意力交互特征向量，具体包括：

基于所述原题相关性分布特征与所述推荐题相关性分布特征的差值、总和以及乘积中的至少一种，确定所述注意力交互特征向量。

优选地，所述基于所述原题相关性分布特征与所述推荐题相关性分布特征的差值、总和以及乘积中的至少一种，确定所述注意力交互特征向量，具体包括：

基于所述原题相关性分布特征与所述推荐题相关性分布特征的差值，确定差距交互特征；

基于所述原题相关性分布特征与所述推荐题相关性分布特征的总和，以及topk算法，确定共性交互特征；

基于所述原题相关性分布特征与所述推荐题相关性分布特征的乘积，以及协同注意力机制，确定相关交互特征；

拼接所述原题相关性分布特征、所述推荐题相关性分布特征、所述差距交互特征、所述共性交互特征以及所述相关交互特征，得到所述注意力交互特征向量。

优选地，所述原题文本和所述推荐题文本均包括题干、解析和答案；

对应地，所述将所述原题文本的中每一分词的词向量和所述推荐题文本中每一分词的词向量输入至所述隐层表示层，得到所述隐层表示层输出的所述原题文本的隐层向量表示，以及所述推荐题文本的隐层向量表示，具体包括：

基于任一文本中，题干中每一分词的词向量、解析中每一分词的词向量以及答案中每一分词的词向量，分别确定所述任一文本的题干分句表示、解析分句表示以及答案分句表示；

基于所述任一文本的题干分句表示、解析分句表示以及答案分句表示，确定所述任一文本的隐层向量表示。

优选地，所述超纲检测模型还包括多任务输出层；

对应地，所述将所述原题文本中每一分词的词向量和所述推荐题文本中每一分词的词向量输入至所述隐层表示层，得到所述隐层表示层输出的所述原题文本的隐层向量表示，以及所述推荐题文本的隐层向量表示，之后还包括：

将任一文本的隐层向量表示输入至所述多任务输出层，得到所述多任务输出层输出的多任务检测结果；所述多任务检测结果包括所述任一文本的知识点、解题方法以及难度中的至少一种；

对应地，所述超纲检测模型是基于样本原题文本、所述样本原题文本对应的样本推荐题文本，所述样本推荐题文本的超纲标记，各教材版本下的章节对应的文本，以及样本原题文本和/或样本推荐题文本的多任务检测标记训练得到的。

第二方面，本发明实施例提供一种推荐题的超纲检测装置，包括：

文本确定单元，用于确定原题文本，所述原题文本对应的推荐题文本，以及待检测教材版本；

超纲检测单元，用于将所述原题文本、所述推荐题文本以及所述待检测教材版本输入至超纲检测模型，得到所述超纲检测模型输出的超纲检测结果；

第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的一种推荐题的超纲检测方法、装置、电子设备和存储介质，通过基于注意力机制构建的超纲检测模型分析原题文本和推荐题文本分别与待检测教材版本下各章节的相关性，进而得到超纲检测结果，解决了推题引擎的超纲问题，且超纲检测无需人工标注，简便高效，成本低廉，准确度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的推荐题的超纲检测方法的流程示意图；

图2为本发明实施例提供的超纲检测模型的预测流程示意图；

图3为本发明实施例提供的注意力交互流程示意图；

图4为本发明实施例提供的多通道特征提取方法的流程示意图；

图5为本发明实施例提供的数学推题场景下的超纲检测方法的流程示意图；

图6为本发明实施例提供的推荐题的超纲检测装置的结构示意图；

图7为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着深度学习在教育领域的应用和发展，推题引擎能够针对学生的薄弱知识点进行试题推荐，但是并未能解决所推荐的试题超纲的问题。例如，在数学题的推荐场景下，人教版将“统计和概率”这一章节的内容设置在9年级上册学习，而苏教版则将这一章节的内容设置在9年级上册和下册分别学习，显然，如果推荐题来源人教版的“统计和概率”章节，那么对于苏教版的学生来说很可能出现超纲的问题，这种不合理的试题推荐会让老师或学生觉得浪费时间，产生消极心理。

目前，常用的超纲检测是通过人工审核和手动标注试题相应的知识点标签实现的。这种超纲检测方法在实际应用中至少存在以下几种缺点：第一，不同人之间的评估标准具有分歧且十分容易出现漏标知识点情况；第二，教材版本的章节设置不同，实际案例中经常会出现所推题对于使用人教版教材的学生来说不超纲，而使用苏科版教材的学生会出现超纲情形；第三，对于新入库题，人力无法及时对其标注，产生空标签或错标情形；第四，若知识点体系变更，则意味着所有标签需要重新更换，人力需要重新培训标注体系；第五，题库积累快，人力成本大。

针对上述问题，本发明实施例提供一种推荐题的超纲检测方法。图1为本发明实施例提供的推荐题的超纲检测方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤110，确定原题文本，原题文本对应的推荐题文本，以及待检测教材版本。

具体地，原题文本即在为用户推题时参照试题的文本，推荐题文本是相对于原题文本而言的，是通过执行现有的试题推荐方法或者应用推题引擎得到的，相对于原题文本进行试题推荐的文本。待检测教材版本为用户当前使用或者学习的教材的版本，是衡量推荐题是否超纲的依据。

步骤120，将原题文本、推荐题文本以及待检测教材版本输入至超纲检测模型，得到超纲检测模型输出的超纲检测结果；其中，超纲检测模型用于基于注意力机制分析原题文本和推荐题文本分别与待检测教材版本下各章节的相关性，并基于相关性确定超纲检测结果，超纲检测模型是基于样本原题文本、样本原题文本对应的样本推荐题文本，样本推荐题文本的超纲标记，以及各教材版本下的章节对应的文本训练得到的。

具体地，超纲检测模型用于基于注意力机制分析输入的原题文本与用户使用的待检测教材版本中各个章节的相关性，以及输入的推荐题文本与该待检测教材版本中各个章节的相关性，并基于原题文本和推荐题文本分别与待检测教材版本中各个章节的相关性，判断推荐题文本是否针对于待检测教材版本存在超纲的问题，输出超纲检测结果。此处，超纲检测结果表征推荐题文本是否超纲。

在执行步骤120之前，还可以预先训练得到超纲检测模型，具体可以通过如下方式训练得到超纲检测模型：首先，收集大量样本原题文本、样本原题文本相对应的样本推荐题文本，以及各个教材版本下的章节对应的文本。此处，针对任一教材版本，该教材版本下章节对应的文本可以是该教材文本下每一章节的内容文本，或者每一章节对应的例题文本等，本发明实施例对此不作具体限定。在得到样本原题文本和样本推荐题文本后，可以通过人工标注得到样本推荐题文本所对应的超纲标记。此处，超纲标记表征推荐题文本是否超纲，针对多个教材版本，可以对应设置多个超纲标记，超纲标记与教材版本一一对应。随即，基于样本原题文本、样本原题文本相对应的样本推荐题文本，样本推荐题文本的超纲标记，以及各个教材版本下的章节对应的文本对初始模型进行训练，从而得到超纲检测模型。需要说明的是，此处的初始模型是基于注意力机制构建的。

本发明实施例提供的方法，通过基于注意力机制构建的超纲检测模型分析原题文本和推荐题文本分别与待检测教材版本下各章节的相关性，进而得到超纲检测结果，解决了推题引擎的超纲问题，且超纲检测无需人工标注，简便高效，成本低廉，准确度高。

基于上述实施例，该方法中，超纲检测模型包括隐层表示层、注意力交互层以及超纲决策层。图2为本发明实施例提供的超纲检测模型的预测流程示意图，如图2所示，步骤120具体包括：

步骤121，将原题文本中每一分词的词向量和推荐题文本中每一分词的词向量输入至隐层表示层，得到隐层表示层输出的原题文本的隐层向量表示，以及推荐题文本的隐层向量表示。

此处，隐层表示层用于基于输入文本中每一分词的词向量，分析文本的语义，并输出文本对应的隐层向量表示。此处，隐层向量表示用于表征文本特征，此处文本特征可以具体是文本中存在的变量、实体、表达式或者文本本身的结构、解题思路、难度、知识点等特征，本发明实施例对此不作具体限定。

步骤122，将原题文本的隐层向量表示，推荐题文本的隐层向量表示，以及待检测教材版本输入至注意力交互层，得到注意力交互层输出的注意力交互特征向量。

具体地，注意力交互层通过注意力机制，基于输入的原题文本的隐层向量表示以及预先存储的待检测教材版本下不同章节对应的文本的隐层向量表示，分析原题文本与待检测教材版本下不同章节之间的相关性，并基于输入的推荐题文本的隐层向量表示以及待检测教材版本下不同章节对应的文本的隐层向量表示，分析推荐题文本与待检测教材版本下不同章节之间的相关性，进而基于原题文本和推荐题文本分别与待检测教材版本下不同章节之间的相关性，确定并输出注意力交互向量。此处的注意力交互向量用于反映原题文本与待检测教材版本下不同章节的相关性，以及推荐题文本与待检测教材版本下不同章节的相关性，两者的差距、共性或者相关性。

步骤123，将注意力交互特征向量输入至超纲决策层，得到超纲决策层输出的超纲检测结果。

具体地，超纲决策层用于基于输入的注意力交互特征向量分析推荐题是否针对于待检测教材版本存在超纲的问题，并输出超纲检测结果。进一步地，在超纲决策层中，可以将注意力交互特征向量输入长短期记忆网络LSTM或BiLSTM等编码神经网络进行编码，在经过Softmax层进行超纲与否的决策。在编码过程中，还可以加入dropout层、归一化操作batch_normalize或者残差网络，本发明实施例对此不作具体限定。

基于上述任一实施例，该方法中，注意力交互层包括注意力计算层和特征交互层。图3为本发明实施例提供的注意力交互流程示意图，如图3所示，步骤122具体包括：

步骤1221，将原题文本的隐层向量表示，推荐题文本的隐层向量表示，以及待检测教材版本输入至注意力计算层，得到注意力计算层输出的原题文本与待检测教材版本的原题相关性分布特征，以及推荐题文本与待检测教材版本的推荐题相关性分布特征。

具体地，注意力计算层用于将输入文本的隐层向量表示，与预先存储的待检测教材版本下每一章节对应的文本的隐层向量表示进行注意力计算，得到输入文本与待检测教材版本下各章节的相关性，并输出对应的相关性分布特征。此处，相关性分布特征用于表征文本与待检测教材版本中每一章节的相关性。

其中，原题相关性分布特征即原题文本与待检测教材版本中每一章节的相关性的分布特征，推荐题相关性分布特征即推荐题文本与待检测教材版本中每一章节的相关性的分布特征。

假设原题文本为A、推荐题文本为B，待检测教材版本下各章节对应的文本集合为S＝[s₁,s₂,…,s_n]，其中n为章节数。基于隐层表示层，可以分别得到原题文本A对应的隐层向量表示Ht_A，推荐题文本B对应的隐层向量表示Ht_B，以及待检测教材版本下各章节对应文本的隐层向量表示Ht_S，即

在注意力计算层，分别将Ht_A和Ht_B与Ht_S进行注意力计算，得到关于各个章节对应文本的注意力权重，进而对各个章节对应文本的隐层向量表示进行加权，经过简单非线性变换后，对得到的注意力结果进行Softmax，即可分别得到原题文本在待检测教材版本下与各章节的原题相关性分布特征R_A，以及推荐题文本在待检测教材版本下与各章节的推荐题相关性分布特征R_B。

步骤1222，将原题相关性分布特征，以及推荐题相关性分布特征输入至特征交互层，得到特征交互层输出的注意力交互特征向量。

此处，特征交互层用于基于原题相关性分布特征，以及推荐题相关性分布特征，分析两者之间的差距、共性或者相关性，并输出表征两者之间差距、共性或者相关性的注意力交互特征向量。

本发明实施例提供的方法，通过注意力计算层和特征交互层提出了分层注意力机制，其中注意力计算层分别计算原题文本、推荐题文本与待检测教材版本各章节的相关性，特征交互层用于对两者的相关性进行特征交互，进而更加深入地分析原题文本、推荐题文本与待检测教材版本下各章节的相关性，从而实现准确的超纲检测。

基于上述任一实施例，该方法中，步骤1222具体包括：基于原题相关性分布特征与推荐题相关性分布特征的差值、总和以及乘积中的至少一种，确定注意力交互特征向量。

假设原题相关性分布特征为R_A，推荐题相关性分布特征为R_B。两者的差值即R_A-R_B，两者的总和即R_A+R_B，两者的乘积即R_A*R_B，其中R_A-R_B用于表征原题文本和推荐题文本在章节相关性上的分布差距，R_A+R_B用于表征原题文本和推荐题文本在章节相关性分布上的共同特征，R_A*R_B用于表征原题文本和推荐题文本在章节相关性分布上的相关特征。

特征交互层中，注意力交互特征向量可以是基于R_A-R_B、R_A+R_B以及R_A*R_B中任意一种、两种或者全部确定的，本发明实施例对此不作具体限定。

基于上述任一实施例，该方法中，步骤1222具体包括：基于原题相关性分布特征与推荐题相关性分布特征的差值，确定差距交互特征；基于原题相关性分布特征与推荐题相关性分布特征的总和，以及topk算法，确定共性交互特征；基于原题相关性分布特征与推荐题相关性分布特征的乘积，以及协同注意力机制，确定相关交互特征；拼接原题相关性分布特征、推荐题相关性分布特征、差距交互特征、共性交互特征以及相关交互特征，得到注意力交互特征向量。

假设原题相关性分布特征为R_A，推荐题相关性分布特征为R_B，差距交互特征t₁＝[R_A-R_B]，反映两者在章节相关性上的分布差距，迭代优化实验；共性交互特征t₂＝topk([R_A+R_B])，其中topk用于找出前k个最大特征，共性交互特征用于找寻原题文本和推荐题文本主要的共同特征，确保优化方向正确；相关交互特征t₃＝[softmax([R_A*R_B]),softmax([R_A*R_B]^T)]，其中softmax([R_A*R_B])用于表示原题文本关于推荐题文本在每个分布上的注意力attention，softmax([R_A*R_B]^T)用于表示推荐题文本关于原题文本在每个部分上的注意力attention，这种协同注意力机制(co-attention)使得模型更加关注两者之间相关的特征。由此得到注意力交互特征向量T＝[R_A,R_B,t₁,t₂,t₃]。

基于上述任一实施例，该方法中，原题文本和推荐题文本均包括题干、解析和答案。

具体地，原题文本和推荐题文本均属于试题文本，试题文本是一种结构化的文本，均包含题干、解析和答案三部分文本，且每一部分文本对应有不同的特征。针对试题文本的特殊结构，本发明实施例在进行文本对应的隐层向量表示的确定过程中，采用了多通道的特征提取方法。

图4为本发明实施例提供的多通道特征提取方法的流程示意图，如图4所示，步骤121具体包括：

步骤1211，基于任一文本中，题干中每一分词的词向量、解析中每一分词的词向量以及答案中每一分词的词向量，分别确定该文本的题干分句表示、解析分句表示以及答案分句表示。

此处，任一文本是指输入至隐层表示层的文本，任一文本可以是原题文本，也可以是推荐题文本。在模型训练过程中，任一文本还可以是各教材版本下任一章节的例题文本。

针对任一文本，可以将该文本分为题干、解析和答案三个部分。在隐层表示层中，基于该文本的题干中的每一分词的词向量，确定该文本的题干分句表示，基于该文本的解析中的每一分词的词向量，确定该文本的解析分句表示，基于该文本的答案中的每一分词的词向量，确定该文本的答案分句表示。其中，各类分句表示可以是基于现有的方法，例如Elmo或者Bert编码出每一分词的上下文信息后得到的，由此可以缓解试题中可能存在的公式变量指示不明或者歧义的问题。

步骤1212，基于该文本的题干分句表示、解析分句表示以及答案分句表示，确定该文本的隐层向量表示。

具体地，在得到任一文本的题干分句表示、解析分句表示以及答案分句表示后，可以对题干分句表示、解析分句表示以及答案分句表示进行拼接，得到该文本的隐层向量表示。

本发明实施例提供的方法，基于试题文本的特殊结构，按照题干、解析、答案三个通道分别进行特征提取，能够提高特征提取精度，进而提高超纲检测精度。

在常规的超纲检测方法中，通常依赖于知识点标签确定试题在教学顺序中的章节位置，然而在试题是否超纲的考察中，很多时候不应仅限于知识点，还需要考察解题方法、试题难度等因素。

基于上述任一实施例，超纲检测模型还包括多任务输出层；对应地，步骤121之后还包括：将任一文本的隐层向量表示输入至多任务输出层，得到多任务输出层输出的多任务检测结果；多任务检测结果包括该文本的知识点、解题方法以及难度中的至少一种。

具体地，多任务输出层用于基于输入的文本的隐层向量表示，分析该文本的知识点、解题以及难度中的至少一种，并输出对应的多任务检测结果。多任务检测结果中，知识点用于标识试题文本中存在的知识点，例如一元二次方程、三角函数的应用、余弦定理、平行四边形性质等，解题方法用于表示解答试题文本所需要应用的方法，例如因式分解法、分离参数法、系数分离法、分类讨论思想、以形助数、图像等。

对应地，超纲检测模型是基于样本原题文本、样本原题文本对应的样本推荐题文本，样本推荐题文本的超纲标记，各教材版本下的章节对应的文本，以及样本原题文本和/或样本推荐题文本的多任务检测标记训练得到的。

具体地，在超纲检测模型的训练过程中，应用试题文本的知识点、解题方法、难度以及是否超纲进行多任务的联合训练，从而得到超纲检测模型的适应性更强，超纲模型中隐层表示层输出的隐层向量表示更加能够体现试题文本的特性，实现试题文本特征的准确表达。

基于上述任一实施例，图5为本发明实施例提供的数学推题场景下的超纲检测方法的流程示意图，如图5所示，数学推题场景下的超纲检测方法包括如下步骤：

首先，确定数学试题和待检测的教材版本。此处的数学试题包括原题，以及原题对应的推荐题。

其次，对数学试题进行预处理：

由于试题内容的形式、版面设计等问题，最终试题内容的格式往往是不可控的，例如可能出现图片信息、多个解答步骤未分离、数学实体或表达式无法识别和分割错误等问题。因此，需要对数学试题进行专门的文本格式统一、数学实体识别、表达式解析和分词，从而得到试题文本中每一分词的词向量。

其中，由于题库中数学试题来源较广，文本必须统一和去噪才能应用。例如，数学公式需要应用规则转为Latex格式，以及题目中存在的图片需要经过OCR技术转为Latex或文本文字，其他根据具体实际任务进行定制。

在数学试题文本的分词过程中，需要先对文本中数学实体和数学表达式进行识别及规约，以保证最终分词结果的可用性和准确性，例如“60°”和“60度”的识别和统一规约。本发明实施例中对实体识别技术不做具体限制，对于数学表达式，需要进行规则匹配以及Latex转写。然后去除数学专用停用词，分离出文本中的自然语言。其中自然语言分词涉及常用工具，如Jieba分词、哈工大的LTP或中科院的NLPIR等，实验显示各大分词工具性能对数学任务差距较小，本发明实施例对此不作限定。

在完成上述预处理后，利用分词结果预训练词向量模型，如word2vec、Glove、Elmo等，从而将每个数学实体的分词结果映射成词向量vector表示。

随即，将试题文本中每一分词的词向量输入至隐层表示层：

鉴于数学试题文本存在表达式、变量、实体等一系列特有属性，因而在对试题文本表示中要求高精准的难度十分大，相比传统自然语言，其要求也更高。本发明实施例结合数学试题的结构属性、特有解题方法、难度标签以及数学知识点标签，进行“多通道+多任务”联合训练，有效提升隐层表示层输出的隐层表示向量Ht的性能。

隐层表示层中，首先将数学试题文本分解为题干、解析和答案，通过share-embedding层分别获得题干、解析和答案对应的分句表示。接着，对上述三个通道分别进行训练，以使得隐层表示层自适应调整各通道参数。在针对隐层表示层的训练中，本发明实施例进一步考虑数学特有的解题方法及难度标签作为训练的监督信号，结合知识点标签以及是否超纲，完成多任务(Multi-task)联合训练，得到隐层表示层输出的Ht更加具有数学特性及准确表达。

此处，在损失函数选择方面，本发明实施例采用focal_loss损失函数进行优化。focal-loss能有效解决极度不平衡的正负样本比例，这对于数学试题中存在的知识点标签、难度标签以及解题标签稀疏或分布极度不均匀，训练效果极佳。不仅如此，对于易分类样本easy example虽然loss很低，但由于数量众多，对于loss依旧有很大贡献，从而导致收敛不到足够好的结果这样一个问题，该损失函数直接按照loss衰退易分类样本的权重，这样使训练更加偏向于更有意义的样本中去，该训练方式应用数学试题的效果显著高于传统bce-loss损失函数。

接着，将隐层表示层输出的Ht输入至注意力交互层，得到注意力交互特征向量。此处，注意力交互层是基于分层注意力机制构建的，注意力交互层包括注意力计算层和特征交互层。

其中，注意力计算层用于将输入文本的隐层向量表示Ht，与预先存储的待检测教材版本下每一章节对应的文本的隐层向量表示Ht进行注意力计算，得到输入文本与待检测教材版本下各章节的相关性，并输出对应的相关性分布特征，相当于数学教师带着试题文本在待检测教材版本中寻找其所涉及的知识点、解题方法、文理科内容等众多因素。注意力计算层输出原题相关性分布特征R_A，以及推荐题相关性分布特征R_B。

特征交互层基于原题相关性分布特征R_A，以及推荐题相关性分布特征R_B进行三种特征交互，以确定差距交互特征t₁＝[R_A-R_B]，共性交互特征t₂＝topk([R_A+R_B])，相关交互特征t₃＝[softmax([R_A*R_B]),softmax([R_A*R_B]^T)]，由此得到注意力交互特征向量T＝[R_A,R_B,t₁,t₂,t₃]。

最后，将注意力交互特征向量T输入至超纲决策层，由超纲决策层进行超纲与否的决策，并输出超纲检测结果。

本发明实施例提供的方法，在题库海量数据基础上，采用特定数学实体识别、数学表达式解析及ocr识别等关键技术，避免同实体多表达、一词多义现象等，为模型精确把握数学试题的自身含义；其次，采用“多通道+多任务”对隐层表示层进行联合训练，有效提高隐层向量表示性能；再者，通过分层式交互注意力机制，动态为原题筛选超纲的推荐题，端到端实现超纲检测。该方法无需实时传入教学进度、不受制人为因素，也不依赖知识点体系。特别地，对于新题的录入，无需等待人工标注，即时产生结果，有效解决冷启动检测问题，具有较好的鲁棒性及准确度，能有效降低人力成本及后期维护，真正实现降本增效。

基于上述任一实施例，图6为本发明实施例提供的推荐题的超纲检测装置的结构示意图，如图6所示，该装置包括文本确定单元610和超纲检测单元620；

其中，文本确定单元610用于确定原题文本，所述原题文本对应的推荐题文本，以及待检测教材版本；

超纲检测单元620用于将所述原题文本、所述推荐题文本以及所述待检测教材版本输入至超纲检测模型，得到所述超纲检测模型输出的超纲检测结果；

本发明实施例提供的装置，通过基于注意力机制构建的超纲检测模型分析原题文本和推荐题文本分别与待检测教材版本下各章节的相关性，进而得到超纲检测结果，解决了推题引擎的超纲问题，且超纲检测无需人工标注，简便高效，成本低廉，准确度高。

基于上述任一实施例，该装置中，所述超纲检测模型包括隐层表示层、注意力交互层以及超纲决策层；

对应地，超纲检测单元620包括：

隐层表示单元，用于将所述原题文本中每一分词的词向量和所述推荐题文本中每一分词的词向量输入至所述隐层表示层，得到所述隐层表示层输出的所述原题文本的隐层向量表示，以及所述推荐题文本的隐层向量表示；

注意力交互单元，用于将所述原题文本的隐层向量表示，所述推荐题文本的隐层向量表示，以及所述待检测教材版本输入至所述注意力交互层，得到所述注意力交互层输出的注意力交互特征向量；

超纲决策单元，用于将所述注意力交互特征向量输入至所述超纲决策层，得到所述超纲决策层输出的所述超纲检测结果。

基于上述任一实施例，该装置中，所述注意力交互层包括注意力计算层和特征交互层；

对应地，所述注意力交互单元包括：

注意力计算子单元，用于将所述原题文本的隐层向量表示，所述推荐题文本的隐层向量表示，以及所述待检测教材版本输入至所述注意力计算层，得到所述注意力计算层输出的所述原题文本与所述待检测教材版本的原题相关性分布特征，以及所述推荐题文本与所述待检测教材版本的推荐题相关性分布特征；

特征交互子单元，用于将所述原题相关性分布特征，以及所述推荐题相关性分布特征输入至所述特征交互层，得到所述特征交互层输出的注意力交互特征向量。

基于上述任一实施例，该装置中，所述特征交互子单元具体用于：

基于上述任一实施例，该装置中，所述原题文本和所述推荐题文本均包括题干、解析和答案；

对应地，所述隐层表示单元具体用于：

基于上述任一实施例，该装置中，所述超纲检测模型还包括多任务输出层；

对应地，超纲检测单元620还包括：

多任务检测单元，用于将任一文本的隐层向量表示输入至所述多任务输出层，得到所述多任务输出层输出的多任务检测结果；所述多任务检测结果包括所述任一文本的知识点、解题方法以及难度中的至少一种；

图7为本发明实施例提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行如下方法：确定原题文本，所述原题文本对应的推荐题文本，以及待检测教材版本；将所述原题文本、所述推荐题文本以及所述待检测教材版本输入至超纲检测模型，得到所述超纲检测模型输出的超纲检测结果；其中，所述超纲检测模型是基于样本原题文本、所述样本原题文本对应的样本推荐题文本，所述样本推荐题文本的超纲标记，以及各教材版本下的章节对应的文本训练得到的，所述超纲检测模型用于基于注意力机制分析所述原题文本和所述推荐题文本分别与所述待检测教材版本下各章节的相关性，并基于所述相关性确定所述超纲检测结果。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定原题文本，所述原题文本对应的推荐题文本，以及待检测教材版本；将所述原题文本、所述推荐题文本以及所述待检测教材版本输入至超纲检测模型，得到所述超纲检测模型输出的超纲检测结果；其中，所述超纲检测模型是基于样本原题文本、所述样本原题文本对应的样本推荐题文本，所述样本推荐题文本的超纲标记，以及各教材版本下的章节对应的文本训练得到的，所述超纲检测模型用于基于注意力机制分析所述原题文本和所述推荐题文本分别与所述待检测教材版本下各章节的相关性，并基于所述相关性确定所述超纲检测结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种推荐题的超纲检测方法，其特征在于，包括：

2.根据权利要求1所述的推荐题的超纲检测方法，其特征在于，所述超纲检测模型包括隐层表示层、注意力交互层以及超纲决策层；

3.根据权利要求2所述的推荐题的超纲检测方法，其特征在于，所述注意力交互层包括注意力计算层和特征交互层；

4.根据权利要求3所述的推荐题的超纲检测方法，其特征在于，所述将所述原题相关性分布特征，以及所述推荐题相关性分布特征输入至所述特征交互层，得到所述特征交互层输出的注意力交互特征向量，具体包括：

5.根据权利要求4所述的推荐题的超纲检测方法，其特征在于，所述基于所述原题相关性分布特征与所述推荐题相关性分布特征的差值、总和以及乘积中的至少一种，确定所述注意力交互特征向量，具体包括：

6.根据权利要求2所述的推荐题的超纲检测方法，其特征在于，所述原题文本和所述推荐题文本均包括题干、解析和答案；

7.根据权利要求2所述的推荐题的超纲检测方法，其特征在于，所述超纲检测模型还包括多任务输出层；

8.一种推荐题的超纲检测装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的推荐题的超纲检测方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的推荐题的超纲检测方法的步骤。