CN110362671B - 题目推荐方法、设备和存储介质 - Google Patents
题目推荐方法、设备和存储介质 Download PDFInfo
- Publication number
- CN110362671B CN110362671B CN201910641264.8A CN201910641264A CN110362671B CN 110362671 B CN110362671 B CN 110362671B CN 201910641264 A CN201910641264 A CN 201910641264A CN 110362671 B CN110362671 B CN 110362671B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- question
- knowledge point
- recommended
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
- G06F16/337—Profile generation, learning or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种题目推荐方法、设备和存储介质，该方法包括：在获取到推荐触发指令后，获取目标题目的知识点特征；所述知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐所述待推荐题目。本发明实施例的推荐方法的推荐效果较好。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种题目推荐方法、设备和存储介质。
背景技术
随着自然语言理解、人工智能、数据挖掘技术、智能答题技术等在老师日常教学、学生日常练习等应用场景中的广泛应用，例如在英语学科中，为了提高学生英语学科学习效率，提升学生的英语水平，提高学生的英语成绩，在有限的日常学习时间里，通过对日常的学生作业数据进行采集，实现薄弱知识点检测与个性化的题目推荐，最终实现减负增效，经过大量实际应用，对学生的英语水平提升较为明显。例如，在学生考完一次英语考试之后，通过对试卷答题卡的扫描，机器便可获得学生的错题信息，并依据错题信息的文本内容、答案、标签等，实现题目的精准推荐。
目前，现有的个性化推荐是基于题目的知识点标签，而知识点标签是通过教研人员人工标注的知识点标签，进而通过教研人员的经验根据题目的知识点标签之间的关联进行推荐。上述方案中，需要人工标注知识点效率较低而且推荐效果依赖于知识点标注的准确性，若知识点标注错误，则推荐效果较差。
发明内容
本发明提供一种题目推荐方法、设备和存储介质，以提高推荐效率和推荐效果。
第一方面，本发明提供一种题目推荐方法，包括：
在获取到推荐触发指令后，获取目标题目的知识点特征；所述知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；
根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐所述待推荐题目。
在一种可能的实现方式中，所述获取目标题目的知识点特征，包括：
根据所述目标题目和所述目标题目的答案信息，将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果；
根据所述分句结果、分词结果和词性预测结果，获取所述目标题目对应的第一语法知识点。
在一种可能的实现方式中，所述将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果之后，还包括：
对所述分句结果和分词结果进行词向量提取，得到所述目标题目对应的词向量特征。
在一种可能的实现方式中，所述得到所述目标题目对应的词向量特征之后，还包括：
根据所述目标题目对应的词向量特征，利用预先训练得到的机器学习模型，获取神经网络隐层特征。
在一种可能的实现方式中，所述获取神经网络隐层特征，包括：
根据所述目标题目对应的词向量特征，利用两个所述机器学习模型，分别获取语法类神经网络隐层特征和词汇类神经网络隐层特征。
在一种可能的实现方式中，所述获取语法类神经网络隐层特征和词汇类神经网络隐层特征之后，还包括：
根据所述词汇类神经网络隐层特征，利用预先训练得到的词汇知识点预测模型，获取词汇类知识点；
根据所述语法类神经网络隐层特征，利用预先训练得到的语法知识点预测模型，获取第二语法知识点；
根据所述第一语法知识点和所述第二语法知识点，获取所述语法类知识点。
在一种可能的实现方式中，所述根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，包括：
根据所述目标题目的知识点特征，利用所述知识图谱推荐模型，确定待推荐的知识点特征；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征，输出参数包括：待推荐的知识点特征；
根据所述待推荐的知识点特征，在所述待推荐题库中查找与所述待推荐的知识点特征匹配的待推荐题目。
在一种可能的实现方式中，所述根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，包括：
根据待推荐题库中多个题目的知识点特征，以及所述目标题目的知识点特征，利用所述知识图谱推荐模型，获取所述目标题目与所述待推荐图库中各个题目之间的相关性；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征和所述待推荐题库中各个题目的知识点特征，输出参数包括：所述目标题目与所述各个题目之间的相关性；
根据所述目标题目与所述待推荐图库中各个题目之间的相关性，从所述待推荐题库中各个题目中获取待推荐题目。
在一种可能的实现方式中，所述根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目之前，还包括：
根据第一训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第一训练数据包括：多个题目的知识点特征以及所述知识点特征对应的待推荐的知识点特征的信息。
在一种可能的实现方式中，所述根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目之前，还包括：
根据第二训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第二训练数据包括：多个题目的知识点特征以及各个所述题目之间的相关性。
第二方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
第三方面，本发明实施例提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行：
在获取到推荐触发指令后，获取目标题目的知识点特征；所述知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；
根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐所述待推荐题目。
在一种可能的实现方式中，处理器配置为：
根据所述目标题目和所述目标题目的答案信息，将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果；
根据所述分句结果、分词结果和词性预测结果，获取所述目标题目对应的第一语法知识点。
在一种可能的实现方式中，处理器配置为：
在所述将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果之后，对所述分句结果和分词结果进行词向量提取，得到所述目标题目对应的词向量特征。
在一种可能的实现方式中，处理器配置为：
在所述得到所述目标题目对应的词向量特征之后，根据所述目标题目对应的词向量特征，利用预先训练得到的机器学习模型，获取神经网络隐层特征。
在一种可能的实现方式中，处理器配置为：
根据所述目标题目对应的词向量特征，利用两个所述机器学习模型，分别获取语法类神经网络隐层特征和词汇类神经网络隐层特征。
在一种可能的实现方式中，处理器配置为：
在所述获取语法类神经网络隐层特征和词汇类神经网络隐层特征之后，根据所述词汇类神经网络隐层特征，利用预先训练得到的词汇知识点预测模型，获取词汇类知识点；
根据所述语法类神经网络隐层特征，利用预先训练得到的语法知识点预测模型，获取第二语法知识点；
根据所述第一语法知识点和所述第二语法知识点，获取所述语法类知识点。
在一种可能的实现方式中，处理器配置为：
根据所述目标题目的知识点特征，利用所述知识图谱推荐模型，确定待推荐的知识点特征；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征，输出参数包括：待推荐的知识点特征；
根据所述待推荐的知识点特征，在所述待推荐题库中查找与所述待推荐的知识点特征匹配的待推荐题目。
在一种可能的实现方式中，处理器配置为：
根据待推荐题库中多个题目的知识点特征，以及所述目标题目的知识点特征，利用所述知识图谱推荐模型，获取所述目标题目与所述待推荐图库中各个题目之间的相关性；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征和所述待推荐题库中各个题目的知识点特征，输出参数包括：所述目标题目与所述各个题目之间的相关性；
根据所述目标题目与所述待推荐图库中各个题目之间的相关性，从所述待推荐题库中各个题目中获取待推荐题目。
在一种可能的实现方式中，处理器配置为：
根据第一训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第一训练数据包括：多个题目的知识点特征以及所述知识点特征对应的待推荐的知识点特征的信息。
在一种可能的实现方式中，处理器配置为：
根据第二训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第二训练数据包括：多个题目的知识点特征以及各个所述题目之间的相关性。
本发明实施例提供的题目推荐方法、设备和存储介质，在获取到推荐触发指令后，获取目标题目的知识点特征；所述知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐所述待推荐题目，基于包括的至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征的知识点特征，采用训练得到的知识图谱推荐模型进行推荐，推荐效果较好。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是知识图谱示意图；
图2是本发明提供的题目推荐方法一实施例的流程示意图；
图3是本发明提供的题目推荐方法一实施例的原理示意图；
图4是本发明提供的题目推荐方法另一实施例的原理示意图；
图5是本发明提供的方法一实施例的获取待推荐题目的原理示意图；
图6是本发明提供的方法另一实施例的获取待推荐题目的原理示意图；
图7是本发明提供的电子设备实施例的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本发明所涉及的应用场景进行介绍：
本发明实施例提供的题目推荐方法，应用于向用户推荐题目的场景中，例如用户在做错题目之后，向用户推荐相关题目，对用户的薄弱知识点进行巩固，提升用户的学习效率以及学习效果。
本发明实施例的方法，适用于多种学科的题目推荐，以下实施例中仅以英语学科举例说明。
相关技术中，推荐方法是基于学生日常作答的作业、试卷的答案，通过将答题卡扫描上传到推荐系统中，客观题通过光标阅读机(Optical Mark Reader，简称OMR)直接评分，主观题老师批改之后，汇总识别出学生的错题信息，基于错题信息的知识点标签、难度标签，答案等，输入到教研预先制定好的知识点路径图(如图1所示)中，并从题库中依据知识点路径图中知识点之间的关系获取推荐的备选题，推荐规则依据教研经验制定。
上述方案中，需要组织人工进行各类题目知识点的标注工作，题目的表现形式是完全依赖一个或多个知识点来表达的，对人工标注的准确度要求高，且整体流程长。整体的知识点路径图建立完全由有经验的教研人员编写，整体知识点路径图的维护以及优化存在一定的局限性，维护复杂。
本发明实施例的方法，通过在获取到推荐触发指令后，获取目标题目的知识点特征；知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；根据目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐待推荐题目，基于包括的至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征的知识点特征，采用知识图谱推荐模型推荐效果较好。
本发明实施例的方法，适用于电子设备，例如包括手机、平板电脑、各类学习机、家教机等终端设备。
进一步的，电子设备还可以包括显示屏，用于显示题目内容。
本发明提供的方法可由电子设备如处理器执行相应的软件代码实现，也可由该电子设备在执行相应的软件代码的同时，通过和服务器进行数据交互来实现，如服务器执行部分操作，来控制电子设备执行该题科目推荐方法。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2是本发明提供的题目推荐方法一实施例的流程示意图。如图2所示，本实施例提供的方法，包括：
步骤201、在获取到推荐触发指令后，获取目标题目的知识点特征；知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征。
具体的，目标题目可以是用户做错的题目，或用户想要巩固知识点的题目，用户可以主动触发推荐，或设备自动触发推荐。对于用户主动触发推荐来说，用户可以发起推荐触发指令，该推荐触发指令例如可以包括目标题目信息(可以包括一个或多个题目的信息)，待推荐题目的难度信息以及数量等。用户可以点击设备中的某按钮触发生成推荐指令。对于设备自动触发推荐来说，用户在点击题目的答案后或用户在完成某一试卷后，设备自动触发推荐，设备还可以向用户发起提示，询问用户选择哪些目标题目，或设备可以直接选择用户的错误题目作为目标题目进行推荐。
示例性的，用户通过电子设备答题，在答题结果显示之后，例如答题结果为答题错误，则用户可以点击电子设备的操作界面上显示的提示按钮(例如为相关题目推荐按钮)，从而使得电子设备生成推荐触发指令，触发题目推荐。
触发推荐后，首先需要获取目标题目的知识点特征，知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征。
其中，词汇类知识点、语法类知识点例如可以通过向量表示，例如总的词汇类知识点为100个，某个题目中包括第2个、第3个词汇类知识点，则该题目的向量表示可以是一个1×100维的向量，其中，第2、3个元素为1，其余为0。
知识点特征可以通过机器学习模型等提取到，例如卷积神经网络(ConvolutionalNeural Network，简称CNN)模型、长短期记忆模型(long-short term memory，简称LSTM)、Bi-Attention模型、预训练语言表示模型(Bidirectional Encoder Representationsfrom Transformers，简称BERT)模型、ELMo预训练模型等。
进一步的，目标题目的知识点特征可以是每个题目答题结束后提取的，或是所有题目答题完成之后提取的，或是在触发推荐之后提取的，本发明实施例对此并不限定。
步骤202、根据目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐待推荐题目。其中，该知识图谱推荐模型的输入参数至少包括目标题目的知识点特征，该知识图谱推荐模型的输出参数包括待推荐的知识点特征，或，目标题目与待推荐题库中各个题目之间的相关性。
具体的，根据获取到的目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目。知识图谱推荐模型可以根据以下模型训练得到，例如卷积神经网络CNN模型、长短期记忆模型LSTM、Bi-Attention模型、循环神经网络RNN模型等。
知识图谱推荐模型可以将目标题目的知识点特征作为输入，待推荐的知识点特征(可以包括一个或多个待推荐的知识点特征)作为输出，或，将目标题目的知识点特征以及待推荐题库中各个题目的知识点特征作为输入，目标题目与待推荐题库中各个题目之间的相关性作为输出。其中，该知识图谱推荐模型中输出待推荐的知识点特征与目标题目的知识点特征的相关性可以为相关或不相关的表示结果，或，相关度的大小。
其中，对于知识图谱推荐模型输出的待推荐的知识点特征，可以在待推荐题库中的题目中选择与待推荐的知识点特征匹配的题目，例如提取待推荐题库中的题目的知识点特征，与待推荐的知识点特征之间进行匹配，获取待推荐题目。
进一步的，对于知识图谱推荐模型输出的待推荐的知识点特征或目标题目与待推荐题库中各个题目之间的相关性，还可以考虑其他的推荐条件，例如针对不同的学习能力的用户可以考虑待推荐题目的难度选择最终推荐的题目。
示例性的，如图3所示，可以基于学生日常作答的作业、试卷的答案，通过将答题卡扫描上传到推荐系统中，客观题通过光标阅读机(Optical Mark Reader，简称OMR)直接评分(即机器批改)，主观题老师批改(即人工批改)之后，汇总识别出学生的错题信息(例如形成错题集，包括多个题目)，输入到本发明实施例的推荐系统中，对错题集中的各个题目提取知识点特征，知识点特征例如包括：知识点、词向量特征、神经网络隐层特征，将上述特征进行拼接或者选择其中至少一个或多个组合，并据错题集中的各个题目提取的知识点特征以及待推荐题库中所有题目的知识点特征，从待推荐题库中最终给出待推荐题目。
综上，本实施例的方法，在获取到推荐触发指令后，获取目标题目的知识点特征；所述知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐所述待推荐题目，基于包括的至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征的知识点特征，采用训练得到的知识图谱推荐模型进行推荐，推荐效果较好。
在上述实施例的基础上，进一步的，如图4所示，提取知识点特征具体可以通过如下方式实现：
根据所述目标题目和所述目标题目的答案信息，将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果；
根据所述分句结果、分词结果和词性预测结果，获取所述目标题目对应的第一语法知识点。
具体的，若目标题目包括错误题目，则答案信息包括正确答案以及该用户的错误答案。其中，答案信息例如可以是答案文本信息。
用户可以将纸质的答题卡扫描之后上传设备，或用户直接在设备上答题，之后获取目标题目以及答案信息，例如包括正确答案和错误答案，错误答案可以获取到相关语法知识点的信息。
将所述目标题目(即目标题目对应的文本信息)分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果；词性预测结果例如是指分词结果中各个词对应的词性，例如是名词、动词、副词等。
根据所述分句结果、分词结果和词性预测结果，可以根据预先建立的语法知识点规则获取所述目标题目对应的第一语法知识点。
进一步，还可以对所述分句结果和分词结果进行词向量提取，得到所述目标题目对应的词向量特征。
具体的，可以通过CNN、ELMo以及BERT等模型进行词向量提取，具体可以通过任意一种模型或多种模型的组合进行词向量提取。其中，提取的词向量特征可以包括词、句、语义的embedding特征表达，也可以通过其他表征方式表示。
其中，上述模型可以通过训练数据预先训练得到。
进一步，还可以根据所述目标题目对应的词向量特征，利用预先训练得到的机器学习模型，获取神经网络隐层特征。
进一步，获取神经网络隐层特征具体可以通过如下方式实现：
根据所述目标题目对应的词向量特征，利用两个所述机器学习模型，分别获取语法类神经网络隐层特征和词汇类神经网络隐层特征。
具体的，可以将提取的词向量特征的特征表示传入机器学习模型，获取该模型的神经网络隐层特征，例如具体可以通过两个不同的模型(例如LSTM和Bi-Attention)提取两种神经网络隐层特征，包括语法类神经网络隐层特征和词汇类神经网络隐层特征。在本发明的其他实施例中，还可以通过其他相同或不同的模型提取两种神经网络隐层特征，模型例如是RNN、CNN、LSTM、Bi-Attention等模型。
进一步，还可以根据所述词汇类神经网络隐层特征，利用预先训练得到的词汇知识点预测模型，获取词汇类知识点；
根据所述语法类神经网络隐层特征，利用预先训练得到的语法知识点预测模型，获取第二语法知识点；
根据所述第一语法知识点和所述第二语法知识点，获取所述语法类知识点。
具体的，语法类神经网络隐层特征加载语法知识点预测模型获取第二语法知识点，与通过知识点规则得到的第一语法知识点合并后形成最终的语法类知识点。
词汇类神经网络隐层特征加载词汇知识点预测模型，得到词汇类知识点。
其中，语法知识点预测模型和词汇知识点预测模型可以通过机器学习模型预先进行训练得到，其中，机器学习模型例如为神经网络等模型。其中，语法知识点预测模型的输入参数可以包括语法类神经网络隐层特征，输出参数可以包括语法知识点，词汇知识点预测模型的输入参数可以包括词汇类神经网络隐层特征，输出参数可以包括词汇类知识点。
在调用知识图谱推荐模型进行推荐时，可以将上述各种特征进行拼接，例如将词向量特征、第一语法知识点、语法类神经网络隐层特征、词汇类神经网络隐层特征、第二语法知识点、词汇类知识点进行拼接，或者选择其中任意一项或多项的组合。
上述提取知识点特征的过程中，会形成大量的中间神经网络隐层特征，这些特征合并后可以更好的表达目标题目。使用这些特征合并后的特征表示，推荐效果更佳。
本发明实施例的方法中，通过机器预测的知识点、神经网络隐层特征，词向量特征等共同来表征题目，减少了人工标注知识点的大量工作，即使部分知识点机器预测错误、神经网络隐层特征存在错误，由于知识点特征的表现形式是由多个特征表示来表达，例如包括词向量特征、第一语法知识点、语法类神经网络隐层特征、词汇类神经网络隐层特征、第二语法知识点、词汇类知识点，对整体的推荐效果影响较小，同时使用的是基于多个特征表示的知识点特征训练得到的知识图谱推荐模型，整体网络结构更优化，推荐效果与系统鲁棒性得到了进一步提升。
在上述实施例的基础上，进一步的，步骤202具体可以通过如下几种方式实现：
一种实现方式：
根据目标题目的知识点特征，利用知识图谱推荐模型，确定待推荐的知识点特征；知识图谱推荐模型的输入参数包括：目标题目的知识点特征，输出参数包括：待推荐的知识点特征；
根据待推荐的知识点特征，在待推荐题库中查找与待推荐的知识点特征匹配的待推荐题目。
具体的，如图5所示，将提取的目标题目的知识点特征作为输入参数，利用知识图谱推荐模型，可以确定出目标题目对应的待推荐的知识点特征(可以是一个或多个)，基于待推荐的知识点特征，从待推荐题库中选择与待推荐的知识点特征匹配的一些题目，将该些题目中的全部或部分作为待推荐题目。
从待推荐题库中选择与待推荐的知识点特征匹配的一些题目，可以通过确定题目是否达到匹配条件实现，匹配条件例如包括题目的知识点特征与上述待推荐的知识点特征全部匹配或部分匹配。
例如，选择待推荐题库中的某个题目的知识点特征与上述待推荐的知识点特征全部匹配，或，有预设数量个知识点特征与待推荐的知识点特征匹配，匹配例如是指相关度大于某一预设值。
进一步，在选择待推荐题目时可以考虑用户的学习水平等级，以及题目的难易程度，从多个与该待推荐的知识点特征匹配的题目中选择待推荐题目。
在步骤202之前还可以预先对知识图谱推荐模型进行训练：
根据第一训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第一训练数据包括：多个题目的知识点特征以及所述知识点特征对应的待推荐的知识点特征的信息。
具体的，知识图谱推荐模型可以根据深度学习算法例如神经网络模型等建立，然后基于第一训练数据进行训练，得到训练后的知识图谱推荐模型。其中，第一训练数据包括：多个题目的知识点特征以及多个知识点特征分别对应的待推荐的知识点特征的信息。
示例性的，将多个题目对应的知识点特征以及每个知识点特征对应的待推荐的知识点特征的信息(例如第1题的第1个知识点特征对应的待推荐的知识点特征包括第2题的第2个知识点特征、第3题的第2个知识点特征等)，输入知识图谱推荐模型，训练知识图谱推荐模型的参数，从而得到训练后的知识图谱推荐模型。
另一种实现方式：
根据待推荐题库中多个题目的知识点特征，以及所述目标题目的知识点特征，利用所述知识图谱推荐模型，获取所述目标题目与所述待推荐图库中各个题目之间的相关性；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征和所述待推荐题库中各个题目的知识点特征，输出参数包括：所述目标题目与各个题目之间的相关性；
根据所述目标题目与所述待推荐图库中各个题目之间的相关性，从所述待推荐题库中各个题目中获取待推荐题目。
进一步的，例如题目之间的相关性，可以通过相关或不相关表示，也可以通过相关度大小表示。
具体的，如图6所示，利用知识图谱推荐模型，可以确定出不同题目的相关性，基于题目之间的相关性，可以从备选题中获取到目标题目对应的待推荐题目，例如将与目标题目相关性最大的前N个题目作为待推荐题目，或者与目标题目相关的全部或部分题目作为待推荐题目。进一步，在选择待推荐题目时还可以考虑用户的学习水平等级，以及题目的难易程度，从多个与该目标题目相关的题目中选择待推荐题目。
在步骤202之前还可以预先对知识图谱推荐模型进行训练：
根据第二训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第二训练数据包括：多个题目的知识点特征以及各个题目之间的相关性。
具体的，知识图谱推荐模型可以根据深度学习算法例如神经网络模型等建立，然后基于第二训练数据进行训练，得到训练后的知识图谱推荐模型。其中，第二训练数据包括：多个题目的知识点特征以及各个题目之间的相关性。
上述模型的训练过程，可以通过大量现网被老师以及学生认可的真实数据，使用前述多个特征拼接后的特征组合起来进行知识图谱推荐模型的训练。随着现网数据的增多，可以不断扩大网络模型的结构，重复迭代训练模型，进一步优化性能，例如可以获取用户对推荐题目的反馈对模型进行优化。
本发明实施例中的推荐方法，不仅仅与知识点相关，而且与其他神经网络隐层特征、词向量特征等有关，推荐效果与系统鲁棒性得到了进一步提升。
图7为本发明提供的电子设备实施例的结构图，如图7所示，该电子设备包括：
处理器701，以及，用于存储处理器701的可执行指令的存储器702。
可选的，还可以包括：显示屏703，用于显示题目内容等信息。
上述部件可以通过一条或多条总线进行通信。
其中，处理器701配置为经由执行所述可执行指令以实现：
在获取到推荐触发指令后，获取目标题目的知识点特征；所述知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；
根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐所述待推荐题目。
在一种可能的实现方式中，处理器701配置为：
根据所述目标题目和所述目标题目的答案信息，将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果；
根据所述分句结果、分词结果和词性预测结果，获取所述目标题目对应的第一语法知识点。
在一种可能的实现方式中，处理器701配置为：
在所述将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果之后，对所述分句结果和分词结果进行词向量提取，得到所述目标题目对应的词向量特征。
在一种可能的实现方式中，处理器701配置为：
在所述得到所述目标题目对应的词向量特征之后，根据所述目标题目对应的词向量特征，利用预先训练得到的机器学习模型，获取神经网络隐层特征。
在一种可能的实现方式中，处理器701配置为：
根据所述目标题目对应的词向量特征，利用两个所述机器学习模型，分别获取语法类神经网络隐层特征和词汇类神经网络隐层特征。
在一种可能的实现方式中，处理器701配置为：
在所述获取语法类神经网络隐层特征和词汇类神经网络隐层特征之后，根据所述词汇类神经网络隐层特征，利用预先训练得到的词汇知识点预测模型，获取词汇类知识点；
根据所述语法类神经网络隐层特征，利用预先训练得到的语法知识点预测模型，获取第二语法知识点；
根据所述第一语法知识点和所述第二语法知识点，获取所述语法类知识点。
在一种可能的实现方式中，处理器701配置为：
根据所述目标题目的知识点特征，利用所述知识图谱推荐模型，确定待推荐的知识点特征；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征，输出参数包括：待推荐的知识点特征；
根据所述待推荐的知识点特征，在所述待推荐题库中查找与所述待推荐的知识点特征匹配的待推荐题目。
在一种可能的实现方式中，处理器701配置为：
根据待推荐题库中多个题目的知识点特征，以及所述目标题目的知识点特征，利用所述知识图谱推荐模型，获取所述目标题目与所述待推荐图库中各个题目之间的相关性；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征和所述待推荐题库中各个题目的知识点特征，输出参数包括：所述目标题目与所述各个题目之间的相关性；
根据所述目标题目与所述待推荐图库中各个题目之间的相关性，从所述待推荐题库中各个题目中获取待推荐题目。
在一种可能的实现方式中，处理器701配置为：
根据第一训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第一训练数据包括：多个题目的知识点特征以及所述知识点特征对应的待推荐的知识点特征的信息。
在一种可能的实现方式中，处理器701配置为：
根据第二训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第二训练数据包括：多个题目的知识点特征以及各个所述题目之间的相关性。
本实施例的电子设备，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (9)
1.一种题目推荐方法，其特征在于，包括：
在获取到推荐触发指令后，获取目标题目的知识点特征；所述知识点特征包括以下至少一项：语法类知识点、词汇类知识点、词向量特征、神经网络隐层特征；
根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，并向用户推荐所述待推荐题目；
所述根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目，包括：
根据待推荐题库中多个题目的知识点特征，以及所述目标题目的知识点特征，利用所述知识图谱推荐模型，获取所述目标题目与所述待推荐题库中各个题目之间的相关性；所述知识图谱推荐模型的输入参数包括：目标题目的知识点特征和所述待推荐题库中各个题目的知识点特征，输出参数包括：所述目标题目与所述各个题目之间的相关性；
根据所述目标题目与所述待推荐图库中各个题目之间的相关性，从所述待推荐题库中各个题目中获取待推荐题目。
2.根据权利要求1所述的方法，其特征在于，所述获取目标题目的知识点特征，包括：
根据所述目标题目和所述目标题目的答案信息，将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果；
根据所述分句结果、分词结果和词性预测结果，获取所述目标题目对应的第一语法知识点。
3.根据权利要求2所述的方法，其特征在于，所述将所述目标题目分别进行分句处理、分词处理以及词性预测，获取分句结果、分词结果和词性预测结果之后，还包括：
对所述分句结果和分词结果进行词向量提取，得到所述目标题目对应的词向量特征。
4.根据权利要求3所述的方法，其特征在于，所述得到所述目标题目对应的词向量特征之后，还包括：
根据所述目标题目对应的词向量特征，利用预先训练得到的机器学习模型，获取神经网络隐层特征。
5.根据权利要求4所述的方法，其特征在于，所述获取神经网络隐层特征，包括：
根据所述目标题目对应的词向量特征，利用两个所述机器学习模型，分别获取语法类神经网络隐层特征和词汇类神经网络隐层特征。
6.根据权利要求5所述的方法，其特征在于，所述获取语法类神经网络隐层特征和词汇类神经网络隐层特征之后，还包括：
根据所述词汇类神经网络隐层特征，利用预先训练得到的词汇知识点预测模型，获取词汇类知识点；
根据所述语法类神经网络隐层特征，利用预先训练得到的语法知识点预测模型，获取第二语法知识点；
根据所述第一语法知识点和所述第二语法知识点，获取所述语法类知识点。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述目标题目的知识点特征，利用预先训练得到的知识图谱推荐模型，获取待推荐题目之前，还包括：
根据第二训练数据，对所述知识图谱推荐模型进行训练，得到训练后的知识图谱推荐模型；所述第二训练数据包括：多个题目的知识点特征以及各个所述题目之间的相关性。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910641264.8A CN110362671B (zh) | 2019-07-16 | 2019-07-16 | 题目推荐方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910641264.8A CN110362671B (zh) | 2019-07-16 | 2019-07-16 | 题目推荐方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110362671A CN110362671A (zh) | 2019-10-22 |
| CN110362671B true CN110362671B (zh) | 2022-04-19 |
Family
ID=68219662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910641264.8A Active CN110362671B (zh) | 2019-07-16 | 2019-07-16 | 题目推荐方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110362671B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851723B (zh) * | 2019-11-14 | 2022-09-23 | 学利网络科技(上海)有限公司 | 一种基于大规模知识点标注结果的英语习题推荐方法 |
| CN111126610B (zh) * | 2019-12-12 | 2023-12-01 | 科大讯飞股份有限公司 | 题目分析方法、装置、电子设备和存储介质 |
| CN111782796A (zh) * | 2020-06-28 | 2020-10-16 | 上海松鼠课堂人工智能科技有限公司 | 智能题目生成系统 |
| CN111783428B (zh) * | 2020-07-07 | 2024-01-23 | 杭州叙简科技股份有限公司 | 基于深度学习的应急管理类客观题自动生成系统 |
| CN112749558B (zh) * | 2020-09-03 | 2023-11-24 | 腾讯科技（深圳）有限公司 | 一种目标内容获取方法、装置、计算机设备和存储介质 |
| CN112069295B (zh) * | 2020-09-18 | 2022-12-06 | 科大讯飞股份有限公司 | 相似题推荐方法、装置、电子设备和存储介质 |
| CN112182237A (zh) * | 2020-09-21 | 2021-01-05 | 深圳中兴网信科技有限公司 | 题目知识点关联方法、题目知识点关联系统和存储介质 |
| CN112632233A (zh) * | 2021-03-09 | 2021-04-09 | 北京世纪好未来教育科技有限公司 | 一种提升学生解题能力的方法及装置 |
| CN113204581A (zh) * | 2021-05-28 | 2021-08-03 | 上海易教科技股份有限公司 | 基于大数据的题目推荐方法、装置、设备及存储介质 |
| CN113254671B (zh) * | 2021-06-22 | 2021-09-28 | 平安科技（深圳）有限公司 | 基于query分析的图谱优化方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9002858B1 (en) * | 2011-06-16 | 2015-04-07 | Rallyverse, Inc. | Methods, systems, and media for generating and prioritizing relevant content in real-time data systems |
| CN104834729A (zh) * | 2015-05-14 | 2015-08-12 | 百度在线网络技术（北京）有限公司 | 题目推荐方法和题目推荐装置 |
| CN105589971A (zh) * | 2016-01-08 | 2016-05-18 | 车智互联（北京）科技有限公司 | 训练推荐模型的方法、装置及推荐系统 |
| CN105930319A (zh) * | 2016-05-09 | 2016-09-07 | 北京新唐思创教育科技有限公司 | 建立获取题目知识点模型、获取题目知识点的方法和装置 |
| CN106340219A (zh) * | 2016-08-16 | 2017-01-18 | 广东小天才科技有限公司 | 一种题目推荐方法及系统、相关设备 |
| CN106547889A (zh) * | 2016-10-27 | 2017-03-29 | 广东小天才科技有限公司 | 一种题目推送方法及装置 |
| CN106570109A (zh) * | 2016-11-01 | 2017-04-19 | 深圳市前海点通数据有限公司 | 一种通过文本分析自动生成题库知识点的方法 |
| CN106777328A (zh) * | 2017-01-11 | 2017-05-31 | 广东小天才科技有限公司 | 一种移动终端的题目推荐方法及装置 |
| CN107423311A (zh) * | 2017-03-08 | 2017-12-01 | 浙江工商大学 | 提供在线诊断学习的方法和装置 |
| CN109360457A (zh) * | 2018-09-03 | 2019-02-19 | 浙江学海教育科技有限公司 | 一种题目推送方法、存储介质、及应用系统 |
-
2019
- 2019-07-16 CN CN201910641264.8A patent/CN110362671B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9002858B1 (en) * | 2011-06-16 | 2015-04-07 | Rallyverse, Inc. | Methods, systems, and media for generating and prioritizing relevant content in real-time data systems |
| CN104834729A (zh) * | 2015-05-14 | 2015-08-12 | 百度在线网络技术（北京）有限公司 | 题目推荐方法和题目推荐装置 |
| CN105589971A (zh) * | 2016-01-08 | 2016-05-18 | 车智互联（北京）科技有限公司 | 训练推荐模型的方法、装置及推荐系统 |
| CN105930319A (zh) * | 2016-05-09 | 2016-09-07 | 北京新唐思创教育科技有限公司 | 建立获取题目知识点模型、获取题目知识点的方法和装置 |
| CN106340219A (zh) * | 2016-08-16 | 2017-01-18 | 广东小天才科技有限公司 | 一种题目推荐方法及系统、相关设备 |
| CN106547889A (zh) * | 2016-10-27 | 2017-03-29 | 广东小天才科技有限公司 | 一种题目推送方法及装置 |
| CN106570109A (zh) * | 2016-11-01 | 2017-04-19 | 深圳市前海点通数据有限公司 | 一种通过文本分析自动生成题库知识点的方法 |
| CN106777328A (zh) * | 2017-01-11 | 2017-05-31 | 广东小天才科技有限公司 | 一种移动终端的题目推荐方法及装置 |
| CN107423311A (zh) * | 2017-03-08 | 2017-12-01 | 浙江工商大学 | 提供在线诊断学习的方法和装置 |
| CN109360457A (zh) * | 2018-09-03 | 2019-02-19 | 浙江学海教育科技有限公司 | 一种题目推送方法、存储介质、及应用系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110362671A (zh) | 2019-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110362671B (zh) | 题目推荐方法、设备和存储介质 | |
| US10720078B2 (en) | Systems and methods for extracting keywords in language learning | |
| CN111279404B (zh) | 语言流利系统 | |
| CN110991195A (zh) | 机器翻译模型训练方法、装置及存储介质 | |
| CN109859544A (zh) | 一种智能学习方法、设备及存储介质 | |
| US20210192973A1 (en) | Systems and methods for generating personalized assignment assets for foreign languages | |
| US20230103617A1 (en) | Method and device for providing training content using ai tutor | |
| CN110765241B (zh) | 推荐题的超纲检测方法、装置、电子设备和存储介质 | |
| US20230386355A1 (en) | Method And Device For Providing Learning Service By Using Digital Studying Method | |
| CN113569112A (zh) | 基于题目的辅导策略提供方法、系统、装置及介质 | |
| CN109582971B (zh) | 一种基于句法分析的批改方法及批改系统 | |
| CN112560431A (zh) | 用于生成试题辅导信息的方法、装置、设备、存储介质以及计算机程序产品 | |
| CN110827178A (zh) | 通过人工智能制定学习计划的系统和方法 | |
| Thaiprasert et al. | Development of a Class Materials Search System using LINE Chatbot | |
| CN117150151B (zh) | 一种基于大语言模型的错题分析及试题推荐系统和方法 | |
| Heck et al. | Automatic generation of form-based grammar exercises from authentic texts | |
| CN117668211A (zh) | 试题推荐方法、系统、电子设备及存储介质 | |
| CN112836034A (zh) | 虚拟教学方法、装置和电子设备 | |
| CN113806515A (zh) | 一种语言教学系统及其使用方法、计算机可读存储介质 | |
| CN117786226A (zh) | 在线学习信息推荐方法及相关装置 | |
| CN112256743A (zh) | 一种自适应出题方法、设备及存储介质 | |
| CN115358192A (zh) | 试卷生成与测评方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |