CN117150151A - 一种基于大语言模型的错题分析及试题推荐系统和方法 - Google Patents
一种基于大语言模型的错题分析及试题推荐系统和方法 Download PDFInfo
- Publication number
- CN117150151A CN117150151A CN202311436886.XA CN202311436886A CN117150151A CN 117150151 A CN117150151 A CN 117150151A CN 202311436886 A CN202311436886 A CN 202311436886A CN 117150151 A CN117150151 A CN 117150151A
- Authority
- CN
- China
- Prior art keywords
- question
- analysis
- test
- answer
- wrong
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 170
- 238000004458 analytical method Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 18
- 241001649081 Dina Species 0.000 claims abstract description 17
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 6
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于大语言模型的错题分析及试题推荐系统和方法，属于在线教育和自然语言处理技术领域，包括：获取学生做题的历史数据整合得到答题数据，将答题数据和人为给定的答题指令输入智能算法得到指令数据；指令数据作为训练数据，采用LoRA方案对大语言模型ChatGLM‑6B进行指令微调，经过优化器优化，得到训练好的错题分析模型，将答题数据输入训练好的错题分析模型得到错题分析结果；试题推荐模型，采用DINA算法和基于内容的协同过滤算法得到个性化习题，与错题分析结果一起发送给学生。本发明能够实现文字类全题型的在线错题分析，辅助教师进行教学，并为学生提供更具个性化、交互性好的试题推荐系统。
Description
技术领域
本发明涉及在线教育和自然语言处理技术领域，具体涉及一种基于大语言模型的错题分析及试题推荐系统和方法。
背景技术
在当前的在线教育领域中，面对海量的试题以及学习资源，学生很难根据自己的做题历史数据得到准确的错题分析和个性化的学习资源推荐。目前，错题分析主要以人工分析和专家规则为主，在线教育系统中一些选择题和填空题，有经验的老师或专家会预先定义出学生选择错误答案时可能的原因，但是简答题和应用题仍需要人工批阅并给出错题分析。另外，当前给学生推荐个性化的学习资源的方式，大多是基于规则或者传统的协同过滤算法，频繁推荐相似习题，并且普遍采用的协同过滤算法具有可解释性较差的问题，这也是在线教育行业中个性化推荐亟需克服的问题。
大语言模型（Large Language Model，LLM），也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，拥有强大的语义理解和推理能力，可以执行广泛的自然语言任务，包括文本总结、翻译、情感分析等。
公开号为CN109977230A的专利文献公开了适合自适应教学的选择题错因分析方法，包括：通过将选择题的一个或多个选项设为正确选项，将剩余的选项设为错误选项，根据选择题的题干，确定与题干关联的知识点名称，根据错误选项对应的题干，获取与题干关联的知识点名称，根据错误选项的内容，获取用户输入的选择题的编号，判断编号对应的选项是否为正确选项，若否，则根据选项对应的题干，获取与题干关联的知识点名称、超纳米级知识点名称及超纳米级知识点内容并展示编号、超纳米级知识点名称及超纳米级知识点内容，利用通用语言模型对超纳米级知识点名称及超纳米级知识点内容进行语义分析。但是该发明仅仅涉及到对选择题的错因分析，对于简答题和应用题的错因分析并没有提及相关的解决办法。
公开号为CN107273490A的专利文献公开了一种基于知识图谱的组合错题推荐方法，包括：从大规模非结构化试题数据中抽取知识，构建知识图谱；对学习者的错题进行文本挖掘，分词，提取出错题关键字，进而确定该错题所包含的知识点；通过对试题的语义相识性进行分析，得到该知识点的语义近邻；通过错题知识点映射到知识图谱中，获得符合其知识点的试题实体；通过对试题库进行相识性权重计算，得到试卷的相识度矩阵，利用协同过滤技术得到错题的推荐试题；利用加权、混合、层叠和元级别等方式对两种推荐结果进行进一步组合，给出最终推荐结果。但是该发明采用构建知识图谱的方式，需要采集大量的学生数据，最终的推荐精度也十分依赖所构建的知识图谱的质量。
发明内容
本发明的目的是提供一种基于大语言模型的错题分析及试题推荐系统和方法，能够实现文字类全题型的在线错题分析，辅助教师进行教学，并为学生提供更具个性化、交互性好的试题推荐系统。
为实现上述发明目的，本发明提供的技术方案如下：
第一方面，本发明实施例提供的一种基于大语言模型的错题分析及试题推荐系统，包括以下模块：
数据处理模块，用于对采集到的做题记录、试题集合和错题解析数据整合得到答题数据，将所述答题数据和人为给定的答题指令输入智能算法并辅以人工标注审核得到指令数据；
错题分析模块，用于采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，得到训练好的错题分析模型，将答题数据输入训练好的错题分析模型得到错题分析结果；
试题推荐模块，用于对错题分析结果进行解析，得到知识点集合1，与根据DINA算法得到的学生未掌握知识点集合2求并集，得到知识点列表，根据所述知识点列表在资源库中检索得到相关试题，采用基于内容的协同过滤算法对相关试题进行过滤，得到个性化试题，与错题分析结果一起发送给学生。
本发明提出采用大语言模型构建错题分析及试题推荐系统和方法，选取大语言模型中的ChatGLM-6B模型，运用训练速度块、计算需求低的LoRA微调方案，采集学生做题的历史数据构建指令数据作为训练数据集，将ChatGLM-6B模型训练为适用于错题分析及试题推荐场景的错题分析模型。
针对错题分析模型输出的错题分析结果进行解析，得到知识点集合1，采用DINA算法得到学生的知识点掌握度矩阵，将知识点集合1和知识点掌握度矩阵中的学生未掌握知识点集合2求并集，得到知识点列表，在资源库中进行检索得到知识点列表对应的相关试题。
为了进一步提升推荐的效果，本发明采用协同过滤算法对相关试题进行过滤，学生-试题矩阵中的元素0对应的试题内容为错题内容，计算错题内容与相关试题之间的相似度，人为设定阈值，过滤掉相似度低于阈值的相关试题，保留相似度不低于阈值的相关试题作为个性化习题，最后将个性化试题和错题分析结果一起发送给学生。
进一步的，数据处理模块中，所述做题记录包括试题编号、学生编号以及试题得分，所述试题集合包括试题编号、试题内容、试题答案以及考查知识点列表，所述错题解析数据包括试题编号、学生答题内容以及批注内容，所述答题数据包括试题内容、考查知识点列表以及学生答题内容。
进一步的，数据处理模块中，所述智能算法为ChatGPT-4，ChatGPT-4基于人为给定的答题指令对答题数据进行标注，得到答题结果，所述答题结果包括答题解析、解题步骤以及建议，所述人工标注审核为人工根据试题答案、批注内容对智能算法输出的答题结果进行审核，所述指令数据包括答题指令、答题数据以及答题结果。
进一步的，错题分析模块中，所述采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，包括：
将指令数据中的答题指令和答题数据作为ChatGLM模型的输入，指令数据中的答题结果作为ChatGLM模型的真值标签，采用LoRA微调方案，将ChatGLM模型训练为适用于错题分析及试题推荐场景的错题分析模型。
进一步的，错题分析模块中，所述错题分析结果包括答题解析、解题步骤和建议。
进一步的，试题推荐模块中，所述根据DINA算法得到的学生未掌握知识点，包括：
基于学生编号、试题内容、试题得分构建学生-试题矩阵，其中，试题得分作为矩阵元素；
基于试题编号、考查知识点列表构建试题-知识点矩阵；
所述DINA算法基于学生-试题矩阵和试题-知识点矩阵，得到知识点掌握度矩阵；其中，知识点掌握度矩阵中的元素1对应的知识点为学生已掌握知识点，元素0对应的知识点为学生未掌握知识点。
进一步的，试题推荐模块中，所述采用基于内容的协同过滤算法对相关试题进行过滤，包括：
基于学生编号、试题内容、试题得分构建学生-试题矩阵；
学生-试题矩阵中的元素0对应的试题内容为错题内容，基于内容的协同过滤算法采用余弦相似度计算所述错题内容与相关试题的相似度，人为设定阈值并过滤掉相似度低于阈值的相关试题。
第二方面，为实现上述发明目的，本发明实施例还提供了一种基于大语言模型的错题分析及试题推荐方法，所述方法采用第一方面所述的基于大语言模型的错题分析及试题推荐系统，包括以下步骤：
步骤1：对采集到的做题记录、试题集合和错题解析数据整合得到答题数据，将所述答题数据和人为给定的答题指令输入智能算法并辅以人工标注审核得到指令数据；
步骤2：采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，得到训练好的错题分析模型，将答题数据输入训练好的错题分析模型得到错题分析结果；
步骤3：对错题分析结果进行解析，得到知识点集合1，与根据DINA算法得到的学生未掌握知识点集合2求并集，得到知识点列表，根据所述知识点列表在资源库中检索得到相关试题，采用基于内容的协同过滤算法对相关试题进行过滤，得到个性化试题，与错题分析结果一起发送给学生。
第三方面，为实现上述发明目的，本发明实施例还提供了一种基于大语言模型的错题分析及试题推荐设备，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现第一方面所述的基于大语言模型的错题分析及试题推荐系统。
第四方面，为实现上述发明目的，本发明实施例还提供了一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序使用计算机时，实现第一方面所述的基于大语言模型的错题分析及试题推荐系统。
本发明的有益效果如下：
(1)本发明提出的系统和方法采用大语言模型ChatGLM并进行基于LoRA方案的指令微调，以学生做题的历史数据构建指令数据并作为训练数据集，将ChatGLM模型训练为适用于错题分析及试题推荐场景的错题分析模型。解决了现有技术中，简答题和应用题需要人工批阅的问题，实现了文字类全题型的在线错题分析，并且学生和错题分析模型之间的交互能够进一步提升错题分析结果的准确性；
(2)本发明采用DINA算法构建了学生的知识点掌握度矩阵，并对错题分析结果中知识点相关的关键词进行解析得到知识点集合1，通过对知识点集合1和知识点掌握度矩阵中的学生未掌握知识点集合2求并集，得到学生未掌握的知识点列表，基于所述知识点列表检索获得具有一定个性化的相关试题。为了进一步提升相关试题的个性化，本发明还采用了协同过滤算法对相关试题进行过滤，只保留与学生错题内容相似度不低于阈值的相关试题作为个性化试题，与错题分析结果一起发送给学生；
(3)本发明提出的系统和方法能够实现文字类全题型的在线错题分析，具有模型简单、推荐系统个性化强的优势，且构建的错题分析模型具有较好的交互性。
附图说明
图1是本发明实施例提供的基于大语言模型的错题分析及试题推荐系统的结构示意图。
图2是本发明实施例提供的答题数据的示意图。
图3是本发明实施例提供的指令数据的示意图。
图4是本发明实施例提供的试题推荐模块构建的矩阵示意图。
图5是本发明实施例提供的基于大语言模型的错题分析及试题推荐方法的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不限定本发明的保护范围。
本发明的技术构思为：针对当前的在线教育系统中，学生很难根据自己的做题历史数据得到准确的错题分析和个性化的学习资源推荐，学生的简答题和应用题的错题分析主要依靠人工分析实现，而对学生的个性化学习资源推荐方法又存在习题个性化不强、推荐模型构建复杂、模型交互性差等问题。
本发明提出采用大语言模型构建错题分析及试题推荐系统和方法，选取大语言模型中的ChatGLM-6B模型，基于学生做题的历史数据构建指令数据作为训练数据集，运用与该模型适配性较好的LoRA指令微调方案，将ChatGLM-6B模型训练为适用于错题分析及试题推荐场景的错题分析模型。在试题推荐模块中，采用DINA算法和协同过滤算法相结合，得到个性化试题，所述个性化试题和错题分析结果一起发送给学生。
ChatGLM-6B模型是清华大学和智谱AI联合研发的产品，是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化，ChatGLM-6B模型具备监督微调、反馈自助和人类反馈强化学习等技术特点，因此该模型能够生成相当符合人类偏好的回答。ChatGLM-6B模型具有广泛的应用前景，能够适用于聊天机器人、对话生成以及情感陪伴等多种场景。
图1是本发明实施例提供的基于大语言模型的错题分析及试题推荐系统的结构示意图。如图1所示，本发明实施例提供了一基于大语言模型的错题分析及试题推荐系统500，包括数据处理模块510，错题分析模块520，试题推荐模块530：
数据处理模块510，用于对采集到的做题记录、试题集合和错题解析数据整合得到答题数据，将所述答题数据和人为给定的答题指令输入智能算法并辅以人工标注审核得到指令数据。
本实施例中，做题记录、试题集合和错题解析数据均来自于在线教学系统。在线教学系统中，学生用户通过做题产生做题记录，教师上传试题集合并在系统上对学生答题内容进行批注产生错题解析数据。其中，做题记录包括试题编号、学生编号以及试题得分；试题集合包括试题编号、试题内容、试题答案以及考查知识点列表；错题解析数据包括试题编号、学生编号、学生答题内容以及批注内容。
对上述采集到的数据进行整合，选取试题内容、考查知识点列表以及学生答题内容作为答题数据，答题数据如图2所示。将答题数据和人为给定的答题指令作为智能算法ChatGPT-4的输入，ChatGPT-4基于人为给定的答题指令对答题数据进行标注，得到包含答题解析、解题步骤以及建议在内的答题结果。进一步的，为了保证智能算法的输出的准确性，通过采集到的试题答案和批注内容，人工对答题结果进行审核修正，提升答题结果的准确性。
本实施例中，人为给定的答题指令为“请对学生作答数据进行解析，然后根据试题写出正确的做题步骤，最后根据错误原因和考查的知识点给出建议”。如图3所示，指令数据包括答题指令、答题数据以及答题结果。
错题分析模块520，用于采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，得到训练好的错题分析模型，将答题数据输入训练好的错题分析模型得到错题分析结果。
本实施例中，使用的大语言模型为ChatGLM-6B模型。该模型是一个适用于多种场景的训练好的模型，因此为了让ChatGLM-6B模型与错题分析及试题推荐场景更为适配，需要利用数据处理模块510中的指令数据作为训练数据集，对ChatGLM-6B模型进行指令微调。指令微调是为了激发大语言模型的错题理解能力，通过在指令数据上进行训练使得大语言模型生成的错题分析结果更加合理，所述错题分析结果包括答案解析、解题步骤和建议。
指令微调使用LoRA方案，LoRA方案具有训练速度快、计算需求低的优势，在错题分析及试题推荐系统中采用LoRA方案进行训练，能够大大减少训练时间和训练成本。
将ChatGLM-6B模型训练为错题分析模型的具体步骤如下：
给定ChatGLM-6B预训练模型的权重W0∈Rd*k，通过低秩分解来表示其更新W0+ ΔW= W0+ BA，其中B∈Rd*r，A∈Rr*k，A和B均表示低秩矩阵，且秩r<<min(d，k)。在训练过程中仅更新低秩矩阵A和B，W0被冻结不接受梯度更新。经过LoRA微调方案训练后ChatGLM-6B模型的前向推理由y = W0x变为y=W0x + BAx，其中，y表示模型输出，x为模型输入。训练完成后使用web框架将训练好的错题分析模型部署成接口服务，用于进行错题解析。
将答题数据输入训练好的错题分析模型中获取错题分析结果，错题分析结果如图3中output所示，教师可对错题分析结果进行纠错，教师的纠错数据会进一步对模型进行优化。
试题推荐模块530，用于对错题分析结果进行解析，得到知识点集合1，与根据DINA算法得到的学生未掌握知识点集合2求并集，得到知识点列表，根据所述知识点列表在资源库中检索得到相关试题，采用基于内容的协同过滤算法对相关试题进行过滤，得到个性化试题，与错题分析结果一起发送给学生。
本实施例中，采用协同过滤算法和DINA算法共同实现个性化试题推荐，图4展示了上述两种算法构建的矩阵示意图。
如图4所示，本实施例中，根据学生编号、试题内容、试题得分构建了学生-试题R矩阵，其中，试题得分作为矩阵元素，根据试题编号、考查知识点列表构建了试题-知识点Q矩阵。DINA算法根据学生-试题R矩阵和试题-知识点Q矩阵建立起学生-知识点A矩阵，即知识点掌握度矩阵，其中，知识点掌握度矩阵中的元素1对应的知识点表示学生已掌握知识点，元素0对应的知识点表示学生未掌握知识点。
基于训练好的错题分析模型，能够针对学生用户的答题数据给出错题分析结果。通过对错题分析结果中知识点相关的关键词进行解析，结合教师提供的专家经验或专家规则(该知识点的前置知识点、相关知识点等)，获得知识点集合1。根据所述知识点集合1与DINA算法中得到的学生未掌握知识点集合2求并集，得到知识点列表。基于得到的知识点列表在资源库中进行检索，所述资源库中包含试题、文档、视频等资源，得到与学生用户相关的相关试题。
考虑到知识点集合1与知识点集合2求并集得到的知识点列表数量较为庞大，为了进一步提升个性化，本发明实施例进一步采用协同过滤算法，对知识点列表中的知识点进行排序过滤。
利用构建好的学生-试题R矩阵，矩阵元素0对应的试题内容为错题内容，基于内容的协同过滤算法采用余弦相似度计算所述错题内容与相关试题的相似度。本实施例中，将阈值设定为0.5，当相关试题与错题内容的相似度不低于0.5时，表明学生用户对于这部分相关试题中涉及到的知识点的掌握度比较低，即这部分相关试题的个性化较强，且相似度越大，个性化越强。
通过协同过滤算法过滤掉相似度低于0.5的相关试题，将相似度不低于0.5的相关试题作为个性化试题和错误分析结果一起发送给学生，完成错题分析及试题推荐。
另外，学生用户在系统中的做题记录会进一步训练本发明提出的模型，即学生与模型之间的交互能够使本发明提出的错题分析模型的错题分析精度会越来越高，试题推荐的个性化越来越强。
基于同样的发明构思，如图5所示，本发明实施例还提供了一种基于大语言模型的错题分析及试题推荐方法，包括以下步骤：
步骤1：用于对采集到的做题记录、试题集合和错题解析数据整合得到答题数据，将所述答题数据和人为给定的答题指令输入智能算法并辅以人工标注审核得到指令数据；
步骤2：采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，得到训练好的错题分析模型，将答题数据输入训练好的错题分析模型得到错题分析结果；
步骤3：对错题分析结果进行解析，得到知识点集合1，与根据DINA算法得到的学生未掌握知识点集合2求并集，得到知识点列表，根据所述知识点列表在资源库中检索得到相关试题，采用基于内容的协同过滤算法对相关试题进行过滤，得到个性化试题，与错题分析结果一起发送给学生。
基于同样的发明构思，本发明实施例还提供了一种基于大语言模型的错题分析及试题推荐设备，包括存储器和处理器，其中，存储器用于存储计算机程序，处理器用于当执行所述计算机程序时，实现上述基于大语言模型的错题分析及试题推荐系统。
基于同样的发明构思，本发明实施例还提供了一种计算机可读的存储介质，存储介质上存储有计算机程序，计算机程序使用计算机时，实现上述基于大语言模型的错题分析及试题推荐系统。
需要说明的是，上述实施例提供的基于大语言模型的错题分析及试题推荐方法、基于大语言模型的错题分析及试题推荐设备和计算机可读的存储介质，均与基于大语言模型的错题分析及试题推荐系统实施例属于同一构思，其具体实现过程详见基于大语言模型的错题分析及试题推荐系统实施例，这里不再赘述。
Claims (10)
1.一种基于大语言模型的错题分析及试题推荐系统，其特征在于，包括以下模块：
数据处理模块，用于对采集到的做题记录、试题集合和错题解析数据整合得到答题数据，将所述答题数据和人为给定的答题指令输入智能算法并辅以人工标注审核得到指令数据；
错题分析模块，用于采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，得到训练好的错题分析模型，将答题数据输入训练好的错题分析模型得到错题分析结果；
试题推荐模块，用于对错题分析结果进行解析，得到知识点集合1，与根据DINA算法得到的学生未掌握知识点集合2求并集，得到知识点列表，根据所述知识点列表在资源库中检索得到相关试题，采用基于内容的协同过滤算法对相关试题进行过滤，得到个性化试题，与错题分析结果一起发送给学生。
2.根据权利要求1所述的基于大语言模型的错题分析及试题推荐系统，其特征在于，数据处理模块中，所述做题记录包括试题编号、学生编号以及试题得分，所述试题集合包括试题编号、试题内容、试题答案以及考查知识点列表，所述错题解析数据包括试题编号、学生编号、学生答题内容以及批注内容，所述答题数据包括试题内容、考查知识点列表以及学生答题内容。
3.根据权利要求1或2所述的基于大语言模型的错题分析及试题推荐系统，其特征在于，数据处理模块中，所述智能算法为ChatGPT-4，ChatGPT-4基于人为给定的答题指令对答题数据进行标注，得到答题结果，所述答题结果包括答题解析、解题步骤以及建议，所述人工标注审核为人工根据试题答案、批注内容对智能算法输出的答题结果进行审核，所述指令数据包括答题指令、答题数据以及审核过的答题结果。
4.根据权利要求1所述的基于大语言模型的错题分析及试题推荐系统，其特征在于，错题分析模块中，所述采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，包括：
将指令数据中的答题指令和答题数据作为ChatGLM模型的输入，指令数据中的答题结果作为ChatGLM模型的真值标签，采用LoRA微调方案，将ChatGLM模型训练为适用于错题分析及试题推荐场景的错题分析模型。
5.根据权利要求1所述的基于大语言模型的错题分析及试题推荐系统，其特征在于，错题分析模块中，所述错题分析结果包括答题解析、解题步骤和建议。
6.根据权利要求1或2所述的基于大语言模型的错题分析及试题推荐系统，其特征在于，试题推荐模块中，所述根据DINA算法得到的学生未掌握知识点，包括：
基于学生编号、试题内容、试题得分构建学生-试题矩阵，其中，试题得分作为矩阵元素；
基于试题编号、考查知识点列表构建试题-知识点矩阵；
所述DINA算法基于学生-试题矩阵和试题-知识点矩阵，得到知识点掌握度矩阵；其中，知识点掌握度矩阵中的元素1对应的知识点为学生已掌握知识点，元素0对应的知识点为学生未掌握知识点。
7.根据权利要求1或2所述的基于大语言模型的错题分析及试题推荐系统，其特征在于，试题推荐模块中，所述采用基于内容的协同过滤算法对相关试题进行过滤，包括：
基于学生编号、试题内容、试题得分构建学生-试题矩阵；
学生-试题矩阵中的元素0对应的试题内容为错题内容，基于内容的协同过滤算法采用余弦相似度计算所述错题内容与相关试题的相似度，人为设定阈值并过滤掉相似度低于阈值的相关试题。
8.一种基于大语言模型的错题分析及试题推荐方法，其特征在于，所述方法采用权利要求1-7任一项所述的基于大语言模型的错题分析及试题推荐系统，包括以下步骤：
步骤1：对采集到的做题记录、试题集合和错题解析数据整合得到答题数据，将所述答题数据和人为给定的答题指令输入智能算法并辅以人工标注审核得到指令数据；
步骤2：采用指令数据对ChatGLM模型进行指令微调构建错题分析模型，得到训练好的错题分析模型，将答题数据输入训练好的错题分析模型得到错题分析结果；
步骤3：用于对错题分析结果进行解析，得到知识点集合1，与根据DINA算法得到的学生未掌握知识点集合2求并集，得到知识点列表，根据所述知识点列表在资源库中检索得到相关试题，采用基于内容的协同过滤算法对相关试题进行过滤，得到个性化试题，与错题分析结果一起发送给学生。
9.一种基于大语言模型的错题分析及试题推荐设备，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现权利要求1-7任一项所述的基于大语言模型的错题分析及试题推荐系统。
10.一种计算机可读的存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序使用计算机时，实现权利要求1-7任一项所述的基于大语言模型的错题分析及试题推荐系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311436886.XA CN117150151B (zh) | 2023-11-01 | 2023-11-01 | 一种基于大语言模型的错题分析及试题推荐系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311436886.XA CN117150151B (zh) | 2023-11-01 | 2023-11-01 | 一种基于大语言模型的错题分析及试题推荐系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117150151A true CN117150151A (zh) | 2023-12-01 |
| CN117150151B CN117150151B (zh) | 2024-02-20 |
Family
ID=88908577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311436886.XA Active CN117150151B (zh) | 2023-11-01 | 2023-11-01 | 一种基于大语言模型的错题分析及试题推荐系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117150151B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017124343A1 (zh) * | 2016-01-20 | 2017-07-27 | 吴晓敏 | 关于梳理知识点时的信息推送方法以及学习系统 |
| CN107273490A (zh) * | 2017-06-14 | 2017-10-20 | 北京工业大学 | 一种基于知识图谱的组合错题推荐方法 |
| CN107481568A (zh) * | 2017-09-19 | 2017-12-15 | 广东小天才科技有限公司 | 一种知识点巩固方法及用户终端 |
| CN108446768A (zh) * | 2018-05-02 | 2018-08-24 | 水木天骄（深圳）科技有限公司 | 一种学生建模的方法和装置 |
| CN110704732A (zh) * | 2019-09-19 | 2020-01-17 | 广州大学 | 基于认知诊断的时序性习题推荐方法 |
| CN113806348A (zh) * | 2021-09-25 | 2021-12-17 | 四川云数赋智教育科技有限公司 | 一种应用于k12教育的学生错题及个性化变试题的算法 |
| US20220139248A1 (en) * | 2020-11-05 | 2022-05-05 | Electronics And Telecommunications Research Institute | Knowledge-grounded dialogue system and method for language learning |
| CN114579760A (zh) * | 2022-02-28 | 2022-06-03 | 深圳懂你教育科技有限公司 | 一种基于学生错题知识点自适应阶段学习系统 |
| CN115982351A (zh) * | 2022-12-09 | 2023-04-18 | 科大讯飞股份有限公司 | 试题评阅方法及相关装置、电子设备、存储介质 |
| CN116796802A (zh) * | 2022-11-22 | 2023-09-22 | 上海真灼科技股份有限公司 | 基于错题分析的学习推荐方法、装置、设备及存储介质 |
| CN116824933A (zh) * | 2023-05-31 | 2023-09-29 | 上海深至信息科技有限公司 | 一种基于大语言模型的医学培训系统 |
-
2023
- 2023-11-01 CN CN202311436886.XA patent/CN117150151B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017124343A1 (zh) * | 2016-01-20 | 2017-07-27 | 吴晓敏 | 关于梳理知识点时的信息推送方法以及学习系统 |
| CN107273490A (zh) * | 2017-06-14 | 2017-10-20 | 北京工业大学 | 一种基于知识图谱的组合错题推荐方法 |
| CN107481568A (zh) * | 2017-09-19 | 2017-12-15 | 广东小天才科技有限公司 | 一种知识点巩固方法及用户终端 |
| CN108446768A (zh) * | 2018-05-02 | 2018-08-24 | 水木天骄（深圳）科技有限公司 | 一种学生建模的方法和装置 |
| CN110704732A (zh) * | 2019-09-19 | 2020-01-17 | 广州大学 | 基于认知诊断的时序性习题推荐方法 |
| US20220139248A1 (en) * | 2020-11-05 | 2022-05-05 | Electronics And Telecommunications Research Institute | Knowledge-grounded dialogue system and method for language learning |
| CN113806348A (zh) * | 2021-09-25 | 2021-12-17 | 四川云数赋智教育科技有限公司 | 一种应用于k12教育的学生错题及个性化变试题的算法 |
| CN114579760A (zh) * | 2022-02-28 | 2022-06-03 | 深圳懂你教育科技有限公司 | 一种基于学生错题知识点自适应阶段学习系统 |
| CN116796802A (zh) * | 2022-11-22 | 2023-09-22 | 上海真灼科技股份有限公司 | 基于错题分析的学习推荐方法、装置、设备及存储介质 |
| CN115982351A (zh) * | 2022-12-09 | 2023-04-18 | 科大讯飞股份有限公司 | 试题评阅方法及相关装置、电子设备、存储介质 |
| CN116824933A (zh) * | 2023-05-31 | 2023-09-29 | 上海深至信息科技有限公司 | 一种基于大语言模型的医学培训系统 |
Non-Patent Citations (4)
| Title |
|---|
| IVAN RALEV 等: "Optimization of training through the use of digital technologies", PROCEEDINGS OF THE 23RD INTERNATIONAL CONFERENCE ON COMPUTER SYSTEMS AND TECHNOLOGIES, pages 179 * |
| 徐硕 等: "基于知识图谱与协同过滤的个性化试题推荐", 软件导刊, pages 46 - 51 * |
| 李全;刘兴红;许新华;林松;: "基于联合概率矩阵分解的个性化试题推荐方法", 计算机应用, no. 03, pages 639 - 643 * |
| 王文泉;: "错题管理系统中个性化推荐练习算法的设计与实现", 中国教育信息化, no. 11, pages 67 - 70 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117150151B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107230174B (zh) | 一种基于网络的在线互动学习系统和方法 | |
| CN109919810B (zh) | 在线学习系统中的学生建模与个性化课程推荐方法 | |
| CN109598995B (zh) | 基于贝叶斯知识跟踪模型的智能教学系统 | |
| CN112508334B (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
| CN111274411A (zh) | 课程推荐方法、装置、电子设备及可读存储介质 | |
| CN110362671B (zh) | 题目推荐方法、设备和存储介质 | |
| CN108509439B (zh) | 一种代数教学系统 | |
| CN112699283B (zh) | 试卷生成方法及装置 | |
| CN111326040B (zh) | 语文阅读理解智能测试和智能辅导系统和方法 | |
| CN114254208A (zh) | 薄弱知识点的识别方法、学习路径的规划方法与装置 | |
| WO2022170985A1 (zh) | 选题方法、装置、计算机设备和存储介质 | |
| CN113196318A (zh) | 一种理科教学系统及其使用方法、计算机可读存储介质 | |
| CN115455186A (zh) | 一种基于多模型的学情分析方法 | |
| Bagaria et al. | An intelligent system for evaluation of descriptive answers | |
| Gaheen et al. | Automated students arabic essay scoring using trained neural network by e-jaya optimization to support personalized system of instruction | |
| CN113283488B (zh) | 一种基于学习行为的认知诊断方法及系统 | |
| CN110765241B (zh) | 推荐题的超纲检测方法、装置、电子设备和存储介质 | |
| CN112966518A (zh) | 一种面向大规模在线学习平台的优质答案识别方法 | |
| CN117150151B (zh) | 一种基于大语言模型的错题分析及试题推荐系统和方法 | |
| CN116595188A (zh) | 一种基于人工智能和大数据的教育知识图谱系统 | |
| CN113822774A (zh) | 一种财务教学系统及其使用方法、计算机可读存储介质 | |
| CN113934846A (zh) | 一种联合行为-情感-时序的在线论坛主题建模方法 | |
| CN112785039A (zh) | 一种试题作答得分率的预测方法及相关装置 | |
| CN113704610B (zh) | 一种基于学习成长数据的学习风格画像生成方法及系统 | |
| CN111563162A (zh) | 基于文本情感分析的mooc评论分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |