CN108921434B - 一种通过人机交互完成用户能力预测的方法 - Google Patents
一种通过人机交互完成用户能力预测的方法 Download PDFInfo
- Publication number
- CN108921434B CN108921434B CN201810725393.0A CN201810725393A CN108921434B CN 108921434 B CN108921434 B CN 108921434B CN 201810725393 A CN201810725393 A CN 201810725393A CN 108921434 B CN108921434 B CN 108921434B
- Authority
- CN
- China
- Prior art keywords
- solution
- steps
- answering
- probability
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及机器学习技术领域，公开了一种通过人机交互完成用户能力预测的方法。通过本发明创造，除了需要在首个步骤中进行数据准备和参数设定外，在其它步骤中均不需要任何真人教师参与，最大限度地降低了人力资源，尤其是教育资源的占用，同时由于是基于题目步骤结构与单步骤级别的做对正确率，能够更精准地估计用户在作答道题的各个部分的表现能力，实现通过引入题目的步骤级别信息提高预测精度的目的。此外，在人机交互过程中，通过巧妙的交互设计，可在不影响教学流程的情况下获得用户步骤级别的正误信息。
Description
技术领域
本发明属于机器学习技术领域，具体涉及一种可应用于教育行业的且通过人机交互完成用户能力预测的方法。
背景技术
在教育行业中，准确预测学生在题目的上表现对于题目推荐、讲解和练习乃至整个学习计划的制定都有极大的参考意义。
在传统的教学中，这一过程往往由教师来进行。然而首先教师对学生的认知是十分感性而不可量化的，只能简单认定“容易错”或者“不容易错”，无法给出一个准确的量化值，自然无法为步骤之间的比较以及题目之间的比较提供足够多的信息。同时，人的记忆力也决定了教师无法记住每一个学生的每一方面，再加上教学中教师往往是一人负责成百上千的学生，使得教师的判断并不能很全面。
目前常见的基于教育测量学的能力估计，大都是基于测试题目进行。这类方法将题目与能力关联，通过收集学生在测试题上面的选项来分析学生的能力是否满足题目的要求，从而计算能力分布，并根据该分布预测学生的表现。然而由于只能获取学生最后的选项，该方法只能将一道题目关联的所有能力作为一个整体看待，忽视了学生往往能力不均衡这一事实。在学生做题中问题往往出现在题目的某个点上，而不是题目涉及的所有能力，因此对于能够完成部分步骤的学生，该系统往往会对所有涉及的能力都给出一个较低的评估，从而失去其精度。
发明内容
为了解决现有技术中所存在的上述问题，本发明目的在于提供一种通过人机交互完成用户能力预测的方法。
本发明所采用的技术方案为：
一种通过人机交互完成用户能力预测的方法，包括如下步骤：
S100.在数据库中预先存储知识点基本数据、用户当前能力数据和作答试题的试题基本数据，其中，所述知识点基本数据包含用于表达所有知识点先后验关系的第一拓扑序，所述用户当前能力数据包含用户在各个知识点的当前能力值，所述试题基本数据包含具有至少两个解答步骤的标准答案、用于表达所有解答步骤先后验关系的第二拓扑序以及对应每个解答步骤的知识点、知识点难度值和知识点区分度值；
S101.针对作答试题的每个解答步骤，根据所述用户当前能力数据和所述试题基本数据，计算得到相应的单独做对预测概率；
S102.根据所有解答步骤的单独做对预测概率和部分解答步骤的已知事实状态，应用概率论计算未确定已知事实状态的解答步骤的第一预测概率和第二预测概率，其中，所述已知事实状态为核查成功、核查失败或阅览答案，所述第一预测概率是指在对应解答步骤或按所述第二拓扑序顺序位于对应解答步骤之前的先验解答步骤做错的预测概率，所述第二预测概率是指恰好在对应解答步骤做错的预测概率；
S103.根据部分解答步骤的已知事实状态以及另一部分解答步骤的第一预测概率和第二预测概率，在所有未确定已知事实状态的解答步骤中，确定预估出错解答步骤；
S104.在人机交互界面输出显示所述预估出错解答步骤和按所述第二拓扑序顺序位于所述预估出错解答步骤之前的且未确定已知事实状态的所有先验解答步骤；
S105.根据显示解答步骤的人机交互结果，确定对应的已知事实状态，其中，所述人机交互结果是指标记对应显示解答步骤为有疑问或无疑问；
S106.在作答试题的所有解答步骤中，若仍存在未确定已知事实状态的解答步骤，则返回执行步骤S102～S106，否则执行步骤S107；
S107.针对各个解答步骤的已知事实状态，修正用户在对应知识点的当前能力值，并更新存储所述用户当前能力数据。
优化的，在所述步骤S101中，根据所述用户当前能力数据和所述试题基本数据，计算得到解答步骤的单独做对预测概率的方法包括如下步骤：
从所述试题基本数据中查找到对应该解答步骤的知识点、知识点难度值和知识点区分度值，从所述用户当前能力数据中查找到用户在对应该解答步骤的知识点的当前能力值，然后将所述当前能力值、所述知识点难度值和所述知识点区分度值输入IRT数学模型，将该IRT数学模型的输出概率作为对应该解答步骤的单独做对预测概率。
具体的，按照如下公式计算解答步骤的单独做对预测概率：
psgr＝sigmoid(κ(v-d))
式中，sigmoid()为应用在IRT数学模型中的非线性函数，κ为对应解答步骤的知识点区分度值，d为对应解答步骤的知识点难度值。
优化的，所述步骤S102包括如下步骤：
S201.根据作答试题的所述第二拓扑序构建贝叶斯网络，使每个网络节点对应一个解答步骤，并标记该网络节点的发生事件为“做对对应解答步骤”；
S202.针对贝叶斯网络中所有入度不为0的非起始网络节点，按照如下方式进行拆点：将该网络节点拆分为一对具有先后验关系的先验网络节点A和后验网络节点B，并标记该先验网络节点A的发生事件为“对应解答步骤的所有条件完备”，标记该后验网络节点B的发生事件为“做对对应解答步骤”，该后验网络节点B的后验概率设置为对应解答步骤的单独做对预测概率；
针对贝叶斯网络中所有入度为0的起始网络节点，设置对应的先验概率为对应解答步骤的单独做对预测概率；
S203.根据部分解答步骤的已知事实状态，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的对应网络节点的确定发生概率；
S204.对贝叶斯网络进行求解，推导出各个未设置确定发生概率的网络节点的预估发生概率，其中，未设置确定发生概率的网络节点与未确定已知事实状态的解答步骤对应；
S205.针对各个未确定已知事实状态的解答步骤，将由1减去对应预估发生概率的结果作为所述第一预测概率，并按照如下公式计算所述第二预测概率：
式中，pA为对应解答步骤的先验网络节点A的预估发生概率，pB为对应解答步骤的后验网络节点B的预估发生概率，p为对应解答步骤的起始网络节点的预估发生概率。
进一步优化的，所述步骤S203包括如下步骤：
针对已知事实状态为核查成功的解答步骤，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的网络节点的确定发生概率为100％；
针对已知事实状态为核查失败的解答步骤，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的网络节点的确定发生概率为0％。
优化的，所述步骤S103包括如下步骤：
S301.在已知事实状态确定的所有解答步骤中，查找是否存在已知事实状态为核查失败的解答步骤，若不存在，执行步骤S302，否则执行步骤S303；
S302.统计已知事实状态未确定的所有解答步骤的所述第二预测概率，获取最大值Max、均值u和标准差σ，然后在已知事实状态未确定的所有解答步骤中，按照所述第二拓扑序顺序由先至后查找第一个第二预测概率超过αAMax+αBu+αCσ的解答步骤，将该解答步骤作为预估出错解答步骤，其中，αA、αB和αC分别为预设系数；
S303.在已知事实状态未确定的所有解答步骤中，按照所述第二拓扑序顺序由先至后查找第一个第一预测概率超过预设概率阈值β的解答步骤，将该解答步骤作为预估出错解答步骤。
优化的，在所述步骤S104中，还包括如下步骤：
S401.对于非预估出错解答步骤且具有先后验关系的至少两个连续显示解答步骤，生成合并步骤，并按照如下方式得到合并步骤的合并条件集合和合并结论集合：取所有连续显示解答步骤的条件集合的并集为合并条件集合，取所有连续显示解答步骤的结论集合的并集为合并结论集合，然后去除合并条件集合中为先验显示解答步骤结论的条件元素，去除合并结论集合中为后验显示解答步骤条件/和不再作为后验解答步骤条件的结论元素；
S402.在人机交互界面输出显示所述合并步骤。
进一步优化的，在所述步骤S105之前，还包括如下步骤：
S500.当所述合并步骤被点击并要求还原显示时，在人机交互界面输出显示对应合并步骤的所有连续显示解答步骤。
优化的，在所述步骤S105中，按照如下步骤确定显示解答步骤的已知事实状态：
对于标记为有疑问的显示解答步骤，若该显示解答步骤的所有先验解答步骤都标记为无疑问，则判定该显示解答步骤的已知事实状态为核查失败，而若该显示解答步骤的至少一个先验解答步骤标记为有疑问，则判定该显示解答步骤的已知事实状态为阅览答案；
对于标记为无疑问的显示解答步骤，若该显示解答步骤的所有先验解答步骤都标记为无疑问，则判定该显示解答步骤的已知事实状态为核查成功，而若该显示解答步骤的至少一个先验解答步骤标记为有疑问，则判定该显示解答步骤为阅览答案。
优化的，所述步骤S107包括如下步骤：
S701.对于已知事实状态为核查成功的解答步骤，标记对应知识点的测试结果为1，对于已知事实状态为核查失败的解答步骤，标记对应知识点的测试结果为0，而对于已知事实状态为阅览答案的解答步骤，不标记对于知识点的测试结果；
S702.解如下方程，计算用户在对应知识点的当前能力值v：
sigmoid(κ(v-d))＝G
式中，sigmoid()为用于计算单独做对预测概率的非线性函数，κ为对应解答步骤的知识点区分度值，d为对应解答步骤的知识点难度值，G为对应知识点的测试结果；
S703.采用损失函数得到非线性函数sigmoid()的输出误差，然后依据误差做梯度下降来更新用户在对应知识点的当前能力值v。
本发明的有益效果为：
(1)本发明创造提供了一种基于人机交互技术实现题目步骤级别精度的用户能力估计与表现预测方法，该方法除了需要在首个步骤中进行数据准备和参数设定外，在其它步骤中均不需要任何真人教师参与，最大限度地降低了人力资源，尤其是教育资源的占用，同时由于是基于题目步骤结构与单步骤级别的做对正确率，能够更精准地估计用户在作答道题的各个部分的表现能力，实现通过引入题目的步骤级别信息提高预测精度的目的；
(2)在人机交互过程中，通过巧妙的交互设计，可在不影响教学流程的情况下获得用户步骤级别的正误信息；
(3)通过步骤级别的反馈，可以更加准确地判断同一道题目中用户作答正确、错误和尚未完成的部分，从而增大了单题目中的信息获取准确度，加快了预测估计的收敛速度，提高了收敛精度；
(4)可通过对解答步骤之间的依赖关系来分析用户出现问题的真实位置，排除干扰。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的通过人机交互完成用户能力预测的方法流程示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。
实施例一
如图1所示，本实施例提供的所述通过人机交互完成用户能力预测的方法，包括如下步骤。
S100.在数据库中预先存储知识点基本数据、用户当前能力数据和作答试题的试题基本数据，其中，所述知识点基本数据包含用于表达所有知识点先后验关系的第一拓扑序，所述用户当前能力数据包含用户在各个知识点的当前能力值，所述试题基本数据包含具有至少两个解答步骤的标准答案、用于表达所有解答步骤先后验关系的第二拓扑序以及对应每个解答步骤的知识点、知识点难度值和知识点区分度值。
在所述步骤S100中，所述知识点先后验关系是指对于知识点a和知识点b，若必须先学习知识点a，才能再学习知识点b，则知识点a与知识点b具有先后验关系：知识点a为先验知识点，知识点b为后验知识点。从而可以得到具有一定长度的且表达所有知识点先后验关系的所述第一拓扑序。所述解答步骤先后验关系是指对于解答步骤a和解答步骤b，若必须先做对解答步骤a，才能再做对解答步骤b，则解答步骤a与解答步骤b具有先后验关系：解答步骤a为先验步骤，解答步骤b为后验步骤。从而可以得到具有一定拓扑网络结构的且表达所有解答步骤先后验关系的所述第二拓扑序。此外，优化的，所述试题基本数据还可以包含题目内容、对应至少一个解答步骤的解题技巧和/或对应每个解答步骤的权重系数等。
S101.针对作答试题的每个解答步骤，根据所述用户当前能力数据和所述试题基本数据，计算得到相应的单独做对预测概率。
在所述步骤S101中，所述单独做对预测概率是指用户在该解答步骤所需要的条件(例如先做对位于拓扑序前面的所有先验步骤)完备的情况下正确作答该解答步骤的概率。优化的，对于计算得到解答步骤的单独做对预测概率的方法，可以但不限于包括如下步骤：从所述试题基本数据中查找到对应该解答步骤的知识点、知识点难度值和知识点区分度值，从所述用户当前能力数据中查找到用户在对应该解答步骤的知识点的当前能力值，然后将所述当前能力值、所述知识点难度值和所述知识点区分度值输入IRT数学模型，将该IRT数学模型的输出概率作为对应该解答步骤的单独做对预测概率。
所述IRT数学模型是基于IRT理论(Item Response Theory,项目反应理论，又称题目反应理论或潜在特质理论，是一系列心理统计学模型的总称)的且用来分析考试成绩或者问卷调查数据的现有数学模型。具体的，所述IRT数学模型可以但不限于为3参数Normal-ogive模型或3参数Logistic模型；或者，按照如下公式计算解答步骤的单独做对预测概率：
psgr＝sigmoid(κ(v-d))
式中，sigmoid()为应用在IRT数学模型中的非线性函数，κ为对应解答步骤的知识点区分度值，d为对应解答步骤的知识点难度值。
S102.根据所有解答步骤的单独做对预测概率和部分解答步骤的已知事实状态，应用概率论计算未确定已知事实状态的解答步骤的第一预测概率和第二预测概率，其中，所述已知事实状态为核查成功、核查失败或阅览答案，所述第一预测概率是指在对应解答步骤或按所述第二拓扑序顺序位于对应解答步骤之前的先验解答步骤做错的预测概率，所述第二预测概率是指恰好在对应解答步骤做错的预测概率。
在所述步骤S102中，所述已知事实状态用于标识通过人机交互，用户在对应解答步骤的确认结果，其中，核查成功表示用户阅读了对应解答步骤的答案，并确认该解答步骤做对；核查失败表示用户阅读了对应解答步骤的答案，并确认该解答步骤做错；阅览答案表示做答者并未作答到对应解答步骤，仅仅阅读了该解答步骤的答案。此外，所述已知事实状态还可以有如下状态：校验失败，用于表示用户对比了对应解答步骤的结论，但与最终答案的结论不一致，即该解答步骤有疑问。
优化的，在所述步骤S102中，可以但不限于包括如下步骤S201～S205。
S201.根据作答试题的所述第二拓扑序构建贝叶斯网络，使每个网络节点对应一个解答步骤，并标记该网络节点的发生事件为“做对对应解答步骤”。
在所述步骤S201中，所述贝叶斯网络是一种基于贝叶斯理论的且由一个有向无环图(DAG)和条件概率表(CPT)组成拓扑网络结构，其通过一个有向无环图来表示一组随机变量跟它们的条件依赖关系，通过条件概率分布来参数化，每一个网络节点都通过P(node|Pa(node))来参数化，Pa(node)表示贝叶斯网络中的先验节点，因此构建的初始贝叶斯网络的拓扑网络结构与作答试题的拓扑序完全一致，该初始贝叶斯网络的网络节点的对应条件概率即为“在给定所有依赖解答步骤结果的情况下正确作答该解答步骤的概率”，即解答步骤的单独做对预测概率。
S202.针对贝叶斯网络中所有入度不为0的非起始网络节点，按照如下方式进行拆点：将该网络节点拆分为一对具有先后验关系的先验网络节点A和后验网络节点B，并标记该先验网络节点A的发生事件为“对应解答步骤的所有条件完备”，标记该后验网络节点B的发生事件为“做对对应解答步骤”，该后验网络节点B的后验概率设置为对应解答步骤的单独做对预测概率；针对贝叶斯网络中所有入度为0的起始网络节点，设置对应的先验概率为对应解答步骤的单独做对预测概率。
在所述步骤S202中，所述先验网络节点A的先验事件为对应解答步骤依赖的其他解答步骤的后验网络节点B或起始网络节点，在所有先验事件发生时，该先验网络节点A的条件概率为100％，否则为0％。所述后验网络节点B的先验事件为同一解答步骤对应的先验网络节点A，因此在所述先验网络节点A的事件发生时，所述后验网络节点B的条件概率(即后验概率)即为对应解答步骤的单独做对预测概率，而在所述先验网络节点A的事件未发生时，所述后验网络节点B的条件概率为0％。
S203.根据部分解答步骤的已知事实状态，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的对应网络节点的确定发生概率。
在所述步骤S203中，优化的，可以但不限于包括如下步骤：针对已知事实状态为核查成功的解答步骤，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的网络节点的确定发生概率为100％；针对已知事实状态为核查失败的解答步骤，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的网络节点的确定发生概率为0％。由此通过前述设置，对于用户已经做对的解答步骤，其贝叶斯网络中的意义可表示对应后验网络节点B的事件最终发生(确定发生概率100％)；做错同理，可表示对应后验网络节点B的事件最终未发生(确定发生概率0％)。若完全没有事实(即没有已知事实状态为核查成功或核查失败的解答步骤)，则之后估计的结果是用户做对每个解答步骤的概率；若已经具有部分事实(即有已知事实状态为核查成功或核查失败的解答步骤)，则之后估计的结果是给定这些事实作为条件的做对每个解答步骤的条件概率。
S204.对贝叶斯网络进行求解，推导出各个未设置确定发生概率的网络节点的预估发生概率，其中，未设置确定发生概率的网络节点与未确定已知事实状态的解答步骤对应。
在所述步骤S204中，所述对贝叶斯网络进行求解的算法为现有算法。所述预估发生概率即为在对应解答步骤或按所述第二拓扑序顺序位于对应解答步骤之前的先验解答步骤均做对的预测概率。
S205.针对各个未确定已知事实状态的解答步骤，将由1减去对应预估发生概率的结果作为所述第一预测概率，并按照如下公式计算所述第二预测概率：
式中，pA为对应解答步骤的先验网络节点A的预估发生概率，pB为对应解答步骤的后验网络节点B的预估发生概率，p为对应解答步骤的起始网络节点的预估发生概率。
由此通过前述步骤S201～205,可以得到如下三种概率：用户在各个解答步骤的单独做对预测概率、用户到各个未确定已知事实状态的解答步骤为止仍未发生错误的预测概率(即在对应解答步骤或按所述第二拓扑序顺序位于对应解答步骤之前的先验解答步骤均做对的预测概率)和用户恰好在各个对应未确定已知事实状态的解答步骤做错的预测概率。基于这三种概率，可以推算得到用户在每一解答步骤上的错误概率，包括所述第一预测概率和所述第二预测概率，因此可以广泛利用于任何需要对学生在题目上表现预测的场合。
S103.根据部分解答步骤的已知事实状态以及另一部分解答步骤的第一预测概率和第二预测概率，在所有未确定已知事实状态的解答步骤中，确定预估出错解答步骤。
在所述步骤S103中，优化的，可以但不限于包括如下步骤：
S301.在已知事实状态确定的所有解答步骤中，查找是否存在已知事实状态为核查失败的解答步骤，若不存在，执行步骤S302，否则执行步骤S303；
S302.统计已知事实状态未确定的所有解答步骤的所述第二预测概率，获取最大值Max、均值u和标准差σ，然后在已知事实状态未确定的所有解答步骤中，按照所述第二拓扑序顺序由先至后查找第一个第二预测概率超过αAMax+αBu+αCσ的解答步骤，将该解答步骤作为预估出错解答步骤，其中，αA、αB和αC分别为预设系数；
S303.在已知事实状态未确定的所有解答步骤中，按照所述第二拓扑序顺序由先至后查找第一个第一预测概率超过预设概率阈值β的解答步骤，将该解答步骤作为预估出错解答步骤。
S104.在人机交互界面输出显示所述预估出错解答步骤和按所述第二拓扑序顺序位于所述预估出错解答步骤之前的且未确定已知事实状态的所有先验解答步骤。
在所述步骤S104中，输出显示的内容可以但不限于对应解答步骤的条件集合和结论结合。为了简化显示内容，以便用户快速地对所述预估出错解答步骤进行人机交互确认，还可以包括如下步骤：S401.对于非预估出错解答步骤且具有先后验关系的至少两个连续显示解答步骤，生成合并步骤，并按照如下方式得到合并步骤的合并条件集合和合并结论集合：取所有连续显示解答步骤的条件集合的并集为合并条件集合，取所有连续显示解答步骤的结论集合的并集为合并结论集合，然后去除合并条件集合中为先验显示解答步骤结论的条件元素，去除合并结论集合中为后验显示解答步骤条件/和不再作为后验解答步骤条件的结论元素；S402.在人机交互界面输出显示所述合并步骤。
S105.根据显示解答步骤的人机交互结果，确定对应的已知事实状态，其中，所述人机交互结果是指标记对应显示解答步骤为有疑问或无疑问。
在所述步骤S105之前，人机交互的方式可以但不限于为让用户在人机交互界面上点击认为有疑问或无疑问的解答步骤，并标记该解答步骤为有疑问或无疑问的人机交互结果。同样为了方便查看合并步骤，则还可以包括如下步骤：S500.当所述合并步骤被点击并要求还原显示时，在人机交互界面输出显示对应合并步骤的所有连续显示解答步骤。然后再让用户在人机交互界面上点击认为有疑问或无疑问的解答步骤。
在所述步骤S105中，优化的，可以但不限于按照如下步骤确定显示解答步骤的已知事实状态：
对于标记为有疑问的显示解答步骤，若该显示解答步骤的所有先验解答步骤都标记为无疑问，则判定该显示解答步骤的已知事实状态为核查失败，而若该显示解答步骤的至少一个先验解答步骤标记为有疑问，则判定该显示解答步骤的已知事实状态为阅览答案；
对于标记为无疑问的显示解答步骤，若该显示解答步骤的所有先验解答步骤都标记为无疑问，则判定该显示解答步骤的已知事实状态为核查成功，而若该显示解答步骤的至少一个先验解答步骤标记为有疑问，则判定该显示解答步骤为阅览答案。
S106.在作答试题的所有解答步骤中，若仍存在未确定已知事实状态的解答步骤，则返回执行步骤S102～S106，否则执行步骤S107。
S107.针对各个解答步骤的已知事实状态，修正用户在对应知识点的当前能力值，并更新存储所述用户当前能力数据。
在所述步骤S107中，优化的，可以但不限于按照如下步骤修正用户在对应知识点的当前能力值：
S701.对于已知事实状态为核查成功的解答步骤，标记对应知识点的测试结果为1，对于已知事实状态为核查失败的解答步骤，标记对应知识点的测试结果为0，而对于已知事实状态为阅览答案的解答步骤，不标记对于知识点的测试结果；
S702.解如下方程，计算用户在对应知识点的当前能力值v：
sigmoid(κ(v-d))＝G
式中，sigmoid()为用于计算单独做对预测概率的非线性函数，κ为对应解答步骤的知识点区分度值，d为对应解答步骤的知识点难度值，G为对应知识点的测试结果；
S703.采用损失函数得到非线性函数sigmoid()的输出误差，然后依据误差做梯度下降来更新用户在对应知识点的当前能力值v。
由此通过前述步骤S100～S107，可以基于对作答试题的人机交互，由于引入了细化的步骤数据与用户交互，能够进行更加准确的能力评估与精确到步骤的能力预测与分析。
综上，采用本实施例所提供的通过人机交互完成用户能力预测的方法，具有如下技术效果：
(1)本实施例提供了一种基于人机交互技术实现题目步骤级别精度的用户能力估计与表现预测方法，该方法除了需要在首个步骤中进行数据准备和参数设定外，在其它步骤中均不需要任何真人教师参与，最大限度地降低了人力资源，尤其是教育资源的占用，同时由于是基于题目步骤结构与单步骤级别的做对正确率，能够更精准地估计用户在作答道题的各个部分的表现能力，实现通过引入题目的步骤级别信息提高预测精度的目的；
(2)在人机交互过程中，通过巧妙的交互设计，可在不影响教学流程的情况下获得用户步骤级别的正误信息；
(3)通过步骤级别的反馈，可以更加准确地判断同一道题目中用户作答正确、错误和尚未完成的部分，从而增大了单题目中的信息获取准确度，加快了预测估计的收敛速度，提高了收敛精度；
(4)可通过对解答步骤之间的依赖关系来分析用户出现问题的真实位置，排除干扰。
本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。
Claims (10)
1.一种通过人机交互完成用户能力预测的方法，其特征在于，包括如下步骤：
S100.在数据库中预先存储知识点基本数据、用户当前能力数据和作答试题的试题基本数据，其中，所述知识点基本数据包含用于表达所有知识点先后验关系的第一拓扑序，所述用户当前能力数据包含用户在各个知识点的当前能力值，所述试题基本数据包含具有至少两个解答步骤的标准答案、用于表达所有解答步骤先后验关系的第二拓扑序以及对应每个解答步骤的知识点、知识点难度值和知识点区分度值；
S101.针对作答试题的每个解答步骤，根据所述用户当前能力数据和所述试题基本数据，计算得到相应的单独做对预测概率；
S102.根据所有解答步骤的单独做对预测概率和部分解答步骤的已知事实状态，应用概率论计算未确定已知事实状态的解答步骤的第一预测概率和第二预测概率，其中，所述已知事实状态为核查成功、核查失败或阅览答案，所述第一预测概率是指在对应解答步骤或按所述第二拓扑序顺序位于对应解答步骤之前的先验解答步骤做错的预测概率，所述第二预测概率是指恰好在对应解答步骤做错的预测概率；
S103.根据部分解答步骤的已知事实状态以及另一部分解答步骤的第一预测概率和第二预测概率，在所有未确定已知事实状态的解答步骤中，确定预估出错解答步骤；
S104.在人机交互界面输出显示所述预估出错解答步骤和按所述第二拓扑序顺序位于所述预估出错解答步骤之前的且未确定已知事实状态的所有先验解答步骤；
S105.根据显示解答步骤的人机交互结果，确定对应的已知事实状态，其中，所述人机交互结果是指标记对应显示解答步骤为有疑问或无疑问；
S106.在作答试题的所有解答步骤中，若仍存在未确定已知事实状态的解答步骤，则返回执行步骤S102～S106，否则执行步骤S107；
S107.针对各个解答步骤的已知事实状态，修正用户在对应知识点的当前能力值，并更新存储所述用户当前能力数据。
2.如权利要求1所述的一种通过人机交互完成用户能力预测的方法，其特征在于，在所述步骤S101中，根据所述用户当前能力数据和所述试题基本数据，计算得到解答步骤的单独做对预测概率的方法包括如下步骤：
从所述试题基本数据中查找到对应该解答步骤的知识点、知识点难度值和知识点区分度值，从所述用户当前能力数据中查找到用户在对应该解答步骤的知识点的当前能力值，然后将所述当前能力值、所述知识点难度值和所述知识点区分度值输入IRT数学模型，将该IRT数学模型的输出概率作为对应该解答步骤的单独做对预测概率。
3.如权利要求2所述的一种通过人机交互完成用户能力预测的方法，其特征在于，按照如下公式计算解答步骤的单独做对预测概率：
psgr＝sigmoid(κ(v-d))
式中，sigmoid()为应用在IRT数学模型中的非线性函数，κ为对应解答步骤的知识点区分度值，d为对应解答步骤的知识点难度值，v为用户在对应解答步骤的知识点的当前能力值。
4.如权利要求1所述的一种通过人机交互完成用户能力预测的方法，其特征在于，所述步骤S102包括如下步骤：
S201.根据作答试题的所述第二拓扑序构建贝叶斯网络，使每个网络节点对应一个解答步骤，并标记该网络节点的发生事件为“做对对应解答步骤”；
S202.针对贝叶斯网络中所有入度不为0的非起始网络节点，按照如下方式进行拆点：将该网络节点拆分为一对具有先后验关系的先验网络节点A和后验网络节点B，并标记该先验网络节点A的发生事件为“对应解答步骤的所有条件完备”，标记该后验网络节点B的发生事件为“做对对应解答步骤”，该后验网络节点B的后验概率设置为对应解答步骤的单独做对预测概率；
针对贝叶斯网络中所有入度为0的起始网络节点，设置对应的先验概率为对应解答步骤的单独做对预测概率；
S203.根据部分解答步骤的已知事实状态，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的对应网络节点的确定发生概率；
S204.对贝叶斯网络进行求解，推导出各个未设置确定发生概率的网络节点的预估发生概率，其中，未设置确定发生概率的网络节点与未确定已知事实状态的解答步骤对应；
S205.针对各个未确定已知事实状态的解答步骤，将由1减去对应预估发生概率的结果作为所述第一预测概率，并按照如下公式计算所述第二预测概率：
式中，pA为对应解答步骤的先验网络节点A的预估发生概率，pB为对应解答步骤的后验网络节点B的预估发生概率，p为对应解答步骤的起始网络节点的预估发生概率。
5.如权利要求4所述的一种通过人机交互完成用户能力预测的方法，其特征在于，所述步骤S203包括如下步骤：
针对已知事实状态为核查成功的解答步骤，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的网络节点的确定发生概率为100％；
针对已知事实状态为核查失败的解答步骤，设置在贝叶斯网络中且发生事件为“做对对应解答步骤”的网络节点的确定发生概率为0％。
6.如权利要求1所述的一种通过人机交互完成用户能力预测的方法，其特征在于，所述步骤S103包括如下步骤：
S301.在已知事实状态确定的所有解答步骤中，查找是否存在已知事实状态为核查失败的解答步骤，若不存在，执行步骤S302，否则执行步骤S303；
S302.统计已知事实状态未确定的所有解答步骤的所述第二预测概率，获取最大值Max、均值u和标准差σ，然后在已知事实状态未确定的所有解答步骤中，按照所述第二拓扑序顺序由先至后查找第一个第二预测概率超过αAMax+αBu+αCσ的解答步骤，将该解答步骤作为预估出错解答步骤，其中，αA、αB和αC分别为预设系数；
S303.在已知事实状态未确定的所有解答步骤中，按照所述第二拓扑序顺序由先至后查找第一个第一预测概率超过预设概率阈值β的解答步骤，将该解答步骤作为预估出错解答步骤。
7.如权利要求1所述的一种通过人机交互完成用户能力预测的方法，其特征在于，在所述步骤S104中，还包括如下步骤：
S401.对于非预估出错解答步骤且具有先后验关系的至少两个连续显示解答步骤，生成合并步骤，并按照如下方式得到合并步骤的合并条件集合和合并结论集合：取所有连续显示解答步骤的条件集合的并集为合并条件集合，取所有连续显示解答步骤的结论集合的并集为合并结论集合，然后去除合并条件集合中为先验显示解答步骤结论的条件元素，去除合并结论集合中为后验显示解答步骤条件/和不再作为后验解答步骤条件的结论元素；
S402.在人机交互界面输出显示所述合并步骤。
8.如权利要求7所述的一种通过人机交互完成用户能力预测的方法，其特征在于，在所述步骤S105之前，还包括如下步骤：
S500.当所述合并步骤被点击并要求还原显示时，在人机交互界面输出显示对应合并步骤的所有连续显示解答步骤。
9.如权利要求1所述的一种通过人机交互完成用户能力预测的方法，其特征在于，在所述步骤S105中，按照如下步骤确定显示解答步骤的已知事实状态：
对于标记为有疑问的显示解答步骤，若该显示解答步骤的所有先验解答步骤都标记为无疑问，则判定该显示解答步骤的已知事实状态为核查失败，而若该显示解答步骤的至少一个先验解答步骤标记为有疑问，则判定该显示解答步骤的已知事实状态为阅览答案；
对于标记为无疑问的显示解答步骤，若该显示解答步骤的所有先验解答步骤都标记为无疑问，则判定该显示解答步骤的已知事实状态为核查成功，而若该显示解答步骤的至少一个先验解答步骤标记为有疑问，则判定该显示解答步骤为阅览答案。
10.如权利要求1所述的一种通过人机交互完成用户能力预测的方法，其特征在于，所述步骤S107包括如下步骤：
S701.对于已知事实状态为核查成功的解答步骤，标记对应知识点的测试结果为1，对于已知事实状态为核查失败的解答步骤，标记对应知识点的测试结果为0，而对于已知事实状态为阅览答案的解答步骤，不标记对于知识点的测试结果；
S702.解如下方程，计算用户在对应知识点的当前能力值v：
sigmoid(κ(v-d))＝G
式中，sigmoid()为用于计算单独做对预测概率的非线性函数，κ为对应解答步骤的知识点区分度值，d为对应解答步骤的知识点难度值，G为对应知识点的测试结果；
S703.采用损失函数得到非线性函数sigmoid()的输出误差，然后依据误差做梯度下降来更新用户在对应知识点的当前能力值v。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810725393.0A CN108921434B (zh) | 2018-07-04 | 2018-07-04 | 一种通过人机交互完成用户能力预测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810725393.0A CN108921434B (zh) | 2018-07-04 | 2018-07-04 | 一种通过人机交互完成用户能力预测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108921434A CN108921434A (zh) | 2018-11-30 |
| CN108921434B true CN108921434B (zh) | 2020-08-14 |
Family
ID=64423833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810725393.0A Active CN108921434B (zh) | 2018-07-04 | 2018-07-04 | 一种通过人机交互完成用户能力预测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108921434B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109523194B (zh) * | 2018-12-14 | 2021-06-01 | 深圳市小柠檬教育科技有限公司 | 汉语阅读能力测评方法、装置及可读存储介质 |
| CN109685564B (zh) * | 2018-12-21 | 2021-02-19 | 苏州易泰勒电子科技有限公司 | 一种基于项目反应理论的线下消费者决策行为预测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1578972A (zh) * | 2002-09-25 | 2005-02-09 | 日本贝乐思公司 | 测试系统及其控制方法 |
| CN103534743A (zh) * | 2011-02-16 | 2014-01-22 | 知识因素股份有限公司 | 用于自适应知识评估与学习的系统与方法 |
| CN104809676A (zh) * | 2015-05-11 | 2015-07-29 | 成都准星云学科技有限公司 | 一种分析答案的出错类型的方法和装置 |
| CN106599999A (zh) * | 2016-12-09 | 2017-04-26 | 北京爱论答科技有限公司 | 少量题目精准探测学生细分薄弱知识点的测评方法及系统 |
| CN106960245A (zh) * | 2017-02-24 | 2017-07-18 | 中国科学院计算技术研究所 | 一种基于认知过程链的个体知识评价方法及系统 |
| CN107644572A (zh) * | 2016-07-21 | 2018-01-30 | 上海莘越软件科技有限公司 | 一种基于思维过程的教学系统 |
| CN108229683A (zh) * | 2016-12-22 | 2018-06-29 | 上海谦问万答吧云计算科技有限公司 | 一种基于irt的信息处理方法及装置 |
-
2018
- 2018-07-04 CN CN201810725393.0A patent/CN108921434B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1578972A (zh) * | 2002-09-25 | 2005-02-09 | 日本贝乐思公司 | 测试系统及其控制方法 |
| CN103534743A (zh) * | 2011-02-16 | 2014-01-22 | 知识因素股份有限公司 | 用于自适应知识评估与学习的系统与方法 |
| CN104809676A (zh) * | 2015-05-11 | 2015-07-29 | 成都准星云学科技有限公司 | 一种分析答案的出错类型的方法和装置 |
| CN107644572A (zh) * | 2016-07-21 | 2018-01-30 | 上海莘越软件科技有限公司 | 一种基于思维过程的教学系统 |
| CN106599999A (zh) * | 2016-12-09 | 2017-04-26 | 北京爱论答科技有限公司 | 少量题目精准探测学生细分薄弱知识点的测评方法及系统 |
| CN108229683A (zh) * | 2016-12-22 | 2018-06-29 | 上海谦问万答吧云计算科技有限公司 | 一种基于irt的信息处理方法及装置 |
| CN106960245A (zh) * | 2017-02-24 | 2017-07-18 | 中国科学院计算技术研究所 | 一种基于认知过程链的个体知识评价方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108921434A (zh) | 2018-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chang et al. | A Bayes net toolkit for student modeling in intelligent tutoring systems | |
| Pardos et al. | KT-IDEM: Introducing item difficulty to the knowledge tracing model | |
| CN104835087B (zh) | 教育测试系统的数据处理方法及装置 | |
| Chiu et al. | Statistical discourse analysis: Modeling sequences of individual actions during group interactions across time. | |
| US8798518B2 (en) | Method and system for calibrating evidence models | |
| US20160005323A1 (en) | Adaptive e-learning system and method | |
| CN112508334B (zh) | 融合认知特性及试题文本信息的个性化组卷方法及系统 | |
| CN110021208A (zh) | 针对英语阅读题目的高效训练方法及系统 | |
| KR20190064911A (ko) | 학습 문항 추천 장치 및 그 방법 | |
| Conati | Bayesian student modeling | |
| CN110929020B (zh) | 基于测试成绩的知识点掌握度分析方法 | |
| CN113851020A (zh) | 一种基于知识图谱的自适应学习平台 | |
| Lee et al. | Diagnosis of subtraction bugs using Bayesian networks | |
| CN110263181B (zh) | 知识结构的挖掘方法及学习路径的规划方法 | |
| CN108921434B (zh) | 一种通过人机交互完成用户能力预测的方法 | |
| CN113379320A (zh) | 学习效果的评估方法、装置、设备及存储介质 | |
| CN112905784A (zh) | 基于学生画像的个性化试题推荐方法 | |
| Ng et al. | Accuracy in self-assessment: The role of ability, feedback, self-efficacy and goal orientation | |
| Sani et al. | Artificial intelligence approaches in student modeling: Half decade review (2010-2015) | |
| CN114090839B (zh) | 用于学习者认知结构的处理方法、系统、装置及存储介质 | |
| CN111428020A (zh) | 一种基于人工智能的个人化学习测验题目推荐方法 | |
| CN113190747B (zh) | 一种基于学习风格与认知水平的个性化资源推荐方法 | |
| Czocher et al. | Verification and Validation: What Do We Mean?. | |
| CN108921349B (zh) | 一种基于贝叶斯网络预测做题错误位置的方法 | |
| CN106709829B (zh) | 基于在线题库的学情诊断方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201225 Address after: No. 201-a142, unit 1, building 17, yard 3, gaolizhang Road, Haidian District, Beijing Patentee after: Beijing Xizhi Education Technology Co.,Ltd. Address before: 1 / F cb101-017, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing Patentee before: BEIJING XIZI EDUCATION TECHNOLOGY Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No. 201-a142, unit 1, building 17, yard 3, gaolizhang Road, Haidian District, Beijing Patentee after: Beijing Xizhi Intelligent Technology Co.,Ltd. Address before: No. 201-a142, unit 1, building 17, yard 3, gaolizhang Road, Haidian District, Beijing Patentee before: Beijing Xizhi Education Technology Co.,Ltd. |