CN113850512A - 基于自适应测评的用户能力定级方法、装置、设备及介质 - Google Patents

基于自适应测评的用户能力定级方法、装置、设备及介质 Download PDF

Info

Publication number
CN113850512A
CN113850512A CN202111138372.7A CN202111138372A CN113850512A CN 113850512 A CN113850512 A CN 113850512A CN 202111138372 A CN202111138372 A CN 202111138372A CN 113850512 A CN113850512 A CN 113850512A
Authority
CN
China
Prior art keywords
user
answer
estimation value
ability
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111138372.7A
Other languages
English (en)
Inventor
舒畅
陈又新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111138372.7A priority Critical patent/CN113850512A/zh
Publication of CN113850512A publication Critical patent/CN113850512A/zh
Priority to PCT/CN2022/072377 priority patent/WO2023045193A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Educational Technology (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本申请涉及计算机及人工智能技术领域，揭示了一种基于自适应测评的用户能力定级方法、装置、设备及介质，其中方法包括：记录测评过程用户的答题情况特征信息，采用期望后验参数估计法计算所述用户在每次完成题目后的最新能力估计值并保存至历史能力估计值列表；获取所述用户任一答题模块的历史能力估计值列表，计算该历史能力估计值列表的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中最近一次能力估计值作为该答题模块的初步定级结果；获取所有答题模块的初步定级结果，采用加权平均法计算用户科目测试能力定级结果。从而能够快速准确完成用户学科能力定级，实现用户答题数量少，以及定级结果准确且测评质量高的效果。

Description

基于自适应测评的用户能力定级方法、装置、设备及介质
技术领域
本申请涉及到计算机及人工智能技术领域，特别是涉及到一种基于自适应测评的用户能力定级方法、装置、设备及介质。
背景技术
在线教育需要对每个用户的教育水平进行定级，从而在后续阶段按照已定的级别为用户推荐相应的学习产品。传统的能力定级策略，一般是先给用户推送多道试题的试卷，在用户完成这些题目后，根据用户的做题情况进行打分，最后根据打分的结果对用户进行定级。
然而，传统定级策略由于需要用户去做冗长的题目，当用户遇到不会做的题目后还需要继续推送题目至用户，直至完成这套试题，不仅会打击用户的学习积极性，给用户带来烦恼，降低用户体验感，甚至会导致用户对后面的题目随意作答和消极作答，造成了测试总分数不准确的情况，从而存在最终根据总分数对用户进行能力定级时不准确的缺陷。
发明内容
本申请的主要目的为提供一种基于自适应测评的用户能力定级方法、装置、设备及介质，旨在解决现有定级策略需要用户完成冗长题目且忽略用户是否会做难度较高的题目，无法对用户各个学科能力进行准确定级，且能力定级需要耗费用户大量时间和精力的问题。
为了实现上述发明目的，本申请实施例的第一方面提出一种基于自适应测评的用户能力定级方法，所述方法包括：
记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；
采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；
获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
在第一方面的一种可能的实现方式中，在所述采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表步骤之后，还包括：
基于项目反应原理模型根据所述最新一次的能力估计值，分别计算该答题模块中所有未作答题目对应的回答正确率；
取回答正确率最接近预设阈值的题目作为该答题模块的下一道题目。
在第一方面的一种可能的实现方式中，所述获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果步骤之中，包括：
计算所述用户任一答题模块的历史能力估计值列表的最近预设次数的历史能力估计值的标准差，判断所述标准差是否小于收敛阈值；
若是，则判定为达到收敛要求，停止答题，取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
若否，则判定为未达到收敛要求，需要用户继续答题，直至所述标准差小于收敛阈值。
在第一方面的一种可能的实现方式中，所述采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，包括：
采用泊松分布公式计算出用户对科目测评试题的先验分布能力值；
获取科目测评试题中任一答题模块中的题目参数和用户对应的该答题模块的最近一次的能力估计值，采用项目反应原理模型计算出用户答对该答题模块中任一题目的概率；
根据用户已完成试题数量、先验分布能力值、题目参数和当前用户答对该答题模块中任一题目的概率，采用期待后验参数估计法计算出所述用户在每次完成题目后的能力估计值。
在第一方面的一种可能的实现方式中，在所述记录测评过程中用户的答题情况特征信息步骤之前，还包括：
分别对科目测评试题内的若干个独立答题模块进行初始化测评设置；其中，所述初始化测评设置包括答题模块关联设置和题目参数设置。
在第一方面的一种可能的实现方式中，所述所述分别对科目测评试题内的若干个独立答题模块进行初始化测评设置，包括：
在对任一待答题模块进行初始化测评设置时，判断是否存在关联且已完成初步定级的答题模块；
若是，则根据所关联的答题模块对应的初步定级结果设置该待答题模块的题目参数；
若否，则根据历史数据训练结果设置该待答题模块的题目参数。
在第一方面的一种可能的实现方式中，在所述取回答正确率最接近预设阈值的题目作为该答题模块的下一道题目步骤之后，还包括：
采用期望后验参数估计法计算用户所述该答题模块的下一道题目后的能力估计值，将计算后得到的最新能力估计值更新至对应的历史能力估计值列表；
在完成更新后，实时获取用户该答题模块的历史能力估计值列表，计算所述能力估计值是否达到收敛要求；
若是，则更新所述历史能力估计值中的最新能力估计值作为该答题模块的初步定级结果；
若否，则需要用户继续答题，该答题模块的初步定级结果不变。
本申请实施例的第二方面还提出了一种基于自适应测评的用户能力定级装置，包括：
记录模块，用于记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；
能力估算模块，用于采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；
初步定级模块，用于获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
科目能力定级模块，用于获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
本申请实施例的第三方面还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请实施例的第四方面还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于自适应测评的用户能力定级方法、装置、设备及介质，记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数，从而实时记录用户的最新答题情况，为后续对用户进行学科能力估计提供准确可靠的数据基础；采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；通过项目反应理论构建了同时描述用户能力水平、测评题目特性、与用户作答之间的关系的数学模型，提高了计算模型的全面性和准确性；获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果，对用户能力值的估计值判断是否达到收敛要求的计算方式较为简单，不需要复杂的迭代步骤，提高了对用户在各个答题模块的初步能力定级的计算效率；获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果，从而又快又准地完成学科能力定级，实现用户答题数量少且用户体验佳，以及定级结果准且测评质量高的效果。
附图说明
图1为本申请一实施例的基于自适应测评的用户能力定级方法的流程示意图；
图2为本申请一实施例的基于自适应测评的用户能力定级装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
本申请实施例可以应用于服务器中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1，本申请实施例中提供一种为了实现上述发明目的，本申请提出一种基于自适应测评的用户能力定级方法，所述方法包括：
S1、记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；
S2、采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；
S3、获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
S4、获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
随着在线教育的普及，在线教育在为用户推荐相应水平的学习课程或产品之前，都需要对每个用户的教育水平进行定级。现有算法大多基于经典测验理论，但其底层数学模型相对简单和缺乏科学性，如真实分数与观测分数间存在线性关系的假定不符合事实。同时由于传统定级策略需要给用户推送多道试题的试卷，用户全部做完试题才能根据用户的做题情况进行打分和能力定级，这些统一固定的试卷都忽略了用户实际的不同的能力水平，导致有些用户不能很好地完成这些冗长的试题，因此，无法正确评估用户真实水平或答题数量过多影响用户体验，现有算法过于简单及死板的出题流程也会造成分数不准确和后续定级不准确的问题。
本申请实施例记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数，从而实时记录用户的最新答题情况，为后续对用户进行学科能力估计提供准确可靠的数据基础；采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；通过项目反应理论构建了同时描述用户能力水平、测评题目特性、与用户作答之间的关系的数学模型，提高了计算模型的全面性和准确性；获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果，对用户能力值的估计值判断是否达到收敛要求的计算方式较为简单，不需要复杂的迭代步骤，提高了对用户在各个答题模块的初步能力定级的计算效率；获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果，从而又快又准地完成学科能力定级，实现用户答题数量少且用户体验佳，以及定级结果准且测评质量高的效果。
对于步骤S1，在用户进行学科测评过程中，实时记录用户当前的答题模块field、题目难度系数difficulty、题目区分度slop及用户答题情况score(正确为1，错误为0)的数据，实时记录用户的最新答题情况，为后续对用户进行学科能力估计提供准确可靠的数据基础。
对于步骤S2，在用户每次完成任一答题模块内的最新一道题目后，根据实时记录用户的答题情况特征信息和当前答题模块的题目参数，采用期望后验参数估计法和项目反应原理模型计算用户当前的能力估计值，计算出用户在当前答题模块中每次答完一道题后的能力估计值，从而得到最新一次的能力估计值，从而能够实时计算获取得到用户的最新一次能力估计值，在更新最新一次的能力估计值后，保存至对应答题模块的历史能力估计值列表；通过项目反应理论构建了同时描述用户能力水平、测评题目特性、与用户作答之间的关系的数学模型，提高了计算模型的全面性和准确性。
对于步骤S3，获取用户在任一答题模块对应的历史能力估计值列表，判断是否达到收敛要求，若判断为达到收敛要求，则停止答题，取历史能力估计值列表中的最新一次的能力估计值作为该答题模块当前的初步定级结果；若判断为未达到收敛要求，则需要用户继续答题，保持当前的初步定级结果，本实施例中对用户能力值的估计值判断是否达到收敛要求的方式较为简单，而不需要复杂的迭代步骤，大大提高了对用户在各个答题模块的初步能力定级的计算效率，且通过实时记录用户每次答题后的数据进行用户能力值的估计，进一步提高用户能力定级的时效性和可靠性。
对于步骤S4，重复上述步骤S1～S3，直至用户完成所有独立答题模块的测评，获取所有答题模块的初步定级结果，最后采用加权平均法计算出用户对应的科目测试能力定级结果，由于每个学科之间的各个独立答题模块所占的权重是不同的，因此，通过对每个独立答题模块的初步定级结果乘以所占的权重值，得到各个答题模块的分数，将所有答题模块的分数相加再除以独立答题模块的个数，从而得到该学科的加权平均结果，作为用户该学科的科目测试能力定级结果，从而又快又准地完成学科能力定级，实现用户答题数量少且用户体验佳，以及定级结果准且测评质量高的效果。
在一种优选的实施例中，在所述采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表步骤之后，还包括：
基于项目反应原理模型根据所述最新一次的能力估计值，分别计算该答题模块中所有未作答题目对应的回答正确率；取回答正确率最接近预设阈值的题目作为该答题模块的下一道题目。
在具体的实施例中，在取用户最新能力估计值作为某一答题模块的初步定级结果之后，根据最新一次的估计能力值，并结合命题方式、计分方式、模型的鲁棒性，基于项目反应原理(IRT)模型计算出用户关于所有未作答题目对应的回答正确率，并采用Argmin函数解析最匹配用户最新一次的能力估计值的题目：
Figure BDA0003283099440000082
根据最新估计能力值
Figure BDA0003283099440000081
计算每一道题库中未作答题目考生回答正确的概率Pi，下一题题目则推使得Pi最接近0.5的题，即最匹配考生能力值的题，其中，ai，bi为题目参数，分别表示第i题的题目区分度slop及第i题的难度系数difficulty，通过根据考生的能力水平自动匹配符合其能力水平的侧题，实现千人千面和优化用户答题体验的效果。
在一种优选的实施例中，所述获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果之中，包括：
计算所述用户任一答题模块的历史能力估计值列表的最近预设次数的历史能力估计值的标准差，判断所述标准差是否小于收敛阈值；
若是，则判定为达到收敛要求，停止答题，取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
若否，则判定为未达到收敛要求，需要用户继续答题，直至所述标准差小于收敛阈值。
在具体的实例中，通过获取用户在任一答题模块对应的历史能力估计值列表，判断是否达到收敛要求；若近三次(该次数可根据实际情况灵活调整)用户能力值的估计值的标准差小于预设阈值，则判定为达到收敛要求，则停止答题，并将历史能力估计值列表中最后一次能力值作为该答题模块的初步定级结果；若近三次用户能力值的估计值的标准差不小于预设阈值，则判断为未达到收敛要求，需要用户继续答题，并保持上一次的初步定级结果。对过判断用户能力值的估计值是否达到收敛要求的这种计算方式较为简单，而无需复杂的迭代步骤，大大提高了对用户在各个答题模块的初步能力定级的计算效率，且通过实时记录用户每次答题后的数据进行用户能力值的估计，进一步提高用户能力定级的时效性和可靠性。
在一种优选的实施例中，所述采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，包括：
采用泊松分布公式计算出用户对科目测评试题的先验分布能力值；
获取科目测评试题中任一答题模块中的题目参数和用户对应的该答题模块的最近一次的能力估计值，采用项目反应原理模型计算出用户答对该答题模块中任一题目的概率；
根据用户已完成试题数量、先验分布能力值、题目参数和当前用户答对该答题模块中任一题目的概率，采用期待后验参数估计法计算出所述用户在每次完成题目后的能力估计值。
在具体的实施例中，用户在每次完成任一答题模块的一道题目后，实时根据期望后验参数估计法(EAP)计算考生能力的估计值
Figure BDA0003283099440000091
并保存每次的估计结果。
Figure BDA0003283099440000092
其中，L表示考生已完成的试题数量；φ(θ)表示能力值θ的先验分布，根据学科能力分布特性(能力等级低的人群偏多)，假设其符合泊松分布
Figure BDA0003283099440000093
式中参数λ可根据用户历史数据获取进行拟合；Pi表示考生答对题目i的可能性，其基于项目反应原理(IRT)模型计算。
需要说明的是，本实施例还从命题方式、计分方式、模型的鲁棒性出发，采用二参数模型算法(The 2-parameter Logistic Model)，其公式如下：
Figure BDA0003283099440000094
其中，
Figure BDA0003283099440000095
表示最近一次的能力估计值，即根据考生L-1道作答记录的能力估计值；ai，bi为题目参数，分别表示第i题的题目区分度slop及第i题的难度系数difficulty，可看作已知参数。通过项目反应理论(IRT)构建了同时描述考生能力水平、测评题目特性、与考生作答之间的关系的数学模型，提高了计算模型的全面性和准确性。
其中，根据以下公式计算求出区分度参数，
Figure BDA0003283099440000101
式中
Figure BDA0003283099440000102
为样本集中答对题目i的被试测评的该模块平均等级，
Figure BDA0003283099440000103
为答错题目i的被试测评的该模块平均等级，st为全体被试测评的该模块等级标准差，p为答对该题目被试占总被试人数比率，q＝1-p
根据以下公式计算求出难度系数参数，
Figure BDA0003283099440000104
式中rank(pi)表示题目i在样本集中正确率由高至低的排序，通过min-max标准化方式，使得各题难度系数落在[1，12]区间内，与被试的能力参数保持在同一量表。
在一种优选的实施例中，在所述记录测评过程中用户的答题情况特征信息步骤之前，还包括：
分别对科目测评试题内的若干个独立答题模块进行初始化测评设置；其中，所述初始化测评设置包括答题模块关联设置和题目参数设置。
在具体的实施例中，在用户进入试题分别完成多个局部独立模块的测评前，首先对同一科目测评试题内的各个独立答题模块进行初始化测评设置，不同独立模块的划分可根据实际业务需求进行划分，如英语科目测评试题内的语法、词汇、听力和口语等各个独立答题模块。初始化测评设置包括答题模块关联设置和题目参数设置，其中，答题模块关联设置包括根据预设规则对同一学科中的各个能够两两关联的答题模块进行关联设置，题目参数设置包括对试题内的题目区分度、难度系数和分值规则等等进行设置。通过预先对同一科目测评使体内的各个独立答题模块进行初始化测评设置，能够使得用户在各个独立答题模块进行答题时能够准确获取用户的能力水平。
在一种优选的实施例中，所述分别对科目测评试题内的若干个独立答题模块进行初始化测评设置，包括：
在对任一待答题模块进行初始化测评设置时，判断是否存在关联且已完成初步定级的答题模块；
若是，则根据所关联的答题模块对应的初步定级结果设置该待答题模块的题目参数；
若否，则根据历史数据训练结果设置该待答题模块的题目参数。
在具体的实施例中，在用户进行学科测评前，需要根据以下规则对该科目测评试题内的多个独立答题模块分别进行初始化测评设置，
Figure BDA0003283099440000111
其中，InitialA(diff，slop)表示独立答题模块A的初始前m道题目的题目参数设置，包含其题目难度参数diff及题目区分度参数；
Figure BDA0003283099440000112
为独立答题模块B的最终能力估计值，f(x)为独立答题模块A能力估计值与独立答题模块B能力估计值的相关函数关系，由以下历史数据训练建模得出；
Figure BDA0003283099440000113
式中，N为训练集用户总数目，Δi表示用户i的评级偏差Δi＝User_ipredict-User_itrue，α为预设系数。
具体的，在对独立答题模块A进行初始化测评设置前，若独立答题模块A存在独立答题模块模块B，且独立答题模块B的定级结果已知，则独立答题模块A的初始前m＝1题将由系统设置推出，其题目的难度参数取
Figure BDA0003283099440000114
题目区分度参数取1；否则，独立答题模块A的初始测评设置由历史数据训练得出，从而根据初始测评设置规则求得独立答题模块A的最优配置。
在一种优选的实施例中，在所述取回答正确率最接近预设阈值的题目作为该答题模块的下一道题目步骤之后，还包括：
采用期望后验参数估计法计算用户所述该答题模块的下一道题目后的能力估计值，将计算后得到的最新能力估计值更新至对应的历史能力估计值列表；
在完成更新后，实时获取用户该答题模块的历史能力估计值列表，计算所述能力估计值是否达到收敛要求；
若是，则更新所述历史能力估计值中的最新能力估计值作为该答题模块的初步定级结果；
若否，则需要用户继续答题，该答题模块的初步定级结果不变。
在具体的实施例中，在每次取回答正确率最接近预设阈值的题目作为用户在该答题模块的下一道题目之后，都需要重复步骤S1～S3，采用期望后验参数估计法计算用户所述该答题模块的下一道题目后的能力估计值，更新至对应的历史能力估计值列表；在完成更新后，实时获取用户该答题模块的历史能力估计值列表，计算所述能力估计值是否达到收敛要求后，在判断达到收敛要求后，则更新最新能力估计值作为该答题模块的初步定级结果，通过实时更新用户的最新能力估计值，为后续对用户进行学科测试能力的最终定级提供更好的时效性和更高的准确性。
在一种优选的实施例中，所述根据所关联的答题模块对应的初步定级结果设置该待答题模块的题目参数，还包括：
当所关联的答题模块的数量为一个时，则根据该关联的答题模块对应的初步定级结果设置该待答题模块的题目参数；
当所关联的答题模块的数量多于一个时，则通过加权平均法计算出所关联的多个答题模块对应的加权定级结果，根据加权定级结果设置该待答题模块的题目参数。
在具体的实施例中，在根据所关联的答题模块对应的初步定级结果设置该待答题模块的题目参数时，若存在当前独立答题模块关联的答题模块为一个时，则仅仅需要根据该关联的答题模块对应的初步定级结果设置该待答题模块的题目参数；若存在当前独立答题模块关联的答题模块多于一个时，则通过加权平均法计算出所关联的多个答题模块对应的加权定级结果，根据加权定级结果设置该待答题模块的题目参数，从而更好地和平衡地对当前独立答题模块进行初始化测评设置，提高根据考生的能力水平自动匹配符合其能力水平的测试题目的准确性和可靠性。
参照图2，本申请还提出了一种基于自适应测评的用户能力定级装置，包括：
记录模块100，用于记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；
能力估算模块200，用于采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；
初步定级模块300，用于获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
科目能力定级模块400，用于获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
本实施例记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数，从而实时记录用户的最新答题情况，为后续对用户进行学科能力估计提供准确可靠的数据基础；采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；通过项目反应理论构建了同时描述用户能力水平、测评题目特性、与用户作答之间的关系的数学模型，提高了计算模型的全面性和准确性；获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果，用户能力值的估计值判断是否达到收敛要求计算方式较为简单，不需要复杂的迭代步骤，提高了对用户在各个答题模块的初步能力定级的计算效率；获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果，从而又快又准地完成学科能力定级，实现用户答题数量少且用户体验佳，以及定级结果准且测评质量高的效果。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存基于自适应测评的用户能力定级方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于自适应测评的用户能力定级方法。所述基于自适应测评的用户能力定级方法，包括：记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于自适应测评的用户能力定级方法，包括步骤：记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
上述执行的基于自适应测评的用户能力定级方法，本实施例记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数，从而实时记录用户的最新答题情况，为后续对用户进行学科能力估计提供准确可靠的数据基础；采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；通过项目反应理论构建了同时描述用户能力水平、测评题目特性、与用户作答之间的关系的数学模型，提高了计算模型的全面性和准确性；获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果，对用户能力值的估计值判断是否达到收敛要求的计算方式较为简单，不需要复杂的迭代步骤，提高了对用户在各个答题模块的初步能力定级的计算效率；获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果，从而又快又准地完成学科能力定级，实现用户答题数量少且用户体验佳，以及定级结果准且测评质量高的效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于自适应测评的用户能力定级方法，其特征在于，所述方法包括：
记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；
采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；
获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
2.根据权利要求1所述的基于自适应测评的用户能力定级方法，其特征在于，在所述采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表步骤之后，还包括：
基于项目反应原理模型根据所述最新一次的能力估计值，分别计算该答题模块中所有未作答题目对应的回答正确率；
取回答正确率最接近预设阈值的题目作为该答题模块的下一道题目。
3.根据权利要求1所述的基于自适应测评的用户能力定级方法，其特征在于，所述获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果步骤之中，包括：
计算所述用户任一答题模块的历史能力估计值列表的最近预设次数的历史能力估计值的标准差，判断所述标准差是否小于收敛阈值；
若是，则判定为达到收敛要求，停止答题，取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
若否，则判定为未达到收敛要求，需要用户继续答题，直至所述标准差小于收敛阈值。
4.根据权利要求1所述的基于自适应测评的用户能力定级方法，其特征在于，所述采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，包括：
采用泊松分布公式计算出用户对科目测评试题的先验分布能力值；
获取科目测评试题中任一答题模块中的题目参数和用户对应的该答题模块的最近一次的能力估计值，采用项目反应原理模型计算出用户答对该答题模块中任一题目的概率；
根据用户已完成试题数量、先验分布能力值、题目参数和当前用户答对该答题模块中任一题目的概率，采用期待后验参数估计法计算出所述用户在每次完成题目后的能力估计值。
5.根据权利要求1所述的基于自适应测评的用户能力定级方法，其特征在于，在所述记录测评过程中用户的答题情况特征信息步骤之前，还包括：
分别对科目测评试题内的若干个独立答题模块进行初始化测评设置；其中，所述初始化测评设置包括答题模块关联设置和题目参数设置。
6.根据权利要求5所述的基于自适应测评的用户能力定级方法，其特征在于，所述分别对科目测评试题内的若干个独立答题模块进行初始化测评设置，包括：
在对任一待答题模块进行初始化测评设置时，判断是否存在关联且已完成初步定级的答题模块；
若是，则根据所关联的答题模块对应的初步定级结果设置该待答题模块的题目参数；
若否，则根据历史数据训练结果设置该待答题模块的题目参数。
7.根据权利要求2所述的基于自适应测评的用户能力定级方法，其特征在于，在所述取回答正确率最接近预设阈值的题目作为该答题模块的下一道题目步骤之后，还包括：
采用期望后验参数估计法计算用户所述该答题模块的下一道题目后的能力估计值，将计算后得到的最新能力估计值更新至对应的历史能力估计值列表；
在完成更新后，实时获取用户该答题模块的历史能力估计值列表，计算所述能力估计值是否达到收敛要求；
若是，则更新所述历史能力估计值中的最新能力估计值作为该答题模块的初步定级结果；
若否，则需要用户继续答题，该答题模块的初步定级结果不变。
8.一种基于自适应测评的用户能力定级装置，其特征在于，包括：
记录模块，用于记录测评过程中用户的答题情况特征信息，所述答题情况特征信息包括用户测评过程中所回答的答题模块，以及各个所述答题模块所对应的题目难度系数、题目区分度和答题分数；
能力估算模块，用于采用期望后验参数估计法计算所述用户在每次完成题目后的能力估计值，将所述能力估计值保存至对应的历史能力估计值列表；
初步定级模块，用于获取所述用户任一答题模块的历史能力估计值列表，并计算该所述历史能力估计值列表中的能力估计值是否达到收敛要求，若是，则取所述历史能力估计值列表中的最近一次的能力估计值作为该答题模块的初步定级结果；
科目能力定级模块，用于获取所有答题模块的初步定级结果，采用加权平均法计算出用户对应的科目测试能力定级结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202111138372.7A 2021-09-27 2021-09-27 基于自适应测评的用户能力定级方法、装置、设备及介质 Pending CN113850512A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111138372.7A CN113850512A (zh) 2021-09-27 2021-09-27 基于自适应测评的用户能力定级方法、装置、设备及介质
PCT/CN2022/072377 WO2023045193A1 (zh) 2021-09-27 2022-01-17 基于自适应测评的用户能力定级方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111138372.7A CN113850512A (zh) 2021-09-27 2021-09-27 基于自适应测评的用户能力定级方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113850512A true CN113850512A (zh) 2021-12-28

Family

ID=78980191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111138372.7A Pending CN113850512A (zh) 2021-09-27 2021-09-27 基于自适应测评的用户能力定级方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN113850512A (zh)
WO (1) WO2023045193A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045193A1 (zh) * 2021-09-27 2023-03-30 平安科技（深圳）有限公司 基于自适应测评的用户能力定级方法、装置、设备及介质
WO2023159754A1 (zh) * 2022-02-23 2023-08-31 平安科技（深圳）有限公司 能力等级分析方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5029090B2 (ja) * 2007-03-26 2012-09-19 Ｋｄｄｉ株式会社 能力推定システムおよび方法ならびにプログラムおよび記録媒体
CN110378818B (zh) * 2019-07-22 2022-03-11 广西大学 基于难度的个性化习题推荐方法、系统及介质
CN111311055A (zh) * 2019-12-26 2020-06-19 成都终身成长科技有限公司 一种用户能力的评估方法、装置及存储介质
CN111626420B (zh) * 2020-03-31 2024-03-22 杨阳 一种认知能力的自适应测评方法、测评系统及其使用方法
CN111507632A (zh) * 2020-04-21 2020-08-07 北京一起教育信息咨询有限责任公司 一种发展性评测的方法、装置及电子设备
CN113850512A (zh) * 2021-09-27 2021-12-28 平安科技（深圳）有限公司 基于自适应测评的用户能力定级方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023045193A1 (zh) * 2021-09-27 2023-03-30 平安科技（深圳）有限公司 基于自适应测评的用户能力定级方法、装置、设备及介质
WO2023159754A1 (zh) * 2022-02-23 2023-08-31 平安科技（深圳）有限公司 能力等级分析方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023045193A1 (zh) 2023-03-30

Similar Documents

Publication Publication Date Title
CN109857835B (zh) 一种基于认知诊断理论的自适应网络安全知识测评方法
Van der Linden et al. Using response-time constraints to control for differential speededness in computerized adaptive testing
CN113850512A (zh) 基于自适应测评的用户能力定级方法、装置、设备及介质
CN111444951B (zh) 样本识别模型的生成方法、装置、计算机设备和存储介质
CN111444952A (zh) 样本识别模型的生成方法、装置、计算机设备和存储介质
CN112508334A (zh) 融合认知特性及试题文本信息的个性化组卷方法及系统
CN111680216B (zh) 一种试题推荐方法、系统、介质及设备
CN113901327A (zh) 一种目标推荐模型训练方法、推荐方法、装置及电子设备
JP6807909B2 (ja) データ評価方法、装置、機器及び読み取り可能な記憶媒体
CN113409174A (zh) 知识点测评方法和装置
CN116541538B (zh) 基于大数据的智慧学习知识点挖掘方法及系统
CN112182384A (zh) 基于对抗学习的内容推荐方法、装置和计算机设备
CN111062486B (zh) 一种评价数据的特征分布和置信度的方法及装置
CN113610552A (zh) 一种用户流失预测方法及装置
CN112257966A (zh) 模型处理方法、装置、电子设备及存储介质
CN114219602A (zh) 违约预测模型的生成方法、装置、设备及存储介质
CN114398059A (zh) 参数的更新方法、装置、设备以及存储介质
CN112948684A (zh) 基于大数据分析和云计算的在线学习平台课程智能推荐方法
CN109800880B (zh) 基于动态学习风格信息的自适应学习特征提取系统及应用
Otero et al. Finding informative code metrics under uncertainty for predicting the pass rate of online courses
CN113393023B (zh) 模具质量评估方法、装置、设备及存储介质
CN112015830B (zh) 适用于自适应学习的题目存储方法
CN111652767B (zh) 用户画像构建方法、装置、计算机设备和存储介质
CN114973815A (zh) 一种用于在线教学对学生进行测试的系统、方法
CN113919983A (zh) 试题画像方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40063352

Country of ref document: HK