CN112446809A - 心理健康综合自适应测评方法及系统 - Google Patents
心理健康综合自适应测评方法及系统 Download PDFInfo
- Publication number
- CN112446809A CN112446809A CN202011351547.8A CN202011351547A CN112446809A CN 112446809 A CN112446809 A CN 112446809A CN 202011351547 A CN202011351547 A CN 202011351547A CN 112446809 A CN112446809 A CN 112446809A
- Authority
- CN
- China
- Prior art keywords
- test
- capability
- testee
- estimation
- question
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004630 mental health Effects 0.000 title claims abstract description 16
- 238000011156 evaluation Methods 0.000 title claims description 18
- 238000012360 testing method Methods 0.000 claims abstract description 235
- 238000000034 method Methods 0.000 claims abstract description 94
- 230000006870 function Effects 0.000 claims description 66
- 238000007476 Maximum Likelihood Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000006872 improvement Effects 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 8
- 230000003252 repetitive effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 5
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 230000006996 mental state Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 14
- 238000011478 gradient descent method Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- SBNFWQZLDJGRLK-UHFFFAOYSA-N phenothrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=CC=CC(OC=2C=CC=CC=2)=C1 SBNFWQZLDJGRLK-UHFFFAOYSA-N 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000010998 test method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明属于心理测评技术领域,尤其涉及一种心理健康综合自适应测评方法及系统,本方法包括评估当前被试者的能力、确定与当前被试者的能力匹配的试题,本发明解决了现有技术存在由于测验中存在大量测验条目与被试者能力不符,从而导致自适应测验的准确度低且个性化效果欠佳的问题,具有实现了对被试者进行针对化测验,在保证测验效果相同的基础上约简测验条目中与被试者能力不符的条目,因此,提高自适应测验的准确度,具有很重要的科学和现实意义的有益技术效果。
Description
技术领域
本发明属于心理测评技术领域,尤其涉及一种心理健康综合自适应测评方法及系统。
背景技术
传统的心理量表测验通常是“千人一面”式的测验,所有学生回答相同的条目,同一个学生在多次测验时只能答重复的条目,这导致了试题的有效性问题;不同被试者的心理情况不同,每一个被试者在全答的测验方式中需要测验一些与其能力不匹配的试题,造成时间和精力的浪费;如果该测验条目较多,长时间的测验会导致靠后部分条目测验的可靠性降低,不能反映被试者真实的心理情况。目前丁树良等人提出基于项目反应理论进行计算机自适应测验(CAT),实现对被试者进行针对化测验,在保证测验效果相同的基础上约简测验条目中与被试者能力不符的条目。如何提高自适应测验的准确度,具有很重要的科学和现实意义。
现有技术存在由于测验中存在大量测验条目与被试者能力不符,从而导致自适应测验的准确度低且个性化效果欠佳的问题。
发明内容
本发明提供一种心理健康综合自适应测评方法及系统,以解决上述背景技术中提出现有技术存在由于测验中存在大量测验条目与被试者能力不符,从而导致自适应测验的准确度低且个性化效果欠佳的问题。
本发明所解决的技术问题采用以下技术方案来实现:一种心理健康综合自适应测评方法,包括:
评估当前被试者的能力:基于等级反应模型Samejima,通过条件极大似然法评估当前被试者的能力;
确定与当前被试者的能力匹配的试题:根据当前被试者的能力,通过最大信息量与最大信息阈值的相融合的选题策略自适应地选择与当前被试者的能力匹配的试题。
进一步,所述评估当前被试者的能力包括:
在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数,其包括探测性能力初步估计和正式测验能力准确估计;
所述探测性能力初步估计包括:
若初次未知被试者的能力值,则将题库中每题均设为1分,并从题库中随机选择三道不重复的试题进行测验,并根据测验结果通过能力初步估计函数确定能力初步估计值;
所述θ0为能力初步估计值;
所述正式测验能力准确估计包括:
采用条件极大似然估计法逐题实时估计被试者的测验能力准确估计值,其包括:
通过梯度下降数值分析函数计算对数似然函数,预先设定好训练迭代次数,对整个测验结果计算损失函数的梯度矢量,直到测验能力准确估计值收敛到所在处的最小值,并确定测验能力准确估计值;
所述对数似然函数为:
所述梯度下降数值分析函数包括:
所述θ为测验能力准确估计值;
L是已答m道题得到结果为t的对数似然函数,D=-1.7,a表示该条目的区分度,bt表示该条目第t等级的难度;θ0是自变量参数,η是学习因子,θ表示更新后的θ0;
进一步,所述梯度下降数值分析方法借助Python第三方库计算库scipy中fsolve函数迭代估计对数似然函数并确定测验能力准确估计值θ。
进一步,若三道题测验结果均为满分,则反复随机从题库中随机选择一道题进行测验,直到测验结果至少有一题不为满分为止。
进一步,所述确定与当前被试者的能力匹配的试题包括:
确定最大信息阈值:根据样本数据估算每个被试者的平均能力值,根据平均能力值计算相应的每个领域的信息量,并将相应的每个领域的信息量作为相应的每个领域的最大信息阈值;
最大信息量选题:根据当前被试者的能力值,通过试题信息量函数计算当前每道题对于当前被试者能力所能提供的信息量,选择具有最大信息量的试题,并将信息量进行累加,若达到最大信息阈值则停止当前领域的测验;
所述试题信息量函数为:
进一步,所述样本数据对于条目的区分度和难度参数估计采用边际极大似然法估计。
进一步,所述相应的每个领域包括心理状态领域、行为状态领域、人际关系领域、情绪情感领域、环境适应领域。
进一步,所述等级反应模型Samejima为:
所述Pθt为能力为θ的当前被试者在等级为f的条目恰好得到t分的概率;
所述a为相应的条目的区分度;
所述bt为相应的条目第t等级的难度;
所述等级为f的条目为4级、5级和6级。
进一步,其中,所述t的取值范围为1~f;
在等级反应模型Samejima中,各相应的条目难度等级单调递增,所述bt的单调递增关系为:b1<b2<…<bg-1<bf。
同时,本发明还提供一种自适应心理健康综合测验问卷系统,包括问卷系统;
所述问卷系统包括学生端应用模块、教师端应用模块、管理员端应用模块;
所述学生端应用模块包括:学生注册登录子模块、学生信息完善子模块、学生密码修改子模块、学生作答结果查看子模块以及基于上述心理健康综合自适应测评方法的自适应测验子系统;
所述自适应测验子系统包括测试题库;
所述教师端应用模块包括:教师注册登录子模块、教师信息完善子模块、教师密码修改子模块、学生管理子模块;
所述管理员端应用模块包括:管理员注册登录子模块、管理员信息完善子模块、管理员密码修改子模块、教师学生管理子模块、学生作答情况分析子模块。
本发明的有益效果为:
本专利采用评估当前被试者的能力:基于等级反应模型Samejima,通过条件极大似然法评估当前被试者的能力;确定与当前被试者的能力匹配的试题:根据当前被试者的能力,通过最大信息量与最大信息阈值的相融合的选题策略自适应地选择与当前被试者的能力匹配的试题,由于在自适应测验过程中,需要对被试者的能力值进行参数估计,每测验一道题都需要进行一次能力估计。对于能力参数估计,基于Samejima等级反应模型,采用条件极大似然法估计被试的能力,能力评估分为两个阶段:探测性能力初步估计、正式测验能力准确估计,本方案实现了对被试者进行针对化测验,在保证测验效果相同的基础上约简测验条目中与被试者能力不符的条目,因此,提高自适应测验的准确度,具有很重要的科学和现实意义。
附图说明
图1是本发明测评方法的流程图;
图2是本发明测评方法的具体流程图;
图3是本发明测评方法的选题策略流程图;
图4是本发明测评系统的结构简图。
具体实施方式
以下结合附图对本发明做进一步描述:
图中:
S101-评估当前被试者的能力;
S102-确定与当前被试者的能力匹配的试题;
S201-基于等级反应模型Samejima;
S202-通过条件极大似然法评估当前被试者的能力;
S203-根据当前被试者的能力;
S204-通过最大信息量与最大信息阈值的相融合的选题策略自适应地选择与当前被试者的能力匹配的试题。
实施例:
实施例一:如图1、2、3所示,一种心理健康综合自适应测评方法,包括:
评估当前被试者的能力S101:基于等级反应模型SamejimaS201,通过条件极大似然法评估当前被试者的能力S202;
确定与当前被试者的能力匹配的试题S102:根据当前被试者的能力S203,通过最大信息量与最大信息阈值的相融合的选题策略自适应地选择与当前被试者的能力匹配的试题S204。
由于采用评估当前被试者的能力:基于等级反应模型Samejima,通过条件极大似然法评估当前被试者的能力;确定与当前被试者的能力匹配的试题:根据当前被试者的能力,通过最大信息量与最大信息阈值的相融合的选题策略自适应地选择与当前被试者的能力匹配的试题,由于在自适应测验过程中,需要对被试者的能力值进行参数估计,每测验一道题都需要进行一次能力估计。对于能力参数估计,基于Samejima等级反应模型,采用条件极大似然法估计被试的能力,能力评估分为两个阶段:探测性能力初步估计、正式测验能力准确估计,本方案实现了对被试者进行针对化测验,在保证测验效果相同的基础上约简测验条目中与被试者能力不符的条目,因此,提高自适应测验的准确度,具有很重要的科学和现实意义。
2、根据权利要求1所述测评方法,其特征在于,所述评估当前被试者的能力S101包括:
在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数,其包括探测性能力初步估计和正式测验能力准确估计;
所述探测性能力初步估计包括:
若初次未知被试者的能力值,则将题库中每题均设为1分,并从题库中随机选择三道不重复的试题进行测验,并根据测验结果通过能力初步估计函数确定能力初步估计值;
所述θ0为能力初步估计值;
所述正式测验能力准确估计包括:
采用条件极大似然估计法逐题实时估计被试者的测验能力准确估计值,其包括:
通过梯度下降数值分析函数计算对数似然函数,预先设定好训练迭代次数,对整个测验结果计算损失函数的梯度矢量,直到测验能力准确估计值收敛到所在处的最小值,并确定测验能力准确估计值;
θ为测验能力准确估计值,L是已答m道题得到结果为t的对数似然函数,D=-1.7,a表示该条目的区分度,bt表示该条目第t等级的难度。θ0是自变量参数,η是学习因子,θ表示更新后的θ0;
所述对数似然函数为:
所述梯度下降数值分析函数包括:
所述θ为测验能力准确估计值;
由于采用所述评估当前被试者的能力包括:在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数,其包括探测性能力初步估计和正式测验能力准确估计;所述探测性能力初步估计包括:若初次未知被试者的能力值,则将题库中每题均设为1分,并从题库中随机选择三道不重复的试题进行测验,并根据测验结果通过能力初步估计函数确定能力初步估计值;所述正式测验能力准确估计包括:采用条件极大似然估计法逐题实时估计被试者的测验能力准确估计值,其包括:通过梯度下降数值分析函数计算对数似然函数,预先设定好训练迭代次数,对整个测验结果计算损失函数的梯度矢量,直到测验能力准确估计值收敛到所在处的最小值,并确定测验能力准确估计值,由于探测性能力初步估计阶段:如果开始测验之前不知道被试者的能力值,则需要进行探测性测验。对于题库中所有条目得分都为1分开始,探测性测验首先从题库中随机选择三道不重复的试题进行测验,如果三道题选择结果都为满分,则继续随机从题库中选择一道题作答,直到所有作答结果都不为满分,探测性测验结束,能力初步估计值:
正式测验阶段:被试者每作答一道试题都需要根据之前作答的记录估计当前被试者的准确能力值,能力估计采用条件极大似然估计,首先根据已答m道题的作答结果t所需的概率形成似然函数L:
为了估计能力参数θ,只需要将似然函数L取最大值,即满足似然函数关于能力θ的一阶倒数等于0,对于似然函数是连乘,故等式两边取对数换成累加的形式,故估计能力θ需满足条件:
由于等式在估计过程中属于非线性方程,求解非线性方程需要采用数值分析的方法,常用牛顿-拉夫逊迭代法,梯度相关的优化算法。在本研究中,比较了这两种非线性求解方法:对于牛顿-拉夫逊迭代法,计算对数似然函数对于参数θ的一阶导数和二阶导数,在迭代过程中,当达到精度ε时停止迭代,即迭代过程中能力值的误差:
θk+1=θk-ε
对于梯度相关的优化算法中梯度下降法,预先设定好训练迭代次数,对整个作答记录计算损失函数的梯度矢量,直到参数θ收敛到所在处的最小值:
在本案中,若采用牛顿-拉夫逊迭代法,如果第一次迭代时误差项较大,则θ变化大,就会导致之后的误差项更大,最后,输出奇异值。若采用梯度下降法,借助Python第三方库计算库scipy中fsolve函数求解非线性方程,其原理则采用梯度下降法进行迭代估计参数θ,使用两种方法进行测验比较,梯度下降法效果明显好于牛顿-拉夫逊迭代法。故能力参数估计采用梯度下降法。
同时,为了自适应测验方法的实现,其特征在于参数估计和选题策略,所述方法包括:
参数估计包含条目的区分度和难度参数估计,以及被试者的能力(特质水平)参数估计。由于条目的等级为4级、5级和6级,因此在参数估计时采用Samejima等级反应模型:
式中Pθt表示能力为θ的被试者在等级为f的条目恰好得到t分的概率,表示能力为θ的被试者在等级为f的条目得到t分及以上的概率,D=-1.7,a表示该条目的区分度,bt表示该条目第t等级的难度(t=1,2,,f)。在等级反应模型中,各条目难度等级单调递增,即b1<b2<…<bf-1<bf。在自适应测验前,样本数据对于条目的区分度和难度参数估计采用边际极大似然法估计。在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数。
本案给出一个基于最大信息量的改进选题策略,即最大信息量-最大信息阈值选题策略:在题库中每个领域中,根据样本数据估计每个被试的能力值并取平均值,根据平均能力值计算每个领域的信息量。将每个领域的信息量作为各部分的测验总信息量,即最大信息阈值。在测验过程中,根据当前被试者的能力值,计算当前每道题对于当前被试者能力所能提供的信息量,选择具有最大信息量的试题,并将信息量进行累加,若达到最大信息阈值则停止当前领域的测验。
3、根据权利要求2所述测评方法,其特征在于,所述梯度下降数值分析方法借助Python第三方库计算库scipy中fsolve函数迭代估计对数似然函数并确定测验能力准确估计值θ。
由于采用所述梯度下降数值分析方法借助Python第三方库计算库scipy中fsolve函数迭代估计对数似然函数并确定测验能力准确估计值θ,由于在本案中,若采用牛顿-拉夫逊迭代法,如果第一次迭代时误差项较大,则θ变化大,就会导致之后的误差项更大,最后,输出奇异值。若采用梯度下降法,借助Python第三方库计算库scipy中fsolve函数求解非线性方程,其原理则采用梯度下降法进行迭代估计参数θ,使用两种方法进行测验比较,梯度下降法效果明显好于牛顿-拉夫逊迭代法。故能力参数估计采用梯度下降法。
4、根据权利要求2所述测评方法,其特征在于,若三道题测验结果均为满分,则反复随机从题库中随机选择一道题进行测验,直到测验结果至少有一题不为满分为止。
由于采用若三道题测验结果均为满分,则反复随机从题库中随机选择一道题进行测验,直到测验结果至少有一题不为满分为止,由于探测性测验首先从题库中随机选择三道不重复的试题进行测验,如果三道题选择结果都为满分,则继续随机从题库中选择一道题作答,直到所有作答结果都不为满分,探测性测验结束,由于采用探测性测验,能够快速得出能力初步估计值,并根据初步估计值对被测试者进行下一阶段针对性的测试。
5、根据权利要求1所述测评方法,其特征在于,所述确定与当前被试者的能力匹配的试题S102包括:
确定最大信息阈值:根据样本数据估算每个被试者的平均能力值,根据平均能力值计算相应的每个领域的信息量,并将相应的每个领域的信息量作为相应的每个领域的最大信息阈值;
最大信息量选题:根据当前被试者的能力S203值,通过试题信息量函数计算当前每道题对于当前被试者能力所能提供的信息量,选择具有最大信息量的试题,并将信息量进行累加,若达到最大信息阈值则停止当前领域的测验;
所述试题信息量函数为:
由于采用所述确定与当前被试者的能力匹配的试题包括:确定最大信息阈值:根据样本数据估算每个被试者的平均能力值,根据平均能力值计算相应的每个领域的信息量,并将相应的每个领域的信息量作为相应的每个领域的最大信息阈值;最大信息量选题:根据当前被试者的能力值,通过试题信息量函数计算当前每道题对于当前被试者能力所能提供的信息量,选择具有最大信息量的试题,并将信息量进行累加,若达到最大信息阈值则停止当前领域的测验;由于最大信息量-最大信息阈值选题策略包括自适应测验中使用最为广泛的选题策略有最大信息量选题策略和a分层法选题策略。最大信息量选题策略固定测验总长度,基于当前能力值计算剩余试题的信息量:
并从中选择信息量最大的试题,每测验完一道试题都需要进行一次能力估计,直到达到测验总长度停止测验,由于信息量不仅受被试者能力的影响,也受试题本身区分度、难度参数的影响,因此在某些试题上信息量较大,故在测验过程中经常出现,而有些试题信息量较小,在测验过程中很少出现,这导致了曝光率的问题。a分层法基于最大信息量选题策略曝光率问题提出的一种选题策略,根据试题的区分度参数将试题分为K层,被试者从第一层开始测验,在每一层中根据被试者的当前能力值θ选择试题中难度中位数与能力最匹配的试题作为下一道作答试题。即:,作答结束后计算该题的信息量,再估计当前被试者的能力值,累加信息量,当达到每一层信息量阈值时进入下一层选题,直到达到测验总信息量停止。在a分层选题策略中,需要解决两个问题:1、确定层数K;2、确定测验总信息量。
确定层数K:需要考虑几个因素。第一是题库中区分度(a)的分布情况,如果题库中具有相似区分度的条目组成,则分层的影响最小化,因此需要很少的层数。反之则需要大量的层数。第二是题库的丰富程度,指难度(b)的范围与预期的范围相匹配的程度,更丰富的题库可以分得层数更多。
确定测验总信息量:测验总信息量和最大信息信息量选题策略中固定测验长度的用途一致,用于控制测验的长度,这其实也是一个探测性/经验性的决定,并没有一个明确的方法用于确定其值。
故本案提出了一种基于最大信息量选题策略的改进选题策略,即最大信息量-最大信息阈值的选题策略。在题库中每个领域中:
1、根据样本数据估计每个被试的能力值并取平均值,根据平均能力值计算每个领域的信息量。将每个领域的信息量作为各部分的测验总信息量,即最大信息阈值;
2、对于选题则采用最大信息量的方法,根据当前被试者的能力值,计算当前每道题对于当前被试者能力所能提供的信息量,选择具有最大信息量的试题,并将信息量进行累加,若达到最大信息阈值则停止当前领域的测验。
此选题策略在使测验总信息量与未采用选题策略时测验的总信息量一致,保证测验的效果。同时避免了一般最大信息量选题策略时确定测验长度不准确带来的影响,一定程度上降低了项目曝光率的问题。
所述样本数据对于条目的区分度和难度参数估计采用边际极大似然法估计。
由于采用所述相应的每个领域包括心理状态领域、行为状态领域、人际关系领域、情绪情感领域、环境适应领域,每个领域的信息量作为各部分的测验总信息量,即最大信息阈值的值如下表所示:
组别 | 心理状态领域 | 行为状态领域 | 人际关系领域 | 情绪情感领域 | 环境适应领域 |
小学 | 22.697 | 13.329 | 40.286 | 10.271 | 87.199 |
中学 | 60.337 | 102.016 | 35.202 | 45.43 | 113.927 |
所述相应的每个领域包括心理状态领域、行为状态领域、人际关系领域、情绪情感领域、环境适应领域。
所述等级反应模型Samejima为:
所述Pθt为能力为θ的当前被试者在等级为f的条目恰好得到t分的概率;
所述a为相应的条目的区分度;
所述bt为相应的条目第t等级的难度;
所述等级为f的条目为4级、5级和6级。
其中,所述t的取值范围为1~f;
在等级反应模型Samejima中,各相应的条目难度等级单调递增,所述bt的单调递增关系为:b1<b2<…<bf-1<bf。
由于采用基于等级反应模型Samejima,其中,所述t的取值范围为1~f;在等级反应模型Samejima中,各相应的条目难度等级单调递增,所述bt的单调递增关系为:
b1<b2<...<bf-1<bf
由于参数估计包含条目的区分度和难度参数估计,以及被试者的能力(特质水平)参数估计。由于条目的等级为4级、5级和6级,因此在参数估计时采用Samejima等级反应模型:
式中Pθt表示能力为θ的被试者在等级为f的条目恰好得到t分的概率,表示能力为θ的被试者在等级为f的条目得到t分及以上的概率,D=-1.7,a表示该条目的区分度,bt表示该条目第t等级的难度(t=1,2,..,f),在等级反应模型中,各条目难度等级单调递增,即b1<b2<…<bf-1<bf。在自适应测验前,样本数据对于条目的区分度和难度参数估计采用边际极大似然法估计。在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数。
如图4所示,本发明提供了一种自适应心理健康综合测验问卷系统,包括问卷系统;
所述问卷系统包括学生端应用模块、教师端应用模块、管理员端应用模块;
所述学生端应用模块包括:学生注册登录子模块、学生信息完善子模块、学生密码修改子模块、学生作答结果查看子模块以及基于上述自适应心理健康综合测评方法应用的自适应测验子系统;
所述自适应测验子系统包括测试题库;
所述教师端应用模块包括:教师注册登录子模块、教师信息完善子模块、教师密码修改子模块、学生管理子模块;
所述管理员端应用模块包括:管理员注册登录子模块、管理员信息完善子模块、管理员密码修改子模块、教师学生管理子模块、学生作答情况分析子模块。
同时,本发明提供一种自适应心理健康综合测验问卷系统,包括问卷系统;所述问卷系统包括学生端应用模块、教师端应用模块、管理员端应用模块;所述学生端应用模块包括:学生注册登录子模块、学生信息完善子模块、学生密码修改子模块、学生作答结果查看子模块以及基于如上述自适应心理健康综合测评方法应用的自适应测验子系统;所述自适应测验子系统包括测试题库;所述教师端应用模块包括:教师注册登录子模块、教师信息完善子模块、教师密码修改子模块、学生管理子模块;所述管理员端应用模块包括:管理员注册登录子模块、管理员信息完善子模块、管理员密码修改子模块、教师学生管理子模块、学生作答情况分析子模块,由于该问卷系统以学校为单位,针对学校管理员、学校老师、学校学生等三种身份设计相关的功能,学校管理者能够管理该校的学生并定期开展心理测验,查看学生的测验结果;基于项目反映理论,测验学生从心理状态、行为状态、情绪情感、人际关系、环境适应等五个领域进行能力评估,根据学生的作答情况提供自适应的选题策略,实现智能组卷,因人而异、因时而异的自适应测验;该系统在保证测试效果的基础上约简与被试者能力不同的试题。
工作原理:
本专利通过评估当前被试者的能力:基于等级反应模型Samejima,通过条件极大似然法评估当前被试者的能力;确定与当前被试者的能力匹配的试题:根据当前被试者的能力,通过最大信息量与最大信息阈值的相融合的选题策略自适应地选择与当前被试者的能力匹配的试题,由于在自适应测验过程中,需要对被试者的能力值进行参数估计,每测验一道题都需要进行一次能力估计。对于能力参数估计,基于Samejima等级反应模型,采用条件极大似然法估计被试的能力,能力评估分为两个阶段:探测性能力初步估计、正式测验能力准确估计,所述评估当前被试者的能力包括:在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数,其包括探测性能力初步估计和正式测验能力准确估计;所述探测性能力初步估计包括:若初次未知被试者的能力值,则将题库中每题均设为1分,并从题库中随机选择三道不重复的试题进行测验,并根据测验结果通过能力初步估计函数确定能力初步估计值;所述正式测验能力准确估计包括:采用条件极大似然估计法逐题实时估计被试者的测验能力准确估计值,其包括:通过梯度下降数值分析函数计算对数似然函数,预先设定好训练迭代次数,对整个测验结果计算损失函数的梯度矢量,直到测验能力准确估计值收敛到所在处的最小值,并确定测验能力准确估计值,由于探测性能力初步估计阶段:如果开始测验之前不知道被试者的能力值,则需要进行探测性测验。对于题库中所有条目得分都为1分开始,探测性测验首先从题库中随机选择三道不重复的试题进行测验,如果三道题选择结果都为满分,则继续随机从题库中选择一道题作答,直到所有作答结果都不为满分,探测性测验结束,能力初步估计值:
正式测验阶段:被试者每作答一道试题都需要根据之前作答的记录估计当前被试者的准确能力值,能力估计采用条件极大似然估计,首先根据已答m道题的作答结果t所需的概率形成似然函数L:
为了估计能力参数θ,只需要将似然函数L取最大值,即满足似然函数关于能力θ的一阶倒数等于0,对于似然函数是连乘,故等式两边取对数换成累加的形式,故估计能力θ需满足条件:
由于等式在估计过程中属于非线性方程,求解非线性方程需要采用数值分析的方法,常用牛顿-拉夫逊迭代法,梯度相关的优化算法。在本研究中,比较了这两种非线性求解方法:对于牛顿-拉夫逊迭代法,计算对数似然函数对于参数θ的一阶导数和二阶导数,在迭代过程中,当达到精度ε时停止迭代,即迭代过程中能力值的误差:
θk+1=θk-ε
对于梯度相关的优化算法中梯度下降法,预先设定好训练迭代次数,对整个作答记录计算损失函数的梯度矢量,直到参数θ收敛到所在处的最小值:
在本案中,若采用牛顿-拉夫逊迭代法,如果第一次迭代时误差项较大,则θ变化大,就会导致之后的误差项更大,最后,输出奇异值。若采用梯度下降法,借助Python第三方库计算库scipy中fsolve函数求解非线性方程,其原理则采用梯度下降法进行迭代估计参数θ,使用两种方法进行测验比较,梯度下降法效果明显好于牛顿-拉夫逊迭代法。故能力参数估计采用梯度下降法。
同时,为了自适应测验方法的实现,其特征在于参数估计和选题策略,所述方法包括:
参数估计包含条目的区分度和难度参数估计,以及被试者的能力(特质水平)参数估计。由于条目的等级为4级、5级和6级,因此在参数估计时采用Samejima等级反应模型:
式中Pθt表示能力为θ的被试者在等级为f的条目恰好得到t分的概率,表示能力为θ的被试者在等级为f的条目得到t分及以上的概率,D=-1.7,a表示该条目的区分度,bt表示该条目第t等级的难度(t=1,2,,f)。在等级反应模型中,各条目难度等级单调递增,即b1<b2<…<bf-1<bf。在自适应测验前,样本数据对于条目的区分度和难度参数估计采用边际极大似然法估计。在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数。
本案给出一个基于最大信息量的改进选题策略,即最大信息量-最大信息阈值选题策略:在题库中每个领域中,根据样本数据估计每个被试的能力值并取平均值,根据平均能力值计算每个领域的信息量。将每个领域的信息量作为各部分的测验总信息量,即最大信息阈值。在测验过程中,根据当前被试者的能力值,计算当前每道题对于当前被试者能力所能提供的信息量,选择具有最大信息量的试题,并将信息量进行累加,若达到最大信息阈值则停止当前领域的测验。
本发明解决了现有技术存在由于测验中存在大量测验条目与被试者能力不符,从而导致自适应测验的准确度低且个性化效果欠佳的问题,具有实现了对被试者进行针对化测验,在保证测验效果相同的基础上约简测验条目中与被试者能力不符的条目,因此,提高自适应测验的准确度,具有很重要的科学和现实意义的有益技术效果。
利用本发明的技术方案,或本领域的技术人员在本发明技术方案的启发下,设计出类似的技术方案,而达到上述技术效果的,均是落入本发明的保护范围。
Claims (10)
1.一种心理健康综合自适应测评方法,其特征在于,包括:
评估当前被试者的能力:基于等级反应模型Samejima,通过条件极大似然法评估当前被试者的能力;
确定与当前被试者的能力匹配的试题:根据当前被试者的能力,通过最大信息量与最大信息阈值的相融合的选题策略自适应地选择与当前被试者的能力匹配的试题。
2.根据权利要求1所述测评方法,其特征在于,所述评估当前被试者的能力包括:
在自适应测验过程中,根据被试者作答情况采用条件极大似然估计法估计被试者的能力参数,其包括探测性能力初步估计和正式测验能力准确估计;
所述探测性能力初步估计包括:
若初次未知被试者的能力值,则将题库中每题均设为1分,并从题库中随机选择三道不重复的试题进行测验,并根据测验结果通过能力初步估计函数确定能力初步估计值;
所述θ0为能力初步估计值;
所述正式测验能力准确估计包括:
采用条件极大似然估计法逐题实时估计被试者的测验能力准确估计值,其包括:
通过梯度下降数值分析函数计算对数似然函数,预先设定好训练迭代次数,对整个测验结果计算损失函数的梯度矢量,直到测验能力准确估计值收敛到所在处的最小值,并确定测验能力准确估计值;
所述对数似然函数为:
所述梯度下降数值分析函数包括:
所述θ为测验能力准确估计值;
L是已答m道题得到结果为t的对数似然函数,D=-1.7,a表示该条目的区分度,bt表示该条目第t等级的难度;θ0是自变量参数,η是学习因子。
3.根据权利要求2所述测评方法,其特征在于,所述梯度下降数值分析方法借助Python第三方库计算库scipy中fsolve函数迭代估计对数似然函数并确定测验能力准确估计值θ。
4.根据权利要求2所述测评方法,其特征在于,若三道题测验结果均为满分,则反复随机从题库中随机选择一道题进行测验,直到测验结果至少有一题不为满分为止。
5.根据权利要求1所述测评方法,其特征在于,所述确定与当前被试者的能力匹配的试题包括:
确定最大信息阈值:根据样本数据估算每个被试者的平均能力值,根据平均能力值计算相应的每个领域的信息量,并将相应的每个领域的信息量作为相应的每个领域的最大信息阈值;
最大信息量选题:根据当前被试者的能力值,通过试题信息量函数计算当前每道题对于当前被试者能力所能提供的信息量,选择具有最大信息量的试题,并将信息量进行累加,若达到最大信息阈值则停止当前领域的测验;
所述试题信息量函数为:
6.根据权利要求5所述测评方法,其特征在于,所述样本数据对于条目的区分度和难度参数估计采用边际极大似然法估计。
7.根据权利要求5所述测评方法,其特征在于,所述相应的每个领域包括心理状态领域、行为状态领域、人际关系领域、情绪情感领域、环境适应领域。
9.根据权利要求8所述测评方法,其特征在于,其中,所述t的取值范围为1~f;
在等级反应模型Samejima中,各相应的条目难度等级单调递增,所述bt的单调递增关系为:b1<b2<…<bf-1<bf。
10.一种自适应心理健康综合测验问卷系统,其特征在于,包括问卷系统;
所述问卷系统包括学生端应用模块、教师端应用模块、管理员端应用模块;
所述学生端应用模块包括:学生注册登录子模块、学生信息完善子模块、学生密码修改子模块、学生作答结果查看子模块以及基于如权利要求1~权利要求9所述的自适应心理健康综合测评方法应用的自适应测验子系统;
所述自适应测验子系统包括测试题库;
所述教师端应用模块包括:教师注册登录子模块、教师信息完善子模块、教师密码修改子模块、学生管理子模块;
所述管理员端应用模块包括:管理员注册登录子模块、管理员信息完善子模块、管理员密码修改子模块、教师学生管理子模块、学生作答情况分析子模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011351547.8A CN112446809B (zh) | 2020-11-25 | 2020-11-25 | 心理健康综合自适应测评方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011351547.8A CN112446809B (zh) | 2020-11-25 | 2020-11-25 | 心理健康综合自适应测评方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112446809A true CN112446809A (zh) | 2021-03-05 |
CN112446809B CN112446809B (zh) | 2022-08-12 |
Family
ID=74737597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011351547.8A Active CN112446809B (zh) | 2020-11-25 | 2020-11-25 | 心理健康综合自适应测评方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112446809B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842958A (zh) * | 2022-04-07 | 2022-08-02 | 北京正在关怀科技有限公司 | 儿童综合能力评估分析系统及方法 |
CN115062949A (zh) * | 2022-04-13 | 2022-09-16 | 上海职鼎网络科技有限公司 | 岗位能力测量方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6301571B1 (en) * | 1996-09-13 | 2001-10-09 | Curtis M. Tatsuoka | Method for interacting with a test subject with respect to knowledge and functionality |
CN107545146A (zh) * | 2017-09-08 | 2018-01-05 | 北京辅仁淑凡软件科技有限公司 | 一种可自适应出题的心理测评方法 |
CN110197340A (zh) * | 2019-06-06 | 2019-09-03 | 哈尔滨工业大学 | 一种面向在线教育平台的学习者学习能力评估方法 |
CN111626420A (zh) * | 2020-03-31 | 2020-09-04 | 杨阳 | 一种认知能力的自适应测评方法、测评系统及其使用方法 |
-
2020
- 2020-11-25 CN CN202011351547.8A patent/CN112446809B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6301571B1 (en) * | 1996-09-13 | 2001-10-09 | Curtis M. Tatsuoka | Method for interacting with a test subject with respect to knowledge and functionality |
CN107545146A (zh) * | 2017-09-08 | 2018-01-05 | 北京辅仁淑凡软件科技有限公司 | 一种可自适应出题的心理测评方法 |
CN110197340A (zh) * | 2019-06-06 | 2019-09-03 | 哈尔滨工业大学 | 一种面向在线教育平台的学习者学习能力评估方法 |
CN111626420A (zh) * | 2020-03-31 | 2020-09-04 | 杨阳 | 一种认知能力的自适应测评方法、测评系统及其使用方法 |
Non-Patent Citations (2)
Title |
---|
戴海琦: "多级评分题计算机自适应测验选题策略比较", 《心理学报》 * |
梁瑾麟: "基于项目反应理论的计算机自适应测试系统研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114842958A (zh) * | 2022-04-07 | 2022-08-02 | 北京正在关怀科技有限公司 | 儿童综合能力评估分析系统及方法 |
CN115062949A (zh) * | 2022-04-13 | 2022-09-16 | 上海职鼎网络科技有限公司 | 岗位能力测量方法及装置 |
CN115062949B (zh) * | 2022-04-13 | 2023-12-01 | 上海职鼎网络科技有限公司 | 岗位能力测量方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112446809B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huisman | Imputation of missing item responses: Some simple techniques | |
CN108229718B (zh) | 一种信息预测方法及装置 | |
Kynn | The ‘heuristics and biases’ bias in expert elicitation | |
Hosseini et al. | On aggregating labels from multiple crowd workers to infer relevance of documents | |
Frandsen et al. | Quantile treatment effects in the regression discontinuity design | |
Lu et al. | Validity issues in test speededness | |
CN112131349B (zh) | 对知识点掌握状态进行测量的方法 | |
CN112446809B (zh) | 心理健康综合自适应测评方法及系统 | |
CN108053117A (zh) | 一种学生学科掌握能力的个性化评估方法 | |
CN107610009B (zh) | 一种基于神经网络的三位一体招生录取概率预测方法 | |
Honda et al. | Memory‐based simple heuristics as attribute substitution: Competitive tests of binary choice inference models | |
CN111680216B (zh) | 一种试题推荐方法、系统、介质及设备 | |
Cowden | Mental Toughness Inventory: Factorial validity and ethnic group measurement equivalence in competitive tennis | |
Zu et al. | α-SN curve: a novel SN curve modeling method under small-sample test data using uncertainty theory | |
Wang et al. | Design of an adaptive examination system based on artificial intelligence recognition model | |
Tu et al. | A polytomous model of cognitive diagnostic assessment for graded data | |
de la Haye | A methodological note about the measurement of the false‐consensus effect | |
Lin et al. | I'm meltiiiiiing...”: The decline of response rates and the impact of nonresponse bias on the results of national surveys at small colleges | |
Hechter et al. | Prediction versus explanation in the measurement of values | |
Fowell et al. | Estimating the minimum number of judges required for test-centred standard setting on written assessments. do discussion and iteration have an influence? | |
Cousineau et al. | Constructing a group distribution from individual distributions. | |
Molontay et al. | How to improve the predictive validity of a composite admission score? A case study from Hungary | |
Awwad et al. | Efficient worker selection through history-based learning in crowdsourcing | |
Gruijters | Using principal component analysis to validate psychological scales: Bad statistical habits we should have broken yesterday II | |
CN111027868A (zh) | 基于结构方程模型的学位论文质量影响因素评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |