CN111178770B - 答题数据评估和学习图像构建方法、装置及存储介质 - Google Patents
答题数据评估和学习图像构建方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111178770B CN111178770B CN201911412639.XA CN201911412639A CN111178770B CN 111178770 B CN111178770 B CN 111178770B CN 201911412639 A CN201911412639 A CN 201911412639A CN 111178770 B CN111178770 B CN 111178770B
- Authority
- CN
- China
- Prior art keywords
- confidence
- answer
- estimation value
- coefficient
- answer data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims description 14
- 238000011157 data evaluation Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000005315 distribution function Methods 0.000 claims description 33
- 238000012937 correction Methods 0.000 claims description 28
- 238000011156 evaluation Methods 0.000 claims description 15
- 230000037361 pathway Effects 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种答题数据评估和学习图像构建方法、装置及存储介质,答题数据评估方法包括:获取答题数据,所述答题数据包括多种答题参数;利用至少部分所述答题参数计算至少一种置信度估计值;利用所述置信度估计值评估所述答题数据的置信度,其中置信度估计值包括获取途径置信度估计值、题目类型置信度估计值、答题时间置信度估计值、相似记录置信度估计值和学习画像置信度估计值中的至少一种。通过上述方式,本申请能够实现对答题数据置信度进行评估,从而提高学生画像的准确性。
Description
技术领域
本申请涉及大数据领域,特别是涉及一种答题数据评估和学习图像构建方法、装置及存储介质。
背景技术
在信息化高速发展的浪潮下,教育领域也已经与科技充分结合并演变出丰富多彩的形式。例如传统的线下学习模式逐渐向线上学习模式进行转变,在线学习平台不断增多。在线学习平台的优势之一是可以将学习者在平台上的课堂测评、课后作业等答题数据进行记录,教师和管理者不再限制于通过考试数据来了解学生的学习成果,通过平台上记录的数据可以深入了解学生的学习过程和学习成果。但是学生在没有被监督的情况下进行答题,学生很容易抄袭、代答或是盲选,从而得到的答题数据的置信度较低。
目前的技术水平已经达到可以基于学生的答题数据对每个学生建立对应的学习画像,通过学习画像能让每个学生都能得到针对性的学习体验。但是现有被用于建立学习画像的答题数据来源方式众多,除了较为可靠的考试数据外,其他数据可靠性得不到保证,而画像生成系统对待这些数据,主要是采用其中部分数据或者将所有数据照单全收,或者采用一概不用的方式处理这些答题数据。可见,通过上述方式不是吸收了大量置信度低的数据,造成学习画像不准确,就是造成了很多数据的浪费,而仅仅依靠考试数据也很难准确进行学习画像。
发明内容
本申请提供一种答题数据评估和学习图像构建方法、装置及存储介质,能够解决现有技术中答题数据置信度低影响学习画像准确度的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种答题数据评估方法,该方法包括:获取答题数据,答题数据包括多种答题参数;利用至少部分答题参数计算至少一种置信度估计值;利用置信度估计值评估答题数据的置信度,其中置信度估计值包括获取途径置信度估计值、题目类型置信度估计值、答题时间置信度估计值、相似记录置信度估计值和学习画像置信度估计值中的至少一种。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种学习图像构建方法,该方法包括:获取答题数据,答题数据包括多种答题参数;利用前述的方法评估答题数据的置信度;利用答题数据及其置信度构建学习图像。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种答题数据评估装置,该装置包括处理器:处理器用于执行指令以实现前述的方法。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种学习图像构建装置,该装置包括处理器,处理器用于执行指令以实现前述的方法。
为解决上述技术问题,本申请采用的又再一个技术方案是:提供一种存储介质,存储有指令,指令被执行时实现前述的方法。
本申请的有益效果是:通过利用答题数据中的至少部分答题参数计算至少一种置信度估计值,再利用置信度估计值评估答题数据的置信度,其中通过得到的置信度可以用来反映答题数据的可靠性,后续选择用于建立学生画像的答题数据时可以以置信度作为参考,而不是一刀切的仅使用考试数据或使用全部数据,扩大建立学生画像所用的数据的范围的同时保障一定的可靠性,从而提高学生画像的准确性。
附图说明
图1是本申请答题数据评估方法一实施例的流程示意图;
图2是本申请答题数据评估方法另一实施例的流程示意图;
图3是图2中步骤S21的流程示意图;
图4是本申请答题数据的正态分布曲线的一个示例的示意图;
图5是本申请学优生和学差生的答题数据正态分布曲线的一个示例的示意图;
图6是本申请答题数据的题目难度正态分布曲线的一个示例的示意图;
图7是本申请学习画像的可视化图谱的一个示例的示意图;
图8本申请学习图像构建方法一实施例的流程示意图;
图9是本申请学习图像构建方法一实施例的另一流程示意图;
图10是本申请答题数据评估装置一实施例的结构示意图;
图11是本申请学习图像构建装置一实施例的结构示意图。
图12是本申请存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,在不冲突的情况下,本文所描述的实施例可以与其它实施例相结合。
图1是本申请答题数据评估方法一实施例的流程示意图。需注意的是,若有实质上相同的结果,本申请并不以附图中所示的流程顺序为限。如图1所示,本实施例可以包括如下步骤:
步骤S10:获取答题数据,答题数据包括多种答题参数。
可选地,答题数据可以为一道题目的答题数据。答题参数可以包括获取途径、题目类型、答题时间、相似记录、答题学生的学习画像等中的至少一种。
其中,获取途径可以包括考试、线下答题或线上答题中的至少一种。题目类型可以包括主观题、填空题、多选题、单选题、判断题中的至少一种。答题时间可以为做完一道题目所需要的时间。相似记录可以为当前题目在历史答题数据中的相似题记录。学习画像可以为根据历史答题数据建立学生在学习水平上的画像。
若某次测试、考试得到了多道题目的答题数据,可以分别为其中每道题目的答题数据应用本实施例提供的方法来评估置信度。
步骤S11:利用至少部分答题参数计算至少一种置信度估计值。
其中,置信度估计值可以包括获取途径置信度估计值、题目类型置信度估计值、答题时间置信度估计值、相似记录置信度估计值和学习画像置信度估计值中的至少一种。
可选地,利用至少部分答题参数计算至少一种置信度估计值可以包括以下至少一种:通过获取途径计算获取途径置信度估计值;通过题目类型计算题目类型置信度估计值;通过答题时间计算答题时间置信度估计值;通过相似记录计算相似记录置信度估计值;以及通过学习画像计算学习画像置信度估计值。
步骤S12:利用置信度估计值评估答题数据的置信度。
可以是选择一种置信度估计值作为答题数据的置信度。例如,将所有的置信度估计值进行统一修正以去除计算过程中不同的函数的影响后,选择值最大的一个作为置信度。或者,可以利用部分或全部置信度估计值计算得到答题数据的置信度,例如,计算所有置信度估计值的指数修正值的加权乘积作为答题数据的置信度。
通过本实施例的实施,利用答题数据中的至少部分答题参数计算至少一种置信度估计值,再利用置信度估计值评估答题数据的置信度,其中通过得到的置信度可以用来反映答题数据的可靠性,后续选择用于建立学生画像的答题数据时可以以置信度作为参考,而不是一刀切的仅使用考试数据或使用全部数据,扩大建立学生画像所用的数据的范围的同时保障一定的可靠性,从而提高学生画像的准确性。
图2是本申请答题数据评估方法另一实施例的流程示意图;图3是图2中步骤S21的流程示意图;图4是本申请答题数据一个示例的正态分布曲线的一个示例的示意图;图5是本申请学优生和学差生的答题数据正态分布曲线的一个示例的示意图;图6是本申请答题数据的题目难度正态分布曲线的一个示例的示意图;图7是本申请学习画像的可视化图谱的一个示例的示意图。如图2所示,本实施例可以包括如下步骤:
步骤S20:获取答题数据,答题数据包括多种答题参数。
本实施例中,对于步骤S20的阐述可以参照本申请答题数据评估方法一实施例中相应位置的阐述,此处不再赘述。
步骤S21:利用至少部分答题参数计算获取途径置信度估计值、题目类型置信度估计值、答题时间置信度估计值、相似记录置信度估计值和学习画像置信度估计值。
步骤S21进一步包括五组子步骤:(1)S211、(2)S212、(3)S213-S214、(4)S215、(5)S216-S218共五组,每组用于计算一种置信度估计值,各组子步骤之间并无固定的先后关系,图中所画仅为示意。
S211:基于答题数据中的获取途径从预设的第一置信度估计值集合中选出对应的获取途径置信度估计值。
其中,按照答题数据中的获取途径可以将答题数据进行分类。获取途径包括考试、线下答题或线上答题。
在一些实施方式中,根据答题数据的获取途径可以分为线上答题数据和线下答题数据。例如,线上答题可以是通过在线学习平台进行答题。通过读取在线学习平台记录的答题数据,可以获得线上答题数据。线下答题可以是在纸质材料上进行的答题。通过对纸质材料上的答题数据进行扫描,从而可以获得线下答题数据。一般地,线下答题数据的置信度大于线上答题数据置信度。由于人们一直以来所希望的都是孩子能够德智体美劳全面发展,所以在其他实施方式中答题数据不仅可以包括文化数据,还可以包括体能数据等其他类型数据。
在另一些实施方式中,答题数据的获取途径还可以为考试、作业、平时练习等等,可以将答题数据对应分为考试数据、作业数据、平时练习数据等等。其中,考试数据可以是在具备有效监管条件下的得到的答题数据,故通过考试途径获得的答题数据的置信度可以确定且置信度较高。一般地,上述答题数据的置信度排名可以为考试数据>作业数据>平时练习数据。需要说明的是,在本申请的所有实施例中,所有答题数据的置信度排名都可以根据实际情况进行调整,对此不做限定。进一步地,考试可以包括高考中考、期末考试、月考、周考和随堂测试等等。一般地,不同类型的考试数据的置信度排名可以为高考中考数据>期末考试数据>月考数据>周考数据>随堂测试数据。作业数据和平时练习数据可以是在不具备有效监管条件下的进行答题得到的答题数据,故通过作业和平时练习获得的答题数据的置信度不能确定。作业还可以进一步分为课堂作业、课后作业、寒暑假作业等等。一般地,不同的作业数据的置信度排名为课堂作业数据>课后作业数据>寒暑假作业数据。平时练习数据可以为课上或课下学生自主练习的答题数据,与其他类型的答题数据相比,通过平时练习获取的答题数据置信度较低。此外,获取途径的分类还可以有多种组合,例如线下考试、在线练习等等,可以根据实际情况分确定每种组合对应的置信度,此处不再赘述。
在进行S211之前,还包括预设第一置信度估计值集合。其中,第一置信度估计值可以为根据答题数据的获取途径设定的置信度估计值。第一置信度估计值可以为常量,取值范围可以为[0,1]。第一置信度估计值集合可以包括根据答题数据的多个获取途径分别设定的多个置信度估计值。本实施例中,可以通过获取当前答题数据的获取途径,并通过该获取途径可以从第一置信度估计值集合中获取对应的获取途径置信度估计值。
在一个应用例中,从线下月考中获取线下月考数据,其获取途径为线下月考,对应的预先预设的线下月考数据的第一置信度估计值为C月考=0.8。且预设的第一置信度估计值集合C获取途径中至少包括C月考。具体地,按照当前答题数据的获取途径为线下月考,确定当前答题数据的类型为线下月考数据,从预设的第一置信度估计值集合C获取途径中选出与当前线下月考数据对应的获取途径置信度估计值C1,从而得到该答题数据对应的获取途径置信度估计值为C1=C月考=0.8。
S212:基于答题数据中的题目类型从预设的第二置信度估计值集合中选出对应的题目类型置信度估计值。
题目类型包括主观题、填空题、多选题、单选题、判断题中的至少一种。一般而言,题目的主观性越强,对应的题目类型置信度估计值越高。
在进行S212之前,还包括预设第二置信度估计值集合。其中,第二置信度估计值可以为根据答题数据的题目类型设定的置信度估计值。第二置信度估计值可以为常量,取值范围可以为[0,1]。第二置信度估计值集合可以包括根据答题数据的多个题目类型分别设定的多个置信度估计值。本实施例中,可以通过获取当前答题数据的题目类型,并通过该题目类型可以从第二置信度估计值集合中获取对应的题目类型置信度估计值。
在一个应用例中,题目类型可以包括主观题、填空题、多选题、单选题、判断题,对应预先设定的第二置信度估计值可以分别为C主观题=0.9、C填空题=0.8、C多选题=0.7、C单选题=0.6、C判断题=0.5。且第二置信度估计值集合C题目类型中至少包括C主观题=0.9、C填空题=0.8、C多选题=0.7、C单选题=0.6、C判断题=0.5。例如,当前答题数据的题目类型为多选题,根据题目类型为多选题,可以从预设的第二置信度估计值集合C题目类型中选出多选题对应的题目类型置信度估计值C2=C多选题=0.7。
S213:将答题时间代入第一分布函数计算出对应的同水平人数,第一分布函数以答题时间为自变量,人数为因变量。
其中,S213之前还包括获取第一分布函数。第一分布函数可以是预先存储的,也可以是自行构建的。
第一分布函数用于反映答题时间和对应的答题人数的分布关系。答题时间可以为完成一道题目所需要的时间。例如,给定一道题目,随机选取一批学生进行答题,直至全部学生做完为止,分别记录每个学生做完一道题目所需要的时间,即每个学生的答题时间。其中,学生的数量应该尽可能大,以可以根据足够数量的样本建立第一分布函数,从而使得第一分布函数能够更加准确的反映答题时间和对应的答题人数的分布关系。可选地,学生的数量可以为1000、2000、5000。设置一个笛卡尔坐标,横轴为答题时间T,纵轴为答题人数N,如果采样足够大,即答题人数足够多,就可以发现学生答题时间T和答题人数N大致是一个正态分布的区间,如图4所示,故可以根据该区间假定一个正态分布公式N(μ,σ2)。答题时间T服从该正态分布,即T~N(μ,σ2)。该正态分布的公式为可选地,可以根据需要设定给定题目和答题学生的类型。例如,答题学生可以是同年级的学生,给定题目考察的知识点可以为答题学生已经学习过的知识点。
第一分布函数服从于第一正态分布函数T~N(μ,σ2)。第一正态分布函数的期望μ为基准期望μ0与第一修正系数K的乘积,标准差为基准标准差σ0与第二修正系数n的乘积。基准期望μ0为未经过修正的第一正态分布函数的期望,基准标准差σ0为未经过修正的第一正态分布函数的标准差。第一修正系数包括题目复杂度系数K复杂度、题目难度系数K难度、学生水平系数K学习中的至少一种,第二修正系数包括评估难度系数n难度。
其中,影响第一正态分布函数的期望μ的因素有多种,例如题目复杂度、题目难度和学生水平系数等等。进一步地,答题参数还包括题目复杂度、题目难度和学生水平系数。本实施例中,第一正态分布函数的期望μ代表学生的期望答题时间。
一般地,在其他条件不变的情况下,题目复杂度不同对应的期望答题时间不同,且题目越复杂,计算量就越大,学生作答该题目的期望答题时间就越长。所以考虑到题目复杂度这个因素对期望答题时间的影响,需要设定一个题目复杂度系数K复杂度对期望答题时间进行修正,使得获得的期望答题时间更加准确。可选地,题目复杂度系数K复杂度可以是在创建题目时进行评估的。
一般地,在其他因素不变的条件下,题目难度不同对应的期望答题时间不同,且题目难度越大,思考量也就越大,期望答题时间就越长。所以考虑到题目难度这个因素对期望答题时间的影响,需要设定一个题目难度系数K难度对期望答题时间进行修正,使得获得的期望答题时间更加准确。题目复杂度系数K复杂度和题目难度系数K难度都可以是通过人工智能进行评估得出的一个系数,或通过有经验教师进行主观评估得出的一个系数,且可以通过主观评估结果对人工智能评估结果进行校正,以得到更加准确的题目复杂度系数K复杂度和题目难度系数K难度。
一般地,根据学习水平的不同,会天然将学生划分为不同的等级,每个学生都会有对应的学生水平。学生水平代表了学生的学习水平,不同学生水平的学生在答题时所需要的答题时也间不同,故由于学生水平的不同对应的学生的期望答题时间也不同,所以为使答题时间置信度估计值更加准确,本实施例采用一个学生水平系数K学习来代表学生水平,通过将K学习与原始期望答题时间μ0进行乘积,从而可以修正的期望答题时间。一般地,学生水平越低的学生所需要的答题时间也就越长,期望答题。可选地,可以将学生分为优良中差等级,其中优等生的学生水平系数K学优大于差等生的学生水平系数K学差,即K学优>K学差。其中,可以将K学习限定在一个水平范围内,例如,可依据学生的班级、年级、全市或全省的考试水平画像对评估K学习的估值。此外,还可以通过学生自我评估和任课老师的评估相结合得到K学习的估值。可选地,在无法采集数据对K学习进行估值的情况下,则默认K学习=1,即表示对期望答题时间进行修正时,不考虑学生水平这个因素对期望答题时间的影响。如图5所示,f1(T)表示学优生的答题数据正态分布曲线,f2(T)表示学差生的答题数据正态分布曲线,从图中可以看出f1(T)的期望μ2大于f2(T)的期望μ1,即是对应的学差生的期望答题时间大于学优生的期望答题时间。
不同题目对应的正态分布曲线存在差异化。通过试验发现,影响正态分布曲线的最大因素为题目难度,如图6所示,题目难度增大,在其他条件不变的情况下,得到的正态分布曲线f4(T)。相比于增大之前的正态分布曲线f3(T),曲线f3(T)的期望μ向右进行了移动,且答题数据之间的离散程度增大,即标准差σ变大,由于在这之前已经通过题目难度系数K难度对期望μ进行了修正,但是由于题目难度对标准差σ的影响较大,所以本实施例还采用了评估难度系数n难度,作为标准差σ的修正系数。本实施例,将评估难度系数n难度与基准标准差σ0相乘,以得到修正后的标准差σ。
将答题时间代入第一分布函数计算出对应的同水平人数。具体地,将学生A作答一题目的答题时间TA,带入根据该题目预先构建的第一分布函数T~N(μ,σ2),计算出与TA对应的同水平人数,对应公式可以为即通过答题时间TA可计算出与学生A同水平的人数为u0。其中,该题目的期望μ为经过修正后的期望,即μ=K复杂度*K难度*K学生*μ0。该题目的标准差σ为经过修正后的标准差,即σ=n难度*σ0。
S214:计算同水平人数与期望人数的比值作为答题时间置信度估计值,期望人数为将题目的期望答题时间代入第一分布函数而得到的。
具体地,期望人数u为将题目的期望答题时间μ代入第一分布函数T~N(μ,σ2)而得到的。对应正态分布公式期望人数即第一正态分布的峰值。其中,标准差σ为通过修正之后的标准差。计算同水平人数u0与期望人数u的比值作为答题时间置信度估计值C4,即C4=u0/u。
S215:利用相似记录的置信度对基础置信度进行修正得到相似记录置信度估计值。
可以计算相似记录的得分与当前得分之间的误差。若误差在预设范围内,利用相似记录的置信度对基础置信度进行正向修正;若误差不在预设范围内,则利用相似记录的置信度对基础置信度进行反向修正。
具体地,可以通过获取学生的历史答题数据,根据学生的待验证题目的题目类型、题目答案、知识点类型、题干或题目答案中的关键字等搜索信息,搜索历史答题数据中与当前的题目相似度较高的题目,若搜索成功,则将搜索结果作为相似记录。
可选地,可以将多种搜索信息进行组合得到多种验证方式,以判断待验证题目是已被采样的相似题目。可选地,根据实际需要选择一种验证方式对待验证题目进行验证。例如,可以通过题目类型、题目答案和题干关键字组合成一种验证方式,若学生待验证题目的题目类型、题目答案和题干关键字与历史答题数据中某题目的题目类型、题目答案和题干关键字其中之一不同,则可以确定该待验证题目是未被采样的题目,即是说明该学生在回答该待验证题目之前未回答过与之相似的题目,则相似记录置信度估计值C4可采用一个基础置信度C相似题0来表示学生在回答该题目时未受到题目相似度的影响,其中,基础置信度C相似度0可以是系统的一个默认值,此时C4=C相似度0;否则,确定该待验证题目是已被采样的题目,即是说明该学生在回答该待验证题目之前已回答过与之相似的题目,学生在回答该题目时受到了题目相似度的影响,则需要对该答题数据的相似记录置信度C相似度进行修正。
其中,当前答题数据的相似记录置信度为C相似题,采用修正系数r对相似记录置信度C相似题进行修正。具体地,将修正系数r与当前答题数据的相似记录置信度C相似题相乘,即C相似题*r,r的取值区间为[-1,1]。若当前题目与历史答题数据中的相似题目对应的当前得分与相似记录的得分在预设范围内时,则认为当前得分与相似记录的得分相同或相近,即是说明当前题目数据的相似记录置信度较高,从而需要在基础置信度C相似度0的基础上,对当前题目的相似记录置信度C相似题做正向修正,以增加当前题目的相似记录置信度估计值;否则,则认为当前得分与相似记录的得分相差太大,即是说明当前题目数据的相似记录置信度较低,从而需要对当前题目的相似记录置信度C相似题做负向修正,以减少当前题目的相似记录置信度估计值。
此外,根据历史答题数据并不能完全决定当前题目数据的可靠性。例如记忆因素也会对题目的相似度造成影响,例如,学生已经掌握的知识会随着时间的增加而遗忘,从而会出现明明是已经做过的题目,还是会做错的情况。本实施例中,依据艾宾浩斯遗忘曲线y=1-0.56x0.06,将答题时间T带入该公式可对应得到一个记忆修正系数t,t的取值范围是[0,1],通过记忆修正系数t可以修正记忆因素对题目的相似度造成的影响。
具体地,相似记录置信度估计值C4为基础置信度C相似度0与修正后的相似记录的置信度r*t*C相似度之和,即C4=C相似度0+r*t*C相似度。其中C4>1时,则取1。
S216:计算利用学习画像预测得到的知识点得分率与题目难度系数的比值作为预测得分率。
S217:利用预测得分率构建第二分布函数,第二分布函数服从于期望值为预测得分率,标准差为1的正态分布。
S218:将答题得分率代入第二分布函数计算出对应的学习画像置信度估计值。
其中,如图7所示,学习画像可以映射到一套结构化的知识体系中,该知识体系可以映射到一套可视化图谱中去。与前述题目相似度一样,由于一个题目中可能包括对多个知识点的考察,所以对于单个知识点而言也存在已在历史答题数据中被考察的可能,所以本实施例通过设定一个掌握度系数K对其进行修正。掌握度系数K由答题正确率、答题置信度和学生进度综合得到。
此外,除了知识点是否被考察过会影响学习画像置信度,由于知识点体系存在前驱后继的关系,即对于后一个知识点的掌握必须是在前一个知识点的基础上进行的。例如,只有在掌握了加法运算的基础上,才能进一步掌握四则运算。如果该知识点未被考察过且前驱后继较远,则认为这个知识点是未知的,可以记为未考察状态,且对于该知识点的掌握程度也是未知的,此时该知识点的掌握程度可以记为K未考察。如果该知识点是未被考察过,但是根据已学过的知识可以预测到该知识点,也可以设定对应的掌握度系数K对其进行修正。另外,知识点的重要程度也是影响答题得分的一个因素。例如,一道题目包括有多个小问,每个小问考察的知识点往往不同,且设置的分数也不同。一般地,知识点越重要,设置的分数也就越高。本实施例,设置权重系数W可以根据知识点重要程度和前驱后继程度对学习画像置信度进行修正。其中,权重系数W由知识点重要程度和前驱后继程度的关联度评估值。例如,权重系数W还可以是教研人员根据知识点重要程度和前驱后继程度进行的主观评估值。
在一个应用例中,一个题目中包括了a、b、c三个知识点,其中a知识点为已考察,掌握度系数为Ka,权重为;b知识点为未考察但是可以预测,掌握度系数为Kb,权重为Wb;c知识点为未考察且不能预测,掌握度系数为K未考察,权重为Wc。综合三个知识点的情况,可以预测该学生这个题目的知识点得分概率R知识点取值范围为(0,1]。
由于题目难度系数K难度越大,题目难度越高,得分率就越低,所以本实施例通过难度系数K难度对预测得分率进行修正,以计算出真正的预测得分率R=R知识点/k难度。
答题数据计算得到的每个知识点真正得分率r与预测得分率R知识点之间存在置信度差异,且该差异并不是线性的,根据该差异可以建立一个第二分布函数,第二分布函数以得分率为自变量,置信度为因变量。经过研究发现,第二分布函数服从于期望值为预测得分率,标准差为1的正态分布,即r~N(R,1)。将r带入第二分布函数,可以计算出该题目对应的学习画像置信度估计值。
步骤S22:利用所有置信度估计值评估答题数据的置信度。
其中,可以通过获取途径置信度估计值C1、题目类型置信度估计值C2、答题时间置信度估计值C3、相似记录置信度估计值C4和学习画像置信度估计值C5来评估答题数据的置信度。可选地,答题数据的置信度为所有置信度估计值的指数修正值的加权乘积。
具体地,得到5种置信度估计值C1、C2、C3、C4、C5,需要对该5种置信度估计值进行一个汇总计算,以得到一个总的置信度估计值。其中,由于每种置信度估计值的计算方式不同,得到的置信度估计值曲线也不相同,所以可以加入一个曲线指数n作为修正。可选地,可以为每种置信度估计值分别设置一个权重e,e的取值范围[0,1],具体公式为:C0=(e1*C1 n1)*(e2*C2 n2)*(e3*C3 n3)*(e4*C4 n4)*(e5*C5 n5)。其中,C0为最终的置信度估值,根据系数不断修正后,C0可以达到近似实际值的置信度。
本实施例,通过获取途径置信度估计值题目类型置信度估计值、答题时间置信度估计值、相似记录置信度估计值和学习画像置信度估计值,将每种估计值进行指数修正,将修正后的每种估计值与其权重进行乘积得到一个总置信度估计值,利用总置信度估计值评估答题数据的置信度,以提高答题数据置信度估计值的准确度,其中置信度估计值是综合考虑多种答题参数,从而可以多方面对答题数据的有效性进行评估,增加答题数据评估的准确性。
图8是本申请学习图像构建方法一实施例的流程示意图,图9是本申请学习图像构建方法一实施例的另一流程示意图。如图8所示,本实施例可以包括如下步骤:
步骤S30:获取答题数据,答题数据包括多种答题参数。
步骤S31:利用上述任一实施例中的答题数据评估方法评估答题数据的置信度。
本实施例中,对于步骤S30和S31的描述可以参照本申请答题数据评估方法各实施例以及不冲突的结合的描述,此处不再赘述。
步骤S32:利用答题数据及其置信度构建学习图像。
选择用于建立学生画像的答题数据时可以以置信度作为参考,例如,选择置信度大于一定阈值的答题数据来构建学习图像。
通过本实施例的实施,利用答题数据及其置信度构建学习图像,选择用于建立学生画像的答题数据时可以以置信度作为参考,而不是一刀切的仅使用考试数据或使用全部数据,扩大建立学生画像所用的数据的范围的同时保障一定的可靠性,从而提高学生画像的准确性。之后,可以将该学习画像更新在学习画像置信度估计值计算过程中的学习画像,形成一个闭环,以使得到的学习画像置信度估计值更加准确,从而使得建立的学习画像更加准确。
图10是本申请答题数据评估装置一实施例的结构示意图。该答题数据评估装置100包括处理器101,处理器101用于执行指令以实现上述实施例中任一项的方法。
处理器101还可以称为CPU(Central Processing Unit,中央处理单元)。处理器101还可能是一种集成电路芯片,具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图11是本申请学习图像构建装置一实施例的结构示意图。该学习图像构建装置包括处理器201,处理器201用于执行指令以实现上述实施例中任一项的方法。
处理器201还可以称为CPU(Central Processing Unit,中央处理单元)。处理器201还可能是一种集成电路芯片,具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图12是本申请存储介质一实施例的结构示意图。该存储介质300,存储有指令301,指令301被执行时实现上述任一实施例中的方法。
该存储介质300具体可以为U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质,或者也可以为存储有该程序指令的服务器,该服务器可将存储的程序指令发送给其他设备运行,或者也可以自运行该存储的程序指令。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种答题数据评估方法,其特征在于,包括:
获取答题数据,所述答题数据包括多种答题参数;
利用至少部分所述答题参数计算至少一种置信度估计值;
利用所述置信度估计值评估所述答题数据的置信度;
其中所述置信度估计值包括获取途径置信度估计值、题目类型置信度估计值、答题时间置信度估计值、相似记录置信度估计值和学习画像置信度估计值中的至少一种;
其中,在所述置信度估计值包括相似记录置信度估计值的情况下,所述利用至少部分所述答题参数计算至少一种置信度估计值包括:计算相似记录的得分与当前得分之间的误差;若所述误差在预设范围内,则利用所述相似记录的置信度对基础置信度进行正向修正,得到所述相似记录置信度估计值;若所述误差不在所述预设范围内,则利用所述相似记录的置信度对所述基础置信度进行反向修正,得到所述相似记录置信度估计值;和/或,
在所述置信度估计值包括答题时间置信度估计值的情况下,所述利用至少部分所述答题参数计算至少一种置信度估计值包括:将答题时间代入第一分布函数计算出对应的同水平人数,所述第一分布函数以答题时间为自变量,人数为因变量;计算所述同水平人数与期望人数的比值作为所述答题时间置信度估计值;其中,所述第一分布函数服从于第一正态分布函数,所述第一正态分布函数的期望为基准期望与第一修正系数的乘积,标准差为基准标准差与第二修正系数的乘积。
2.根据权利要求1所述的方法,其特征在于,
所述置信度估计值包括获取途径置信度估计值,所述利用至少部分所述答题参数计算至少一种置信度估计值包括:
基于所述答题数据中的获取途径从预设的第一置信度估计值集合中选出对应的所述获取途径置信度估计值,所述获取途径包括考试、线下答题或线上答题。
3.根据权利要求1所述的方法,其特征在于,
所述置信度估计值包括题目类型置信度估计值,所述利用至少部分所述答题参数计算至少一种置信度估计值包括:
基于所述答题数据中的题目类型从预设的第二置信度估计值集合中选出对应的所述题目类型置信度估计值,所述题目类型包括主观题、填空题、多选题、单选题、判断题中的至少一种。
4.根据权利要求1所述的方法,其特征在于,
在所述置信度估计值包括答题时间置信度估计值的情况下,所述期望人数为将题目的期望答题时间代入所述第一分布函数而得到的。
5.根据权利要求4所述的方法,其特征在于,
所述第一修正系数包括题目复杂度系数、题目难度系数、学生水平系数中的至少一种,所述第二修正系数包括评估难度系数。
6.根据权利要求1所述的方法,其特征在于,
所述置信度估计值包括学习画像置信度估计值,所述利用至少部分所述答题参数计算至少一种置信度估计值包括:
计算利用所述学习画像预测得到的知识点得分率与题目难度系数的比值作为预测得分率;
利用所述预测得分率构建第二分布函数,所述第二分布函数服从于期望值为所述预测得分率,标准差为1的正态分布;
将答题得分率代入所述第二分布函数计算出对应的所述学习画像置信度估计值。
7.根据权利要求1所述的方法,其特征在于,
所述利用所述置信度估计值评估所述答题数据的置信度包括:
计算所有所述置信度估计值的指数修正值的加权乘积作为所述答题数据的置信度。
8.一种学习图像构建方法,其特征在于,包括:
获取答题数据,所述答题数据包括多种答题参数;
利用权利要求1-7任一项所述的方法评估所述答题数据的置信度;
利用所述答题数据及其置信度构建学习图像。
9.一种答题数据评估装置,其特征在于,所述答题数据评估装置包括处理器,
所述处理器用于执行指令以实现如权利要求1-7中任一项所述的方法。
10.一种学习图像构建装置,其特征在于,所述学习图像构建装置包括处理器,
所述处理器用于执行指令以实现如权利要求1-7中任一项所述的方法。
11.一种存储介质,存储有指令,其特征在于,所述指令被执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911412639.XA CN111178770B (zh) | 2019-12-31 | 2019-12-31 | 答题数据评估和学习图像构建方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911412639.XA CN111178770B (zh) | 2019-12-31 | 2019-12-31 | 答题数据评估和学习图像构建方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111178770A CN111178770A (zh) | 2020-05-19 |
CN111178770B true CN111178770B (zh) | 2023-11-10 |
Family
ID=70654329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911412639.XA Active CN111178770B (zh) | 2019-12-31 | 2019-12-31 | 答题数据评估和学习图像构建方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111178770B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117035693B (zh) * | 2023-09-28 | 2024-02-09 | 北京未来基因教育科技有限公司 | 一种课程生成方法、装置 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106781784A (zh) * | 2017-01-04 | 2017-05-31 | 王骁乾 | 一种智能批改系统 |
CN106815746A (zh) * | 2017-01-06 | 2017-06-09 | 中国科学院城市环境研究所 | 一种网络问卷调查可信度评估方法 |
CN107203582A (zh) * | 2017-03-27 | 2017-09-26 | 杭州博世数据网络有限公司 | 一种基于项目反应理论分析结果的智能组题方法 |
CN108229688A (zh) * | 2016-12-22 | 2018-06-29 | 上海谦问万答吧云计算科技有限公司 | 一种基于irt的信息处理方法及装置 |
CN108369669A (zh) * | 2016-01-29 | 2018-08-03 | 微软技术许可有限责任公司 | 机器学习系统中的自动问题评估 |
CN109272789A (zh) * | 2018-10-31 | 2019-01-25 | 安徽网网络科技有限公司 | 基于数据分析的学习效果评估系统及评估方法 |
CN109446483A (zh) * | 2018-09-30 | 2019-03-08 | 大连海事大学 | 一种用于包含主观信息的客观题的机器判卷方法 |
CN109657038A (zh) * | 2018-10-10 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 一种问答对数据的挖掘方法、装置及电子设备 |
CN110147436A (zh) * | 2019-03-18 | 2019-08-20 | 清华大学 | 一种基于教育知识图谱与文本的混合自动问答方法 |
CN110245207A (zh) * | 2019-05-31 | 2019-09-17 | 深圳市轱辘汽车维修技术有限公司 | 一种题库构建方法、题库构建装置及电子设备 |
CN110309310A (zh) * | 2018-02-12 | 2019-10-08 | 清华大学 | 基于置信度的知识表示学习方法 |
CN110363243A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 分类模型的评估方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130252224A1 (en) * | 2012-03-21 | 2013-09-26 | Charles J. Smith | Method and System for Knowledge Assessment And Learning |
US10628749B2 (en) * | 2015-11-17 | 2020-04-21 | International Business Machines Corporation | Automatically assessing question answering system performance across possible confidence values |
-
2019
- 2019-12-31 CN CN201911412639.XA patent/CN111178770B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108369669A (zh) * | 2016-01-29 | 2018-08-03 | 微软技术许可有限责任公司 | 机器学习系统中的自动问题评估 |
CN108229688A (zh) * | 2016-12-22 | 2018-06-29 | 上海谦问万答吧云计算科技有限公司 | 一种基于irt的信息处理方法及装置 |
CN106781784A (zh) * | 2017-01-04 | 2017-05-31 | 王骁乾 | 一种智能批改系统 |
CN106815746A (zh) * | 2017-01-06 | 2017-06-09 | 中国科学院城市环境研究所 | 一种网络问卷调查可信度评估方法 |
CN107203582A (zh) * | 2017-03-27 | 2017-09-26 | 杭州博世数据网络有限公司 | 一种基于项目反应理论分析结果的智能组题方法 |
CN110309310A (zh) * | 2018-02-12 | 2019-10-08 | 清华大学 | 基于置信度的知识表示学习方法 |
CN109446483A (zh) * | 2018-09-30 | 2019-03-08 | 大连海事大学 | 一种用于包含主观信息的客观题的机器判卷方法 |
CN109657038A (zh) * | 2018-10-10 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 一种问答对数据的挖掘方法、装置及电子设备 |
CN109272789A (zh) * | 2018-10-31 | 2019-01-25 | 安徽网网络科技有限公司 | 基于数据分析的学习效果评估系统及评估方法 |
CN110147436A (zh) * | 2019-03-18 | 2019-08-20 | 清华大学 | 一种基于教育知识图谱与文本的混合自动问答方法 |
CN110245207A (zh) * | 2019-05-31 | 2019-09-17 | 深圳市轱辘汽车维修技术有限公司 | 一种题库构建方法、题库构建装置及电子设备 |
CN110363243A (zh) * | 2019-07-12 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 分类模型的评估方法和装置 |
Non-Patent Citations (4)
Title |
---|
Learning Image Components for Object Recognition;Michael W. Spratling;《The Journal of Machine Learning Research》;全文 * |
基于模式学习的形式化答案抽取技术与置信度评价方法;李鹏;乔佩利;王晓龙;王宝勋;;电子学报(第12期);全文 * |
基于用户画像的问答平台答案质量评估;宋澍炜,杨建林;《大学图书情报学刊》;第37卷(第6期);全文 * |
徐宝 ; 王宇廷 ; 马艺光 ; .贝叶斯框架下一组英语测试数据的统计分析.吉林师范大学学报(自然科学版).2017,(01),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111178770A (zh) | 2020-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109903617B (zh) | 个性化练习方法和系统 | |
Brown et al. | Evaluating the quality of higher education instructor-constructed multiple-choice tests: Impact on student grades | |
CN110941723A (zh) | 一种知识图谱的构建方法、系统及存储介质 | |
CN110246072B (zh) | 由机器设备执行的复习方法 | |
Shepherd | Learn to teach, teach to learn: A within-pupil across-subject approach to estimating the impact of teacher subject knowledge on South African grade 6 performance | |
CN112348725A (zh) | 基于大数据的知识点难度定级方法 | |
CN112116506B (zh) | 对知识点掌握程度进行测量的方法 | |
CN114429212A (zh) | 智能学习知识能力跟踪方法、电子设备及存储介质 | |
CN111178770B (zh) | 答题数据评估和学习图像构建方法、装置及存储介质 | |
Musa | Gender, geographic locations, achievement goals and academic performance of secondary school students from Borno State, Nigeria | |
Simsek et al. | The Use of Expert Systems in Individualized Online Exams. | |
Krumm et al. | Defining productive struggle in st math: Implications for developing indicators of learning behaviors and strategies in digital learning environments | |
CN109800880B (zh) | 基于动态学习风格信息的自适应学习特征提取系统及应用 | |
CN112507792A (zh) | 在线视频关键帧定位方法、定位系统、设备及存储介质 | |
CN110826796A (zh) | 成绩预测方法 | |
de Jong et al. | Validation of listening comprehension tests using item response theory | |
CN118171824B (zh) | 一种3d沉浸式互动的ppt教学管理系统及方法 | |
Lato et al. | A Structural Equation Model on Motivation in Language Learning | |
Luo | Academic help seeking, implicit beliefs of ability and achievement of Singapore students | |
Bansilal et al. | Lucky guess? applying rasch measurement theory to grade 5 South African mathematics achievement data | |
RU2649550C2 (ru) | Система критериально-ориентированного тестирования | |
CN110992229A (zh) | 一种基于知识迁移的科学教学效果评价方法 | |
McAlpine | Design requirements of a databank | |
Ockey | Item response theory and many-facet Rasch measurement | |
CN111782815A (zh) | 一种知识测评的方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |