CN103942994A - 一种主观性试题的计算机考核方法 - Google Patents

一种主观性试题的计算机考核方法 Download PDF

Info

Publication number
CN103942994A
CN103942994A CN201410160620.1A CN201410160620A CN103942994A CN 103942994 A CN103942994 A CN 103942994A CN 201410160620 A CN201410160620 A CN 201410160620A CN 103942994 A CN103942994 A CN 103942994A
Authority
CN
China
Prior art keywords
answer
subjectivity
examination
computing machine
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410160620.1A
Other languages
English (en)
Other versions
CN103942994B (zh
Inventor
李金屏
夏英杰
韩延彬
李志明
尹建芹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201410160620.1A priority Critical patent/CN103942994B/zh
Publication of CN103942994A publication Critical patent/CN103942994A/zh
Application granted granted Critical
Publication of CN103942994B publication Critical patent/CN103942994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明的主观性试题的计算机考核方法是利用计算机系统对主观性试题,通过判定考生对于定义等相关知识点的应用次序与相应主观性试题的知识点多种正确应用次序之间的关系,进而判定考生的解题思路并最终实现主观性试题的自动阅卷。本发明的有益效果是:可以在一定程度上实现按照步骤给分的传统主观题阅卷模式,改变或者至少部分改变目前只能由人工批阅主观性试题的现状,有望大幅度减轻人工阅卷的劳动强度,甚至有可能实现即考即阅,从而极大提高阅卷的效率,同时也使得主观性试题的阅卷更加公正和透明,避免主观性试题阅卷过程中的因人而异;同时,该方案成本较低,易于实现。

Description

一种主观性试题的计算机考核方法
技术领域
本发明涉及一种主观性试题的计算机考核方法,属于人工智能技术领域。
背景技术
目前,考试是一种常见的知识水平鉴定方法。人们通过考试来考察知识、考核能力等。考试的题型多种多样,包括选择题、判断题、填空题、问答题、计算题、证明题、设计题等。不同题型可以考察考生不同方面的能力。随着计算机技术的发展,越来越多的考试不再进行纸质考试,而是在计算机系统上进行考试。但是,利用计算机进行考试目前仍然具有一定的局限性,存在着许多问题。
首先,利用计算机系统进行考试,考试工具本身限制了题型的设置。由于计算机主要使用键盘和鼠标进行操作,使得某些题型的解答不太方便,例如画图题,用鼠标画图不太方便,况且有时还需要给出不同类型的图形画法。
其次,计算机阅卷也存在着一定的问题。对于选择题、判断题和多数填空题,由于其答案唯一或范围较小,所以这类题型的计算机阅卷便于实现。但对于计算题、证明题、设计题等主观性题型,由于答案不唯一并且形式灵活多变,给计算机阅卷造成了极大困难。
目前,主观性题型阅卷还处于研究阶段,尚未真正投入到实际应用中。现在的研究主要采用的技术路线是利用自然语言处理技术,通过语言结构及其相似性进行。基于自然语言处理技术的主观题阅卷主要分为五个部分:分句、分词和词性标注、句法分析、关键词提取以及句子的相似度计算。其中分词是在分词工具的基础上使用正向最大匹配算法实现。句法分析使用的是句法分析器实现。而关键词是通过采集过滤句子中虚词的方法来得到。最后,句子的相似度计算主要分为三个步骤:首先是通过分析句法树得到句子的成分信息。然后提取各成分的关键词。根据词语相似度算法计算出句子各成分的关键词的相似度。最后句子相似度就是各成分关键词相似度的平均值。该方法研究的重点是分词与词语相似度计算。但这种方法存在着许多问题,在实现中也存在着非常大的误差。这主要是由于语言词汇和句子的复杂性造成的,而且对于一些数学、物理、逻辑等学科的字母符号不好处理。
可见,主观性试题的计算机自动阅卷存在以下问题:
(1)如何将各种主观性试题的答案有效地用计算机擅长的表示形式表达出来;
(2)如何根据各种主观性试题的答案对考生做出的答案进行评阅。
发明内容
为解决以上技术上的不足,本发明提供了一种设计合理的主观性试题的计算机考核方法,它在有效考核考生能力的同时,提高了计算机阅卷准确性。
本发明是通过以下措施实现的:
本发明的一种主观性试题的计算机考核方法,包括以下步骤:
步骤1,建立设有考生权限和教师权限的计算机考核系统,在教师权限
下,计算机考核系统中建立知识点数据库,将某一课程中所涉及到的所有客观原理性的知识点逐一编号并存储到知识点数据库中;
步骤2,在教师权限下,计算机考核系统中建立命题数据库,将教师针
对步骤1中所述课程编辑出的若干道主观性试题存储到命题数据库中;
步骤3,在教师权限下,计算机考核系统中建立答案数据库,教师给出
每一道主观性试题在求解过程中所要应用的相关客观原理性的知识点及其排列次序,然后结合步骤1中知识点所对应的编号排列出对应的编号次序,并将该编号次序作为关联答案预存到答案数据库; 
步骤4,在考生权限下,计算机考核系统中建立答题界面,答题界面中
显示命题数据库存储的主观性试题,每道主观性试题对应关联有用于输入该主观性试题作答答案的答题对话框,答题界面中还设置可调取知识点数据库中内容的浏览页面,答题对话框中所输入的作答答案仅限于从知识点数据库中选取的相关客观原理性知识点的编号次序;
步骤5,在教师权限下,计算机考核系统中建立阅卷后台,在阅卷后台
对每道主观性试题调取对应关联答案的编号次序,并与考生对该道主观性试题的作答答案的编号次序进行比对,根据匹配度并依照阅卷后台中预设的评分条件指令进行评分,并自动进行分数汇总。
上述步骤5中,如果考生输入的作答答案的编号次序与对应关联答案的编号次序全部不相同,即匹配度为零,则转入人工阅卷步骤。
在步骤4中的答题界面中输入考生包括电子邮箱在内的个人信息,在步骤5中,汇总后的分数通过电子邮箱发送给对应的考生。
在步骤1中所述的客观原理性的知识点包括定义、公式、定理、推论、引理、定律。
上述步骤2中所述主观性试题包括理工科的计算题、证明题和设计题。
 
本发明的有益效果是:本发明可以在一定程度上实现按照步骤给分的传统主观题阅卷模式,改变或者至少部分改变目前只能由人工批阅主观性试题的现状,可大幅度减轻人工阅卷的劳动强度,甚至可以实现即考即阅,从而极大提高阅卷的效率,同时也使得主观性试题的阅卷更加公正和透明,避免主观性试题阅卷过程中的因人而异;同时,对于每一门课程而言,本发明通常只需要对相关知识点进行一次性梳理和编号,并在考试前只需要命题教师组集中研究相关知识点的常规应用次序,就可以大幅度提高后期的阅卷效率,因此成本较低,易于实现。 
具体实施方式
本发明的主观性试题的计算机考核方法核心思想是将评阅主观性试题的求解过程转化为评判求解的思路,即评判相关知识点例如定义、公式、定理、推论、引理、定律等的应用次序。即所利用的基本知识点的应用次序,来判定考生对于主观性试题的理解是否正确。
一般情况下,人类的思维认知具有一定的规律和模式。在思考问题和解决问题的过程中,人们一般是按照相对固定的模式和思路进行,所采用的方法往往集中于常见的几种方法。学习和考试中也是如此。教师在授课过程中通常会按照常规思路介绍解题过程,一般难以把所有求解思路都介绍给学生;考生在考试时通常也会按照常规思路求解试题,即考生在求解主观性试题时,往往是这样一些过程:正向推理、逆向推理、混合推理和双向推理求解思路。其中典型的求解过程是:第一步需要解决哪些子问题,用到哪些知识点,第二步需要解决哪些子问题,又要用到哪些知识点,第三步还需要解决哪些子问题,还需要用到哪些知识点,等等,将这些知识点按照步骤次序串联起来就形成了一种知识点应用次序。一般情况下,主观性试题的常规求解方法是有限的,大多数考生会按照其中一种解法来做。非常规的求解方法少之又少。因此,只要把主观性试题的几种常规求解方法枚举出来,就可以涵盖绝大多数考生的求解方法。为了保证计算机系统对于主观性试题的评阅尽可能科学合理,可以成立命题教师组集体命题并商讨每一道主观性试题的求解方法。
   具体地说本发明包括以下部分和步骤:
命题部分:
步骤1,建立设有考生权限和教师权限的计算机考核系统,在教师权限
下,计算机考核系统中建立知识点数据库,将某一课程中所涉及到的所有客观原理性的知识点逐一编号并存储到知识点数据库中;客观原理性的知识点包括定义、公式、定理、推论、引理、定律等。
步骤2,在教师权限下,计算机考核系统中建立命题数据库,将教师针
对步骤1中所述课程编辑出的若干道主观性试题存储到命题数据库中;主观性试题包括理工科的计算题、证明题和设计题等。
步骤3,在教师权限下,计算机考核系统中建立答案数据库,教师给出
每一道主观性试题在求解过程中所要应用的相关客观原理性的知识点及其排列次序,然后结合步骤1中知识点所对应的编号排列出对应的编号次序,并将该编号次序作为关联答案预存到答案数据库。
求解部分:
步骤4,在考生权限下,计算机考核系统中建立答题界面,答题界面中
显示命题数据库存储的主观性试题,每道主观性试题对应关联有用于输入该主观性试题作答答案的答题对话框,答题界面中还设置可调取知识点数据库中内容的浏览页面,答题对话框中所输入的作答答案仅限于从知识点数据库中选取的相关客观原理性知识点的编号次序。考生打开计算机考核系统的答题界面进行考试,在求解主观性试题时,考生可以浏览该门课程所涉及到的所有相关知识点,然后考生选择认为正确的知识点次序,并将其相应的编号次序作为答案输入计算机系统。
自动阅卷部分:
步骤5,在教师权限下,计算机考核系统中建立阅卷后台,在阅卷后台
对每道主观性试题调取对应关联答案的编号次序,并与考生对该道主观性试题的作答答案的编号次序进行比对,根据匹配度并依照阅卷后台中预设的评分条件指令进行评分,并自动进行分数汇总。步骤5中,如果考生输入的作答答案的编号次序与对应关联答案的编号次序全部不相同,即匹配度为零,则转入人工阅卷步骤。可以在步骤4中的答题界面中输入考生包括电子邮箱在内的个人信息,在步骤5中,汇总后的分数通过电子邮箱发送给对应的考生。
以上所述仅是本专利的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本专利技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本专利的保护范围。

Claims (5)

1.一种主观性试题的计算机考核方法,其特征在于,包括以下步骤:
步骤1,建立设有考生权限和教师权限的计算机考核系统,在教师权限
下,计算机考核系统中建立知识点数据库,将某一课程中所涉及到的所有客观原理性的知识点逐一编号并存储到知识点数据库中;
步骤2,在教师权限下,计算机考核系统中建立命题数据库,将教师针
对步骤1中所述课程编辑出的若干道主观性试题存储到命题数据库中;
步骤3,在教师权限下,计算机考核系统中建立答案数据库,教师给出
每一道主观性试题在求解过程中所要应用的相关客观原理性的知识点及其排列次序,然后结合步骤1中知识点所对应的编号排列出对应的编号次序,并将该编号次序作为关联答案预存到答案数据库; 
步骤4,在考生权限下,计算机考核系统中建立答题界面,答题界面中
显示命题数据库存储的主观性试题,每道主观性试题对应关联有用于输入该主观性试题作答答案的答题对话框,答题界面中还设置可调取知识点数据库中内容的浏览页面,答题对话框中所输入的作答答案仅限于从知识点数据库中选取的相关客观原理性知识点的编号次序;
步骤5,在教师权限下,计算机考核系统中建立阅卷后台,在阅卷后台
对每道主观性试题调取对应关联答案的编号次序,并与考生对该道主观性试题的作答答案的编号次序进行比对,根据匹配度并依照阅卷后台中预设的评分条件指令进行评分,并自动进行分数汇总。
2.根据权利要求1所述主观性试题的计算机考核方法,其特征在于:所述步骤5中,如果考生输入的作答答案的编号次序与对应关联答案的编号次序
全部不相同,即匹配度为零,则转入人工阅卷步骤。
3. 根据权利要求1所述主观性试题的计算机考核方法,其特征在于:在步骤4中的答题界面中输入考生包括电子邮箱在内的个人信息,在步骤5中,汇总后的分数通过电子邮箱发送给对应的考生。
4. 根据权利要求1所述主观性试题的计算机考核方法,其特征在于:在步骤1中所述的客观原理性的知识点包括定义、公式、定理、推论、引理、定律。
5. 根据权利要求1所述主观性试题的计算机考核方法,其特征在于:所述步骤2中所述主观性试题包括理工科的计算题、证明题和设计题。
CN201410160620.1A 2014-04-22 2014-04-22 一种主观性试题的计算机考核方法 Active CN103942994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410160620.1A CN103942994B (zh) 2014-04-22 2014-04-22 一种主观性试题的计算机考核方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410160620.1A CN103942994B (zh) 2014-04-22 2014-04-22 一种主观性试题的计算机考核方法

Publications (2)

Publication Number Publication Date
CN103942994A true CN103942994A (zh) 2014-07-23
CN103942994B CN103942994B (zh) 2015-11-11

Family

ID=51190637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410160620.1A Active CN103942994B (zh) 2014-04-22 2014-04-22 一种主观性试题的计算机考核方法

Country Status (1)

Country Link
CN (1) CN103942994B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504023A (zh) * 2014-12-12 2015-04-08 广西师范大学 一种基于领域本体的高准确率主观题计算机自动阅卷方法
CN104731933A (zh) * 2015-03-31 2015-06-24 翁建广 一种基于编号转换的线下练习线上记录方法及系统
CN104731932A (zh) * 2015-03-31 2015-06-24 翁建广 基于学习记录编号转换的学习方案生成系统和方法
CN104794943A (zh) * 2015-04-15 2015-07-22 翁建广 基于学习记录线上化的集体学习分析和组卷的系统和方法
CN105469662A (zh) * 2016-01-18 2016-04-06 黄道成 教学过程中学生答题信息实时采集、高效智能批改系统及使用方法
CN106021312A (zh) * 2016-05-05 2016-10-12 北京爱提分博乐教育科技有限公司 一种在线组教案的试题排序方法
CN106205251A (zh) * 2016-08-31 2016-12-07 李彦芝 一种作业打分系统
CN106251725A (zh) * 2016-07-21 2016-12-21 北京华云天科技有限公司 试题批改方法和服务器
CN106409041A (zh) * 2016-11-22 2017-02-15 深圳市鹰硕技术有限公司 一种填空题试题的生成和判卷的方法及系统
CN107705231A (zh) * 2017-11-07 2018-02-16 语联网(武汉)信息技术有限公司 一种计算机辅助的阅卷方法、装置及计算机可读存储介质
CN107845047A (zh) * 2017-11-07 2018-03-27 语联网(武汉)信息技术有限公司 一种动态评分系统、方法以及计算机可读存储介质
CN108446277A (zh) * 2018-03-27 2018-08-24 北京大前科技有限责任公司 模拟学习的方法及装置
CN108595427A (zh) * 2018-04-24 2018-09-28 成都海天数联科技有限公司 一种主观题评分方法、装置、可读存储介质以及电子设备
WO2019075819A1 (zh) * 2017-10-20 2019-04-25 深圳市鹰硕技术有限公司 一种判卷方法及判卷系统
CN110322381A (zh) * 2019-07-30 2019-10-11 江西师范大学 一种基于互联网的ps教学方法及系统
CN110705278A (zh) * 2018-07-09 2020-01-17 北大方正集团有限公司 主观题阅卷方法和主观题阅卷装置
CN111047485A (zh) * 2019-12-03 2020-04-21 吉林大学 一种在线的程序设计类题目随机出题考核系统
CN111414217A (zh) * 2020-03-06 2020-07-14 乐乐启航(北京)教育科技有限公司 在线教学信息反馈方法、客户端、电子设备、介质、系统
CN113256252A (zh) * 2021-05-25 2021-08-13 上海金程教育培训有限公司 一种基于b/s架构的考测系统
WO2022257636A1 (zh) * 2021-06-08 2022-12-15 北京字节跳动网络技术有限公司 交互方法及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987889A (zh) * 2006-12-21 2007-06-27 傅洪涛 考试中的主观试题评阅方法
CN101894250A (zh) * 2010-08-05 2010-11-24 北京商纳科技有限公司 一种用光标阅读机统计主观题分数的方法
CN103164994A (zh) * 2013-03-15 2013-06-19 南京信息工程大学 一种运算类习题的批改及反馈方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987889A (zh) * 2006-12-21 2007-06-27 傅洪涛 考试中的主观试题评阅方法
CN101894250A (zh) * 2010-08-05 2010-11-24 北京商纳科技有限公司 一种用光标阅读机统计主观题分数的方法
CN103164994A (zh) * 2013-03-15 2013-06-19 南京信息工程大学 一种运算类习题的批改及反馈方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯光: "基于分词匹配的主观题自动评阅技术研究", 《计算机与现代化》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504023B (zh) * 2014-12-12 2017-08-04 广西师范大学 一种基于领域本体的高准确率主观题计算机自动阅卷方法
CN104504023A (zh) * 2014-12-12 2015-04-08 广西师范大学 一种基于领域本体的高准确率主观题计算机自动阅卷方法
CN104731933A (zh) * 2015-03-31 2015-06-24 翁建广 一种基于编号转换的线下练习线上记录方法及系统
CN104731932A (zh) * 2015-03-31 2015-06-24 翁建广 基于学习记录编号转换的学习方案生成系统和方法
CN104794943A (zh) * 2015-04-15 2015-07-22 翁建广 基于学习记录线上化的集体学习分析和组卷的系统和方法
CN105469662A (zh) * 2016-01-18 2016-04-06 黄道成 教学过程中学生答题信息实时采集、高效智能批改系统及使用方法
CN106021312A (zh) * 2016-05-05 2016-10-12 北京爱提分博乐教育科技有限公司 一种在线组教案的试题排序方法
CN106251725A (zh) * 2016-07-21 2016-12-21 北京华云天科技有限公司 试题批改方法和服务器
CN106205251A (zh) * 2016-08-31 2016-12-07 李彦芝 一种作业打分系统
CN106409041A (zh) * 2016-11-22 2017-02-15 深圳市鹰硕技术有限公司 一种填空题试题的生成和判卷的方法及系统
CN109697274B (zh) * 2017-10-20 2020-10-02 深圳市鹰硕技术有限公司 一种判卷方法及判卷系统
WO2019075819A1 (zh) * 2017-10-20 2019-04-25 深圳市鹰硕技术有限公司 一种判卷方法及判卷系统
CN109697274A (zh) * 2017-10-20 2019-04-30 深圳市鹰硕技术有限公司 一种判卷方法及判卷系统
CN107705231A (zh) * 2017-11-07 2018-02-16 语联网(武汉)信息技术有限公司 一种计算机辅助的阅卷方法、装置及计算机可读存储介质
CN107845047A (zh) * 2017-11-07 2018-03-27 语联网(武汉)信息技术有限公司 一种动态评分系统、方法以及计算机可读存储介质
CN107705231B (zh) * 2017-11-07 2021-08-20 语联网(武汉)信息技术有限公司 一种计算机辅助的阅卷方法、装置及计算机可读存储介质
CN108446277A (zh) * 2018-03-27 2018-08-24 北京大前科技有限责任公司 模拟学习的方法及装置
CN108446277B (zh) * 2018-03-27 2021-08-17 北京大前科技有限责任公司 模拟学习的方法及装置
CN108595427B (zh) * 2018-04-24 2021-06-08 成都海天数联科技有限公司 一种主观题评分方法、装置、可读存储介质以及电子设备
CN108595427A (zh) * 2018-04-24 2018-09-28 成都海天数联科技有限公司 一种主观题评分方法、装置、可读存储介质以及电子设备
CN110705278A (zh) * 2018-07-09 2020-01-17 北大方正集团有限公司 主观题阅卷方法和主观题阅卷装置
CN110322381A (zh) * 2019-07-30 2019-10-11 江西师范大学 一种基于互联网的ps教学方法及系统
CN111047485A (zh) * 2019-12-03 2020-04-21 吉林大学 一种在线的程序设计类题目随机出题考核系统
CN111414217A (zh) * 2020-03-06 2020-07-14 乐乐启航(北京)教育科技有限公司 在线教学信息反馈方法、客户端、电子设备、介质、系统
CN113256252A (zh) * 2021-05-25 2021-08-13 上海金程教育培训有限公司 一种基于b/s架构的考测系统
WO2022257636A1 (zh) * 2021-06-08 2022-12-15 北京字节跳动网络技术有限公司 交互方法及终端设备

Also Published As

Publication number Publication date
CN103942994B (zh) 2015-11-11

Similar Documents

Publication Publication Date Title
CN103942994B (zh) 一种主观性试题的计算机考核方法
He et al. Bias and equivalence in cross-cultural research
Huang et al. Syntactic and functional variability of a million code submissions in a machine learning mooc
CN106156335A (zh) 一种教材知识点的挖掘整理方法和系统
CN107544973A (zh) 一种对数据进行处理的方法和装置
CN108090852A (zh) 基础教育中学情数据分析及自适应解决方案生成系统
Beeby et al. Results of the validation of the PACTE translation competence model: Translation problems and translation competence
Andrew The literature review in grounded theory: A response to McCallin (2003)
Young et al. Teaching undergraduate students to draw phylogenetic trees: performance measures and partial successes
Kıran et al. Montessori method in early childhood education: A systematic review
Çakır et al. An evaluation of science process skills of the science teaching majors
Wiza et al. Classification Analysis Using C4. 5 Algorithm To Predict The Level of Graduation of Nurul Falah Pekanbaru High School Students
CN110910693A (zh) 一种医学教育的人工智能辅助集成系统
Christou A critical perspective over whether and how to acknowledge the use of artificial intelligence (AI) in qualitative studies
Ol'ga et al. Legal language as an intellectual and legal communication means
CAVUSOGLU et al. The Metaphors That Candidate Teachers Used for Foreign Language Teacher
Murniasih et al. Errors in representation translation in solving problems related to number sense of pre-service math teachers
Yi et al. Outcome based evaluation of curriculum goals completion for engineering education
Yapalak et al. The Adaptation of “Attitudes toward Research ATR” Scale into Turkish
Buchanan et al. Hypothesize once, plan twice
Pırasa et al. Examination of the studies on metaphors in mathematics and science fields in Turkey between 2005-2017
Chou et al. The implementation of digital creative teaching in design
Olaleye et al. Exploring bibliometric perspectives on data culture in scholarly discourse
Uzun et al. Content Analysis of Qualitative Studies on Irrational Numbers in Turkey: A Meta-Synthesis Study
Roeper et al. A new approach to analyzing the development of domain-specific knowledge among undergraduate medical students using learning scores

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant