CN110599839A - 一种基于智能组卷和文本分析评阅的在线考试方法和系统 - Google Patents

Abstract

本发明公开了一种基于智能组卷和文本分析评阅的在线考试方法和系统，包括智能组卷模块，该模块基于最优子题库的遗传组卷策略，在传统遗传算法上对输入试题库，自适应函数进行改进，在一定程度上提高了智能组卷的收敛速度，保证了组卷工作的质量和效率，该模块还包括组卷模板管理、试卷维护、题库管理、考试活动管理等若干子功能。在线考试模块，用于调用试卷，接受用户输入并实时存储答题数据，保证每一个考生具有安全、便捷、公平公正的考试环境。试卷评阅模块，提供了包括客观题和主观题在内的全功能试卷评阅，提出了基于文本分析评阅策略，提高了评阅工作的准确度和评阅效率。本发明提供的在线考试方法和系统，组卷高效合理，考试形式灵活，评阅准确科学，覆盖了组卷、考试、评阅工作的全过程，显著节约了考试成本。

Description

一种基于智能组卷和文本分析评阅的在线考试方法和系统

技术领域

本发明涉及一种考试系统，具体设计基于智能组卷和文本分析评阅的在线考试系统。

背景技术

随着信息技术的发展，互联网应用已经深入社会多个领域。近年来，在教育领域，在线考试系统已经渐渐成为能力评估、职位晋升、学历提升等考试行为的主流方式。比如，国家的一些技能认证考试、企业的招聘笔试、部分行业的专业能力考试等都是以在线考试的形式进行的。在线考试系统充分发挥了互联网的优势，使得考试可以摆脱时间、地域等因素的限制，从而为考生提供了更加便捷的考试途径，提高了考试管理者的工作效率。目前，在线考试系统已经日渐成熟，但是它还没有完全解决由人工组卷、人工评阅所产生的试卷质量参次不齐、评阅标准不规范、耗费大量人力物力等问题。针对上述问题，本发明提出了一种基于智能组卷和文本分析评阅的在线考试方法，该方法在传统在线考试系统的基础上，兼顾考试、组卷和评阅工作，提出并运用性能优良的智能组卷算法和评阅算法，开发了一个覆盖组卷、考试、阅卷全过程的在线考试系统。

组卷是在线学习的首要步骤，也是实现在线考试的基础工作，通过设置一些条件参数，系统根据这些参数自动抽取满足条件的试题，组成高质量的试卷。设置条件参数以及组卷规则的方法，我们称之为组卷策略。常见的组卷策略有：

随机抽取算法，根据状态空间的特征约束指标，从试题库中随机抽取一道试题加入到试卷之中，重复这个选取过程直到组成整张试卷。一些研究者在此基础上利用概率模型和搜索理论，提出了一种新的启发式搜索算法来协助随机抽取组卷过程。这些随机抽取算法往往只关注试题本身，对于试卷的整体质量难以把控，所以导致组卷质量、效率不高。

回溯试探算法，是在随机抽取算法上进行的扩展，它将随机选取算法每次选取试题阶段的状态类型记录下来，当搜索失败的时候去查看上一阶段的状态类型，然后按照一定规律重新进行试探搜索，通过不断的回溯试探直到组成整个试卷。回溯试探算法相对于随机抽取算法，组卷性能有了很大的提升，但是这种算法需要占用大量的内存空间，而且选取试题的过程很难保证一定是收敛的，组卷耗费时间过长。

基于遗传算法的组卷策略，与上述两种组卷策略不同，在组卷过程中，它更专注于试卷本身，将试题库看作遗传学中的基因库，试卷看成染色体，通过遗传学的遗传、交叉变异过程得到一定数量满足要求的试卷，最后按照一定的规则特征设置试卷质量评估函数，从中选取出高质量的试卷。尽管采用遗传算法的组卷策略在组卷质量和组卷效率上有很出色的表现，但是在采用遗传算法的组卷系统中，容易陷入局部最优过程中，难以得到全局最优解，与此同时，面对庞大的数据量的时候，遗传算法组卷的效率就变得很低了。

试卷评阅是在线考试过程中的收尾工作，对考生作答情况进行标准一致的正确评价是试卷评阅工作的基本目标。近年来，由于考试种类繁多、设计专业复杂、题目类型多样、答案分析技术匮乏等原因的限制，绝大多数的在线考试系统，都只对客观题进行机器评阅，主观题部分主要采用人工评阅的方式进行。尽管一些学者从文本相似度角度对主观题评阅进行了研究，然而依然很难保证主观题评阅的质量。因此，目前在线考试的试卷评阅工作依然存在着评阅标准不一、质量难以保证、费时费力等问题。

综上所述，利用性能优良的组卷策略结合高效准确的评阅方法来实现覆盖智能组卷、在线考试、机器评阅整个过程的在线学习方法和系统是非常有必要的。

发明内容

鉴于现有的自动组卷策略、在线评阅方法，以及在线考试方法和系统中存在的问题。本发明提出了基于最优子题库的遗传组卷策略和基于语义分析的主观题评分策略，并在此基础上提出了一种基于智能组卷和语义评阅的在线考试方法，同时在现有考试系统的基础上，实现了覆盖组卷、考试、评阅全过程的在线考试系统。该在线考试方法内容和步骤如下：

步骤一：题库管理人员向题库中添加题目，并对题库进行维护，更新和删除试题。

步骤二：考试组织者制定组卷方案，设定题目总分值，题目类型，分值分布，知识点分布等特征，将预设条件输入到在线考试系统中。

步骤三：系统根据预设条件，在预设约束条件下，从试题库中抽取部分高质量且符合要求的试题作为智能组卷的备选题库。首先从试题特征出发，在满足试卷的特征约束条件下，通过EM算法选取出质量高的题目放到备选题库中，这个备选题剔除了绝大多数质量低或不满足试卷约束条件的题目，在这里称之为最优子题库。

步骤四：系统使用基于改进遗传算法的组卷策略从备选题库中抽取试题组成试卷。从试卷整体特征出发，在预设条件约束下，按照一定规则设计满足要求的自适应函数，然后进行遗传算法的遗传、交叉、变异迭代过程直到产生满足约束的高质量试卷。

步骤五：考试组织者，在系统中新增考试活动，设置活动安排，设置考试时间、考试场次、参与考生等信息。

步骤六：考生在规定考试时间登录在线考试系统，进行在线考试活动。并在指定时间内提交考卷。

步骤七：系统根据试题库中存储的试题答案信息对考卷的客观题部分进行自动评分。对于主观题的评语，使用基于知网的分词方法对主观题标准答案进行分词，提取得分点，然后对考生答案进行分词提取得分点，使用word2vec工具将标准答案和考生答案分别转换成两个表示语义的矢量，对两个矢量求距离，然后根据一定的得分规则，对考生答案进行分数评定。

步骤八：系统将评分结果呈递给试卷评阅人员做最后的评分审核，试卷评阅者主要对主观题评阅结果进行审核，若发现题库答案存在问题可以对试题答案进行更新维护，若对自动评阅结果不满意，可以重新进行分数评定，并以评阅记录的形式存储在系统中，最后所有试题评阅审核结束，提交最终试卷成绩。

附图说明

为了更好的理解本发明的技术流程和相关解决方案，下面对在线考试系统的实施步骤和相关方案结合图例来辅助说明。下面描述的附图仅用于解释本申请，并不构成对本申请的不当限定。

图1——基于智能组卷和文本分析评阅的在线考试系统结构框图；

图2——本发明智能组卷模块的组卷策略流程图；

图3——本发明基于文本分析评阅方案的流程图；

具体实施方式

为了更加详细的介绍本发明所采用的技术方案以及具体流程，下面结合本发明实施例中的附图，进行清晰完整地描述。

区别于传统的在线考试系统，本发明更加关注的是覆盖组卷、考试、评阅全过程的自动化、智能化程度。

图1所示为基于智能组卷和文本分析评阅的在线考试系统的结构图。

下面结合图1对整个系统的具体实施方式进行详细介绍：

步骤一：系统的管理人员在考试管理端进行一些试题的维护和更新。为了保证题库的题目数量以及题库试题的质量，本发明支持的题库更新方式包括：

系统管理人员手动输入试题及相关信息到系统中。

批量导入符合格式要求的word或者pdf版试卷试题。具体的符合格式要求包括试卷名称标识，题目序号标识，备用选项标识，试题答案标识等。对于不符合格式要求的试卷，本发明提供试卷扫描，格式调整，通过对试卷题目格式进行手动匹配从而实现试题的导入。

本发明还提供了一个爬虫工具，通过爬取百度问答，百度文库的试题内容，从而批量的从网络上获取最新的试题。

步骤二：系统的管理人员根据考试需要设计考卷的特征，这些特征被看作组卷的约束。具体而言，试卷的约束特征包括：试卷的类型、考试的总分值、考试题目类型以及各分值、试卷的区分度、试题难度、知识点覆盖率。将这些预设约束输入到系统中，系统就会生成一个考卷模板，系统管理员可以对考卷模板进行维护，需要生成试卷的时候，既可以新建考卷模板来自动组卷，也可以利用已经建好的考卷模板来重新组卷。

图2所示为智能组卷模块的组卷工作流程图。下面结合图2对智能组卷工作过程（步骤三和步骤四）进行详细介绍

步骤三：从题库中抽取试题组成最优子题库，如图2中所示，具体实施流程包括：

按照组卷模板中设置的约束条件筛选出所有符合约束条件的试题，其中约束条件主要包括试题类型（比如，选择题、填空题和判断题等）、所属科目、所考察知识点等，经过这一阶段，可以基本上剔除所有超纲试题。

根据组卷模板设置的试题区分度、试题难度、试题分值、试题预估时长（这一属性特征代表所有做过该题的考试所用时间的均值）构建试题质量评估函数：

其中分别表示试题区分度（d），试题难度(h)，试题分值(s)，试题预估时长(t)四个特征在质量评估函数中所占的权重，其中表示该类题目在组卷模板中每个题目的分数，表示组卷模板中中设置的试题预估时长。通过对计算出的试题质量进行排序，将大于质量阈值的试题加入到最优子题库中。这样就使得最优子题库中的试题是满足约束条件且质量高的。

步骤四：基于改进遗传算法从最优子题库中抽取试题组成试卷，区别于传统的自动组卷算法，本发明所采用智能组卷策略是从最优子题库中抽取试题，可以在很大程度上避免低质量的试题。具体实施流程包括首先对最优子题库中的试题进行编码，将试题看做基因，试卷看作染色体，然后随机组合基因，生成1000条染色体，也就是随机从最优子题库中抽取试题组成1000张试卷。

综合试卷的多个特征纬度建立试卷的自适应函数其中，表示组卷模板的区分度，Di表示试卷i的区分度，表示组卷模板的难度，Hi表示试卷i的总体难度，表示组卷模板的知识覆盖范围，Ci表示试卷的知识覆盖范围，Ci/C表示试卷i的知识点覆盖率，表示组卷模板预估试卷完成时间，Ti表示试卷i所有试题预估完成时间，（k=1,2,3,4）分别表示各个属性特征在自适应函数中的权重，N表示试题难度分布概率，当试题难度呈现正太分布时该值为1。计算每张试卷的自适应值，将自适应值大于预设阈值的染色体（试卷）进行遗传。

对于剩余的染色体（试卷），进行多点交叉，然后按照0.05的概率进行变异，对得到的染色体（试卷）重新计算自适应值，如果还是未满足阈值重新进行交叉变异过程直到得到1000张自适应值大于阈值的试卷或者迭代次数大于最大迭代次数。

对所得到的试卷按照自适应值从大到小进行排序，从而得到优质的试卷。

步骤五：考试组织者安排考试活动，设置考试场次、考试时间、考试试题、考生人数等信息，设置完毕系统将所有考试信息记录在考试活动中，在考试活动开始之前，都是可以由管理员对考试试题、考试活动的基本信息进行更改的。

步骤六：考生在开始进行考试之前登录在线考试系统，等待进入考试，当考试开始，考生进入系统作答，到考试结束时间，如果有人未提交考卷，系统自动提交考卷，并存在数据库中。

图3所示为试题审阅的流程。

步骤七：试卷审阅人员登录审阅系统，系统自动为审阅人员分配试卷。审阅人员开始阅卷时，系统自动对客观题进行评分，然后交由审阅人员审核，对于主观题的阅卷，审阅人员可以手工阅卷也可以机器阅卷，如果选择机器阅卷。系统使用知网作为分词词库对标准答案和考生答案进行分词提取知识点，然后使用word2vec工具将两个答案的每个得分项表示成文本矢量，然后计算得分项矢量之间的距离，设置距离阈值，将所有小于阈值的得分项列出，计算总得分。最后由审阅人员对最终得分进行审核，如果审核不通过，需要去判断是否是标准答案有问题，如果有问题则对标准答案进行维护，如果审核通过，则将总成绩记录在数据库中。

本发明的实施具有以下实际效益：

本发明通过增加在线考试系统的智能组卷和基于文本分析的评阅两个功能模块，完善了在线考试系统的相关功能。通过提出基于最优子库的遗传组卷策略和基于文本分析的评阅策略，提高了在线考试系统组卷和评阅工作的质量和效率。

本发明基于数字化题库智能组卷，能够在一定程度上保护试题、试卷的安全，保证考试工作的公正、合理。

本发明降低了相关领域考试活动的人力物力消耗，节约了资源，减少了考试活动成本。

Claims (10)

1.一种基于智能组卷和文本分析评阅的在线考试方法和系统，其特征在于，包括：题库管理模块，该模块主要用于题库的管理维护工作，整个题库按照科目、题型进行分类，本发明提供了四种新增试题的方式，手工输入、word格式试卷批量输入、扫描纸质试卷输入、以及爬虫爬取百度知道，百度文库获取试题；组卷模块，本发明提出了一种基于最优子题库的遗传组卷策略，用于过滤低质量试题，提高智能组卷的成功率和组卷效率；除此之外，该模块还提供试卷管理，组卷模板制定，考试活动管理等功能；在线考试模块，用于调用所考试卷，接收考生输入并实时存储答题数据；评阅模块，用于批阅试卷，并审核机器阅卷结果，并输出成绩；在主观题阅卷方面，本发明提出了一种基于文本分析的评阅策略，提高了评阅工作的准确性和效率。

2.如权利要求1所述的一种基于智能组卷和文本分析评阅的在线考试方法和系统，其特征在于，试题管理模块用于试题的管理和维护，试题按照专业和题型进行划分，题型主要分为客观题和主观题，客观题包括选择题、填空题、判断题，主观题包括简答题、论述题；所述模块还包括四种试题添加方式，手动输入试题，批量导入试题，扫面纸质试卷导入试题，爬虫爬取百度知道、百度文库获取试题。

3.如权利要求1所述的一种基于智能组卷和文本分析评阅的在线考试系统，其特征在于，所述组卷模块包括：设置组卷模板单元，用于设置所要组成试卷的约束条件和特征属性；构建最优子题库单元，构建过程包括，按照约束条件筛选试题，计算所筛选出试题的质量评估值，将试题质量评估值大于阈值的试题加入到最优子题库中。

4.如权利要求3所述系统，其特征在于组成试卷的约束条件包括，试卷所属科目、所考察知识点，试题题型；

试题质量评估函数为：其中分别表示试题区分度（d），试题难度(h)，试题分值(s)，试题预估时长(t)四个特征在质量评估函数中所占的权重，其中表示该类题目在组卷模板中每个题目的分数，表示组卷模板中中设置的试题预估时长。

5.如权利要求1所述的一种基于智能组卷和文本分析评阅的在线考试系统，其特征在于所述在智能组卷模块，通过基于最优子题库的遗传组卷策略，从最优子题库中抽取试题组成试卷。

6.如权利要求5所述的一种基于智能组卷和文本分析评阅的在线考试系统，其特征在于，基于最优子题库的遗传组卷策略具体流程包括：最优子题库试题进行编码，并随机抽取试题，组成1000张试卷；对1000试卷求自适应值，将自适应值大于阈值的试卷进行遗传；对自适应值小于阈值的试卷进行交叉变异操作；直到所有试卷均满足自适应阈值，或者达到最大迭代次数停止上述过程，并对试卷按照自适应值从大到小排序，根据试卷顺序产生组卷结果。

7.如权利要求6所述的一种基于智能组卷和文本分析评阅的在线考试系统，其特征在于，试卷的自适应值函数为其中，表示组卷模板的区分度，Di表示试卷i的区分度，表示组卷模板的难度，Hi表示试卷i的总体难度，表示组卷模板的知识覆盖范围，Ci表示试卷的知识覆盖范围，Ci/C表示试卷i的知识点覆盖率，表示组卷模板预估试卷完成时间，Ti表示试卷i所有试题预估完成时间，（k=1,2,3,4）分别表示各个属性特征在自适应函数中的权重，N表示试题难度分布概率，当试题难度呈现正太分布时该值为1。

8.如权利要求1所述的基于智能组卷和文本分析评阅的在线考试系统，其特征在于在线考试模块实时记录考生的作答情况，并在意外断网的情况下保证作答结果不会丢失，在重新连接网络后接着进行考试。

9.如权利要求1所述的基于智能组卷和文本分析评阅的在线考试系统，其特征在于，试卷评阅包括：客观题评阅，用于自动批阅所述答卷中的客观题（选择题、判断题）；主观题评阅，基于文本分析的客观评阅策略进行主观题评阅；答案维护，用于审阅人员对标准答案有异议的情况下，对标准答案进行修改；人工审核，用于审阅人员对自动阅卷结果进行审核；试卷复议：用于复议人员随机抽取已阅试卷，进行试卷复议工作。

10.如权利要求9所述的基于智能组卷和文本分析评阅的在线考试系统，其特征在于，基于文本分析的客观评阅策略主要包括：使用知网作为分词词库，jieba分词工具对标准答案和考生答案进行分词；使用频繁子图挖掘算法对答案中的得分点关键词进行抽取；使用word2vec对两种答案的每个得分项进行矢量化处理；计算两种答案相似得分项矢量之间的距离，将大于阈值的得分项赋予一定分数；计算考生答案所有得分项的得分总和，为考生本题所得分数。