CN114580375A - 一种分布式在线比赛主观题阅卷及评分方法与系统 - Google Patents

Abstract

本发明公开了一种分布式在线比赛主观题阅卷及评分方法与系统，本发明首先将参赛者答题信息保存到分布式答题任务队列，同时保存根据比赛信息、参赛者信息、题目信息生成的唯一的资源标识；然后从答题任务队列中获取队列消息并保存到数据库中；在阅卷者界面采取固定题目切换参赛者的方式，使阅卷者能够对不同参赛者的同一道题进行评分；在阅卷者完成一道答题信息的评分时，将阅卷者的评分结果保存到分布式评分任务队列；再从评分任务队列中获取队列消息并保存到数据库中；最后在比赛完成后，核算同一道题的所有评分结果并得出最终分数并存储。本发明能够减少阅卷成本和错误率，支持答题和阅卷同时进行，减少阅卷耗时。

Description

一种分布式在线比赛主观题阅卷及评分方法与系统

技术领域

本发明涉及一种分布式在线比赛主观题快速阅卷及评分方法与系统，属于计算机软件领域。

背景技术

近年来，随着5G、大数据、人工智能、车联网、工业互联网、物联网等新技术新业务新模式快速发展，网络安全、数据安全等技术、产品和服务蓬勃发展。培养一批网络安全行业人才成为了当务之急，无论是企业还是学校，培养网络安全人才都需要进行理论学习。随着网络安全人才的日益增多，网络安全比赛也越来越受大家的关注与参与，理论比赛是其中重要的一种比赛形式。

理论比赛结束后需要对参赛者的答题进行阅卷和评分，对于专业性比较强的比赛来说，像填空题、简答题等主观题的阅卷对阅卷者要求较高。普通的阅卷程序需要阅卷者对试卷所有主观题了解才能进行阅卷，对阅卷者的专业性要求较高。较高的阅卷门槛导致较高阅卷成本，对比赛承办方也提出了较高的要求。并且，普通的阅卷程序需要参赛者交卷后才能进行阅卷评分，阅卷程序耗费的时间长，对于大型比赛，参赛人员较多的情况下更是如此，如何快速的得出比赛成绩对于比赛承办方来说是一个严峻的考验。此外，普通阅卷程序不能有效的识别评分错误的情况，完全依靠人工会导致打分错误的概率较大。并且很难对错误评分的试卷进行有效筛别，也很难对阅卷的准确率进行统计，无法对阅卷的准确率进行优化提升。

发明内容

发明目的：针对上述现有技术存在的问题，本发明目的在于提供一种分布式在线比赛主观题快速阅卷及评分方法与系统，完善主观题的阅卷机制，减少阅卷成本和错误率，支持答题和阅卷同时进行，减少阅卷耗时。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

一种分布式在线比赛主观题阅卷及评分方法，包括如下步骤：

在参赛者完成一道主观题答题时，将参赛者答题信息保存到分布式答题任务队列，答题信息包括比赛信息、参赛者信息、题目信息和参赛者答案，同时保存根据比赛信息、参赛者信息、题目信息生成的唯一的资源标识；同一个资源标识在答题任务队列中只保留最新的答题信息；

从答题任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的答题信息；

在阅卷者评分时，采取固定题目切换参赛者的方式，使阅卷者能够对不同参赛者的同一道题进行评分；在阅卷者的界面显示题目答案的关键字、参赛者答案和推荐分数；

在阅卷者完成一道答题信息的评分时，将阅卷者的评分结果保存到分布式评分任务队列，评分结果包括比赛信息、参赛者信息、题目信息、参赛者答案、阅卷者信息、评分信息、资源标识和提交评分结果时的时间戳；同一个资源标识在评分任务队列中只保留最新的评分结果；

从评分任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的评分结果；

在比赛完成后，核算同一道题的所有评分结果得出最终分数并存储。

作为优选，在阅卷者的界面显示参赛者答案时，若包含关键字，将参赛者答案中的关键字标亮。

作为优选，所述推荐分数根据如下方法确定：将标准答案的各得分点对应一个权重值，将参赛者答案与得分点中的关键字进行匹配，在参赛者答案与得分点中的任一关键字匹配成功时，认为命中得分点，最后根据命中的所有得分点的权重值计算得到参赛者答案的推荐分数。

作为优选，在阅卷者给的分数与推荐分数的偏差大于设置的阈值时，弹出提示告警，提醒阅卷者审查评分的正确性。

作为优选，对于阅卷者最终给出的与推荐分数的偏差大于设置的阈值的评分进行标记。

作为优选，提供阅卷者通过界面添加得分点对应的关键字的接口，在审核通过后添加的关键字生效。

作为优选，取所有阅卷者对同一答题信息的评分的均值作为最终分数，计算最终分数与推荐分数的偏离率。

基于相同的发明构思，本发明提供一种分布式在线比赛主观题阅卷及评分系统，包括：

答题管理模块，用于在参赛者完成一道主观题答题时，将参赛者答题信息保存到分布式答题任务队列，答题信息包括比赛信息、参赛者信息、题目信息、参赛者答案，同时保存根据比赛信息、参赛者信息、题目信息生成的唯一的资源标识；同一个资源标识在答题任务队列中只保留最新的答题信息；

答题信息存储模块，用于从答题任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的答题信息；

阅卷交互模块，用于在阅卷者评分时，采取固定题目切换参赛者的方式，使阅卷者能够对不同参赛者的同一道题进行评分；在阅卷者的界面显示题目答案的关键字、参赛者答案和推荐分数；

评分管理模块，用于在阅卷者完成一道答题信息的评分时，将阅卷者的评分结果保存到分布式评分任务队列，评分结果包括比赛信息、参赛者信息、题目信息、参赛者答案、阅卷者信息、评分信息、资源标识和提交评分结果时的时间戳；同一个资源标识在评分任务队列中只保留最新的评分结果；

评分结果保存模块，用于从评分任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的评分结果；

以及，评分核算模块，用于在比赛完成后，核算同一道题的所有评分结果得出最终分数并存储。

基于相同的发明构思，本发明提供一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的一种分布式在线比赛主观题阅卷及评分方法的步骤。

基于相同的发明构思，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种分布式在线比赛主观题阅卷及评分方法的步骤。

有益效果：与现有技术相比，本发明具有如下优点：1、本发明通过答题任务队列和评分任务队列分别暂存参赛者的答题信息和阅卷者的评分结果，并通过唯一的资源标识来标记有效的答题信息，能够支持答题和阅卷同时进行，在比赛完成后的很短时间内即可出比赛成绩。2、本发明采取固定题目，切换参赛者的方式，使阅卷者可快速对所有考卷的同一道题进行打分，使阅卷者只熟悉一道题的情况下就能进行阅卷。有效降低了阅卷门槛，增加了阅卷速度。3、本发明采用分布式队列技术，可以支持任意数量阅卷者、任意数量的参赛者，同时进行阅卷和答题的操作，能够有效支撑大型比赛和多场次比赛的阅卷并行进行。4、本发明在阅卷者的界面自动标亮参赛者答案中的关键字，并提供推荐分数，能够辅助阅卷者快速对比答案，提高判分速度和精准度。5、本发明能够自动计算推荐分数，并对评分与推荐分数偏差过大的情况给出告警，能够减少阅卷错误。6、本发明能够基于最终每道题的实际评分与推荐分数，对答案关键字及关键字权重进行优化，减少阅卷实际评分与推荐分数的偏离率，从而进一步提高阅卷效率和准确度。

附图说明

图1为本发明实施例的总体流程示意图。

图2为本发明实施例中阅卷者的界面设计示意图。

图3为本发明实施例中参赛者答案显示及推荐分数计算流程示意图。

具体实施方式

下面将结合附图和具体实施例，对本发明的技术方案进行清楚、完整的描述。

如图1所示，本发明实施例公开的一种分布式在线比赛主观题阅卷及评分方法，主要如下步骤：

步骤1、在参赛者完成一道主观题答题时，获取参赛者答题信息并保存到分布式答题任务队列。推送到答题任务队列中的答题信息主要包括比赛信息、参赛者信息、某道题目信息和该题目的参赛者答案。考虑到参赛者随时可能修改答案，根据比赛信息、参赛者信息、题目信息生成的唯一的资源标识（以下简称资源ID）并保存，同场比赛、同一参赛者多次修改同一道题目的答案，产生的队列消息的资源ID是同一个，在进入任务队列时，都会对队列消息的资源ID进行唯一性判断，从而当参赛者修改答案重新提交时，让新的答案的队列消息把旧答案的队列消息替换掉，同一个资源ID在答题任务队列中只保留最新的答题信息。多场比赛同时进行时，参赛者已答的主观题会根据不同的比赛场次推入到相应的答题任务队列 ，一个队列存放某场比赛所有的参赛者答案。

步骤2、答题任务队列的消费端持续从答题任务队列中获取队列消息并保存到数据库中。在保存数据时，根据资源ID查找并删除由于参赛者修改答案需要废弃的答题信息。

步骤3、在阅卷者进行评分时，采取固定题目切换参赛者的方式，使阅卷者能够对不同参赛者的同一道题进行评分。阅卷者通过自己系统账号登录系统后，在阅卷界面左侧主观题列表选择自己分配到的某个主观题题号，系统会从数据库中获取该题目的某个参赛者答案。对该题做出评分之后，阅卷者点击下一个参赛者，评分生效，继续对下一个参赛者同一题目进行评分，系统再次从数据库中获取某个参赛者答案（可按照参赛者编号、答题时间等信息调度），重复上述过程。这种方式可以使阅卷者只熟悉一道题的情况下就能进行阅卷。降低阅卷门槛，增加阅卷的速度。界面设计可参考图2。

为了进一步提高阅卷效率，在阅卷者的界面同时显示题目答案的关键字、参赛者答案和推荐分数。当参赛者答案包含关键字的时候，参赛者答案中的关键字会被标亮显示，辅助阅卷者快速对比答案，起到辅助判分的作用。将标准答案的各得分点对应一个权重值，将参赛者答案与得分点中的关键字进行匹配，在参赛者答案与得分点中的任一关键字匹配成功时，认为命中得分点，最后根据命中的所有得分点的权重值计算得到参赛者答案的推荐分数。将系统计算出的分数显示在推荐分数字段，帮助阅卷者进行快速打分，提高判分速度并提高判分精准度。

辅助快速阅卷的总体过程见图3，包括：

a. 将每个标准答案关键字转成正则表达式与答案进行匹配。

b. 答案根据匹配情况拆分多个字符块。例如“其他文字关键字其他文字”被解析拆解成“其他文字”+“关键字”+“其他文字”+“关键字”...的形式的多个字符块。

c. 拆解出的字符块在页面中被<span>标签包裹，其中的关键字添加高亮样式，在页面中高亮显示。

d. 一个得分点中可能有多个相似的关键字，匹配到其中一个就认为命中得分点，参赛者答案命中的各得分点的权重值相加得到命中权重。各得分点的权重在0到1之间，所有得分点权重值之和为1。

e. 命中权重再乘以该题目的总分，即得到该题目的推荐分数。

此外，还可以设置一个快速阅卷的告警阈值，当阅卷者给的评分与推荐分数的偏差大于设置的阈值时，会给阅卷者弹出提示告警，该题的标号也会标红显示，提醒阅卷者审查评分的正确性。起到提高判分精准度，减少错误判分的概率。并且系统可以获取到告警的题目信息，方便后续进行题目的审查。阅卷时对于答案中未高亮显示的关键词句，阅卷者也可以将该词句添加到的得分点对应的关键字库中，审核后可以在这次阅卷中实时生效，提高系统的准确度。

步骤4、在阅卷者完成一道答题信息的评分时，系统就会产生一个评分结果，将该评分结果作为一个队列消息保存到分布式评分任务队列。评分结果主要包括比赛信息、参赛者信息、题目信息、参赛者答案、阅卷者信息、评分信息、资源ID和提交评分结果时的时间戳。同一个资源ID在评分任务队列中只保留最新的评分结果。

步骤5、评分任务队列的消费端有空余计算线程时，从评分任务队列中获取队列消息并保存到数据库中。在存储时，根据资源ID和时间戳对数据库中保存的数据进行校验，删除数据库中旧的需要废弃的评分，即删除同一资源ID，但是时间戳早于当前评分结果时间戳的数据。

步骤6、在比赛完成后，核算同一道题的所有评分结果得出最终分数并存储。这里可取所有阅卷者对同一答题信息的评分的均值作为最终分数。

消息队列可采用RabbitMQ、Redis等，采用分布式高并发的设计。可以支持任意数量阅卷者，任意数量的参赛者，同时进行阅卷和答题的操作，并且可以扩展来应对任意多数量题目和并行的多场比赛。

当所有阅卷工作完成后，系统可以获取到每道题的最终分数与推荐分数的偏离率（差值/最终分数）。方便后续比赛承办方和出题方对答案，对答案关键字及权重值进行优化，减少阅卷实际评分与推荐分数的偏离率，从而进一步提高阅卷效率和准确度。

基于相同的发明构思，本发明实施例提供一种分布式在线比赛主观题阅卷及评分系统，包括：答题管理模块，用于在参赛者完成一道主观题答题时，将参赛者答题信息保存到分布式答题任务队列，答题信息包括比赛信息、参赛者信息、题目信息、参赛者答案，同时保存根据比赛信息、参赛者信息、题目信息生成的唯一的资源标识；同一个资源标识在答题任务队列中只保留最新的答题信息；答题信息存储模块，用于从答题任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的答题信息；阅卷交互模块，用于在阅卷者评分时，采取固定题目切换参赛者的方式，使阅卷者能够对不同参赛者的同一道题进行评分；在阅卷者的界面显示题目答案的关键字、参赛者答案和推荐分数；评分管理模块，用于在阅卷者完成一道答题信息的评分时，将阅卷者的评分结果保存到分布式评分任务队列，评分结果包括比赛信息、参赛者信息、题目信息、参赛者答案、阅卷者信息、评分信息、资源标识和提交评分结果时的时间戳；同一个资源标识在评分任务队列中只保留最新的评分结果；评分结果保存模块，用于从评分任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的评分结果；以及，评分核算模块，用于在比赛完成后，核算同一道题的所有评分结果得出最终分数并存储。

上述描述的各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所述模块的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统。

基于相同的发明构思，本发明实施例提供了一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的一种分布式在线比赛主观题阅卷及评分方法的步骤。

基于相同的发明构思，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种分布式在线比赛主观题阅卷及评分方法的步骤。

本领域技术人员可以理解的是，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。存储介质包括：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储计算机程序的介质。

Claims (10)

1.一种分布式在线比赛主观题阅卷及评分方法，其特征在于，包括如下步骤：

在参赛者完成一道主观题答题时，将参赛者答题信息保存到分布式答题任务队列，答题信息包括比赛信息、参赛者信息、题目信息和参赛者答案，同时保存根据比赛信息、参赛者信息、题目信息生成的唯一的资源标识；同一个资源标识在答题任务队列中只保留最新的答题信息；

从答题任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的答题信息；

在阅卷者评分时，采取固定题目切换参赛者的方式，使阅卷者能够对不同参赛者的同一道题进行评分；在阅卷者的界面显示题目答案的关键字、参赛者答案和推荐分数；

在阅卷者完成一道答题信息的评分时，将阅卷者的评分结果保存到分布式评分任务队列，评分结果包括比赛信息、参赛者信息、题目信息、参赛者答案、阅卷者信息、评分信息、资源标识和提交评分结果时的时间戳；同一个资源标识在评分任务队列中只保留最新的评分结果；

从评分任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的评分结果；

在比赛完成后，核算同一道题的所有评分结果得出最终分数并存储。

2.根据权利要求1所述的一种分布式在线比赛主观题阅卷及评分方法，其特征在于，在阅卷者的界面显示参赛者答案时，若包含关键字，将参赛者答案中的关键字标亮。

3.根据权利要求1所述的一种分布式在线比赛主观题阅卷及评分方法，其特征在于，所述推荐分数根据如下方法确定：将标准答案的各得分点对应一个权重值，将参赛者答案与得分点中的关键字进行匹配，在参赛者答案与得分点中的任一关键字匹配成功时，认为命中得分点，最后根据命中的所有得分点的权重值计算得到参赛者答案的推荐分数。

4.根据权利要求1所述的一种分布式在线比赛主观题阅卷及评分方法，其特征在于，在阅卷者给的分数与推荐分数的偏差大于设置的阈值时，弹出提示告警，提醒阅卷者审查评分的正确性。

5.根据权利要求4所述的一种分布式在线比赛主观题阅卷及评分方法，其特征在于，对于阅卷者最终给出的与推荐分数的偏差大于设置的阈值的评分进行标记。

6.根据权利要求1所述的一种分布式在线比赛主观题阅卷及评分方法，其特征在于，提供阅卷者通过界面添加得分点对应的关键字的接口，在审核通过后添加的关键字生效。

7.根据权利要求1所述的一种分布式在线比赛主观题阅卷及评分方法，其特征在于，取所有阅卷者对同一答题信息的评分的均值作为最终分数，计算最终分数与推荐分数的偏离率。

8.一种分布式在线比赛主观题阅卷及评分系统，其特征在于，包括：

答题管理模块，用于在参赛者完成一道主观题答题时，将参赛者答题信息保存到分布式答题任务队列，答题信息包括比赛信息、参赛者信息、题目信息、参赛者答案，同时保存根据比赛信息、参赛者信息、题目信息生成的唯一的资源标识；同一个资源标识在答题任务队列中只保留最新的答题信息；

答题信息存储模块，用于从答题任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的答题信息；

阅卷交互模块，用于在阅卷者评分时，采取固定题目切换参赛者的方式，使阅卷者能够对不同参赛者的同一道题进行评分；在阅卷者的界面显示题目答案的关键字、参赛者答案和推荐分数；

评分管理模块，用于在阅卷者完成一道答题信息的评分时，将阅卷者的评分结果保存到分布式评分任务队列，评分结果包括比赛信息、参赛者信息、题目信息、参赛者答案、阅卷者信息、评分信息、资源标识和提交评分结果时的时间戳；同一个资源标识在评分任务队列中只保留最新的评分结果；

评分结果保存模块，用于从评分任务队列中获取队列消息并保存到数据库中，根据资源标识查找并删除由于参赛者修改答案需要废弃的评分结果；

以及，评分核算模块，用于在比赛完成后，核算同一道题的所有评分结果得出最终分数并存储。

9.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-7任一项所述的一种分布式在线比赛主观题阅卷及评分方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1-7任一项所述的一种分布式在线比赛主观题阅卷及评分方法的步骤。

Images