CN106652611A - 一种面向代码作业的评测系统及方法 - Google Patents

Abstract

本发明涉及一种面向代码作业的评测系统及评测方法，评测系统包括教师端、学生端及成绩评测端，所述教师端、学生端、成绩评测端通过网络实现互联；教师端，用于向各学生端发布程序作业，向成绩评测端上传测试用例；学生端，用于接收教师端发布的程序作业，向成绩评测端提交完成的代码作业；成绩评测端，用于对所接收到的代码作业进行评测；并将评测结果发送至教师端及提交代码作业的相应学生端。采用本发明评测系统及方法节约了授课教师的时间、保证每个学生的每次作业都有人来进行评测、每个学生的作业都可以得到客观真实的成绩反馈、为学生提供了作业交流，共同进步的渠道。

Description

一种面向代码作业的评测系统及方法

技术领域

本发明涉及远程教学技术领域，尤其涉及一种面向代码作业的评测系统及方法。

背景技术

目前，在教学领域中，远程教学/在线教学逐渐成为一种重要的教学手段，特别是在计算机领域，通过教学管理系统来辅助传统课堂教学乃至完全的远程教学已经占据很大的比重。远程教学已经脱离了传统教学的一些局限，比如学生人数，教学地点，教学时间。因此一门课程的参与学生数量有可能达到成百上千，并且学生可能来自不同的城市甚至国家，由此而产生的大量编程作业(代码作业)由授课教师来进行判别、学生通过课堂下来交流作业从而共同进步已经变的不现实。

发明内容

鉴于上述的分析，本发明旨在提供一种面向代码作业的评测系统及方法，用以解决现有大量代码作业的评判及学生交流的问题。

本发明的目的主要是通过以下技术方案实现的：

一种面向代码作业的评测系统，包括教师端、学生端及成绩评测端，所述教师端、学生端、成绩评测端通过网络实现互联；

所述教师端，用于向各学生端发布程序作业，向成绩评测端上传测试用例；

所述学生端，用于接收教师端发布的程序作业，向成绩评测端提交完成的代码作业；

所述成绩评测端，用于对所接收到的代码作业进行评测；并将评测结果发送至教师端及提交代码作业的相应学生端。

进一步，所述成绩评测端包括公共测试模块、学生互评模块、申诉模块及成绩核定模块；

所述公共测试模块用于对各学生端在规定时间内提交的代码作业根据测试用例进行自动化运行测试，给出公共测试结果，并将公共测试结果发送至提交代码作业的相应学生端和成绩核定模块；

所述学生互评模块用于为在规定时间内提交代码作业的每个学生端分配测试作业，学生互评模块还用于接收学生端提交的学生互评结果，将学生互评结果发送给相应的被测试学生端及成绩核定模块；

所述成绩核定模块根据公共测试结果、学生互评结果对每个学生的成绩进行核定。

进一步，所述成绩评测端还包括申诉模块；所述申诉模块用于接收学生端提出的申诉请求，建立被测试学生端与测试学生端的通信，得出申诉结果；所述申诉模块将所得到的申诉结果发送给成绩核定模块；

所述成绩核定模块根据公共测试结果、学生互评结果、申诉结果对每个学生的成绩进行核定。

进一步，所述申诉模块，还用于在被测试学生端与测试学生端通信无法得到申诉结果，接收到被测试学生端发出的进一步申诉请求时，建立被测试学生端、测试学生端、教师端三者的通信，得出申诉结果。

进一步，所述成绩核定模块存储有公共测试结果与分数的对应关系、该程序作业可能出现的bug种类及每项bug的扣分，还存储有公共测试分数、学生互评分数的权重；公共测试结果与分数的对应关系包括根据测试用例进行自动化运行测试通过时的所得分数、失败时实际输出与预期输出相差程度与分数的对应关系；

所述成绩核定模块根据学生互评结果及申诉结果得出学生互评分数，当无申诉结果时，仅考虑学生互评结果得出学生互评分数；将公共测试分数、学生互评分数加权求和后核定最终分数得到核定成绩。

进一步，所述学生端设置有作业接收模块、作业提交模块、学生互评结果提交模块、作业结果接收模块及申诉请求提交模块；

所述作业接收模块，用于接收教师端发布的程序作业及成绩评测端发送过来的被测试学生端作业；

所述作业提交模块，用于将完成的代码作业提交给成绩评测端；

所述学生互评结果提交模块，用于将所接收到的被测试学生端作业的学生互评结果提交给成绩评测端；

所述作业结果接收模块用于接收成绩评测端发送的公共测试结果、学生互评结果、申诉结果及核定成绩；

所述申诉请求提交模块用于在对接收到的学生互评结果不满意时，向成绩评测端提出申诉请求；所述申诉请求提交模块还用于，在被测试学生端与测试学生端通信无法得到申诉结果时，向成绩评测端提出进一步申诉请求。

进一步，提供了一种面向代码作业的评测方法，包括如下步骤，

步骤S1、教师端向各学生端发布程序作业，并将所发布程序作业的测试用例上传至成绩评测端；

步骤S2、学生端接收程序作业，并向成绩评测端提交完成的代码作业；

步骤S3、所述成绩评测端，收到学生端提交作业请求后，判断提交的代码作业是否在规定时间内；是，则接收；否，则拒收；

步骤S4、公共测试模块利用测试用例对接收的代码作业进行自动化测试，给出公共测试结果，并将公共测试结果发送给教师端、提交作业的相应学生端和成绩核定模块；

步骤S5、学生端的作业结果接收模块接收自己所提交代码作业的公共测试结果；

步骤S6、成绩评测端为在规定时间内提交作业的学生端匿名分配测试作业；

步骤S7、学生端给出被测试学生端作业的学生互评结果；学生互评结果提交模块将所述学生互评结果提交给成绩评测端；

步骤S8、成绩评测端将学生互评结果发送给提交该作业的相应学生端；

步骤S9、学生端的作业结果接收模块接收步骤S8中所述的学生互评结果；

当对学生互评结果不满意时，学生端向成绩评测端发出申诉请求，转步骤S10；当对学生互评结果满意，转步骤S12；

步骤S10、成绩评测端的申诉模块根据该申诉请求建立被测试学生端与测试学生端的通信，实现被测试者与测试者之间的沟通，如达成一致，则根据沟通结果给出申诉结果；如不能达成一致，则学生端向申诉模块发出进一步申诉请求，该申诉模块收到进一步申诉请求后，向教师端发出链接请求，教师端收到链接请求后，加入被测试学生端与测试学生端的通信，给出申诉结果；申诉模块将所述申诉结果发送给成绩核定模块；

步骤S11、成绩核定模块根据公共测试结果、学生互评结果及申诉结果核定学生成绩；并将核定成绩结果发给教师端及提交该作业的相应学生端；

步骤S12、成绩核定模块根据公共测试结果、学生互评结果核定学生成绩；并将核定成绩结果发给教师端及提交该作业的相应学生端。

进一步，所述步骤S4中，公共测试模块利用测试用例的输入、执行条件，得出代码作业的输出，将其与测试用例的预期输出进行比较，得出代码作业是通过还是失败；公共测试结果包括代码作业通过还是失败；当失败时，还包括代码作业的实际输出与测试用例的预期输出。

进一步，所述成绩评测端记录有学生排名文件及测试关系文件，学生排名根据学生历来成绩表确定，测试关系文件记录了历来测试中的测试关系；

在步骤S6中，分配测试作业时，考虑测试双方排名相近性，且不与测试关系文件中重复；保证了每个学生都和自己能力最相近的学生形成测试关系，且每次测试关系不同；将此次形成的测试关系存储在测试关系文件中。

进一步，所述步骤S7中，所述学生互评结果包括代码作业存在的bug及发现该bug的输入与输出；

所述步骤S10中，所述申诉结果用于表明学生互评结果给出的bug是否有误；

所述步骤S11中，所述成绩核定模块中记录有公共测试结果与分数的对应关系、该程序作业可能出现的bug种类及每项bug的扣分；所述公共测试结果与分数的对应关系包括根据测试用例进行自动化运行测试通过时的所得分数、失败时实际输出与预期输出相差程度与分数的对应关系；所述成绩核定模块根据公共测试结果得出公共测试分数、根据学生互评结果及申诉结果得出学生互评分数；将公共测试分数、学生互评分数加权求和后核定最终分数。

本发明有益效果如下：

(1)节约了授课教师的时间；

(2)保证每个学生的每次作业都有人来进行评测；

(3)每个学生的作业都可以得到客观真实的成绩反馈；

(4)为学生提供了作业交流，共同进步的渠道。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本发明实施例评测系统示意图；

图2为本发明实施例教师端示意图；

图3为本发明实施例学生端示意图；

图4为本发明实施例成绩评测端示意图；

图5为本发明实施例评测方法示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

如图1所示，一种面向代码作业的评测系统，包括教师端、学生端及成绩评测端，所述教师端、学生端、成绩评测端通过网络实现互联。

如图2所示，所述教师端设置有作业发布模块、测试用例上传模块、学生成绩接收模块；作业发布模块用于向各学生端发布教师所留的程序作业；测试用例上传模块，用于向成绩评测端上传教师所留程序作业的测试用例；所述学生成绩接收模块用于接收成绩评测端发送的学生核定成绩。

如图3所示，所述学生端设置有作业接收模块、作业提交模块、学生互评结果提交模块、作业结果接收模块、申诉请求提交模块。作业接收模块接收教师端发布的程序作业及成绩评测端发送过来的被测试学生端作业；作业提交模块完成的代码作业提交给成绩评测端；学生互评结果提交模块将所接收到的测试作业的学生互评结果提交给成绩评测端；所述作业结果接收模块用于接收成绩评测端发送的公共测试结果、学生互评结果、申诉结果及核定成绩；所述申诉请求提交模块用于在对接收到的学生互评结果不满意时，向成绩评测端提出申诉请求；所述申诉请求提交模块还用于在被测试学生端与测试学生端通信无法得到申诉结果时，向成绩评测端提出进一步申诉请求。

如图4所示，所述成绩评测端包括公共测试模块、学生互评模块、申诉模块及成绩核定模块。所述成绩评测端存储有记载各学生端地址信息的工作表、学生排名及测试关系文件，学生排名根据学生历来成绩表确定，测试关系文件记录了历来测试中的测试关系。

所述公共测试模块用于将各学生端在规定时间内提交的代码作业根据测试用例进行自动化运行测试，给出公共测试结果，并将公共测试结果发送给提交作业的相应学生端和成绩核定模块。公共测试模块利用测试用例的输入、执行条件，得出代码作业的输出，将其与测试用例的预期输出进行比较，得出代码作业是通过还是失败；公共测试结果包括代码作业通过还是失败；当失败时，还包括实际输出与预期输出。

学生互评模块用于为在规定时间内提交代码作业的每个学生端分配测试作业，分配作业时调用学生排名及测试关系文件，为学生端分配排名接近且测试关系不重复的被测试学生端作业；学生互评模块还用于接收学生端提交的学生互评结果，将学生互评结果发送给成绩核定模块，同时将学生互评结果发送给相应的被测试学生端。所述学生互评结果包括代码作业存在的bug及发现该bug的输入与输出。

申诉模块用于接收学生端提出的申诉请求，根据该申诉请求查找工作表中测试学生端与被测试学生端的地址信息，建立两者的通信，实现测试者与被测试者之间的沟通，得出申诉结果；当无法达成一致时，学生端的申诉请求提交模块还向成绩评测端提出进一步申诉请求；当申诉模块收到进一步申诉请求时，建立测试学生端、被测试学生端、教师端三者的通信，得出申诉结果；申诉模块将所得到的申诉结果发送给成绩核定模块。所述申诉结果用于表明学生互评结果给出的bug是否有误。

成绩核定模块根据公共测试结果、学生互评结果、申诉结果对每个学生的成绩进行核定。

具体地，成绩核定模块存储有公共测试结果与分数的对应关系、该程序作业可能出现的bug种类及每项bug的扣分，还存储有公共测试分数、学生互评分数的权重；公共测试结果与分数的对应关系包括通过时的所得分数、失败时实际输出与预期输出相差程度与分数的对应关系；

成绩核定模块根据学生互评结果及申诉结果得出学生互评分数，当无申诉结果时，仅考虑学生互评结果得出学生互评分数；将公共测试分数、学生互评分数加权求和后核定最终分数；成绩核定模块将核定最终分数发送至教师端及相应学生端。

采用实施例一所提供的评测系统所实现的评测方法，如图5所示示意图，包括如下步骤：

步骤S1、教师端向各学生端发布程序作业，并将所发布程序作业的测试用例上传至成绩评测端；

具体地，教师端的作业发布模块向各学生端发布教师所留的程序作业；测试用例上传模块向成绩评测端上传教师所留程序作业的测试用例；

步骤S2、学生端接收程序作业，并向成绩评测端提交完成的代码作业；

具体地，学生端的作业接收模块接收教师端发布的程序作业；完成后由作业提交模块将完成的代码作业提交给成绩评测端；

步骤S3、成绩评测端收到学生提交作业请求后，判断提交作业是否在规定时间内；是，则接收；否，则拒收；

步骤S4、公共测试模块利用测试用例对接收的代码作业进行自动化测试，给出公共测试结果，并将公共测试结果发送给教师端、提交作业的相应学生端和成绩核定模块；

具体地，公共测试模块利用测试用例的输入、执行条件，得出代码作业的输出，将其与测试用例的预期输出进行比较，得出代码作业是通过还是失败；公共测试结果包括代码作业通过还是失败；当失败时，还包括实际输出与预期输出。

步骤S5、学生端的作业结果接收模块接收自己所提交代码作业的公共测试结果；

步骤S6、成绩评测端为在规定时间内提交作业的学生端匿名分配测试作业；

具体地，成绩评测端记录有学生排名及测试关系文件，学生排名根据学生历来成绩表确定，测试关系文件记录了历来测试中的测试关系；分配测试作业时，考虑测试双方排名相近性，且不与测试关系文件中重复；保证了每个学生都和自己能力最相近的学生形成测试关系，且每次测试关系不同，使得交流互动性更强；将此次形成的测试关系存储在测试关系文件中；

步骤S7、学生端给出被测试学生端作业的学生互评结果；学生互评结果提交模块将所述学生互评结果提交给成绩评测端；

具体地，所述学生互评结果包括代码作业存在的bug及发现该bug的输入与输出；

步骤S8、成绩评测端将学生互评结果发送给提交该作业的相应学生端；

步骤S9、学生端的作业结果接收模块接收步骤S8中所述的学生互评结果；

当对学生互评结果不满意时，学生端向成绩评测端发出申诉请求，转步骤S10；当学生对学生互评结果满意，转步骤S12；

步骤S10、成绩评测端的申诉模块根据该申诉请求查找工作表中测试学生端与被测试学生端的地址信息，建立两者的通信，实现测试者与被测试者之间的沟通，两者在匿名情况下探讨测试过程，如达成一致，则根据沟通结果给出申诉结果；如不能达成一致，则学生端向申诉模块发出进一步申诉请求，该申诉模块收到进一步申诉请求后，向教师端发出链接请求，教师端收到链接请求后，加入被测试学生端与测试学生端的通信，给出申诉结果；申诉模块将所述申诉结果发送给成绩核定模块；

具体地，所述申诉结果用于表明学生互评结果给出bug是否有误；

步骤S11、成绩核定模块根据公共测试结果、学生互评结果及申诉结果核定学生成绩；并将核定成绩结果发给教师端及提交该作业的相应学生端；

具体地，

所述成绩核定模块中记录有公共测试结果与分数的对应关系、该程序作业可能出现的bug种类及每项bug的扣分；所述成绩核定模块根据公共测试结果得出公共测试分数、根据学生互评结果及申诉结果得出学生互评分数；将公共测试分数、学生互评分数加权求和后核定最终分数。公共测试分数、学生互评分数权重根据实际需要预先设定；

具体地，所述公共测试结果与分数的对应关系包括根据测试用例进行自动化运行测试通过时的所得分数、失败时实际输出与预期输出相差程度与分数的对应关系；

步骤S12、成绩核定模块根据公共测试结果、学生互评结果核定学生成绩；并将核定成绩结果发给教师端及提交该作业的相应学生端。

具体地，

成绩核定模块记录有公共测试结果与分数的对应关系；根据公共测试结果给出公共测试分数；成绩核定模块记录有该程序作业可能出现的bug种类及每项bug的扣分；根据学生互评结果给出学生互评分数；公共测试分数、学生互评分数加权求和后核定最终分数；公共测试分数、学生互评分数权重根据实际需要预先设定。

综上所述，本发明实施例提供了一种面向代码作业的评测系统及方法，具有进行远程在线教学的优势，不受学生数量和学生地理位置的影响。可以在不增加教师工作量的前提下保证每个学生的作业都会得到充分的测试，每个学生都可以和自己能力最相近的学生形成测试或被测试的关系，从而增加两者之间互动交流的机会，以实现学生能力的提升。

1.由于课程不受学生数量制约，因此可以最大化的使用教育资源。一门优秀的课程可以同时为很多学校乃至全国的学生所学习，打破了传统教学模式中学校，地域，学生数量的制约。

2.每个学生的作业都会被充分的重视和测试，并且每个学生都要参与到测试别人作业的过程中来，从而极大的调动了学生的积极性。使得通过每次作业学生都能够有所收获。

3.通过信息系统来管理教学过程，该过程产生的大量教学数据可用于对学生学习行为的研究，从而为改进教学过程提供数据支撑。

4.由于学生作业都通过电子文件来进行提交，学生的作业更利于保存、查重、检索等。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种面向代码作业的评测系统，其特征在于，包括教师端、学生端及成绩评测端，所述教师端、学生端、成绩评测端通过网络实现互联；

所述教师端，用于向各学生端发布程序作业，向成绩评测端上传测试用例；

所述学生端，用于接收教师端发布的程序作业，向成绩评测端提交完成的代码作业；

所述成绩评测端，用于对所接收到的代码作业进行评测；并将评测结果发送至教师端及提交代码作业的相应学生端。

2.根据权利要求1所述的评测系统，其特征在于：所述成绩评测端包括公共测试模块、学生互评模块、申诉模块及成绩核定模块；

所述公共测试模块用于对各学生端在规定时间内提交的代码作业根据测试用例进行自动化运行测试，给出公共测试结果，并将公共测试结果发送至提交代码作业的相应学生端和成绩核定模块；

所述学生互评模块用于为在规定时间内提交代码作业的每个学生端分配测试作业，学生互评模块还用于接收学生端提交的学生互评结果，将学生互评结果发送给相应的被测试学生端及成绩核定模块；

所述成绩核定模块根据公共测试结果、学生互评结果对每个学生的成绩进行核定。

3.根据权利要求2所述的评测系统，其特征在于：所述成绩评测端还包括申诉模块；所述申诉模块用于接收学生端提出的申诉请求，建立被测试学生端与测试学生端的通信，得出申诉结果；所述申诉模块将所得到的申诉结果发送给成绩核定模块；

所述成绩核定模块根据公共测试结果、学生互评结果、申诉结果对每个学生的成绩进行核定。

4.根据权利要求3所述的评测系统，其特征在于：所述申诉模块，还用于在被测试学生端与测试学生端通信无法得到申诉结果，接收到被测试学生端发出的进一步申诉请求时，建立被测试学生端、测试学生端、教师端三者的通信，得出申诉结果。

5.根据权利要求4所述的评测系统，其特征在于：所述成绩核定模块存储有公共测试结果与分数的对应关系、该程序作业可能出现的bug种类及每项bug的扣分，还存储有公共测试分数、学生互评分数的权重；公共测试结果与分数的对应关系包括根据测试用例进行自动化运行测试通过时的所得分数、失败时实际输出与预期输出相差程度与分数的对应关系；

所述成绩核定模块根据学生互评结果及申诉结果得出学生互评分数，当无申诉结果时，仅考虑学生互评结果得出学生互评分数；将公共测试分数、学生互评分数加权求和后核定最终分数得到核定成绩。

6.根据权利要求1-5之一所述的评测系统，其特征在于：所述学生端设置有作业接收模块、作业提交模块、学生互评结果提交模块、作业结果接收模块及申诉请求提交模块；

所述作业接收模块，用于接收教师端发布的程序作业及成绩评测端发送过来的被测试学生端作业；

所述作业提交模块，用于将完成的代码作业提交给成绩评测端；

所述学生互评结果提交模块，用于将所接收到的被测试学生端作业的学生互评结果提交给成绩评测端；

所述作业结果接收模块用于接收成绩评测端发送的公共测试结果、学生互评结果、申诉结果及核定成绩；

所述申诉请求提交模块用于在对接收到的学生互评结果不满意时，向成绩评测端提出申诉请求；所述申诉请求提交模块还用于，在被测试学生端与测试学生端通信无法得到申诉结果时，向成绩评测端提出进一步申诉请求。

7.一种面向代码作业的评测方法，其特征在于：包括如下步骤，

步骤S1、教师端向各学生端发布程序作业，并将所发布程序作业的测试用例上传至成绩评测端；

步骤S2、学生端接收程序作业，并向成绩评测端提交完成的代码作业；

步骤S3、所述成绩评测端，收到学生端提交作业请求后，判断提交的代码作业是否在规定时间内；是，则接收；否，则拒收；

步骤S4、公共测试模块利用测试用例对接收的代码作业进行自动化测试，给出公共测试结果，并将公共测试结果发送给教师端、提交作业的相应学生端和成绩核定模块；

步骤S5、学生端的作业结果接收模块接收自己所提交代码作业的公共测试结果；

步骤S6、成绩评测端为在规定时间内提交作业的学生端匿名分配测试作业；

步骤S7、学生端给出被测试学生端作业的学生互评结果；学生互评结果提交模块将所述学生互评结果提交给成绩评测端；

步骤S8、成绩评测端将学生互评结果发送给提交该作业的相应学生端；

步骤S9、学生端的作业结果接收模块接收步骤S8中所述的学生互评结果；

当对学生互评结果不满意时，学生端向成绩评测端发出申诉请求，转步骤S10；当对学生互评结果满意，转步骤S12；

步骤S10、成绩评测端的申诉模块根据该申诉请求建立被测试学生端与测试学生端的通信，实现被测试者与测试者之间的沟通，如达成一致，则根据沟通结果给出申诉结果；如不能达成一致，则学生端向申诉模块发出进一步申诉请求，该申诉模块收到进一步申诉请求后，向教师端发出链接请求，教师端收到链接请求后，加入被测试学生端与测试学生端的通信，给出申诉结果；申诉模块将所述申诉结果发送给成绩核定模块；

步骤S11、成绩核定模块根据公共测试结果、学生互评结果及申诉结果核定学生成绩；并将核定成绩结果发给教师端及提交该作业的相应学生端；

步骤S12、成绩核定模块根据公共测试结果、学生互评结果核定学生成绩；并将核定成绩结果发给教师端及提交该作业的相应学生端。

8.根据权利要求7所述的评测方法，其特征在于：所述步骤S4中，公共测试模块利用测试用例的输入、执行条件，得出代码作业的输出，将其与测试用例的预期输出进行比较，得出代码作业是通过还是失败；公共测试结果包括代码作业通过还是失败；当失败时，还包括代码作业的实际输出与测试用例的预期输出。

9.根据权利要求8所述的评测方法，其特征在于：所述成绩评测端记录有学生排名文件及测试关系文件，学生排名根据学生历来成绩表确定，测试关系文件记录了历来测试中的测试关系；

在步骤S6中，分配测试作业时，考虑测试双方排名相近性，且不与测试关系文件中重复；保证了每个学生都和自己能力最相近的学生形成测试关系，且每次测试关系不同；将此次形成的测试关系存储在测试关系文件中。

10.根据权利要求9所述的评测方法，其特征在于：

所述步骤S7中，所述学生互评结果包括代码作业存在的bug及发现该bug的输入与输出；

所述步骤S10中，所述申诉结果用于表明学生互评结果给出的bug是否有误；

所述步骤S11中，所述成绩核定模块中记录有公共测试结果与分数的对应关系、该程序作业可能出现的bug种类及每项bug的扣分；所述公共测试结果与分数的对应关系包括根据测试用例进行自动化运行测试通过时的所得分数、失败时实际输出与预期输出相差程度与分数的对应关系；所述成绩核定模块根据公共测试结果得出公共测试分数、根据学生互评结果及申诉结果得出学生互评分数；将公共测试分数、学生互评分数加权求和后核定最终分数。