CN109657990B - 通过程序标记评估学生编程能力的方法 - Google Patents

Abstract

本发明公开了一种通过程序标记评估学生编程能力的方法，包括：收集测试中所有学生对所有问题中代码解法的标签和对难度的打分，并以此计算所有学生针对每一问题的难易程度打分均值，以及完成每一问题的平均时间；对于每一问题，根据所有学生给出的标签总数目，得到各个标签的平衡度，再结合相应问题的难易程度打分均值来计算问题的难度；对于每一学生，根据其对于所有问题给出标签、每一问题的难易程度打分均值、完成每一问题的平均时间以及每一问题的难度来计算相应学生在每一问题上的得分；对于每一学生，结合其在所有问题上的得分及相应问题的难度得到学生的能力值。通过采用上述方法，可以更好的实现能力评估。

Description

通过程序标记评估学生编程能力的方法

技术领域

本发明涉及编程教学评估领域，尤其涉及一种通过程序标记评估学生编程能力的方法。

背景技术

随着计算机技术的高速发展以及对编程水平要求的提高，程序设计成为了大学生的必修课程，在教学过程中需要对学生编程能力进行评估。对学生编写代码能力的评估往往通过online judege系统判断学生提交的代码能否通过用例，这一方法往往不是很准确，通过大量的测试用例的程序可能是写的不好的程序，通过少量测试用例的程序，很多时候反而非常接近正确答案。

发明内容

本发明的目的是提供一种通过程序标记评估学生编程能力的方法，可以更好的实现能力评估。

本发明的目的是通过以下技术方案实现的：

一种通过程序标记评估学生编程能力的方法，包括：

收集测试中所有学生对所有问题中代码解法的标签和对难度的打分，并以此计算所有学生针对每一问题的难易程度打分均值，以及完成每一问题的平均时间；

对于每一问题，根据所有学生给出的标签总数目，得到各个标签的平衡度，再结合相应问题的难易程度打分均值来计算问题的难度；

对于每一学生，根据其对于所有问题给出标签、每一问题的难易程度打分均值、完成每一问题的平均时间以及每一问题的难度来计算相应学生在每一问题上的得分；

对于每一学生，结合其在所有问题上的得分及相应问题的难度得到学生的能力值。

由上述本发明提供的技术方案可以看出，通过对学生阅读代码的能力更准确地对编程能力进行评估，对于多解法问题，可以通过学生对多解法问题代码的标注来评估学生编程能力，相较于传统方案往往不能准确地评估学生编程能力，对一道题目的判断只有正确与否两个判断，本方案可以全面、准确地评估学生编程能力，评估效果可以更好地反映学生真实水平。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种通过程序标记评估学生编程能力的方法的流程图；

图2为本发明实施例提供的一种通过程序标记评估学生编程能力的方法的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种通过程序标记评估学生编程能力的方法，如图1～图2所示，其主要包括如下步骤：

步骤1、收集测试中所有学生对所有问题中代码解法的标签和对难度的打分，并以此计算所有学生针对每一问题的难易程度打分均值，以及完成每一问题的平均时间。

本发明实施例中所涉及的方案可以借助online judge系统来实现对学生能力的评估和反馈。由online judge系统发起一场小测验，测验内容为阅读代码并标记代码解法，测验过程中收集学生对代码解法的标注和对难度的打分，以及学生完成一次代码标注的时间。

假设共有n个问题,问题集合记为O＝{o_i|i＝1,2,3....n}，共有m个学生，学生集合记为U＝{u_w|w＝1,2,3....m}。

学生u_w对于问题o_i的标签为难易程度打分为/>学生u_w完成问题o_i所需时间为Y_i ^w。

则计算所有学生针对每一问题的难易程度打分均值的公式如下：

其中，E_i为所有学生针对问题o_i难易程度打分均值。

计算完成每一问题的平均时间的公式如下：

其中，T_i为所有学生完成问题o_i的平均时间。

步骤2、对于每一问题，根据所有学生给出的标签总数目，得到各个标签的平衡度，再结合相应问题的难易程度打分均值来计算问题的难度。

所获得的标签类别越少，且各标签之间的支持者数目差别越大，即标签的平衡度低，则任务的难度越低；反之，所获得的不同标签数目越多，且各标签之间的支持者数目差别越小，即标签的平衡度高，则任务的难度越高。

学生对问题难易程度打分的均值越高，则任务的难度越高，反之，学生对问题难易程度打分的均值越低，则任务的难度越低。

学生完成代码标注所需时间越长，则任务的难度越高，反之，学生完成代码标注所需时间越短，则任务的难度越低。

对于问题的难度，首先要根据标签总数目计算平衡度，公式如下：

其中，B_i为问题o_i的标签平衡度，k_i为针对问题o_i所有学生给出的标签类别数目，为第j个标签所获得的支持者数目，其中/>为问题o_i的所有标签获得支持者数目的均值。

计算每一问题的难度的包括：

针对问题o_i，将学生对问题o_i给出的标签类别数目k_i、问题o_i的标签平衡度B_i、问题o_i的难易程度打分均值E_i以及所有学生完成问题o_i的平均时间T_i进行归一化，将归一化后的四个数值相加，计算结果即为问题o_i的难度D_i，公式为：

其中，k_max、B_max、E_max、T_max分别为所有问题的标签数目最大值、问题标签平衡度最大值、问题难易程度打分最大值、问题完成时间的最大值。

示例性的，不同问题可能对应不同的标签数目，如问题1有3个标签(k₁＝3)，问题2有5个(k₂＝5)，则k_max＝5。

或者，针对问题o_i，将所有学生给出的标签总数目k_i、平衡度B_i、问题o_i的难易程度打分均值E_i以及所有学生完成问题o_i的平均时间T_i进行加权求和，计算结果即为问题o_i的难度D_i。

问题的难度计算方式有多种，以上给出了两种计算的示例，由于第一种方式较为简单，且实验表明该计算方法是有效的，因此，在实际应用中也可以直接采用第一种方式。

步骤3、对于每一学生，根据其对于所有问题给出标签、每一问题的难易程度打分均值、完成每一问题的平均时间以及每一问题的难度来计算相应学生在每一问题上的得分。

首先，对于学生u_w，根据其对于所有问题给出标签来计算学生u_w的准确度A_w，公式如下：

其中，f_i表示问题o_i的真实标签，为指示函数，

然后，计算学生u_w在问题o_i上的得分公式如下：

其中，E_i为所有学生针对问题o_i难易程度打分均值，T_i为所有学生完成问题o_i的平均时间。

另外，还需要对标签进行整合，一是可以得到该问题的最终标签，二是可以更新准确度从而更新学生在各问题上的得分：

学生u_w给问题o_i标签为q_k为问题o_i的第k个标签，/>的概率为/>计算公式如下：

计算后验概率：

选择概率最大的分类作为临时标签，利用临时标签代替f_i，以此更新u_w的准确度A_w，迭代这个过程至临时标签不再变化，不再变化的临时标签就是该问题o_i的最终标签，利用得到的最终标签来更新准确度A_w，得到学生u_w在问题o_i上的得分

步骤4、对于每一学生，结合其在所有问题上的得分及相应问题的难度得到学生的能力值。

计算公式如下：

其中，为学生u_w在问题o_i上的得分/>D_i为问题o_i的难度。

此外，还可以将测试的时间按顺序进行编号，将每个学生的能力值作为纵坐标，将编号作为横坐标，形成每个学生的时间-能力曲线，并反馈给老师。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种通过程序标记评估学生编程能力的方法，其特征在于，包括：

收集测试中所有学生对所有问题中代码解法的标签和对难度的打分，并以此计算所有学生针对每一问题的难易程度打分均值，以及完成每一问题的平均时间；

对于每一问题，根据所有学生给出的标签总数目，得到各个标签的平衡度，再结合相应问题的难易程度打分均值来计算问题的难度；

对于每一学生，根据其对于所有问题给出标签、每一问题的难易程度打分均值、完成每一问题的平均时间以及每一问题的难度来计算相应学生在每一问题上的得分；

对于每一学生，结合其在所有问题上的得分及相应问题的难度得到学生的能力值；

其中，对于每一学生，根据其对于所有问题给出标签、每一问题的难易程度打分均值、完成每一问题的平均时间以及每一问题的难度来计算相应学生在每一问题上的得分包括：

首先，对于学生u_w，根据其对于所有问题给出标签来计算学生u_w的准确度A_w，公式如下：

其中，为学生u_w对于问题o_i的标签，n表示n个问题，f_i表示问题o_i的真实标签，/>为指示函数，/>

然后，计算学生u_w在问题o_i上的得分公式如下：

其中，为学生u_w对于问题o_i的难易程度打分，Y_i ^w为学生u_w完成问题o_i所需时间，E_i为所有学生针对问题o_i难易程度打分均值，T_i为所有学生完成问题o_i的平均时间。

2.根据权利要求1所述的一种通过程序标记评估学生编程能力的方法，其特征在于，所述收集所有学生对所有问题中代码解法的标注和对难度的打分包括：

假设共有n个问题,问题集合记为O＝{o_i|i＝1,2,3....n}，共有m个学生，学生集合记为U＝{u_w|w＝1,2,3....m}；

学生u_w对于问题o_i的标签为难易程度打分为/>学生u_w完成问题o_i所需时间为Y_i ^w。

3.根据权利要求2所述的一种通过程序标记评估学生编程能力的方法，其特征在于，所述计算所有学生针对每一问题的难易程度打分均值的公式如下：

其中，E_i为所有学生针对问题o_i难易程度打分均值。

4.根据权利要求2所述的一种通过程序标记评估学生编程能力的方法，其特征在于，计算完成每一问题的平均时间的公式如下：

其中，T_i为所有学生完成问题o_i的平均时间。

5.根据权利要求2所述的一种通过程序标记评估学生编程能力的方法，其特征在于，计算各个标签的平衡度的公式如下：

其中，B_i为问题o_i的标签平衡度，k_i为针对问题o_i所有学生给出的标签总数目，为第k个标签所获得的支持者数目，其中/>为问题o_i的所有标签获得支持者数目的均值。

6.根据权利要求2所述的一种通过程序标记评估学生编程能力的方法，其特征在于，计算每一问题的难度的包括：

针对问题o_i，将学生对问题o_i给出的标签类别数目k_i、问题o_i的标签平衡度B_i、问题o_i的难易程度打分均值E_i以及所有学生完成问题o_i的平均时间T_i进行归一化，将归一化后的四个数值相加，计算结果即为问题o_i的难度D_i，

或者，针对问题o_i，将学生对问题o_i给出的标签类别数目k_i、问题o_i的标签平衡度B_i、问题o_i的难易程度打分均值E_i以及所有学生完成问题o_i的平均时间T_i进行加权求和，计算结果即为问题o_i的难度D_i。

7.根据权利要求1所述的一种通过程序标记评估学生编程能力的方法，其特征在于，该方法还包括对真实标签进行整合的步骤：

学生u_w给问题o_i标签为q_k为问题o_i的第k个标签，/>的概率为p(q_k|f_i,S_i ^w,D_i)，计算公式如下：

计算后验概率：

选择概率最大的分类作为临时标签，利用临时标签代替f_i，以此更新u_w的准确度A_w，迭代这个过程至临时标签不再变化，不再变化的临时标签就是该问题的最终标签，利用得到的最终标签来更新准确度A_w，得到学生u_w在问题o_i上的得分

8.根据权利要求2所述的一种通过程序标记评估学生编程能力的方法，其特征在于，对于每一学生，结合其在所有问题上的得分及相应问题的难度得到学生的能力值的公式为：

其中，为学生u_w在问题o_i上的得分/>D_i为问题o_i的难度。

9.根据权利要求1所述的一种通过程序标记评估学生编程能力的方法，其特征在于，该方法还包括：

测试的时间按顺序进行编号，将每个学生的能力值作为纵坐标，将编号作为横坐标，形成每个学生的时间-能力曲线，并反馈给老师。