CN107909278A - 一种编程能力综合评估的方法及系统 - Google Patents

Abstract

本发明公开了一种编程能力综合评估的方法及系统。本方法为：1)收集各待评估对象的基础指标；2)根据步骤1)收集的数据生成每一待评估对象的各项设定指标数据；3)对得到的各项设定指标数据分别进行标准化处理，然后对标准化处理后的指标数据进行非线性变换，生成各待评估对象的雷达图；4)根据待评估对象的雷达图得到对应待评估对象的编程能力综合评估结果。本发明通过多维度数据信息采集与分析，能够在无人工介入情况下真实全面的获取到学生的编程操作数据。

Description

一种编程能力综合评估的方法及系统

技术领域

本发明属于计算机软件技术领域，尤其是互联网教育技术领域，涉及一种编程能力综合评估的方法及系统。

背景技术

学生开始进行编程学习前，需要对学生已有的编程思想、编程能力进行综合评估，以确定学生的初始编程能力状态。

学习过程中，准确的评估学生编程能力可以为教研团队、班主任老师、助教老师提供客观、可靠、真实的管理依据，针对能力成长与期望有所偏差的学生，采取适当的促进措施。

软件行业的企事业单位在用工招聘时，需要获悉学生的编程能力信息，因而对该信息的综合性、准确性、实用性有了更严格的要求。

由于学生编程能力有波动性和测量模糊性，难以准确全面的对其编程能力进行评估。其主要原因是：

1.当前学生入学测试题获取的信息结构单一，一般为纯上机或纸面答题，不能全面获知学员真实的编程能力。

2.上机练习、考试时，学生在编程过程中的诸多有价值信息没有进行提取(如单位时间编译尝试次数、快捷键使用频率，相似代码的抽取程度等)，大多是获取了编程结果信息后只进行简单的正误判断，这样估算得到的学生编程能力信息粒度过大，且经常因为学生的作弊行为导致评估结果的巨大偏差。

3.现有的数据报表大多是对学生每次考试成绩的体现，由于考试系统问题或学生身体、精神等诸多因素会对考试结果造成偏差影响，且没有综合平时编程练习过程的表现进行评估，因而无法真实、客观、全面体现学生的编程能力。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种编程能力综合评估的方法及系统。本发明通过建立一种能够实时描述学生编程能力各个特征的模型，进而建立更加科学合理的动态预测评估方法。

本发明的技术方案为：

一种编程能力综合评估的方法，其步骤包括：

1)收集各待评估对象的基础指标；

2)根据步骤1)收集的数据生成每一待评估对象的各项设定指标数据；

3)对得到的各项设定指标数据分别进行标准化处理，然后对标准化处理后的指标数据进行非线性变换，生成各待评估对象的雷达图；

4)根据待评估对象的雷达图得到对应待评估对象的编程能力综合评估结果。

进一步的，所述步骤3)中，对得到的各项设定指标数据分别进行标准化处理的方法为：设待评估对象a的一项设定指标i对应的指标数据为该指标i对应的指标数据平均值为E(x_i)、该指标i对应的指标数据标准差为σ(x_i)，则该待评估对象a的指标i对应的指标数据标准化处理得到的对应指标值

进一步的，该指标i对应的指标数据平均值指标i对应的指标数据标准差n表示待评估对象的数量。

进一步的，对标准化处理后的指标数据进行非线性变换的方法为：设待评估对象的各项指标数据经过标准化处理后对应的向量为y＝(y₁,y₂,…,y_i,…,y_m)；对其中指标i的标准化处理结果y_i分别进行变换；其中对于正相关指标采用公式进行变换，对于负相关指标利用公式进行变换；将结果y_i值域限制在(0,2)的开区间范围内。

进一步的，所述设定指标包括正相关指标和负相关指标，其中正相关指标包括：总答题得分、总答题满分个数、总答题时长、单位时间尝试编译运行次数、单位时间内提交服务器次数、同一题目的不同实现方案和快捷键使用频率；负相关指标包括：平均题目理解/答题的时间差和平均代码执行时长。

进一步的，所述基础指标包括评估对象在数据业务服务端的基础指标、待评估对象在练习客户端系统的基础指标、待评估对象在考试客户端系统的基础指标、待评估对象在练习移动客户端的基础指标和待评估对象在线上交流学习Web端的基础指标。

进一步的，结合综合评估函数得到对应待评估对象的编程能力综合评估结果；综合评估函数为其中，待评估对象a的雷达图的面积为d_j、周长为p_j，D为各待评估对象对应的雷达图中面积最大的雷达图的面积，面积评价向量周长评价向量

进一步的，所述雷达图中的中间指标数据包括：成长指标、努力指标、耐心指标、效率指标和熟练指标。

一种编程能力综合评估系统，其特征在于，包括编程能力信息收集终端和服务端；其中，编程能力信息收集终端，用于收集各待评估对象的基础指标并将其发送给服务端；所述服务端，用于根据收集的数据生成每一待评估对象的各项设定指标数据；然后对得到的各项设定指标数据分别进行标准化处理，然后对标准化处理后的指标数据进行非线性变换，生成各待评估对象的雷达图；然后根据待评估对象的雷达图得到对应待评估对象的编程能力综合评估结果。

本发明提供一种客户端交互系统，自动收集学生编程能力的有效信息。

本发明提供一种全程实时自动评分系统，减少批卷老师的人力成本。

本发明通过一种评估计算方法，可以综合评估学生的编程能力。

本发明的评估方法主要流程为：

1.收集学生的基础指标及提交的代码数据。

2.对数据进行初始状态建模，利用非线性变换算法对多维数据进行数据变换处理。

3.将变换后的指标数据绘制到雷达图。

4.针对雷达图进行横向、纵向、定性、定量分析。

5.将学员的编程能力综合评估结果值进行排序比较。

本发明主要具有以下优点：

1.多维度数据信息采集技术，能够在无人工介入情况下真实全面的获取到学生的编程操作数据。解决了数据采集困难问题，降低了人工成本。

2.综合数据分析评价技术(包括聚类分析法、判别分析法、图形评价法、定量评价法)，结合雷达图的特性对学生基础指标进行多维度综合评价，通过对收集到的学生的基础指标进行标准化处理及非线性变换，使不同类型的指标变换成均值为1、方差为1的量，从而消除了不同类型数据的单位、数量级、变化幅度对综合评价结果的负面影响，提高了数据的客观性和有效性。

3.将不同基础指标分别划分到指定指标类型(中间指标)后，按照顺序绘制雷达图，可以根据图形的面积、周长的差异直观的判别学生的编程能力状态及成长变化。同时也可通过精确计算的评价向量对不同学员的编程能力进行量化比对、排序。

4.数据报表模块可以生成更加详实的学生编程能力信息，方便教学团队及管理层尝试新的教学方针，或在调整教学模式后及时的得到学生的能力变化反馈数据，以便做出后续优化决策。

5.以极高的效率培养学习编程学生的“努力->收获->信心->继续努力”的正反馈机制，加强竞争意识，从而提高知识学习及编程练习的积极性，最终高效全面地提高学生的编程能力。

附图说明

图1为评估系统图；

图2为本发明的整体流程图；

图3为编程能力综合评估雷达图；

图4为两个学员的雷达图对比图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。

1.评估系统组成如附图1所示

评估系统包括：

学生编程能力信息收集设备(包含:数据业务管理系统，学生练习客户端系统，学生考试客户端系统，学生碎片化练习移动客户端，学生线上交流学习Web端)；

后台服务器(包含：业务处理模块、数据存储模块、数据分析模块和报表生成模块)

2.整体操作流程如附图2所示

初始阶段：由教考团队对学生信息进行采集，录入学生的姓名、出生年月、性别、学历、学位、学习动机、家庭财务状况等信息，用于后期自动化分析相关性。对学生进行编程相关的题目测验，以确定学生在编程思想上的理解程度。

测量阶段：该阶段包含多种渠道，多个数据维度的测量。组成包括：数据业务管理系统Content Management System(以下简称CMS)，学生练习客户端系统Practice Client(以下简称PC)，学生考试客户端系统Test Client(以下简称TC)，学生碎片化练习移动客户端Mobile Client(以下简称MC)，学生在线练习Web端Brower Client(以下简称BC)，基础指标类型及测量方式如表1：

表1基础指标及其采集方式表

注：负相关数据是指值越大评价越低，反之越高的指标

评估阶段：为了将多个维度的数据进行有效的统计分析，使相同类型的基础指标聚集在相邻的区域，故而多个基础指标按照以下五种指标类型(以下称中间指标)进行归类：成长指标，努力指标，耐心指标，效率指标，熟练指标。随后也需根据教考团队的综合经验或专家评议决定中间指标的更新变化以及基础指标所属的分类修订。具体中间指标分类及实施见步骤3。

报表生成：由后台服务器端根据评估结果，产出易于查看使用的数据报表。

反馈阶段：根据数据报表判断学生的能力成长是否达到预期，如果没有达到预期，则进行促进性干预。

3.模型创建、优化及评估算法

应用步骤:

第一步：收集评估系统所需基础指标并进行标准化处理

假设学员a的某项基础指标i对应的数值为对应的平均值和标准差分别是E(x_i)及σ(x_i)，通过以下方式进行标准化处理得到对应指标值

上述公式中平均值和标准差可通过该基础指标采集到的样本进行估算：

参数n表示进行综合评估时同班级学员的数量，经过基础指标标准化处理后，各个指标转换成均值为0、方差为1的量值，从而消除各个基础指标的数量级、单位、变化幅度的差别。

第二步：对标准化后的基础指标进行非线性变换

由于需要将各个指标值绘制在有限的二维图形上从而执行评估计算，故而需要对数据进行适配变换。从步骤一的处理得到的标准化后的指标值只是在数量级上进行了统一控制，但是其值区间仍在(-∞,+∞)之间，需要将其进行非线性数值压缩变换；同时，学员某项编程能力的指标均值不宜展示为0，不利于数据的展示及分析，需要将其均值进行修订；由于同一班级学员编程能力基本符合正态分布，故而需要保证均值附近的数值保持较好的线性分布，偏离均值越远其压缩性越强。

基于以上的考虑，本发明为学员确定了m个基础指标，经过标准化处理后的基础指标用向量y＝(y₁,y₂,…,y_i,…,y_m)表示，对某个处理后的基础指标y_i进行如下变换：

参数x定义域(-∞,+∞)，tan^-1(y)变换值域故而将结果f_i值域限制在(0,2)的开区间范围内，此为正向指标变换。由于一些基础指标如代码运行时长信息，其值越小评分越高，故而对这些基础指标进行负相关处理，其结果仍在(0,2)开区间范围。

第三步：绘制雷达图

假如有一个学员，设其有5个基础指标对应的经标准化处理后的向量为y＝(0.8,-0.6,-0.2,0.5,0.1)，分别归类为5个中间指标成长指标，努力指标，耐心指标，效率指标，熟练指标。经过非线性变换后，得到向量z＝(1.43,0.66,0.87,1.30,1.19)，可得该评价对象的雷达图如图3所示。图3中虚线区域表示z＝(1.0,1.0,1.0,1.0,1.0)的标准图形，实线区域表示该学员的能力综合评估图形。

绘制过程由后台服务器的报表生成模块完成，使用JavaScript图表库echarts.js完成图形绘制，绘制相关代码由Apache Velocity模板技术根据经过非线性变换后的向量数据生成。

从图3上可以看出该学员的成长、熟练、效率三项指标均处于半径为1的圆之外，说明该学员的编程能力处于中等偏上水平。但是其努力、耐心两项指标处于半径为1的圆以内，说明该学员虽然现在的成绩表现比较优秀，但是在学习上付出的努力和耐心在班级中属于中等偏下范围，需要加以督促和提高。

该学员的雷达图可以帮助我们快速直观的了解学员学习存在的问题，处于虚线范围以内的指标越靠中心，说明存在的问题越严重。除了基于雷达图对学员进行实时的状况判断，我们也可以对不同学员的雷达图进行横向比较，对同一学员不同时刻的雷达图进行纵向比较。

第四步：基于雷达图进行综合评估计算

为了进一步精确反映学员的综合能力及均衡状况，我们需要定义综合评估函数进行定量评估，故而将雷达图的面积μ₁及周长μ₂作为雷达图的特征量，即有μ＝(μ₁,μ₂)。假设评估集合中的学员数量为n，记作A＝(a₁,a₁,…,a_n)。其中，对象a_j的雷达图的面积d_j和周长p_j，令：

D＝max{d_k|a_k∈A}

则对象a_j的面积评价向量ν_j1，周长评价向量ν_j2可分别定义为：

由评价向量的定义可看出：评价量ν_j1为对象a_j的雷达图面积的归一化值,反映了雷达图面积的相对大小；评价量ν_j2为对象a_j的雷达图面积与具有相同周长的圆比值，反映了各基础指标的均衡发展程度。由于在相同周长条件下圆的面积最大,因此评价量ν_j1和ν_j2的取值范围为[0,1]。由于学员的雷达图所对应的评价向量ν_j＝(ν_j1,ν_j2)为二维向量，故而取两个评价量的集合平均值作为评价函数，通过该函数获取各个对象的评估值，可对学员的编程能力进行排序，即：

4.编程能力综合评估实例

评估学员的综合编程能力涉及到学员多个方面的表现，故而可将采集到的基础指标分别对应到五个中间指标(成长指标，努力指标，耐心指标，效率指标，熟练指标)，然后将中间指标所对应的多个基础指标绘制在一片连续的扇形区域。

将各个基础指标经过非线性变换后的量值在对应的数轴上通过标点表示，随后将相邻数轴上的点连接起来，得到计算评估使用的雷达图。

通过编程能力综合评估雷达图，可以定性的分析每个学员的编程能力基本情况。两个学员的编程能力综合评估系统的各项中间指标及对应的基础指标数值如表2。

表2为两个学员的编程能力综合评估系统的各项中间指标及对应的基础指标数值表

将经过非线性变化后的量值绘制到雷达图上，各基础指标数轴依次逆时针按照等间分布(相邻数轴夹角360°/9＝40°)可得到两个学员的雷达图对比如图4所示。

根据雷达图进行定性分析，可以直观地看出学员1在指标1、2、3、8上优于学员2，说明其成长指标比学员2优秀，但是其他指标表明了其努力指标、耐心指标不如学员2。

根据雷达图进行编程能力综合定量评估，根据雷达图可以计算得到两个学员雷达图特征向量(雷达图面积及周长)分别为：

μ₁＝(4.6874,8.9860)μ₂＝(4.8640,9.2538)

通过特征向量转换得到两个学员的评估向量为:

ν₁＝(0.8917,0.5760)ν₂＝(0.9216,0.5845)

最终，计算学员编程能力综合评估值为：

根据比较评估值大小，可得出学员2的综合编程能力比学员1强。

以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种编程能力综合评估的方法，其步骤包括：

1)收集各待评估对象的基础指标；

2)根据步骤1)收集的数据生成每一待评估对象的各项设定指标数据；

3)对得到的各项设定指标数据分别进行标准化处理，然后对标准化处理后的指标数据进行非线性变换，生成各待评估对象的雷达图；

4)根据待评估对象的雷达图得到对应待评估对象的编程能力综合评估结果。

2.如权利要求1所述的方法，其特征在于，所述步骤3)中，对得到的各项设定指标数据分别进行标准化处理的方法为：设待评估对象a的一项设定指标i对应的指标数据为该指标i对应的指标数据平均值为E(x_i)、该指标i对应的指标数据标准差为σ(x_i)，则该待评估对象a的指标i对应的指标数据标准化处理得到的对应指标值

3.如权利要求2所述的方法，其特征在于，该指标i对应的指标数据平均值指标i对应的指标数据标准差n表示待评估对象的数量。

4.如权利要求3所述的方法，其特征在于，对标准化处理后的指标数据进行非线性变换的方法为：设待评估对象的各项指标数据经过标准化处理后对应的向量为y＝(y₁,y₂,…,y_i,…,y_m)；对其中指标i的标准化处理结果y_i分别进行变换；其中对于正相关指标采用公式进行变换，对于负相关指标利用公式 进行变换；将结果y_i值域限制在(0,2)的开区间范围内。

5.如权利要求1所述的方法，其特征在于，所述设定指标包括正相关指标和负相关指标，其中正相关指标包括：总答题得分、总答题满分个数、总答题时长、单位时间尝试编译运行次数、单位时间内提交服务器次数、同一题目的不同实现方案和快捷键使用频率；负相关指标包括：平均题目理解/答题的时间差和平均代码执行时长。

6.如权利要求1所述的方法，其特征在于，所述基础指标包括评估对象在数据业务服务端的基础指标、待评估对象在练习客户端系统的基础指标、待评估对象在考试客户端系统的基础指标、待评估对象在练习移动客户端的基础指标和待评估对象在线上交流学习Web端的基础指标。

7.如权利要求1所述的方法，其特征在于，结合综合评估函数得到对应待评估对象的编程能力综合评估结果；综合评估函数为其中，待评估对象a的雷达图的面积为d_j、周长为p_j，D为各待评估对象对应的雷达图中面积最大的雷达图的面积，面积评价向量周长评价向量

8.如权利要求1或7所述的方法，其特征在于，所述雷达图中的中间指标数据包括：成长指标、努力指标、耐心指标、效率指标和熟练指标。

9.一种编程能力综合评估系统，其特征在于，包括编程能力信息收集终端和服务端；其中，

编程能力信息收集终端，用于收集各待评估对象的基础指标并将其发送给服务端；

所述服务端，用于根据收集的数据生成每一待评估对象的各项设定指标数据；然后对得到的各项设定指标数据分别进行标准化处理，然后对标准化处理后的指标数据进行非线性变换，生成各待评估对象的雷达图；然后根据待评估对象的雷达图得到对应待评估对象的编程能力综合评估结果。

10.如权利要求9所述的系统，其特征在于，所述服务端结合综合评估函数得到对应待评估对象的编程能力综合评估结果；综合评估函数为其中，待评估对象a的雷达图的面积为d_j、周长为p_j，D为各待评估对象对应的雷达图中面积最大的雷达图的面积，面积评价向量周长评价向量