CN107678954A - 一种程序作业评测方法和装置 - Google Patents

一种程序作业评测方法和装置 Download PDF

Info

Publication number
CN107678954A
CN107678954A CN201710866537.XA CN201710866537A CN107678954A CN 107678954 A CN107678954 A CN 107678954A CN 201710866537 A CN201710866537 A CN 201710866537A CN 107678954 A CN107678954 A CN 107678954A
Authority
CN
China
Prior art keywords
code
score value
spice
student
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710866537.XA
Other languages
English (en)
Inventor
方宏
方达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Maritime Institute
Original Assignee
Jiangsu Maritime Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Maritime Institute filed Critical Jiangsu Maritime Institute
Priority to CN201710866537.XA priority Critical patent/CN107678954A/zh
Publication of CN107678954A publication Critical patent/CN107678954A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3604Software analysis for verifying properties of programs
    • G06F11/3608Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3692Test management for test results analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种程序作业评测方法和装置。本发明对学生的程序代码通过做代码风格检查并计算代码风格评分值,通过代码错误检查计算代码错误评分值,然后再加载程序代码后执行测试用例计算代码动态评分值,然后将代码风格评分值、代码错误评分值、代码动态评分值加权求和后得到最终评测分值。相比于现有技术,本发明最终评测分值结合了代码风格检查和代码错误检查,使得最终评分值更为人性化,并且也更为客观,对学生也更为公平。

Description

一种程序作业评测方法和装置
技术领域
本发明涉及学生程序作业的自动化批改。
背景技术
专利文献CN 106326112A公开了一种程序作业自动批改的方法和装置。该程序作业自动批改的方法和装置通过加载程序代码,然后执行测试用例,根据每个测试用例执行情况给出相应的评分值,最终得到程序作业的评分值。该方法非常客观,但缺少人性化。比如有时某个学生虽然代码作业完成很好,但仅仅有个小小的非关键性错误导致其程序代码无法加载执行,最终得到的评分值很低。而在实际的编程教学中,教师往往会从功能、性能、代码风格、常见编程错误等多角度评价学生提交的代码,并给出评价意见。该专利文献中的方法完全抛弃了教师从其他方面对学生的考核评价,与教师实际作出的评价不符。另外从学生的角度来看,如此客观非人性化的评价对其也不公平。
发明内容
本发明所要解决的问题:现有的程序作业评价方法缺少人性化,与教师实际评价不太符合,对学生也不公平。
为解决上述问题,本发明采用的方案如下:
根据本发明的一种程序作业评测方法,包括如下步骤:
S1:获取教师的作业题集和各个学生的作业程序数据;所述作业程序数据包含程序代码;
S2:根据预先定义的代码风格规则,对各个学生的作业程序数据中的程序代码做代码风格检查,然后根据代码风格检查的结果计算代码风格评分值V1=100×(1-F1/N1);其中,V1为代码风格评分值,F1为未通过检查的代码风格规则数,N1为代码风格规则总数;
S3:根据预先定义的错误代码类型,对各个学生的作业程序数据中的程序代码做错误代码检查,然后根据错误代码检查的结果计算错误代码评分值V2=100×(1-F2/N2);其中,V2为错误代码评分值,F2为所发现的错误代码类型数,N2为错误代码类型总数;
S4:加载各个学生的作业程序数据中的程序代码并执行测试用例,然后根据程序代码加载结果以及测试用例执行结果计算代码动态评分值V3=D1+D2;其中,V3为代码动态评分值,D1为加载评分值,D2为测试用例执行评分值;
S5:对代码风格评分值V1、错误代码评分值V2以及代码动态评分值V3进行加权求和得到最终评测分值V。
进一步,根据本发明的程序作业评测方法,所述步骤S4中,测试用例执行评分值D2的计算公式为:其中,Ti为第i个测试用例执行评分值;Bi为第i个测试用例执行总分值,K为预先定义的系数。
根据本发明的一种程序作业评测装置,包括以下模块:
M1,用于:获取教师的作业题集和各个学生的作业程序数据;所述作业程序数据包含程序代码;
M2,用于:根据预先定义的代码风格规则,对各个学生的作业程序数据中的程序代码做代码风格检查,然后根据代码风格检查的结果计算代码风格评分值V1=100×(1-F1/N1);其中,V1为代码风格评分值,F1为未通过检查的代码风格规则数,N1为代码风格规则总数;
M3,用于:根据预先定义的错误代码类型,对各个学生的作业程序数据中的程序代码做错误代码检查,然后根据错误代码检查的结果计算错误代码评分值V2=100×(1-F2/N2);其中,V2为错误代码评分值,F2为所发现的错误代码类型数,N2为错误代码类型总数;
M4,用于:加载各个学生的作业程序数据中的程序代码并执行测试用例,然后根据程序代码加载结果以及测试用例执行结果计算代码动态评分值V3=D1+D2;其中,V3为代码动态评分值,D1为加载评分值,D2为测试用例执行评分值;
M5,用于:对代码风格评分值V1、错误代码评分值V2以及代码动态评分值V3进行加权求和得到最终评测分值V。
进一步,根据本发明的程序作业评测装置,所述模块M4中,测试用例执行评分值D2的计算公式为:其中,Ti为第i个测试用例执行评分值;Bi为第i个测试用例执行总分值,K为预先定义的系数。
本发明的技术效果如下:本发明最终评测分值结合了代码风格检查和代码错误检查,使得最终评分值更为人性化,并且也更为客观,对学生也更为公平。
附图说明
图1是作业程序数据文件夹结构。
具体实施方式
下面结合附图对本发明做进一步详细说明。
本实施例是一个针对Java程序作业自动批改的,通过Java语言实现的实施例。
一、作业题集的输入
作业题集采用XML文件方式,教师将作业题的内容编辑成一个XML文件。下述XML文件是一个作业题集的实施例:
<?xml version="1.0"encoding="UTF-8"?>
<tc version="1.0"url="http://code.google.com/p/java-assign-judge/">
<generator name="fanghong"
url="http://code.google.com/p/java-assign-judge/"/>
<item><!--作业1Hello-->
<title><![CDATA[Hello]]></title><!--作业主题-->
<time_limit><![CDATA[10]]></time_limit><!--程序执行时间限制-->
<memory_limit><![CDATA[10]]></memory_limit><!--程序内存占用限制-->
<testcase tcid=1><!--测试用例-->
<input><![CDATA[]]></input><!--测试输入数据-->
<output><![CDATA[hello]]></output><!--测试输出数据-->
<bexitcmd><![CDATA[true]]></bexitcmd><!--是否退出-->
<time_base><![CDATA[5]]></time_base><!--标准执行时间-->
<memory_base><![CDATA[5]]></memory_base><!--标准内存占用-->
<score><![CDATA[100]]></score><!--测试通过分值-->
</testcase></item>
<item><!--作业2猜数游戏-->
<title><![CDATA[GuessNumber]]></title><!--作业主题-->
<time_limit><![CDATA[15]]></time_limit><!--程序执行时间限制-->
<memory_limit><![CDATA[10]]></memory_limit><!--程序内存占用限制-->
<testcase tcid=1>
<input><![CDATA[]]></input>
<output><![CDATA[开始]]></output>
<time_base><![CDATA[5]]></time_base>
<memory_base><![CDATA[5]]></memory_base>
<score><![CDATA[10]]></score>
<bexitcmd><![CDATA[false]]></bexitcmd>
</testcase>
<!--猜数-->
<testcase tcid=2>
<input><![CDATA[1]]></input>
<output><![CDATA[]]></output>
<time_base><![CDATA[5]]></time_base>
<memory_base><![CDATA[5]]></memory_base>
<score><![CDATA[20]]></score>
<bexitcmd><![CDATA[false]]></bexitcmd>
</testcase>
<!--设置难度参数-->
<testcase tcid=3>
<input><![CDATA[2]]></input>
<output><![CDATA[]]></output>
<time_base><![CDATA[5]]></time_base>
<memory_base><![CDATA[5]]></memory_base>
<score><![CDATA[20]]></score>
<bexitcmd><![CDATA[false]]></bexitcmd>
</testcase>
<testcase tcid=4>
<input><![CDATA[1]]></input>
<output><![CDATA[开始]]></output>
<time_base><![CDATA[5]]></time_base>
<memory_base><![CDATA[5]]></memory_base>
<score><![CDATA[20]]></score>
<bexitcmd><![CDATA[false]]></bexitcmd>
</testcase>
<!--再次猜数-->
<testcase tcid=5>
<input><![CDATA[1]]></input>
<output><![CDATA[]]></output>
<time_base><![CDATA[5]]></time_base>
<memory_base><![CDATA[5]]></memory_base>
<score><![CDATA[20]]></score>
<bexitcmd><![CDATA[false]]></bexitcmd>
</testcase>
<!--退出-->
<testcase tcid=6>
<input><![CDATA[3]]></input>
<output><![CDATA[]]></output>
<time_base><![CDATA[5]]></time_base>
<memory_base><![CDATA[5]]></memory_base>
<score><![CDATA[20]]></score>
<bexitcmd><![CDATA[true]]></bexitcmd>
</testcase>
</item>
</tc>
上述XML格式文件定义了Hello和猜数游戏两个作业题描述。每个作业题描述包含了作业主题,由title标记定义;程序执行时间限制,由time_limit标记定义;程序内存占用限制,由memory_limit标记定义;测试用例数据,由testcase标记定义。其中Hello作业题只有一个测试用例数据,而猜数游戏由5个测试用例数据组成测试用例集。测试用例数据包含了测试输入数据,由input标记定义;测试输出数据,由output标记定义;标准执行时间,由time_base标记定义;标准内存占用,由memory_base标记定义;测试通过分值,由score标记定义。本实施例XML格式文件定义的作业题集由专用工具编辑而成。由于作业题集作为本发明的输入,因此,该专用工具如何实现并不是本发明所讨论的范畴,不再赘述。
二、作业程序数据的输入
本实施例作业程序数据通过文件夹的方式实现,当作业程序数据导入本系统时,以文件夹为单位。如图1所示,该文件夹包含有各个学生的子文件夹,每个子文件夹的名称与对应的学生名称相同。每个学生的子文件夹中包含了该学生的程序代码。每个学生的程序代码可能有多个,每个程序代码的文件名与作业题描述中的作业主题相同。由此,可以根据程序代码的文件名找到对应的作业题描述。
三、批改评分
批改评分分成四个步骤:代码风格评分,错误代码评分,代码动态评分,最终评分计算。
1、代码风格评分
代码风格评分步骤也就是前述步骤S2。代码风格评分步骤更为具体地可分成两个步骤:代码风格检查步骤和代码风格评分值计算步骤。
本实施例中,代码风格检查步骤采用了开源chekstyle程序,开源chekstyle程序详见https://github.com/checkstyle/checkstyle。代码风格检查步骤的输入,也即checkstyle的输入,为程序代码文本和代码风格规则的配置文件。代码风格检查步骤的输出,也就是checkstyle的输出,为不良风格代码行号及对应的规则。
checkstyle支持通过xml配置文件定义代码风格规则,样例如下:
代码风格评分值计算步骤中,首先对checkstyle的输出进行统计,也就是,对不良风格代码行号及对应的规则进行统计,统计出未通过检查的代码风格规则数F1,然后根据xml配置文件定义的代码风格规则数N1,计算出代码风格评分值:
V1=100×(1-F1/N1);
其中,V1为代码风格评分值;
F1为未通过检查的代码风格规则数;
N1为代码风格规则总数。
由上述公式可见,代码风格评分值V1是一个介于0~100的值。
2、错误代码评分
错误代码评分步骤也就是前述步骤S3。错误代码评分步骤,更为具体地,可以分成两个步骤:错误代码检查步骤和错误代码评分值计算步骤。
本实施例中,误代码检查步骤采用了开源findbug程序,开源findbug程序详见http://findbugs.sourceforge.net/。开源findbug程序可以检查7大类,一百多种代码问题,可以通过设置代码问题过滤xml文件,将不需要报告的错误过滤掉。未罗列在代码问题过滤xml文件中的代码问题即为本发明所指的错误代码类型。因此,本实施例中,错误代码类型的定义通过编辑findbug的代码问题过滤xml文件实现。错误代码检查步骤的输入为程序代码文本和错误代码类型,也就是,findbug的输入为程序代码文本和代码问题过滤xml文件。错误代码检查步骤的输出,也就是,findbug的输出为错误代码行号及对应的错误类型。
错误代码评分值计算步骤中,首先对findbug的输出进行统计,也就是,对错误代码行号及对应的错误类型进行统计,统计出所发现的错误代码类型数F2,然后根据代码问题过滤xml文件所确定的错误代码类型总数N2,计算出错误代码评分值:
V2=100×(1-F2/N2);
其中,V2为错误代码评分值;
F2为所发现的错误代码类型数;
N2为错误代码类型总数。
由上述公式可见,错误代码评分值V2是一个介于0~100的值。
3、代码动态评分
代码动态评分步骤也就是前述步骤S4,加载各个学生的作业程序数据中的程序代码并执行测试用例,然后根据程序代码加载结果以及测试用例执行结果计算代码动态评分值V3=D1+D2;其中,V3为代码动态评分值,D1为加载评分值,D2为测试用例执行评分值。测试用例执行评分值D2的计算公式为:其中,Ti为第i个测试用例执行评分值;Bi为第i个测试用例执行总分值,K为预先定义的系数。
本实施例中,K取值80,因此D2的取值范围为0~80。当程序代码加载成功时,D1取值20;当程序代码加载失败时,D1为0。由此,代码动态评分值V3介于0~100。
代码动态评分步骤具体可参照专利文献CN 106326112A。本说明书不再赘述。
4、最终评分计算
最终评分计算步骤也就是前述的步骤S5,对代码风格评分值V1、错误代码评分值V2以及代码动态评分值V3进行加权求和得到最终评测分值V。该步骤用数学公式可以表述为:
V=V1×C1+V2×C2+V3×C3;
其中,V为最终评测分值,C1、C2、C3为预先设定的系数并满足C1+C2+C3=1。
本实施例中,C1,C2取值为0.1,C3取值为0.8。
本领域技术人员理解,根据侧重点的不同,C1、C2、C3的具体值可作出适当调整。
四、评分结果的输出
本实施例以CSV表格文件的形式输出评分结果。评分结果也即各个学生的作业评分数据。作业评分数据包括学生名称、最终评测分值。下述表格是最终评分结果输出的实施例。
Hello GuessNumber
学生A 100 60
学生B 100 70
学生C 100 100
上述实施例中,Hello和GuessNumber为作业题的主题。
需要说明的是,上述实施例是针对Java语言程序作业的批改评分的实施例,通过上述方法,也可以对实现对其他语言程序作业的批改。

Claims (4)

1.一种程序作业评测方法,其特征在于,包括如下步骤:
S1:获取教师的作业题集和各个学生的作业程序数据;所述作业程序数据包含程序代码;
S2:根据预先定义的代码风格规则,对各个学生的作业程序数据中的程序代码做代码风格检查,然后根据代码风格检查的结果计算代码风格评分值V1=100×(1-F1/N1);其中,V1为代码风格评分值,F1为未通过检查的代码风格规则数,N1为代码风格规则总数;
S3:根据预先定义的错误代码类型,对各个学生的作业程序数据中的程序代码做错误代码检查,然后根据错误代码检查的结果计算错误代码评分值V2=100×(1-F2/N2);其中,V2为错误代码评分值,F2为所发现的错误代码类型数,N2为错误代码类型总数;
S4:加载各个学生的作业程序数据中的程序代码并执行测试用例,然后根据程序代码加载结果以及测试用例执行结果计算代码动态评分值V3=D1+D2;其中,V3为代码动态评分值,D1为加载评分值,D2为测试用例执行评分值;
S5:对代码风格评分值V1、错误代码评分值V2以及代码动态评分值V3进行加权求和得到最终评测分值V。
2.如权利要求1所述的程序作业评测方法,其特征在于,所述步骤S4中,测试用例执行评分值D2的计算公式为:其中,Ti为第i个测试用例执行评分值;Bi为第i个测试用例执行总分值,K为预先定义的系数。
3.一种程序作业评测装置,其特征在于,包括以下模块:
M1,用于:获取教师的作业题集和各个学生的作业程序数据;所述作业程序数据包含程序代码;
M2,用于:根据预先定义的代码风格规则,对各个学生的作业程序数据中的程序代码做代码风格检查,然后根据代码风格检查的结果计算代码风格评分值V1=100×(1-F1/N1);其中,V1为代码风格评分值,F1为未通过检查的代码风格规则数,N1为代码风格规则总数;
M3,用于:根据预先定义的错误代码类型,对各个学生的作业程序数据中的程序代码做错误代码检查,然后根据错误代码检查的结果计算错误代码评分值V2=100×(1-F2/N2);其中,V2为错误代码评分值,F2为所发现的错误代码类型数,N2为错误代码类型总数;
M4,用于:加载各个学生的作业程序数据中的程序代码并执行测试用例,然后根据程序代码加载结果以及测试用例执行结果计算代码动态评分值V3=D1+D2;其中,V3为代码动态评分值,D1为加载评分值,D2为测试用例执行评分值;
M5,用于:对代码风格评分值V1、错误代码评分值V2以及代码动态评分值V3进行加权求和得到最终评测分值V。
4.如权利要求1所述的程序作业评测装置,其特征在于,所述模块M4中,测试用例执行评分值D2的计算公式为:其中,Ti为第i个测试用例执行评分值;Bi为第i个测试用例执行总分值,K为预先定义的系数。
CN201710866537.XA 2017-09-22 2017-09-22 一种程序作业评测方法和装置 Pending CN107678954A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710866537.XA CN107678954A (zh) 2017-09-22 2017-09-22 一种程序作业评测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710866537.XA CN107678954A (zh) 2017-09-22 2017-09-22 一种程序作业评测方法和装置

Publications (1)

Publication Number Publication Date
CN107678954A true CN107678954A (zh) 2018-02-09

Family

ID=61135878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710866537.XA Pending CN107678954A (zh) 2017-09-22 2017-09-22 一种程序作业评测方法和装置

Country Status (1)

Country Link
CN (1) CN107678954A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783106A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于编辑距离的自适应反馈程序评测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170466B2 (en) * 2005-05-27 2012-05-01 Ctb/Mcgraw-Hill System and method for automated assessment of constrained constructed responses
CN102804147A (zh) * 2010-03-29 2012-11-28 株式会社软4软 执行abap源代码的代码检查的代码检查执行系统
CN105427695A (zh) * 2015-11-03 2016-03-23 中国农业大学 编程类考题自动测评方法和系统
CN106294164A (zh) * 2016-08-15 2017-01-04 中国银行股份有限公司 一种代码检查方法及装置
CN106326112A (zh) * 2016-08-15 2017-01-11 江苏海事职业技术学院 一种程序作业自动批改的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170466B2 (en) * 2005-05-27 2012-05-01 Ctb/Mcgraw-Hill System and method for automated assessment of constrained constructed responses
CN102804147A (zh) * 2010-03-29 2012-11-28 株式会社软4软 执行abap源代码的代码检查的代码检查执行系统
CN105427695A (zh) * 2015-11-03 2016-03-23 中国农业大学 编程类考题自动测评方法和系统
CN106294164A (zh) * 2016-08-15 2017-01-04 中国银行股份有限公司 一种代码检查方法及装置
CN106326112A (zh) * 2016-08-15 2017-01-11 江苏海事职业技术学院 一种程序作业自动批改的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾台盛: "基于B/S模式的程序设计在线评测系统设计", 《长江大学学报(自科版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783106A (zh) * 2018-12-28 2019-05-21 西安交通大学 一种基于编辑距离的自适应反馈程序评测方法及装置

Similar Documents

Publication Publication Date Title
CN112052172B (zh) 第三方通道的快速测试方法、装置和电子设备
CN105824713B (zh) 一种数据校验方法及装置
CN101902470A (zh) 一种基于表单特征的Web安全漏洞动态检测方法
CN106326112B (zh) 一种程序作业自动批改的方法和装置
CN110990295B (zh) 测试用例的验证方法、装置及电子设备
CN104317707B (zh) 一种基于程序结构影响感知的软件错误定位方法
Aimran et al. Confirming the mediation effect of a structural model by using bootstrap approach: A case study of Malaysian 8th grade students’ mathematics achievement
CN109976990A (zh) 一种用于确认软件测试用例优先级的方法及系统
Pornprasertmanit et al. A Monte Carlo approach for nested model comparisons in structural equation modeling
CN106959919A (zh) 基于测试路径图的软件测试方法及装置
CN107678954A (zh) 一种程序作业评测方法和装置
CN112527573B (zh) 一种接口测试方法、装置及存储介质
CN111176253A (zh) 一种基于蒙特卡洛的飞行控制律自动评估方法
WO2010056316A1 (en) Constructed response scoring mechanism
CN114168399A (zh) 一种信号处理单元测试方法及系统
CN107230171A (zh) 一种学生择业取向评价方法及系统
CN105843973B (zh) 一种基于案例的设计知识的描述方法及系统
CN102436525A (zh) 一种集成电路设计过程中多节点并行自动修复保持时间违例的方法
Dölek et al. Investigation of the problem solving and posing of elementary school fourth graders
Boja et al. Code quality metrics evaluation platform in software engineering education
CN115455903B (zh) 一种验证操作符的系统
CN113434408B (zh) 一种基于测试预言的单元测试用例排序方法
CN111159861B (zh) 基于数据包络分析的锂电池多源可靠性试验数据评价方法
CN113495928B (zh) 数据一致性校验方法、装置、电子设备和可读存储介质
Shigematsu et al. Development of a Diagnostic Tool to Verify the Adequacy of Multiple-Choice Fill-in-the-Blank Programming Learning Tasks and the Appropriateness of Their Difficulty Level

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180209

RJ01 Rejection of invention patent application after publication