CN108364244A - 一种基于多记录匹配的erp技能自动评分方法及装置 - Google Patents

Abstract

本发明提供一种基于多记录匹配的ERP技能自动评分方法及装置，能够提高评分质量。所述方法包括：获取题目的初始数据D1、答案数据D2和答卷数据D3；逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型；获取用于评分的多记录匹配策略；根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录；根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分。本发明适用于企业信息系统的技能性非客观题的自动测评。

Description

一种基于多记录匹配的ERP技能自动评分方法及装置

技术领域

本发明涉及计算机辅助测评、计算机化自适应测验、企业信息系统领域，特别是指一种基于多记录匹配的ERP技能自动评分方法及装置。

背景技术

近年来，随着IT技术及国家经济水平的飞速发展，国内外企业对企业资源计划(Enterprise Resource Planning，ERP)软件的应用需求和人才需求日渐增长。为高效地培养ERP人才，ERP技能实训课在各大本科高校及大专院校都相继开展。以用友ERP-U8软件为例，目前已经有2000多所高校采用该软件进行教学与实训。

由于ERP系统功能复杂、数据量大，为减少学生的实训复杂度，目前高校中的用友ERP实训及相关技能竞赛的环境，还是以学生单机完成企业信息化操作为主，即让学生在具有用友ERP-U8环境的计算机上，操作本地的ERP软件并按要求完成一系列的业务操作，相应的实训测评也是对学生本机的操作结果进行评判。另外，由于ERP系统自身不包括自动测评功能，所以对学生操作结果正误的评判，一般需要单独开发教考系统，多采用评判操作结果的评分模式。

ERP实训的测评，属于技能性非客观题的自动测评，是计算机辅助测评(ComputerAssisted Assessment，CAA)中的重点和难点，是一个多学科交叉的研究课题。技能测评应在两个层面上进行，一是面向应用的结果正确性评价，二是面向操作的操作序列评价。面向应用的结果正确性评价是与标准答案比较，“一致”就算正确。“一致”的判别就是在解析了操作结果的数据中(如U8的答题账套中或操作结果手动填空)进行字符串匹配。

由于ERP系统是面向企业管理的，其实训的出发点和终点都是企业业务的信息化技能，而且ERP系统是集管理流程、单据流程和操作流程于一体的企业人、财、物、信息等多资源的集成系统，各种静态数据和动态的操作结果都保存在账套中，所以利用ERP实训的操作结果(如账套)进行结果正确性评价，是目前的主流处理策略。

在现有的教考系统中，是基于教师在制题时指定的数据项及其值的匹配，来对学生的操作结果甑别对错。这种基于关键字匹配的、答案数据与阅卷规则一体化的评判方式，其有效性与制题教师的专业能力和试题的特点有密切关系。如果设置的评分关键字质量不高(例如因太少而区分度不够、因要求同时满足的数据项太多而扣分太严)，则甑别结果就不能正确反映学生的技能水平，其评分质量有待提高。

例如，在ERP软件中完成业务操作后，账套的很多单据表中都会出现多记录的情况。例如，普通订货业务，若有两笔采购订货其采购日期与供应商不同，但订购的物品均为W1、W2，且其数量、原币单价和计划到货日期都对应相同，则操作完成后的账套中采购订单子表都应该有4条记录，即教师的答案账套与学生的答卷账套中都应该有这4条记录。但若学生S只完成了第一笔订购业务，则答卷账套的采购订单子表中只有2条记录。

若两笔采购业务在制题时，都是针对采购订单子表按记录设置评分点，其评分数据项均为存货编码、数量、原币单价和计划到货日期(这是目前会计技能大赛中常用的设置方案)，则学生S尽管没有做第二笔业务，即没有做第二笔业务的W1、W2采购，仍然可以得分，原因是第一笔业务中采购W1、W2的信息，能够匹配上学生没有做的第二笔业务中的采购信息(此时因评分关键字段太少而导致区分度不够)。反过来，如果学生S在第一笔业务中将W1的数量或单价录入错了，则这条记录完全不得分，尽管他在4个数据项中只错了一个数据项(此时因评分关键字段太多而导致扣分过多)。

发明内容

本发明要解决的技术问题是提供一种基于多记录匹配的ERP技能自动评分方法及装置，以解决现有技术所存在的仅基于关键字段评分法评分存在评分质量低的问题。

为解决上述技术问题，本发明实施例提供一种基于多记录匹配的ERP技能自动评分方法，包括：

获取题目的初始数据D1、答案数据D2和答卷数据D3，其中，D1、D2、D3各包含1个或多个数据表，每个数据表包括1条或多条记录，每条记录包括1个或多个数据项；

逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型；

获取用于评分的多记录匹配策略，获取的多记录匹配策略为关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的一种；

根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录；

根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分。

进一步地，所述操作类型包括：增、删、改、一致；

所述逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型包括：

若D2中某个数据表t1的某条记录r211，基于主键的值在D1的对应数据表t1中没有匹配记录，则标记r211的操作类型为增；

若D2中某个数据表t1的某条记录r211，基于主键的值在D1的对应数据表t1中有匹配的记录r112，则逐一字段地在r211与r112之间进行值比较，若相等，则标记r211的操作类型为一致；若有差异，则标记r211的操作类型为改，并同时标记被修改的数据项；

若D2中某个数据表t1的所有记录已经都被标识，但D1的对应数据表t1中还有记录r114，则将r114增加到D2的数据表t1中，并标记新增加的记录的操作类型为删。

进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为关键字匹配法，则基于D2数据表t1中第一记录的关键字段，与D3数据表t1中各条记录逐一进行匹配，若与D3数据表t1中第二记录的相应字段值相等，则在D3数据表t1的第二记录中记录其标准答案为D2数据表t1中的第一记录。

进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为局部最优正确率匹配法，则逐一取D2数据表t1中的记录，与D3数据表t1中各条记录进行全记录/权重值不为0的字段值的相似度计算，并取相似度最大的候选记录作为匹配记录进行标记，其中，D3数据表t1中的记录为候选记录。

进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为局部最优得分率匹配法，则逐一取D2数据表t1中的记录，与D3数据表t1中各条记录进行全记录/权重值不为0的字段值的记录卷面分得分率计算，并取得分率最大的候选记录作为匹配记录进行标记，其中，D3数据表t1中的记录为候选记录。

进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为全局最优正确率匹配法，则组合计算2个数据表t1中所有记录的全记录/权重值不为0的字段值的相似度，组成n*n的相似度矩阵，求所述相似度矩阵的相似度最大值，得到一个匹配系列，其中，n表示数据表t1中记录的数目，所述匹配系列是由每行每列中选取的具有全局相似度之和最大的单元格组成的系列，每行每列中必须且只能取一个单元格；

根据得到的匹配系列，在D3的各条记录中标记其对应的标准答案记录。

进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为全局最优得分率匹配法，则组合计算2个数据表t1中所有记录的全记录/权重值不为0的字段值的得分率，组成n*n的得分率矩阵，求所述得分率矩阵的得分率最大值，得到一个匹配系列，其中，n表示数据表t1中记录的数目，所述匹配系列是由每行每列中选取的具有全局得分率之和最大的单元格组成的系列，每行每列中必须且只能取一个单元格；

根据得到的匹配系列，在D3的各条记录中标记其对应的标准答案记录。

进一步地，所述根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分包括：

根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项的权重，计算答卷记录的卷面分；

对D3中每个数据表中所有答卷记录的卷面分分别进行合计，得到每个数据表的卷面分；

对所有的数据表卷面得分，按预先设置的数据表的权重进行加权求和；

若是按单题提交答卷数据，则得到本单题的卷面分；若是按试卷提交答卷数据，则得到本试卷的卷面分。进一步地，所述根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分还包括：

生成评分字段正误的评语反馈和每条答卷记录的正误统计反馈；和/或，

生成每个数据表的正误统计反馈信息；和/或，

若是按单题提交答卷数据，则生成本单题的正误统计反馈信息；和/或，

若是按试卷提交答卷数据，则生成本试卷的正误统计反馈信息。

本发明实施例还提供一种基于多记录匹配的ERP技能自动评分装置，包括：

第一获取单元，用于获取题目的初始数据D1、答案数据D2和答卷数据D3，其中，D1、D2、D3各包含1个或多个数据表，每个数据表包括1条或多条记录，每条记录包括1个或多个数据项；

标记单元，用于逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型；

第二获取单元，用于获取用于评分的多记录匹配策略，获取的多记录匹配策略为关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的一种；

匹配单元，用于根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录；

计算单元，用于根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分。

本发明的上述技术方案的有益效果如下：

上述方案中，针对存在多记录的数据表，对学生答卷数据与教师答案数据中对应数据表的记录，可以选择关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的某一种记录匹配方法，以更加精准和智能地对学生的ERP技能进行评分，以满足个性化的评分需求和多策略的评分结果测算，提高自动评分的质量。

附图说明

图1为本发明实施例提供的基于多记录匹配的ERP技能自动评分方法的流程示意图；

图2为本发明实施例提供的基于多记录匹配的ERP技能自动评分装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的仅基于关键字段评分法评分存在评分质量低的问题，提供一种基于多记录匹配的ERP技能自动评分方法及装置。

实施例一

如图1所示，本发明实施例提供的基于多记录匹配的ERP技能自动评分方法，包括：

S101，获取题目的初始数据D1、答案数据D2和答卷数据D3，其中，D1、D2、D3各包含1个或多个数据表，每个数据表包括1条或多条记录，每条记录包括1个或多个数据项；

S102，逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型；

S103，确定用于评分的多记录匹配策略，其中，确定的多记录匹配策略为关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的一种；

S104，根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录；

S105，根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分。

本发明实施例所述的基于多记录匹配的ERP技能自动评分方法，针对存在多记录的数据表，对学生答卷数据与教师答案数据中对应数据表的记录，可以选择关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的某一种记录匹配方法，以更加精准和智能地对学生的ERP技能进行评分，以满足个性化的评分需求和多策略的评分结果测算，提高自动评分的质量。

为了更好地理解本发明实施例提供的基于多记录匹配的ERP技能自动评分方法，对其进行详细说明，所述方法具体可以包括以下步骤：

A11，获取数据。

本实施例中，获取数据是获取教师出题题目的初始数据D1、答案数据D2和学生的答卷数据D3，其中，D1、D2、D3各包含1个或多个数据表，每个数据表包括1条或多条记录，每条记录包括1个或多个数据项。

在操作完备的情况下，答案数据D2与答卷数据D3中的数据表以及表中的记录数是一一对应的。下面的分析以操作完备为前提，其他特殊情况处理类似。

A12，获取评分参数。

本实施例中，评分参数是教师在出题、组卷时设置的各种与评分有关的参数，主要包括：多记录匹配策略、各种类型的单据与数据项的权重，还可以包括：考核模式(实训或测评)、开考时间、结束时间、考试用时、计算时长方式、成绩重算次数、成绩计算模型(如等比运算、等级赋分)、按组计分方法(如合计、平均分、最高分、最低分)，允许答题次数、多次答题罚分方式(如不罚分、每次罚分50％、每次罚分20％、每次罚分10％、每次罚分5％)。

说明：考核模式中的实训，是按单题提交答卷数据；考核模式中的测评是按试卷提交答卷数据。

本实施例中，多记录匹配策略的选项包括但不限于：关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法等等，在实际应用中，可以根据实际情况进行补充。在一次的ERP技能评分中，只能使用一种匹配方法，所以在组卷时，需要教师设置本次考试的面向评分的多记录匹配策略。

本实施例中，单据即数据表，其评分权重是针对该类数据表的，用于单题或试卷评分时对不同数据表的加权；数据项即字段，其评分权重是针对该类字段的，用于记录评分对不同字段的加权。

本实施例中，多记录匹配是对教师的答案数据D2与学生的答卷数据D3各个对应数据表(如t1)中的记录进行逐一匹配。通常需要匹配的是多条记录，例如D2的t1中可能有r211，r212，r213；D3的t1中可能有r311，r312和r313。如何匹配r211，r212，r213与r311，r312，r313，是ERP技能评分质量高低的关键。如果匹配算法不合理，将导致评分结果不能正确反映学生的技能水平。

1)、关键字匹配法，是基于t1中的关键字段，对r211，r212，r213与r311，r312，r313进行循环匹配。以r211为例，将r211的关键字段的值，逐一与r311，r312，r313进行匹配，只有在与某条记录(如r312)的相应字段值完全相等的情况下，才会认为r211与r312是匹配的，并在评分环节以r211为标准答案，对r312进行评分。该方法与现行的主流匹配与评分方法类似，其评分质量依赖于关键字段设置的合适程度。若关键字段中包含的数据项过多(比如多于3个)，则学生在输错某一个数据项的情况下，就会与标准答案记录匹配不上，从而出现漏配现象，则该记录在评分时因为没有匹配的标准答案而不能参与评分(即系统认为：学生没有完成与该记录有关的操作)；

若关键字段中包含的数据项过少(比如少于3个)，则会出现教师的答案记录与学生的答卷记录多对多匹配成功的情况，系统若优选第一条匹配成功的答卷记录为对应的记录，就容易出现错配现象，则该记录在评分时因为与错配的标准答案为基准进行判分，从而导致评分有误。所以关键字匹配法，可能出现错配或漏配现象，进而导致有误判的风险。

2)、局部最优正确率匹配法，是逐一取r211，r212，r213(以r211为例)，与r311，r312，r313进行全记录(或权重值不为0的字段值)的相似度计算，并取相似度最大的记录(如r312)为匹配记录。该方法可确保教师答案记录与学生答卷记录的一一对应，从而避免漏配现象，但可能出现错配现象(例如学生没有删除应该删除的一条记录，而且在相应数据表中少增加了一条记录)，而且不能保证匹配的全局是最优的。因为可能出现错配现象，所以存在误判的风险。另外，记录相似度计算的复杂度高于关键字匹配计算的复杂度。

3)、局部最优得分率匹配法，是逐一取r211，r212，r213(以r211为例)，与r311，r312，r313进行全记录(或权重值不为0的字段值)的记录卷面分得分率计算，即记录中字段值正确的字段与其权重乘积之和除以参与评分的所有字段与其权重乘积之和，并取得分率最大的记录(如r312)为匹配记录。该方法可确保教师答案记录与学生答卷记录的一一对应，从而避免漏配现象，但可能出现错配现象，而且不能保证匹配的全局是最优的。因为可能出现错配现象，所以存在误判的风险。另外，记录相似度计算的复杂度高于关键字匹配计算的复杂度。

说明：如果仅对“增”操作类型的记录(删和改的记录，仅需进行主标识比较，不需要进行多记录匹配)，进行局部最优正确率匹配/局部最优得分率匹配，则可以避免上述的错配现象。

4)、全局最优正确率匹配法，是首先组合计算所有记录的全记录(或权重值不为0的字段值)的相似度，组成n*n的相似度矩阵(所述相似度矩阵为对称矩阵)，n表示数据表t1中记录的数目，然后求该矩阵的相似度最大值，得到一个匹配系列，根据得到的匹配系列，在答卷数据的各条记录中标记其对应的标准答案记录。该方法可确保教师答案记录与学生答卷记录的一一对应，从而避免漏配现象，而且可以保证匹配的全局最优性，但仍然有出现错配现象的可能性。还有，相似度矩阵的计算与矩阵相似度最大值的求解计算，其复杂度远高于关键字匹配计算的复杂度。

本实施例中，相似度矩阵是每个单元格中有相似度值的矩阵，每行每列中必须且只能取一个单元格，若选取的所有单元格的相似度之和为全局最大值，则选取的单元格组成的系列，为本实施例中的匹配系列。

5)、全局最优得分率匹配法，是首先组合计算所有记录的全记录(或权重值不为0的字段值)的得分率，组成n*n的得分率矩阵(所述得分率矩阵为对称矩阵)，n表示数据表t1中记录的数目，然后求该矩阵的得分率最大值，得到一个匹配系列，根据得到的匹配系列，在答卷数据的各条记录中标记其对应的标准答案记录。该方法可确保教师答案记录与学生答卷记录的一一对应，从而避免漏配现象，而且可以保证匹配的全局最优性，但仍然有出现错配现象的可能性。还有，得分率矩阵的计算与矩阵得分率最大值的求解计算，其复杂度远高于关键字匹配计算的复杂度。

本实施例中，得分率矩阵是每个单元格中有得分率值的矩阵，每行每列中必须且只能取一个单元格，若选取的所有单元格的得分率之和为全局最大值，则选取的单元格组成的系列，为本实施例中的匹配系列。

说明：如果仅对“增”操作类型的记录(删和改的记录，仅需进行主标识比较，不需要进行多记录匹配)，进行全局最优正确率匹配法/全局最优得分率匹配，则基本可以避免错配现象。

A13，标记答案数据。

标记答案数据是解析并标记答案数据D2中每条记录的操作类型(如增删改)，即基于数据表的主键(key words，如自动增长的主标识字段)，逐表(table)对题目的初始数据D1与答案数据D2中的所有记录(record)进行匹配运算，并基于匹配结果，标记答案数据D2中每条记录的操作类型，其中，标记的操作类型包括：增、删、改、一致。标记答案数据的具体步骤可以包括：

若D2中某个数据表t1的某条记录r211，基于主键的值在D1的对应数据表t1中没有匹配记录，则标记r211的操作类型为“增”；

若D2中某个数据表t1的某条记录r211，基于主键的值在D1的对应数据表t1中有匹配的记录r112，则逐一字段地在r211与r112之间进行值比较，若相等则标记r211的操作类型为“一致”(即此次操作没有编辑该记录)；若有差异，则标记r211的操作类型为“改”，并同时标记被修改的数据项；

若D2中某个数据表t1的所有记录已经标识了，但D1的对应数据表t1中还有记录r114，则将r114增加到D2的t1中(记为r215)，并标记r215的操作类型为“删”。

A14，记录匹配与评分。

答案数据与答卷数据的记录匹配，是基于评分参数中的多记录匹配策略，对教师的答案数据D2与学生的答卷数据D3各个对应数据表(如t1)中的记录(操作类型为“删”的除外)进行逐一匹配，并在D3的各条记录中标记其对应的标准答案记录(D2中的记录编号)。

A141，记录匹配

在前述基于多记录匹配的ERP技能自动评分方法的具体实施方式中，进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为关键字匹配法，则基于D2数据表t1中第一记录的关键字段，与D3数据表t1中各条记录逐一进行匹配，若与D3数据表t1中第二记录的相应字段值相等，则在D3数据表t1的第二记录中记录其标准答案为D2数据表t1中的第一记录。

在前述基于多记录匹配的ERP技能自动评分方法的具体实施方式中，进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为局部最优正确率匹配法，则逐一取D2数据表t1中的记录，与D3数据表t1中各条记录进行全记录/权重值不为0的字段值的相似度计算，并取相似度最大的候选记录作为匹配记录进行标记，其中，D3数据表t1中的记录为候选记录。

在前述基于多记录匹配的ERP技能自动评分方法的具体实施方式中，进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为局部最优得分率匹配法，则逐一取D2数据表t1中的记录，与D3数据表t1中各条记录进行全记录/权重值不为0的字段值的记录卷面分得分率计算，并取得分率最大的候选记录作为匹配记录进行标记，其中，D3数据表t1中的记录为候选记录。

在前述基于多记录匹配的ERP技能自动评分方法的具体实施方式中，进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为全局最优正确率匹配法，则组合计算2个数据表t1中所有记录的全记录/权重值不为0的字段值的相似度，组成n*n的相似度矩阵，求所述相似度矩阵的相似度最大值，得到一个匹配系列，其中，n表示数据表t1中记录的数目，其中，所述匹配系列是由每行每列中选取的具有全局相似度之和为最大的单元格组成的系列，每行每列中必须且只能取一个单元格；

根据得到的匹配系列，在D3的各条记录中标记其对应的标准答案记录。

在前述基于多记录匹配的ERP技能自动评分方法的具体实施方式中，进一步地，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为全局最优得分率匹配法，则组合计算2个数据表t1中所有记录的全记录/权重值不为0的字段值的得分率，组成n*n的得分率矩阵，求所述得分率矩阵的得分率最大值，得到一个匹配系列，其中，n表示数据表t1中记录的数目，所述匹配系列是由每行每列中选取的具有全局得分率之和最大的单元格组成的系列，每行每列中必须且只能取一个单元格；

根据得到的匹配系列，在D3的各条记录中标记其对应的标准答案记录。

A142，记录评分是基于已标记的答案数据(即标记了操作类型)、多记录的匹配结果(即对学生的答卷记录标记匹配的标准答案记录)，以及预先设置的评价参数中数据项的权重，对学生的答卷记录进行卷面分的计算，同时，还可以生成评分字段正误的评语反馈和每条答卷记录的正误统计反馈。

本实施例中，以局部最优正确率匹配法为例，说明记录的匹配与评分处理过程。假设教师的答案数据D2的t1表中，有5条已标记记录：r211(一致)、r212(增)、r213(改)、r214(删)、r215(增)；学生的答卷数据D3的t1表中，有4条记录：r311、r312、r313、r314。

A：操作类型为“一致”的记录(如r211)，表明该记录是初始记录且在本业务操作中不需要被编辑，则学生的答卷记录中也应该存在该记录，即“一致”操作类型的答案记录，应该有100％相似度的学生答卷记录(如r311)，且相应的答卷记录r311不计分。

B：操作类型为“删”的记录(如r214)，表明该记录是初始记录且在本业务操作中应该被删除，若学生的答卷记录中存在与该记录100％相似度的记录，则表明学生没有完成删除操作，本记录不计分；若不存在100％相似度的记录，则表明学生完成了删除操作，本记录计分为数据项权重的最大值。

C：操作类型为“改”的记录(如r213)，表明该记录是初始记录且在本业务操作中修改了部分字段的值。

在记录匹配时，可以先在学生的答卷记录中的还没有被匹配的所有记录中，先比较没有被修改的数据项(不包括操作员字段，因为该类字段的值可能随学生姓名不同而改变)，并在具有100％相似度的候选记录中，仅对已标记为被修改的数据项，分别计算候选记录与本答案记录的相似度，取其最高相似度的候选记录，为r213的匹配记录。

在记录评分时，将r213中标记为被修改的数据项的值，与r312的相应数据项(即字段)的值进行比较，字段值不相等的不计分，相等的则按该数据项的权重计分，最后合计得出本记录的卷面分，并自动生成评分字段正误的评语反馈和本记录的正误统计反馈。

说明：操作员字段中记录的是操作该数据表时的登录用户的姓名，如果需要对学生进行岗位能力诊断且防止学生间的答卷数据拷贝，则应该修改ERP用户的姓名为该用户的“权限+姓名”，这样ERP中所有操作员类的字段(如填表人、审核人、关闭人)，其值是因人而异的，故操作员类字段不能直接进行字段值比较。

D：操作类型为“增”的记录(以r212为例进行说明)，表明该记录是在本业务操作中被增加的，学生在新增该条对应的答卷记录(如r312)时，可能会出现录入错误、操作员角色错误等各种操作失误、系统若需进行技能诊断而对操作员字段的值随学生不同的改动，以及一些系统误差(如因操作顺序不同而导致的自动增长主标识字段的值，不能相等)，而导致不能100％与标准答案记录r212相似。

所以在记录匹配时，可以先在学生的答卷记录中的还没有被匹配的所有记录中，基于普通评分数据项计算记录的相似度，取其最高相似度的记录，为r212的匹配记录。

为尽可能精准地评价学生的实际技能，记录评分时仅对其普通评分数据项的值，逐一与r212中的对应字段进行比较，字段值不相等的不计分，相等的则按该数据项的权重计分，最后合计得出本记录的卷面分，并自动生成单字段正误的评语反馈和本记录的正误统计反馈。

特别地，普通评分数据项是指不包括自动增长主标识字段与操作员字段的其他类型字段。因为自动增长主标识字段，其值仅与操作顺序有关，本发明提供的装备允许学生的操作顺序与教师的不同，所以对此类字段不计分。操作员字段中记录的是操作该数据表时的登录用户的姓名，如果需要对学生进行岗位能力诊断且防止学生间的答卷数据拷贝，则应该修改ERP用户的姓名为该用户的“权限+姓名”，这样ERP中所有操作员类的字段(如填表人、审核人、关闭人)，其值是因人而异的。

A15，试卷评分，是计算本试卷的学生卷面得分。在答卷记录得分的基础上，先对学生答卷数据D3中某个数据表t1中所有的记录卷面分进行合计以得到数据表卷面分，再对所有的数据表卷面得分，按预先设置的单据的权重进行加权求和，其结果就是该学生本单题卷面分(若按单题提交答卷数据)或本试卷的卷面分(若按试卷提交答卷数据)。同时，还可以自动生成本单题/本试卷的正误统计反馈信息。

在前述基于多记录匹配的ERP技能自动评分方法的具体实施方式中，进一步地，所述根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷的卷面分还包括：

生成评分字段正误的评语反馈和每条答卷记录的正误统计反馈；

生成每个数据表、本单题(若按单题提交答卷数据)和/或本试卷(若按试卷提交答卷数据)的正误统计反馈信息。

A16，将卷面分与反馈信息，发送给老师和学生。

实施例二

本发明还提供一种基于多记录匹配的ERP技能自动评分装置的具体实施方式，由于本发明提供的基于多记录匹配的ERP技能自动评分装置与前述基于多记录匹配的ERP技能自动评分方法的具体实施方式相对应，该基于多记录匹配的ERP技能自动评分装置可以通过执行上述方法具体实施方式中的流程步骤来实现本发明的目的，因此上述基于多记录匹配的ERP技能自动评分方法具体实施方式中的解释说明，也适用于本发明提供的基于多记录匹配的ERP技能自动评分装置的具体实施方式，在本发明以下的具体实施方式中将不再赘述。

如图2所示，本发明实施例还提供一种基于多记录匹配的ERP技能自动评分装置，包括：

第一获取单元101，用于获取题目的初始数据D1、答案数据D2和答卷数据D3，其中，D1、D2、D3各包含1个或多个数据表，每个数据表包括1个或多条记录，每条记录包括1个或多个数据项；

标记单元103，用于逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型；

第二获取单元102，用于获取用于评分的多记录匹配策略，获取的多记录匹配策略为关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的一种；

匹配单元104，用于根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录；

计算单元105，用于根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分。

本发明实施例所述的基于多记录匹配的ERP技能自动评分装置，针对存在多记录的数据表，对学生答卷数据与教师答案数据中对应数据表的记录，可以选择关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的某一种记录匹配方法，以更加精准和智能地对学生的ERP技能进行评分，以满足个性化的评分需求和多策略的评分结果测算，提高自动评分的质量。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于多记录匹配的ERP技能自动评分方法，其特征在于，包括：

获取题目的初始数据D1、答案数据D2和答卷数据D3，其中，D1、D2、D3各包含1个或多个数据表，每个数据表包括1条或多条记录，每条记录包括1个或多个数据项；

逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型；

获取用于评分的多记录匹配策略，获取的多记录匹配策略为关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的一种；

根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录；

根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分。

2.根据权利要求1所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述操作类型包括：增、删、改、一致；

所述逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型包括：

若D2中某个数据表t1的某条记录r211，基于主键的值在D1的对应数据表t1中没有匹配记录，则标记r211的操作类型为增；

若D2中某个数据表t1的某条记录r211，基于主键的值在D1的对应数据表t1中有匹配的记录r112，则逐一字段地在r211与r112之间进行值比较，若相等，则标记r211的操作类型为一致；若有差异，则标记r211的操作类型为改，并同时标记被修改的数据项；

若D2中某个数据表t1的所有记录已经都被标识，但D1的对应数据表t1中还有记录r114，则将r114增加到D2的数据表t1中，并标记新增加的记录的操作类型为删。

3.根据权利要求1所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为关键字匹配法，则基于D2数据表t1中第一记录的关键字段，与D3数据表t1中各条记录逐一进行匹配，若与D3数据表t1中第二记录的相应字段值相等，则在D3数据表t1的第二记录中记录其标准答案为D2数据表t1中的第一记录。

4.根据权利要求1所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为局部最优正确率匹配法，则逐一取D2数据表t1中的记录，与D3数据表t1中各条记录进行全记录/权重值不为0的字段值的相似度计算，并取相似度最大的候选记录作为匹配记录进行标记，其中，D3数据表t1中的记录为候选记录。

5.根据权利要求1所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为局部最优得分率匹配法，则逐一取D2数据表t1中的记录，与D3数据表t1中各条记录进行全记录/权重值不为0的字段值的记录卷面分得分率计算，并取得分率最大的候选记录作为匹配记录进行标记，其中，D3数据表t1中的记录为候选记录。

6.根据权利要求1所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为全局最优正确率匹配法，则组合计算2个数据表t1中所有记录的全记录/权重值不为0的字段值的相似度，组成n*n的相似度矩阵，求所述相似度矩阵的相似度最大值，得到一个匹配系列，其中，n表示数据表t1中记录的数目，所述匹配系列是由每行每列中选取的具有全局相似度之和最大的单元格组成的系列，每行每列中必须且只能取一个单元格；

根据得到的匹配系列，在D3的各条记录中标记其对应的标准答案记录。

7.根据权利要求1所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录包括：

设D2中的数据表t1与D3中的数据表t1对应，D2为已标记操作类型的答案数据；

若确定的多记录匹配策略为全局最优得分率匹配法，则组合计算2个数据表t1中所有记录的全记录/权重值不为0的字段值的得分率，组成n*n的得分率矩阵，求所述得分率矩阵的得分率最大值，得到一个匹配系列，其中，n表示数据表t1中记录的数目，所述匹配系列是由每行每列中选取的具有全局得分率之和最大的单元格组成的系列，每行每列中必须且只能取一个单元格；

根据得到的匹配系列，在D3的各条记录中标记其对应的标准答案记录。

8.根据权利要求1所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分包括：

根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项的权重，计算答卷记录的卷面分；

对D3中每个数据表中所有答卷记录的卷面分分别进行合计，得到每个数据表的卷面分；

对所有的数据表卷面得分，按预先设置的数据表的权重进行加权求和；

若是按单题提交答卷数据，则得到本单题的卷面分；若是按试卷提交答卷数据，则得到本试卷的卷面分。

9.根据权利要求8所述的基于多记录匹配的ERP技能自动评分方法，其特征在于，所述根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分还包括：

生成评分字段正误的评语反馈和每条答卷记录的正误统计反馈；和/或，

生成每个数据表的正误统计反馈信息；和/或，

若是按单题提交答卷数据，则生成本单题的正误统计反馈信息；和/或，

若是按试卷提交答卷数据，则生成本试卷的正误统计反馈信息。

10.一种基于多记录匹配的ERP技能自动评分装置，其特征在于，包括：

第一获取单元，用于获取题目的初始数据D1、答案数据D2和答卷数据D3，其中，D1、D2、D3各包含1个或多个数据表，每个数据表包括1条或多条记录，每条记录包括1个或多个数据项；

标记单元，用于逐表对D1与D2中的所有记录进行匹配运算，并基于匹配结果，标记D2中每条记录的操作类型；

第二获取单元，用于获取用于评分的多记录匹配策略，获取的多记录匹配策略为关键字匹配法、局部最优正确率匹配法、局部最优得分率匹配法、全局最优正确率匹配法、全局最优得分率匹配法中的一种；

匹配单元，用于根据确定的多记录匹配策略和已标记操作类型的D2，将D2与D3各个对应数据表中的记录逐一进行匹配，D2中操作类型为删的记录除外，并在D3的各条记录中标记其对应的标准答案记录；

计算单元，用于根据已标记操作类型的D2、已标记标准答案记录的D3以及预先设置的数据项与数据表的权重，计算答卷D3的卷面分。