CN112232681B - 一种面向计算分析类非选择题的智能评卷方法 - Google Patents

Abstract

本发明提出的一种面向计算分析类非选择题的智能评卷方法，包括：对参考答案文本和考生答案文本进行文本预处理；对参考答案文本进行结构化信息抽取并设置得分规则，形成答案模板；对考生答案进行结构化信息抽取形成备选答案；基于答案模板对备选答案进行评分，依据计算步骤将备选答案的分值进行汇总，形成评分数据。本发明可实现计算分析题的自动阅卷，消除人工阅卷偏差，大幅提高阅卷效率。

Description

一种面向计算分析类非选择题的智能评卷方法

技术领域

本发明涉及考试评测技术领域，更具体的说是涉及一种面向计算分析类非选择题的智能评卷方法。

背景技术

近年来，随着自然语言处理的发展，基于深度学习的计算机辅助智能评卷技术已成为考试评测领域的研究热点。但是对于含有计算表达式的计算分析题目来讲，深度学习模型并不是唯一的选择，目前深度学习模型并不能验证复杂计算表达式的正确性。计算分析题目不能单单依靠计算结果进行判断，比如考生答案中计算表示式是正确的，但是考生没有给出计算结果，根据评分细则，此类情况可能会得部分分值，再比如考生答案中的计算结果的单位与参考答案中的计算结果的单位不一致，此时需要进行单位的转化，这类单位转化是需要先验知识的。因此如何对计算分析题进行正确评阅是计算机辅助智能评卷技术中的一个技术难点。

计算机辅助智能评卷技术另一个难点问题是如何对评分结果进行解释，可解释性是评分模型一个非常重要的指标，具有高可解释性的模型有助于揭示数据中的因果关系，具有更高的可信度。通过对评卷结果的解释，可发现错评数据的错评逻辑，对于模型更新以及改善有重要作用。目前，如何改善阅卷系统对答案的解释性是需进一步研究。

发明内容

针对以上问题，本发明的目的在于提供一种面向计算分析类非选择题的智能评卷方法，实现了计算分析题的自动阅卷，消除人工阅卷偏差，大幅提高阅卷效率。

本发明为实现上述目的，通过以下技术方案实现：一种面向计算分析类非选择题的智能评卷方法，包括如下步骤：

S1：对参考答案文本和考生答案文本进行文本处理；

S2：对参考答案文本进行结构化信息抽取并设置得分规则，形成答案模板；

S3：对考生答案进行结构化信息抽取形成备选答案；

S4：基于答案模板对备选答案进行评分，依据计算步骤将备选答案的分值进行汇总，形成评分数据。

进一步，所述步骤S1包括：针对参考答案文本和考生答案文本中每个字符，将圆角字符转换为半角字符、将数学表达式中中文符号转换为英文符号，将百分百数值转换为小数数值。

进一步，所述计算分析类非选择题的计算步骤采用结构化信息形式，所述结构化信息形式具体为：

前置描述＝计算表达式＝计算结果；

其中，前置描述为计算分析类非选择题所求变量的文字描述，计算表达式为所求变量求解的计算表达式，所述计算表达式包括算术表示式和方程表达式，所述计算结果包括计算表达式对应的计算结果数值和计算单位。

进一步，依据所述参考答案的计算步骤数量，将计算分析类非选择题划分为两个类别：只包含一个计算步骤的第一类题目类型和包含多条计算步骤的第二类题目类型。

进一步，所述步骤S2包括：

S21：利用文本数据中的</p>标签或<br>标签将文本数据进行分段落处理，如果文本数据没有</p>标签或<br>标签则该文本数据为一个段落；

S22：通过以计算表达式为核心的结构化信息抽取方式进行计算步骤抽取，然后通过计算步骤的数量确定计算分析类非选择题的类别；

S23：完成步骤信息抽取之后，阅卷人员依据参考答案和预设评分标准细则对每个计算步骤中的前置文本、计算表达式、计算结果的分值进行设置，并设置计算表达式和计算结果的误差精度。

进一步，所述以计算表达式为核心的结构化信息抽取方式具备包括：

对于分段后的每一段文本数据，从中查找计算表达式；如果查找到计算表达式，则继续向前查找前置文本，向后查找计算结果；如果未查找到计算表达式，则直接搜索计算结果。

进一步，所述步骤S3包括：

S31：判断考生答案的类别：若考生答案为第一类题目类型，转到步骤S32；若考生答案为第二类题目类型，转到步骤S33；

S32：首先从预处理后的考生答案文本中查找计算表达式，如果查找到计算表达式，则向前查找前置文本，向后查找计算结果；如果未查找到计算表达式，则直接查找计算结果；

S33：首先利用文本数据中的</p>标签或<br>标签将文本数据进行分段落处理进行分段处理，每个段落按照步骤S32的方法对计算步骤进行结构化信息抽取。

进一步，所述基于答案模板对备选答案进行评分包括：

前置文本的评分：具体为对考生答案中抽取的前置文本和参考答案中抽取的前置文本进行文本相似度计算，如果相似度大于预设阈值，则得相应的分值；计算表达式的评分：根据所属步骤的参考答案，确定计算表达式是算术表达式还是方程表达式；

如果计算表达式是算术表达式，首先将计算表达式转化为后缀表达式，再利用后缀表达式计算其结果，如果表达式的结果与参考答案中表达式的结果不在预设精度误差范围内则不得分；如果计算结果与参考答案的结果在精度误差范围内，则进一步计算考生答案中的表达式和参考答案中表达式的文本相似度，如果相似度大于预设阈值，则得分，否则不得分；

如果计算表达式是方程表示式，计算考生答案中的表达式和参考答案中表达式的文本相似度，如果相似度大于预设阈值，则得分，否则不得分；

计算结果的评分：如果所属步骤存在计算表达式，且计算表达式不正确，则计算结果不得分；

如果参考答案的计算结果中包括计算单位，先查看考生答案是否有计算单位，若考生答案有计算单位，则先依据计算单位将考生的计算结果转化到参考答案的计算单位上，再将考生的计算结果数值与参考答案的计算结果数值进行比较，若误差在预设范围内则得相应的分值，否则不得分；

如果参考答案的计算结果中没有计算单位，直接将考生的计算结果数值与参考答案的计算结果数值进行比较，误差在一定范围内则得相应的分值，否则不得分；

计算单位的评分：若计算结果得分，计算单位得相应的分值，否则不得分。

进一步，所述依据计算步骤将备选答案的分值进行汇总，形成评分数据包括：

S41：通过公式a＝min(f1,f)得出每个计算步骤的分值；其中，a为步骤分值，f1为步骤中各个结构化信息元素的分值总和，f为步骤的最大分值；

S42：通过公式A＝min(F1,F)得出题目总分值；其中，A为题目总分值，F1为题目每个计算步骤的分值总和，F为题目的最大分值，所述min函数为取较小值函数。

进一步，所述文本相似度的计算方法采用词袋模型，具体方法如下：

对所有待平分考生答案文本和参考答案文本进行分词，并建立词典；

统计每个词在文本数据中出现的频次，构建向量化数据A和B

通过如下公式计算余弦相似度X：

上述数学符号“·”表示两个向量进行点乘运算，“||·||”表示对向量取模运算。

对比现有技术，本发明有益效果在于：本发明提供了面向计算分析类非选择题的智能评卷方法，能够将每个计算步骤进行结构化处理，每个部分都有相应的评分值，评分结果具有很好的解释性；并会对计算表达式进行运算，核对结果是否正确，而不是直接利用文本进行判断，增加了判别的准确性。

由此可见，本发明与现有技术相比，实现计算分析题的自动阅卷，消除人工阅卷偏差，大幅提高阅卷效率。具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

附图1是本发明的方法流程图。

附图2是本发明的计算表达式的评分流程示意图。

附图3是本发明的计算结果的评分流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式做出说明。

如图1所示的一种面向计算分析类非选择题的智能评卷方法，包括如下步骤：

S1：对参考答案文本和考生答案文本进行文本处理。

针对参考答案文本和考生答案文本中每个字符，将圆角字符转换为半角字符、将数学表达式中中文符号转换为英文符号，将百分百数值转换为小数数值。

S2：对参考答案文本进行结构化信息抽取并设置得分规则，形成答案模板。

首先需要说明的是，本实施例的计算分析类非选择题的计算步骤采用结构化信息形式，所述结构化信息形式具体为：

前置描述＝计算表达式＝计算结果；

其中，前置描述为计算分析类非选择题所求变量的文字描述，计算表达式为所求变量求解的计算表达式，所述计算表达式细分为算术表示式和方程表达式，所述计算结果包括计算表达式对应的计算结果数值和计算单位。前置描述和计算单位视具体题目可缺省。

下表是一个参考答案和考生答案的结构化后的信息，内容仅当作说明实例，无实际含义。

另外，依据参考答案中包含的计算步骤数量，将题目划分为两个类别：只包含一个计算步骤的第一类题目类型和包含多条计算步骤的第二类题目类型。

在上述基础上，本步骤中对参考答案文本进行结构化信息抽取的方法具体为：

S21：利用文本数据中的”</p>”或”<br>”标签将文本数据进行分段落处理，如果文本数据没有”</p>”或”<br>”标签则该文本数据为一个段落。

S22：通过以计算表达式为核心的结构化信息抽取方式进行步骤抽取，然后通过步骤的数量确定题目类型。以计算表达式为核心的结构化信息抽取方式具备包括：对于分段后的每一段文本数据，从中查找计算表达式；如果查找到计算表达式，则继续向前查找前置文本，向后查找计算结果；如果未查找到计算表达式，则直接搜索计算结果。

S23：完成步骤信息抽取之后，阅卷人员需依据参考答案和评分标准细则对每个步骤中前置文本、计算表达式、计算结果和计算单位的分值进行设置；阅卷人员同时设置计算表达式和计算结果的误差精度。

S3：对考生答案进行结构化信息抽取形成备选答案。依据参考答案的题目类型进行不同的处理。具体包括：

S31：判断考生答案的类别：若考生答案为第一类题目类型，转到步骤S32；若考生答案为第二类题目类型，转到步骤S33。

S32：首先从预处理后的考生答案文本中查找计算表达式，如果查找到计算表达式，则向前查找前置文本，向后查找计算结果；如果未查找到计算表达式，则直接查找计算结果。

S33：首先利用文本数据中的</p>标签或<br>标签将文本数据进行分段落处理进行分段处理，每个段落按照步骤S32的方法对计算步骤进行结构化信息抽取。

S4：基于答案模板对备选答案进行评分，依据计算步骤将备选答案的分值进行汇总，形成评分数据。

在计算步骤中，需要对步骤中各个结构化信息元素进行评分，具体如下：

前置文本的评分：具体为对考生答案中抽取的前置文本和参考答案中抽取的前置文本进行文本相似度计算，如果相似度大于预设阈值，则得相应的分值。

计算表达式的评分：计算表达式的评分流程如图2所示，首先根据该步骤的参考答案，确定该步骤的计算表达式是算术表达式还是方程表达式，然后做进一步判断：

1、如果计算表达式是算术表达式，首先将计算表达式转化为后缀表达式，再利用后缀表达式计算其结果，如果表达式的结果与参考答案中表达式的结果不在精度误差范围内则不得分；如果计算结果与参考答案的结果在精度误差范围内，则进一步计算考生答案中的表达式和参考答案中表达式的文本相似度，如果相似度大于阈值，则得分，否则不得分。

2、如果计算表达式是方程表示式，计算考生答案中的表达式和参考答案中表达式的文本相似度，如果相似度大于阈值，则得分，否则不得分。

计算结果的评分：计算结果的评分流程如图3所示，计算结果的判分是依赖该步骤中计算表示式的判分情况的，如果考生该步骤存在计算表达式，且计算表达式不正确，则计算结果不得分，其它情况做进一步判断：

a、如果参考答案中该步骤中有计算单位，先查看考生答案是否有计算单位，若考生答案有计算单位，则先依据计算单位将考生的计算结果转化到参考答案的计算单位上，再将考生的计算结果数值与参考答案的计算结果数值进行比较，误差在一定范围内则得相应的分值，否则不得分。

b、如果参考答案中该步骤中没有计算单位，直接将考生的计算结果与参考答案的计算结果进行比较，误差在一定范围内则得相应的分值，否则不得分。

计算单位的评分：若计算结果得分，计算单位得相应的分值，否则不得分。

在步骤S4中，依据计算步骤将备选答案的分值进行汇总，形成评分数据具体包括如下过程：

首先，通过公式a＝min(f1,f)得出每个计算步骤的分值；其中，a为步骤分值，f1为步骤中各个结构化信息元素的分值总和，f为步骤的最大分值；

然后，通过公式A＝min(F1,F)得出题目总分值；其中，A为题目总分值，F1为题目每个计算步骤的分值总和，F为题目的最大分值，所述min函数为取较小值函数。

另外，所述文本相似性的计算方法选用词袋模型，具体方法如下：

第一步，对所有待平分考生答案文本和参考答案文本进行分词，并建立词典。

第二步，统计每个词在文本数据中出现的频次，构建向量化数据A和B

第三步，计算余弦相似度：

上述数学符号“·”表示两个向量进行点乘运算，“||·||”表示对向量取模运算。

为了验证上述实施方案，进行如下实验：

某专业资格模拟考试的计算分析题，给定题干、参考答案和评分规则以及22750份考生答案及相应考生答案得分，其中考生答案得分是由专业阅卷人给出的。

依照上述的实施方案，完成全部考生待评答案的评阅，下表是利用本发明方法得到的实验计算结果。

表1实验统计数据

结合附图和具体实施例，对本发明作进一步说明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所限定的范围。

Claims (9)

1.一种面向计算分析类非选择题的智能评卷方法，其特征在于，包括如下步骤：

S1：对参考答案文本和考生答案文本进行文本处理；

S2：对参考答案文本进行结构化信息抽取并设置得分规则，形成答案模板；

S3：对考生答案进行结构化信息抽取形成备选答案；

S4：基于答案模板对备选答案进行评分，依据计算步骤将备选答案的分值进行汇总，形成评分数据；

所述计算分析类非选择题的计算步骤采用结构化信息形式，所述结构化信息形式具体为：

前置描述＝计算表达式＝计算结果；

所述计算表达式包括算术表示式和方程表达式，所述计算结果包括计算表达式对应的计算结果数值和计算单位。

2.根据权利要求1所述的面向计算分析类非选择题的智能评卷方法，其特征在于，所述步骤S1包括：

针对参考答案文本和考生答案文本中每个字符，将圆角字符转换为半角字符、将数学表达式中中文符号转换为英文符号，将百分百数值转换为小数数值。

3.根据权利要求1所述面向计算分析类非选择题的智能评卷方法，其特征在于，依据所述参考答案的计算步骤数量，将计算分析类非选择题划分为两个类别：

只包含一个计算步骤的第一类题目类型和包含多条计算步骤的第二类题目类型。

4.根据权利要求3所述面向计算分析类非选择题的智能评卷方法，其特征在于，所述步骤S2包括：

S21：利用文本数据中的</p>标签或<br>标签将文本数据进行分段落处理，如果文本数据没有</p>标签或<br>标签则该文本数据为一个段落；

S22：通过以计算表达式为核心的结构化信息抽取方式进行计算步骤抽取，然后通过计算步骤的数量确定计算分析类非选择题的类别；

S23：完成步骤信息抽取之后，阅卷人员依据参考答案和预设评分标准细则对每个计算步骤中的前置文本、计算表达式、计算结果的分值进行设置，并设置计算表达式和计算结果的误差精度。

5.根据权利要求4所述面向计算分析类非选择题的智能评卷方法，其特征在于，所述以计算表达式为核心的结构化信息抽取方式具体包括：

对于分段后的每一段文本数据，从中查找计算表达式；如果查找到计算表达式，则继续向前查找前置文本，向后查找计算结果；如果未查找到计算表达式，则直接搜索计算结果。

6.根据权利要求3所述面向计算分析类非选择题的智能评卷方法，其特征在于，所述步骤S3包括：

S31：判断考生答案的类别：若考生答案为第一类题目类型，转到步骤S32；若考生答案为第二类题目类型，转到步骤S33；

S32：首先从预处理后的考生答案文本中查找计算表达式，如果查找到计算表达式，则向前查找前置文本，向后查找计算结果；如果未查找到计算表达式，则直接查找计算结果；

S33：首先利用文本数据中的</p>标签或<br>标签将文本数据进行分段落处理进行分段处理，每个段落按照步骤S32的方法对计算步骤进行结构化信息抽取。

7.根据权利要求3所述面向计算分析类非选择题的智能评卷方法，其特征在于，所述基于答案模板对备选答案进行评分包括：

前置文本的评分：对考生答案中抽取的前置文本和参考答案中抽取的前置文本进行文本相似度计算，如果相似度大于预设阈值，则得相应的分值；

计算表达式的评分：根据所属步骤的参考答案，确定计算表达式是算术表达式还是方程表达式；

如果计算表达式是算术表达式，首先将计算表达式转化为后缀表达式，再利用后缀表达式计算其结果，如果表达式的结果与参考答案中表达式的结果不在预设精度误差范围内则不得分；如果计算结果与参考答案的结果在精度误差范围内，则进一步计算考生答案中的表达式和参考答案中表达式的文本相似度，如果相似度大于预设阈值，则得分，否则不得分；

如果计算表达式是方程表示式，计算考生答案中的表达式和参考答案中表达式的文本相似度，如果相似度大于预设阈值，则得分，否则不得分；

计算结果的评分：如果所属步骤存在计算表达式，且计算表达式不正确，则计算结果不得分；

如果参考答案的计算结果中包括计算单位，先查看考生答案是否有计算单位，若考生答案有计算单位，则先依据计算单位将考生的计算结果转化到参考答案的计算单位上，再将考生的计算结果数值与参考答案的计算结果数值进行比较，若误差在预设范围内则得相应的分值，否则不得分；

如果参考答案的计算结果中没有计算单位，直接将考生的计算结果数值与参考答案的计算结果数值进行比较，误差在预设范围内则得相应的分值，否则不得分；

计算单位的评分：若计算结果得分，计算单位得相应的分值，否则不得分。

8.根据权利要求7所述面向计算分析类非选择题的智能评卷方法，其特征在于，所述依据计算步骤将备选答案的分值进行汇总，形成评分数据包括：

S41：通过公式a＝min(f1,f)得出每个计算步骤的分值；其中，a为步骤分值，f1为步骤中各个结构化信息元素的分值总和，f为步骤的最大分值；

S42：通过公式A＝min(F1,F)得出题目总分值；其中，A为题目总分值，F1为题目每个计算步骤的分值总和，F为题目的最大分值，所述min函数为取较小值函数。

9.根据权利要求7所述面向计算分析类非选择题的智能评卷方法，其特征在于，所述文本相似度的计算方法采用词袋模型，具体方法如下：

对所有待平分考生答案文本和参考答案文本进行分词，并建立词典；

统计每个词在文本数据中出现的频次，构建向量化数据A和B

通过如下公式计算余弦相似度X：

Images