CN103955874A

CN103955874A - 一种基于语义相似度区间的主观题自动评分系统及方法

Info

Publication number: CN103955874A
Application number: CN201410125497.XA
Authority: CN
Inventors: 禹玥昀; 林宏
Original assignee: Southwest Forestry University
Current assignee: Southwest Forestry University
Priority date: 2014-03-31
Filing date: 2014-03-31
Publication date: 2014-07-30

Abstract

本发明公开了一种基于语义相似度区间的主观题自动评分系统及方法，该基于语义相似度区间的主观题自动评分方法包括以下步骤：初始化待评分题目分值S_total；定义字块长度L；将参考答案切分成若干个长度不大于L的字块，形成参考答案字块集R；将待评答案切分成若干个长度不大于L的字块，形成待评答案字块集T；比较集合R、T，计算二者语义的相似度S_RT；将S_RT映射到相似度区间，记录评分为S_final，评分结束；该基于语义相似度区间的主观题自动评分系统包括：答题终端、主观题阅卷模块、考试成绩生成模块。本发明对主观题的自动阅卷、评分环节，可实现按语义相似度阈值对主观题答案进行等级划分，进而通过分值约束以及各等级相似度分值化给出最终评分。

Description

一种基于语义相似度区间的主观题自动评分系统及方法

技术领域

本发明属于教育教学考试技术领域，尤其涉及一种基于语义相似度区间的主观题自动评分系统及方法。

背景技术

目前，在现有考试形式中，考卷中主观题(如论述题等)占一定比例。对主观题答案的评定判分将直接影响到考卷最终得分，因此，要求对主观题的评分过程具有较为合理的规范约束。人工阅卷评分方式易受到多因素干扰，使评分结果带有一定主观性。基于智能信息处理方法，特别是中文信息处理技术，研究对主观题答案的客观评分方法和模型，是解决主观干扰影响评分过程的有效途径。

发明内容

本发明实施例的目的在于提供一种基于语义相似度区间的主观题自动评分系统及方法，旨在解决现有考试中主观题判定采用人工阅卷存在的以主观意愿为主，很难保证公平公正的问题。

本发明实施例是这样实现的，一种基于语义相似度区间的主观题自动评分方法，该基于语义相似度区间的主观题自动评分方法包括以下步骤：

步骤一，初始化待评分题目分值S_total；

步骤二，定义字块长度L；

步骤三，将参考答案切分成若干个长度不大于L的字块，形成参考答案字块集R；

步骤四，将待评答案切分成若干个长度不大于L的字块，形成待评答案字块集T；

步骤五，比较集合R、T，计算二者语义的相似度S_RT；

步骤六，将S_RT映射到相似度区间，记录评分为S_final，评分结束。

进一步，在步骤六中，分为五个区间，具体为：

区间Ⅰ：S_final=S_RT×W_Ⅰ×S_total，若S_final<L_lower，则S_final=L_lower，记录评分为S_final，评分结束，若S_final≥L_lower，则记录评分为S_final，评分结束；

区间Ⅱ：S_final=S_RT×W_Ⅱ×S_total，记录评分为S_final，评分结束；

区间Ⅲ：S_final=S_RT×W_Ⅲ×S_total，记录评分为S_final，评分结束；

区间Ⅳ：S_final=S_RT×W_Ⅳ×S_total，记录评分为S_final，评分结束；

区间Ⅴ：S_final=S_RT×W_Ⅴ×S_total，若S_final>L_upper，则S_final=L_upper，记录评分为S_final，评分结束；若S_final≤L_upper，则记录评分为S_final，评分结束。

进一步，该基于语义相似度区间的主观题自动评分方法通过分值约束以及语义相似度、语义相似度阈值和相似度分值化给出最终评分。

进一步，分值约束是为了避免出现自动评分的结果大于主观题应得分值S_total、或小于0分等无效分值或异常情况，设置评分分值上限L_upper和分值下限L_lower，用来限定并确保评分结果S_final∈[L_upper,L_lower]，通常可以令L_upper等于S_total，令L_lower等于0。

进一步，语义相似度得出的具体方法为：

以语义相似度表征待评答案与参考答案的一致程度，按照同样的分词词典，对待评答案与参考答案进行字块切分，字块是不大于某一特定长度L的一串相邻文字，字块长度的确定要考虑被切分后的一串相邻文字所表达的语义的相对完整性，参考答案被切分后，形成参考答案字块集R；待评答案被切分后，形成待评答案字块集T，比较集合R与集合T，通过计算词的相似度和字的相似度，无需按照分词词典切分，加上相应的系数，得到两个集合的语义相似度S_RT。

进一步，语义相似度阈值的定义为：

采用基于语句表面特征的相似度的计算方法，语义相似度的取值总是符合S_RT∈[0,1]的规律，定义语义相似度阈值T_i，T_i∈[0,1]，以4个阈值为例，i＝{1,2,3,4}，且有T₁＜T₂＜T₃＜T₄，即T₄表示的相似度最高，T₁最低，相似度阈值将相似度划分为i+1个区间，若定义4个阈值，则形成了5个相似度区间。

进一步，5个相似度区间为：区间Ⅰ：S_RT≤T₁；区间Ⅱ：T₁＜S_RT≤T₂；区间Ⅲ：T₂＜S_RT≤T₃；区间Ⅳ：T₃＜S_RT≤T₄；区间Ⅴ：S_RT＞T₄。

进一步，相似度分值化的具体方法为：

待评答案与参考答案的语义相似度越高，得分也越高，不同区间，分值随相似度增加的速度不同，区间标号越大，表明相似度越高，分值随相似度增加越明显，因此，对各区间赋予不同权值W_i，权值随区间标号增大而增加，且各权值均介于0与1之间，以5个区间为例，有W_i∈[0,1]，且i＝{Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ}，W_Ⅰ＜W_Ⅱ＜W_Ⅲ＜W_Ⅳ＜W_Ⅴ，被映射到某一区间的相似度S_RT与最终评分S_final的函数关系满足下式：

S_final＝S_RT×W_i×S_total

记录相似度分值化后的结果，即完成一次评分过程。

本发明实施例的另一目的在于提供一种基于语义相似度区间的主观题自动评分系统，该基于语义相似度区间的主观题自动评分系统包括：答题终端、主观题阅卷模块、考试成绩生成模块；

用于实现答题者参加考试，得出客观题答案和主观题答案的答题终端；

与答题终端连接，用于接收答题终端的主观题答案，并按照评分标准形成包含所有待评目标得分的主观题评分结果集合的主观题阅卷模块；

与主观题阅卷模块连接，用于将主观题阅卷模块形成的评分结果集合生成最终考试成绩的考试成绩生成模块；

进一步，该基于语义相似度区间的主观题自动评分系统设置有多个答题终端。

本发明提供的基于语义相似度区间的主观题自动评分系统及方法，通过设置答题终端、主观题阅卷模块、考试成绩生成模块实现了审阅主观题的飞人工阅卷，严格按照评判的标准阅卷，排除了人工阅卷收干扰的问题，同时提高了阅卷的质量，保证了开始的公平和公正。本发明对主观题的自动阅卷、评分环节，可实现按语义相似度阈值对主观题答案进行等级划分，进而通过分值约束以及各等级相似度分值化给出最终评分。

附图说明

图1是本发明实施例提供的基于语义相似度区间的主观题自动评分方法的流程图；

图2是本发明实施例提供的基于语义相似度区间的主观题自动评分系统的结构示意图；

图中：1、答题终端；2、主观题阅卷模块；3、考试成绩生成模块；

图3是本发明实施例提供的基于语义相似度区间的主观题自动评分系统的具体实施例的示意图；

图4是本发明实施例提供的基于语义相似度区间的主观题自动评分方法的具体实现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图及具体实施例对本发明的应用原理作进一步描述。

如图1所示，本发明实施例的基于语义相似度区间的主观题自动评分方法包括以下步骤：

S101：初始化待评分题目分值S_total；

S102：定义字块长度L；

S103：将参考答案切分成若干个长度不大于L的字块，形成参考答案字块集R；

S104：将待评答案切分成若干个长度不大于L的字块，形成待评答案字块集T；

S105：比较集合R、T，计算二者语义的相似度S_RT；

S106：将S_RT映射到相似度区间，记录评分为S_final，评分结束。

在步骤S106中，分为五个区间，具体为：

如图2所示，本发明实施例的基于语义相似度区间的主观题自动评分系统主要由答题终端1、主观题阅卷模块2、考试成绩生成模块3组成；

用于实现答题者参加考试，得出客观题答案和主观题答案的答题终端1；

与答题终端1连接，用于接收答题终端1的主观题答案，并按照评分标准形成包含所有待评目标得分的主观题评分结果集合的主观题阅卷模块2；

与主观题阅卷模块2连接，用于将主观题阅卷模块2形成的评分结果集合生成最终考试成绩的考试成绩生成模块3；

本发明设置有多个答题终端。

本发明的工作原理为：如图3所示，答题者通过答题终端参加考试，所产生的答案包括客观题答案和主观题答案；考试结束后，主观题自动评分系统将各答题终端答案中的主观题答案作为待评答案读入到主观题阅卷模块中，进行评分，形成包含所有待评目标得分的主观题评分结果集合；主观题自动评分系统将所形成的评分结果集合上传到考试成绩生成模块中，以便供生成最终考试成绩使用。本发明适用于对主观题的自动阅卷、评分环节，可实现按语义相似度阈值对主观题答案进行等级划分，进而通过分值约束以及各等级相似度分值化给出最终评分。

具体如下：

1.分值约束：

为了避免出现自动评分的结果大于主观题应得分值S_total、或小于0分等无效分值或异常情况，设置评分分值上限L_upper和分值下限L_lower，用来限定并确保评分结果S_final∈[L_upper,L_lower]，通常可以令L_upper等于S_total，令L_lower等于0；

2.语义相似度：

以语义相似度表征待评答案与参考答案的一致程度，按照同样的分词词典，对待评答案与参考答案进行字块切分，字块是不大于某一特定长度L的一串相邻文字，字块长度的确定要考虑被切分后的一串相邻文字所表达的语义的相对完整性，参考答案被切分后，形成参考答案字块集R；待评答案被切分后，形成待评答案字块集T，比较集合R与集合T，通过计算词的相似度和字的相似度（无需按照分词词典切分），加上相应的系数，得到两个集合的语义相似度S_RT；

3.语义相似度阈值：

待评答案与参考答案的一致程度最差时为完全没有相似，最好时为完全一致，因此，采用基于语句表面特征的相似度的计算方法，语义相似度的取值总是符合S_RT∈[0,1]的规律，定义语义相似度阈值T_i，T_i∈[0,1]，以4个阈值为例，i＝{1,2,3,4}，且有T₁＜T₂＜T₃＜T₄，即T₄表示的相似度最高，T₁最低，相似度阈值将相似度划分为i+1个区间，若定义4个阈值，则形成了5个相似度区间，分别为表1：

表1

区间I

区间II

区间III

区间IV

区间V

S_RT≤T₁

T₁＜S_RT≤T₂

T₂＜S_RT≤T₃

T₃＜S_RT≤T₄

S_RT＞T₄

4.相似度分值化：

待评答案与参考答案的语义相似度越高，其得分也应该越高，不同区间，分值随相似度增加的速度不同，区间标号越大，表明相似度越高，分值随相似度增加越明显，因此，对各区间赋予不同权值W_i，权值随区间标号增大而增加，且各权值均介于0与1之间，以5个区间为例，有W_i∈[0,1]，且i＝{Ⅰ,Ⅱ,Ⅲ,Ⅳ,Ⅴ}，W_Ⅰ＜W_Ⅱ＜W_Ⅲ＜W_Ⅳ＜W_Ⅴ，被映射到某一区间的相似度S_RT与最终评分S_final的函数关系满足下式：

S_final＝S_RT×W_i×S_total

记录相似度分值化后的结果，即完成一次评分过程；

5.评分流程，如图4所示：

第一步，初始化待评分题目分值S_total；

第二步，定义字块长度L；

第三步，将参考答案切分成若干个长度不大于L的字块，形成参考答案字块集R；

第四步，将待评答案切分成若干个长度不大于L的字块，形成待评答案字块集T；

第五步，比较集合R、T，计算二者语义的相似度S_RT；

第六步，将S_RT映射到相似度区间；

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于语义相似度区间的主观题自动评分方法，其特征在于，该基于语义相似度区间的主观题自动评分方法包括以下步骤：

步骤一，初始化待评分题目分值S_total，分值S_total为试卷中主观题的额定分值，是主观题评分的基值，分值S_total与答案匹配度共同决定最终评分结果；

步骤二，定义字块长度L，依据该长度对参考和待评答案进行切分；L越长，评分时答案匹配度高的可能性越小，即得分越少；L越短，评分时答案匹配度高的可能性越大，即得分越多；

步骤三，将参考答案切分成若干个长度不大于L的字块，形成参考答案字块集R，由于参考答案、评分标准惟一，字块集R在评分过程中是固定的，用于与待评答案字块集做比较，以给出答案匹配度；

步骤四，将待评答案切分成若干个长度不大于L的字块，形成待评答案字块集T，由于答题人对主观题做出的解答在文字上可能有不同，字块集T在评分过程中可能是动态变化的，用于与参考答案字块集做比较，以给出答案匹配度；

步骤五，比较集合R、T，计算集合R、T语义的相似度S_RT；

步骤六，将S_RT映射到相似度区间，与待评分题目分值S_total做计算，共同生成主观题的评分，并记录主观题总评分S_final，评分结束。

2.如权利要求1所述的基于语义相似度区间的主观题自动评分方法，其特征在于，在步骤六中，分为五个区间，具体为：

3.如权利要求1所述的基于语义相似度区间的主观题自动评分方法，其特征在于，该基于语义相似度区间的主观题自动评分方法通过分值约束以及语义相似度、语义相似度阈值和相似度分值化给出最终评分。

4.如权利要求3所述的基于语义相似度区间的主观题自动评分方法，其特征在于，分值约束是为了避免出现自动评分的结果大于主观题应得分值S_total、或小于0分等无效分值或异常情况，设置评分分值上限L_upper和分值下限L_lower，用来限定并确保评分结果S_final∈[L_upper,L_lower]，通常可以令L_upper等于S_total，令L_lower等于0。

5.如权利要求3所述的基于语义相似度区间的主观题自动评分方法，其特征在于，语义相似度得出的具体方法为：

6.如权利要求3所述的基于语义相似度区间的主观题自动评分方法，其特征在于，语义相似度阈值的定义为：

7.如权利要求6所述的基于语义相似度区间的主观题自动评分方法，其特征在于，5个相似度区间为：区间Ⅰ：S_RT≤T₁；区间Ⅱ：T₁＜S_RT≤T₂；区间Ⅲ：T₂＜S_RT≤T₃；区间Ⅳ：T₃＜S_RT≤T₄；区间Ⅴ：S_RT＞T₄。

8.如权利要求3所述的基于语义相似度区间的主观题自动评分方法，其特征在于，相似度分值化的具体方法为：

S_final＝S_RT×W_i×S_total

记录相似度分值化后的结果，即完成一次评分过程。

9.一种基于语义相似度区间的主观题自动评分系统，其特征在于，该基于语义相似度区间的主观题自动评分系统包括：答题终端、主观题阅卷模块、考试成绩生成模块；

与主观题阅卷模块连接，用于将主观题阅卷模块形成的评分结果集合生成最终考试成绩的考试成绩生成模块。

10.如权利要求9所述的基于语义相似度区间的主观题自动评分系统，其特征在于，该基于语义相似度区间的主观题自动评分系统设置有多个答题终端。