CN108172050B - 数学主观题解答结果批改方法及系统 - Google Patents

Abstract

本发明公开了一种数学主观题解答结果批改方法及系统，该方法包括：在获取待批改解答结果的答题结构之后，将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配，其中，生成的参考答案不同于现有的标准答案，该参考答案是利用待批改解答结果的步骤间推导关系在预先构建的知识库中进行匹配，而生成的与待批改解答结果最相似的正确答案，也就是说，会根据不同的待批改解答结果生成不同的参考答案，且能保证该参考答案的正确性，这样就可以将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配得到待批改解答结果的批改结果。利用本发明可以效有提升开放性题型的批改结果的准确度。

Description

数学主观题解答结果批改方法及系统

技术领域

本发明涉及自然语言处理、深度学习领域，具体涉及一种数学主观题解答结果批改方法及系统。

背景技术

近年来，随着计算机技术和信息技术的迅速发展，尤其是人工智能技术的快速发展，使用机器来代替人工已经成为各行各业的热点方向。教育领域也由传统的教师与学生一对一、一对多的教导，逐步演变为教师、机器与学生三方互动的场景。然而，在处理大规模批改工作时，老师容易受到疲劳、个人偏好等主观因素的干扰，从而影响批改，尤其是批改的准确性和客观性。因此利用计算机完成或辅助完成批改，以减少人工批改的工作量，提升批改，尤其是评分的准确性和客观性，对教学过程意义重大。

针对数学题答案的自动批改，现有的方法主要为：基于与标准答案进行匹配获得评分结果的方法，这类方案主要适用于客观题和非开放的主观题的批改。现有的自动批改方法主要是针对表达形式受限的题型，如计算题、填空题，而对于开放性的题型，如证明题、解答题，效果难以保证。此外，标准答案需要人工进行整理、扩展，人工参与成本高，且人工扩展标准答案的方法的覆盖范围有限，很难枚举所有合理答案，容易造成批改错误。

此外，目前在线教育系统对于数学题解答结果的批改仍然没有行之有效的方法，实际操作中，仍然需要人工对学生的解答结果进行解析，而且由于教师时间和精力有限，往往只是给出学生该题的得分，事后在课堂上给出参考的解答过程，不能快速、全方位地把握学生在数学学习中的薄弱知识点，从而给出针对性的提高建议。

发明内容

本发明提供一种数学主观题解答结果批改方法及系统，以解决现有的数学主观题解答结果批改因依赖人工对标准答案进行整理、扩展，存在成本高且人工扩展标准答案的覆盖范围有限，且不能及时、全方位的给出提高建议的问题。

为此，本发明提供如下技术方案：

一种数学主观题解答结果批改方法，包括：

接收待批改解答结果；

获取待批改解答结果的答题结构，所述答题结构包括：答题步骤、步骤间关系；

将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配；

根据匹配结果给出待批改解答结果的批改结果。

优选地，所述步骤间关系包括以下任意一种或多种：没有关系、并列关系、推导关系、重复关系、合并关系和扩展关系。

优选地，所述参考答案通过以下方式生成：

预先构建知识库，所述知识库中存储多个正确解答结果的步骤间的推导关系、以及答题路径；

将获取的待批改解答结果的步骤间的推导关系在所述知识库中进行匹配，保留匹配成功的条件-结论关系，以及在匹配不成功时，保留出现频度高的指定个数条件-结论关系，其中，结论为最终答题结论或推导结论，条件为题目条件或推导条件；

根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案。

优选地，所述根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案包括：

遍历所有保留的条件-结论关系，得到图结构；

将所述图结构裁剪拆分成只有单一推导路径的一个或多个子图；

针对每一个子图，根据最终答题结论反向搜索条件-结论关系直至所有条件-结论关系的条件均为已知条件，将搜索路径作为参考答案路径，如果当前子图的搜索深度高于设定阈值且至少部分条件不是已知条件，则搜索另一个子图，直至当前子图中所有条件-结论关系的条件均为已知条件或搜索完所有子图。

优选地，所述待批改解答结果的答题结构和所述正确解答结果的推导关系、以及答题路径通过以下方式获取：

获取所述待批改解答结果的各答题步骤、或者所述正确解答结果的各答题步骤；

依序提取两个答题步骤的步骤间关系特征，所述步骤间关系特征包括以下任意一种或多种：步骤位置特征、步骤引导词特征、步骤中数学实体间关系特征、步骤中相同实体比例特征；

基于所述步骤间关系特征和预先训练的关系分析模型，得到步骤间关系。

优选地，所述获取所述待批改解答结果的各答题步骤包括：

对所述待批改解答结果进行分词处理；

基于分词处理结果和预先训练的分步模型，得到各答题步骤。

优选地，所述批改结果包括以下任意一种或多种：

最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确。

优选地，预先构建知识库包括：

存储多个正确解答结果的步骤间的推导关系、以及答题路径；

标注正确解答结果的步骤间的推导关系所需的知识点和定理；

所述批改结果包括：最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确、步骤间的推导关系所需的知识点和定理。

相应地，本发明还提供了一种数学主观题解答结果批改系统，包括：

接收模块，用于接收待批改解答结果；

答题结构获取模块，用于获取待批改解答结果的答题结构，所述答题结构包括：答题步骤、步骤间关系；

匹配模块，用于将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配；

批改模块，用于根据匹配结果给出待批改解答结果的批改结果。

优选地，所述系统还包括：

参考答案生成模块，用于生成参考答案，包括：

条件-结论关系获取单元，用于将获取的待批改解答结果的步骤间的推导关系在预先构建的知识库中进行匹配，保留匹配成功的条件-结论关系，以及在匹配不成功时，保留出现频度高的指定个数条件-结论关系，其中，结论为最终答题结论或推导结论，条件为题目条件或推导条件；

答案生成单元，用于根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案。

优选地，所述答题结构获取模块具体用于获取所述待批改解答结果的答题结构和所述正确解答结果的推导关系、以及答题路径，包括：

步骤获取单元，用于获取所述待批改解答结果的各答题步骤、或者所述正确解答结果的各答题步骤；

步骤间关系特征提取单元，用于依序提取两个答题步骤的步骤间关系特征，所述步骤间关系特征包括以下任意一种或多种：步骤位置特征、步骤引导词特征、步骤中数学实体间关系特征、步骤中相同实体比例特征；

步骤间关系获取单元，用于基于所述步骤间关系特征和预先训练的关系分析模型，得到步骤间关系。

优选地，所述批改模块的输出包括以下任意一种或多种：

最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确。

本发明实施例提供的数学主观题解答结果批改方法及系统，在获取待批改解答结果的答题结构之后，将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配，其中，生成的参考答案不同于现有的标准答案，该参考答案是利用待批改解答结果的步骤间推导关系在预先构建的知识库中进行匹配，而生成的与待批改解答结果最相似的正确答案，也就是说，会根据不同的待批改解答结果生成不同的参考答案，且能保证该参考答案的正确性，这样就可以将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配得到待批改解答结果的批改结果，且避免了现有技术需要对标准答案进行整理、扩展，而答题者的答案的答题逻辑存在多种多样，导致对标准答案的扩展结果无法覆盖所有可能的答题逻辑，造成批改结果不正确的情况发生，有效提升开放性题型的批改结果的准确度。此外，还可以及时给出批改结果，例如推导关系是否正确等，可以及时给出批改建议，便于答题者及时发现自身知识薄弱点。

进一步地，本发明提供了生成参考答案的具体步骤，根据待批改解答结果的答题结构在预先构建的知识库中进行匹配得到的条件-结论关系，其中，该知识库中存储多个正确解答结果的步骤间的推导关系、以及答题路径，然后根据最终答题结论和题目条件生成参考答案，这样使得本发明可以根据待批改解答结果的答题逻辑生成最相似的正确答案。

进一步地，本发明提供了获取参考答案路径的具体方法，可以利用计算机自动生成参考答案路径，该方法在待批改解答结果中缺失答题步骤时，仍然能够自动获取缺失的相应的答题步骤以生成参考答案的方法。

进一步地，本发明提供了数学题解答结果的分词，以及答题步骤分离的方法，利用该方法可以通过计算机自动获取各答题步骤。

进一步地，本发明提供了根据匹配结果给出待批改解答结果的批改结果的具体方法，由于生成的参考答案为与待批改解答结果最相似的答案，使得本发明可以直接通过比对来进行批改，而无需如现有技术需要对标准答案进行扩展，且无法保证扩展的结果能覆盖全部正确答案，导致批改结果不正确的情况。

进一步地，本发明在构建知识库时，标注正确解答结果的步骤间的推导关系所需的知识点和定理，使得本发明还可以进一步给出步骤间的推导关系所需的知识点和定理，以便于答题者及时学习自身知识薄弱点，并简单方便的获取相应的知识点以便于学习。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的数学主观题解答结果批改方法的第一种流程图；

图2是本发明实施例提供的待批改解答结果的答题结构的示意图；

图3是本发明实施例提供的根据待批改结果的答题结构生成的参考答案的答题结构的示意图；

图4是本发明实施例提供的参考答案生成方法的一种流程图；

图5是根据本发明实施例提供的条件-结论关系的示意图；

图6是根据本发明实施例提供的裁剪拆分前的图结构的示意图；

图7至图10是将图6所示的图结构裁剪拆分后得到的4个子图；

图11为本发明实施例提供的答题结构、推导关系和答题路径的获取方法的一种流程图；

图12是本发明实施例提供的解析出的答题结构的一种示意图；

图13为数学主观题解答结果批改系统的一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

如图1所示，是本发明实施例提供的数学主观题解答结果批改方法的第一种流程图。

在本实施例中，该数学主观题解答结果批改方法可以包括以下步骤：

步骤S01，接收待批改解答结果。

在本实施例中，所述待批改解答结果可以是答题者在电脑上使用键盘和鼠标输入的内容，也可以是答题者在纸质试卷上的书写结果。对于纸质书写结果，需要利用OCR技术来识别出答题者的解答结果，识别结果存储的格式可以是普通文本，也可以是各种数学工具所支持的表示形式，如Latex等。

此外，对于纸质书写结果，为了进一步提升后续分词处理的准确度，还可以首先对待批改解答结果的答题图像信息进行分段、分行等处理，例如，对于数学开放式试题的手写答案，可以检查所述答题图像信息中是否有粘连行，并对粘连行进行分割，识别所述答题图像信息中的分式线等特殊数学符号，以便正确分行，例如将分式线上下最近的行进行合并作为一个数学答题行等，这样可以对答题图像信息进行准确分行，以便于后续进行分词处理。

步骤S02，获取待批改解答结果的答题结构，所述答题结构包括：答题步骤、步骤间关系。

解析答题结构的目的在于解析出答题者答题过程中的逻辑结构，即答题者是如何一步一步地得出解答结果。其中，答题结构可以为树形结构，即解答结果的每个答题步骤是树形结构上的一个结点，树形结构中的一个结点如果存在子结点，表示子结点是推断出该结点的依据，此依据可能是题目信息中的已知条件，也可能是数学定理及定义。此树形结构包括但不限于依存句法分析(dependency parser，DP)，修辞结构理论分析(RhetoricalStructure Theory parser，RST parser)这两种树形结构。结点与结点间的关系，即步骤间关系的类型包括以下任意一种或多种：没有关系、并列关系、推导关系、重复关系、合并关系和扩展关系等。

得到树形结构的方法可以采用类似于英文中语法结构解析的方法，举例来说，可以使用基于转移算法(transition-based)的解析(parser)方法。

在一个具体实施例中，可以首先对获取的解答结果的文本信息进行分词处理，得到分词结果，然后根据分词结果对解答结果进行分步骤，得到各答题步骤，接着获取各答题步骤的答题步骤向量，该答题步骤向量可以为词向量序列或者一个向量值，然后根据答题步骤向量和预先构建的关系分析模型获取步骤间关系，该关系分析模型可以为神经网络等，模型的具体训练方法采用现有技术中的一些训练算法，如误差反向传播(errorBackPropagation，BP)算法等，在此不做限定。

步骤S03，将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配。

在本实施例中，参考答案是根据待批改解答结果的答题结构在预先构建的知识库中的匹配结果生成的，该知识库中可以存储多个正确解答结果的步骤间的推导关系、以及答题路径，这样利用待批改解答结果的步骤间关系在知识库中进行匹配，得到与待批改解答结果的答题逻辑最相近的推导关系，然后利用最相近的推导关系生成与待批改解答结果的答题逻辑最相近的参考答案。由于步骤S02已经对答题步骤进行语义转换，且生成的参考答案为从知识库中匹配的结果生成，而知识库是由对正确解答结果，如满分答案、标准答案、标准扩展答案等的答题步骤进行语义转换的结果组成，因此，生成的参考答案的表示结构与语义转换后的待批改解答结果的表示结果一致，可以根据答题者答题结果的答题结构，与搜索出的参考答案进行步骤级别的匹配，具体地，可以为通过判断语义转换后的表示是否完全相同来直接匹配。

需要说明的是，该知识库可以为对当前待批改解答结果的题目构建的专用知识库，也可以是针对某一种类型的题目，如针对证明题类型构建的知识库，还可以是针对某一个细化学科构建的知识库，例如几何学的专用知识库，在此不做限定，相应的，每种知识库中对应的满分解答结果是不一样的，适用范围也是不一样的，优缺点也各不相同，例如，针对某个题目构建的知识库中存在的数据量最小，相应的批改所需的时长最短，但是适用范围最小，其它知识库的优缺点以此类推。具体地，可以通过存储多个正确解答结果的步骤间的推导关系、以及答题路径来构建知识库，步骤间的推导关系可以通过如步骤S03所示的方法对正确解答结果进行结构分析来获取，答题路径可以通过将步骤间关系不是“没有关系”的答题步骤进行合并、或对步骤间的推导关系进行遍历来获取，在此不做限定。

步骤S04，根据匹配结果给出待批改解答结果的批改结果。

具体地，通过子结论步骤是否书写出来，以及推导出子结论的条件是否完善，来判定答题者是否掌握某个知识点以及知识点是否正确使用。由于每个步骤被转换成语义表示，所以可以直接匹配待批改解答结果的树形结构结点和参考答案的树形结构结点，匹配子结论步骤时，需要遍历参考答案属性结构中的非叶子结点，对于每个非叶子结点，在待批改解答结果的树形结构上搜索，看是否存在，如果待批改解答结果上存在该子结论结点，获取待批改解答结果树上该子结论结点的孩子结点，并与参考答案树上该子结论结点的孩子结点做比较，如果参考答案树上该子结论结点的孩子结点是待批改解答结果树上该子结论结点的孩子结点的子集，则待批改解答结果对于推导出该子结论的条件正确且完善，否则该答题者推导过程不正确。

在一个具体实施例中，如图2所示，是本发明实施例提供的待批改解答结果的答题结构的示意图，如图3所示，是本发明实施例提供的根据待批改结果的答题结构生成的参考答案的答题结构的示意图。参考答案中的条件-结论关系中的结论包括：5、8、13、14、20，题目条件包括：3、7。待批改结果中的结论包括：5、8、13、20，条件包括：3、7。

匹配结果如下所示：

结论5：参考答案与待批改结果的作答完全一致，正确。

结论8：参考答案中的推导条件在待批改结果中均匹配到，正确。

结论13：参考答案与待批改结果的作答完全一致，正确。

结论14：待批改结果中未匹配到，结论14及对应的步骤间推导关系错误。

结论20：参考答案中结论20匹配到，但是结论20的推导条件在待批改结果中未匹配到，因此结论正确，但是推导条件不完善。

完成基于知识库的参考答案与待批改解答结果匹配之后，得到待批改结果在本答题结果中缺失的步骤或者解答错误的步骤及对应的步骤间关系，所述批改结果包括以下任意一种或多种：最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确。

在另一个实施例中，预先构建知识库可以包括以下步骤：

存储多个正确解答结果的步骤间的推导关系、以及答题路径。然后还可以通过人工等方式标注正确解答结果的步骤间的推导关系所需的知识点和定理。相应地，所述批改结果还包括：步骤间的推导关系所需的知识点和定理。这样可以得到与待批改结果有问题的步骤相关的知识点和定理。对于有错误的解答步骤或者解答错误的步骤，可以以批改的形式给出步骤的正确形式，方便作答者对照自己的答题结果，同时提示与这些步骤相关的知识点和定理。同时，对于作答者的答题结果中反映出的知识点短板现象，本发明可以给答题者推荐与运用这些知识点紧密相关的数学题，方便作答者在学习相关知识点后，检测自己的学习水平，以保证作答者可以有针对性地提高对相关知识点的掌握情况。

本发明实施例提供的数学主观题解答结果批改方法，在获取待批改解答结果的答题结构之后，先根据答题结构及知识库生成最接近的正确答案，然后将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配，这样就可以将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配得到待批改解答结果的批改结果，有效提升开放性题型的批改结果的准确度。

如图4所示，是本发明实施例提供的参考答案生成方法的一种流程图。在本实施例中，所述参考答案通过以下步骤生成：

步骤S41，预先构建知识库，所述知识库中存储多个正确解答结果的步骤间的推导关系、以及答题路径。

在批改过程中，现有技术通常采用一个标准答案作为批改依据，然而，可能存在多种正确的答题逻辑，即可用依据不同的定理等最终得出正确答案，为了解决上述问题，现有技术通常对标准答案进行拓展，得到多个参考答案作为批改依据，然而，这样依然无法满足实际批改需求：不可能将所有可能的表达及逻辑都扩展出来，因此，存在很大可能导致待批改解答结果的批改结果不正确，为了解决上述问题，本发明首先构建一个知识库，该知识库中存储多个正确解答结果的步骤间的推导关系、以及答题路径。优选地，正确解答结果的步骤间的推导关系的获取方式同上一个实施例中进行结构分析的方法，这样便于后续匹配过程，在此不再详述。

在一个具体实施例中，构建知识库需要人工进行辅助，例如，知识库主要是使用满分答案来构建。对于满分答案，需要通过之前的实施例中结构分析的方法，获取条件到结论的推导关系(步骤间的关系有多种，在知识库中只保存条件到结论的推导关系，即步骤间的推导关系)以及完整的答题路径。如图3所示的图即为一个完整的答题路径。在得到步骤间关系之后，可以通过遍历或合并的方式获取完整的答题路径。

步骤S42，将获取的待批改解答结果的步骤间的推导关系在所述知识库中进行匹配，保留匹配成功的条件-结论关系，以及在匹配不成功时，保留出现频度高的指定个数条件-结论关系，其中，结论为最终答题结论或推导结论，条件为题目条件或推导条件。

在获取待批改解答结果的步骤间的推导关系之后，可以将得到的所有条件与结论的推导关系在知识库中进行相似度匹配，与构建知识库时一样的操作，对书写文本进行语义转换，减少歧义以及便于后续匹配。知识库中同一个结论可能会有多种可以使之成立的条件-结论关系，对于匹配上的，保留相应的条件-结论关系；而对于没有匹配上的，只保留最常见的指定个数条件-结论关系，其中，指定个数可以为小于等于2。

在一个具体实施例中，如图5所示，是根据本发明实施例提供的条件-结论关系的示意图。其中，结论5有四种可以使之成立的条件组合，分别是1、2，3，2、3以及7、8，且可以按照出现频度顺序存储，1、2推导出5的频度最高，7、8推导出5的频度最低。如果待批改解答结果中有3推导出5，则只保留该条件-结论关系，去除其余3种条件-结论关系；如果待批改解答结果中没有答到这4种条件-结论关系中的任何一种，则保留出现频度最高的两种条件-结论关系：1、2推导出5，以及3推导出5。

步骤S43，根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案。

在本实施例中，可以通过遍历所有保留的条件-结论关系来得到如图3所示的图结构，该图结构及对应的答题步骤即可作为参考答案。其中，条件中应当包括题目条件，最终的结论应当为最终答题结论。

在一个具体实施例中，所述根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案可以包括以下步骤：

步骤x、遍历所有保留的条件-结论关系，得到图结构。

在本实施例中，可以通过遍历所有保留的条件-结论关系，得到答题路径，这样就可以得到图结构。

步骤y、将所述图结构裁剪拆分成只有单一推导路径的一个或多个子图。

步骤z、针对每一个子图，根据最终答题结论反向搜索条件-结论关系直至所有条件-结论关系的条件均为已知条件，将搜索路径作为参考答案路径，如果当前子图的搜索深度高于设定阈值且至少部分条件不是已知条件，则搜索另一个子图，直至当前子图中所有条件-结论关系的条件均为已知条件或搜索完所有子图。

具体地，可以根据最终结论结点和已知条件结点，在裁剪并拆分后的所有子图上，从最终结论结点(题目结论)出发，反向搜索其成立的条件结点，搜索出成立的条件结点后，再将所有的成立条件结点作为结论结点，继续搜索，当搜索出的树形结构上的所有叶子结点均为已知条件时，得到正确参考答案路径(树形结构)，停止搜索；当搜索出的树形结构的深度高于一定阈值、且至少部分条件不满足所有叶子结点均为已知条件时，说明当前搜索为无效搜索，需要更改搜索路径，更换子图，重新搜索，直到搜索出正确答案路径或者搜索完所有子图。

在一个具体实施例中，如图6所示，是根据本发明实施例提供的裁剪拆分前的图结构的示意图。根据题目内容，可以知道步骤20为解答过程中的最终结论，步骤3和步骤7为已知条件。如图7至图10所示，是将图6所示的图结构裁剪拆分后得到的4个子图。对于这4个子图，分别从最终结论20递归寻找其所有叶子结点，当找到的所有叶子结点均为已知条件，即步骤3和步骤7时，搜索出正确参考答案；当找到的所有叶子结点不全为已知条件，即上述图中的1、2、4、6，或者寻找叶子结点的深度过大，均为无效搜索，判定为无效搜索后，停止搜索，继续递归搜索下一个子图，直到搜索出正确参考答案或者搜索完所有子图结构。其中，图10所示的子图为参考答案路径对应的子图。

本发明提供了根据匹配结果给出待批改解答结果的批改结果的具体方法，由于生成的参考答案为与待批改解答结果最相似的答案，使得本发明可以直接通过比对来进行批改，而无需向现有技术需要对标准答案进行扩展，且无法保证扩展的结果能覆盖全部正确答案，导致批改结果不正确的情况。

如图11所示，为本发明实施例提供的答题结构、推导关系和答题路径的获取方法的一种流程图。

在本实施例中，所述待批改解答结果的答题结构和所述正确解答结果的推导关系、以及答题路径通过以下方式获取：

步骤a、获取所述待批改解答结果的各答题步骤、或者所述正确解答结果的各答题步骤。

具体地，所述获取所述待批改解答结果的各答题步骤包括：

首先，对所述待批改解答结果进行分词处理。例如，可以使用针对数学转写实体(如angle ABC，AB等)的分词规则，和针对中文描述的分词工具，将转写文本进行分词。

然后，基于分词处理结果和预先训练的分步模型，得到各答题步骤。例如，分词后，使用数学分句标注数据训练基于BiLSTM的分句模型，具体地，是基于BiLSTM的序列标注模型，每个词后的标注或预测结果为“分句”或“不分句”。其中，分句模型可以是神经网络等，例如，包括：向量化模块、多层序列获取模块和分类模块，其中，向量化模块的输入为分词处理得到的词，向量化模块的输出为词向量序列，多层序列获取模块的输入为词向量序列，多层序列获取模块的输出为序列向量，分类模块的输入为序列向量，分类模块的输出为分词点作为分离步骤点的判断结果。

步骤b、依序提取两个答题步骤的步骤间关系特征，所述步骤间关系特征包括以下任意一种或多种：步骤位置特征、步骤引导词特征、步骤中数学实体间关系特征、步骤中相同实体比例特征。

具体地，将步骤按照顺序两两进行特征抽取，抽取的特征包括：步骤在答题过程中的位置、步骤的引导词(“因为”、“所以”、“证明”等)、步骤中数学实体间关系(“平行”、“垂直”等)、步骤中相同实体比例等附加特征，以及基于卷积神经网络CNN或者长短时记忆模型LSTM的步骤语义特征。

步骤c、基于所述步骤间关系特征和预先训练的关系分析模型，得到步骤间关系。

在本实施例中，合并两个步骤的特征后，使用全连接网络层来预测这两个步骤之间是哪种关系，包括“没有关系”、“并列关系”、“数学扩展”等。

在一个具体实施例中，所述关系分析模型为卷积神经网络，包括：输入层、卷积层、分类层和输出层，其中，输入层的输入为所述答题步骤向量，卷积层的输出为用于确定步骤间关系的分布式特征向量，分类层的输入为分布式特征向量和基于规则提取的统计特征向量，输出层的输出为步骤间关系的判断结果。其中，统计特征向量可以包括：结构特征、引导词特征、步骤关联特征、关键词特征。

接着，还可以根据步骤间关系获取答题路径，以下以合并方式获取完整的答题路径为例进行说明：如图12所示，是本发明实施例提供的解析出的答题结构的一种示意图。其中，可以得到的条件到结论的推导关系有：1、2推导出3；3推导出4；4和5推导出6；6推导出7，然后由人工标注满分答案中各个条件到结论的推导关系所需要的知识点和定理，这样可以得到一个图结构，其中包括条件到结论的推导关系以及相应的知识点和定理。图结构中的结点内容不再是书写文本，而是书写文本被语义转换后的形式，如“AB平行于CD”与“AB和CD平行”均被表示成“平行(AB，CD)”，保持语义统一，这种语义转换可以使用规则，也可以使用模型，模型转换可以使用英语中的语义角色标注(Semantic Role Labeling，SRL)框架，需要人工在数学数据上标注来进行训练。

其中，图结构的获取过程可以如下所示：将有关系的步骤合并为一个新的步骤，新的步骤为该两个步骤的文本串联，没有关系则按照顺序，考虑后续两个步骤。重复上述步骤直至将所有步骤合并为一个合成步骤，这样就得到了图结构。

本发明实施例提供了具体地结构分析方法，通过该方法可以自动对待批改解答结果进行结构分析，得到步骤间关系等。

相应地，本发明还提供了一种数学主观题解答结果批改系统，如图13所示，为数学主观题解答结果批改系统的一种结构示意图，该系统可以包括：

接收模块131，用于接收待批改解答结果。

答题结构获取模块132，用于获取待批改解答结果的答题结构，所述答题结构包括：答题步骤、步骤间关系。

匹配模块133，用于将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配。

批改模块134，用于根据匹配结果给出待批改解答结果的批改结果。

此外，所述系统还包括：

知识库构建模块135，用于预先构建知识库，所述知识库中存储多个正确解答结果的步骤间的推导关系、以及答题路径。

相应的，通过参考答案生成模块136来生成该参考答案，其中，参考答案生成模块136，用于生成参考答案，包括：

条件-结论关系获取单元，用于将获取的待批改解答结果的步骤间的推导关系在所述知识库中进行匹配，保留匹配成功的条件-结论关系，以及在匹配不成功时，保留出现频度高的指定个数条件-结论关系，其中，结论为最终答题结论或推导结论，条件为题目条件或推导条件。

答案生成单元，用于根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案。

此外，所述答案生成单元包括：

图结构生成子单元，用于遍历所有保留的条件-结论关系，得到图结构。

子图生成子单元，用于将所述图结构裁剪拆分成只有单一推导路径的一个或多个子图。

搜索子单元，用于针对每一个子图，根据最终答题结论反向搜索条件-结论关系直至所有条件-结论关系的条件均为已知条件，将搜索路径作为参考答案路径，如果当前子图的搜索深度高于设定阈值且至少部分条件不是已知条件，则搜索另一个子图，直至当前子图中所有条件-结论关系的条件均为已知条件或搜索完所有子图。

在另一个实施例中，所述答题结构获取模块132具体用于获取所述待批改解答结果的答题结构和所述正确解答结果的推导关系、以及答题路径，包括：

步骤获取单元，用于获取所述待批改解答结果的各答题步骤、或者所述正确解答结果的各答题步骤。

步骤间关系特征提取单元，用于依序提取两个答题步骤的步骤间关系特征，所述步骤间关系特征包括以下任意一种或多种：步骤位置特征、步骤引导词特征、步骤中数学实体间关系特征、步骤中相同实体比例特征。

步骤间关系获取单元，用于基于所述步骤间关系特征和预先训练的关系分析模型，得到步骤间关系。

优选地，所述步骤获取单元包括：

分词子单元，用于对所述待批改解答结果进行分词处理。

分步子单元，用于基于分词处理结果和预先训练的分步模型，得到各答题步骤。

具体地，所述批改模块134的输出包括以下任意一种或多种：

最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确。

在又一个实施例中，所述知识库构建模块135包括：

存储单元，用于存储多个正确解答结果的步骤间的推导关系、以及答题路径。

标注单元，用于标注正确解答结果的步骤间的推导关系所需的知识点和定理。

所述批改模块134的输出还包括：步骤间的推导关系所需的知识点和定理。

本发明实施例提供的数学主观题解答结果批改系统，可以通过答题结构获取模块132获取待批改解答结果的答题结构，所述答题结构包括：答题步骤、步骤间关系，然后利用匹配模块133，用于将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配，进而得到批改结果，由于参考答案是根据待批改解答结果的答题结构生成的最接近的正确答案，因此可以有效提升批改的准确率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及系统；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种数学主观题解答结果批改方法，其特征在于，包括：

接收待批改解答结果；

获取待批改解答结果的答题结构，所述答题结构包括：答题步骤、步骤间关系；

将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配，其中，所述参考答案是指：根据所述答题结构及预先构建的知识库，生成的用于对所述待批改解答结果进行批改操作的正确答案；

根据匹配结果给出待批改解答结果的批改结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤间关系包括以下任意一种或多种：没有关系、并列关系、推导关系、重复关系、合并关系和扩展关系。

3.根据权利要求2所述的方法，其特征在于，所述参考答案通过以下方式生成：

预先构建知识库，所述知识库中存储多个正确解答结果的步骤间的推导关系、以及答题路径；

将获取的待批改解答结果的步骤间的推导关系在所述知识库中进行匹配，保留匹配成功的条件-结论关系，以及在匹配不成功时，保留出现频度高的指定个数条件-结论关系，其中，结论为最终答题结论或推导结论，条件为题目条件或推导条件；

根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案。

4.根据权利要求3所述的方法，其特征在于，所述根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案包括：

遍历所有保留的条件-结论关系，得到图结构；

将所述图结构裁剪拆分成只有单一推导路径的一个或多个子图；

针对每一个子图，根据最终答题结论反向搜索条件-结论关系直至所有条件-结论关系的条件均为已知条件，将搜索路径作为参考答案路径，如果当前子图的搜索深度高于设定阈值且至少部分条件不是已知条件，则搜索另一个子图，直至当前子图中所有条件-结论关系的条件均为已知条件或搜索完所有子图。

5.根据权利要求3所述的方法，其特征在于，所述待批改解答结果的答题结构和所述正确解答结果的推导关系、以及答题路径通过以下方式获取：

获取所述待批改解答结果的各答题步骤、或者所述正确解答结果的各答题步骤；

依序提取两个答题步骤的步骤间关系特征，所述步骤间关系特征包括以下任意一种或多种：步骤位置特征、步骤引导词特征、步骤中数学实体间关系特征、步骤中相同实体比例特征；

基于所述步骤间关系特征和预先训练的关系分析模型，得到步骤间关系。

6.根据权利要求5所述的方法，其特征在于，所述获取所述待批改解答结果的各答题步骤包括：

对所述待批改解答结果进行分词处理；

基于分词处理结果和预先训练的分步模型，得到各答题步骤。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述批改结果包括以下任意一种或多种：

最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确。

8.根据权利要求3至6任一项所述的方法，其特征在于，预先构建知识库包括：

存储多个正确解答结果的步骤间的推导关系、以及答题路径；

标注正确解答结果的步骤间的推导关系所需的知识点和定理；

所述批改结果包括：最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确、步骤间的推导关系所需的知识点和定理。

9.一种数学主观题解答结果批改系统，其特征在于，包括：

接收模块，用于接收待批改解答结果；

答题结构获取模块，用于获取待批改解答结果的答题结构，所述答题结构包括：答题步骤、步骤间关系；

匹配模块，用于将待批改解答结果的答题结构与生成的参考答案的答题结构进行匹配，其中，所述参考答案是指：根据所述答题结构及预先构建的知识库，生成的用于对所述待批改解答结果进行批改操作的正确答案；

批改模块，用于根据匹配结果给出待批改解答结果的批改结果。

10.根据权利要求9所述的系统，其特征在于，所述系统还包括：

参考答案生成模块，用于生成参考答案，包括：

条件-结论关系获取单元，用于将获取的待批改解答结果的步骤间的推导关系在预先构建的知识库中进行匹配，保留匹配成功的条件-结论关系，以及在匹配不成功时，保留出现频度高的指定个数条件-结论关系，其中，结论为最终答题结论或推导结论，条件为题目条件或推导条件；

答案生成单元，用于根据保留的条件-结论关系、最终答题结论和题目条件生成参考答案。

11.根据权利要求10所述的系统，其特征在于，所述答题结构获取模块具体用于获取所述待批改解答结果的答题结构和所述正确解答结果的推导关系、以及答题路径，包括：

步骤获取单元，用于获取所述待批改解答结果的各答题步骤、或者所述正确解答结果的各答题步骤；

步骤间关系特征提取单元，用于依序提取两个答题步骤的步骤间关系特征，所述步骤间关系特征包括以下任意一种或多种：步骤位置特征、步骤引导词特征、步骤中数学实体间关系特征、步骤中相同实体比例特征；

步骤间关系获取单元，用于基于所述步骤间关系特征和预先训练的关系分析模型，得到步骤间关系。

12.根据权利要求9至11任一项所述的系统，其特征在于，所述批改模块的输出包括以下任意一种或多种：

最终答题结论是否正确、答题步骤是否完整、步骤间的推导关系是否正确。

Images