CN104834958B - 一种对答案的步骤进行评判的方法和装置 - Google Patents

Abstract

本发明提供了一种对试题的答案的步骤进行评判的方法和装置，其中该方法包括：针对所述试题，获取与所述试题对应的规则；基于所述试题和与所述试题对应的规则，获取第一推理知识并将所述第一推理知识加入推理知识库；基于所述推理知识库，对所述答案的步骤进行评判。本发明提供的实施例可以有效实现对主观型试题对应的答案中各步骤的正误甚至各步骤是否存在跳步进行自动判断。

Description

一种对答案的步骤进行评判的方法和装置

技术领域

本发明涉及信息处理技术，尤其涉及一种对答案的步骤进行评判的方法和装置。

背景技术

在现有的自动阅卷或自动阅题系统中，基本都是由计算机对其中的客观题对应的答案进行正误的判断，而对于其中诸如方程求解、几何证明等具有较强逻辑关联的主观试题对应的答案的正误判断依然需要人工进行，由此可见，现有技术中机器阅卷或阅题的应用范围仍是十分局限，依然需要消耗较大的人力资源。

发明内容

本发明的目的之一是实现对主观型试题对应的答案中各步骤的正误进行自动判断。

根据本发明的一个方面的一个实施例，提供了一种对试题的答案的步骤进行评判的方法，该方法包括：

针对所述试题，获取与所述试题对应的规则；

基于所述试题和与所述试题对应的规则，获取第一推理知识加入推理知识库；

基于所述推理知识库，对所述答案的步骤进行评判。

根据本发明的另一个方面的一个实施例，提供了一种对试题的答案的步骤进行评判的装置，该装置包括：

第一规则获取单元，被配置为针对所述试题，获取与所述试题对应的规则；

第一推理单元，被配置为基于所述试题和与所述试题对应的规则，获取第一推理知识加入推理知识库；

评判单元，被配置为基于所述推理知识库，对所述答案的步骤进行评判。

与现有技术相比，本发明实施例具有以下优点：基于已知的试题和获取的相应规则进行推理，获取相应的推理知识并将推理知识加入到知识库中，对待评判答案的相应步骤进行评判，从而实现对答案中各步骤的正误进行自动判断，大幅度减少人力判卷/判题资源。

进一步地，本发明实施例还可以基于从前一步骤到当前步骤的推理路径的分析，从判断出当前步骤是否存在跳步，也即本发明实施例不仅可以判断出答案各步骤的正误，还可以判断出所述答案各步骤是否存在跳步。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为根据本发明,一个实施例的对试题的答案的步骤进行评判的方法1的流程图；

图2为根据本发明另一个实施例的对试题的答案的步骤进行评判的方法1的流程图；

图3为根据本发明另一个实施例的对试题的答案的步骤进行评判的方法1的流程图；

图4为根据本发明一个实施例的推理路径的示意图；

图5为根据本发明另一个实施例的推理路径的示意图；

图6为根据本发明另一个实施例的对试题的答案的步骤进行评判的装置2的示意性框图；

图7为根据本发明另一个实施例的对试题的答案的步骤进行评判的装置2的示意性框图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

图1为根据本发明一个实施例的一种对试题的答案的步骤进行评判的方法1的流程图。

本实施例中，所述试题包括但不限于数理逻辑推理、方程解答、函数运算解答、基于几何图形或几何作图的运算解答等类型的试题，例如所述试题如下：求解方程x+2x+3x+4x＝140。

所述试题的答案可能包括一个步骤，也可能包括多个步骤，例如针对上述试题的一种答案仅包括一个步骤：x＝14；又如针对上述试题的另一种答案包括三个步骤：6x+4x＝140，10x＝140，x＝14。

所述对试题的答案的步骤进行评判，得到的结果可能包括以下中的一种：错误、正确、正确且存在跳步、正确且不存在跳步等。

在S102中，针对所述试题，获取与所述试题对应的规则。

可选地，所述规则是预先定义的或基于各种途径收集的，并可以存储在相应的规则数据库。可选地，所述规则数据库可以更新，例如替换原有的规则或向规则数据库中补充新的规则。可选地，所述规则数据库可以基于一定的标准进行分类，例如根据学科的不同，将所述规则数据库分为数学规则数据库、物理规则数据库、化学规则数据库等；又如根据学习阶段的不同，将数学规则数据库分为小学数学规则数据库、初中数学规则数据库、高中数学规则数据库等，从而可以满足不同背景的用户的不同需求。

所述获取与所述试题对应的规则，可以通过诸如以下过程来实现：假定所述规则与某个信息集合存在预先的对应关系，通过将所述试题处理成所述信息集合中的某一信息，则基于该某一信息与所述规则中某一规则的对应关系，来获取该某一规则。其中所述信息集合中的信息的格式可以基于一定标准而统一，例如，所述信息集合中信息的格式为一阶谓词逻辑的格式。

例如，对于试题：2乘以1再乘以7是多少？可选地，通过如下过程将所述试题处理成所述信息集合中的某一信息：

-提取所述试题的一阶谓词逻辑中的谓词：“…乘以…再乘以…是多少”；

-基于上述谓词：“…乘以…再乘以…是多少”与乘法规则的对应关系，获取与所述试题对应的乘法规则。

在S104中，基于所述试题和与所述试题对应的规则，获取第一推理知识加入推理知识库。

可选地，所述推理通过相应的推理引擎(或称“推理机”)来实现。

为了便于理解本实施例的推理引擎，对本实施例可能涉及到的相关技术术语进行如下解释：

知识：最基本的信息单位；

推理规则：从已知的若干知识推理出其他若干知识的规则；

推理知识库：知识的集合；

已知知识：作为推理的前提的知识；

推理知识：基于推理规则从已知知识推理得到的知识；

推理路径：从已知知识推理出其他若干知识所需涉及的一条或多条推理规则(即规则流)。

本实施例中的所述推理可以为正向推理(或称“演绎推理”)，也可以为反向推理(或称“归纳推理”)。优选地，本实施例采用正向推理的方式来实施，也即从已知的若干知识出发，不断应用相应的规则，得到推理知识。

例如，对于试题a：x+5x+4x＝140，求x＝？通过S102获取与该试题对应的规则包括：合并同类项规则m，则基于所述试题a和对应的规则m，获取第一推理知识包括但不限于：6x+4x＝140；5x+5x＝140；x+9x＝140；10x＝140。则，可以将获取到的上述第一推理知识加入到推理知识库，从而所述加入到推理知识库中的第一推理知识可以作为已知知识用于后续的推理。

在S106中，基于所述推理知识库，对所述答案的步骤进行评判。

所述基于所述推理知识库，对所述答案的步骤进行评判可以是基于推理知识库中的已知知识(包括已加入的推理知识)和所述答案的步骤的比较，来评判所述答案的步骤是否正确，例如，比较所述推理知识库中的已知知识6x+4x＝140；5x+5x＝140；x+9x＝140；10x＝140以及某答案的步骤：x+9x＝140，由于所述答案的步骤x+9x＝140与所述推理知识库中的已知知识x+9x＝140相同，则评判所述答案的步骤正确。

可选地，所述推理知识库中还包括所述试题。也即，将所述试题也加入到推理知识库中。则如果所述答案的步骤为对所述试题的全部或主要内容的重新抄写，则由于所述答案的步骤与所述推理知识库中为已知知识的试题相同，则也可以评判所述答案的步骤正确。

上文所述的比较可以基于数学语义、自然语言语义等维度来进行。

可选地，所述获取与所述试题对应的规则包括：

-提取所述试题的题干。例如，对于试题：一个苹果2块钱，每天吃1个苹果，一个星期在苹果上的花费是多少？则提取该题的题干例如为:2乘以1再乘以7是多少。其中，所述题干的提取可以基于相关自然语言处理规则来实现。

-将所述题干转换成对应的一阶谓词逻辑。例如，将上文的“2乘以1再乘以7是多少”转化成如下的一阶谓词逻辑：F(2,1,7)：2乘以1再乘以7是多少。

-获取与所述一阶谓词逻辑对应的规则。例如，基于一阶谓词逻辑中的谓词来获取对应的规则，例如，基于不同谓词和不同规则之间预先定义的对应关系，来获取对应的规则。例如对于谓词“乘以”，其与乘法规则存在预先定义的对应关系，则对于上述一阶谓词逻辑：F(2,1,7)：2乘以1再乘以7是多少，基于其中的谓词“乘以”，则获取对应的乘法规则。

同理可选地，所述对所述答案的步骤进行评判包括：

-提取所述步骤的主干；

-将所述主干转换成对应的一阶谓词逻辑；

-基于所述推理知识库中的推理知识和所述答案的步骤中对应的一阶谓词逻辑的比较，对所述答案的步骤进行评判。

由于此处对所述答案的步骤进行评判可以参考上文的获取与所述试题对应的规则的过程，为简明起见，在此不再详述。

根据本发明的一个实施例，请参考图2，则所述方法1还可以包括：

S108，如果对所述答案的步骤进行评判的结果是所述步骤正确，则针对所述步骤，获取与所述步骤对应的规则。

例如，假定对步骤：10x＝140评判为正确的，则可以基于与上文所述的获取与试题对应的规则相同的过程来获取与所述步骤对应的规则。例如，获取到与上述步骤：10x＝140对应的规则为系数化一规则。

S110，基于所述步骤和与所述步骤对应的规则，获取第二推理知识加入推理知识库。

例如，对于上述步骤：10x＝140和已获取的系数化一规则，则获取到对应的第二推理知识：x＝14，将所述获取到的第二推理知识加入推理知识库。

如此，对于包括多个步骤的答案，当对一个步骤评判为正确的时候，可以将所述步骤作为已知知识加入到推理知识库，从而在此基础上，可以基于推理逻辑上的连贯性有效地对后续步骤的正误进行判断。

可选地，对于包括顺次的多个步骤的情况，对顺次的多个步骤顺次进行评判。

在特殊情况下，本发明实施例为了更好地对试题的答案的后续步骤进行评判，所述方法1还可以包括：

如果试题的答案的步骤为作图语句、假设语句之类的内容，则将所述步骤判定为正确并加入到知识库中。

如此，对于答案中的作图语句、假设语句之类的内容，可以基于答案提供者本身假定的逻辑进行后续步骤正误的验证，从而基于此本实施例也可以有效地对这种特殊的情况进行处理。

根据本发明一个实施例，请参考图3，所述方法1还可以对答案的步骤是否存在跳步进行判断。具体地，则所述方法1还可以包括：

通过以下判断所述步骤是否存在跳步：

S114，以所述步骤的前一步骤为源节点，以所述步骤为目标节点，建立从所述源节点到所述目标节点的至少一条推理路径。

为了更好地理解源节点、目标节点、推理路径，本发明实施例还提供了从一个节点到另一个节点的推理路径的示意图，如图4所示(推理路径以实线箭头标示)。

根据图4，以所述步骤“6x+4x＝140”作为目标节点，以所述步骤的前一步骤“x+2x+3x+4x＝140”作为源节点，从而建立从源节点到目标节点的至少一条推理路径。其中，所述推理路径的建立是根据推理规则来进行的，例如基于“合并同类项”的规则建立从所述源节点直接到目标节点的一条推理路径2，又如基于“合并同类项”的规则建立一条从源节点到节点1(3x+3x+4x＝140)再从节点1到目标节点的一条推理路径1，还如基于“合并同类项”的规则建立一条从源节点到节点2(x+5x+4x＝140)再从节点1到目标节点的一条推理路径3。

其中，上述推理路径1～推理路径3虽然都是根据相同的规则来得到的，但是由于经过的节点不同，导致应用该相同的规则的次数也不同。例如，上述路径1应用“合并同类项”的规则的次数为1，上述推理路径2和推理路径3应用“合并同类项”的规则的次数为2。

当然，图4仅是示例，在不同的示例中，每条推理路径所应用的规则类型及规则数量都可以是不同的。

特别地，对于答案中的首个步骤，由于首个步骤不存在前一步骤，则可以以所述试题中的内容作为首个步骤的前一步骤来建立推理路径。

S116，基于所述至少一条推理路径中各条推理路径所对应的至少一条规则的权重之和，判断所述至少一条推理路径中的最短推理路径。

所述权重可以是针对规则的类型来设定的，例如，将图4所示的规则1“合并同类项”的权重设定为1，将图4未示出的其他规则诸如“系数化一”规则的权重设定为2。

所述各条推理路径所对应的至少一条规则的权重之和，是指所述推理路径上所应用的所有规则的权重之和，例如，对于上述路径2，其仅应用到权重为1的“合并同类项”规则1次，因为权重之和为其本身1；又如，对于上述路径1，其应用到权重为1的“合并同类项”规则2次，则其权重为1加1的和值2；同理，对于上述路径3，其对应的权重也为2。

所述最短推理路径在此可以指权重之和最小的推理路径，显然图4所示的三条推理路径中，推理路径2的权重之和最小(1)，因而推理路径2为最短推理路径。

S118，判断所述最短推理路径的权重之和是否大于或等于预定值，如果大于或等于，则判断存在跳步。

为了更好地理解S118，请进一步参考图5，图5中建立了从源节点“x+2x+3x+4x＝140”到目标节点“x＝14”的两条示例的推理路径4和推理路径5，其中推理路径4和推理路径5涉及到的规则包括权重为1的“合并同类项”规则1以及权重为2的“系数化一”规则2。就图5所示的例子而言，设预定值为3，则判断图5中的最短推理路径的权重之和是否大于或等于3。

根据上文对图4中最短路径的相同计算方法，得知最短路径4的权重之和为3，由于最短路径4的权重等于预定值，则判断所述步骤“x＝14”存在跳步，也即从前一步骤“x+2x+3x+4x＝140”到所述步骤“x＝14”是跳步的。

由上，本发明实施例不仅可以判断各步骤的正误，还可以基于推理路径来判断各步骤是否存在跳步，从而更综合地对各步骤进行判断。

请参考图6，根据本发明的另一实施例，还提供了一种对试题的答案的步骤进行评判的装置2，该装置2包括：

第一规则获取单元202，被配置为针对所述试题，获取与所述试题对应的规则；

第一推理单元204，被配置为基于所述试题和与所述试题对应的规则，获取第一推理知识加入推理知识库；

评判单元206，被配置为基于所述推理知识库，对所述答案的步骤进行评判。

可选地，请参考图7，所述装置2还包括：

第二规则获取单元208，被配置为如果对所述答案的步骤进行评判的结果是所述步骤正确，则针对所述步骤，获取与所述步骤对应的规则；

第二推理单元210，被配置为基于所述步骤和与所述步骤对应的规则，获取第二推理知识加入推理知识库。

可选地，所述推理知识库还包括所述试题。

可选地，所述第一规则获取单元202被配置为：

-提取所述试题的题干；

-将所述题干转换成对应的一阶谓词逻辑；

-获取与所述一阶谓词逻辑对应的规则。

可选地，所述评判单元206被配置为：

-提取所述步骤的主干；

-将所述主干转换成对应的一阶谓词逻辑；

-基于所述推理知识库中的推理知识和所述答案的步骤中对应的一阶谓词逻辑的比较，对所述答案的步骤进行评判。

可选地，所述步骤包括顺次的多个步骤，其中对顺次的多个步骤顺次进行评判。

可选地，所述评判单元206被配置为：

通过以下过程判断所述步骤中是否存在跳步：

以所述步骤的前一步骤为源节点，以所述步骤为目标节点，建立从所述源节点到所述目标节点的至少一条推理路径；

基于所述至少一条推理路径中各条推理路径所对应的至少一条规则的权重之和，判断所述至少一条推理路径中的最短推理路径；

判断所述最短推理路径的权重之和是否大于或等于预定值，如果大于或等于，则判断存在跳步。

本发明可在软件和/或软件与硬件的组合体中被实施，例如，装置2中的每个单元可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (12)

1.一种对试题的答案的步骤进行评判的方法(1)，该方法(1)包括：

针对所述试题，获取与所述试题对应的规则(S102)；

基于所述试题和与所述试题对应的规则，获取第一推理知识加入推理知识库(S104)；

基于所述推理知识库，对所述答案的步骤进行评判(S106)；其中

对所述答案的步骤进行评判(S106)包括：

通过以下判断所述步骤中是否存在跳步：

以所述步骤的前一步骤为源节点，以所述步骤为目标节点，建立从所述源节点到所述目标节点的至少一条推理路径(S114)；

基于所述至少一条推理路径中各条推理路径所对应的至少一条规则的权重之和，判断所述至少一条推理路径中的最短推理路径(S116)；

判断所述最短推理路径的权重之和是否大于或等于预定值，如果大于或等于，则判断存在跳步(S118)。

2.根据权利要求1所述的方法(1)，其中所述方法(1)还包括：

如果对所述答案的步骤进行评判的结果是所述步骤正确，则针对所述步骤，获取与所述步骤对应的规则(S108)；

基于所述步骤和与所述步骤对应的规则，获取第二推理知识加入推理知识库(S110)。

3.根据权利要求1所述的方法(1)，其中推理知识库还包括所述试题。

4.根据权利要求1所述的方法(1)，其中所述获取与所述试题对应的规则包括：

-提取所述试题的题干；

-将所述题干转换成对应的一阶谓词逻辑；

-获取与所述一阶谓词逻辑对应的规则。

5.根据权利要求1所述的方法(1)，其中所述对所述答案的步骤进行评判包括：

-提取所述步骤的主干；

-将所述主干转换成对应的一阶谓词逻辑；

-基于所述推理知识库中的推理知识和所述答案的步骤中对应的一阶谓词逻辑的比较，对所述答案的步骤进行评判。

6.根据权利要求1所述的方法(1)，其中所述步骤包括顺次的多个步骤，其中对顺次的多个步骤顺次进行评判。

7.一种对试题的答案的步骤进行评判的装置(2)，该装置(2)包括：

第一规则获取单元(202)，被配置为针对所述试题，获取与所述试题对应的规则；

第一推理单元(204)，被配置为基于所述试题和与所述试题对应的规则，获取第一推理知识加入推理知识库；

评判单元(206)，被配置为基于所述推理知识库，对所述答案的步骤进行评判；其中

所述评判单元(206)还被配置为：

通过以下过程判断所述步骤中是否存在跳步：

以所述步骤的前一步骤为源节点，以所述步骤为目标节点，建立从所述源节点到所述目标节点的至少一条推理路径；

基于所述至少一条推理路径中各条推理路径所对应的至少一条规则的权重之和，判断所述至少一条推理路径中的最短推理路径；

判断所述最短推理路径的权重之和是否大于或等于预定值，如果大于或等于，则判断存在跳步。

8.根据权利要求7所述的装置(2)，其中所述装置(2)还包括：

第二规则获取单元(208)，被配置为如果对所述答案的步骤进行评判的结果是所述步骤正确，则针对所述步骤，获取与所述步骤对应的规则；

第二推理单元(210)，被配置为基于所述步骤和与所述步骤对应的规则，获取第二推理知识加入推理知识库。

9.根据权利要求7所述的装置(2)，其中推理知识库还包括所述试题。

10.根据权利要求7所述的装置(2)，其中所述第一规则获取单元(202)被配置为：

-提取所述试题的题干；

-将所述题干转换成对应的一阶谓词逻辑；

-获取与所述一阶谓词逻辑对应的规则。

11.根据权利要求7所述的装置(2)，其中评判单元(206)被配置为：

-提取所述步骤的主干；

-将所述主干转换成对应的一阶谓词逻辑；

-基于所述推理知识库中的推理知识和所述答案的步骤中对应的一阶谓词逻辑的比较，对所述答案的步骤进行评判。

12.根据权利要求7所述的装置(2)，其中所述步骤包括顺次的多个步骤，其中对顺次的多个步骤顺次进行评判。