CN110781681B

CN110781681B - 一种基于翻译模型的初等数学应用题自动求解方法及系统

Info

Publication number: CN110781681B
Application number: CN201910966702.8A
Authority: CN
Inventors: 钟秀琴; 符红光; 田隽硕; 张果
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2019-10-12
Filing date: 2019-10-12
Publication date: 2023-04-28
Anticipated expiration: 2039-10-12
Also published as: CN110781681A

Abstract

本发明公开了一种基于翻译模型的初等数学应用题自动求解方法，属于计算机软件领域，首先对应用题文本进行预处理，得到标准化文本；接着对所述标准化文本进行命名实体识别和机器翻译，得到所述标准化文本的信息框架；然后利用常识数量关系库和动态实体库生成所述标准化文本中的隐含关系框架；最后利用所述信息框架和关系框架得到方程组，利用Maple符号计算工具对所述方程组进行计算，得到计算结果；本发明能够对初等数学应用题进行自动求解，求解准确率较高。

Description

一种基于翻译模型的初等数学应用题自动求解方法及系统

技术领域

本发明涉及计算机软件领域，具体涉及一种基于翻译模型的初等数学应用题自动求解方法及系统。

背景技术

数学是人类文明的重要基础，占有举足轻重的地位，培养学生在数学方面的问题解决能力更是国内外教育界研究的重点。在初等数学教育教学过程中，数学应用题已成为教学的重点和难点。1)应用题一般都包含背景，如果设置的情景学生在生活中很少经历，学生缺乏对问题的最基本的感性认识，这样在解答的时候就比较茫然。2)应用题包含很多文字，语言形式多样，学生阅读和理解起来很费劲。3)应用题有复杂的数量关系，涉及常识知识，隐蔽性较强，学生很难分析出正确的题意。总之，应用题的解答对学生素质的考验是全方位的，既考查学生的数学知识面，又检验学生的数学能力水平；既是学生智商的试金石，又是学生情商的演练场。数学应用题由于集描述性文字和内在的数字逻辑为一体，对语言的理解和推理具有重大挑战，因此建立计算机模型自动求解应用题一直是自然语言处理领域及问题自动求解领域的重要研究课题。目前国内外有很多专家和学者都致力于这方面的研究。

早在1964年，国外就出现了智能解题系统，名为STUDENT系统，这个系统的输入是在规定范围内的描述性方式的代数类型应用题中，采用关键字及模式匹配，使自然语言映射到一组事先预定义好的关系形式化描述。2014年ARIS系统尝试将算术应用题求解转化为动词的分类问题，ARIS通过对每个句子进行分析，确定实体(与数字关联的名词)、实体的容器、属性、数量关系，并通过对每句中<实体，容器>元组所对应的动词进行增减二分类，决定每个实体相对于某个容器来说数量的增减，从而把算术应用题的描述看作以动词驱动的状态转移图；kintsch采用插槽式框架表示法，在集合图式层抽取出事物、数量、说明、角色等节点要素，然后根据集合关系图式中定义的关系进行状态转移运算。

2015年Roy and Roth提出第一种能够处理具有多个步骤和操作的算术问题的方法，而不依赖于其他注释(公式或标签)。它构建了一个表达式树，并分别训练了两个分类器，用于数量相关性预测和公共子操作符分类。近年来，有学者用深度增强学习技术改进了Roy and Roth提出的表达式树方法，建立了名为MathDQN的系统解决小学算术题，借助增强学习模拟建立最优树的过程，解决构建表达式过程中搜索空间较大的问题，并在AI2、IL、CC数据集的准确率上相对于之前的基于表达式树的求解系统取得了平均10％的提高。

目前，深度学习已渐渐地渗透到应用题研究领域，但其主要研究还局限在处理小学单步算术题，尤其是加、减、乘、除等简单的单步运算。而形式多变、涉及复杂场景描述、蕴含更复杂的数量关系、包含更多的解题步骤的应用题，ARIS系统、插槽式框架表示法、表达式树方法等还无法有效解决。

发明内容

本发明的目的在于：本发明提供了一种基于翻译模型的初等数学应用题自动求解方法及系统，解决了目前的自动求解方法仅对单步算术题适用，无法对初等数学应用题进行自动求解的技术问题。

本发明采用的技术方案如下：

一种基于翻译模型的初等数学应用题自动求解方法，包括以下步骤：

步骤1：对应用题文本进行预处理，得到标准化文本；

步骤2：对所述标准化文本进行命名实体识别和机器翻译，得到所述标准化文本的信息框架；

步骤3：利用常识数量关系库和动态实体库生成所述标准化文本中的隐含关系框架；

步骤4：利用所述信息框架和关系框架得到方程组，利用Maple符号计算工具对所述方程组进行计算，得到计算结果。

进一步的，所述步骤1中，预处理包括分词及词性标注、同义词及指代处理、结论处理及文本切割。

进一步的，所述步骤2中，信息框架的槽包括实体、属性、数量、单位和数量关系。

进一步的，所述步骤2中转换步骤具体为：

步骤21：对标准化文本，进行命名实体识别提取出实体和属性，利用特征模板提取出数量和单位，并将提取出的实体、属性、数量和单位存入所述信息框架对应的槽中；

步骤22：对所述标准化文本中的实体、属性、数量和单位采用变量表示，得到该标准化文本的语料格式，以及变量与实体、属性、数量和单位之间的映射关系；

步骤23：将具有语料格式的标准化文本输入机器翻译模型(GNMT)，并结合映射关系，得到该标准化文本的数量关系，并将所述数量关系存入所述信息框架对应的槽中。

进一步的，所述步骤23中，还包括对机器翻译模型(GNMT)进行训练和测试，具体包括以下步骤：

步骤231：选取若干应用题子句，将所述子句全部转换为语料格式，将转换格式后的子句分为训练数据集和测试数据集；

步骤232：将训练数据集输入翻译模型(GNMT)进行训练，得到训练后的翻译模型(GNMT)；

步骤233：将所述测试集输入所述训练后的翻译模型(GNMT)进行测试，若准确率大于阈值，则结束训练和测试，否则重复步骤232-233。

进一步的，所述步骤3中所述常识数量关系库用于储存预先构建的数量关系，所述动态实体库用于储存实体和属性，所述隐含关系框架储存该标准化文本中的隐含数量关系。

一种基于翻译模型的初等数学应用题自动求解系统，包括用户接口、预处理模块、语义理解模块、自动演算模块，

预处理模块，用于对来自用于接口和应用题题库中的应用题文本进行预处理，得到标准化文本；

语义理解模块，用于得到所述标准化文本的信息框架；

自动演算模块，用于生成关系框架，并结合信息框架进行自动演算，并将计算结果通过用户接口返回至用户。

进一步的，所述语义理解模块包括命名实体识别模块、机器翻译模型(GNMT)模块和信息框架表示模块。

进一步的，所述自动演算模块连接常识数量关系库和动态实体库，用于生成所述关系框架。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

本发明采用的信息框架，相比于现有技术，不仅包含有实体槽和数量槽，还包括属性槽、单位槽和数量关系槽，并删减了多余的槽，使本发明中的信息框架更加简单有效的表示题目信息，是一种知识的提取，在此基础上做的自动求解更具类人逻辑性，能够有效的应用于自动解答中。

本发明采用CRF++的命名实体识别方式对实体和属性进行提取，采用特征模板匹配的方法对数量和单位进行提取，并利用机器翻译模型对数量关系进行提取，实现了从自然语言到数学语言的转换，本发明的自动解答正确率较高。

与现有技术相比，本发明打破了每个操作符只用一次、操作符组合构成表达式树的限制，采用关系方程联立求解的方式，更具有一般性和通用性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的总体框架图；

图2为本发明具体实施1中实例的转换流程图；

图3为本发明的系统框架图；

图4为本发明具体实施例3中实例的整体流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以下结合实施例对本发明的特征和性能作进一步的详细描述。

步骤1：对应用题文本进行预处理，得到标准化文本；

所述步骤1中，预处理包括分词及词性标注、同义词及指代处理、结论处理及文本切割。

所述步骤2中，信息框架的槽包括实体、属性、数量、单位和数量关系。

所述步骤2中转换步骤具体为：

所述步骤23中，还包括对机器翻译模型(GNMT)进行训练和测试，具体包括以下步骤：

所述步骤3中所述常识数量关系库用于储存预先构建的数量关系，所述动态实体库用于储存实体和属性，所述隐含关系框架储存该标准化文本中的隐含数量关系。

语义理解模块，用于得到所述标准化文本的信息框架；

所述语义理解模块包括命名实体识别模块、机器翻译模型(GNMT)模块和信息框架表示模块。

所述自动演算模块连接常识数量关系库和动态实体库，用于生成所述关系框架。

实施例1

如图1所示，一种基于翻译模型的初等数学应用题自动求解方法，包括以下步骤：

步骤1：对应用题文本进行预处理，得到标准化文本；

预处理包括分词及词性标注、同义词及指代处理、结论处理及文本切割、指代消解、实体补全等等，将应用题的文本变为标准化的文本，便于后续步骤的识别。

信息框架的槽包括实体、属性、数量、单位和数量关系，该信息框架具有应用题题目中数据描述的所有有关实体及属性，不仅仅局限在一个实体或属性上；包含应用题题目中所有的数据描述；包含应用题题目中所有数据描述的单位；包含应用题题目中具体的实体属性与数据之间的数量关系；

信息框架如表1所示：

表1初等数学应用题信息框架

槽	值
		实体	[名词]
属性	[名词]
		数量	[数字]、Var[数字]
单位	[个、位、米等]
		数量关系	[数学表达式]

实体槽的内容为一个或多个名词，属性槽的内容也为一个或多个名词，但实体与属性有一定区别，例如：“裙子的成本为50元”，实体是“裙子”，属性是“成本”，数量槽的内容为一个或多个有理数或Var形式的未知变量，例如：“小明有多少个苹果？”，“多少”会被引入变量“Var”替换，若变量不止一个，则使用Var1、Var2等表示，数量槽中的数据用来修饰实体或属性，单位槽为一个单位，修饰数量槽中的数据信息，数量关系槽的内容为一个数学表达式，表示实体属性之间的数量关系，此数量关系由数学语言词汇组成，“symbol1”、“symbol2”等表示变量，“num1”、“num2”等表示数量，“+”、“-”“*”等表示操作符号，“@”表示包含关系，“△”表示变化率，“|”表示条件关系等。以“长方形的长为5米，宽为2米，长方形的周长为多少米？”为例，信息框架如图2所示。

以“裙子的售价为50元”为例，如图2所示，具体的转换步骤如下：

步骤21：对标准化文本，进行命名实体识别提取出实体和属性，命名实体识别具体为GRF++(条件随机场)模型，为现有技术；利用特征模板提取出数量和单位，特征模板具体为基于正则的模式匹配，为现有技术；并将提取出的实体、属性、数量和单位存入所述信息框架对应的槽中；

即提取的实体为裙子，属性为售价，数量为50，单位为元；

即得到标准的语料格式为：symbol1的symbol2为num元，映射关系为：symbol1表示裙子，symbol2表示售价，num表示50。

机器翻译模型将该句翻译为：symbol1@symbol2＝50，结合映射关系得到的最终的数量关系为：裙子@售价＝50；并将该数量关系存入信息框架中。

本实施例共选择3000条初等数学应用题子句，将其作为命名实体识别的语料库，语料库具体如表2所示：

表2训练数据文件实例

观测序列	词性	标签
			三	m	S_Entity
年级	n	E_Entity
			有	V	N
500	m	N
			名	q	N
学生	n	S_Attribute

通过命名实体识别进行实体及属性提取，效果如表3所示：

表3命名实体识别测试结果

数据量	提取正确	提取错误	准确率
				935	784	151	83.85％

将这3000条子句引入变量，将其转化为机器翻译模型所需要的语料格式，

部分源语料如表4所示：

表4部分源语料

symbol1是symbol2的num倍
	symbol1比symbol2的num1倍少num2棵
每天的symbol1不超过num元
	symbol1的symbol2有num个
symbol1比symbol2少num人

表4对应的目标语料如表5所示：

表5部分目标语料

symbol1＝symbol2*num
	symbol1＝symbol2*num1-num2
symbol1≤num
	symbol1@symbol2＝num
symbol2-symbol1＝num

通过谷歌神经网络机器翻译进行实体属性数量关系提取，将其中2400条作为训练集，600条作为测试集，效果如表6所示：

表6谷歌神经网络机器翻译测试结果

	训练集	测试集
			数据集	2400	600
正确率	92.12％	87.17％

步骤3：利用常识数量关系库和动态实体库生成所述标准化文本中的隐含关系框架；所述常识数量关系库用于储存预先构建的数量关系，所述动态实体库用于储存实体和属性，所述隐含关系框架储存该标准化文本中的隐含数量关系；

所述关系框架包含应用题题目中实体属性与数据之间的隐含数量关系，关系框架包含多个槽，每个槽的内容为该题可能隐含的一个数量关系。不是每一个应用题的解答都需要关系框架，只有存在隐含关系的应用题才需要关系框架，例如：“裙子的售价为68元，成本为50元，裙子盈利为多少元？”，此题中需要提取隐含关系：“售价-成本＝盈利”，常识数量关系库将在构建关系框架之前实现加载和读取，

常识数量关系库中部分常识关系如表7所示：

表7数据库中部分常识关系

本实施例输入300道初等数学应用题进行自动求解，求解的正确率为74％。

实施例2

如图3所示，本实施例用于对一种基于翻译模型的初等数学应用题自动求解系统进行说明，包括用户接口、预处理模块、语义理解模块、自动演算模块，

预处理模块，用于对来自用于接口和应用题题库中的应用题文本进行预处理，得到标准化文本：

语义理解模块，用于得到所述标准化文本的信息框架，包括命名实体识别模块、机器翻译模型(GNMT)模块和信息框架表示模块；

自动演算模块，连接常识数量关系库和动态实体库用于生成关系框架，并结合信息框架进行自动演算，并将计算结果通过用户接口返回至用户。

用户使用用户接口将初等数学应用题文本输入到系统中，或者直接从应用题题库中调用应用题文本进入系统，随后进入预处理模块，这个模块主要用于分词、词性标注和同义词及指代处理，应用题文本通过这个模块得到标准统一的文本格式，接着是语义理解模块，此模块使用命名实体识别提取实体及属性，使用特征模板提取数量及单位信息，使用GNMT服务提取实体及属性间数量关系，将这些提取的信息存储于信息框架中，最后是自动演算模块，这个模块会先根据常识数量关系库与动态实体库生成关系框架，结合信息框架与关系框架得到方程组，然后由Maple对此方程组进行符号计算，最后按照类人答题格式打印出解答过程，再通过用户接口呈现给用户。

采用实例进行具体说明：桃树和梨树共10棵，桃树比梨树多2棵，桃树和梨树各有多少棵？采用本发明的自动求解过程如图4所示，本发明所述方法联立方程组求解，不仅能正确求解出答案，而且求解过程具有类人逻辑。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于翻译模型的初等数学应用题自动求解方法，其特征在于：包括以下步骤：

步骤1：对应用题文本进行预处理，得到标准化文本；

步骤4：利用所述信息框架和关系框架得到方程组，利用Maple符号计算工具对所述方程组进行计算，得到计算结果；

所述步骤2具体步骤为：

步骤21：对标准化文本，利用CRF++条件随机场进行命名实体识别提取出实体和属性，利用特征模板提取出数量和单位，并将提取出的实体、属性、数量和单位存入所述信息框架对应的槽中；

步骤23：将具有语料格式的标准化文本输入机器翻译模型GNMT，并结合映射关系，得到该标准化文本的数量关系，并将所述数量关系存入所述信息框架对应的槽中。

2.根据权利要求1所述的一种基于翻译模型的初等数学应用题自动求解方法，其特征在于：所述步骤1中，预处理包括分词及词性标注、同义词及指代处理、结论处理及文本切割。

3.根据权利要求1所述的一种基于翻译模型的初等数学应用题自动求解方法，其特征在于：所述步骤2中，信息框架的槽包括实体、属性、数量、单位和数量关系。

4.根据权利要求1所述的一种基于翻译模型的初等数学应用题自动求解方法，其特征在于：所述步骤23中，还包括对机器翻译模型GNMT进行训练和测试，具体包括以下步骤：

步骤232：将训练数据集输入翻译模型GNMT进行训练，得到训练后的翻译模型GNMT；

步骤233：将所述测试集输入所述训练后的翻译模型GNMT进行测试，若准确率大于阈值，则结束训练和测试，否则重复步骤232-233。

5.根据权利要求1所述的一种基于翻译模型的初等数学应用题自动求解方法，其特征在于：所述步骤3中所述常识数量关系库用于储存预先构建的数量关系，所述动态实体库用于储存实体和属性，所述隐含关系框架储存该标准化文本中的隐含数量关系。

6.一种基于翻译模型的初等数学应用题自动求解系统，其特征在于：包括用户接口、预处理模块、语义理解模块、自动演算模块，

语义理解模块，用于得到所述标准化文本的信息框架；

自动演算模块，用于生成关系框架，并结合信息框架进行自动演算，并将计算结果通过用户接口返回至用户；

所述语义理解模块得到信息框架的具体步骤为：

7.根据权利要求6所述的一种基于翻译模型的初等数学应用题自动求解系统，其特征在于：所述语义理解模块包括命名实体识别模块、机器翻译模型GNMT模块和信息框架表示模块。

8.根据权利要求6所述的一种基于翻译模型的初等数学应用题自动求解系统，其特征在于：所述自动演算模块连接常识数量关系库和动态实体库，用于生成所述关系框架。