CN116680502B - 数学应用题智能求解方法、系统、设备及存储介质 - Google Patents
数学应用题智能求解方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN116680502B CN116680502B CN202310963004.9A CN202310963004A CN116680502B CN 116680502 B CN116680502 B CN 116680502B CN 202310963004 A CN202310963004 A CN 202310963004A CN 116680502 B CN116680502 B CN 116680502B
- Authority
- CN
- China
- Prior art keywords
- formula
- reasoning
- node
- mathematical
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 131
- 230000007246 mechanism Effects 0.000 claims description 61
- 238000012512 characterization method Methods 0.000 claims description 46
- 230000014509 gene expression Effects 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 30
- 230000010354 integration Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 238000005065 mining Methods 0.000 claims description 8
- 230000008878 coupling Effects 0.000 claims description 5
- 238000010168 coupling process Methods 0.000 claims description 5
- 238000005859 coupling reaction Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 241000282414 Homo sapiens Species 0.000 abstract description 11
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 244000141359 Malus pumila Species 0.000 description 1
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- -1 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
Abstract
本发明公开了一种数学应用题智能求解方法、系统、设备及存储介质，它们是一一对应的方案，方案中：通过数理常识公式引导的数学应用题智能求解，可以提高了问题求解的准确性与推理过程的可解释性，并且，构建的包含知识系统与推理系统的智能解题模型可以扩展融合多种机器学习任务，进而模拟人类在复杂场景中学习并运用常识公式知识的过程，为探究强人工智能提供了一定基础；此外，挖掘出的公式知识可以作为众多机器智能推理任务的先验信息改善任务表现，也可作为教学资源辅助教育平台提供更好的教学服务，带来一定的潜在应用价值。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种数学应用题智能求解方法、系统、设备及存储介质。
背景技术
数学应用题（Math Word Problems，MWP）自动求解是探索通用人工智能的重要任务，其目标是使机器阅读一段自然语言描述的数学问题并推理相应的数值答案。这一过程要求机器能够像人类一样理解数理逻辑、学习并运用数学知识进行推理。因此，数学应用题自动求解能力被视为机器智能水平的一个重要标志，一直是人工智能领域的一个基础但十分重要的研究方向。
目前，关于数学应用题自动求解主要有以下方法：
（1）基于规则的自动求解方法。
基于规则的自动求解方法依赖于人工构建的模式或形式化语言，通过匹配问题文本中的子句与预定义的问题模板，将问题映射为特定的命题形式，再利用人工定义的规则逐步生成推理结果。
（2）基于统计的自动求解方法。
基于统计的自动求解方法利用传统的机器学习模型如支持向量机、对数线性模型等，从问题文本中识别出实体、数量和操作符，再将其代入预定义的表达式模板中，通过简单的符号推理得出答案。
（3）基于语义解析的自动求解方法。
基于语义解析的自动求解方法将问题文本映射为结构化的语义表示（如语义解析树），通过一定的逻辑规则将语义信息转化为数学表达式。
（4）基于深度学习的自动求解方法。
基于深度学习的自动求解方法主要采用编码器-解码器结构，通过编码器（Encoder）自动挖掘并理解问题文本特征，再利用解码器（Decoder）推理求解表达式。基于该结构，现有工作主要从提高编码器的语义理解能力与解码器的推理能力两个方面展开。关注语义理解能力的方法通过引入问题文本的语义结构、数值大小、数值关系等丰富对题目信息的挖掘，实现对问题更准确的理解并获得更合理的推理结果。关注推理能力的方法基于不同的推理模式设计了不同的神经网络架构，如在序列到序列（Sequence-to-sequence, Seq2Seq）架构中采用循环神经网络直接生成符号序列，在序列到树（Sequence-to-tree, Seq2Tree）架构中基于人类的问题分解机制，设计目标导向的树结构解码器自顶向下地生成表达式树，在演绎推理（Deductive Reasoning）架构中采用关系抽取式解码器，逐步组合数值与运算符形成子表达式，自底向上迭代地生成表达式树。
上述自动求解方法关注如何提高机器对问题文本的理解能力，或是基于问题信息进行启发式推理的水平。然而，这些方法与类人水平的人工智能仍具有一定距离，这是因为它们忽略了在求解数学应用题时对数理常识公式（如“路程=速度×时间”）的学习和应用。实际上，数学解题过程中，需要数理公式明确地引导思维模式与推理方向，这反映了人类深层次对抽象、符号逻辑的复杂认知。因此，像数理常识公式进行推理是模型智能水平的必要标志，也是实现通用型人工智能的一个关键目标，但是，目前并没有相关的方案。
发明内容
本发明的目的是提供一种数学应用题智能求解方法、系统、设备及存储介质，克服现有技术无法建模对数理常识公式的学习与应用、缺乏可解释性、与通用型人工智能目标距离较远的不足，不仅提高了问题求解的准确性与推理过程的可解释性，还可以作为教学资源辅助教育平台提供更好的教学服务。
本发明的目的是通过以下技术方案实现的：
一种数学应用题智能求解方法，包括：
构建包含知识系统与推理系统的智能解题模型；其中，预先通过知识系统对每一数理常识公式分别进行特征挖掘与学习，获得公式知识并存储；
将待求解的数学应用题输入至智能解题模型，所述推理系统对待求解的数学应用题中的问题文本进行编码，获得文本表征向量序列与初始推理目标向量，在知识系统存储的公式知识的引导下进行多步推理，结合所有步推理出的符号生成求解表达式，再通过求解表达式获得解题结果；其中，每一步推理过程中均结合文本表征向量序列与对应步的推理目标向量使用多种机制进行推理，再通过基于置信度的集成方法进行融合，获得每一步推理出的符号，并生成下一步的推理目标向量，第1步的推理目标向量为所述初始推理目标向量。
一种数学应用题智能求解系统，包括：
模型构建单元，用于构建包含知识系统与推理系统的智能解题模型；其中，预先通过知识系统对每一数理常识公式分别进行特征挖掘与学习，获得公式知识并存储；
数学应用题智能求解单元，用于将待求解的数学应用题输入至智能解题模型，所述推理系统对待求解的数学应用题中的问题文本进行编码，获得文本表征向量序列与初始推理目标向量，在知识系统存储的公式知识的引导下进行多步推理，结合所有步推理出的符号生成求解表达式，再通过求解表达式获得解题结果；其中，每一步推理过程中均结合文本表征向量序列与对应步的推理目标向量使用多种机制进行推理，再通过基于置信度的集成方法进行融合，获得每一步推理出的符号，并生成下一步的推理目标向量，第1步的推理目标向量为所述初始推理目标向量。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，通过数理常识公式引导的数学应用题智能求解，可以提高了问题求解的准确性与推理过程的可解释性，并且，构建的包含知识系统与推理系统的智能解题模型可以扩展融合多种机器学习任务，进而模拟人类在复杂场景中学习并运用常识公式知识的过程，为探究强人工智能提供了一定基础；此外，挖掘出的公式知识可以作为众多机器智能推理任务的先验信息改善任务表现，也可作为教学资源辅助教育平台提供更好的教学服务，带来一定的潜在应用价值。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种数学应用题智能求解方法的流程图；
图2为本发明实施例提供的数学应用题及数理常识公式的示意图；
图3为本发明实施例提供的包含知识系统与推理系统的智能解题模型的示意图；
图4为本发明实施例提供的解码器的符号预测和目标生成阶段的示意图；
图5为本发明实施例提供的一种数学应用题智能求解系统的示意图；
图6为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
下面对本发明所提供的一种数学应用题智能求解方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供一种数学应用题智能求解方法，如图1所示，其主要包括如下步骤：（1）构建包含知识系统与推理系统的智能解题模型；其中，预先通过知识系统对每一数理常识公式分别进行特征挖掘与学习，获得公式知识并存储；（2）将待求解的数学应用题输入至智能解题模型，所述推理系统对待求解的数学应用题中的问题文本进行编码，获得文本表征向量序列与初始推理目标向量，在知识系统存储的公式知识的引导下进行多步推理，结合所有步推理出的符号生成求解表达式，再通过求解表达式获得解题结果；其中，每一步推理过程中均结合文本表征向量序列与对应步的推理目标向量使用多种机制进行推理，再通过基于置信度的集成方法进行融合，获得每一步推理出的符号，并生成下一步的推理目标向量，第1步的推理目标向量为所述初始推理目标向量。
本发明实施例提供的上述方案中，基于人类认知科学领域的双过程理论，构建知识系统—推理系统作为智能解题模型。知识系统（Knowledge System）对数理常识公式进行储存和理解，并通过预训练公式编码来模拟人类对公式的自主学习与知识记忆。推理系统（Reasoning System）将知识系统中的公式知识应用于数学应用题求解，通过引导符号预测、目标生成两个阶段提高推理结果的准确性与可解释性。
知识系统包含公式表征与公式预训练两个模块。在公式表征模块中，本发明将公式特征分解为结构特征（Structural Feature）和语义特征（Lexical Feature），并设计了节点算子（Node Function）与概念向量（Concept Vector）对它们分别进行编码储存，在充分挖掘每种特征信息的同时，将两者相互耦合，形成对完整公式以及公式内所有中间步骤的理解。在公式预训练模块中，本发明模拟人类对公式背后蕴含数学知识的掌握设计了合法性（Legality）、灵活性（Flexibility）两个预训练目标，基于获取的数理常识公式数据对节点算子、概念向量进行预训练和初始化，进而支持公式的后续运用。
推理系统采用编码器-解码器结构，从知识系统中抽取公式引导数学表达式推理过程。特别的，解码器包含公式引导的符号预测与目标生成两个阶段。在符号预测阶段，本发明设计了公式选择机制（Formula-selected Mechanism）、公式继承机制（Formula-inherited Mechanism）、以及直接推理机制（Direct-reasoning Mechanism），分别关注如何基于当前推理步骤从知识系统中选择合适的公式、如何将该公式显式地引导后续多步推理、以及如何不依赖公式直接进行推理。在此基础上，本发明提出基于置信度的集成方法（Confidence-based Ensemble），将它们进行融合，结合不同机制的优势改进符号预测准确性与合理性。在目标生成阶段，本发明基于公式选择机制与继承机制的结果，从知识系统中抽取公式中间步骤的表征，并设计了显式融合机制将其运用在推理目标生成过程中，进而将公式语义赋予推理目标，提高推理过程的可解释性。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的方法进行详细描述。
一、问题定义与形式化。
数学应用题自动求解任务的目标是基于应用题文本进行逻辑推理，生成求解表达式（数学表达式）计算问题的答案。在本发明实施例中，数学应用题对应的问题文本定义为/>个词语组成的序列/>，/>中出现的数值的集合定义为/>（如：/>）。由于在解题推理中不关心这些数的具体值，建模时所有数值都被映射为特殊单词“NUM”。 数学应用题的求解表达式/>定义为一个由/>个运算符、常数或问题中数值（统称为符号）组成的序列/>，其中每个/>都是数学应用题的解码符号集合/>的一个元素。解码符号集合/>由运算符集合/>（如：/>），常数集合（如：/>）和数值集合/>组成，即/>。由于每个问题的/>不同，每个问题的/>也不同。数学应用题的答案/>是待求的未知变量的值（如：路程为“6”），通过求解表达式/>推导得出。数学应用题自动求解任务的目标是学习一个模型，读取问题文本/>，生成求解表达式/>，并基于/>计算变量的值/>。
在本发明实施例中，数理常识公式定义为集合，/>为数理常识公式个数。每个数理常识公式/>对应一个运算树（Operator Tree，OPT）。图2展示了数学应用题及数理常识公式的示例，图2中，数理常识公式“路程=速度×时间”对应一个包含5个节点且根节点为运算符“=”的树。基于此，对每个数理常识公式，本发明将其表示为对应运算树的前序遍历结果/>，z表示运算树中的节点，/>为运算树中节点个数。例如，数理常识公式“路程=速度×时间”表示为[=,路程,×,速度,时间]。此外，考虑到公式存在变体形式（如“速度=路程÷时间”、“时间=路程÷速度”），本发明对每个数理常识公式r额外定义它的变体集合/>。/>通过对r进行规则性变换或采用人工撰写等方式获得。
二、数据收集与预处理。
1、数据收集。
本发明使用广义上的数学应用题作为输入数据集，需包括问题文本、数学表达式和数值答案。此类数据样例如腾讯公司发布的开源数学应用题数据集（Math23K）以及Microsoft公司发布的开源数据集（MAWPS）。此外，也可以通过网络爬取或线下收集中小学生的作业或考试数学题集获得输入数据集。对于数理常识公式，可以通过收集中小学课本、教辅资料，以及从互联网爬取等方式获得。
2、数据预处理。
在构建模型之前，需要对收集的数据进行预处理以保证模型的效果。预处理主要包括以下内容：
（1）数据过滤。
本发明实施例主要针对仅包含一个问题、答案为数值且可以通过一个数学表达式直接计算得到的数学应用题，因此需要选择数据集中仅含有一个数学表达式和数值答案的数学应用题，过滤掉缺少表达式或有两个及以上表达式、答案的数学应用题。
（2）抽样。
在每类数据集中分别进行随机抽样，选用原始数据集的子集训练模型。
三、模型建立。
如图3所示，本发明构建了包含知识系统与推理系统的智能解题模型。知识系统存储与表征常识公式，并模仿人类实现对公式的自主学习。推理系统应用知识系统中的公式知识，以编码器-解码器的方式对给定数学问题的表达式进行推理。特别的，本发明在解码器中设计了公式引导的符号预测、目标生成方法，运用知识系统中的公式指导这两个阶段。
1、知识系统。
所述知识系统包括：公式表征模块与公式预训练模块；首先利用公式表征模块全面挖掘公式的特征，然后在公式预训练模块中通过预训练的方式学习这些特征，进而模拟人类对数学逻辑的理解。具体的：所述公式表征模块，用于挖掘每一数理常识公式的特征，并分解为结构特征与语义特征，将两类特征相互耦合，获得每一数理常识公式的语义表征；其中，每一数理常识公式对应一个运算树，数理常识公式的语义表征为所有非叶子节点的语义表征，包含根节点的语义表征与其他非叶子节点的语义表征；并且，对每一数理常识公式对应的变体形式进行相同方式的处理，获得每一变体形式的语义表征；所述公式预训练模块，用于结合设定的预训练目标对所述公式表征模块进行训练，更新公式表征模块的参数；所获得的公式知识即为利用训练后的公式表征模块获得的每一数理常识公式的语义表征与语义特征，以及每一变体形式的语义表征与语义特征。下面针对公式表征模块与公式预训练模块分别进行详细的介绍。
（1）公式表征模块。
理解数理公式的难点在于区分具有相同结构但不同语义的公式。例如，“路程=速度×时间”和“矩形面积=长×宽”具有相同的结构，但具有完全不同的语义（例如，/>分别代表“路程”和“矩形面积”）。公式的完整意义由这两种信息组合而成，它们均是表征公式所必需的。基于该思想，本发明将数理常识公式r分解为结构特征/>与语义特征，分别描述数理常识公式r对应运算树的结构信息与运算树中节点传达的语义信息。
具体地，运算树的树状结构实际定义了公式的计算模式与流程（如在运算树中自底向上先算“速度”和“时间”，再算“速度×时间”，最后将结果等于“路程”）。 因此，采用节点算子对各节点进行编码，获得结构特征/>，/>为第/>个节点/>的节点算子，/>；例如，在图3中，“路程=速度×时间”的结构特征。节点算子的输入输出将在介绍语义特征/>后进行说明。
语义特征反映了公式的语义信息，即数理常识公式r的叶子节点（如/>）的具体涵义。因此，本发明实施例中，将各叶子节点分别编码为概念向量，形成语义特征，/>为叶子节点对应的概念向量（维度为d），下标数值为叶子节点的序号，/>为叶子节点的数目；在图3中，“路程=速度×时间”的语义特征，/>分别代表“路程”、“速度”、“时间”的概念向量。
下面介绍节点算子的输入和输出。在数理常识公式r中，叶子节点（如/>）的节点算子为恒等映射，输入输出均为叶子节点的概念向量，表示为：/>，其中，/>表示叶子节点/>的节点算子，它仅有一个输入/>，/>为叶子节点/>的概念向量；例如，/>在公式“路程=速度×时间”和“矩形面积=长×宽”中分别代表“路程”与“矩形面积”的概念向量。非叶子节点（如：×，=）的节点算子以其左右子节点的节点算子的输出作为输入，即具有两个输入，表示为：/>，实现形式如下：
；
；
其中，表示非叶子节点/>的节点算子，/>是非叶子节点/>的符号表征（维度为d），可通过现有方式获得；/>与/>分别表示非叶子节点/>的左右子节点的节点算子，/>与/>分别表示非叶子节点/>的左右子节点的概念向量，/>表示向量逐元素相乘，/>为sigmoid函数，sigmoid函数是一种 S型函数，tanh为双曲正切函数，/>与/>为公式表征模块的参数；/>与/>为两个中间变量。
上述的非叶子节点主要是指运算符，例如/>。
基于结构特征和语义特征/>，迭代地获得数理常识公式r中所有非叶子节点的语义表征/>，即，通过非叶子节点的节点算子的两个输入计算出的输出作为非叶子节点的语义表征，例如，如通过将“速度”的概念向量代入/>、将“时间”的概念向量代入/>，利用/>输出“×”的表征。其中，/>为非叶子节点的语义表征，下标数值为非叶子节点的序号，/>为非叶子节点的数目，/>为根节点的语义表征，编码了数理常识公式r的完整信息，/>代表数理常识公式r中间步骤的涵义，例如，“×”的表征代表“速度×时间”），能够在后续应用中精细地指导应用题推理过程。
（2）公式预训练模块。
为了模拟人类对数理公式的自主学习，本发明提出两个预训练目标（合法性、灵活性/>）对公式表示模块中节点算子的参数/>和概念向量/>进行预训练与初始化。
合法性目标关注公式是否合法，其背后思想是，“路程=速度×时间”是一个合法的公式，且“路程=速度×宽”是非法的，进而在推理时避免使用该公式。通过学习这个目标，可以获得对公式组成部分更细致的理解。为此，本发明引入如下二分类任务：对于数理常识公式，根据前述方案获得其根节点的语义表征/>并记为/>，并构造对应的非法公式，例如，随机替换一个概念向量，构造出非法公式/>，同样根据前述方案获得非法公式的根节点的语义表征记为/>，利用/>与/>计算合法性目标，并通过最小化合法性目标来最大化数理常识公式r合法，且非法公式/>不合法的概率，合法性目标/>表示为：
其中，为二分类的BCE（二进制交叉熵）损失函数，/>为评估网络，输出对应公式为合法公式的概率，其中“1”、“0”分别是“合法”、“非法”的标签。
对于一个公式来说，仅仅学习它自身的合法性是不够的，因为，还可以根据它的合法性来判断它的复杂变体是否合法，它们共同构成了对数学逻辑的全面掌握。为此，本发明进一步引入了灵活性目标。灵活性目标是指数理常识公式的变体形式为合法公式，非法公式的变体形式为非法公式。具体而言，将数理常识公式r的变体集合表示为，对于任意变体形式/>，构造对应的非法公式/>，将任意变体形式/>的根节点的语义表征记为/>，非法公式/>的根节点的语义表征记为/>；将/>与/>输入至评估网络计算并最小化灵活性目标，表示为：
。
评估网络的形式表示为：
；
其中，为输入至评估网络的语义表征，/>，ReLU为修正线性单元。
综合合法性和灵活性/>，最小化下式获得公式表征预训练结果：
。
2、推理系统。
推理系统旨在应用知识系统中的数理常识公式推理给定数学应用题的表达式。如图3所示，其采用编码器-解码器的方式，先对问题文本进行编码，再解码生成表达式树，获得对应的求解表达式。本发明主要关注解码过程，使用公式来引导解码器中的符号预测和目标生成阶段。
（1）编码器。
对于给定数学应用题，编码器读入问题文本，生成文本表征向量序列/>和初始推理目标向量/>：
；
其中，表示编码器，它可采用RNN（循环神经网络）、BERT（一种预训练模型）、或已有MWP模型的编码器进行实现。
推理目标向量的涵义解释如下：在推理数学应用题的求解表达式过程中，每一个符号均由一个推理目标向量指导生成。
（2）解码器。
基于H和，解码器逐步生成求解表达式/>。具体而言，第t步包含两个阶段：符号预测阶段：利用第t步的推理目标向量/>计算符号/>的分布，并选取对应的符号/>；目标生成阶段：基于选取的符号/>，生成第t+1步的推理目标向量/>。这两个阶段交替进行，最终生成/>。其中，/>，/>为总步数，也即符号数目。
直观上，公式知识可以引导解码器的符号预测和目标生成阶段，如图4所示，如果基于第1步（t=1）的推理目标判断出需要使用公式“路程=速度×时间”，则可以直接推理出符号/>为乘号×，并且知道第2步（t=2）和第3步（t=3）分别是获得问题文本中的“速度”、“时间”信息，从而也就赋予了推理目标向量/>与/>明确的解释，改善符号/>与/>的推理效果。下面具体介绍本发明中实施的公式引导的符号预测和目标生成方法。
（2.1）公式引导的符号预测方法。
本发明实施例中，总结三种符号预测机制：公式选择机制、公式继承机制和直接推理机制。如图3与图4所示，每1步中（符号预测阶段），均使用公式选择机制、公式继承机制和直接推理机制进行推理。
（2.1.1）公式选择机制。
公式选择机制中，分别计算数理常识公式r以及第t步的推理目标向量对文本表征向量序列中每一文本表征的注意力程度，表示为：
；
；
其中，softmax为归一化指数函数，tanh为双曲正切函数，为数理常识公式r的根节点的语义表征，/>为问题文本中第i个词语的文本表征；/>为推理系统的参数，T为转置符号；/>为数理常识公式r对第i个词语的文本表征/>的注意力程度，/>为第t步的推理目标向量/>对第i个词语的文本表征/>的注意力程度。
结合两种注意力程度，计算数理常识公式r对第t步的适配分数：
；
；
其中，为一个中间变量，H为文本表征向量序列，/>是平衡两种注意力程度的超参数，若/>较小，则代表选择公式时需要更关注公式本身与问题文本的相关程度，/>较大则更关注推理目标向量；/>与/>为推理系统的参数。
采样相同的方式计算出，数理常识公式集合R中每个数理常识公式、每个数理常识公式中每一变体形式、以及设定的空白公式（empty公式）对第t步的适配分数；其中，空白公式/>涵义是第t步的推理目标向量不需要任何常识公式，例如计算“苹果和香蕉的数量之和”不需要任何公式，空白公式/>的根节点的语义表征/>是额外待优化的参数（通过后文介绍的训练目标/>进行优化）。
记数理常识公式集合R、每个数理常识公式中每一变体形式与空白公式中的任意公式为/>，其对第t步的适配分数为/>，则第t步的选择概率为：
。
将选择概率最大值对应的公式作为第t步选取的公式，抽取根节点左子节点作为公式选择机制的推理结果。例如，若选择了公式“路程=速度×时间”，则说明第t步应该要用“×”（图2中“=”的右子节点）计算“速度×时间”的值，记为/>。具体的，是符号集合/>上的概率分布，该概率分布只在乘号×处的概率取值为1，其余符号的概率取值为0。
本发明实施例中，为了训练公式选择机制，需要最小化如下训练目标（公式选择机制损失函数）：
；
其中，是第t步是否该选择公式/>的真实标签，是则/>，否则为/>。
（2.1.2）公式继承机制。
上述公式选择机制选取的公式不仅影响一个推理步骤，而且引导了后续多个推理步骤的思维模式。例如图4中，在t=1时选择了公式“路程=速度×时间”，那么可以在t=2，t=3时分别继承“速度”、“时间”概念(即表达式树中“=”的子节点)去引导推理，。
基于上述原理，若在之前的某一步（即）中选择了数理常识公式r，且第t步待推理的符号位置在数理常识公式r中存在相同位置的对应节点（例如，待推理的符号/>是图2表达式树“=”的左子节点，而在公式“路程=速度×时间”的表达式树中，“=”存在相同位置的左子节点“速度”），则继承数理常识公式r对应位置的节点信息。特别的，若在之前不同步骤选择了不同的公式，由于最近的公式代表了最新的推理过程，因此继承最近一步选择的公式。具体的：若对应位置的节点是运算符，则将对应运算符作为公式继承机制的推理结果/>（即在符号集合/>上的概率分布，该概率分布只在对应运算符处的概率取值为1）；若对应位置的节点是非运算符（如“速度”），则从公式知识中的语义特征提取对应节点的概念向量/>，并通过下式计算出公式继承机制的推理结果/>：
；
其中，与/>为公式继承机制中的参数，它们均属于推理系统的参数。
（2.1.3）直接推理机制。
直接推理机制考虑在没有任何公式引导的情况下，根据推理目标直接推理符号/>。在本发明实施例中，可使用任意数学应用题模型获得直接推理机制的推理结果/>。
为了融合上述三种推理机制的结果来最终获得第t步的符号，本发明实施例中，提出了一种基于置信度的集成方法。具体的：在第t步推理过程中，将公式选择机制中选择概率/>最大值记为/>，它是使用所选公式的置信度，越高则代表公式选择机制的推理结果更可信；公式继承机制的置信度是所继承的公式在之前推理步骤被选择时的选择概率，记为/>，例如，t=2继承“速度”概率的/>实际上是t=1时公式“路程=速度×时间”被选择的概率（即第1步中选择概率/>的最大值）。由此使用如下集成方法融合三种推理结果，获得第t步推理出的符号：
；
其中，为第t步推理出的符号。
需要说明的是，若公式选择或者公式继承了空白公式，则或/>（在图4中记为/>）不再参与/>的推理。
（2.2）公式引导的目标生成方法。
在推理出后需要生成第t+1步的推理目标向量/>，此过程遵从表达式树的先序遍历顺序。具体的，若/>是运算符，则会将/>分解为/>的左子节点的推理目标向量与右子节点的推理目标向量/>，这之后会在第t+1步以/>为/>，推理/>的左子节点的符号（即/>），右子节点的推理目标向量/>将在后续相应推理步中作为推理目标向量，以推理右子节点的符号；若/>是数值，则会在已生成的表达式树中，按先序遍历寻找第一个还未完全分解的节点A，所述还未完全分解的节点A是指节点A的父节点已推理出为运算符，但节点A自身对应的符号还未推理获得，在节点A的父节点对应符号推理步中已经将推理目标向量分解并获得节点A的推理目标向量，此时将节点A的推理目标向量作为第t+1步的推理目标向量/>，例如，此时的节点A可以是/>父节点的右子节点，使用对应的右子节点的推理目标向量作为/>。
特别的，如图2所示，观察到对于公式的运算树和表达式树，同一节点的子节点之间存在一一对应关系。例如，对于“×”，它在公式中的左子节点“速度”其实对应了表达式中左子节点“2”，进而确定该节点的推理目标（即代表从问题文本中获取“速度”信息），对右子节点“时间”和“3”也是如此。基于该思想，将/>分解为/>的左子节点的推理目标向量与右子节点的推理目标向量/>的方式包括：若第t步通过选择或继承数理常识公式r推理得到/>，则/>在数理常识公式r的运算树中的左子节点或右子节点将会显式地引导生成/>在表达式树中左子节点或右子节点的推理目标向量。
具体的：在第t步推理过程中，若公式选择机制选取的公式为数理常识公式r或公式继承机制继承数理常识公式r，并且若第t步推理出的符号在数理常识公式r对应运算树中的左子节点或右子节点为叶子节点，则获取对应的概念向量；若为非叶子节点，则获取对应的语义表征；将左子节点的概念向量或语义表征记为/>，右子节点的概念向量或语义表征记为/>，基于/>、/>分别引导生成/>在表达式树中左子节点的推理目标向量/>、右子节点的推理目标向量/>，其中的左子节点的推理目标向量/>生成过程表示为：
；
；
；
其中，与/>为两个中间变量，/>为sigmoid函数，sigmoid函数是一种 S型函数，tanh为双曲正切函数，/>为第t步的推理目标向量，/>是上下文向量，利用/>对文本表征向量序列H加权求和获得；/>与/>为推理系统的参数。/>的生成过程与/>相同，区别主要在于，将上式公式的上标/>变为/>，并带入/>以计算/>，在后续推理步中，右子节点将作为还未完全分解的节点A，进而将/>作为相应推理步中的推理目标向量，用于推理右子节点的符号（即相应步推理出的符号）。
值得补充说明的是，即使的生成过程无需公式选择与公式继承机制，其左右子节点的生成网络与上述网络一致，只是此时/>会设置为额外的待优化的模型参数（可通过后文介绍的符号预测损失函数进行优化）。
四、模型训练。
本发明实施例中，通过最小化如下损失函数优化模型参数：
；
其中，等号右侧第一项为符号预测损失函数，第一个求和符号/>中的P表示数据集中所有的数学题，/>是平衡符号预测损失函数与公式选择机制损失函数/>的超参数。
本发明实施例中，优化模型参数的具体流程可参照常规技术实现，本发明不做赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例二
本发明还提供一种数学应用题智能求解系统，其主要用于实现前述实施例提供的方法，如图5所示，该系统主要包括：
模型构建单元，用于构建包含知识系统与推理系统的智能解题模型；其中，预先通过知识系统对每一数理常识公式分别进行特征挖掘与学习，获得公式知识并存储；
数学应用题智能求解单元，用于将待求解的数学应用题输入至智能解题模型，所述推理系统对待求解的数学应用题中的问题文本进行编码，获得文本表征向量序列与初始推理目标向量，在知识系统存储的公式知识的引导下进行多步推理，结合所有步推理出的符号生成求解表达式，再通过求解表达式获得解题结果；其中，每一步推理过程中均结合文本表征向量序列与对应步的推理目标向量使用多种机制进行推理，再通过基于置信度的集成方法进行融合，获得每一步推理出的符号，并生成下一步的推理目标向量，第1步的推理目标向量为所述初始推理目标向量。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (9)
1.一种数学应用题智能求解方法，其特征在于，包括：
构建包含知识系统与推理系统的智能解题模型；其中，预先通过知识系统对每一数理常识公式分别进行特征挖掘与学习，获得公式知识并存储；
将待求解的数学应用题输入至智能解题模型，所述推理系统对待求解的数学应用题中的问题文本进行编码，获得文本表征向量序列与初始推理目标向量，在知识系统存储的公式知识的引导下进行多步推理，结合所有步推理出的符号生成求解表达式，再通过求解表达式获得解题结果；其中，每一步推理过程中均结合文本表征向量序列与对应步的推理目标向量使用多种机制进行推理，再通过基于置信度的集成方法进行融合，获得每一步推理出的符号，并生成下一步的推理目标向量，第1步的推理目标向量为所述初始推理目标向量；
所述知识系统包括：公式表征模块与公式预训练模块；其中：所述公式表征模块，用于挖掘每一数理常识公式的特征，并分解为结构特征与语义特征，将两类特征相互耦合，获得每一数理常识公式的语义表征；其中，每一数理常识公式对应一个运算树，数理常识公式的语义表征为所有非叶子节点的语义表征，包含根节点的语义表征与其他非叶子节点的语义表征；并且，对每一数理常识公式对应的变体形式进行相同方式的处理，获得每一变体形式的语义表征；所述公式预训练模块，用于结合设定的预训练目标对所述公式表征模块进行训练，更新公式表征模块的参数；所获得的公式知识即为利用训练后的公式表征模块获得的每一数理常识公式的语义表征与语义特征，以及每一变体形式的语义表征与语义特征。
2.根据权利要求1所述的一种数学应用题智能求解方法，其特征在于，所述挖掘每一数理常识公式的特征，并分解为结构特征与语义特征，将两类特征相互耦合，获得每一数理常识公式的语义表征包括：
对于数理常识公式r，将其表示为运算树前序遍历结果，z表示运算树中的节点，/>为运算树中节点数目；
采用节点算子对各节点进行编码，获得结构特征/>，/>为第个节点/>的节点算子，/>；将各叶子节点分别编码为概念向量，形成语义特征/>，/>为叶子节点对应的概念向量，下标数值为叶子节点的序号，/>为叶子节点的数目；
其中，叶子节点的节点算子为恒等映射，输入输出均为叶子节点的概念向量，表示为：，/>为叶子节点/>的概念向量，/>为叶子节点/>的节点算子；非叶子节点的节点算子以其左右子节点的节点算子的输出作为输入，即具有两个输入，表示为：，实现形式如下：
；
；
其中，表示非叶子节点/>的节点算子，/>是非叶子节点/>的符号表征，/>与/>分别表示非叶子节点/>的左右子节点的节点算子，/>与/>分别表示非叶子节点/>的左右子节点的概念向量，/>表示向量逐元素相乘，/>为sigmoid函数，sigmoid函数是一种 S型函数，tanh为双曲正切函数，/>与/>为公式表征模块的参数；/>与/>为两个中间变量；
基于结构特征和语义特征/>，迭代地获得数理常识公式r中所有非叶子节点的语义表征/>，即，通过非叶子节点的节点算子的两个输入计算出的输出作为非叶子节点的语义表征，其中，/>为非叶子节点的语义表征，下标数值为非叶子节点的序号，/>为非叶子节点的数目，/>为根节点的语义表征，编码了数理常识公式r的完整信息，/>代表数理常识公式r中间步骤的涵义。
3.根据权利要求1或2所述的一种数学应用题智能求解方法，其特征在于，所述结合设定的预训练目标对所述公式表征模块进行训练包括：
将合法性目标与灵活性目标作为预训练目标对所述公式表征模块进行训练；其中：
合法性目标关注公式是否合法，对于数理常识公式r，构造对应的非法公式，将数理常识公式r的根节点的语义表征/>记为/>，将非法公式/>的根节点的语义表征记为/>，利用/>与/>计算合法性目标，并通过最小化合法性目标来最大化数理常识公式r合法，且非法公式/>不合法的概率，合法性目标表示为：
；
其中，为合法性目标，R为数理常识公式集合，/>为二分类的二进制交叉熵损失函数，/>为评估网络，输出对应公式为合法公式的概率；
灵活性目标是指数理常识公式的变体形式为合法公式，非法公式的变体形式为非法公式，将数理常识公式r的变体集合表示为，对于任意变体形式/>，构造对应的非法公式/>，将任意变体形式/>的根节点的语义表征记为/>，非法公式/>的根节点的语义表征记为/>；将/>与/>输入至评估网络计算并最小化灵活性目标，表示为：
；
其中，为灵活性目标。
4.根据权利要求1或2所述的一种数学应用题智能求解方法，其特征在于，所述每一步推理过程中均结合文本表征向量序列与对应步的推理目标向量使用多种机制进行推理包括：
在第t步推理过程中，使用公式选择机制、公式继承机制和直接推理机制进行推理；其中：
公式选择机制中，分别计算数理常识公式r以及第t步的推理目标向量对文本表征向量序列中每一文本表征的注意力程度，表示为：
；
；
其中，softmax为归一化指数函数，tanh为双曲正切函数，为数理常识公式r的根节点的语义表征，/>为问题文本中第i个词语的文本表征；/>为推理系统的参数，T为转置符号；/>为数理常识公式r对第i个词语的文本表征/>的注意力程度，为第t步的推理目标向量/>对第i个词语的文本表征/>的注意力程度；
结合两种注意力程度，计算数理常识公式r对第t步的适配分数：
；
；
其中，为一个中间变量，H为文本表征向量序列，/>是平衡两种注意力程度的超参数，/>与/>为推理系统的参数；
采样相同的方式计算出，数理常识公式集合R中每个数理常识公式、每个数理常识公式中每一变体形式、以及设定的空白公式对第t步的适配分数；其中，空白公式/>涵义是第t步的推理目标向量不需要任何常识公式，空白公式/>的根节点的语义表征/>是额外待优化的参数；
记数理常识公式集合R、每个数理常识公式中每一变体形式与空白公式中的任意公式为/>，其对第t步的适配分数为/>，则第t步的选择概率为：
；
将选择概率最大值对应的公式作为第t步选取的公式，抽取根节点左子节点作为公式选择机制的推理结果；
公式继承机制中，若在之前的某一步中选择了数理常识公式r，且第t步待推理的符号位置在数理常识公式r中存在相同位置的对应节点，则继承数理常识公式r对应位置的节点信息，其中，若在之前选择了不同的公式，则继承最近一步选择的公式；若对应位置的节点是运算符，则将对应运算符作为公式继承机制的推理结果；若对应位置的节点是非运算符，则从公式知识中的语义特征提取对应节点的概念向量/>，并通过下式计算出公式继承机制的推理结果/>：
；
其中，与/>为公式继承机制中的参数，它们均属于推理系统的参数；
直接推理机制中，使用任意数学应用题模型获得直接推理机制的推理结果。
5.根据权利要求4所述的一种数学应用题智能求解方法，其特征在于，通过基于置信度的集成方法进行融合，获得每一步推理出的符号包括：
在第t步推理过程中，将公式选择机制中选择概率最大值记为/>，/>是使用所选公式的置信度，公式继承机制的置信度是所继承的公式在之前推理步骤被选择时的选择概率，记为/>，使用如下集成方法融合三种推理结果，获得第t步推理出的符号：
；
其中，为第t步推理出的符号。
6.根据权利要求4所述的一种数学应用题智能求解方法，其特征在于，所述生成下一步的推理目标向量包括：
在获得第t步推理出的符号后需要生成第t+1步的推理目标向量/>，若/>是运算符，则将第t步的推理目标向量/>分解为/>的左子节点的推理目标向量/>与右子节点的推理目标向量/>，并在第t+1步以/>为第t+1步的推理目标向量/>，推理/>的左子节点的符号，即第t+1步推理出的符号/>，右子节点的推理目标向量/>将在后续相应推理步中作为推理目标向量，以推理右子节点的符号；若/>是数值，则会在已生成的表达式树中，按先序遍历寻找第一个还未完全分解的节点A，所述还未完全分解的节点A是指节点A的父节点已推理出为运算符，但节点A自身对应的符号还未推理获得，在节点A的父节点对应符号推理步中已经将推理目标向量分解并获得节点A的推理目标向量，此时将节点A的推理目标向量作为第t+1步的推理目标向量/>；
其中，将第t步的推理目标向量分解为/>的左子节点的推理目标向量/>与右子节点的推理目标向量/>的方式包括：在第t步推理过程中，若公式选择机制选取的公式为数理常识公式r或公式继承机制继承数理常识公式r，并且若第t步推理出的符号/>在数理常识公式r对应运算树中的左子节点或右子节点为叶子节点，则获取对应的概念向量；若为非叶子节点，则获取对应的语义表征；将左子节点的概念向量或语义表征记为/>，右子节点的概念向量或语义表征记为/>，基于/>、/>分别引导生成/>在表达式树中左子节点的推理目标向量/>、右子节点的推理目标向量/>，其中的左子节点的推理目标向量/>生成过程表示为：
；
；
；
其中，与/>为两个中间变量，/>为sigmoid函数，sigmoid函数是一种 S型函数，tanh为双曲正切函数，/>为第t步的推理目标向量，/>是上下文向量，利用/>对文本表征向量序列H加权求和获得；/>与/>为推理系统的参数；
采用相同的方式生成右子节点的推理目标向量。
7.一种数学应用题智能求解系统，其特征在于，包括：
模型构建单元，用于构建包含知识系统与推理系统的智能解题模型；其中，预先通过知识系统对每一数理常识公式分别进行特征挖掘与学习，获得公式知识并存储；
数学应用题智能求解单元，用于将待求解的数学应用题输入至智能解题模型，所述推理系统对待求解的数学应用题中的问题文本进行编码，获得文本表征向量序列与初始推理目标向量，在知识系统存储的公式知识的引导下进行多步推理，结合所有步推理出的符号生成求解表达式，再通过求解表达式获得解题结果；其中，每一步推理过程中均结合文本表征向量序列与对应步的推理目标向量使用多种机制进行推理，再通过基于置信度的集成方法进行融合，获得每一步推理出的符号，并生成下一步的推理目标向量，第1步的推理目标向量为所述初始推理目标向量；
所述知识系统包括：公式表征模块与公式预训练模块；其中：所述公式表征模块，用于挖掘每一数理常识公式的特征，并分解为结构特征与语义特征，将两类特征相互耦合，获得每一数理常识公式的语义表征；其中，每一数理常识公式对应一个运算树，数理常识公式的语义表征为所有非叶子节点的语义表征，包含根节点的语义表征与其他非叶子节点的语义表征；并且，对每一数理常识公式对应的变体形式进行相同方式的处理，获得每一变体形式的语义表征；所述公式预训练模块，用于结合设定的预训练目标对所述公式表征模块进行训练，更新公式表征模块的参数；所获得的公式知识即为利用训练后的公式表征模块获得的每一数理常识公式的语义表征与语义特征，以及每一变体形式的语义表征与语义特征。
8.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~6任一项所述的方法。
9.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310963004.9A CN116680502B (zh) | 2023-08-02 | 2023-08-02 | 数学应用题智能求解方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310963004.9A CN116680502B (zh) | 2023-08-02 | 2023-08-02 | 数学应用题智能求解方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116680502A CN116680502A (zh) | 2023-09-01 |
| CN116680502B true CN116680502B (zh) | 2023-11-28 |
Family
ID=87791295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310963004.9A Active CN116680502B (zh) | 2023-08-02 | 2023-08-02 | 数学应用题智能求解方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116680502B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933158A (zh) * | 2015-06-26 | 2015-09-23 | 百度在线网络技术（北京）有限公司 | 数学问题求解模型的训练方法和装置、推理方法和装置 |
| CN108717574A (zh) * | 2018-03-26 | 2018-10-30 | 浙江大学 | 一种基于连词标记和强化学习的自然语言推理方法 |
| KR101986721B1 (ko) * | 2019-03-27 | 2019-06-10 | 월드버텍 주식회사 | 신경망 기반 기계번역 및 셈뭉치를 이용한 수학문제 개념유형 예측 서비스 제공 방법 |
| CN111274800A (zh) * | 2020-01-19 | 2020-06-12 | 浙江大学 | 基于关系图卷积网络的推理型阅读理解方法 |
| CN112613323A (zh) * | 2020-12-21 | 2021-04-06 | 中国科学技术大学 | 语法依赖增强的数学应用题语义识别与推理方法及系统 |
| WO2021073332A1 (zh) * | 2019-10-16 | 2021-04-22 | 杭州大拿科技股份有限公司 | 用于辅助数学应用题的方法及装置 |
| CN112860856A (zh) * | 2021-02-10 | 2021-05-28 | 福州大学 | 一种算数应用题智能解题方法及系统 |
| WO2021184311A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | 一种自动生成可推理问答的方法和装置 |
| CN113946696A (zh) * | 2021-01-07 | 2022-01-18 | 复旦大学 | 一种知识感知的序列到树的数学应用题求解系统 |
| CN113988300A (zh) * | 2021-11-01 | 2022-01-28 | 中山大学 | 一种题目结构推理方法及系统 |
| WO2022036616A1 (zh) * | 2020-08-20 | 2022-02-24 | 中山大学 | 一种基于低标注资源生成可推理问题的方法和装置 |
| CN114610835A (zh) * | 2022-01-28 | 2022-06-10 | 中国科学院自动化研究所 | 应用题解题知识库的构建方法、装置及应用题解题机器人 |
| CN115049062A (zh) * | 2022-08-16 | 2022-09-13 | 中国科学技术大学 | 一种基于知识学习的数学应用题智能解题方法及系统 |
| CN115829033A (zh) * | 2023-02-02 | 2023-03-21 | 中国科学技术大学 | 数学应用题知识构建与解答方法、系统、设备及存储介质 |
| CN116108326A (zh) * | 2023-04-12 | 2023-05-12 | 山东工程职业技术大学 | 一种数学工具软件控制方法、装置、设备及存储介质 |
| CN116187437A (zh) * | 2023-02-16 | 2023-05-30 | 东北大学 | 一种基于对比学习的数学应用题求解系统及方法 |
| CN116306940A (zh) * | 2023-02-16 | 2023-06-23 | 东北大学 | 一种基于bert编码的数学应用题求解系统及方法 |
| CN116401624A (zh) * | 2023-04-21 | 2023-07-07 | 电子科技大学 | 一种基于多叉树结构的非自回归数学题求解器 |
| KR20230106283A (ko) * | 2022-01-06 | 2023-07-13 | 서강대학교산학협력단 | 신경망을 이용한 수학 문제 풀이 시스템 및 수학 문제 풀이 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102132529B1 (ko) * | 2018-07-31 | 2020-07-09 | 한국과학기술원 | 뇌 기반 인공지능 기술을 이용한 행동 및 신경 수준에서의 인간의 학습/추론 과정 비침습적 제어 방법 및 시스템 |
-
2023
- 2023-08-02 CN CN202310963004.9A patent/CN116680502B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933158A (zh) * | 2015-06-26 | 2015-09-23 | 百度在线网络技术（北京）有限公司 | 数学问题求解模型的训练方法和装置、推理方法和装置 |
| CN108717574A (zh) * | 2018-03-26 | 2018-10-30 | 浙江大学 | 一种基于连词标记和强化学习的自然语言推理方法 |
| KR101986721B1 (ko) * | 2019-03-27 | 2019-06-10 | 월드버텍 주식회사 | 신경망 기반 기계번역 및 셈뭉치를 이용한 수학문제 개념유형 예측 서비스 제공 방법 |
| WO2021073332A1 (zh) * | 2019-10-16 | 2021-04-22 | 杭州大拿科技股份有限公司 | 用于辅助数学应用题的方法及装置 |
| CN111274800A (zh) * | 2020-01-19 | 2020-06-12 | 浙江大学 | 基于关系图卷积网络的推理型阅读理解方法 |
| WO2021184311A1 (zh) * | 2020-03-19 | 2021-09-23 | 中山大学 | 一种自动生成可推理问答的方法和装置 |
| WO2022036616A1 (zh) * | 2020-08-20 | 2022-02-24 | 中山大学 | 一种基于低标注资源生成可推理问题的方法和装置 |
| CN112613323A (zh) * | 2020-12-21 | 2021-04-06 | 中国科学技术大学 | 语法依赖增强的数学应用题语义识别与推理方法及系统 |
| CN113946696A (zh) * | 2021-01-07 | 2022-01-18 | 复旦大学 | 一种知识感知的序列到树的数学应用题求解系统 |
| CN112860856A (zh) * | 2021-02-10 | 2021-05-28 | 福州大学 | 一种算数应用题智能解题方法及系统 |
| CN113988300A (zh) * | 2021-11-01 | 2022-01-28 | 中山大学 | 一种题目结构推理方法及系统 |
| KR20230106283A (ko) * | 2022-01-06 | 2023-07-13 | 서강대학교산학협력단 | 신경망을 이용한 수학 문제 풀이 시스템 및 수학 문제 풀이 방법 |
| CN114610835A (zh) * | 2022-01-28 | 2022-06-10 | 中国科学院自动化研究所 | 应用题解题知识库的构建方法、装置及应用题解题机器人 |
| CN115049062A (zh) * | 2022-08-16 | 2022-09-13 | 中国科学技术大学 | 一种基于知识学习的数学应用题智能解题方法及系统 |
| CN115829033A (zh) * | 2023-02-02 | 2023-03-21 | 中国科学技术大学 | 数学应用题知识构建与解答方法、系统、设备及存储介质 |
| CN116187437A (zh) * | 2023-02-16 | 2023-05-30 | 东北大学 | 一种基于对比学习的数学应用题求解系统及方法 |
| CN116306940A (zh) * | 2023-02-16 | 2023-06-23 | 东北大学 | 一种基于bert编码的数学应用题求解系统及方法 |
| CN116108326A (zh) * | 2023-04-12 | 2023-05-12 | 山东工程职业技术大学 | 一种数学工具软件控制方法、装置、设备及存储介质 |
| CN116401624A (zh) * | 2023-04-21 | 2023-07-07 | 电子科技大学 | 一种基于多叉树结构的非自回归数学题求解器 |
Non-Patent Citations (3)
| Title |
|---|
| Longhu Qin.A Mathematical Word Problem Generator with Structure Planning and Knowledge Enhancement.《SIGIR '23: Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval》.2023,1750–1754. * |
| Spatial abilities associated with open math problem solving;Li Wang;《Applied Cognitive Psychology》;第36卷(第2期);306-317 * |
| 数据驱动的数学试题难度预测;佟威;汪飞;刘淇;陈恩红;;计算机研究与发展(05);1-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116680502A (zh) | 2023-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lewkowycz et al. | Solving quantitative reasoning problems with language models | |
| Liang et al. | Explaining the black-box model: A survey of local interpretation methods for deep neural networks | |
| Wells et al. | Explainable ai and reinforcement learning—a systematic review of current approaches and trends | |
| Niyogisubizo et al. | Predicting student's dropout in university classes using two-layer ensemble machine learning approach: A novel stacked generalization | |
| JP5924713B2 (ja) | テキストを分類する方法 | |
| CN115829033B (zh) | 数学应用题知识构建与解答方法、系统、设备及存储介质 | |
| Chrysafiadi et al. | Advances in personalized web-based education | |
| CN115049062B (zh) | 一种基于知识学习的数学应用题智能解题方法及系统 | |
| CN111259632A (zh) | 一种基于语义对齐的树结构数学应用题求解方法及系统 | |
| Malik et al. | Generative grading: near human-level accuracy for automated feedback on richly structured problems | |
| Tang et al. | Predictive modelling of student behaviour using granular large-scale action data | |
| Elsayed | Towards Mitigating ChatGPT's Negative Impact on Education: Optimizing Question Design Through Bloom's Taxonomy | |
| CN116680502B (zh) | 数学应用题智能求解方法、系统、设备及存储介质 | |
| Yu et al. | Information lattice learning | |
| Shi et al. | KC-Finder: Automated Knowledge Component Discovery for Programming Problems. | |
| Bao et al. | Multi-step deductive reasoning over natural language: An empirical study on out-of-distribution generalisation | |
| Penmetsa | Investigate effectiveness of code features in knowledge tracing task on novice programming course | |
| Hoq et al. | SANN: A subtree-based attention neural network model for student success prediction through source code analysis | |
| Miao | A hybrid model for student grade prediction using support vector machine and neural network | |
| Zhang | Meta Prompting for AGI Systems | |
| Aakur et al. | Leveraging Symbolic Knowledge Bases for Commonsense Natural Language Inference Using Pattern Theory | |
| Mankad et al. | An automatic evolution of rules to identify students’ multiple intelligence | |
| Hooshyar | Temporal learner modelling through integration of neural and symbolic architectures | |
| CN117453898B (zh) | 基于思维链的跨模态问答的处理方法和装置 | |
| Tsiakmaki et al. | A Case Study of Interpretable Counterfactual Explanations for the Task of Predicting Student Academic Performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |