CN117272992B - 一种融合物性知识提示的数学应用题机器解答系统及方法 - Google Patents
一种融合物性知识提示的数学应用题机器解答系统及方法 Download PDFInfo
- Publication number
- CN117272992B CN117272992B CN202311049125.9A CN202311049125A CN117272992B CN 117272992 B CN117272992 B CN 117272992B CN 202311049125 A CN202311049125 A CN 202311049125A CN 117272992 B CN117272992 B CN 117272992B
- Authority
- CN
- China
- Prior art keywords
- relation
- attribute
- physical property
- mathematical
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000704 physical effect Effects 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 37
- 230000004927 fusion Effects 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种融合物性知识提示的数学应用题机器解答系统及方法,该系统包括:题面数量关系检测模块,用于获取数学应用题的题目文本,输出题目文本对应的数学实体,以及与数学实体相关的属性关系组和连接关系组;实体物性关系图生成模块,用于依据数学实体、属性关系组和连接关系组,输出物性关系图;物性知识提示语生成模块,用于依据题目文本和物性关系图,输出物性知识提示语;表达式生成模块,用于依据题目文本和物性知识提示语,输出题目文本的预测表达式,进而计算数学应用题的参考答案。本发明根据题目文本进行数学实体物性关系图生成、基于物性关系关联计算的精准隐含知识添加能力,提高数学应用题机器解答效率。
Description
技术领域
本发明涉及智能教育技术领域,更具体地,涉及一种融合物性知识提示的数学应用题机器解答系统及方法。
背景技术
机器解答数学题是指利用计算机算法读入自然语言表示的数学题目文本,输出对应的解答结果的过程。近年来,基于机器学习和深度学习算法构建数学应用解答系统,取得了长足进展,形成了基于Encoder-Decoder结构的机器解答框架。其中Encoder实现题目文本的表示学习,Decoder实现数学表示解码。基于这一框架,发展形成了Seq2Seq,Seq2Tree以及Graph2Tree等机器解答模型,特别是Graph2Tree模型在多个测试数据集上表现出色。这些模型通过设计不同结构的Encoder模型从题目文本中尽可能多的获取解题所需信息,便于Decoder模块更加有效的解码得到目标表达式。
Encoder模型主要完成题目中解题所需信息的编码工作,以便为Decoder模块提供更多有效信息。相关模型主要包括基于文本序列的编码模型和基于图结构的编码模型。前者将题目文本视为自然语言文本序列,使用循环神经网络(如LSTM,GRU等)编码该序列得到嵌入向量和隐向量。这两种模型对于题目文本直接陈述的信息具有较好的编码效果,但是对于解题需要的额外的常识知识、领域知识、经验知识等的编码能力不足,从而导致机器解答失败。
发明内容
针对现有技术的至少一个缺陷或改进需求,本发明提供了一种融合物性知识提示的数学应用题机器解答系统及方法,根据题目文本进行数学实体物性关系图生成、基于物性关系关联计算的精准隐含知识添加能力,提高数学应用题机器解答效率。
为实现上述目的,按照本发明的第一个方面,提供了一种融合物性知识提示的数学应用题机器解答系统,包括:
题面数量关系检测模块,用于获取数学应用题的题目文本,输出所述题目文本对应的数学实体,以及与所述数学实体相关的属性关系组和连接关系组;
实体物性关系图生成模块,用于依据所述数学实体、所述属性关系组和所述连接关系组,输出物性关系图;
物性知识提示语生成模块,用于依据所述题目文本和所述物性关系图,输出物性知识提示语;
表达式生成模块,用于依据所述题目文本和所述物性知识提示语,输出题目文本的预测表达式,进而计算所述数学应用题的参考答案。
作为本发明的一种优选方案,所述题面数量关系检测模块包括数学实体检测和数量关系提取;
其中,所述数学实体检测是利用分词器获取所述题目文本中的主干词汇集合,进而使用显著性评分模型从所述名词集合中提取数学实体;所述主干词汇集合包括名词、动词、数词和量词集合;
所述数量关系提取是以提取得到的数学实体为线索,从所述主干词汇集合中提取与数学实体相关的属性关系和连接关系,并对上述两类关系进行属性补全后输出数量关系组,作为所述题面数量关系检测模块的输出。
作为本发明的一种优选方案,所述数量关系提取包括以数学实体和单位量词为线索进行模式匹配,输出数量关系组;其中,所述模式匹配是指将所述主干词汇集合中的名词、数词和量词所对应的词性标签组合作为模式串,与预定义的数量关系模板库中的目标串进行匹配;所述属性关系组表示为,所述连接关系组表示为,其中,/>为数学实体,/>为数词,/>为单位量词。
作为本发明的一种优选方案,所述实体物性关系图生成模块用于属性词匹配并生成与属性关系组合和连接关系组/>对应的物性关系图;
所述属性词匹配,包括属性关系组的属性词匹配和连接关系组的属性词匹配;所述属性关系组的属性词匹配,是根据中的单位量词/>在物性知识库中匹配对应的属性词/>,得到更新的属性关系组/>;所述连接关系组的属性词匹配,是根据中的单位量词/>在物性知识库中匹配对应的属性词/>,得到新的连接关系组;
所述物性关系图包括顶点和有向边;依据所述属性关系组和所述连接关系组中的实体、属性词/>,/>和数词/>构建所述物性关系图的顶点;依据属性关系组添加有向边/>和/>;依据连接关系组/>添加有向边/>,/>和/>。
作为本发明的一种优选方案,所述属性关系组的属性词匹配具体包括:
建立<第一名词-物性角色-第二名词>三元组,将第一名词记为数学实体,则第二名词为第一名词对应的属性,最后将总结得到的上述三元组存入物性知识库中。
作为本发明的一种优选方案,所述实体物性关系图生成模块还用于在所述基础图的基础上,进行物性关系补全;
其中,所述物性关系补全包括:
输入所述题目文本,利用第一推理器输出隐含实体,再将所述隐含实体编号和所述题目文本输入第二推理器,得到所述隐含实体对应的隐含属性;将所述隐含实体和所述隐含实体属性添加为所述物性关系图的顶点,并依据数学实体物性角色建模结果,添加第三有向边。
作为本发明的一种优选方案,所述物性知识提示语生成模块,使用LSTM和预训练语言模型对题目文本进行编码,然后将题目文本的向量表示和物性关系图的邻接矩阵作为图编码器的输入,并对来自最后一个隐藏层的特征输出进行平均,以获取图增强后的题目向量表示;
对每个逻辑公式进行评分,以获取与题目语义向量相关度最高的提示语,并通过损失函数评估所述提示语。
作为本发明的一种优选方案,所述表达式生成模块,包括编码器和解码器,其中,所述编码器用于将所述提示语与所述题目文本拼接,输入循环神经网络模型,获取所述题目文本的字词的向量和上下文向量;还用于将所述物性关系图的邻接矩阵和所述物性关系图中顶点的向量表示输入到图卷积网络模型,得到全局上下文图表示和图增强后的顶点表示;还用于最后生成目标向量对和/>,并引入注意力机制获取全局表示/>作为解码器的目标向量;
所述解码器是树形结构解码器,用于以目标向量和顶点表示为输入,从根顶点开始逐步生成表达式树;所述解码器还用于输出表达式树的中序遍历序列作为所述题目文本的预测表达式,并对表达式作算术运算,得到最终答案。
作为本发明的一种优选方案,所述生成表达式树包括:
如果预测顶点是操作符,则继续向下生成左右子树;如果预测顶点是数值,则向上回溯到最近一个右子树为空的顶点,预测右子顶点;递归直至所有非叶顶点右子树不为空,表达式树生成结束。
按照本发明的第二个方面,提供了一种融合物性知识提示的数学应用题机器解答方法,应用于上述任一项所述的融合物性知识提示的数学应用题机器解答系统,包括:
S1. 将数学应用题的题目文本输入题面数量关系检测模块,输出所述题目文本对应的属性关系组和连接关系组;
S2. 将所述属性关系组和连接关系组输入实体物性关系图生成模块,输出物性关系图;
S3. 将所述题目文本和所述物性关系图输入物性知识提示语生成模块,输出物性知识提示语;
S4. 将所述题目文本和所述物性知识提示语输入所述表达式生成模块,输出题目文本的预测表达式,进而计算所述数学应用题的参考答案。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
本发明提供的一种融合物性知识提示的数学应用题机器解答系统及方法,根据题目文本进行数学实体物性关系图生成、基于物性关系关联计算的精准隐含知识添加能力,提高数学应用题机器解答效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种融合物性知识提示的数学应用题机器解答系统模块结构图;
图2为本发明实施例提供的物性知识存储结构示意图;
图3为本发明实施例提供的物性关系图生成处理流程示意图;
图4为本发明实施例提供的物性知识提示语生成流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
作为本发明的第一实施例,提供了一种融合物性知识提示的数学应用题机器解答系统,包括题面数量关系检测模块、实体物性关系图生成模块、物性知识提示语生成模块和表达式生成模块。
首先是题面数量关系检测模块。本模块以题目文本为输入,输出题目文本中的数学实体以及与数学实体相关联的数量关系。本实施方式中将数学实体细分为对象实体(简称“对象”)和属性实体(简称“属性”)。据此,实体数量关系可分为两大类,即同一对象不同属性及属性间的关系(简称“属性关系”),以及不同对象相同属性间的关系(简称“连接关系”)。该模块的处理过程主要包括数学实体检测和数量关系提取处理步骤。
(1)数学实体检测:是指检测题目文本中与所陈述的数量关系相关的数学实体。在词法上,对象和属性均表现为名词。因此,本实施例数学实体检测基于词法分析分析结果进行。
首先,使用分词器进行分词和词性标注,得到主干词汇集合,其中/>为分词序列,/>为该词对应的词性标签。由于本实施例后续处理仅涉及名词(/>)、动词(/>)、数词(/>)和单位量词(/>),因此在分词结果/>中仅保留上述四类词性标签,以提高处理效率。
其次,在主干词汇集合中检索词性标签为/>的名词添加到数学实体集中。本实施例在后续描述中将/>中的每个名词/>称为数学实体(简称实体)。
然后,训练评分模型对中的实体/>进行显著性评分,移除显著性分数低的实体以进一步提高处理效率和后续数量关系提取的准确性。该评分模型以原始题目文本和/>中的每个实体为输入,输出该实体对应的显著性分数/>,/>越低,则意味着该分词及其相关的数量关系参与获取正确解答的可能性越低。具体操作中,将/>(/>为阈值常量,默认取值0.5)的实体从/>中移除。
(2)数量关系提取:在主干词汇集合中搜索与数学实体集/>中所有实体/>有关的数量关系。词法上,题目对数量关系的陈述依赖三要素:数学实体名词、数词和单位量词,分别对应词性标签/>、/>和/>。因此,本实施例基于上述三类词性标签及顺序作为特征进行数量关系检测。数量关系检测分为以下两个步骤:
(a)单位量词检测:基于预先建立的单位量词库,采用-邻域搜索法在/>中为每个数词匹配单位量词。若匹配成功,则将检测到的单位量词的标签/>修改为/>,并更新到/>中。
(b)数量关系检测:基于上述单位量词检测结果,使用数量关系模式串匹配技术,提取中的数量关系。具体而言,使用模式串/>和/>匹配属性关系,使用模式串/>和/>匹配连接关系。考虑到语言习惯,中的一些数量关系的三要素并不一定齐备,为了保证所提取数量关系的完整性,在正则匹配时需采用模糊匹配的策略进行,其中数词/>是必备要求,名词/>和量词/>或二者必备其一。
最后,将检测得到的属性关系和连接关系分别记录在属性关系组和连接关系组/>中,其中/>对应E中的数学实体,/>对应/>的数词,对应/>中的单位量词。
本实施例中的实体物性关系图生成模块,实现数学实体的物性关系建模,具体而言就是将上述属性关系组和连接关系组/>表示为图由顶点集/>和边集/>构成的图,其目的在于方便进行结构化的逻辑推理,形成隐含知识提示语。本模块的主要处理包括实体属性建模和物性关系图生成两步处理。
实体-属性建模,即建立属性关系和连接关系与实体属性的关联,解决同一实体对应多个属性关系和连接关系带来的歧义问题。在数学应用题中,数量关系严格对应数学实体的一个或多个属性,并且这些属性对数量关系之间的运算具有约束作用。比如表示“长度”属性的数值不能与表示“面积”属性的数值使用加减操作。但是在自然语言题目文本中,这些属性往往因语言习惯被省略,因此需要进行实体-属性建模。
实体-属性建模的过程即利用语言学中的名词的物性角色这一概念,建立<第一名词-物性角色-第二名词>三元组,将第一名词记为数学实体,则第二名词为第一名词对应的属性。最后将总结得到的上述三元组存入物性知识库中。
一个典型的物性知识库元素描述结构如图2所示。其中,为已知数学实体,/>代表情景类别,/>为/>相关联的数学实体或属性词、/>为数量关系模板。基于上述物性知识库,为每个属性关系组/>和连接关系组/>匹配对应的属性词,并将该属性词作为实体对应的属性。
属性关系组的属性词匹配,即根据数量关系中的数量单位来确定该数量关系对应的属性类别。本实施例首先构建属性库,存储单位量词-属性词映射关系。在进行属性补全时,使用上一步单位检测得到的属性单位量词在属性库中检索对应的属性词/>,将该属性添加到属性关系组/>中,得到更新的属性关系组/>。
连接关系组的属性词匹配,是根据题目上下文来确定该连接关系对应的属性类别。连接关系的属性补全时,首先以连接关系在题目中的句子为初始位置(记为),在句子/>中搜索属性词,若成功,则将搜索得到的属性词赋予该连接关系;否则,在/>范围内继续搜索,直到搜索成功。将该搜索得到的属性词/>添加到连接关系组/>中,得到新的连接关系组/>。
基于上述物性知识库,为每道待求解题目生成实体物性关系图。物性关系图生成以数量关系集、/>和题目情景类别为输入,经过基础图生成、物性关系补全处理后输出物性关系图,其流程如图3所示。
其中,基础图生成包括顶点生成和边生成处理。基础图生成步骤如下:
Step1:顶点生成。物性关系图中的顶点集包含实体顶点/>、属性顶点/>和数值顶点/>。这三类顶点主要来自属性关系组/>中的/>和/>。
Step2:边生成。物性关系图中的边定义为两个顶点间的物性角色。对于属性关系组中的关系对/>进行解析,根据数学实体物性角色建模结果,/>构成“CON”物性角色关系,因此在/>对应顶点/>之间添加有向边/>,设置/>的属性为“CON”。对于连接关系组/>中的关系对/>,首先检查顶点集/>中是否包中各元素对应的顶点,若未包含,则按照Step1中的方法添加顶点。然后,将拆解为/>和/>两部分,将每一部分按Step2中属性关系的边生成方法创建新的有向边。返回的基础图记为/>。
在基础图构建结果上,还需要添加隐含物性关系。隐含物性关系是指解题所需,但是题目中并未直接给出的物性关系。本实施方式以题目所述的情景类别为依据完成物性关系补全,具体处理过程分为物性关系推理和物性关系添加两个步骤。
Step1:物性关系推理:物性关系推理是在图基础上,基于实体的物性角色以及问题情景类别,预测隐含实体或实体的隐含属性,并基于实体、属性间的物性角色添加相应大的物性关系。推理处理使用两个预训练的推理器/>和/>,其中以题目文本为输入,输出隐含实体编号/>,/>以题目文本和实体编号为输入,输出该实体对应的隐含属性编号/>,每个/>和/>分别对应物性知识库中的一个实体词/>和属性词/>。
Step2:物性关系添加:对于物性关系推理得到的实体集合以及实体-属性组,使用基础图生成方法添加到图/>中。
最终得到的图G中,有向边包括了依据属性关系组添加的和/>,以及依据连接关系组/>添加的/>,/>和/>。
本实施例中的物性知识提示语生成模块,主要实现基于物性关系的物性知识提示语生成,其输入为数学应用题文本及物性关系图,输出为解题所需的物性知识提示语。物性知识提示语是指求解某一数学题目时,在各实体或属性的逻辑关系上能起提示作用的文本表达式。本模块提出了一种基于算术推理逻辑的物性知识提示语生成方法,通过添加物性知识提示语来增强学习,以实现模型对“多跳”隐含知识的联想能力。
为了能从逻辑提示语库中检索与题目文本高度相关的提示语,本方案设计并训练了一个逻辑提示语检索器,该检索器主要包括预训练语言模型和评分模块两个部分。预训练语言模型以包含150个候选字句的提示语库和题目文本为输入,分别获取所有逻辑提示语的向量表示和每一个题目文本的向量表示,之后评分模块以此为输入,检索得到每一个题目文本关联度最高的条提示语。
提示语的生成步骤包括:
Step1:采用LSTM和预训练语言模型对提示语进行编码,同样对最后一个隐藏层的特征输出分别进行平均,以取得每个逻辑公式的语义向量表示。
Step2:首先使用图文混合编码模型对题目文本和物性关系图进行编码,并对来自最后一个隐藏层的特征输出进行平均,以获取图增强后的题目向量表示。
Step3:通过部署评分模块对每个逻辑公式进行评分,以获取与题目语义向量相关度最高的提示语。
Step4:设置用于训练检索器的损失函数,对于每个数据样本,其中/>为题目文本,/>为0-1向量表示为/>,/>为逻辑提示语的总量。本实施方式中采用0-1向量来标记该提示语是否被使用。为了准确的提取每个题目的推理逻辑,本实施方式中将其视为多标签分类任务,采用交叉熵损失函数进行评估,对于正样本本实施方式中期望更高得分;对于负样本,本实施方式中期望得分更低。
本实施例中的表达式生成模块,以题目原始文本及物性知识提示语为输入,输出目标变量的求解表达式,主要包括编码器和解码器两个子模块,其中编码器模块由循环神经网络编码器和图卷积网络编码器构成,解码端采用树形结构解码器。本模块以题目文本、检索得到的逻辑提示语和物性关系图的邻接矩阵作为输入,经过编码、解码处理后,预测生成表达式以及最终答案。
在预测表达式之前,需要将文本中的字词表示成向量形式,并注入上下文语义信息,从而得到相应的特征向量,这个文本表征的过程即为编码。本实施方式的编码过程主要分为三个步骤,一是文本编码,首先将拼接提示语后的题目文本输入到循环神经网络模型,获取所有层的隐状态向量,即文本所有字词的向量表示和一个上下文向量/>。然后进行图编码,将物性关系图的邻接矩阵和关系图中顶点的向量表示输入到图卷积网络模型,得到全局上下文图表示/>以及图增强后的顶点表示/>。最后生成目标向量对/>和/>,并引入注意力机制获取全局表示/>作为解码器的目标向量。
本实施方式的解码端采用的是一种目标驱动的自顶向下预测生成顶点的树形结构解码器,以目标向量和顶点表示/>作为输入,从根顶点开始逐步生成表达式树。如果预测顶点是操作符,则继续向下生成左右子树;如果预测顶点是数值,则向上回溯到最近一个右子树为空的顶点,预测右子顶点。如此递归,直至所有非叶顶点右子树不为空,表达式树生成结束。最后,解码器输出表达式树的中序遍历序列,即题目文本的预测表达式,并对表达式作算术运算,得到最终答案。
作为本发明的又一实施例,提供了一种融合物性知识提示的数学应用题机器解答方法,应用于上述任一项所述的融合物性知识提示的数学应用题机器解答系统,包括:
S1. 将数学应用题的题目文本输入题面数量关系检测模块,输出所述题目文本对应的属性关系组和连接关系组;
S2. 将所述属性关系组和连接关系组输入实体物性关系图生成模块,输出物性关系图;
S3. 将所述题目文本和所述物性关系图输入物性知识提示语生成模块,输出物性知识提示语;
S4. 将所述题目文本和所述物性知识提示语输入所述表达式生成模块,输出题目文本的预测表达式,进而计算所述数学应用题的参考答案。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种融合物性知识提示的数学应用题机器解答系统,其特征在于,包括:
题面数量关系检测模块,用于获取数学应用题的题目文本,输出所述题目文本对应的数学实体,以及与所述数学实体相关的属性关系组和连接关系组;
所述题面数量关系检测模块包括数学实体检测和数量关系提取;
所述数学实体检测是利用分词器获取所述题目文本中的主干词汇集合,进而使用显著性评分模型从名词集合中提取数学实体;所述主干词汇集合包括名词、动词、数词和量词集合;
所述数量关系提取包括以数学实体和单位量词为线索进行模式匹配,输出所述属性关系组和所述连接关系组;其中,所述模式匹配是指将所述主干词汇集合中的名词、数词和量词所对应的词性标签组合作为模式串,与预定义的数量关系模板库中的目标串进行匹配;所述属性关系组表示为,所述连接关系组表示为/>,其中,为数学实体,/>为数词,/>为单位量词;
实体物性关系图生成模块,用于依据所述数学实体、所述属性关系组和所述连接关系组,进行属性词匹配并生成与属性关系组合和连接关系组对应的物性关系图;
所述属性词匹配,包括属性关系组的属性词匹配和连接关系组的属性词匹配;所述属性关系组的属性词匹配,是根据中的单位量词/>在物性知识库中匹配对应的属性词/>,得到更新的属性关系组/>;所述连接关系组的属性词匹配,是根据/>中的单位量词/>在物性知识库中匹配对应的属性词/>,得到新的连接关系组;
所述物性关系图包括顶点和有向边;依据所述属性关系组和所述连接关系组中的实体、属性词/>,/>和数词/>构建所述物性关系图的顶点;依据属性关系组/>添加有向边/>和/>;依据连接关系组/>添加有向边,/>和/>;
物性知识提示语生成模块,采用LSTM和预训练语言模型对提示语进行编码,同样对最后一个隐藏层的特征输出分别进行平均,以取得每个逻辑公式的语义向量表示;使用图文混合编码模型对题目文本和物性关系图进行编码,并对来自最后一个隐藏层的特征输出进行平均,以获取图增强后的题目向量表示;将语义向量表示和图增强后的题目向量表示输入评分模块,检索得到每一个题目文本关联度最高的条提示语;
表达式生成模块,所述表达式生成模块,包括编码器和解码器,其中,所述编码器用于将所述提示语与所述题目文本拼接,输入循环神经网络模型,获取所述题目文本的字词的向量和上下文向量;还用于将所述物性关系图的邻接矩阵和所述物性关系图中顶点的向量表示输入到图卷积网络模型,得到全局上下文图表示和图增强后的顶点表示;还用于最后生成目标向量对和/>,并引入注意力机制获取全局表示/>作为解码器的目标向量;
所述解码器是树形结构解码器,用于以目标向量和顶点表示为输入,从根顶点开始逐步生成表达式树;所述解码器还用于输出表达式树的中序遍历序列作为所述题目文本的预测表达式,并对表达式作算术运算,得到最终答案。
2.如权利要求1所述的融合物性知识提示的数学应用题机器解答系统,其特征在于:
所述属性关系组的属性词匹配具体包括:
建立<第一名词-物性角色-第二名词>三元组,将第一名词记为数学实体,则第二名词为第一名词对应的属性,最后将总结得到的上述三元组存入物性知识库中。
3.如权利要求2所述的融合物性知识提示的数学应用题机器解答系统,其特征在于:
所述实体物性关系图生成模块还用于在基础图的基础上,进行物性关系补全;所述基础图是由所述属性关系组和所述连接关系组生成;
所述物性关系补全包括:
输入所述题目文本,利用第一推理器输出隐含实体,再将所述隐含实体编号和所述题目文本输入第二推理器,得到所述隐含实体对应的隐含属性;将所述隐含实体和所述隐含实体属性添加为所述物性关系图的顶点,并依据数学实体物性角色建模结果,添加第三有向边。
4.如权利要求1所述的融合物性知识提示的数学应用题机器解答系统,其特征在于:
所述物性知识提示语生成模块,采用交叉熵损失函数训练检索器。
5.如权利要求1所述的融合物性知识提示的数学应用题机器解答系统,其特征在于:
所述生成表达式树包括:
如果预测顶点是操作符,则继续向下生成左右子树;如果预测顶点是数值,则向上回溯到最近一个右子树为空的顶点,预测右子顶点;递归直至所有非叶顶点右子树不为空,表达式树生成结束。
6.一种融合物性知识提示的数学应用题机器解答方法,其特征在于,应用于如权利要求1-5任一项所述的融合物性知识提示的数学应用题机器解答系统,包括:
S1. 将数学应用题的题目文本输入题面数量关系检测模块,输出所述题目文本对应的属性关系组和连接关系组;
S2. 将所述属性关系组和连接关系组输入实体物性关系图生成模块,输出物性关系图;
S3. 将所述题目文本和所述物性关系图输入物性知识提示语生成模块,输出物性知识提示语;
S4. 将所述题目文本和所述物性知识提示语输入所述表达式生成模块,输出题目文本的预测表达式,进而计算所述数学应用题的参考答案。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049125.9A CN117272992B (zh) | 2023-08-21 | 2023-08-21 | 一种融合物性知识提示的数学应用题机器解答系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049125.9A CN117272992B (zh) | 2023-08-21 | 2023-08-21 | 一种融合物性知识提示的数学应用题机器解答系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117272992A CN117272992A (zh) | 2023-12-22 |
CN117272992B true CN117272992B (zh) | 2024-06-18 |
Family
ID=89203402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311049125.9A Active CN117272992B (zh) | 2023-08-21 | 2023-08-21 | 一种融合物性知识提示的数学应用题机器解答系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117272992B (zh) |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423286A (zh) * | 2017-07-05 | 2017-12-01 | 华中师范大学 | 初等数学代数型题自动解答的方法与系统 |
CN108287928A (zh) * | 2018-03-05 | 2018-07-17 | 四川易利数字城市科技有限公司 | 一种基于局部加权线性回归的空间属性预测方法 |
US10872083B2 (en) * | 2018-10-31 | 2020-12-22 | Microsoft Technology Licensing, Llc | Constructing structured database query language statements from natural language questions |
CN109902160B (zh) * | 2019-01-30 | 2023-07-25 | 华中师范大学 | 电路题目自动解答的方法及系统 |
CN111125333B (zh) * | 2019-06-06 | 2022-05-27 | 北京理工大学 | 一种基于表示学习与多层覆盖机制的生成式知识问答方法 |
CN110781681B (zh) * | 2019-10-12 | 2023-04-28 | 电子科技大学 | 一种基于翻译模型的初等数学应用题自动求解方法及系统 |
CN111475629A (zh) * | 2020-03-31 | 2020-07-31 | 渤海大学 | 一种面向数学辅导问答系统的知识图谱构建方法及其系统 |
CN112395858B (zh) * | 2020-11-17 | 2024-04-23 | 华中师范大学 | 融合试题数据和解答数据的多知识点标注方法和系统 |
CN112949410B (zh) * | 2021-02-05 | 2024-01-16 | 华中师范大学 | 人工智能理科文字题解题方法、装置、设备及存储介质 |
CN115859008A (zh) * | 2021-09-24 | 2023-03-28 | 北京猿力未来科技有限公司 | 解题模型的训练方法及装置 |
CN113988300A (zh) * | 2021-11-01 | 2022-01-28 | 中山大学 | 一种题目结构推理方法及系统 |
CN114372128B (zh) * | 2021-12-27 | 2024-07-12 | 华中师范大学 | 一种旋转对称型几何体体积题目的自动求解方法及系统 |
CN115829033B (zh) * | 2023-02-02 | 2023-06-20 | 中国科学技术大学 | 数学应用题知识构建与解答方法、系统、设备及存储介质 |
-
2023
- 2023-08-21 CN CN202311049125.9A patent/CN117272992B/zh active Active
Non-Patent Citations (2)
Title |
---|
基于属性关系深度挖掘的试题知识点标注模型;何彬;南京信息工程大学学报自然科学版;20191128;全文 * |
基于知识图谱的实体关系补全方法研究及应用;孙朝阳;中国优秀硕士学位论文全文数据库信息科技辑;20230115;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117272992A (zh) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111738004A (zh) | 一种命名实体识别模型的训练方法及命名实体识别的方法 | |
CN110135457A (zh) | 基于自编码器融合文档信息的事件触发词抽取方法及系统 | |
CN111639171A (zh) | 一种知识图谱问答方法及装置 | |
CN113535917A (zh) | 基于旅游知识图谱的智能问答方法及系统 | |
CN112948546B (zh) | 面向多源异构数据源的智能问答方法及装置 | |
CN117076653A (zh) | 基于思维链及可视化提升上下文学习知识库问答方法 | |
CN110245349B (zh) | 一种句法依存分析方法、装置及一种电子设备 | |
CN117648429A (zh) | 基于多模态自适应检索式增强大模型的问答方法及系统 | |
CN116029306A (zh) | 一种限定域文科简答题自动评分方法 | |
CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
CN115390806A (zh) | 基于双模态联合建模的软件设计模式推荐方法 | |
CN115238026A (zh) | 一种基于深度学习的医疗文本主题分割方法和装置 | |
Schaback et al. | Multi-level feature extraction for spelling correction | |
CN115033706A (zh) | 一种知识图谱自动补全和更新的方法 | |
CN110852071A (zh) | 知识点检测方法、装置、设备及可读存储介质 | |
CN113705207A (zh) | 语法错误识别方法及装置 | |
CN113012685B (zh) | 音频识别方法、装置、电子设备及存储介质 | |
CN117272992B (zh) | 一种融合物性知识提示的数学应用题机器解答系统及方法 | |
Luo | Automatic short answer grading using deep learning | |
CN116028888A (zh) | 一种平面几何数学题目的自动解题方法 | |
CN115827847A (zh) | 知识图谱构建方法、装置、电子设备和存储介质 | |
CN114036956A (zh) | 一种旅游知识语义分析方法及装置 | |
CN114677165A (zh) | 上下文在线广告投放方法、装置、服务器和存储介质 | |
CN113157932A (zh) | 基于知识图谱表示学习的隐喻计算和装置 | |
CN111858961A (zh) | 用于知识图谱中节点和链接的多语言知识匹配方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |