CN115600587A - 数学应用题生成系统、方法、智能终端及可读存储介质 - Google Patents
数学应用题生成系统、方法、智能终端及可读存储介质 Download PDFInfo
- Publication number
- CN115600587A CN115600587A CN202211617742.XA CN202211617742A CN115600587A CN 115600587 A CN115600587 A CN 115600587A CN 202211617742 A CN202211617742 A CN 202211617742A CN 115600587 A CN115600587 A CN 115600587A
- Authority
- CN
- China
- Prior art keywords
- word
- term
- description word
- mathematical
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 84
- 230000010387 memory retrieval Effects 0.000 claims abstract description 47
- 230000006870 function Effects 0.000 claims description 31
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000012512 characterization method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 239000002420 orchard Substances 0.000 description 6
- 244000141359 Malus pumila Species 0.000 description 5
- 235000011430 Malus pumila Nutrition 0.000 description 5
- 235000015103 Malus silvestris Nutrition 0.000 description 5
- 240000001987 Pyrus communis Species 0.000 description 3
- 235000014443 Pyrus communis Nutrition 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种数学应用题生成系统、方法、智能终端及可读存储介质,属于电数字数据处理技术领域。所述系统包括:语言输入模块,用于接收输入的主题词和算式;主题词记忆检索模块,用于根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;算式记忆检索模块,用于根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;应用题生成模块,用于结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。通过将本发明,能够生成场景描述丰富、逻辑描述与算式保持一致以及层次结构符合逻辑且灵活的数学应用题,大幅提升了设计数学应用题的效率、数量和质量,减少了人工出题的成本。
Description
技术领域
本发明涉及电数字数据处理技术领域,尤其涉及一种数学应用题生成系统、方法、智能终端及计算机可读存储介质。
背景技术
数学应用题在教育领域中举足轻重,因为它们是学生们认识数学、提高对数学概念的理解及增强解决数学问题的有效途径。一个数学应用题通常由算式和问题组成,问题主要分为场景描述和逻辑描述。教育上通常是用不同的场景描述和相同的逻辑描述组成的多个数学应用题增强学生的数学问题解决能力,许多研究也证实了高质量的数学应用题能带来更好的教学成果。
就目前设计数学应用题的方式而言,主要分为人工出题和机器出题,对于人为设计应用题而言,不但耗费的精力多、花销大,而且出题质量也高度依赖于出题人。对于机器设计应用题而言,往往是基于预定义的文本模板自动地生成数学应用题,但由于文本模板比较地固定。所以设计出的应用题较为单调有限,难以保证多样性,且叙述方式僵化不生动,更加欠缺出题质量。
发明内容
本发明的主要目的在于提供一种数学应用题生成系统、方法、智能终端及计算机可读存储介质,旨在解决设计数学应用题成本高以及设计的数学应用题质量偏低的技术问题。
为实现上述目的,本发明提供一种数学应用题生成系统,所述数学应用题生成系统包括:
语言输入模块,用于接收输入的主题词和算式;
主题词记忆检索模块,用于根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;
算式记忆检索模块,用于根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;
应用题生成模块,用于结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。
可选地,所述场景描述字词训练集表征名词词性的字词训练数据;所述逻辑描述字词训练集表征动词词性的字词训练数据、副词词性的字词训练数据和介词词性的字词训练数据。
可选地,所述应用题生成模块,还用于结合所述主题词、所述目标场景描述字词项和所述算式以及经过预设的交叉注意力机制调整后的所述目标逻辑描述字词项以生成数学应用题。
可选地,所述主题词记忆检索模块,还用于通过以下第一相关性公式检索确定所述场景描述字词训练集中与所述主题词匹配相关的目标场景描述字词项:
其中,在所述第一相关性公式中:
其中,表征所述场景描述字词训练集中的各个场景描述字词项与所述主题词之间匹配相关性得分;表征所述主题词对应的归一化
编码函数;表征所述场景描述字词项对应的归一化编码函数;和分别表征所述主题词的线性投影矩阵和所述场景描述字词项的线性投影矩
阵,都用于降低所述系统中特征的维度;表征变换器模型对所述主题词进行编码的
函数;表征变换器模型对所述场景描述字词项进行编码的函数,函数用于将
所述系统中任意向量归一化为单位向量以及调节各个所述场景描述字词项与所述主
题词之间匹配相关性得分的范围。
可选地,所述算式记忆检索模块,还用于通过以下第二相关性公式检索确定所述逻辑描述字词训练集中与所述算式匹配相关的目标逻辑描述字词项:
其中,在所述第二相关性公式中:
其中,表征所述逻辑描述字词训练集中的各个逻辑描述字词项
与所述算式之间匹配相关性得分;表征所述算式对应的归一化编码函数;表征所述逻辑描述字词项对应的归一化编码函数;和分别表征
所述算式的线性投影矩阵和所述逻辑描述字词项的线性投影矩阵,都用于降低所
述系统中特征的维度;表征门控循环单元结构模型对所述算式进行编码的函数;表征变换器模型对所述逻辑描述字词项进行编码的函数,函数用于将所述
系统中任意向量归一化为单位向量以及调节各个所述逻辑描述字词项与所述算式
之间匹配相关性得分的范围。
可选地,所述应用题生成模块包括:
场景描述字词编码器,用于对所述主题词和所述目标场景描述字词项进行编码以得到场景编码;
算式编码器,用于对所述算式进行编码以得到算式编码;
逻辑描述字词编码器,用于对所述目标逻辑描述字词项进行编码以得到逻辑编码;
场景-算式融合编码器,用于对所述场景编码和所述算式编码进行融合编码为场景-算式编码;
应用题解码器,用于对所述场景-算式编码和逻辑编码进行解码以生成数学应用题。
可选地,所述场景描述字词编码器、所述逻辑描述字词编码器以及所述场景-算式融合编码器都为变换器编码器;所述算式编码器为门控循环单元结构模型编码器。
此外,为实现上述目的,本发明还提供一种数学应用题生成方法,所述数学应用题生成方法应用于如上所述的数学应用题生成系统,所述方法包括以下步骤:
接收输入的主题词和算式;
根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;
根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;
结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。
此外,为实现上述目的,本发明还提供一种智能终端,包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的数学应用题生成程序,其中,所述数学应用题生成程序被所述处理器执行时,实现如上所述的数学应用题生成方法的步骤。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数学应用题生成程序,其中,所述数学应用题生成程序被处理器执行时,实现如上所述的数学应用题生成方法的步骤。
本发明技术方案中的数学应用题生成系统,包括:语言输入模块,用于接收输入的主题词和算式;主题词记忆检索模块,用于根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;算式记忆检索模块,用于根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;应用题生成模块,用于结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。本发明解决了设计数学应用题成本高以及设计的数学应用题质量不高的技术问题。
核心地,本发明可以使得用户根据相应的数学应用题设计需求,将一些应用题的主题词和算式输入到数学应用题生成系统,由语言输入模块接收之后分别通过解耦合式的主题词记忆检索模块对预设在所述系统中场景描述字词训练集检索得到与主题词比较相关的一个或多个目标场景描述字词项,通过解耦合式的算式记忆检索模块对预设在所述系统中的逻辑描述字词训练集检索得到与算式比较相关的一个或多个目标逻辑描述字词项,将得到的各个目标场景描述字词项和各个目标逻辑描述字词项通过应用题生成模块进行组合就能够生成场景描述丰富、逻辑描述与算式保持一致以及层次结构符合逻辑且灵活的多个应用题,大幅提升了设计数学应用题的效率、数量和质量,减少了人工出题的成本,本发明将场景描述字词和逻辑描述字词基于不同记忆检索模块分开进行处理,所以也不会使得场景描述和逻辑描述混在一起因随意匹配形成内容描述混乱的数学应用题,以人工智能与数学应用题相结合,通过深度学习的方式实现了代替人工出题和代替传统机器使用文本模板出题的功能,具有广阔的应用前景。
附图说明
图1为本发明实施例方案涉及的智能终端的硬件运行环境的结构示意图;
图2为为本发明数学应用题生成系统的框架结构示意图;
图3为本发明数学应用题生成系统涉及的主题词记忆检索模块示意图;
图4为本发明数学应用题生成系统涉及的算式记忆检索模块示意图;
图5为本发明数学应用题生成系统涉及的应用题生成模块示意图;
图6为本发明数学应用题生成系统涉及的数学应用题生成模型整体结构示意图;
图7为本发明数学应用题生成系统涉及的训练样本示意图;
图8为本发明数学应用题生成方法第一实施例的流程示意图。
附图标号说明:
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例提出一种智能终端,该智能终端可以为各种计算机设备,比如个人计算机、工业计算机、工作站等。
如图1所示,图1是本发明实施例方案涉及的智能终端的硬件运行环境的结构示意图。
如图1所示,该智能终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示器(Display)、输入单元比如控制面板,可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WIFI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。作为一种计算机存储介质的存储器1005中可以包括数学应用题生成程序。
本领域技术人员可以理解,图1中示出的硬件结构并不构成对设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
继续参照图1,图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、用户接口模块、网络通信模块以及数学应用题生成程序。
在图1中,网络通信模块主要用于连接服务器,与服务器进行数据通信;而处理器1001可以调用存储器1005中存储的数学应用题生成程序,并执行以下各个实施例中的步骤。
基于上述智能终端的硬件结构,提出本发明数学应用题生成系统的各个实施例。
本发明实施例提供一种数学应用题生成系统。
请参照图2,图2为本发明数学应用题生成系统框架结构示意图;在本发明第一实施例中,所述数学应用题生成系统应用于智能终端;所述系统包括:
语言输入模块1,用于接收输入的主题词和算式;
在本实施例中,数学应用题生成系统可以基于训练好的数学应用题生成模型来实现自动地生成数学应用题,为了便于理解,可以将数学应用题生成系统和数学应用题生成模型作为同一概念。
其中的主题词(关键词)指的是数学应用题所需要的各种词汇,包括场景描述字词和逻辑描述字词。比如数学应用题:“果园有5棵梨树,苹果树比梨树多3棵,问果园里共有多少棵苹果树”中除数字3、5和量词“棵”以外的其他字词都可以作为主题词。其中的名词可以作为场景描述字词,动词、副词、介词、连接词等其他词性的可以作为逻辑描述字词其中的算式也就是数学应用题所需要的各种公式。
其中的语言输入模块1既可以用于分别接收用户或设备输入的主题词和算式,也可以接收输入的一整段包括主题词和算式在内的文本,语言输入模块1可以包括主题词输入模块和算式输入模块,用户可以基于不同的输入模块进行分别输入,用户也可以输入一整段包括主题词和算式在内的文本,比如输入一整个现有的数学应用题,通过TF-IDF(termfrequency–inverse document frequency,词频-逆向文件频率)方法来区分文本中的主题词和算式,进而将主题词和算式分别分配到主题词输入模块和算式输入模块。
主题词记忆检索模块2,用于根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;
对于本实施例中包括主题词记忆检索模块2和算式记忆检索模块3在内的记忆检索模块,主要用于对自然语言的处理,可以记录大量的自然语言文本训练数据。
对于主题词记忆检索模块2,在接收到来自语言输入模块1传递的主题词时,从主题词记忆检索模块2中存储的预设的场景描述字词训练集中检索得到与主题词比较相关的各个目标场景描述字词项。
算式记忆检索模块3,用于根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;
对于算式记忆检索模块3,在接收到来自语言输入模块1传递的算式时,从算式记忆检索模块3中存储的预设的逻辑描述字词训练集中检索得到与算式比较相关的各个目标逻辑描述字词项。
在检索得到各个目标场景描述字词项和各个目标逻辑描述字词项之前,也是在主题词记忆检索模块2存储场景描述字词训练集和算式记忆检索模块3存储逻辑描述字词训练集之前,还包括对数据预处理进行解耦合确定场景描述字词训练集和逻辑描述字词训练集的过程:
将用于训练的数学应用题训练集分为逻辑描述的词对应的逻辑描述字词
训练集和场景描述的词对应的场景描述字词训练集,并把它们分别存进算
式记忆检索模块3中的LDM(logical description memory,逻辑描述记忆)和主题词记忆检
索模块2中的SDM(scenario description memory,场景描述记忆)中。其中,场景描述字词
训练集中的各项场景描述词可以为名词,逻辑描述字词训练集中的各项逻辑描述词则可以
为动词、副词、连接词和介词,因此,可以使用TF-IDF的方法来分出它们。提取数学应用题训
练集的第i个训练句子的名词作为场景描述词,除名词、数字、量词之外的词为逻辑描述
词,并将场景描述词和逻辑描述词分别归类放入场景描述字词训练集SDM()和逻辑描
述字词训练集LDM()中。
为了更加便于清楚地理解上述预处理解耦合(去耦合)的过程,可以参照图7,图7为本发明数学应用题生成系统涉及的训练样本示意图;如图所示,数学应用题的训练样本包括:
(一):果园有N0棵梨树,苹果树比梨树多N1棵。问果园里共有多少棵苹果树。在经过去耦合之后得到存入场景描述记忆中的场景描述词可以包括“梨树”、“苹果树”、“果园”等名词词性的字词,存入逻辑描述记忆中的逻辑描述词可以包括“有”、“比”、“多”、“共有”“多少”等不为名词、数字和量词其它词性的字词。
(二):学校有N0个女生,男生的数量是女生的N1倍。问一共有多少学生。在经过去耦合之后得到存入场景描述记忆中的场景描述词可以包括学校,男生,女生,学生等名词词性的字词,存入逻辑描述记忆中的逻辑描述词可以包括“的“数量”是”等不为名词、数字和量词其它词性的字词。
通过本实施例中的主题词记忆检索模块2和算式记忆检索模块3,能够将各个数学应用题的训练集(训练样本)进行解耦合,分别对场景描述词和逻辑描述词进行处理,从而防止当需要生成关于场景描述的词时,记忆检索模块带来的额外输入包含逻辑描述,当需要生成关于逻辑描述的词时,记忆检索模块带来的额外输入包含场景描述,避免最终生成数学应用题结果因随意组合样本中不同词性的字词造成数学应用题描述不准逻辑不通的问题。
在一实施例中,对于主题词记忆检索模块2如何根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项,包括:
主题词记忆检索模块2,还用于通过以下第一相关性公式检索确定所述场景描述字词训练集中与所述主题词匹配相关的目标场景描述字词项:
其中,在所述第一相关性公式中:
其中,表征所述场景描述字词训练集中的各个场景描述字词项与所述主题词之间匹配相关性得分;表征所述主题词对应的归一化
编码函数;表征所述场景描述字词项对应的归一化编码函数;和分别表征所述主题词的线性投影矩阵和所述场景描述字词项的线性投影矩
阵,都用于降低所述系统中特征的维度;表征变换器模型对所述主题词进行编码的
函数;表征变换器模型对所述场景描述字词项进行编码的函数,函数用于将
所述系统中任意向量归一化为单位向量以及调节各个所述场景描述字词项与所述主
题词之间匹配相关性得分的范围。
为了进一步理解上述过程,可以参照图3,图3为本发明数学应用题生成系统涉及
的主题词记忆检索模块2示意图;如图所示,基于主题词的检索模块即主题词记忆检索模块
2,其中包括了基于Transformer(变换器)的编码器ENCtw,和基于Transformer的编码器
ENCsdm,在场景描述记忆(SDM)中,包括了各个场景描述字词项,也即场景描
述词,其中的相关记忆项就是目标场景描述字词项,也可以表示为。
其中的编码器ENCtw用于对输入的主题词进行编码,编码器ENCsdm用于对场景描述
字词训练集中的各个场景描述字词项进行编码,该场景描述字词训练集在场景描述记忆
中;编码器ENCtw和编码器ENCsdm分别进行编码之后将编码后的主题词和编码之后的场景
描述字词项通过上述的第一相关性公式确定两者之间内积相似度,也即各个场景描
述字词项与所述主题词之间匹配相关性得分,在相关性得分处于或大于预设的匹
配相关性得分的范围时认为两者相关,否则则不相关,以此来确定较为相关的目标场景描
述字词项。
在另一实施例中,对于算式记忆检索模块3如何根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项,包括:
所述算式记忆检索模块3,还用于通过以下第二相关性公式检索确定所述逻辑描述字词训练集中与所述算式匹配相关的目标逻辑描述字词项:
其中,在所述第二相关性公式中:
其中,表征所述逻辑描述字词训练集中的各个逻辑描述字词项
与所述算式之间匹配相关性得分;表征所述算式对应的归一化编码函数;表征所述逻辑描述字词项对应的归一化编码函数;和分别表征
所述算式对应特征的线性投影矩阵和所述逻辑描述字词项对应特征的线性投影矩
阵,都用于降低所述系统中特征的维度;表征门控循环单元结构模型对所述算式
进行编码的函数;表征变换器模型对所述逻辑描述字词项进行编码的函数,函数用于将所述系统中任意向量归一化为单位向量以及调节各个所述逻辑描述字词项与所述算式之间匹配相关性得分的范围。
为了进一步理解上述过程,可以参照图4,图4为本发明数学应用题生成系统涉及
的算式记忆检索模块3示意图;如图所示,基于算式的检索模块即算式记忆检索模块3,其中
包括了基于GRU(Gate Recurrent Unit,门控循环单元)模型的编码器ENCeq(此处使用基于
GRU编码器在实验结果上优于基于Transformer的编码器)和基于Transformer的编码器
ENCldm,在逻辑描述记忆(LDM)中,包括了各个逻辑描述字词项,也即逻辑描
述词,其中的相关记忆项就是目标逻辑描述字词项,也可以表示为。
其中的编码器ENCeq用于对输入的算式(公式)进行编码,编码器ENCldm用于对逻辑
描述字词训练集中各个逻辑描述字词项进行编码,该逻辑描述字词训练集在逻辑描述记忆
中;编码器ENCeq和编码器ENCldm分别进行编码之后将编码后的算式和编码之后的逻辑描
述字词项通过上述的第二相关性公式确定两者之间内积相似度,也即各个逻辑描述字
词项与所述算式之间匹配相关性得分,在相关性得分处于或大于预设的匹配相关
性得分的范围时认为两者相关,否则则不相关,以此来确定较为相关的目标逻辑描述字词
项。
应用题生成模块4,用于结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。
可以将目标场景描述字词项和目标逻辑描述字词项通过不同的编码器编码组合之后再解码生成数学应用题。
在一实施例中,所述应用题生成模块4包括:
场景描述字词编码器,用于对所述主题词和所述目标场景描述字词项进行编码以得到场景编码;
算式编码器,用于对所述算式进行编码以得到算式编码;
逻辑描述字词编码器,用于对所述目标逻辑描述字词项进行编码以得到逻辑编码;
场景-算式融合编码器,用于对所述场景编码和所述算式编码进行融合编码为场景-算式编码;
应用题解码器,用于对所述场景-算式编码和逻辑编码进行解码以生成数学应用题。
其中的所述场景描述字词编码器、所述逻辑描述字词编码器以及所述场景-算式融合编码器都为变换器编码器;所述算式编码器为门控循环单元结构模型编码器。
在该实施例中,请参照图5,图5为本发明数学应用题生成系统涉及的应用题生成
模块4示意图;如图所示,在生成模块中,即应用题生成模块4中,包括有基于Transformer的
场景描述字词编码器,基于Transformer的逻辑描述字词编码器(也可以表示为
、)、基于GRU的算式编码器GRU、基于Transformer的场景-算式融合编码器,解
码器,以及输出模块,用于输出数学应用题结果。
其中的编码器用于对来自语言输入模块1的主题词以及检索得到的目标场
景描述字词项进行编码,并将编码后的结果数据场景编码传递到编码器中;其中的
编码器GRU用于来自语言输入模块1的算式进行编码,并将编码后的结果数据算式编码
传递到编码器中;其中的编码器用于对检索得到的目标逻辑描述字词项进行编
码,并将编码后的结果数据逻辑编码传递到解码器中;其中的编码器用于对场景编
码和算式编码进行融合编码得到场景-算式编码,并将场景-算式编码与逻辑编码在解码器
中进行结合解码并进一步输出最终的数学应用题。
其中Transformer的编码器把主题词和从SDM搜索的结果编码为表
征场景编码。GRU编码器把算式编码为表征算式编码。基于Transformer的编码器把和融合起来编码为场景-算式编码。基于Transformer的编码器把每
一个从基于LDM搜索的结果分别编码为,它们组成的集合为,是
的长度。
其中生成模块中的应用题解码器(以下简称编码器)可以看成一个概率模型:
解码器以自回归的方式产生一个输出序列。每一个时间步长t,解码器都会注意
来自编码器的、已预测的序列,输出一个隐藏状态。隐藏状态会通过线性投影然
后进行softmax函数处理最终被传递到下一个词的预测,解码器所用公式如下:
此外,在一实施例中,为了进一步提高逻辑描述字词项与算式之间的相关性,得到
描述更为准确可靠的数学应用题,解码器还用于计算预设的逻辑描述字词训练集(LDM)中
所有逻辑描述字词项对应的token(标记,也即计算机可读取的逻辑表述字词项)的特
征的交叉注意力,公式如下:
表示第k个token和第j个来自LDM的结果(目标逻辑描述字词项)间的注意力分
数,举个例子,比如第j=1个数学应用题训练样本:果园有N0棵梨树,苹果树比梨树多N1棵。问
果园里共有多少棵苹果树。其中LDM中第j=1个的目标逻辑描述字词项包括有:“有”、“比”、
“多”、“共有”“多少”,对应的第k=1时的token为“有”,也即为“有”。
是memory embedding(记忆嵌入)的加权组合,和都为预设的维度转换矩
阵,都可训练得到。与简单记忆检索模块一样,在解码阶段交叉注意力会使用两次。通过
memory embedding的加权和来更新解码器的隐藏状态,将每个交叉注意力分数视为复制检
索到的记忆项的相应token的概率。因此,使用和memory embedding加权成的计算下一
个token的概率,计算公式如下:
与简单记忆检索模块一样,在注意力分数的偏置项里添加了LDM有关分数,所以公式重写为:
这里的指的是检索到的第i个记忆项的第j个字符(token),β是可训练的标量,
用于控制相关性的权重分数,注意力分数的计算上没有SDM相关分数。一方面预训练了基于
主题词的模块的编码器,它检索能力已经足够了。另一方面,SDM 检索结果用于直接扩充输
入主题词,而不是通过交叉注意机制复制,所以不需要将 SDM 相关性添加到LDM的交叉注
意力。
为了从整体上理解本发明上述各个实施例,请参照图6,图6为本发明数学应用题
生成系统涉及的数学应用题生成模型整体结构示意图;图6也是上述图3、图4以及图5之间
组成的本发明数学应用题生成系统的整体,也可以认为是数学应用题生成模型整体。如图
所示,对于主题词记忆检索模块2和算式记忆检索模块3以及生成模块请分别参照上述对图
3、图4、图5的描述,至于三者的之间的内部关系,还需要说明的是:在语言输入模块1(图示
未标出)输入的主题词在主题词记忆检索模块2中的编码器进行编码,输入的算式在算式记忆检索模块3中的编码器进行编码,还在生成模块(应用题生成模块4)中
的编码器GRU中进行编码,对于上述两个记忆检索模块中的检索确定的相关记忆项:目标场
景描述字词项和目标逻辑描述字词项分别传递到生成模块中编码器和编码器中进
行编码。
在一实施例中,所述应用题生成模块4,还用于结合所述主题词、所述目标场景描述字词项和所述算式以及经过预设的交叉注意力机制调整后的所述目标逻辑描述字词项以生成数学应用题。
在一实施例中,为了形成和实现本发明中的数学应用题生成系统(数学应用题生成模型),所述数学应用题生成系统的训练过程,包括:
在如下的负对数似然损失函数上使用SGD(Stochastic gradient descent,随机梯度下降)优化模型的参数。
关于SDM的预训练,从来自训练集的所有主题词和场景描述词对采
样,以表示主题词经由生成的表征,表示由场景词经由
生成的表征。是表示相关分数的矩阵,每一行对应一个训练样例的主题词,每一
列对应一个SDM项的场景描述。当i=j时,任意对都应对齐,因此,损失函数应该
最大化沿矩阵对角线的分数并最小化其他分数,写为公式如下:
通过该实施例的训练过程,能够训练得到本发明所需要的数学应用题生成模型,并且训练过程强调解耦合记忆检索,将逻辑描述和场景描述分别记录在不同的记忆检索模块,防止生成的数学应用题在描述上逻辑混乱描述不清的问题,降低了最终得到的数学应用题结果的误匹配,提高数学应用题的生成质量。
本发明数学应用题生成系统可以使得用户根据相应的数学应用题设计需求,将一些应用题的主题词和算式输入到数学应用题生成系统,由语言输入模块接收之后分别通过解耦合式的主题词记忆检索模块对预设在所述系统中场景描述字词训练集检索得到与主题词比较相关的一个或多个目标场景描述字词项,通过解耦合式的算式记忆检索模块对预设在所述系统中的逻辑描述字词训练集检所得到与算式比较相关的一个或多个目标逻辑描述字词项,将得到的各个目标场景描述字词项和各个目标逻辑描述字词项通过应用题生成模块进行组合就能够生成场景描述丰富、逻辑描述与算式保持一致以及层次结构符合逻辑且灵活的多个应用题,大幅提升了设计数学应用题的效率、数量和质量,减少了人工出题的成本,本发明将场景描述字词和逻辑描述字词基于不同记忆检索模块分开进行处理,所以也不会使得场景描述和逻辑描述混在一起因随意匹配形成内容描述混乱的数学应用题,以人工智能与数学应用题相结合,通过深度学习的方式实现了代替人工出题和代替传统机器使用文本模板出题的功能,具有广阔的应用前景。
请参照图8,图8为本发明数学应用题生成方法第一实施例的流程示意图;本发明还提出一种数学应用题生成方法,在本实施例中,所述数学应用题生成系统应用于上述各个实施例中的数学应用题生成系统;所述方法包括:
步骤S10,接收输入的主题词和算式;
步骤S20,根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;
步骤S30,根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;
步骤S40,结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。
本实施例中数学应用题生成方法应用于本发明中的数学应用题生成系统,其各个步骤的具体展开和实现过程请参照上述数学应用题生成系统的各个实施例,在此不再赘述。
此外,本发明还提供一种计算机可读存储介质。本发明计算机可读存储介质上存储有数学应用题生成程序,其中,数学应用题生成程序被处理器执行时,实现如上述的数学应用题生成系统的步骤。
其中,数学应用题生成程序被执行时所实现的系统可参照本发明数学应用题生成系统的各个实施例,此处不再赘述。
本领域内的技术人员应明白,本发明的实施例可提供为系统、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的系统、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是,在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是在本发明的发明构思下,利用本发明说明书及附图内容所作的等效结构变换,或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (10)
1.一种数学应用题生成系统,其特征在于,所述数学应用题生成系统包括:
语言输入模块,用于接收输入的主题词和算式;
主题词记忆检索模块,用于根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;
算式记忆检索模块,用于根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;
应用题生成模块,用于结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。
2.如权利要求1所述的数学应用题生成系统,其特征在于,所述场景描述字词训练集表征名词词性的字词训练数据;所述逻辑描述字词训练集表征动词词性的字词训练数据、副词词性的字词训练数据和介词词性的字词训练数据。
3.如权利要求1所述的数学应用题生成系统,其特征在于,所述应用题生成模块,还用于结合所述主题词、所述目标场景描述字词项和所述算式以及经过预设的交叉注意力机制调整后的所述目标逻辑描述字词项以生成数学应用题。
4.如权利要求1所述的数学应用题生成系统,其特征在于,所述主题词记忆检索模块,还用于通过以下第一相关性公式检索确定所述场景描述字词训练集中与所述主题词匹配相关的目标场景描述字词项:
其中,在所述第一相关性公式中:
5.如权利要求1所述的数学应用题生成系统,其特征在于,所述算式记忆检索模块,还用于通过以下第二相关性公式检索确定所述逻辑描述字词训练集中与所述算式匹配相关的目标逻辑描述字词项:
其中,在所述第二相关性公式中:
6.如权利要求1所述的数学应用题生成系统,其特征在于,所述应用题生成模块包括:
场景描述字词编码器,用于对所述主题词和所述目标场景描述字词项进行编码以得到场景编码;
算式编码器,用于对所述算式进行编码以得到算式编码;
逻辑描述字词编码器,用于对所述目标逻辑描述字词项进行编码以得到逻辑编码;
场景-算式融合编码器,用于对所述场景编码和所述算式编码进行融合编码为场景-算式编码;
应用题解码器,用于对所述场景-算式编码和逻辑编码进行解码以生成数学应用题。
7.如权利要求6所述的数学应用题生成系统,其特征在于,所述场景描述字词编码器、所述逻辑描述字词编码器以及所述场景-算式融合编码器都为变换器编码器;所述算式编码器为门控循环单元结构模型编码器。
8.一种数学应用题生成方法,其特征在于,所述数学应用题生成方法应用于如所述权利要求1中所述的数学应用题生成系统,所述方法包括以下步骤:
接收输入的主题词和算式;
根据所述主题词从预设的场景描述字词训练集中检索确定对应的目标场景描述字词项;
根据所述算式从预设的逻辑描述字词训练集中确定对应的目标逻辑描述字词项;
结合所述目标场景描述字词项和所述目标逻辑描述字词项以生成数学应用题。
9.一种智能终端,其特征在于,所述智能终端包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的数学应用题生成程序,其中,所述数学应用题生成程序被所述处理器执行时,实现如权利要求8中所述数学应用题生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数学应用题生成程序,其中,所述数学应用题生成程序被处理器执行时,实现如权利要求8中所述的数学应用题生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211617742.XA CN115600587B (zh) | 2022-12-16 | 2022-12-16 | 数学应用题生成系统、方法、智能终端及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211617742.XA CN115600587B (zh) | 2022-12-16 | 2022-12-16 | 数学应用题生成系统、方法、智能终端及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115600587A true CN115600587A (zh) | 2023-01-13 |
CN115600587B CN115600587B (zh) | 2023-04-07 |
Family
ID=84854115
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211617742.XA Active CN115600587B (zh) | 2022-12-16 | 2022-12-16 | 数学应用题生成系统、方法、智能终端及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115600587B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018060450A1 (en) * | 2016-09-29 | 2018-04-05 | Koninklijke Philips N.V. | Question generation |
CN108052492A (zh) * | 2017-12-11 | 2018-05-18 | 上海启思教育科技服务有限公司 | 一种数学题目自动生成系统 |
US20190370389A1 (en) * | 2018-05-31 | 2019-12-05 | Applied Brain Research Inc. | Methods and systems for generating and traversing discourse graphs using artificial neural networks |
CN111414464A (zh) * | 2019-05-27 | 2020-07-14 | 腾讯科技(深圳)有限公司 | 一种问题生成方法、装置、设备及存储介质 |
CN111428467A (zh) * | 2020-02-19 | 2020-07-17 | 平安科技(深圳)有限公司 | 生成阅读理解的问题题目的方法、装置、设备及存储介质 |
CN112163405A (zh) * | 2020-09-08 | 2021-01-01 | 北京百度网讯科技有限公司 | 问题的生成方法和装置 |
CN112287659A (zh) * | 2019-07-15 | 2021-01-29 | 北京字节跳动网络技术有限公司 | 一种信息生成方法、装置、电子设备及存储介质 |
CN112487139A (zh) * | 2020-11-27 | 2021-03-12 | 平安科技(深圳)有限公司 | 基于文本的自动出题方法、装置及计算机设备 |
CN113095045A (zh) * | 2021-04-20 | 2021-07-09 | 河海大学 | 一种基于逆向操作的中文数学应用题数据增强方法 |
CN113204698A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技(深圳)有限公司 | 新闻主题词生成方法、装置、设备及介质 |
-
2022
- 2022-12-16 CN CN202211617742.XA patent/CN115600587B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018060450A1 (en) * | 2016-09-29 | 2018-04-05 | Koninklijke Philips N.V. | Question generation |
CN108052492A (zh) * | 2017-12-11 | 2018-05-18 | 上海启思教育科技服务有限公司 | 一种数学题目自动生成系统 |
US20190370389A1 (en) * | 2018-05-31 | 2019-12-05 | Applied Brain Research Inc. | Methods and systems for generating and traversing discourse graphs using artificial neural networks |
CN111414464A (zh) * | 2019-05-27 | 2020-07-14 | 腾讯科技(深圳)有限公司 | 一种问题生成方法、装置、设备及存储介质 |
CN112287659A (zh) * | 2019-07-15 | 2021-01-29 | 北京字节跳动网络技术有限公司 | 一种信息生成方法、装置、电子设备及存储介质 |
CN111428467A (zh) * | 2020-02-19 | 2020-07-17 | 平安科技(深圳)有限公司 | 生成阅读理解的问题题目的方法、装置、设备及存储介质 |
CN112163405A (zh) * | 2020-09-08 | 2021-01-01 | 北京百度网讯科技有限公司 | 问题的生成方法和装置 |
CN112487139A (zh) * | 2020-11-27 | 2021-03-12 | 平安科技(深圳)有限公司 | 基于文本的自动出题方法、装置及计算机设备 |
CN113095045A (zh) * | 2021-04-20 | 2021-07-09 | 河海大学 | 一种基于逆向操作的中文数学应用题数据增强方法 |
CN113204698A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技(深圳)有限公司 | 新闻主题词生成方法、装置、设备及介质 |
Non-Patent Citations (3)
Title |
---|
WEI QIN; HANWANG ZHANG; RICHANG HONG;: "Causal Interventional Training for Image Recognition", 《IEEE TRANSACTIONS ON MULTIMEDIA》 * |
吴林静等: "基于依存句法的初等数学分层抽样应用题题意理解", 《计算机应用与软件》 * |
黄振亚,刘淇: "面向学科题目的文本分析方法与应用研究综述", 《中文信息学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115600587B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | A survey of large language models | |
Liu et al. | Tree-structured decoding for solving math word problems | |
Alomari et al. | Deep reinforcement and transfer learning for abstractive text summarization: A review | |
Yin et al. | Neural enquirer: Learning to query tables with natural language | |
CN108628935B (zh) | 一种基于端到端记忆网络的问答方法 | |
CN106484682A (zh) | 基于统计的机器翻译方法、装置及电子设备 | |
CN110795552A (zh) | 一种训练样本生成方法、装置、电子设备及存储介质 | |
CN111191002A (zh) | 一种基于分层嵌入的神经代码搜索方法及装置 | |
CN109582786B (zh) | 一种基于自动编码的文本表示学习方法、系统及电子设备 | |
CN113239169A (zh) | 基于人工智能的回答生成方法、装置、设备及存储介质 | |
CN112328800A (zh) | 自动生成编程规范问题答案的系统及方法 | |
CN111814451A (zh) | 文本处理方法、装置、设备和存储介质 | |
CN116662502A (zh) | 基于检索增强的金融问答文本生成方法、设备及存储介质 | |
CN116561251A (zh) | 一种自然语言处理方法 | |
CN116186216A (zh) | 基于知识增强和双图交互的问题生成方法及系统 | |
CN112417155B (zh) | 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质 | |
Nagatsuka et al. | Length-based curriculum learning for efficient pre-training of language models | |
Assem et al. | QASAR: self-supervised learning framework for extractive question answering | |
CN115600587B (zh) | 数学应用题生成系统、方法、智能终端及可读存储介质 | |
Bai et al. | Gated character-aware convolutional neural network for effective automated essay scoring | |
CN113641789B (zh) | 基于分层融合多头注意力网络和卷积网络的观点检索方法及系统 | |
Suwarningsih et al. | RoBERTa: language modelling in building Indonesian question-answering systems | |
De Kruijf et al. | Training a Dutch (+ English) BERT model applicable for the legal domain | |
Xie et al. | Match matrix aggregation enhanced transition-based neural network for sql parsing | |
Liang et al. | Knowledge graph enhanced transformer for generative question answering tasks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |