CN116303559B - 表格问答的控制方法、系统及存储介质 - Google Patents

表格问答的控制方法、系统及存储介质 Download PDF

Info

Publication number
CN116303559B
CN116303559B CN202310166255.4A CN202310166255A CN116303559B CN 116303559 B CN116303559 B CN 116303559B CN 202310166255 A CN202310166255 A CN 202310166255A CN 116303559 B CN116303559 B CN 116303559B
Authority
CN
China
Prior art keywords
sql
model
training
generating
question
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310166255.4A
Other languages
English (en)
Other versions
CN116303559A (zh
Inventor
王永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Ain Intelligent Technology Co ltd
Original Assignee
Guangdong Ain Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Ain Intelligent Technology Co ltd filed Critical Guangdong Ain Intelligent Technology Co ltd
Priority to CN202310166255.4A priority Critical patent/CN116303559B/zh
Publication of CN116303559A publication Critical patent/CN116303559A/zh
Application granted granted Critical
Publication of CN116303559B publication Critical patent/CN116303559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2452—Query translation
    • G06F16/24522—Translation of natural language queries to structured queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种表格问答的控制方法、系统及存储介质，利用已有问题‑sql，进行对抗生成的方案，利用一定收集的数据，产生大量可用的训练数据，特别是对于新表格，在无标注的情况下，生成训练数据，从而提升新表格冷启动的效果。采用本方法，当模型完成训练后，可以得到一个sql到问题的生成模型。对于新老表格，均可以使用此模型产生训练语料。特别是全新的表格，在没有训练语料的情况下，能够通过迭代的方式产生大量可用的训练语料。

Description

表格问答的控制方法、系统及存储介质
技术领域
本公开涉及问答对文本信息处理技术领域，尤其涉及一种表格问答的控制方法、系统及存储介质。
背景技术
表格问答系统是客服系统中的一个重要技术点。相较于传统的流程树形式表格问答，需要建立复杂流程关系才能回答问题，而表格通过解析和利用将关系数据库中的结构化信息，能够构建一个简单高效的查表、推理能力，能够有效地提升客服系统的扩展性可用性。
但是在传统的表格问答系统中，主要的方案是text2sql，通过将问题转为sql语句在关系数据库中查询答案。在面对导入的新数据时，面对不同的表格，需要进行模型训练来让模型学习到问题和表格列信息的关系，对数据标注的依赖性较高，需要通过人力的方式针对每个表格去编写问题以及响应的sql，比较耗费人力。
此外，现有的技术方案主要一个是模板生成，即是系统内置一些定义好的模板。虽然采用系统内置模板可以节省生成表格的时间，但是模板生成具有一点的局限性，就是既不能根据输入数据的特点进行扩充，也局限于模板的编写方式较难，需要培训成本。
发明内容
为了解决上述问题，本申请提出一种表格问答的控制方法、系统及存储介质。
本申请一方面，提出一种表格问答的控制方法，包括如下步骤：
收集基础训练语料并进行预处理，生成并得到sql模板库；
对所述sql模板库的模板进行抽取和填充，生成sql到问题的sql数据；
利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型；
迭代优化训练完成，得到sql到问题的生成模型，利用所述生成模型产生训练语料。
作为本申请的一可选实施方案，可选地，收集基础训练语料并进行预处理，生成并得到sql模板库，包括：
收集已有的sql-问题，作为基础训练语料；
按照预处理方式对所述基础训练语料进行预处理，得到对应的表格和sql语句；
根据sql语法特点，将各个所述sql语句中的非关键字转换为待填充项，生成并得到对应所述sql语句的sql模板。
作为本申请的一可选实施方案，可选地，在生成并得到sql模板之后，还包括：
采集与各个所述sql语句相对应的所述sql模板；
将所有的所述sql语句相对应的所述sql模板进行汇集，得到一组所述sql模板的集合；
利用该组所述sql模板的集合，形成并保存为一sql模板库。
作为本申请的一可选实施方案，可选地，对所述sql模板的模板进行抽取和填充，生成sql到问题的sql数据，包括：
预设随机抽取机制；
采用随机抽取的方式，从sql模板库中随机抽取一个sql模板；
根据sql模板的特点，在数据库中随机抽取得到一个表格数据，采用所述表格数据对所述sql模板进行填充，将所述表格数据填充至所述sql模板的待填充项中，生成并得到一个sql-问题对，即sql数据。
作为本申请的一可选实施方案，可选地，利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型，包括：
基于深度学习方式，训练得到问题生成模型和问题判别模型；
将所述sql数据输入所述问题生成模型中，利用所述问题生成模型生成问题文本；
将所述问题文本输入所述问题判别模型，利用所述问题判别模型对所述问题文本的真实性进行判断；
持续进行所述问题生成模型和所述问题判别模型之间的生成对抗，迭代优化训练所述问题生成模型和所述问题判别模型。
作为本申请的一可选实施方案，可选地，在迭代优化训练所述生成对抗模型时，还包括：
预设迭代结束条件；
当在所述问题生成模型和所述问题判别模型之间的生成对抗训练中，所述问题生成模型和所述问题判别模型达到预设的所述迭代结束条件时，停止进行所述问题生成模型和所述问题判别模型之间的生成对抗；
迭代优化训练结束。
作为本申请的一可选实施方案，可选地，所述问题生成模型，采用使用seq2seq模型进行问题文本的生成。
作为本申请的一可选实施方案，可选地，所述问题判别模型，对不同类型的sql输入的判断方式包括：
当sql输入为所述问题生成模型所生成的问题文本时，所述问题判别模型对输入的问题文本进行真实性进行；
当sql输入为数据库所发送的问题文本时，所述问题文本首先经过bert模型编码后，通过全连接层fc后，再进行二分类判别。
本申请另一方面，提出一种实现所述的表格问答的控制方法的系统，包括：
sql模板生成模块，用于收集基础训练语料并进行预处理，生成并得到sql模板库；
sql模板处理模块，用于对所述sql模板库的模板进行抽取和填充，生成sql到问题的sql数据；
模型优化模块，用于利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型；
模型应用模块，用于迭代优化训练完成，得到sql到问题的生成模型，利用所述生成模型产生训练语料。
本申请另一方面，还提出一种存储介质，所述储存介质上存储有计算机程序，所述程序被处理器执行时实现所述的表格问答的控制方法。
本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的表格问答的控制方法、系统及存储介质方法。
本发明的技术效果：
本申请通过收集基础训练语料并进行预处理，生成并得到sql模板库；对所述sql模板库的模板进行抽取和填充，生成sql到问题的sql数据；利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型；迭代优化训练完成，得到sql到问题的生成模型，利用所述生成模型产生训练语料。利用已有问题-sql，进行对抗生成的方案，利用一定收集的数据，产生大量可用的训练数据，特别是对于新表格，在无标注的情况下，生成训练数据，从而提升新表格冷启动的效果。
采用本方法，当模型完成训练后，可以得到一个sql到问题的生成模型。对于新老表格，均可以使用此模型产生训练语料。特别是全新的表格，在没有训练语料的情况下，能够通过迭代的方式产生大量可用的训练语料。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为本发明表格问答的控制方法的实施流程示意图；
图2示出为本发明的总体流程示意图；
图3示出为本发明利用seq2seq问题生成模型生成问题文本的原理示意图；
图4示出为本发明利用问题判别模型对所输入的问题文本进行二分类的原理示意图；
图5示出为本发明系统的应用组成示意图；
图6示出为本发明电子设备的应用组成示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
本专利提出一种利用已有问题-sql，进行对抗生成的方案，利用一定收集的数据，产生大量可用的训练数据，特别是对于新表格，在无标注的情况下，生成训练数据，从而提升新表格冷启动的效果。
如图1所示，本申请一方面，提出一种表格问答的控制方法，包括如下步骤：
S1、收集基础训练语料并进行预处理，生成并得到sql模板库；
本实施例利用已有的问题-sql数据构建sql模板并生成sql模板库。作为本申请的一可选实施方案，可选地，收集基础训练语料并进行预处理，生成并得到sql模板库，包括：
收集已有的sql-问题，作为基础训练语料；
按照预处理方式对所述基础训练语料进行预处理，得到对应的表格和sql语句；
根据sql语法特点，将各个所述sql语句中的非关键字转换为待填充项，生成并得到对应所述sql语句的sql模板。
已有的问题-sql数据的获取方式，本实施例不进行限定。将已有的问题-sql数据作为基础的训练语料和对应的表格和sql语句，这部分数据需要人工标注，并作为后续迭代流程的初始语料。各个已有的问题-sql数据得到的表格的集合，形成表格数据库或者存储在一个数据库中。
比如表格1所示：
问题：苏州文化艺术中心的屏幕面积是多少？
Sql：select屏幕面积from table where影院名字＝“苏州文化艺术中心”。
首先根据表格和sql构建sql模板：
主要做法是将sql中的非关键字，根据sql语法的特点，转为待填充项：
例子1：如select屏幕面积from table where影院名字＝“苏州文化艺术中心”；
转换成模板：Select[col1]from table where[col2]＝[val1]；
例子2：面积最大的影院名字
Sql：select影院名字from table order by屏幕面积desc limit 1；
得到模板select[col1]from table order by[col2]desc limit[num]；
其中[col]为需要填充一个列名，[val1]为要填充的数据库值，当数据填充完毕后才能构成一句正常的sql模板。
作为本申请的一可选实施方案，可选地，在生成并得到sql模板之后，还包括：
采集与各个所述sql语句相对应的所述sql模板；
将所有的所述sql语句相对应的所述sql模板进行汇集，得到一组所述sql模板的集合；
利用该组所述sql模板的集合，形成并保存为一sql模板库。
按照上述sql模板的处理方式，每个sql语句相对应得到一个所述sql模板。通过将得到的sql语句，进行汇集，忽略具体列名、条件值的情况下，构成模板集合。
通过处理后，将得到一组sql模板。将这组sql模板汇集后进行存储，形成一个sql模板库，或者直接存储在已有的sql模板库中，等待抽取使用。
S2、对所述sql模板库的模板进行抽取和填充，生成sql到问题的sql数据；
为了能够扩充数据，需要利用已有的表格，完成sql-问题对的产生。
如图2所示，为本方法的总体流程示意图。首先需要用到sql模板库的模板进行数据填充，结合前面生成的表格数据进行填充，得到对应的sql填充模板。
本实施例为了保证sql数据的分散性，采用随机抽取和填充的方式进行数据训练。
作为本申请的一可选实施方案，可选地，对所述sql模板的模板进行抽取和填充，生成sql到问题的sql数据，包括：
预设随机抽取机制；
采用随机抽取的方式，从sql模板库中随机抽取一个sql模板；
根据sql模板的特点，在数据库中随机抽取得到一个表格数据，采用所述表格数据对所述sql模板进行填充，将所述表格数据填充至所述sql模板的待填充项中，生成并得到一个sql-问题对，即sql数据。
随机抽取机制，从sql模板随机抽取一个sql模板/数据库中随机抽取得到一个表格数据的机制。可以采用随机抽取算法进行随机抽取，随机算法本实施例不限定。
具体做法为：
随机在模板库中随机抽取1个模板；
根据模板的特点，在数据库中随机选取合适的数据进行填充，如col随机抽取某一列，然后val根据情况随机抽取；
构建生成对抗模型。
将所述表格数据填充至所述sql模板的待填充项中，生成并得到一个sql-问题对，即sql数据。
经过若干次的填充，得到若干个sql-问题对集合。此时可以将该sql-问题对集合作为初始训练参数，基于深度学习的方法，训练sql-问题对的生成模型。
本实施例，基于深度学习进行模型训练而生成对应的应用模型的方法。深度学习是一类模式分析方法的统称，主要涉及三类方法：
(1)基于卷积运算的神经网络系统，即卷积神经网络(CNN)。
(2)基于多层神经元的自编码神经网络，包括自编码(Auto encoder)以及近年来受到广泛关注的稀疏编码两类(Sparse Coding)。
(3)以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN)。
本实施例，利用sql数据作为初始训练数据而训练生成问题生成模型和问题判别模型的方式，其中深度学习方法，由用户自行选择即可，比如卷积神经网络等，为深度学习方式中的方法之一，本实施例不限定用户具体选择的深度学习方法。
但是，本方法需要在训练模型的过程中，利用生成对抗的训练机制，进行多轮次的迭代训练，以使得所训练的生成模型具有高度的识别精度。
S3、利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型；
具体的，通过构建生成对抗模型，利用生成器完成sql到问题的生成，再通过判别器判断生成的问题是否合理，通过生成对抗的方式，优化问题生成模型的效果。
当深度学习训练达到预设的条件时，停止迭代，得到sql-问题对的问题生成模型和问题判别模型。
作为本申请的一可选实施方案，可选地，利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型，包括：
基于深度学习方式，训练得到问题生成模型和问题判别模型；
将所述sql数据输入所述问题生成模型中，利用所述问题生成模型生成问题文本；
将所述问题文本输入所述问题判别模型，利用所述问题判别模型对所述问题文本的真实性进行判断；
持续进行所述问题生成模型和所述问题判别模型之间的生成对抗，迭代优化训练所述问题生成模型和所述问题判别模型。
本实施例，生成对抗模型是一种训练框架，同时训练得到：问题生成模型和问题判别模型，通过这两个模型的博弈，提升生成器的生成样本质量，从而能够产生高质量的数据。
问题生成模型(生成器)用于生成问题文本，生成的问题文本需要输入问题判别模型进行真实性判断，直到问题判别模型判定某次的问题文本的正确率达到用户设定的条件，此时才能得到最优解；
问题判别模型(判别器)，与问题生成模型相对应。下面描述了在最大化判别器的前提下、最小化生成器的对抗损失计算方式，具体见后续描述。
对于问题生成模型，使用seq2seq模型(如transformer)进行生成。
如图3所示，问题生成模型则是将输入的关键数据，通过seq2seq模型生成问题文本。
Seq2Seq是深度学习中常用的文本生成方式。输入一串文本，然后利用模型逐字生成结果文本。
如此一来，就可以利用步骤1中收集到数据，结合数据表，产生大量可用的训练数据，从而提升表格问答系统对于新数据表的支持能力。
如图4所示，对于问题判别模型，问题判别模型通过分类模型对输入样本进行分类判别，判断其是否为真实数据，具体做法为将输入文本，经过bert模型编码后，通过全连接层(fc)后，进行二分类判别。
问题判别模型使用的输入：表格信息+生成的问题，通过使用bert的[cls]向量进行二分类判别，判断是否为真实的问题。
问题判别模型的输入由两部分组成，即问题和表格信息，具体情况如下：
当输入为真实文本的时候，输入为问题生成模型所生成的问题文本，以及表格信息；
当输入为数据库所生成数据的时候，为了连续梯度用gumble-softmax的输出去得到生成的整个模板的文本编码。最终通过取[cls]向量进行二分类判别，判断是否真实模板。
其中，表格信息信息输入由列名、列类型组成，如：
text影院名称real屏幕面积…；
整体对抗损失计算如下：
D代表判别器、G代表生成器。此损失的意思是在最大化D的前提下，最小化G的损失。
因此，在生成对抗的模型训练过程中，可以参照上述对抗损失计算公式求解最优条件。
作为本申请的一可选实施方案，可选地，在迭代优化训练所述生成对抗模型时，还包括：
预设迭代结束条件；
当在所述问题生成模型和所述问题判别模型之间的生成对抗训练中，所述问题生成模型和所述问题判别模型达到预设的所述迭代结束条件时，停止进行所述问题生成模型和所述问题判别模型之间的生成对抗；
迭代优化训练结束。
在训练的时候依次优化判别器和生成器(对抗损失)：
(1)训练判别器的时候，生成器固定，利用生成器生成一批数据，与真实数据混合，让判别器学习如何分类，生成数据分类结果应为0，而真实数据为1；
(2)在训练生成器的时候，固定判别器，希望判别器尽量识别不出假样本，即通过对抗优化生成器的结果。
达到最优的对抗损失时，也意味着达到迭代结束条件。停止进行所述问题生成模型和所述问题判别模型之间的生成对抗，此时的训练参数将作为本次生成模型的应用参数。
作为本申请的一可选实施方案，可选地，所述问题生成模型，采用使用seq2seq模型进行问题文本的生成。
作为本申请的一可选实施方案，可选地，所述问题判别模型，对不同类型的sql输入的判断方式包括：
当sql输入为所述问题生成模型所生成的问题文本时，所述问题判别模型对输入的问题文本进行真实性进行；
当sql输入为数据库所发送的问题文本时，所述问题文本首先经过bert模型编码后，通过全连接层fc后，再进行二分类判别。
具体见上述描述。
S4、迭代优化训练完成，得到sql到问题的生成模型，利用所述生成模型产生训练语料。
当模型完成训练后，可以得到一个sql到问题的生成模型。对于新老表格，均可以使用此模型产生训练语料。特别是全新的表格，在没有训练语料的情况下，能够通过迭代的方式产生大量可用的训练语料。
sql到问题的生成模型，经过用户调试和验证后，可以部署在服务器等处理平台上，进行应用，用于利用一定收集的数据，产生大量可用的训练数据，特别是对于新表格，在无标注的情况下，生成训练数据，从而提升新表格冷启动的效果。
因此，本发明可以利用生成对抗网络实现的表格问答训练数据生成方案，在导入新表格的时候，能够利用已有的数据快速生成构建训练数据，提升效果的同时，也不需要太多的人力投入。
需要说明的是，尽管以seq2seq模型作为示例介绍了如上问题生成模型的方法，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定深度学习的方式进行模型训练，只要可以按照上述技术方法实现本申请的技术功能即可。
显然，本领域的技术人员应该明白，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。
实施例2
如图5所示，基于实施例1的实施原理，本申请另一方面，提出一种实现所述的表格问答的控制方法的系统，包括：
sql模板生成模块，用于收集基础训练语料并进行预处理，生成并得到sql模板库；
sql模板处理模块，用于对所述sql模板库的模板进行抽取和填充，生成sql到问题的sql数据；
模型优化模块，用于利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型；
模型应用模块，用于迭代优化训练完成，得到sql到问题的生成模型，利用所述生成模型产生训练语料。
上述各个模块的功能和交互应用原理具体参见实施例1的描述，本实施例不再赘述。
上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
本申请另一方面，还提出一种存储介质，所述储存介质上存储有计算机程序，所述程序被处理器执行时实现所述的表格问答的控制方法。
本领域技术人员可以理解，实现上述实施例表格问答的控制方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。
其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
实施例4
如图6所示，更进一步地，本申请另一方面，还提出一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的表格问答的控制方法。
本公开实施例来电子设备包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的表格问答的控制方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的电子设备中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的表格问答的控制方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行电子设备的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (8)

1.表格问答的控制方法，其特征在于，包括如下步骤：
收集基础训练语料并进行预处理，生成并得到sql模板库；
对所述sql模板库的模板进行抽取和填充，生成sql到问题的sql数据，包括：预设随机抽取机制；采用随机抽取的方式，从sql模板库中随机抽取一个sql模板；根据sql模板的特点，在数据库中随机抽取得到一个表格数据，采用所述表格数据对所述sql模板进行填充，将所述表格数据填充至所述sql模板的待填充项中，生成并得到一个sql-问题对，即sql数据；
利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型，包括：问题生成模型采用使用seq2seq模型进行问题文本的样本生成；问题判别模型通过分类模型对输入样本进行分类判别，判断其是否为真实数据，具体做法为将输入文本，经过bert模型编码后，通过全连接层fc后，进行二分类判别，具体的：
问题判别模型使用的输入：表格信息与生成的问题，通过使用bert的[cls]向量进行二分类判别，判断是否为真实的问题；
问题判别模型的输入由两部分组成，即问题和表格信息，具体情况如下：
当输入为真实文本的时候，输入为问题生成模型所生成的问题文本，以及表格信息；
当输入为数据库所生成数据的时候，用连续梯度gumble-softmax的输出得到生成的整个模板的文本编码；最终通过取[cls]向量进行二分类判别，判断是否真实模板；
在训练的时候依次优化判别器和生成器：
(1)训练判别器的时候，生成器固定，利用生成器生成一批数据，与真实数据混合，让判别器学习如何分类，生成数据分类结果应为0，而真实数据为1；
(2)在训练生成器的时候，固定判别器，判别器识别不出假样本，即通过对抗优化生成器的结果；
达到最优的对抗损失时，也意味着达到迭代结束条件；
在生成对抗的模型训练过程中，参照下述对抗损失计算公式求解最优条件：
D代表判别器、G代表生成器，此损失是在最大化D的前提下，最小化G的损失；
迭代优化训练完成，得到sql到问题的生成模型，利用所述生成模型产生训练语料；对于新老表格，均使用此生成模型产生训练语料；全新的表格，在没有训练语料的情况下，能够通过迭代的方式产生大量可用的训练语料。
2.根据权利要求1所述的表格问答的控制方法，其特征在于，收集基础训练语料并进行预处理，生成并得到sql模板库，包括：
收集已有的sql-问题，作为基础训练语料；
按照预处理方式对所述基础训练语料进行预处理，得到对应的表格和sql语句；
根据sql语法特点，将各个所述sql语句中的非关键字转换为待填充项，生成并得到对应所述sql语句的sql模板。
3.根据权利要求2所述的表格问答的控制方法，其特征在于，在生成并得到sql模板之后，还包括：
采集与各个所述sql语句相对应的所述sql模板；
将所有的所述sql语句相对应的所述sql模板进行汇集，得到一组所述sql模板的集合；
利用该组所述sql模板的集合，形成并保存为sql模板库。
4.根据权利要求1所述的表格问答的控制方法，其特征在于，利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型，包括：
基于深度学习方式，训练得到问题生成模型和问题判别模型；
将所述sql数据输入所述问题生成模型中，利用所述问题生成模型生成问题文本；
将所述问题文本输入所述问题判别模型，利用所述问题判别模型对所述问题文本的真实性进行判断；
持续进行所述问题生成模型和所述问题判别模型之间的生成对抗，迭代优化训练所述问题生成模型和所述问题判别模型。
5.根据权利要求1所述的表格问答的控制方法，其特征在于，在迭代优化训练所述生成对抗模型时，还包括：
预设迭代结束条件；
当在所述问题生成模型和所述问题判别模型之间的生成对抗训练中，所述问题生成模型和所述问题判别模型达到预设的所述迭代结束条件时，停止进行所述问题生成模型和所述问题判别模型之间的生成对抗；
迭代优化训练结束。
6.根据权利要求5所述的表格问答的控制方法，其特征在于，所述问题判别模型，对不同类型的sql输入的判断方式包括：
当sql输入为所述问题生成模型所生成的问题文本时，所述问题判别模型对输入的问题文本进行真实性进行；
当sql输入为数据库所发送的问题文本时，所述问题文本首先经过bert模型编码后，通过全连接层fc后，再进行二分类判别。
7.实现权利要求1-6中任一项所述的表格问答的控制方法的系统，其特征在于，包括：
sql模板生成模块，用于收集基础训练语料并进行预处理，生成并得到sql模板库；
sql模板处理模块，用于对所述sql模板库的模板进行抽取和填充，生成sql到问题的sql数据；
模型优化模块，用于利用所述sql数据构建生成对抗模型，并通过生成对抗的方式，迭代优化训练所述生成对抗模型；
模型应用模块，用于迭代优化训练完成，得到sql到问题的生成模型，利用所述生成模型产生训练语料。
8.存储介质，其特征在于，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-6中任一项所述的表格问答的控制方法。
CN202310166255.4A 2023-02-24 2023-02-24 表格问答的控制方法、系统及存储介质 Active CN116303559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310166255.4A CN116303559B (zh) 2023-02-24 2023-02-24 表格问答的控制方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310166255.4A CN116303559B (zh) 2023-02-24 2023-02-24 表格问答的控制方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116303559A CN116303559A (zh) 2023-06-23
CN116303559B true CN116303559B (zh) 2024-02-23

Family

ID=86831698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310166255.4A Active CN116303559B (zh) 2023-02-24 2023-02-24 表格问答的控制方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116303559B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615072A (zh) * 2018-11-27 2019-04-12 长威信息科技发展股份有限公司 一种对抗神经网络的集成方法及计算机设备
CN115203236A (zh) * 2022-07-15 2022-10-18 哈尔滨工业大学 基于模板检索的文本到sql生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11189269B2 (en) * 2019-01-15 2021-11-30 International Business Machines Corporation Adversarial training data augmentation for generating related responses

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615072A (zh) * 2018-11-27 2019-04-12 长威信息科技发展股份有限公司 一种对抗神经网络的集成方法及计算机设备
CN115203236A (zh) * 2022-07-15 2022-10-18 哈尔滨工业大学 基于模板检索的文本到sql生成方法

Also Published As

Publication number Publication date
CN116303559A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN110516085A (zh) 基于双向注意力的图像文本互检索方法
CN109003624B (zh) 情绪识别方法、装置、计算机设备及存储介质
CN111914085B (zh) 文本细粒度情感分类方法、系统、装置及存储介质
CN109960810B (zh) 一种实体对齐方法及装置
CN108549658A (zh) 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统
CN111209384A (zh) 基于人工智能的问答数据处理方法、装置及电子设备
CN113609965B (zh) 文字识别模型的训练方法及装置、存储介质、电子设备
CN112527993B (zh) 一种跨媒体层次化深度视频问答推理框架
CN109409504A (zh) 一种数据处理方法、装置、计算机及存储介质
CN111159414A (zh) 文本分类方法及系统、电子设备、计算机可读存储介质
CN112651940A (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN115170874A (zh) 一种基于解耦蒸馏损失的自蒸馏实现方法
CN114548116A (zh) 一种基于语序与语义联合分析的中文文本检错方法及系统
CN113420117B (zh) 一种基于多元特征融合的突发事件分类方法
CN114239730A (zh) 一种基于近邻排序关系的跨模态检索方法
CN112200124B (zh) 融合多任务软生物特征的深度网络掌纹识别方法及系统
CN113553918A (zh) 一种基于脉冲主动学习的机打发票字符识别方法
CN113158075A (zh) 融合评论的多任务联合谣言检测方法
CN115617975B (zh) 针对少样本多轮对话的意图识别方法及装置
CN116303559B (zh) 表格问答的控制方法、系统及存储介质
CN117094383A (zh) 一种语言模型的联合训练方法、系统、设备及存储介质
CN110163256A (zh) 基于联合概率矩阵的试卷图像自动核分方法
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN111368898B (zh) 一种基于长短时记忆网络变体的图像描述生成方法
CN113762324A (zh) 虚拟对象检测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant