CN115563248A

CN115563248A - 一种基于Text-to-SQL的表格开放域问答方法

Info

Publication number: CN115563248A
Application number: CN202211226678.2A
Authority: CN
Inventors: 陈思芹; 吴洁; 张廷意; 侯磊; 石微微; 侯孟书
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2022-10-09
Filing date: 2022-10-09
Publication date: 2023-01-03

Abstract

本发明属于自然语言处理和问答任务领域，涉及一种基于Text‑to‑SQL的表格开放域问答方法。首先使用检索器从表格语料库中初步筛选相关的表格得到表格池，然后按相似性分数排序得到前top‑k表格作为后续的输入；在提取回答时使用深度学习的Text‑to‑SQL模型，结合问句和表格模式信息将问句转换为SQL等的标准化的逻辑形式，在表格上执行SQL并判断执行结果是否发生错误；并以此结果作为相关性依据之一回溯至表格重排序，融入新一轮相似性计算中。本发明利用了Text‑to‑SQL模型的执行结果作为表格检索的相似性排序依据，使得所检索的表格更为准确，进而提升了整个开放域问答的结果准确性。

Description

一种基于Text-to-SQL的表格开放域问答方法

技术领域

本发明属于自然语言处理和问答任务领域，涉及一种基于Text-to-SQL的表格开放域问答方法。

背景技术

开放域问答相对于闭域问答，答案不局限在某一给定的阅读材料中，而是存在于一个大型的语料库中。表格作为一种存储信息的重要途径，大量存在网络服务和关系型数据库中。相对于自由文本形式，表格存储的信息量大，内容更具体，是开放域问答的重要信息来源。表格开放域问答任务将检索的对象从文本变为表格，研究从大量表格中获取用户关注的信息，在搜索引擎和人工客服中都能发挥重要作用。

目前，开放域问答的主流方法是两阶段框架:检索-阅读模型，它将开放域问答分为两个阶段：检索阶段的目的是从成千上万的文本中寻找和问题相关的文本段，阅读阶段将从这些相关的内容中提取回答。对于表格开放域问答来说，阅读阶段可以看作是一个闭域的表格问答。

在检索方面，传统的BM25方法和基于深度学习的DPR方法都是针对于自由文本，没有对表格做特别优化。有学者提出DTR，相较于DPR，使用了Tapas取代Bert作为编码器，针对表格结构做了编码，但检索任务与表格内容是强相关的，仅编码表格的结构导致了表格检索效果不理想。

闭域表格问答取得了极大的研究进展，有两种主要的方法，一种是编码表格的结构和内容，选取目标的单元格作为回答，如Tapas；一种是基于语义解析，将自然语言描述的问题转换为在表格上可执行的逻辑形式，如SQL，再执行该语句而得到问题相应的回答。目前的开放域的表格问答的研究中，主要是上述的第一种方法，即用弱监督的方法直接提取答案，这错失了需要结构化语言才能访问的关系型数据库中存储的大量数据。而同时，闭域的Text-to-SQL任务的模型，已经在WikiSQL等大型数据集上达到90％以上的准确率，表格检索成为整个开放域问答准确率提升的瓶颈。

发明内容

针对上述问题，本发明提供一种基于Text-to-SQL和执行引导的表格开放域问答的方法。在提取回答时使用深度学习的Text-to-SQL模型，结合问句和表格模式信息将问句转换为SQL等的标准化逻辑形式，在表格上执行SQL并判断执行结果是否发生错误；并以此结果作为相关性依据之一回溯至表格检索阶段，融入新一轮相似性计算中，以提升表格检索的准确性。

本发明的技术方案为：

将开放域问答的过程分为：表格检索阶段和提取回答阶段；

表格检索阶段基于输入的问句和给定的表格语料库，包括三个子阶段：

a1、表格预处理。将表格语料库利用SQLite等工具转换成为db形式，使得SQL语句可以在任一表格上执行。如果表格本身就存在于关系型数据库，则跳过预处理阶段；将表格按行平铺展开，形成文本形式的表格内容。

a2、实施初步检索。编码表格内容并加载入索引库中；利用检索器计算出问句与表格语料库中各表格原始相似度；按照原始相似度由大到小的损失进行排序，选择前N个表格构成表格池。

a3、表格重排序。从表格池中按照相似性得分选择前top-k个表格进入后续阶段。

提取回答阶段有如下步骤：

b1、语义解析。对各表格，将问句和表格模式信息输入Text-to-SQL深度学习模型，得到对应的SQL语句。

b2、在表格上执行得到的SQL语义，得到候选答案；答案有可能是表格的单个单元格的内容、一组单元格的内容或者一组单元格的聚合结果。

其中表格重排序，即从表格池中选择出前top-k个表格的方法，依赖于后续提取回答阶段的执行情况，称之为执行引导回溯。具体方法为：

在得到表格池后，进行执行引导回溯的初始化。设置执行引导回溯的最大限制次数为X，当前回溯次数为x＝0；K为预先设置的值，K<＝N，初始时令k＝K。

在初始情况下的表格检索结束时，直接使用表格池中原始相似度最高的前top-k个表格进入答案提取阶段。再此之后，每当提取回答阶段的执行阶段结束后，即执行步骤b2后，再进行以下条件判断：

如果回溯次数x<X，则对各表判断是否发生执行错误，如果没有发生执行错误，则令res_EG＝1,如果发生执行错误，则令res_EG＝0；回溯到表格检索的重排序阶段，按下式计算新的相似性得分：

sim_withEG＝(1-α)·sim_origin/maxsim_origin+α·res_EG

其中sim_origin是检索阶段的原始相似性得分，maxsim_origin是检索阶段所有表格的最大的原始相似性得分，sim_withEG是新的相似性得分；

将表格池中的N个表格按新的相似性得分sim_withEG从大到小重新排序得到新的相似性得分最高的top-k个表格；

按一定规则更新k值，比如递减或折半；回溯次数x增加1；选择新的相似性得分最高的top-k个表格再次进入提取回答阶段。

如果回溯次数x>＝X，则停止回溯，以没有发生执行错误且相似度排名最高的表格所对应的候选答案作为最终答案。

本发明的有益效果为：利用了提取回答阶段的Text-to-SQL模型，执行SQL后，将执行结果回溯，作为检索阶段相似性排名的依据之一，使得所检索的表格更为准确，进而提升了整个开放域问答的结果准确性。

附图说明

图1是开放域问答两阶段模型示意图。

图2是基于Text-to-SQL和执行引导的表格开放域问答的模型流程图。

图3是使用执行引导回溯策略与不使用的实验结果对比。

具体实施方式

下面结合附图来对本发明进行详细描述。

本发明中，表格开放域问答的两阶段模型如图1。基于Text-to-SQL和执行引导的表格开放域问答的模型流程如图2，其中，涉及到两个深度学习模型：检索器和Text-to-SQL模型。在实际问答任务前需要结合标注的表格语料库数据完成相应模型训练。

表格的预处理。将表格语料库利用SQLite等工具转换成为db形式，使得SQL语句可以在任一表格上执行。如果表格本身就存在于关系型数据库，则跳过预处理阶段。

表格的平铺展开。在索引库建立之前，将语料库中的所有表格处理成连续文本的形式。将表格的标题、列名、行内容按以下形式拼接。如果没有表格标题则用空格填充。

在拼接的过程中，将分隔符加入表格转换后的拼接的文本。用“,”代表行中每个单元格的分割，用“.”代表行与行之间的分割。分隔符使得检索器能在一定程度上学习到表格的结构。

实施初步检索。检索器的目标是从数以万计的大型表格语料库中，根据与问题q的相关度检索出分数由大到小的N个表格T₁,T₂,...,T_N，作为与问句相关的表格池。由于这是一个初步检索的阶段，因此N一般为一个较大的数量。考虑到后续的筛选的效率，设置N＝200。

检索器可以采用传统的方法比如bm25，将预处理后的表格加载入ElasticSearch索引库中，设置ElasticSearch内置相似性算法为bm25，并设置算法参数为k＝1.2,b＝0.75，指定查询返回的结果数为N，即可使用其实现表格的初步检索。bm25方法不需要进行模型训练。

检索器也可以使用深度学习的密集检索器DPR。DPR是一个基于Bert的双编码器，两个编码器分别将问题q_nl和表格T_i编码为向量v_q和

向量长度和BERT的编码长度一致，为d＝728。经过微调后，DPR会转换问题和表格为向量形式并确保语义上相关的问题-表格对的内积相较其他不相关的更大，并能更好捕捉到语义的相似性，而bm25等传统方法对关键词更为敏感。

在实施的过程中，基于平铺展开的表格语料库训练一个DPR检索器，训练的过程选取了1个bm25分数最高的非gold表格作为难例，设置batch_size＝32并使用了In-Batchnegative的训练方法。完成训练后，使用DPR的双编码器之一：表格编码器，将语料库中的所有表格做类似的处理后得到编码后的表格向量，加载入密集向量检索库FASSI中。在初步检索时，使用DPR的双编码器之一：问句编码器将问句编码成向量，并在FASSI库中做搜索。

检索器对于目标问句，返回原始相似度较高的前N的表格，以其作为表格池。

执行引导回溯的初始化。设置执行引导回溯的最大限制次数为X，当前回溯次数为x＝0；K为预先设置的值，K<＝N，初始令k＝K。在简便实现中，可令X＝1，K＝N＝200。

表格重排序。选择相似性分数最高的前top-k个表格，进入提取回答阶段。如果还未执行回溯，则直接使用表格池中原始相似度最高的前top-k个表格进入答案提取阶段。如果已经执行回溯，则将表格池中的N个表格按新的相似性得分sim_withEG从大到小重新排序并以此作为选取top-k个表格的依据。

语义解析。引入了以HydraNet为例的Text-to-SQL深度学习模型作为问句的语义解析器。基于WikiSQL数据集训练一个HydraNet模型，使用batch_size＝64，learn_rate＝6*10^-6，基础模型使用Roberta。在表格重排序过程中，对表格池中的每个表格，先将问句和表格模式信息输入HydraNet模型，解析出与问句对应的SQL语句。

在表格上执行该SQL语句，统计执行时是否发生错误。

判断当前的回溯次数x是否大于等于引导回溯的最大限制次数为X。如果否，则实施执行引导回溯。否则停止回溯，以没有发生执行错误且相似度排名最高的表格所对应的候选答案作为最终答案。

实施执行引导回溯的具体方法为：将候选表格上执行的结果按照不同类型转换为额外的参数：res_EG，当没有发生执行错误的时候，res_EG＝1，当发生执行错误的时候，res_EG＝0。在现实情况中，往往在提问时期望结果时不为空的，因此可将结果为空视作特殊的执行错误。

基于以下函数计算新的相似性得分，

sim_withEG＝(1-α)·sim_origin/maxsim_origin+α·res_EG

其中sim_origin是检索阶段的原始相似性得分，maxsim_origin是检索阶段所有表格的最大的原始相似性得分，sim_withEG是新的相似性得分；用系数α度量执行结果的重要程度，将原始检索的相关性得分与执行结果做线性求和，得到新的相似性估计分数。根据表格语料库的实际情况取不同的系数α值；在本实施过程中，取α＝0.9。

更新k值，使用递减或折半的策略；在本实施中，直接令k＝1。递增x值，然后回溯至表格重排序阶段。

Claims

1.一种基于Text-to-SQL的表格开放域问答方法，其特征在于，包括：

表格检索阶段和提取回答阶段；

所述表格检索阶段基于输入的问句和给定的表格语料库，包括三个子阶段：

a1、表格预处理：将表格语料库进行格式转换，使得SQL语句可以在任一表格上执行；将表格按行平铺展开，形成文本形式的表格内容；

a2、初检索阶段：利用检索器计算出表格语料库中各表格原始相似度；按照原始相似度由大到小的损失进行排序，选择前N个表格构成表格池；

a3、重排序阶段：从表格池中选择出前top-k个表格；

所述提取回答阶段输入为表格检索阶段所得前top-k个表格，过程分为两个子阶段：

b1、语义解析阶段：对各表格，将问句和表格模式信息输入Text-to-SQL深度学习模型，得到对应的SQL语句；

b2、执行阶段：在表格上执行得到的SQL语义，得到候选答案；答案是表格的单个单元格的内容、一组单元格的内容或者一组单元格的聚合结果中的一种；

其中的重排序阶段，即从表格池中选择出前top-k个表格的方法，依赖于后续提取回答阶段的执行情况，具体方法为：

设置执行引导回溯的最大限制次数为X，初始回溯次数为x＝0；K为预先设置的值，K<＝N，初始令k＝K；

在初始情况下，直接使用表格池中原始相似度最高的前top-k个表格进入答案提取阶段，之后，每当执行步骤b2后，进行以下条件判断：

如果回溯次数x>＝X，则停止回溯，以没有发生执行错误且相似度排名最高的表格所对应的候选答案作为最终答案；

如果回溯次数x<X，则对各表判断是否发生执行错误，如果没有发生执行错误，则令res_EG＝1,如果发生执行错误，则令res_EG＝0；回溯到表格检索的重排序阶段，计算新的相似性得分：

sim_withEG＝(1-α)·sim_origin/maxsim_origin+α·res_EG

采用递减或折半方式更新k值，回溯次数x增加1，选择新的相似性得分最高的top-k个表格再次进入提取回答阶段。