CN116737909B - 基于自然语言对话的表数据处理方法 - Google Patents

Abstract

本申请公开基于自然语言对话的表数据处理方法，涉及数据处理领域，接收客户端发送的数据表名称和内容指令；查询数据表的表结构，根据表结构将其转换为文本数据，并和内容指令组织成目标文本；将目标文本输入处理自然语言对话的大语言模型，将目标文本进行解析，生成执行脚本；连接数据库查询目标数据并基于执行脚本进行处理，将目标数据的执行结果按照数据表的格式发送到查询界面进行表格化显示。这一过程由云端自动生成执行脚本，用户无需根据要操作的内容和功能手动编写脚本语言来查询数据库，特别是面向非专业技术人员使用更友好，且提供的可视化界面可以直接生成表格数据，相比传统的代码化数据，结果更为直观。

Description

基于自然语言对话的表数据处理方法

技术领域

本申请实施例涉及数据处理领域，特别涉及一种基于自然语言对话的表数据处理方法。

背景技术

自然语言处理（natural language processing，NLP）是利用电脑等工具对人类所支持的语言信息（包括口语信息和文字信息）进行各种加工，并建立各种类型的人机系统，其依赖于强大的数据库和语言模型对对话语言和输入数据进行分析归纳，给予相应回答。

相关技术中，普通的自然语言可以通过对话形式实现，但需要对输入数据或表格进行针对性处理时，处理数据库数据的方式都是结合软件去服务器操作数据库，通过软件提供的一些功能，或者直接编写SQL脚本去运行获取所需的数据。该方法需要有专业数据库的知识，学习成本较高，并不面向小白和普通用户，对非专业技术人员并不友好。

发明内容

本发明提供一种基于自然语言对话的表数据处理方法，解决非专业技术人员使用自然语言对话查询或处理数据库数据时使用困难的问题。方法包括：

S1，接收客户端输入和发送的数据表名称，以及需要对数据表执行的内容指令；

S2，连接数据库查询所述数据表的表结构，根据表结构将其转换为文本数据，并和所述内容指令组织成目标文本；其中，数据库中存储若干数据表，不同数据表中存储不同的数据内容，且存储在不同数据服务器中；具体基于数据服务器地址和其中存储的数据表建立表格快速查询索引，在接收到所述数据表名称后，通过所述表格快速查询索引遍历目标数据表，以及确定所述目标数据表所在的目标数据服务器；访问所述目标数据服务器，并提取所述目标数据表的表结构数据；

S3，将所述目标文本输入处理自然语言对话的大语言模型，将所述目标文本进行解析，生成执行脚本和对所述执行脚本的解释文本；所述解释文本定义了脚本指令及格式、表数据执行规则及查询条件，以及返回客户端的数据格式；

S4，连接数据库查询目标数据并基于所述执行脚本进行处理，将所述目标数据的执行结果按照所述数据表的格式发送到查询界面进行表格化显示，以及接收用于学习的所述执行脚本的解释文本，并在查询界面显示。

另一方面，本申请提供一种云服务器，所述云服务器和客户端及数据服务器建立通讯连接，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以上述任一方面所述的基于自然语言对话的表数据处理方法。

又一方面，本申请提供一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以上述任一方面所述的基于自然语言对话的表数据处理方法。

本申请实施例提供的技术方案带来的有益效果至少包括：在客户端提供查询界面，通过用户输入数据表名称和需要执行的内容指令到云服务器上，由云服务器查询目标数据表，根据数据表类型对表结构进行转换，并和内容指令一同转化为大语言模型可识别的目标文本，进而由大语言模型对其进行逐一解析生成执行脚本和解释文件，然后通过执行脚本处理目标数据，并返回表格化数据和指导性的解释文本。这一过程由云端自动生成执行脚本，用户无需根据要操作的内容和功能手动编写脚本语言来查询数据库，相较于传统的敲代码运行方式，其工作效率更高，特别是面向非专业技术人员使用更友好，且提供的可视化界面可以直接生成表格数据，相比传统的代码化数据，结果更为直观，便于小白学习数据库语言编程技术。

附图说明

图1是本申请实施例提供的基于自然语言对话的表数据处理系统的示意图；

图2是本申请实施例提供的基于自然语言对话的表数据处理方法的流程图；

图3 是查询界面的界面示意图；

图4是云服务器查询下发后在客户端显示的查询界面示意图；

图5是转换表结构数据的参考示意图；

图6是在查询界面生成解释文件的界面示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

因为数据库数量庞大和分布式存储的特点，数据通常会分布在多个数据服务器中，不同数据服务器具有相应的地址和帐号密码。对于操作者来说，若要查询或操作数据表内容，就需要知悉需要操作的数据表位于哪一个服务器上，然后才能根据数据库和服务器信息定向连接访问，而对于具体的操作内容，需要根据数据库提供的软件功能编写执行脚本，然后运行得到返回数据。这一工作通常是系统维护人员和专业技术人员操作，因为数据库内数据表可能按照特定要求甚至是无需存储，对于企业员工需要有相应数据操作需求时，会联系运维人员在后台执行和相应处理，这一过程不可避免的会出现隐私泄露的风险。最重要的是，作为企业管理人员来说这一操作过于繁琐，特别是对初学者和非专业技术人员来说是困难的。而且对于数据库操作结果，通常没有可视化的界面显示，例如命令提示符显示的操作结果，其无法以表格化显示，而是零碎筛选后的集合展示，观看效果不佳。

针对上述问题，如图1所示，是本申请提供一种基于自然语言对话的表数据处理系统的示意图，包括客户端、云服务器和数据服务器。客户端可以是个人终端或企业终端，包括但不限于PC机、手机和工作站等计算机设备，且该计算机设备配备有显示屏，显示屏上展示有供操作者查询的查询界面，操作者可以输入指令并查看返回的表格化数据。客户端和云服务器之间建立有线或无线通信连接，云服务器还和数据服务器之间通信连接，接收客户端的内容指令和需要查询操作的数据表，向数据服务器发送查询请求，并获取返回的数据表内容。而客户端接收云服务器下发的内容并进行可视化显示。

可选的，云服务器和若干数据服务器之间通信连接，若干数据服务器之间组成集群，其中各自存储有数据内容，构成给用户提供特定服务的数据库。本方案中以操作者查询/操作数据表为例进行说明。

图2是本申请实施例提供的基于自然语言对话的表数据处理方法的流程图，包括如下步骤：

S1，云服务器接收客户端输入和发送的数据表名称，以及需要对数据表执行的内容指令。

本实施例以客户端为PC机进行说明，如图3所示，PC机的查询界面设置有文本输入选项301控件，也即文字输入框，其中输入具体需要操作的内容指令，例如输入“帮我查询街道为xx街道的数据”。当然还可以采用自然语言对话形式输入，也就是点击界面中的对话语言输入选项302控件，将以采集人声并转化为文本的形式输入到输入选项301控件中。数据表名称选项303控件则是查询范围，也就是查询/执行的目标对象，这里需要操作者记住数据表名称，例如“xx区企业运行数据表”。这些表数据保存到某个或多个数据服务器中。当用户输入完成点击“运行”控件后，将其发送到云服务器中开始数据查询。

对于云服务器来说，将收到客户端输入和发送的数据表名称，以及需要对数据表执行的内容指令。

S2，云服务器查询数据表的表结构，根据表结构将其转换为文本数据，并和内容指令组织成目标文本。

数据库的查询和执行操作必须严格遵循数据库类型和数据格式，采用不同数据库语言存储的数据格式和表结构各不相同，这也是面向非技术人员不友好的关键，例如常用的数据库语言SQL、MySQL和Oracle等，其操作和表达形式存在差异，企业普通人员无法直接上手操作。

云服务器接收到指令后首先要根据自然语言快速查找对应的数据表名称对应的目标数据表，然后根据其存储的表结构形式来针对性转换，即将表结构转化为文本数据，转换成文本数据的目的是为和客户端发送的内容指令匹配，还有就是为了让大语言模型能够正确识别。转换后的文本数据只是表结构的另一种表现形式，还需要告诉大语言模型要操作的内容，所以还需要将转换后的文本数据与内容指令组织成目标文本。

S3，云服务器将目标文本输入处理自然语言对话的大语言模型，将目标文本进行解析，生成执行脚本和解释文本。

云服务器中运行有若干处理自然语言对话的大语言模型，在一些实施例中，可以根据语言格式类型或功能构建并训练若干不同的大语言模型，此处的云服务器根据客户端的内容指令或目标数据表的类型选定目标大语言模型进行处理。目标文本输入后，对该目标文本进行逐一拆解和转化，将语句转换为执行脚本的指令，最后将若干指令组织起来形成执行脚本。解释文本是为了便于小白理解学习的文本，其解释文本定义了脚本指令及格式、表数据执行规则及查询条件，以及返回客户端的数据格式，为初学者学习写代码提供技巧。

S4，云服务器连接数据库查询目标数据并基于执行脚本进行处理，将目标数据的执行结果按照数据表的格式发送到查询界面进行表格化显示，以及接收用于学习的执行脚本的解释文本，并在查询界面显示。

目标数据表可以包含大量数据，例如各个公司和员工的数据信息，表现为大量数据集或数据段，运行执行脚本的目的就是从中数据集或数据段中选取目标数据，例如从a社区公司数据表中查询xx街道的公司。云服务器首先要连接数据库找到数据表，然后按照执行脚本运行，然后将结果按照数据表的格式发送到查询界面进行表格化显示。

如图4所示，是云服务器查询下发后在客户端显示的查询界面示意图。在查询数据表名称选项402输入“专委配置”，文本输入选项401控件输入“帮我查询街道为xx街道的公司数据”，查询后的结果显示有数据源详情选项403，显示位于某一具体的数据服务器，如图4中表示目标数据位于“36.137.215.140”的数据服务器。而查询返回的数据表中则列出了“专委”类型下的所有部分名称。

综上所述，本申请在客户端提供查询界面，通过用户输入数据表名称和需要执行的内容指令到云服务器上，由云服务器查询目标数据表，根据数据表类型对表结构进行转换，并和内容指令一同转化为大语言模型可识别的目标文本，进而由大语言模型对其进行逐一解析生成执行脚本和解释文件，然后通过执行脚本处理目标数据，并返回表格化数据和解释文本。这一过程由云端自动生成执行脚本，用户无需根据要操作的内容和功能手动编写脚本语言来查询数据库，相较于传统的敲代码运行方式，其工作效率更高，特别是面向非专业技术人员使用更友好，且提供的可视化界面可以直接生成表格数据和指导性解释文字，相比传统的代码化数据，结果更为直观，便于小白学习数据库语言编程技术。

大语言模型不仅需要提供精准的数据分析能力，其响应速度很大程度上决定了用户的依赖性，在数据库庞大且服务器众多的情况下，在用户输入数据库名称后，云服务器为了更快速找到目标数据表和目标数据服务器，可以在云服务器中建立表格快速查询索引，具体基于数据服务器地址和其中存储的数据表名称建立。在云服务器接收到数据表名称后，通过表格快速查询索引遍历目标数据表，以及确定目标数据表所在的目标数据服务器。进而就可以访问目标数据服务器，并提取目标数据表的表结构数据。

进一步的，表格快速查询索引还可以加入服务器接入帐号、端口和密码等信息，这样用户侧只需要输入指令，剩下的查询接入工作全部由云端自主完成，避免繁琐的输入工序，进一步提高工作效率。

表格数据并非是目标数据，而是规范数据集和数据段的规则形式数据，例如数据表的数据表头、标题名称及对应表内字符串数据、数据格式以及表格形式等。因为表格和表格数据是企业根据自身业务需求建立和填报的，不同企业的内容形式存在差异。云服务器在获取到表格数据后，就需要将其转换，具体包括如下步骤：

S21，基于数据表名称从数据库中查找目标数据表，并提取表结构数据；

在一种可能的实施方式中，云服务器从数据服务器中获取到目标数据表的表格形式表示如下：

[{"columnName":"companyName","comment":"公司名称",

"dataType":"varchar","length":"100"},

{"columnName":"address","comment":"地址","dataType":"varchar","length":"150"}]

上述代码是采用特殊存储形式存储到数据服务器中的，大语言模型无法直接运行，所以要将其转化。

S22，获取大语言模型的模型结构，将表结构数据和接收的内容指令分别转换成大语言模型可识别的第一语言文本和第二语言文本内容；

转换逻辑可以是云服务器集成的，能够识别和转换现有所有数据库类型的语言结构，例如将上述表格数据转化成如下形式的第一语言文本：

“我有一张mysql表，他的表名叫公司信息表，他的表结构设计为：字段名为companyName,注释为公司名称，字段类型为字符串，长度100，字段名为address，注释为地址，字段类型字符串，长度100”。

上述这段语言文本中描述了数据表的数据表头、标题名称及对应表内字符串数据和数据格式等。

内容指令转化形成的第二语言文本表示如下：“查询公司名称为张三的数据”。

S23，将第一语言文本内容和第二语言文本内容拼接成目标文本。

拼接的目的是为了让大语言模型执行一个完整的对象和指令，这也是生成执行脚本的必选操作。

以S22为例，拼接合并后的目标文本表示如下：

“我有一张mysql表，他的表名叫公司信息表，他的表结构设计为：字段名为companyName,注释为公司名称，字段类型为字符串，长度100，字段名为address，注释为地址，字段类型字符串，长度100，查询公司名称为张三的数据”。

本申请实施例中，大语言模型的作用就是语义转换，也是就是将常规的语句拆分，将其和实际的数据库脚本结构结合。生成执行脚本的过程具体可以包括如下步骤：

S31，大语言模型接收输入的目标文本，提取其中的表结构文本和内容指令文本；

该过程是对S23中拼接的目标文本进行拆分，将针对数据表结构和指令分开转换，变成机器可识别语言。

S32，将表结构文本转化为大语言模型结构可执行的表结构数据，并根据表结构数据对内容指令文本进行语义转化，根据语义转化结果匹配数据脚本指令，生成所述执行脚本。

大语言模型结构可执行的表结构数据参考图5截取的部分内容，其中用机器语言描述了表结构中各种表头名称、类型和时间信息。

语义转化则是将内容指令结合可执行表结构数据转换成数据库操作代码，在一种可能的实施方式中，以mysql查询公司名称、姓名、等数据为例，语义转换为“select * from公司信息表 where companyName=张三”，以及“SELECT * FROM app_m1_irmnwl_DgVcf97Fj7 WHERE department = 'xx街道”这种形式的脚本语言。最后将这些脚本语言组合成一个完整的执行脚本文件。

进一步地，云服务器运行该执行脚本的过程可以包括如下步骤：

S41，获取大语言模型生成的执行脚本，连接目标数据服务器，并查询其中的目标数据表；

该步骤可以基于前述的表格快速查询索引链接目标数据服务器，查询并提取目标数据表。

S42，提取目标数据表中的表数据，并运行执行脚本，获得返回数据；

S43，将返回数据转换为结果集并发送至查询界面进行表格化显示。

当然，若查询的表格名称重复或相似，还可以采用ID形式链接，对于存在多个数据服务器上的可以交叉提取执行，将满足要求的数据集转换为结果集后下发PC端显示。

需要说明的是，因为本申请主要面向非技术工作者和小白用户，为了更方便的帮助企业管理人员认识和学习该数据服务，在该设计中还引入的学习机制。具体的，在S32语义转换的同时，还对生成的脚本指令进行语言解释，生成解释文本，解释文本定义了脚本指令及格式、表数据执行规则及查询条件，以及返回客户端的数据格式，涵盖对执行脚本中每个操作语句的文本注释。对应的，如图6所示，在PC端的查询界面设置脚本学习选项，在选中该选项且客户端接收转换为结果集的返回数据时，还接收执行脚本的解释文本，并在查询界面显示，或者是根据选取操作在界面显示解释文件的内容。当不需要显示或无需学习时，点击关闭，可选的，云服务器可以不生成解释文本，或者不下发解释文本进行显示，为用户提供不同选择。

例如，脚本解释说明表示如下：

“假设你要查询的街道名称为“旺庄街道”，你可以使用以下SQL语句来查询数据：

```

SELECT * FROM app_m1_irmnwl_DgVcf97Fj7 WHERE department = 'xx街道';

```

这条SQL语句使用了MySQL中的SELECT语句来筛选出表中的数据，然后使用FROM语句来选择要查询的表。在WHERE子句中添加了一个条件，即街道名称为“xx街道”，这样就可以返回包含这个街道数据的行”。

因为这种解释语言是根据数据库语言的使用语法并结合内容指令呈现的，对于小白来完全可以作为“引导步骤”进行学习。让操作者知道执行该功能需要采用什么手段，为其写执行脚本提供技术支持。

此外，本申请提供一种云服务器，所述云服务器和客户端及数据服务器建立通讯连接，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以上述任一方面所述的基于自然语言对话的表数据处理方法。

此外，本申请提供一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以上述任一方面所述的基于自然语言对话的表数据处理方法。

以上对本发明的较佳实施例进行了描述；需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容；因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (4)

1.一种基于自然语言对话的表数据处理方法，其特征在于，所述方法包括：

S1，接收客户端输入和发送的数据表名称，以及需要对数据表执行的内容指令；

S2，连接数据库查询所述数据表的表结构，根据表结构将其转换为文本数据，并和所述内容指令组织成目标文本；其中，数据库中存储若干数据表，不同数据表中存储不同的数据内容，且存储在不同数据服务器中；具体基于数据服务器地址和其中存储的数据表建立表格快速查询索引，在接收到所述数据表名称后，通过所述表格快速查询索引遍历目标数据表，以及确定所述目标数据表所在的目标数据服务器；访问所述目标数据服务器，并提取所述目标数据表的表结构数据；

获取大语言模型的模型结构，将表结构数据和接收的内容指令分别转换成大语言模型可识别的第一语言文本内容和第二语言文本内容；所述第一语言文本内容中包括数据表的数据表头、标题名称及对应表内字符串数据和数据格式；所述第二语言文本内容是针对数据表执行的内容指令转换后的文本内容；

将所述第一语言文本内容和所述第二语言文本内容拼接成所述目标文本；

S3，将所述目标文本输入处理自然语言对话的大语言模型，将所述目标文本进行解析，生成执行脚本和对所述执行脚本的解释文本；所述解释文本定义了脚本指令及格式、表数据执行规则及查询条件，以及返回客户端的数据格式；包括大语言模型接收输入的所述目标文本，提取其中的表结构文本和内容指令文本；

将表结构文本转化为大语言模型结构可执行的表结构数据，并根据表结构数据对内容指令文本进行语义转化，根据语义转化结果匹配数据脚本指令，生成所述执行脚本；

S4，连接数据库查询目标数据并基于所述执行脚本进行处理，将所述目标数据的执行结果按照所述数据表的格式发送到查询界面进行表格化显示，以及接收用于学习的所述执行脚本的解释文本，并在查询界面显示；具体包括：

获取大语言模型生成的所述执行脚本，连接所述目标数据服务器，并查询其中的所述目标数据表；表数据内容包括数据集和/或数据段；

提取所述目标数据表中的表数据，并运行所述执行脚本，获得返回数据；

将返回数据转换为结果集并发送至查询界面进行表格化显示。

2.根据权利要求1所述的基于自然语言对话的表数据处理方法，其特征在于，客户端的查询界面设置有文本输入选项和对话语言输入选项，用户通过文本输入选项/对话语言输入选项输入数据表名称和内容指令；

客户端的查询界面设置有脚本学习选项，在选择脚本学习选项且客户端接收转换为结果集的返回数据时，还接收所述执行脚本的解释文本，并在查询界面显示。

3.一种云服务器，其特征在于，所述云服务器和客户端及数据服务器建立通讯连接，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至2任一所述的基于自然语言对话的表数据处理方法。

4.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至2任一所述的基于自然语言对话的表数据处理方法。