CN116166688A - 基于自然语言交互的业务数据检索方法、系统及处理设备 - Google Patents

Abstract

本发明公开了一种基于自然语言交互的业务数据检索方法、系统及处理设备，涉及自然语言处理技术领域，解决了现有自然语言交互数据检索系统一般只能一次性输入要查询的内容，影响了查询的准确率和流畅度的技术问题。该方法包括：对对话场景进行整理，将查询概率超过设定阈值的对话场景设置为独立意图；基于独立意图的数据，经处理后生成训练样本，得到对话过程管理模块；用户输入查询意图，对话过程管理模块判断是否满足最低查询条件，若是，输出查询结果，否则，提示用户增加和/或修改查询条件。本发明中用户可进行查询条件的补充和/或修改，查询的准确率和流畅度得到大大提高，用户的使用体验也更好。

Description

基于自然语言交互的业务数据检索方法、系统及处理设备

技术领域

本发明涉及自然语言处理技术领域，尤其涉及基于自然语言交互的业务数据检索方法、系统及处理设备。

背景技术

目前出现了许多基于自然语言的对话系统，人通过语音或键盘等方式输入自然语言以后，系统能够返回相应的自然语言应答并执行相应的操作。为了方便数据的查询和更新、统一进行管理和维护，这些数据通常结构化存储于数据库中，从数据库中检索符合特定要求的数据就需要用到统一数据库查询语言SQL，自然语言转SQL(Natural Language toSQL，NL2SQL)是一种将自然语言语句转化为规范化计算机可执行的SQL查询语句的技术，是自然语言结构化任务。通过检索系统直接将自然语言转换为查询语句，查询所用的SQL语言是自然语言交互过程的关键技术。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

基于SQL语言的自然语言交互数据检索系统，面临模型转换过程中的极大不确定性，一般只能一次性输入要查询的内容，影响了查询的准确率和流畅度。

发明内容

本发明的目的在于提供基于自然语言交互的业务数据检索方法、系统及处理设备，以解决现有技术中存在的基于SQL语言的自然语言交互数据检索系统，面临模型转换过程中的极大不确定性，一般只能一次性输入要查询的内容，影响了查询的准确率和流畅度的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。

为实现上述目的，本发明提供了以下技术方案：

本发明提供的一种基于自然语言交互的业务数据检索方法，包括以下步骤：S100：对全部对话场景进行整理，将查询概率超过设定阈值的对话场景设置为独立意图；S200：基于每个所述独立意图的数据，经处理后生成训练样本，通过所述训练样本得到意图识别模型、实体提取模型，基于所述意图识别模型、实体提取模型得到对话过程管理模块；S300：用户输入查询意图，所述对话过程管理模块判断所述查询意图是否满足最低查询条件，若是，执行S400，否则执行S500；S400：所述意图识别模型对所述查询意图进行识别，所述实体提取模型对所述查询意图的查询条件进行提取，输出查询结果；S500：提示用户增加和/或修改查询条件，用户补充和/或修改查询条件后返回执行S300。

优选的，所述S200步骤中，所述训练样本通过以下步骤得到：S210a：根据每个所述独立意图，人工注册编辑得到人工注册样本，并通过模板生成模板样本；S220a：将所述人工注册样本、模板样本经过同义词替换、同音词替换、随机位置交换、随机删除中的任意一种或多种操作，得到所述训练样本。

优选的，所述S200步骤中，所述意图识别模型通过以下步骤得到：S210b：采用BERT模型作为特征提取器，取出bert每个词的特征向量；S220b：传入Transformer结构学习上下文知识，融合得到句向量；S230b：采用双向LSTM网络再次学习每个token之间前后的上下文知识。

优选的，所述S200步骤中，所述实体提取模型的稀疏特征采用查找表，稠密特征采用预训练的GPT-3语言模型作为特征提取器。

优选的，所述S200步骤中，所述对话过程管理模块根据每个所述对话场景中出现的不同对象的不同属性组合设置所述最低查询条件。

优选的，所述S500步骤中，通过对话方式提示用户增加和/或修改查询条件。

优选的，所述S100步骤中，当对话场景的查询概率小于或等于所述设定阈值时，将该对话场景直接转换为查询语句。

一种基于自然语言交互的业务数据检索系统，用于运行以上任一项所述的一种基于自然语言交互的业务数据检索方法，包括意图准备模块、对话过程管理模块及对话设计模块；所述意图准备模块将需要查询的场景设置为独立意图，并整理得到该场景下可能出现的查询条件；所述对话过程管理模块通过所述意图识别模型、实体提取模型获取用户的查询信息；所述对话设计模块对每个查询意图设置最低查询条件。

优选的，所述意图识别模型用于识别查询意图，所述实体提取模型用于提取查询条件。

一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行以上任一项所述的一种基于自然语言交互的业务数据检索方法。

实施本发明上述技术方案中的一个技术方案，具有如下优点或有益效果：

本发明通过对话场景的数据整理得到训练样本，基于该训练样本得到对话过程管理模块，对话过程管理模块对用户输入查询意图的识别，模型转换过程的确定性高，对话过程管理模块还能提取查询条件，并通过判断是否达到最低查询条件提示用户进行查询条件的补充和/或修改，较现有的基于SQL语言的自然语言交互数据检索系统一次性输入条件，查询的准确率和流畅度得到大大提高，用户的使用体验也更好。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是本发明实施例一中的一种基于自然语言交互的业务数据检索方法的流程图；

图2是本发明实施例一中训练样本获取的流程图；

图3是本发明实施例一中意图识别模型获取的流程图；

图4是本发明实施例一中意图识别模型的结构图；

图5是本发明实施例一中实体提取模型的结构图；

图6是本发明实施例一中对话场景的意图示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例。除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的流程、方法和装置等的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”等指示的是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元件必须具有的特定的方位、以特定的方位构造和操作。术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。术语“多个”的含义是两个或两个以上。术语“相连”、“连接”应做广义理解，例如，可以是固定连接、可拆卸连接、一体连接、机械连接、电连接、通信连接、直接相连、通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明，仅示出了与本发明实施例相关的部分。

实施例一：

如图1所示，本发明提供了一种基于自然语言交互的业务数据检索方法，包括以下步骤。S100：对全部对话场景进行整理，对话场景即基于自然语言的人机交互对话场景，来自业务数据检索系统，一般包括各种不同类型的对话，通过整理可实现分类等，将查询概率超过设定阈值的对话场景设置为独立意图，查询概率可以通过统计不同对话场景的使用频率得到，阈值可根据实际需要设定，如80％等。S200：基于每个独立意图的数据，独立意图即用户进行查询时的想法、查询目的或想通过查询得到的某种结果，经处理后生成训练样本，对独立意图的数据进行处理可以丰富独立意图的数据样本，以得到更好的训练效果，并通过训练样本得到意图识别模型、实体提取模型，基于意图识别模型、实体提取模型得到对话过程管理模块，通过该对话过过程管理模块进行对话管理极大避免了模型转换过程中的不确定性，使本方法的运行更为流畅。S300：用户输入查询意图，对话过程管理模块判断查询意图是否满足最低查询条件，设置最低查询条件以便于通过多次设定查询条件得到与用户意图最匹配的查询结果，若是，执行S400，否则执行S500。S400：意图识别模型对查询意图进行识别，实体提取模型对查询意图的查询条件进行提取，对查询意图、查询条件提取后即可输出查询结果。S500：提示用户增加和/或修改查询条件，用户补充和/或修改查询条件后返回执行S300，通过增加、修改查询条件，查询的准确率可以得到大幅度提高，较一次输入查询条件、查询内容的使用体验也更好，当然，还可以根据实际使用需要进行查询部分条件的删除。本方法通过对话场景的数据整理得到训练样本，基于该训练样本得到对话过程管理模块，对话过程管理模块对用户输入查询意图的识别，模型转换过程的确定性高，对话过程管理模块还能提取查询条件，通过判断是否达到最低查询条件提示用户进行查询条件的补充和/或修改，较现有的基于SQL语言的自然语言交互数据检索系统，查询的准确率和流畅度得到大大提高，用户的使用体验也更好。

作为可选的实施方式，S200步骤中，如图2所示，训练样本通过以下步骤得到：S210a：根据每个独立意图，人工注册编辑得到人工注册样本，人工注册编辑即通过人工对该独立意图进行描述，显然，人工注册编辑时对该意图应用尽可能多的描述方式，以增加训练样本的多样性，并通过模板生成模板样本，通过模板生成提高了训练样本的产出效率，降低了本方法的成本，同时，可以明显增加训练样本的总体数量，大大增加训练样本的丰富性。S220a：将人工注册样本、模板样本经过同义词替换、同音词替换、随机位置交换、随机删除中的任意一种或多种操作，工注册样本、模板样本一般包括多个字符，通过同义词替换、同音词替换、随机位置交换、随机删除字符，这些操作很好模拟了用户输入过程中的各种失误，从而样本的多样性、丰富性得到进一步的提高，得到训练样本，基于这种训练样本，可以得到查询结果更为准确、可靠性更好的意图识别模型、实体提取模型。

作为可选的实施方式，S200步骤中，如图3所示，意图识别模型通过以下步骤得到：S210b：采用BERT模型作为特征提取器，取出bert每个词的特征向量，BERT(BidirectionalEncoder Representations from Transformers)模型是一种预训练语言表示的方法，用于创建NLP模型，使用BERT模型可以从文本数据中提取高质量的语言特征，也可以使用特定数据对这些模型进行微调，以完成分类、实体识别、问题回答等特定任务，从而生成预测。S220b：并传入Transformer结构学习上下文知识，融合得到句向量，Transformer是自然语言处理领域的主要网络结构，对于损坏文本掩码标记的预测、情感预测、句子分类等都有不错的效果。其中将句子中的某些词遮盖，不断训练来预测遮盖词的特征符号，基于这种自监督学习的方式使模型学到丰富的特征。S230b：采用双向LSTM网络再次学习每个token之间前后的上下文知识。双向LSTM网络分为2个独立的LSTM(Long Short Term，长短期神经网络)，LSTM在主体结构上与RNN类似，是一种RNN特殊的类型，BILSTM网络分为2个独立的LSTM，输入序列分别以正序和逆序输入至2个LSTM神经网络进行特征提取，设计理念是使t时刻所获得特征数据同时拥有过去和将来之间的信息，这种神经网络结构模型对文本特征的提取效率和性能要优于单个LSTM结构模型。如图4所示，为意图识别模型的结构图。

作为可选的实施方式，S200步骤中，实体提取模型的稀疏特征采用查找表，稠密特征采用预训练的GPT-3语言模型作为特征提取器，实体提取模型的结构如图5所示。通过查找表便于快速得到稀疏特征所对应的字符向量，以便提高模型在小样本训练场景下的收敛速度，并且确保在系统初期的模型提取效果。语言模型是自然语言处理(NLP)的重要组成部分，专注于使计算机能够理解和生成人类语言。GPT-3的全称为生成预训练转换器-3(Generative Pretrained Transformer-3)，是人工智能科研公司OpenAI开发的一种人工智能文本生成器，是目前主流的AI语言模型，这套“大型语言模型”于2020年6月问世，现已被数万开发者用于300多个不同的应用程序，每天输出45亿词之多。该语言模型基于来自各种来源的大量文本数据(包括书籍、文章和网站等)训练而成，能够对文本输入生成类似人类的响应，可用于广泛的语言相关任务，预训练的大语言模型可以带给模型很高的泛化性能，从而本发明可以快速准确提取稠密特征。特征提取器，还可以随着技术发展、数据集的日益丰富而进行替换，如ChatGPT等，并不仅限于GPT-3语言模型。通过查找表、GPT-3语言模型的相互配合便于本方法快速准确获取实体提取模型的稀疏特征、稠密特征，提高本方法的运行效率。

作为可选的实施方式，S200步骤中，对话过程管理模块根据每个对话场景中出现的不同对象的不同属性组合设置最低查询条件。如图6所示，每个对话场景中，都包括若干对象，一般在自然语言中以主语和/或宾语的方式体现，而每个对象都有多重属性，通过对属性的组合描述可实现不同对象的区分。如查询摄像头里出现的人的场景中，对于对象人而言，上衣颜色、上衣长短、年纪、是否戴眼镜、下衣长短、头发长短都可以作为人的属性，在这些属性中，用户这个场景中的对象“人”进行查询时，通过这些属性的组合(一般为用户最关注的一个或多个属性)，就可以设置最低的查询条件。在此基础上，基于反馈结果，可以进行后续的操作，如查询结果较多可增加部分属性作为新的查询条件，如查询结果较少可以删除部分属性作为新的查询条件，从而可以得到更准确的查询结果。

作为可选的实施方式，S500步骤中，通过对话方式提示用户增加和/或修改查询条件。对话方式便于与用户进行交互，可以实现多种提示信息按照顺序、判断、选择等方式显示，组合得到种类丰富、全面的提示信息，提示信息也更加准确，可以最大程度避免用户的操作失误，引导用户进行准确操作，从而实现查询条件的增加或修改，便于用户目标查询条件的准确输入。进一步地，还可以通过对话的方式对用户的查询条件进行确认，进一步降低输入错误的可能性，从而提高了本方法运行的可靠性。

作为可选的实施方式，S100步骤中，当对话场景的查询概率小于或等于设定阈值时，将该对话场景直接转换为查询语句。即对于较少查询的对话场景，可以依靠现有Text2Sql类模型支持的查询系统直接转换为查询语句，可降低本方法的复杂度和处理时间，便于集中对常见的对话场景进行处理，对用户的操作体验影响较小，与前文中针对高概率对话场景的检索方法相互配合后，实现了效率与成本的兼顾。

实施例仅是一个特例，并不表明本发明就这样一种实现方式。

实施例二：

一种基于自然语言交互的业务数据检索系统，用于运行实施例一中的一种基于自然语言交互的业务数据检索方法，包括意图准备模块、对话过程管理模块及对话设计模块；意图准备模块将需要查询的场景设置为独立意图，并整理得到该场景下可能出现的查询条件；对话过程管理模块通过意图识别模型、实体提取模型获取用户的查询信息；对话设计模块对每个查询意图设置最低查询条件，通过设置最低查询条件便于用户在使用过程中进行查询条件的增加。本系统通过对话过程管理模块对用户输入查询意图的识别，模型转换过程的确定性高，并能提取查询条件，对话设计模块通过设置最低查询条件，便于查询条件的增加，较现有的基于SQL语言的自然语言交互数据检索系统一次输入全部的查询内容，查询的准确率和流畅度得到的大大提高，用户的使用体验也更好。

作为可选的实施方式，意图识别模型用于识别查询意图，通过训练样本得到的意图识别模型较单纯依靠Text2Sql类模型转换过程更容易准确得到用户的实际意图，实体提取模型用于提取查询条件，通过提取查询条件便于设定最低查询条件，并以此实现对查询条件的则增加、修改。

实施例三：

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个计算机程序，一个或多个处理器用于执行存储器存储的一个或多个计算机程序，以使一个或多个处理器执行如实施例一中的一种基于自然语言交互的业务数据检索方法。

以上所述仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (10)

1.一种基于自然语言交互的业务数据检索方法，其特征在于，包括以下步骤：

S100：对全部对话场景进行整理，将查询概率超过设定阈值的对话场景设置为独立意图；

S200：基于每个所述独立意图的数据，经处理后生成训练样本，通过所述训练样本得到意图识别模型、实体提取模型，基于所述意图识别模型、实体提取模型得到对话过程管理模块；

S300：所述对话过程管理模块对用户输入的查询意图进行判断，判断所述查询意图是否满足最低查询条件，若是，执行S400，否则执行S500；

S400：所述意图识别模型对所述查询意图进行识别，所述实体提取模型对所述查询意图的查询条件进行提取，输出查询结果；

S500：提示用户增加和/或修改查询条件；

S600：用户补充和/或修改查询条件，得到查询意图。

2.根据权利要求1所述的一种基于自然语言交互的业务数据检索方法，其特征在于，所述S200步骤中，所述训练样本通过以下步骤得到：

S210a：根据每个所述独立意图，人工注册编辑得到人工注册样本，并通过模板生成模板样本；

S220a：将所述人工注册样本、模板样本经过同义词替换、同音词替换、随机位置交换、随机删除中的任意一种或多种操作，得到所述训练样本。

3.根据权利要求1所述的一种基于自然语言交互的业务数据检索方法，其特征在于，所述S200步骤中，所述意图识别模型通过以下步骤得到：

S210b：采用BERT模型作为特征提取器，取出bert每个词的特征向量；

S220b：传入Transformer结构学习上下文知识，融合得到句向量；

S230b：采用双向LSTM网络再次学习每个token之间前后的上下文知识。

4.根据权利要求1所述的一种基于自然语言交互的业务数据检索方法，其特征在于，所述S200步骤中，所述实体提取模型的稀疏特征采用查找表，稠密特征采用预训练的GPT-3语言模型作为特征提取器。

5.根据权利要求1所述的一种基于自然语言交互的业务数据检索方法，其特征在于，所述S200步骤中，所述对话过程管理模块根据每个所述对话场景中出现的不同对象的不同属性组合设置所述最低查询条件。

6.根据权利要求1所述的一种基于自然语言交互的业务数据检索方法，其特征在于，所述S500步骤中，通过对话方式提示用户增加和/或修改查询条件。

7.根据权利要求1所述的一种基于自然语言交互的业务数据检索方法，其特征在于，所述S100步骤中，当对话场景的查询概率小于或等于所述设定阈值时，将该对话场景直接转换为查询语句。

8.一种基于自然语言交互的业务数据检索系统，其特征在于，用于运行权利要求1-7任一项所述的一种基于自然语言交互的业务数据检索方法，包括意图准备模块、对话过程管理模块及对话设计模块；所述意图准备模块将需要查询的场景设置为独立意图，并整理得到该场景下可能出现的查询条件；所述对话过程管理模块通过所述意图识别模型、实体提取模型获取用户的查询信息；所述对话设计模块对每个查询意图设置最低查询条件。

9.根据权利要求8所述的一种基于自然语言交互的业务数据检索系统，其特征在于，所述意图识别模型用于识别查询意图，所述实体提取模型用于提取查询条件。

10.一种处理设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序，一个或多个所述处理器用于执行所述存储器存储的一个或多个计算机程序，以使一个或多个所述处理器执行如权利要求1-7任一项所述的一种基于自然语言交互的业务数据检索方法。

Images