CN110222049A - 基于多轮对话的数据处理方法及装置 - Google Patents

Abstract

本申请公开了一种基于多轮对话的数据处理方法及装置。该方法包括预存表格数据；接收用户请求；基于多轮对话，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。本申请解决了不能够支持复杂查询的技术问题。通过本申请除了主体和属性的识别，还能够对支持计数、比较、排序功能。此外，本申请适用于智能对话领域。

Description

基于多轮对话的数据处理方法及装置

技术领域

本申请涉及自然语言处理、知识图谱领域，具体而言，涉及一种基于多轮对话的数据处理方法及装置。

背景技术

随着智能对话技术的发展，基于现有知识库的查询需求越来越多，也越来越复杂。

发明人发现，在基于知识库的数据查询处理中，不能够支持复杂查询。

针对相关技术中不能够支持复杂查询的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于多轮对话的数据处理方法及装置，以解决不能够支持复杂查询的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于多轮对话的数据处理方法。

根据本申请的基于多轮对话的数据处理方法包括：预存表格数据；接收用户请求；基于多轮对话，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。

进一步地，预存表格数据包括：根据业务需求建立数据集；根据所述数据集建立二维表格数据，其中，所述二维表格数据至少包括：实体对象和属性值；按照所述二维表格数据建立表格知识库。

进一步地，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询时包括如下任一一种或多种操作：对数据的查询处理、计数处理、判断处理、比较处理、排序处理或计算处理。

进一步地，接收用户请求包括：根据所述用户请求，解析得到Aggregation识别结果、谓词识别结果以及查询条件识别。

进一步地，根据所述Aggregation识别结果确定不同类型的回复模板。

进一步地，方法还包括：采用离线训练文本相似计算模型对所述用户请求属性进行召回。

为了实现上述目的，根据本申请的另一方面，提供了一种基于多轮对话的数据处理装置。

根据本申请的基于多轮对话的数据处理装置，包括：表格数据模块，用于预存表格数据；接收模块，用于接收用户请求；处理模块，用于基于多轮对话，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。

进一步地，所述表格数据模块用于，根据业务需求建立数据集；根据所述数据集建立二维表格数据，其中，所述二维表格数据至少包括：实体对象和属性值；按照所述二维表格数据建立表格知识库。

进一步地，所述接收模块用于，根据所述用户请求，解析得到Aggregation识别结果、谓词识别结果以及查询条件识别；以及，还用于根据所述Aggregation识别结果确定不同类型的回复模板。

进一步地，装置还包括：召回模块，用于采用离线训练文本相似计算模型对所述用户请求属性进行召回。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中基于多轮对话的数据处理方法及装置，采用预存表格数据和接收用户请求的方式，通过将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询，达到了能够支持复杂查询的目的，从而实现了通过解析用户请求成结构化表达结合用户多轮对话上文信息，提供表格数据查询，并根据列值提供计数、比较、排序等多种处理功能的技术效果，进而解决了不能够支持复杂查询的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的基于多轮对话的数据处理方法流程示意图；

图2是根据本申请第二实施例的基于多轮对话的数据处理方法流程示意图；

图3是根据本申请一实施例的基于多轮对话的数据处理装置结构示意图；

图4是根据本申请另一实施例的基于多轮对话的数据处理装置结构示意图；

图5是根据query查询请求解析得到模板示意图；

图6是整体流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请中基于多轮对话的数据处理方法包括：预存表格数据；接收用户请求；将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。通过预存的二维表格数据及定义的表格实体和每列关联的实体值，通过解析用户query查询请求成结构化表达，再结合用户多轮对话上文信息，提供表格数据查询，并根据列值提供计数、比较、排序等功能。

如图1所示，该方法包括如下的步骤S102至步骤S106：

步骤S102，预存表格数据；

首先表格数据进行预存，在所述表格数据中定义表格主体、以及每列中关联实体值。比如，表格主体为电影实体。实体值包括电影实体属性列表。

步骤S104，接收用户请求；

接收用户的查询请求，并基于用户请求进行下一步数据查询处理。

步骤S106，基于多轮对话，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。

通过多轮对话后，能够较为准确地将所述用户查询请求解析为一个固定模板。通过所述固定模板将查询请求转为结构化查询，再结合用户多轮对话上文信息，提供表格数据查询。从而实现在所述表格数据中进行结构化查询。

需要注意的是，基于多轮对话时采用预设的相似问题确定用户的Aggregation，即是进行select查询、count计数、judge判断、compute计算、max最大值或者min最小值等操作。

具体地，将用户查询请求解析为至少包括：执行操作类型识别、实体识别以及查询条件识别。对应地，在二维表格数据中执行何种操作、查询何种实体以及查询实体的位于哪一列列值等具体位置。

作为本实施例中的优选，在所述表格数据中进行结构化查询时还可以实现根据列值提供计数、比较、排序等优化功能。

从以上的描述中，可以看出，本申请实现了如下技术效果：

在本申请实施例中基于多轮对话的数据处理方法及装置，采用预存表格数据和接收用户请求的方式，通过将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询，达到了能够支持复杂查询的目的，从而实现了通过解析用户请求成结构化表达结合用户多轮对话上文信息，提供表格数据查询，并根据列值提供计数、比较、排序等多种处理功能的技术效果，进而解决了不能够支持复杂查询的技术问题。

根据本申请实施例，作为本实施例中的优选，如图2示，预存表格数据包括：根据业务需求建立数据集；根据所述数据集建立二维表格数据，其中，所述二维表格数据至少包括：实体对象和属性值；按照所述二维表格数据建立表格知识库。在表格知识库中，根据不同业务需求导入的二维表格数据。在二维表格数据中定义的表格主体和每列关联的实体值。通过本申请的基于多轮对话获取得到的查询信息，查询得到表格主体和每列关联实体值。

根据本申请实施例，作为本实施例中的优选，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询时包括如下任一一种或多种操作：对数据的查询处理、计数处理、判断处理、比较处理、排序处理或计算处理。

具体地，基于用户query查询二维表格数据，通过将用户query查询解析成为固定模板，从而实现结构化查询转化。

如图5所示，基于SQL语句，定义出query查询请求中解析模板中至少包含三部分：

(1)Aggregation:至少包括：select查询、count计数、judge判断、compute计算、max最大值、min最小值。

(2)Column:表示主体列或属性列的列值。

(3)Where子句:表示查询的限制条件，Where子句可细分为三小部分：

(3-1)where_column:条件列名，

(3-2)where_op:>、＝、<、in比较列

(3-3)Where_val:标准值。

比如，Aggregation:为查询，query＝疯狂的外星人导演是谁，aggregation＝select,column＝导演,where＝(电影实体，＝，疯狂的外星人)。

比如，Aggregation:为计数，query＝喜剧电影有多少个，aggregation＝count,column＝电影实体,where＝(类型，＝,喜剧)。

比如，Aggregation:为判断，query＝飞驰人生是喜剧吗，aggregation＝judge,column＝电影实体,where＝(类型，＝,喜剧)。

比如，Aggregation:为比较，query＝评分7.6以上的电影有哪些，aggregation＝select,column＝电影实体,where＝(评分，>,7.6)。

比如，Aggregation:为排序或比较，query＝飞驰人生和疯狂的外星人哪个评分更高，aggregation＝max,column＝电影实体and评分,where＝(电影实体,in(飞驰人生,疯狂的外星人))。

由上可知，基于SQL语句，定义出query查询请求中解析模板中至少包括：Aggregation意图、column列值以及where列值属性的固定模板结构。

根据本申请实施例，作为本实施例中的优选，接收用户请求包括：根据所述用户请求，解析得到Aggregation识别结果、谓词识别结果以及查询条件识别。

优选地，根据所述Aggregation识别结果确定不同类型的回复模板。

优选地，在多轮对话中，创建词槽Aggregation,column，且作为限定条件的属性分别对应一个词槽。

具体地，根据查询请求进行实体抽取，然后根据用户在上轮的填槽结果和本轮实体抽取结果进行槽位填充，再通过预设的相似问判断Aggregation是否为相关预设操作。最后，将query查询请求中的实体信息删除，避免对属性识别的影响。通过识别属性，判断是否需要作为召回的候选属性，如果不需要则进行属性排序，确定表格知识库查询内容，生成回复模板。

根据本申请实施例，作为本实施例中的优选，方法还包括：采用离线训练文本相似计算模型对所述用户请求属性进行召回。确保查询结果的是否已经在二维数据表中查全。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述方法的基于多轮对话的数据处理装置，如图3所示，该装置包括：表格数据模块10，用于预存表格数据；接收模块20，用于接收用户请求；处理模块30，用于基于多轮对话，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。

本申请实施例的表格数据模块10中首先表格数据进行预存，在所述表格数据中定义表格主体、以及每列中关联实体值。比如，表格主体为电影实体。实体值包括电影实体属性列表。

本申请实施例的接收模块20中接收用户的查询请求，并基于用户请求进行下一步数据查询处理。

本申请实施例的处理模块30中通过多轮对话后，能够较为准确地将所述用户查询请求解析为一个固定模板。通过所述固定模板将查询请求转为结构化查询，再结合用户多轮对话上文信息，提供表格数据查询。从而实现在所述表格数据中进行结构化查询。

需要注意的是，基于多轮对话时采用预设的相似问题确定用户的Aggregation，即是进行select查询、count计数、judge判断、compute计算、max最大值或者min最小值等操作。

具体地，将用户查询请求解析为至少包括：执行操作类型识别、实体识别以及查询条件识别。对应地，在二维表格数据中执行何种操作、查询何种实体以及查询实体的位于哪一列列值等具体位置。

作为本实施例中的优选，在所述表格数据中进行结构化查询时还可以实现根据列值提供计数、比较、排序等优化功能。

根据本申请实施例，作为本实施例中的优选，如图3所示，所述表格数据模块10用于，根据业务需求建立数据集；根据所述数据集建立二维表格数据，其中，所述二维表格数据至少包括：实体对象和属性值；按照所述二维表格数据建立表格知识库。

具体地，在表格知识库中，根据不同业务需求导入的二维表格数据。在二维表格数据中定义的表格主体和每列关联的实体值。通过本申请的基于多轮对话获取得到的查询信息，查询得到表格主体和每列关联实体值。

根据本申请实施例，作为本实施例中的优选，如图4所示，所述接收模块20用于，根据所述用户请求，解析得到Aggregation识别结果、谓词识别结果以及查询条件识别；以及，还用于根据所述Aggregation识别结果确定不同类型的回复模板。

优选地，根据所述Aggregation识别结果确定不同类型的回复模板。

优选地，在多轮对话中，创建词槽Aggregation,column，且作为限定条件的属性分别对应一个词槽。

具体地，根据查询请求进行实体抽取，然后根据用户在上轮的填槽结果和本轮实体抽取结果进行槽位填充，再通过预设的相似问判断Aggregation是否为相关预设操作。最后，将query查询请求中的实体信息删除，避免对属性识别的影响。通过识别属性，判断是否需要作为召回的候选属性，如果不需要则进行属性排序，确定表格知识库查询内容，生成回复模板。

根据本申请实施例，作为本实施例中的优选，如图4所示，装置还包括：召回模块40，用于采用离线训练文本相似计算模型对所述用户请求属性进行召回。确保查询结果的是否已经在二维数据表中查全。

如图6所示，本申请的实现原理如下：多轮对话的数据处理流程，整体分为在线流程和离线发布两部分。

其中，在线流程流程为在线用户query查询处理，其中具体包括：

(1)实体抽取；基于用户query查询请求二维表格数据，通过将用户query查询请求解析成固定模板，实现转为结构化查询。基于SQL语句，定义query解析模板包含三部分：Aggregation:包含select、count、judge、compute、max、min；Column:主体列或属性列；Where子句:查询的限制条件，又可细分为三小部分：where_column:条件列名，where_op:>、＝、<、in，Where_val:标准值；

(2)根据固定模板进行填槽：根据用户上轮的填槽结果和本轮实体抽取结果进行槽位填充；

(3)agg识别：通过系统预制的相似问判断是否为count,max,min等aggregation，默值为select；

(4)query处理：将query中的实体信息删除，避免对属性识别的影响；

(5)属性识别：通过基于属性相似问预训练的模型对处理后的query进行分类，得分top2的两个属性作为召回的候选属性；对top2属性的相似问与query计算score，阈值设置为0.8，大于阈值的相似问对应属性作为召回属性；

(6)数据库查询：基于query解析出来的aggregation,column,和where生成图数据库查询语句，获取查询结果；

(7)确定回复模板：根据aggregation的不同确定不同类型的回复模板。

其中，本申请的实施例中离线发布流程优选地基于预设训练fasttext模型作为query属性粗召回，具体地，包括：首先，触发训练发布之后获取表格对应的属性相似问；其次，对属性相似问进行预处理，包含但不限于剔除query查询请求中主体信息；最后，根据处理后的数据训练模型。通过离线训练进行属性召回。

如图5所示，基于用户query查询二维表格数据，通过将用户query解析成固定模板，实现转为结构化查询。基于SQL语句，定义query解析模板包含三部分：Aggregation:包含select、count、judge、compute、max、min；Column:主体列或属性列；Where子句:查询的限制条件，又可细分为三部分：where_column:条件列名，where_op:>、＝、<、in，Where_val:标准值。

根据以上模板的定义，在存在表格数据的情况下可以支持表格数据的查询、计数、判断、比较、排序和计算功能。具体例子如下：

查询：query＝疯狂的外星人导演是谁，aggregation＝select,column＝导演,where＝(电影实体，＝,疯狂的外星人)

查询：query＝喜剧电影有哪些，aggregation＝select,column＝电影实体,where＝(类型，＝,喜剧)

计数：query＝喜剧电影有多少个，aggregation＝count,column＝电影实体,where＝(类型，＝,喜剧)

判断：query＝飞驰人生是喜剧吗，aggregation＝judge,column＝电影实体,where＝(类型，＝,喜剧)

判断：query＝飞驰人生和疯狂的外星人哪个是喜剧，aggregation＝judge,column＝电影实体,where＝(类型，＝,喜剧)and(电影实体,in(飞驰人生,疯狂的外星人))

比较:query＝评分7.6以上的电影有哪些，aggregation＝select,column＝电影实体,where＝(评分，>,7.6)

排序/比较：query＝飞驰人生和疯狂的外星人哪个评分更高，aggregation＝max,column＝电影实体and评分,where＝(电影实体,in(飞驰人生,疯狂的外星人))

排序/比较：query＝飞驰人生和疯狂的外星人哪个时长更短，aggregation＝min,column＝电影实体and时长,where＝(电影实体,in(飞驰人生,疯狂的外星人))

排序:query＝评分最高的电影，aggregation＝max,column＝电影实体and评分

计算：query＝飞驰人生比疯狂的外星人评分高几分，aggregation＝compute,column＝评分,where＝(电影实体,in(飞驰人生,疯狂的外星人))

基于上述在多轮对话的结果，创建词槽aggregation,column，且可以作为限定条件的属性分别对应一个词槽，可比较属性对应三个词槽(等于，大于，和小于)，例如，在电影表格数据中对应词槽包含：aggregation,column,tag(类型),actor(演员),director(导演),country(国家),score(评分-等于),score_le(评分-小于),score_ge(评分-大于)等。

此外，对于包含比较的词槽，可以通过配置包含了实体的句式作为填槽规则，例如：评分@score_ge:数字到@score_le:数字，可以匹配query＝评分6到9分，并填槽成功。

基于多轮对话结果，可以基于二维表格知识库进行对数据的查询处理、计数处理、判断处理、比较处理、排序处理或计算处理。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于多轮对话的数据处理方法，其特征在于，包括：

预存表格数据；

接收用户请求；

基于多轮对话，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。

2.根据权利要求1所述的数据处理方法，其特征在于，预存表格数据包括：

根据业务需求建立数据集；

根据所述数据集建立二维表格数据，其中，所述二维表格数据至少包括：实体对象和属性值；

按照所述二维表格数据建立表格知识库。

3.根据权利要求1所述的数据处理方法，其特征在于，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询时包括如下任一一种或多种操作：

对数据的查询处理、计数处理、判断处理、比较处理、排序处理或计算处理。

4.根据权利要求1所述的数据处理方法，其特征在于，接收用户请求包括：

根据所述用户请求，解析得到Aggregation识别结果、谓词识别结果以及查询条件识别。

5.根据权利要求4所述的数据处理方法，其特征在于，根据所述Aggregation识别结果确定不同类型的回复模板。

6.根据权利要求1所述的数据处理方法，其特征在于，还包括：采用离线训练文本相似计算模型对所述用户请求属性进行召回。

7.一种基于多轮对话的数据处理装置，其特征在于，包括：

表格数据模块，用于预存表格数据；

接收模块，用于接收用户请求；

处理模块，用于基于多轮对话，将所述用户请求解析为固定模板，以使在所述表格数据中进行结构化查询。

8.根据权利要求7所述的数据处理装置，其特征在于，所述表格数据模块用于，

根据业务需求建立数据集；

根据所述数据集建立二维表格数据，其中，所述二维表格数据至少包括：实体对象和属性值；

按照所述二维表格数据建立表格知识库。

9.根据权利要求7所述的数据处理装置，其特征在于，所述接收模块用于，根据所述用户请求，解析得到Aggregation识别结果、谓词识别结果以及查询条件识别；

以及，还用于根据所述Aggregation识别结果确定不同类型的回复模板。

10.根据权利要求7所述的数据处理装置，其特征在于，还包括：召回模块，用于采用离线训练文本相似计算模型对所述用户请求属性进行召回。