CN112270182B

CN112270182B - 一种基于多轮对话问答式的分析思路衍生方法、系统及存储介质

Info

Publication number: CN112270182B
Application number: CN202011259001.XA
Authority: CN
Inventors: 姜磊; 钟颖欣; 辛岩; 杨钊
Original assignee: Brilliant Data Analytics Inc
Current assignee: Brilliant Data Analytics Inc
Priority date: 2020-11-12
Filing date: 2020-11-12
Publication date: 2022-11-08
Anticipated expiration: 2040-11-12
Also published as: CN112270182A

Abstract

本发明涉及数据分析技术领域，为基于多轮对话问答式的分析思路衍生方法、系统及存储介质，其方法包括步骤：所输入的自然语言问题进行文本预处理、分词处理；对自然语言问题进行自然语言理解处理，完成意图识别和槽值填充；针对分析任务，当自然语言问题表述不清楚时，通过对话管理实现多轮陈述过程，填充完所有必填的槽值，确定待补充的槽值对；根据待补充的槽值对确定生成自然语言的内容，构建文本结构，得到基本问句，再根据待补充的槽值对将基本问句聚合而成最终问句。本发明对未表述清楚的分析问题通过追问方式，将关键信息补充完整以完成分析任务；用户无需了解复杂的数据结构、分析方法，降低了数据分析工作的门槛。

Description

一种基于多轮对话问答式的分析思路衍生方法、系统及存储介质

技术领域

本发明涉及数据分析技术领域，尤其涉及一种基于多轮对话问答式的分析思路衍生方法、系统及存储介质。

背景技术

现有的问答式数据分析系统，一般是用户提出自然语言描述的问题，系统经过解析后自动查询数据库，得到结果并呈现给用户一个可视化的答案。这仅仅是针对一些特定的比较简单的问题查询，例如用户提出“某地区这个月的用电量是多少”，现有的提问式数据分析系统会将数据库中当月的用电量数据聚合成一个汇总值，并返回给用户一个可视化的视图或者一个具体的数值。

当用户的提问比较复杂时，如“上半年广州市不同用户类型的用电趋势如何？”，上述现有的提问式数据分析系统，由于仅有数据查询功能，用户所提问题对应的结果并不直接存在于数据库中，因而将不能满足用户的复杂提问式分析需求；此时可通过分析路径推荐的方法，来让用户快速完成数据分析过程。当用户提出的问题与系统共享库中的分析路径都无关系时，则推荐的分析路径很可能不是用户想要的结果，甚至无推荐结果；此时可通过分析节点生成的方法，来满足用户快速获取数据分析结果的需求。

然而，在更为复杂的情况下，当用户提出的自然语言问题缺少部分关键信息时，无论是分析路径推荐技术还是分析节点生成技术都无法得到有效的分析结果。例如，用户提出“广州市的用电量趋势如何？”因缺少时间窗口信息，用户可能无法得到有效的反馈结果。因此，本发明提出基于多轮对话问答式的分析思路衍生方法等技术方案，用于解决上述的问题。

发明内容

本发明提供基于多轮对话问答式的分析思路衍生方法、系统及存储介质，其利用多轮对话技术，对于用户未表述清楚的分析问题通过追问的方式，让用户将分析问题的关键信息补充完整，从而完成分析任务，不需要了解复杂的数据结构、分析方法，大大降低了用户进行数据分析工作的门槛，以便快速探索数据，发现业务中存在的问题。

根据本发明的基于多轮对话问答式的分析思路衍生方法，包括以下步骤：

S1、对所输入的自然语言问题进行文本预处理、分词处理，将自然语言问题中的词语转为词向量；

S2、对所输入的自然语言问题进行自然语言理解处理，完成意图识别和槽值填充；

S3、针对分析任务，当所输入自然语言问题的表述不清楚时，通过对话管理实现多轮陈述过程，使步骤S2填充完所有必填的槽值，确定待补充的槽值对；

S4、根据待补充的槽值对确定生成自然语言的内容，通过自然语言生成技术构建文本结构，得到基本问句，再根据待补充的槽值对将基本问句聚合而成最终问句。

在优选的实施例中，步骤S2包括：

S21、把所输入的自然语言问题进行数据分析的真实意图识别出来；

S22、槽值填充，把自然语言问题所相应的文本内容转换成槽值对。而步骤S22中实现槽值填充过程的输入是自然语言问题中的词语经过词向量转换模型转化的稠密向量Xn，输出为槽值对。

优选地，步骤S3包括：

S31、通过自然语言理解进入分析任务流程，通过对话状态维护判断当前分析任务的槽值是否填充完毕，若填充完毕则触发分析任务执行，同时标记下一轮会话将是一个新的分析任务会话；若未填充完毕，则生成自然语言返回给输入端，继续向输入端进行追问以补充未填充的槽值对；

S32、通过自然语言理解进入分析任务流程后，对话状态维护负责维护当前的对话状态；生成决策系统根据当前不同的对话状态做出不同的反应，是继续与输入端进行对话交互还是执行分析任务；当前分析任务执行后，通过会话继续执行下一个分析任务；此时对输入端发起的新问题进行实体识别后，判断识别到的实体是否出现在上一分析任务中，如果当前新问题中的实体与上一分析任务毫无关系，则判断为新的分析任务。

在优选的实施例中，步骤S4包括：

S41、通过对话状态维护过程中对当前分析任务的槽值对的状态跟踪，确定哪些槽值对需要补充；待补充的槽值对信息为需要生成自然语言的内容，从而向输入端追问来补充当前分析任务的槽值对信息；

S42、通过基础的提问模板构建组织文本顺序，通过基础的问句结构和待补充的槽值对信息组成基本问句；

S43、当待补充的槽值对信息多于1个时，将多个待补充的槽值对信息的问句合成一个问句，再结合基础问句生成更加流畅且方便阅读的最终问句；

S44、基于语言模型和句法结构对最终问句进行优化。

根据本发明的基于多轮对话问答式的分析思路衍生系统，包括：

预处理模块，用于对所输入的自然语言问题进行文本预处理、分词处理，将自然语言问题中的词语转为词向量；

自然语言理解模块，用于对所输入的自然语言问题进行自然语言理解处理，完成意图识别和槽值填充；

对话管理模块，用于针对分析任务，当所输入自然语言问题的表述不清楚时，通过对话管理实现多轮陈述过程，填充完所有必填的槽值，确定待补充的槽值对；

自然语言生成模块，用于根据待补充的槽值对确定生成自然语言的内容，通过自然语言生成技术构建文本结构，得到基本问句，再根据待补充的槽值对将基本问句聚合而成最终问句。

本发明的存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时，实现本发明分析思路衍生方法的步骤。

与现有技术相比，本发明的显著效果在于：利用多轮对话技术，对于用户在一次问话中未表述清楚的分析问题通过追问的方式，让用户将分析问题的关键信息补充完整，从而完成分析任务；同时，基于上下文对话内容即时解析，判断分析节点任务之间的关系，将一个个独立的分析节点连接起来形成分析路径；使得用户通过自然语言问题的输入就可以完成数据分析工作，不需要了解复杂的数据结构、分析方法，大大降低了用户进行分析工作的门槛，以便快速探索数据，发现业务中存在的问题。

附图说明

图1是本发明分析思路可视化方法的实现流程图；

图2为CBOW词向量转换模型的结构示意图；

图3是LSTM模型的结构示意图；

图4为NBT-CNN架构图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合实施例及附图，对本发明的技术方案进行清楚、完整的描述。显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

参阅图1，本实施例提供的一种基于多轮对话问答式的分析思路衍生方法，包括：

S1、对所输入的自然语言问题进行文本预处理、分词处理。

为了确保文本处理的一致性，通常对输入文本都需要做统一的转换，例如全半角、大小写的转换。本步骤对用户输入的自然语言问题，进行大小写转换、全半角转换、分词等基本的预处理。此外，由于中文的特殊性，词与词之间没有明显的分隔符，甚至中文与英文混合文本中也不一定会有分隔符区分，因此本步骤还需进行分词处理，将整句文本串分割为一个个独立的词。

在本实施例中，步骤S1具体包括：

S11、文本预处理及分词处理：加载自然语言问题所对应的语料，对输入的自然语言问题所相应的文本内容进行预处理，包括统一转换为小写、半角、简体以及进行特殊符号清洗等，对预处理后的文本内容使用jieba分词进行分词处理；

S12、文本表示：使用词向量转换模型将自然语言问题中的词语转为稠密向量。

使用Word2Vec词向量转换模型将自然语言问题中的词语转为稠密向量，相比One-hot表示和TF-IDF表示，Word2Vec词向量转换模型训练出来的词向量在准确率、语法和语义的相似性方面质量更高。Word2Vec有两种模型，即CBOW(Continuous Bag-of-Words Model)模型和Skip-Gram模型，本实施例优选采用CBOW模型。如图2所示，CBOW模型的非线性隐藏层被移除，投影层被共享，所有的词都被投射到同一个位置，输入和投影层之间的权重矩阵被所有的单词位置共享，使用上下文的连续分布表示，根据上下文n个词(图中n＝2)预测当前词W(t)。

S2、对所输入的自然语言问题进行自然语言理解处理，完成意图识别和槽值填充。

自然语言理解(Natural Language Understand，简称NLU)是自然语言处理(Natural Language Process，简称NLP)中的一个子方向，侧重于机器阅读理解，让计算机理解人类语言的真正含义，从而能够服务人类的需求。自然语言理解主要的工作就是将自然语言文本转化为结构化的、计算机能够识别的数据，涉及的内容较广，包括：关系抽取、实体识别、意图识别、情感识别、语义分析、语义消歧、句法分析等。

进一步地，步骤S2具体包括：

S21、意图识别：把所输入的自然语言问题进行数据分析的真实意图识别出来。

此处所述的意图识别，其目的是把所输入的自然语言问题进行数据分析的真实意图识别出来。例如用户是想要过滤数据，还是漏斗分析等。意图识别过程的输入是自然语言问题中的词语经过词向量转换模型转化的稠密向量Xn，输出为意图识别，表达为Yn＝f(Xn)，其本质是一个分类问题，即输出为分类结果。具体地，依据自然语言问题所相应的文本内容通过意图识别后，输出为进行数据分析目的的分类类别，包括源数据查看、数据过滤、多维分析、漏斗分析、对比分析、趋势分析、报表分析、相关分析等。

S22、槽值填充：把自然语言问题所相应的文本内容转换成槽值对。

此处所述的槽值填充(也可称为槽位填充或槽填充)，目的是把自然语言问题所相应的文本内容转换成机器可以处理的槽值对。实现槽值填充过程的输入是自然语言问题中的词语经过词向量转换模型转化的稠密向量Xn，输出表达为Zn＝f(Xn)，Zn＝{z1,z2,z3…}，为槽值对。

需要说明的，槽值对Zn的构建是一个序列标注问题。本实施例采用LSTM(长短期记忆网络)模型进行槽值填充，由于LSTM模型只有一层，本实施例在LSTM模型前面添加了一个Embedding嵌入层，形成最终的用于实现槽值填充的神经网络模型，该神经网络模型的输入是当前词在词典中的索引值。Embedding嵌入层作为神经网络模型中的一个组件，对当前词在词典中的索引值进行训练后得到一个参数矩阵，即Embedding矩阵；这个参数矩阵就是所有词的词向量，每个词对应的向量就是Embedding矩阵中的一列。也就是说，Embedding矩阵中的一列即为稠密向量Xn。槽值填充过程是输入当前词在词典中的索引值，从Embedding矩阵得到词向量信息，再送入LSTM模型，在LSTM模型中通过softmax函数回归处理得到每个候选标签的概率值，选择概率最大的值作为槽值填充。即最可能的序列可以由以下公式确定：

y(t)＝arg max P(y(t)|w(1)...w(t))

其中w(1)…w(t)是句子中的每个词向量，y(t)是不同的标签；P(y(t)|w(1)…w(t))为句子w(1)…w(t)作为标签y(t)的概率，argmax()为求最大值，即取概率最大的标签作为最重得标签y(t)。

需要说明的，LSTM模型包括了三个门：一个候选隐藏层input、一个内存层forget和一个输出给外部的隐层output。LSTM模型的输入是Embedding嵌入层输出的词向量信息和前一个节点的内存层信息，输出的是当前隐层的信息,如图3所示。

需要说明的，本发明自然语言问题所相应的文本内容中，需要进行槽值填充的词槽分为必填词槽和非必填词槽，需要将必填词槽和非必填词槽结合起来，槽值填充的具体过程包括以下步骤：

(1)尝试填写自然语言问题所相应的文本内容中词槽；

(2)若词槽填写失败，判断该词槽是否必填；

(3)若该词槽必填，反问用户(即输入端)，重新填写该词槽；

(4)若该词槽非必填，则针对该词槽所在槽组的填写过程结束。

需要说明的，关于意图识别和槽值填充两个子步骤，既可以作为两个单独的任务处理，由于两个任务之间的存在一定的相关性，也可以联合处理。例如，以电力行业应用场景为例，对输入的自然语言问题经过意图识别和槽值填充后的部分结果示例如表1所示。

表1

S3、对话管理：

对话管理(Dialogue Management，简称DM)控制着人机对话的过程，DM根据对话历史信息，决定此刻对用户的反应。针对某个具体的分析任务，当用户所输入自然语言问题的表述不清楚，即缺少关键信息时，通过对话管理技术实现询问、澄清或确认等多轮陈述过程。通过用户的多轮陈述，使步骤S2填充完所有必填的槽值，确定待补充的槽值对；同时，用户在会话过程中可以不断修改或完善需求。

进一步地，步骤S3具体包括：

S31、对话状态维护

对话状态维护(Dialogue State Tracking，DST)，即维护和更新当前的对话状态。通过自然语言理解NLU进入一个特定的分析任务流程。对话状态维护DST需要时时刻刻判断当前分析任务的槽值是否填充完毕，若填充完毕则触发分析任务执行，同时标记下一轮会话将是一个新的分析任务会话；若未填充完毕，则需要NLG(自然语言生成)模块生成自然语言返回给用户，继续向用户进行追问让用户补充未填充的槽值对。

需要说明的，对话状态维护的输入是Un、An-1和Sn-1，输出是Sn；其中Sn＝{Gn,Un,Hn}，Gn是用户目标；Un包含了意图信息和槽值对Zn，是对话状态维护的输入之一；Hn是聊天历史，Hn＝{U0,A0,U1,A1,...,Un-1,An-1}；An-1是系统对用户的反馈信息。

优选地，对话状态维护选取的算法为NBT-CNN(Neural Belief Tracking-Convolutional Neural Networks)，如图4所示。其特点主要在于输入层，首先用不同长度的滑动窗口(在图4中采用了三个不同长度的滑动窗口)对输入的词向量进行滑动拼接，然后用不同大小的卷积核进行卷积运算，同时再加上Relu激活函数运算和MaxPooling运算取最大值，得到三个不同长度滑动窗口所分别对应的编码向量为r1’、r2’、r3’；然后对编码向量求和得到最终输入的表示向量r。采用这种方式，可以避免人工梳理大量的语义词典、模板工作，大大节省了模型得开发时间。

S32、生成系统决策：根据对话状态维护DST中当前会话状态(Dialogue State)，产生系统行为，决定下一步的行为。如上所述，通过自然语言理解NLU进入一个特定的分析任务流程后，DST负责维护当前的对话状态。生成决策系统会根据当前不同的对话状态做出不同的反应，是继续与用户进行对话交互还是执行分析任务。当前分析任务执行后，可通过会话继续执行下一个分析任务；此时对用户发起的新问题进行实体识别后，判断识别到的实体是否出现在上一任务中，例如：用户通过多轮对话完成了一个任务“广东省6月份各地市的用电分布”，下一个问题提到“广州市不同用户类型的用电分布”，通过实体识别将会识别到“广州”这一实体，而“广州”是上一任务中分析的维度取值，因而当前问题属于上一问题的下钻分析；如果当前新问题中的实体与上一任务毫无关系，则可以判断为新的分析任务。

S4、自然语言生成

自然语言生成(Natural Language Generate，减程NLG)同样是自然语言处理(NLP)中的一个子方向，将存储在计算机中或经过程序处理后的结构化信息和数据生成人类容易理解的自然语言，方便与用户交互。

本步骤根据待补充的槽值对确定生成自然语言的内容，通过自然语言生成技术构建文本结构，得到基本问句，再根据待补充的槽值对将基本问句聚合而成最终问句。步骤S4具体包括：

S41、内容确定：通过对话状态维护DST过程中对当前分析任务的槽值对的状态跟踪，确定哪些槽值对需要补充。这些待补充的槽值对信息就是需要生成自然语言的内容，从而向用户追问来补充当前分析任务的槽值对信息。

S42、文本结构：确定需要传达哪些内容信息后，通过基础的提问模板构建组织文本顺序。例如较常见的槽值信息[什么时间]、[什么地区]、[什么维度]、[什么指标]等，通过基础的问句结构和待补充的槽值对信息组成基本问句。基本问句一般有多个。

S43、句子聚合：当待补充的槽值对信息多于1个时，可将多个待补充的槽值对信息的问句合成一个问句，再结合基础问句生成更加流畅且方便阅读的最终问句。例如待补充的槽值对包括时间信息和地市信息，那么构造问句后会包括“查询什么时间的数据？”和“查询什么地市的数据？”，将基础问句与所构造问句通过句子整合后生成最终问句“查询什么时间什么地市的数据？”。

S44、语法化：基于语言模型和句法结构对最终问句进行优化，使其更加符合自然语言的表述。如上述问句经过优化后生成“请问您想查询哪个地市什么时候的数据？”。

基于前面几个步骤，系统和用户在交互的过程中，如果用户未表述完整或者系统未获取到足够的信息，通过多轮会话使系统向用户获取必须的信息。然后使用获取到的意图信息、实体信息和系统的数据字典匹配处理后转换为任务节点所需要的数据源名、分析维度名、分析指标名以及其他附加的时间、地区分析信息，传入任务节点的数据接口，系统调用并执行该任务节点。同时，当完成一个任务节点后，用户还可以与系统继续交互生成其他的任务节点，完成任务节点的衍生，即分析思路的衍生。

相应的，本发明还提出基于多轮对话问答式的分析思路衍生系统，包括以下模块：

预处理模块，用于实现步骤S1，对所输入的自然语言问题进行文本预处理、分词处理，将自然语言问题中的词语转为词向量；

自然语言理解模块，用于实现步骤S2，对所输入的自然语言问题进行自然语言理解处理，完成意图识别和槽值填充；

对话管理模块，用于实现步骤S3，针对分析任务，当所输入自然语言问题的表述不清楚时，通过对话管理实现多轮陈述过程，使步骤S2填充完所有必填的槽值，确定待补充的槽值对；

自然语言生成模块，用于实现步骤S4，根据待补充的槽值对确定生成自然语言的内容，通过自然语言生成技术构建文本结构，得到基本问句，再根据待补充的槽值对将基本问句聚合而成最终问句。

基于相同的发明构思，本发明技术方案还可通过存储介质的形式来实现。本发明的存储介质，其上存储有计算机指令，当计算机指令被处理器执行时，实现本发明分析思路衍生方法的步骤S1-S4。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于多轮对话问答式的分析思路衍生方法，其特征在于，包括以下步骤：

S4、根据待补充的槽值对确定生成自然语言的内容，通过自然语言生成技术构建文本结构，得到基本问句，再根据待补充的槽值对将基本问句聚合而成最终问句；

步骤S3包括：

S32、通过自然语言理解进入分析任务流程后，对话状态维护负责维护当前的对话状态；生成决策系统根据当前不同的对话状态做出不同的反应，是继续与输入端进行对话交互还是执行分析任务；当前分析任务执行后，通过会话继续执行下一个分析任务；此时对输入端发起的新问题进行实体识别后，判断识别到的实体是否出现在上一分析任务中，如果当前新问题中的实体与上一分析任务毫无关系，则判断为新的分析任务；

步骤S4包括：

S44、基于语言模型和句法结构对最终问句进行优化。

2.根据权利要求1所述的分析思路衍生方法，其特征在于，步骤S2包括：

S22、槽值填充，把自然语言问题所相应的文本内容转换成槽值对。

3.根据权利要求2所述的分析思路衍生方法，其特征在于，步骤S22中实现槽值填充过程的输入是自然语言问题中的词语经过词向量转换模型转化的稠密向量Xn，输出为槽值对。

4.根据权利要求2或3所述的分析思路衍生方法，其特征在于，步骤S22中在LSTM模型前面添加了一个Embedding嵌入层，形成最终的用于实现槽值填充的网络，该网络的输入是当前词在词典中的索引值；槽值填充过程是输入当前词在词典中的索引值，从Embedding嵌入层得到词向量信息，再送入LSTM模型，在LSTM模型中通过softmax函数回归处理得到每个候选标签的概率值，选择概率最大的值作为槽值填充。

5.根据权利要求2所述的分析思路衍生方法，其特征在于，步骤S22中槽值填充的过程包括以下步骤：

(1)尝试填写自然语言问题所相应的文本内容中词槽；

(2)若词槽填写失败，判断该词槽是否必填；

(3)若该词槽必填，反问输入端，重新填写该词槽；

6.一种基于多轮对话问答式的分析思路衍生系统，其特征在于，包括：

自然语言生成模块，用于根据待补充的槽值对确定生成自然语言的内容，通过自然语言生成技术构建文本结构，得到基本问句，再根据待补充的槽值对将基本问句聚合而成最终问句；

对话管理模块通过自然语言理解进入分析任务流程，通过对话状态维护判断当前分析任务的槽值是否填充完毕，若填充完毕则触发分析任务执行，同时标记下一轮会话将是一个新的分析任务会话；若未填充完毕，则生成自然语言返回给输入端，继续向输入端进行追问以补充未填充的槽值对；

对话管理模块通过自然语言理解进入分析任务流程后，对话状态维护负责维护当前的对话状态；生成决策系统根据当前不同的对话状态做出不同的反应，是继续与输入端进行对话交互还是执行分析任务；当前分析任务执行后，通过会话继续执行下一个分析任务；此时对输入端发起的新问题进行实体识别后，判断识别到的实体是否出现在上一分析任务中，如果当前新问题中的实体与上一分析任务毫无关系，则判断为新的分析任务；

自然语言生成模块通过对话状态维护过程中对当前分析任务的槽值对的状态跟踪，确定哪些槽值对需要补充；待补充的槽值对信息为需要生成自然语言的内容，从而向输入端追问来补充当前分析任务的槽值对信息；通过基础的提问模板构建组织文本顺序，通过基础的问句结构和待补充的槽值对信息组成基本问句；当待补充的槽值对信息多于1个时，将多个待补充的槽值对信息的问句合成一个问句，再结合基础问句生成更加流畅且方便阅读的最终问句；基于语言模型和句法结构对最终问句进行优化。

7.存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时，实现权利要求1-5中任一项所述的分析思路衍生方法的步骤。