CN109101537B - 基于深度学习的多轮对话数据分类方法、装置和电子设备 - Google Patents

基于深度学习的多轮对话数据分类方法、装置和电子设备 Download PDF

Info

Publication number
CN109101537B
CN109101537B CN201810680888.6A CN201810680888A CN109101537B CN 109101537 B CN109101537 B CN 109101537B CN 201810680888 A CN201810680888 A CN 201810680888A CN 109101537 B CN109101537 B CN 109101537B
Authority
CN
China
Prior art keywords
turn
vector
previous
current
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810680888.6A
Other languages
English (en)
Other versions
CN109101537A (zh
Inventor
杨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huiwen Technology (Group) Co.,Ltd.
Original Assignee
Beijing Huiwen Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huiwen Technology Development Co ltd filed Critical Beijing Huiwen Technology Development Co ltd
Priority to CN201810680888.6A priority Critical patent/CN109101537B/zh
Publication of CN109101537A publication Critical patent/CN109101537A/zh
Application granted granted Critical
Publication of CN109101537B publication Critical patent/CN109101537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Abstract

本申请涉及基于深度学习的多轮对话数据分类方法、装置和电子设备。该方法包括：对获取的当前轮次语句和先前轮次语句进行词向量转化以获得当前语句和先前语句的词向量；通过长短期记忆层处理当前语句和先前语句的词向量以获得当前轮次和先前轮次的句向量；以注意力机制层对先前轮次句向量进行加权求和以获得背景句向量；将当前轮次句向量与背景句向量连接以获得句子向量表达；以用于分类的逻辑回归模型处理句子向量表达以获得多轮对话数据相对于逻辑回归模型的多个标签的概率分布。这样，可以通过注意力机制从多轮对话数据中的先前轮次对话数据生成背景向量以与当前轮次对话数据的句向量结合进行分类，从而改进多轮对话场景下的分类效果。

Description

基于深度学习的多轮对话数据分类方法、装置和电子设备
技术领域
本发明总体地涉及数据处理领域，且更为具体地，涉及一种基于深度学习的多轮对话数据分类方法、装置和电子设备。
背景技术
随着互联网技术的发展，越来越多的网站采用对话系统对用户进行服务。例如，在线票务预订网站或者在线购物网站通过与用户的在线对话来解决用户需求。
在使用上述对话系统的过程中，为了提高服务效率，需要对用户输入进行大概分类。例如，可以通过用户意图分析确定预定场景下的用户意图，比如机票预订场景下的查询、订票、退票等意图。此外，还可能需要从用户的对话中获得其它信息，例如用户针对服务或者商品所要表达的主观情绪等。
因此，如何基于对话系统中的用户数据，比如用户与系统之间的多轮对话数据挖掘出用户对于客观事物的感受，以更为全面地获取用户对于特定客观现实，比如事件或商品所要表达的主观信息，已逐渐成为当前自然语言处理领域的研究热点。
因此，需要改进的用于对话系统的数据分类方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于深度学习的多轮对话数据分类方法、装置和电子设备，其通过注意力机制从多轮对话数据中的先前轮次对话数据生成背景向量以与当前轮次对话数据的句向量结合进行分类，从而改进多轮对话场景下的分类效果。
根据本申请的一方面，提供了一种基于深度学习的多轮对话数据分类方法，包括：对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量；通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量；以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量；将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达；以及，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
在上述基于深度学习的多轮对话数据分类方法中，在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括：将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
在上述基于深度学习的多轮对话数据分类方法中，所述标签是所述多轮对话数据所反映的用户意图，以及，对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量包括：对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签；对所述多轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签；将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵；连接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当前语句词向量；以及，连接所述先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句词向量。
在上述基于深度学习的多轮对话数据分类方法中，以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量包括：计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数；计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重；以及，基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦次语句对应的背景句向量。
在上述基于深度学习的多轮对话数据分类方法中，所述用于分类的逻辑回归模型是Softmax回归模型，以及，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布包括：计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及，将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
在上述基于深度学习的多轮对话数据分类方法中，以所述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。
根据本申请的另一方面，提供了一种基于深度学习的多轮对话数据分类装置，包括：词向量转化单元，用于对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量；句向量获得单元，用于通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量；背景向量获得单元，用于以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量；句向量连接单元，用于将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达；以及，分类单元，用于以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
在上述基于深度学习的多轮对话数据分类装置中，所述分类单元进一步用于：在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后，将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
在上述基于深度学习的多轮对话数据分类装置中，所述标签是所述多轮对话数据所反映的用户意图，以及，所述词向量转化单元用于：对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签；对所述多轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签；将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵；连接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当前语句词向量；以及，连接所述先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句词向量。
在上述基于深度学习的多轮对话数据分类装置中，所述背景向量获得单元用于：计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数；计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重；以及，基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦次语句对应的背景句向量。
在上述基于深度学习的多轮对话数据分类装置中，所述用于分类的逻辑回归模型是Softmax回归模型，以及，所述分类单元用于：计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及，将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
在上述基于深度学习的多轮对话数据分类装置中，以所述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于深度学习的多轮对话数据分类方法。
根据本申请的又一方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如上所述的基于深度学习的多轮对话数据分类方法。
本申请提供的基于深度学习的多轮对话数据分类方法、装置和电子设备，可以通过注意力机制从多轮对话数据中的先前轮次对话数据生成背景向量以与当前轮次对话数据的句向量结合进行分类，从而改进多轮对话场景下的分类效果。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：
图1图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法的流程图。
图2图示根据本申请实施例的表达用户意图的多轮对话数据的词向量转化过程的示意图。
图3图示了根据本申请实施例的LSTM层的示意图。
图4图示了根据本申请实施例的LSTM层和注意力机制层的示意图。
图5图示了根据本申请实施例的以注意力机制层获得背景向量的过程的流程图。
图6图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法应用于意图分类的示意图。
图7图示了根据本申请实施例的基于深度学习的多轮对话数据分类装置的框图。
图8图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，在对话系统中，需要基于对话来分析用户的所要表达的主观信息。例如，通过用户意图分析，可以对用户输入进行一个大概分类，例如分析出预定机票场景下的查询、订票、退票等意图。
早期的用户意图分类方法主要考虑词法特征，通过编写大量的手工规则，或者是采用模板匹配的方式对用户意图进行分类。但是基于规则的意图分类方法缺乏泛化能力，同时需要不断的维护规则库或是模板库，并且现实场景中自然语言的表达常常复杂而多样，比如语序的交换，同义词替代等。因此，对于系统工作人员来说，要想维护一个既能覆盖所有表达方式，又不互相冲突、不冗余的模板规则库几乎是一件不可能的事。此外，上述方法不能对自然语言进行很好的建模，在处理过程中会丢失大量信息。
目前，基于规则的意图分类方法已经渐渐地推出历史舞台，取而代之的是热门的机器学习方法，而常用的机器学习方法如支持向量机(Support Vector Machine，SVM)，朴素贝叶斯模型以及boostrapping(自举)都是很基础的学习方法，其实现方法都相对简单，对较为复杂的多分类问题的解决能力相对于深度学习模型显得捉襟见肘，同时SVM等模型的分类效果严重依赖前期人工提取特征的质量。
相对地，深度学习模型采用组合底层特征的方法，通过多层隐含层的计算，获取抽象的高层特征来表示文本来得到文本向量空间模型。因此，深度学习模型可以通过学习深层的非线性网络结构来弥补传统机器学习方法的不足。此外，深度学习具有很强的降维能力和泛化能力。
因此，本申请的构思是考虑对话系统中的多轮对话数据的分类效果和可实现性，采用循环神经网络(Recurrent Neural Networks,RNN)深度学习模型提取句子中的语义特征并进行分类。
这里，本申请应用于多轮对话场景下的分类。本申请的申请人发现，在现实场景中，尤其是任务型的对话场景下，一组对话一般都是由某个目的展开，往往要经过很多轮对话，经过查询、信息补充、确认等过程才能最终解决问题。因此，针对这样的多轮对话场景，交互语句与之前的语句相关性非常大，更重要的是，若关键信息在较前轮次的对话中已经提到过，当前轮次的对话语句将不会很完整。因此，如果忽略上下文信息而仅采用与单轮对话意图分类模型将不会得到良好的分类效果，有时候效果甚至很差。
因此，为了解决上述技术问题，本申请实施例提供了一种基于深度学习的多轮对话数据分类方法、装置和电子设备，其首先对获取的多轮对话数据中的当前轮次对话数据和先前轮次对话数据进行词向量转化以获得当前语句和先前语句的词向量，再通过长短期记忆(long-short term memory，LSTM)层处理当前语句和先前语句的词向量以获得当前轮次和先前轮次的句向量，并以注意力机制层对先前轮次句向量进行加权求和以获得背景句向量，将当前轮次句向量与背景句向量连接以获得句子向量表达，最后以用于分类的逻辑回归模型处理句子向量表达以获得多轮对话数据相对于逻辑回归模型的多个标签的概率分布。
因此，本申请实施例提供的基于深度学习的多轮对话数据分类方法、装置和电子设备实质上是为了充分地将多轮对话中的上下文信息利用起来，在对一组对话中的某轮对话进行分类时，利用注意力机制“有选择”地从较前轮次的语句中生成背景向量，并将该背景向量与当前语句的句向量结合在一起进行分类，从而改善了多轮对话中的意图分类效果。
这里，根据本申请实施例的基于深度学习的多轮对话数据分类方法、装置和电子设备可以用于从多轮对话数据挖掘出各种用户所要表达的主观信息，而不仅限于用户意图，例如，还可以包括用户的主观情绪信息，用户所要表达的主观主题信息等，这可以通过设置所述逻辑回归模型中的不同标签类别来实现。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图1图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法的流程图。
如图1所示，根据本申请实施例的基于深度学习的多轮对话数据分类方法包括：S110，对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量；S120，通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量；S130，以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量；S140，将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达；以及S150，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
在步骤S110中，对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量。这里，本领域技术人员可以理解，在完成自然语言处理的相关任务时，首先，需要将自然语言转化为计算设备能够识别的语言，即数学符号，其中该数学符号通常为向量。换言之，在获取多轮对话数据之后，需将所述多轮对话数据转化为机器能够识别的表示。
特别地，在本申请实施例中，可以通过词嵌入方法对所述多轮对话数据进行词向量转化，以获得所述多轮对话数据的词向量表示，其中，词向量是词语的连续、稠密、低纬度的分布表示。词嵌入方法(Word Embedding Method)是将自然语言词语数学化的一种方法，其指的是将自然语言中的每一个词映射到高维空间，并表示为一个高维向量。这种词语表示方法通过训练将词语映射到一个K维实数向量(一般K可取50、100等)其中，每个词即为K维向量空间中的一点，词语之间的距离(如欧式距离、Cosine距离)代表词语之间的语义相似度。例如，在本申请实施例中，可以将提前训练好的100维度(K＝100)的Glove词向量作为所述问题和所述答案的词向量表示，并且，在模型训练过程中，固定该词向量不变。
如上所述，根据本申请实施例的基于深度学习的多轮对话数据分类方法可以用于对用户意图进行分析。通常，在任务型对话系统中，用户意图往往与语句中的实体信息和词性有很强的关系，例如，在订购机票时，用户往往会给出时间、地点等关键信息。因此，可以利用开源的自然语言工具包对语句进行实体识别和词性标注，这样语句中的每个词都会有一个实体标签和词性标签。并且，通过如上所述的词向量转化，可以将实体标签和词性标签转换为词向量表示。或者，通过给不同的实体和词性类别随机初始化一个类似于词向量的向量矩阵，也可以将实体信息和词性信息转化为实体向量和词性向量。然后，对于多轮对话数据的语句中的每一个词，将实体向量、词性向量、词向量联合起来作为双向LSTM的输入。该操作的形式化表达如下式所示：
Wx＝concat(Wemd,Wner,Wpos)
其中，Wemd为词向量，Wner为实体向量，Wpos为词性向量，concat为矩阵的连接操作，
Figure GDA0001780798250000091
将作为下一步骤中LSTM的输入，其中，demd是词向量的维度，dpos是词性向量的维度，dner是实体向量的维度。
因此，在根据本申请实施例的基于深度学习的多轮对话数据分类方法中，所述标签是所述多轮对话数据所反映的用户意图，以及，对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量包括：对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签；对所述多轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签；将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵；连接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当前语句词向量；以及，连接所述先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句词向量。
图2是图示根据本申请实施例的表达用户意图的多轮对话数据的词向量转化过程的示意图。如图2所示，上述过程包括：S210，对当前轮次语句和先前轮次语句进行实体识别以获得每个词对应的当前轮次实体标签的先前轮次实体标签；S220，对当前轮次语句和先前轮次语句进行词性标注以获得每个词对应的当前轮次词性标签和先前轮次词性标签；S230，将每个词及其实体标签和词性标签进行向量转化以获得与分别当前轮次语句和先前轮次语句对应的词向量矩阵、实体向量矩阵和词性向量矩阵；S240，连接与当前轮次语句对应的词向量矩阵、实体向量矩阵以及词性向量矩阵以获得当前语句词向量；以及S250，连接与先前轮次语句对应的词向量矩阵、实体向量矩阵以及词性向量矩阵以获得先前语句词向量。
在步骤S120中，通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量。这里，长短期记忆网络LSTM是一种特殊的RNN，相较于RNN能更好地解决较长的句子，同时在短句子上也有不输RNN的表现。而RNN是一种“自循环”的神经网络，常用于各种自然语言处理任务，其基本的神经网络单元跟传统的神经网络单元一样，能够根据输入给出对应的输出，而“自循环”能够保证在序列信息能一步一步地传递到下一个神经网络单元。其“自循环”的形式也可以看作是将同一个神经网络单元复制n次，在迭代过程中每一个神经网络单元都把信息传递到下一个单元。
图3图示了根据本申请实施例的LSTM层的示意图。如图3所示，在LSTM网络模型中，每次循环的时间点i的隐状态ht都是由上一个时间点t-1的隐状态ht-1得来的，隐状态的存在使得LSTM在运行过程中能将之前的所有信息压缩到ht-1中，即将整句话的信息都参与迭代计算中。具体来说，在迭代过层中，每一层的LSTM网络都有两个输入：当前时刻t输入的词xt和t时刻之前所有的文本信息ht-1。而最后得到的隐状态ht就能表示整个文本，即句向量。这些步骤可以形式化表达为：
ht＝f(Wx+Whht-1+bh)
因此，LSTM网络模型能够充分地利用以向量形式输入的词信息，较好地提取句子中的语义特征，同时能将句子映射为高维空间中的向量表达。
在步骤S130中，以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量。这里，注意力机制(Attention Mechanism)可以看作是一种“有选择”地从语句中提取相关语义特征的方式。在根据本申请实施例的基于深度学习的多轮对话数据分类方法中，注意力机制层用于从先前轮次的语句中提取出背景向量，以与当前轮次的语句的句向量结合在一起进行分类。
图4图示了根据本申请实施例的LSTM层和注意力机制层的示意图。如图4所示，在时刻t时，假定当前的输入语句为St，在经过LSTM网络模型转换后，得到句向量ot。并且，通过注意力机制层，将存储的较前轮次的句向量[o1,o2,o3,…,ot-1]进行加权，生成背景向量(context vector)，如以下公式化表达所示：
[o1,o2,o3,…,ot-1,ot]＝STM(s1,s2,s3,…,st-1,st)
scorei＝ot Toi
Figure GDA0001780798250000111
Figure GDA0001780798250000112
因此，在注意力机制层中，所述背景向量是对较前轮次句子的句向量进行加权，而这里的权重ai是由当前句子跟较前轮次句子的相似度决定的，相似度即scorei，而经过归一化操作以后得到ai。也就是说，越相似的前文句向量会得到越多的权重，从而达到尽量保留对当前语句有帮助的前文信息，同时减少不相关信息的影响。
也就是说，在根据本申请实施例的基于深度学习的多轮对话数据分类方法中，以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量包括：计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数；计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重；以及，基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦次语句对应的背景句向量。
图5图示了根据本申请实施例的以注意力机制层获得背景向量的过程的流程图。如图5所示，上述过程包括：S310，计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数；S320，计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重；以及S330，基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦次语句对应的背景句向量。
在步骤S140中，将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达。也就是，回头参考图4，将背景向量c将和当前的句向量ot经过向量连接操作以后得到多轮对话场景下的句子向量表达z，如下式所示。
z＝concat(ot,c)
这里，c就是利用注意力机制得到的背景向量，与当前的句子向量ot进行融合后得到最终的句子表达z。这样，可以在上下文层次上实现对前文中相关信息的利用，能够很好地对上下文中的相关信息进行了抽取，最终得到一个适用于多轮对话场景中意图分类的文本向量表达z。
在步骤S150中，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
如上所述，在获得所述多轮对话数据对应的句子向量表达z，将该向量经过一个分类层即可得到最后的分类输出，分类层主要包含的是进行分类的逻辑回归模型，例如基于softmax回归算法和损失函数的模型。并且，可以采用交叉熵(Cross Entropy)作为损失函数。
具体地，在采用Softmax回归算法时，需要利用句子向量表达z给不同的类别分配概率。这可以大致分为两步，第一步是对输入被分类对象属于某个类的“证据”相加求和，然后将这个“证据”的和进行归一后转化为概率分布。也就是说，将句子向量表达z经过加权以后的结果来作为被分类语句是否属于某个标签，例如某个意图的“证据”,此外要引入偏置项作为与输入无关的常量，如下式所示：
evidencei＝Wsoftmaxz+b
其中，evidencei即为前面所说的“证据”，
Figure GDA0001780798250000121
和
Figure GDA0001780798250000122
是要学习的加权参数和偏执项，n是所有分类的数量，dh是LSTM输出隐状态的维度。
然后，进行归一化，如下式所示：
Figure GDA0001780798250000131
其中，yi是最后的输出，表示y被分为第i类的概率，这样，经过Softmax回归以后，得到各个标签的概率分布[y1，y2…yi]。最后，可以将其中最大的值对应的标签确定为最后的标签分类结果。
这里，本领域技术人员可以理解，在根据本申请实施例的深度学习模型中，为了训练模型，需要引入一个指标来评价分类结果的误差，然后通过尽量最小化这个误差来调整模型参数。在根据本申请实施例的基于深度学习的多轮对话数据分类方法中，可以采用交叉熵函数。交叉熵源于信息论中的信息压缩编码技术，后来演变为从博弈论到机器学习等其他领域里的重要技术手段，尤其是在分类任务中。采用交叉熵作为损失函数，可以对深度学习模型中需要学习的一系列参数，包括上述LSTM层、注意力机制层和逻辑回归模型的可训练参数通过该损失函数的值进行修正。所述交叉熵的定义如下式所示：
Figure GDA0001780798250000132
因此，在根据本申请实施例的基于深度学习的多轮对话数据分类方法中，在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括：将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
并且，在根据本申请实施例的基于深度学习的多轮对话数据分类方法中，所述用于分类的逻辑回归模型是Softmax回归模型，以及，以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布包括：计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及，将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
在上述基于深度学习的多轮对话数据分类方法中，以所述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。
图6图示了根据本申请实施例的基于深度学习的多轮对话数据分类方法应用于意图分类的示意图。如图6所示，首先是将输入文本经过数据预处理后将词转化为向量的表达形式，然后经过LSTM网络模型以后得到文本的向量表达(即句向量)，随后利用注意力机制对较前轮次的前文信息进行建模，生成背景向量，并将该背景向量与当前轮次的句向量结合在一起输入到分类层进行分类。
因此，根据本申请实施例的基于深度学习的多轮对话数据分类方法为了解决当前多轮对话系统中的意图分类问题，利用注意力机制对一组对话中的前文信息进行建模，从而改进多轮对话场景下的用户意图分类效果，其主要可以应用于多轮的任务型对话系统中。在利用LSTM网络模型将文本转化为高维的向量表达之后，在处理一组对话中的某一句时，利用注意力机制“有选择”地从较前轮次的句向量中生成背景向量。并且，这个选择过程是指将会给与当前轮次相关的语句分配更多的权重，而给不相关的较前轮次语句分配较低的权重，达到能将相关信息利用起来的同时排除不相关信息的干扰的目的。最终，将背景向量和当前语句的句向量结合在一起进行分类，从而改进多轮对话中的分类效果。
示例性装置
图7图示了根据本申请实施例的基于深度学习的多轮对话数据分类装置的示意性框图。如图7所示，所述基于深度学习的多轮对话数据分类装置400包括：词向量转化单元410，用于对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量；句向量获得单元420，用于通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量；背景向量获得单元430，用于以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前伦次语句对应的背景句向量；句向量连接单元440，用于将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达；以及，分类单元450，用于以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
在一个示例中，在上述基于深度学习的多轮对话数据分类装置400中，所述分类单元450进一步用于：在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后，将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
在一个示例中，在上述基于深度学习的多轮对话数据分类装置400中，所述标签是所述多轮对话数据所反映的用户意图，以及，所述词向量转化单元410用于：对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签；对所述多轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签；将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵；连接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当前语句词向量；以及，连接所述先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句词向量。
在一个示例中，在上述基于深度学习的多轮对话数据分类装置400中，所述背景向量获得单元430用于：计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数；计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重；以及，基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前伦次语句对应的背景句向量。
在一个示例中，在上述基于深度学习的多轮对话数据分类装置400中，所述用于分类的逻辑回归模型是Softmax回归模型，以及，所述分类单元450用于：计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及，将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
在一个示例中，在上述基于深度学习的多轮对话数据分类装置中，以所述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。
这里，本领域技术人员可以理解，上述基于深度学习的多轮对话数据分类装置400中的各个单元和模块的具体功能和操作已经在上面参考图1到图6描述的基于深度学习的多轮对话数据分类方法中详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于深度学习的多轮对话数据分类装置400可以实现在各种终端设备中，例如用于运行对话系统的服务器。在一个示例中，根据本申请实施例的装置400可以作为一个软件模块和/或硬件模块而集成到所述终端设备中。例如，该装置400可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该装置400同样可以是该终端设备的众多硬件模块之一。
可替换地，在另一示例中，该基于深度学习的多轮对话数据分类装置400与该终端设备也可以是分立的设备，并且该装置400可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图8来描述根据本申请实施例的电子设备。
图8图示了根据本申请实施例的电子设备的框图。
如图8所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于深度学习的多轮对话数据分类方法的功能。在所述计算机可读存储介质中还可以存储诸如对话数据，分类结果等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以是例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括所述多轮对话数据的分类结果等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于深度学习的多轮对话数据分类方法中的步骤。例如，所述计算机程序指令可以基于Linux操作系统，在Tensorflow平台的基础上利用Python编写实现。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于深度学习的多轮对话数据分类方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种基于深度学习的多轮对话数据分类方法，包括：
对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量；
通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量；
以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前轮 次语句对应的背景句向量；
将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达；以及
以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
2.如权利要求1所述的基于深度学习的多轮对话数据分类方法，其中，在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后进一步包括：
将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
3.如权利要求1所述的基于深度学习的多轮对话数据分类方法，其中，
所述标签是所述多轮对话数据所反映的用户意图，以及
对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量包括：
对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签；
对所述多轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签；
将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵；
连接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当前语句词向量；以及
连接所述先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句词向量。
4.如权利要求1所述的基于深度学习的多轮对话数据分类方法，其中，以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前轮 次语句对应的背景句向量包括：
计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数；
计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重；以及
基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前轮次语句对应的背景句向量。
5.如权利要求1所述的基于深度学习的多轮对话数据分类方法，其中，
所述用于分类的逻辑回归模型是Softmax回归模型，以及
以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布包括：
计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及
将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
6.如权利要求1所述的基于深度学习的多轮对话数据分类方法，其中，以所述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。
7.一种基于深度学习的多轮对话数据分类装置，包括：
词向量转化单元，用于对获取的多轮对话数据中的当前轮次语句和先前轮次语句进行词向量转化以获得所述当前轮次语句的当前语句词向量和所述先前轮次语句的先前语句词向量；
句向量获得单元，用于通过长短期记忆层处理所述当前语句词向量和所述先前语句词向量以获得当前轮次句向量和先前轮次句向量；
背景向量获得单元，用于以注意力机制层对所述先前轮次句向量进行加权求和以获得与所述先前轮 次语句对应的背景句向量；
句向量连接单元，用于将所述当前轮次句向量与所述背景句向量连接以获得与所述多轮对话数据对应的句子向量表达；以及
分类单元，用于以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布。
8.如权利要求7所述的基于深度学习的多轮对话数据分类装置，其中，所述分类单元进一步用于：
在以用于分类的逻辑回归模型处理所述句子向量表达以获得所述多轮对话数据相对于所述逻辑回归模型的多个标签的概率分布之后，将与所述概率分布中最大概率对应的标签确定为所述多轮对话数据的分类结果。
9.如权利要求7所述的基于深度学习的多轮对话数据分类装置，其中，
所述标签是所述多轮对话数据所反映的用户意图，以及
所述词向量转化单元用于：
对所述多轮对话数据中的当前轮次语句和先前轮次语句进行实体识别以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次实体标签和先前轮次语句中的每个词对应的先前轮次实体标签；
对所述多轮对话数据中的当前轮次语句和先前轮次语句进行词性标注以获得所述多轮对话数据中的当前轮次语句中的每个词对应的当前轮次词性标签和先前轮次语句中的每个词对应的先前轮次词性标签；
将所述多轮对话数据中的当前轮次语句和先前轮次语句的每个词及其实体标签和词性标签进行向量转化以获得所述当前轮次语句的每个词的当前词向量矩阵、所述先前轮次语句的每个词的先前词向量矩阵、所述当前轮次实体标签的当前轮次实体向量矩阵、所述先前轮次实体标签的先前轮次实体向量矩阵、所述当前轮次词性标签的当前轮次词性向量矩阵和所述先前轮次词性标签的先前轮次词性向量矩阵；
连接所述当前轮次词向量矩阵、所述当前轮次实体向量矩阵以及所述当前轮次词性向量矩阵以获得所述当前轮次语句的当前语句词向量；以及
连接所述先前轮次词向量矩阵、所述先前轮次实体向量矩阵以及所述先前轮次词性向量矩阵以获得所述先前轮次语句的先前语句词向量。
10.如权利要求7所述的基于深度学习的多轮对话数据分类装置，其中，所述背景向量获得单元用于：
计算所述当前轮次句向量的转置与所述先前轮次句向量中的每个句向量之积作为每个句向量的加权分数；
计算每个句向量的加权分数的指数函数除以所述每个句向量的加权分数的指数函数之和作为权重；以及
基于所述每个句向量对应的权重对所述每个句向量进行加权求和以获得所述先前轮次语句对应的背景句向量。
11.如权利要求7所述的基于深度学习的多轮对话数据分类装置，其中，
所述用于分类的逻辑回归模型是Softmax回归模型，以及
所述分类单元用于：
计算所述句子向量表达乘以所述Softmax回归模型的加权参数之积与偏置项之和作为所述句子向量表达属于所述多个标签中的特定标签的证据；以及
将所述证据求和并进行归一化以获得所述句子向量表达被分类为所述特定标签的概率。
12.如权利要求7所述的基于深度学习的多轮对话数据分类装置，其中，以所述多轮对话数据相对于所述标签的概率的交叉熵作为分类损失函数调整深度学习模型中的可训练参数。
13.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-6中任一项所述的基于深度学习的多轮对话数据分类方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，当所述计算机程序指令被计算装置执行时，可操作来执行如权利要求1-6中任一项所述的基于深度学习的多轮对话数据分类方法。
CN201810680888.6A 2018-06-27 2018-06-27 基于深度学习的多轮对话数据分类方法、装置和电子设备 Active CN109101537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810680888.6A CN109101537B (zh) 2018-06-27 2018-06-27 基于深度学习的多轮对话数据分类方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810680888.6A CN109101537B (zh) 2018-06-27 2018-06-27 基于深度学习的多轮对话数据分类方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN109101537A CN109101537A (zh) 2018-12-28
CN109101537B true CN109101537B (zh) 2021-08-06

Family

ID=64845208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810680888.6A Active CN109101537B (zh) 2018-06-27 2018-06-27 基于深度学习的多轮对话数据分类方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN109101537B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814831A (zh) * 2019-01-16 2019-05-28 平安普惠企业管理有限公司 智能对话方法、电子装置及存储介质
CN109885652A (zh) * 2019-01-25 2019-06-14 北京奇艺世纪科技有限公司 一种操作执行方法、装置及计算机可读存储介质
CN110096567B (zh) * 2019-03-14 2020-12-25 中国科学院自动化研究所 基于qa知识库推理的多轮对话回复选择方法、系统
CN110188190B (zh) * 2019-04-03 2023-07-14 创新先进技术有限公司 对话解析方法、装置、服务器及可读存储介质
CN111861596B (zh) * 2019-04-04 2024-04-12 北京京东振世信息技术有限公司 一种文本分类方法和装置
CN110019685B (zh) * 2019-04-10 2021-08-20 鼎富智能科技有限公司 基于排序学习的深度文本匹配方法及装置
CN110032633B (zh) * 2019-04-17 2021-03-23 腾讯科技（深圳）有限公司 多轮对话处理方法、装置和设备
CN110347833B (zh) * 2019-07-09 2021-08-24 浙江工业大学 一种多轮对话的分类方法
CN110413788B (zh) * 2019-07-30 2023-01-31 携程计算机技术（上海）有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
CN110427625B (zh) * 2019-07-31 2022-12-27 腾讯科技（深圳）有限公司 语句补全方法、装置、介质及对话处理系统
CN110543554A (zh) * 2019-08-12 2019-12-06 阿里巴巴集团控股有限公司 针对多轮对话的分类方法和装置
CN110569331A (zh) * 2019-09-04 2019-12-13 出门问问信息科技有限公司 一种基于上下文的关联性预测方法、装置及存储设备
CN110717027B (zh) * 2019-10-18 2022-07-12 易小博(武汉)科技有限公司 多轮智能问答方法、系统以及控制器和介质
CN110825851A (zh) * 2019-11-07 2020-02-21 中电福富信息科技有限公司 基于中值转化模型的句子对关系判别方法
CN110910866B (zh) * 2019-11-28 2022-07-29 出门问问创新科技有限公司 一种对话处理方法、设备及计算机可读存储介质
CN111198937B (zh) * 2019-12-02 2023-06-30 泰康保险集团股份有限公司 对话生成及装置、计算机可读存储介质、电子设备
TWI737101B (zh) * 2019-12-27 2021-08-21 財團法人工業技術研究院 問答學習方法、應用其之問答學習系統及其電腦程式產品
CN111309914B (zh) * 2020-03-03 2023-05-09 支付宝(杭州)信息技术有限公司 基于多个模型结果对多轮对话的分类方法和装置
CN111062220B (zh) * 2020-03-13 2020-06-16 成都晓多科技有限公司 一种基于记忆遗忘装置的端到端意图识别系统和方法
CN111462752B (zh) * 2020-04-01 2023-10-13 北京思特奇信息技术股份有限公司 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法
CN111522917A (zh) * 2020-04-21 2020-08-11 京东数字科技控股有限公司 对话情感检测方法及装置、存储介质、电子设备
CN111813909A (zh) * 2020-06-24 2020-10-23 泰康保险集团股份有限公司 一种智能问答方法和装置
CN111897929B (zh) * 2020-08-04 2021-05-14 腾讯科技（深圳）有限公司 多轮问句的处理方法和装置、存储介质及电子设备
CN112164401B (zh) * 2020-09-18 2022-03-18 广州小鹏汽车科技有限公司 语音交互方法、服务器和计算机可读存储介质
CN112182220B (zh) * 2020-10-10 2024-02-02 携程计算机技术（上海）有限公司 基于深度学习的客服预警分析方法、系统、设备及介质
CN112541792A (zh) * 2020-12-22 2021-03-23 作业帮教育科技（北京）有限公司 一种挖掘用户需求的数据处理方法、装置及电子设备
CN112765978B (zh) * 2021-01-14 2023-03-31 中山大学 一种针对多人多轮对话场景的对话图重构方法及系统
CN112883183B (zh) * 2021-03-22 2022-09-27 北京大学深圳研究院 构建多分类模型的方法、智能客服方法和相关装置及系统
CN113806547B (zh) * 2021-10-15 2023-08-11 南京大学 一种基于图模型的深度学习多标签文本分类方法
CN116361442B (zh) * 2023-06-02 2023-10-17 国网浙江宁波市鄞州区供电有限公司 基于人工智能的营业厅数据分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095950A (zh) * 2016-06-14 2016-11-09 中国科学院自动化研究所 一种人机对话中教授意图答案生成方法
CN106547734A (zh) * 2016-10-21 2017-03-29 上海智臻智能网络科技股份有限公司 一种问句信息处理方法及装置
CN106776578A (zh) * 2017-01-03 2017-05-31 竹间智能科技（上海）有限公司 用于提升对话系统对话性能的方法及装置
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8452765B2 (en) * 2010-04-23 2013-05-28 Eye Level Holdings, Llc System and method of controlling interactive communication services by responding to user query with relevant information from content specific database

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095950A (zh) * 2016-06-14 2016-11-09 中国科学院自动化研究所 一种人机对话中教授意图答案生成方法
CN106547734A (zh) * 2016-10-21 2017-03-29 上海智臻智能网络科技股份有限公司 一种问句信息处理方法及装置
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
CN106776578A (zh) * 2017-01-03 2017-05-31 竹间智能科技（上海）有限公司 用于提升对话系统对话性能的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任务型人机对话系统中的认知技术--概念、进展及其未来;俞凯等;《计算机学报》;20151231;第38卷(第12期);第2333-2348页 *

Also Published As

Publication number Publication date
CN109101537A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109101537B (zh) 基于深度学习的多轮对话数据分类方法、装置和电子设备
CN108959482B (zh) 基于深度学习的单轮对话数据分类方法、装置和电子设备
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN108846077B (zh) 问答文本的语义匹配方法、装置、介质及电子设备
CN112732911B (zh) 基于语义识别的话术推荐方法、装置、设备及存储介质
CN113033438B (zh) 一种面向模态非完全对齐的数据特征学习方法
CN110377733B (zh) 一种基于文本的情绪识别方法、终端设备及介质
WO2021204017A1 (zh) 文本意图识别方法、装置以及相关设备
CN112632226B (zh) 基于法律知识图谱的语义搜索方法、装置和电子设备
CN113268609A (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
CN111105013A (zh) 对抗网络架构的优化方法、图像描述生成方法和系统
CN111814487A (zh) 一种语义理解方法、装置、设备及存储介质
Liu et al. Open intent discovery through unsupervised semantic clustering and dependency parsing
CN113434683A (zh) 文本分类方法、装置、介质及电子设备
CN114936290A (zh) 数据处理方法及装置、存储介质及电子设备
CN110399473B (zh) 为用户问题确定答案的方法和装置
CN115730597A (zh) 多级语义意图识别方法及其相关设备
CN117558270B (zh) 语音识别方法、装置、关键词检测模型的训练方法和装置
CN115796182A (zh) 一种基于实体级跨模态交互的多模态命名实体识别方法
CN115129863A (zh) 意图识别方法、装置、设备、存储介质和计算机程序产品
KR102215259B1 (ko) 주제별 단어 또는 문서의 관계성 분석 방법 및 이를 구현하는 장치
Huang et al. Target-Oriented Sentiment Classification with Sequential Cross-Modal Semantic Graph
Chen et al. Emotion recognition in videos via fusing multimodal features
CN111274382A (zh) 文本分类方法、装置、设备及存储介质
CN115310547B (zh) 模型训练方法、物品识别方法及装置、电子设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: A201, Tonghui building, 1132 Huihe South Street, Gaobeidian, Chaoyang District, Beijing 100124

Patentee after: Beijing Huiwen Technology (Group) Co.,Ltd.

Address before: 100000 Room 203, Baolan financial innovation center, No. 137, Xiwai street, Xicheng District, Beijing

Patentee before: BEIJING HUIWEN TECHNOLOGY DEVELOPMENT Co.,Ltd.